游戏里的NPC对话要做到"随问随答",最大的敌人不是模型不够聪明,而是延迟。一次云端往返动辄数百毫秒,玩家在对话界面等上大半秒,沉浸感就断了。天辰平台研发团队在《星穹回响》的叙事系统里尝试把一部分大模型推理搬到玩家本地,本文分享这套端侧推理方案的工程取舍。
为什么要把推理放到端侧
云端推理有三个绕不开的成本:网络往返带来的首字延迟、高峰期并发带来的排队、以及每次对话都要付费的算力开销。对于"玩家随口说一句、NPC必须立刻接话"的场景,这三项都会被放大。端侧推理的优势很直接——没有网络往返,延迟可以压到百毫秒级,且高频的日常对话不产生云端费用。难点也很直接:玩家的机器参差不齐,模型必须足够小。
路径一:蒸馏与量化,把模型压到可部署体量
团队先用云端的大模型作为教师,针对游戏语境(世界观设定、角色口吻、任务状态)蒸馏出一个小尺寸学生模型,再做 4bit 量化。量化不是简单的位宽压缩,团队在量化过程中保留了与角色人格强相关的那部分层的高精度,避免压缩后NPC"性格变淡"。最终部署包在 1.2GB 左右,可在主流消费级显卡与近两年的集成显卡上以可交互速度运行。
路径二:分层缓存,把重复计算留在本地
游戏对话有很强的复用性——同一个NPC在不同玩家那里被问到的前几句往往高度相似。方案在端侧维护了两级缓存:一级缓存角色设定与世界观前缀的键值状态,避免每次对话都重算长前缀;二级缓存常见问法的高置信度回复模板,命中后直接走轻量改写而非完整生成。实测在常规探索场景下,二级缓存的命中率约为 54%。
路径三:按需卸载,复杂剧情自动回到云端
端侧模型不追求"什么都能答"。系统会根据对话意图做一次轻量判定:日常寒暄、任务提示、情绪回应走本地;涉及多分支剧情推进、需要与任务系统深度联动的对话,则自动切回云端大模型,并在切换时把本地对话上下文一并带上,保证体验连续。玩家感知不到切换发生,只会在关键剧情处得到更丰富的回应。
效果与边界
在内部测试机上,方案把叙事对话的首字延迟从云端方案的约 800ms 降到 180ms 左右,云端调用量下降约七成,长对话的稳定性也明显改善。边界同样清楚:端侧模型的常识广度不如云端,因此在自由闲聊的深度上仍有限制;低配设备上会退化为"本地短回复 + 云端补全"的混合模式。团队的经验是,端侧推理的价值不在于替代云端,而在于把"高频、低难度、要求快"的那部分负载接过去,让云端算力集中在真正需要它的地方。
写在最后
天辰平台后续会在开发者社区继续披露端侧推理在移动端的适配进展。相关技术文章可参阅《技术拆解:天辰平台智能NPC分层记忆架构是如何工作的》与《技术分享:天辰平台AIGC美术资产管线如何保证风格一致性》。