天 天辰娱乐
TIANCHEN AI GAMES

技术分享:当大模型学会"玩游戏"——天辰平台AI自动化测试实践

游戏是所有软件里最难做自动化测试的品类之一:界面频繁迭代、玩法路径近乎无限、大量逻辑藏在"手感"与"涌现"里。传统的脚本化测试在游戏项目里维护成本极高——UI改一个按钮位置,几十条脚本就要跟着改。天辰平台QA团队在过去一年把大模型引入测试流程,本文分享这套"会玩游戏的测试智能体"的实践与教训。

为什么脚本测试在游戏里走不远

脚本测试的本质是"按坐标点、按文案找",它假设界面是稳定的。而游戏恰恰相反:美术资源天天在换,动画时长时常调整,一个技能特效的播放速度变化就可能让断言失效。更深层的问题是,脚本只能验证"写下的路径",无法覆盖"玩家走出来的路径"。团队早期维护着四千多条UI自动化脚本,每个大版本前的修复成本一度占到QA工时的三成。

智能体测试:让AI先"理解"再"操作"

方案的核心是把"找元素"和"做决策"都交给多模态大模型。测试智能体拿到的是和真人一样的东西——屏幕截图与任务目标(例如"完成新手引导的第三章"),由模型自己识别界面、规划操作路径、执行点击与输入。脚本不再记录坐标,而是记录"意图":进入背包、穿上某件装备、确认属性变化。界面怎么改,意图不变,脚本就不用改。上线这套方案后,团队的UI自动化脚本数量从四千多缩减到不到六百条"意图用例",维护成本下降超过八成。

异常发现:不只是"跑通",还要"找出不对劲"

传统自动化验证的是断言点,智能体测试的更强能力是"发现计划外的问题"。系统在智能体游玩的同时并行运行一组轻量判定器:数值是否溢出、资源是否异常增长、文本是否截断乱码、任务状态机是否卡死。在一次《弈境》版本回归中,智能体在自由探索时触发了一个脚本测试从未覆盖的边角路径——连续快速切换三张地图后再进入对局——成功复现了一个金币结算异常。这类"计划外发现"正是大模型测试相对脚本测试最大的增量价值。

稳定性与成本:工程上的三道保险

大模型测试并不完美,误操作率天然高于脚本。团队用三道工程手段控制质量:一是操作前置校验,模型给出操作意图后由规则引擎确认该操作在当前状态下合法;二是关键节点落地,所有涉及存档与结算的节点仍然保留确定性断言,AI只负责"怎么走到这里";三是失败重放,每次异常自动保存完整录屏与操作序列,供人工确认。成本方面,通过把高频小决策交给本地小模型、仅复杂决策调用云端大模型,单轮全量回归的算力成本控制在了可接受范围。

效果与下一步

目前这套方案覆盖了《弈境》与《星穹回响》的主要回归场景:大版本回归周期从约两周压缩到三天,异常发现数量较纯脚本时代提升约40%,其中约四分之一属于脚本方式无法覆盖的新路径。下一步团队计划把玩家行为数据引入测试智能体,让"AI玩家"的游玩分布向真实玩家分布靠拢,进一步逼近线上真实风险。相关研发实践还可参阅《天辰平台自研PCG管线2.0发布:关卡生成效率提升3倍》与《技术分享:天辰平台AIGC美术资产管线如何保证风格一致性》。