软件所提出智能体迁移测试新方法——demo2test
文章来源： | 发布时间：2024-09-30 | 【】 【】
由软件所天基综合信息系统全国重点实验室与智能博弈重点实验室合作完成的论文demo2test: transfer testing of agent in competitive environment with failure demonstrations被软件工程ccf－a类顶级期刊acm transactions on software engineering and methodology （tosem）接收，共同第一作者为博士生陈建明和助理研究员王亚文。论文关注竞争性博弈智能体的测试问题，提出了首个对抗环境中智能体的迁移测试方法——demo2test。
在对抗环境中，双方智能体通过激烈竞争以争夺博弈的胜利，此类竞争性博弈在无人机等关键领域具有广泛应用。由于智能体博弈策略失效可能带来重大损失，对其进行有效测试显得尤为迫切。当前方法主要是通过构建测试智能体，与目标智能体展开竞争，以诱发其故障。但此类方法往往局限于单一任务，进行多任务测试则需耗费更多时间，且难以保证测试的全面性和有效性。因此，提出一种高效、通用的智能体测试方法非常必要。
针对上述问题，研究团队提出了一种创新的迁移测试方法——demo2test。该方法利用源任务的演示数据，结合强化学习（rl）和生成对抗模仿学习（gail），对测试智能体进行迁移训练，以探索目标任务中的失效场景。此外，该方法还包含一个关键状态下的动作扰动模块，应用进化算法对关键状态下的行动进行扰动，可进一步丰富失效场景的多样性。
demo2test框架图
为了验证demo2test框架的有效性，研究团队在mujoco仿真机器人竞争环境中进行了严格实验。实验结果表明，demo2test在发现失效场景的数量和多样性方面均表现出色，相较于最佳基线分别提升了36.99％至87.98％和18.79％至60.98％。此外，研究团队还利用demo2test发现的失效场景对目标智能体进行了重新训练，性能相比基线方法能提升4.76％到80％，这进一步验证了demo2test在智能体测试与优化方面的有效性，为智能体测试领域带来了新的思路与方法。
论文链接：
