离线模拟提升软件脚本自动化技能
《Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs》\n⛽ 背景介绍：\n传统上，创建脚本需要编程专业知识和熟悉特定API，这对许多用户构成了障碍。虽然大型语言模型（LLMs）可以从自然语言查询生成代码，但运行时代码生成由于未验证的代码、安全风险、较长的响应时间和较高的计算成本而受到严重限制。\n \n中文摘要：\n我们提出了一个离线模拟框架，通过利用LLMs和公开可用的脚本指南，来策划一个软件特定的技能集，即一组经过验证的脚本。该框架包括两个组件：（1）任务创建，使用自上而下的功能指导和自下而上的API协同探索来生成有用的任务；（2）技能生成与试验，基于执行反馈来细化和验证脚本。为了高效地导航广泛的API景观，我们引入了一个基于图神经网络（GNN）的链接预测模型，以捕捉API协同作用，从而生成涉及未充分利用API的技能，并扩展技能集的多样性。\n \n✨ 中文方法：\n1️⃣ 任务创建：通过自上而下的功能指导和自下而上的API协同探索生成任务。\n2️⃣ 技能生成与试验：基于执行反馈细化和验证脚本。\n3️⃣ API协同探索：使用GNN模型捕捉API协同作用，生成涉及未充分利用API的技能。\n \n中文实验结果描述：\n1️⃣ 提高自动化成功率：与传统的运行时代码生成相比，我们的框架显著提高了自动化成功率。\n2️⃣ 减少响应时间：框架减少了响应时间，提高了效率。\n3️⃣ 节省运行时令牌成本：通过离线模拟，节省了运行时令牌成本。\n \n总结与展望：\n这是首次尝试将软件脚本接口作为基于LLM系统的测试平台，突出了在受控环境中利用执行反馈的优势，并提供了将AI能力与专业软件领域用户需求对齐的宝贵见解。未来，我们计划扩展该框架以支持更多软件和更复杂的任务，进一步探索AI在软件自动化中的潜力。\n \n#软件自动化 #LLM #离线模拟 #API协同 #GNN模型