GAIA: 一个严苛的智能体基准

公平正义比太阳还要有光辉 發表於 2024-7-9 11:26:00

<h2 id="简要概括">简要概括</h2>
经过一些实验，我们对 Transformers 智能体构建智能体系统的性能印象深刻，因此我们想看看它有多好！我们使用一个用库构建的代码智能体在 GAIA 基准上进行测试，这可以说是最困难、最全面的智能体基准测试……最终我们取得了第一名的成绩！
<h2 id="gaia-一个严苛的智能体基准">GAIA: 一个严苛的智能体基准</h2>
什么是智能体？
一句话: 智能体是基于大语言模型 (LLM) 的系统，可以根据当前用例的需要调用外部工具，也可以不调用，并根据 LLM 的输出进行后续步骤的迭代。工具可以包括从 Web 搜索 API 到 Python 解释器的任何东西。
<blockquote>
形象类比: 所有程序都可以描述为图表。先做 A，再做 B。If/else 分支是图中的岔路口，但它们不会改变图的结构。我们将 智能体 定义为: LLM 输出将改变图结构的系统。智能体决定调用工具 A 或工具 B 或不调用任何工具，它决定是否再运行一步: 这些都会改变图的结构。您可以将 LLM 集成到一个固定的工作流中，比如在 LLM judge 中，但这并不是一个智能体系统，因为 LLM 的输出不会改变图的结构。
</blockquote>
下面是两个执行检索增强生成的不同系统的插图: 一个是经典的，其图结构是固定的。但另一个是智能体的，图中的一个循环可以根据需要重复。
<img src="https://img-s2.andfun.cn/devrel/posts/2024/07/0cb5f0fdfbeae.png">
智能体系统赋予大语言模型 (LLM) 超能力。详情请阅读我们早期关于 Transformers Agents 2.0 发布的博客。
GAIA 是智能体最全面的基准测试。GAIA 中的问题非常难，突出了基于 LLM 的系统的某些困难。
以下是一个棘手问题的例子:
<blockquote>
在 2008 年的画作《乌兹别克斯坦的刺绣》中展示的水果中，哪些是 1949 年 10 月海洋班轮早餐菜单的一部分，该班轮后来作为电影《最后的航程》的漂浮道具使用？请将这些水果按逗号分隔的列表给出，并根据它们在画作中的排列顺时针顺序，从 12 点位置开始。使用每种水果的复数形式。
</blockquote>
你可以看到这个问题涉及几个难点:
<ul>
<li>以约束格式回答。</li>
<li>多模态能力，需要从图像中读取水果。</li>
<li>需要收集多个信息，有些信息依赖于其他信息:
<ul>
<li>图片中的水果</li>
<li>用作《最后的航程》漂浮道具的海洋班轮的身份</li>
<li>上述海洋班轮 1949 年 10 月的早餐菜单</li>
</ul>
</li>
<li>上述内容迫使正确的解决路径使用几个链式步骤。</li>
</ul>
解决这个问题需要高水平的计划能力和严格的执行力，这恰恰是 LLM 难以应对的两个领域。
因此，它是测试智能体系统的绝佳测试集！
在 GAIA 的公开排行榜上，GPT-4-Turbo 的平均成绩不到 7%。最高的提交是一种基于 Autogen 的解决方案，使用了复杂的多智能体系统并利用 OpenAI 的工具调用功能，达到了 40%。
下面让我们继续 🥊
<img src="https://img-s2.andfun.cn/devrel/posts/2024/07/e968652115b60.gif">
<h2 id="构建合适的工具-️">构建合适的工具 🛠️</h2>
我们使用了三种主要工具来解决 GAIA 问题:
a. 网页浏览器
对于网页浏览，我们主要复用了 Autogen 团队的提交中的 Markdown 网页浏览器。它包含一个存储当前浏览器状态的 <code>Browser</code> 类，以及几个用于网页导航的工具，如 <code>visit_page</code> 、<code>page_down</code> 或 <code>find_in_page</code> 。这个工具返回当前视口的 Markdown 表示。与其他解决方案 (如截屏并使用视觉模型) 相比，使用 Markdown 极大地压缩了网页信息，这可能会导致一些遗漏。然而，我们发现该工具整体表现良好，且使用和编辑都不复杂。
注意: 我们认为，将来改进这个工具的一个好方法是使用 selenium 包加载页面，而不是使用 requests。这将允许我们加载 JavaScript (许多页面在没有 JavaScript 的情况下无法正常加载) 并接受 cookies 以访问某些页面。
b. 文件检查器
许多 GAIA 问题依赖于各种类型的附件文件，如 <code>.xls</code> 、<code>.mp3</code> 、<code>.pdf</code> 等。这些文件需要被正确解析。我们再次使用了 Autogen 的工具，因为它们非常有效。
非常感谢 Autogen 团队开源他们的工作。使用这些工具使我们的开发过程加快了几周！🤗
c. 代码解释器
我们不需要这个工具，因为我们的智能体自然会生成并执行 Python 代码: 详见下文。
<h2 id="代码智能体-">代码智能体 🧑‍💻</h2>
<h3 id="为什么选择代码智能体">为什么选择代码智能体？</h3>
如 Wang et al. (2024) 所示，让智能体以代码形式表达其操作比使用类似 JSON 的字典输出有几个优势。对我们来说，主要优势是 代码是表达复杂操作序列的非常优化的方式。可以说，如果有比我们现有编程语言更好地严格表达详细操作的方法，它将成为一种新的编程语言！
考虑他们论文中给出的这个例子:
<img src="https://img-s2.andfun.cn/devrel/posts/2024/07/ea7aa8581e655.png">
它突出了使用代码的几个优点:
<ul>
<li>代码操作比 JSON 简洁得多。
<ul>
<li>需要运行 4 个并行的 5 个连续操作流？在 JSON 中，你需要生成 20 个 JSON blob，每个在其独立的步骤中; 而在代码中，这只需 1 步。</li>
<li>平均而言，论文显示代码操作需要比 JSON 少 30% 的步骤，这相当于生成的 tokens 减少了 30%。由于 LLM 调用通常是智能体系统的主要成本，这意味着你的智能体系统运行成本减少了约 30%。</li>
</ul>
</li>
<li>代码允许重用常见库中的工具</li>
<li>使用代码在基准测试中表现更好，原因有二:
<ul>
<li>它是一种更直观的表达操作的方式</li>
<li>LLM 的训练数据中有大量代码，这可能使它们在编写代码方面比编写 JSON 更流畅。</li>
</ul>
</li>
</ul>
我们在 agent_reasoning_benchmark 上的实验中证实了这些点。
在我们最近的构建 Transformers 智能体的实验中，我们还观察到了一些额外的优势:
<ul>
<li>在代码中存储一个命名变量要容易得多。例如，需要存储一个由工具生成的岩石图像以供以后使用？
<ul>
<li>在代码中没有问题: 使用 “rock_image = image_generation_tool(“A picture of a rock”)” 将变量存储在你的变量字典中的 “rock_image” 键下。之后 LLM 可以通过再次引用 “rock_image” 来在任何代码块中使用其值。</li>
<li>在 JSON 中，你需要做一些复杂的操作来创建一个名称来存储这个图像，以便 LLM 以后知道如何再次访问它。例如，将图像生成工具的任何输出保存为 “image_{i}.png”，并相信 LLM 稍后会理解 image_4.png 是内存中之前调用工具的输出？或者让 LLM 也输出一个 “output_name” 键来选择存储变量的名称，从而使你的操作 JSON 的结构复杂化？</li>
</ul>
</li>
<li>智能体日志可读性大大提高。</li>
</ul>
<h3 id="transformers-智能体的-codeagent-实现">Transformers 智能体的 CodeAgent 实现</h3>
LLM 生成的代码直接执行可能非常不安全。如果你让 LLM 编写和执行没有防护措施的代码，它可能会产生任何幻觉: 例如，它可能认为所有你的个人文件需要被《沙丘》的传说副本覆盖，或者认为你唱《冰雪奇缘》主题曲的音频需要分享到你的博客上！
所以对于我们的智能体，我们必须使代码执行安全。通常的方法是自上而下: “使用一个功能齐全的 Python 解释器，但禁止某些操作”。
为了更安全，我们选择了相反的方法， 从头开始构建一个 LLM 安全的 Python 解释器。给定 LLM 提供的 Python 代码块，我们的解释器从 Python 模块 ast 提供的抽象语法树表示开始。它按树结构逐个执行节点，并在遇到任何未明确授权的操作时停止。
例如，一个 <code>import</code> 语句首先会检查导入是否在用户定义的 <code>authorized_imports</code> 列表中明确提及: 如果没有，则不执行。我们包括了一份默认的 Python 内置标准函数列表，如 <code>print</code> 和 <code>range</code> 。任何在此列表之外的内容都不会执行，除非用户明确授权。例如， <code>open</code> (如 <code>with open("path.txt", "w") as file:</code> ) 不被授权。
遇到函数调用 ( <code>ast.Call</code> ) 时，如果函数名是用户定义的工具之一，则工具会被调用并传递调用参数。如果是先前定义并允许的其他函数，则正常运行。
我们还做了几个调整以帮助 LLM 使用解释器:
<ul>
<li>我们限制执行操作的数量以防止 LLM 生成的代码中出现无限循环: 每次操作时计数器增加，如果达到一定阈值则中断执行。</li>
<li>我们限制打印输出的行数，以避免用垃圾填满 LLM 的上下文长度。例如，如果 LLM 读取一个 100 万行的文本文件并决定打印每一行，那么在某个点上这个输出会被截断，以防止智能体内存爆炸。</li>
</ul>
<h2 id="基础多智能体协调">基础多智能体协调</h2>
网页浏览是一项非常上下文丰富的活动，但大多数检索到的上下文实际上是无用的。例如，在上面的 GAIA 问题中，唯一重要的信息是获取画作《乌兹别克斯坦的刺绣》的图像。周围的内容，比如我们找到它的博客内容，通常对解决更广泛的任务无用。
为了解决这个问题，使用多智能体步骤是有意义的！例如，我们可以创建一个管理智能体和一个网页搜索智能体。管理智能体应解决高级任务，并分配具体的网页搜索任务给网页搜索智能体。网页搜索智能体应仅返回有用的搜索结果，以避免管理智能体被无用信息干扰。
我们在工作流程中创建了这种多智能体协调:
<ul>
<li>顶级智能体是一个 ReactCodeAgent。它天生处理代码，因为它的操作是用 Python 编写和执行的。它可以访问以下工具:
<ul>
<li><code>file_inspector</code> 读取文本文件，带有一个可选的 <code>question</code> 参数，以便根据内容只返回对特定问题的答案，而不是整个文件内容。</li>
<li><code>visualizer</code> 专门回答有关图像的问题。</li>
<li><code>search_agent</code> 浏览网页。更具体地说，这个工具只是一个网页搜索智能体的包装器，这是一个 JSON 智能体 (JSON 在严格的顺序任务中仍然表现良好，比如网页浏览，其中你向下滚动，然后导航到新页面，等等)。这个智能体可以访问网页浏览工具:
<ul>
<li><code>informational_web_search</code></li>
<li><code>page_down</code></li>
<li><code>find_in_page</code></li>
<li>…… (完整列表在这行)</li>
</ul>
</li>
<li><code>file_inspector</code> 读取文本文件，带有一个可选的 <code>question</code> 参数，以便根据内容只返回对特定问题的答案，而不是整个文件内容。</li>
<li><code>visualizer</code> 专门回答有关图像的问题。</li>
<li><code>search_agent</code> 浏览网页。更具体地说，这个工具只是一个网页搜索智能体的包装器，这是一个 JSON 智能体 (JSON 在严格的顺序任务中仍然表现良好，比如网页浏览，其中你向下滚动，然后导航到新页面，等等)。这个智能体可以访问网页浏览工具:</li>
</ul>
</li>
</ul>
将智能体作为工具嵌入是一种简单的多智能体协调方法，但我们想看看它能走多远——结果它能走得相当远！
<h2 id="规划组件-️">规划组件 🗺️</h2>
目前有乱糟糟的一堆规划策略，所以我们选择了一个相对简单的预先计划工作流程。每隔 N 步，我们生成两件事情:
<ul>
<li>我们已知或可以从上下文中推导出的事实摘要和需要发现的事实</li>
<li>基于新观察和上述事实摘要，逐步制定解决任务的计划</li>
</ul>
可以调整参数 N 以在目标用例中获得更好的性能: 我们为管理智能体选择了 N=2，为网页搜索智能体选择了 N=5。
一个有趣的发现是，如果我们不提供计划的先前版本作为输入，得分会提高。直观的解释是，LLM 通常对上下文中任何相关信息有强烈的偏向。如果提示中存在先前版本的计划，LLM 可能会大量重复使用它，而不是在需要时重新评估方法并重新生成计划。
然后，将事实摘要和计划用作额外的上下文来生成下一步操作。规划通过在 LLM 面前展示实现目标的所有步骤和当前状态，鼓励 LLM 选择更好的路径。
<h2 id="结果-">结果 🏅</h2>
这是我们提交的最终代码。
我们在验证集上得到了 44.2% 的成绩: 这意味着 Transformers 智能体的 ReactCodeAgent 现在总体排名第一，比第二名高出 4 分！ 在测试集中，我们得到了 33.3% 的成绩，排名第二，超过了微软 Autogen 的提交，并且在硬核的第 3 级问题中获得了最高平均分。
<img src="https://img-s2.andfun.cn/devrel/posts/2024/07/d5607c3f03325.png">
这是一个支持代码操作效果更好的数据点。鉴于其效率，我们认为代码操作很快将取代 JSON/OAI 格式，成为智能体记录其操作的标准。
据我们所知，LangChain 和 LlamaIndex 不支持代码操作，微软的 Autogen 对代码操作有一些支持 (在 docker 容器中执行代码)，但它看起来是 JSON 操作的附属品。因此，Transformers Agents 是唯一将这种格式作为核心的库！
<h2 id="下一步">下一步</h2>
希望你喜欢阅读这篇博客！工作才刚刚开始，我们将继续改进 Transformers Agents，从多个方面入手:
<ul>
<li>LLM 引擎: 我们的提交使用了 GPT-4o (不幸的是)， 没有任何微调。我们的假设是，使用经过微调的 OS 模型可以消除解析错误，并获得更高的分数！</li>
<li>多智能体协调: 我们的协调方式较为简单，通过更无缝的协调，我们可能会取得更大的进展！</li>
<li>网页浏览器工具: 使用 <code>selenium</code> 包，我们可以拥有一个通过 cookie 横幅并加载 JavaScript 的网页浏览器，从而读取许多当前无法访问的页面。</li>
<li>进一步改进规划: 我们正在进行一些消融测试，采用文献中的其他选项，看看哪种方法效果最好。我们计划尝试现有组件的替代实现以及一些新组件。当我们有更多见解时，会发布我们的更新！</li>
</ul>
请在未来几个月关注 Transformers Agents！🚀
现在我们已经建立了智能体的内部专业知识，欢迎随时联系我们的用例，我们将很乐意提供帮助！🤝
<hr>
<blockquote>
英文原文: https://hf.co/blog/beating-gaia
原文作者: Aymeric Roucher, Sergei Petrov
译者: innovation64
</blockquote> 
来源：https://www.cnblogs.com/huggingface/p/18291426

頁: [1]

琼殿技术论坛's Archiver

GAIA: 一个严苛的智能体基准