吴恩达谈 AI Agent 设计模式：工具使用如何拓展模型能力

本文来自微信公众号：子非AI（ID：you_are_not_ai），作者：非子爱，原文标题：《吴恩达谈 AI Agent 设计模式：工具使用如何拓展模型能力》

 

 

工具使用通过让 AI 模型通过调用外部函数(tools)获取所需信息，从而扩展模型的应用场景。

 

 

 

 

在人工智能的发展历程中，语言模型长期存在天生的"短板"——仅依靠有限的知识库和训练数据，其能力是远远不够的。幸运的是，近年来兴起的"工具使用(Tool use)"模式，为语言模型注入了全新的生机，开启了它们无穷无尽的可能。

 

什么是工具使用模式?

 

工具使用模式赋予语言模型一种新的能力，即通过调用外部函数(tools)获取所需信息、执行特定操作或处理非文本数据。这些函数就相当于模型的"工具箱"。

 

最典型的例子是语言模型通过调用网页搜索引擎的函数，可以将互联网上海量信息纳入自身的知识库；也可以通过调用Python等编程语言的解释器函数，来执行复杂的计算任务；此外还能借助计算机视觉等工具，分析和理解图像等非文本数据。

 

工具使用模式的优势在于，它使语言模型能够突破原有的知识库和能力限制，连接和利用外部世界的海量信息资源、算力等，从而极大扩展了模型的应用场景。

 

 

 

 

工具使用的最新进展

 

最初的工具使用只局限于少数领域，如今则已得到了全面的拓展和实践。当前，语言模型可以接入检索各种数据源(网页、维基百科、学术文献等)、调用办公生产力工具(发送邮件、管理日历等)、利用计算机视觉进行图像处理等多种功能。

 

更令人振奋的是，一些顶尖的大型语言模型(如GPT-4)已经具备了工具使用的内生能力。研究人员还在探索智能选择恰当工具集合作为模型上下文输入的方法，以提高模型的适应性和自主性。

 

我们可以预见，未来语言模型将拥有规模宏大的"工具箱"，能够与成百上千种功能无缝连接，智能地调用所需工具组合以高效完成复杂任务。

 

工具使用如何拓展模型能力?

 

通过工具使用，语言模型不再被禁锢于有限的知识库范围内，而是可以充分利用海量的开放资源，弥补自身的"短板"。  

 

例如，当被问及"根据评论家的意见，哪款咖啡机是最好的"时，模型即使事先没有相关知识，也可通过调用搜索引擎函数，检索相关评测文章，从而给出准确回答。

 

此外，工具使用模式与语言模型其他设计模式(如反思、规划、多智能体协作等)形成有机互补，共同推动着人工智能系统向通用智能不断演进。

 

工具使用的挑战与前景

 

尽管工具使用模式已取得长足进展，但要实现真正的"通用"人工智能能力仍有重大挑战需要突破。当前相关技术仍不够成熟，难以大规模可靠部署；构建大规模工具库、智能调度工具等环节也面临诸多挑战。  

 

未来，优化工具使用策略、探索多模态工具接入、与其他AI设计模式的融合等将是重要研究方向。工具使用模式有希望成为人工智能系统通向通用智能的关键一步。

 

相关研究盘点

 

对于工具使用模式的研究，业界已经取得了一些重要进展，以下是几篇值得关注的代表性论文：

 

1. "Gorilla：Large Language Model Connected with Massive APIs"， Patil et al. (2023)

 

该论文提出了Gorilla系统，通过将大型语言模型连接上数百种API，实现了大规模的通用工具使用能力。系统使用启发式方法智能挑选相关工具集作为模型的上下文输入。

 

2. "MM-REACT：Prompting ChatGPT for Multimodal Reasoning and Action"， Yang et al. (2023)

 

这项研究探索了如何让ChatGPT等大型语言模型通过提示学习调用包括视觉、语音等多模态工具，并完成复杂的多步骤推理和决策任务。

 

3. "Efficient Tool Use with Chain-of-Abstraction Reasoning"， Gao et al. (2024)

 

论文提出了一种新颖的抽象链推理范式，让语言模型能够高效地组合和重用各种工具，解决复杂的组合优化问题。这为构建更强大的工具使用系统提供了新思路。

 

总结语展望

 

除上述代表性工作外，工具使用模式的最新研究进展还在持续渗透和影响语言模型及其应用的方方面面。相信在不久的将来，我们将见证工具使用带来的更多创新和突破。 

 

总的来说，通过赋予语言模型工具使用的全新能力，我们的确为人工智能系统迈向"通用智能"拓展了更加广阔的可能。当前，工具使用模式虽仍处于起步阶段，但就已经在多领域展现出了令人鼓舞的前景。展望未来，工具使用必将成为人工智能发展的重要推动力，为构建真正的"通用智能"贡献关键一步。

 

参考原文：https://www.deeplearning.ai/the-batch/issue-243/

 

 

 

本文来自微信公众号：子非AI（ID：you_are_not_ai），作者：非子爱