主题

微软+罗格斯大学提出：使用交互式推测解码赋能Agent，将智能体规划速度提高一倍！

时间

2024.11.3 10:00-11:00 周日

入群

内容

论文：Interactive Speculative Planning: Enhance Agent Efficiency through Co-design of System and User Interface
链接：https://arxiv.org/pdf/2410.00079
单位：罗格斯大学、微软

智能体作为用户中心的工具，越来越多地用于解决复杂任务，例如生成思路、与用户互动、制定行动计划、执行计划等等。然而，基于大规模语言模型（LLM）的智能体往往因以下两个主要因素而面临较高的规划延迟：

• 基础LLM的效率限制：由于模型规模大且需求量高，影响了其效率。

• 智能体的结构复杂性：由于需要生成大量中间思路以产生最终输出，增加了延迟。

考虑到服务效率低下会削弱自动化对用户的价值，本文提出了一种以人为中心的高效智能体规划方法——交互式推测性规划（Interactive Speculative Planning）。该方法通过系统设计和人机交互提升智能体规划的效率。我们的方法主张智能体系统与用户界面的协同设计，构建一个能够灵活处理用户交互的智能体加速系统。通过将用户为中断和输入作为系统的基本组成部分，我们不仅提升了用户中心性，还通过用户在心痛的互动加快了整体流程，提供准确的中间步骤。

系统层面的算法

系统层面的算法是推测性规划，其灵感来自推测性解码：该算法利用两个智能体系统：

• 一个高效但能力较弱的近似智能体

• 一个较慢但更强大的目标智能体 对于每个任务，近似智能体按顺序生成操作步骤。同时，对于近似智能体生成的每一步操作，目标智能体被异步调用，以当前由近似智能体生成的轨迹作为临时前缀来生成下一步。在这一过程中，对近似智能体的调用是顺序的，而对目标智能体的调用是异步的。对于每个操作步骤，如果近似智能体和目标智能体的输出一致，则继续流程；如果不一致，近似智能体将被中止，其输出将被目标智能体的输出替换，以确保性能不受影响。

这种策略在最优的情况下可以将目标智能体完成任务的时间缩短到近似智能体的完成时间，从而提高时间效率。需要注意的是，尽管我们考虑的是单一用户界面的智能体系统，但系统后端可以采用各种架构，包括多智能体设计。

用户界面的算法

需要注意的是，在推测性规划算法下，目标智能体的调用是异步的，导致输出是非顺序的。为了便于用户交互，我们设计了一个UI级的重排算法，该算法将近似智能体和目标智能体的结果按顺序、清晰地呈现。

输出的顺序展示使用户能够准确感知目标智能体带来的计算延迟。因此，当计算步骤较长或结果出现错误时，用户可以酌情介入过程。

这种方法不同于传统的推测性解码，传统方法通常仅依赖概率分布来判断是否接受近似智能体的结果。相比之下，交互式推测性规划允许人类在任何时候主动打断且参与决策过程，使用户能够中断较长的流程并评估是否接受或补充算法结果。这种人机协作的方式使系统更加以用户为中心并提高效率。

方法总结

通过用户的主动干预，交互式推测性规划可视为一种包含三种智能体的交互框架：近似智能体、目标智能体和人类智能体。这三种智能体协作并交替操作，共同加速整个智能体规划过程。

分析&实验

文章分析了算法在时间延迟，生成token总数，以及并行线程数量等方面的的best case, average, worst case，并且在实验上验证了算法的有效性

实验数据：

• OpenAGI是一个用于复杂任务智能体规划的基准，构建于计算机视觉和自然语言处理相关任务之上。智能体可使用的工具包括“情感分析”“机器翻译”“物体检测”“视觉问答”等。

• TravelPlanner是一个专注于旅行规划的基准。例如，一个任务是“请为我规划一个旅行行程。我将从辛辛那提出发前往诺福克，停留三天，旅行日期为2022年3月10日至3月12日。我的预算是$1,400。

嘉宾

I’m Wenyue Hua, postdoctoral researcher at University of California, Santa Barbara, working with Professor William Wang. I obtained my Ph.D. degree from Rutgers University, New Brunswick (2020 - 2024). I’m honored to be advised by Prof. Yongfeng Zhang. I received MA in Linguistics at Rutgers in 2020 (proudly advised by Prof. Adam Jardine) and BA in Linguistics and Philosophy and BS in Mathematics at UCLA in 2018 (proudly advised by Prof. Edward Keenan).

My research interests lie in Large Language Models and its various application, such as LLM-based agent, multi-agent system, LLM for social good, LLM-based recommender system, information retrieval. I care about the trustworthiness, safety, and efficiency of LLMs.

最近的EMNLP2024分享会录播