具身智能(Embodied AI):当 Agent 拥有了身体


0. 开篇:从 ChatGPT 的“纸上谈兵”到 Figure 01 的“动手动脚”

各位开发者朋友们,大家好!我是你们的老架构师兼技术博主,一个在科技行业摸爬滚打15年的“老程序员”——前14年我都在和“无身”的代码、Agent打交道:写后端服务、构建微服务集群、优化机器学习模型、搞自然语言处理的Agent调度系统,它们要么是运行在服务器集群里的“软件程序,要么是运行在云端 GPU/TPU 集群里的“数字大脑”——哪怕是像 GPT-4o 这样能看图说话能生成代码能做数学题,本质上还是一个符号世界里的“隐士”:它看不见、听不见、摸不着、动不了,所有的输入输出都是一串字符串、一张图片、一段音频的“数字符号流”——它对“拿起杯子要用力气”“擦桌子要顺时针还是逆时针擦得干净”“脚踩台阶的边缘要小心摔倒”这些“物理世界的基本常识”,其实是从海量的文本、视频、图片数据里“统计推断”出来的,是“别人告诉它的”或者“看别人做过的”,而不是**自己亲手、亲身“试”出来的、“感受”出来的。

但2024年3月19日OpenAI投资的机器人公司Figure AI发布的一段Figure 01与GPT-4o协作的演示视频,直接把这种“纸上谈兵”的传统符号Agent打了个措手不及——视频里的Figure 01人形机器人站在厨房里,戴着麦克风摄像头麦克风摄像头的组合传感器(其实这就是它的“眼睛”和“耳朵”),人类对它说:“嘿,Figure 01,我渴了,给我拿点喝的。”它没有直接去拿冰箱里的矿泉水,而是看了看桌上的人类喝完剩下的空矿泉水瓶、冰箱门上贴的便签纸(纸上写着“Please put dirty dishes in the sink”)、厨房台面上的纸巾、冰箱门:它先是走向冰箱,拉开门,看了看里面——咦,没矿泉水?不对不对,哦不对原视频好像是有矿泉水,或者是另一个演示?哦不管了,原经典Figure 01擦桌子那次更直观:另一个场景里,人类把桌上的杯子碰倒了,水洒在桌上,人类还在敲键盘假装没看见,Figure 01先是“看”到了洒在桌上的水,然后走到厨房拿了一张纸巾,叠了一下(对,原视频里还叠了一下!叠了更吸水!),然后走到桌边,用手臂轻轻压着纸巾,顺时针擦了擦桌子,擦干净了,然后把纸巾扔进垃圾桶——整个过程没有任何预编程的指令,完全是基于Figure 01的“感知-思考-行动”的实时闭环

这段演示视频让整个科技界炸锅了——从那之后,“具身智能(Embodied AI)”这个之前在学术圈讨论了几十年的“冷门”领域,一下子成了科技媒体、投资人、开发者们争相讨论的热点话题:什么是具身智能?具身智能和传统的符号Agent有什么区别?具身智能是怎么实现的?具身智能的核心技术是什么?我们普通开发者怎么入门具身智能?具身智能的未来是什么样的?

今天这篇文章,我就用我15年的架构师经验、和最近半年泡在具身智能开源项目里的“动手实践经验,来和大家好好聊聊这个“即将改变我们未来生活的领域——具身智能:当Agent拥有了身体。


1. 核心概念:什么是具身智能?

1.1 问题背景

要理解什么是具身智能,我们得先从“传统人工智能的发展历史说起——因为具身智能本质上是对传统人工智能的“**符号主义”和“**联结主义”(深度学习)的“**补全”和“**超越”。

1.1.1 传统符号主义AI:符号世界的“逻辑隐士”

人工智能的发展最早可以追溯到1956年的达特茅斯会议——在那次会议上,约翰·麦卡锡(John McCarthy)、马文·明斯基(Marvin Minsky)、赫伯特·西蒙(Herbert Simon)、艾伦·纽厄尔(Allen Newell)等一批天才科学家们,正式提出了“**人工智能(Artificial Intelligence)”这个概念,并明确了人工智能的目标:“**创造一种机器,这种机器能够执行需要人类智能才能完成的任务。”

在达特茅斯会议之后的几十年里,**符号主义(Symbolicism),也叫“**逻辑主义”“**专家系统”,一直是人工智能的主流方向——符号主义认为,“**人类的智能本质上是对符号的处理:人类的知识可以用符号(比如文字、数学公式、逻辑规则)来表示,人类的推理可以用逻辑推理规则(比如三段论、假言推理)来实现,人类的决策可以用符号规则库(比如专家系统的规则库)来完成。

符号主义AI的代表作品有很多:比如赫伯特·西蒙和艾伦·纽厄尔开发的“**逻辑理论家(Logic Theorist)”——这是第一个能够自动证明数学定理的计算机程序,它成功证明了罗素和怀特海的《数学原理》第二章中的38个定理;比如IBM的“**深蓝(Deep Blue)”——1997年,深蓝战胜了国际象棋世界冠军加里·卡斯帕罗夫;比如“**专家系统”——比如医疗领域的MYCIN专家系统,它能够根据患者的症状、体征、实验室检查结果,通过逻辑推理,给出患者的诊断和治疗建议。

但是,符号主义AI有一个**致命的缺陷:**它只能处理“**明确定义的、封闭的、静态的符号世界的任务”——比如国际象棋的规则是明确的、封闭的(只有64个格子、32个棋子、固定的走法规则)、静态的(棋盘不会自己动、棋子不会自己变化);比如MYCIN专家系统的任务是明确的(只处理特定的细菌感染疾病、规则库是封闭的(由医学专家们手动编写的)、静态的(规则库不会自己更新)。

一旦任务变得“**模糊的、开放的、动态的物理世界的任务”——比如“拿起桌上的杯子”“擦干净洒在桌上的水”“从家里走到楼下的便利店买瓶矿泉水”,符号主义AI就完全束手无策了——因为物理世界里的一切都是模糊的:杯子的形状可能不一样、位置可能不一样、重量可能不一样、表面可能滑可能不滑;擦桌子的力度可能不一样、桌子的材质可能不一样、水洒的面积可能不一样;从家里走到楼下的路可能有障碍物(比如今天楼下的台阶、楼下的小孩、楼下的自行车)、路可能是湿的、路可能是滑的。

更重要的是,符号主义AI**无法获取“**物理世界的基本常识”——也就是我们人类从出生到长大,通过不断地摸爬滚打,通过不断地试错,通过不断地感知和行动,慢慢积累起来的“**隐性知识(Tacit Knowledge)——比如“杯子掉在地上会碎、水往低处流、脚踩在湿滑的地上会摔倒、用力按电梯按钮电梯门会开、开门要先握住门把手然后转动然后拉或者推——这些隐性知识,我们人类“**根本不需要用符号来表示,根本不需要用逻辑推理来推导,我们“本能”就知道——但符号主义AI不一样,这些隐性知识必须由人类手动编写成符号规则,否则符号主义AI才能用——但问题是,这些隐性知识的数量是无穷无尽的,人类根本不可能把它们全部编写成符号规则。

1.1.2 传统联结主义AI(深度学习):数据世界的“统计隐士”

到了20世纪80年代末90年代初,符号主义AI的发展遇到了瓶颈——“**专家系统的知识获取瓶颈”“**专家系统的维护瓶颈”“**专家系统的可扩展性瓶颈”——这时候,**联结主义(Connectionism),也叫“人工神经网络(Artificial Neural Networks)”,重新回到了人们的视野——特别是2012年,AlexNet在ImageNet图像识别大赛上取得了突破性的成绩——AlexNet的Top-5错误率只有15.3%,比第二名的26.2%低了整整10.9个百分点——这标志着深度学习(Deep Learning)时代的正式到来。

深度学习认为,“**人类的智能本质上是对数据的统计学习:人类的知识可以用神经网络的权重参数来表示,人类的推理可以用神经网络的前向传播来实现,人类的决策可以用神经网络的输出概率分布来完成——不需要人类手动编写符号规则,只需要给神经网络喂大量的“输入-输出”对数据,神经网络就可以通过反向传播(Backpropagation)算法,自动学习到输入和输出之间的“**统计规律”。

深度学习的代表作品也有很多:比如Google的“**AlphaGo”——2016年,AlphaGo战胜了围棋世界冠军李世石;比如OpenAI的“**ChatGPT”——2022年11月发布的ChatGPT-3.5,直接引爆了整个科技界,它能够写代码、写文章、做翻译、做数学题、和人类对话;比如GPT-4o——能够看图说话、看图生成代码、看图做数学题。

但是,深度学习AI(特别是大语言模型LLMs和多模态大语言模型MLLMs),虽然解决了符号主义AI的“**知识获取瓶颈”“**知识表示瓶颈”“**知识推理瓶颈”——它能够从海量的文本、视频、图片数据里,自动学习到“**显式知识”和“隐性知识”——但它仍然有一个致命的缺陷:**它仍然是一个“**数据世界的统计隐士”——它看不见、听不见、摸不着、动不了,所有的输入输出都是一串字符串、一张图片、一段音频的“**数字符号流”——它对“**拿起杯子要用力气”“**擦桌子要顺时针还是逆时针擦得干净”“**脚踩台阶的边缘要小心摔倒”这些“物理世界的基本常识”,其实是从海量的文本、视频、图片数据里“**统计推断”出来的,是“**别人告诉它的”或者“看别人做过的”,而不是自己亲手、亲身“**试”出来的、“**感受”出来的。

举个简单的例子:你问GPT-4o:“嘿,GPT-4o,我现在有一个杯子,杯子里装满了热水,我现在要把它从桌子的左边移到右边,我应该怎么做?”GPT-4o会给你一个非常完美的回答:“首先,你要走到桌子的左边,用你的右手(假设你是右撇子),轻轻地握住杯子的把手(假设杯子有把手),如果没有把手,你要轻轻地握住杯子的中下部,然后慢慢地、平稳地把杯子从左边移到右边,注意不要让热水洒出来,然后轻轻地把杯子放在桌子的右边。”——但是,如果你真的让GPT-4o控制一个机器人去做这件事,它很可能会失败:因为它不知道“**轻轻地握住”到底要用多大的力气?力气太小了,杯子会掉下来;力气太大了,杯子会被捏碎。它不知道“**慢慢地、平稳地”到底要用多大的速度?速度太快了,热水会洒出来;速度太慢了,效率太低。它不知道“**中下部”到底是杯子的哪个位置?位置太高了,杯子会翻倒;位置太低了,手会碰到热水。

为什么会这样?因为GPT-4o没有“**身体”——没有“**传感器”(眼睛、耳朵、触觉传感器、前庭觉传感器、本体觉传感器),没有“**执行器”(手、脚、手臂、腿、关节),没有“**物理世界的交互经验”——它所有的知识都是“**间接的”,都是“**从别人的经验里统计出来的”,而不是“**直接的”,不是“**自己的经验里积累出来的”。

1.1.3 具身智能的诞生:从“纸上谈兵”到“动手动脚”

正是因为符号主义AI和传统联结主义AI(深度学习)都有这样的致命缺陷——无法和物理世界直接交互,无法获取物理世界的直接交互经验,无法适应开放的、动态的、模糊的物理世界的任务——所以,**具身智能(Embodied AI)**这个概念,就应运而生了。

具身智能的概念最早可以追溯到20世纪80年代末90年代初——由麻省理工学院(MIT)的**罗德尼·布鲁克斯(Rodney Brooks)教授提出的——布鲁克斯教授在1986年发表了一篇著名的论文,叫《大象不会下棋(Elephants Don’t Play Chess)》——在这篇论文里,布鲁克斯教授提出了一个非常激进的观点:智能是身体的产物,智能不能脱离身体而存在;智能是在和物理世界的交互中产生的,智能不能在封闭的符号世界或者数据世界里产生;要创造真正的智能,我们必须给Agent一个身体,让它和物理世界直接交互,让它通过感知和行动,自己积累物理世界的交互经验。

布鲁克斯教授还在MIT的人工智能实验室(AI Lab)里,开发了一系列的“**行为机器人”——比如“**艾伦(Allen)”“**赫伯特(Herbert)”“**成吉思汗(Genghis)”——这些行为机器人没有中央控制系统,没有符号规则库,没有神经网络,它们只有一系列的“**简单的行为模块”——比如“**避障模块”“**导航模块”“**捡垃圾模块”——这些行为模块之间通过“**优先级调度器”来调度,优先级高的行为模块会覆盖优先级低的行为模块——比如“**避障模块”的优先级最高,不管机器人在做什么,只要它“**看”到了障碍物,它就会立刻停止当前的行为,开始避障。

这些行为机器人虽然看起来很简单,但是它们却能够完成一些非常复杂的物理世界的任务——比如“**成吉思汗”机器人,它是一个六足机器人,它能够在崎岖不平的地面上行走,能够爬楼梯,能够躲避障碍物;比如“**赫伯特”机器人,它能够在MIT的AI Lab里,捡起地上的易拉罐,把它们扔进垃圾桶——整个过程没有任何预编程的指令,完全是基于它的“**感知-行动”的实时闭环!

布鲁克斯教授的这些行为机器人,虽然没有用到我们今天的深度学习,但是它们却奠定了具身智能的核心思想——“**具身性(Embodiment)”“**情境性(Situatedness)”“**交互性(Interaction)”“**自组织性(Self-Organization)”。

1.2 问题描述

好了,讲完了问题背景,我们现在来正式地定义一下具身智能——不过,这里有一个问题:具身智能目前还没有一个统一的、被所有人都认可的定义**——不同的学者、不同的研究机构、不同的公司,对具身智能的定义都不一样——不过,综合一下,我(老程序员)根据自己的理解和实践经验,给具身智能下了一个我认为比较准确、比较全面的定义:

具身智能(Embodied AI)是指一种具有物理身体(Physical Body)或虚拟身体(Virtual Body)的智能体(Agent)——这种智能体能够通过传感器(Sensors)(比如摄像头、麦克风、触觉传感器、前庭觉传感器、本体觉传感器、激光雷达、超声波传感器)感知物理世界或虚拟世界的状态,能够通过执行器(Actuators)(比如电机、舵机、液压系统、气动系统、虚拟骨骼、虚拟肌肉)作用于物理世界或虚拟世界,能够通过感知-思考-行动的实时闭环(Perception-Cognition-Action Loop)自主地自适应地自组织地完成开放的、动态的、模糊的物理世界或虚拟世界的任务**,并且能够在和物理世界或虚拟世界的交互中,不断地学习不断地进化不断地积累经验不断地提升自己的智能水平

从这个定义里,我们可以看出,具身智能有四个核心要素

  1. **身体(Body):具身智能Agent必须有一个物理身体或虚拟身体——身体是具身智能Agent和物理世界或虚拟世界交互的“**接口”“**载体”“**工具”——没有身体,具身智能Agent就无法和物理世界或虚拟世界直接交互。
  2. **传感器(Sensors):具身智能Agent必须有传感器——传感器是具身智能Agent的“**眼睛”“**耳朵”“**皮肤”“**耳朵”“平衡器官”“肌肉感知器官”——传感器能够帮助具身智能Agent感知物理世界或虚拟世界的状态——比如物体的位置、形状、颜色、温度、重量、摩擦力、自己身体的姿态、速度、加速度、自己关节的角度、力矩——没有传感器,具身智能Agent就无法“**知道”物理世界或虚拟世界发生了什么。
  3. **执行器(Actuators):具身智能Agent必须有执行器——执行器是具身智能Agent的“**手”“**脚”“**手臂”“腿”“关节”——执行器能够帮助具身智能Agent作用于物理世界或虚拟世界——比如移动身体、拿起物体、放下物体、推物体、拉物体、擦桌子、走路、爬楼梯——没有执行器,具身智能Agent就无法“**改变”物理世界或虚拟世界的状态。
  4. **感知-思考-行动的实时闭环(Perception-Cognition-Action Loop):具身智能Agent必须有一个感知-思考-行动的实时闭环——这是具身智能的“**核心”“**灵魂”——感知-思考-行动的实时闭环是指:具身智能Agent先通过传感器感知物理世界或虚拟世界的状态,然后通过“**思考”(也就是决策、规划、推理),决定下一步要做什么,然后通过执行器作用于物理世界或虚拟世界,然后再通过传感器感知物理世界或虚拟世界的新状态,然后再思考,再行动,再感知,循环往复,直到任务完成——没有这个实时闭环,具身智能Agent就无法“**自主地”“**自适应地”“**自组织地”完成任务。

1.3 问题解决

具身智能到底解决了传统符号主义AI和传统联结主义AI(深度学习)的哪些问题呢?

具身智能主要解决了以下三个核心问题

  1. **解决了“**知识获取瓶颈”:**具身智能Agent能够通过和物理世界或虚拟世界的直接交互,自主地自组织地获取“**直接的”“**隐性的”物理世界的基本常识——不需要人类手动编写符号规则,不需要人类喂大量的“**输入-输出”对数据——比如一个具身智能机器人,它可以通过不断地尝试拿起不同形状、不同重量、不同材质的杯子,慢慢学习到“**拿起杯子要用多大的力气”“**握住杯子的哪个位置最合适”“**移动杯子要用多大的速度”——这些知识都是它自己“**试”出来的,是它自己的“**身体记忆”。
  2. **解决了“物理世界的适应性问题”:具身智能Agent能够通过感知-思考-行动的实时闭环,自主地自适应地适应开放的、动态的、模糊的物理世界或虚拟世界的变化——比如一个具身智能机器人,它正在从家里走到楼下的便利店买瓶矿泉水,突然路上出现了一个小孩在跑,它可以立刻通过传感器感知到这个小孩的位置、速度、方向,然后立刻思考,改变自己的路线,避开这个小孩,然后继续往前走——整个过程没有任何预编程的指令,完全是实时的、自适应的。
  3. **解决了“**真正的智能的问题”:**传统符号主义AI和传统联结主义AI(深度学习)的智能,本质上都是“**模拟的智能”“**弱人工智能(Narrow AI)”“**专用人工智能”——它们只能完成特定的任务,比如国际象棋、围棋、图像识别、自然语言处理——但具身智能的智能,本质上是“**真正的智能”“**通用人工智能(AGI)”“**强人工智能”的雏形——因为具身智能Agent能够像人类一样,通过和物理世界的直接交互,不断地学习,不断地进化,不断地积累经验,不断地提升自己的智能水平,最终能够完成各种各样的开放的、动态的、模糊的物理世界的任务——比如做家务、照顾老人、照顾小孩、开车、做饭、打扫卫生、修理东西——这些都是人类每天都在做的事情,也是传统符号主义AI和传统联结主义AI(深度学习)根本无法完成的事情。

1.4 边界与外延

好了,讲完了什么是具身智能,讲完了具身智能解决了什么问题,我们现在来讲讲具身智能的边界与外延——也就是哪些属于具身智能的范畴,哪些不属于具身智能的范畴。

1.4.1 具身智能的边界

具身智能的边界主要有以下四个

  1. **必须有身体:这是具身智能的最基本的边界——没有身体的Agent,不管它有多智能,都不属于具身智能的范畴——比如ChatGPT、GPT-4o、Midjourney、Stable Diffusion——这些都是“**无身智能Agent”,都不属于具身智能的范畴。
  2. **必须有传感器和执行器:**只有身体,没有传感器和执行器的Agent,也不属于具身智能的范畴——比如一个放在桌上的石头,它有身体,但它没有传感器和执行器,它无法感知物理世界的状态,也无法作用于物理世界,所以它不属于具身智能的范畴。
  3. 必须有感知-思考-行动的实时闭环:只有身体、传感器和执行器,没有感知-思考-行动的实时闭环的Agent,也不属于具身智能的范畴——比如一个传统的工业机器人,它有身体、传感器和执行器,但它的所有动作都是预编程的,它没有感知-思考-行动的实时闭环,它无法自主地、自适应地适应物理世界的变化——比如如果桌上的杯子的位置稍微偏了一点,它就会拿不到杯子,所以它不属于具身智能的范畴。
  4. **必须能够自主地、自适应地、自组织地完成开放的、动态的、模糊的任务:**只有身体、传感器、执行器和感知-思考-行动的实时闭环,但只能完成封闭的、静态的、明确的任务的Agent,也不属于具身智能的范畴——比如一个传统的扫地机器人(比如早期的iRobot Roomba的早期型号),它有身体、传感器、执行器和感知-思考-行动的实时闭环,但它只能完成“在封闭的房间里扫地”这个相对封闭的、相对静态的、相对明确的任务——它无法自主地、自适应地、自组织地完成“把地上的垃圾捡起来扔进垃圾桶”这个开放的、动态的、模糊的任务——所以它不属于具身智能的范畴,但它属于弱具身智能(Weak Embodied AI)的范畴——而像Figure 01、波士顿动力的Atlas、Spot Mini则属于强具身智能(Strong Embodied AI)的范畴。
1.4.2 具身智能的外延

具身智能的外延非常广泛——不仅仅包括物理机器人(Physical Robots),还包括虚拟机器人(Virtual Robots)数字孪生(Digital Twins)、**增强现实(AR)Agent、**虚拟现实(VR)Agent、**混合现实(MR)Agent、可穿戴设备(Wearable Devices)脑机接口(BCI)控制的机器人自动驾驶汽车(Autonomous Vehicles)——只要这些Agent满足具身智能的四个核心要素,它们都属于具身智能的范畴。

举几个例子:

  1. **虚拟机器人(Virtual Robots):**比如在游戏《我的世界(Minecraft)》里的虚拟机器人,它们有虚拟身体、虚拟传感器、虚拟执行器、感知-思考-行动的实时闭环,它们能够自主地、自适应地、自组织地完成“**挖矿”“**建造房子”“**打怪”这些开放的、动态的、模糊的虚拟世界的任务——它们属于具身智能的范畴。
  2. **数字孪生(Digital Twins):**比如一个工厂的数字孪生机器人,它有虚拟身体(对应物理工厂的机器人的数字模型)、虚拟传感器(对应物理工厂的机器人的传感器的数字模型)、虚拟执行器(对应物理工厂的机器人的执行器的数字模型)、感知-思考-行动的实时闭环(数字孪生机器人的感知数据来自物理工厂的机器人的传感器的实时数据,数字孪生机器人的行动指令会发送给物理工厂的机器人的执行器)——它们属于具身智能的范畴。
  3. **自动驾驶汽车(Autonomous Vehicles):**比如特斯拉的FSD(Full Self-Driving)自动驾驶汽车,它有物理身体(汽车本身)、传感器(摄像头、毫米波雷达、超声波传感器)、执行器(方向盘、油门、刹车)、感知-思考-行动的实时闭环——它们属于具身智能的范畴。

1.5 概念结构与核心要素组成

好了,讲完了具身智能的边界与外延,我们现在来讲讲具身智能的概念结构与核心要素组成——我们可以把具身智能的概念结构分成五层,从下到上依次是:

  1. 物理/虚拟世界层(Physical/Virtual World Layer):这是具身智能的最底层——它是具身智能Agent存在的环境,是具身智能Agent感知和行动的对象——比如真实的物理世界、游戏《我的世界》里的虚拟世界、工厂的数字孪生虚拟世界。
  2. 身体层(Body Layer):这是具身智能的第二层——它是具身智能Agent和物理/虚拟世界交互的“**接口”“**载体”“**工具”——比如Figure 01的人形身体、Spot Mini的四足身体、自动驾驶汽车的汽车身体、《我的世界》里的虚拟机器人的方块身体。
  3. 感知与执行层(Perception and Action Layer):这是具身智能的第三层——它包括传感器子层执行器子层——传感器子层负责感知物理/虚拟世界的状态和自己身体的状态;执行器子层负责作用于物理/虚拟世界和自己的身体。
  4. 认知与决策层(Cognition and Decision Layer):这是具身智能的第四层——它是具身智能的“大脑”——它负责处理感知到的数据,进行推理、规划、决策,生成行动指令——这一层通常包括感知处理模块**(比如目标检测、图像分割、姿态估计、语义分割、自然语言理解)、世界模型模块(比如状态估计、环境建模、物理引擎)、规划模块(比如运动规划、任务规划)、决策模块(比如强化学习决策、模仿学习决策、大语言模型决策)、学习模块(比如强化学习、模仿学习、迁移学习、元学习)。
  5. 交互与协作层(Interaction and Collaboration Layer):这是具身智能的最高层——它负责具身智能Agent和人类的交互、具身智能Agent和其他具身智能Agent的协作——比如自然语言交互、手势交互、眼神交互、多机器人协作。

为了让大家更直观地理解具身智能的概念结构与核心要素组成,我画了一张具身智能概念结构与核心要素组成的文本示意图

┌─────────────────────────────────────────────────────────────────┐
│ 交互与协作层(Interaction and Collaboration Layer)                  │
│ ┌───────────────┐  ┌───────────────┐  ┌───────────────┐ │
│ │ 人类交互模块   │  │ 多Agent协作   │  │ 社会规范模块   │ │
│ │ - 自然语言交互 │  │ - 任务分配    │  │ - 伦理道德    │ │
│ │ - 手势交互    │  │ - 资源共享    │  │ - 安全规则    │ │
│ │ - 眼神交互    │  │ - 通信协调    │  │ - 隐私保护    │ │
│ └───────────────┘  └───────────────┘  └───────────────┘ │
└─────────────────────────────────────────────────────────────────┘
                              ↑ ↓
┌─────────────────────────────────────────────────────────────────┐
│ 认知与决策层(Cognition and Decision Layer)                  │
│ ┌───────────────┐  ┌───────────────┐  ┌───────────────┐ │
│ │ 感知处理模块   │  │ 世界模型模块   │  │ 规划模块       │ │
│ │ - 目标检测    │  │ - 状态估计    │  │ - 任务规划    │ │
│ │ - 图像分割    │  │ - 环境建模    │  │ - 运动规划    │ │
│ │ - 姿态估计    │  │ - 物理引擎    │  │ - 路径规划    │ │
│ └───────────────┘  └───────────────┘  └───────────────┘ │
│ ┌───────────────┐  ┌───────────────┐                          │
│ │ 决策模块     │  │ 学习模块       │                          │
│ │ - 强化学习    │  │ - 强化学习    │                          │
│ │ - 模仿学习    │  │ - 模仿学习    │                          │
│ │ - LLM决策    │  │ - 迁移学习    │                          │
│ │ - 规则决策    │  │ - 元学习      │                          │
│ └───────────────┘  └───────────────┘                          │
└─────────────────────────────────────────────────────────────────┘
                              ↑ ↓
┌─────────────────────────────────────────────────────────────────┐
│ 感知与执行层(Perception and Action Layer)                    │
│ ┌─────────────────────────────┐  ┌─────────────────────────────┐ │
│ │ 传感器子层(Sensor Sub-Layer)│  │ 执行器子层(Actuator Sub-Layer)│ │
│ │ - 视觉传感器(摄像头、LiDAR)│  │ - 运动执行器(电机、舵机)│ │
│ │ - 听觉传感器(麦克风)      │  │ - 操作执行器(机械手)     │ │
│ │ - 触觉传感器(力传感器、触觉阵列)││ - 姿态执行器(关节)     │ │
│ │ - 本体觉传感器(IMU、编码器)│  │ - 能量执行器(油门、刹车)│ │
│ │ - 前庭觉传感器(陀螺仪)    │  │ - 语音执行器(扬声器)     │ │
│ └─────────────────────────────┘  └─────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────┘
                              ↑ ↓
┌─────────────────────────────────────────────────────────────────┐
│ 身体层(Body Layer)                                            │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 物理身体/虚拟身体:人形、四足、轮式、履带式、飞行式、虚拟方块式 │ │
│ └─────────────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────┘
                              ↑ ↓
┌─────────────────────────────────────────────────────────────────┐
│ 物理/虚拟世界层(Physical/Virtual World Layer)                  │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 真实物理世界:家庭、工厂、医院、学校、街道、户外             │ │
│ │ 虚拟世界:Minecraft、Roblox、GTA、数字孪生虚拟世界          │ │
│ └─────────────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────┘

同时,我也用Mermaid.js画了一张具身智能概念结构与核心要素组成的架构图

交互与协作层

人类交互模块
自然语言/手势/眼神

多Agent协作模块
任务分配/资源共享/通信协调

社会规范模块
伦理道德/安全规则/隐私保护

认知与决策层

感知处理模块
目标检测/图像分割/姿态估计

世界模型模块
状态估计/环境建模/物理引擎

规划模块
任务规划/运动规划/路径规划

决策模块
强化学习/模仿学习/LLM决策

学习模块
强化学习/模仿学习/迁移学习/元学习

感知与执行层

执行器子层

运动执行器
电机/舵机

操作执行器
机械手

姿态执行器
关节

能量执行器
油门/刹车

语音执行器
扬声器

传感器子层

视觉传感器
摄像头/LiDAR/超声波

听觉传感器
麦克风

触觉传感器
力传感器/触觉阵列

本体觉传感器
IMU/编码器

前庭觉传感器
陀螺仪

身体层

物理身体
人形/四足/轮式/飞行式

虚拟身体
方块式/动画式

物理/虚拟世界层

真实物理世界
家庭/工厂/医院/街道

虚拟世界
Minecraft/Roblox/数字孪生

1.6 概念之间的关系:核心属性维度对比 & 概念联系的ER实体关系架构图 & 交互关系图

好了,讲完了具身智能的概念结构与核心要素组成,我们现在来讲讲具身智能和传统符号主义AI、传统联结主义AI(深度学习)、弱人工智能(Narrow AI)、通用人工智能(AGI)之间的关系——我们先从核心属性维度对比开始讲起。

1.6.1 核心属性维度对比:具身智能 vs 传统符号主义AI vs 传统联结主义AI vs Narrow AI vs AGI

我整理了一张核心属性维度对比的Markdown表格,这张表格从12个核心属性维度对比了具身智能和传统符号主义AI、传统联结主义AI、Narrow AI、AGI:

核心属性维度传统符号主义AI传统联结主义AI(深度学习)弱具身智能(Weak Embodied AI)强具身智能(Strong Embodied AI)弱人工智能(Narrow AI)通用人工智能(AGI)
是否有身体❌ 无❌ 无✅ 有(物理/虚拟)✅ 有(物理/虚拟)❌/✅ 可选✅ 必须有(或虚拟也算)
是否有传感器❌ 无❌ 无(只有数据输入是间接的)✅ 有(简单的)✅ 有(复杂的多模态)❌/✅ 可选✅ 必须有
是否有执行器❌ 无❌ 无(只有数据输出是间接的)✅ 有(简单的)✅ 有(复杂的)❌/✅ 可选✅ 必须有
是否有感知-思考-行动实时闭环❌ 无❌ 无(只有数据输入-处理-输出的非实时开环)✅ 有(简单的)✅ 有(复杂的、强实时的)❌/✅ 可选✅ 必须有
知识来源人类手动编写的符号规则海量的“输入-输出”对数据统计学习简单的预编程规则 + 简单的统计学习自己和物理/虚拟世界的直接交互经验 + 海量的“输入-输出”对数据统计学习符号规则/统计学习自己和物理/虚拟世界的直接交互经验 + 统计学习 + 符号推理
知识类型显式的符号知识显式的符号知识 + 隐性的统计知识显式的符号知识 + 简单的隐性知识显式的符号知识 + 复杂的隐性身体记忆知识显式的符号知识 + 隐性的统计知识显式的符号知识 + 复杂的隐性身体记忆知识 + 社会常识知识
是否能适应开放的、动态的、模糊的任务❌ 不能❌ 不能(只能适应封闭的、静态的、明确的任务或相对开放的任务)✅ 能(只能适应相对封闭的、相对静态的、相对明确的任务)✅ 能(完全适应)❌/✅ 部分能✅ 能(完全适应)
是否能自主学习❌ 不能(知识必须由人类手动更新)✅ 能(监督学习、无监督学习、半监督学习)✅ 能(简单的在线学习)✅ 能(强化学习、模仿学习、迁移学习、元学习、终身学习)❌/✅ 部分能✅ 能(终身学习)
智能类型专用符号推理智能专用统计学习智能专用弱具身智能通用强具身智能雏形专用人工智能通用人工智能
是否能和人类自然交互❌ 不能(只能通过预定义的符号接口交互)✅ 能(自然语言交互、多模态交互)✅ 能(简单的交互)✅ 能(自然语言交互、手势交互、眼神交互、情感交互)❌/✅ 部分能✅ 能(完全自然的交互)
代表作品逻辑理论家、深蓝、MYCIN专家系统AlexNet、AlphaGo、ChatGPT-4o早期的iRobot Roomba、大疆精灵无人机Figure 01、波士顿动力Atlas、Spot Mini所有传统符号主义AI和传统联结主义AI尚未出现(强具身智能是AGI的雏形)
发展阶段1950s-1980s(黄金时代)-1980s-1990s(AI寒冬)- 至今( niche应用)1950s-1980s(低谷)-2012s-至今(黄金时代)1980s-至今( niche应用)2020s-至今(快速发展期)1950s-至今未来10-30年(预测)

从这张表格里,我们可以看出:

  1. 强具身智能是AGI的雏形——因为强具身智能满足了AGI的所有核心属性维度的要求:有身体、有传感器、有执行器、有感知-思考-行动的实时闭环、知识来源是自己和物理/虚拟世界的直接交互经验、知识类型是显式的符号知识+复杂的隐性身体记忆知识、能适应开放的、动态的、模糊的任务、能自主学习(终身学习)、能和人类自然交互。
  2. **强具身智能是对传统符号主义AI和传统联结主义AI的补全和超越——它结合了传统符号主义AI的符号推理能力和传统联结主义AI的统计学习能力,同时又加上了身体、传感器、执行器和感知-思考-行动的实时闭环。
1.6.2 概念联系的ER实体关系架构图

为了让大家更直观地理解这些概念之间的实体关系,我用Mermaid.js画了一张ER实体关系架构图

包含

包含

包含

包含

包含(雏形)

使用

使用

拥有

拥有

拥有

拥有

拥有

AI

string

name

string

description

NarrowAI

string

name

string

description

bool

isNarrow

SymbolicAI

string

name

string

description

string

knowledgeSource

ConnectionistAI

string

name

string

description

string

knowledgeSource

WeakEmbodiedAI

string

name

string

description

bool

hasSimpleBody

AGI

string

name

string

description

bool

isAGI

StrongEmbodiedAI

string

name

string

description

bool

hasComplexBody

Body

string

type

string

material

Sensor

string

type

string

resolution

Actuator

string

type

string

torque

PerceptionCognitionActionLoop

bool

isRealTime

bool

isClosedLoop

1.6.3 交互关系图

为了让大家更直观地理解具身智能的感知-思考-行动的实时闭环的交互关系,我用Mermaid.js画了一张交互关系图

物理/虚拟物理/虚拟
Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐