1. 让无人机听懂人话：CityNavAgent如何革新城市导航

想象一下，你站在一个完全陌生的城市十字路口，手机导航告诉你：“向前走，经过第二个红绿灯后，看到一家有蓝色招牌的咖啡馆就右转，然后在你左手边的白色大楼前停下。” 你之所以能轻松完成这个任务，是因为你能理解“红绿灯”、“蓝色招牌”、“咖啡馆”、“白色大楼”这些语义地标，并将它们与眼前的视觉世界一一对应。现在，把这个任务交给一台在城市上空飞行的无人机，让它仅仅通过一句类似的自然语言指令，在没有任何预设地图的情况下，自主飞抵目标——这就是清华大学团队提出的CityNavAgent要解决的核心难题。

传统的无人机导航严重依赖GPS和预先测绘的高精度地图。但在高楼林立的城市峡谷中，GPS信号可能丢失或漂移；而为一个庞大、动态变化的城市持续绘制厘米级地图，成本高得惊人。视觉语言导航（VLN）为这个问题提供了一个充满想象力的答案：让无人机像人一样，通过“眼睛”（摄像头）观察环境，用“大脑”（AI模型）理解语言指令中的语义信息，从而规划路径。然而，把在室内小场景中表现尚可的VLN技术，直接搬到广阔、复杂且连续的三维城市空中，问题就来了。动作空间从有限的“前、后、左、右”变成了无限可能的飞行方向和距离，规划复杂度呈指数级爆炸。

CityNavAgent的聪明之处在于，它没有试图让AI模型一口气吃成胖子，去直接处理这个巨复杂的问题。它借鉴了人类“分而治之”的思考方式，设计了一套层次化语义规划模块（HSPM）。简单说，就是让无人机先做“战略规划”，再定“战术目标”，最后执行“动作指令”。比如，接到指令“飞到市中心广场的喷泉上方”，HSPM会先让大语言模型（LLM）解析出关键地标序列：“先抵达市中心广场区域 -> 再找到广场内的喷泉”。这相当于把漫长的航程分解成了几个明确的“中途检查点”。接着，在“广场区域”这个子目标下，再进行更细粒度的“对象级规划”：识别并飞向“那个有层层叠叠水花的圆形喷泉”。最后，才是计算具体的飞行角度、速度和距离。这套“化整为零”的策略，极大地降低了单次规划的难度和出错率。

但这还不够。无人机在城市里飞，经常会遇到“似曾相识”的地方。如果每次路过同一栋楼都要重新识别、规划一遍，不仅耗时耗能，还可能因为视角、光照不同而产生规划波动。为此，CityNavAgent引入了全局记忆模块。这个模块就像无人机的“飞行日记”，会把飞过的路线、看到的关键景象，以拓扑图的形式存起来。下次再接到需要经过相同区域的指令时，无人机就能直接调用“记忆”中的捷径，快速稳定地完成航段，避免了重复探索。这个设计特别适合物流无人机执行周期性巡检或配送任务，路线越飞越熟，效率越来越高。

2. 无人机如何“看懂”城市：开放词汇感知模块详解

要让无人机执行语义导航，第一步是它必须能“看懂”世界。这不是简单的物体识别（比如识别出“车”），而是要理解开放世界中丰富、多变的语义描述。CityNavAgent的开放词汇感知模块，就是为无人机打造的“慧眼”和“语义理解中枢”。

这个模块的工作流程，可以类比一个初到陌生城市的游客。当你看到一片区域，你会先扫视全景，在心里形成一个整体描述：“这里是一个十字路口，东北角有一栋玻璃幕墙的现代建筑，路口有个红色的电话亭。” 对应到技术上，CityNavAgent使用类似GPT-4V这样的强大视觉-语言大模型，作为全景图像的“描述器”。无人机拍摄的360度全景图被输入进去，模型会生成一段自然语言描述，提取出场景中的关键语义对象。这一步解决了“有什么”的问题。

但只知道“有什么”还不够，导航需要精确的“在哪里”。接下来，就需要对描述中的每个对象进行“视觉定位”。这里用到了像Grounding DINO这样的开放词汇检测器。它接收上一步生成的文本描述（如“红色的电话亭”）和原始图像，然后在图像中精准地框出这个电话亭的位置。这就好比游客用手指向：“看，电话亭就在那儿！”

在复杂的城市场景中，物体常常相互遮挡，一个粗糙的方框不足以支持精细的导航。因此，模块进一步引入了分割模型。它利用检测到的边界框作为提示，生成像素级精确的物体掩膜。这样，无人机不仅能知道电话亭的大概位置，还能清晰知道它的精确轮廓。这对于在密集区域规划安全路径至关重要，比如确保无人机不会太靠近建筑物的边缘或尖锐物体。

然而，单张2D图像的信息是扁平的，缺乏深度和空间关系。无人机需要的是一个3D的语义世界模型。这正是该模块最后也是最关键的一步：3D语义点云构建。无人机通常配备RGB-D相机（能同时获取颜色和深度信息）和精确的位姿传感器。利用深度图和无人机自身的姿态（旋转和平移矩阵），系统可以将2D图像中每一个带有语义标签的像素点，反向投影到真实的三维世界坐标中。

具体来说，对于分割掩膜上的一个属于“电话亭”的像素点，结合该点的深度值（距离摄像头的距离）和相机参数，就能计算出这个点在真实世界中的三维坐标 (X, Y, Z)。成千上万个这样的点汇聚起来，就形成了一个稀疏的、带有语义标签的3D点云地图。这个地图不再是抽象的，而是度量准确的。无人机可以知道：“红色的电话亭”在我当前位置的东北方向，直线距离约15米，地面高度2米。这为后续的路径规划提供了最直接的空间依据。

我实测过类似的技术栈，发现其中最大的挑战是语义描述的准确性和一致性。GPT-4V虽然强大，但偶尔会产生“幻觉”，描述出图像中不存在的物体，或者对同一物体在不同视角下给出差异很大的描述。这会导致后续的检测和建图出现错误。CityNavAgent团队通过精心设计的提示词工程和多视角信息融合，在一定程度上缓解了这个问题。例如，他们会提示模型专注于对导航有意义的、稳固的地标（如建筑、大型雕塑、特定店铺），而不是易变的物体（如行人、车辆）。

3. 从战略到动作：层次化语义规划模块（HSPM）三步走

有了对环境的3D语义理解，接下来就需要一个强大的“大脑”来制定飞行计划。CityNavAgent的层次化语义规划模块（HSPM） 就是这个决策核心，它像一位经验丰富的领航员，将复杂的导航任务层层分解，步步为营。

3.1 第一层：地标级规划——绘制宏观航线图

这是最高层次的规划，相当于确定旅程的主要途经城市。任务开始时，无人机接收到一句自然语言指令，例如：“从公园的东门起飞，飞越中心湖面，然后降落在湖西侧的古典亭子屋顶上。”

HSPM首先请出“战略专家”——大语言模型（LLM）。通过精心设计的提示词（Prompt），LLM的任务是从这句充满模糊性和依赖常识的指令中，抽取出一个有序的、宏观的地标序列。这个过程可能被提示为：“你是一个无人机导航规划师。请将以下导航指令分解为一系列连续的地理子目标或地标。指令：{用户指令}。请只输出地标序列，用‘->’连接。”

对于上面的例子，LLM可能会输出：“公园东门 -> 中心湖区域 -> 湖西侧古典亭子”。这个序列就是导航的宏观骨架。它不关心具体怎么绕过每一棵树，只确保大方向正确。这一步成功的关键在于LLM对人类语言和空间常识的理解能力。它需要知道“飞越湖面”意味着将“湖区域”作为一个必须穿过的子目标，而不是绕行。

3.2 第二层：对象级规划——锁定当前导航靶心

当地标级规划将无人机引导到“中心湖区域”后，问题来了：湖面广阔，无人机该具体飞向哪里？下一步指令是“降落在古典亭子屋顶”，但无人机当前视野里可能还没有亭子。

这时，HSPM启动第二层规划：对象级规划。它再次调用LLM，但这次结合了更丰富的上下文信息：原始指令、当前要完成的地标级子目标（“中心湖区域”），以及从开放词汇感知模块获得的、当前全景图像中实际观测到的所有物体语义列表（例如：[湖水，柳树，游船，石桥，远处高楼]）。

LLM的任务是进行常识推理，找出与完成当前子目标最相关的物体或区域。提示词可能是：“为了抵达‘中心湖区域’，基于当前观测到的物体：[观测列表]，哪一个或哪一组物体是最可能的路标或必经区域？” LLM可能会推理出：“要飞越中心湖，应该朝着湖面最宽阔的方向，并可能以远处的石桥作为视觉参考点。” 它输出的可能是一个更具体的对象级子目标，比如“石桥”或“湖心”。

这个“对象级子目标”就成了无人机当前步骤的“导航靶心”。它比“湖区域”更具体，又比一个精确的GPS坐标更有语义灵活性。如果当前视野内没有直接看到最终目标（亭子），这个机制能确保无人机朝着正确的大方向持续探索，而不是在原地打转。

3.3 第三层：运动级规划——生成飞行控制指令

当“导航靶心”（对象级子目标，如“石桥”）被确定后，就需要将其转化为无人机的肌肉动作。这是运动级规划的职责，它连接了抽象的语义世界和具体的物理控制。

首先，规划器会在之前构建的3D语义点云地图中，搜索所有标签为“石桥”的点。然后，计算这些点三维坐标的平均值，从而得到一个在真实世界坐标系中的具体三维空间位置 (X_bridge, Y_bridge, Z_bridge)。这个位置就是当前步骤的目标航点。

接下来，规划器需要计算从无人机当前位置到这个目标航点的可行路径。在复杂的城市环境中，这通常不是一条简单的直线。规划器会考虑障碍物避让、无人机动力学约束（如最大转弯半径、爬升率）、空域安全高度等因素。它可能会采用基于采样的路径规划算法（如RRT*）或优化方法，生成一条平滑、安全的三维空间轨迹。

最后，这条连续轨迹会被离散化为一序列底层的无人机飞控指令，例如：“以2米/秒的速度，朝30度方向爬升，飞行15米”。这些指令被发送给无人机的飞行控制器，驱动电机执行。当无人机飞抵“石桥”附近，感知模块会再次捕捉环境，HSPM会重新评估，进行下一轮的“对象级规划”，这次的目标可能就变成了“古典亭子”。如此循环，直至最终完成“降落在亭子屋顶”的终极指令。

这种层次化的设计，将需要超长程推理和庞大动作空间的导航问题，分解成了多个由LLM负责的、相对简单的语义决策子问题，和多个由传统运动规划算法负责的、精确的几何控制子问题。各司其职，大大提升了系统的可靠性和效率。

4. 经验的价值：全局记忆模块如何让无人机“越飞越聪明”

人类在熟悉的环境里导航会越来越快，因为我们记住了地标和捷径。CityNavAgent的全局记忆模块正是为了赋予无人机这种“学习”能力，让它不再是每次任务都从头开始的“新手”，而是能积累经验的“老手”。

4.1 记忆的构建：将飞行轨迹转化为拓扑地图

无人机每一次执行任务，其飞过的路径、在关键节点（如悬停观察点）拍摄的全景图像、以及当时感知到的3D语义点云，都会被记录下来，形成一条历史轨迹。全局记忆模块的核心工作，就是将这条包含时空和语义信息的原始轨迹，抽象成一个简洁的拓扑图。

你可以把这个拓扑图想象成一张地铁线路图。图中的每一个“站点”（节点），代表无人机曾经到过的一个关键航点，节点里存储着该点的三维坐标和当时拍摄的全景图像特征。连接两个“站点”的“线路”（边），代表无人机曾经直接飞过的路径，边的权重通常是两个航点之间的实际飞行距离。

假设无人机第一次执行任务，从A点飞到了E点，中途经过了B、C、D三个关键观测点。那么这次飞行就会生成一个包含A-B-C-D-E五个节点和四条边的拓扑子图 G1。这个图不记录飞机具体怎么扭动躲避障碍的细节，只记录“从A可以到B，从B可以到C……”这种连通性关系，以及关键节点的“快照”。

4.2 记忆的融合：从个人经验到集体知识

单一一次飞行的记忆是有限的。当无人机多次在不同任务中飞行后，它会积累多个这样的拓扑子图 G1, G2, G3...。全局记忆模块会将这些子图融合成一个统一的、覆盖更广区域的全局记忆图 M。

融合的关键规则是：如果来自不同子图的两个节点，在三维空间中的距离非常近（比如小于15米），系统就认为它们代表了现实世界中的同一个地理位置。这两个节点会被合并为一个节点。同时，与这两个节点相连的边也会被整合。这个过程就像把多次探索绘制的小地图碎片，拼合成一张完整的藏宝图。

例如，第一次任务飞过了“公园东门->石桥”，第二次任务从另一个方向也飞到了“石桥->亭子”。融合后，记忆图中“石桥”这个节点就连接了来自两个方向的道路信息。当下次指令要求“从公园东门到亭子”时，无人机就知道存在一条经由“石桥”的已知路径。

4.3 记忆的调用：基于记忆的快速路径规划

当无人机再次执行导航任务，其HSPM模块在进行运动级规划时，会做一个关键的检查：当前无人机的位置，是否靠近全局记忆图中的某个已知节点？

如果答案是肯定的，就意味着无人机进入了“熟悉区域”。这时，规划策略会发生根本性改变。它不再需要完全依赖耗时的实时感知和复杂的在线运动规划去一步步探索。相反，它可以直接查询全局记忆图。

具体来说，规划器会将当前的任务（例如，剩余的子目标序列是“石桥 -> 亭子”）转化为一个在图上的搜索问题。它使用像Dijkstra这样的图搜索算法，在记忆图中快速找到一条从当前节点出发，能按顺序经过“石桥”、“亭子”这些地标所对应节点的最短路径。由于这条路径上的每一段（边）都是无人机历史上成功飞过的，其安全性和可行性已经得到验证。

规划器可以直接将这条路径上的航点序列提取出来，作为后续飞行的航点，并生成相应的控制指令。这带来了几个巨大优势：第一是速度快，省去了大量的实时计算；第二是稳定性高，避免了在复杂环境中因实时感知噪声导致的路径抖动；第三是能耗低，减少了不必要的探索和机动。

我在实际项目中尝试过类似的记忆机制，效果非常显著。对于执行固定区域巡检的无人机，引入记忆模块后，第三次及之后的飞行任务，其路径规划时间平均减少了60%以上，并且飞行轨迹的重复精度（即每次飞同一路线的偏差）大幅提高。这证明了“经验”对于自主系统的长期运行至关重要。

5. 实战表现：CityNavAgent在复杂城市场景中到底有多强？

理论再优美，也需要实战检验。CityNavAgent团队在两个精心构建的空中VLN基准测试上，将其与多种主流方法进行了全面对比，结果充分展示了其技术优势。

5.1 基准测试与评估指标

团队主要使用了两个数据集：AirVLN-S 和自行构建的 AirVLNEnriched。AirVLN-S提供了大规模的城市仿真环境，但指令相对简洁，有时比较模糊（例如“飞到那个高楼附近”）。为了测试智能体对细粒度语言的理解，他们又收集了101条包含丰富细节的指令（例如“飞到有蓝色玻璃幕墙和楼顶直升机停机坪的那栋写字楼的东南角上空”），形成了AirVLNEnriched数据集。

评估一个VLN智能体的好坏，不能只看它最后有没有到终点。他们采用了一套综合指标：

• 成功率（SR）：最核心的指标，指无人机最终位置与目标位置距离小于一定阈值（如2米）的任务比例。
• 路径长度加权成功率（SPL）：在成功率的基础上，考虑了路径效率。如果无人机绕了远路才成功，SPL得分会降低。这个指标同时衡量了“成功”和“高效”。
• 导航误差（NE）：无人机最终位置与目标位置之间的平均直线距离，数值越小越好。
• Oracle成功率（OSR）：这是一个“理想化”指标，假设无人机在每一步都做出最优局部选择，它能达到的成功率上限。用来衡量任务本身的难度。

5.2 与主流方法的正面较量

团队对比了三大类基线方法：

1. 基于统计的方法：如随机游走、最短路径先验（假设知道地图）等，作为性能下限参考。
2. 基于学习的方法：使用深度强化学习等在数据上训练出的模型，是传统VLN的主流。
3. 基于零样本LLM的方法：和CityNavAgent类似，直接利用大模型（如GPT-4V）的推理能力进行规划，无需针对特定环境训练。

在AirVLN-S数据集上，CityNavAgent的成功率（SR）和SPL指标均显著超过了所有基线方法，包括其他基于LLM的零样本方法。这证明了其层次化规划和全局记忆设计的有效性。特别是在长距离、多转折点的任务中，优势更加明显，因为它的HSPM模块能更好地分解任务，记忆模块能有效利用历史信息。

在指令更丰富的AirVLNEnriched数据集上，CityNavAgent的性能提升幅度更大。这说明了它的开放词汇感知和层次化语义规划模块，能够更好地理解和利用语言指令中的细节信息。当指令从“去那栋楼”变成“去那栋有红色十字标志的楼”时，CityNavAgent能通过对象级规划精准锁定目标，而其他方法可能还在几栋相似的楼之间徘徊。

5.3 拆解分析：每个模块贡献了多少？

为了弄清CityNavAgent各个部分的作用，团队进行了详细的消融实验。简单说，就是“拆掉”某个模块，看性能下降多少。

• 去掉语义地图：仅使用原始的RGB图像特征，而不构建带有物体标签的3D语义点云。结果，导航性能大幅下降，尤其是SPL指标。这说明，没有精确的语义-空间关联，无人机容易“迷路”或绕行，无法高效地利用指令中的物体信息。
• 去掉全局记忆模块：让无人机每次任务都“从零开始”探索。实验发现，在简单短路径任务中，性能下降不明显；但在复杂、长距离或需要重复访问某些区域的任务中，成功率和稳定性明显降低。这印证了记忆模块对于长期导航和效率提升的关键作用。
• 更换规划用的LLM：将对象级规划中的GPT-4V换成其他开源大模型。结果显示，导航性能出现不同程度的下滑。这主要是因为GPT-4V在复杂推理、遵循指令和减少“幻觉”（即虚构不存在的内容）方面能力更强，能生成更可靠的对象级子目标。

这些消融实验像一份清晰的“贡献度报告”，表明CityNavAgent的成功不是靠单一的黑科技，而是其感知、规划、记忆三大模块协同作战的结果。语义地图提供了精确的“世界模型”，层次化规划提供了高效的“决策流”，全局记忆则提供了宝贵的“经验库”。

6. 挑战与展望：CityNavAgent的局限与未来之路

尽管CityNavAgent在城市空中VLN上取得了突破，但作为一个前沿研究，它依然面临一些挑战和限制。看清这些，才能知道未来该往哪里走。

首先，系统尚未在真实物理无人机上部署。目前所有的实验都是在仿真环境中进行的。仿真环境虽然能高效地进行算法验证，但无法完全模拟真实世界的所有复杂性：突发的阵风、传感器噪声（如图像模糊、深度测量误差）、动态障碍物（飞鸟、其他无人机）、光照和天气的剧烈变化等。将CityNavAgent部署到真机上，需要解决计算平台的嵌入式部署（模型轻量化）、实时性保证（规划必须在毫秒级完成）以及与底层飞控系统的稳定接口等一系列工程挑战。这将是迈向实用化至关重要的一步。

其次，智能体目前缺乏主动的回溯机制。在人类导航中，如果我们发现走错了路，会果断掉头，回到上一个已知的正确地点重新决策。但当前的CityNavAgent基本是“一路向前”的。如果它在某个规划步骤做出了错误选择（比如错误识别了地标），可能会在错误的方向上越走越远，直到彻底失败。未来的改进方向之一是引入“信心度”评估。当智能体发现感知到的环境与预期严重不符，或者长时间未能达成子目标时，应能触发回溯行为，退回到记忆图中最近的可靠节点，尝试其他路径。这能极大提高系统在陌生或动态环境中的鲁棒性。

再者，对指令模糊性的处理还有提升空间。虽然AirVLNEnriched数据集提供了更丰富的指令，但现实中的指令可能更加模糊、依赖多层上下文。例如，“飞到我们昨天开会的那栋楼附近”。处理这类指令需要智能体具备更长期、更复杂的记忆和推理能力，甚至需要与人进行多轮对话来澄清意图。这指向了更高级的人机交互和情境理解。

从技术架构上看，也有优化方向。目前的层次化规划是“串行”的，即完成一个子目标再规划下一个。未来可以探索更灵活的“混合倡议”规划，允许高层LLM根据底层执行反馈动态调整子目标序列。此外，全局记忆图目前主要存储几何拓扑和图像特征，未来可以融入更多的语义信息（如“这个广场周末人多”、“这栋楼下午西晒”），使记忆更加立体和智能。

从我个人的经验来看，这类基于大模型的导航系统，其落地应用会是一个“仿真-限定场景-开放场景”的渐进过程。短期内，最可能的应用场景是园区物流、电力巡检、大型活动现场监控等相对结构化、可预先积累记忆的环境。在这些场景中，CityNavAgent的技术优势能得到充分发挥，同时风险可控。随着技术的不断成熟和可靠性的提升，才会逐步迈向完全开放、动态的城市空域。

CityNavAgent为我们展示了一条清晰的路径：通过结合大模型的语义理解力、传统机器人的空间规划能力以及持续学习的历史记忆，无人机有望真正成为能听懂人话、认得道路、越飞越聪明的城市空中自主智能体。这条路虽然还有不少坑要踩，但方向已经照亮。