NVIDIA_Hydra-MDP-探索端到端自动驾驶的新范式:以下有个5个点内容分享！

我們會就是著重介紹一下就現有的一些端道端的規劃方式以及他們存在的問題

然後會講一下我們今年的這個Hydra-MDP的解決方案。

最後我們會講一些實驗還有一些可出化分析並最後總結

UNIAD的話它是拿到了CPL2023的最佳論文的這麼一個榮譽

UNIAD的話就是它就首先提出它用一組這種模塊化的神經網絡
它是同時處理像感知預測還有規劃這一系列的自動駕駛裡面的任務
然後它每一個神經網絡模塊它都會有相應的東西去監督它的網絡的學習
在最後這個規劃模塊裡面它一般它的監督是來自於像人類駕駛的軌跡回放
也就是說我們究竟想說的模仿學習的這麼一種方式
然後在UNIAD之後的話也有很多工作就是
對它裡面的這些模塊去做一些這種優化和改進

就比方說我們知道有像VAD這一系列工作
然後因為UNIAD它的神經網絡它非常大
它計算的效率其實並不高
然後就會或許有很多工作去想辦法提升它的效率
然後讓它的端道端規劃性能變得更好
就雖然就有非常多的工作
他們都關注端道端自動駕駛規劃這麼一件事情

他們都關注端到端自動駕駛規劃這麼一件事情
但是也有一部分人就他們發現
其實這個端到端規劃它是存在有非常多的問題的
就包括之前提到的像UNIAD和VAD這種工作
就比方說在今年的CVP上有像BV Planner
也是我們因為大家的這個工作
就提出就是這些端道端規劃
就雖然看上去效果非常好
但其實它的這個任務本身
以及包括它使用的一些數據它其實是存在一些問題的
就比方說其中有一個問題就是像UNIAD VAD這種模型

它對於自車的狀態非常的依賴
也就是說這個自邊自車狀態就是指向我車輛本身的一些
運動性系或是我一些歷史上的這種軌跡的位置
就是我其實我的模型我只需要去把這些
車輛在歷史上的自車狀態
我去把它外插到未來
我就可以做出非常好的規劃
讓我的規劃性能變得非常好
那這個顯然是非常不安全的
就是說我們的模型它其實並沒有學到
它並沒有根據車輛周圍的這種感知性去做規劃
而就是說我直接去相當於走了一條捷徑
就是用歷史的這種自車狀態把外插到未來去做這個規劃
這是它裡面存在的一個問題
然後存在另外一個問題的話
就是像現在這些端道端規劃他們的方法

我們介紹一下現在的端道端模型的範式
以及他們之間存在的問題
然後我們講一下我們是財團MDP所提出的新的範式
首先
就像之前講到像UNID還有VAD這種模作的話
他們都是使用這個
叫做單模態規劃加上單目標學習的這麼一種範式
也就是說我模型
接收
我的這個
傳感式輸入
然後我回歸出一條單一的軌跡

然後這麼一種範式
就是它非常簡單
但是它可能存在
非常大的問題就是說我單一的軌跡回放我所帶來的監督其實是非常有限
就是
就是說我們的車輛可能在每個場景裡面
我的這個ground truth它都是它只有一條單一的軌跡是ground truth
我們可以想像就是表示我們在跟車
他們在跟車
我們
我們可以就慢慢跟著車跟著前半車開
但我們也可以做一些像這種
超車這種事情
但是就是如果我的軌跡回放我只有跟車
那麼我們的模型它在這個場景上面它可能只知道去跟車它不知道有
別的更多種的可能
所以說這個範式它從根本上來說它是一種弱堅獨的這麼一個問題

第二種範式的話是多模態規劃加上單目標學
這個範式它
和前面一種範式它最大的一個不同點就是
我模型它不再只預測一條單一的軌跡
而是說我會預測非常多條軌跡
就比方說我可能預測像
10條或者20條軌跡
那麼如果我有這種多模態的規劃
那麼我們就是可以在
就更好可以處理這種不確定性的問題
就比方說
我
比方說我在一個路口
那我可能
我可以左轉我也可以右轉
但是我如果只預測一條單一的軌跡的話
那麼我們用這種
基於回歸的損失去訓練
那麼
我們不停
一部分的場景訓練左轉
一部分場景訓練右轉
那麼我們可能最後訓練出來是一條
只會比開的這麼一個模型
那這個可能
這個顯然也是有問題的
但是我如果是一種多模態的規劃的話

我們可以
就是可以給不同的軌跡預測
打上一個不確定性的分數
然後我們在
就是
要最後做決策的時候
我們可以去
根據像
這個不確定性分數以及具體的情況
以及周圍的一些這種感知真質
來去選擇最後的這麼一條軌跡
但是這種範圍是它
仍然存在問題吧
就是
它其實和之前的存在問題一樣
就是說我軌跡回放所帶來的一件路
依然是有限的