從數據驅動模擬中學習自動駕駛的控制策略

這份研究提出了一種由數據驅動的模擬和訓練引擎（如圖一、圖二），名為VISTA（Virtual Image Synthesis and Transformation for Autonomy），該引擎能夠在模擬環境中訓練自動駕駛車輛的控制策略。研究的主要目標是實現端到端自主駕駛，通過利用人類在環境中收集的真實軌跡，提供了新穎的訓練數據，在模擬環境中利用強化學習訓練虛擬代理，在訓練期間無須任何人類駕駛知識，也無須在訓練後微調，最終使其能夠在未見過的真實世界道路上通用。

圖一、模擬環境與真實世界的內部流程與交互連結

此研究的主要貢獻包括：

1. VISTA引擎：這是一個具有光學真實性、可擴展的數據驅動模擬器，可以在現有人類收集的駕駛數據集周圍合成一系列新的感知輸入。它能夠合成與道路外觀和語義一致的新軌跡，讓虛擬代理能夠學習在各種不同類型的道路和環境中保持車道穩定的控制策略。

2. 端到端學習：使用端到端學習方法，從原始影像到控制行動進行學習訓練。虛擬代理在模擬環境中接受獎勵，這些獎勵是基於它們能夠在不需要介入的情況下行駛的距離。僅使用視覺輸入和稀疏獎勵信號來訓練自主車道穩定控制器，學到的策略不僅能在模擬環境中使用，還能直接部署在真實世界的道路上，而不需要進行額外的微調。

3. 實際世界驗證：研究將學到的策略部署在一輛完全自主的汽車上，並在以前未見過的真實道路上進行測試。結果表明，在訓練過程中體驗了模擬環境中的各種情況後，這些代理在現實世界中表現出更大的魯棒性，並且能夠更頻繁地從幾乎碰撞的位置恢復。

當虛擬代理在環境中移動時，數據驅動模擬器 VISTA 會合成逼真且語義準確的局部視圖（如圖二A），每個軌跡都有不同的場景視圖。對於正在虛擬環境中導航的虛擬代理和在現實世界中開車穿過環境的人類版本，都會重複此過程。現在在公共坐標系中，VISTA 通過減去兩個狀態向量來計算相對位移。 因此，VISTA 始終保持虛擬代理相對於最接近的人類狀態的橫向、縱向和角度擾動的估計（如圖二B）。 

VISTA不需要存儲和操作整個環境或城市的 3D 重建，它僅考慮收集到的最接近虛擬代理當前狀態的觀察結果。 在跨越數千公里的真實道路上模擬虛擬代理需要數百GB的單目相機數據。 根據最接近的單眼圖像，使用立體相機的自我監督的捲積神經網絡來估計深度圖。 使用估計的深度圖和相機內部參數，算法會將傳感器框架（2D）投影到 3D 世界框架中。在應用坐標變換來考慮虛擬代理和人類之間的相對變換後，算法將投影回車輛的傳感器框架（2D）中，並將結果返回給代理作為其下一個觀察結果。 

為了允許虛擬代理在 VISTA 環境中進行一些移動，他們將圖像投影回比收集的數據更小的視野（從 120∘ 開始）。 因此，VISTA 能夠模擬代理的不同局部旋轉（±15度） 以及沿道路的橫向和縱向平移 （±1.5m）（如圖二C）。 由於車輛在車道內的自由橫向空間通常小於1m，VISTA可以模擬超出車道穩定駕駛的範圍。

圖二、VISTA架構

如同預期，研究發現虛擬代理在白天比在夜間學習得更快（如圖三A）。尤其令人驚訝是乾燥和雨天的學習之間只有微小的差異（如圖三B）。 最後，與鄉村道路相比，虛擬代理很快就能學會在高速公路駕駛環境中表現出色（如圖三C），因為許多鄉村道路缺乏車道標記這是自主導航的關鍵視覺特徵，因此使得學習變得更加困難。

圖三、在 VISTA 內，在不同天氣條件、一天中的時間、道路類型下學習自動駕駛汽車控制的結果

接下來，他們直接在全尺寸自動駕駛車輛上評估學習的策略，以測試對現實世界的泛化。他們評估在現實世界中部署的 VISTA 和其他模型的結果。 當車輛離開車道時，測試駕駛員進行干預。 三個試驗的平均軌跡如圖四A 所示，干預位置繪製為紅點。 道路邊界以黑色繪製，以表示偏差範圍。 VISTA 展示了所有考慮的模型中的最佳性能，並且在整個試驗過程中從未需要任何干預。

圖四、現實世界中的評估

最後，他們還從具有顯著橫向和旋轉偏移的偏離方向位置啟動車輛，以評估從這些接近碰撞的情況下恢復的穩健性。 如果車輛能夠在 5 秒內成功操縱並駛回車道中心，則表明恢復成功。 從結果中觀察到，在VISTA 中訓練的虛擬代理能夠從真實和以前未遇到的道路上的這些偏離方向的位置恢復，並且還顯著優於其他學習訓練的模型。 

總之，這項研究為使用數據驅動的模擬訓練自主駕駛車輛的控制策略提供了一個重要的方法。通過VISTA引擎，它實現了在模擬環境中學習並在現實世界中部署自主駕駛技術，並且在魯棒性方面表現出卓越的性能。這對於自動駕駛技術的發展具有重要意義，並有望應用於更多複雜的自主駕駛場景。

撰文：陳祖喬

Reference:

A. Amini et al., "Learning Robust Control Policies for End-to-End Autonomous Driving From Data-Driven Simulation," in IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 1143-1150, April 2020