談到AI人工智慧中的自動駕車,一定要先認識Mobileye這家坐擁全球最高級輔助駕駛系統的公司

Mobileye是一家來自以色列的自動駕駛權威公司, 由著名電腦視覺科學家艾維瑞姆(Ziv Aviram)與

耶路撒冷希伯來大學教授夏舒雅(Amnon Shashua)創立的。2017年初以4700億高價被英特爾收購

英特爾執行長柯再奇(Brian Krzanich)說:「收購Mobileye真正意義在於電腦視覺技術,其技術不僅可用在汽車,

也可用在直升機、高端無人機與機器人等設備。」

而Mobileye到底如何利用人工智慧實現對自動駕駛呢?

夏舒雅(Amnon Shashua)在 Bosch Connected World 2017 的演說中 可以找到答案

以下為 Bosch Connected World 2017 的演說翻譯

一、自動駕駛三個關鍵技術

只有結合這三項技術才能實現自動駕駛

  • 感知:在車輛部署攝像頭、激光雷達、毫米波雷達等傳感器,配合高性能的算法,讓車輛感知周邊環境。

  • 高精度地圖:高精度地圖是實現自動駕駛的必要性技術之一,沒有高精度地圖就沒有安全的自動駕駛基礎。

  • 駕駛決策:在駕駛決策的技術研發中,往往能為人工智慧提供大量運用地方。目的是,讓自動駕駛車輛在面對複雜交通環境時,能夠像人一樣駕駛,擁有人類的一些決策屬性和技巧,同時也要保證安全。

二、人工智慧在感知中的應用

接下來討論更多的感測部分首先介紹 拉斯維加斯的 一個範列,從下圖你可以看到 外接矩形框圍繞著所有車子 綠色偵測區域(自由空間) 交通標誌 道路號誌

360度的角度圍繞車子,車輛在長達10公里的拉斯維加斯街道上完成了無干預的自動駕駛。

再來展示一下關於繪圖的內容。下圖展示的是Mobileye近一年半時間研發的REM(Road Experience Management)道路體驗管理系統,這是我們通過眾包模式收集數據繪製高精度地圖的方法,這些採集到的路標構成了RoadBook。該項目中,我們與寶馬和其他汽車平台合作,進行數據收集。

最終我們得到一個存儲在雲端的地圖,它可以投射在兩個界面上,圖中右手邊是將數據投射在谷歌地球上,這樣可以得到大尺度的精度參考,左手邊是投射在車輛採集的實時圖像上。

當運行起這樣的系統時,可以看到投射在谷歌地球和車輛視角圖像的車道線非常精準,同時標註出了道路標識等信息,精度達厘米級。

這是另一個範例,與裕隆汽車在倫敦街道上的道路測試。

1502452859_93.png

在這個過程中,人工智慧發揮了甚麼功用呢?

當提到車輛感知,通常指的是物體檢測的過程,即道路上的車輛、行人、交通標識、交通燈等等

 

  • 階段一:感知障礙物。對機器而言,輸入的是圖像,輸出的其實是 外接矩形框 ,如一輛汽車的 外接矩形框 、一個行人的 外接矩形框 。這是如今的駕駛輔助系統,我們需要檢測車輛、行人等物體,再根據這些障礙物進行相應的駕駛決策。

  • 階段二:感知自由區域(free space)。過去的環境感知,是檢測路緣、護欄等障礙物,依此判斷哪裡能夠駕駛,哪裡不能。而現在換一種方式,輸入仍然是圖像,但輸出是一種自由形式的邊界範圍(free form boundary)。對邊界範圍進行識別,我們需要對諸如車道線、路緣等等特徵進行語義理解,這使得系統實現變得更複雜。

  • 階段三:感知可駕駛區域(Drivable Paths)。這個階段產生的是真正的顛覆性技術,系統將感知每條道路通往何地,以及與道路相關的語義理解,例如這條路有多長、這條道路會通往高速、高速的出口又在哪裡…所以這個時候,輸入是圖像,但輸出的是一個故事,是要去描述一個的場景,而不只是識別出障礙物。我們將這稱為「強感知」,這確實是一個開放性的問題。

以上就是Mobileye在車輛感知中應用人工智慧的研究。第一階段是軟體問題,第二階段進行了升級,目前已經實現量產,比如特斯拉的第一代Autopilot系統,第三階段是非常有挑戰性的,同時需要大量的人工智慧技術參與。

三、感知技術與高精度地圖的融合

感知技術是如何被運用的?

感知技術是如何被運用的?目前主要有兩種路徑,第一種「重地圖模式」(Map heavy approach),第二種「輕地圖模式」(Map light approach),Mobileye屬於第二種方式

1、重地圖模式

這種方式很好描述,也很容易使用和部署。但這是一個錯誤的方式。為什麼?下面具體介紹。

  • 這種方式通過使用3D傳感器(如激光雷達)來檢測車輛和行人,然後被呈現在車輛的3D坐標系統中。

  • 之後,將車輛在3D地圖中進行定位。實現方式有多種,例如車輛通過激光雷達採集了周邊環境數據,並與已有的高精度地圖數據進行匹配,就可以進行自定位。

  • 將步驟一中檢測到的車輛和行人放置到高精度地圖中,因為你已經實現了自定位,而高精度地圖中包含了所有車道線等信息,所以你已經擁有了「上帝視角」,你從高精度地圖上獲取了可駕駛的路徑,同時有通過感知得來的物體檢測信息,所以直到目前,似乎我們不需要任何攝像頭。

如果你回憶一下google最初的無人車原型,他們沒有部署環境感知攝像頭,只有一個看交通燈的攝像頭,其他都是基於激光雷達完成的。

這就是第一種路徑。

2、輕地圖模式

現在,如果你希望系統有更好的傳感性。你就需要加入更多的傳感器,例如攝影機。每加入一種傳感器,都需要將其數據轉化成三維,所以,如果你現在擁有攝影機數據,就必須將攝影機數據加載在3D坐標系統中。

問題在於,由2D轉向3D是很困難的,毫米波雷達的數據也是2D的,它測量不同的維度,但仍然是2D。我們使用輕地圖模式,解決這個問題。

  • 使用攝影機同時檢測車輛、行人以及可駕駛路徑。即將靜態和動態場景描述放在同一個2D坐標系統中。

  • 通過將高精度地圖數據投射在車輛獲取的2D圖像中進行車輛自定位。該技術在上面的demo中已經進行了展示。

  • 現在,我們使用這種投射方式,建立一個車輛和可駕駛路徑的統一3D視角,因為地圖是三維的。而當你需要加入一個額外的傳感器,如毫米波雷達、激光雷達等傳感器,你所有需要做的,就是將3D轉換成2D。例如將激光雷達數據投射到二維圖像中,這是比較簡單的。

舉個例子,這是將激光雷達數據和其他數據投射到二維圖像上的示例。

1502452859_872.png

這是將毫米波雷達數據投射到二維圖像的示例。

1502452859_996.png

現在,讓我們看一下這種方式的優勢。如下圖所示,左側展示了右側圖像的仰視圖視角,並且我們可以非常準確地獲取這種視角。

1502452859_277.png

所以,攝影機加地圖就可以提供所有駕駛需要的信息,之後毫米波雷達和激光雷達等傳感器,會處理一些冗餘的問題。

接下來,我們總結一下這兩種路徑的優缺點。

重地圖模式的優點:

  • 非常容易設計出原型,找10個有才能的工程師,不出6個月的時間,你就能到一個不錯的demo。這就是一些硅谷團隊在做的事。

重地圖模式的缺點:

  • 會造成車輛對高精度地圖的過分依賴,沒有高精度地圖,你什麼都做不了。

  • 可駕駛路徑和車輛/行人處於不同坐標系統中,沒有協同,且每類物體由不同的傳感器識別。當你將它們同步到同一個坐標系統中,容易產生錯誤。

  • 真正重要的是,創建高精度地圖需要人工標註,這是一個巨額的成本投入。

    如果沒有一個真正經濟的高精度地圖繪製方式,自動駕駛很難真正落地。而如今許多公司在繪製高精度地圖時使用的方式都是非常昂貴的。

輕地圖模式的優點:

  • 攝影機是唯一的環境感知傳感器,在同一坐標系統中同時檢測車輛/行人以及可駕駛路徑。

  • 使用車載攝影機傳感器眾包獲取數據,製作高精度地圖,大大降低了成本。

  • 可實現低成本的level 2+等級自動駕駛。在level 2中,駕駛員需要對車輛駕駛控制負責,但是通過輕地圖模式,可以實現類似level 3、level 4的體驗,同時激光雷達將不是必須的。這開拓了更廣泛的商業和市場前景。

輕地圖模式的缺點:

  • 非常難以實現。

如剛才所說,感知的第三階段很複雜,且需要大量人工智能技術輔助。但從長遠角度看,這是一條正確的路徑。重地圖模式短期來看易於實現,但長期而言,不能形成規模化。

四、人工智能為駕駛決策帶來了什麼?

1502452859_881.png

這部分講駕駛決策,即複雜交通中的博弈。上圖中的新聞,是大概一年多前,自動駕駛撞人的案件。無數自動駕駛車都在面臨一個共性的問題,他們的駕駛決策太過簡單,當一些複雜的、意料不到的事情發生時,駕駛員必須要進行接管。機器無法做出人類面對複雜情況的博弈和決策。

前提是,駕駛是一個「多主體」的遊戲,只要道路上還存在人類駕駛員,那麼機器就必須明白人類的決策技巧,人類容易衝動,人類會犯錯,所以自動駕駛車需要與人類司機進行協同配合,同時要保證安全。

所以,現實生活中的交通到底是什麼樣呢?為了弄清楚這個問題,我用一架無人機進行航拍,拍下了一些現實交通的畫面。

1502452859_199 (1).gif

 

上面這輛車嘗試併線,沒人給這個「可憐的人」讓行,不過這就是真實生活!所以想象一下,把這個場景交給自動駕駛車,你如果希望它能做到這樣,那就是天方夜譚了,做到接近都是不可能的。

我們更具體地聊聊。下圖展示了雙車道併線問題,這是我們與寶馬汽車合作的項目,目的是解決現階段一個非常具體的駕駛問題,也是一個非常困難的問題。

1502452859_292.png

在雙車道問題上,車輛會從兩側車道會車,為什麼這個問題具有挑戰性呢?因為車輛不是簡單地擠進來,它可能會幹擾其他車輛行駛,也有可能產生兩車僵持的情況。但對於兩車道會車,沒有一個明確規則,唯一的規則就是不要發生事故。

在四車道的十字路口會車時,其實並不是最難的,因為十字路口有交通燈,有規則,但這種雙車道會車的情況則不同。所以,你必須預估出之後幾秒的情況,並做出規劃,你需要估摸出會車間距和通行的時間,能夠在不發生碰撞的情況下及時通過。所以,這其實是一種非常困難的問題。

 

所以,我們希望能利用機器學習解決這個非常複雜的問題。而機器學習的趨勢,就是數據驅動。

  • 優勢:比基於規則的算法更簡單地觀察和收集數據。在很多場景中都是這樣,例如自然語言識別、計算機視覺等等。歷史經驗表明,機器理解潛在規則是很難的,但收集數據,用數據驅動機器學習算法性能,會獲得更好的表現。

    所以,大規模應用機器學習,是一個正確的趨勢。

  • 缺點:機器學習的性能表現取決於你用來訓練它的數據,這就意味着有可能出現「臨界」情況。而找到這樣的臨界情況需要更多的數據,以及更多的嘗試,直到篩選出臨界情況。

 

所以,機器學習是一個有傳統規律的學習過程。在感知過程中,你感知的是當時的場景,而在感知背後的技術,是過去的積累和學習,是深度、有監督的學習;

而當提到駕駛策略時,你其實是在計劃未來,這是一個不太一樣的機器學習方法,被稱作開放(碰撞)學習,在其中你需要與環境進行交流。

為什麼這兩者在叫法上不同?他們的分別在於,運用數據的方式不同。

 

1、傳統學習(規律)

在有監督的學習中,我們預測的行動不會對環境產生影響,因此我們可以一次性收集所有的數據,也可以在線下收集數據,然後再用這些數據不斷訓練神經網絡,直到找到所有的「臨界」情況。

2、開放學習(碰撞)

在增強學習中,我們的行動會對環境產生影響,這意味着,如果我決定左轉,我就正在影響其他駕駛的車輛。所以,現在如果我要更改軟件,那意味着我需要重新收集所有的數據,因為每一次變化駕駛決策,就是在改變影響環境的方式。這會造成一些問題,因為臨界情況在駕駛中就代表着「事故」的可能性。而事故是一個小概率事件,為了找出這種臨界情況,那麼我們就需要大量的數據,而每次要修改軟件時,又需要重新再收集一次數據。這就造成了很大的問題。這也是為什麼傳統基於規則的路徑規劃算法沒有引入機器學習,因為這個命題並不是那麼吸引人,這聽起來並不是什麼好主意。所以,我們找到了了一種解決這個問題的方式。用這種方法,我們可以使用機器學習算法,同時避免數據量的爆炸,並確保安全。在Mobileye網站上可以找到這篇論文。我們在仿真實驗中對其進行了測試,下圖中的8輛汽車都是被訓練的駕駛主體,隨機分佈,可以看到,它們經歷了複雜的調度決策。

1502452859_515.gif

在這個仿真實驗中,共經歷了10萬次路測駕駛,每次測試中有8個駕駛主體、位置隨機,沒有發生碰撞事故。系統性能達到每秒10hz的頻率響應。佔用的計算量僅1%,而這些,正是得益於人工智能。在傳統的方法中,你試圖開啟的是一棵包含了所有可能性的樹,這最終會導致數據爆炸和系統癱瘓,如果使用機器學習,將像Google Alphago贏得了人類累積了數千年的圍棋,你正在開啟一種新的可能性你使用了一種新的方式,通過數據驅動的方式,穿越了這棵巨大的樹。目前,Mobileye已經在進行相關的研究,如下圖,所有的駕駛主體都是被我們訓練的樣本,可以看到,它們的駕駛行為已經越發接近人類。

1502452859_112.png

五、結論

Mobileye如何利用人工智慧加速自動駕駛實現呢?主要是以下幾部分。

1、正確的感知:即通過「強感知」理解可駕駛的路徑。傳統的方法過分依賴高精度地圖,而規避了技術上難以實現的部分,但如果這樣做,就不會形成規模化系統。

2、正確的繪圖:使用「強感知」技術,通過眾包自動生成高精度地圖。我們的技術最終希望高精度地圖的生成完全自動化。

3、正確的駕駛決策:讓自動駕駛車達到人類等級的判斷力,像人類一樣敏捷,同時還要確保安全,這是一個挑戰,我們在這部分的研究仍處於起步階段。大家可以在Mobileye網站上瀏覽我們的研究論文,在這方面我們與寶馬汽車進行了許多項目研究。

而在這部分,如果我們不能正確的解決,那麼就真的無法實現自動駕駛。

 

Mobileye.png

 

 

 

文章標籤

創作者介紹
創作者 基能科技 的頭像
基能科技

智慧好達人

基能科技 發表在 痞客邦 留言(0) 人氣()