TWI750932B

TWI750932B - 無高精度向量地圖即時自駕車路徑規劃系統及方法

Info

Publication number: TWI750932B
Application number: TW109142666A
Authority: TW
Inventors: 郭峻因; 楊詠翔
Original assignee: 國立陽明交通大學
Priority date: 2020-12-03
Filing date: 2020-12-03
Publication date: 2021-12-21
Also published as: TW202223342A

Abstract

一種無高精度向量地圖即時自駕車路徑規劃系統包含：一影像擷取裝置、一光達裝置及一即時自駕車路徑規劃裝置。影像擷取裝置輸出相機影像；光達裝置輸出光達點雲圖；即時自駕車路徑規劃裝置接收該相機影像及該光達點雲圖，並包含一相機光達校準模組、一可行駛區域偵測模組、一路徑點生成模組、一車道線擬合模組、一候選點篩選模組及一路徑插補模組。相機光達校準模組輸出相機點雲融合圖；可行駛區域偵測模組輸出路面分割圖；路徑點生成模組產生初級路徑點；車道線擬合模組產生最佳車道線函數；候選點篩選模組輸出次級路徑點；路徑插補模組對次級路徑點補充路徑點以輸出最終路徑點作為即時路徑規劃。

Description

無高精度向量地圖即時自駕車路徑規劃系統及方法

本發明關於自駕車之技術領域，特別是一種無高精度向量地圖即時自駕車路徑規劃系統及方法。

近年來自駕車技術發展漸趨成熟，相關的開源自駕車軟體紛紛投入市場，降低了自駕車的開發門檻，主流的自駕車仰賴精向量地圖，然而高精向量地圖的標記需要投入大量人力，以及政府部門配合才能取得。

例如，Autoware是日本工業大學所提出自駕開源架構，目前已投入研究以及商業使用，此自駕開源架構使用高精向量地圖，其中包含道路線、紅綠燈、十字路口…等交通資訊，以過向量資訊來取得道路行駛的路徑。又例如Apollo是中國網路公司百度所提出的另一種熱門自駕車軟體，類似於Autoware的路徑規劃設計，Apollo也使用了高精向量地圖，差異在於向量地圖的格式略為不同，亦即，Apollo採用的是OpenDrive格式的高精向量地圖。

若是不透過向量地圖來進行路徑規劃，則通常需透過光達(Light detection and ranging,LIDAR)或景深相機找尋可行駛的區域。經由使用光達以透過對於光達點雲分布梯度來分割出道路，及使用景深相機配合合理的道路模型假設，以計算景深估算的連續性與梯度，據以決定路面分佈的區域範圍。然而，前述不使用向量地圖的車道偵測系統多為以規則為基礎(rule-based)的技術，不但運算複雜而不易實現於即時路徑規劃上，且其需針對不同的感知器，例如影像、光達、雷達…等，分別設計不同的車道線之特徵，實用上只對於高速公路或快速道路等較無太大變化之場景，才能夠有相當不錯的結果，但在市區或是一些惡劣天氣的情況下，車道線變得不明顯且易被遮蔽，而往往無法順利偵測出車道，導致無法達成即時路徑規劃。

有鑑於此，本發明提供一種無高精度向量地圖即時自駕車路徑規劃系統及方法，來解決上述的問題。

基於上述目的，本發明提供一種無高精度向量地圖即時自駕車路徑規劃系統，其包含：一影像擷取裝置，擷取一車輛行駛中的行車影像，並輸出相機影像；一光達裝置，透過光學掃描來測量該車輛到目標物體之距離，並輸出光達點雲圖；以及一即時自駕車路徑規劃裝置，包含：一相機光達校準模組，接收該相機影像及該光達點雲圖，將該光達點雲圖投影到該影像擷取裝置的相機座標上，並輸出相機點雲融合圖；一可行駛區域偵測模組，接收該相機影像，以深度學習模型將該相機影像中的車道線與可行駛區域整合，並輸出路面分割圖；一路徑點生成模組，利用該路面分割圖及該相機點雲融合圖來生成大量的候選路徑點，據以產生初級路徑點；一車道線擬合模組，透過該相機點雲融合圖及該路面分割圖來取得道路線的多個點座標，並將其擬合成最佳車道線函數；一候選點篩選模組，將該初級路徑點進行篩選並合併該最佳車道線函數再進行篩選，以輸出次級路徑點；及一路徑插補模組，接收該次級路徑點，經由插補函數補充路徑點，並輸出最終路徑點作為即時路徑規劃。

此外，本發明另提供一種無高精度向量地圖即時自駕車路徑規劃方法，其使用一影像擷取裝置輸的相機影像及一光達裝置輸出的光達點雲圖來進行即時路徑規劃，無高精度向量地圖即時自駕車路徑規劃方法包含步驟：(A)接收該相機影像及該光達點雲圖，將該光達點雲圖投影到該影像擷取裝置的相機座標上，並輸出相機點雲融合圖；(B)接收該相機影像，以深度學習模型將該相機影像中的車道線與可行駛區域整合，並輸出路面分割圖；(C)利用該路面分割圖及該相機點雲融合圖來生成大量的候選路徑點，據以產生初級路徑點；(D)透過該相機點雲融合圖及該路面分割圖來取得道路線的多個點座標，並將其擬合成最佳車道線函數；(E)將該初級路徑點進行篩選並合併該最佳車道線函數再進行篩選，以輸出次級路徑點；以及(F)接收該次級路徑點，經由插補函數補充路徑點，以輸出最終路徑點作為即時路徑規劃。

10:車輛

11:影像擷取裝置

13:光達裝置

15:即時自駕車路徑規劃裝置

120:相機光達校準模組

130:可行駛區域偵測模組

150:路徑點生成模組

160:車道線擬合模組

170:候選點篩選模組

180:路徑插補模組

100:相機影像

110:光達點雲圖

140:相機點雲融合圖

450:路面分割圖

430:車道分割圖

440:道路線分割圖

550:初級路徑點

650:最佳車道線函數

7040:合法路徑點

7070,7120:閾值

7090:平滑路徑點

7140:次級路徑點

S501~S503,S601~S605,S701~S706,S801~S809:步驟

圖1顯示本發明的無高精度向量地圖即時自駕車路徑規劃系統的架構圖。

圖2顯示本發明的無高精度向量地圖即時自駕車路徑規劃系統的運作方法流程。

圖3示意地顯示依據本發明的相機光達校準模組的輸出。

圖4示意地顯示依據本發明的可行駛區域偵測模組輸出的結果。

圖5顯示依據本發明的可行駛區域偵測模組的詳細的運算過程。

圖6顯示依據本發明的路徑點生成模組的詳細的運算過程。

圖7顯示依據本發明的車道線擬合模組的詳細運算流程。

圖8顯示依據本發明的候選點篩選模組的詳細運算架構。

圖9顯示依據本發明的最終路徑的可視化結果。

以下將透過多個實施例說明本發明的實施態樣及運作原理。本發明所屬技術領域中具有通常知識者，透過上述實施例可理解本發明的特徵及功效，而可基於本發明的精神，進行組合、修飾、置換或轉用。

本文所指的“連接”一詞係包括直接連接或間接連接等態樣，且並非限定。本文中關於”當...”、”...時”的一詞係表示”當下、之前或之後”，且並非限定。

本文中所使用的序數例如“第一”、“第二”等之用詞，是用於修飾請求元件，其本身並不意含及代表該請求元件有任何之前的序數，也不代表某一請求元件與另一請求元件的順序、或是製造方法上的順序，該些序數的使用僅用來使具有某命名的一請求元件得以和另一具有相同命名的請求元件能作出清楚區分。

本文記載多個功效(或元件)時，若在多個功效(或元件)之間使用「或」一詞，係表示功效(或元件)可獨立存在，但亦不排除多個功效(或元件)可同時存在的態樣，換言之，只要描述的態樣合理，「或」一詞包含「及」之態樣。

圖1是本發明的無高精度向量地圖即時自駕車路徑規劃系統的架構圖。無高精度向量地圖即時自駕車路徑規劃系統係設置於一車輛10上，並包括一影像擷取裝置11、一光達(LIDAR)裝置13、以及一即時自駕車路徑規劃裝置15。影像擷取裝置11是例如為網路攝影機、數位攝影機、智慧型手機、行車紀錄器等可輸出RGB影像之裝置，其可擷取車輛10行駛中的行車影像，並輸出相機影像100。光達裝置13係透過光學掃描來測量車輛10到目標物體之距離，而輸出光達點雲圖110，較佳地，光達裝置13可支援16線、32線、64線等多種規格的點雲輸入。該即時自駕車路徑規劃裝置15是例如以軟體、韌體或硬體實現於車輛10的行車電腦、外接電腦或其他控制裝置，其中，即時自駕車路徑規劃裝置15包括一相機光達校準模組120、一可行駛區域偵測模組130、一路徑點生成模組150、一車道線擬合模組160、一候選點篩選模組170、及一路徑插補模組180。即時自駕車路徑規劃裝置15耦接於影像擷取裝置11及光達裝置13以接收來自於影像擷取裝置11的相機影像100及來自於光達裝置13的光達點雲圖110，藉以即時規劃車輛10當前行駛路徑，而節省建置高精度向量地圖的成本。

圖2顯示無高精度向量地圖即時自駕車路徑規劃系統的運作方法流程，其中，相機光達校準模組120接收相機影像100及光達點雲圖110，以將光達裝置13的光達座標上的光達點雲圖110投影到影像擷取裝置11的相機座標上。其中，在進行投影之前需要先計算影像擷取裝置11的內部參數和光達裝置13對於影像擷取裝置11的相對位置，且在機構不改變的前提下，影像擷取裝置11的內部參數以及光達裝置13與影像擷取裝置11的相對位置只需要進行一次校正，以獲得兩個投影矩陣，俾以在投影的階段可以直接利用這兩個投影矩陣進行投影。

圖3示意地顯示前述相機光達校準模組120的輸出，其中，左上部分是相機融合點雲資訊31，右下部分是點雲融合相機資訊32，而此相機融合點雲資訊31及點雲融合相機資訊32統稱為相機點雲融合圖140。

前述可行駛區域偵測模組130接收相機影像100，其使用深度學習模型，將相機影像100中的車道線與可行駛區域整合，同時輸出偵測結果，以節省運算資源。由於可行駛區域偵測模組130採用輕量化的深度學習架構，其參數量可僅有1.6MB，故在嵌入式車載應用亦能夠支援即時運算。圖4示意地顯示前述可行駛區域偵測模組130輸出的結果，如圖所示，此輸出的路面分割圖450包含六類資訊：背景(Background)、主車道(Main Area)、次車道(Alt Area)、及單線、雙線與虛線(Line Area)。

圖5顯示前述可行駛區域偵測模組130的詳細的運算過程。首先輸入為RGB影像的相機影像100，經過模型初始化(步驟S501)後，載入模型參數建構深度路面分割網路(步驟S502)，將RGB影像的相機影像100通過模型以產出預測圖，並將預測圖通過概率圖計算單元以進行概率圖計算(步驟S503)，據以同時生成車道分割圖430以及道路線分割圖440，最後將車道分割圖430以及道路線分割圖440兩者合成為路面分割圖450。

前述路徑點生成模組150係用於利用路面分割圖450以及相機點雲融合圖140來生成大量的候選路徑點，據以產生初級路徑點550。圖6顯示路徑點生成模組150詳細的運算過程，首先，通過接收相機點雲融合圖140及路面分割圖450，對路面分割圖450進行連通域計算(步驟S601)，以取得互相連接的區域，並以最大可行駛區域作為主車道；接著輸入相機點雲融合圖140進行主車道區域路徑點抽取(步驟S602)，以取得主車道內的所有點雲，且對於這些點雲進行相機車身座標軸轉換(步驟S603)；將前述主車道內的點雲轉換至車身座標軸後，再進行一基於密度的聚類(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)演算法(步驟S604)，以將點雲聚類為多數個群，並計算每個群中心(步驟S605)，最終以群中心當作初級路徑點550。

前述車道線擬合模組160係用以透過相機點雲融合圖140以及路面分割圖450來取得道路線的多個點座標，並將其擬合成二次函數之最佳車道線函數650，以供候選點篩選模組170使用。圖7顯示車道線擬合模組160的詳細運算流程，首先，根據路面分割圖450及相機點雲融合圖140對於路面進行邊緣檢測(步驟S701)，以分割出的車道線域與邊緣檢測區域做邏輯交集，將此區域作為主車道線區域；接著進行車道線區域點抽取(步驟S702)，將由車道線區域取出的點經過相機車身座標軸轉換(步驟S703)，以將車道線區域的點轉換至車身座標。轉換後的座標點經過二次多項式擬合(步驟S704)與隨機抽樣一致性(Random Sample Consensus，RANSAC)演算法(步驟S705)，擬合為二次多項式，再經過車道寬、曲率、位置的先驗檢查(步驟S706)，最後輸出最佳車道線函數650。

前述候選點篩選模組170係用以將路徑點生成模組150產生之初級路徑點550進行篩選，通過車道寬、車頭擺幅、車道線三種過濾器，以確保路徑點品質。圖8顯示候選點篩選模組170的詳細運算架構，其以初級路徑點550作為基礎點，首先去除DBSCAN聚類失敗的群組(步驟S801)，接著計算各群的y值域分布範圍(步驟S802)，並通過車道寬過濾器來濾除過於狹窄的道路(步驟S803)，以取得合法路徑點7040。再來，重新計算群中心(步驟S804)，以計算出的群中心作為路徑點串聯，據以計算車頭擺盪幅度(步驟S805)，並與一閾值7070比較，對於超過閾值7070的車頭擺盪幅度，透過車頭擺幅過濾器予以濾除(步驟 S806)，以得到平滑路徑點7090。最後，合併平滑路徑點7090與最佳車道線函數650，以重新計算群中心(步驟S807)，根據計算出的群中心計算路徑點與車道線的距離(步驟S808)，並與一閾值7120比較，以透過車道線過濾器來濾除車道線外的點(步驟S809)，最終輸出次級路徑點7140。

前述路徑差補模組180係用於接收候選點篩選模組170產出的次級路徑點7140，經由例如為B-spline函數之插補函數來補充路徑點，最後輸出最終路徑點810以作為即時路徑規劃。

圖9顯示前述最終路徑的可視化結果，其中，左上部分是道路分割圖與相機點雲混合圖，右下部分是透過本發明所即時生成的即時路徑規劃。

由以上之說明可知，本發明藉由採用道路與道路線語意分割模型以及基於路面分割結果的即時路徑規劃模組，可透過語意分割模型分割道路面，並直接從道路分割結果生成路徑點，故大幅簡化傳統路徑規劃的流程。且相較於現有自駕車之可行駛區域的算法，由於本發明採用深度學習之方法來進行路面分割，故可應用於不同的特殊路面，例如：白天夜間之不同光源路面、人行道與車輛路面判斷、路面具有落差間隙、雙黃線不可行駛車道、無塗畫道路線之路面等，此外，本發明使用多功能深度學習網路，將道路線分割以及道路線偵測進行整合，更能夠大大的節省運算量，並於嵌入式平台上達到即時處理之果效。本發明在實際道路的路測中進行反覆實驗後，規劃的路徑在10公尺內的誤差小於1公尺，故顯示其可用於安全的車道線自動保持。

上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。