TWI793584B - 自動泊車建圖與定位的系統及其方法 - Google Patents

Abstract

本案揭示一種自動泊車建圖與定位的系統及方法，包括影像訊號接收模組，接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像訊號；車輛訊號總成介面，接收來自車輛的行車數據訊號；處理單元在該車輛周圍環境的連續影像訊號的每一幀內產生具有深度資訊的特徵點，並匹配該特徵點與該車輛的行車數據訊號後，構建三維點雲地圖；儲存模組，儲存該三維點雲地圖。車輛重新定位時，該處理單元可根據該影像訊號接收模組接收該至少兩個單目攝影機即時拍攝的車輛周圍環境的即時影像訊號，並用以比對已儲存的該三維點雲地圖來確定該至少兩個單目攝影機的定位位姿。

Description

自動泊車建圖與定位的系統及其方法

本發明涉及自動駕駛技術領域，具體涉及一種自動泊車建圖與定位的方法。

隨著車載人工智慧開發，對於自動駕駛車輛于自動泊車的功能需求增加，特別是特定停車場域的自動泊車技術。自動泊車最重要的即是定位與建立停車場域的地圖。室外場域通常藉由全球衛星定位系統(GPS)來實現定位，而相對的精度不佳，至於室內停車場域則受到建築物遮蔽GPS訊號無法實現定位。因此同步定位與地圖建立(Simultaneous Localization and Mapping)技術便使用在以視覺辨識的方式實現車輛定位及建置停車場域地圖。一般的作法是自動駕駛車輛利用單個單目攝像頭，在車輛行駛在停車場域的路徑上，透過電腦視覺(computer vision)創建一個與真實環境相匹配的點雲地圖，在進行後續自動泊車功能時，可藉由地圖的建立，來確定車輛自身在地圖中的位置，然而這樣的地圖對於車輛在實際定位位姿時，往往產生辨識不佳的結果，特別是對於停車場域無特定結構或是場景變異度較低的狀況。

為解決上述技術問題而提供了一種自動泊車建圖與定位的系統及其方法。

本發明的目的可以透過以下的技術方案來實現：一種自動泊車建圖與定位的系統，包括：影像訊號接收模組，接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像訊號，車輛訊號總成介面，接收來自車輛的行車數據訊號，處理單元在所述車輛周圍環境的連續影像訊號的每一幀內產生具有深度資訊的特徵點，並匹配所述特徵點與所述車輛的行車數據訊號後，構建三維點雲地圖，儲存模組，儲存所述三維點雲地圖，其特徵在於車輛重新定位時，所述處理單元可根據所述影像訊號接收模組接收所述至少兩個單目攝影機即時拍攝的車輛周圍環境的即時影像訊號，並用以比對所述已儲存的三維點雲地圖來確定所述至少兩個單目攝影機的定位位姿。

根據本發明構想，所述車輛周圍環境的連續影像訊號至少包括車輛前方及車輛後方影像訊號。

根據本發明構想，所述車輛周圍環境的連續影像訊號至少包括車輛前方影像訊號、車輛後方影像訊號、車輛左右兩側的影像訊號。

根據本發明構想，所述處理單元具有語意運算，可去除所述三維點雲地圖中的動態特徵點。

根據本發明構想，所述車輛左右兩側的影像訊號與所述車輛前方影像訊號及所述車輛後方影像訊號有影像重迭區。

為了達成本發明的目的，本發明提供了一種自動泊車建圖與定位的方法，包括：接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像訊號，接收來自車輛的行車數據訊號，在所述車輛周圍環境的連續影像訊號的每一幀內產生具有深度資訊的特徵點，並匹配所述特徵點與所述車輛的行車數據訊號後，構建三維點雲地圖，儲存所述構建的三維點雲地圖，其特徵在於車輛重新定位時，根據所述影像訊號接收模組接收所述至少兩個單目攝影機即時拍攝的車輛周圍環境的即時影像訊號，並用以比對所述已儲存的三維點雲地圖來確定所述至少兩個單目攝影機的定位位姿。

根據本發明構想，所述車輛周圍環境的連續影像訊號至少包括車輛前方及車輛後方影像訊號。

根據本發明構想，所述車輛周圍環境的連續影像訊號至少包括車輛前方影像訊號、車輛後方影像訊號、車輛左右兩側的影像訊號。

根據本發明構想，上述方法還包括語意運算，可去除所述三維點雲地圖中的動態特徵點。

根據本發明構想，所述車輛左右兩側的影像訊號與所述車輛前方影像訊號及所述車輛後方影像訊號有影像重迭區。

本發明具有以下優點： 1、在自動泊車建立停車場域地圖時，由於本發明的系統接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像訊號，可以涵蓋所有車輛周圍環境的視野，亦即構成一個全景的視野，提高在建構停車場域的三維點雲地圖的完整度，同時，為了達到更精確的停車場域的三維點雲地圖，本發明可經由語意運算去除所述三維點雲地圖中的動態特徵點。 2、由於本發明裝載于車輛前方、車輛後方及車輛左右兩側的單目攝像頭，經由前後影像幀的取代方式，可減少鏡頭造成影像邊緣的失真情形，提高在建構停車場域的三維點雲地圖的完整度與準確性。 3、在自動泊車的定位時，如面對重複性較高的停車場域，或是車輛行進的角度有偏移時，由於這些單目攝像頭即時拍攝的影像訊號的不同，可快速找到這些單目攝像頭對應於停車場域的三維點雲地圖定位位姿，進而得到車輛定位位姿。

為使本發明實施方式的目的、技術方案和優點更加清楚，下面將結合本發明實施方式中的附圖，對本發明實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本發明一部分實施方式，而不是全部的實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。因此，以下對在附圖中提供的本發明的實施方式的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。

在本發明的描述中，需要理解的是，術語“上”、“下”等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的設備或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。

在本發明的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發明中，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”、“固定”等術語應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。

下面結合附圖與具體實施方式對本發明作進一步詳細描述：

請參考圖1，本發明公開了一種自動泊車建圖與定位的系統100包括影像訊號接收模組101、車輛訊號總成介面102、處理單元103、與儲存模組104。

影像訊號接收模組101用來接收連續影像訊號，並具有影像處理單元(ISP, Image Signal Processor)，可處理如鏡頭矯正、圖元矯正、顏色插值、Bayer 雜訊去除、 白平衡矯正、 色彩矯正、gamma 矯正、色彩空間轉換等功能。影像訊號接收模組101一般可具有LVDS(Low Voltage Differential Signaling，低電壓差分信號)或MIPI CSI傳輸介面(未標示)。本發明中，連續影像訊號來自至少兩個設置於車輛車輛上的單目攝像頭，而單目攝像頭通常安裝在車輛的外側，避免受到車輛本身的視野遮蔽，其主是用來拍攝車輛周圍環境的連續影像訊號，為了能獲取較好的影像品質，影像訊號可以為LVDS格式訊號。

車輛訊號總成介面102連接車輛CAN匯流排，接收來自車輛的行車數據訊號。車輛的行車數據訊號包括例如包括車速、引擎轉速、轉向角、加速度、檔位等，甚至可以包括來自裝載於車輛的慣性測量單元(Inertial Measurement Unit)以及輪速計、GPS等有關可以測量車輛移動距離的感測訊號。

處理單元103為本發明的主要的運算單元，通常處理單元103的處理器是DSP (digital signal processor，數位訊號處理器)。DSP 適合用來進行各種乘加運算（SOP：Sum of Products），例如：有限脈衝回應濾波運算（FIR：Finite Impulse Response）、無限脈衝回應濾波運算（IIR：Infinite Impulse Response）、離散傅立葉轉換（DFT：Discrete Fourier Transform）、離散余弦轉換（DCT：Discrete Cosine Transform）、點積運算（Dot product）、卷積運算（Convolution），以及矩陣多項式的求值運算等。處理單元103連接影像訊號接收模組101，運算自影像訊號接收模組101轉換後的影像訊號，處理單元103同時與車輛訊號總成介面102連接，接收來自車輛的行車數據訊號，因此根據車輛周圍環境的連續影像訊號及行車數據訊號，可以在自動泊車建圖功能開啟時，開始構建三維點雲地圖，並于車輛重新定位時，比對三維點雲地圖，來得到至少兩個單目攝影機的定位位姿。

儲存模組104主要功能是儲存影像訊號或/及各式行車數據訊號，以及儲存三維點雲地圖。儲存模組105可以是內建的積體電路的記憶體，也可以是外接式的存儲裝置，如SSD或SD卡。同時，儲存模組104與處理單元103連接，可根據處理單元103產生的訊號進行資料的儲存。

請一併參考圖1、圖2及圖3為根據本發明的一種自動泊車建圖與定位的系統100運作的實施方式。本發明的自動泊車建圖與定位的系統100安裝於車輛上，並進行以下的步驟：

步驟S01，接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像訊號及接收來自車輛的行車數據訊號。用戶在車輛上開啟自動泊車功能時，必須先進行第一次建圖模式，因此在開啟自動泊車功能後，用戶必須自行駕駛至停車場域內的停車格(通常有畫設車格線)或特定停車空間中，在用戶自行駕駛的過程中，本發明中的系統100便藉由影像訊號接收模組101來接收裝設在車輛前方及車輛後方(如圖3)的至少兩個單目攝像頭拍攝車輛周圍環境的連續影像訊號，這些連續影像訊號涉及到單目攝像頭的內外參數，因此必須校正。在本實施例中，單目攝像頭具有廣視角或是魚眼鏡頭，使得這些裝設于車輛前方及後方的單目攝像頭所拍攝的連續影像訊號，可以涵蓋所有車輛周圍環境的視野，亦即構成一個全景的視野。而這些單目攝像頭必須有較好的焦距，對於距離20米以內的拍攝顯得清晰，讓用戶在自行駕駛的過程中，能完整收集停車場域的場景影像，以利車輛在行駛至特定停車格或是停車空間的路徑上，在車輛周圍環境的影像訊號的每一幀均有對應完整的三維點雲地圖。同時間，車輛訊號總成介面102連接車輛CAN匯流排，接收來自車輛的行車數據訊號。而這些車輛的行車數據訊號主要是測量車輛移動距離及速度的感測訊號，以作為匹配車輛周圍環境的連續影像訊號之實際距離訊號。

步驟S02，在車輛周圍環境的連續影像訊號的每一幀內產生具有深度資訊的特徵點。主要是由處理單元103對連續影像訊號進行特徵點的提取，而本發明採取的特徵點運算是以模型基底(Model-based)來取代電腦視覺(Computer Vision)的方式進行，主要針對影像訊號的每一幀中，特別具有停車場域內常見的柱子、牆壁、路標、符號等(但不限於上述)之點、邊角、紋路等特徵，估算各特徵點的描述子(descriptor)，隨著車輛的移動，根據將前後幀特徵點的描述子做一對一的特徵點的配對，並計算配對後特徵點在立體座標上的投影變化，最後得到連續影像訊號的每一幀內具有深度資訊的特徵點。

步驟S03，匹配所述特徵點與所述車輛的行車數據訊號。由於影像訊號是連續幀數構成的紀錄，影像的前後幀反應的是時間差，而在S02步驟中，即使處理單元103對連續影像訊號的每一幀產生具有深度資訊的特徵點，但會與實際車輛行駛的距離間存在一定的差異，因此本實施例中，處理單元103根據步驟S01中，透過車輛訊號總成介面102接收來自車輛的行車數據訊號，特別是慣性測量單元(Inertial Measurement Unit)以及輪速計等有關可以測量車輛移動距離的感測訊號，當影像的前後幀對應的車輛移動距離已知時，便可以三角測量原理匹配所述特徵點與所述車輛的行車訊號後，得到實際特徵點的深度資訊。此外，針對影像中所有特徵點的標記，處理單元103具有語意運算，可去除所述三維點雲地圖中的動態特徵點，其目的是對使用者第一次建圖而言，停車場域可能包括多數動態物體，如停放好的車輛、行人、可移動的消防設備等，若這些動態物體于建圖時被視為特徵點而成為三維點雲地圖的一部分，則會在後續用戶開啟自動泊車時，隨著動態物體位置的改變或移動，造成自動泊車功能定位上的失效。因此，透過處理單元103的語意運算，其做法可在所述影像訊號的每一幀根據語意運算所框選處的區域內的動態特徵點予以刪除，即不儲存這些具有動態特徵點的訊號於三維點雲地圖中，而在用戶下一次執行自動泊車功能時，透過本系統可以再次將這些已刪除的動態特徵點在三維點雲地圖的區域，根據當時拍攝到的影像訊號所產生的新的特徵點，適度地更新這些原來在三維點雲地圖中不具有特徵點的區域，因此提高停車場域地圖的精度。

步驟S04，儲存三維點雲地圖。此步驟即針對已經建立好的三維點雲地圖將儲存於儲存模組104中，而儲存的訊號可以包括各個單目攝像頭拍攝的連續影像訊號，也包括這些單目攝像頭對應於三維點雲地圖的相對座標。甚至儲存模組104可以儲存使用者於不同停車場域建立的三維點雲地圖，或是同一停車場域不同時間的三維點雲地圖，更進一步地，可以儲存各停車場域經語意運算動態特徵點後的建圖完整度指數，以及來自車輛的GPS訊息、慣性測量單元訊號等。這些儲存於儲存模組104的訊號，將可以被讀取、重新寫入或是透過網路傳輸至雲伺服器以作為優化地圖、訊號交換之用途。

步驟S05，比對單目攝影機即時拍攝的車輛周圍環境的即時影像訊號及已儲存的三維點雲地圖來確定所述至少兩個單目攝影機的定位位姿。當使用者於步驟S04完成建立並儲存三維點雲地圖，於再次啟動自動泊車功能且車輛重新定位時，處理單元103讀取儲存單元104內已經儲存的三維點雲地圖，並同時接收這些單目攝像頭(本實施例中是設置于車輛前方及車輛後方的至少兩個單目攝像頭)即時拍攝的車輛周圍環境的即時影像訊號，經計算這些即時影像訊號的特徵點，且同時比對已儲存的三維點雲地圖後，便可快速取得這些至少兩個單目攝影機的定位位姿，而進而得到車輛在三維點雲地圖的座標位置，達到快速定位。

由於本實施方式的至少兩個裝載于車輛前方及後方的單目攝像頭可以涵蓋所有車輛周圍環境的視野，亦即構成一個全景的視野，提高在建構停車場域的三維點雲地圖的完整度，此外，在車輛重新定位時，這些單目攝像頭即時拍攝的影像訊號的不同，可快速找到這些單目攝像頭對應於停車場域的三維點雲地圖定位位姿，進而得到車輛定位位姿。

請參考圖4為根據本發明的一種自動泊車建圖與定位的系統100運作的第二實施方式。本實施方式的自動泊車建圖與定位的系統100及操作方法與第一實施方式並無差異，但本實施方式中影像訊號接收模組101，接收來車輛前方影像訊號、車輛後方影像訊號、車輛左右兩側的影像訊號，亦即單目攝像頭安裝于車輛的前方、後方、左右兩側，用以拍攝車輛周圍環境的連續影像訊號，構成一個全景的視野。由於單目攝像頭的視角較廣，除了相對影像的深度資訊的可信度會降低，而單目攝像頭所搭載的鏡頭，在影像靠近成像邊緣會容易造成失真(distortion)，而失真的影像訊號在構建停車場域的全景視野的三維點雲地圖時，特別是影像前後幀的特徵點匹配時(步驟S03)，會造成匹配不佳，甚至對於同一物體上的特徵點的匹配異常，因此本實施方式除了接收來車輛前方影像訊號及車輛後方影像訊號，更同時接收來自車輛左右兩側的影像訊號，而這些車輛左右兩側的影像訊號與車輛前方影像訊號及車輛後方影像訊號有影像重迭區。由於這些來自這些單目攝像頭拍攝的影像訊號是同步且即時的影像，在影像重迭區的部分，除了確定全景視野的三維點雲地圖可以被這些單目攝像頭的視野完全涵蓋之外，對於這些影像重迭區，處理單元103給予標記而不計算影像訊號的特徵點，隨著車輛移動位姿的改變，這些重迭且可能失真較高的影像訊號，會被後續的車輛左右兩側的影像訊號給取代，取代後的影像訊號就可以減少因車輛前方及車輛後方的單目攝像頭中的鏡頭造成的影像邊緣的失真現象，大幅改善對於三維點雲地圖的準確性。

同樣地，由於本實施方式的裝載于車輛前方、車輛後方及車輛左右兩側的單目攝像頭可以涵蓋所有車輛周圍環境的視野，亦即構成一個全景的視野，並可減少影像的失真，提高在建構停車場域的三維點雲地圖的完整度與準確性，此外，在車輛重新定位時，這些單目攝像頭即時拍攝的影像訊號的不同，可快速找到這些單目攝像頭對應於停車場域的三維點雲地圖定位位姿，進而得到車輛定位位姿。

對於使用自動泊車功能的用戶來說，由於本發明至少包括兩個單目攝像頭，在自動泊車的定位時，如面對重複性較高的停車場域，或是車輛行進的角度有偏移時，由於這些單目攝像頭即時拍攝的即時影像訊號的不同，可快速找到這些單目攝像頭對應於停車場域的三維點雲地圖定位位姿，進而得到車輛定位位姿。為了達到更精確的停車場域的三維點雲地圖，本發明可經由語意運算去除所述三維點雲地圖中的動態特徵點，因此，透過重複進行前述S01至S04的步驟可使停車場域的精度達到優化為止。

以上所述，僅是本發明的較佳實施例，並非對本發明作任何形式上的限制，雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明，任何熟悉本專業的技術人員，在不脫離本發明技術方案範圍內，當可利用上述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。

100:自動泊車建圖與定位的系統 101:影像訊號接收模組 102:車輛訊號總成介面 103:處理單元 104:儲存模組

圖1是本發明的一種自動泊車建圖與定位的系統的結構示意圖； 圖2是本發明的一種自動泊車建圖與定位的方法流程圖； 圖3是本發明的第一實施方式的單目攝影機設置於車輛的示意圖； 圖4是本發明的第二實施方式的單目攝影機設置於車輛的示意圖。

100:自動泊車建圖與定位的系統

101:影像訊號接收模組

102:車輛訊號總成介面

103:處理單元

104:儲存模組

Claims (10)

1. 一種自動泊車建圖與定位的系統，安裝於一車輛上，包括：影像資訊接收模組，接收來自至少裝設在所述車輛前方及後方的兩個單目攝影機拍攝所述車輛周圍環境的連續影像資訊，其中所述車輛周圍環境的連續影像訊號涵蓋所有所述車輛周圍環境的視野；車輛資訊總成介面，接收來自所述車輛的行車資料資訊；處理單元，在所述車輛周圍環境的連續影像資訊的每一幀內產生具有深度資訊的特徵點，並匹配所述特徵點與所述車輛的行車資料資訊後，構建三維點雲地圖；以及儲存模組，儲存所述三維點雲地圖，其特徵在於所述車輛重新定位時，所述處理單元可根據所述影像資訊接收模組接收所述至少兩個單目攝影機即時拍攝的所述車輛周圍環境的即時影像資訊，並用以比對所述已儲存的三維點雲地圖來確定所述至少兩個單目攝影機的定位位姿。
2. 如申請專利範圍第1項所述的自動泊車建圖與定位的系統，其中所述車輛周圍環境的連續影像資訊至少包括所述車輛前方及所述車輛後方影像資訊。
3. 如申請專利範圍第1項所述的自動泊車建圖與定位的系統，其中所述車輛周圍環境的連續影像資訊至少包括所述車輛前方影像資訊、所述車輛後方影像資訊、所述車輛左右兩側的影像資訊。
4. 如申請專利範圍第1項所述的自動泊車建圖與定位的系統，其特徵在於所述處理單元具有語意運算，可去除所述三維點雲地圖中的動態特徵點。
5. 如申請專利範圍第3項所述的自動泊車建圖與定位的系統，其特徵在於所述車輛左右兩側的影像資訊與所述車輛前方影像資訊及所述車輛後方影像資訊有影像重迭區。
6. 一種自動泊車建圖與定位的方法，使用於一車輛上，包括：藉由一影像訊號接收模組來接收來自至少裝設在所述車輛前方及後方的兩個單目攝影機拍攝所述車輛周圍環境的連續影像資訊，其中所述車輛周圍環境的連續影像訊號涵蓋所有所述車輛周圍環境的視野；藉由一車輛訊號總成介面來接收來自所述車輛的行車資料資訊；藉由一處理單元來在所述車輛周圍環境的連續影像資訊的每一幀內產生具有深度資訊的特徵點，並匹配所述特徵點與所述車輛的行車資料資訊後，構建三維點雲地圖；以及藉由一儲存模組來儲存所述構建的三維點雲地圖，其特徵在於所述車輛重新定位時，所述處理單元根據所述影像資訊接收模組接收所述至少兩個單目攝影機即時拍攝的所述車輛周圍環境的即時影像資訊，並用以比對所述已儲存的三維點雲地圖來確定所述至少兩個單目攝影機的定位位姿。
7. 如申請專利範圍第6項所述的自動泊車建圖與定位的方法，其中所述車輛周圍環境的連續影像資訊至少包括所述車輛前方及所述車輛後方影像資訊。
8. 如申請專利範圍第6項所述的自動泊車建圖與定位的方法，其中所述車輛周圍環境的連續影像資訊至少包括所述車輛前方影像資訊、所述車輛後方影像資訊、所述車輛左右兩側的影像資訊。
9. 如申請專利範圍第6項所述的自動泊車建圖與定位的方法，所述處理單元還包括語意運算，可去除所述三維點雲地圖中的動態特徵點。
10. 如申請專利範圍第8項所述的自動泊車建圖與定位的方法，其特徵在於所述車輛左右兩側的影像資訊與所述車輛前方影像資訊及所述車輛後方影像資訊有影像重迭區。

Images