TWI797526B - 多感測器自動駕駛系統 - Google Patents

Abstract

本發明公開了一種多感測器自動駕駛系統，包括一影像訊號接收模組，用來接收連續的影像訊號；一感測器訊號接收模組，用來接收連續的感測訊號；及一處理單元，將所述連續的影像訊號或/及所述連續的感測訊號進行分析，以判斷是否包含一識別目標，並於確認包含所述識別目標時，產生一觸發訊號，其中所述處理單元根據所述觸發訊號標記對應的影像訊號或/及感測訊號。

Description

多感測器自動駕駛系統

本發明涉及自動駕駛領域，尤其涉及一種多感測器自動駕駛系統。

環境感知能力對於自動駕駛技術而言是十分重要的關鍵技術，一個穩健的自動駕駛系統需要搭配不同特性的感測器，經由人工智慧判斷下，才能掌握環境的動態。

而人工智慧需透過不同感測器訊號對於訊號的大量搜集進行標記與學習，調校參數後才能得到系統的優化表現，以提升對於環境感知能力。因此在發展一個理想的自動駕駛系統時，訊號收集效率更顯得重要，而現今車載智慧具備有攝影機、毫米波雷達、超聲波雷達和光達(LiDAR)等不同功能的感測器，不同的訊號量收集需要搭建一整合平臺以實現有效率訊號收集，如此可以做為訊號同步及整合的功能，而感測器訊號其中又以影像訊號收集時佔據龐大的儲存空間，所以如何同時有效錄製大量感測器訊號進而分類、標記與學習，提升儲存空間使用率，甚至對於後端訊號處理前的分類篩選，將是自動駕駛技術開發時所必須解決的問題。此外，在驗證開發的人工智慧是否能有效實現自動駕駛所要求的功能，需要將開發的人工智慧整合在一硬體平臺，而硬體平臺相關規格及設置，又是有別於訊號收集的系統，並且硬體平臺需要安裝在實車上進行驗證。

為解決上述技術問題而提供了一種多感測器自動駕駛系統。

本發明的目的可以透過以下的技術方案來實現：

一種多感測器自動駕駛系統，包括影像訊號接收模組，用來接收連續的影像訊號，感測器訊號接收模組，用來接收連續的感測訊號，處理單元，將所述連續的影像訊號或/及所述連續的感測訊號進行分析，以判斷是否包含一識別目標，並於確認包含所述識別目標時，產生一觸發訊號，其中所述處理單元根據所述觸發訊號標記對應的影像訊號或/及感測訊號。

還包括儲存模組，其特徵在於所述處理單元將所述連續的影像訊號或/及所述連續的感測訊號儲存於所述儲存模組。

還包括儲存模組，其特徵在於所述處理單元將已標記的所述影像訊號或/及已標記的所述感測訊號儲存於所述儲存模組。

所述識別目標可為多重條件的設定，並可以根據多重條件作交集或聯集的方式設定。

所述影像訊號為LVDS格式訊號。

所述感測訊號至少為超聲波訊號、光達訊號、毫米波雷達訊號、GPS訊號、行車資料訊號其中之一。

所述感測器訊號接收模組還包括具有乙太網路介面的感測器訊號接收區塊，用來接收所述光達訊號。

所述處理單元對所述連續的影像訊號及所述連續的感測訊號進行時間同步。與現有技術相比，本發明具有以下優點： 1、本發明的多感測器自動駕駛系統經由設定識別目標及設定儲存方式後，對於接收連續的影像訊號及連續的感測器訊號進行標記，最後儲存後的訊號經由本系統可產生分類標示，自動駕駛系統開發者可再針對收集到的影像訊號或/及感測訊號，進行有效的後端訊號處理後，有利於開發車載人工智慧； 2、透過本發明的系統設置，包括有影像訊號接收模組及感測器訊號接收模組，更包括有乙太網路介面的感測器訊號接收區塊，用來接收所述光達訊號。其中，影像訊號為LVDS訊號格式，傳輸的影像品質較佳，對於開發影像人工智慧較為有利，此外本系統提供CAN匯流排的介面的感測器訊號接收模組，可同時接收不同類型的感測器的感測訊號，而針對光達訊號也提供了快速乙太網路介面作為傳輸，開發者在開發後的人工智慧更可直接利用本發明的系統裝載於車輛上，實現實車驗證。

為使本發明實施方式的目的、技術方案和優點更加清楚，下面將結合本發明實施方式中的附圖，對本發明實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本發明一部分實施方式，而不是全部的實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。因此，以下對在附圖中提供的本發明的實施方式的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。

在本發明的描述中，需要理解的是，術語“上”、“下”等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的設備或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。

在本發明的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發明中，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”、“固定”等術語應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。

下面結合附圖與具體實施方式對本發明作進一步詳細描述：

請參考圖1，本發明公開了一種多感測器自動駕駛系統100包括影像訊號接收模組101、感測器訊號接收模組102、處理單元103與儲存模組104。

影像訊號接收模組101用來接收連續的影像訊號，並具有影像處理單元(ISP, Image Signal Processor)，可處理如鏡頭矯正、圖元矯正、顏色插值、Bayer 雜訊去除、 白平衡矯正、 色彩矯正、gamma 矯正、色彩空間轉換等功能。影像訊號接收模組101一般可具有LVDS(Low Voltage Differential Signaling，低電壓差分訊號)或MIPI CSI傳輸介面。而影像訊號來自一個或多個連接於車輛上的攝像頭，攝像頭通常安裝在車輛的周圍拍攝行車圖像，為了能獲取較好的影像品質，影像訊號可以為LVDS格式訊號。

感測器訊號接收模組102，用來接收連續的感測訊號，感測訊號至少為超聲波訊號、光達訊號、毫米波雷達訊號(mmWave Radar)、GPS訊號、行車資料訊號其中之一。其中，超聲波訊號、毫米波雷達訊號、GPS訊號、行車資料訊號(包括例如包括車速、引擎轉速、轉向角、加速度、文件位與其他感測器訊號等)，可透過感測器訊號接收模組102的CAN匯流排界面傳輸。所述感測器訊號接收模組102還包括具有乙太網路介面的感測器訊號接收區塊1020，用來接收所述光達訊號，透過乙太網路介面可實現高速光達訊號傳輸。

處理單元103為本發明的系統主要運算單元，內置有優化後的人工智慧，通常處理核心是DSP (digital signal processor，數位訊號處理器)。DSP 適合用來進行各種乘加運算（SOP：Sum of Products），例如：有限脈衝回應濾波運算（FIR：Finite Impulse Response）、無限脈衝回應濾波運算（IIR：Infinite Impulse Response）、離散傅立葉轉換（DFT：Discrete Fourier Transform）、離散余弦轉換（DCT：Discrete Cosine Transform）、點積運算（Dot product）、卷積運算（Convolution），以及矩陣多項式的求值運算等。處理單元103具有記憶體傳輸介面，可執行記憶體內置指令。處理單元103亦具有影像傳輸介面，與影像訊號接收模組連接，運算自影像訊號接收模組轉換後的影像訊號。處理單元103同時也包括有CAN匯流排界面，與感測器訊號接收模組的CAN匯流排連接，運算感測訊號如超聲波訊號、毫米波雷達訊號、GPS訊號、行車資料訊號等。此外，處理單元103也具有高速傳輸介面，支援高速乙太網路介面傳輸，主要是運算來自感測器訊號接收模組的光達訊號。

儲存模組104主要功能是儲存影像訊號或/及各式感測訊號。儲存模組104可以是內建的積體電路的記憶體，也可以是外接式的存儲裝置，如SSD或SD卡。儲存檔案是以幀數形式儲存，在檔案內的每一筆資料都要符合對應儲存格式，舉例可以為，欄位辨識資料開頭，欄位資料格式，如Camera影像、Radar、LiDAR…，欄位資料長度，欄位同步當下的時間等格式。

請一併參考圖1及圖2根據本公開內容的由多感測器自動駕駛系統100用於人工智慧訊號收集的流程的實施方式。本發明的多感測器自動駕駛系統100安裝于實車上有以下進行的步驟：

步驟S1，設定識別目標與儲存模式。設定方式可經由透過一系統啟動時的使用者介面(user interface)(未標示)對於多感測器自動駕駛系統100進行操作，或是在系統啟動時，預先將識別目標透過程式載入於系統中，載入的方式可透過實體傳輸裝置，如USB插口、記憶卡等方式，亦可透過無線傳輸，如藍芽、無線網路等方式載入。識別目標在設定上可為單一設定或多重條件的設定，並可以根據多重條件作交集或聯集的方式設定，亦即可設定兩種以上不同的識別目標，交集代表不同的識別目標同時存在，聯集則表示任一識別目標存在即可。儲存模式是依據識別目標作不同資料型態的儲存，可依不同感測器訊號、儲存訊號的格式、儲存訊號資料量的大小等決定，本發明在儲存模式中，可設定當系統對於偵測到識別目標時，是否要儲存具有該識別目標時的相關影像或是其他感測器訊號，甚至設定儲存的幀數可依據設定而有所調整，例如當系統偵測到識別目標時的前後幀數設定。相對的，本發明的系統可以設定儲存不具有該識別目標時的相關影像或是其他感測器訊號。

一般而言，識別目標可以包括特定物件、事件、操控等行為，特別是藉由人工智慧判斷影像為主的特定目標，也可以為需要人工智慧判斷其他感測訊號的目標。特定物件舉例可以包括行人、各式車輛、路牌標誌、號志標誌、電線杆、車道線、人行道、車道類型、坑洞、路沿石、停車格、地鎖、限位擋杆等。特定事件舉例可以包括環境中的雨、霧或雪的行駛天候，以及行車時的環境照度，甚至是道路塞車、車輛故障、車輛撞擊、感測器失效或被遮蔽影響功能時等。特定操控舉例可以是自動駕駛功能失效，如自動停車失效、自動換車道失效等失效行為，或是駕駛者行為介入，如緊急煞車、急速轉向等行為。以上識別目標主要是以人工智慧判斷為主的目標，但本發明不限於此，當然也可以包括感測器訊號，例如GPS設定範圍、車速、環境溫濕度、駕駛介入操控時間等。

步驟S2，接收影像訊號或/及感測訊號。當設定前述步驟設定完成後，隨著車輛移動時，經由本發明的系統組態影像訊號接收模組101，用來接收連續的影像訊號，以及感測器訊號接收模組102，用來接收連續的感測訊號。所述連續的影像訊號及連續的感測訊號，在未進入本發明的系統的處理單元103分析判斷是否有識別目標前，會暫時存取於系統內置的動態記憶體(未標示)的共用記憶體(share memory)區內，而此時處理單元103對存取於共用記憶體區內的所述連續的影像訊號及所述連續的感測訊號進行時間同步。

步驟S3，處理單元分析。本發明的多感測器自動駕駛系統100具有處理單元103，且所述處理單元103內已建置有人工智慧，可針對識別目標進行辨識，也就是說，本發明的多感測器自動駕駛系統100具有的處理單元103已建置有優化後的人工智慧，可針對系統既有的識別目標進行辨識，提升訊號的收集效率或後續訊號篩選處理方便性，藉以開發其他自動駕駛功能，而進行訊號收集作業。所述處理單元103針S1步驟設定的識別目標，將所述連續的影像訊號或/及所述連續的感測訊號進行分析，以判斷是否包含識別目標，並於確認包含所述識別目標時，產生觸發訊號。亦即本發明的處理單元103可根據S1步驟選定的識別目標特徵，來選擇分析的訊號，若運算僅為影像訊號的人工智慧運算，則僅會對於影像訊號作分析，而不分析其他感測訊號，以節省系統的運算量。

所述觸發訊號是經由所述處理單元103運算後產生並且儲存于本發明的系統內置的動態記憶體(未標示)中，而所述觸發訊號可包括處理單元103對於本發明的系統所實行的相關作動，如操控系統(或車輛)、停止系統(或車輛)等，或是對所述連續的影像訊號或/及所述連續的感測訊號進行標記、儲存等訊號處理。

步驟S4，標記儲存。處理單元103對於前述步驟所產生的觸發訊號標記對應的所述連續的影像訊號或/及所述連續的感測訊號。標記主要根據S1步驟設定產生，其具體作法可以是處理單元103對於所述連續的影像訊號或/及所述連續的感測訊號產生文字資料、時間起始終止資料、識別目標的類型標記、識別目標的圈選標記、儲存的幀數或每一幀數的信心指數等的至少一種。對於標記後的所述連續的影像訊號或/及所述連續的感測訊號，處理單元103便呼叫本發明的系統內置的動態記憶體的儲存指令，將這些影像訊號或/及感測訊號儲存于本發明的系統的儲存模組104內。儲存訊號可根據S1步驟設定進行，可選擇方式為：(1)處理單元103將所述連續的影像訊號或/及所述連續的感測訊號儲存於所述儲存模組104，亦即儲存系統根據S1步驟設定啟動後，開始儲存影像訊號或/及感測訊號，但其中部份的所述連續的影像訊號及部份的所述連續的感測訊號已具有對應的標記訊號。(2)處理單元103將已標記的所述影像訊號或/及已標記的所述感測訊號儲存於所述儲存模組104，亦即僅針對已標記的訊號作儲存，其他不具有標記的訊號則不儲存至儲存模組104內。

透過S4步驟所得到的儲存訊號，本發明的系統對於儲存後的訊號分類標示，自動駕駛系統開發者可再針對收集到的影像訊號或/及感測訊號，透過訊號的再標記、篩選、參數調整、演算法改良等有關人工智慧學習與訓練，最後將經過訓練後的人工智慧可更新，進行離線驗證，或透過本發明的系統建置好的硬體平臺進行人工智慧的實車驗證。訊號收集可重複進行前述S1至S4的步驟，直到開發的自動駕駛功能達到優化為止。

現在，針對本發明的多感測器自動駕駛系統100作以下實施，並請一併參 考圖1及圖2的說明。

多感測器自動駕駛系統100例如作為使用識別目標為車格的標記儲存的實施說明。常見的自動駕駛系統對於自動停車功能實現時，會需要收集對應的車格訊號，因此在透過本發明的系統在S1步驟時，需要設定識別目標與儲存模式。在識別目標中，由於車格訊號包括有車格線、車格號碼、其他車輛、地面障礙物(如地鎖、限位擋杆等)以及其他障礙物(如行人、動物等)，或是環境照度等。開發者可根據不同的識別目標，選定單一或是多重的條件，舉例可為只選取車格線為雙線時的單一識別目標，或是同時選定為車格線且環境照度為100 LUX以下時的識別目標，甚至是為選取車格線為單線或雙線的識別目標。儲存模式可以設定儲存具有該識別目標的訊號類型，進一步地可選擇僅儲存影像訊號而不儲存其他感測器訊號，或是同時儲存影像訊號及其他感測器訊號。更進一步地，可設定儲存影像訊號的儲存量大小，例如是當系統(處理單元103)偵測到識別目標起始時到偵測識別目標結束時的所有幀數。

當識別目標與儲存模式設定完成後，由步驟S2開啟影像訊號接收模組101接收連續的影像訊號，以及開啟感測器訊號接收模組102接收連續的感測訊號。

接著處理單元103對於影像訊號接收模組101接收連續的影像訊號或/及感測器訊號接收模組102接收連續的感測訊號進行S3步驟的分析。由於本發明的多感測器自動駕駛系統100的處理單元103已具有人工智慧，因此可依據步驟S1的設定進行訊號的分辨。舉例是選取車格線為雙線時的單一識別目標且僅儲存影像訊號而不儲存其他感測器訊號時，處理單元103對人工智慧的計算會根據車格線的特性，僅分析影像訊號而不分析其他感測訊號，如果處理單元103分析到影像訊號具有步驟S1設定的識別目標時，便產生一觸發訊號，該觸發訊號依本例為儲存指令時，則依此觸發訊號使訊號儲存於儲存模組104，即進入S4步驟，而僅儲存的是影像訊號而不儲存其他感測訊號。

在S4步驟的儲存訊號內容，又可根據S1步驟的設定，對於訊號作不同的儲存方式，可選擇方式為：(1)處理單元103將所述連續的影像訊號或/及所述連續的感測訊號儲存於所述儲存模組104，亦即在系統啟動後，開始儲存影像訊號或/及感測訊號，但其中部份的所述連續的影像訊號及部份的所述連續的感測訊號具有在S3步驟已完成的標記訊號。(2)處理單元103將已標記的所述影像訊號或/及已標記的所述感測訊號儲存於所述儲存模組104，亦即僅針對已標記的訊號作儲存，其他不具有標記的訊號則不儲存至儲存模組104內。特別說明的是，本發明的儲存方式可以儲存不具有該識別目標時的相關影像或是其他感測訊號，舉例來說，本發明的系統可以選擇不儲存處理單元103已經辨識到的車格為單線時的影像訊號，而僅儲存的是車格線為單線以外的其他系統預設的車格線影像訊號。

以下是多感測器自動駕駛系統100例如作為使用識別目標為障礙物的標記儲存的實施說明。自動駕駛功能開發中，障礙物的感測通常需要兩種以上的感測器訊號作為分析判斷，通常感測器為攝像頭及超聲波感測器，其目的是透過接收不同的感測器的訊號後，經由人工智慧運算對於障礙物有更好的辨識結果，如掌握障礙物類型與障礙物距離，甚至對不同的感測器訊號作融合。以開發自動泊車時的空間偵測為例，在步驟S1時，可設定多重障礙物類型作為訊號收集的識別目標，如停于車格內的車輛、地鎖、限位擋杆等，而這些多重的識別目標便是聯集的方式選取。儲存模式可以設定是僅儲存當處理單元103經過識別目標分析後產生觸發訊號時的感測器訊號，此處感測器訊號包含所有的影像訊號及超聲波訊號，並以偵測到識別目標起始時到偵測識別目標結束時的所有幀數為儲存的方式。

當設定完成後，同樣地，由步驟S2開啟影像訊號接收模組101接收連續的影像訊號，以及開啟感測器訊號接收模組102接收連續的感測訊號，而此例中，感測器訊號至少包括超聲波訊號。

在步驟S3時，處理單元103對於影像訊號接收模組101接收連續的影像訊號或/及感測器訊號接收模組102接收連續的感測訊號進行分析。由於本發明的多感測器自動駕駛系統100的處理單元103具有人工智慧，因此可依據步驟S1的障礙物設定狀況，同時分析影像訊號及超聲波訊號，如果處理單元103分析到影像訊號具有步驟S1設定的識別目標時，便產生一觸發訊號(儲存指令)，則依此觸發訊號則使訊號儲存於儲存模組104，即進入S4步驟，根據步驟S1，此時儲存的是影像訊號及超聲波訊號。具體來說，當處理單元103對於識別目標 (停于車格內的車輛、地鎖、限位擋杆)產生觸發訊號後，此時收集到的訊號除了影像訊號的識別目標類型以及影像計算後的距離訊號外，更包括有超聲波訊號對應的距離訊號。因此對於障礙物的標記儲存或是不同傳產器訊號融合前的訊號收集，透過本發明的系統可有效將這些龐大的訊號予以篩選、分類及儲存。

對於開發者而言，除了透過本發明的系統對於感測器訊號的收集更顯得有效率之外，透過本發明的系統設置，包括有影像訊號接收模組101及感測器訊號接收模組102，更包括有乙太網路介面的感測器訊號接收區塊1020，用來接收所述光達訊號，開發者在開發後的人工智慧更可直接利用本發明的系統裝載於車輛上，實現實車驗證。

以上所述，僅是本發明的較佳實施例，並非對本發明作任何形式上的限制，雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明,任何熟悉本專業的技術人員,在不脫離本發明技術方案範圍內，當可利用上述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。

100:多感測器自動駕駛系統 101:影像訊號接收模組 102:感測器訊號接收模組 103:處理單元 104:儲存模組 1020:乙太網路介面的感測器訊號接收區塊

圖1是本發明一種多感測器自動駕駛系統的結構示意圖。 圖2是本發明的一種多感測器自動駕駛系統用於人工智慧訊號收集的流程的示意圖。

100:多感測器自動駕駛系統

101:影像訊號接收模組

102:感測器訊號接收模組

103:處理單元

104:儲存模組

1020:乙太網路介面的感測器訊號接收區塊

Claims (6)

1. 一種多感測器自動駕駛系統，包括：一影像訊號接收模組，用來接收連續的影像訊號；一感測器訊號接收模組，用來接收連續的感測訊號；一使用者介面，用來預先設定識別目標與儲存模式；一處理單元，將所述連續的影像訊號或/及所述連續的感測訊號進行分析，以判斷是否包含所述識別目標，並於確認包含所述識別目標時，產生一觸發訊號，並根據所述觸發訊號對包含所述識別目標的影像訊號或/及感測訊號進行標記；及一儲存模組，根據所述儲存模式儲存所述影像訊號或/及感測訊號；其中所述儲存模式依據所述識別目標來決定所述影像訊號或/及所述感測訊號的儲存格式與資料量大小，並包含在所述處理單元偵測到所述識別目標時，是否要儲存具有及/或不具有該識別目標的所述影像訊號或所述感測訊號之設定。
2. 如申請專利範圍第1項所述的多感測器自動駕駛系統，其中所述識別目標可為多重條件的設定，並可以根據多重條件作交集或聯集的方式設定。
3. 如申請專利範圍第1項所述的多感測器自動駕駛系統，其中所述影像訊號為LVDS格式訊號。
4. 如申請專利範圍第1項所述的多感測器自動駕駛系統，其中所述感測訊號至少為超聲波訊號、光達訊號、毫米波雷達訊號、GPS訊號、行車資料訊號其中之一。
5. 如申請專利範圍第4項所述的多感測器自動駕駛系統，其特徵在於所述感測器訊號接收模組還包括具有乙太網路介面的感測器訊號接收區塊，用來接收所述光達訊號。
6. 如申請專利範圍第1項所述的多感測器自動駕駛系統，其特徵在於所述處理單元對所述連續的影像訊號及所述連續的感測訊號進行時間同步。

Images