TWI785761B

TWI785761B - 車用智能之二階段安全控制系統

Info

Publication number: TWI785761B
Application number: TW110131654A
Authority: TW
Inventors: 曾建勳
Original assignee: 崑山科技大學
Priority date: 2021-08-26
Filing date: 2021-08-26
Publication date: 2022-12-01
Also published as: TW202308878A

Abstract

一種車用智能之二階段安全控制系統，其包括電子裝置、一對影像擷取裝置、一對影像接收與傳送處理器、雲端平台以及伺服處理運算器。一個影像接收與傳送處理器電性連接一對影像擷取裝置，一個伺服處理運算器以傳輸控制協定(TCP)分別接收與傳送影像串流，影像接收與傳送處理器包括處理單元、記憶體以及收發單元來執行傳輸控制協定之影像串流，伺服處理運算器包括處理單元、記憶體以及收發單元，記憶體儲存卷積神經網路，當駕駛者攜帶電子裝置鄰近車子的車門時，收發單元主動和電子裝置做藍芽訊號的溝通，收發單元傳送金鑰至電子裝置，電子裝置透過雲端平台對金鑰進行認證程序。當伺服處理運算器接收經過認證後金鑰時，處理單元控制一對影像擷取裝置拍攝駕駛者周圍的環境影像，處理單元利用卷積神經網路對環境影像中駕駛者面孔計算相似度，處理單元根據相似度控制車門開啟或關閉。

Description

車用智能之二階段安全控制系統

本發明關於一種車用控制系統，特別是一種利用雲端金鑰交換認證及卷積神經網路辨識駕駛者面孔之兩階段認證控制車門開啟或關閉之車用智能之二階段安全控制系統。

在科技日新月異的時代，車子已成為不可或缺的交通工具，目前車子仍需用金屬鑰匙或晶片鑰匙來開車門及引擎發動，然而，當金屬鑰匙或晶片鑰匙不見或未攜帶時，駕駛者需另尋鎖匠進行開鎖，從而造成駕駛者的不便及金錢上的浪費。

綜觀前所述，本發明之發明者思索並設計一種車用智能之二階段安全控制系統，以期針對習知技術之缺失加以改善，進而增進產業上之實施利用。

基於上述目的，本發明提供一種車用智能之二階段安全控制系統，利用雲端金鑰交換認證及卷積神經網路辨識駕駛者面孔之兩階段認證，控制車門開啟或關閉，無需駕駛者攜帶金屬鑰匙或晶片鑰匙，以解決習知技術中所面臨之問題。

基於上述目的，本發明提供一種車用智能之二階段安全控制系統，其包括電子裝置、一對影像擷取裝置、一對影像接收與傳送處理器、雲端平台以及伺服處理運算器。一對影像擷取裝置分別設置於車子的後視鏡，一對影像接收與傳送處理器電性連接一對影像擷取裝置，一對影像接收與傳送處理器包括處理單元、記憶體以及收發單元來執行無線傳輸控置協定之影像串流。伺服處理運算器嵌設於車子且電性連接一對影像接收與傳送處理器，伺服處理運算器包括處理單元、記憶體以及收發單元，記憶體儲存卷積神經網路，當駕駛者攜帶電子裝置鄰近車子的車門時，收發單元發出無線訊號，電子裝置接收無線訊號並與伺服處理運算器完成一配對動作，收發單元傳送金鑰至電子裝置。雲端平台網路連接伺服處理運算器和電子裝置，電子裝置傳送金鑰至雲端平台進行認證程序，雲端平台傳送通過認證程序後金鑰至伺服處理運算器。當伺服處理運算器接收通過認證程序後金鑰時，處理單元控制車子的後視鏡、一對影像擷取裝置和一對影像影像接收與傳送處理器開啟，一對影像擷取裝置拍攝駕駛者周圍的環境影像，一對影像接收與傳送處理器將環境影像轉為影像串流並透過無線傳輸控制協定將其傳輸至伺服處理運算器，伺服處理運算器的處理單元利用卷積神經網路比對環境影像中駕駛者面孔和記憶體儲存的駕駛者參考影像來計算相似度，處理單元根據相似度對車門執行控制動作。

可選地，若處理單元判斷相似度大於門檻值，控制動作為使車門開啟。

可選地，若處理單元判斷相似度小於門檻值，控制動作為使車門關閉。

可選地，伺服處理運算器進一步包括警示單元，當伺服處理運算器接收未通過認證程序後金鑰時，處理單元控制警示單元啟動。

可選地，當駕駛者攜帶電子裝置遠離車門時，收發單元未接收金鑰，處理單元控制車門關閉。

可選地，記憶體進一步儲存物件辨識演算法和人臉辨識演算法，處理單元利用物件辨識演算法和人臉辨識演算法識別環境影像中複數個人和複數個物件。

可選地，伺服處理運算器近一步包括第一資料庫和第二資料庫，雲端平台包括雲端資料庫，第一資料庫儲存複數個駕駛者特徵，第二資料庫儲存複數個參考物件特徵，雲端資料庫儲存複數個參考人臉特徵，處理單元利用初步卷積神經網路初步辨識環境影像中複數個物件和複數個人，處理單元利用物件辨識演算法比對環境影像中複數個物件和複數個參考物件特徵來識別複數個物件，，處理單元利用卷積神經網路和該人臉辨識演算法分別比對環境影像中複數個人和複數個駕駛者參考特徵來計算複數個相似度，處理單元根據複數個相似度從複數個人選出其一為駕駛者面孔。

可選地，當處理單元識別複數個物件和複數個人後，處理單元計算複數個人分別和車子相距的第一距離和複數個物件分別和車子相距的第二距離。

可選地，處理單元根據複數個第一距離和複數個第二距離判別複數個物件和複數個人落於可視區或視覺盲區。

可選地，伺服處理運算器進一步包括單次多框偵測單元，單次多框偵測單元利用複數個邊界框將環境影像中複數個人和複數個物件分別框列。

承上所述，本發明之車用智能之二階段安全控制系統，透過雲端金鑰交換認證及卷積神經網路辨識駕駛者面孔之兩階段認證，控制車門開啟或關閉，無需駕駛者攜帶金屬鑰匙或晶片鑰匙。

本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。

應當理解的是，儘管術語「第一」、「第二」等在本發明中可用於描述各種元件、部件、區域、層及/或部分，但是這些元件、部件、區域、層及/或部分不應受這些術語的限制。這些術語僅用於將一個元件、部件、區域、層及/或部分與另一個元件、部件、區域、層及/或部分區分開。因此，下文討論的「第一元件」、「第一部件」、「第一區域」、「第一層」及/或「第一部分」可以被稱為「第二元件」、「第二部件」、「第二區域」、「第二層」及/或「第二部分」，而不悖離本發明的精神和教示。

另外，術語「包括」及/或「包含」指所述特徵、區域、整體、步驟、操作、元件及/或部件的存在，但不排除一個或多個其他特徵、區域、整體、步驟、操作、元件、部件及/或其組合的存在或添加。

除非另有定義，本發明所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域的普通技術人員通常理解的相同含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的定義，並且將不被解釋為理想化或過度正式的意義，除非本文中明確地這樣定義。

請參閱第1A圖和第1B圖，其為本發明之車用智能之二階段安全控制系統之方塊圖以及本發明之車用智能之二階段安全控制系統使用示意圖。如第1A圖和第1B圖所示，本發明之車用智能之二階段安全控制系統，其包括電子裝置10、一對影像擷取裝置30、一對影像接收與傳送處理器31、雲端平台40以及伺服處理運算器20。一對影像擷取裝置30分別設置於車子C的兩個後視鏡。一對影像接收與傳送處理器31電性連接一對影像擷取裝置30，一對影像接收與傳送處理器31包括處理單元311、記憶體312以及收發單元313以執行無線傳輸控制協定之影像串流IS。伺服處理運算器20嵌設於車子C且電性連接一對影像接收與傳送處理器31，伺服處理運算器20包括處理單元21、記憶體22以及收發單元23，記憶體22儲存卷積神經網路CN1，當駕駛者D攜帶電子裝置10鄰近車子C的車門時(即駕駛者D的所在位置落入收發單元23的感測區SR中)，收發單元23發出無線訊號WLS，電子裝置10接收無線訊號WLS並與伺服處理運算器20完成配對動作，收發單元23傳送金鑰T至電子裝置10。雲端平台40網路連接伺服處理運算器20和電子裝置10，電子裝置10傳送金鑰T至雲端平台40進行認證程序AS，雲端平台40傳送通過認證程序AS後金鑰T至伺服處理運算器20。當伺服處理運算器20接收通過認證程序AS後金鑰T時，處理單元21開啟車子C的兩個後視鏡並控制一對影像擷取裝置30和一對影像接收與傳送處理器31開啟，一對影像擷取裝置30拍攝駕駛者D周圍的環境影像EI，一對影像接收與傳送處理器31將環境影像EI轉為影像串流IS並透過無線傳輸控制協定(Transmission Control Protocol, TCP)將其傳輸至伺服處理運算器20，處理單元21利用卷積神經網路CN1比對環境影像EI中駕駛者面孔和記憶體22儲存的駕駛者參考影像來計算相似度SS，處理單元21根據相似度SS對車門執行控制動作。

其中，電子裝置10可為手機或平板電腦，也可為其他較佳類型的電子裝置，而未侷限於本發明所列舉的範圍。無線訊號WLS可包括藍芽訊號、Wifi訊號、紫蜂(ZigBee)訊號或 LoRa(Long Range)訊號，當然其也可為其他較交類型的無線訊號，而未侷限於本發明所列舉的範圍。

值得一提的是，處理單元21包括微控制單元(micro control unit, MCU)和微處理單元(micro processing unit, MPU)，微控制單元採用Teensy 4.0而具有豐富的外部介面及使用Arduino平台，微控制單元的串列埠是全雙工非同步串列埠通訊方式。微處理單元採用NVIDIA的Jetson Nano，其為多用途微處理器及具有四核心 ARM Cortex-A53(ARMv8)64位元處理器，能處理微控制單元的訊號、用戶端和伺服端資料存取、網頁資料視覺化運算與處理以及網路連線，由於Jetson Nano的異步多元處理和多執行續，會在背景內以不同執行緒執行，所以應用程式可呼叫異步方法的執行緒上繼續執行，能同時和多個用戶端建立連線。

伺服處理運算器20所用的無線傳輸控制協定為ImageZMQ TCP Streams Service的用戶端/伺服器端環境配置以及用戶端與伺服器端的請求/回應(request/response)配置。微處理單元叢集架構中二個微處理單元工作節點(MPU Worker Node)的四個核心皆執行異步程序(Asynchronous Procedure) 並行(concurrent)執行運算來加快即時且龐大的資料處理速度。為了配合微處理單元工作節點的處理程序且由於TCP用戶端/伺服器端訊號傳輸時的讀/寫資料時程都以阻斷式輸入/輸出 (blocking I/O)執行，亦即當伺服器監聽一個埠時，整個程式就會完全停駐在此，等候用戶端傳送資料進來，因此當執行同步(Synchronous)要求的執行緒因需要等候網路作業完成而無法再執行其他工作(例如使用者介面執行緒等)，執行緒上安排的應用程式就會暫停並停止回應使用者的輸入，此外當有別的客戶端想連線到伺服器端時，因為唯一的一個網路插座(WebSocket)已被佔用，會造成其他的客戶端無法連線。

由於在異步連線的方法中，程式不會因為需要等候同步作業完成的執行緒而被封鎖。這是因為異步運算（Asynchronous Operation）會在背景內以不同的執行緒執行，所以應用程式可以在呼叫異步方法的執行緒上繼續執行。這樣的優點是有效率且伺服器端能同時和多個用戶端建立連線。本系統採用ASYNCIO之異步TCP串流(Asynchronous TCP Streams)技術來完成遠端網路連接之同步遠端程序呼叫 (Remote Procedure Call, RPC)運算。除了上述的性質外，此串流技術最大的優點在於無需使用低階通訊協定來執行且完成資料傳送與接收，如此達到應用程式保持快數回應且又可以提升延展性及可靠性及達到同時多連線的目的。伺服器端與用戶端TCP執行的程序：微處理單元叢集的TCP伺服器端程式是安裝在主節點(Master Node)的異步多元處理(multiprocessing)與多執行緒(multithreading)時程內來即時調配、回應或終止二個工作節點(Worker Node)上面安裝的客戶端程式運作。

於本實施例中，伺服處理運算器20進一步包括警示單元24、第一資料庫25、第二資料庫26以及單次多框偵測單元27，記憶體22還儲存物件辨識演算法AG1、人臉辨識演算法AG2、卷積神經網路CN2、初步卷積神經網路SCN1以及初步卷積神經網路SCN2，雲端平台包括40包括雲端資料庫41。警示單元24包括紅燈和綠燈，警示單元24設置於車門以表示車門開啟或金鑰T認證成功與否。第一資料庫25儲存複數個駕駛者參考特徵，第二資料庫26儲存複數個參考物件特徵RF，雲端資料庫41儲存複數個參考人臉特徵RF，雲端資料庫41也儲存第二資料庫26所沒有的其他參考物件特徵。單次多框偵測單元27利用複數個邊界框將環境影像EI中複數個人和複數個物件分別框列。

復請參閱第1A圖和第1B圖，於此說明處理單元21控制車門開啟和關閉的程序如下：(1)第一階段認證：當駕駛者D攜帶電子裝置10鄰近車子C的車門時(即駕駛者D的所在位置落入收發單元23的感測區SR中)，收發單元23發出無線訊號WLS，電子裝置10接收無線訊號WLS並與伺服處理運算氣20完成配對動作，收發單元23傳送金鑰T至電子裝置10，電子裝置10傳送金鑰T至雲端平台40進行認證程序AS，若雲端平台40在其記憶體內找尋到金鑰T而完成認證程序AS，雲端平台40傳送完成認證程序AS後金鑰T至伺服處理運算器20，處理單元21控制警示單元24的綠燈亮起，若雲端平台40在其記憶體內並未找尋到金鑰T並將未完成認證程序AS後金鑰T傳送至伺服處理運算器20，處理單元21控制警示單元24的紅燈亮起。(2)第二階段認證：伺服處理運算器20接收完成認證程序AS後金鑰，處理單元21開啟車子C的兩個後視鏡並控制一對影像擷取裝置30和一對影像接收與傳送處理器31開啟，一對影像擷取裝置30拍攝駕駛者D周圍的環境影像EI，一對影像接收與傳送處理器31將環境影像EI轉為影像串流IS並透過無線傳輸控制協定(Transmission Control Protocol, TCP)將其傳輸至伺服處理運算器20，處理單元21利用卷積神經網路CN1比對環境影像EI中駕駛者面孔和記憶體儲存的駕駛者參考影像計算相似度SS，當處理單元21判斷相似度SS大於門檻值TH(例如為0.6)，處理單元21識別及確認駕駛者D的身分，處理單元21對車門所執行控制動作為使車門開啟，當處理單元21判斷相似度SS小於門檻值TH(例如為0.6)，處理單元21未能識別及確認駕駛者D的身分，處理單元21對車門所執行控制動作為使車門關閉。

需說明的是，當駕駛者D攜帶電子裝置10遠離車門時(即駕駛者D的所在位置不在收發單元23的感測區SR中)，電子裝置10未接收無線訊號WLS而未與伺服處理運算器20完成配對動作，亦即，收發單元23未與電子裝置10連結，處理單元21控制車門關閉。

值得一提的是，為了提高處理單元21識別及確認駕駛者D的準確度，第一資料庫25還儲存駕駛者D不同角度的參考圖，亦即，以駕駛者D的正面為基準，向左、右、上、下四個方向分別轉向15度、30度，當駕駛者D的頭部轉向，處理單元21仍能辨識及確認駕駛者D的身分。

請參閱第2圖，其為本發明之雲端金鑰交換認證的流程圖。如第2圖，並搭配第1A圖和第1B圖，無線訊號WLS設定為藍芽訊號，說明雲端金鑰交換認證的流程如下：S11步驟：若伺服處理運算器20透過收發單元23發出藍芽訊號，電子裝置10連結到收發單元23(亦即，伺服處理運算器20和電子裝置10完成配對動作)，處理單元21控制警示單元24的綠燈亮起，進入S13步驟；若電子裝置10未連結到收發單元，進入S12步驟。

S12步驟：處理單元21控制警示單元24的紅燈亮起

S13步驟：處理單元21接續產生金鑰T並登記金鑰T於雲端平台40，雲端平台40儲存金鑰T，伺服處理運算器20透過收發單元23傳送金鑰T至電子裝置10，進入S14步驟。

S14步驟：電子裝置10傳送金鑰T及驗證金鑰需求至雲端平台40，雲端平台40在其記憶體內並找尋到金鑰T，若雲端平台40在其記憶體內找尋到金鑰T，進入S16步驟；若雲端平台40在其記憶體內並未找尋到金鑰T，進入S15步驟。

S15步驟：雲端平台40傳送未完成認證程序AS後金鑰T至伺服處理運算器20，處理單元21控制警示單元24的紅燈亮起

S16步驟：雲端平台40傳送完成認證程序AS後金鑰T(即驗證後金鑰T)至電子裝置10，電子裝置10轉傳完成認證程序AS後金鑰T至伺服處理運算器20，進入S17步驟。

S17步驟：收發單元23接收完成認證程序AS後金鑰T，處理單元21控制警示單元24的綠燈亮起，處理單元21確認完成認證程序AS後金鑰T是否有效，處理單元21確認完成認證程序AS後金鑰T為有效的，進入S19步驟；若處理單元21確認完成認證程序AS後金鑰T為無效的，進入S18步驟。

S18步驟：處理單元21控制警示單元24的紅燈亮起

S19步驟：處理單元21開啟車子C的兩個後視鏡並控制一對影像擷取裝置30和一對影像接收與傳送處理器31開啟，一對影像擷取裝置30進行拍攝並控制警示單元24的綠燈亮起。

請參閱第3圖和第4圖，其為本發明之演算法的配置圖和本發明之物件辨識和人臉辨識的流程圖。如第3圖所示，並搭配第1A圖和第1B圖，電子裝置10和雲端平台40完成認證程序AS後，伺服處理運算器20的處理單元21使車子C的兩個後視鏡開啟並控制一對影像擷取裝置30和一對影像接收與傳送處理器31進行啟動，伺服處理運算器20的處理單元21利用初步卷積神經網路SCN1和SCN2並搭配雲端資料庫41所儲存之複數個參考人臉特徵RF和其他參考物件特徵進行環境影像EI中多個人臉和物件的初步辨識(廣泛的人臉/物件辨識)，處理單元21將多個人臉和多個物件分開已進一步辨識。

就物件辨識而言，處理單元21利用物件辨識演算法AG1和卷積神經網路CN2比對環境影像EI中複數個物件和第二資料庫26的複數個參考物件特徵RO(如第4圖所示)或雲端資料庫41的其他參考物件特徵來識別複數個物件，物件可例如為籃球、樹木或房子。就人臉辨識而言處理單元21利用人臉辨識演算法AG2比對環境影像EI中複數個人和雲端資料庫41的複數個參考人臉特徵RF識別複數個人，處理單元21利用卷積神經網路CN1分別比對環境影像EI中複數個人和第一資料庫25所儲存的複數個駕駛者參考特徵DF(如第4圖所示)來計算複數個相似度SS，處理單元21根據複數個相似度SS從複數個人選出其一為駕駛者面孔，處理單元21根據駕駛者面孔所對應相似度SS控制車門。

如第4圖所示，並搭配第1A圖、第1B圖和第3圖，一對影像擷取裝置30拍攝駕駛者D周圍的環境影像EI，處理單元21傳送二維碼(QR code)至電子裝置10，若電子裝置10掃描二維碼成功，雲端資料庫41和第一資料庫25分別提供參考人臉特徵RF和複數個駕駛者參考特徵DF至處理單元21，處理單元21直接辨識靠近車子C的駕駛者D是否為真正的駕駛者，處理單元21辨識靠近車子C的駕駛者D為真正的駕駛者，處理單元21計算駕駛者D和車子C相距的第一距離，處理單元21透過輔助語音訊息告知駕駛者D認證成功，處理單元21控制車門打開。

若電子裝置10掃描二維碼不成功，一對影像接收與傳送處理器31將環境影像EI轉為影像串流IS並透過無線傳輸控制協定(Transmission Control Protocol, TCP)將其傳輸至伺服處理運算器20，由於影像擷取裝置30攝影的環境影像EI為動態影像，處理單元21透過張量流凍結推論圖形的技術來保存環境影像EI，單次多框偵測單元27(含有微軟共同物體檢測資料集)搭配初步卷積神經網路SCN1和SCN2以及物件辨識演算法AG1先初步以複數個邊界框將環境影像EI中複數個人和複數個物件分別框列。

接著，關於識別複數個物件的部分，處理單元21再次利用物件辨識演算法AG1和卷積神經網路CN2比對環境影像EI中複數個物件和第二資料庫26的複數個參考物件特徵RO來識別複數個物件，若有部分物件並未被處理單元21識別出，處理單元21利用雲端資料庫41所儲存的雲端物件特徵和物件辨識演算法AG1和卷積神經網路CN2比對未被識別出的物件。關於識別複數個人的部分，處理單元21利用人臉辨識演算法偵測人臉的位置、數量、大小和人臉特徵來識別複數個人，處理單元21利用卷積神經網路CN1比對複數個人和第一資料庫25的複數個駕駛者參考特徵DF計算相似度SS，處理單元21根據相似度SS從複數個人選出其一為駕駛者面孔，處理單元21根據駕駛者面孔所對應相似度SS控制車門，處理單元21利用雲端資料庫41所儲存的複數個參考人臉特徵RF(如第3圖所示)和環境影像EI中未被識別為駕駛者的人進行比對而識別，處理單元21計算複數個人分別和車子C相距的第一距離和複數個物件分別和車子C相距的第二距離，當處理單元21判斷駕駛者面孔所對應相似度SS大於門檻值，處理單元21透過輔助語音訊息告知駕駛者D認證成功，處理單元21控制車門打開。

接著，處理單元21根據複數個第一距離和複數個第二距離判別複數個物件和複數個人落於可視區或視覺盲區，處理單元21根據物件與車子C的距離和人與車子的距離判斷物件和人是否落於駕駛者D的死角，輔助駕駛者D的行車。

請參閱第5圖和第6圖，其為本發明之卷積神經網路的配置圖以及本發明之卷積神經網路的運作示意圖。如第5圖所示，並搭配第1A圖至第4圖所示，處理單元21先從環境影像EI中選取有複數個人的部分影像FI，處理單元21如第6圖所示將部分影像分割為複數個小圖像P1，每個小圖像P1再經過卷積神經網路CN1所包括的5層卷積層conv、3層最大池化層MPL以及2層全連結層FL而取得一個陣列A。

如第6圖所示，並搭配第1A圖至第4圖所示，複數個小圖像P1再經過卷積神經網路CN1取得複數個陣列A，每個陣列A經過最大池化層MPL選取和第一資料庫25的複數個駕駛者特徵最為相似的部分，縮小複數個陣列A的維度，將每個陣列A最為相似的部分重新組合成一個完整圖像，處理單元21比對完整圖像和複數個駕駛者特徵以確認駕駛者的身分，處理單元21比對完整圖像和複數個駕駛者特徵的相似度SS大於門檻值TH1，處理單元21確認完整圖像中的人為駕駛者，處理單元21比對完整圖像和複數個駕駛者特徵的相似度SS低於門檻值TH1，處理單元21否定完整圖像中的人為駕駛者。

請參閱第7圖，其為本發明之盲點偵測示意圖。如第7圖所示，並搭配第1圖至第4圖，駕駛者D處於駕駛車子C的狀態中，一對影像擷取裝置30拍攝駕駛影像，處理單元21利用卷積神經網路CN2從駕駛影像識別出卡車V，處理單元21計算卡車V和車子C的距離為第二距離，處理單元21判斷第二距離落於視覺盲區R1，處理單元21以輔助語音消息給駕駛者，提醒駕駛者應注意卡車V。

另外，處理單元21可利用動態物件辨識演算法即時計算卡車V和車子C的第二距離，第二距離為隨著車子C的移動和卡車V的移動而更新，提供駕駛者D即時在視覺盲區偵測動態物體(例如卡車)。其中，動態物件辨識演算法根據處理單元21在視覺盲區R1所偵測之卡車V的位置和駕駛者D的視野範圍，提供處理單元21調整在視覺盲區R1的偵測參數，搭配運動恢復結構(Structure-from-Motion, SfM)原理來有效地量測一對影像擷取裝置30與後方物件(例如卡車V)之間的距離，以判斷動態物體之位置。

請參閱第8圖，其為本發明之運動恢復結構量測的示意圖。如第8圖所示，並搭配第1A圖、第1B圖和第7圖，一對影像擷取裝置30為設置於車子C的左方和右方，一對影像擷取裝置30為在同一水平線上且近乎同時間點拍攝，並根據三角形相似原理，可找出目標物件(例如卡車V)相對於一對影像擷取裝置30的座標。舉例說明如下，假設一對影像擷取裝置30經過孝正而平行置放於x-z平面，兩個影像擷取裝置30相距的距離為b，兩個影像擷取裝置30的焦距都為f，一對影像擷取裝置30的座標為p1(x1,y1) 和p2(x2,y2)，卡車V的座標為P(x,y,z)，可取得下列關係式：

。

設定兩個影像擷取裝置30的視差為d=x1-x2，可取得下列關係式：

。由於兩個影像擷取裝置30的中心點𝑂1、𝑂2 與目標點P可形成三維空間中的一個平面𝑂1𝑂2P，極平面(Epipolar Plane)，此時極平面與二幀畫面相交於二條直線稱為極線。從移動中的兩個影像擷取裝置30連續拍攝的一幀畫面中，假設目標點p在兩個影像擷取裝置30中的成像點分別是p1與p2，給定p1的座標值，並且採用基於運動恢復結構原理，亦即距離越遠物體視差越小，反之視差則越大，我們即可量測到極幾何原理中的極線約束參數(Epipolar Constraint)，約束參數就是匹配點p2在三維空間中循著極線移動的方向。

承上所述，本發明之車用智能之二階段安全控制系統，透過雲端金鑰交換認證及卷積神經網路CN1辨識駕駛者面孔之兩階段認證，控制車門開啟或關閉，無需駕駛者攜帶金屬鑰匙或晶片鑰匙。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

10:電子裝置 20:伺服處理運算器 21,311:處理單元 22,312:記憶體 23,313:收發單元 24:警示單元 25:第一資料庫 26:第二資料庫 27:單次多框偵測單元 30:影像擷取裝置 31:影像接收與傳送處理器 40:雲端平台 41:雲端資料庫 A:陣列 AS:認證程序 AG1:物件辨識演算法 AG2:人臉辨識演算法 b:兩個影像擷取裝置相距的距離 C:車子 CN1, CN2:卷積神經網路 conv:卷積層 D:駕駛者 DF:駕駛者參考特徵 EI:環境影像 IS:影像串流 f:焦距 FI:部分影像 FL:全連結層 MPL:最大池化層 𝑂1,𝑂2:兩個影像擷取裝置的中心點 P1:小圖像 p1(x1,y1) ,p2(x2,y2):一對影像擷取裝置的座標 P(x,y,z):卡車的座標 RF:參考人臉特徵 RO:參考物件特徵 R1:視覺盲區 R2:可視區 SR:感測區 SS:相似度 SCN1, SCN2:初步卷積神經網路 S11~S19:流程 T:金鑰 TH1:門檻值 V:卡車 WLS:無線訊號

第1A圖為本發明之車用智能之二階段安全控制系統之方塊圖。第1B圖為本發明之車用智能之二階段安全控制系統使用示意圖。第2圖為本發明之雲端金鑰交換認證的流程圖。第3圖為本發明之演算法的配置圖。第4圖為本發明之物件辨識和人臉辨識的流程圖。第5圖為本發明之卷積神經網路的配置圖。第6圖為本發明之卷積神經網路的運作示意圖。第7圖為本發明之盲點偵測示意圖。第8圖為本發明之運動恢復結構量測的示意圖。

10:電子裝置

20:伺服處理運算器

21,311:處理單元

22,312:記憶體

23,313:收發單元

24:警示單元

25:第一資料庫

26:第二資料庫

27:單次多框偵測單元

30:影像擷取裝置

31:影像接收與傳送處理器

40:雲端平台

41:雲端資料庫

AS:認證程序

AG1:物件辨識演算法

AG2:人臉辨識演算法

CN1,CN2:卷積神經網路

EI:環境影像

IS:影像串流

SS:相似度

T:金鑰

TH1:門檻值

WLS:無線訊號

Claims

一種車用智能之二階段安全控制系統，其包括：一電子裝置；一對影像擷取裝置，分別設置於一車子的一後視鏡；一對影像接收與傳送處理器，電性連接該對影像擷取裝置該對影像接收與傳送處理器包括影像接收與傳送處理器處理單元、影像接收與傳送處理器記憶體以及影像接收與傳送處理器收發單元；一伺服處理運算器，嵌設於該車子且電性連接該對影像接收與傳送處理器，該伺服處理運算器包括一處理單元、一記憶體以及一收發單元，該記憶體儲存一卷積神經網路，當一駕駛者攜帶該電子裝置鄰近該車子的一車門時，該收發單元發出一無線訊號，該電子裝置接收該無線訊號並與該伺服處理運算器完成一配對動作，該收發單元傳送一金鑰至該電子裝置；以及一雲端平台，網路連接該伺服處理運算器和該電子裝置，該電子裝置傳送該金鑰至一雲端平台進行一認證程序，該雲端平台傳送通過該認證程序後該金鑰至該伺服處理運算器；其中，當該伺服處理運算器接收通過該認證程序後該金鑰時，該處理單元開啟該後視鏡並控制該對影像擷取裝置和該對影像接收與傳送處理器開啟，該對影像擷取裝置拍攝該駕駛者周圍的一環境影像，該對影像接收與傳送處理器將該環境影像轉為一影像串流並透過無線傳輸控制協定將其傳輸至該伺服處理運算器，該處理單元利用該卷積神經網路比對該環境影像中一駕駛者面孔和該記憶體儲存的一駕駛者參考影像來計算一相似度，該處理單元根據該相似度對該車門執行一控制動作。
如請求項1所述之車用智能之二階段安全控制系統，若該處理單元判斷該相似度大於一門檻值，該控制動作為使該車門開啟。
如請求項1所述之車用智能之二階段安全控制系統，若該處理單元判斷該相似度小於一門檻值，該控制動作為使該車門關閉。
如請求項1所述之車用智能之二階段安全控制系統，該伺服處理運算器進一步包括一警示單元，當該伺服處理運算器接收未通過該認證程序後該金鑰時，該處理單元控制該警示單元啟動。
如請求項1所述之車用智能之二階段安全控制系統，當該駕駛者攜帶該電子裝置遠離該車門時，該收發單元未接收該金鑰，該處理單元控制該車門關閉。
如請求項1所述之車用智能之二階段安全控制系統，該記憶體進一步儲存一物件辨識演算法和一人臉辨識演算法，該處理單元利用該物件辨識演算法識別該環境影像中複數個物件。
如請求項6所述之車用智能之二階段安全控制系統，該伺服處理運算器近一步包括一第一資料庫和一第二資料庫，該雲端平台包括一雲端資料庫，該第一資料庫儲存複數個駕駛者參考特徵，該第二資料庫儲存複數個參考物件特徵，該雲端資料庫儲存複數個參考人臉特徵，該處理單元利用一初步卷積神經網路初步辨識環境影像中該複數個物件和該複數個人，該處理單元利用該物件辨識演算法比對該環境影像中該複數個物件和該複數個參考物件特徵來識別該複數個物件，該處理單元利用該卷積神經網路和該人臉辨識演算法分別比對該環境影像中該複數個人和該複數個駕駛者參考特徵來計算複數個相似度，該處理單元根據該複數個相似度從該複數個人選出其一為該駕駛者面孔。
如請求項7所述之車用智能之二階段安全控制系統，當該處理單元識別該複數個物件和該複數個人後，該處理單元計算該複數個人分別和該車子相距的一第一距離和該複數個物件分別和該車子相距的一第二距離。
如請求項8所述之車用智能之二階段安全控制系統，該處理單元根據該複數個第一距離和該複數個第二距離判別該複數個物件和該複數個人落於一可視區或一視覺盲區。
如請求項6所述之車用智能之二階段安全控制系統，該伺服處理運算器進一步包括一單次多框偵測單元，該單次多框偵測單元利用複數個邊界框將該環境影像中複數個人和複數個物件分別框列。