TWI766237B

TWI766237B - 海上物件測距系統

Info

Publication number: TWI766237B
Application number: TW109104366A
Authority: TW
Inventors: 林春宏; 王新誠; 賴均威
Original assignee: 國立臺中科技大學
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2022-06-01
Also published as: TW202131278A

Abstract

一種海上物件測距系統，透過多個影像擷取裝置拍攝多張海平面影像，各張海平面影像具有共同物件，搭配影像處理器和卷積神經網路演算法，識別共同物件並推算共同物件和各影像擷取裝置的距離。

Description

海上物件測距系統

本發明關於一種利用卷積神經網路識別海平面影像的共同物件並推算共同物件和和各影像擷取裝置的距離之海上物件測距系統。

無人船海上監控系統已成為現今發展中相當重要的一部分。無人船海上監控系統可應用於軍事用途，以加強海域的監控及管理或查辦違法行為；無人船海上監控系統也可應用於民生用途，以便於管理港口運輸或海上救援。

然而，無人船在海面航行時可能遭遇例如海底動物的碰撞、颱風或大型漂流物等障礙，目前的無人船海上監控系統僅能拍攝海平面影像，而未能即時識別海上的多個物件，勢必需要一種針對海上的多個物件進行識別的方法及系統。

目前現有的影像識別為利用攝影機拍攝，搭配多個邊框來逐一掃描攝影機所拍攝的影像中的各物件，各邊框框出影像中的物件並將其輸入至卷積神經網路(convolutional neural networks, CNN)進行分類。然而，由於物件大小並不可預知，每次邊框的大小需改變，因而需掃描多次以選用適當的邊框來框住不同大小的物件，其造成運算資源的浪費且無法即時得知物件，現有的影像辨識無法滿足無人船的海上識別物件的需求。

綜觀前所述，本發明之發明者思索並設計一種海上物件測距系統，以期針對習知技術之缺失加以改善，進而增進產業上之實施利用。

有鑑於上述習知之問題，本發明的目的在於提供一種海上物件測距系統，用以解決習知技術中所面臨之問題。

基於上述目的，本發明提供一種海上物件測距系統，其包括複數個影像擷取裝置、影像處理器以及記憶裝置。複數個影像擷取裝置拍攝複數張海平面影像，各張海平面影像具有共同物件，各張海平面影像的視角相異。影像處理器電性連接複數個影像擷取裝置，影像處理器分割各張海平面影像為複數個區塊，並將各區塊分配至相應的類別。記憶裝置連接於影像處理器，記憶裝置儲存卷積神經網路演算法，卷積神經網路演算法被影像處理器運行以根據各區塊製造共同物件所屬的複數個邊框，並據此演算出各邊框相應的信任機率，影像處理器根據各邊框對應於共同物件之信任機率以及各類別，識別共同物件。其中，影像處理器根據複數張海平面影像之相異視角，得知共同物件與各個影像擷取裝置之距離。

較佳地，卷積神經網路演算法被影像處理器運行以根據各邊框分別含括共同物件的機率以及各邊框和相應的實際框之重疊區域估計值，演算共同物件所屬的各邊框相應的信任機率。

較佳地，各邊框具有共同物件的中心座標以及共同物件的長度和寬度。

較佳地，當影像處理器判斷邊框對應於共同物件之信任機率為0時，邊框不存在共同物件。

較佳地，各張海平面影像具有多個共同物件，共同物件的數目和複數個區塊的數目相異。

較佳地，卷積神經網路演算法具有複數層卷積層、複數層最大池化層以及全連結層。

較佳地，複數個影像擷取裝置分為左影像擷取裝置以及右影像擷取裝置，複數張海平面影像分為左海平面影像和右海平面影像。

較佳地，影像處理器根據共同物件於左海平面影像和右海平面影像的位置，將共同物件的座標從二維座標系轉為三維座標系，共同物件具有立體座標，影像處理器根據立體座標和左影像擷取裝置以及右影像擷取裝置之位置，得知共同物件與左影像擷取裝置之距離以及共同物件與右影像擷取裝置之距離。

較佳地，共同物件於左海平面影像和右海平面影像的位置相異，共同物件於左海平面影像和右海平面影像的位置差距為視差。

較佳地，影像處理器利用視差流網絡推算左海平面影像和右海平面影像之視差。

承上所述，本發明之海上物件測距系統，透過卷積神經網路演算法的配置和海平面影像的分割，一次識別海平面影像的各個共同物件，進而加快識別物件的速度，並推算各個共同物件和各影像擷取裝置的距離。

本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。

應當理解的是，儘管術語「第一」、「第二」等在本發明中可用於描述各種元件、部件、區域、層及/或部分，但是這些元件、部件、區域、層及/或部分不應受這些術語的限制。這些術語僅用於將一個元件、部件、區域、層及/或部分與另一個元件、部件、區域、層及/或部分區分開。因此，下文討論的「第一元件」、「第一部件」、「第一區域」、「第一層」及/或「第一部分」可以被稱為「第二元件」、「第二部件」、「第二區域」、「第二層」及/或「第二部分」，而不悖離本發明的精神和教示。

另外，術語「包括」及/或「包含」指所述特徵、區域、整體、步驟、操作、元件及/或部件的存在，但不排除一個或多個其他特徵、區域、整體、步驟、操作、元件、部件及/或其組合的存在或添加。

除非另有定義，本發明所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域的普通技術人員通常理解的相同含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的定義，並且將不被解釋為理想化或過度正式的意義，除非本文中明確地這樣定義。

請參閱第1圖，其為本發明之海上物件測距系統之的方塊圖。如第1圖所示，本發明之海上物件測距系統，其包括複數個影像擷取裝置10、影像處理器20以及記憶裝置30。複數個影像擷取裝置10拍攝複數張海平面影像SLM，各張海平面影像SLM具有共同物件CO，各張海平面影像SLM的視角相異。影像處理器20電性連接複數個影像擷取裝置10，影像處理器20分割各張海平面影像SLM為複數個區塊B，並將各區塊B分配至相應的類別C。記憶裝置30連接於影像處理器20，記憶裝置30儲存卷積神經網路演算法CNN，卷積神經網路演算法CNN被影像處理器20運行以根據各區塊B製造共同物件CO所屬的複數個邊框BB，並據此演算出各邊框BB相應的信任機率CS，影像處理器20根據各邊框BB對應於共同物件CO之信任機率CS以及各類別C，識別共同物件CO。其中，影像處理器20根據複數張海平面影像SLM之相異視角，得知共同物件CO與各個影像擷取裝置10之距離；舉例來說，一張海平面影像SLM為影像擷取裝置10從是視角60度拍攝，另一張海平面影像SLM為影像擷取裝置10從視角-60度拍攝，影像處理器20比對前述兩張海平面影像SLM的共同物件CO而得知視差，影像處理器20根據視差推算共同物件CO和各影像擷取裝置10之距離。

其中，卷積神經網路演算法CNN被影像處理器20運行以根據各區塊B含括共同物件CO的機率，製造共同物件CO所屬的複數個邊框BB，接著卷積神經網路演算法CNN被影像處理器20運行以根據各邊框BB分別含括共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，演算共同物件CO所屬的各邊框BB相應的信任機率CS，影像處理器20根據各邊框BB對應於共同物件CO之信任機率CS及各邊框BB所屬之類別C，識別共同物件CO；另，當影像處理器20判斷邊框BB對應於共同物件CO之信任機率為0時，邊框BB不存在共同物件CO。透過卷積神經網路演算法CNN的配置和海平面影像SLM的分割，識別海平面影像SLM的共同物件O，進而加快識別物件O的速度。

需說明的是，由於在海平面影像SLM中並未每個區塊B皆存在共同物件CO，複數個邊框BB以不同位置和方向框起單個共同物件CO，各邊框BB具有共同物件CO於區塊B的中心座標以及共同物件CO相對於海平面影像SLM的長度和寬度；再者，重疊區域估計值為邊框BB和相應的實際框之交集面積除以聯集面積。

需提及的是，各張海平面影像SLM具有多個共同物件CO，共同物件CO的數目和複數個區塊B的數目相異，前述段落已敘述單個共同物件CO的識別，其餘共同物件CO的識別乃同樣機制，於此不再加以重複敘述。又，卷積神經網路演算法CNN被影像處理器20運行以根據各區塊B含括相應的多個共同物件CO的機率，製造各共同物件CO所屬的複數個邊框BB，接著卷積神經網路演算法CNN被影像處理器20運行以根據各邊框BB分別含括相應的多個共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，取得各邊框BB所對應的多個共同物件CO之信任機率CS，影像處理器20根據各邊框BB對應於共同物件CO之信任機率CS及各邊框BB所屬之類別C，識別多個共同物件CO；簡言之，卷積神經網路演算法CNN為同時對海平面影像SLM中多個共同物件CO進行識別並搭配相應的類別C，加快整個共同物件CO的識別速度。

續言之，卷積神經網路演算法CNN透過機器學習(machine learning)的方式不斷地加快共同物件CO的識別，並能將共同物件CO中較重要的影像特徵(例如形狀、顏色或紋路)當作共同物件CO識別的依據，從而節省人工影像特徵的篩選；卷積神經網路演算法CNN經過多次海平面影像SLM的輸入，不斷訓練卷積神經網路演算法CNN，使卷積神經網路演算法CNN篩選出合適的影像特徵、權重以及分類標準。

請參閱第2圖至第5圖，其分別為本發明之卷積神經網路演算法之第一態樣的結構圖、本發明之卷積層示意圖、本發明之最大池化層示意圖以及本發明之全連結層示意圖。如第2圖至第5圖所示，本發明之卷積神經網路演算法CNN包括複數層卷積層CL、複數層最大池化層MPL以及至少一層全連結層FCL，各最大池化層MPL設置於各層卷積層CL之間，全連結層FCL連接於複數層卷積層CL之最後運算的該層並連結複數個神經元NE。

如第3圖所示，並搭配第2圖，各卷積層CL彼此連接，海平面影像SLM相應的矩陣為像素矩陣PM，卷積層CL利用與像素矩陣PM對應的濾波層F1矩陣與像素矩陣PM之元素對應相乘，運算出海平面影像SLM的特徵矩陣EM。如第4圖所示，並搭配第2圖至第3圖，特徵矩陣EM與對應的之最大池化層MPL的濾波層F2矩陣之元素對應相乘，以對特徵矩陣EM進行降維，進而取得降維後的特徵矩陣EM，從而減緩卷積神經網路演算法CNN的運算量。需說明的是，前述第2圖和第3圖的搭配敘述僅為單層卷積層CL和單層最大池化層MPL，其餘卷積層CL和最大池化層MPL為和其相同，於此不再重複敘述。

透過多層卷積層CL和多層最大池化層MPL的運算，篩選像素矩陣PM的重要影像特徵(例如共同物件CO的顏色或形狀)，而卷積神經網路演算法CNN的卷積層CL和最大池化層MPL的層數乃根據實際所需而加以調整，於此並未限定卷積層CL和最大池化層MPL層數。

實際而言，通常經過卷積層CL的濾波層F1之矩陣運算後的特徵矩陣EM會再乘上一個激活函數(activation function)，激活函數將保留像素矩陣PM之有明顯的重要影像特徵，進而去除或降低無明顯的影像特徵。

如第5圖所示，並搭配第2圖所示，最後經過多層卷積層CL和最大池化層MPL的特徵矩陣EM透過全連結層FCL平坦化為特徵圖FM，特徵圖FM裡的數值經過相應的權重W之運算而輸出至對應各區塊B的複數個神經元NE，各神經元NE根據運算後的特徵圖FM和各區塊B分別含括相應的多個共同物件O的機率，製造各共同物件CO所屬的複數個邊框BB，接著各神經元NE運行以根據各邊框BB分別含括相應的多個共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，取得各邊框BB所對應的多個共同物件CO之信任機率CS，影像處理器20根據各邊框BB對應於共同物件CO之信任機率CS及各邊框BB所屬之類別C，識別多個共同物件CO，從而達到識別海平面影像SLM的各共同物件CO之目的。

需提及的是，在一實施例中，複數個影像擷取裝置10設置於無人船中，影像處理器20設置於遠端的電腦；因此，複數個影像擷取裝置10和影像處理器20為皆有設置對應的無線收發器，以透過無線的方式傳送海平面影像SLM。在另一實施例中，複數個影像擷取裝置10設置於無人船中，影像處理器20設置於遠端的電腦，並具有雲端伺服器，雲端伺服器和影像擷取裝置10及遠端的電腦網路連接；複數個影像擷取裝置10傳送海平面影像SLM至雲端伺服器，遠端的電腦在跟雲端伺服器連接以取得海平面影像SLM。前述配置僅為舉例，當然也可為其他較佳的配置，而未侷限於本發明所列舉的範圍。

請參閱第6圖，其為本發明之海上物件測距系統之流程圖。如第6圖所示，搭配第1圖至第5圖，說明本發明之海上物件識別方法如下：(1)S11步驟：利用多個影像擷取裝置10拍攝海平面影像SLM，各張海平面影像SLM具有共同物件CO，共同物件CO的數量可為多個，為了簡化說明，下列步驟僅用單個共同物件CO說明識別的流程，其餘的共同物件CO也為同樣的識別流程。(2)S12步驟：影像處理器20分割各張海平面影像SLM為複數個區塊B，影像處理器20將各區塊B分配至相應的類別C。(3)S13步驟：利用記憶裝置30的卷積神經網路演算法CNN，卷積神經網路演算法CNN被影像處理器20運行以根據各區塊B含括共同物件CO的機率，製造共同物件CO所屬的複數個邊框BB，接著卷積神經網路演算法CNN被影像處理器20運行以根據各邊框BB分別含括共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，演算共同物件CO所屬的各邊框BB相應的信任機率CS；另，當影像處理器20判斷邊框BB對應於共同物件CO之信任機率為0時，邊框BB不存在共同物件CO。(4)S14步驟：影像處理器20根據各邊框BB對應於共同物件CO之信任機率CS及各邊框BB所屬之類別C，識別共同物件CO。

請參閱第7圖，其為本發明之卷積神經網路演算法的運作流程圖。如第7圖所示，並搭配第1圖至第6圖，影像處理器20將影像分成

個區塊B，影像處理器20以不同的顏色將各區塊B分類至相應的類別C。卷積神經網路演算法CNN被影像處理器20運行以根據各區塊B含括相應的多個共同物件CO的機率，製造各共同物件CO所屬的複數個邊框BB，接著卷積神經網路演算法CNN被影像處理器20運行以根據各邊框BB分別含括相應的多個共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，取得各邊框BB所對應的多個共同物件CO之信任機率CS(邊框的粗細即表示信任機率CS的高低)，而各邊框BB之信任機率CS乃根據下列公式取得，公式如下：

此公式為根據Redmon, J., Divvala, S.,Girshick, R., & Farhadi, A.於IEEE的2016期刊所發表的You Only Look Once: Unified, Real-Time Object Detection之論文，另外，本發明所述之卷積神經網路演算法也根據此論文的架構來應用於海上物件測距系統；其中，CS為共同物件CO於類別C標準答案之物件機率值，

) 指的是共同物件CO為類別C的機率值

) 所指的區塊B是否存有共同物件CO的機率值，通常以1 或 0表示，1代表區塊B有共同物件CO，0代表區塊B無共同物件CO，

所指的是正確答案的框(實際框)與偵測物件出來的框(邊框BB)所含蓋範圍

。最後，影像處理器20根據各類別C和各邊框BB之信任機率CS，辨識各共同物件CO(如第7圖的紫色邊框、黃色邊框以及綠色邊框內的共同物件CO)。

請參閱第8圖，本發明之卷積神經網路演算法之第二態樣的結構圖。如第8圖所示，實際而言，本發明之卷積神經網路演算法CNN包括24層卷積層CL(

、

、

、

及

之矩陣)、4層最大池化層MPL(

)以及2層全連結層FCL，其中各卷積層CL還包括減少層RL以減少特徵矩陣EM的參數；像素矩陣PM經過24層卷積層CL、4層最大池化層MPL以及2層全連結層FCL之運算及影像處理器20的識別後，而取得

之張量來表示如第8圖所示的輸出偵測結果。另外，前述卷積神經網路演算法僅為例舉，本發明之卷積神經網路演算法CNN之卷積層CL、最大池化層MPL、全連結層FCL以及減少層RL之數目乃能根據實際需求而調整，而未侷限於本發明所列舉的範圍。

請參閱第9圖，其為本發明之線性激活函數和帶洩漏線性整流激活函數的函數圖。根據第7圖和第8圖所示，搭配第5圖，像素矩陣PM經過多層卷積層CL、多層最大池化層MPL、多層全連結層FCL之運算後而輸出特徵圖FM至複數個神經元NE，各神經元NE根據運算後的特徵圖FM和各區塊B分別含括相應的多個共同物件O的機率，製造各共同物件CO所屬的複數個邊框BB，接著各神經元NE運行以根據各邊框BB分別含括相應的多個共同物件CO的機率和各邊框BB和相應的實際框之重疊區域估計值，取得各邊框BB所對應的多個共同物件CO之信任機率CS，各神經元NE再透過如第9圖所示之線性整流激活函數ReLU和帶洩漏線性整流激活函數LReLU壓縮各共同物件CO所屬的複數個邊框BB的資料量；最後搭配影像處理器20的識別，輸出如第8圖所示的輸出偵測結果，進而識別各個共同物件CO。其中，線性整流激活函數ReLU和帶洩漏線性整流激活函數LReLU的公式如下：

其中，y表示各邊框BB的資料，線性整流激活函數ReLU將各邊框BB中過小的資料壓縮成0，其可能造成過小的資料無法別識別且不可恢復；帶洩漏線性整流激活函數LReLU將各邊框BB的資料乘上一個很小的權重α(0 >

1)，而非直接把過小的資料壓縮成0。透過線性整流激活函數ReLU和帶洩漏線性整流激活函數LReLU的運算，壓縮各共同物件O所屬的複數個邊框BB的資料。

復請參閱第1圖，複數個影像擷取裝置10分為左影像擷取裝置以及右影像擷取裝置，複數張海平面影像SLM分為左海平面影像和右海平面影像；具體而言，左影像擷取裝置相當於人的左眼並具有左成像平面，右影像擷取裝置相當於人的右眼並具有右成像平面，左影像擷取裝置具有相應的右影像擷取裝置(亦即，左影像擷取裝置以及右影像擷取裝置為對應設置)，每個影像擷取裝置10所拍攝的海平面影像SLM之視角從而相異，造成各影像擷取裝置10所拍攝之共同物件CO所處之位置也相異。

續言之，影像處理器20根據共同物件CO於左海平面影像和右海平面影像的位置，將共同物件CO的座標從二維座標系轉為三維座標系，使共同物件CO具有立體座標，且因共同物件CO於左海平面影像和右海平面影像的位置相異，共同物件CO於左海平面影像和右海平面影像的位置差距為視差，影像處理器20根據立體座標、左影像擷取裝置以及右影像擷取裝置之位置以及視差，得知共同物件CO與左影像擷取裝置之距離以及共同物件CO與右影像擷取裝置之距離。

舉例來說，視差的取得方法：影像處理器10利用視差流網絡(Disflownet)推算左海平面影像和右海平面影像之視差。詳言之，視差流網絡接收左海平面影像和右海平面影像並將其疊加，接著視差流網絡利用其所具有的卷積神經網路演算法CNN的多層卷積層CL(此卷積神經網路演算法可如第2圖或第8圖所示)及反卷積的演算，得出多個共同物件CO，再根據多個共同物件CO於左海平面影像和右海平面影像之位置推算視差，將視差流網絡進行多次反覆的訓練，使視差流網絡運算視差的速度越來越快。具體而言，視差流網絡疊加左海平面影像和右海平面影像，第一層和第二層卷積層CL接收左海平面影像和右海平面影像並取得具有多個共同物件CO及其影像特徵之特徵圖(feature map)，再利用第一層卷積層CL演算出之影像圖和特徵圖進行反卷積而取得之結果輸入至第三層卷積層CL，第三層卷積層CL此時也接收第二層卷積層CL運算後之影像圖，第三層卷積層CL據此輸出另一個特徵圖，接著其他層卷積層CL也根據前述機制運算出特徵圖，最後取得多個共同物件CO(此時共同物件CO的數量相異於第一層和第二層卷積層CL取出之共同物件CO)及其影像特徵，視差流網絡根據多個共同物件CO於左海平面影像和右海平面影像之位置演算出視差。

需說明的是，前述左影像擷取裝置和右影像擷取裝置僅為類別的區分，左海平面影像、右海平面影像、左成像平面以及右成像平面也為類別的區分，而其非數量上的限制。

請參閱第10圖，其為本發明之海上物件測距系統之視差示意圖。首先，因影像擷取裝置10所拍攝的海平面影像SLM為平面影像，需平面影像中的平面座標與實際空間座標(立體座標)的轉換公式將海平面影像SLM的物件座標化，前述轉換公式如下：

其中，

和

分別為各影像擷取裝置10原點至海平面影像SLM中心在x方向和y方向的偏移差(其中，影像擷取裝置10的原點為影像擷取裝置10的正中央位置，海平面影像SLM中心為影像擷取裝置10所拍攝的海平面影像SLM的正中央)，

和

為各影像擷取裝置10於x方向和y方向的焦距，

為成像方向(成像方向為將左海平面影像和右海平面影像呈現水平所拍攝到的海平面影像，由於左影像擷取裝置以及右影像擷取裝置所拍攝到海平面影像SLM可能會有角度導致交叉重疊，最理想狀態是左影像擷取裝置以及右影像擷取裝置是一致成水平拍攝)與海平面影像SLM的歪斜係數(skew factor)，

為海平面影像SLM的座標，

為實際空間的座標，

為齊次轉換矩陣，R為旋轉矩陣(rotation matrix)，t 為平移的向量(translation vector)。

如第10圖所示，透過左影像擷取裝置以及右影像擷取裝置(對應左成像平面和右成像平面)拍攝海平面影像SLM，且透過平面座標與立體座標的轉換公式將海平面影像SLM中的各共同物件CO立體座標化，對應左海平面影像和右海平面影像找尋共同物件CO和其相應的影像特徵，並取得共同物件O之影像特徵的對應的立體座標P(X,Y,Z)，根據前述的立體座標(X,Y,Z)、左影像擷取裝置和右影像擷取裝置的立體座標O_L 及O_R 以及共同物件CO於左成像平面和右成像平面之海平面影像SLM之相對座標P_L 及P_R ，從而取得視差值Z。前述的視差值取得僅就單個共同物件CO之影像特徵討論，其餘共同物件CO也能根據相應之屬於左影像擷取裝置及右影像擷取裝置和共同物件O相應的影像特徵所屬的立體座標及其於左成像平面和右成像平面之相對座標，來取得視差值，其類似處於此便不再加以贅述。

請參閱第11圖，其為本發明之海上物件測距系統之視差換算距離的示意圖。如第11圖所示，搭配第10圖，共同物件CO之影像特徵的對應的立體座標P(X,Y,Z)，左影像擷取裝置和右影像擷取裝置的立體座標O_L 及O_R ，左影像擷取裝置和右影像擷取裝置的焦距f及其相對距離B，共同物件CO於左成像平面和右成像平面之海平面影像SLM之相對座標P_L 及P_R ，根據相似三角型定理能推算下列公式：

其中，

為屬於左影像擷取裝置和共同物件O於左成像平面之海平面影像SLM之相對座標P_L 之距離，

為右影像擷取裝置和共同物件O於右成像平面之海平面影像SLM之相對座標P_R 之距離，

為屬於左影像擷取裝置和共同物件CO之相對距離，

為屬於右影像擷取裝置和共同物件CO之相對距離。透過前述公式，能取得視差值Z、左影像擷取裝置和共同物件CO之相對距離以及右影像擷取裝置和共同物件CO之相對距離。

觀前所述，本發明之海上物件識別方法及其系統，透過卷積神經網路演算法CNN的配置和海平面影像SLM的分割，一次識別海平面影像SLM的多個共同物件CO，進而加快識別共同物件CO的速度，並推算共同物件CO和各影像擷取裝置10的距離。總括而言，本發明之海上物件識別方法及其系統，具有如上述的優點，能即時辨識海平面影像SLM的各共同物件CO及推算各共同物件CO和各影像擷取裝置10的距離。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

10:影像擷取裝置 20:影像處理器 30:記憶裝置 B:區塊 BB:邊框

:左影像擷取裝置和共同物件之相對距離

:右影像擷取裝置和共同物件之相對距離 C:類別 CL:卷積層 CNN:卷積神經網路演算法 CS:信任機率 CO:共同物件 EM:特徵矩陣 f:影像擷取裝置的焦距 FCL:全連結層 FM:特徵圖 F1,F2:濾波層 MPL:最大池化層 NE:神經元 O_L :左影像擷取裝置10的立體座標 O_R :右影像擷取裝置10的立體座標 PM:像素矩陣 P(X,Y,Z):共同物件之立體座標 P_L :共同物件於左成像平面之海平面影像之相對座標 P_R :共同物件於右成像平面之海平面影像之相對座標 RL:減少層 SLM:海平面影像 S11~S15:步驟 W:權重

:左影像擷取裝置和共同物件於左成像平面之海平面影像之相對座標之距離

:右影像擷取裝置和共同物件於右成像平面之海平面影像之相對座標之距離 Z:視差值

第1圖為本發明之海上物件測距系統之的方塊圖。第2圖為本發明之卷積神經網路演算法之第一態樣的結構圖。第3圖為本發明之卷積層示意圖。第4圖為本發明之最大池化層示意圖。第5圖為本發明之全連結層示意圖。第6圖為本發明之海上物件識別方法之流程圖。第7圖為本發明之卷積神經網路演算法的運作流程圖。第8圖為本發明之卷積神經網路演算法之第二態樣的結構圖。第9圖為本發明之線性激活函數和帶洩漏線性整流激活函數的函數圖。第10圖為本發明之海上物件測距系統之視差示意圖。第11圖為本發明之海上物件測距系統之視差換算距離的示意圖。

10:影像擷取裝置

20:影像處理器

30:記憶裝置

B:區塊

BB:邊框

C:類別

CNN:卷積神經網路演算法

CS:信任機率

CO:共同物件

Claims

一種海上物件測距系統，其包括：複數個影像擷取裝置，拍攝複數張海平面影像，各該複數張海平面影像具有一共同物件，各該複數張海平面影像的視角相異；一影像處理器，電性連接該複數個影像擷取裝置，該影像處理器分割各該張海平面影像為複數個區塊，並將各該區塊分配至相應的一類別；以及一記憶裝置，連接於該影像處理器，該記憶裝置儲存一卷積神經網路演算法，該卷積神經網路演算法被該影像處理器運行以根據各該區塊製造該共同物件所屬的該複數個邊框(bounding box)，並據此演算出各該邊框相應的該信任機率(confidence score)，該影像處理器根據各該邊框對應於該共同物件之該信任機率以及各類別，識別該共同物件；其中，該影像處理器根據該複數張海平面影像之相異視角，得知該共同物件與各該複數個影像擷取裝置之距離；其中，該卷積神經網路演算法被該影像處理器運行以根據各該邊框分別含括該共同物件的機率以及各該邊框和相應的一實際框(ground truth box)之重疊區域估計值(intersection over union)，演算該共同物件所屬的各該邊框相應的該信任機率。
如申請專利範圍第1項所述之海上物件測距系統，其中，各該邊框具有該共同物件的中心座標以及該共同物件的長度和寬度。
如申請專利範圍第1項所述之海上物件測距系統，當該影像處理器判斷該邊框對應於該共同物件之該信任機率為0時，該邊框不存在該共同物件。
如申請專利範圍第1項所述之海上物件測距系統，其中，各該複數張海平面影像具有多個共同物件，該共同物件的數目和該複數個區塊的數目相異。
如申請專利範圍第1項所述之海上物件測距系統，其中，該卷積神經網路演算法具有複數層卷積層、複數層最大池化層以及一全連結層。
如申請專利範圍第1項所述之海上物件測距系統，複數個影像擷取裝置分為一左影像擷取裝置以及一右影像擷取裝置，該複數張海平面影像分為一左海平面影像和一右海平面影像。
如申請專利範圍第6項所述之海上物件測距系統，該影像處理器根據該共同物件於該左海平面影像和該右海平面影像的位置，將該共同物件的座標從二維座標系轉為三維座標系，該共同物件具有一立體座標，該影像處理器根據該立體座標和該左影像擷取裝置以及該右影像擷取裝置之位置，得知該共同物件與該左影像擷取裝置之距離以及該共同物件與該右影像擷取裝置之距離。
如申請專利範圍第6項所述之海上物件測距系統，其中，該共同物件於該左海平面影像和該右海平面影像的位置相異，該共同物件於該左海平面影像和該右海平面影像的位置差距為一視差。
如申請專利範圍第8項所述之海上物件測距系統，該影像處理器利用一視差流網絡推算該左海平面影像和該右海平面影像之該視差。