TW202248963A - 複眼攝像系統，使用複眼攝像系統的車輛及其影像處理方法 - Google Patents

Abstract

一種複眼攝像系統、使用複眼攝像系統的車輛及其影像處理方法，該複眼攝像系統包括一第一鏡頭、至少四個第二鏡頭、一儲存單元及一影像處理控制器，該儲存單元用以儲存該第一鏡頭或第二鏡頭所拍攝的多個源影像圖檔，該第一拍攝區所拍攝的源影像圖檔內均顯示有一基準長度，該影像處理控制器用以辨識該些源影像圖檔里至少一待測物的圖像特征，並運用該基準長度為尺標而建構一3D空間數位化模型；藉此，可用以輔助車輛監控、AI機器人、自動駕駛，使其具有3D空間識別、3D空間的多物體監控，以提升無人監控水平。

Description

複眼攝像系統，使用複眼攝像系統的車輛及其影像處理方法

本發明係關於一種多鏡頭的複眼攝像系統，特別是一種可用於車輛監控、AI機器人、自動駕駛、掃地機器人、空中無人機、多軸加工機台儀器等不同工業設備的複眼攝像系統及其影像處理方法。

自駕車在近年成為發燒議題，不論是GM、Volvo、Toyota等傳統車廠，或是新進業者Telsa、UBER、Waymo、Nuro.ai等，都積極透過實驗車輛路測蒐集環境資訊，建構自駕車所需的AI深度學習所需的路況資料。做為自駕車的「眼睛」，道路實測的自動駕駛車輛同時配備有影像感測等多種感知系統，其中處於關鍵地位的就是光達(LiDAR)感測器。光達的作用是可測量周圍車輛、物體等的距離，建立3D空間影像並加以辨識。現階段主要應用領域包括遙測、工廠自動化設備，以及鐵路、隧道等社會基礎建設的災害防範監視用途等。

相較於運用可視光範圍的影像感測裝置，由於光達使用近紅外線，不易受環境中光線的干擾，光達感測主要具有多項優點，包括在可 接收反射光的範圍(車用產品約可達200公尺甚至300公尺)內均可辨識，不受環境中光線強弱或陰影的影響；紅外線、毫米波等感測器主要應用於測量距離，若由影像感測建立3D視覺，則需仰賴複數台數的影像感測裝置；光達可使用一台感測器來建立立體環境掃描資訊，使其能在遠距離使用情境下較能維持量測精準度。此外，Google、Waymo、Uber等一些國際大廠也發展包含光達的感測器融合技術，將光達感測技術回傳資訊與其他類型感測器偵測的資訊整合，並給予不同的勘誤邏輯，以提升整體辨識精確度，做為未來自駕車所需之人工智慧深度學習訓練與推論的基礎資訊。

在此，光達主要結構是由對周圍照射近紅外線雷射光的發射光線模組，以及接收反射物體光線的接收光線模組構成，建立環境立體模型的原理，是根據照射光與接收到光線的時間差計算距離。但，光達易受下雨、霧氣影響而喪失精準度，且其無法辨識物體的材質，導致招牌、看板或是實物形象，光達並無法準確判讀。另外，光達調校費時不易大量量產，致使費用高昂而不易大規模推廣。這也是其重要缺點。

因此，如何在成本可控的前提下，達到周邊景物可量可測，清楚辨識周邊景物材質，並建立3D數位化的空間感知系統，進而使該系統可用於車輛監控、自動駕駛、AI機器人、掃地機器人、空中無人機、多軸加工機台儀器等不同工業設備，這是本領域具有通常知識者努力的目標。

本發明主要目的在成本可控的前提下，達到周邊景物可量可測，清楚辨識周邊景物材質，用以建立3D數位化的空間感知系統。

本發明另一目在輔助車輛監控、AI機器人、自動駕駛、掃地機器人、空中無人機、多軸加工機台儀器等不同工業設備，使該設備能具有3D空間識別、3D空間的多物體監控，以提升工業化無人監控水平。

為了解決上述及其他問題，本發明提供一種複眼攝像系統，其包括一第一鏡頭、至少四個第二鏡頭、一儲存單元及一影像處理控制器。該第一鏡頭具有一扇形展開的第一拍攝區，該第二鏡頭分佈於該第一鏡頭的周邊，每一第二鏡頭均具有一扇形展開的第二拍攝區，該第一拍攝區的中心拍攝方向與該第二拍攝區的中心拍攝方向夾有一角度，且該第二拍攝區與該第一拍攝區呈部份重疊；該儲存單元用以儲存該第一鏡頭或第二鏡頭所拍攝的多個源影像圖檔；該影像處理控制器用以辨識該些源影像圖檔里至少一待測物的圖像特征，該影像處理控制器用以解析同一時間點拍攝的多個源影像圖檔並生成一相對應的3D圖元，再透過多個不同時間點生成的3D圖元而解析出一帶有3D空間訊息的可攜式圖檔。

如上所述的複眼攝像系統，其中，該第一拍攝區所拍攝的源影像圖檔內均顯示有一基準長度，該影像處理控制器運用該基準長度為尺標而建構一3D空間數位化模型。

如上所述的複眼攝像系統，其中，該儲存單元與該影像處理控制器相耦接，使該3D圖元或該可攜式圖檔傳輸並儲存至該儲存單元。

如上所述的複眼攝像系統，其中，該儲存單元里儲存有至少一圖元模板，該圖元模板為該待測物的全部特征或局部特征之二維圖像。

如上所述的複眼攝像系統，其中，更包括有至少一耦接於該影像處理控制器的警示燈，使該影像處理控制器計算解析該些源影像圖檔 里的待測物後直接用以控制該警示燈。

為了解決上述及其他問題，本發明又提供一種如上所述複眼攝像系統的車輛，其中，多個複眼攝像系統分佈於該車輛的車頂部、車體前緣、車體後緣或兩側邊。

為了解決上述及其他問題，本發明再提供一種複眼攝像系統的影像處理方法，該複眼攝像系統包括有一具有第一拍攝區的第一鏡頭及一具有第二拍攝區的第二鏡頭，該影像處理方法包括有下列步驟：步驟A01：截取多鏡頭、多個時間點的源影像圖檔；步驟A02：辨識並解析該些源影像圖檔，用以生成相對應至少一待測物的3D圖元；步驟A03：計算該待測物的距離；步驟A04：計算該待測物的3D移動向量；步驟A05：選擇性地補償修正該待測物的3D移動向量之誤差；步驟A06：結合該待測物的3D圖元及其相對應的3D移動訊息而解析出帶有3D空間訊息的可攜式圖檔；及步驟A07：建立該待測物移動之3D空間數位化模型，並將該可攜式圖檔疊置於該3D空間數位化模型上。

如上所述複眼攝像系統的影像處理方法，其中，更包括步驟A08：發出減速預警信號、剎車預警信號、轉向提示信號或轉向控制信號。

如上所述複眼攝像系統的影像處理方法，其中，步驟A02更包括下列子步驟：步驟A021：從該些源影像圖檔裏提取一待測物的圖像特征；步驟A022：將該些圖像特征比對一儲存單元裏多個不同視角的圖元模板；步驟A023：生成一待測物的3D圖元；在進一步實施例里，步驟A022之圖元模板為該待測物的全部特征或局部特征之二維圖像。

如上所述複眼攝像系統的影像處理方法，其中，步驟A03更 包括下列子步驟：步驟A031：透過該第一鏡頭或第二鏡頭拍攝相同時間點的源影像圖檔以量測該待測物的距離；步驟A032：從該源影像圖檔里量測該待測物的方位角及俯仰角；步驟A033：計算並確認該待測物的空間關係。

如上所述複眼攝像系統的影像處理方法，其中，步驟A031的距離量測，是透過該源影像圖檔里車輛的基準長度比較而得，或是透過該源影像圖檔里的基準長度的倍數尺規標示線而量測；在進一步實施例里，該影像處理控制器以該待測物所呈現之輪廓外觀的形狀中心點位置來比對該倍數尺規標示線。

如上所述複眼攝像系統的影像處理方法，其中，步驟A031的距離量測，是透過該第一鏡頭及第二鏡頭之觀察角度的三角定位量測而得。

如上所述複眼攝像系統的影像處理方法，其中，步驟A032的方位角或俯仰角量測，是透過該源影像圖檔里的方位尺規標示線或俯仰尺規標示線而量測；在進一步實施例里，該影像處理控制器以該待測物所呈現之輪廓外觀的形狀中心點位置來比對該方位尺規標示線或該俯仰尺規標示線。

如上所述複眼攝像系統的影像處理方法，其中，步驟A04更包括下列子步驟：步驟A041：取得不同時間點的待測物位置；步驟A042：計算該待測物的移動向量；步驟A043：連續顯示多個時間點的移動向量。

如上所述複眼攝像系統的影像處理方法，其中，步驟A05更包括下列子步驟：步驟A051：從該源影像圖檔裏提取至少一待測物的轉向特征；步驟A052：標定並生成該待測物的補償修正向量；步驟A053：分配 權重至該待測物的補償修正向量，以校正該待測物的移動路徑。

藉此，本發明所述複眼攝像系統及其影像處理方法，可以在成本可控的前提下，達到周邊景物可量可測，清楚辨識周邊景物材質，用以建立3D數位化的空間感知系統，進而輔助車輛監控、自動駕駛、AI機器人、掃地機器人、空中無人機、多軸加工機台儀器等不同工業設備，使該設備能具有3D空間識別、3D空間的多物體監控，以提升工業化無人監控水平。

為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與附圖，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制。

50:複眼攝像系統

51:第一鏡頭

52:第二鏡頭

53:第一拍攝區

53A:中心拍攝方向

54:第二拍攝區

54A:中心拍攝方向

61:源影像圖檔

62:3D空間數位化模型

63:圖像特征

64:3D圖元

65:可攜式圖檔

66:圖元模板

71:基準長度

55:儲存單元

56:影像處理控制器

57:警示燈

91:車輛

92:待測物

72:方位尺規標示線

74:倍數尺規標示線

75:空間網格線

h1:垂直距離

d:鏡頭間距

α、β、θ:角度

圖1A所繪示為複眼攝像系統的結構示意圖。

圖1B所繪示為複眼攝像系統應用於車輛的使用狀態圖。

圖1C所繪示為複眼攝像系統的功能方塊圖。

圖2A~圖2E所繪示為複眼攝像系統的影像處理方法流程圖。

圖3所繪示為影像處理控制器辨識該源影像圖檔裏的圖像特征的示意圖。

圖4A所繪示為安裝該複眼攝像系統的車輛透過該基準長度而計算距離的示意圖。

圖4B所繪示為影像處理控制器通過該源影像圖檔裏的車輛基準長度而計算距離的示意圖。

圖5所繪示為該複眼攝像系統的三角量測法應用示意圖。

圖6A所繪示為安裝該複眼攝像系統的車輛測量計算待測物的方位角的示意圖。

圖6B所繪示為影像處理控制器通過該源影像圖檔而計算該待測物的方位角的示意圖。

圖7A~圖7C所繪示為安裝該複眼攝像系統的車輛在該3D空間數位化模型內的周邊場景態勢感知示意圖。

圖8所繪示為該影像處理控制器進行殘圖補盲的需求場景示意圖。

圖9所繪示為複眼攝像系統另一實施例的功能方塊圖。

請同時參閱圖1A~圖1C，圖1A所繪示為複眼攝像系統的結構示意圖，圖1B所繪示為複眼攝像系統應用於車輛的使用狀態圖，圖1C所繪示為複眼攝像系統的功能方塊圖。如圖所示，一複眼攝像系統50，其包括有一第一鏡頭51、四個第二鏡頭52、一儲存單元55及一影像處理控制器56。該第一鏡頭51具有一扇形展開的第一拍攝區53，多個第二鏡頭52分佈於該第一鏡頭51的周邊，且每一第二鏡頭52均具有一扇形展開的第二拍攝區54，該第一拍攝區53的中心拍攝方向53A與該第二拍攝區54的中心拍攝方向54A夾有一角度θ，且使該第二拍攝區54與該第一拍攝區53呈部份重疊。 其中，該複眼攝像系統50的第一鏡頭51、第二鏡頭52表面處呈弧面設計，可以使該第一拍攝區53的中心拍攝方向53A與該第二拍攝區54的中心拍攝方向54A非指向同一方向，從而使得該第一拍攝區53、第二拍攝區54的整體覆蓋面積更大，避免更多的拍攝死角。該儲存單元55用以儲存該第一鏡頭51或第二鏡頭52所拍攝的多個源影像圖檔61。該儲存單元55與該影像處理控制器56相耦接，該影像處理控制器56用以解析同一時間點拍攝的多個源影像圖檔61並生成一相對應的3D圖元64，再透過多個不同時間點生成的3D圖元64而解析出一帶有3D空間訊息的可攜式圖檔65。該儲存單元55里儲存有多個圖元模板66，該圖元模板66為該源影像圖檔61里某一待測物92的局部特征或全部特征之二維圖像。使該3D圖元64或該可攜式圖檔65傳輸並儲存至該儲存單元55。其中，該源影像圖檔61為該第一鏡頭51或該第二鏡頭52所拍攝下來具有影像格式的圖檔，其格式包括但不限於JPG、JPEG、PSD、TIFF、PDF、BMP、EPS、PNG、GIF、PCX等格式。該3D圖元64則是具備3維空間多視角可視化、可向量化、可解析的數位化檔案。該可攜式圖檔65為帶有3D空間訊息的可攜式電子檔格式，其可被網路傳輸至雲端或其他機器儀器設備上儲存、解析並應用；該3D空間訊息包括3D空間的位置訊息(例如透過GPS定位、北斗定位或其他衛星系統定位)、帶方向的速度向量訊息或加速度向量訊息。

上述的複眼攝像系統50可以被應用至汽車監控輔助、自動駕駛、掃地機器人、AI機器人、空中無人機、多軸加工機台儀器等不同工業設備，使這些設備能具有3D空間識別、3D空間的多物體監控，以提升工業化無人監控水平。以下，以該複眼攝像系統50應用至車輛91監控輔助為例， 來說明本發明複眼攝像系統50的影像處理方法，如圖1B所示，多個複眼攝像系統50分佈於該車輛91的車頂部、車體前緣、車體後緣或兩側邊，用以監控該車輛91周邊、上方的3D立體空間狀況。在此特別說明，車輛91的周邊裝設該複眼攝像系統50可以讓該車輛91建立周邊的3D空間態勢感知，得知該車輛91周邊近200公尺以內物體的大小、外觀輪廓、形狀、速度、加速度，以使該車輛91提前針對周邊交通狀況作出反應，防止交通事故。另，該車輛91頂部裝設該複眼攝像系統50，可用以監控該車輛91上方的物體，例如，如果該車輛91經常性行駛於山頂落石或山區土石流高頻發生地區，則該複眼攝像系統50就可以提前預警並得知落石、山崩、走山、土石流，進而讓該車輛91逕行躲避或停車。該複眼攝像系統50及其影像處理方法對於該車輛91的價值就在於，可以讓該車輛91具備周邊3D空間景物的態勢感知，進而提昇汽車自動駕駛的操控性與精準度。

為了達到上述提昇汽車自動駕駛的操控性與精準度的目的，本發明再提供該複眼攝像系統50的影像處理方法。請再同時參閱圖2A~圖2E，圖2A~圖2E所繪示為複眼攝像系統50的影像處理方法流程圖；如圖2A所示，透過該第一鏡頭51、第二鏡頭52截取多鏡頭、多個時間點的源影像圖檔61(步驟A01)，再透過該影像處理控制器56來辨識並解析該些源影像圖檔61，用以生成相對應至少一待測物92的3D圖元64(步驟A02)。在此，如圖2B所示，該步驟A02的具體細部執行方式包括下列子步驟：從該些源影像圖檔61裏提取一待測物92的圖像特征63(步驟A021)，其中，如圖3所示，從該複眼攝像系統50拍攝的源影像圖檔61里，可透過該影像處理控制器56來辨識該些源影像圖檔61里的多個待測物92的圖像特征63。該待測物92可 以是汽車、卡車、機車、交通號誌、電線桿、天橋、路樹…等。不同的待測物92會具有不同的圖像特征63，該圖像特征63為該待測物92的平面影像特征，其包括但不限於顏色特征、紋理特征、灰度值特征、形狀特征、空間對應關係特征、局部特征或全局特征…等。以具體的實物為例，路樹的圖像特征63就是樹葉或樹幹；汽車的圖像特征63就是車殼輪廓及輪胎；卡車的圖像特征63就是集裝箱或高置於輪胎上的卡車駕駛座。因此，透過對該待測物92的圖像特征63的辨識，該複眼攝像系統50即可分辨出該車輛91前方的待測物92是機車、汽車或是行人。接下來，如圖2B所示，將該些圖像特征63比對該儲存單元55裏多個不同視角的圖元模板66(步驟A022)，並判斷該待測物92的圖像特征63是否附合該圖元模板66；如果符合，則生成該待測物92的3D圖元64(繪示於圖1C，同時參閱步驟A023)，使該3D圖元64與該儲存單元55裏的圖元模板66均對應至該特定的待測物92。在此，該圖元模板66為該待測物92的多個不同視角的二維圖像所結合而成的檔案(亦即，該待測物92的多個不同視角的完整圖像之集合)，其可以是一內建或抓取自大數據的圖像式範本檔案；例如，該圖元模板66可以是某一特定物體(例如汽車、機車、卡車、交通號誌、路樹…等)不同視角上的可對比式圖像檔，其目的是提供該複眼攝像系統50從多個不同視角上來進行圖像特征63的參照比對。也因此，僅僅少數幾個特定角度的源影像圖檔61，經過該影像處理控制器56的比對後，即可讓該複眼攝像系統50辨識並確認該待測物92究竟是哪一種物體？甚至是哪個種類、款式的汽車。更進一步地，該圖元模板66可以是該源影像圖檔61里某一待測物92的局部特征，因此可以透過該局部特征的圖元模板66來進行殘像比對、殘像補盲；請同時 參閱圖8，圖8所繪示為該影像處理控制器進行殘圖補盲的需求場景示意圖。如圖8所示，在該複眼攝像系統50的第一拍攝區53里，該行人待測物92被前方的箱型車遮擋住部份影像，造成該影像處理控制器56無法完全辨識該行人待測物92。此時，透過該圖元模板66的殘像、殘影(即，該行人待測物92的局部特征之圖像)建立，即可讓該影像處理控制器56經過特征比對而得知並確認該第一拍攝區53內被遮擋住的物體為何？如此一來，該複眼攝像系統50就可以提早知道被遮擋區後有什麼物體，達到事先預知、早期預警的功能。

在此補充說明，上述的源影像圖檔61解析，或是該圖像特征63的辨識、比對，其核心技術均是透過圖像匹配來達成。該圖像匹配是指通過一定的匹配演算法，在兩幅或多幅圖像之間識別同質特點或同性特點，如二維圖像匹配中通過比較目標區和搜索區中相同大小的視窗的相關係數，取搜索區中相關係數最大所對應的視窗中心點作為同質特點或同性特點，也就是採用統計學的方法來尋找信號間的相關匹配度。其實質就是在基礎圖元相關、相似的條件下，運用匹配準則來達到最佳搜索效果。一般而言，圖像匹配可分為以灰度為基礎的匹配和以特征為基礎的匹配。

接下來，當確認該待測物92並生成其相對應的3D圖元64之後，即可計算該待測物92的距離(步驟A03)；其中，計算該待測物92的距離，如圖2C所示，可先透過該第一鏡頭51或第二鏡頭52拍攝”相同時間點”的源影像圖檔61以量測該待測物92的距離(步驟A031)，再來從該源影像圖檔61里量測該待測物92的方位角及俯仰角(步驟A032)，如此即可計算並確認該待測物92的空間關係(步驟A033)。其中，如圖4A、圖4B所示，該步 驟A031的距離量測，可以是透過該源影像圖檔61里車輛91的基準長度71，以該基準長度71比較量測該源影像圖檔61里的卡車、汽車之待測物92與安裝該複眼攝像系統50之車輛91的相對距離；亦即，在圖4A的一倍基準長度71、二倍基準長度71、三倍基準長度71、四倍基準長度71之處，均會在圖4B的源影像圖檔61里顯示或標示出該基準長度71的倍數尺規標示線74，以方便該複眼攝像系統50的影像處理控制器56比較或計算該卡車、汽車之待測物92的距離。其中，如圖4A、圖4B所示，該車輛91的基準長度71較佳是該複眼攝像系統50的安裝點至該車輛91最前端的距離；在其他實施例中，該第一鏡頭51所拍攝的源影像圖檔61內該車輛91的基準長度71及其倍數，也可以是透過軟體內建尺度(內建的標準固定長度)而達到，或是在該第一鏡頭51的鏡頭外表上刻上實體刻度線而達到。此外，如圖4B所示，從該源影像圖檔61觀之，如果該待測物92所呈現的面積較大(可能是該待測物92的實際體積大，或是比較靠近該裝設了複眼攝像系統50的車輛91)而跨越了多條倍數尺規標示線74，則該影像處理控制器56會以該待測物92所呈現之輪廓外觀的形狀中心點的位置來比對該倍數尺規標示線74，用以作為該待測物92的距離之判斷。

除了運用本車輛91的基準長度71來計算之外，還可以透過三角定位量測法計算該卡車、汽車之待測物92的距離。如圖5所示，該複眼攝像系統50的第一鏡頭51與第二鏡頭52的鏡頭間距d，一機車狀的待測物92與該複眼攝像系統50的垂直距離h1，透過三角函數及三角定位量測法即可得該垂直距離h1=d*[(sinα*sinβ)/sin(α+β)]。也就是說，該第一鏡頭51與該第二鏡頭52的鏡頭間距d已知，然後再透過該複眼攝像系統50來觀察量測該角度 α、β的大小，即可透過計算而得知該垂直距離h1。其中，該機車狀的待測物92當然也可以是汽車、卡車、行人、路樹或交通號誌…等。

步驟A032的方位角或俯仰角量測，可以是透過該源影像圖檔61里的方位尺規標示線72或俯仰尺規標示線而量測；例如，如圖6A、圖6B所示，從該複眼攝像系統50往該車輛91前方觀之，該源影像圖檔61的畫面可被該方位尺規標示線72分割成多個區域，從該待測物92所處的位置，即可得知該待測物92相對於該複眼攝像系統50的相應方位角(Azimuth angle)。如果該待測物92在該源影像圖檔61里所呈現的面積較大(可能是該待測物92的實際體積大，或是比較靠近該裝設了複眼攝像系統50的車輛91，如圖6B所示)而跨越了多條方位尺規標示線72或俯仰尺規標示線，則該影像處理控制器56會以該待測物92所呈現之輪廓外觀的形狀中心點，來作為該待測物92的方位角/俯仰角判斷。相同的道理，該影像處理控制器56也可以透過多條俯仰尺規標示線，來將該源影像圖檔61分割成多個不同的俯仰角度區域，進而判斷該待測物92所處的俯仰位置。如此一來，透過該影像處理控制器56來解析該待測物92的距離、方位、俯仰，依據球形座標原理來得知並確認該待測物92與本車輛91的相對應空間關係，即可完成步驟A033的執行。

接下來，計算該待測物92的3D移動向量(步驟A04)，其中，先透過前述步驟A03來取得不同時間點的待測物92位置(步驟A041)，再計算該待測物92的移動向量(步驟A042)，即可連續顯示多個不同時間點的移動向量(步驟A043)。其中，在步驟A03里從”相同時間點、不同的鏡頭”取得的多個源影像圖檔61，其目的就是透過多個不同位置的第一鏡頭51、第 二鏡頭52的空間位置差異，來精進遠方待測物92的位置計算；其本質是通過多個不同鏡頭位置，而多次數地求取該待測物92的”定位”，透過多次計算而達到精準度提昇的目標。而步驟A04則是透過”不同時間點”所拍攝的源影像圖檔61，來取得某一特定待測物92的移動軌跡、移動向量(∵不同時間點的位置變化，即為待測物92的移動向量)。

再來，選擇性地補償修正該待測物92的3D移動向量之誤差(步驟A05)，其修正誤差的方式包括下列子步驟：從該源影像圖檔61裏提取至少一待測物92的轉向特征(步驟A051)，該轉向特征包括但不限於汽車的輪胎轉向、路上行人頭部轉向、或是汽車車身與馬路車道夾有一交錯角度。這些轉向特征即代表著安裝該複眼攝像系統50的車輛91周邊之汽車或行人，具有較強的轉向意圖，可能大幅改變其行進方向，會突然轉向、突然變道，進而造成本車輛91的追撞事故。因此若該複眼攝像系統50能提前預測周邊汽車、行人的轉向意圖，就可以提前作出相應的處置，降低本車輛91與周邊待測物92相撞的機率。當確認本車輛91周邊汽車、行人欲進行轉向之後，即可標定並生成該待測物92的補償修正向量(步驟A052)，再分配權重至該待測物92的補償修正向量，以校正該待測物92的移動路徑(步驟A053)，也就是說，用以修正前述步驟A04所生成的移動向量，提前預測周邊行人汽車突然轉向、突然變道。在此特別說明，步驟A05的選擇性執行，意即可以執行，也可以不執行。另，如圖2A所示，步驟A05經計算若發現補償修正向量過大，則可回饋至步驟A04，以重新執行步驟A04的待測物92移動向量計算。

此時，該複眼攝像系統50已完成周邊汽車行人或交通號誌相 對於本車輛91的距離、移動向量之計算，再來透過該影像處理控制器56來結合該待測物92的3D圖元64及其相對應的3D移動訊息，進而解析出帶有3D空間訊息的可攜式圖檔65(步驟A06)；再來，建立該待測物92移動之3D空間數位化模型62，並將該可攜式圖檔65疊置於該3D空間數位化模型62上(步驟A07)，使該複眼攝像系統50的影像處理控制器56可以將本車輛91周邊的人車、交通號誌等一切景物，均疊置在該3D空間數位化模型62上。請同時參閱圖/A~圖7C，圖7A~圖7C所繪示為安裝該複眼攝像系統的車輛在該3D空間數位化模型內的周邊場景態勢感知示意圖；如圖7A、圖7B所示，該複眼攝像系統50可以將即車、人、路樹、交通號誌等可能的待測物92檢測出來，化為相應的3D圖元64，並且感知其3D空間位置、移動向量、加速度，最後再將該3D圖元64轉化為帶有3D空間訊息的可攜式圖檔65疊置在一3D空間數位化模型62上，使該複眼攝像系統50建立本車輛91周邊的3D空間態勢感知、3D空間景深估算，偵測出其周邊200公尺內物體的大小、速度、加速度，使該車輛91具有強大的周邊物體監控能力。如圖7A所示，該安裝了複眼攝像系統50的車輛91可以偵測、感知到左後方的機車待測物92與馬路上的車道標示線，進而判斷是否要進行規避閃躲或加速駛離；如圖7B所示，該安裝了複眼攝像系統50的車輛91可以偵測、感知到其周邊的多個汽車待測物92，讓該影像處理控制器56在該車輛91的周邊建立該3D空間數位化模型62及空間座標，使該3D空間數位化模型62擁有虛擬的空間網格線75，讓該複眼攝像系統50可以得知、感知其周邊所有待測物92的相對座標，藉此用以讓該影像處理控制器56來規劃最佳的行進、避行甚至繞行路線，甚至決定是否減速慢行、停車等待或超車前進。最後，請再同時參閱圖7C，該 車輛91即可依據該複眼攝像系統50或該影像處理控制器56的影像監控及判斷，而發出減速預警信號、剎車預警信號、轉向提示信號或轉向控制信號(步驟A08)，使該車輛91具備自主控制、自動駕駛的功能。如圖7C左半圖所示，該複眼攝像系統50還可以整合一地圖系統(例如谷歌地圖、百度地圖、高德地圖…等)而得知該車輛91周邊數十公里的道路走向，且同時顯示該影像處理控制器56所生成的多條空間網格線75。還有，在整合了之後，該複眼攝像系統50即可將地圖系統的道路走向、道路規劃以及被偵測、感知到的周邊景物、待測物92，一起呈現在該3D空間數位化模型62里；如此一來，如圖7C右半圖所示，本發明的複眼攝像系統50即可達到：該待測物92的座標、相對距離、移動向量之感知及預測，提早對可能發生的撞擊、相撞提出警示。

請參閱圖9，圖9所繪示為複眼攝像系統另一實施例的功能方塊圖。如圖9所示，本發明的複眼攝像系統50還可以進一步地增加至少一警示燈57，該警示燈57耦接於該影像處理控制器56，因此，該影像處理控制器56即可用以控制該警示燈57的亮起、熄滅或閃爍。再如圖7A所示，當左後方的機車待測物92靠近該車輛91時，透過該影像處理控制器56計算、解析得知該機車待測物92的距離過近時，該影像處理控制器56即可自主地驅動該警示燈57閃爍(即，無需透過該車輛91的駕駛人來控制)，提醒該機車待測物92保持行車間距。也就是說，透過該複眼攝像系統50的影像處理控制器56計算解析該些源影像圖檔61里的待測物92後，該影像處理控制器56就可直接控制該警示燈57發出警示的燈光。所以，該步驟A08的功能，是當該影像處理控制器56判斷周邊待測物92距離過近或速度過快時，用以控 制、驅動該警示燈57來發出減速預警信號、剎車預警信號、轉向提示信號，達到防止撞擊的目的。

藉此，本發明所述複眼攝像系統50，使用複眼攝像系統50的車輛91及其影像處理方法，可以不使用激光雷達、紅外雷達、光達等昂貴的設備，而在成本可控的前提下，達到周邊景物可量可測，清楚辨識周邊景物材質，並建立3D數位化的空間感知系統，進而使該系統可用於汽車監控、AI機器人、自動駕駛、掃地機器人、空中無人機、多軸加工機台儀器等不同工業設備。故其具有龐大的商業運用潛力。

本發明以實施例說明如上，然其並非用以限定本發明所主張之專利權利範圍。其專利保護範圍當視後附之申請專利範圍及其等同領域而定。凡本領域具有通常知識者，在不脫離本專利精神或範圍內，所作之更動或潤飾，均屬於本發明所揭示精神下所完成之等效改變或設計，且應包含在下述之申請專利範圍內。

步驟A01~步驟A08

Claims (18)

1. 一種複眼攝像系統(50)，其包括：

   一第一鏡頭(51)，其具有一扇形展開的第一拍攝區(53)；

   至少四個第二鏡頭(52)，分佈於該第一鏡頭(51)的周邊，每一第二鏡頭(52)均具有一扇形展開的第二拍攝區(54)，該第一拍攝區(53)的中心拍攝方向(53A)與該第二拍攝區(54)的中心拍攝方向(54A)夾有一角度(θ)，且該第二拍攝區(54)與該第一拍攝區(53)呈部份重疊；

   一儲存單元(55)，用以儲存該第一鏡頭(51)或第二鏡頭(52)所拍攝的多個源影像圖檔(61)；以及

   一影像處理控制器(56)，用以辨識該些源影像圖檔(61)里至少一待測物(92)的圖像特征(63)，該影像處理控制器(56)用以解析同一時間點拍攝的多個源影像圖檔(61)並生成一相對應的3D圖元(64)，再透過多個不同時間點生成的3D圖元(64)而解析出一帶有3D空間訊息的可攜式圖檔(65)。
2. 如請求項1所述之複眼攝像系統(50)，其中，該第一拍攝區(53)所拍攝的源影像圖檔(61)內均顯示有一基準長度(71)，該影像處理控制器(56)運用該基準長度(71)為尺標而建構一3D空間數位化模型(62)。
3. 如請求項1所述之複眼攝像系統(50)，其中，該儲存單元(55)與該影像處理控制器(56)相耦接，使該3D圖元(64)或該可攜式圖檔(65)傳輸並儲存至該儲存單元(55)。
4. 如請求項1所述之複眼攝像系統(50)，其中，該儲存單元(55)里儲存有至少一圖元模板(66)，該圖元模板(66)為該待測物(92)的全部特征或局部特征之二維圖像。
5. 如請求項1所述之複眼攝像系統(50)，其中，更包括有至少一耦接於該影像處理控制器(56)的警示燈(57)，使該影像處理控制器(56)計算解 析該些源影像圖檔(61)里的待測物(92)後直接用以控制該警示燈(57)。
6. 一種使用多個如請求項1所述複眼攝像系統(50)的車輛(91)，其中，多個複眼攝像系統(50)分佈於該車輛(91)的車頂部、車體前緣、車體後緣或兩側邊。
7. 一種複眼攝像系統(50)的影像處理方法，該複眼攝像系統(50)包括有一具有第一拍攝區(53)的第一鏡頭(51)及一具有第二拍攝區(54)的第二鏡頭(52)，該影像處理方法包括有下列步驟：

   步驟A01：截取多鏡頭、多個時間點的源影像圖檔(61)；

   步驟A02：辨識並解析該些源影像圖檔(61)，用以生成相對應至少一待測物(92)的3D圖元(64)；

   步驟A03：計算該待測物(92)的距離；

   步驟A04：計算該待測物(92)的3D移動向量；

   步驟A05：選擇性地補償修正該待測物(92)的3D移動向量之誤差；

   步驟A06：結合該待測物(92)的3D圖元(64)及其相對應的3D移動訊息而解析出帶有3D空間訊息的可攜式圖檔(65)；及

   步驟A07：建立該待測物(92)移動之3D空間數位化模型(62)，並將該可攜式圖檔(65)疊置於該3D空間數位化模型(62)上。
8. 如請求項7所述複眼攝像系統(50)的影像處理方法，其中，更包括步驟A08：發出減速預警信號、剎車預警信號、轉向提示信號或轉向控制信號。
9. 如請求項7所述複眼攝像系統(50)的影像處理方法，其中，步驟A02更包括下列子步驟：

   步驟A021：從該些源影像圖檔(61)裏提取一待測物(92)的圖像特征(63)；

   步驟A022：將該些圖像特征(63)比對一儲存單元(55)裏多個不同視角的 圖元模板(66)；

   步驟A023：生成一待測物(92)的3D圖元(64)。
10. 如請求項9所述複眼攝像系統(50)的影像處理方法，其中，步驟A022里的圖元模板(66)為該待測物(92)的全部特征或局部特征之二維圖像。
11. 如請求項7所述複眼攝像系統(50)的影像處理方法，其中，步驟A03更包括下列子步驟：

    步驟A031：透過該第一鏡頭(51)或第二鏡頭(52)拍攝相同時間點的源影像圖檔(61)以量測該待測物(92)的距離；

    步驟A032：從該源影像圖檔(61)里量測該待測物(92)的方位角及俯仰角；

    步驟A033：計算並確認該待測物(92)的空間關係。
12. 如請求項11所述複眼攝像系統(50)的影像處理方法，其中，步驟A031的距離量測，是透過該源影像圖檔(61)里車輛(91)的一基準長度(71)比較而得，或是透過該源影像圖檔(61)里的一基準長度(71)的倍數尺規標示線(74)而量測。
13. 如請求項12所述複眼攝像系統(50)的影像處理方法，其中，該影像處理控制器(56)以該待測物(92)所呈現之輪廓外觀的形狀中心點位置來比對該倍數尺規標示線(74)。
14. 如請求項11所述複眼攝像系統(50)的影像處理方法，其中，步驟A031的距離量測，是透過該第一鏡頭(51)及第二鏡頭(52)之觀察角度的三角定位法量測而得。
15. 如請求項11所述複眼攝像系統(50)的影像處理方法，其中，步驟A032的方位角或俯仰角量測，是透過該源影像圖檔(61)里的方位尺規標示 線(72)或俯仰尺規標示線而量測。
16. 如請求項15所述複眼攝像系統(50)的影像處理方法，其中，該影像處理控制器(56)以該待測物(92)所呈現之輪廓外觀的形狀中心點位置來比對該方位尺規標示線(72)或該俯仰尺規標示線。
17. 如請求項7所述複眼攝像系統(50)的影像處理方法，其中，步驟A04更包括下列子步驟：

    步驟A041：取得不同時間點的待測物(92)位置；

    步驟A042：計算該待測物(92)的移動向量；

    步驟A043：連續顯示多個時間點的移動向量。
18. 如請求項7所述複眼攝像系統(50)的影像處理方法，其中，步驟A05更包括下列子步驟：

    步驟A051：從該源影像圖檔(61)裏提取至少一待測物(92)的轉向特征；

    步驟A052：標定並生成該待測物(92)的補償修正向量；

    步驟A053：分配權重至該待測物(92)的補償修正向量，以校正該待測物(92)的移動路徑。

Images