TW201605247A - 影像處理系統及方法 - Google Patents

Abstract

本發明可提供一種影像處理系統及方法，該影像處理系統使用至少兩台攝影機，而攝影機擺設的位置可以因安裝於車輛的容易度和攝影數量而改變。本發明利用影像分析的方法推估出車輛周圍前景物的深度，建立一個具有深度資訊的3D幾何模型，藉此減少影像的扭曲，並將此影像顯示於廣域電子後視鏡上以提供駕駛更正確的後視影像。

Description

影像處理系統及方法

本發明概略關於資訊及多媒體領域，更特定而言係關於一種用於汽車後視鏡影像監控及多媒體系統介面的技術。

在傳統的行車方式中，駕駛可以藉由後視鏡來查知後方的車輛或行人狀況，但常會受限於視野的死角，駕駛無法同時得知車輛周遭之鄰車狀況。而近幾年用於車輛行車輔助的攝影器材技術已經蓬勃發展，然大部分僅單純被動的提供車輛周圍之影像以輔助駕駛者避免事故之發生，現有市面上推出的廣域電子後視鏡，是將魚眼攝影機加裝在車輛後方，並經過影像形變後，顯示於後視鏡上。雖然駕駛可以更清楚的看到車輛後方(保險桿以後)的景象，但是仍需費心注意左右後視鏡以確認車輛左後方與右後方的車況，才能完整掌握無死角的後方車況。

現今用於輔助行車的攝影機技術也存在一些缺點，在現有車廠的車輛全方位監視系統中(如：Nissan的Around View Monitor、Luxgen的Eagle View System等)，駕駛只能透過俯視的視角，看到車輛周圍有限的範圍，並不能提供車輛周圍真實的3D影像，駕駛也需要在多個後視鏡間切換視角，才能看到車輛後方所有區域的車輛與行人資訊，而在視野的死角上，駕駛仍不易完整的得知車輛周遭的鄰車資訊，雖然透過加裝在車輛四周的攝影機，可以讓駕駛看到車輛周圍的狀況，但視角受限於俯視且可視範圍有限； 另外富士通公司有一結合3D技術的行車攝影輔助系統，但其利用之3D投影模型是固定的，不會因為車輛周圍前景物的深度而改變，因此無法提供即時的車輛周圍3D景物訊息給駕駛知道。為了協助駕駛並增加行車安全，需要設計一個結合多個攝影機所取得的影像，提供一個直覺的廣域電子後視鏡監控畫面，讓駕駛能迅速對危險事件作出反應，以達行車安全輔助之目的。

因此，本發明提供一種用於結合影像處理系統之廣域電子後視鏡，該後視鏡能夠推估車輛周圍前景物深度，進而改變3D投影模型，並依據此投影模型，生成駕駛應看到之後視影像，以達到安全駕駛的目的。

本發明之目的在於提供一種影像處理系統及方法，係應用於電子後視鏡中，該影像處理系統至少包含：至少二台攝影機所拍攝到的真實影像、至少具有一深度值推估單元的深度值推估模組、一3D幾何模型產生模組、一影像處理模組、一虛擬攝影機、一視角偵測模組以及一顯示模組。該影像處理系統使用至少兩台攝影機，而攝影機擺設的位置可以因安裝於車輛的容易度和攝影數量而改變。深度值推估模組中的深度值推估單元可結合至少2台相鄰攝影機所取得的影像並推估出車輛周圍前景物的深度；3D幾何模型產生模組可以建立一個具有深度資訊的3D幾何模型；影像處理模組可以將具有深度資訊的3D幾何模型與攝影機拍攝到的車輛周圍畫面做影像合成，藉此減少影像的扭曲，提供駕駛更正確的後視影像；虛擬攝影機可以藉由擺放位置的不同而產生不同效果的後視鏡影像，例如將虛擬攝影機擺放於車輛前上方位置，駕駛可以於廣域電子後視鏡中看到自己 的車輛及車輛後方鄰車與行人資訊之相對關係，而將虛擬攝影機擺放於傳統後視鏡的位置後方，駕駛即可看到一個與利用原本傳統後視鏡觀看之相同的視角但沒有遭到車身之自我遮擋的影像；視角偵測模組可利用駕駛者眼睛的位置與後視鏡螢幕角度，得到駕駛者的視線方向，並依據此資訊顯示適當的影像，以模擬真實的三維場景與後視鏡的光學顯示效果。

本發明之其它目的、好處與創新特徵將可由以下本發明之詳細範例連同附屬圖式而得知。

1‧‧‧影像處理系統

11‧‧‧深度值推估模組

111‧‧‧深度值推估單元

12‧‧‧3D幾何模型產生模組

13‧‧‧影像處理模組

14‧‧‧虛擬攝影機

15‧‧‧視角偵測模組

16‧‧‧顯示模組

21~26‧‧‧步驟

30‧‧‧車輛

300‧‧‧廣域電子後視鏡

31‧‧‧右方攝影機

32‧‧‧後方攝影機

33‧‧‧左方攝影機

34‧‧‧左方攝影機所拍攝到的區塊

35‧‧‧右方攝影機所拍攝到的區塊

36‧‧‧後方攝影機所拍攝到的區塊

37‧‧‧左方與後方攝影機所拍攝到的重疊區塊

38‧‧‧右方與後方攝影機所拍攝到的重疊區塊

41‧‧‧右方攝影機所拍攝的真實影像

42‧‧‧後方攝影機所拍攝的真實影像

421‧‧‧其它車輛

43‧‧‧左方攝影機所拍攝的真實影像

m _r ‧‧‧地平面上特徵座標點

m _l ‧‧‧拍攝影像中特徵座標點

I _r ‧‧‧積分後的地平面上特徵座標點

I _l ‧‧‧積分後的拍攝影像中特徵座標點

H‧‧‧矩陣

H₁₁~H₃₂‧‧‧矩陣內數字

71‧‧‧一般固定3D幾何模型

72‧‧‧依景物深度而改變的3D幾何模型

101‧‧‧駕駛者

102‧‧‧視線方向

當併同各隨附圖式而閱覽時，即可更佳瞭解本發明較佳範例之前揭摘要以及上文詳細說明。為達本發明之說明目的，各圖式裏圖繪有現屬較佳之各範例。然應瞭解本發明並不限於所繪之精確排置方式及設備裝置。在各圖式中：第1圖為一系統方塊圖，用以說明本發明之影像處理系統。

第2圖為一流程圖，用以說明本發明之影像處理方法。

第3圖為一示意圖，用以說明本發明之攝影機擺設位置。

第4圖為一示意圖，用以說明本發明之實施例所拍攝到的車輛周圍真實影像。

第5圖(a)為一示意圖，用以說明Homography的應對關係。

第5圖(b)為一示意圖，用以說明Homography矩陣H。

第6圖為一示意圖，用以說明透過stereo的演算法找到物體在環境中的深度(離攝影機之距離)。

第7圖為一3D幾何模型示意圖，用以說明一般3D幾何模型以及具有深度資訊的3D幾何模型。

第8圖(a)為一示意圖，用以說明本發明之實施例提供的虛擬攝影機與車輛的位置關係。

第8圖(b)為一示意圖，用以說明另一實施例提供的虛擬攝影機與車輛的位置關係。

第9圖(a)為一示意圖，用以說明本發明之實施例的廣域電子後視鏡所看到的周圍真實3D影像。

第9圖(b)為一示意圖，用以說明本發明另一實施例之廣域電子後視鏡所看到的周圍真實3D影像。

第10圖(a)為一示意圖，用以說明利用駕駛者眼睛的第一位置與廣域電子後視鏡螢幕角度所得到的後視鏡顯示內容。

第10圖(b)為一示意圖，用以說明利用駕駛者眼睛的第二位置與廣域電子後視鏡螢幕角度所得到的後視鏡顯示內容。

現將詳細參照本發明附圖所示之範例。所有圖式盡可能以相同元件符號來代表相同或類似的部份。請注意該等圖式係以簡化形式繪成，並未依精確比例繪製。

第1圖為本發明所使用的影像處理系統1的系統架構圖，參照第1圖，影像處理系統1至少包含安裝在車輛周圍的攝影機所拍攝的真實影像41、42以及43、具有至少一深度值推估單元111的深度值推估模組11、一3D幾何模型產生模組12、一影像處理模組13、一虛擬攝影機14、一視角偵測模組35以及一顯示模組16。

第2圖為一流程圖，用以說明本發明之影像處理系統的影像 處理步驟。參照第1圖與第2圖，影像處理步驟包含一影像獲取步驟21、一深度值推估步驟22、一3D幾何模型產生步驟23、一影像合成步驟24、一顯示步驟25以及一視角偵測步驟26。

在影像獲取步驟21，當影像處理系統1得到安裝在車輛(未示出)周圍的攝影機(未示出)所拍攝的真實影像41、42以及43之後，影像處理系統1會將該真實影像41、42以及43傳送到深度值推估模組11並藉由深度值推估單元111進行深度值推估，同時，影像處理系統1也會將真實影像41、42以及43傳送到影像處模組13。

在深度值推估步驟22，當深度值推估模組11中的深度值推估單元111推估完車輛(未示出)後方以及側後方的深度值後，會將深度值推估資訊傳送到3D幾何模型產生模組12。

在3D幾何模型產生步驟23，當3D幾何模型產生模組12接收到車輛(未示出)周圍的深度推估值資訊後，3D幾何模型產生模組12會依深度值推估資訊產生具有車輛(未示出)周圍深度值之3D幾何模型(未示出)，之後3D幾何模型產生模組12會將具有車輛(未示出)周圍深度值之3D幾何模型(未示出)傳送到影像處理模組13。

在影像合成步驟24，影像處理模組13能將具有車輛(未示出)周圍深度值之3D幾何模型(未示出)與真實影像41、42以及43進行影像合成處理，產生一具有車輛(未示出)周圍深度值的真實3D影像(未示出)，同時影像處理系統1能夠產生一虛擬攝影機14來連結到影像處理模組13來決定影像處理模組13產生的具有車輛(未示出)周圍深度值的真實3D影像(未示出)所要顯示的方式。

在顯示步驟25，顯示模組16可以顯示影像處理模組13所合成的影像(未示出)，並依照虛擬攝影機14所決定的顯示方式來將合成的影像(未示出)顯示在電子後視鏡(未示出)上。

在視角偵測步驟26，顯示模組16上的視角偵測模組15可以偵測駕駛者視角(未示出)與視角偵測模組15所形成的角度(未示出)而隨時改變顯示模組16所顯示的內容。

現將詳細敘述本發明實施例各步驟的詳細內容，第3圖為本發明之實施例中使用安裝影像處理系統1的廣域電子後視鏡300(位於車內的傳統後視鏡位置)的架構圖，參照第3圖，首先將三個攝影機31、32以及33擺放於車輛30左右與車輛30後方，第3圖中區塊34、35以及36為單一攝影機拍攝到的區域，區塊37以及38為相鄰兩個攝影機皆拍攝到的區域。第4圖為攝影機31、32以及33所拍攝到的車輛30周圍真實影像41、42以及43，參照第4圖，在真實影像42中可看到在車輛左後方有一其它車輛421；在此實施例中影像處理系統結合三個攝影機(車輛後方與左、右車身上或車輛後方與左、右後視鏡上)影像，而在其它實施例中可結合二個攝影機(車輛左後方方向燈與右後方方向燈位置)影像。

在影像獲取步驟21，為了將攝影機31、32以及33所拍攝到的影像41、42以及43利用影像處理模組13結合成一張後視影像，需要知道攝影機11、12以及13和車輛30的相對位置與角度，因此需要校正攝影機31、32以及33的外在參數。參照第5圖，在此實施例中校正採用列線圖解法(Homography)的方式，第5圖(a)為Homography的應對關係，在一環境空間中貼上許多特徵點(未示出)，再將車輛30開到該環境中，擷取攝影機31、32 以及33拍攝到之影像；透過拍攝到之影像與特徵點的空間座標對應，其中m _r =Hm _l ，m _r 為地平面上特徵座標點，m _l 為拍攝影像中特徵座標點，再參照第5圖(b)，我們利用最小化m _r -Hm _l ，求得Homography矩陣H的最佳解，即可得之攝影機在車輛30上的位置與角度以及攝影機11、12以及13的外在參數，如此就完成了多個攝影機之放置與校正。

在完成了影像獲取步驟21之後，會進入深度值推估步驟22，當攝影機31、32以及33在進行攝影並得到真實影像41、42以及43之後，深度值推估模組11中的深度值推估單元111可以利用相鄰的2個攝影機(31、32或32、33)的2個攝影影像(41、42或42、43)進行車輛30周圍深度值推估，當影像處理系統1未知車輛30周圍前景物的深度時，用影像處理模組13結合的影像會有鬼影與高度扭曲的情形，因此需要利用深度值推估模組11來進行深度值的推估。參照第6圖，第6圖為透過stereo的演算法找到物體在環境中的深度(離攝影機之距離)的示意圖，影像處理系統1利用深度值推估模組11中的深度值推估單元111來進行深度值推估，深度值推估模單元111利用相鄰2個攝影機所拍攝到之影像進行stereo的演算法，stereo是在(C，C’)兩個攝影機拍攝的兩張影像(p，p’)中，找尋到相同的特徵點(x，x’)，並利用兩個攝影機(C，C’)的相對位置(攝影機的外在參數)，和兩個特徵點在各別影像中的位置，推得真實世界中X(在此實施例中X可為其他車輛421)的位置，即可得知X距離兩個攝影機的分別距離，參照第1圖，可以得知其中攝影機(C，C’)可為攝影機31、32以及32、33其中任意一組合，兩個攝影機拍攝的兩張影像(p，p’)可為影像41、42以及影像42、43。在確定攝影機31、32以及33的位置與角度後，物體X離攝影機31、32以及33的距離和物體X在影像中位置 有著固定關係。因此在此實施例中本發明可透過影像分析，找到其他車輛421在影像中的位置，再利用前述關係，推得其他車輛421與攝影機31、32以及33的距離。

進行完深度值推估步驟22之後，接著會進入3D幾何模型產生步驟23，同時參照第1圖以及第7圖，透過深度值推估單元111的深度估測後，深度值推估模組11會將影像深度資訊傳送到3D幾何模型產生模組12，如此即可產生一個具有深度資訊的3D幾何模型72，3D幾何模型71為一般技術所使用的固定3D幾何模型，3D幾何模型72則是當本發明的影像處理系統1在車輛30左後方有車輛421時因應車輛周圍深度資訊不一樣而產生改變的3D幾何模型(3D幾何模型72左上角為車輛30的前方)。

得到因應車輛周圍深度而產生的3D幾何模型72之後，會進入影像合成步驟24，攝影機影像41、42以及43與3D幾何模型72會傳到影像處理模組13並用以下方法將攝影機影像41、42以及43與3D幾何模型72作合成。在此實施例中此方法可以為2D影像對應(lookup table)法，該方法透過3D幾何模型72與攝影機影像41、42以及43的對應關係和3D幾何模型72與廣域電子後視鏡300影像的對應關係，得到攝影機影像41、42以及43與廣域電子後視鏡300影像的對應表(未示出)，藉此將攝影機的影像41、42以及43接合；在其它實施例中，影像處理模組13可透過3D貼圖(texture)之方法將攝影機影像41、42以及43合成，該方法為將攝影機影像41、42以及43分別投影至3D幾何模型72中，可以得到一結合攝影機影像41、42以及43的深度資訊影像貼圖的3D幾何模型72。

同時參照第1圖、第8圖(a)、第8圖(b)、第9圖(a)以及第9圖 (b)，在得到因應車輛周圍深度而產生的3D幾何模型72以及經過影像合成步驟24之後，會進入顯示步驟25，在顯示步驟25，影像處理系統1可以產生一虛擬攝影機14並連結到影像處理模組13，虛擬攝影機14可以決定經過影像合成步驟24之後合成完畢的影像所要顯示的方式，換言之，可因虛擬攝影機14位置的不同而產生不一樣的後視影像於顯示模組16上，在此實施例中我們將虛擬攝影機14擺放在目前傳統後視鏡的位置上，如第8圖(a)所示，當虛擬攝影機14在此位置時，駕駛即可從廣域電子後視鏡300的顯示模組16中看到一個利用原本傳統後視鏡觀看之相同的視角但沒有遭到車身30之自我遮擋的第9圖(a)的周圍真實3D影像，在後視鏡300中的顯示模組16上中可以明顯看到車輛30之左後方有一其他車輛421；在其它實施例中可以將虛擬攝影機14擺放在車輛30前上方，如第8圖(b)所示，如此可從廣域電子後視鏡300的顯示模組16中得到第9圖(b)的周圍真實3D影像，當虛擬攝影機14在此位置時可以讓駕駛看到自己的車輛30及車輛30後方鄰車與行人資訊之相對關係。

影像處理系統1最後會進入視角偵測步驟26，第10圖(a)為一示意圖，用以說明利用駕駛者眼睛的第一位置與廣域電子後視鏡螢幕角度，第10圖(b)為一示意圖，用以說明利用駕駛者眼睛的第二位置與廣域電子後視鏡螢幕角度所得到的後視鏡顯示內容所得到的後視鏡顯示內容，同時參照第1圖、第10圖(a)、第10圖(b)，在此實施例中安裝於廣域電子後視鏡300中的影像處理系統1中的視角偵測模組15可以偵測駕駛視角(未示出)與廣域電子後視鏡300螢幕角度，進一步得到駕駛者101的視線方向102，並依據此資訊改變廣域電子後視鏡300的顯示模組16的內容，以模擬真實的三維 場景與後視鏡300的光學顯示效果，增強廣域電子後視鏡300中顯示模組16的內容的真實感與立體感；有關於廣域電子後視鏡300的擺放位置，在此實施例為放置於傳統後視鏡位置上(取代傳統後視鏡)，此時影像處理系統1安裝於廣域電子後視鏡300內；在另一實施例中可以放置於車輛30的儀表板(未示出)上，而又在另一實施例中可以利用浮空投影的技術，將影像投影於車輛30的擋風玻璃(未示出)上，在上述兩個實施例中影像處理系統1可安裝於車輛30內部。

在說明本發明之代表性範例時，本說明書已經提出操作本發明之該方法及/或程序做為一特定順序的步驟。但是，某種程度上該方法或程序並不會依賴此處所提出的特定順序的步驟，該方法或程序不應限於所述之該等特定的步驟順序。如本技藝專業人士將可瞭解，其它的步驟順序亦為可行。因此，在本說明書中所提出之特定順序的步驟不應被視為對於申請專利範圍之限制。此外，關於本發明之方法及/或程序之申請專利範圍不應限於在所提出順序中之步驟的效能，本技藝專業人士可立即瞭解該等順序可以改變，且仍維持在本發明之精神及範圍內。

熟習此項技藝者應即瞭解可對上述各項範例進行變化，而不致悖離其廣義之發明性概念。因此，應瞭解本發明並不限於本揭之特定範例，而係為涵蓋歸屬如後載各請求項所定義之本發明精神及範圍內的修飾。

41‧‧‧右方攝影機所拍攝的真實影像

42‧‧‧後方攝影機所拍攝的真實影像

43‧‧‧左方攝影機所拍攝的真實影像

1‧‧‧影像處理系統

11‧‧‧深度值推估模組

111‧‧‧深度值推估單元

12‧‧‧3D幾何模型產生模組

13‧‧‧影像處理模組

14‧‧‧虛擬攝影機

15‧‧‧視角偵測模組

16‧‧‧顯示模組

Claims (16)

1. 一種影像處理系統，其至少包含：一深度值推估模組，該深度值推估模組可以利用車輛後方畫面以及側後方畫面進行車輛周圍深度值推估，並將深度值推估資訊傳給3D幾何模型產生模組，進而使得影像處理模組之合成影像避免有鬼影與高度扭曲的情形；一3D幾何模型產生模組，該3D幾何模型產生模組可以利用該深度值推估模組所產生的深度值推估資訊來產生一因車輛周圍前景物深度而改變的3D幾何模型；一影像處理模組，該影像處理模組可以將該車輛後方畫面以及側後方畫面與該3D幾何模型產生模組所產生的因車輛周圍前景物深度而改變的3D幾何模型進行影像合成；一虛擬攝影機，該虛擬攝影機與該影像處理模組做連結，該虛擬攝影機可以決定該影像處理模組在進行影像合成後得到的影像所要顯示的方式；一顯示模組，該顯示模組可以顯示該影像處理模組所合成的影像並依照該虛擬攝影機所決定的顯示方式來顯示；以及一視角偵測模組，該視角偵測模組與顯示模組做連結，該視角偵測模組可以偵測駕駛者視角與該顯示模組所形成的角度，並依據此資訊改變該顯示模組的內容。
2. 如申請專利範圍第1項之影像處理系統，其中，該深度值推估模組包含至少一深度值推估單元，該深度值推估單元可以利用車輛後方畫面以及側後方畫面進行車輛周圍深度值推估。
3. 如申請專利範圍第1項之影像處理系統，其中，該3D幾何模型產生模組可以減少影像的扭曲，提供一個更正確的後視影像。
4. 如申請專利範圍第1項之影像處理系統，其中，該虛擬攝影機位置為傳統車輛後視鏡位置時，可以得到一個利用原本傳統車輛後視鏡觀看之相同的視角但沒有遭到車身之自我遮擋的後視影像；虛擬攝影機位置為車輛前上方位置時，可以讓駕駛看到自己的車輛及車輛 後方鄰車與行人資訊之相對關係。
5. 如申請專利範圍第1項之影像處理系統，該系統可以安裝於：廣域電子後視鏡內部；或車輛內部。
6. 如申請專利範圍第1項之影像處理系統，其中，該視角偵測模組可以利用駕駛者眼睛的位置，得到駕駛者的視線方向，並依據此資訊改變該顯示模組的顯示內容，以模擬真實的三維場景與該顯示模組的光學顯示效果，增強該顯示模組中的影像真實感與立體感。
7. 一種影像處理系統，係應用於廣域電子後視鏡中，其包含：至少二台安裝在車輛上之攝影機所拍攝之車輛後方及車輛側後方的畫面；一深度值推估模組，該深度值推估模組可以利用車輛後方畫面以及側後方畫面進行車輛周圍深度值推估，並將深度值推估資訊傳給3D幾何模型產生模組，進而使得影像處理模組之合成影像避免有鬼影與高度扭曲的情形；一3D幾何模型產生模組，該3D幾何模型產生模組可以利用該深度值推估模組所產生的深度值推估資訊來產生一因車輛周圍前景物深度而改變的3D幾何模型；一影像處理模組，該影像處理模組可以將該車輛後方畫面以及側後方畫面與該3D幾何模型產生模組所產生的因車輛周圍前景物深度而改變的3D幾何模型進行影像合成；一虛擬攝影機，該虛擬攝影機與該影像處理模組做連結，該虛擬攝影機可以決定該影像處理模組在進行影像合成後得到的影像所要顯示的方式；一顯示模組，該顯示模組可以顯示該影像處理模組所合成的影像並依照該虛擬攝影機所決定的顯示方式來顯示在廣域電子後視鏡上；以及一視角偵測模組，該視角偵測模組與該顯示模組做連結，該視角偵測模組可以偵測駕駛者視角與該廣域電子後視鏡所形成的角度，並依據此資訊改變該廣域電子後視鏡的內容。
8. 如申請專利範圍第7項之影像處理系統，其中，該深度值推估模組包含至少一深度值推估單元，該深度值推估單元可以利用相鄰二台攝影機所拍攝到的攝影影像進行車輛周圍深度值推估。
9. 如申請專利範圍第7項之影像處理系統，其中，該攝影機為兩台時，可將攝影機安置於車輛左後方和右後方；攝影機為三台時，可將攝影機安置於車輛後方與左、右車身上，或是車輛後方與左、右後視鏡上。
10. 如申請專利範圍第7項之影像處理系統，其中，該3D幾何模型產生模組可以減少影像的扭曲，提供一個更正確的後視影像。
11. 如申請專利範圍第7項之影像處理系統，其中，該虛擬攝影機位置為傳統車輛後視鏡位置時，可以得到一個利用原本傳統後視鏡觀看之相同的視角但沒有遭到車身之自我遮擋的後視影像；虛擬攝影機位置為車輛前上方位置時，可以讓駕駛看到自己的車輛及車輛後方鄰車與行人資訊之相對關係。
12. 如申請專利範圍第7項之影像處理系統，其中，該視角偵測模組可以利用駕駛者眼睛的位置與廣域電子後視鏡螢幕角度，得到駕駛者的視線方向，並依據此資訊改變廣域電子後視鏡的顯示內容，以模擬真實的三維場景與後視鏡的光學顯示效果，增強後視鏡中的影像真實感與立體感。
13. 如申請專利範圍第7項之影像處理系統，其中廣域電子後視鏡內部有安裝一影像處理系統。
14. 一種可推估車輛周圍前景物深度，進而改變3D幾何模型，並依據此投影模型，生成駕駛應看到之後視影像的影像處理方法，該方法包含以下步驟：一影像獲取步驟，校正架設在車輛周圍攝影機的外在參數以方便將該攝影機獲取的影像進行之後的影像處理步驟；一深度值推估步驟，深度值推估模組可以從該攝影機獲取的影像進而得知車輛周圍前景物的深度，並將結果傳給3D幾何模型產生模組，進而使得影像處理模組之合成影像避免有鬼影與高度扭曲的情形； 一3D幾何模型產生步驟，3D幾何模型產生模組可以產生一個具有深度資訊的3D幾何模型；一影像合成步驟，影像處理模組可以將該攝影機影像與該3D幾何模型作合成；一顯示步驟，在顯示步驟中，該影像處理方法可以產生一虛擬攝影機，該虛擬攝影機可顯示經過影像合成步驟後的影像在顯示模組上，並可應該虛擬攝影機位置的不同而產生不一樣的後視影像於顯示模組上；一視角偵測步驟，視角偵測模組可以偵測駕駛視角與廣域電子後視鏡螢幕角度，進一步得到駕駛者的視線方向，並依據此資訊改變顯示模組的內容，以模擬真實的三維場景與後視鏡的光學顯示效果，增強後顯示模組的內容的真實感與立體感。
15. 如申請專利範圍第14項之影像處理方法，其中，該攝影機為兩台時，可將攝影機安置於車輛左後方和右後方；攝影機為三台時，可將攝影機安置於車輛後方與左、右車身上，或是車輛後方與左、右後視鏡上。
16. 如申請專利範圍第14項之影像處理方法，其中，該虛擬攝影機位置為傳統後視鏡位置時，可以得到一個利用原本傳統後視鏡觀看之相同的視角但沒有遭到車身之自我遮擋的後視影像；虛擬攝影機位置為車輛前上方位置時，可以讓駕駛看到自己的車輛及車輛後方鄰車與行人資訊之相對關係。