TWI602154B

TWI602154B - 環景影像的拼接方法及其系統

Info

Publication number: TWI602154B
Application number: TW106113896A
Authority: TW
Inventors: 陳軒盈; 江弘志; 葉水金; 陳明亮
Original assignee: 偉詮電子股份有限公司
Priority date: 2017-04-26
Filing date: 2017-04-26
Publication date: 2017-10-11
Also published as: TW201839716A; CN108805807B; US20180316857A1; US10321054B2; CN108805807A

Description

環景影像的拼接方法及其系統

本發明揭露了一種環景影像的拼接方法，尤指一種利用影像對位技術加強環景影像之拼接品質的方法。

隨著科技日新月異，各種影像監控裝置以及影像辨識系統已被用於日常生活中。影像監控裝置以及影像辨識系統可執行物體監控、環境監控、行車影像記錄等等。為了達成無死角的監控效果，許多影像監控裝置會將多個鏡頭拍攝的影像進行合成，或是將單一鏡頭在不同角度所拍攝的影像進行合成，以形成一張環景影像。環景影像可為具有360度視角的鳥瞰影像。

然而，利用單一鏡頭在不同角度所拍攝的影像進行合成，以形成環景影像會有一些缺點。原因為單一鏡頭在不同角度所拍攝需要花費時間，因此所形成的環景影像無法達到即時處理(Real-Time Process)的需求。利用多個鏡頭拍攝的影像進行合成，以形成環景影像的處理速度較快。然而，利用多個鏡頭拍攝的影像進行合成時，容易因每個鏡頭的影像失真條件不同而發生雙重影像的問題。當環景影像中有很明顯的雙重影像時，除了所監控的物體容易無法被明顯辨識之外，環景影像也容易出現一些死角，降低了監控的安全性。

本發明一實施例提出一種環景影像的拼接方法，包含取得複數個第一影像；依據世界空間座標系統，將該些第一影像中之每一第一影像對應之相機座標轉換為影像座標，以形成第二影像；辨識第二影像內的複數個特徵點；依據世界空間座標系統，校正該些特徵點在第二影像上的座標；依據該些特徵點在第二影像上校正後的座標，產生校正後的第二影像；及將複數個校正後的第二影像拼接，以形成環景影像。

本發明另一實施例提出一種環景影像系統，包含複數個影像擷取設備、記憶體、處理器、及影像輸出裝置。複數個影像擷取設備用以擷取複數個第一影像，記憶體用以儲存世界空間座標系統的資料，處理器耦接於該些影像擷取設備及記憶體，用以處理該些第一影像。處理器根據世界空間座標系統，將該些第一影像轉換為複數個第二影像，辨識該些第二影像中之每一個第二影像內的複數個特徵點，依據世界空間座標系統，校正該些特徵點在第二影像上的座標，以形成校正後的第二影像，及將複數個校正後的第二影像拼接，以形成環景影像。

第1圖係為本發明之環景影像系統100的方塊圖。環景影像系統100包含複數個影像擷取設備C1至C4、處理器11、記憶體12、以及影像輸出裝置13。影像擷取設備C1至C4用以擷取複數個第一影像。環景影像系統100的影像擷取設備可為相機鏡頭、攝影機、或是行車紀錄器的廣角鏡頭等等。環景影像系統100亦不限於使用4個影像擷取設備C1至C4，其它實施例亦可使用N個影像擷取設備，且N為大於2的正整數。影像擷取設備C1至C4中每一個影像擷取設備可以擷取角度超過(360/4)度的影像。記憶體12用以儲存後文所述之世界空間座標系統(World Coordinate System，WCS)的資料以及查詢表(Look up Table，LUT)的資料。記憶體12可為任何形式的儲存裝置，例如隨機存取記憶體(Random Access Memory，RAM)、硬碟、或非揮發式記憶體等等。處理器11耦接於影像擷取設備C1至C4及記憶體12，用以處理每一個影像擷取設備所產生的第一影像。處理器11可為任何種類的處理裝置，例如中央處理器、微處理器、處理晶片、或可程式化邏輯單元等等。處理器11可利用記憶體12所儲存的世界空間座標系統的資料以及查詢表，將影像擷取設備C1至C4所擷取的第一影像轉換為符合影像座標的第二影像，並將第二影像進行影像對位處理，進而拼接為環景影像。詳細的影像處理過程將於後文詳述。影像輸出裝置13耦接於該處理器11，用以輸出環景影像。影像輸出裝置13可為任何形式的顯示裝置或是投影裝置。使用者將可以在影像輸出裝置13上看到鳥瞰視角的二維環景影像。

第2圖係為環景影像系統100應用於車10中，以監控周遭環境的示意圖。本發明的環景影像系統100可應用於任何合理的硬體設備，而應用於車10僅是本發明的一種實施例，並不限制本發明的應用範圍。在第2圖中，當環景影像系統100應用於車10中時，影像擷取設備C1至C4可置放於車中的四個方向。舉例而言，影像擷取設備C1可置放於車10的前側，用以擷取對應於車10前側的第一影像M1。影像擷取設備C2可置放於車10的右側，用以擷取對應於車10右側的第一影像M2。影像擷取設備C3可置放於車10的後側，用以擷取對應於車10後側的第一影像M3。影像擷取設備C4可置放於車10的左側，用以擷取對應於車10左側的第一影像M4。當第一影像M1至M4被截取後，環景影像系統100內的處理器11可先將第一影像M1至M4進行座標轉換，以產生第二影像P1至P4，描述於下。為了簡化描述，與此僅將以第一影像M1轉換為第二影像P1的過程進行說明。由於第一影像M1係由影像擷取設備C1直接擷取，因此第一影像M1的平面會受到影像擷取設備C1所放置的角度、高度或是位置不同而有所偏斜。舉例而言，當影像擷取設備C1與地面高度差為H，且影像擷取設備C1的焦點在地面上時，第一影像M1的平面將會為下底較長且上底較短之梯形的平面。換句話說，第一影像M1的座標為對應相機(影像擷取設備C1)座標，坐標軸會受到影像擷取設備C1內的感光元件之位置、高度或角度而偏斜。處理器11會利用第一轉換函數，將第一影像M1對應之影像擷取設備C1的座標轉換為與世界空間座標系統相符之第一座標。舉例而言，第一轉換函數可為轉換矩陣H _i ^-1，第一影像M1對應之影像擷取設備C1的座標透過轉換矩陣H _i ^-1即可轉換為與世界空間座標系統相符之第一座標。應當理解的是，世界空間座標系統為一種絕對的座標系統，表示物件在真實世界的相對位置，因此不會受到影像擷取設備C1內的感光元件之位置、高度或角度而偏斜。接著，處理器11會利用第二轉換函數，將第一座標轉換為影像座標，以形成第二影像。舉例而言，第二轉換函數可為轉換矩陣H _v，第一座標可透過轉換矩陣H _v轉換為影像座標。於前文提及，第一影像的平面可能為下底較長且上底較短之梯形的平面。因此，為了讓三維的第一影像變為二維的第二影像，第一影像可透過轉換矩陣H _v，將偏斜的影像平面進行修正，以成為正視角的第二影像。然而，任何將第一影像M1對應之影像擷取設備C1的座標(相機座標)轉換為正視角的影像座標之手段皆屬於本發明所揭露的範疇。舉例而言，處理器11可利用記憶體12內存的查詢表，直接進行座標轉換。或是，處理器11可利用單一的轉換函數，例如轉換矩陣(例如平面投影轉換矩陣，Homography matrix)H _iv，直接將影像擷取設備C1的座標(相機座標)轉換為正視角(鳥瞰視角)的影像座標。

前文提及，處理器11可將環景影像系統100內，影像擷取設備C1所擷取的第一影像M1轉換為第二影像P1，而第二影像P1為正視角。然而，處理器11可以對每一個影像擷取設備所擷取到的影像做類似的影像處理。亦即，處理器11可將第一影像M2轉換為第二影像P2。處理器11可將第一影像M3轉換為第二影像P3。處理器11可將第一影像M4轉換為第二影像P4。

第3圖係為環景影像系統100，單一影像擷取設備C1所對應的第二影像P1的示意圖。如前述，環景影像系統100中的影像擷取設備C1至C4可為車用廣角鏡頭。廣角鏡頭雖然可以擷取大視角的影像，然而，廣角鏡頭所擷取的影像邊緣會有廣角失真的情況。這種廣角失真一般又稱為桶狀失真(Barrel Distortion)。因此，處理器11可利用影像扭曲校正函數，以校正第二影像P1的廣角失真。然而，即便處理器11使用了影像扭曲校正函數或是扭曲模型還原影像的失真，第二影像P1的廣角失真並無法被完全還原，尤其在第二影像P1的邊緣區域更為明顯。原因如下，在第二影像P1發生廣角失真時，由於第二影像P1的邊緣區域的畫素格線扭曲會較為嚴重，因此影像的資訊量不足。利用影像扭曲校正函數將第二影像P1的邊緣區域還原時，會發生畫質劣化以及失真無法完全被還原的情況。如第3圖所示，處理器11將第二影像P1調整後，影像中央區域CTL1的失真已經明顯改善，但是中央區域CTL1以外的區域OVL1仍有廣角失真。由於環景影像系統100最後會將第二影像P1至P4拼接在一起，若每一張第二影像的中央區域之外的區域都未進行優化處理(後文所述之影像對位處理)，則相鄰的第二影像在拼接時(例如第二影像P1至P2)，會產生明顯的雙重影像，而導致物件模糊或無法辨識。因此，環景影像系統100將會對每一張第二影像的中央區域之外的區域進行優化處理(後文所述之影像對位處理)。在後文的描述中，如第3圖所示，中央區域CTL1定義為進行影像拼接時不重疊的部分。而中央區域CTL1以外的區域OVL1(後文稱為影像重疊區域OVL1)定義為進行影像拼接時與相鄰的第二影像之重疊的部分。

第4圖係為環景影像系統100，在第二影像P2中辨識物件Obj之特徵點A至D的示意圖。為了簡化描述，第4圖僅以第二影像P2為代表進行說明。然而，應當理解的是，第二影像P1至P4之每一個第二影像都會被處理器11進行影像對位處理。如前文提及，第二影像P2包含了影像重疊區域，於此的代號為OVL2。影像重疊區域OVL2位於第二影像P2的邊緣區域，有較嚴重的廣角失真。影像重疊區域OVL2內有物件Obj，此物件原為矩形物件，但是因廣角失真而造成物件的邊緣影像扭曲。處理器11會先針對第二影像P2進行影像辨識，辨識第二影像P2內的複數個特徵點A至D。特徵點A至D的定義可為物件Obj的邊緣轉折點或是頂點。物件Obj之影像區域會被該些特徵點A至D圍繞。然而，本發明非侷限於使用一維的特徵點進行物件Obj定位，二維的特徵線段或夾角點都可以當成物件Obj定位的參考依據。在第4圖中，特徵點A的座標為(x1,y1)，特徵點B的座標為(x2,y2)，特徵點C的座標為(x3,y3)，特徵點D的座標為(x4,y4)。而特徵點A及D所連成的線段，與特徵點B及C所連成的線段之交點座標為(x5,y5)。

第5圖係為環景影像系統100，校正物件Obj之特徵點A至D，以產生校正後的第二影像P2’的示意圖。如前述，第4圖中物件Obj之特徵點A至D為廣角失真的座標。處理器11可依據世界空間座標系統，將特徵點A至D的座標校正至與世界空間座標系統相符之複數個定位座標。舉例而言，第4圖中特徵點A的座標(x1,y1)被校正至第5圖中特徵點A’的座標(x1’,y1’)。第4圖中特徵點B的座標(x2,y2)被校正至第5圖中特徵點B’的座標(x2’,y2’)。第4圖中特徵點C的座標(x3,y3)被校正至第5圖中特徵點C’的座標(x3’,y3’)。第4圖中特徵點D的座標(x4,y4)被校正至第5圖中特徵點D’的座標(x4’,y4’)。交線座標(x5,y5)也依此被校正至(x5’,y5’)。接著，處理器11會將這些校正後的定位點(特徵點A’至特徵點D’)之間的至少一個像素進行內插，以產生校正後的第二影像P2’。內插的方式可使用線性內插或非線性內插。如前述，若物件Obj為正方形的物件，則以特徵點A’的座標(x1’,y1’)為基準，特徵點B’的座標可為(x1’+n,y1’)，即特徵點B’比特徵點A’往右平移了n個畫素。特徵點C’的座標可為(x1’,y1’+n)，即特徵點C’比特徵點A’往下平移了n個畫素。特徵點D’的座標可為(x1’+n,y1’+n)，即特徵點D’比特徵點A’往下平移了n個畫素且也往右平移了n個畫素。簡單來說，處理器11依據世界空間座標系統，校正特徵點A至D在第二影像P2上的座標(x1,y1)至(x4,y4)。再依據特徵點A’至D’在第二影像P2上校正後的座標(x1’,y1’)至(x4’,y4’)，產生校正後的第二影像P2’。因此，校正後的第二影像P2’的失真將會被大幅度地緩和。而第二影像P1、P3及P4也可以利用類似的方法進行座標校正，以產生校正後的第二影像P1’、P3’及P4’。

第6圖係為環景影像系統100，將相鄰之校正後的第二影像P1’及P2’進行影像拼接的示意圖。如同前述提及，環景影像系統100會進行影像拼接處理，以產生環景影像。為了描述方便，第6圖僅以相鄰之校正後的第二影像P1’及P2’進行影像拼接來說明。然而應當理解的是，第4圖以及第5圖之依據世界空間座標系統將失真的特徵點座標還原的方法，可應用於所有的第二影像P1至P4。環景影像系統100即可對校正後的第二影像P1’至P4’進行影像拼接處理，以產生環景影像。在第6圖中，校正後的第二影像P1’可為對應車10的前側影像，校正後的第二影像P2’可為對應車10的右側影像。物件Obj的位置可為在車10的右上角。因此，物件Obj會位於第二影像P1’右邊的影像重疊區域OVL1中，物件Obj會位於第二影像P2’左邊的影像重疊區域OVL2中。由於校正後的第二影像P1’之影像重疊區域OVL1內的物件Obj的座標已經利用影像對位處理而最佳化。校正後的第二影像P2’之影像重疊區域OVL2內的物件Obj的座標也已經利用影像對位處理而最佳化。因此當校正後的第二影像P1’與校正後的第二影像P2’拼接時，影像重疊區域OVL1與影像重疊區域OVL2將可以無偏差地疊合。因此，將可避免物件Obj之雙重影像的失真問題。

第7圖係為第1圖之環景影像系統，將相鄰之校正後的第二影像P1’及P2’進行影像拼接後，所產生之拼接影像P12’的示意圖。如前述，由於影像重疊區域OVL1與影像重疊區域OVL2可以無偏差地疊合，因此拼接影像P12’的影像重疊區域OVL內的物件Obj不會發生雙重影像的問題。換句話說，拼接影像P12’包含了校正後的第二影像P1’之非影像重疊區域CTL1、影像重疊區域OVL、以及校正後的第二影像P2’之非影像重疊區域CTL2。然而，第7圖之拼接影像P12’僅為校正後的第二影像P1’及P2’進行影像拼接後的結果。在環景影像系統100中，處理器11會對校正後的第二影像P1’至P4’進行環狀影像拼接。因此，環景影像系統100中最後輸出的環景影像即為360度的鳥瞰環景影像。

第8圖係為環景影像系統100，利用分區影像對位技術辨識物件Obj及ObjA之特徵點A至H的示意圖。如前文提及，影像重疊區域OVL2未使用本發明對位技術調整前仍有失真的情況，且越靠近邊緣的失真越嚴重。如第8圖所示，第二影像P2的影像重疊區域OVL2被分為兩個區域，影像重疊子區域OVL21以及影像重疊子區域OVL22。影像重疊子區域OVL22較影像重疊子區域OVL21更靠近影像中央區域，因此影像重疊子區域OVL21的失真情況會比影像重疊子區域OVL22更嚴重。處理器11會找出對應於物件Obj的特徵點A至D，以及對應於物件ObjA的特徵點E至H。為了將影像重疊區域OVL2中的所有特徵點A至H對位至最佳化的座標，處理器11會將座標失真較為輕微的特徵點E至H，利用對應的轉換函數或查詢表，將其座標轉換為與世界空間座標系統相符的影像座標(鳥瞰視角)。處理器11也會將座標失真較為嚴重的特徵點A至D，利用對應的轉換函數或查詢表，將其座標轉換為與世界空間座標系統相符的影像座標(鳥瞰視角)。換句話說，在失真程度不同的影像重疊子區域OVL21及OVL22中，處理器11可利用不同權重的內插函數或是不同係數的轉換函數，分別對不同的影像重疊子區域中之辨識物件進行處理，以使不同的影像重疊子區域中的辨識物件都能投影到最佳化的影像座標。

第9圖係為環景影像系統100，執行環景影像的拼接方法之流程圖。環景影像的拼接方法包含步驟S901至步驟S906。任何合理的步驟順序異動以及步驟修正皆屬於本發明所揭露的範疇。 <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 步驟S901： </td><td> 取得複數個第一影像M1至M4； </td></tr><tr><td> 步驟S902： </td><td> 依據世界空間座標系統，將該些第一影像M1至M4中之每一個第一影像對應之相機座標轉換為影像座標，以形成第二影像P1至P4； </td></tr><tr><td> 步驟S903： </td><td> 辨識第二影像P1至P4的複數個特徵點(例如第二影像P2內的特徵點A至D)； </td></tr><tr><td> 步驟S904： </td><td> 依據世界空間座標系統，校正該些特徵點A至D在第二影像上的座標(x1,y1)至(x4,y4)； </td></tr><tr><td> 步驟S905： </td><td> 依據該些特徵點A至D在第二影像上校正後的座標(x1’,y1’)至(x4’,y4’)，產生校正後的第二影像； </td></tr><tr><td> 步驟S906： </td><td> 將複數個校正後的第二影像P1’至P4’拼接，以形成環景影像。 </td></tr></TBODY></TABLE>

本發明環景影像的拼接方法之步驟S901至步驟S906已於前文詳述，故於此將不再贅述。如上所述，影像擷取裝置所擷取到的影像，先經過步驟S901至步驟S902的座標轉換，將影像之相機座標轉換為對應鳥瞰圖的影像座標。接著，無須重複執行步驟S901至步驟S902，只要再利用步驟S903至步驟S906的影像對位技術，即可將廣角失真的座標進行修正。因此，在步驟S906中，由於複數個校正後的第二影像的廣角失真都已經緩和，因此進行影像拼接而形成環景影像時會有很高的影像品質，且可達到即時影像處理的速度。

綜上所述，本發明描述了一種環景影像的拼接方法，可將複數個影像擷取裝置所擷取的影像進行影像處理，最後產生幾乎無拼接痕跡的環景影像。環景影像的拼接方法利用了分區影像對位技術，辨識影像重疊區域中的特徵點，並針對特徵點進行座標校正，以校正特徵點之廣角失真的座標偏移量。由於影像重疊區域中的特徵點之座標都已經被校正。因此，將多個對應影像擷取裝置之影像進行影像拼接不會產生雙重影像的問題(也避免了影像模糊或是鬼影)。因此，依據本發明的拼接方法所產生的環景影像會影很高的影像品質。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧環景影像系統

11‧‧‧處理器

12‧‧‧記憶體

13‧‧‧影像輸出裝置

C1至C4‧‧‧影像擷取裝置

10‧‧‧車

M1至M4‧‧‧第一影像

P1至P4‧‧‧第二影像

OVL、OVL1及OVL2‧‧‧影像重疊區域

CTL1及CTL2‧‧‧影像中央區域

A至H、A’至D’‧‧‧特徵點

x1、y1、x2、y2、x3、y3、x4、y4、x5、y5、x1’、y1’、x2’、y2’、x3’、y3’、x4’、y4’、x5’、y5’‧‧‧座標

Obj及ObjA‧‧‧物件

P1’及P2’‧‧‧校正後的第二影像

P12’‧‧‧拼接影像

OVL21及OVL22‧‧‧影像重疊子區域

S901至S906‧‧‧步驟

第1圖係為本發明之環景影像系統的方塊圖。第2圖係為第1圖之環景影像系統應用於車中，以監控周遭環境的示意圖。第3圖係為第1圖之環景影像系統，單一影像擷取設備所對應的第二影像的示意圖。第4圖係為第1圖之環景影像系統，在第二影像中辨識物件之特徵點的示意圖。第5圖係為第1圖之環景影像系統，校正物件之特徵點，以產生校正後的第二影像的示意圖。第6圖係為第1圖之環景影像系統，將相鄰之校正後的第二影像進行影像拼接的示意圖。第7圖係為第1圖之環景影像系統，將相鄰之校正後的第二影像進行影像拼接後，所產生之拼接影像的示意圖。第8圖係為第1圖之環景影像系統，利用分區影像對位技術辨識物件之特徵點的示意圖。第9圖係為第1圖之環景影像系統，執行環景影像的拼接方法之流程圖。

100‧‧‧環景影像系統

11‧‧‧處理器

12‧‧‧記憶體

13‧‧‧影像輸出裝置

C1至C4‧‧‧影像擷取裝置

Claims

一種環景影像的拼接方法，包含：取得複數個第一影像；依據一世界空間座標系統，將該些第一影像中之每一第一影像對應之一相機座標轉換為一影像座標，以形成一第二影像；辨識該第二影像內的複數個特徵點；依據該世界空間座標系統，利用一分區影像對位技術，校正該些特徵點在該第二影像上的座標；依據該些特徵點在該第二影像上校正後的座標，產生一校正後的第二影像；及將複數個校正後的第二影像拼接，以形成一環景影像；其中該分區影像對位技術係將該些特徵點對應之失真程度不同的影像子區域，利用不同的內插函數或不同係數的轉換函數進行該些特徵點的座標轉換，以使該失真程度不同的影像子區域以一分區幾何轉換的方式還原。
如請求項1所述之方法，其中依據該世界空間座標系統，將該些第一影像中之該每一第一影像對應之該相機座標轉換為該影像座標，以形成該第二影像包含：利用一第一轉換函數，將該每一第一影像對應之該相機座標轉換為與該世界空間座標系統相符之一第一座標；及利用一第二轉換函數，將該第一座標轉換為該影像座標，以形成該第二影像。
如請求項2所述之方法，其中：依據該世界空間座標系統，校正該些特徵點在該第二影像上的座標，包含依據該世界空間座標系統，將該些特徵點的座標校正至與該世界空間座標系統相符之複數個定位座標；及依據該些特徵點在該第二影像上校正後的座標，產生該校正後的第二影像，包含將該些定位座標之間的至少一像素進行內插，以產生該校正後的第二影像。
如請求項1所述之方法，另包含：利用一影像扭曲校正函數以校正該些第一影像之該每一第一影像的廣角失真。
如請求項1所述之方法，其中該些第一影像中兩相鄰第一影像包含相同的一物件，以使該些第一影像被轉換為該些校正後的第二影像後，得以拼接為該環景影像。
如請求項1所述之方法，其中該第二影像內之一物件具有一影像區域，該物件具有複數個特徵點，該影像區域被該些特徵點圍繞。
一種環景影像系統，包含：複數個影像擷取設備，用以擷取複數個第一影像；一記憶體，用以儲存一世界空間座標系統的資料；一處理器，耦接於該些影像擷取設備及該記憶體，用以處理該些第一影像；及一影像輸出裝置，耦接於該處理器，用以輸出一環景影像；其中該處理器根據該世界空間座標系統，將該些第一影像轉換為複數個第二影像，辨識該些第二影像中之每一第二影像的複數個特徵點，依據該世界空間座標系統，利用一分區影像對位技術，校正該些特徵點的座標，以形成一校正後的第二影像，及將複數個校正後的第二影像拼接，以形成該環景影像；及其中該分區影像對位技術係將該些特徵點對應之失真程度不同的影像子區域，利用不同的內插函數或不同係數的轉換函數進行該些特徵點的座標轉換，以使該失真程度不同的影像子區域以一分區幾何轉換的方式還原。
如請求項7所述之系統，其中該記憶體另包含一查詢表，該查詢表用於校正該些特徵點在該第二影像上的座標。
如請求項7所述之系統，其中該些影像擷取設備係為複數個車用廣角鏡頭，且該環景影像係為一鳥瞰環車影像。
如請求項9所述之系統，其中該記憶體另包含一影像扭曲校正函數，該處理器利用該影像扭曲校正函數，校正該些第一影像之該每一第一影像的廣角失真。