TWI517670B - 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置 - Google Patents

Description

車用鏡頭之自動化校正與應用其之影像轉換方法與裝置

本案是有關於一種車用鏡頭之自動化校正，且特別是有關於一種車用鏡頭之自動化校正參考圖像(pattern)與其設置方法、及應用其之影像轉換方法與裝置。

行車安全是對於駕駛者與乘客而言是相當重要的。現已有許多技術來輔助行車安全。比如，在倒車時，可由車後鏡頭來擷取車後影像，駕駛者除了用目視外，亦可藉由後方安全輔助系統所擷取的車後影像來判斷車後是否有障礙物、行人等。

一般來說，這些車輛安全輔助系統(全周監視系統、前方防碰撞警示系統、後方安全輔助系統、側方盲點警示系統等)通常都具有車用鏡頭，其用以擷取車外影像。在出廠之前，安裝於車輛的車用鏡頭得要先經過校正。

以目前來看，傳統的車用鏡頭人機校正方法需仰賴校正人員手動微調，使得影像中的特徵圖像能符合預設條件，以透過人機操作將影像調整至正確位置。之後，系統計算鏡頭外部參數(extrinsic parameters)與內部參數(intrinsic parameters)以進行座標轉換。

然而，現有校正流程常因使用者的觀感與細心程度不同，因為人工誤差而導致影像錯誤。此外該類校正程序不僅需特別注意校正參考圖像的擺設流程，同時需要求解外部參數，相對於系統而言計算量相當龐大。

本案提出一種車用鏡頭校正參考圖像、車用鏡頭校正 參考圖像之設置方法、及應用其之影像轉換方法與裝置。

根據本案之一示範性實施例，提出一種校正參考圖像，用於自動校正車用鏡頭。該校正參考圖像包括：一第一校正參考子圖像，包括一第一特徵圖像群組、至少一第一直線與複數第一方格線，該第一特徵圖像群組包括至少兩個相同的第一特徵圖像；以及一第二校正參考子圖像，包括一第二特徵圖像群組與一第二直線，該第二特徵圖像群組包括至少兩個相同的第二特徵圖像。該第一校正參考子圖像與該第二校正參考子圖像之尺寸為已知，該第一特徵圖像群組之該些第一特徵圖像等距於該第一校正參考子圖像之一邊緣，該第二特徵圖像群組之該些第二特徵圖像等距於該第二校正參考子圖像之一邊緣。

根據本案之一示範性實施例，提出一種校正參考圖像之設置方法，該校正參考圖像如上所述。該設置方法包括：將兩條標記線分別放置對齊於一車輛之兩側邊緣，交叉該些標記線以定位出該車輛的一中央延伸線；將該第一校正參考子圖像的該第一直線對準於該車輛的該中央延伸線；以及將該第二校正參考子圖像的該第二直線的兩端分別貼齊於該第一校正參考子圖像的該些第一方格線。

根據本案之一示範性實施例，提出一種影像轉換方法，用以將所擷取的一第一視角座標系的一輸入影像轉換成一第二視角座標系的一輸出影像。擷取如上所述之一校正參考圖像之一影像。辨識該校正參考圖像之該些第一與該些第二特徵圖像。求出該些第一與該些第二特徵圖像在 該第一視角座標系的個別座標，以及該些第一與該些第二特徵圖像在該第二視角座標系的個別座標，以求出該第一與該第二視角座標系間的一座標對應關係。根據該座標對應關係，將該輸入影像轉換成該輸出影像。

根據本案之一示範性實施例，提出一種影像轉換裝置，用以將所擷取的一第一視角座標系的一輸入影像轉換成一第二視角座標系的一輸出影像。該影像轉換裝置包括：一影像擷取單元、一特徵擷取單元與一座標轉換單元。影像擷取單元擷取如上所述之一校正參考圖像之一影像。特徵擷取單元辨識該校正參考圖像之該些第一與該些第二特徵圖像。座標轉換單元求出該些第一與該些第二特徵圖像在該第一視角座標系的個別座標，求出該些第一與該些第二特徵圖像在該第二視角座標系的個別座標，求出該第一與該第二視角座標系間的一座標對應關係，並根據該座標對應關係，將該輸入影像轉換成該輸出影像。

為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

於本案實施例中，由於校正參考圖像之長度、寬度與特徵點間的固定間距為已知，考量使用者所要的最遠鳥瞰距離，進行特徵點位置比例關係的估算，以得到不同視角座標系的轉換對應關係。此外，本案實施例之車用鏡頭校正中，以校正參考圖像，結合影像輪廓特徵辨識與色彩分類演算技術(色彩分類演算技術為選擇性)，達成車用鏡頭自動化校正。

現請參考第1圖，其顯示根據本案一實施例之車用鏡頭校正裝置100之功能方塊示意圖。如第1圖所示，車用鏡頭校正裝置100包括：影像輸入單元105、影像處理單元106與記憶體單元107。

影像擷取單元102舉例可為但不受限於車用相機(車輛為影像擷取單元之載具)，影像擷取水平視角允許範圍舉例可為40~190度，影像擷取頻率舉例可為15~30張(Frame)/秒(sec)；即時影像輸出頻率舉例可為15~30張/秒。

校正參考圖像103之細節將於底下說明之。

影像輸入單元105可接收由單一影像擷取單元102傳輸的影像資料。在此，影像資料舉例可為影像擷取單元102擷取校正參考圖像103所得的影像。

影像處理單元106可根據所接收的校正參考圖像影像進行影像特徵辨識、色彩分類與計算視角轉換座標對應關係(視角轉換座標對應關係為影像座標與鳥瞰座標間的對應關係)。

影像處理單元106包括：特徵擷取單元106A、色彩分類單元106B與座標轉換單元106C。特徵擷取單元106A對校正參考圖像103進行影像特徵辨識，其細節將於底下說明之。色彩分類單元106B對校正參考圖像103進行色彩分類，其細節將於底下說明之。座標轉換單元106C計算不同視角座標系間的對應關係舉例可為單應轉換矩陣H)。

記憶體單元107可暫存由影像處理單元106所計算 出之視角轉換座標對應關係、暫存影像資料、系統運作值等。

此外，本案的其他可能實施例更可選擇性包括：數位訊號處理-控制單元(舉例可為DSP、CPU等)，或者影像輸出單元。數位訊號處理-控制單元可執行周邊電路初始化、影像特徵與色彩辨識、色彩分類、座標轉換、鳥瞰轉換(舉例可為將所擷取的即時車前影像/車後影像/車右影像/車左影像轉換為即時鳥瞰影像)等功能。影像輸出單元可輸出經由數位訊號處理-控制單元所處理過的影像，以讓使用者觀看。

請參考第2圖，其顯示根據本案一實施例所提出的校正參考圖像103之實際例子。如第2圖所示，校正參考圖像103包括三個校正參考子圖像23、24與25，舉例皆可為矩型。第一校正參考子圖像23擺於放車輛正中央的延伸線(至於如何決定第一校正參考子圖像23的擺放位置則於底下說明之)。第二校正參考子圖像24與第三校正參考子圖像25之構架基本上相同。第二校正參考子圖像24與第三校正參考子圖像25擺放於校正參考子圖像23上且分別與之垂直交錯。

第一校正參考子圖像23包括第一特徵圖像群組、第一直線與第一方格線。第一特徵圖像群組包括至少兩個相同的第一特徵圖像，舉例可為兩個圓形子圖像32與33；第一直線舉例可為水平線30與31；第一方格線舉例可為方格線26、27、28與29。在此以圓形子圖像32與33之顏色為藍色為例做說明，但當知本案實施例並不受限於 此。為方便對準第二校正參考子圖像24與第三校正參考子圖像25(讓其垂直擺放於第一校正參考子圖像23)，水平線30凸出於方格線26與27，水平線31凸出於方格線28與29。校正參考子圖像23之寬度為W1，總長度為W3。方格線26與27的間距為W1，方格線27與28的間距為W1，方格線28與29的間距為W1，方格線29與校正參考子圖像23邊緣的間距為W1，方格線26與校正參考子圖像23另一邊緣的間距為W2。亦即，W3=4*W1+W2。也就是說，圓形子圖像32與33之圓心距離校正參考子圖像23邊緣為已知。第一特徵圖像等距於第一校正參考子圖像23之一邊緣，舉例可為圓形子圖像32與33之特徵點(例如為圓心，以下皆以圓心為特徵點舉例說明)分別與第一校正參考子圖像23之水平方向的長度邊緣等距離。水平線30與31的延伸線分別通過圓形子圖像32與33之圓心。方格線26、27、28與29彼此等間距，且這些方格線之一與第一校正參考子圖像23之一另一邊緣間之一間距(例如為方格線29與第一校正參考子圖像23之右邊寬度邊緣之間距W1)等於該些方格線之彼此間距。

第二校正參考子圖像24包括第二特徵圖像群組與第二直線。第二特徵圖像群組包括至少兩個相同的第二特徵圖像，舉例可為多個子圖像34、35、36、37、38與39；直線舉例可為水平線40。在此子圖像34、35、36、37、38與39為圓形做說明，但當知本案並不受限於此。以第二校正參考子圖像24之寬度為W1，總長度為W4。相鄰 兩圓形子圖像34、35、36、37、38與39之圓心相距為W1。水平線40位於校正參考子圖像24的中央。圓形子圖像34、35、36、37、38與39之圓心距離校正參考子圖像24邊緣為已知。第二特徵圖像等距於第二校正參考子圖像24之一邊緣，舉例可為子圖像34、35、36、37、38與39之圓心分別與第二校正參考子圖像24之長度W4邊緣等距離。水平線40位於子圖像36與37、或35與38、或34與39之圓心連線的中垂線上。第一校正參考子圖像23之方格線26與27間的距離，等於第二校正參考子圖像24之垂直方向的寬度W1。

相似地，第三校正參考子圖像25包括第三特徵圖像群組與第三直線。第三特徵圖像群組包括至少兩個相同的第三特徵圖像，舉例可為多個子圖像41、42、43、44、45與46；第三直線舉例可為水平線47。在此子圖像41、42、43、44、45與46為圓形做說明，但當知本案並不受限於此。校正參考子圖像25之寬度為W1，總長度為W4。相鄰兩圓形子圖像41、42、43、44、45與46之圓心相距為W1。水平線41位於校正參考子圖像25的中央。圓形子圖像41、42、43、44、45與46之圓心距離校正參考子圖像25邊緣為已知。第三特徵圖像等距於第三校正參考子圖像25之一邊緣，舉例可為子圖像41、42、43、44、45與46之圓心分別與第三校正參考子圖像25之長度邊緣等距離。水平線47位於子圖像43與44、或42與45、或41與46之圓心連線的中垂線上。第一校正參考子圖像23之方格線28與29間的距離，等於第三校正參考 子圖像25之垂直方向的寬度W1。另外，雖然於第2圖中，校正參考子圖像24與25實質上相同，但於本案其他實施例中，垂直擺放於校正參考子圖像23的該些校正參考子圖像彼此可不完全相同，此皆在本案精神範圍內。但，校正參考子圖像24與25為實質相同可方便製造。

此外，為了車用鏡頭校正裝置100的辨認需要，於此本案實施例中，圓形子圖像34、35、36、37、38與39之顏色並不完全相同。舉例可為但不受限於，圓形子圖像35、38、42與45為紅色，而圓形子圖像34、36、37、39、41、43、44與46則為黑色。這是為了讓車用鏡頭校正裝置100在辨認這些圓形子圖像時，車用鏡頭校正裝置100能藉由辨認結果而判斷出所辨認出的圓形子圖像屬於校正參考子圖像24或25，及此辨認出圓形子圖像在校正參考子圖像24或25中的順序。

在進行車用鏡頭校正時，校正參考圖像103搭配兩條標記線48與49。舉例可為，各標記線48與49的兩既定位置上標示有兩定位點(舉例可為是紅點)X及Y，以提供校正參考圖像安裝程序之使用。雖然在此以標記線48與49之長度相同為例做說明，但當知本案並不受限於此。標記線48與49之長度只要能足夠在上面標示出定位點X與Y即可。

現請參考第3A圖~第3E圖，其顯示根據本案一實施例之校正參考圖像之設置流程。雖然在此以影像擷取單元102擷取車後影像為例做說明，但當知本案並不受限於此。

如第3A圖所示，將標記線48與49分別放置對齊於 車輛1000之兩側邊緣。如第3B圖所示，將標記線48與49交叉，使標記線48與49的兩定位點X交會，並標示為交叉點C。如第3C圖所示，將標記線48與49交叉，使標記線48與49的兩定位點Y交會，並標示為交叉點D。

如第3D圖所示，將校正參考子圖像23的兩水平線30與31分別對準於交叉點C與D。

如第3E圖所示，將校正子圖像24的中心線40的兩端貼齊校正參考子圖像23的方格線26與27，且將校正子圖像25的中心線47的兩端貼齊校正參考子圖像23的方格線28與29。如此即可完成校正參考圖像的放置。

雖然在此以影像擷取單元102擷取車後影像為例做說明，但當知本案並不受限於此。比如，如果影像擷取單元102擷取車前影像/車右影像/車左影像，則標記線48~49與校正參考圖像23~25擺放於車前/車右/車左，其細節可由上述說明得知，於此不重複。

此外為方便對準，校正參考子圖像23的水平線30與31可為透光，以方便將校正參考子圖像23的兩水平線30與31分別對準於交叉點C與D。此外，如上述般，水平線30突出於方格線26與27，以及水平線31突出於方格線28與29，此有助於將校正子圖像24的中心線40的兩端貼齊校正參考子圖像23的方格線26與27，及有助於將校正子圖像25的中心線47的兩端貼齊校正參考子圖像23的方格線28與29。

現請參考第4A圖與第4B圖，其顯示根據本案一實施例之校正參考圖像與其擺放位置。如第4A圖所示，第 一校正參考圖像400包括第一校正參考子圖像410與第二校正參考子圖像420。第一校正參考子圖像410與第二校正參考子圖像420舉例可為矩型。第一校正參考子圖像410擺於放車輛正中央的延伸線(至於如何決定第一校正參考子圖像410的擺放位置可參考第3A圖~第3C圖)。第二校正參考子圖像420擺放於第一校正參考子圖像410上且與之垂直交錯。

第一校正參考子圖像410包括第一特徵圖像群組、至少一第一直線與複數第一方格線。第一特徵圖像群組包括至少兩個相同的第一特徵圖像，舉例可為兩個圓形子圖像411與412；第一直線舉例可為水平線413；第一方格線舉例可為方格線414與415。在此以圓形子圖像411與412之顏色為藍色為例做說明，但當知本案實施例並不受限於此。為方便對準校正參考子圖像420，相似地，水平線413凸出於方格線414與415。第一校正參考子圖像410之寬度、長度、方格線414與415的間距、方格線414與第一校正參考子圖像410邊緣的間距、方格線415與第一校正參考子圖像410另一邊緣的間距皆為已知。而且，圓形子圖像411與412之圓心距離校正參考子圖像410邊緣為已知。第一特徵圖像等距於第一校正參考子圖像410之一邊緣，舉例可為圓形子圖像411與412之圓心分別與第一校正參考子圖像410之長度邊緣等距離。水平線413的延伸線分別通過圓形子圖像411與412之圓心。方格線411與412彼此等間距，且這些方格線之一與第一校正參考子圖像410之一另一邊緣間之一間距(例如為方 格線414與第一校正參考子圖像23之上方寬度邊緣之間距)等於該些方格線之彼此間距。圓形子圖像411與412之形狀與顏色皆要一樣。水平線413如為透光，則有助於校正參考子圖像420與410之對齊。

第二校正參考子圖像420包括第二特徵圖像群組與第二直線。第二特徵圖像群組包括至少兩個相同的第二特徵圖像，舉例可為兩個子圖像421與422；第二直線舉例可為水平線423。在此子圖像421與422為圓形做說明，但當知本案並不受限於此。相似地，校正參考子圖像420之寬度、長度、兩圓形子圖像421與422之圓心相距為已知。水平線423位於校正參考子圖像420的中央。圓形子圖像421與422之圓心距離校正參考子圖像420邊緣為已知。第二特徵圖像等距於第二校正參考子圖像420之一邊緣，舉例可為子圖像421與422之圓心分別與第二校正參考子圖像420之長度邊緣等距離。水平線423位於子圖像421與422之圓心連線的中垂線上。第一校正參考子圖像410之方格線414與415間的距離，等於第二校正參考子圖像420之寬度。子圖像421與422之顏色與形狀要相同。

如第4B圖所示，在擺放時，校正參考子圖像410垂直於車輛，而校正參考子圖像420則垂直於校正參考子圖像410。

由第2圖與第4A圖可知，在本案這些實施例中，校正參考圖像具有複數個特徵圖像(如圓形子圖像)，校正參考圖像之長度與寬度、該些特徵圖像的彼此間距、特徵圖 像與邊緣的間距為已知。標記線的長度為已知，更甚者，這些特徵圖像可為圖像(如圓形、方形、三角形等)及/或線條及/或文字，或其任意組合。舉例來說，方形、三角形與線條的特徵點可為幾何中心或是角點；而文字的特徵點可為角點。更甚者，如果這些特徵圖像的顏色彼此皆不相同的話，則這些特徵圖像可為同一或不同形狀。或者，如果這些特徵圖像的形狀彼此皆不相同的話，則這些特徵圖像可為同一或不同顏色。

請參考第5圖，其顯示本案一實施例之車用鏡頭校正流程。如第5圖所示，於步驟510中，安裝校正參考圖像，其細節可如上述所示，於此不再重述。

於步驟520中，擷取已安裝好的校正參考圖像的影像。步驟520比如由影像擷取單元102所進行。

於步驟530中，進行車用鏡頭自動化校正，其細節將於底下說明之。步驟530主要是透過影像辨識與色彩分類技術，針對校正參考圖像的特徵圖像進行辨識，以確認鏡頭位置/方向是否正確，如果否，則自動調整鏡頭並重複步驟520，直到確認鏡頭位置/方向正確為止。原則上，如果只是要校正車用鏡頭的話，則步驟510~530即以足夠。但在本案中，更可將後續所擷取的即時影像轉換成鳥瞰影像，以提供快速且自動化的視角轉換。

於步驟540中，於進行自動化校正後，對於經過辨識的校正參考圖像上的特徵圖樣，找出其於影像座標上的座標，以藉以完成影像座標與鳥瞰座標的對應關係(比如是單應轉換矩陣(Homography matrix))。此外，影像座標與鳥 瞰座標的對應關係可儲存起來，以做為後續的(即時)鳥瞰轉換(亦即，將所擷取的車後影像進行座標轉換後，成為鳥瞰影像，並將鳥瞰影像顯示給使用者/駕駛者，以輔助行車安全)與距離估測之參考。步驟540之細節將於底下說明之。步驟540比如由第1圖的座標轉換單元所進行。

現請參考第6圖，其顯示根據本案實施例之第5圖之步驟530與540之細節。如第6圖所示，步驟530包括步驟610與620，而步驟540包括步驟630與640。

於步驟610中，進行特徵圖像的輪廓辨識與(選擇性的)色彩分類。對於所擷取的影像(亦即校正參考圖像的影像)的特徵圖像，針對特徵圖像的輪廓特徵進行辨識，進而取得特徵圖像(比如是圓形子圖像的圓心位置)，此影像辨識比如由第1圖的特徵擷取單元106A所進行。輪廓辨識演算法比如為霍夫轉換(Hough Transform)、或邊緣偵測(edge detection)、或形態學(morphology)、或主動輪廓法(active contour method)方法等演算法或其任意組合，但不以此為限。色彩分類技術(其比如由第1圖的色彩分類單元106B所進行)針對的不同顏色的特徵圖像辨識其顏色。如此的話，可以確認所辨識出的特徵圖像屬於校正參考圖像的哪一個特徵圖像，以定位之。藉此可確認所辨識出的特徵圖像的排列順序，並且記錄其圓心位置。如果所有的特徵圖像的色彩皆相同的話，則不需進行色彩分類。

於步驟620中，判斷所辨識出的藍色圓形子圖像32與33的兩個圓心位置所連成的直線是否垂直於車輛尾端邊緣，來判斷影像擷取單元的安裝位置及/或安裝角度是否 正確。

本案實施例之車用鏡頭校正方法中，如果經過車用鏡頭校正裝置100的辨認後，發現所辨認出的水平線30與31並非垂直於車子後端邊緣的話，則代表此時的影像擷取單元102的鏡頭可能是偏左或偏右，車用鏡頭校正裝置100自動發出命令給影像擷取單元102以調整鏡頭並再次擷取影像(步驟520)，直到所辨認出的水平線30與31實質上垂直於車子後端邊緣。故而，在本案實施例中，對影像擷取單元102的鏡頭調整並不需要手工操作，而是可以自動化完成。

在本案實施例中，由於校正參考圖像的實際尺寸、特徵圖像尺寸、特徵圖像到校正參考圖像邊緣的距離皆為已知。於步驟630中，求出特徵圖像在鳥瞰座標系下的座標。

於步驟640中，求出不同視角座標系的座標對應關係，其細節將於底下說明之。

現請參考第7圖，其顯示根據本案一實施例之不同視角座標系間的轉換。於第7圖中，上方為影像座標系(其對應至所擷取的影像)，而下方則是鳥瞰座標系(其對應至所轉換出的鳥瞰影像)。在本案實施例中，鳥瞰座標系中最遠欲觀看範圍(例如是鳥瞰影像中最遠的可視範圍)是由使用者所個別定義。

定義最遠欲觀看範圍為Wd(公尺)，而鳥瞰影像的解析度亦為Rw×Rh(相同於擷取影像的解析度)。

由於校正參考圖像的各尺寸皆為已知(如第2圖所示之W1~W4)，故而，在第7圖中，Wd_c1=W3-(W1/2)而 Wd_c2=W2+3*(W1/2)。

接著，在辨識結果中，令圓形子圖像33的圓心座標為(X1,Y1)；在鳥瞰座標系中，轉換後藍色圓形33的座標為(X1’,Y1’)。則可推論出X1’=Rw/2

Y1’=Rh*[1-(Wd_c1/Wd)]

相似地，在辨識結果中，令圓形子圖像32的圓心座標為(X2,Y2)；在鳥瞰座標系中，轉換後藍色圓形32的座標為(X2’,Y2’)。則可推論出X2’=Rw/2

Y2’=Rh*[1-(Wd_c2/Wd)]

依此方式，可以推論出，在鳥瞰座標系下，校正參考圖像中所有特徵圖像的鳥瞰座標。

故而，透過單應(Homography)演算技術，可估算出影像座標系與鳥瞰座標系間的轉換矩陣H，可定義如下式

其中x,y,z代表在影像座標系的像素座標，x _new ,y _new ,z _new 代表經前述比例關係估算出的鳥瞰影像係的像素座標。

以非齊次座標系來看的話，則

由於影像為二維座標系，因此可假設z=1，公式(1)可改寫成為：

由於求解轉換矩陣H中的係數H₁₁~H₃₃，因此可將公式(3)定義為

其中h=(H ₁₁,H ₁₂,H ₁₃,H ₂₁,H ₂₂,H ₂₃,H ₃₁,H ₃₂,H ₃₃) ^T ,

將已取得的共14點的圓形子圖像在影像座標系下的座標與經比例關係所估算出的鳥瞰座標系下的座標，分別代入公式(4)，可表示為Ah=0 (5)

其中

此外，雖然在上例中以14個特徵點來估算出影像座標系與鳥瞰座標系間的轉換矩陣H，這是由於鏡頭扭曲的關係。因此若要滿足對鏡頭邊緣所擷取的影像也能扭曲校正成功，要在邊緣也要有校正特徵點，因此在上例中以14個特徵點來舉例說明。實際上，如果只用四個特徵點即可求出影像座標系與鳥瞰座標系間的轉換矩陣H。如果是用 四個特徵點的話，則上式(6)可改為：A _8×9=(a ^T _x1,a ^T _y1,...,a ^T _x4,a ^T _y4) ^T (7)

如果是用n個特徵點的話，則上式(6)可改為：A _2n×9=(a ^T _x1,a ^T _y1,...,a ^T _xn ,a ^T _yn ) ^T (8)

其中，n代表所用的特徵點個數，n為正整數。

透過最佳化演算法求解出公式(5)，以求解出有最小誤差的單應轉換矩陣H。最佳化演算法可為線性最小方差(linear least squares)，奇異值分解(singular value decomposition)、隨機抽樣一致性算法(RANSAC,Random sample consensus)、最小平方中位數法(least median of square,LMEDS)等最佳化求解演算法，但不以此為限。

在求解出最佳的單應轉換矩陣後，可將此單應轉換矩陣與公式(1)，得到原始影像中的其他非特徵圖像轉換成鳥瞰座標系下的座標。此外，可將此單應轉換矩陣儲存起來(比如存於記體單元107)，以供車輛安全系統使用。應用此單應轉換矩陣，車輛安全系統不僅可即時將所擷取的影像轉換成鳥瞰影像以提供給使用者，同時亦可用以偵測或距離估測。

此外，本案實施例之另一特點在於，在所貼的校正參考圖像已依要求貼好，對第1輛車輛的車用鏡頭完成校正後，後續需要鏡頭校正的其他車輛的停放位置只要相同於第1輛車子的停放位置，即可開始進行鏡頭自動校正(無需再次安裝校正參考圖像)。如此一來，後續其他車輛的車用鏡頭校正便可利用已貼好的校正參考圖像來進行之。對於 廠商而言，車用鏡頭校正流程快速且簡潔。

本案實施例之車用鏡頭自動化校正所得到的視角轉換座標對應關係，可用於鳥瞰轉換投影與距離估測，如此，可提供車用影像安全輔助系統的障礙物偵測、距離估測，將轉換出的鳥瞰影像輸出至車用顯示裝置，給使用者觀看，以輔助行車安全。

本案上述實施例提出之自動校正機制與方法係簡易快速與低誤差性，不需透過複雜校正參考圖像或繁雜的校正程序，即可有效提供使用者直覺式車輛影像自動化校正。本案上述實施例不僅可提供一般鏡頭廠商、車廠或售服市場(Aftermarket)使用，此外可利於提供車輛影像安全產品(全周監視系統、前方防碰撞警示系統、後方安全輔助系統、側方盲點警示系統等)建立更快速、更簡易的人機校正程序，能有效商品化或切入市場。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當以申請專利範圍所界定者為準。

100‧‧‧車用鏡頭校正裝置

102‧‧‧影像擷取單元

103‧‧‧校正參考圖像

105‧‧‧影像輸入單元

106‧‧‧影像處理單元

106A‧‧‧特徵擷取單元

106B‧‧‧色彩分類單元

106C‧‧‧座標轉換單元

107‧‧‧記憶體單元

23、24、25‧‧‧校正參考子圖像

32、33、34、35、36、37、38、39、41、42、43、44、45、46‧‧‧子圖像

30、31、40、47‧‧‧水平線

26、27、28、29‧‧‧方格線

W1~W4‧‧‧尺寸

48、49‧‧‧標記線

X、Y‧‧‧定位點

C、D‧‧‧交叉點

1000‧‧‧車輛

400‧‧‧校正參考圖像

410、420‧‧‧校正參考子圖像

411、412‧‧‧子圖像

413‧‧‧水平線

414、415‧‧‧方格線

421、422‧‧‧子圖像

423‧‧‧水平線

510~540‧‧‧步驟

610~640‧‧‧步驟

第1圖顯示根據本案一實施例之車用鏡頭校正裝置之功能方塊示意圖。

第2圖顯示根據本案一實施例所提出的校正參考圖像之實際例子。

第3A圖~第3E圖顯示根據本案一實施例之校正參考圖像之設置流程。

第4A圖與第4B圖顯示根據本案一實施例之校正參考圖像與其擺放位置。

第5圖顯示本案一實施例之車用鏡頭校正流程。

第6圖顯示根據本案實施例之第5圖之步驟530與540之細節。

第7圖顯示根據本案一實施例之影像座標系與鳥瞰座標系的轉換。

100‧‧‧車用鏡頭校正裝置

102‧‧‧影像擷取單元

103‧‧‧校正參考圖像

105‧‧‧影像輸入單元

106‧‧‧影像處理單元

106A‧‧‧特徵擷取單元

106B‧‧‧色彩分類單元

106C‧‧‧座標轉換單元

107‧‧‧記憶體單元

Claims (14)

1. 一種校正參考圖像，用於自動校正一車用鏡頭，該校正參考圖像包括：一第一校正參考子圖像，包括一第一特徵圖像群組、至少一第一直線與複數第一方格線，該第一特徵圖像群組包括至少兩個相同的第一特徵圖像；以及一第二校正參考子圖像，包括一第二特徵圖像群組與一第二直線，該第二特徵圖像群組包括至少兩個相同的第二特徵圖像；其中，該第一校正參考子圖像與該第二校正參考子圖像之尺寸為已知，該第一特徵圖像群組之該些第一特徵圖像等距於該第一校正參考子圖像之一邊緣，該第二特徵圖像群組之該些第二特徵圖像等距於該第二校正參考子圖像之一邊緣，該第一直線相交於且突出於該些第一方格線之至少兩第一方格線；以及該第一與該第二特徵圖像之顏色與形狀至少有一者不同；以及該第二直線介於該些第二特徵圖像之間，且該第二直線位於該第二校正參考子圖像的中央。
2. 如申請專利範圍第1項所述之校正參考圖像，其中，該第一特徵圖像包括：一圖像及/或一線條及/或一文字，或其任意組合；以及該第二特徵圖像包括：一圖像及/或一線條及/或一文 字，或其任意組合。
3. 如申請專利範圍第1項所述之校正參考圖像，其中，該第一直線為一透光直線。
4. 如申請專利範圍第1項所述之校正參考圖像，其中，該些第一方格線之彼此等間距，且該些第一方格線之一與該第一校正參考子圖像之一另一邊緣間之一間距等於該些第一方格線之彼此間距；該第二特徵圖像群組更包括複數第三特徵圖像，該些第二與該些第三特徵圖像之顏色與形狀至少有一者不同，且該些第三特徵圖像介於該些第二特徵圖像之間，且該第二直線介於該些第三特徵圖像之間；以及該校正參考圖像更包括一第三校正參考子圖像，該第三校正參考子圖像可實質相同或相異於該第二校正參考子圖像。
5. 一種校正參考圖像之設置方法，該校正參考圖像如申請專利範圍第1項所述，該設置方法包括：將兩條標記線分別放置對齊於一車輛之兩側邊緣，交叉該些標記線以定位出該車輛的一中央延伸線；將該第一校正參考子圖像的該第一直線對準於該車輛的該中央延伸線；以及將該第二校正參考子圖像的該第二直線的兩端分別貼齊於該第一校正參考子圖像的該些第一方格線。
6. 如申請專利範圍第5項所述之設置方法，其中，各標記線的複數既定位置標示有複數定位點； 將該些標記線交叉數次，使該些標記線的該些定位點交會以標示出複數交叉點；以及連線該些交叉點，以定位出該車輛的該中央延伸線。
7. 一種影像轉換方法，用以將所擷取的一第一視角座標系的一輸入影像轉換成一第二視角座標系的一輸出影像，該影像轉換方法包括：擷取如申請專利範圍第1項所述之該校正參考圖像之一影像；辨識該校正參考圖像之該些第一特徵圖像與該些第二特徵圖像，判斷所辨認出的該些第一特徵圖像所連成之一虛擬直線是否垂直於一載具之一邊緣，以確認一鏡頭之一位置及/或一方向是否正確，以及如果否，則自動調整該鏡頭並再次擷取該校正參考圖像之該影像，直到所辨認出的該些第一特徵圖像所連成之該虛擬直線垂直於該載具之該邊緣；求出該些第一特徵圖像與該些第二特徵圖像在該第一視角座標系的個別座標，以及該些第一特徵圖像與該些第二特徵圖像在該第二視角座標系的個別座標，以求出該第一視角座標系與該第二視角座標系間的一座標對應關係；以及根據該座標對應關係，將該輸入影像轉換成該輸出影像。
8. 如申請專利範圍第7項所述之影像轉換方法，其中，該辨識步驟包括：以霍夫轉換法、或邊緣偵測法、或形態學法、或主動輪廓法，或其任意組合，來辨識該校正 參考圖像的該些第一與該些第二特徵圖像之個別輪廓，以判斷所辨識出的特徵圖像是否屬於該校正參考圖像的該些第一與第二特徵圖像之一，以進行定位。
9. 如申請專利範圍第7項所述之影像轉換方法，更包括：辨識該校正參考圖像的該些第一特徵圖像與該些第二特徵圖像之個別顏色。
10. 如申請專利範圍第7項所述之影像轉換方法，更包括：確認所辨識出的該些第一特徵圖像與該第二特徵圖像的一排列順序，並且記錄其個別位置。
11. 一種影像轉換裝置，用以將所擷取的一第一視角座標系的一輸入影像轉換成一第二視角座標系的一輸出影像，該影像轉換裝置包括：一影像擷取單元，擷取如申請專利範圍第1項所述之該校正參考圖像之一影像；一特徵擷取單元，辨識該校正參考圖像之該些第一特徵圖像與該些第二特徵圖像；以及一座標轉換單元，求出該些第一特徵圖像與該些第二特徵圖像在該第一視角座標系的個別座標，求出該些第一特徵圖像與該些第二特徵圖像在該第二視角座標系的個別座標，求出該第一視角座標系與該第二視角座標系間的一座標對應關係，並根據該座標對應關係，將該輸入影像轉換成該輸出影像，其中， 該特徵擷取單元判斷所辨認出的該些第一特徵圖像所連成之一虛擬直線是否垂直於一載具之一邊緣，以確認一鏡頭之一位置及/或一方向是否正確，如果否，則自動調整該鏡頭並再次擷取該校正參考圖像之該影像，直到所辨認出的該些第一特徵圖像所連成之該虛擬直線垂直於該載具之該邊緣。
12. 如申請專利範圍第11項所述之影像轉換裝置，其中，該特徵擷取單元：以霍夫轉換法、或邊緣偵測法、或形態學法、或主動輪廓法，或其任意組合，來辨識該校正參考圖像的該些第一與該些第二特徵圖像之個別輪廓，以判斷所辨識出的特徵圖像是否屬於該校正參考圖像的該些第一與第二特徵圖像之一，以進行定位。
13. 如申請專利範圍第11項所述之影像轉換裝置，其中，該特徵擷取單元辨識該校正參考圖像的該些第一特徵圖像與該些第二特徵圖像之個別顏色。
14. 如申請專利範圍第11項所述之影像轉換方法，其中，該特徵擷取單元確認所辨識出的該些第一與該第二特徵圖像的一排列順序，並且記錄其個別位置。