TW201530493A

TW201530493A - 影像擷取裝置及其影像形變校正方法

Info

Publication number: TW201530493A
Application number: TW103103260A
Authority: TW
Inventors: Hong-Long Chou; Ming-Jiun Liaw; Yi-Yi Yu; I-Te Yu; Yu-Chih Wang; Che-Lun Chuang
Original assignee: Altek Semiconductor Corp
Priority date: 2014-01-28
Filing date: 2014-01-28
Publication date: 2015-08-01
Also published as: US9792685B2; TWI511081B; US20150213589A1

Abstract

一種影像擷取裝置及其影像形變校正方法。影像擷取裝置具有第一影像感測器與第二影像感測器。影像形變校正方法包括下列步驟。透過第一影像感測器與第二影像感測器擷取複數個影像群組。各影像群組分別包括第一影像以及第二影像，這些影像群組包括一參考影像群組。偵測此參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當偵測到參考影像群組發生影像形變時，依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。當前校正參數用以對各第一影像與對應的各第二影像進行影像糾正。

Description

影像擷取裝置及其影像形變校正方法

本發明是有關於一種影像擷取裝置，且特別是有關於一種影像形變校正方法與使用該方法的影像擷取裝置。

對於當前的影像深度感測技術來說，使用具有雙鏡頭的影像擷取裝置來擷取對應至不同視角的影像是一種常見的方法，藉由對應至不同視角的影像可計算出目標物的三維深度資訊。因此，為了能夠精確的從二維影像中取得目標物之三維深度資訊，此兩個鏡頭之間的空間設置關係是需要經過特別設計，且精密的參數校正是必要的步驟。進一步來說，當工廠製造具有雙鏡頭的影像擷取裝置時，雙鏡頭各自對應的空間位置與方向無法極其準確地設置於預設的設定值上。因此，於製造影像擷取裝置的過程中，工廠將事先針對設置好的雙鏡頭模組進行校正，從而獲取一組工廠預設的校正參數。日後，於使用者操作影像擷取裝置的過程中，影像擷取裝置可利用工廠預設的校正參數來校正透過雙鏡頭所擷取的影像，以克服製程不夠精密的缺失。

然而，在使用者操作或攜帶影像擷取裝置的過程中，當影像擷取裝置受到擠壓、撞擊或跌落的影響時，可能導致鏡頭產生位移或旋轉等空間位置上的改變。一旦鏡頭產生位移或變形的狀況，工廠內部所預設的校正參數已經不再符合當前的應用狀況，影像擷取裝置也就無法獲取正確的深度資訊。舉例來說，如果立體影像擷取裝置的雙鏡頭間產生水平失衡的問題時，由於失衡之後拍攝出來的左右畫面水平不匹配，將進一步導致三維立體拍攝效果不佳。

有鑑於此，本發明提供一種影像擷取裝置及其影像形變校正方法，可針對影像感測單元的位移狀態而適應性地調整用以進行影像糾正(image rectification)的校正參數。

本發明提出一種影像形變校正方法，適用於具有第一影像感測器與第二影像感測器的影像擷取裝置。影像擷取裝置具有關聯於第一影像感測器與第二影像感測器的當前校正參數，且此影像形變校正方法包括下列步驟。透過第一影像感測器以及第二影像感測器擷取複數個影像群組，其中各影像群組分別包括第一影像以及第二影像，這些影像群組包括一參考影像群組。偵測此參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當偵測到參考影像群組發生影像形變時，依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。此當前校正參數用以對各第一影像以及對應的各第二影像進行影像糾正。

在本發明的一實施例中，上述的偵測參考影像群組是否發生影像形變的步驟包括下列步驟。偵測第一參考影像的第一特徵點與第二參考影像的第二特徵點。判斷第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過門檻值。若判斷為是，判定參考影像群組發生影像形變。

在本發明的一實施例中，上述的偵測參考影像群組是否發生影像形變的步驟包括下列步驟。依據第一參考影像與第二參考影像進行三維深度估測，以產生參考影像群組中的參考對焦目標物的參考深度資訊，並依據參考深度資訊取得關於參考目標物的深度對焦位置。藉由自動對焦程序而獲取得關於參考目標物的自動對焦位置。判斷參考對焦目標物所對應的深度對焦位置是否符合自動對焦位置。若判斷為否，判定參考影像群組發生影像形變。

在本發明的一實施例中，上述的在依據這些影像群組對應的這些特徵點比對值更新當前校正參數的步驟之前，此影像校正方法更包括下列步驟。針對這些影像群組進行三維深度估測，以產生各影像群組的深度資訊。依據各影像群組的深度資訊決定是否保留影像群組。

在本發明的一實施例中，上述的依據這些影像群組對應的這些特徵點比對值更新當前校正參數的步驟更包括下列步驟。對這些第一影像與這些第二影像進行特徵點偵測，而獲取這些第一影像的複數個第一特徵點與這些第二影像的複數個第二特徵點。比對這些第一特徵點的座標位置以及分別與這些第一特徵點相對應的多個第二特徵點的座標位置，以獲取這些第一特徵點與這些第二特徵點之間的多個特徵點比對值。紀錄這些第一特徵點與這些第二特徵點之間的多個特徵點比對值。

在本發明的一實施例中，上述的紀錄這些第一特徵點與這些第二特徵點之間的特徵點比對值的步驟更包括下列步驟。依據這些第一特徵點的座標位置或/及這些第二特徵點的座標位置分類各個特徵點比對值至複數個統計槽。

在本發明的一實施例中，上述的依據影像群組對應的這些特徵點比對值更新當前校正參數的步驟包括下列步驟。依據這些統計槽中多個特徵點比對值的數量與特徵點比對值所對應的複數個深度值，判斷這些特徵點比對值是否足夠進行運算。若判斷為是，依據這些特徵點比對值更新當前校正參數。其中這些深度值係透過對第一特徵點與對應的第二特徵點進行三維深度估測而獲取。

從另一觀點來看，本發明提出一種影像擷取裝置，此影像擷取裝置具有第一影像感測器與第二影像感測器。此影像擷取裝置還包括儲存單元以及處理單元。儲存單元紀錄多個模組，並儲存關聯於第一影像感測器與第二影像感測器的當前校正參數。處理單元耦接第一影像感測器、第二影像感測器以及儲存單元，以存取並執行儲存單元中記錄的所述模組。這些模組包括擷取模組、形變偵測模組以及參數更新模組。擷取模組透過第一影像感測器與第二影像感測器擷取複數個影像群組。各個影像群組分別包括第一影像感測器的第一影像以及第二影像感測器的第二影像，且這些影像群組包括一參考影像群組。形變偵測模組偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當參考影像群組發生影像形變時，參數更新模組依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。當前校正參數用以對各第一影像以及對應的各第二影像進行影像糾正。

基於上述，在本發明之影像形變校正方法的實施例中，當當前的校正參數已無法進行準確的影像糾正時，利用對不同場景與不同時間點所拍攝之影像群組上的特徵點資訊建立一資料庫，以藉由資料庫內完整的資訊來更新當前的校正資訊。如此一來，即便左右影像感測器產生位移，影像擷取裝置也可以動態且適應性的產生新的校正參數，以避免利用不符現況的校正參數進行不準確的影像糾正。藉此，可在使用者無察覺的情況下自動地進行參數更新的動作，以確保影像擷取裝置的拍攝品質並且提升使用者經驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像擷取裝置

110‧‧‧第一影像感測器

120‧‧‧第二影像感測器

130‧‧‧對焦單元

140‧‧‧處理單元

150‧‧‧儲存單元

151‧‧‧擷取模組

152‧‧‧形變偵測模組

153‧‧‧參數更新模組

154‧‧‧深度選擇模組

TH‧‧‧預設門檻值

A、B‧‧‧特徵點

Z1~Z9‧‧‧圖像區塊

S1~S9‧‧‧統計槽

△d_A、△d_B‧‧‧特徵點比對值

S201~S203‧‧‧本發明一實施例所述的影像形變校正方法的各步驟

S2011~S2023‧‧‧本發明一實施例之步驟S202的各子步驟

S2024~S2027‧‧‧本發明一實施例之步驟S202的各子步驟

S401~S409‧‧‧本發明一實施例所述的影像形變校正方法的各步驟

圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。

圖2是依照本發明一實施例所繪示之影像形變校正方法的流程圖。

圖3A至圖3B是依照本發明一實施例所繪示之步驟S202的詳細流程圖。

圖4是依照本發明一實施例所繪示之影像形變校正方法的流程圖。

圖5A至圖5B是根據本發明一實施例所繪示之分類特徵點比對值至統計槽的範例示意圖。

在影像擷取裝置出廠時，其雙鏡頭的之間空間設置關係已經過精密的計算與調整，並依此產生一組工廠預設的校正參數。此工廠預設的校正參數用以將不同鏡頭所擷取的影像校正至經設計且固定的座標參數關係。為了解決因雙鏡頭產生位移或旋轉而導致工廠預設的校正參數不再適用的情況，本發明依據影像的深度資訊與像素點位置來產生紀錄多個特徵點資訊的資料庫，並利用資料庫中累積的資訊適應性的更新校正參數。為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。請參照圖1，本實施例的影像擷取裝置100例如是數位相機、數位攝影機，或是其他具有影像擷取功能的手持式電子裝置，像是智慧型手機、平板電腦等等，不限於上述。影像擷取裝置100包括第一影像感測單元110、第二影像感測單元120、對焦單元130、處理單元140以及儲存單元150。

第一影像感測單元110與第二影像感測單元120可包括鏡頭以及感光元件。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，第一影像感測單元110與第二影像感測單元120還可包括光圈等，在此皆不設限。此外，依照第一影像感測單元110與第二影像感測單元120之鏡頭設置位置，第一影像感測單元110與第二影像感測單元120的鏡頭可區分為左鏡頭與右鏡頭。

於本實施例中，對焦單元130耦接第一影像感測單元110、第二影像感測單元120以及處理單元140，用以控制第一影像感測單元110與第二影像感測單元120擷取影像的焦距。換言之，對焦單元130控制第一影像感測單元110的鏡頭與第二影像感測單元120的鏡頭移動至對焦位置。對焦單元130例如透過音圈馬達(Voice Coil Motor，VCM)或其他不同類型的馬達來控制鏡頭的步數(step)位置，以改變第一影像感測單元110與第二影像感測單元120的焦距。

處理單元140可以例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他具備運算能力的硬體裝置。儲存單元150例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體，用以儲存當前校正參數與多個模組，而處理單元140耦接儲存單元150並用以執行這些模組。上述模組包括擷取模組151、形變偵測模組152、參數更新模組153以及深度選擇模組154，這些模組例如是電腦程式，其可載入處理單元140，從而執行校正影像形變的功能。

圖2是依照本發明一實施例所繪示之影像形變校正方法的流程圖。本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變校正方法的詳細步驟。

首先，於步驟S201，擷取模組151透過第一影像感測器110以及第二影像感測器120擷取複數個影像群組。各影像群組分別包括第一影像以及第二影像，且影像群組至少包括一參考影像群組。也就是說，於本實施例中，單一影像群組具有兩張照片，同一影像群組內的第一影像與第二影像是透過左鏡頭與右鏡頭於同一時間針對同一場景所擷取的兩張影像。換言之，第一影像例如係透過左鏡頭所擷取的左影像，而第二影像相對為透過右鏡頭所擷取的右影像。於本實施例中，第一影像與第二影像例如是預覽狀態下所擷取的即時預覽影像(live-view image)。

同樣地，參考影像群組為影像擷取裝置100所擷取之影像群組其中之一，因此參考影像群組同樣具有對應至第一影像感測110與第二影像感測器120的第一參考影像與第二參考影像。於步驟S202，形變偵測模組152偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。需說明的是，形變偵測模組152可以定時檢測的方式對部份影像群組進行影像形變的偵測，也可以針對所有影像群組進行影像形變的偵測，而參考影像群組於此代表形變偵測模組152用以檢測是否發生影像型變的對象之一。

需說明的是，工廠預設的校正參數適用於將兩張左右影像再分別進行影像糾正(image rectification)，讓兩張真實影像變成只有水平像差或只有垂直像差(因為鏡頭位置擺放的關係而造成的)。例如，雙鏡頭間會有角度仰角的些微差異等等。透過工廠預設的校正參數執行影像糾正，可以將真實影像轉換成左右鏡頭是擺放同一取像平面，只剩下水平或垂直位置有差異。也就是說，於左右鏡頭水平設置的前提下，經過影像糾正之左右影像上的各像素點應當只剩下水平位置有差異。此時，倘若左右鏡頭的拍攝方向產生改變，經過影像糾正之左右影像上的各像素點的垂直位置仍然具有差異，此現象於此稱之為影像形變。在此，形變偵測模組152可根據第一參考影像與第二參考影像上相互對應的特徵點的偏移量或是針對第一參考影像與第二參考影像進行三維深度估測來判斷參考影像群組是否發生影像形變。

更清楚來說，圖3A為依照圖2所示實施例之步驟S202的詳細流程圖。在圖3A所示的實施例中，於步驟S2021，形變偵測模組152偵測第一參考影像上的第一特徵點與第二參考影像上的第二特徵點。之後，於步驟S2022，形變偵測模組152判斷第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過門檻值。若第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量超過門檻值，於步驟S2023，形變偵測模組152判定此參考影像群組發生影像形變。也就是說，藉由分析與統計第一特徵點與第二特徵點之間的位移資訊，可據以得知是否第一參考影像與第二參考影像發生影像形變。

換句話說，形變偵測模組152可根據習知的特徵點偵測的演算方法偵測參考組影像的任一特徵點。特徵點偵測的演算方法用以偵測出影像中的多數個特徵點，例如是邊緣偵測(edge detection)、角落偵測(Conner detection)或其他特徵點偵測演算法，本發明對此並不限制。之後，形變偵測模組152判斷相互對應的第一特徵點與第二特徵點之間的座標位置偏移量是否超過上述門檻值，據以檢測參考組影像是否發生影像形變。舉例來說，形變偵測模組152可判斷相互對應的第一特徵點與第二特徵點的垂直偏移量(垂直方向上的位移差距)是否超過上述門檻值。當形變偵測模組152判斷上述垂直偏移量超過上述門檻值時，代表參考影像群組發生影像形變。

於另一實施例中，圖3B為依照圖2所示實施例之步驟S202的詳細流程圖。在圖3B所示的實施例中，於步驟S2024，形變偵測模組152依據第一參考影像與第二參考影像進行三維深度估測，以產生參考影像群組中的參考對焦目標物的參考深度資訊，並依據參考深度資訊取得關於參考目標物的深度對焦位置。接著，於步驟S2025，形變偵測模組152藉由自動對焦程序而獲取得關於參考目標物的自動對焦位置。於步驟S2026，形變偵測模組152判斷參考對焦目標物所對應的深度對焦位置是否符合自動對焦位置。若判斷為否，於步驟S2027，形變偵測模組152判定參考影像群組發生影像形變。

具體來說，形變偵測模組152可藉由立體視覺技術進行影像處理，以求得目標物於空間中的三維座標位置以及影像中各點的深度資訊。再者，依據深度資訊取得關於目標物的深度對焦位置的步驟例如是依據深度資訊查詢深度對照表來取得關於目標物的對焦位置。因此，藉由事先求得步進馬達的步數或音圈馬達的電流值與目標物清晰度的對應關係，則可依據目前獲得的目標物的深度資訊查詢到此深度資訊所對應的步進馬達的步數或音圈馬達的電流值，並據此取得關於目標物的深度對焦位置。

另一方面，執行自動對焦程序的過程可以是透過對焦單元130自動控制鏡頭模組進行大範圍的移動，以分別調整第一影像感測器110與第二影像感測器120的鏡頭至所需的對焦位置，以取得關於目標物的自動對焦位置。對焦單元130例如是利用自動對焦技術中所使用的爬山法(hill-climbing)來獲取關於目標物的自動對焦位置，但本發明並不以此為限。因此，在第一參考影像與第二參考影像未發生影像形變的條件下，影像擷取裝置100可獲取理想的深度資訊，致使深度對焦位置會與自動對焦位置一致。倘若影像擷取裝置100無法依據當前校正參數而進一步獲取理想的深度資訊，也就無法藉由深度資訊與事先儲存好的深度資訊查詢深度對照表估測出正確的深度對焦位置，因此深度對焦位置與藉由自動對焦程序所獲得的自動對焦位置將產生差異。據此，形變偵測模組152依據深度對焦位置與自動對焦位置之間的差異來判斷參考影像群組是否發生影像形變。

再次參照圖2，當形變偵測模組152偵測到參考影像群組發生影像形變時，於步驟S203，參數更新模組153依據多個影像群組對應的複數個特徵點比對值更新當前校正參數，其中當前校正參數用以對各第一影像以及對應的各第二影像進行影像糾正。也就是說，當影像擷取裝置100判定第一影像感測器110與第二影像感測器120產生變形或移位而致使第一參考影像與第二參考影像之間的參數座標改變時，代表當前校正參數已無法對影像進行準確的影像糾正。

因此，於一實施例中，參數更新模組153開始蒐集於參考影像群組之後所拍攝的多個影像群組的特徵點比對值，以藉由於第一影像感測器110與第二影像感測器120產生變形或移位後所擷取的影像進來產生理想的當前校正參數。需特別說明的是，參數更新模組153可藉由比對第一特徵點的座標位置以及分別與這些第一特徵點相對應的第二特徵點的座標位置來獲取這些特徵點比對值。再者，參數更新模組153還可依據影像的深度資訊與像素點的座標位置來產生新的當前校正參數。以下將列舉另一實施例以詳細說明之。

圖4是依照本發明一實施例所繪示的一種影像形變校正方法的流程圖。請參照圖4，本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變校正方法的詳細步驟。

首先，於步驟S401，擷取模組151透過第一影像感測器110以及第二影像感測器120擷取複數個影像群組。各影像群組分別包括第一影像以一第二影像，且影像群組包括參考影像群組。於步驟S402，形變偵測模組152偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。步驟S401以及步驟S402與前述實施例之步驟S201以及步驟S202相似或相同，於此不再贅述。

若形變偵測模組判定參考影像群組發生影像形變時，於步驟S403，深度選擇模組154針對影像群組進行三維深度估測，以產生各影像群組的深度資訊，並依據各影像群組的深度資訊決定是否保留影像群組。進一步來說，深度選擇模組154可藉由立體視覺的影像處理技術而產生關聯於第一參考影像與第二參考影像的三維深度圖。基於三維深度圖內的深度資訊，深度選擇模組 154可獲取上述三維深度圖所對應的景深範圍，並依據景深範圍來決定保留或丟棄影像群組。

詳細來說，假設深度值的最小值設定為0而最大值設定為128，即影像群組的深度值落於0~128的數值範圍內。若深度選擇模組154已蒐集到景深範圍為深度值100至深度值128的影像群組，深度選擇模組154之後將不保留其他景深範圍落於深度值100至深度值128內的影像群組。反之，若深度選擇模組154判定當前的影像群組的景深範圍落於深度值100至深度值128之外，例如是深度值0至深度值80的影像群組，深度選擇模組154將保留此影像群組，以進一步利用此影像群組的特徵點資訊。

換句話說，深度選擇模組154依據各影像群組的景深資訊來判斷各影像群組是否為有效的影像群組。倘若最新擷取的影像模組的景深範圍已經與先前的影像群組的景深範圍有大部分的重疊，深度選擇模組154將據以過濾之。基此，於一實施例中，除了藉由判斷景深範圍是否重疊來進行影像群組的保留與過濾之外，深度選擇模組154也可依據景深範圍的重疊率來決定是否保留影像群組。基此，可確保深度選擇模組154蒐集到對應至所有或大部分景深範圍的資訊，並同時依據各影像群組所對應的景深範圍來過濾多餘的資訊，以降低資料處理量並提昇資料處理速度。

之後，於步驟S404，參數更新模組153對第一影像與第二影像進行特徵點偵測，而獲取第一影像的複數個第一特徵點與第二影像的複數個第二特徵點。於步驟S405，參數更新模組153 比對第一特徵點的座標位置以及分別與第一特徵點相對應的第二特徵點的座標位置，以獲取第一特徵點與第二特徵點之間的特徵點比對值。於步驟S406，參數更新模組153紀錄第一特徵點與第二特徵點之間的特徵點比對值。

進一步來說，參數更新模組153同樣可根據習知的特徵點偵測的演算方法偵測各影像群組中第一影像與第二影像的特徵點，以取的第一影像上的第一特徵點與第二影像上的第二特徵點。接著，參數更新模組153判斷相互匹配之第一特徵點與第二特徵點於同一座標系統下的偏移量(offset)並將偏移量作為特徵點比對值。其中，相互匹配之第一特徵點與第二特徵點投影至被攝場景中的同一位置。換言之，特徵點比對值也可視為第一特徵點與第二特徵點之間的像差。之後，參數更新模組153將第一特徵點與第二特徵點之間的特徵點比對值紀錄至一資料庫，以建立用以更新當前校正參數的校正資料庫。值得一提的是，當判定參考影像群組發生形變時，擷取模組151仍持續擷取影像而獲得多個影像群組，而參數更新模組153也持續將透過計算而產生之各影像群組的特徵點比對值紀錄至校正資料庫。

於步驟S407，參數更新模組153依據第一特徵點的座標位置或/及第二特徵點的座標位置分類各特徵點比對值至複數個統計槽。也就是說，參數更新模組153除了將特徵點比對值紀錄至校正資料庫之外，還依據特徵點比對值對應於一座標系統下的座標位置而分類至不同統計槽。具體來說，於一實施例中，參數更新模組153可將第一影像感測器110所擷取的第一影像區分為多個影像區塊，且每一影像區塊對應至一個統計槽。因此依據第一特徵點的座標位置，參數更新模組153可將特徵點比對值依序對應至這些影像區塊其中之一，從而將上述特徵點比對值分類至對應的統計槽。

舉例來說，圖5A與圖5B是根據本發明一實施例所繪示之分類特徵點比對值至統計槽的範例示意圖。於本範例中，首先參照圖5A，參數更新模組153將第一影像Img1分割為三乘三的9個影像區塊Z1~Z9。參數更新模組153更依據第一特徵點的座標位置來決定第一特徵點落於那一影像區塊。如圖5A所示，參數更新模組153可依據第一特徵點A的座標位置而得知第一特徵點A位於影像區塊Z2內。同樣地，參數更新模組153可依據第一特徵點B的座標位置而得知第一特徵點B位於影像區塊Z6內。

請參照圖5B，於本範例中，第一影像Img1被分割為9個影像區塊Z1~Z9，而影像區塊Z1~Z9分別對應至統計槽S1~S9。其中，影像區塊Z1對應至統計槽S1，而影像區塊Z2對應至統計槽S2，依此類推。基此，由於第一特徵點A位於影像區塊Z2內，第一特徵點A所對應的特徵點比對值△d_A被分類至統計槽S2。由於第一特徵點B位於影像區塊Z6內，而第一特徵點B所對應的特徵點比對值△d_B被分類至統計槽S6。需說明的是，圖5A與圖5B僅為一種示範性實施方式，非以限定本發明。

另外，於一實施例中，基於第一特徵點與對應的第二特徵點為被攝場景中的同一位置點，第一影像與第二影像上對應的特徵點經由座標轉換計算後將投影至三維座標系統下的相同座標點。因此，參數更新模組153可依據第一特徵點與第二特徵點的投影於三維座標系統下的座標位置來將特徵點比對值分類至對應的統計槽。更進一步來說，基於立體視覺技術進行影像處理，參數更新模組153可求得影像中各點的深度資訊以及對應的三維座標位置。參數更新模組153可將第一特徵點與第二特徵點所對應之三維投影點的水平分量與垂直分量來決定特徵點比對值所對應的統計槽。

於是，於步驟S408，參數更新模組153依據各個統計槽中特徵點比對值的數量與特徵點比對值所對應的複數個深度值，判斷特徵點比對值是否足夠進行運算。其中深度值係透過對第一特徵點與對應的第二特徵點進行三維深度估測而獲取。可以知道的是，隨著影像群組之數量的上升，校正資料庫內的所紀錄的資訊量也越來越多。在此，參數更新模組153可根據各個統計槽中特徵點比對值的數量與特徵點比對值的深度值來判斷當前紀錄於校正資料庫的資料量是否足夠。

基於前述可知，這些特徵點比對值已被參數更新模組153依據特徵點資訊而分類至對應的統計槽。因此，參數更新模組153可根據各統計槽中特徵點比對值的總數目來判定校正資料庫是否具備足夠的資料量。詳細來說，為了產生符合當下鏡頭設置狀況以將左右影像轉正至理想狀態的當前校正參數，提供特徵點資訊的特徵點最好是可以平均的分佈於影像上。藉由平均分佈於影像上各區域的特徵點所提供的特徵點資訊，可更精準的計算出整張影像的旋轉量或歪斜狀況。

於本實施例中，這些特徵點比對值被參數更新模組153依據特徵點的座標位置而分類至對應的統計槽，因此各個統計槽所對應之特徵點比對值的總數可表示出特徵點的空間分佈情況。因此，參數更新模組153判斷每一統計槽內之特徵點比對值的數量是否足夠，來作為決定資料量是否足以計算出準確的當前校正參數的決定機制。

以圖5B為例進行說明，參數更新模組153將特徵點比對值分類至9個統計槽S1~S9中，其中統計槽S1至少包括特徵點比對值△d_A，統計槽S6至少包括特徵點比對值△d_B。當參數更新模組153持續紀錄不同影像群組的各特徵點比對值於各統計槽時，各個統計槽中的特徵點比對值也持續累積(如圖5B的虛線所示)。一旦各統計槽S1~S9中的特徵點比對值足夠，參數更新模組153可開始進行當前校正參數的更新動作。舉例來說，參數更新模組153可判斷每一統計槽S1~S9對應的數目是否超過預設門檻值TH而決定校正資料庫內的資料量是否足夠。然，上述範例僅為一種示範性實施方式，並非用以限定本發明。此技術領域中具有通常知識者當可依據實際需求來選擇特徵比對值的分類方式與依據統計槽判定資料量是否足夠的判斷條件，此處不再贅述。

另外，參數更新模組153也可藉由深度資訊來判定當前的校正資料庫內的資料量是否足夠。詳細來說，透過對第一特徵點與對應的第二特徵點進行三維深度估測可獲取這些特徵點比對值各自對應的深度值(depth value)。基於前述可知，深度選擇模組154已將景深範圍重複性過大的影像群組過濾掉，而參數更新模組153將判定是否已針對大部分的深度值蒐集到對應的特徵點比對值。換言之，於一實施例中，參數更新模組153同樣依據特徵點比對值各自對應的深度值來分類各個特徵點比對值，並判斷每一深度值所對應之特徵點比對值的數目是否足夠，而判定校正資料庫內的資料量是否足夠。

值得一提的是，倘若於建立校正資料庫的過程中，第一影像感測單元110與第二影像感測單元之間的空間設置關係又改變時，代表校正資料庫內的所紀錄的資料已無法使用。於一實施例中，參數更新模組153還可在紀錄特徵點比對值至校正資料庫之前，判斷此特徵點比對值是否與校正資料庫內的資料具有相當的差異。若是，參數更新模組153可將先前所紀錄的資料丟棄，並重新開始建立另一校正資料庫，因此而獲取最理想的當前校正參數。

也就是說，一旦參數更新模組153判斷校正資料庫內的資料量足夠，參數更新模組153便可停止紀錄並開始計算新的當前校正參數。反之，參數更新模組153持續紀錄新的特徵點比對值至校正資料庫。因此，若步驟S408判斷為是，於步驟S409，參數更新模組153依據特徵點比對值更新當前校正參數。參數更新模組153例如利用校正資料庫內的特徵比對值來進行最佳化演算法而尋找出最佳的當前校正參數，致使經當前校正參數校正後的兩影像可對應至理想的參數座標關係。最佳化演算法例如是梯度下降法(gradient decent method)、萊文貝格-馬夸特方法(Levenberg-Marquardt method，LM method)或高斯牛頓演算法(Gauss-Newton method)等，本發明對此不限制。

綜上所述，在本發明的一實施例中，當影像擷取裝置即時的偵測到影像發生形變時，透過校正資料庫的建立來適應性地校正預存於影像擷取裝置的當前校正參數，以將左右影像校正至理想的參數座標關係。如此一來，可在使用者無察覺的情況下進行當前校正參數的調整，以確保影像擷取裝置的拍攝品質。再者，本發明的實施例可進一步依據深度資訊與特徵點位置來判斷資料庫中的特徵點資訊是否蒐集完整。藉此，一旦蒐集到足夠的資料量，可立即的藉由校正資料庫內所紀錄的特徵點比對值來產生新的當前校正參數，從而大幅縮短蒐集資料與進行校正的所需時間。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims

一種影像形變校正方法，適用於具有一第一影像感測器與一第二影像感測器的一影像擷取裝置，其中該影像擷取裝置具有關聯於該第一影像感測器與該第二影像感測器的一當前校正參數，該影像形變校正方法包括：透過該第一影像感測器以及該第二影像感測器擷取複數個影像群組，其中各所述影像群組分別包括一第一影像以及一第二影像，所述影像群組包括一參考影像群組；偵測該參考影像群組中的一第一參考影像與一第二參考影像是否發生一影像形變；以及當偵測到該參考影像群組發生該影像形變時，依據所述影像群組對應的複數個特徵點比對值更新該當前校正參數，其中該當前校正參數用以對各所述第一影像以及對應的各所述第二影像進行一影像糾正。
如申請專利範圍第1項所述的影像形變校正方法，其中偵測該參考影像群組是否發生該影像形變的步驟包括：偵測該第一參考影像的一第一特徵點與該第二參考影像的一第二特徵點；以及判斷該第一特徵點與該第二特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值，若是，判定該參考影像群組發生該影像形變。
如申請專利範圍第1項所述的影像形變校正方法，其中偵測該參考影像群組是否發生該影像形變的步驟包括：依據該第一參考影像與該第二參考影像進行一三維深度估測，以產生該參考影像群組中的一參考對焦目標物的一參考深度資訊，並依據該參考深度資訊取得關於該參考目標物的一深度對焦位置；藉由一自動對焦程序而獲取得關於該參考目標物的一自動對焦位置；以及判斷該參考對焦目標物所對應的深度對焦位置是否符合該自動對焦位置，若否，判定該參考影像群組發生該影像形變。
如申請專利範圍第1項所述的影像形變校正方法，其中在依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟之前，該影像校正方法更包括：針對所述影像群組進行一三維深度估測，以產生各所述影像群組的一深度資訊；以及依據各所述影像群組的該深度資訊決定是否保留所述影像群組。
如申請專利範圍第1項所述的影像形變校正方法，其中依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟更包括：對所述第一影像與所述第二影像進行一特徵點偵測，而獲取所述第一影像的複數個第一特徵點與所述第二影像的複數個第二特徵點；比對所述第一特徵點的座標位置以及分別與所述第一特徵點相對應的所述第二特徵點的座標位置，以獲取所述第一特徵點與所述第二特徵點之間的所述特徵點比對值；以及紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值。
如申請專利範圍第5項所述的影像形變校正方法，其中紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值的步驟更包括：依據所述第一特徵點的座標位置或/及所述第二特徵點的座標位置分類各所述特徵點比對值至複數個統計槽。
如申請專利範圍第6項所述的影像形變校正方法，其中依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟包括：依據所述統計槽中所述特徵點比對值的數量與所述特徵點比對值所對應的複數個深度值，判斷所述特徵點比對值是否足夠進行運算，若是，依據所述特徵點比對值更新該當前校正參數，其中所述深度值係透過對所述第一特徵點與對應的所述第二特徵點進行一三維深度估測而獲取。
一種影像擷取裝置，具有一第一影像感測器與一第二影像感測器，該影像擷取裝置包括：一儲存單元，紀錄多個模組，並儲存關聯於該第一影像感測器與該第二影像感測器的一當前校正參數；以及一處理單元，耦接該第一影像感測器、該第二影像感測器以及一儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一擷取模組，透過該第一影像感測器與該第二影像感測器擷取複數個影像群組，各所述影像群組分別包括該第一影像感測器的一第一影像以及該第二影像感測器的一第二影像，而所述影像群組包括一參考影像群組；一形變偵測模組，偵測該參考影像群組中的一第一參考影像與一第二參考影像是否發生一影像形變；一參數更新模組，當該參考影像群組發生該影像形變時，該參數更新模組依據所述影像群組對應的複數個特徵點比對值更新該當前校正參數，其中該當前校正參數用以對各所述第一影像以及對應的各所述第二影像進行一影像糾正。
如申請專利範圍第8項所述的影像擷取裝置，其中該形變偵測模組偵測該第一參考影像的一第一特徵點與該第二參考影像的一第二特徵點，該形變偵測模組判斷該第一特徵點與該第二特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值，若是，該形變偵測模組判定該參考影像群組發生該影像形變。
如申請專利範圍第8項所述的影像擷取裝置，其中該形變偵測模組依據該第一參考影像與該第二參考影像進行一三維深度估測，以產生該參考影像群組中的一參考對焦目標物的一參考深度資訊，並依據該參考深度資訊取得關於該參考目標物的一深度對焦位置，該形變偵測模組藉由一自動對焦程序而獲取得關於該參考目標物的一自動對焦位置，且該形變偵測模組判斷該參考對焦目標物所對應的深度對焦位置是否符合該自動對焦位置，若否，該形變偵測模組判定該參考影像群組發生該影像形變。
如申請專利範圍第8項所述的影像擷取裝置，其中所述模組更包括：一深度選擇模組，該深度選擇模組針對所述影像群組進行一三維深度估測，以產生各所述影像群組的一深度資訊，且該深度選擇模組依據各所述影像群組的該深度資訊決定是否保留所述影像群組。
如申請專利範圍第8項所述的影像擷取裝置，其中該參數更新模組對所述第一影像與所述第二影像進行一特徵點偵測，而獲取所述第一影像的複數個第一特徵點與所述第二影像的複數個第二特徵點，該參數更新模組對所述第一特徵點的座標位置以及分別與所述第一特徵點相對應的所述第二特徵點的座標位置，以獲取所述第一特徵點與所述第二特徵點之間的所述特徵點比對值，該參數更新模組紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值。
如申請專利範圍第12項所述的影像擷取裝置，其中該參數更新模組依據所述第一特徵點的座標位置或/及所述第二特徵點的座標位置分類各所述特徵點比對值至複數個統計槽。
如申請專利範圍第13項所述的影像擷取裝置，其中該參數更新模組依據所述統計槽中所述特徵點比對值的數量與所述特徵點比對值所對應的複數個深度值，判斷所述特徵點比對值是否足夠進行運算，若是，該參數更新模組依據所述特徵點比對值更新該當前校正參數，其中所述深度值係透過對所述第一特徵點與對應的所述第二特徵點進行一三維深度估測而獲取。