TWI494680B - 影像擷取裝置及其影像形變校正方法 - Google Patents

Description

影像擷取裝置及其影像形變校正方法

本發明是有關於一種影像擷取裝置，且特別是有關於一種影像擷取裝置的影像形變校正方法。

隨著科技的發展，各式各樣的智慧型影像擷取裝置，舉凡平板型電腦、個人數位化助理、及智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型影像擷取裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更具有接近數位單眼的畫素和畫質或是拍攝三維影像的功能。

一般而言，影像擷取裝置在執行自動對焦程序的過程可以是透過步進馬達(Stepping Motor)、音圈馬達(Voice Coil Motor，VCM)等對焦致動器(focusing actuator)移動鏡頭的方式達到對焦。因此，此類影像擷取裝置在出廠前可預先求得目標物之對焦距離與對焦致動器之移動步數(Step)的對應關係，彙整為一個對照表，並預存於影像擷取裝置中。如此一來，當影像擷取 裝置在對目標物執行自動對焦程序時，可依據目標物的深度資訊取得目標物的對焦距離，繼而查詢到對焦致動器所需移動的步數，並據此移動鏡頭。然而，一般在使用者實際地使用上述影像擷取裝置時，影像擷取裝置往往會由於不慎摔落、撞擊、擠壓、溫度或濕度的變化等外在因素，而導致第一鏡頭、第二鏡頭以及對焦致動器產生變形或移位，進而使得影像擷取裝置在對物體進行拍攝時，在進行對焦程序時產生誤差。

有鑑於此，本發明提供一種影像擷取裝置及其影像形變校正方法，其可隨時檢測影像擷取裝置的第一鏡頭、第二鏡頭以及對焦致動器是否產生變形或移位，並且隨時對影像擷取裝置進行校正，以確保影像擷取裝置的穩定品質。

本發明提出一種影像擷取裝置的影像形變校正方法，適用於具有第一鏡頭、第二鏡頭、對焦致動器以及預存第一對焦步數與對焦距離的對應關係的影像擷取裝置，此影像形變校正方法包括下列步驟。首先，利用第一鏡頭以及第二鏡頭擷取多組影像，其中各所述組影像分別包括對應於第一鏡頭的第一影像以及對應於第二鏡頭的第二影像，所述組影像包括參考組影像，參考組影像包括對應於第一鏡頭的第一參考影像以及對應於第二鏡頭的第二參考影像。接著，偵測參考組影像是否發生影像形變。當偵測到參考組影像發生影像形變時，根據各所述組影像中的對焦目標 物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係，其中各所述組影像中的對焦目標物所對應的對焦步數為對焦致動器移動第一鏡頭與第二鏡頭至對焦位置而產生各所述組影像所需的步數。

在本發明的一實施例中，上述偵測參考組影像是否發生影像形變的步驟包括：偵測參考組影像中的特徵點分別於第一參考影像以及第二參考影像的影像座標；判斷特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過一門檻值；若是，則判斷參考組影像發生影像形變。

在本發明的一實施例中，上述偵測參考組影像是否發生影像形變的步驟包括：針對第一參考影像與第二參考影像進行一三維深度估測，以產生參考組影像中的參考對焦目標物的參考深度資訊；根據參考深度資訊取得參考對焦目標物所對應的對焦距離；判斷參考對焦目標物所對應的對焦步數以及對焦距離是否符合第一對焦步數與對焦距離的對應關係；若否，則判斷參考組影像發生影像形變。

在本發明的一實施例中，當偵測到參考組影像發生影像形變時，在根據各所述組影像中的對焦目標物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係的步驟之前，上述的影像形變校正方法更包括下列步驟。偵測該影像擷取裝置的對焦條件，其中對焦條件包括遠景對焦條件以及近景對焦條件。

在本發明的一實施例中，當偵測到參考組影像發生影像形變並且上述對焦條件為遠景對焦條件時，根據各所述組影像中的對焦目標物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係的步驟包括：記錄各所述組影像中的對焦目標物所對應的對焦步數；當各所述組影像中的對焦目標物所對應的對焦步數達到一收斂值時，取得第一對焦步數與對焦距離的對應關係中的最小對焦步數，並且計算最小對焦步數與收斂值的差值，據以校正該第一對焦步數與對焦距離的對應關係。

在本發明的一實施例中，而當偵測到參考組影像發生影像形變並且上述對焦條件為近景對焦條件時，根據各所述組影像中的對焦目標物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係的步驟包括：針對各所述組影像進行三維深度估測，以產生各所述組影像中的對焦目標物的深度資訊；根據各所述深度資訊，取得各所述組影像中的對焦目標物所對應的對焦距離；根據各所述組影像中的對焦目標物所對應的對焦距離以及對焦步數，進行迴歸運算，並且根據迴歸運算的結果，校正第一對焦步數與對焦距離的對應關係。

本發明另提出一種影像擷取裝置，包括第一鏡頭、第二鏡頭、對焦致動器、儲存單元以及一或多個處理單元，其中對焦致動器耦接第一鏡頭以及第二鏡頭，所述處理單元耦接第一鏡頭、第二鏡頭、對焦致動器以及儲存單元。儲存單元用以記錄多個模組以及第一對焦步數與對焦距離的對應關係。所述處理單元 用以存取並執行儲存單元中記錄的所述模組。所述模組包括影像擷取模組、對焦模組、形變偵測模組以及校正模組。影像擷取模組利用第一鏡頭以及第二鏡頭擷取多組影像，其中各所述組影像分別包括對應於第一鏡頭的第一影像以及對應於第二鏡頭的第二影像，所述組影像包括參考組影像，參考組影像包括對應於第一鏡頭的第一參考影像以及對應於第二鏡頭的第二參考影像。對焦模組用以控制對焦致動器移動第一鏡頭與第二鏡頭至對焦位置。形變偵測模組用以偵測參考組影像是否發生影像形變。當形變偵測模組偵測到參考組影像發生影像形變時，校正模組根據各所述組影像中的對焦目標物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係，其中各所述組影像中的對焦目標物所對應的對焦步數為對焦致動器移動第一鏡頭與第二鏡頭至對焦位置而產生各所述組影像所需的步數。

在本發明的一實施例中，上述的形變偵測模組偵測參考組影像中的特徵點分別於第一參考影像以及第二參考影像的影像座標，並且判斷特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過門檻值。若是，則形變偵測模組判斷參考組影像發生影像形變。

在本發明的一實施例中，上述的形變偵測模組針對第一參考影像與第二參考影像進行三維深度估測，以產生參考組影像中的參考對焦目標物的參考深度資訊，再根據參考深度資訊取得參考對焦目標物所對應的對焦距離，並且判斷參考對焦目標物所 對應的對焦步數以及對焦距離是否符合第一對焦步數與對焦距離的對應關係。若否，則形變偵測模組判斷參考組影像發生影像形變。

在本發明的一實施例中，上述的影像擷取裝置更包括條件偵測模組，用以偵測影像擷取裝置的對焦條件，其中對焦條件包括遠景對焦條件以及近景對焦條件。

在本發明的一實施例中，當上述的對焦條件為遠景對焦條件時，校正模組記錄各所述組影像中的對焦目標物所對應的對。焦步數。而當各所述組影像中的對焦目標物所對應的對焦步數達到一收斂值時，校正模組取得第一對焦步數與對焦距離的對應關係中的最小對焦步數，並且計算最小對焦步數與收斂值之間的差值，據以校正第一對焦步數與對焦距離的對應關係。

在本發明的一實施例中，當上述的對焦條件為近景對焦條件時，校正模組針對各所述組影像進行三維深度估測，以產生各所述組影像中的對焦目標物的深度資訊，再根據各所述深度資訊，取得各所述組影像中的對焦目標物所對應的對焦距離，又根據各所述組影像中的對焦目標物所對應的對焦距離以及對焦步數，進行迴歸運算，以及根據迴歸運算的結果，校正第一對焦步數與對焦距離的對應關係。

基於上述，本發明所提出的影像擷取裝置及其影像形變校正方法，在影像擷取裝置的第一鏡頭、第二鏡頭以及對焦致動器有變形或移位之疑慮時，影像擷取模組可利用第一鏡頭以及第 二鏡頭所擷取多組影像中的對焦目標物所對應的對焦距離以及對焦致動器將第一鏡頭以及第二鏡頭移動至對焦距離所需的對焦步數，來校正預存於影像擷取裝置的第一對焦步數與對焦距離的對應關係。本發明所提出的影像擷取裝置及其影像形變校正方法可在影像擷取模組擷取到多組影像時，即便在使用者無察覺的情況下，可自動對影像擷取裝置進行簡易且快速的校正，以確保影像擷取裝置的穩定拍攝品質並且提升使用者經驗(user experience)。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像擷取裝置

10a‧‧‧第一鏡頭

10b‧‧‧第二鏡頭

15‧‧‧對焦致動器

20‧‧‧儲存單元

30‧‧‧處理單元

122‧‧‧影像擷取模組

124‧‧‧對焦模組

126‧‧‧形變偵測模組

128‧‧‧校正模組

S201~S205‧‧‧影像擷取裝置的影像形變校正方法流程

S301~S317‧‧‧影像擷取裝置的影像形變校正方法流程

41、42、51、52‧‧‧直線

421、521~531‧‧‧點

圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖。

圖2為根據本發明之一實施例所繪示的影像擷取裝置的影像形變校正方法流程圖。

圖3為根據本發明之一實施例所繪示的影像擷取裝置的影像形變校正方法流程圖。

圖4是根據本發明一實施例所繪示之校正第一對焦步數與對焦距離的對應關係的示意圖

圖5A以及圖5B是根據本發明一實施例所繪示之校正第一視差與距離的對應關係的示意圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像擷取裝置之所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像擷取裝置100包括第一鏡頭10a、第二鏡頭10b、對焦致動器15、儲存單元20以及一或多個處理單元30。在本實施例中，影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理、平板電腦等、頭戴顯示器等裝置，本發明不以此為限。

第一鏡頭10a以及第二鏡頭10b包括感光元件，用以分別感測進入第一鏡頭10a以及第二鏡頭10b的光線強度，進而分別產生第一影像以及第二影像。所述的感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其 他元件，本發明不在此設限。

對焦致動器15耦接第一鏡頭10a以及第二鏡頭10b，其可以例如是步進馬達(Stepping Motor)、音圈馬達(Voice Coil Motor，VCM)、壓電致動器(Piezo Actuator)或其它可機械式地移動第一鏡頭10a以及第二鏡頭10b達成對焦的致動器，本發明不在此設限。

儲存單元20例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存單元20用以記錄可由處理單元30執行的多個模組，這些模組可載入處理單元30，以校正影像擷取裝置100。

處理單元30可以例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元30耦接第一鏡頭10a、第二鏡頭10b、對焦致動器15以及儲存單元20，其可存取並執行記錄在儲存單元20中的模組，以校正影像擷取裝置100。

上述模組包括影像擷取模組122、對焦模組124、形變偵 測模組126以及校正模組128，其可載入處理單元30，從而執行校正影像擷取裝置100的功能。以下即列舉實施例說明針對影像擷取裝置100執行校正的詳細步驟。

圖2為根據本發明之一實施例所繪示的影像擷取裝置的影像形變校正方法流程圖，而圖2的影像擷取裝置的影像形變校正方法可以圖1的影像擷取裝置100的各元件實現。

請同時參照圖1以及圖2，首先，影像擷取模組122利用第一鏡頭10a以及第二鏡頭10b擷取多組影像，其中所述組影像包括參考組影像(步驟S201)。在此，第一鏡頭10a以及第二鏡頭10b例如是採用相同的參數擷取影像，而所述參數包括焦距、光圈、快門、白平衡等，本實施例並不設限。影像擷取模組122所擷取的多組影像例如是多組預覽影像(preview image)，各所述組影像分別包括對應於第一鏡頭10a的第一影像以及對應於第二鏡頭10b的第二影像。以下將針對多組影像中的其中一組影像進行說明，即為前述的「參考組影像」，而參考組影像包括對應於第一鏡頭10a的第一參考影像以及對應於第二鏡頭10b的第二參考影像。

接著，形變偵測模組126將偵測上述參考組影像是否發生影像形變(步驟S203)。在此，形變偵測模組126可根據參考組影像的任一特徵點的偏移量或是針對參考組影像進行三維深度估測來判斷參考組影像是否發生影像形變，本發明不在此設限。

詳言之，在一實施例中，形變偵測模組126可根據習知 的特徵點偵測的演算方法(feature detection algorithm)偵測參考組影像的任一特徵點後，並且判斷此特徵點分別在第一參考影像以及第二參考影像的偏移量(offset)是否超過上述門檻值，據以檢測參考組影像是否發生影像形變。在本實施例中，形變偵測模組126偵測出特徵點後，可判斷此特徵點分別於第一參考影像與第二參考影像的垂直偏移量(亦即，Y軸座標的差距)是否超過上述門檻值。當形變偵測模組126判斷參考組影像的特徵點的偏移量沒超過上述門檻值時，代表參考組影像並無發生影像形變，影像擷取裝置100將結束影像形變校正方法的流程。反之，當形變偵測模組126判斷參考組影像的所述特徵點的偏移量超過上述門檻值時，代表參考組影像發生影像形變，則影像擷取裝置100將接續執行影像形變校正方法的流程。

以另一觀點而言，由於影像擷取模組122在擷取參考組影像前，對焦模組124已利用例如是爬山法(Hill Climbing)等自動對焦技術控制對焦制動器15移動第一鏡頭10a以及第二鏡頭10b至對焦位置，以變更第一鏡頭10a以及第二鏡頭10b與被攝物體之間的距離來取得具有最大清晰度的被攝物體影像，因此在此將參考組影像中具有最大清晰度的被攝物體定義為「參考對焦目標物」。在本實施例中，形變偵測模組126可根據參考對焦目標物的深度資訊來判斷參考組影像是否發生影像形變。具體而言，形變偵測模組126可藉由立體視覺技術(stereo vision)將參考組影像處理，以求得參考對焦目標物於空間中的深度資訊，並且依據 深度資訊取得參考對焦目標物的物距，也就是參考對焦目標物的對焦距離。

必須說明的是，越靠近影像擷取裝置100的被攝物體，對焦致動器15所須移動第一鏡頭10a以及第二鏡頭10b至對焦位置所須的步數越多；越遠離影像擷取裝置100的被攝物體，對焦致動器15所須移動第一鏡頭10a以及第二鏡頭10b至對焦位置所須的步數越少，因此，被攝物體之對焦距離與對焦致動器15之移動步數存在著一個對應關係，在此定義為「第一對焦距離與對焦步數的對應關係」。儲存單元20可預先儲存第一對焦距離與對焦步數的對應關係彙整為一個查找表(look-up table,LUT)，其中查找表的輸入索引為對焦距離，而查找表的輸出為對焦步數。然而，當第一鏡頭10a、第二鏡頭10b以及對焦致動器15產生變形或移位時，則預存於儲存單元20的第一對焦距離與對焦步數的對應關係為不可靠。

因此，形變偵測模組126可判斷參考對焦目標物所對應的對焦步數以及對焦距離是否符合預存於儲存單元20的第一對焦步數與對焦距離的對應關係。換言之，形變偵測模組126可判斷根據深度資訊取得的對焦距離以及對焦模組124移動第一鏡頭10a以及第二鏡頭10b以獲得參考組影像所需的步數是否符合第一對焦步數與對焦距離的對應關係。當形變偵測模組126參考對焦目標物所對應的對焦步數以及對焦距離符合第一對焦步數與對焦距離的對應關係時，代表參考組影像並無發生影像形變，影像擷取 裝置100將結束影像形變校正方法的流程。反之，當形變偵測模組126參考對焦目標物所對應的對焦步數以及對焦距離不符合第一對焦步數與對焦距離的對應關係時，代表參考組影像發生影像形變，則影像擷取裝置100將接續執行影像形變校正方法的流程。

當形變偵測模組126偵測到參考組影像發生影像形變時，校正模組128根據各所述組影像中的對焦目標物所對應的對焦步數以及對焦距離，校正第一對焦步數與對焦距離的對應關係(步驟S205)，以完成校正流程。在此，校正模組128可利用不同對焦距離所擷取的影像來對第一對焦步數與對焦距離的對應關係進行校正。詳盡的步驟將在後續段落中搭配實施例進行說明。

圖3是根據本發明之一實施例所繪示的影像擷取裝置的影像形變校正方法流程圖。在本實施例中，影像擷取裝置100更包括條件偵測模組(未繪示)，用以偵測影像擷取裝置100的對焦條件，據以利用不同方式對第一對焦步數與對焦距離的對應關係進行校正。

請同時參照圖1以及圖3，首先，影像擷取模組122利用第一鏡頭10a以及第二鏡頭10b擷取多組影像，其中所述組影像包括參考組影像(步驟S301)。接著，形變偵測模組126將偵測上述參考組影像是否發生影像形變(步驟S303)。步驟S301以及步驟S303可分別參照步驟S201以及步驟S203的相關說明，於此不再贅述。當形變偵測模組126無偵測到參考組影像發生影像形變時，影像擷取裝置100將結束影像形變校正方法的流程。反之， 當形變偵測模組126偵測到參考組影像發生影像形變時，條件偵測模組偵測影像擷取裝置100的對焦條件(步驟S305)。在此的對焦條件包括遠景對焦條件以及近景對焦條件。詳言之，當影像擷取模組122利用第一鏡頭10a以及第二鏡頭10b取得例如是多組預覽影像時，條件偵測模組可偵測影像擷取裝置100所述組影像的內容為遠景或是近景。在此的遠景例如是室外景像(outdoor scene)，而近景例如是室內景像(indoor scene)。條件偵測模組偵測對焦條件的方式可以是偵測環境光源的亮度值、利用影像辨識演算方式(pattern recognition)來辨識影像內容的場景、或是第一鏡頭10a以及第二鏡頭10b所採用的參數等多種方式，本發明不在此設限。

當條件偵測模組判斷對焦條件為遠景對焦條件時，校正模組128將記錄各所述組影像中的對焦目標物所對應的對焦步數(步驟S307)。詳言之，由於影像擷取模組122擷取的各所述影像皆為遠景對焦條件下所取得的影像，各所述影像中具有最大清晰度的被攝物體(在此定義為「對焦目標物」)位於相對於第一鏡頭10a以及第二鏡頭10b無限遠(infinity)的位置。在本實施例中，此無限遠的位置可以為相對於第一鏡頭10a以及第二鏡頭10b距離5公尺以上的位置。校正模組128將記錄影像擷取模組122擷取對焦距離為無限遠所須移動第一鏡頭10a以及第二鏡頭10b的步數。

當各所述組影像中的對焦目標物所對應的對焦步數達到 一收斂值時，校正模組128將取得對焦步數與對焦距離的對應關係中的最小對焦步數(步驟S309)，並且計算最小對焦步數與收斂值的差值，據以校正第一對焦步數與對焦距離的對應關係(步驟S311)。詳言之，在對焦距離範圍內，對焦步數與對焦距離的對應關係呈一負線性關係(negative linear relationship)。當影像擷取模組122所擷取的各所述組遠景影像所對應的對焦步數收斂(converge)至一最小值時，此收斂值代表對焦致動器15在對位於無限遠的對焦目標物進行對焦所需移動的步數。接著，校正模組128可取得第一對焦步數與對焦距離的對應關係中的最小對焦步數，並且根據最小對焦步數與收斂值之間的差值來校正第一對焦步數與對焦距離的對應關係。

舉例來說，表1為影像擷取模組122在擷取十組遠景影像對焦致動器15所需移動的步數：

在表1中，影像擷取單元122擷取的10組皆為遠景影像，其所對應的對焦步數收斂於300，也就是說收斂值為300。校正模組128將利用此收斂值300來對第一對焦步數與對焦距離的對應關係進行校正。

圖4是根據本發明一實施例所繪示之校正對焦步數與對焦距離的對應關係的示意圖。

請先參照圖4，直線41為對焦距離範圍為0.2公尺到5公尺的第一對焦步數與對焦距離的對應關係，其中對焦距離為0.2公尺所對應的對焦步數為600，對焦距離為5公尺所對應的對焦步數為200。換言之，在本實施例中，前述的最小對焦步數為200。在表1的範例中，由於影像擷取模組122在所擷取的所述組遠景影像所對應的對焦步數收斂至300，則校正模組128可判斷此為對焦距離為5公尺時所對應的對焦步數，其可以點421來表示。校正模組128可根據點421與直線41的最短距離來對第一對焦步數與對焦距離的對應關係進行校正。簡言之，此最短距離也就是最小對焦步數與收斂值於Y軸方向的差值，而校正模組128將根據此差值對第一對焦步數與對焦距離的對應關係進行校正。

以圖4為例，校正模組128會將直線41往Y軸正方向平移，使得直線41往上移動至與點421重疊，而直線41最終移動至的位置即為直線42所在之處，其中直線42即為新的對焦步數與對焦距離的對應關係。校正模組128則會將新的對焦步數與對焦距離的對應關係取代預存於儲存單元20的第一對焦步數與對焦距離的對應關係，以完成校正程序。

當條件偵測模組判斷對焦條件為近景對焦條件時，校正模組128將針對各所述組影像進行三維深度估測，以產生各所述組影像中的對焦目標物的深度資訊(步驟S313)，並且根據各所述深度資訊，取得各所述組影像中的該對焦目標物所對應的對焦距離(步驟S315)。具體而言，校正模組128可藉由立體視覺技術 將各所述組影像進行處理，以求得各所述組影像中對焦目標物於空間中的深度資訊，並且依據深度資訊取得各所述組影像中對焦目標物的物距，也就是對焦目標物的對焦距離。

接著，校正模組128可根據各所述組影像中的對焦目標物所對應的對焦距離以及對焦步數，進行迴歸運算，並且根據迴歸運算的結果，校正對焦步數與對焦距離的對應關係(步驟S317)。換言之，校正模組128會將所收集到的多組對焦距離以及對焦步數進行迴歸分析(Regression Analysis)。在本實施例中，由於第一對焦步數與對焦距離的對應關係是呈負線性關係，因此校正模組128會利用線性回歸模型(Linear Regression Model)，找出所述組對焦距離以及對焦步數的擬合回歸線(Fitted Regression Line)，以取代第一對焦步數與對焦距離的對應關係。

舉例來說，圖5A以及圖5B是根據本發明一實施例所繪示之校正對焦步數與對焦距離的對應關係的示意圖。請先參照圖5A，直線51為對焦距離範圍為0.2公尺到5公尺的對焦步數與對焦距離的對應關係，其中對焦距離為0.2公尺所對應的對焦步數為600，對焦距離為5公尺所對應的對焦步數為200。當影像擷取模組122擷取11組影像後，此11組影像的對焦距離與對焦步數可以點521~531來表示。在本實施例中，校正模組128可利用最小平方誤差迴歸模型(Least Square Regression Model)來對點521~531進行迴歸分析。然而，在其它實施例中，校正模組128可利用其它線性回歸模型來對點521~531進行迴歸分析，本發明不在 此受限。校正模組128在利用針對點521~531進行迴歸分析後所計算出的擬合回歸線為圖5B的直線52，即代表新的對焦步數與對焦距離的對應關係。而校正模組128則會將新的對焦步數與對焦距離的對應關係取代預存於儲存單元20中的第一對焦步數與對焦距離的對應關係，以完成校正程序。

附帶一提的是，在另一實施例中，當影像擷取單元122擷取的多組影像中包括遠景對焦條件以及近景對焦條件下所取得的影像時，校正模組128可先根據近景對焦條件下所取得的影像，執行步驟S313~S317以對第一對焦步數與對焦距離的對應關係進行校正，再根據遠景對焦條件下所取得的影像，執行步驟S307~S311以對新的對焦步數與對焦距離的對應關係再進行校正，使得整個校正結果更為精確。在另一實施例中，校正模組128亦可先根據遠景對焦條件下所取得的影像，執行步驟S307~S311以對第一對焦步數與對焦距離的對應關係進行校正，再根據近景對焦條件下所取得的影像，執行步驟S313~S317以對新的對焦步數與對焦距離的對應關係再進行校正。本發明不在此設限。

綜上所述，本發明所提出的影像擷取裝置及其影像形變校正方法，在影像擷取裝置的第一鏡頭、第二鏡頭以及對焦致動器有變形或移位之疑慮時，影像擷取模組可利用第一鏡頭以及第二鏡頭所擷取多組影像中的對焦目標物所對應的對焦距離以及對焦致動器將第一鏡頭以及第二鏡頭移動至對焦距離所需的對焦步數，來校正預存於影像擷取裝置的第一對焦步數與對焦距離的對 應關係。本發明所提出的影像擷取裝置及其影像形變校正方法可在影像擷取模組擷取到多組影像時，即便在使用者無察覺的情況下，可自動對影像擷取裝置進行簡易且快速的校正，以確保影像擷取裝置的穩定拍攝品質並且提升使用者經驗(user experience)。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S201~S205‧‧‧影像擷取裝置的影像形變校正方法流程

Claims (12)

1. 一種影像擷取裝置的影像形變校正方法，適用於具有一第一鏡頭、一第第二鏡頭、一對焦致動器以及預存一第一對焦步數與對焦距離的對應關係的一影像擷取裝置，該影像形變校正方法包括：利用該第一鏡頭以及該第二鏡頭擷取多組影像，其中各所述組影像分別包括對應於該第一鏡頭的一第一影像以及對應於該第二鏡頭的一第二影像，所述組影像包括一參考組影像，該參考組影像包括對應於該第一鏡頭的一第一參考影像以及對應於該第二鏡頭的一第二參考影像；偵測該參考組影像是否發生一影像形變；以及當偵測到該參考組影像發生該影像形變時，根據各所述組影像中的一對焦目標物所對應的對焦步數以及對焦距離，校正該第一對焦步數與對焦距離的對應關係，其中各所述組影像中的該對焦目標物所對應的對焦步數為該對焦致動器移動該第一鏡頭與該第二鏡頭至一對焦位置而產生各所述組影像所需的步數。
2. 如申請專利範圍第1項所述的影像形變校正方法，其中偵測該參考組影像是否發生該影像形變的步驟包括：偵測該參考組影像中的一特徵點分別於該第一參考影像以及該第二參考影像的影像座標；判斷該特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值；以及 若是，則判斷該參考組影像發生該影像形變。
3. 如申請專利範圍第1項所述的影像形變校正方法，其中偵測該參考組影像是否發生該影像形變的步驟包括：針對該第一參考影像與該第二參考影像進行一三維深度估測，以產生該參考組影像中的一參考對焦目標物的一參考深度資訊；根據該參考深度資訊取得該參考對焦目標物所對應的對焦距離；判斷該參考對焦目標物所對應的對焦步數以及對焦距離是否符合該第一對焦步數與對焦距離的對應關係；以及若否，則判斷該參考組影像發生該影像形變。
4. 如申請專利範圍第1項所述的影像形變校正方法，其中當偵測到該參考組影像發生該影像形變時，根據各所述組影像中的該對焦目標物所對應的對焦步數以及對焦距離，校正該第一對焦步數與對焦距離的對應關係的步驟之前，該影像形變校正方法更包括：偵測該影像擷取裝置的一對焦條件，其中該對焦條件包括一遠景對焦條件以及一近景對焦條件。
5. 如申請專利範圍第4項所述的影像形變校正方法，其中該對焦條件為該遠景對焦條件，當偵測到該參考組影像發生該影像形變時，根據各所述組影像中的該對焦目標物所對應的對焦步數以及對焦距離，校正該第一對焦步數與對焦距離的對應關係的步 驟包括：記錄各所述組影像中的該對焦目標物所對應的對焦步數；以及當各所述組影像中的該對焦目標物所對應的對焦步數達到一收斂值時，取得該第一對焦步數與對焦距離的對應關係中的一最小對焦步數，並且計算該最小對焦步數與該收斂值的差值，據以校正該第一對焦步數與對焦距離的對應關係。
6. 如申請專利範圍第4項所述的影像形變校正方法，其中該對焦條件為該近景對焦條件，當偵測到該參考組影像發生該影像形變時，根據各所述組影像中的該對焦目標物所對應的對焦步數以及對焦距離，校正該第一對焦步數與對焦距離的對應關係的步驟包括：針對各所述組影像進行一三維深度估測，以產生各所述組影像中的該對焦目標物的一深度資訊；根據各所述深度資訊，取得各所述組影像中的該對焦目標物所對應的對焦距離；以及根據各所述組影像中的該對焦目標物所對應的對焦距離以及對焦步數，進行一迴歸運算，並且根據該迴歸運算的結果，校正該第一對焦步數與對焦距離的對應關係。
7. 一種影像擷取裝置，包括：一第一鏡頭；一第二鏡頭； 一對焦致動器，耦接至該第一鏡頭以及該第二鏡頭；一儲存單元，記錄多個模組以及一第一對焦步數與對焦距離的對應關係；以及一或多個處理單元，耦接該第一鏡頭、該第二鏡頭、該對焦致動器以及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一影像擷取模組，利用該第一鏡頭以及該第二鏡頭擷取多組影像，其中各所述組影像分別包括對應於該第一鏡頭的一第一影像以及對應於該第二鏡頭的一第二影像，所述組影像包括一參考組影像，該參考組影像包括對應於該第一鏡頭的一第一參考影像以及對應於該第二鏡頭的一第二參考影像；一對焦模組，控制該對焦致動器移動該第一鏡頭與該第二鏡頭至一對焦位置；一形變偵測模組，偵測該參考組影像是否發生一影像形變；以及一校正模組，當偵測到該參考組影像發生該影像形變時，根據各所述組影像中的一對焦目標物所對應的對焦步數以及對焦距離，校正該第一對焦步數與對焦距離的對應關係，其中各所述組影像中的該對焦目標物所對應的對焦步數為該對焦致動器移動該第一鏡頭與該第二鏡頭至一對焦位置而產生各所述組影像所需的步數。
8. 如申請專利範圍第7項所述的影像擷取裝置，其中該形變 偵測模組偵測該參考組影像中的一特徵點分別於該第一參考影像以及該第二參考影像的影像座標，並且判斷該特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值，若是，則該形變偵測模組判斷該參考組影像發生該影像形變。
9. 如申請專利範圍第7項所述的影像擷取裝置，其中該形變偵測模組針對該第一參考影像與該第二參考影像進行一三維深度估測，以產生該參考組影像中的一參考對焦目標物的一參考深度資訊，再根據該參考深度資訊取得該參考對焦目標物所對應的對焦距離，並且判斷該參考對焦目標物所對應的對焦步數以及對焦距離是否符合該第一對焦步數與對焦距離的對應關係，若否，則該形變偵測模組判斷該參考組影像發生該影像形變。
10. 如申請專利範圍第7項所述的影像擷取裝置更包括：一條件偵測模組，偵測該影像擷取裝置的一對焦條件，其中該對焦條件包括一遠景對焦條件以及一近景對焦條件。
11. 如申請專利範圍第10項所述的影像擷取裝置，其中該對焦條件為該遠景對焦條件，其中該校正模組記錄各所述組影像中的該對焦目標物所對應的對焦步數，而當各所述組影像中的該對焦目標物所對應的對焦步數達到一收斂值時，該校正模組取得該第一對焦步數與對焦距離的對應關係中的一最小對焦步數，並且計算該最小對焦步數與該收斂值的差值，據以校正該第一對焦步數與對焦距離的對應關係。
12. 如申請專利範圍第10項所述的影像擷取裝置，其中該對焦條件為該近景對焦條件，該校正模組針對各所述組影像進行一三維深度估測，以產生各所述組影像中的該對焦目標物的一深度資訊，再根據各所述深度資訊，取得各所述組影像中的該對焦目標物所對應的對焦距離，又根據各所述組影像中的該對焦目標物所對應的對焦距離以及對焦步數，進行一迴歸運算，以及根據該迴歸運算的結果，校正該第一對焦步數與對焦距離的對應關係。