TW201530493A - 影像擷取裝置及其影像形變校正方法 - Google Patents
影像擷取裝置及其影像形變校正方法 Download PDFInfo
- Publication number
- TW201530493A TW201530493A TW103103260A TW103103260A TW201530493A TW 201530493 A TW201530493 A TW 201530493A TW 103103260 A TW103103260 A TW 103103260A TW 103103260 A TW103103260 A TW 103103260A TW 201530493 A TW201530493 A TW 201530493A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- feature point
- depth
- group
- module
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一種影像擷取裝置及其影像形變校正方法。影像擷取裝置具有第一影像感測器與第二影像感測器。影像形變校正方法包括下列步驟。透過第一影像感測器與第二影像感測器擷取複數個影像群組。各影像群組分別包括第一影像以及第二影像,這些影像群組包括一參考影像群組。偵測此參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當偵測到參考影像群組發生影像形變時,依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。當前校正參數用以對各第一影像與對應的各第二影像進行影像糾正。
Description
本發明是有關於一種影像擷取裝置,且特別是有關於一種影像形變校正方法與使用該方法的影像擷取裝置。
對於當前的影像深度感測技術來說,使用具有雙鏡頭的影像擷取裝置來擷取對應至不同視角的影像是一種常見的方法,藉由對應至不同視角的影像可計算出目標物的三維深度資訊。因此,為了能夠精確的從二維影像中取得目標物之三維深度資訊,此兩個鏡頭之間的空間設置關係是需要經過特別設計,且精密的參數校正是必要的步驟。進一步來說,當工廠製造具有雙鏡頭的影像擷取裝置時,雙鏡頭各自對應的空間位置與方向無法極其準確地設置於預設的設定值上。因此,於製造影像擷取裝置的過程中,工廠將事先針對設置好的雙鏡頭模組進行校正,從而獲取一組工廠預設的校正參數。日後,於使用者操作影像擷取裝置的過程中,影像擷取裝置可利用工廠預設的校正參數來校正透過雙鏡頭所擷取的影像,以克服製程不夠精密的缺失。
然而,在使用者操作或攜帶影像擷取裝置的過程中,當影像擷取裝置受到擠壓、撞擊或跌落的影響時,可能導致鏡頭產生位移或旋轉等空間位置上的改變。一旦鏡頭產生位移或變形的狀況,工廠內部所預設的校正參數已經不再符合當前的應用狀況,影像擷取裝置也就無法獲取正確的深度資訊。舉例來說,如果立體影像擷取裝置的雙鏡頭間產生水平失衡的問題時,由於失衡之後拍攝出來的左右畫面水平不匹配,將進一步導致三維立體拍攝效果不佳。
有鑑於此,本發明提供一種影像擷取裝置及其影像形變校正方法,可針對影像感測單元的位移狀態而適應性地調整用以進行影像糾正(image rectification)的校正參數。
本發明提出一種影像形變校正方法,適用於具有第一影像感測器與第二影像感測器的影像擷取裝置。影像擷取裝置具有關聯於第一影像感測器與第二影像感測器的當前校正參數,且此影像形變校正方法包括下列步驟。透過第一影像感測器以及第二影像感測器擷取複數個影像群組,其中各影像群組分別包括第一影像以及第二影像,這些影像群組包括一參考影像群組。偵測此參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當偵測到參考影像群組發生影像形變時,依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。此當前校正參數
用以對各第一影像以及對應的各第二影像進行影像糾正。
在本發明的一實施例中,上述的偵測參考影像群組是否發生影像形變的步驟包括下列步驟。偵測第一參考影像的第一特徵點與第二參考影像的第二特徵點。判斷第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過門檻值。若判斷為是,判定參考影像群組發生影像形變。
在本發明的一實施例中,上述的偵測參考影像群組是否發生影像形變的步驟包括下列步驟。依據第一參考影像與第二參考影像進行三維深度估測,以產生參考影像群組中的參考對焦目標物的參考深度資訊,並依據參考深度資訊取得關於參考目標物的深度對焦位置。藉由自動對焦程序而獲取得關於參考目標物的自動對焦位置。判斷參考對焦目標物所對應的深度對焦位置是否符合自動對焦位置。若判斷為否,判定參考影像群組發生影像形變。
在本發明的一實施例中,上述的在依據這些影像群組對應的這些特徵點比對值更新當前校正參數的步驟之前,此影像校正方法更包括下列步驟。針對這些影像群組進行三維深度估測,以產生各影像群組的深度資訊。依據各影像群組的深度資訊決定是否保留影像群組。
在本發明的一實施例中,上述的依據這些影像群組對應的這些特徵點比對值更新當前校正參數的步驟更包括下列步驟。對這些第一影像與這些第二影像進行特徵點偵測,而獲取這些第
一影像的複數個第一特徵點與這些第二影像的複數個第二特徵點。比對這些第一特徵點的座標位置以及分別與這些第一特徵點相對應的多個第二特徵點的座標位置,以獲取這些第一特徵點與這些第二特徵點之間的多個特徵點比對值。紀錄這些第一特徵點與這些第二特徵點之間的多個特徵點比對值。
在本發明的一實施例中,上述的紀錄這些第一特徵點與這些第二特徵點之間的特徵點比對值的步驟更包括下列步驟。依據這些第一特徵點的座標位置或/及這些第二特徵點的座標位置分類各個特徵點比對值至複數個統計槽。
在本發明的一實施例中,上述的依據影像群組對應的這些特徵點比對值更新當前校正參數的步驟包括下列步驟。依據這些統計槽中多個特徵點比對值的數量與特徵點比對值所對應的複數個深度值,判斷這些特徵點比對值是否足夠進行運算。若判斷為是,依據這些特徵點比對值更新當前校正參數。其中這些深度值係透過對第一特徵點與對應的第二特徵點進行三維深度估測而獲取。
從另一觀點來看,本發明提出一種影像擷取裝置,此影像擷取裝置具有第一影像感測器與第二影像感測器。此影像擷取裝置還包括儲存單元以及處理單元。儲存單元紀錄多個模組,並儲存關聯於第一影像感測器與第二影像感測器的當前校正參數。處理單元耦接第一影像感測器、第二影像感測器以及儲存單元,以存取並執行儲存單元中記錄的所述模組。這些模組包括擷取模
組、形變偵測模組以及參數更新模組。擷取模組透過第一影像感測器與第二影像感測器擷取複數個影像群組。各個影像群組分別包括第一影像感測器的第一影像以及第二影像感測器的第二影像,且這些影像群組包括一參考影像群組。形變偵測模組偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。當參考影像群組發生影像形變時,參數更新模組依據這些影像群組對應的複數個特徵點比對值更新當前校正參數。當前校正參數用以對各第一影像以及對應的各第二影像進行影像糾正。
基於上述,在本發明之影像形變校正方法的實施例中,當當前的校正參數已無法進行準確的影像糾正時,利用對不同場景與不同時間點所拍攝之影像群組上的特徵點資訊建立一資料庫,以藉由資料庫內完整的資訊來更新當前的校正資訊。如此一來,即便左右影像感測器產生位移,影像擷取裝置也可以動態且適應性的產生新的校正參數,以避免利用不符現況的校正參數進行不準確的影像糾正。藉此,可在使用者無察覺的情況下自動地進行參數更新的動作,以確保影像擷取裝置的拍攝品質並且提升使用者經驗。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100‧‧‧影像擷取裝置
110‧‧‧第一影像感測器
120‧‧‧第二影像感測器
130‧‧‧對焦單元
140‧‧‧處理單元
150‧‧‧儲存單元
151‧‧‧擷取模組
152‧‧‧形變偵測模組
153‧‧‧參數更新模組
154‧‧‧深度選擇模組
TH‧‧‧預設門檻值
A、B‧‧‧特徵點
Z1~Z9‧‧‧圖像區塊
S1~S9‧‧‧統計槽
△dA、△dB‧‧‧特徵點比對值
S201~S203‧‧‧本發明一實施例所述的影像形變校正方法的各步驟
S2011~S2023‧‧‧本發明一實施例之步驟S202的各子步驟
S2024~S2027‧‧‧本發明一實施例之步驟S202的各子步驟
S401~S409‧‧‧本發明一實施例所述的影像形變校正方法的各步驟
圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。
圖2是依照本發明一實施例所繪示之影像形變校正方法的流程圖。
圖3A至圖3B是依照本發明一實施例所繪示之步驟S202的詳細流程圖。
圖4是依照本發明一實施例所繪示之影像形變校正方法的流程圖。
圖5A至圖5B是根據本發明一實施例所繪示之分類特徵點比對值至統計槽的範例示意圖。
在影像擷取裝置出廠時,其雙鏡頭的之間空間設置關係已經過精密的計算與調整,並依此產生一組工廠預設的校正參數。此工廠預設的校正參數用以將不同鏡頭所擷取的影像校正至經設計且固定的座標參數關係。為了解決因雙鏡頭產生位移或旋轉而導致工廠預設的校正參數不再適用的情況,本發明依據影像的深度資訊與像素點位置來產生紀錄多個特徵點資訊的資料庫,並利用資料庫中累積的資訊適應性的更新校正參數。為了使本發明之內容更為明瞭,以下列舉實施例作為本發明確實能夠據以實施的範例。
圖1是依照本發明之一實施例所繪示之影像擷取裝置的
方塊圖。請參照圖1,本實施例的影像擷取裝置100例如是數位相機、數位攝影機,或是其他具有影像擷取功能的手持式電子裝置,像是智慧型手機、平板電腦等等,不限於上述。影像擷取裝置100包括第一影像感測單元110、第二影像感測單元120、對焦單元130、處理單元140以及儲存單元150。
第一影像感測單元110與第二影像感測單元120可包括鏡頭以及感光元件。感光元件例如是電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件或其他元件,第一影像感測單元110與第二影像感測單元120還可包括光圈等,在此皆不設限。此外,依照第一影像感測單元110與第二影像感測單元120之鏡頭設置位置,第一影像感測單元110與第二影像感測單元120的鏡頭可區分為左鏡頭與右鏡頭。
於本實施例中,對焦單元130耦接第一影像感測單元110、第二影像感測單元120以及處理單元140,用以控制第一影像感測單元110與第二影像感測單元120擷取影像的焦距。換言之,對焦單元130控制第一影像感測單元110的鏡頭與第二影像感測單元120的鏡頭移動至對焦位置。對焦單元130例如透過音圈馬達(Voice Coil Motor,VCM)或其他不同類型的馬達來控制鏡頭的步數(step)位置,以改變第一影像感測單元110與第二影像感測單元120的焦距。
處理單元140可以例如是中央處理單元(Central
Processing Unit,CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他具備運算能力的硬體裝置。儲存單元150例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體,用以儲存當前校正參數與多個模組,而處理單元140耦接儲存單元150並用以執行這些模組。上述模組包括擷取模組151、形變偵測模組152、參數更新模組153以及深度選擇模組154,這些模組例如是電腦程式,其可載入處理單元140,從而執行校正影像形變的功能。
圖2是依照本發明一實施例所繪示之影像形變校正方法的流程圖。本實施例的方法適用於圖1的影像擷取裝置100,以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變校正方法的詳細步驟。
首先,於步驟S201,擷取模組151透過第一影像感測器110以及第二影像感測器120擷取複數個影像群組。各影像群組分別包括第一影像以及第二影像,且影像群組至少包括一參考影像群組。也就是說,於本實施例中,單一影像群組具有兩張照片,同一影像群組內的第一影像與第二影像是透過左鏡頭與右鏡頭於同一時間針對同一場景所擷取的兩張影像。換言之,第一影像例如係透過左鏡頭所擷取的左影像,而第二影像相對為透過右鏡頭所擷取的右影像。於本實施例中,第一影像與第二影像例如是預覽狀態下所擷取的即時預覽影像(live-view image)。
同樣地,參考影像群組為影像擷取裝置100所擷取之影像群組其中之一,因此參考影像群組同樣具有對應至第一影像感測110與第二影像感測器120的第一參考影像與第二參考影像。於步驟S202,形變偵測模組152偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。需說明的是,形變偵測模組152可以定時檢測的方式對部份影像群組進行影像形變的偵測,也可以針對所有影像群組進行影像形變的偵測,而參考影像群組於此代表形變偵測模組152用以檢測是否發生影像型變的對象之一。
需說明的是,工廠預設的校正參數適用於將兩張左右影像再分別進行影像糾正(image rectification),讓兩張真實影像變成只有水平像差或只有垂直像差(因為鏡頭位置擺放的關係而造成的)。例如,雙鏡頭間會有角度仰角的些微差異等等。透過工廠預設的校正參數執行影像糾正,可以將真實影像轉換成左右鏡頭是擺放同一取像平面,只剩下水平或垂直位置有差異。也就是說,於左右鏡頭水平設置的前提下,經過影像糾正之左右影像上的各像素點應當只剩下水平位置有差異。此時,倘若左右鏡頭的拍攝方向產生改變,經過影像糾正之左右影像上的各像素點的垂直位置仍然具有差異,此現象於此稱之為影像形變。在此,形變偵測模組152可根據第一參考影像與第二參考影像上相互對應的特徵點的偏移量或是針對第一參考影像與第二參考影像進行三維深度估測來判斷參考影像群組是否發生影像形變。
更清楚來說,圖3A為依照圖2所示實施例之步驟S202的詳細流程圖。在圖3A所示的實施例中,於步驟S2021,形變偵測模組152偵測第一參考影像上的第一特徵點與第二參考影像上的第二特徵點。之後,於步驟S2022,形變偵測模組152判斷第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量是否超過門檻值。若第一特徵點與第二特徵點分別於第一參考影像與第二參考影像的影像座標之間的偏移量超過門檻值,於步驟S2023,形變偵測模組152判定此參考影像群組發生影像形變。也就是說,藉由分析與統計第一特徵點與第二特徵點之間的位移資訊,可據以得知是否第一參考影像與第二參考影像發生影像形變。
換句話說,形變偵測模組152可根據習知的特徵點偵測的演算方法偵測參考組影像的任一特徵點。特徵點偵測的演算方法用以偵測出影像中的多數個特徵點,例如是邊緣偵測(edge detection)、角落偵測(Conner detection)或其他特徵點偵測演算法,本發明對此並不限制。之後,形變偵測模組152判斷相互對應的第一特徵點與第二特徵點之間的座標位置偏移量是否超過上述門檻值,據以檢測參考組影像是否發生影像形變。舉例來說,形變偵測模組152可判斷相互對應的第一特徵點與第二特徵點的垂直偏移量(垂直方向上的位移差距)是否超過上述門檻值。當形變偵測模組152判斷上述垂直偏移量超過上述門檻值時,代表參考影像群組發生影像形變。
於另一實施例中,圖3B為依照圖2所示實施例之步驟S202的詳細流程圖。在圖3B所示的實施例中,於步驟S2024,形變偵測模組152依據第一參考影像與第二參考影像進行三維深度估測,以產生參考影像群組中的參考對焦目標物的參考深度資訊,並依據參考深度資訊取得關於參考目標物的深度對焦位置。接著,於步驟S2025,形變偵測模組152藉由自動對焦程序而獲取得關於參考目標物的自動對焦位置。於步驟S2026,形變偵測模組152判斷參考對焦目標物所對應的深度對焦位置是否符合自動對焦位置。若判斷為否,於步驟S2027,形變偵測模組152判定參考影像群組發生影像形變。
具體來說,形變偵測模組152可藉由立體視覺技術進行影像處理,以求得目標物於空間中的三維座標位置以及影像中各點的深度資訊。再者,依據深度資訊取得關於目標物的深度對焦位置的步驟例如是依據深度資訊查詢深度對照表來取得關於目標物的對焦位置。因此,藉由事先求得步進馬達的步數或音圈馬達的電流值與目標物清晰度的對應關係,則可依據目前獲得的目標物的深度資訊查詢到此深度資訊所對應的步進馬達的步數或音圈馬達的電流值,並據此取得關於目標物的深度對焦位置。
另一方面,執行自動對焦程序的過程可以是透過對焦單元130自動控制鏡頭模組進行大範圍的移動,以分別調整第一影像感測器110與第二影像感測器120的鏡頭至所需的對焦位置,以取得關於目標物的自動對焦位置。對焦單元130例如是利用自
動對焦技術中所使用的爬山法(hill-climbing)來獲取關於目標物的自動對焦位置,但本發明並不以此為限。因此,在第一參考影像與第二參考影像未發生影像形變的條件下,影像擷取裝置100可獲取理想的深度資訊,致使深度對焦位置會與自動對焦位置一致。倘若影像擷取裝置100無法依據當前校正參數而進一步獲取理想的深度資訊,也就無法藉由深度資訊與事先儲存好的深度資訊查詢深度對照表估測出正確的深度對焦位置,因此深度對焦位置與藉由自動對焦程序所獲得的自動對焦位置將產生差異。據此,形變偵測模組152依據深度對焦位置與自動對焦位置之間的差異來判斷參考影像群組是否發生影像形變。
再次參照圖2,當形變偵測模組152偵測到參考影像群組發生影像形變時,於步驟S203,參數更新模組153依據多個影像群組對應的複數個特徵點比對值更新當前校正參數,其中當前校正參數用以對各第一影像以及對應的各第二影像進行影像糾正。也就是說,當影像擷取裝置100判定第一影像感測器110與第二影像感測器120產生變形或移位而致使第一參考影像與第二參考影像之間的參數座標改變時,代表當前校正參數已無法對影像進行準確的影像糾正。
因此,於一實施例中,參數更新模組153開始蒐集於參考影像群組之後所拍攝的多個影像群組的特徵點比對值,以藉由於第一影像感測器110與第二影像感測器120產生變形或移位後所擷取的影像進來產生理想的當前校正參數。需特別說明的是,
參數更新模組153可藉由比對第一特徵點的座標位置以及分別與這些第一特徵點相對應的第二特徵點的座標位置來獲取這些特徵點比對值。再者,參數更新模組153還可依據影像的深度資訊與像素點的座標位置來產生新的當前校正參數。以下將列舉另一實施例以詳細說明之。
圖4是依照本發明一實施例所繪示的一種影像形變校正方法的流程圖。請參照圖4,本實施例的方法適用於圖1的影像擷取裝置100,以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變校正方法的詳細步驟。
首先,於步驟S401,擷取模組151透過第一影像感測器110以及第二影像感測器120擷取複數個影像群組。各影像群組分別包括第一影像以一第二影像,且影像群組包括參考影像群組。於步驟S402,形變偵測模組152偵測參考影像群組中的第一參考影像與第二參考影像是否發生影像形變。步驟S401以及步驟S402與前述實施例之步驟S201以及步驟S202相似或相同,於此不再贅述。
若形變偵測模組判定參考影像群組發生影像形變時,於步驟S403,深度選擇模組154針對影像群組進行三維深度估測,以產生各影像群組的深度資訊,並依據各影像群組的深度資訊決定是否保留影像群組。進一步來說,深度選擇模組154可藉由立體視覺的影像處理技術而產生關聯於第一參考影像與第二參考影像的三維深度圖。基於三維深度圖內的深度資訊,深度選擇模組
154可獲取上述三維深度圖所對應的景深範圍,並依據景深範圍來決定保留或丟棄影像群組。
詳細來說,假設深度值的最小值設定為0而最大值設定為128,即影像群組的深度值落於0~128的數值範圍內。若深度選擇模組154已蒐集到景深範圍為深度值100至深度值128的影像群組,深度選擇模組154之後將不保留其他景深範圍落於深度值100至深度值128內的影像群組。反之,若深度選擇模組154判定當前的影像群組的景深範圍落於深度值100至深度值128之外,例如是深度值0至深度值80的影像群組,深度選擇模組154將保留此影像群組,以進一步利用此影像群組的特徵點資訊。
換句話說,深度選擇模組154依據各影像群組的景深資訊來判斷各影像群組是否為有效的影像群組。倘若最新擷取的影像模組的景深範圍已經與先前的影像群組的景深範圍有大部分的重疊,深度選擇模組154將據以過濾之。基此,於一實施例中,除了藉由判斷景深範圍是否重疊來進行影像群組的保留與過濾之外,深度選擇模組154也可依據景深範圍的重疊率來決定是否保留影像群組。基此,可確保深度選擇模組154蒐集到對應至所有或大部分景深範圍的資訊,並同時依據各影像群組所對應的景深範圍來過濾多餘的資訊,以降低資料處理量並提昇資料處理速度。
之後,於步驟S404,參數更新模組153對第一影像與第二影像進行特徵點偵測,而獲取第一影像的複數個第一特徵點與第二影像的複數個第二特徵點。於步驟S405,參數更新模組153
比對第一特徵點的座標位置以及分別與第一特徵點相對應的第二特徵點的座標位置,以獲取第一特徵點與第二特徵點之間的特徵點比對值。於步驟S406,參數更新模組153紀錄第一特徵點與第二特徵點之間的特徵點比對值。
進一步來說,參數更新模組153同樣可根據習知的特徵點偵測的演算方法偵測各影像群組中第一影像與第二影像的特徵點,以取的第一影像上的第一特徵點與第二影像上的第二特徵點。接著,參數更新模組153判斷相互匹配之第一特徵點與第二特徵點於同一座標系統下的偏移量(offset)並將偏移量作為特徵點比對值。其中,相互匹配之第一特徵點與第二特徵點投影至被攝場景中的同一位置。換言之,特徵點比對值也可視為第一特徵點與第二特徵點之間的像差。之後,參數更新模組153將第一特徵點與第二特徵點之間的特徵點比對值紀錄至一資料庫,以建立用以更新當前校正參數的校正資料庫。值得一提的是,當判定參考影像群組發生形變時,擷取模組151仍持續擷取影像而獲得多個影像群組,而參數更新模組153也持續將透過計算而產生之各影像群組的特徵點比對值紀錄至校正資料庫。
於步驟S407,參數更新模組153依據第一特徵點的座標位置或/及第二特徵點的座標位置分類各特徵點比對值至複數個統計槽。也就是說,參數更新模組153除了將特徵點比對值紀錄至校正資料庫之外,還依據特徵點比對值對應於一座標系統下的座標位置而分類至不同統計槽。具體來說,於一實施例中,參數更
新模組153可將第一影像感測器110所擷取的第一影像區分為多個影像區塊,且每一影像區塊對應至一個統計槽。因此依據第一特徵點的座標位置,參數更新模組153可將特徵點比對值依序對應至這些影像區塊其中之一,從而將上述特徵點比對值分類至對應的統計槽。
舉例來說,圖5A與圖5B是根據本發明一實施例所繪示之分類特徵點比對值至統計槽的範例示意圖。於本範例中,首先參照圖5A,參數更新模組153將第一影像Img1分割為三乘三的9個影像區塊Z1~Z9。參數更新模組153更依據第一特徵點的座標位置來決定第一特徵點落於那一影像區塊。如圖5A所示,參數更新模組153可依據第一特徵點A的座標位置而得知第一特徵點A位於影像區塊Z2內。同樣地,參數更新模組153可依據第一特徵點B的座標位置而得知第一特徵點B位於影像區塊Z6內。
請參照圖5B,於本範例中,第一影像Img1被分割為9個影像區塊Z1~Z9,而影像區塊Z1~Z9分別對應至統計槽S1~S9。其中,影像區塊Z1對應至統計槽S1,而影像區塊Z2對應至統計槽S2,依此類推。基此,由於第一特徵點A位於影像區塊Z2內,第一特徵點A所對應的特徵點比對值△dA被分類至統計槽S2。由於第一特徵點B位於影像區塊Z6內,而第一特徵點B所對應的特徵點比對值△dB被分類至統計槽S6。需說明的是,圖5A與圖5B僅為一種示範性實施方式,非以限定本發明。
另外,於一實施例中,基於第一特徵點與對應的第二特
徵點為被攝場景中的同一位置點,第一影像與第二影像上對應的特徵點經由座標轉換計算後將投影至三維座標系統下的相同座標點。因此,參數更新模組153可依據第一特徵點與第二特徵點的投影於三維座標系統下的座標位置來將特徵點比對值分類至對應的統計槽。更進一步來說,基於立體視覺技術進行影像處理,參數更新模組153可求得影像中各點的深度資訊以及對應的三維座標位置。參數更新模組153可將第一特徵點與第二特徵點所對應之三維投影點的水平分量與垂直分量來決定特徵點比對值所對應的統計槽。
於是,於步驟S408,參數更新模組153依據各個統計槽中特徵點比對值的數量與特徵點比對值所對應的複數個深度值,判斷特徵點比對值是否足夠進行運算。其中深度值係透過對第一特徵點與對應的第二特徵點進行三維深度估測而獲取。可以知道的是,隨著影像群組之數量的上升,校正資料庫內的所紀錄的資訊量也越來越多。在此,參數更新模組153可根據各個統計槽中特徵點比對值的數量與特徵點比對值的深度值來判斷當前紀錄於校正資料庫的資料量是否足夠。
基於前述可知,這些特徵點比對值已被參數更新模組153依據特徵點資訊而分類至對應的統計槽。因此,參數更新模組153可根據各統計槽中特徵點比對值的總數目來判定校正資料庫是否具備足夠的資料量。詳細來說,為了產生符合當下鏡頭設置狀況以將左右影像轉正至理想狀態的當前校正參數,提供特徵點資訊
的特徵點最好是可以平均的分佈於影像上。藉由平均分佈於影像上各區域的特徵點所提供的特徵點資訊,可更精準的計算出整張影像的旋轉量或歪斜狀況。
於本實施例中,這些特徵點比對值被參數更新模組153依據特徵點的座標位置而分類至對應的統計槽,因此各個統計槽所對應之特徵點比對值的總數可表示出特徵點的空間分佈情況。因此,參數更新模組153判斷每一統計槽內之特徵點比對值的數量是否足夠,來作為決定資料量是否足以計算出準確的當前校正參數的決定機制。
以圖5B為例進行說明,參數更新模組153將特徵點比對值分類至9個統計槽S1~S9中,其中統計槽S1至少包括特徵點比對值△dA,統計槽S6至少包括特徵點比對值△dB。當參數更新模組153持續紀錄不同影像群組的各特徵點比對值於各統計槽時,各個統計槽中的特徵點比對值也持續累積(如圖5B的虛線所示)。一旦各統計槽S1~S9中的特徵點比對值足夠,參數更新模組153可開始進行當前校正參數的更新動作。舉例來說,參數更新模組153可判斷每一統計槽S1~S9對應的數目是否超過預設門檻值TH而決定校正資料庫內的資料量是否足夠。然,上述範例僅為一種示範性實施方式,並非用以限定本發明。此技術領域中具有通常知識者當可依據實際需求來選擇特徵比對值的分類方式與依據統計槽判定資料量是否足夠的判斷條件,此處不再贅述。
另外,參數更新模組153也可藉由深度資訊來判定當前
的校正資料庫內的資料量是否足夠。詳細來說,透過對第一特徵點與對應的第二特徵點進行三維深度估測可獲取這些特徵點比對值各自對應的深度值(depth value)。基於前述可知,深度選擇模組154已將景深範圍重複性過大的影像群組過濾掉,而參數更新模組153將判定是否已針對大部分的深度值蒐集到對應的特徵點比對值。換言之,於一實施例中,參數更新模組153同樣依據特徵點比對值各自對應的深度值來分類各個特徵點比對值,並判斷每一深度值所對應之特徵點比對值的數目是否足夠,而判定校正資料庫內的資料量是否足夠。
值得一提的是,倘若於建立校正資料庫的過程中,第一影像感測單元110與第二影像感測單元之間的空間設置關係又改變時,代表校正資料庫內的所紀錄的資料已無法使用。於一實施例中,參數更新模組153還可在紀錄特徵點比對值至校正資料庫之前,判斷此特徵點比對值是否與校正資料庫內的資料具有相當的差異。若是,參數更新模組153可將先前所紀錄的資料丟棄,並重新開始建立另一校正資料庫,因此而獲取最理想的當前校正參數。
也就是說,一旦參數更新模組153判斷校正資料庫內的資料量足夠,參數更新模組153便可停止紀錄並開始計算新的當前校正參數。反之,參數更新模組153持續紀錄新的特徵點比對值至校正資料庫。因此,若步驟S408判斷為是,於步驟S409,參數更新模組153依據特徵點比對值更新當前校正參數。參數更
新模組153例如利用校正資料庫內的特徵比對值來進行最佳化演算法而尋找出最佳的當前校正參數,致使經當前校正參數校正後的兩影像可對應至理想的參數座標關係。最佳化演算法例如是梯度下降法(gradient decent method)、萊文貝格-馬夸特方法(Levenberg-Marquardt method,LM method)或高斯牛頓演算法(Gauss-Newton method)等,本發明對此不限制。
綜上所述,在本發明的一實施例中,當影像擷取裝置即時的偵測到影像發生形變時,透過校正資料庫的建立來適應性地校正預存於影像擷取裝置的當前校正參數,以將左右影像校正至理想的參數座標關係。如此一來,可在使用者無察覺的情況下進行當前校正參數的調整,以確保影像擷取裝置的拍攝品質。再者,本發明的實施例可進一步依據深度資訊與特徵點位置來判斷資料庫中的特徵點資訊是否蒐集完整。藉此,一旦蒐集到足夠的資料量,可立即的藉由校正資料庫內所紀錄的特徵點比對值來產生新的當前校正參數,從而大幅縮短蒐集資料與進行校正的所需時間。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S401~S409‧‧‧本發明一實施例所述的影像形變校正方法的各步驟
Claims (14)
- 一種影像形變校正方法,適用於具有一第一影像感測器與一第二影像感測器的一影像擷取裝置,其中該影像擷取裝置具有關聯於該第一影像感測器與該第二影像感測器的一當前校正參數,該影像形變校正方法包括:透過該第一影像感測器以及該第二影像感測器擷取複數個影像群組,其中各所述影像群組分別包括一第一影像以及一第二影像,所述影像群組包括一參考影像群組;偵測該參考影像群組中的一第一參考影像與一第二參考影像是否發生一影像形變;以及當偵測到該參考影像群組發生該影像形變時,依據所述影像群組對應的複數個特徵點比對值更新該當前校正參數,其中該當前校正參數用以對各所述第一影像以及對應的各所述第二影像進行一影像糾正。
- 如申請專利範圍第1項所述的影像形變校正方法,其中偵測該參考影像群組是否發生該影像形變的步驟包括:偵測該第一參考影像的一第一特徵點與該第二參考影像的一第二特徵點;以及判斷該第一特徵點與該第二特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值,若是,判定該參考影像群組發生該影像形變。
- 如申請專利範圍第1項所述的影像形變校正方法,其中偵測該參考影像群組是否發生該影像形變的步驟包括:依據該第一參考影像與該第二參考影像進行一三維深度估測,以產生該參考影像群組中的一參考對焦目標物的一參考深度資訊,並依據該參考深度資訊取得關於該參考目標物的一深度對焦位置;藉由一自動對焦程序而獲取得關於該參考目標物的一自動對焦位置;以及判斷該參考對焦目標物所對應的深度對焦位置是否符合該自動對焦位置,若否,判定該參考影像群組發生該影像形變。
- 如申請專利範圍第1項所述的影像形變校正方法,其中在依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟之前,該影像校正方法更包括:針對所述影像群組進行一三維深度估測,以產生各所述影像群組的一深度資訊;以及依據各所述影像群組的該深度資訊決定是否保留所述影像群組。
- 如申請專利範圍第1項所述的影像形變校正方法,其中依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟更包括:對所述第一影像與所述第二影像進行一特徵點偵測,而獲取所述第一影像的複數個第一特徵點與所述第二影像的複數個第二 特徵點;比對所述第一特徵點的座標位置以及分別與所述第一特徵點相對應的所述第二特徵點的座標位置,以獲取所述第一特徵點與所述第二特徵點之間的所述特徵點比對值;以及紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值。
- 如申請專利範圍第5項所述的影像形變校正方法,其中紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值的步驟更包括:依據所述第一特徵點的座標位置或/及所述第二特徵點的座標位置分類各所述特徵點比對值至複數個統計槽。
- 如申請專利範圍第6項所述的影像形變校正方法,其中依據所述影像群組對應的所述特徵點比對值更新該當前校正參數的步驟包括:依據所述統計槽中所述特徵點比對值的數量與所述特徵點比對值所對應的複數個深度值,判斷所述特徵點比對值是否足夠進行運算,若是,依據所述特徵點比對值更新該當前校正參數,其中所述深度值係透過對所述第一特徵點與對應的所述第二特徵點進行一三維深度估測而獲取。
- 一種影像擷取裝置,具有一第一影像感測器與一第二影像感測器,該影像擷取裝置包括:一儲存單元,紀錄多個模組,並儲存關聯於該第一影像感測 器與該第二影像感測器的一當前校正參數;以及一處理單元,耦接該第一影像感測器、該第二影像感測器以及一儲存單元,以存取並執行該儲存單元中記錄的所述模組,所述模組包括:一擷取模組,透過該第一影像感測器與該第二影像感測器擷取複數個影像群組,各所述影像群組分別包括該第一影像感測器的一第一影像以及該第二影像感測器的一第二影像,而所述影像群組包括一參考影像群組;一形變偵測模組,偵測該參考影像群組中的一第一參考影像與一第二參考影像是否發生一影像形變;一參數更新模組,當該參考影像群組發生該影像形變時,該參數更新模組依據所述影像群組對應的複數個特徵點比對值更新該當前校正參數,其中該當前校正參數用以對各所述第一影像以及對應的各所述第二影像進行一影像糾正。
- 如申請專利範圍第8項所述的影像擷取裝置,其中該形變偵測模組偵測該第一參考影像的一第一特徵點與該第二參考影像的一第二特徵點,該形變偵測模組判斷該第一特徵點與該第二特徵點分別於該第一參考影像與該第二參考影像的影像座標之間的偏移量是否超過一門檻值,若是,該形變偵測模組判定該參考影像群組發生該影像形變。
- 如申請專利範圍第8項所述的影像擷取裝置,其中該形變偵測模組依據該第一參考影像與該第二參考影像進行一三維深 度估測,以產生該參考影像群組中的一參考對焦目標物的一參考深度資訊,並依據該參考深度資訊取得關於該參考目標物的一深度對焦位置,該形變偵測模組藉由一自動對焦程序而獲取得關於該參考目標物的一自動對焦位置,且該形變偵測模組判斷該參考對焦目標物所對應的深度對焦位置是否符合該自動對焦位置,若否,該形變偵測模組判定該參考影像群組發生該影像形變。
- 如申請專利範圍第8項所述的影像擷取裝置,其中所述模組更包括:一深度選擇模組,該深度選擇模組針對所述影像群組進行一三維深度估測,以產生各所述影像群組的一深度資訊,且該深度選擇模組依據各所述影像群組的該深度資訊決定是否保留所述影像群組。
- 如申請專利範圍第8項所述的影像擷取裝置,其中該參數更新模組對所述第一影像與所述第二影像進行一特徵點偵測,而獲取所述第一影像的複數個第一特徵點與所述第二影像的複數個第二特徵點,該參數更新模組對所述第一特徵點的座標位置以及分別與所述第一特徵點相對應的所述第二特徵點的座標位置,以獲取所述第一特徵點與所述第二特徵點之間的所述特徵點比對值,該參數更新模組紀錄所述第一特徵點與所述第二特徵點之間的所述特徵點比對值。
- 如申請專利範圍第12項所述的影像擷取裝置,其中該參數更新模組依據所述第一特徵點的座標位置或/及所述第二特徵點的座標位置分類各所述特徵點比對值至複數個統計槽。
- 如申請專利範圍第13項所述的影像擷取裝置,其中該參數更新模組依據所述統計槽中所述特徵點比對值的數量與所述特徵點比對值所對應的複數個深度值,判斷所述特徵點比對值是否足夠進行運算,若是,該參數更新模組依據所述特徵點比對值更新該當前校正參數,其中所述深度值係透過對所述第一特徵點與對應的所述第二特徵點進行一三維深度估測而獲取。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103103260A TWI511081B (zh) | 2014-01-28 | 2014-01-28 | 影像擷取裝置及其影像形變校正方法 |
US14/315,272 US9792685B2 (en) | 2014-01-28 | 2014-06-25 | Image capturing device and method for calibrating image deformation thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103103260A TWI511081B (zh) | 2014-01-28 | 2014-01-28 | 影像擷取裝置及其影像形變校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201530493A true TW201530493A (zh) | 2015-08-01 |
TWI511081B TWI511081B (zh) | 2015-12-01 |
Family
ID=53679503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103103260A TWI511081B (zh) | 2014-01-28 | 2014-01-28 | 影像擷取裝置及其影像形變校正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9792685B2 (zh) |
TW (1) | TWI511081B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI567661B (zh) * | 2015-10-30 | 2017-01-21 | 東友科技股份有限公司 | 影像擷取方法及影像擷取裝置 |
TWI579776B (zh) * | 2015-10-27 | 2017-04-21 | 財團法人國家實驗研究院 | 利用影像擷取裝置給定一全域場景影像之方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI554098B (zh) * | 2014-10-07 | 2016-10-11 | 緯創資通股份有限公司 | 錄影裝置與錄影方法 |
US10931933B2 (en) * | 2014-12-30 | 2021-02-23 | Eys3D Microelectronics, Co. | Calibration guidance system and operation method of a calibration guidance system |
US10412369B2 (en) * | 2015-07-31 | 2019-09-10 | Dell Products, Lp | Method and apparatus for compensating for camera error in a multi-camera stereo camera system |
US20170270654A1 (en) | 2016-03-18 | 2017-09-21 | Intel Corporation | Camera calibration using depth data |
CN109920004B (zh) * | 2017-12-12 | 2023-12-19 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、标定物组合、终端设备及标定*** |
CN108965694B (zh) * | 2018-06-26 | 2020-11-03 | 影石创新科技股份有限公司 | 用于相机水平矫正的陀螺仪信息的获取方法及便携式终端 |
CN113243015B (zh) * | 2018-12-19 | 2024-03-26 | 浙江大华技术股份有限公司 | 视频监控*** |
TWI705011B (zh) | 2019-03-12 | 2020-09-21 | 緯創資通股份有限公司 | 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 |
CN111028281B (zh) * | 2019-10-22 | 2022-10-18 | 清华大学 | 基于光场双目***的深度信息计算方法及装置 |
TWI784330B (zh) * | 2020-10-21 | 2022-11-21 | 財團法人工業技術研究院 | 物件追蹤方法及其處理裝置與系統 |
US11445121B2 (en) | 2020-12-29 | 2022-09-13 | Industrial Technology Research Institute | Movable photographing system and photography composition control method |
CN113327204B (zh) * | 2021-06-01 | 2024-03-15 | 中科晶源微电子技术(北京)有限公司 | 图像校准方法和装置、设备及存储介质 |
CN116539068B (zh) * | 2023-07-03 | 2023-09-08 | 国网山西省电力公司电力科学研究院 | 一种视觉测量***柔性自检调节装置及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5293463B2 (ja) * | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
EP2309451B1 (en) * | 2009-09-25 | 2013-01-02 | Deutsche Telekom AG | Method and system for self-calibration of asynchronized camera networks |
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US8027582B2 (en) * | 2009-12-21 | 2011-09-27 | Sony Corporation | Autofocus with confidence measure |
TWI423143B (zh) * | 2010-06-17 | 2014-01-11 | Pixart Imaging Inc | 影像感測模組 |
CN102313515B (zh) * | 2010-07-08 | 2013-10-23 | 国立清华大学 | 三维数字影像相关法的校正方法 |
TW201310004A (zh) * | 2011-08-18 | 2013-03-01 | Nat Applied Res Laboratories | 編列數位影像關係裝置 |
-
2014
- 2014-01-28 TW TW103103260A patent/TWI511081B/zh active
- 2014-06-25 US US14/315,272 patent/US9792685B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI579776B (zh) * | 2015-10-27 | 2017-04-21 | 財團法人國家實驗研究院 | 利用影像擷取裝置給定一全域場景影像之方法 |
TWI567661B (zh) * | 2015-10-30 | 2017-01-21 | 東友科技股份有限公司 | 影像擷取方法及影像擷取裝置 |
US9769347B2 (en) | 2015-10-30 | 2017-09-19 | Teco Image Systems Co., Ltd. | Image capturing method |
Also Published As
Publication number | Publication date |
---|---|
US9792685B2 (en) | 2017-10-17 |
TWI511081B (zh) | 2015-12-01 |
US20150213589A1 (en) | 2015-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI511081B (zh) | 影像擷取裝置及其影像形變校正方法 | |
US9697604B2 (en) | Image capturing device and method for detecting image deformation thereof | |
CN105453136B (zh) | 使用自动聚焦反馈进行立体侧倾校正的***、方法及设备 | |
KR102032882B1 (ko) | 자동 포커싱 방법, 장치 및 전자 장치 | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
TWI494680B (zh) | 影像擷取裝置及其影像形變校正方法 | |
US20160295097A1 (en) | Dual camera autofocus | |
TWI538512B (zh) | 調整對焦位置的方法及電子裝置 | |
CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
TWI471677B (zh) | 自動對焦方法及自動對焦裝置 | |
TW201618531A (zh) | 影像擷取裝置及其數位變焦方法 | |
US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
CN106031148B (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
TWI595444B (zh) | 影像擷取裝置及其產生深度資訊的方法與自動校正的方法 | |
CN109257540B (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
CN106154688B (zh) | 一种自动对焦的方法及装置 | |
JP5968379B2 (ja) | 画像処理装置およびその制御方法 | |
TWI460523B (zh) | 自動對焦方法及自動對焦裝置 | |
CN104811688B (zh) | 图像获取装置及其图像形变检测方法 | |
TWI621831B (zh) | 影像擷取裝置與其相位對焦的校正方法 | |
CN104811680B (zh) | 图像获取装置及其图像形变校正方法 | |
CN108243305B (zh) | 影像捕获设备与其相位对焦的校正方法 | |
CN110839126B (zh) | 一种变倍追踪方法、装置及可变倍摄像机 | |
JP2016162376A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
TW201616168A (zh) | 自動對焦方法及電子裝置 |