TWI466538B

TWI466538B - 影像處理方法及其裝置

Info

Publication number: TWI466538B
Application number: TW101102387A
Authority: TW
Inventors: Chia Yu Wu; Hong Long Chou; Chia Chun Tseng
Original assignee: Altek Corp
Priority date: 2012-01-20
Filing date: 2012-01-20
Publication date: 2014-12-21
Also published as: US8768066B2; US20130188874A1; TW201332349A

Description

影像處理方法及其裝置

本發明是有關於一種影像處理方法及其裝置，且特別是有關於一種移動向量估測的方法及其裝置。

一般而言，當影像擷取裝置例如數位相機或攝錄影機等裝置透過鏡頭從感光元件所直接擷取下來的影像皆具有某種程度之鏡頭變形(lens distortion)，在輸出成像或進行其他影像處理程序之前通常影像擷取裝置皆會針對鏡頭變形情況進行鏡頭變形補償(lens distortion compensation)的動作使輸出的成像調整為較為使用者所接受。

圖1所繪示為習知技術中經鏡頭變形校正處理之影像處理流程示意圖。請參照圖1，從感光元件上相鄰時間點所擷取下來之第一影像IMG1及第二影像IMG2大多為Bayer圖形格式(pattern format)，而有些影像應用處理程序，例如圖1中之影像應用處理程序110，由於處理程序特性較適合於Bayer圖形格式時候即對影像(例如第一影像IMG1及第二影像IMG2)進行該影像應用處理程序。這樣的應用處理例如三維降噪處理(3D noise reduction)。由於像素中直接反應降噪內容的成分即為像素中的RGB成分，因此三維降噪處理較適合於Bayer圖形格式時進行。

接著，在基本影像處理程序120時，除了對第一影像IMG1及第二影像IMG2進行基本的影像內容調整處理外，亦進行了檔案格式的轉換，將第一影像IMG1及第二影像IMG2從Bayer圖形格式轉換成YUV圖形格式，以便利於鏡頭變形校正處理程序130將第一影像IMG1以及第二影像IMG2校正得到修正後第一影像CIMG1及修正後第二影像CIMG2。適用於校正後影像以及YUV格式之影像應用處理程序140則接收修正後第一影像CIMG1及第二影像CIMG2進行處理。而無論是在鏡頭變形校正處理程序130之前(例如影像應用處理程序110)或是之後(例如影像應用處理程序140)進行的影像應用處理程序中，移動向量估測(motion estimation)為廣泛運用的技術之一。移動向量估測程序111及140則是分別提供影像應用處理程序110及140移動向量估測之內容，包括第一影像IMG1及第二影像IMG2之間的各個區塊的區域移動向量(local motion vector)以及整體的全域移動向量(global motion vector)。

在習知技術中，移動向量估測141的可透過資料取得路徑r1或資料取得路徑r2取得。移動向量估測141透過資料取得路徑r1取得移動向量估測內容意即直接引用移動向量估測程序111之估測結果，這樣的方式雖可以節省計算量及耗電，但經鏡頭變形校正程序130前與程序後之各個區塊內容及對應位置皆有所改變，透過資料取得路徑r1從移動向量估測程序111取得之移動向量估測內容與經校正處理後的第一影像IMG1及第二影像IMG2具有一定程度上的誤差，無法良好的反映出實際之於校正後影像中的移動向量情況。另一方面，移動向量估測程序140亦可透過資料取得路徑r2取得經校正處理後的第一影像IMG1及第二影像IMG2，重新針對校正後兩影像計算移動向量估測的內容。但這樣一來，雖然可以獲得較為精準的內容但卻也多消耗了許多計算量及電量。因此，如何在不耗費過多計算量的情況下獲得精準的經鏡頭變形校正後之影像的移動向量估測結果，確實為當前所屬領域的重要課題。

本發明提供一種影像處理方法及其裝置，利用對數位影像進行鏡頭變形校正前所得到之移動向量估測結果，轉換修正後可直接對應於鏡頭變形校正後之影像的移動向量估測結果。

本發明提供一種影像處理方法，包括以下步驟。首先，取得第一影像及第二影像之間的一全域移動向量，並提供第一影像、第二影像及全域移動向量至第一應用處理程序，其中第一影像為第二影像的前張影像。接著，分別對第一影像及第二影像進行鏡頭變形校正處理得到修正後第一影像及修正後第二影像。然後，轉換並修正全域移動向量得到修正後全域移動向量以對應該修正後第一影像及修正後第二影像。最後，提供修正後第一影像、修正後第二影像以及修正後全域移動向量至第二應用處理程序。

本發明提供一種影像處理裝置，適用一影像處理方法，包括一記憶體及一處理器。記憶體用以暫存第一影像及第二影像。處理器耦接記憶體，從記憶體接收第一影像及第二影像，取得第一影像及第二影像之間的全域移動向量，並利用第一影像、第二影像及全域移動向量執行一第一應用處理程序。處理器更分別對第一影像及第二影像進行鏡頭變形校正處理得到修正後第一影像及修正後第二影像並暫存於記憶體。該處理器轉換亦修正全域移動向量得到修正後全域移動向量以對應修正後第一影像及修正後第二影像；以及處理器利用修正後第一影像、修正後第二影像及修正後全域移動向量執行第二應用處理程序。

基於上述，本發明提供一種影像處理方法及其裝置，使得鏡頭變形校正處理前所計算得到之移動向量估測結果，例如兩張影像之間的全域移動向量，可經由轉換及修正，讓鏡頭校正處理後所進行之影像應用處理程序使用。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖2所示為根據本發明一實施例所繪示之影像處理方法的方法流程圖。請參照圖2，首先於步驟S101時，取得第一影像及第二影像之間的一全域移動向量，並提供第一影像、第二影像及全域移動向量至第一應用處理程序，其中第一影像為第二影像的前張影像。接著在步驟S102時，分別對第一影像及第二影像進行鏡頭變形校正處理得到修正後第一影像及修正後第二影像。然後在步驟S103時，轉換並修正全域移動向量得到修正後全域移動向量以對應修正後第一影像及該修正後第二影像。最後在步驟S104時，提供修正後第一影像、修正後第二影像以及修正後全域移動向量至第二應用處理程序。以下將配合圖式詳細說明本發明的一種實施方式。

圖3為根據本發明一實施例之影像處理方法的流程示意圖，其中影像應用處理程序110至140請參考圖1所示之說明，在此則不再贅述，值得注意的是在基本影像處理程序120時會將第一影像IMG1及第二影像IMG2從Bayer圖案格式轉換為YUV圖案格式，但圖案格式根據實施方式而設置，並不限定於上述兩格式。

請參照圖3，在粗略移動向量估測程序311時，對第一影像IMG1及第二影像IMG2進行粗略移動向量估測。在本實施例中，粗略移動向量估測的流程為，首先根據第一影像IMG1及第二影像IMG2分別產生第一影像IMG1的第一縮圖及第二影像IMG2的第二縮圖。接著以第二縮圖中一個區塊(block)為單位在第一縮圖上搜尋對應的對應區塊，以此計算出每個區塊的粗略區域移動向量。在得到第二縮圖的每個區塊的粗略區域移動向量後，則可利用投票(vote)、平均或其他判定機制得到一粗略全域移動向量RGMV。決定粗略全域移動向量的判定機制以及其中之設定則視實際狀況調整，本發明並不限定使用上述之判定機制。

以區塊為單位在第一縮圖上尋找對應區塊的移動向量估測有許多實施方式，例如在本實施例中，在第一縮圖上的一第一預設大小區域，以一次移動一像素的方式計算得到對應相疊位置的像素值之絕對差，並加總區塊內的像素差得到在這個位置的絕對差之和(sum of absolute difference,SAD)，再接著比較在第一預設大小區域中所有位置的SAD值，其中具有最小SAD值的位置即是對應區塊之位置，並藉由第二影像IMG2上的該區塊與第一影像IMG1的對應區塊之間的距離計算得到粗略區域移動向量。而第一預設大小區域以及區塊大小皆依實際情況而進行設置調整。移動向量估測的方式亦不限定於使用上述方式。

接著，移動向量估測程序312自粗略移動向量估測程序311接收第一影像IMG1、第二影像IMG2及粗略全域移動向量RGMV，根據粗略全域移動向量RGMV估測獲得第一影像IMG1及第二影像IMG2之間的全域移動向量。在本實施例中，第二影像IMG2的每個區塊首先根據粗略全域移動向量RGMV移動至對應位置，並在第一影像中的對應位置周圍一第二預設大小區域內，運用上述於得到粗略區域移動向量的方式搜尋對應區塊，進而得到第二影像IMG2上每個區塊的區域移動向量。接著將每個區域移動向量減去粗略全域移動向量RGMV，得到第二影像IMG2上每個區塊的相對區域移動向量。

當第二影像IMG2上每個區塊的相對移動向量計算完成後，則可利用投票、平均或其他判定機制得到全域相對區域移動向量，將此向量加上粗略全域移動向量RGMV則可以得到第一影像IMG1與第二影像IMG2的全域移動向量GMV。值得注意的是，在一些實施情況中，第二影像IMG2中每個區塊的相對區域移動向量可能為一發散之數據，意即無法從該些相對區域移動向量值中歸納出一個確切相對於粗略全域移動向量的移動方向。在上述之情況下，判定機制可能忽略相對區域移動向量的計算結果，直接使用粗略全域移動向量RGMV作為第一影像IMG1及第二影像IMG2的全域移動向量GMV。為了避免上述之情況發生，亦可調整第二預設大小區域以及判定機制的設定，以調整所得到的全域移動向量GMV的結果為最佳化為前提。

區塊座標轉換程序313從移動向量估測程序312接收第一影像IMG1、第二影像IMG2及第二影像IMG2中各個區塊的區域移動向量LMV，並進行該些區塊的座標轉換。在本實施例中以各個區塊的中心座標作為該區塊的代表點進行轉換，但在不同的實施例中亦可根據各個區塊中其他像素點之座標，例如區塊的左上頂點，作為轉換的代表點。首先，利用第二影像IMG2中各個區塊的中心座標加上各自對應的區域移動向量LMV即可得到各個區塊於第一影像IMG1上的對應區塊之中心座標。

接著，利用一座標轉換式轉換第二影像IMG2中該些區塊的中心座標以及其所對應第一影像IMG1中對應區塊的中心座標以得到對應各個區塊的修正後區域移動向量。其中，座標轉換式對應於鏡頭變形校正處理的動作，用於轉換修正前影像的座標成為修正後影像的座標。在本實施例中，影像中的各個座標利用座標轉換式的轉換結果被預先計算得到一校正表LDT，當需要進行轉換鏡頭變形校正前後的影像座標時，可直接利用查表方式對照校正表LDT即可獲得轉換之結果。

值得一提的是，為了節省記憶空間，校正表LDT之內容可以跳點之方式儲存影像中部分座標的轉換結果(例如每16點像素儲存1點的轉換結果)。而當需轉換進行轉換的座標點(區塊或對應區塊的中心座標)在校正表LDT中沒有儲存轉換結果的點座標時，只要利用鄰近存有轉換結果的點利用內插的方式例如雙線性內插(Bilinear Interpolation)等方式計算即可得到。但本發明並不限定於利用上述方法完成儲存校正表及查表的動作。

在得到各個區塊及其所對應的對應區塊的轉換後對應於修正後影像的中心座標後，便可根據轉換後的區塊中心座標及轉換後的對應區塊中心座標得到對應於修正後第二影像CIMG2的各個區塊與修正後第一影像CIMG1中對應區塊的修正後區域移動向量CLMV。移動向量修正程序314則根據該些修正後區域移動向量CLMV得到對應於修正後第一影像CIMG1及修正後第二影像CIMG2之間的修正後全域移動向量CGMV。

而在本實施例中，運用相似於移動向量估測程序312的步驟，先將複數個修正後區域移動向量CLMV減去粗略全域移動向量RGMV，得到每個區塊的修正後相對區域移動向量。接著再根據每個區塊的相對區域移動向量利用投票、平均或其他判定機制機制決定修正後相對全域移動向量大小，將此修正後相對全域移動向量加上粗略全域移動向量RGMV即得到修正後全域移動向量CGMV。相似於移動向量估測程序312中判定全域移動向量的考量，基於粗略全域移動向量RGMV的作法在於，當出現各個相對區域移動向量數值過於發散，無法歸納出一整體移動方向時，這樣的作法能夠確保修正後全域移動向量雖無法做到最精準之估測，但亦不會被雜亂的相對區域移動向量所影響。

最後，提供對應於修正後第一影像CIMG1及修正後第二影像CIMG2的修正後全域移動向量CGMV至影像應用處理程序140，影像應用處理程序140便可應用修正後全域移動向量CGMV之資訊完成其相關影像處理內容。

本發明亦提供一種影像處理裝置，適用上述之影像處理方法。圖4所示為根據本發明一實施例所繪示影像處理裝置的裝置方塊圖。請參照圖4，影像處理裝置40包括處理器410及記憶體420。記憶體420用以暫存第一影像IMG1及第二影像IMG2。處理器410耦接記憶體420，從記憶體420接收第一影像IMG1及第二影像IMG2。處理器410取得第一影像IMG1及第二影像IMG2之間的全域移動向量，並利用第一影像IMG1及第二影像IMG2及全域移動向量執行第一應用處理程序。

處理器410並分別對第一影像IMG1及第二影像IMG2進行鏡頭變形校正處理得到修正後第一影像CIMG1及修正後第二影像CIMG2暫存於記憶體420。處理器轉換並修正全域移動向量得到修正後全域移動向量以對應修正後第一影像CIMG1及修正後第二影像CIMG2。處理器410利用修正後第一影像CIMG1及修正後第二影像CIMG2以及修正後全域移動向量執行第二應用處理程序。

本發明所提供之影像處理裝置40的具體實施內容可參照上述各實施例之敘述中獲致足夠的教示、建議與實施說明，因此不再贅述。值得一提的是，在本實施例中，上述實施例的各個數據資料值，例如圖3實施例中的粗略全域移動向量RGMV、各個區塊的區域移動向量LMV和校正表LDT等數據資料值，儲存於記憶體420待處理器410存取使用。

綜上所述，本發明提供一種影像處理方法及其裝置，在針對進行鏡頭變形校正處理前的影像所計算的移動向量估測，先進行粗略的移動向量估測以及更為精準之區域移動向量和全域移動向量的計算，並轉換區域移動向量以對應鏡頭變形校正後之影像。再接著根據轉換之區域移動向量及粗略全域移動向量修正全域移動向量以對應於修正後之影像。這樣一來，於鏡頭變形校正處理程序前後會應用到移動向量估測之影像應用處理則皆可利用上述之轉換關係直接應用轉換前或轉換後的全域移動向量，避免了過多的複雜計算，以及經過鏡頭變形校正處理後的影像應用程序直接應用變形校正前計算之移動向量估測之不準確。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

110、140．．．影像應用處理程序

111、141．．．移動向量估測程序

120．．．基本影像處理程序

130．．．鏡頭變形校正處理程序

311．．．粗略移動向量估測程序

312．．．移動向量估測程序

313．．．區塊座標轉換程序

314．．．移動向量修正程序

r1、r2．．．資料取得路徑

IMG1、IMG2．．．影像

CIMG1、CIMG2．．．修正後影像

RGMV．．．粗略全域移動向量

GMV．．．全域移動向量

LDT．．．校正表

CLMV．．．修正後區域移動向量

CGMV．．．修正後全域移動向量

圖1所繪示為習知技術中經鏡頭變形校正處理之影像處理流程示意圖。

圖2所示為根據本發明一實施例所繪示之影像處理方法的方法流程圖。

圖3為根據本發明一實施例之影像處理方法的流程示意圖。

圖4所示為根據本發明一實施例所繪示影像處理裝置的裝置方塊圖。

S101～S104．．．步驟

Claims

一種影像處理方法，包括：針對一第一影像及一第二影像之間進行一粗略移動向量估測，以得到一粗略全域移動向量，其中該第一影像為該第二影像的前張影像，該第一影像包括複數個區塊及該第二影像包括複數個區塊，其中針對該第一影像及該第二影像之間進行該粗略移動向量估測，以得到該粗略全域移動向量的步驟包括：分別根據該第一影像及該第二影像產生一第一縮圖及一第二縮圖，其中該第一縮圖及第二縮圖的大小小於該第一影像及該第二影像，並且該第一縮圖包括複數個區塊以及該第二縮圖包括複數個區塊；根據該第一縮圖及該第二縮圖，分別得到該第二縮圖的該些區塊於該第一縮圖上所搜尋得到的複數個對應區塊之間的複數個粗略區域移動向量；以及根據該些粗略區域移動向量得到該粗略全域移動向量；根據該粗略全域移動向量，估測獲得該第一影像及該第二影像之間的一全域移動向量；提供該第一影像、該第二影像及該全域移動向量至一第一應用處理程序；分別對該第一影像及該第二影像進行一鏡頭變形校正處理得到一修正後第一影像及一修正後第二影像；轉換並修正該全域移動向量得到一修正後全域移動向量以對應該修正後第一影像及該修正後第二影像；以及提供該修正後第一影像、該修正後第二影像以及該修正後全域移動向量至一第二應用處理程序。
如申請專利範圍第1項所述方法，其中分別對該第一影像及該第二影像進行該鏡頭變形校正處理的步驟前更包括：對該第一影像及該第二影像進行一基本影像處理，其中該基本影像處理包括將該第一影像及該第二影像從一第一檔案格式轉換為一第二檔案格式。
如申請專利範圍第1項所述方法，其中根據該粗略全域移動向量，估測獲得該第一影像及該第二影像之間的該全域移動向量的步驟包括：根據該粗略全域移動向量，取得該第二影像的該些區塊與該第一影像上的複數個對應區塊之間的複數個區域移動向量；以及根據該些區域移動向量透過一第一投票機制得到該全域移動向量。
如申請專利範圍第3項所述方法，其中轉換並修正該全域移動向量得到該修正後全域移動向量的步驟包括：利用一座標轉換式轉換該第二影像中該些區塊的中心座標為對應於該修正後第二影像的複數個修正後座標；利用該座標轉換式轉換該第一影像中該些對應區塊的中心座標為該修正後第一影像的複數個修正後對應座標；利用該第二影像中該些區塊的該些修正後座標以及對應第二影像中該些區塊的該些對應區塊的該些修正後對應座標得到複數個修正後區域移動向量；以及根據該些修正後區域移動向量以及該粗略全域移動向量透過一第二投票機制得到該修正後全域移動向量。
如申請專利範圍第4項所述方法，其中利用該座標轉換式轉換該第二影像中該些區塊的中心座標以及轉換該第一影像中的該些對應區塊的中心座標的步驟包括：根據一校正表，以查表方式分別轉換該第二影像中該些區塊的中心座標以及該第一影像中的該些對應區塊的中心座標。
一種影像處理裝置，適用一影像處理方法，包括：一記憶體，用以暫存一第一影像及一第二影像；一處理器，耦接該記憶體，從該記憶體接收該第一影像及該第二影像，並針對該第一影像及該第二影像之間進行一粗略移動向量估測，以得到一粗略全域移動向量，其中該第一影像為該第二影像的前張影像，該第一影像包括複數個區塊及該第二影像包括複數個區塊，其中該處理器分別根據該第一影像及該第二影像產生一第一縮圖及一第二縮圖，又根據該第一縮圖及該第二縮圖，分別得到該第二縮圖的該些區塊於該第一縮圖上所搜尋得到的複數個對應區塊之間的複數個粗略區域移動向量，以及根據該些粗略區域移動向量得到該粗略全域移動向量，其中該第一縮圖及第二縮圖的大小小於該第一影像及該第二影像，並且該第一縮圖包括複數個區塊以及該第二縮圖包括複數個區塊；該處理器根據該粗略全域移動向量，估測獲得該第一影像及該第二影像之間的該全域移動向量；該處理器提供該第一影像、該第二影像及該全域移動向量至一第一應用處理程序；該處理器分別對該第一影像及該第二影像進行一鏡頭變形校正處理得到一修正後第一影像及一修正後第二影像暫存於該記憶體；該處理器轉換並修正該全域移動向量得到一修正後全域移動向量以對應該修正後第一影像及該修正後第二影像；以及該處理器利用該修正後第一影像、該修正後第二影像以及該修正後全域移動向量執行一第二應用處理程序。
如申請專利範圍第6項所述裝置，其中：該處理器於對該第一影像及該第二影像進行一鏡頭變形校正處理前，對該第一影像及該第二影像進行一基本影像處理，其中該基本影像處理包括將該第一影像及該第二影像從一第一檔案格式轉換為一第二檔案格式。
如申請專利範圍第6項所述裝置，其中：該處理器根據該粗略全域移動向量，取得該第二影像的該些區塊與該第一影像上的複數個對應區塊之間的複數個區域移動向量，其中該些對應區塊根據第二影像中的該些區塊並利用一區域移動向量搜尋法而獲得；以及該處理器根據該些區域移動向量透過一第一投票機制得到該全域移動向量。
如申請專利範圍第8項所述裝置，其中：該處理器利用一座標轉換式轉換該第二影像中該些區塊的中心座標為對應於該修正後第二影像的複數個修正後座標；該處理器利用該座標轉換式轉換該第一影像中該些對應區塊的中心座標為該修正後第一影像的複數個修正後對應座標；該處理器利用該第二影像中該些區塊的該些修正後座標以及對應第二影像中該些區塊的該些對應區塊的該些修正後對應座標得到複數個修正後區域移動向量；以及該處理器根據該些修正後區域移動向量以及該粗略全域移動向量透過一第二投票機制得到該修正後全域移動向量。
如申請專利範圍第9項所述裝置，其中：該記憶單元儲存一校正表；該處理器從該記憶單元讀取該校正表，並根據該校正表，以查表方式分別轉換該第二影像中該些區塊的中心座標以及該第一影像中的該些對應區塊的中心座標。