TWI385597B - 影像處理方法以及影像處理系統 - Google Patents

Description

影像處理方法以及影像處理系統

本發明係關於一種影像處理方法以及影像處理系統，特別是關於複數影像之間的影像處理方法及系統。

在各種多媒體影像的相關應用上，存在著許多影像內容的辨識比對需求，如辨識物體種類或其差異性、印刷電路板(簡稱PCB)的電路檢測、影像監視防盜或立體(stereo)影像的建立與處理等。

影像關連性(image correlation)比對是一種廣泛應用於影像處理領域中的技術，用以分辨兩張影像之間的相似程度高低。許多新穎的視訊編碼電路(例如與H.26x或MPEG協定相容的系統)通常會採用影像關連性比對或移動向量估測等方法來協助於不同影像畫面中找出圖像間的相似性，進而達到各種影像應用功能。

請參閱圖一A，圖一A繪示習知的影像關連性比對方法下第一影像10與第二影像12之間的關連性示意圖。此第一與第二影像在實際應用中可能為影像串流中的時序先、後影像，或雙視角立體攝影系統同時產生的兩幅影像等。在習知的影像關連性比對方法中，主要透過特徵區塊比對的方法來找出兩影像間的關連性。

如圖一所示，在第一影像10中擷取複數個特徵點100，在第二影像12亦擷取複數個特徵點120，此處所謂的特徵點，大多對應畫面中的色彩或亮度變化較大的像素位置，或是畫面中各個物件的邊緣。特徵點的擷取可採用尺度不變特徵轉換(scale invariant feature transform,SIFT)演算法或哈氏角偵測(Harris corner detection)演算法。

接著，第一影像10中的每一個特徵點100及其鄰近的像素形成特徵區塊102，第二影像12中的每一個特徵點120及其鄰近的像素形成特徵區塊122，舉例來說，上述特徵區塊的大小可為17*17、25*25、33*33個像素單元等大小。

第一影像10中的特徵區塊102與第二影像12中的特徵區塊122以區塊為單位進行比對，以全面搜尋或部份搜尋的方式找出與其最相似的一組具對應關係的特徵區塊配對，藉由第一影像10中的特徵區塊102與第二影像12中的特徵區塊122之間的相對關係，判斷兩個影像之間的關連性。

例如，習知的全面搜尋演算法(full search algorithm)中，第一影像10中的每一個特徵區塊102會被拿來和第二影像12中所有可能的特徵區塊122逐一比對，以便由第二影像12中逐一比對找出最相似的特徵區塊122。也就因為，目前常見的比對機制通常採用這種區塊比對(block-based)方式，一般而言，當第一影像10與第二影像12之間存在一定程度的水平誤差與垂直誤差等畫面差距時，現階段的影像關連性比對方法依然能夠找到最適切的對應關係。

然而，當第一影像與第二影像之間若存在旋轉誤差(rotational discrepancy)時，請參閱圖一B，圖一B繪示習知的影像關連性比對方法下第一影像10'與第二影像12'之間的關連性示意圖。如圖一B所示，第一影像10'與第二影像12'的像素之間存在旋轉角度上的相對偏差而不僅是水平或垂直方向的位移，如此一來，一般的區塊比對方法便無法找到可形成對應的特徵區塊配對，甚至是發生嚴重的誤判情形。在實際應用中，若偏轉角度在10度以內，透過習知的比對方法仍有可能維持較高的正確率。然而，經實驗，若取兩個完全相同的影像，將其中一張影像偏轉20度時，採用習知比對方法的比對正確率已下降至60%至70%之間；而當偏轉角度達30度時，正確率更大幅下降至30%以下。

於是，本發明提出一種影像處理方法以及影像處理系統，其可校正影像之間的旋轉偏差，以便正確地判斷影像間之影像關連性，以解決上述問題。

本發明之一範疇在於提供一種影像處理方法，可於複數影像之間的影像處理。根據一具體實施例，該等影像分別包含複數個像素，而該影像處理方法包含下列步驟：

1)由該第一影像之該等像素中選取複數個特徵點，且由該第二影像之該等像素中選取複數個特徵點。

2)分別根據該第一影像與該第二影像之每一特徵點及其鄰近的像素計算對應每一特徵點上的一梯度變化向量。

3)分別根據該第一影像與該第二影像之該等特徵點的該等梯度變化向量，對應該第一影像與該第二影像各自產生一統計分佈。

4)根據該等統計分佈，計算該第一影像與該第二影像之間的一偏轉角度。

本發明之另一範疇在於提供一種影像處理系統。根據一具體實施例，影像處理系統包含旋轉偏差修正模組以及影像比對模組。

其中，旋轉偏差修正模組用於判斷第一影像與第二影像之間的一偏轉角度，該第一影像與該第二影像分別包含複數個像素，該旋轉偏差修正模組包含特徵點擷取單元、梯度計算單元、統計單元以及角度計算單元。該特徵點擷取單元用以自該第一影像之該等像素中選取複數個特徵點，並自該第二影像之該等像素中選取複數個特徵點。該梯度計算單元分別根據該第一影像與該第二影像之每一特徵點及其鄰近的像素計算對應每一特徵點上的一梯度變化向量。統計單元分別根據該第一影像與該第二影像之該等特徵點的該等梯度變化向量，對應該第一影像與該第二影像各自產生一統計分佈。該角度計算單元根據該等統計分佈，用以計算該第一影像與該第二影像之間的該偏轉角度。如此一來，旋轉偏差修正模組便可據以消除影像之間的旋轉偏差。

隨後，該影像比對模組便可就旋轉偏差修正模組調整後之該第一影像與該第二影像進行關連性比對，藉此判斷該第一影像與該第二影像之間的影像關連性。

相較於習知技術中直接對兩影像進行區塊比對的作法，於本發明可預先計算兩影像之間的偏轉角度，並對影像進行旋轉補償，方才進行影像之間的關連性比對。藉此，提高影像關連性比對的效率與準確性，並降低因影像間具有角度誤差而產生誤判或根本無法對應的情形。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱圖二，圖二繪示根據本發明之一具體實施例中影像處理系統2的示意圖。如圖二所示，影像處理系統2包含旋轉偏差修正模組20以及影像比對模組22。影像處理系統2可用以判斷及比對不同的影像檔案之間的影像關連性。此處影像處理系統2處理的影像可為影像串流中的時序先、後影像，或雙視角立體攝影系統同時產生的兩幅影像等。

請參閱圖三，圖三繪示根據本發明之一具體實施例中第一影像30與第二影像32的示意圖。於此實施例中，影像處理系統2適用於處理第一影像30與第二影像32。在實際應用中，在影像檔案的形成過程中(例如攝影或拍照)可能因為產生影像的拍攝裝置發生晃動、雙視角立體攝影系統的左右攝影鏡頭角度不一致等各種原因，第一影像30與第二影像32所呈現的畫面經常可能具有一定的角度偏差，如圖三所示，第一影像30與第二影像32之間大致存在相對的偏轉角度θ。

於此實施例中，本發明中的旋轉偏差修正模組20可用以計算第一影像30與第二影像32之間的偏轉角度θ。接著，影像比對模組22可根據旋轉偏差修正模組20計算而得的該偏轉角度θ，先對其中一個影像進行旋轉補償(rotational offset)後，接著對第一影像20與第二影像22進行關連性比對，藉此判斷該第一影像與該第二影像之間的影像關連性。相較於習知技術中直接對兩影像進行比對的作法，於本發明中，在預先經過旋轉補償之後，第一影像20與第二影像22之間的關連性比對準確性便能大幅提高，藉此提高影像關連性比對的效率，並降低誤判或無法產生對應關係的情形。

關於此實施例中，旋轉偏差修正模組20計算第一影像30與第二影像32之間的偏轉角度θ的作動方式與方法步驟，將詳述如下。於此實施例中，旋轉偏差修正模組20包含特徵點擷取單元200、梯度計算單元202、統計單元204、角度計算單元206以及影像旋轉單元208。請一併參閱圖四，圖四繪示根據本發明之一具體實施例中影像處理方法的方法流程圖，影像處理方法可配合在影像處理系統2上執行。

於此實施例中，第一影像30與第二影像32分別包含複數個像素，例如640x480或1024x768個像素等等，但不以此為限，視實際影像大小而定。

首先，執行步驟S100，利用特徵點擷取單元200自第一影像30之該等像素中選取複數個特徵點300(如圖三所示)，並自該第二影像32之該等像素中選取複數個特徵點320(如圖三所示)，於此實施例中，特徵點擷取單元200可基於尺度不變特徵轉換(scale invariant feature transform,SIFT)演算法或哈氏角偵測(Harris corner detection)演算法擷取該等特徵點，這些特徵點(第一影像30之特徵點300、第二影像32之特徵點320)大致上主要分佈影像中色彩彩度、亮度或灰階值變化較大的地方，或是分佈在畫面中物件的邊緣處。

接著，執行步驟S102，利用梯度計算單元202針對第一影像30根據每一特徵點300及其鄰近的像素，計算對應每一特徵點300上的梯度變化向量。於此同時，梯度計算單元202針對第二影像32根據每一特徵點320及其鄰近的像素計算對應每一特徵點320上的梯度變化向量。

需特別進一步說明的是，在上述步驟S102當中，梯度計算單元202係大致以每一特徵點300或特徵點320為中心點，由第一影像30與第二影像32中各自選取鄰近特徵點300或特徵點320的複數個像素形成特徵區塊。舉例來說，每個特徵區塊可為以其中一個特徵點為中心且由17*17個像素所共同形成的區塊，但本發明並不以此為限，特徵區塊的大小，可視計算上的方便性、處理器的計算能力、使用者需求的處理時限等因素而定。接著，梯度計算單元202可根據每一特徵區塊內的所有像素，計算產生該特定特徵點(特徵點300或特徵點320)上的梯度變化向量。於此實施例中，每一組梯度變化向量包含了強度變化量以及變化角度。其中，強度變化量係指該特徵區塊內像素的色彩彩度變化量、色彩亮度變化量或灰階值變化量等，而變化角度係指上述強度變化量發生變化時的變化方向。

接著，執行步驟S104，利用統計單元204根據第一影像30中該等特徵點300的梯度變化向量，產生第一影像30之統計分佈，於此同時，利用統計單元204根據第二影像32中該等特徵點320的梯度變化向量，產生第二影像32之統計分佈。

請一併參閱圖五，圖五繪示根據本發明之一具體實施例第一影像30與第二影像32分別產生的統計分佈示意圖。需特別進一步說明的是，在步驟S104當中，所謂第一影像30之統計分佈的產生，主要是將該第一影像30的梯度變化向量中具有相同變化角度的特徵點之強度變化量累加，形成依照不同變化角度的分類，而具有各自的強度變化量累積值的統計分佈(如圖五所示)。同理，第二影像32之統計分佈的產生，係將該第二影像32的梯度變化向量中，具有相同變化角度的特徵點之強度變化量累加所形成的(如圖五所示)。

接著，執行步驟S106，利用角度計算單元206根據第一影像30與第二影像32的統計分佈，計算第一影像30與第二影像32之間的偏轉角度θ大小。

需特別進一步說明的是，在上述步驟S106當中，角度計算單元206由該第一影像30之統計分佈中選取對應最大的強度變化累積值的最大變化量角度，於此實施例中，最大變化量角度為53°(如圖五所示)，另一方面，角度計算單元206亦由該第二影像32之統計分佈中選取對應最大的強度變化累積值的最大變化量角度，於此實施例中，最大變化量角度為64°(如圖五所示)。角度計算單元206計算上述第一影像之最大變化量角度(53°)與該第二影像之最大變化量角度(64°)的差值，作為兩影像間的偏轉角度θ，例如於此實施例中，偏轉角度θ即為11°。

當得知第一影像30與第二影像32之間的偏轉角度θ之後，影像處理系統2便可對其中一張影像進行旋轉補償。舉例來說，本發明的影像處理方法，接著便可執行步驟S108，旋轉偏差修正模組20可根據計算而得的偏轉角度θ，先對第二影像32進行旋轉調整，隨後影像比對模組22便可對旋轉調整後的第二影像32與第一影像30進行關連性比對，藉此判斷第一影像30與第二影像32之間的影像關連性。

需進一步說明的是，在上述步驟S108中，旋轉偏差修正模組20可利用影像旋轉單元208建立一個二維旋轉矩陣(於此實施例中此二維旋轉矩陣的旋轉角度需對應偏轉角度θ此例中可為逆時針旋轉11°)，影像旋轉單元208可利用矩陣乘法的方式將第二影像32的像素資料內容乘上此二維旋轉矩陣，進而將第二影像32逆時針旋轉11°之後，隨後影像比對模組22即可對第一影像30與旋轉後的第二影像32進行關連性比對。藉此，便可判斷第一影像30與第二影像32在去除旋轉偏差情況下的影像關連性。也就是說，基於旋轉偏差修正模組20所計算而得的偏轉角度θ大小，影像比對模組22可以較高的精確度進行後續的影像處理、物件辨視或影像壓縮或其他影像處理上的判斷步驟。

綜上所述，本發明之影像處理系統與影像處理方法，可預先計算兩影像之間的偏轉角度，並對影像進行旋轉補償，方才進行影像之間的關連性比對。藉此，提高影像關連性比對的效率與準確性，並降低因影像間具有角度誤差而產生誤判或根本無法對應的情形。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

10、10'、30．．．第一影像

12、12'、32．．．第二影像

100、120、300、320．．．特徵點

102、122．．．特徵區塊

2．．．影像處理系統

20．．．旋轉偏差修正模組

200．．．特徵點擷取單元

202．．．梯度計算單元

204．．．統計單元

206．．．角度計算單元

208．．．影像旋轉單元

22．．．影像比對模組

θ．．．偏轉角度

S100~S108．．．步驟

圖一A繪示習知的影像關連性比對方法下第一影像與第二影像之間的關連性示意圖。

圖一B繪示習知的影像關連性比對方法下第一影像與第二影像之間的關連性示意圖。

圖二繪示根據本發明之一具體實施例中影像處理系統的示意圖。

圖三繪示根據本發明之一具體實施例中第一影像與第二影像的示意圖。

圖四繪示根據本發明之一具體實施例中影像處理方法的方法流程圖。

圖五繪示根據本發明之一具體實施例第一影像與第二影像分別產生的統計分佈示意圖。

S100~S108．．．步驟

Claims (16)

1. 一種影像處理方法，用於判斷一第一影像與一第二影像之間的影像關連性，該第一影像與該第二影像分別包含複數個像素，該影像處理方法包含下列步驟：由該第一影像之該等像素中選取複數個特徵點，且由該第二影像之該等像素中選取複數個特徵點；分別根據該第一影像與該第二影像之每一特徵點及其鄰近的像素計算對應每一特徵點上的一梯度變化向量；分別根據該第一影像與該第二影像之該等特徵點的該等梯度變化向量，對應該第一影像與該第二影像各自產生一統計分佈；以及根據該等統計分佈，計算該第一影像與該第二影像之間的一偏轉角度。
2. 如申請專利範圍第1項所述之影像處理方法，其中由該第一影像與該第二影像的該等像素中選取該等特徵點的步驟係基於尺度不變特徵轉換演算法或哈氏角偵測演算法。
3. 如申請專利範圍第1項所述之影像處理方法，其中每一梯度變化向量包含一強度變化量以及一變化角度。
4. 如申請專利範圍第3項所述之影像處理方法，其中計算該等特徵點上的該梯度變化向量之步驟，係透過下列步驟完成：各自選取鄰近每一特徵點的複數個像素，形成對應各特徵點之複數個特徵區塊；以及根據每一特徵區塊內的該等像素計算產生該等梯度變化向量的該強度變化量以及該變化角度。
5. 如申請專利範圍第3項所述之影像處理方法，其中該等強度變化量有關該等像素的一灰階值變化、一亮度值變化或一彩度值變化。
6. 如申請專利範圍第3項所述之影像處理方法，其中形成該第一影像或該第二影像之該統計分佈的步驟，係透過下列步驟完成：根據其中一個影像中該等特徵點的該等梯度變化向量，將該影像中具有相同變化角度的特徵點之強度變化量累加，對應該影像形成依不同變化角度而分別具有一強度變化量累積值的該統計分佈。
7. 如申請專利範圍第6項所述之影像處理方法，其中根據該等統計分佈計算第一影像與該第二影像之間的該偏轉角度之步驟，係透過下列步驟完成：由該第一影像之該統計分佈中選取對應最大的強度變化累積值的最大變化量角度；由該第二影像之該統計分佈中選取對應最大的強度變化累積值的最大變化量角度；以及根據該第一影像與該第二影像之最大變化量角度的差值，計算該第一影像與該第二影像之間的該偏轉角度。
8. 如申請專利範圍第1項所述之影像處理方法，進一步包含下列步驟：根據計算而得的該偏轉角度，旋轉該第二影像；以及將該第一影像與經旋轉後的該第二影像進行一關連性比對，藉此判斷該第一影像與該第二影像在旋轉偏差修正後的影像關連性。
9. 一種影像處理系統，包含：一影像比對模組；以及一旋轉偏差修正模組，用於判斷一第一影像與一第二影像之間的一偏轉角度，該第一影像與該第二影像分別包含複數個像素，該旋轉偏差修正模組包含：一特徵點擷取單元，該特徵點擷取單元用以自該第一影像之該等像素中選取複數個特徵點，並自該第二影像之該等像素中選取複數個特徵點；一梯度計算單元，該梯度計算單元分別根據該第一影像與該第二影像之每一特徵點及其鄰近的像素計算對應每一特徵點上的一梯度變化向量；一統計單元，分別根據該第一影像與該第二影像之該等特徵點的該等梯度變化向量，對應該第一影像與該第二影像各自產生一統計分佈；以及一角度計算單元，根據該等統計分佈，計算該第一影像與該第二影像之間的該偏轉角度。
10. 如申請專利範圍第9項所述之影像處理系統，其中該特徵點擷取單元係基於尺度不變特徵轉換演算法或哈氏角偵測演算法由該第一影像與該第二影像中選取該等特徵點。
11. 如申請專利範圍第9項所述之影像處理系統，其中每一梯度變化向量包含一強度變化量以及一變化角度。
12. 如申請專利範圍第11項所述之影像處理系統，其中該梯度計算單元各自選取鄰近每一特徵點的複數個像素，形成對應各特徵點之複數個特徵區塊，該梯度計算單元根據每一特徵區塊內的該等像素產生該等梯度變化向量的該強度變化量以及該變化角度。
13. 如申請專利範圍第11項所述之影像處理系統，其中該等強度變化量有關該等像素的一灰階值變化、一亮度值變化或一彩度值變化。
14. 如申請專利範圍第11項所述之影像處理系統，其中該統計單元根據其中一個影像之該等特徵點的該等梯度變化向量，將該影像中具有相同變化角度的特徵點之強度變化量累加，對應該影像形成依不同變化角度而分別具有一強度變化量累積值的該統計分佈。
15. 如申請專利範圍第14項所述之影像處理系統，其中該角度計算單元由該第一影像之該統計分佈中選取對應最大的強度變化累積值的最大變化量角度，並由該第二影像之該統計分佈中選取對應最大的強度變化累積值的最大變化量角度，該角度計算單元根據該第一影像與該第二影像之最大變化量角度的差值，計算該第一影像與該第二影像之間的該偏轉角度。
16. 如申請專利範圍第9項所述之影像處理系統，該旋轉偏差修正模組包含一影像旋轉單元，該旋轉偏差修正模組利用該影像旋轉單元根據該偏轉角度旋轉該第二影像，該影像比對模組用以將該第一影像與經旋轉後的該第二影像進行一關連性比對，藉此判斷該第一影像與該第二影像在旋轉偏差修正後的影像關連性。