TWI478554B

TWI478554B - 影像雜訊消除方法及其產生移動向量資料結構之方法

Info

Publication number: TWI478554B
Application number: TW102100501A
Authority: TW
Inventors: Chia Yu Wu; Shih Yuan Peng
Original assignee: Altek Semiconductor Corp
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2015-03-21
Also published as: US20140193080A1; TW201429250A; US8867843B2

Description

影像雜訊消除方法及其產生移動向量資料結構之方法

本發明是有關於一種具有局部移動向量值的影像雜訊消除方法及其產生移動向量資料結構之方法。

當使用者於拍攝影像時，若拍攝過程中，影像中的物件產生移動，傳統的影像處理僅能以全畫面去計算此物件是否產生移動。因此，傳統的影像處理於計算影像中物件是否產生位移的數據，其準確性不足。且，因傳統的影像處理所計算的物件位移數據之準確性不足，使得傳統的影像處理在進行消除影像中的雜訊時，其效果顯得效果不佳。

有鑑於上述習知技藝之問題，本發明之目的就是在提供一種具有局部移動向量值的影像雜訊消除方法及其產生移動向量資料結構之方法，以解決傳統的影像處理於計算影像中物件是否產生位移的數據，其準確性不足，及消除影像雜訊的效果不佳的問題。

根據本發明之目的，提出一種產生移動向量資料結構之方法，其方法包含下列步驟：提供影像擷取模組依序擷取複數個影像；提供影像處理模組接收複數個影像，並以第一演算法對複數個影像產生第一局部移動向量值；分別將各影像縮小成第一縮小影像及第二縮小影像；分別將各第一縮小影像區分成複數個第一區域，並以第二演算法分別對各第一區域產生第二局部移動向量值；分別將各第二縮小影像區分成複數個第二區域，並以第二演算法分別對各第二區域產生全域移動向量值；根據全域移動向量值、各第一局部移動向量值及各第二局部移動向量值而得知位於複數個影像中之物件之移動向量資料。

根據本發明之目的，再提出一種影像雜訊消除方法，其方法包含下列步驟：依序接收複數個影像；以第一演算法對複數個影像產生第一局部移動向量值；將各影像分別縮小成第一縮小影像及第二縮小影像；分別將各第一縮小影像區分成複數個第一區域，並以第二演算法分別對各第一區域產生第二局部移動向量值；分別將各第二縮小影像區分成複數個第二區域，並以第二演算法分別對各第二區域產生全域移動向量值；以及根據全域移動向量值、各第一局部移動向量值及各第二局部移動向量值，對複數個影像進行雜訊消除程序。

承上所述，藉由本發明之影像雜訊消除方法及其產生移動向量資料結構之方法，可提高計算影像中物件是否產生位移之準確性，進而使得在進行消除影像中的雜訊時，其效果能達到最佳。

1．．．產生移動向量資料之裝置

10．．．影像擷取模組

101．．．影像

102．．．第一縮小影像

1021．．．第一區域

103．．．第二縮小影像

1031．．．第二區域

104．．．第一位置

105、107．．．第二位置

106、108．．．第三位置

11．．．影像處理模組

111．．．第一演算法

1111．．．第一局部移動向量值

112．．．第二演算法

1121．．．第二局部移動向量值

1122．．．全域移動向量值

2．．．物件

S10~S15、S110~S112、S130~S132、S140~S142、S22~S25．．．步驟

第1圖至第4圖分別係為本發明之產生移動向量資料結構之方法之實施例之第一至第四流程圖。
第5圖係為本發明之產生移動向量資料結構之裝置示意圖。
第6圖係為本發明之產生移動向量資料結構之方法之實施例之流程結構示意圖。
第7圖至第9圖分別係為本發明之產生移動向量資料結構之方法之實施例之第一至第三示意圖。
第10圖係為本發明之影像雜訊消除方法之實施例之流程圖。

以下將參照相關圖式，說明依本發明之影像雜訊消除方法及其產生移動向量資料結構之方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

請一併參閱第1圖至第9圖，第1圖至第4圖分別係為本發明之移動向量產生移動向量資料結構之方法之實施例之第一至第四流程圖，第5圖係為本發明之產生移動向量資料之裝置1示意圖，第6圖係為本發明之產生移動向量資料之方法之實施例之流程結構示意圖，而第7圖至第9圖分別係為本發明之產生移動向量資料結構之方法之實施例之第一至第三示意圖。如圖所示，本發明之方法包含下列步驟：
（S10）：影像擷取模組依序擷取複數個影像；
（S11）：影像處理模組接收複數個影像，並以第一演算法對複數個影像產生第一局部移動向量值；
（S12）：將各影像分別縮小成第一縮小影像及第二縮小影像；
（S13）：分別將各第一縮小影像區分成複數個第一區域，並以第二演算法分別對各第一區域產生第二局部移動向量值；
（S14）：分別將各第二縮小影像區分成複數個第二區域，並以第二演算法分別對各第二區域產生全域移動向量值；
（S15）：根據全域移動向量值、各第一局部移動向量值及各第二局部移動向量值而得知位於複數個影像中之物件之移動向量資料。

於本實施例中，本發明之步驟S11更包含下列步驟：
（S110）：將複數個影像中第一張影像之複數個第一像素A分別進行第一次數之二維方向移動，以產生對應第一次數之第一位置104；
（S111）：將位於各第一位置之各第一像素A之像素值，分別與複數個影像中第二張影像中對應各第一位置104之第二像素B之像素值相減後，以分別產生第一絕對相差值（Sum of absolute differences）；
（S112）：根據最小之第一絕對相差值所對應之第一像素A與第二像素B，以將第二像素B之座標與第一像素A之座標相減，以產生第一局部移動向量值。

其中第一次數較佳可為16² 次。

於本實施例中，本發明之步驟S13包含下列步驟：
（S130）：將第一張影像之第一縮小影像之各第一區域之複數個第三像素C分別進行第一次數之二維方向移動，以產生對應第一次數之第二位置105；
（S131）：將各第一區域位於各第二位置之各第三像素C之像素值，分別與第二張影像之第一縮小影像之各第一區域中對應各第二位置105之第四像素D之像素值相減後，以分別產生第二絕對相差值；
（S132）：根據最小之第二絕對相差值所對應之第三像素C與第四像素D，以將第四像素D之座標與第三像素C之座標相減，以產生第二局部移動向量值。

於本實施例中，本發明之步驟S14包含下列步驟：
（S140）：將第一張影像之第二縮小影像之各第二區域之複數個第五像素E分別進行第一次數之二維方向移動，以產生對應第一次數之第三位置106；
（S141）：將各第二區域位於各第三位置之各第五像素E之像素值，分別與第二張影像之第二縮小影像之各第二區域中對應各第三位置106之第六像素F之像素值相減後，以分別產生第三絕對相差值；
（S142）：根據最小之第三絕對相差值所對應之第五像素E與第六像素F，以將第六像素F之座標與第五像素E之座標相減，以產生全域移動向量值。

簡單的說，使用者於進行拍攝影像時，影像擷取模組10依序擷取複數個影像101。此時，若影像中的某一物件產生移動，或使用者晃動相機使影像中的某一物件產生偏移時，影像處理模組11先利用步驟S110~S112的第一演算法111計算，以產生第一局部移動向量值1111（如大型層局部移動）。

接著，影像處理模組11利對第一張影像與第二張影像分別利用步驟S130~S132的第二演算法112的計算與S140~S142的第二演算法112的計算，來分別產生複數個第二局部移動向量值1121（如中型層局部移動）及複數個各全域移動向量值1122（如小型層局部移動）。

最後，影像處理模組11根據第一局部移動向量值1111、各第二局部移動向量值1121及各全域移動向量值1122，來得知第一張影像與第二張影像中的物件2的移動向量資料，進而判斷影像中的某一物件是否有產生移動，或是使用者是否有晃動相機使影像中的某一物件產生偏移。

請參閱第10圖，其係為本發明之影像雜訊消除方法之實施例之流程圖。並請一併參閱第1圖至第9圖。本實施例之方法之步驟S20~S24，其與上述之實施例所述的方法的步驟S10~S14相似，故不在此贅述。然，值得一提的是，本發明之影像雜訊消除方法包含下列步驟：

（S25）：根據全域移動向量值、各第一局部移動向量值及各第二局部移動向量值，對複數個影像進行雜訊消除程序。

舉例而言，本實施例中，影像處理模組根據所得之全域移動向量值、各第一局部移動向量值及各第二局部移動向量值，來得知第一張影像與第二張影像中的物件2的移動向量資料，並經由局部移動結構或信賴等級結構提供三維雜訊消除（3D Noise Reduction）、超級解析度影像及高動態範圍影像之應用，以進行雜訊消除程序，進而消除第一張影像與第二張影像中的雜訊。

上述各實施例中，本發明之影像雜訊消除方法及其產生移動向量資料結構之方法更包含複數個信賴等級，且各信賴等級分別具有不同之預設範圍。影像處理模組可根據不同之預設範圍，分別將複數個第一局部移動向量值或複數個第二局部移動向量值，分類至各信賴等級中，以評估各第一局部移動向量值或各第二局部移動向量值是否可供信任。其中，本發明可藉由第6圖中所述之信賴等級結構進行上述動作。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S10~S15．．．步驟

Claims

一種產生移動向量資料結構之方法，該方法包含下列步驟：
提供一影像擷取模組，以依序擷取複數個影像；
提供一影像處理模組，接收該複數個影像，並以一第一演算法對該複數個影像產生一第一局部移動向量值；
使用該影像處理模組將各該影像分別縮小成一第一縮小影像及一第二縮小影像；
使用該影像處理模組分別將各該第一縮小影像區分成複數個第一區域，並以一第二演算法分別對各該第一區域產生一第二局部移動向量值；
使用該影像處理模組分別將各該第二縮小影像區分成複數個第二區域，並以該第二演算法分別對各該第二區域產生一全域移動向量值；以及
使用該影像處理模組根據該全域移動向量值、各該第一局部移動向量值及各該第二局部移動向量值而得知位於該複數個影像中之一物件之移動向量資料。
如申請專利範圍第1項所述之方法，其更包含下列步驟：
該影像處理模組將該複數個影像中一第一張影像之複數個第一像素分別進行一第一次數之二維方向移動，以產生對應該第一次數之一第一位置；
該影像處理模組將位於各該第一位置之各該第一像素之像素值，分別與該複數個影像之一第二張影像中對應各該第一位置之一第二像素之像素值相減後，以分別產生一第一絕對相差值；以及
該影像處理模組根據最小之該第一絕對相差值所對應之該第一像素與該第二像素，以將該第二像素之座標與該第一像素之座標相減，以產生該第一局部移動向量值。
如申請專利範圍第2項所述之方法，其更包含下列步驟：
該影像處理模組將該第一張影像之該第一縮小影像之各該第一區域之複數個第三像素分別進行該第一次數之二維方向移動，以產生對應該第一次數之一第二位置；
該影像處理模組將各該第一區域位於各該第二位置之各該第三像素之像素值，分別與該第二張影像之該第一縮小影像之各該第一區域中對應各該第二位置之一第四像素之像素值相減後，以分別產生一第二絕對相差值；以及
該影像處理模組根據最小之該第二絕對相差值所對應之該第三像素與該第四像素，以將該第四像素之座標與該第三像素之座標相減，以產生該第二局部移動向量值。
如申請專利範圍第2項所述之方法，其更包含下列步驟：
該影像處理模組將該第一張影像之該第二縮小影像之各該第二區域之複數個第五像素分別進行該第一次數之二維方向移動，以產生對應該第一次數之一第三位置；
該影像處理模組將各該第二區域位於各該第三位置之各該第五像素之像素值，分別與該第二張影像之該第二縮小影像之各該第二區域中對應各該第三位置之一第六像素之像素值相減後，以分別產生一第三絕對相差值；以及
該影像處理模組根據最小之該第三絕對相差值所對應之該第五像素與該第六像素，以將該第六像素之座標與該第五像素之座標相減，以產生該全域移動向量值。
如申請專利範圍第1項所述之方法，其中更包含複數個信賴等級，且各該信賴等級分別具有不同之一預設範圍，該方法更包含下列步驟：
該影像處理模組根據不同之該預設範圍，分別將該複數個第一局部移動向量值或該複數個第二局部移動向量值，分類至各該信賴等級。
一種影像雜訊消除方法，該方法包含下列步驟：
依序接收複數個影像；
以一第一演算法對該複數個影像產生一第一局部移動向量值；
將各該影像分別縮小成一第一縮小影像及一第二縮小影像；
分別將各該第一縮小影像區分成複數個第一區域，並以一第二演算法分別對各該第一區域產生一第二局部移動向量值；
分別將各該第二縮小影像區分成複數個第二區域，並以該第二演算法分別對各該第二區域產生一全域移動向量值；以及
根據該全域移動向量值、各該第一局部移動向量值及各該第二局部移動向量值，對該複數個影像進行一雜訊消除程序。
如申請專利範圍第6項所述之影像雜訊消除方法，其更包含下列步驟：
將該複數個影像中一第一張影像之複數個第一像素分別進行一第一次數之二維方向移動，以產生對應該第一次數之一第一位置；
將位於各該第一位置之各該第一像素之像素值，分別與該複數個影像之一第二張影像中對應各該第一位置之一第二像素之像素值相減後，以分別產生一第一絕對相差值；以及
根據最小之該第一絕對相差值所對應之該第一像素與該第二像素，以將該第二像素之座標與該第一像素之座標相減，以產生該第一局部移動向量值。
如申請專利範圍第7項所述之影像雜訊消除方法，其更包含下列步驟：
將該第一張影像之該第一縮小影像之各該第一區域之複數個第三像素分別進行該第一次數之二維方向移動，以產生對應該第一次數之一第二位置；
將各該第一區域位於各該第二位置之各該第三像素之像素值，分別與該第二張影像之該第一縮小影像之各該第一區域中對應各該第二位置之一第四像素之像素值相減後，以分別產生一第二絕對相差值；以及
根據最小之該第二絕對相差值所對應之該第三像素與該第四像素，以將該第四像素之座標與該第三像素之座標相減，以產生該第二局部移動向量值。
如申請專利範圍第7項所述之影像雜訊消除方法，其更包含下列步驟：
將該第一張影像之該第二縮小影像之各該第二區域之複數個第五像素分別進行該第一次數之二維方向移動，以產生對應該第一次數之一第三位置；
將各該第二區域位於各該第三位置之各該第五像素之像素值，分別與該第二張影像之該第二縮小影像之各該第二區域中對應各該第三位置之一第六像素之像素值相減後，以分別產生一第三絕對相差值；以及
根據最小之該第三絕對相差值所對應之該第五像素與該第六像素，以將該第六像素之座標與該第五像素之座標相減，以產生該全域移動向量值。
如申請專利範圍第6項所述之影像雜訊消除方法，其中更包含複數個信賴等級，且各該信賴等級分別具有不同之一預設範圍，該方法更包含下列步驟：
根據不同之該預設範圍，分別將該複數個第一局部移動向量值或該複數個第二局部移動向量值，分類至各該信賴等級。