TWI488143B - 影像修復方法 - Google Patents

影像修復方法 Download PDF

Info

Publication number
TWI488143B
TWI488143B TW098141141A TW98141141A TWI488143B TW I488143 B TWI488143 B TW I488143B TW 098141141 A TW098141141 A TW 098141141A TW 98141141 A TW98141141 A TW 98141141A TW I488143 B TWI488143 B TW I488143B
Authority
TW
Taiwan
Prior art keywords
data
image
numerical prediction
prediction interval
error
Prior art date
Application number
TW098141141A
Other languages
English (en)
Other versions
TW201120811A (en
Inventor
Fan Chieh Cheng
Shih Chia Huang
Sy Yen Kuo
Original Assignee
Acer Inc
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc, Univ Nat Taiwan filed Critical Acer Inc
Priority to TW098141141A priority Critical patent/TWI488143B/zh
Priority to US12/947,075 priority patent/US20110131460A1/en
Publication of TW201120811A publication Critical patent/TW201120811A/zh
Application granted granted Critical
Publication of TWI488143B publication Critical patent/TWI488143B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

影像修復方法
本發明係關於一種影像處理方法，尤其係關於一種錯誤影像的修復方法。
影像或是由多張影像所組成的視訊，在網路傳輸時若發生封包遺失或位元錯誤，則會導致其內容的錯誤。常見的影像修復方法，又稱錯誤隱藏方法，基本上可分為三種，其包含：空間錯誤隱藏方法、時間錯誤隱藏方法、以及混合式錯誤隱藏方法。
空間錯誤隱藏方法，係取樣同一幅影像中錯誤區塊鄰近的正確區塊之資訊，以修復該錯誤區塊。在一幅影像中，一錯誤像素和其鄰近的像素之間在影像內容上可能具有高相關性，例如同為天空的一部份、草地的一部份、或人臉的一部份。因此，可以用錯誤區塊上方、下方、左方，以及右方區塊中的像素數值進行內插計算，以求得一替代像素之數值來作為錯誤像素之數值。然而，有時候部份相鄰像素的相關性太低，則使得內插計算所得的數值誤差太大，因而降低了修復影像的品質。
時間錯誤隱藏方法，係參考前一張影像找出適合的移動向量，來替代遺失或錯誤的移動向量以修復錯誤區塊。常見的時間錯誤隱藏方法有零移動向量法或是邊界配對法。零移動向量法，係從前一張影像中找出位置對應於錯誤區塊的一參考區塊，並以該參考區塊替代當前影像中的錯誤區塊。邊界配對法，則係利用錯誤區塊四周邊界上的正確像素，用以搜尋最適合的移動向量。然而，零移動向量法具有準確性不佳的缺點，而邊界配對法則有計算複雜度太高的缺點。混合式錯誤隱藏方法，則係指同時使用時間與空間錯誤隱藏方法以修復錯誤區塊。
以上所述的時間、空間，或混合式錯誤隱藏方法，皆係由複數個參考資料中產生一替代資料以置換錯誤資料。然而，當部份的參考資料與錯誤資料間相關性太低時，則可能降低修復後的影像品質。有鑑於此，若能提出一種過濾參考資料的方法，則可以達到提高影像品質的效果。
本發明之一目的在於提出一種影像修復方法。在修復影像時，本方法可以應用一統計方法過濾參考資料，以提高修復後的影像品質。
於本發明一實施例中提出一種影像修復方法，用以產生一替代資料以置換一影像中的錯誤資料，該影像修復方法包含：
(a)　取樣與該錯誤資料相關的複數個參考資料；
(b)　根據該複數個參考資料以統計方法產生一數值預測區間；
(c)　根據數值預測區間產生複數個修補資料，該複數個修補資料的數值係介於該數值預測區間；以及
(d)　根據複數個修補資料產生替代資料。
第一圖顯示本發明的影像修復方法流程圖。首先，在步驟110中係取樣與錯誤資料相關的複數個參考資料。其中，錯誤資料可以係欲修復之錯誤區塊中的其中一像素數值，或是該錯誤區塊遺失的移動向量。複數個參考資料則係與錯誤資料具有相關性的資料，例如：空間上相鄰於該錯誤資料的像素之數值，或是時間上相鄰於該錯誤資料的移動向量數值。
步驟120，根據該複數個參考資料以統計方法產生一數值預測區間。該數值預測區間是用以過濾該複數個參考資料，以避免低相關性的參考資料被應用於修復錯誤資料。然後在步驟130，根據數值預測區間產生複數個修補資料，該複數個修補資料的數值係介於該數值預測區間。最後，在步驟140中根據該複數個修補資料產生替代資料用以置換該錯誤資料。下文中，將說明本發明之方法如何應用於空間、時間錯誤隱藏方法。
請同時參見第二圖與第三圖，第二圖顯示應用本發明的空間錯誤隱藏方法流程圖，第三圖顯示應用本發明的空間錯誤隱藏方法示意圖。當以上所述的影像修復方法應用於空間錯誤隱藏方法時，則步驟210所取樣的複數個參考資料，係在同一幅影像中相鄰於錯誤區塊EB1的像素之數值，例如取樣該錯誤區塊EB1上方、下方、左方，以及右方各兩排相鄰的像素L1~L8之數值作為複數個參考資料，其中，像素L1~L8共包含64個像素。實際上，像素L1~L8係直接相鄰於錯誤區塊EB1，第三圖中為了方便標記符號所以使像素L1~L8稍微遠離錯誤區塊EB1。
接著，在步驟220中可以根據像素L1~L8的數值應用例如t分配或常態分配等等的統計方法，產生一像素數值的數值預測區間(Vlow ，Vhigh )。其中，Vlow 係數值預測區間的下限值，而Vhigh 係數值預測區間的上限值。根據統計理論，該數值預測區間(Vlow ，Vhigh )可涵蓋所有可能出現的像素數值中特定比例的範圍，例如涵蓋95%可能出現的像素數值之範圍。由於根據特定數目的樣本應用一統計方法求取數值預測區間係為習知技術，且並非本發明之技術特徵，所以在此不多作贅述。
步驟230係對應於第一圖中的步驟130，步驟230包含步驟231、232。其中，步驟231先從複數個參考資料中選取部份的參考資料，目的是為了選取與錯誤像素e1相關性最高的像素。例如，從像素L1~L8中，選取位於欲修復之錯誤像素e1的左方、上方、右方，以及下方最相近的像素p1~p4之數值。步驟232保留該部份的參考資料(即像素p1~p4)中數值介於該數值預測區間(Vlow ，Vhigh )者，作為修補資料。假設在一實施例中，像素p1的數值係小於下限值Vlow ，則移除像素p1的數值並保留剩餘的三個像素p2~p4的數值作為修補資料。
最後在步驟240中，空間錯誤隱藏方法可以採用該複數個修補資料(即保留的像素之數值)以習知的內插方法或其它方法產生出一替代資料，用以置換錯誤像素之數值。例如，在前述實施例中像素p1被移除，所以僅利用剩餘的三個像素p2~p4以內插方法產生出用以置換錯誤像素e1的像素數值。以下列舉幾種習知的內插方式：
(1)　當4個像素數值介於該數值預測區間(Vlow ，Vhigh )，例如像素p1~p4在此區間：
；其中，d1~d4分別係像素p1~p4距離錯誤像素e1之間的像素距離。
(2)　當3個像素數值介於該數值預測區間(Vlow ，Vhigh )，例如像素p2~p4在此區間：
(3)　當2個像素數值介於該數值預測區間(Vlow ，Vhigh )，例如像素p2、p4在此區間：
修補資料=(p 2+p 4)/2
(4)　當1個像素數值介於該數值預測區間(Vlow ，Vhigh )，例如像素p2在此區間：
修補資料=p 2
此外，若4個像素p1~p4數值皆未介於該數值預測區間(Vlow ，Vhigh )內，則本發明一實施例中可以數值預測區間的上限值Vhigh 與下限值Vlow 的平均值作為修補資料：
修補資料=(Vlow +Vhigh )/2
透過以上的方式，則本發明所提出的影像修復方法應用於空間錯誤隱藏方法時，可以濾除相關性較低的參考資料以提高修復的影像品質。
請同時參見第四圖與第五圖，第四圖顯示應用本發明的時間錯誤隱藏方法流程圖，第五圖顯示應用本發明的時間錯誤隱藏方法示意圖。第四圖中的步驟410係對應於第一圖中的步驟110，當本發明應用於時間錯誤隱藏方法時，則步驟410包含步驟411、412。步驟411，係於前一張影像PI中找出位置對應於該錯誤資料的一定位資料。在時間錯誤隱藏方法中，錯誤資料係指當前影像CI中一錯誤區塊EB2遺失的移動向量數值。而定位資料，係表示前一張影像PI中的一區塊RB，且該區塊RB的位置係對應於當前影像CI中錯誤區塊EB2的位置。步驟412，將前一張影像中位置係環繞該定位資料的移動向量數值，定義為複數個參考資料。該複數個參考資料係位於該定位資料(即區塊RB)之左上方、上方、右上方、右方、右下方、下方、左下方，以及左方的區塊之移動向量數值MV1~MV8。
步驟420，根據該複數個移動向量數值MV1~MV8應用例如t分配或常態分配等等的統計方法產生一數值預測區間。由於一移動向量包含有x分量與y分量，因此可根據該複數個移動向量數值MV1~MV8分別求得x分量數值預測區間(XVlow ，XVhigh )與y分量數值預測區間(YVlow ，YVhigh )。由於根據特定數目的樣本應用一統計方法求取預測區間係為習知技術，且並非本發明之技術特徵，所以在此不多作贅述。
在步驟430係對應於第一圖中的步驟130，步驟430包含步驟431、432。以產生x分量為例，在步驟431中，先求出x分量數值預測區間的上限值XVhigh 與下限值XVlow 之間的一差值XD。然後，在步驟432中根據該下限值XVlow 與該差值XD產生複數個x分量修補資料。在本發明一實施例中該些x分量修補資料係定義為XVlow +0.5*kx，，且kx係為整數。由以上公式可知，kx的數值變化範圍介於0到2*XD之間，而複數個x分量修補資料係以下限值XVlow 加上0.5*kx為單位的數值變化。例如，假設在一實施例中：
x分量數值預測區間(XVlow =1，XVhigh =4)；
差值XD=4-1=3；
，亦即，且kx係整數；
x分量修補資料=XVlow +0.5*kx，kx=0、1、2、3、4、5、6；
x分量修補資料=1+0.5*0；1+0.5*1；1+0.5*2；1+0.5*3；1+0.5*4；1+0.5*5；1+0.5*6；
最後求出
x分量修補資料=1、1.5、2、2.5、3、3.5、4
同理，步驟430也可應用y分量數值預測區間(YVlow ，YVhigh )來產生出複數個y分量修補資料。
最後，在步驟440中將所有的x分量修補資料與y分量修補資料應用一比對方法選出其中一組x分量與y分量作為替代資料，用以置換錯誤區塊EB2遺失的移動向量數值。在本發明的實施例中，可以採用習知的邊界配對演算法或其它的比對方法。舉例來說，前述的複數個x分量修補資料與y分量修補資料可組合出多個候選的移動向量。邊界配對演算法根據該些移動向量分別找出前一張影像PI中相對應的邊界像素數值，再計算每一邊界像素數值與錯誤區塊EB2相鄰的邊界像素數值之間的平方差值總合。最後，邊界配對演算法選擇具有最小平方差值總合值的移動向量置換錯誤區塊EB2遺失的移動向量。由於邊界配對演算法或其它的比對方法並非本發明之技術特徵，所以在此不多作贅述。
由上述內容可知，本發明所提出的影像修復方法藉由取樣複數個具有相關性的參考資料以統計方法求得一數值預測區間。再保留數值介於該數值預測區間的參考資料作為修補資料，可達到提高修復影像品質的功效。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
EB1、EB2．．．錯誤區塊
RB．．．區塊
L1~L8、p1~p4．．．像素
d1~d4．．．像素距離
e1．．．錯誤像素
CI．．．當前影像
PI．．．前一張影像
MV1~MV8．．．移動向量數值
第一圖顯示本發明的影像修復方法流程圖。
第二圖顯示應用本發明的空間錯誤隱藏方法流程圖。
第三圖顯示應用本發明的空間錯誤隱藏方法示意圖。
第四圖顯示應用本發明的時間錯誤隱藏方法流程圖。
第五圖顯示應用本發明的時間錯誤隱藏方法示意圖。

Claims (15)

  1. 一種影像修復方法，用以產生一替代資料以置換一影像中的錯誤資料，該影像修復方法包含：(a)　取樣與該錯誤資料相關的複數個參考資料；(b)　根據該複數個參考資料以統計方法產生一數值預測區間；(c)　根據該數值預測區間產生複數個修補資料，該複數個修補資料的數值係介於該數值預測區間；以及(d)　根據該複數個修補資料產生該替代資料。
  2. 如申請專利範圍第1項所述之影像修復方法，其中與該錯誤資料相關的該複數個參考資料，係在空間上相鄰於該錯誤資料。
  3. 如申請專利範圍第2項所述之影像修復方法，其中該步驟(c)包含：(c1)　從該複數個參考資料中選取部份的參考資料；以及(c2)　保留該部份的參考資料中數值介於該數值預測區間者，作為該複數個修補資料。
  4. 如申請專利範圍第2項所述之影像修復方法，其中該複數個參考資料係空間上環繞該錯誤資料。
  5. 如申請專利範圍第4項所述之影像修復方法，其中該複數個參考資料係位於該錯誤資料之上方、下方、左方，以及右方。
  6. 如申請專利範圍第4項所述之影像修復方法，其中該複數個參考資料係為像素數值。
  7. 如申請專利範圍第1項所述之影像修復方法，其中該步驟(b)係應用t分配或常態分配的統計方法產生該數值預測區間。
  8. 如申請專利範圍第1項所述之影像修復方法，其中該步驟(d)係採用該複數個修補資料以內插方法產生該替代資料。
  9. 如申請專利範圍第1項所述之影像修復方法，其中與該錯誤資料相關的該複數個參考資料，係在時間上相鄰於該錯誤資料。
  10. 如申請專利範圍第9項所述之影像修復方法，其中該步驟(a)包含：(a1)在前一張影像中找出位置對應於該錯誤資料的一定位資料；以及(a2)將前一張影像中位置係環繞該定位資料的移動向量數值，定義為該複數個參考資料。
  11. 如申請專利範圍第10項所述之影像修復方法，其中該複數個參考資料係位於該定位資料之左上方、上方、右上方、右方、右下方、下方、左下方，以及左方。
  12. 如申請專利範圍第9項所述之影像修復方法，其中該步驟(b)係應用t分配或常態分配的統計方法產生該數值預測區間。
  13. 如申請專利範圍第9項所述之影像修復方法，其中該步驟(c)包含：(c3)產生該數值預測區間之上限值與下限值之間的一差值；以及(c4)根據該數值預測區間之下限值與該差值產生該複數個修補資料。
  14. 如申請專利範圍第9項所述之影像修復方法，其中該步驟(d)係採用一比對方法選出該複數個修補資料其中之一作為該替代資料。
  15. 如申請專利範圍第14項所述之影像修復方法，其中該比對方法係邊界配對演算法。
TW098141141A 2009-12-02 2009-12-02 影像修復方法 TWI488143B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098141141A TWI488143B (zh) 2009-12-02 2009-12-02 影像修復方法
US12/947,075 US20110131460A1 (en) 2009-12-02 2010-11-16 Method for repairing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098141141A TWI488143B (zh) 2009-12-02 2009-12-02 影像修復方法

Publications (2)

Publication Number Publication Date
TW201120811A TW201120811A (en) 2011-06-16
TWI488143B true TWI488143B (zh) 2015-06-11

Family

ID=44069764

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098141141A TWI488143B (zh) 2009-12-02 2009-12-02 影像修復方法

Country Status (2)

Country Link
US (1) US20110131460A1 (zh)
TW (1) TWI488143B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2510369B (en) * 2013-01-31 2015-05-20 Canon Kk Error concealment in a multi-projection system
CN110378860B (zh) * 2019-07-30 2023-08-18 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6583823B1 (en) * 1997-08-01 2003-06-24 Sony Corporation Methods, apparatuses, and mediums for repairing a pixel associated with motion-picture processes
JP2005129043A (ja) * 2003-10-02 2005-05-19 Fuji Photo Film Co Ltd 画像処理方法および装置ならびにプログラム
US8311127B2 (en) * 2004-03-04 2012-11-13 Nvidia Corporation Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications
ITVA20060060A1 (it) * 2006-10-06 2008-04-07 St Microelectronics R&D Ltd Metodo e relativo dispositivo per stimare il livello di rumore gaussiano bianco che corrompe un'immagine digitale
US20080285651A1 (en) * 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Spatio-temporal boundary matching algorithm for temporal error concealment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. C. Huang and S. Y. Kuo "Optimization of Hybridized Error Concealment for H. 264", IEEE Trans. Broadcast., vol. 54, no. 3, pp.499 -516 2008 *
S. Hemami and T. Meng, "Transform coded image reconstruction exploiting interblock correlation," IEEE Trans. Image Processing, vol. 4, pp. 1023–1027, July 1995. Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification," 2003, ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC. *

Also Published As

Publication number Publication date
US20110131460A1 (en) 2011-06-02
TW201120811A (en) 2011-06-16

Similar Documents

Publication Publication Date Title
EP2339532B1 (en) Depth compensated noise reduction in multi-view video
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
EP3023939B1 (en) Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation
US20090207271A1 (en) Image Processor Correcting Color Misregistration, Image Processing Program, Image Processing Method, and Electronic Camera
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
WO2011048531A1 (en) Alignment of an ordered stack of images from a specimen.
CN111127376B (zh) 一种数字视频文件修复方法及装置
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
WO2017096814A1 (zh) 一种图像处理方法及装置
TWI488143B (zh) 影像修復方法
JP5492223B2 (ja) 動きベクトル検出装置及び方法
US8346019B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
Eichenseer et al. Motion estimation for fisheye video sequences combining perspective projection with camera calibration information
US8451900B2 (en) System and method for global motion estimation using profile matching
KR101923581B1 (ko) 수중 로봇을 이용한 선체 수중검사를 위한 스테레오 비전 기반 법선 벡터 추출 장치 및 그 방법
Sooknanan et al. Improving underwater visibility using vignetting correction
TWI479455B (zh) 全對焦影像之建立方法
EP2424243B1 (en) Motion estimation using integral projection
ITVI20120087A1 (it) Stabilizzazione video digitale
KR101550665B1 (ko) 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법
US8385421B2 (en) Method for estimating the motion in image processing
KR101644411B1 (ko) 고해상도 이미지 복원 장치 및 그 방법
CN104408436B (zh) 一种基于反投影的合作目标识别方法及***