KR20050065104A - 영상 오류 복구장치 및 방법 - Google Patents

영상 오류 복구장치 및 방법 Download PDF

Info

Publication number
KR20050065104A
KR20050065104A KR1020030096868A KR20030096868A KR20050065104A KR 20050065104 A KR20050065104 A KR 20050065104A KR 1020030096868 A KR1020030096868 A KR 1020030096868A KR 20030096868 A KR20030096868 A KR 20030096868A KR 20050065104 A KR20050065104 A KR 20050065104A
Authority
KR
South Korea
Prior art keywords
block
lost
lost block
motion vector
error
Prior art date
Application number
KR1020030096868A
Other languages
English (en)
Other versions
KR100621005B1 (ko
Inventor
서광덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20030096868A priority Critical patent/KR100621005B1/ko
Priority to US11/006,562 priority patent/US7684492B2/en
Priority to EP20040029464 priority patent/EP1549079B1/en
Priority to AT04029464T priority patent/ATE525860T1/de
Priority to JP2004370253A priority patent/JP4104593B2/ja
Priority to CNB2004100997740A priority patent/CN100562124C/zh
Publication of KR20050065104A publication Critical patent/KR20050065104A/ko
Application granted granted Critical
Publication of KR100621005B1 publication Critical patent/KR100621005B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상 오류 복구장치 및 방법에 관한 것으로, 동영상을 복호기 단으로 전송하면 복호기 단에서 전송시 손실된 동영상 블록의 특성을 자동으로 판단하고, 그 판단된 손실 동영상 블록의 특성에 따라 적응적으로 가장 적합한 오류 은닉방법을 적용하여 오류를 복구함으로써, 동영상의 오류 복원 성능을 향상시키도록 한 것이다. 이를 위하여 본 발명은 전송된 동영상 블록의 손실 여부를 판단하는 과정과; 상기 과정에서, 전송된 동영상 블록 손실이 검출되면, 현재 프레임과 이전 프레임에 대한 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 산출하는 과정과; 상기 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 이용하여 손실된 블록의 특성을 결정하는 과정과; 상기 과정에서 결정된 손실된 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구하는 과정으로 수행한다.

Description

영상 오류 복구장치 및 방법{IMAGE ERROR CONCEALMENT APPARATUS AND METHOD}
본 발명은 영상 처리 기술에 관한 것으로 특히, 디지털 동영상 처리에 있어서 손실된 블록의 특성을 이용하여 적응적으로 손실 블록의 오류를 복구하도록 한 영상오류 복구장치 및 방법에 관한 것이다.
동영상 처리 기술은 영상 촬영 장비에 필수적으로 탑재되며 근래 디지털 카메라가 장착되는 휴대 단말기 특히, 이동 통신 단말기에도 탑재되고 있다.
동영상의 가장 큰 특징은 정지 영상과 비교하였을 때 장면의 특성과 움직임 정도가 서로 다른 여러 장의 화면(frame)으로 구성된다는 것이다.
각각의 화면은 영상 부호화의 단위가 되는 16*16 픽셀 크기의 블록들로 구성된다.
그런데, 촬영한 동영상을 전송할 때 전송 채널에서 발생한 오류로 인해 전송된 동영상 블록이 손실될 수 있다.
따라서, 수신기에서는 손실 블록에 대한 복구를 위해서 그 손실 블록의 특성을 잘 파악하여야만 가장 적합한 오류 은닉(error concealment) 기법을 적용할 수 있다.
이처럼 손실 블록의 특성 판단 결과는 복호기(decoder) 단에서 각 블록별로 적용이 가능한 최적의 오류 은닉 기법을 선택하는 중요한 기준으로 활용될 수 있다.
본 발명은 동영상을 복호기 단으로 전송하면 복호기 단에서 전송시 손실된 동영상 블록의 특성을 자동으로 판단하고, 그 판단된 손실 동영상 블록의 특성에 따라 적응적으로 가장 적합한 오류 은닉방법을 적용하여 오류를 복구함으로써, 동영상의 오류 복원 성능을 향상시키도록 한 영상 오류 복구장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 전송된 동영상 블록의 손실 여부를 판단하는 과정과; 상기 과정에서, 전송된 동영상 블록 손실이 검출되면, 현재 프레임과 이전 프레임에 대한 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 산출하는 과정과; 상기 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 이용하여 손실된 블록의 특성을 결정하는 과정과; 상기 과정에서 결정된 손실된 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구하는 과정으로 수행함을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은, 전송된 동영상 블록 중 손실 블록 여부를 검출하는 손실 블록 검출수단과, 상기 손실 블록 검출 수단에서 손실 블록 발생을 검출하면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간의 시간적 차이값을 산출하는 픽셀차 산출 수단과, 상기 손실 블록 검출 수단에서 손실 블록 발생을 검출하면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값을 산출하는 분산값 산출 수단과, 상기 픽셀간 시간 차값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 결정하는 블록 특성 결정 수단과; 상기 블록 특성 결정 수단에 의해 결정된 손실 블록의 특성에 따라, 적응적으로 해당 손실 블록에 오류 은닉 방법을 적용하여 복구하는 손실블록 복구수단을 포함하는 것을 특징으로 한다.
이하, 본 발명에 의한 영상 오류 복구장치 및 방법에 대한 작용과 효과를 첨부한 도면을 참조하여 상세히 설명한다.
우선, 본 발명은 공간적 오류 은닉방법은 영상 화면간의 상관성이 별로 없는 영상신호에 적용하는 경우에 오류 복구 효율이 크고, 시간적 오류은닉 방법은 영상 화면간의 상관성이 많은 경우에 오류 복구 효율을 크다는 점에 착안하였음을 밝혀두는 바이다.
도1은 본 발명 영상 오류 복구 장치에 대한 일실시예의 구성을 보인 블록도이다.
도1에 도시한 바와같이, 본 발명은, 전송된 동영상 블록 중 손실 블록 여부를 검출하는 손실 블록 검출수단(100)과, 상기 손실 블록 검출수단(100)에서 손실 블록 발생이 검출되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간의 시간적 차이값을 산출하는 픽셀차 산출 수단(200)과, 상기 손실 블록 검출 수단(100)에서 손실 블록 발생이 검출되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값을 산출하는 분산값 산출 수단(300)과, 상기 픽셀간 시간 차이값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 결정하는 블록 특성 결정 수단(400)과; 상기 블록 특성 결정 수단(400)에 의해 결정된 손실 블록의 특성에 따라, 적응적으로 해당 손실 블록에 오류 은닉 방법을 적용하여 복구하는 손실블록 복구수단(500)을 포함하여 구성하며, 이와같은 본 발명의 동작을 설명한다.
먼저, 손실블록 검출수단(100)은, 전송된 동영상 블록에 손실 블록이 발생하였는지를 검출하고, 그 검출결과 손실블록이 발생하면 그 손실블록 발생에 대한 정보를 픽셀차 산출수단(200)과 분산값 산출수단(300)에 인가한다.
이에 따라, 상기 픽셀차 산출수단(200)은, 현재 프레임과 이전 프레임에 대해 인접 픽셀 간의 시간적 차이값을 산출하고, 분산값 산출수단(300)은, 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값을 산출한다.
즉, 상기 픽셀차 산출수단(200)은, 하기의 수학식에 의해, 인접 픽셀간 시간적 차이값을 산출한다.
[수학식]
상기에서 는 손실 블록 주위의 픽셀값, 는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값이다.
또한, 상기 분산값 산출수단(300)은, 주변 블록의 움직임 벡터에 대한 분산값을, 하기의 수학식에 의해 산출한다.
[수학식]
상기에서 와 는 각각 의 수평 성분과 수직 성분을 나타낸다
그 다음, 블록 특성 결정 수단(400)은, 상기 픽셀간 시간 차이값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 결정한다.
즉, 상기 블록 특성 결정 수단은 인접 픽셀 간의 시간 차값()이 제1 문턱값() 이상이면 장면 전환 블록으로 결정하고, 인접 픽셀 간의 시간 차()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제3 문턱값() 이하이면 카메라 움직임 유형의 블록으로 결정하며, 인접 픽셀 간의 시간 차값()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제4 문턱값() 이상이면 움직이는 물체 유형의 블록으로 결정하고, 인접 픽셀 간의 시간 차값()과 움직임 벡터의 분산값()이 각기 제5 문턱값() 이하이면 정지 화면 블록으로 결정한다.
상기에서 <<<<이다.
여기서, 도2는 상기 블록 특성 결정 수단의 블록 판단의 기준이 되는 문턱치의 실시예의 값을 보인 표이고, 도3은 상기 블록 특성 결정 수단에 의해 분류되는 유형 블록의 분포도이다.
그 다음, 손실 블록 복구수단(500)은 상기 블록 특성 결정 수단(400)에 의해 결정된 손실 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구한다.
즉, 상기 손실 블록 복구수단(500)은, 손실 블록이 장면 전환블록이거나, 움직이는 물체 블록이면, 공간적 오류 은닉방법을 이용하여 해당 손실블록을 복구하고, 손실블록이 정지화면블록이면, 시간적 방법을 이용하여 손실블록을 복구하며, 손실블록이 움직이는 카메라 블록이면, 움직임을 고려한 시간적 오류 은닉방법을 이용하여 손실블록의 오류를 복구한다.
상기 손실 블록이 정지화면 블록이면 이전 프레임의 같은 위치 블록으로 손실블록을 대체하여, 손실블록을 복구한다.
상기 손실 블록이 움직이는 카메라이면 주위 복구 가능한 움직임 벡터를 이용하여, 이전 프레임의 가장 적당한 위치 블록으로 손실블록을 대체하여, 손실블록을 복구하는데, 손실 블록의 주위 움직임 벡터를 검출하여, 그 움직임 벡터의 중간값을 산출하고, 그 움직임 벡터의 중간값을, 손실블록의 움직임 벡터로 이용한다.
상기 손실된 블록이 움직이는 물제 블록이거나, 장면전환 블록이면 손실 블록의 인접 픽셀로부터 선형적 보간을 통하여 손실블록의 오류를 복구한다.
여기서, 도4는 상기 손실블록 복구수단에서, 손실블록의 특성에 따른 오류 복구방법에 대한 실시예의 표이다.
도5는 본 발명의 일실시예에 따른 영상 오류 복구방법에 대한 동작흐름도이다.
도5에 도시한 바와같이, 본 발명은 전송된 동영상 블록의 손실 여부를 판단하는 과정(SP1)과; 상기 과정에서, 전송된 동영상 블록 손실이 검출되면, 현재 프레임과 이전 프레임에 대한 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 산출하는 과정(SP2,SP3)과; 상기 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 이용하여 손실된 블록의 특성을 결정하는 과정(SP4)과; 상기 과정에서 결정된 손실된 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구하는 과정(SP5,SP6)으로 이루어지며, 이와같은 본 발명의 동작을 설명한다.
우선, 전송된 동영상 블록의 손실 여부를 판단한다(SP1).
상기 판단결과(SP1), 전송된 동영상 블록 손실이 검출되면, 현재 프레임과 이전 프레임에 대한 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 산출한다(SP2,SP3).
여기서, 상기 인접 픽셀간 시간적 차이값은, 하기의 수학식에 산출한다.
[수학식]
상기에서 는 손실 블록 주위의 픽셀값, 는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값이다.
상기 주변 블록의 움직임 벡터에 대한 분산값은, 하기의 수학식에 의해 산출한다.
[수학식]
상기에서 와 는 각각 의 수평 성분과 수직 성분을 나타낸다.
그 다음, 상기 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 이용하여 손실된 블록의 특성을 결정하는데(SP4), 즉, 인접 픽셀 간의 시간 차값()이 제1 문턱값() 이상이면 장면 전환 블록으로 판단하고, 인접 픽셀 간의 시간 차()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제3 문턱값() 이하이면 카메라 움직임 유형의 블록으로 판단하며, 인접 픽셀 간의 시간 차값()이 제2 문턱값 () 이상이고 움직임 벡터의 분산값()이 제4 문턱값 () 이상이면 움직이는 물체 유형의 블록으로 판단하고, 인접 픽셀 간의 시간 차값()과 움직임 벡터의 분산값()이 각기 제5 문턱값() 이하이면 정지 화면 블록으로 판단한다.
여기서, <<<<이다.
그 다음, 상기에서 결정된 손실 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구한다(SP5,SP6).
즉, PSNR값을 이용하여, 손실 블록의 특성이 장면전환 부분인지를 판단하고, 판단결과, 손실블록이 장면전환부분이 아니면, 시간적 방법 또는 움직임을 고려한 시간적 오류은닉 방법을 이용하여 손실블록의 오류를 복구하고, 상기 PNSR값이 급격하게 변화하면 손실블록을 장면전환 부분으로 판단하여 공간적 오류 은닉방법을 이용하여 손실블록의 오류를 복구한다.
상기 손실 블록이 정지 화면인 경우에, 이전 프레임의 같은 위치 블록으로 손실블록을 대체하여 오류를 복구한다.
상기 손실 블록이 움직이는 카메라인 경우에, 주위 복구 가능한 움직임 벡터를 이용하여, 이전 프레임의 가장 적당한 위치 블록으로 손실블록을 대체하여 오류를 복구하는데, 손실 블록의 주위 움직임 벡터를 검출하여, 그 움직임 벡터의 중간값을 산출한 다음, 그 움직임 벡터의 중간값을, 손실블록의 움직임 벡터로 사용한다.
상기 공간적 오류 은닉방법은, 손실 블록의 인접 픽셀로부터 선형적 보간을 통하여 손실블록의 오류를 복구하는 것인데, 전송된 영상의 손실블록이 움직이는 물체인 경우에도 이 공간적 오류 은닉방법을 사용하여 오류를 복구한다.
여기서, 도6은 Foreman 영상에 대한 프레임별 PSNR의 추이를 나타낸 그래프로서, 전체적으로 시간적 방법과 공간적 방법중 좋은 성능을 따라 가는 것을 볼 수 있는데, 대부분의 프레임에서 시간적 방법의 성능이 우수한 것을 볼 수 있지만 움직임이 큰 몇개의 프레임에서는 공간적 방법이 좋은 것을 알 수 있는데, 본 발명에서는 적응적으로 시간적 방법을 따라가다가 움직임이 큰 경우에는 공간적 방법을 따라 가고 있음을 알 수 있다.
그리고, 도7은 혼합 영상에 대한 프레임별 PSNR의 추이를 나타낸 그래프로서, 본 발명의 오류은닉방법은 PSNR이 급격히 변환부분에서는 공간적 방법을 따라가고, 그 이외의 부분에서는 시간적 방법을 따라가고 있음을 알 수 있다.
상기 본 발명의 상세한 설명에서 행해진 구체적인 실시 양태 또는 실시예는 어디까지나 본 발명의 기술 내용을 명확하게 하기 위한 것으로 이러한 구체적 실시예에 한정해서 협의로 해석해서는 안되며, 본 발명의 정신과 다음에 기재된 특허 청구의 범위내에서 여러가지 변경 실시가 가능한 것이다.
이상에서 상세히 설명한 바와같이 본 발명은, 동영상을 복호기 단으로 전송하면 복호기 단에서 전송시 손실된 동영상 블록의 특성을 자동으로 판단하고, 그 판단된 손실 동영상 블록의 특성에 따라 적응적으로 가장 적합한 오류 은닉방법을 적용하여 오류를 복구함으로써, 동영상의 오류 복원 성능을 향상시키는 효과가 있다.
도1은 본 발명 영상 오류 복구장치에 대한 일실시예의 구성을 보인 블록도.
도2는 도1에 있어서, 블록 특성 결정 수단의 블록 판단의 기준이 되는 문턱치의 실시예의 값을 보인 표.
도3은 도1에 있어서, 블록 특성 결정 수단에 의해 분류되는 유형 블록의 분포도.
도4는 도1에 있어서,손실블록의 특성에 따른 오류 복구방법에 대한 실시예의 표.
도5는 본 발명 영상 오류 복구방법에 대한 실시예의 동작흐름도.
도6은 Foreman 영상에 대한 프레임별 PSNR의 추이를 나타낸 그래프
도7은 혼합 영상에 대한 프레임별 PSNR의 추이를 나타낸 그래프

Claims (20)

  1. 전송된 동영상 블록의 손실 여부를 판단하는 과정과;
    상기 과정에서, 전송된 동영상 블록 손실이 검출되면, 현재 프레임과 이전 프레임에 대한 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 산출하는 과정과;
    상기 인접 픽셀간 시간적 차이값과 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값을 이용하여 손실된 블록의 특성을 결정하는 과정과;
    상기 과정에서 결정된 손실된 블록의 특성에 따라, 적응적으로 해당 손실 블록에 최적의 오류 은닉 방법을 적용하여 복구하는 과정으로 수행함을 특징으로 하는 영상 오류 복구방법.
  2. 제1 항에 있어서, 인접 픽셀간 시간적 차이값은, 하기의 수학식에 산출하는 것을 특징으로 하는 영상 오류 복구방법.
    [수학식]
    상기에서 는 손실 블록 주위의 픽셀값, 는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값이다.
  3. 제1항에 있어서, 주변 블록의 움직임 벡터에 대한 분산값은, 하기의 수학식에 의해 산출하는 것을 특징으로 하는 영상 오류 복구방법.
    [수학식]
    상기에서 와 는 각각 의 수평 성분과 수직 성분을 나타낸다.
  4. 제1 항에 있어서, 손실된 블록의 특성을 결정하는 과정은,
    인접 픽셀 간의 시간 차값()이 제1 문턱값() 이상이면 장면 전환 블록으로 판단하는 단계와;
    인접 픽셀 간의 시간 차()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제3 문턱값() 이하이면 카메라 움직임 유형의 블록으로 판단하는 단계와;
    인접 픽셀 간의 시간 차값()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제4 문턱값() 이상이면 움직이는 물체 유형의 블록으로 판단하는 단계와;
    인접 픽셀 간의 시간 차값()과 움직임 벡터의 분산값()이 각기 제5 문턱값() 이하이면 정지 화면 블록으로 판단하는 단계로 이루어짐을 특징으로 하는 영상 오류 복구방법.
    상기에서 <<<<이다.
  5. 제1 항에 있어서, 적응적으로 해당 손실 블록에 죄적의 오류 은닉 방법을 적용하여 복구하는 과정은,
    PSNR값을 이용하여, 손실 블록의 특성이 장면전환 부분인지를 판단하는 단계와;
    상기 판단결과, 손실블록이 장면전환부분이 아니면, 시간적 방법 또는 움직임을 고려한 시간적 오류은닉 방법을 이용하여 손실블록의 오류를 복구하는 단계와;
    상기 판단결과, 손실블록이 장면전환 부분이면, 공간적 오류 은닉방법을 이용하여 손실블록의 오류를 복구하는 단계를 포함하는 것을 특징으로 하는 영상오류 복구방법.
  6. 제5 항에 있어서, 손실 블록의 특성이 장면전환 부분인지를 판단하는 단계는,
    PSNR값을 검출하여, 그 PSNR값이 급격하게 변화하면 해당 손실블록을 장면전환 부분으로 판단하는 단계를 포함하는 것을 특징으로 하는 영상 오류 복구방법.
  7. 제5 항에 있어서, 시간적 방법 또는 움직임을 고려한 시간적 은닉방법을 이용하여 손실블록의 오류를 복구하는 단계는,
    손실 블록이 정지 화면인 경우에, 이전 프레임의 같은 위치 블록으로 손실블록을 대체하는 단계와;
    손실 블록이 움직이는 카메라인 경우에, 주위 복구 가능한 움직임 벡터를 이용하여, 이전 프레임의 가장 적당한 위치 블록으로 손실블록을 대체하는 단계로 이루어진 것을 특징으로 하는 영상 오류 복구방법.
  8. 제7 항에 있어서, 주위 복구 가능한 움직임 벡터를 이용하여, 이전 프레임의 가장 적당한 위치 블록으로 손실블록을 대체하는 단계는,
    손실 블록의 주위 움직임 벡터를 검출하여, 그 움직임 벡터의 중간값을 산출하는 단계와;
    상기 움직임 벡터의 중간값을, 손실블록의 움직임 벡터로 사용하는 단계를 포함하는 것을 특징으로 하는 영상 오류 복구방법.
  9. 제5 항에 있어서, 공간적 오류 은닉방법을 이용하여 손실블록의 오류를 복구하는 단계는,
    손실 블록의 인접 픽셀로부터 선형적 보간을 통하여 손실블록의 오류를 복구하는 단계를 포함하는 것을 특징으로 하는 영상 오류 복구방법.
  10. 제5 항에 있어서, 전송된 영상의 손실블록이 움직이는 물체인 경우에,
    공간적 오류 은닉 방법을 이용하여 손실블록의 오류를 복구하는 단계를 포함하는 것을 특징으로 하는 영상 오류 복구방법.
  11. 제10 항에 있어서, 전송된 영상의 손실블록이 움직이는 물체인 경우에, 공간적 오류 은닉 방법을 이용하여 손실블록의 오류를 복구하는 단계는,
    손실 블록의 인접 픽셀로부터 선형적 보간을 통하여 손실블록의 오류를 복구하는 단계를 포함하는 것을 특징으로 하는 영상 오류 복구방법.
  12. 전송된 동영상 블록 중 손실 블록 여부를 검출하는 손실 블록 검출수단과,
    상기 손실 블록 검출 수단에서 손실 블록 발생을 검출하면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간의 시간적 차이값을 산출하는 픽셀차 산출 수단과,
    상기 손실 블록 검출 수단에서 손실 블록 발생을 검출하면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값을 산출하는 분산값 산출 수단과,
    상기 픽셀간 시간 차값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 결정하는 블록 특성 결정 수단과;
    상기 블록 특성 결정 수단에 의해 결정된 손실 블록의 특성에 따라, 적응적으로 해당 손실 블록에 오류 은닉 방법을 적용하여 복구하는 손실블록 복구수단을 포함하는 것을 특징으로 하는 영상 오류복구 장치.
  13. 제12 항에 있어서, 픽셀차 산출 수단은, 하기의 수학식에 의해, 인접 픽셀간 시간적 차이값을 산출하는 것을 특징으로 하는 영상 오류 복구장치.
    [수학식]
    상기에서 는 손실 블록 주위의 픽셀값, 는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값이다.
  14. 제12 항에 있어서, 분산값 산출 수단은,주변 블록의 움직임 벡터에 대한 분산값을, 하기의 수학식에 의해 산출하는 것을 특징으로 하는 영상 오류 복구방법.
    [수학식]
    상기에서 와 는 각각 의 수평 성분과 수직 성분을 나타낸다.
  15. 제12 항에 있어서, 블록 특성 결정 수단은,
    인접 픽셀 간의 시간 차값()이 제1 문턱값() 이상이면 장면 전환 블록으로 결정하고,
    인접 픽셀 간의 시간 차()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제3 문턱값() 이하이면 카메라 움직임 유형의 블록으로 결정하며,
    인접 픽셀 간의 시간 차값()이 제2 문턱값() 이상이고 움직임 벡터의 분산값()이 제4 문턱값() 이상이면 움직이는 물체 유형의 블록으로 결정하고,
    인접 픽셀 간의 시간 차값()과 움직임 벡터의 분산값()이 각기 제5 문턱값() 이하이면 정지 화면 블록으로 결정하는 것을 특징으로 하는 영상 오류 복구장치.
    상기에서 <<<<이다.
  16. 제12 항에 있어서, 손실블록 복구 수단은,
    손실 블록이 장면 전환블록이거나, 움직이는 물체 블록이면, 공간적 오류 은닉방법을 이용하여 해당 손실블록을 복구하고,
    손실블록이 정지화면블록이면, 시간적 방법을 이용하여 손실블록을 복구하며, 손실블록이 움직이는 카메라 블록이면, 움직임을 고려한 시간적 오류 은닉방법을 이용하여 손실블록의 오류를 복구하는 것을 특징으로 하는 영상 오류 복구장치.
  17. 제16 항에 있어서, 손실블록 복구수단은,
    손실 블록이 정지 화면인 경우에, 이전 프레임의 같은 위치 블록으로 손실블록을 대체하여, 손실블록을 복구하는 것을 특징으로 하는 영상 오류 복구장치.
  18. 제16 항에 있어서, 손실블록 복구수단은,
    손실 블록이 움직이는 카메라인 경우에, 주위 복구 가능한 움직임 벡터를 이용하여, 이전 프레임의 가장 적당한 위치 블록으로 손실블록을 대체하여, 손실블록을 복구하는 것을 특징으로 하는 영상 오류 복구장치.
  19. 제 18항에 있어서, 손실블록 복구수단은,
    손실 블록의 주위 움직임 벡터를 검출하여, 그 움직임 벡터의 중간값을 산출하고, 그 움직임 벡터의 중간값을, 손실블록의 움직임 벡터로 이용하는 것을 특징으로 하는 영상 오류 복구장치.
  20. 제16 항에 있어서, 손실블록 복구수단은,
    손실된 블록이 움직이는 물제 블록이거나, 장면전환 블록인 경우에,
    손실 블록의 인접 픽셀로부터 선형적 보간을 통하여 손실블록의 오류를 복구하는 것을 특징으로 하는 영상 오류 복구장치.
KR20030096868A 2003-12-24 2003-12-24 영상 오류 복구장치 및 방법 KR100621005B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR20030096868A KR100621005B1 (ko) 2003-12-24 2003-12-24 영상 오류 복구장치 및 방법
US11/006,562 US7684492B2 (en) 2003-12-24 2004-12-08 Apparatus and method for recovering lost block of image processing system
EP20040029464 EP1549079B1 (en) 2003-12-24 2004-12-13 Apparatus and method for lost block concealment in an image transmission system
AT04029464T ATE525860T1 (de) 2003-12-24 2004-12-13 Verfahren und vorrichtung zur verdeckung eines verlorenen blockes in einem bildübertragungssystem
JP2004370253A JP4104593B2 (ja) 2003-12-24 2004-12-21 画像処理システムの損失ブロック復旧装置及びその方法
CNB2004100997740A CN100562124C (zh) 2003-12-24 2004-12-24 用于恢复图像处理***的丢失块的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030096868A KR100621005B1 (ko) 2003-12-24 2003-12-24 영상 오류 복구장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050065104A true KR20050065104A (ko) 2005-06-29
KR100621005B1 KR100621005B1 (ko) 2006-09-08

Family

ID=34545909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030096868A KR100621005B1 (ko) 2003-12-24 2003-12-24 영상 오류 복구장치 및 방법

Country Status (6)

Country Link
US (1) US7684492B2 (ko)
EP (1) EP1549079B1 (ko)
JP (1) JP4104593B2 (ko)
KR (1) KR100621005B1 (ko)
CN (1) CN100562124C (ko)
AT (1) ATE525860T1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771138B1 (ko) * 2005-12-29 2007-10-29 엠텍비젼 주식회사 촬영 장치 및 영상 보정 방법
KR100801155B1 (ko) * 2006-08-24 2008-02-05 한양대학교 산학협력단 Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법
KR100834625B1 (ko) * 2006-07-27 2008-06-02 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
KR100943068B1 (ko) * 2008-02-29 2010-02-18 전남대학교산학협력단 곡선 보간을 이용한 에러복원방법
KR101490521B1 (ko) * 2007-10-10 2015-02-06 삼성전자주식회사 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
CN109791695A (zh) * 2016-10-13 2019-05-21 Ati科技无限责任公司 基于图像块的运动向量确定所述块的方差

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050001935A1 (en) * 2003-07-03 2005-01-06 Shinya Kiuchi Image processing device, image display device, and image processing method
KR100692600B1 (ko) * 2005-02-22 2007-03-13 삼성전자주식회사 움직임 추정 장치 및 방법
JP2009507412A (ja) * 2005-09-01 2009-02-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ誤り耐性の符号化／復号に関する方法及び装置
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
KR101910110B1 (ko) 2011-09-26 2018-12-31 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US9865226B2 (en) * 2014-09-05 2018-01-09 International Business Machines Corporation Image color correction for electronic displays
CN107657591A (zh) * 2017-09-05 2018-02-02 维沃移动通信有限公司 一种图像处理方法及移动终端
US10992938B2 (en) * 2018-09-28 2021-04-27 Ati Technologies Ulc Spatial block-level pixel activity extraction optimization leveraging motion vectors

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244468A (ja) * 1992-02-28 1993-09-21 Mitsubishi Electric Corp 画像受信装置
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
US5943444A (en) * 1993-03-31 1999-08-24 Canon Kabushiki Kaisha Image reproducing apparatus
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
KR100388802B1 (ko) 1998-11-16 2003-10-22 엘지전자 주식회사 오류은폐장치및방법
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
US7110454B1 (en) * 1999-12-21 2006-09-19 Siemens Corporate Research, Inc. Integrated method for scene change detection
KR100774453B1 (ko) 2001-03-15 2007-11-08 엘지전자 주식회사 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771138B1 (ko) * 2005-12-29 2007-10-29 엠텍비젼 주식회사 촬영 장치 및 영상 보정 방법
KR100834625B1 (ko) * 2006-07-27 2008-06-02 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
KR100801155B1 (ko) * 2006-08-24 2008-02-05 한양대학교 산학협력단 Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법
KR101490521B1 (ko) * 2007-10-10 2015-02-06 삼성전자주식회사 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
KR100943068B1 (ko) * 2008-02-29 2010-02-18 전남대학교산학협력단 곡선 보간을 이용한 에러복원방법
CN109791695A (zh) * 2016-10-13 2019-05-21 Ati科技无限责任公司 基于图像块的运动向量确定所述块的方差
CN109791695B (zh) * 2016-10-13 2023-06-20 Ati科技无限责任公司 基于图像块的运动向量确定所述块的方差

Also Published As

Publication number Publication date
CN1665308A (zh) 2005-09-07
JP4104593B2 (ja) 2008-06-18
ATE525860T1 (de) 2011-10-15
EP1549079B1 (en) 2011-09-21
KR100621005B1 (ko) 2006-09-08
US20050141622A1 (en) 2005-06-30
CN100562124C (zh) 2009-11-18
EP1549079A3 (en) 2005-12-21
US7684492B2 (en) 2010-03-23
EP1549079A2 (en) 2005-06-29
JP2005192218A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
KR100621005B1 (ko) 영상 오류 복구장치 및 방법
US8532193B1 (en) Block error compensating apparatus of image frame and method thereof
KR100422389B1 (ko) 비디오 프레임 속도를 증가시키기 위한 방법 및 장치
US8369405B2 (en) Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US7720148B2 (en) Efficient multi-frame motion estimation for video compression
US6192080B1 (en) Motion compensated digital video signal processing
Thaipanich et al. Low complexity algorithm for robust video frame rate up-conversion (FRUC) technique
KR100301833B1 (ko) 오류은폐방법
JP2009510939A (ja) 様々な移動モデルを用いた、エンコーダ支援されたフレームレートアップ変換
WO2003061284A1 (en) Motion wake identification and control mechanism
JP2015109662A (ja) プリプロセッサ方法および装置
JP2009532741A6 (ja) プリプロセッサ方法および装置
JP2917988B1 (ja) 動画像符号化装置のプレフィルタ
KR100585733B1 (ko) 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치
JP3535013B2 (ja) 動画像符号化装置
KR0185841B1 (ko) 영상 부호기에서의 움직임 추정 장치
Kim et al. Local Motion-Adaptive Interpolation Technique
Yang Video noise reduction based on motion complexity classification
Kim et al. Local Motion-Adaptive Interpolation
KR20020073680A (ko) 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
KR20040019153A (ko) 동영상 디코더의 에러 은닉 방법
KR20030039462A (ko) 동영상 압축율을 향상시킨 동영상압축방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120727

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130724

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee