KR20060121856A - 폐쇄 검출에 기초한 픽셀의 시간적 보간 - Google Patents

폐쇄 검출에 기초한 픽셀의 시간적 보간 Download PDF

Info

Publication number
KR20060121856A
KR20060121856A KR1020067004297A KR20067004297A KR20060121856A KR 20060121856 A KR20060121856 A KR 20060121856A KR 1020067004297 A KR1020067004297 A KR 1020067004297A KR 20067004297 A KR20067004297 A KR 20067004297A KR 20060121856 A KR20060121856 A KR 20060121856A
Authority
KR
South Korea
Prior art keywords
motion vector
pixel
image
value
specific
Prior art date
Application number
KR1020067004297A
Other languages
English (en)
Other versions
KR101135454B1 (ko
Inventor
리머트 비. 위티브루드
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34259238&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20060121856(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060121856A publication Critical patent/KR20060121856A/ko
Application granted granted Critical
Publication of KR101135454B1 publication Critical patent/KR101135454B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

제1 이미지 및 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀을 위한 값을 결정하는 방법이 개시되어 있다. 상기 방법은 제1 이미지에 대응하는 제1 모션 벡터 필드(
Figure 112006015092210-PCT00189
)의 제1 모션 벡터(
Figure 112006015092210-PCT00190
) 및 제2 모션 벡터(
Figure 112006015092210-PCT00191
)에 기초하여 제1 모션 벡터 차를 계산하는 단계, 제2 이미지에 대응하는 제2 모션 벡터 필드(
Figure 112006015092210-PCT00192
)의 제3 모션 벡터(
Figure 112006015092210-PCT00193
) 및 제4 모션 벡터(
Figure 112006015092210-PCT00194
)에 기초하여 제2 모션 벡터 차를 계산하는 단계, 제1 모션 벡터 차가 제2 모션 벡터 차보다 작으면 제1 이미지의 제1 픽셀의 제1 값에 기초하여 특정 픽셀의 값을 설정하고, 제2 모션 벡터 차가 제1 모션 벡터 차보다 작으면 제2 이미지의 제2 픽셀의 제2 값에 기초하여 특정 픽셀의 값을 설정하는 단계를 포함한다.
모션 벡터 필드, 모션 벡터, 모션 벡터 차

Description

폐쇄 검출에 기초한 픽셀의 시간적 보간{Temporal interpolation of a pixel on basis of occlusion detection}
본 발명은 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 방법에 관한 것이다.
본 발명은 또한 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하기 위한 픽셀 값 결정 유닛에 관한 것이다.
본 발명은 또한 이러한 픽셀 값 결정 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
본 발명은 또한 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 명령들을 포함하는 컴퓨터 구성에 의해 로딩되는 컴퓨터 프로그램 제품에 관한 것이다.
포착되는 장면의 일부에 대응하는 폐쇄 영역(occlusion area)은 일련의 연속하는 이미지들 중 하나의 이미지에서는 보이지만, 다음 또는 이전의 이미지에서는 보이지 않는 것을 의미한다. 이는 배경 물체들보다 카메라에 더 근접하여 위치된 장면에서의 배경 물체들이 배경 물체들의 일부를 포함할 수 있다는 사실에 의해 유발된다. 예를 들면, 배경 물체들이 이동하는 경우, 배경 물체들의 일부분은 폐쇄 되지만, 배경 물체들의 다른 부분들은 포함되지 않는다.
폐쇄 영역들은 시간적 보간에서 아티팩트(artifact)를 유발한다. 예를 들면, 업-변환(up-conversion)인 경우, 폐쇄 영역들은 소위 후광을 초래할 수 있다. 업-변환인 경우, 모션 벡터들은 시간적 보간에 의해 업-변환된 출력 이미지들을 계산하기 위해 추정된다. 예를 들면, 1997년 11월, IEEE Transactions on Consumer Electronics, Vol. 43, No. 4, 오. 오조(O. Ojo) 및 지. 드 한(G. de Haan)에 의한 "강력한 모션-보상 비디오 업변환(Robust motion-compensated video upconversion)"의 논문 페이지 1045-1056를 참조한다. 시간적 보간, 즉, 2개의 원래 입력 이미지들 중간에 새로운 이미지의 계산인 경우, 바람직하게 하나 그리고 동일한 물체에 관련한 다수의 픽셀들은 연속하는 이미지들로부터 취해진다. 이는, 관련된 픽셀들이 연속하는 이미지들에서 발견될 수 없으므로 폐쇄 영역들인 경우 간단하게 행해질 수 없다. 다른 보간 전략들이 일반적으로 이전 또는 다음의 원래 이미지의 픽셀 값들의 보간에 기초하여 요구된다. 폐쇄 영역들을 위한 적당한 모션 벡터들의 추정은 중요하다는 것은 분명하다.
본 발명의 목적은 개요에서 비교적 강하게 기술된 종류의 방법을 제공하는 것이다.
본 발명의 상기 목적은 이하의 단계들을 포함하는 방법으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
상기 제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계.
발명자는 제1 모션 벡터 필드의 2개의 적절하게 선택된 모션 벡터들 간의 제1 차 및 제2 모션 벡터 필드의 2개의 적절하게 선택된 모션 벡터들 간의 제2 차를 비교하여, 상기 특정 픽셀의 값을 설정하기 위한 하나 이상의 픽셀 값들을 페치(fetch)하기 위해 두 개의 각 이미지들 중 어느 것이 선택되어야 하는지를 결정할 수 있다는 것을 알아냈다. 일반적으로, 상기 2개의 모션 벡터 필드들 중 하나의 모션 벡터 필드의 2개의 선택된 모션 벡터들은 실질적으로 상호 동일하다. 이는, 이들 2개의 모션 벡터들이 배경 또는 동일한 전경 대상에 관련된다는 확률이 매우 높다는 표시이다. 이 경우에, 이들 2개의 모션 벡터들 중 하나에 따라 중간 이미지에 적절한 픽셀이 페치될 수 있는 확률이 상대적으로 높다. 폐쇄인 경우, 일반적으로 이들 2개의 모션 벡터들은 배경에 관련된다.
상기 모션 벡터들의 적절한 선택은 상기 특정 픽셀의 특정 공간 위치 및 상기 특정 픽셀에 추정되는 특정 모션 벡터에 기초한다. 바람직하게, 상기 제2 모션 벡터는 상기 특정 픽셀의 특정 공간 위치 및 상기 제1 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되고, 상기 제4 모션 벡터는 상기 특정 픽셀의 상기 특정 공간 위치 및 상기 제3 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택된다.
값은 휘도 또는 컬러와 같이, 임의의 형태의 인간의 가시 정보를 나타낸다.
본 발명에 따른 방법의 실시예는, 상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치보다 작으면, 상기 제1 픽셀의 제1 값과 상기 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함한다. 상기 2개의 이미지들 중 하나의 이미지로부터 픽셀 값을 선택하는 것 대신에, 본 발명에 따른 실시예에서, 상기 특정 픽셀의 값은 모든 이미지들의 픽셀 값들에 선택적으로 기초한다. 이는 상기 제2 모션 차들이 미리 결정된 임계치보다 작은지를 검증하는 시험들에 의존한다. 바람직하게, 이 시험은 상기 2개의 모션 벡터 차들 중 최대값을 상기 미리 결정된 임계치와 비교함으로써 수행된다. 이 시험은 암시적 폐쇄 검출이다. 상기 모션 벡터 차들 중 단 하나가 상기 미리 결정된 임계보다 작으면, 상기 특정 공간 위치가 폐쇄 영역에 위치된다고 가정한다. 폐쇄의 형태, 즉, 포함(covering) 또는 비포함(uncovering)은 상기 2개 중 하나가 미리 결정된 임계치보다 작은가에 의존한다. 그러나, 모션 벡터 차들이 미리 결정된 임계치보다 작으면, 상기 특정 공간 위치가 상기 폐쇄 영역보다 작다고 가정한다. 후자의 경우에서, 상기 특정 픽셀의 값은 입력 이미지들의 픽셀 값들에 기초한다.
본 발명에 따른 방법의 실시예는 상기 제1 픽셀의 제1 값과 상기 제1 픽셀에 인접하는 공간 내의 또 다른 픽셀의 또 다른 값의 보간에 의해 상기 특정 픽셀을 설정하는 단계를 포함한다. 즉, 서브-픽셀 정확성은 다수의 픽셀 값들의 보간에 의해 본 발명에 따라 본 실시예에서 달성된다.
본 발명의 또 다른 목적은 개요에서 비교적 강하게 기술된 일종의 픽셀 값 결정 유닛을 제공하는 것이다.
본 발명의 상기 목적은 이하를 포함하는 픽셀 값 결정 유닛으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하기 위한 제1 계산 수단으로서, 상기 제1 모션 벡터가 상기 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 계산 수단;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하기 위한 제2 계산 수단으로서, 상기 제3 모션 벡터가 상기 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 계산 수단; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하기 위한 설정 수단.
본 발명의 또 다른 목적은 픽셀 값 결정 유닛을 포함하는 개요에서 비교적 강하게 기술된 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 상기 목적은 이하의 수단을 포함하는 픽셀 값 결정 유닛으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하기 위한 제1 계산 수단으로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 계산 수단;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하기 위한 제2 계산 수단으로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 계산 수단; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하기 위한 설정 수단.
선택적으로, 상기 이미지 처리 장치는 출력 이미지들을 표시하기 위한 표시 장치를 더 포함한다. 상기 이미지 처리 장치는, 예를 들면, TV, 셋톱 박스, VCR(Video Cassette Recorder) 재생기, 위성 튜너, DVD(Digital Versatile Disk) 재생기 또는 레코더일 것이다.
본 발명의 또 다른 목적은 개요에서 비교적 강하게 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
본 발명의 상기 목적은, 로딩된 후, 상기 처리 장치에 이하의 단계들을 수행하는 능력을 제공하는 컴퓨터 프로그램 제품으로 달성된다:
제1 이미지에 대응하는 제1 모션 벡터 필드의 제1 및 제2 모션 벡터에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제1 모션 벡터 필드로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
제2 이미지에 대응하는 제2 모션 벡터 필드의 제3 및 제4 모션 벡터에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터가 특정 픽셀의 특정 공간 위치 및 특정 픽셀에 대해 추정되는 특정 모션 벡터에 기초하여 상기 제2 모션 벡터 필드로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계.
상기 픽셀 값 결정 유닛의 수정들과 그 변경들은 기재된 상기 이미지 처리 장치, 상기 방법 및 상기 컴퓨터 프로그램 제품의 수정들과 그 변경들에 대응한다.
이들과 상기 이미지 처리 장치, 상기 방법 및 상기 컴퓨터 프로그램 제품의 상기 픽셀 값 결정 유닛의 다른 특징들은 본 발명에 따라 이하 기재되는 구현들과 실시예들에 대해 그리고 첨부한 도면들을 참조하여 명백하고 분명해질 것이다.
도 1은 장면에서 전경 대상과 배경의 이동을 개략적으로 도시하는 도면.
도 2는 도 1에 도시된 이미지들에 대해 추정된 모션 벡터 필드를 개략적으로 도시하는 도면.
도 3은 폐쇄 영역들에 모두 위치된 2개의 예시적인 픽셀들에 대한 발명에 따라 상기 방법을 개략적으로 도시하는 도면.
도 4는 3개의 모션 벡터 필드들이 제공되는 본 발명에 따라, 상기 픽셀 값 결정 유닛의 실시예를 개략적으로 도시하는 도면.
도 5는 3개의 모션 벡터 필드들이 제공되는 본 발명에 따라, 상기 픽셀 값 결정 유닛의 실시예를 개략적으로 도시하는 도면.
도 6은 본 발명에 따른 상기 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.
동일한 참조번호들이 도면들을 통해 유사한 부분들을 표현하는데 사용된다.
도 1은 장면에서 전경 대상(118)의 이동과 배경의 이동을 개략적으로 도시한다. 도 1에서, 시간적 위치 n-1 및 n에서 2개의 원래 이미지들(100 및 104)이 도시되어 있다. 이들 이미지들 내의 대상(118)은 검정 실선들(106 및 108)로 연결된 그레이 직사각형으로 표기된 상향
Figure 112006015092210-PCT00001
으로 이동한다. 길고 좁은 검정색 점선들 (110 및 112)은 하향으로의 배경
Figure 112006015092210-PCT00002
의 모션을 가리킨다. 빗금친 영역들(114 및 116)은 폐쇄 영역들을 가리킨다. -1≤α≤0으로 시간적 위치 n+α에서 생성되어야 하는 새로운 이미지(102)가 파선(120)으로 표기된다.
도 2는 도 1에 도시된 이미지들에 대해 추정된 모션 벡터 필드들을 개략적으로 도시하며, 즉, 상기 추정된 모션 벡터 필드들은 화살표들로 표기된다. 제1 모션 벡터 필드는 상기 2개의 원래 이미지들의 상기 제1 이미지(100)에 대해 추정되고, 제2 모션 벡터 필드는 상기 2개의 원래 이미지들의 상기 제2 이미지(104)에 대해 추정된다. 이들 2개의 모션 벡터 필드들은 3-프레임 모션 추정기에 의해 계산된다. 상기 제1 모션 벡터 필드는
Figure 112006015092210-PCT00003
로 표기된다. 상기 제1 모션 벡터 필드는 휘도 프레임들
Figure 112006015092210-PCT00004
,
Figure 112006015092210-PCT00005
, 및
Figure 112006015092210-PCT00006
간에 추정된다. 상기 제2 모션 벡터 필드는
Figure 112006015092210-PCT00007
으로 표기된다. 이 제2 모션 벡터 필드는 휘도 프레임들
Figure 112006015092210-PCT00008
,
Figure 112006015092210-PCT00009
및
Figure 112006015092210-PCT00010
사이에 추정된다. 그 이외에도, 초기 모션 벡터 필드는 상기 제1 및 제2 모션 벡터 필드 중간에 시간적 위치 n+α에 대해 계산되었다. 이 초기 모션 벡터 필드
Figure 112006015092210-PCT00011
는 휘도 프레임들
Figure 112006015092210-PCT00012
및
Figure 112006015092210-PCT00013
사이에 추정된다. 3-프레임 모션 추정기의 상기 모션 벡터 필드들
Figure 112006015092210-PCT00014
및
Figure 112006015092210-PCT00015
는 실질적으로 전경 대상(118)과 일치하는 한편, 상기 2-프레임 모션 추정기의 상기 모션 벡터 필드
Figure 112006015092210-PCT00016
는 배경으로 연장하는 전경 벡터들을 도시한다는 것을 알아야 한다.
본 발명의 방법에 따르면, 제1 및 제2 입력 이미지 중간에 일시적으로 위치 되는 이미지는 3개의 모션 벡터 필드들
Figure 112006015092210-PCT00017
,
Figure 112006015092210-PCT00018
, 및
Figure 112006015092210-PCT00019
를 사용하여 계산될 수 있다. 이는, 배경 벡터가 폐쇄 영역들에서 결정되고 상기 2개의 입력 이미지들 중 하나로부터 픽셀을 페치하도록 적용된다는 것을 의미한다.
도 3은 공간 위치들,
Figure 112006015092210-PCT00020
및
Figure 112006015092210-PCT00021
에서 2개의 예시적인 픽셀들에 대한 본 발명에 따른 방법을 개략적으로 도시한다. 우선, 위치
Figure 112006015092210-PCT00022
에서 픽셀 부근의 상황을 고려한다. 상기 모션 벡터 필드
Figure 112006015092210-PCT00023
로부터 상기 모션 벡터
Figure 112006015092210-PCT00024
는 상기 제1 모션 벡터 필드
Figure 112006015092210-PCT00025
및 상기 제2 모션 벡터 필드
Figure 112006015092210-PCT00026
각각으로부터 상기 모션 벡터들
Figure 112006015092210-PCT00027
및
Figure 112006015092210-PCT00028
을 페치하는데 사용된다.
Figure 112006015092210-PCT00029
Figure 112006015092210-PCT00030
이 선택 과정은 두꺼운 검정색 화살표들(300 및 302) 각각에 의해 표기된다. 모션 벡터들
Figure 112006015092210-PCT00031
및
Figure 112006015092210-PCT00032
은 배경 벡터들이다.
Figure 112006015092210-PCT00033
에 따라, 상기 벡터
Figure 112006015092210-PCT00034
는
Figure 112006015092210-PCT00035
로부터 페치되고, 벡터
Figure 112006015092210-PCT00036
에 따라, 상기 벡터
Figure 112006015092210-PCT00037
은
Figure 112006015092210-PCT00038
으로부터 페치된다.
Figure 112006015092210-PCT00039
Figure 112006015092210-PCT00040
이 페칭은 두꺼운 검정색 점선들(301 및 303)로 표기된다.
Figure 112006015092210-PCT00041
이 또한 배경 벡터이지만,
Figure 112006015092210-PCT00042
은 전경 벡터이다. 이는,
Figure 112006015092210-PCT00043
및
Figure 112006015092210-PCT00044
은 실질적으로 상호 동 일하며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 이하라는 것을 의미한다. 그러나,
Figure 112006015092210-PCT00045
과
Figure 112006015092210-PCT00046
간의 상당한 차가 있으며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 보다 크다. 그러므로, 중간 이미지(102)의 공간 위치
Figure 112006015092210-PCT00047
에서 픽셀의 값은, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으므로 시간적 위치 n에서 상기 제2 이미지(104)의 픽셀 값에 기초할 것이다.
유사한 과정이 위치
Figure 112006015092210-PCT00048
에서 다른 픽셀을 위한 적절한 모션 벡터를 설정하는데 사용될 수 있다. 상기 모션 벡터 필드
Figure 112006015092210-PCT00049
로부터 상기 모션 벡터
Figure 112006015092210-PCT00050
는 상기 제1 벡터 필드
Figure 112006015092210-PCT00051
및 상기 제2 모션 벡터 필드
Figure 112006015092210-PCT00052
각각으로부터 상기 모션 벡터들
Figure 112006015092210-PCT00053
및
Figure 112006015092210-PCT00054
를 페치하는데 사용된다.
Figure 112006015092210-PCT00055
Figure 112006015092210-PCT00056
이 선택 과정은 두꺼운 검정색 화살표들(304 및 306) 각각으로 표기된다. 여기서,
Figure 112006015092210-PCT00057
및
Figure 112006015092210-PCT00058
를 갖는 상기 페치된 모션 벡터들은 각각 배경 및 전경 벡터들이다.
Figure 112006015092210-PCT00059
에 따라, 상기 벡터
Figure 112006015092210-PCT00060
은
Figure 112006015092210-PCT00061
로부터 페치되고,
Figure 112006015092210-PCT00062
에 따라, 상기 벡터
Figure 112006015092210-PCT00063
은
Figure 112006015092210-PCT00064
로부터 페치된다.
Figure 112006015092210-PCT00065
Figure 112006015092210-PCT00066
이 페칭은 두꺼운 검정색 화살표들(304 및 307)로 표기된다.
Figure 112006015092210-PCT00067
및
Figure 112006015092210-PCT00068
는 배경 벡터들이라는 것을 알 수 있다. 이는,
Figure 112006015092210-PCT00069
및
Figure 112006015092210-PCT00070
가 실질적으로 상호 동일하며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 이하이라는 것을 의미한다. 그러나,
Figure 112006015092210-PCT00071
와
Figure 112006015092210-PCT00072
간의 상당한 차가 있으며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 보다 크다. 그러므로, 상기 중간 이미지(102)의 공간 위치
Figure 112006015092210-PCT00073
에서 픽셀의 값은, 상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으므로 시간적 위치 n-1에서 상기 제1 이미지(100)의 픽셀 값에 기초할 것이다.
일반적으로, 이하인 경우, 폐쇄가 검출된다:
Figure 112006015092210-PCT00074
폐쇄가 검출되는 경우에, 포함 및 비포함으로 분류된다. 상기 픽셀은:
Figure 112006015092210-PCT00075
이면, 비포함 영역에 있고,
Figure 112006015092210-PCT00076
이면, 포함 영역에 있다.
그래서, 공간 위치
Figure 112006015092210-PCT00077
에서 상기 픽셀은 비포함 영역에 위치되고, 공간 위치
Figure 112006015092210-PCT00078
에서 상기 픽셀은 포함 영역에 있다.
도 4는 폐쇄 영역에 위치되지 않은 예시적인 픽셀
Figure 112006015092210-PCT00079
에 대한 본 발명에 따른 방법을 개략적으로 도시한다. 상기 모션 벡터 필드
Figure 112006015092210-PCT00080
로부터 상기 모션 벡터
Figure 112006015092210-PCT00081
는 상기 제1 벡터 필드
Figure 112006015092210-PCT00082
및 상기 제2 모션 벡터 필드
Figure 112006015092210-PCT00083
로부터 상기 모션 벡터들
Figure 112006015092210-PCT00084
및
Figure 112006015092210-PCT00085
를 페치하는데 사용된다.
Figure 112006015092210-PCT00086
Figure 112006015092210-PCT00087
이 선택 과정은 두꺼운 검정색 화살표들(400 및 402) 각각으로 표기된다. 여기서, 상기 모션 벡터들
Figure 112006015092210-PCT00088
및
Figure 112006015092210-PCT00089
은 전경 벡터들이다.
Figure 112006015092210-PCT00090
에 따라, 상기 벡터
Figure 112006015092210-PCT00091
은
Figure 112006015092210-PCT00092
로부터 페치되고,
Figure 112006015092210-PCT00093
에 따라, 상기 벡터
Figure 112006015092210-PCT00094
은
Figure 112006015092210-PCT00095
로부터 페치된다.
Figure 112006015092210-PCT00096
Figure 112006015092210-PCT00097
이 페칭은 또한 두꺼운 검정색 화살표들(400 및 402)로 각각 표기된다.
Figure 112006015092210-PCT00098
및
Figure 112006015092210-PCT00099
는 전경 벡터들이라는 것을 알 수 있다. 이는,
Figure 112006015092210-PCT00100
및
Figure 112006015092210-PCT00101
가 실질적으로 상호 동일하며, 즉, 상기 제1 모션 벡터 차는 미리 결정된 임계치 T0 이하라는 것을 의미한다. 그러나,
Figure 112006015092210-PCT00102
와
Figure 112006015092210-PCT00103
간의 상당한 차가 있으며, 즉, 상기 제2 모션 벡터 차는 미리 결정된 임계치 T0 이하이다. 그러므로, 상기 중간 이미지 (102)의 공간 위치
Figure 112006015092210-PCT00104
에서 픽셀의 값은 시간적 위치 n-1에서 상기 제1 이미지(100)의 제1 픽셀의 제1 값에 기초하고 시간적 위치 n에서 상기 제2 이미지(104)의 제2 픽셀의 제2 값에 기초할 것이다.
도 5는 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 이미지를 계산하도록 구성되며, 상기 중간 이미지는 시간적 위치 n+α에 위치되는 본 발명에 따른 픽셀 값 결정 유닛(500)의 실시예를 개략적으로 도시한다. 상기 픽셀 값 결정 유닛(500)에는 3개의 모션 벡터 필드들이 제공된다. 이들 제공된 모션 벡터 필드들의 상기 제1 모션 벡터 필드(
Figure 112006015092210-PCT00105
) 및 제2 모션 벡터 필드(
Figure 112006015092210-PCT00106
)는 3-프레임 모션 추정기(512)에 의해 계산된다. 3-프레임 모션 추정기(512)의 예는 미국특허공보 제6,011,596호에 개시되어 있다. 상기 제3 제공된 모션 벡터 필드(
Figure 112006015092210-PCT00107
)는 2-프레임 모션 추정기(514)에 의해 계산된다. 이 2-프레임 모션 추정기(508)는 예를 들면, 1993년 10월 지이.드 한 등에 의한 IEEE Transactions on circuits and systems for video technology, vol.3, no.5의 페이지 368-379에서 "3-D 귀납 검색 블록 매칭에 따른 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)"에 규정된 바와 같다.
상기 모션 추정기(512 및 514) 및 상기 픽셀 값 결정 유닛(500)에는 상기 제1 및 제2 이미지 및 다른 입력 이미지들을 표현하는 입력 비디오 신호가 제공된다. 상기 픽셀 값 결정 유닛(500)은 상기 제1 및 제2 이미지 및 상기 출력 커넥터(518)에서 중간 이미지를 표현하는 출력 비디오 신호를 제공한다. 상기 픽셀 값 결정 유닛(500)은 미리 결정된 임계치 T0을 표현하는 제어신호를 수신하기 위한 제어 인터페이스(520)를 포함한다.
본 발명에 따른 상기 픽셀 값 결정 유닛(500)은 이하를 포함한다:
모션 벡터 비교 유닛(502);
결정 유닛(504); 및
픽셀 값 계산 유닛(506).
상기 모션 벡터 비교 유닛(502)은 상기 3개의 모션 벡터 필드들
Figure 112006015092210-PCT00108
,
Figure 112006015092210-PCT00109
및
Figure 112006015092210-PCT00110
로부터 대응하는 모션 벡터들을 페치하도록 구성된다. 상기 모션 벡터 비교 유닛(502)은 이하를 포함한다:
제1 이미지에 대응하는 제1 모션 벡터 필드(
Figure 112006015092210-PCT00111
)의 제1 모션 벡터(
Figure 112006015092210-PCT00112
) 및 제2 모션 벡터(
Figure 112006015092210-PCT00113
)에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 유닛(508)으로서, 제1 모션 벡터(
Figure 112006015092210-PCT00114
)는 특정 픽셀의 특정 공간 위치(
Figure 112006015092210-PCT00115
) 및 특정 픽셀에 대해 추정되는 특정 모션 벡터(
Figure 112006015092210-PCT00116
)에 기초하여 제1 모션 벡터 필드(
Figure 112006015092210-PCT00117
)로부터 선택되는, 상기 제1 계산 유닛(508);
제2 이미지에 대응하는 제2 모션 벡터 필드(
Figure 112006015092210-PCT00118
)의 제3 모션 벡터(
Figure 112006015092210-PCT00119
) 및 제4 모션 벡터(
Figure 112006015092210-PCT00120
)에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 유닛(510)으로서, 상기 제3 모션 벡터(
Figure 112006015092210-PCT00121
)는 특정 픽셀의 특정 공간 위치(
Figure 112006015092210-PCT00122
) 및 특정 픽셀에 대해 추정되는 특정 모션 벡터(
Figure 112006015092210-PCT00123
)에 기초하여 제2 모션 벡터 필드(
Figure 112006015092210-PCT00124
) 로부터 선택되는, 상기 제2 계산 유닛(510).
상기 결정 유닛(504)은 상기 특정 픽셀이 위치되는 영역의 형태를 결정하도록 구성된다. 그래서, 상기 결정 유닛(504)은, 상기 2개의 모션 벡터 차들이 미리 결정된 임계치 T0 보다 작은지를 검사하도록 구성된다. 그 다음, 영역의 형태는 식9 내지 11에 정의된 바와 같이 설정된다. 상기 결정 유닛(504)은, 모션 벡터 또는 선택적으로 모션 벡터들이 상기 중간 이미지의 상기 특정 픽셀의 픽셀 값의 계산을 위해 상기 제1 및 제2 이미지로부터 상기 픽셀 값들을 페치하는데 사용되어야 하는지를 검사하도록 구성된다. 일반적으로, 상기 특정 픽셀의 값은, 상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하고, 상기 특정 픽셀의 값은, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초한다. 상기 특정 픽셀의 값은, 상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치 T0 보다 작으면 상기 제1 픽셀의 상기 제1 값과 상기 제2 픽셀의 상기 제2 값에 기초한다.
상기 픽셀 값 계산 유닛(506)은 상기 특정 픽셀의 실제 값을 결정하도록 구성된다. 이는 상기 제1 또는 제2 이미지의 픽셀 값의 직접적인 복사일 것이다. 바람직하게, 상기 값은, 특히, 상기 모션 벡터들이 서브-픽셀일 때 다수의 픽셀 값들의 보간에 기초한다.
본 발명에 따른 상기 픽셀 값 결정 유닛(500)의 동작은 도 3 및 도 4를 참조 하여 기재된다.
상기 모션 벡터 비교 유닛(502), 상기 결정 유닛(504), 상기 픽셀 값 계산 유닛(506), 상기 3-프레임 모션 추정기(512) 및 상기 2-프레임 모션 추정기(514)는 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행 동안에, 일반적으로, 상기 소프트웨어 프로그램 제품은 RAM와 같이 메모리에 로딩되고, 그들로부터 실행된다. 상기 프로그램은 ROM, 하드디스크, 또는 자기적 및/또는 광학적 스토리지와 같이 백그라운드 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 주문형 집적회로는 개시된 기능성을 제공한다.
다른 시간적 위치들 n-1, n+α, 및 n에 대한 모션 벡터들의 계산은 상기 중가 이미지의 픽셀 값들의 계산에 따라 동기적으로 수행된다. 이는, 예를 들면, 시간적 위치 n-1에 대한 특정 모션 벡터 필드는 대응하는 원래 입력 비디오 이미지의 모든 픽셀들의 모션을 함께 표현하는 모션 벡터들의 그룹에 반드시 대응하지 않는다는 것을 의미한다. 즉, 모션 벡터 필드는 픽셀들의 일부, 예를 들면, 대응하는 원래 입력 비디오 이미지의 픽셀들의 10% 만의 모션을 함께 표현하는 모션 벡터들의 그룹에 대응한다.
도 6은 본 발명에 따른 상기 이미지 처리 장치(600)의 실시예를 개략적으로 도시한다. 상기 이미지 처리 장치(600)는 이하를 포함한다:
비디오 이미지들의 시퀀스에 대응하는 신호를 수신하기 위한 수신 수단(602);
상기 비디오 이미지들 중 제1 이미지를 위한 제1 모션 벡터 필드 및 상기 비디오 이미지들 중 제2 이미지를 위한 제2 모션 벡터 필드를 추정하기 위한 제1 모션 추정기(512);
상기 비디오 이미지들의 제1 이미지 및 상기 비디오 이미지들의 제2 이미지 중간에 일시적으로 위치되는 출력 이미지를 위한 제3 모션 벡터 필드를 추정하기 위한 제2 모션 추정기(514);
도 5를 참조하여 기재된 상기 픽셀 값 결정 유닛(500); 및
상기 픽셀 값 결정 유닛(500)의 출력 이미지들을 표시하기 위한 표시 장치(600).
상기 신호는 안테나 또는 케이블을 거쳐 수신된 방송 신호일 수 있지만, 상기 신호는 상기 입력 커넥터(608)에서 제공된다. 상기 이미지 처리 장치(600)는 선택적 표시 장치를 포함하는 것이 아니라, 출력 이미지들을 표시 장치(606)를 포함하는 장치에 제공한다. 그 다음, 상기 이미지 처리 장치(600)는, 예를 들면, 셋톱 박스, 위성-튜너, VCR 재생기, DVD 재생기 또는 레코더일 것이다. 선택적으로, 상기 이미지 처리 장치(600)는 하드-디스크와 같은 저장 수단 또는 제거가능한 매체, 예를 들면, 광 디스크들 상의 저장을 위한 수단을 포함한다. 상기 이미지 처리 장치(600)는 또한 필름-스튜디오 또는 방송국에 의해 적용되는 시스템일 것이다.
상술된 실시예들이 본 발명을 한정하기보다는 설명한 것이고 기술분야의 당업자는 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있을 것이라는 것을 알아야 한다. 청구항들에서, 괄호 사이에 놓여진 임의의 참조 부호들은 청구항을 한정하도록 해석되지 않아야 한다. 단어 "포함하는(comprising)"은 청구항에 나열되지 않은 소자들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 소자들을 포함하는 하드웨어 및 적당하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 나열한 청구항들에서, 이들 수단들 중 몇몇은 하나 및 동일한 아이템의 하드웨어로 실시될 수 있다. 단어들, 제1, 제2, 및 제3 등의 사용은 임의의 순서를 가리키지 않는다. 이들 단어들은 명칭으로서 해석되어야 한다.

Claims (10)

  1. 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 방법에 있어서,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00125
    )의 제1 모션 벡터(
    Figure 112006015092210-PCT00126
    ) 및 제2 모션 벡터(
    Figure 112006015092210-PCT00127
    )에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터(
    Figure 112006015092210-PCT00128
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112006015092210-PCT00129
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112006015092210-PCT00130
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00131
    )로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00132
    )의 제3 모션 벡터(
    Figure 112006015092210-PCT00133
    ) 및 제4 모션 벡터(
    Figure 112006015092210-PCT00134
    )에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터(
    Figure 112006015092210-PCT00135
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00136
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112006015092210-PCT00137
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00138
    )로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함하는, 특정 이미지의 특정 픽셀 값 결정 방법.
  2. 제1항에 있어서,
    상기 제2 모션 벡터(
    Figure 112006015092210-PCT00139
    )는 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00140
    ) 및 상기 제1 모션 벡터(
    Figure 112006015092210-PCT00141
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00142
    )로부터 선택되는, 특정 이미지의 특정 픽셀 값 결정 방법.
  3. 제2항에 있어서,
    상기 제4 모션 벡터(
    Figure 112006015092210-PCT00143
    )는 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00144
    ) 및 상기 제3 모션 벡터(
    Figure 112006015092210-PCT00145
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00146
    )로부터 선택되는, 특정 이미지의 특정 픽셀 값 결정 방법.
  4. 제1항에 있어서,
    상기 제1 모션 벡터 차 및 상기 제2 모션 벡터 차가 미리 결정된 임계치보다 작으면, 상기 제1 픽셀의 상기 제1 값 및 상기 제2 픽셀의 상기 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 포함하는, 특정 이미지의 특정 픽셀 값 결정 방법.
  5. 제1항에 있어서,
    상기 제1 픽셀의 상기 제1 값의 보간에 의해 상기 특정 픽셀의 값과, 상기 제1 픽셀에 인접하는 공간 내의 또 다른 픽셀의 또 다른 값을 설정하는 단계를 포함하는, 특정 이미지의 특정 픽셀 값 결정 방법.
  6. 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하기 위한 픽셀 값 결정 유닛(500)에 있어서,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00147
    )의 제1 모션 벡터(
    Figure 112006015092210-PCT00148
    ) 및 제2 모션 벡터(
    Figure 112006015092210-PCT00149
    )에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 수단(508)으로서, 상기 제1 모션 벡터(
    Figure 112006015092210-PCT00150
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112006015092210-PCT00151
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112006015092210-PCT00152
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00153
    )로부터 선택되는, 상기 제1 계산 수단(508);
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00154
    )의 제3 모션 벡터(
    Figure 112006015092210-PCT00155
    ) 및 제4 모션 벡터(
    Figure 112006015092210-PCT00156
    )에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 수단(510)으로서, 상기 제3 모션 벡터(
    Figure 112006015092210-PCT00157
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00158
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112006015092210-PCT00159
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00160
    )로부터 선택되는, 상기 제2 계산 수단(510); 및
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모 션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 설정 수단(504)을 포함하는, 픽셀 값 결정 유닛(500).
  7. 이미지 처리 장치(600)에 있어서,
    비디오 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단(602);
    상기 비디오 이미지들의 제1 이미지에 대한 제1 모션 벡터 필드 및 상기 비디오 이미지들의 제2 이미지에 대한 제2 모션 벡터 필드를 추정하는 모션 추정 수단(512); 및
    상기 비디오 이미지들의 제1 이미지와 상기 비디오 이미지들의 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 픽셀 값 결정 유닛(500)을 포함하며,
    상기 픽셀 값 결정 유닛은:
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00161
    )의 제1 모션 벡터(
    Figure 112006015092210-PCT00162
    ) 및 제2 모션 벡터(
    Figure 112006015092210-PCT00163
    )에 기초하여 제1 모션 벡터 차를 계산하는 제1 계산 수단(508)으로서, 상기 제1 모션 벡터(
    Figure 112006015092210-PCT00164
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112006015092210-PCT00165
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112006015092210-PCT00166
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00167
    )로부터 선택되는, 상기 제1 계산 수단(508);
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00168
    )의 제3 모션 벡터 (
    Figure 112006015092210-PCT00169
    ) 및 제4 모션 벡터(
    Figure 112006015092210-PCT00170
    )에 기초하여 제2 모션 벡터 차를 계산하는 제2 계산 수단(510)으로서, 상기 제3 모션 벡터(
    Figure 112006015092210-PCT00171
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00172
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112006015092210-PCT00173
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00174
    )로부터 선택되는, 상기 제2 계산 수단(510); 및
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 설정 수단(504)을 포함하는, 이미지 처리 장치(600).
  8. 제7항에 있어서,
    상기 출력 이미지들을 표시하기 위한 표시 장치(606)를 더 포함하는, 이미지 처리 장치(600).
  9. 제8항에 있어서,
    상기 이미지 처리 장치는 TV인, 이미지 처리 장치(600).
  10. 제1 이미지와 제2 이미지 중간에 일시적으로 위치되는 특정 이미지의 특정 픽셀에 대한 값을 결정하는 명령들을 포함하는 컴퓨터 구성에 의해 로딩되는 컴퓨 터 프로그램 제품에 있어서,
    상기 컴퓨터 프로그램 제품은 로딩된 후,
    상기 제1 이미지에 대응하는 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00175
    )의 제1 모션 벡터(
    Figure 112006015092210-PCT00176
    ) 및 제2 모션 벡터(
    Figure 112006015092210-PCT00177
    )에 기초하여 제1 모션 벡터 차를 계산하는 단계로서, 상기 제1 모션 벡터(
    Figure 112006015092210-PCT00178
    )가 상기 특정 픽셀의 특정 공간 위치(
    Figure 112006015092210-PCT00179
    ) 및 상기 특정 픽셀에 대해 추정되는 특정 모션 벡터(
    Figure 112006015092210-PCT00180
    )에 기초하여 상기 제1 모션 벡터 필드(
    Figure 112006015092210-PCT00181
    )로부터 선택되는, 상기 제1 모션 벡터 차 계산 단계;
    상기 제2 이미지에 대응하는 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00182
    )의 제3 모션 벡터(
    Figure 112006015092210-PCT00183
    ) 및 제4 모션 벡터(
    Figure 112006015092210-PCT00184
    )에 기초하여 제2 모션 벡터 차를 계산하는 단계로서, 상기 제3 모션 벡터(
    Figure 112006015092210-PCT00185
    )가 상기 특정 픽셀의 상기 특정 공간 위치(
    Figure 112006015092210-PCT00186
    ) 및 상기 특정 픽셀에 대해 추정되는 상기 특정 모션 벡터(
    Figure 112006015092210-PCT00187
    )에 기초하여 상기 제2 모션 벡터 필드(
    Figure 112006015092210-PCT00188
    )로부터 선택되는, 상기 제2 모션 벡터 차 계산 단계; 및
    상기 제1 모션 벡터 차가 상기 제2 모션 벡터 차보다 작으면 상기 제1 이미지의 제1 픽셀의 제1 값에 기초하여 상기 특정 픽셀의 값을 설정하고, 상기 제2 모션 벡터 차가 상기 제1 모션 벡터 차보다 작으면 상기 제2 이미지의 제2 픽셀의 제2 값에 기초하여 상기 특정 픽셀의 값을 설정하는 단계를 수행하는 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품.
KR1020067004297A 2003-09-02 2004-08-23 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 KR101135454B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03103269.1 2003-09-02
EP03103269 2003-09-02
PCT/IB2004/051530 WO2005022922A1 (en) 2003-09-02 2004-08-23 Temporal interpolation of a pixel on basis of occlusion detection

Publications (2)

Publication Number Publication Date
KR20060121856A true KR20060121856A (ko) 2006-11-29
KR101135454B1 KR101135454B1 (ko) 2012-04-13

Family

ID=34259238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004297A KR101135454B1 (ko) 2003-09-02 2004-08-23 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체

Country Status (6)

Country Link
US (1) US7536031B2 (ko)
EP (1) EP1665808B1 (ko)
JP (1) JP2007504700A (ko)
KR (1) KR101135454B1 (ko)
CN (1) CN1846445B (ko)
WO (1) WO2005022922A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319780B1 (ko) * 2009-01-23 2013-10-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
KR101353104B1 (ko) * 2009-04-14 2014-01-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7931700B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Composition for dyeing of cellulosic fabric
US7931699B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Compositions for spray dyeing cellulosic fabrics
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
EP1958451B1 (en) * 2005-11-30 2014-03-19 Entropic Communications, Inc. Motion vector field correction
JP5081898B2 (ja) * 2006-04-19 2012-11-28 トライデント マイクロシステムズ インコーポレイテッド 補間画像生成方法及びシステム
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
JP5023780B2 (ja) * 2007-04-13 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
JP5287509B2 (ja) * 2009-05-28 2013-09-11 富士通株式会社 フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
JP4692913B2 (ja) * 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
US9013584B2 (en) * 2010-03-01 2015-04-21 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
ES2660610T3 (es) * 2010-04-30 2018-03-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y aparato para la detección y clasificación de regiones de oclusión
JP4735779B2 (ja) * 2011-01-12 2011-07-27 日本ビクター株式会社 補間画素データ生成装置及び方法
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息***有限公司 基于运动矢量的移动侦测方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
KR102187211B1 (ko) 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11388432B2 (en) 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
WO2023174546A1 (en) * 2022-03-17 2023-09-21 Dream Chip Technologies Gmbh Method and image processor unit for processing image data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2087946A1 (en) * 1991-05-24 1992-11-25 Michael Burl Video image processing
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
JP2002523985A (ja) * 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
CN100504925C (zh) * 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
WO2002056589A1 (en) 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
KR100924906B1 (ko) 2001-11-07 2009-11-03 엔엑스피 비 브이 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치
US20050163355A1 (en) * 2002-02-05 2005-07-28 Mertens Mark J.W. Method and unit for estimating a motion vector of a group of pixels
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319780B1 (ko) * 2009-01-23 2013-10-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
KR101353104B1 (ko) * 2009-04-14 2014-01-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
KR101355299B1 (ko) * 2009-04-14 2014-01-23 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Also Published As

Publication number Publication date
CN1846445B (zh) 2010-09-29
WO2005022922A1 (en) 2005-03-10
US7536031B2 (en) 2009-05-19
KR101135454B1 (ko) 2012-04-13
EP1665808B1 (en) 2016-05-25
JP2007504700A (ja) 2007-03-01
US20070002058A1 (en) 2007-01-04
CN1846445A (zh) 2006-10-11
EP1665808A1 (en) 2006-06-07

Similar Documents

Publication Publication Date Title
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US7519230B2 (en) Background motion vector detection
US7949205B2 (en) Image processing unit with fall-back
US20070092111A1 (en) Motion vector field re-timing
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
US20050226462A1 (en) Unit for and method of estimating a motion vector
US8374465B2 (en) Method and apparatus for field rate up-conversion
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
EP1654703A1 (en) Graphics overlay detection
KR20060029283A (ko) 모션-보상된 영상 신호 보간

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee