KR100467625B1 - 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법 - Google Patents

프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR100467625B1
KR100467625B1 KR10-2003-0006537A KR20030006537A KR100467625B1 KR 100467625 B1 KR100467625 B1 KR 100467625B1 KR 20030006537 A KR20030006537 A KR 20030006537A KR 100467625 B1 KR100467625 B1 KR 100467625B1
Authority
KR
South Korea
Prior art keywords
motion vector
motion
block
image
frc
Prior art date
Application number
KR10-2003-0006537A
Other languages
English (en)
Other versions
KR20040070487A (ko
Inventor
강정우
민종술
손영욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0006537A priority Critical patent/KR100467625B1/ko
Priority to AU2004200237A priority patent/AU2004200237B2/en
Priority to CN200410005811A priority patent/CN100594723C/zh
Publication of KR20040070487A publication Critical patent/KR20040070487A/ko
Application granted granted Critical
Publication of KR100467625B1 publication Critical patent/KR100467625B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 프레임 레이트 변환을 이용한 영상 처리 장치 및 방법에 관한 것으로서, 프레임 레이트 변환(frame-rate conversion, FRC)하는 영상 처리 장치는, 입력된 필드 단위의 인터레이스(interlace) 영상으로부터 소정 크기의 블록을 추출하는 블록 추출부; 순차적으로 입력된 두 영상에서 추출된 각각의 블록을 비교해 모션 벡터를 산출하는 모션 벡터 산출부; 소정 범위내 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하고, 모션이 있었다고 판별된 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 모션 필터; 및 모션 필터에서 출력된 모션 벡터값들에 대해 프레임 레이트 변환을 수행해 영상을 출력하는 FRC 변환기를 포함함을 특징으로 한다.
본 발명에 의하면, 영상의 프레임 레이트 변환 처리시 모션 필터 알고리즘을 이용함으로써 하드웨어 구성 및 연산량을 감축시킴으로써 원가 절감과 연산 효율을 증가시킬 수 있게 된다.

Description

프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법{Image processing apparatus and method using frame-rate conversion}
본 발명은 모션 추정(motion estimation) 기법을 사용하는 프레임-레이트 컨버터(Frame-rate Converter, FRC)에 관한 것으로서, 보다 상세하게는, 프레임-레이트 컨버터에서 필드 단위의 영상 처리시 메모리 사용량을 줄이고 컨버젼 연산 속도를 증가시키는, 필드 단위의 프레임-레이트 컨버터의 모션 필터 및 그 구현 방법에 관한 것이다.
일반적으로 디지털 텔리비젼이나 PDP 등의 고화질 디스플레이 장치의 이미지 처리 방식은 순차주사방식(progressive)을 사용한다. 이 방식은 필름을 스크린에 영사하듯이 비디오 프레임을 프레임 단위로, 프레임 전체 이미지를 한꺼번에 표시하는 방식이다.
도 1은 일반적인 디지털 디스플레이 장치의 이미지 신호 처리 부분의 블록도를 도시한 것이다. 그 구성은 디인터레이싱(de-interlacing)부(100), 1-프레임 지연부(110), 제1픽셀 블록(120), 제2픽셀 블록(130), SAD 맵(Sum of Absolute Difference map, 140), 모션 벡터 추출부(150), 프레임 레이트 변환부(이하 FRC, 160) 및 인터레이싱(170)부를 포함한다.
디인터레이싱부(100)는 필드(field) 단위의 입력 영상을 프레임(frame) 단위로 변환한다.
1-프레임 지연부(110)는 프레임 단위로 변환된 영상을 지연시키는 것으로, 그 결과인 이전 프레임(이하 P 프레임)과 현 프레임(이하 C 프레임)의 비교가 가능하도록 만든다.
제1픽셀 블록(120)은 현재 입력된 영상의 C 프레임내 소정 위치에 자리한 C x C 픽셀 블럭()을 결정해 추출한다.
제2픽셀 블록(130)은 P 프레임내 상기 소정 위치에 자리한 C x C 픽셀 블럭을 결정해 추출한다.
SAD 맵(140)은 제1픽셀 블록(120)에서 추출한 P 프레임내 블록과 제2픽셀 블록(130)에서 추출한 C 프레임내 블록의 차이(SAD)를 비교해, 그 차이 값을 저장한다.
모션 벡터 추출부(150)는 SAD 맵(140)이 저장한 값들 중 가장 작은 값을 가지는 변위를 현재 블록의 이동 방향과 크기로 판단한다.
FRC(160)는 프레임 레이트 변환(frame-rate conversion)을 수행한다.
인터레이싱부(170)는 프레임 레이트 변환된 이미지를 원래 입력시의 크기인 필드 단위의 영상으로 만든다.
도 1에서, FRC를 명확하게 수행하기 위해서는 현재 입력된 이미지(C 프레임 이미지)와 이전에 입력된 이미지(P 프레임 이미지)가 동일한 화소 단위의 이미지여야 한다. 그러나 인터레이스 입력 이미지는 홀(odd)과 짝(even)의 두 필드로 구성되므로 픽셀의 차이가 생기게 되어, 현재 입력된 이미지와 이전에 입력된 이미지가 위 아래로 1 픽셀의 차이가 생기게 된다. 이는 두 필드를 비교해 벡터 모션을 검출하는데 있어 문제가 될 수 있다. 이 때문에 디인터레이싱(100)을 통해 수직적인 영상 보간을 수행해 두 영상간 픽셀 차가 생기는 것을 방지하는 것이다. 디인터레이싱된 이미지는 메모리(미도시)에 저장되고 그로부터 추출한 소정 위치의 픽셀 블록과, 1-프레임 지연부(110)를 통해 지연된 이전의 프레임에서 추출된 동일한 위치의 픽셀 블록들이 비교된다. 이전 프레임과 현 프레임의 블록 비교는 소정 검색 범위 내에서 이전 이미지가 현재 어디로 이동하였는지를 추정하도록 한 것으로, 그로 인해 모션 벡터 추출부(150)를 통해 모션 벡터를 결정할 수 있게 된다. 사용되는 소정 블록 크기는 C x C인 정방형의 블록이다. 이는 인터레이스 디스플레이 포맷에 있어 수평이 수직 보다 2 배 이상의 픽셀 수를 가지고 있어서 C x C/2의 블록 사이즈를 사용해도 되지만, 디인터레이스(de-interlace)를 통해 수직방향 픽셀 수가 2배로 늘어났기 때문에 정방형의 블록을 사용해 모션 벡터를 추출하게 되는 것이다. 이렇게 추출된 모션 벡터를 FRC 알고리즘에 적용해 새로운 프레임을 만들고, 출력시 디스플레이 포맷에 맞추기 위해 인터레이싱부(170)에서 수직 픽셀 수를 절반으로 만들어 출력하게 된다.
상술한 종래의 이미지 처리 장치에 있어서, 입력 영상에 대해 초기에 디인터레이싱을 수행함으로 인해 영상을 저장하는데 메모리의 양이 증가하고 연산량 역시 메모리 증가와 비례해 늘어나게 되었다. 또, 마지막에 인터레이싱을 수행할 때 또 다른 메모리 용량을 필요로 한다. 이러한 메모리 및 연산량의 증가로 인해, 이를 구현할 하드웨어가 확장될 뿐만 아니라 이로 인해 발열 및 신호 처리시의 에러 문제를 야기할 수 있다. 이러한 문제점에 더해, 종래의 이미지 처리 구성과 같이 디인터레이스 및 인터레이스를 통과한 이미지는 원래의 이미지와 동일하지 않고, 화질 열화를 발생시킨다.
본 발명이 이루고자 하는 기술적 과제는, 입력된 인터레이스 영상에 대해, 디인터레이싱 과정을 생략해 하드웨어를 간단히 하고 그 연산효율을 높일 수 있도록, 필드간 간격차로 인한 모션 벡터 판별 오류를 제거한 후 FRC 변환을 수행하는,FRC 변환을 사용하는 영상 처리 장치 및 방법을 제공하는 데 있다.
도 1은 일반적인 디지털 이미지 신호 처리 장치의 블록도를 도시한 것이다.
도 2는 본 발명의 이미지 처리 장치의 일실시예를 도시한 것이다.
도 3은 모션 필터링의 방법을 상세히 도시한 흐름도이다.
도 4는 입력된 오리지널 영상의 예를 도시한 것이다.
도 5는 도 4의 영상에 대해 도 1과 같이 디인터레이싱과 인터레이싱 기능을 포함해 처리 후 출력시킨 부분적 결과를 도시한 것이다.
도 6은 도 4의 영상에 대해, 디인터레이싱을 생략시 모션 벡터 처리 오류로 인해 발생한 영상의 출력 결과를 보인다.
도 7은 디인터레이싱을 생략하고 대신 본 발명의 모션 필터 알고리즘을 적용해 모션 벡터 오류를 보상했을 때의 영상 출력 결과를 보인 것이다.
상기 과제를 해결하기 위한, 프레임 레이트 변환(frame-rate conversion, FRC)하는 영상 처리 장치는, 입력된 필드 단위의 인터레이스(interlace) 영상으로부터 소정 크기의 블록을 추출하는 블록 추출부; 순차적으로 입력된 두 상기 영상에서 추출된 각각의 블록을 비교해 모션 벡터를 산출하는 모션 벡터 산출부; 소정 범위내 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하고, 모션이 있었다고 판별된 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 모션 필터; 및 상기 모션 필터에서 출력된 모션 벡터값들에 대해 프레임 레이트 변환을 수행해 영상을 출력하는 FRC 변환기를 포함함을 특징으로 한다.
상기 블록 추출부는, 입력 영상으로부터 C x C/2() 형태의 블록을 결정함이 바람직하다.
상기 블록 추출부는, 이전에 입력된 필드 영상을 한 필드 길이 만큼 지연시킨 지연부를 더 포함하여 그로부터 블록을 추출한 제1블록 추출부와, 현재 입력되는 필드 영상으로부터 블록을 추출하는 제2블록 추출부를 구비함이 바람직하다.
상기 FRC 변환을 사용하는 영상 처리 장치는, 상기 제1블록 추출부에서 추출한 각 픽셀과 그에 상응하는 제2블록 추출부에서 추출된 각 픽셀들을 비교해 그 차를 얻는 SAD(sum of absolute difference) 맵을 더 포함함이 바람직하다.
상기 모션 벡터 추출부는 상기 SAD 맵으로부터 입력 영상의 모션 벡터를 추출함이 바람직하다.
상기 모션 필터는, 소정 마스크 범위 내 영상에 대해 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하는 모션 판별부; 및 모션 판별부에서 모션이 있었다고 판별된 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 모션 보상부를 포함함이 바람직하다.
상기 모션 판별부는, 소정의 마스크 블록을 설정하고, 상기 모션 벡터 산출부에서 산출된 모션 벡터값을 절대값으로 변환시키고, 상기 마스크 블록을 적용해 그 범위 안에서 상기 모션 벡터의 절대값이 소정 픽셀 크기 이하인 경우가 소정 개수 이상인지의 여부를 판별함이 바람직하다.
상기 모션 보상부는, 상기 모션 판별부에서 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 이상일 때 해당 마스크 범위 내 모션 벡터들의 절대값을 "0"으로 변환시켜 출력함이 바람직하다.
상기 모션 보상부는, 상기 모션 판별부에서 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 미만일 때 해당 모션 벡터를 그대로 출력시킴이 바람직하다.
상기 소정 픽셀 크기는 1, 상기 소정 개수는 마스크 블록이 커버하는 픽셀 개수임이 바람직하다.
상기 과제를 해결하기 위한, FRC 변환을 이용한 영상 처리 방법은, 인터레이스 입력 영상으로부터 소정 크기의 블록을 추출하는 단계; 순차적으로 연속된 상기 인터레이스 입력 영상으로부터 추출된 각각의 상기 블록들을 비교하여 그로부터모션 벡터를 추출하는 단계; 소정 범위내 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하는 단계; 모션이 있었다고 판별될 때, 상기 소정 범위내 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 상기 소정 범위내 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 단계; 및 모션 유무에 따라 출력된 상기 모션 벡터값들에 대해 프레임 레이트 변환을 수행하는 단계를 포함함을 특징으로 한다.
상기 블록 추출 단계는 입력 영상으로부터 C x C/2() 포맷의 블록을 추출함이 바람직하다.
상기 블록 추출 단계는, 이전에 입력된 필드 영상을 한 필드 길이 만큼 지연시켜 그 지연된 영상으로부터 제1블록을 추출하는 단계; 및 현재 입력되는 필드 영상으로부터 제2블록을 추출하는 단계를 구비함이 바람직하다.
FRC 변환을 사용하는 영상 처리 방법은, 상기 제1블록의 각 픽셀과 그에 상응하는 상기 제2블록의 픽셀들을 비교해 그 차를 얻는 단계를 더 포함함이 바람직하다.
상기 제1블록과 제2블록의 픽셀들의 차로부터 입력 영상의 모션 벡터를 추출하고, 그 결과를 저장하는 단계를 포함함이 바람직하다.
상기 모션 판별 단계는, 소정의 마스크 블록을 설정하는 단계; 상기 모션 벡터값의 절대값을 산출하는 단계; 및 상기 마스크 블록을 적용해 그 범위 안에서 상기 모션 벡터의 절대값이 소정 픽셀 크기 이하인 경우가 소정 개수 이상인지의 여부를 판별하는 단계를 포함함이 바람직하다.
상기 모션 보상 단계는 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 이상일 때 해당 마스크 범위 내 모션 벡터들의 절대값을 "0"으로 변환시켜 출력함이 바람직하다.
상기 모션 보상 단계는 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 미만일 때 해당 마스크 범위 내 모션 벡터를 그대로 출력시킴이 바람직하다.
상기 소정 픽셀 크기는 1, 상기 소정 개수는 마스크 블록이 커버하는 픽셀 개수임이 바람직하다.
상기 마스크 블록은 3 x 3 포맷이고, 상기 소정 개수는 9임이 바람직하다.
상기 과제를 해결하기 위한, FRC 변환을 사용하는 영상 처리 장치에 있어서, 인터레이스 입력 영상들로부터 추출된 모션 벡터값에 대해, 모션 벡터값이 홀(odd) 또는 짝(even) 필드간 라인 어긋남에 의한 것인지를 판별하는 모션 필터; 및 상기 모션 벡터값이 상기 라인 어긋남에 의한 것이면, 해당 모션 벡터값을 "0"으로 강제 변환시켜 출력하고, 그렇지 않은 것일 때 해당 모션 벡터값을 그대로 출력해 FRC 변환토록 하는 모션 벡터 보상부를 포함함을 특징으로 한다.
상기 과제를 해결하기 위한, FRC 변환을 사용하는 영상 처리 방법은, 인터레이스 입력 영상들로부터 추출된 모션 벡터값에 대해, 모션 벡터값이 홀 또는 짝 필드간 라인 어긋남에 의한 것인지를 판별하는 단계; 및 FRC 변환을 위해, 상기 모션 벡터값이 상기 라인 어긋남에 의한 것이면 해당 모션 벡터값을 "0"으로 강제 변환시켜 출력하고, 그렇지 않은 것일 때 해당 모션 벡터값을 그대로 출력하는 단계를 포함함을 특징으로 한다.
인터레이스 입력 영상에 대해 프레임 레이트 변환을 수행하기 위해서는, 입력 영상이 시작과 끝단에서 각각 디인터레이싱과 인터레이싱되어야 한다. 그로 인해 하드웨어가 커지고 설계상의 어려움이 발생하였으므로 본 발명에서는 이러한 디인터레이싱 및 인터레이싱 동작과 그로 인한 하드웨어를 제거하는 대신, 동일한 프레임 레이트 변환 효과를 도출해 내는 알고리즘을 채용한다.
디인터레이싱 및 인터레이싱을 단순 제거하면, 입력되어 비교할 두 영상이 각각 짝(even) 필드와 홀(odd) 필드로 되어 있기 때문에 라인(line)이 서로 어긋나게 된다.
정지 영상에서는 모션이 없기 때문에 실질적으로 모션 벡터가 없다고 인식하게 된다. 그러나 인터레이스 입력 영상은 이전 입력 필드 영상과 현 입력 필드 영상 사이에 모션이 없어도, 1 픽셀의 차이가 나므로 그 사이에 보간되는 이미지는 두 필드 영상 중 하나를 선택해 그로부터 보간이 이뤄져야 한다. 이 경우, 일관되게 한 편의 영상만이 선택된다면 문제가 되지 않으나, 두 필드 영상 모두를 랜덤하게 취해 이미지 보간을 하게 될 때 결국 출력되는 영상이 1 픽셀씩 어긋나는 현상이 발생된다. 따라서 본 발명은 이미지(영상)의 FRC 변환시 종래에 필요로 했던 디인터레이싱과 인터레이싱 동작을 수행하지 않는 대신, 상기 문제점을 해결하기 위해 간단한 모션 필터(motion filter)를 사용한다.
이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 2는 본 발명의 이미지 처리 장치의 일실시예를 도시한 것이다. 그 구성은, 1-필드(field) 지연부(200), 제1이미지 블록 추출부(210), 제2이미지 블록 추출부(220), SAD 맵(Sum of Absolute Difference map, 230), 모션 벡터 추출부(240), 저장부(250), 모션 필터(260), 모션 벡터 보상부(270) 및 프레임 레이트 변환부(이하 FRC, 280)를 포함한다.
1-필드 지연부(200)는 필드 단위로 입력된 영상을 지연시키는 것으로서, 이전에 입력된 영상의 필드와 현재 입력되고 있는 영상의 필드를 비교 가능하게 하기 위한 것이다.
제1이미지 블록 추출부(210)는 현재 입력된 영상으로부터 모션 벡터를 추출하기 위한 블록을 추출한다. 이 블록의 형태는 C x C/2 픽셀 블럭()으로서 결정된다. 이전의 기술에서와 같이, 디인터레이싱이 수행되어 프레임 단위로 된 영상에 비해 세로 길이가 짧기 때문에 세로 방향의 길이가 기존에 비해 절반으로 줄어 들 수 있다.
제2이미지 블록 추출부(220)는 이전에 입력된 영상으로부터 모션 벡터를 추출하기 위한 블록을 추출한다. 이 블록의 형태와 위치는 제1이미지 블록 추출부(210)에서 추출된 블록과 동일하게 된다.
SAD 맵(230)은 각각 제1이미지 블록 추출부(210) 및 제2이미지 블록 추출부(220)에서 추출한 현재 입력된 영상 블록과 이전에 입력된 영상 블록내 픽셀들의 차이(SAD)를 비교해, 그 차이값을 저장한다.
모션 벡터 추출부(240)는 SAD 맵(230)이 저장한 값들 중 가장 작은 값을 가지는 변위를 현재 블록의 이동 방향과 크기인 모션 벡터값으로서 추출한다.
저장부(250)는 모션 벡터 추출부(240)에서 추출된 모션 벡터 값들을 저장한다.
모션 필터(260)는 저장부(250)에 들어 있는 모션 벡터값들에 대해, 그 절대값에 근거해 모션 벡터로 잘못 판단된 것들을 가려내기 위한 것이다. 즉, 인터레이스 입력 영상들로터 추출된 모션 벡터값에 대해, 모션 벡터값이 홀(odd) 또는 짝(even) 필드간 라인 어긋남에 의한 픽셀 위치 차에 기인한 것인지를 판별한다.
모션 벡터 보상부(270)는, 모션 필터(260)로부터 판별된, 잘못 판단된 모션 벡터의 값을 "0"으로 강제 변환시키고, 그렇지 않은 경우의 모션 벡터는 그대로 출력한다.
프레임 레이트 변환부(이하 FRC, 280)는 모션 벡터 보상부(270)에서 출력된 모션 벡터값에 대해 프레임 레이트 변환(frame-rate conversion)을 수행한다.
도 2의 동작을 설명하면 다음과 같다.
1-필드 지연부(200)는 입력된 인터레이스 형식의 영상을 한 필드 단위로 지연시킨다. 그 결과 이전에 입력되어 한 필드 지연된 영상과 현재 입력되고 있는 영상으로부터 동시에 C x C/2 (예를 들어, C=32)인 직사각형의 픽셀 블록을 설정(추출)하여, 서로를 블록 단위로 비교할 수 있게 된다.
SAD 맵(230)은 현재 입력된 영상으로부터 설정된 블록과 이전에 입력되어 지연된 영상으로부터 설정된 블록의 각 픽셀들을 비교하고 그 각각의 간격차를 구한다.
그 간격차를 이용해, 모션 벡터 추출부(240)는 해당 블록의 영상으로부터 모션 벡터MV(vx, vy)를 추출하게 되고, 그 결과는 저장부(250)에 저장된다.
모션 필터(260)는 저장부(250)로부터 얻은 모션 벡터값이, 순차적으로 입력된 even(짝) 필드 영상과 odd(홀) 필드 영상(입력 순서는 그 반대일 수도 있다) 고유의 특성으로 인한 간격차를 '모션이 있었다'는 것으로 해석되는 것을 막기 위한 것이다.
모션 필터(260)는 소정 크기 A x B인 마스크를 설정한다(예를 들어, A, B는 각각 3으로 설정될 수 있다). 해당 마스크가 커버하는 픽셀들에 대한 상기 모션 벡터값의 절대값을 산출한 후, 상기 마스크 블록 범위 안에서 상기 모션 벡터의 절대값이 소정 픽셀 크기 이하인 경우가 소정 개수 이상인지의 여부를 판별한다.
이때, 상기 소정 픽셀 크기는 1(even과 odd 필드의 간격차)이고, 상기 소정 개수란 마스크 블록이 커버하는 픽셀 개수( A x B= 3 x 3 포맷에 따라 9임이 바람직하다)가 된다.
모션 벡터 보상부(270) 모션 필터(260)로부터 마스크 블록 범위내 픽셀들의 모션 벡터 절대값들이 1 이하인 경우가 9 이상일 때, 모션이 없었다고 판단해 해당 마스크 범위 내 픽셀들의 모션 벡터들의 절대값을 모두 "0"으로 강제 변환시켜 출력한다. 또, 모션 필터(260)로부터 마스크 블록 범위내 픽셀들의 모션 벡터 절대값들이 1 이하인 경우가 9 미만일 때, 실제로 모션이 발생했다고 판단해 해당 마스크 범위 내 모션 벡터를 그대로 출력한다.
여기서 마스크 블록의 크기는 임의로 정할 수 있다.
위에서 모션 벡터값으로부터 절대값을 구하는 것은 그 방향성에 상관없이 이동 범위에 대한 정보 만이 요구되기 때문이다. 모션 벡터값의 각 좌표에 해당하는절대값이 소정 임계값 (th1, th2) 보다 작은지를 판단해, 하나 증가된 카운트 값을 얻는다. 여기서 소정 임계값은 각각 2임이 바람직하다. 이러한 C x C/2 블록의 모션 벡터 절대값과 소정 임계값과의 크기 비교 작업은 마스크 내 모든 셀에 대해 이뤄진다.
모션 필터링이 행해지는 것은 정지 영상인 경우이다. 입력된 정지 인터레이스 영상(이미지)은 모션이 "0"임에도 불구하고 1 픽셀 차가 나는 even과 odd 필드의 비교로 인해, 세로 축에 한해 vy=1 의 값을 갖게 된다. 그 사이에 보간되는 필드는 vy를 0이나 1 중 어느 하나로서 임의로 선택한다. 따라서 출력되는 정지 영상으로부터 1 픽셀씩 어긋난 일직선을 두드러지게 관찰할 수 있다.
모션 벡터 보상부(270)는 상기 경우에 대해 vy를 일관되게 "0"으로 만들어 줌으로써 출력시 영상의 틀어짐 현상을 방지하고자 한 것이다.
도 3은 모션 필터링의 방법을 상세히 도시한 흐름도이다.
먼저, 순차적으로 입력된 두 필드 영상들의 소정 크기(C x C/2)의 블록들로부터 그 블록을 구성하는 각 픽셀들의 모션 벡터 추출 결과를 MV(vx, xy)라 하자.
이 모션 벡터들은 저장부에 저장된 후, 하나씩 모션 필터링된다.
모션 필터링을 시작하기 위해, 먼저 모션 벡터일 가능성을 체크하기 위해, A x B 크기의 마스크 블록을 설정한다(300단계).
A x B 마스크 안에 속한 한 픽셀의 모션 벡터()의 절대값을 취한다(310단계). 이를 다음의 수학식 1과 같이 나타낼 수 있다.
모션 벡터값의 절대값 치환은, 벡터값의 방향성에 상관없이 이동 범위를 산출해, 모션이 없는 영상을 모션을 가진 영상으로 잘못 판단할 가능성을 막기 위해서이다.
의 절대값 각각이 모션 벡터를 판단할 소정의 임계값을 초과하는지 초과하지 않는지의 여부를 판별한다(320단계). 여기서 소정의 임계값은 1 픽셀 보다 큰 픽셀 개수, 즉, 각각 2가 된다.
모션 벡터의 절대값이보다 적으면 카운트를 1 증가시킨다(330단계). 카운트의 증가는 모션 벡터의 절대값이 1 픽셀이나 그 이하의 값을 가진 경우들에 대해 수행된다.
마스크 블록이 커버할 수 있는 범위 내 픽셀들 모두에 대해 320~330단계를 수행했는지 판단한다(340단계). 마스크 크기가 3 x 3일 때, 모두 9 개의 픽셀에 대해 320~330 단계를 수행한다.
마스크가 커버할 수 있는 픽셀들의 모션 벡터값으로부터보다 적은 경우들이 또 다른 임계값 th3 이상인지를 판단한다(350단계). 이는 마스크 블록 범위 내 픽셀들 모두의 모션 벡터값이 0~1의 값들로 이뤄진 것인지를 체크하려는 것이다.
마스크 내 픽셀들의 모션 벡터값이 임계값 th3를 초과하지 않았다면, 그 중일부는 모션 벡터 절대값이 2 이상이라는 것을 의미하므로, 해당 마스크내에서 모션이 있었음을 의미한다. 따라서, 입력된 영상의 소정 블록(C x C/2)의 모션 벡터 MV(vx, vy)의 값은 그 오리지널 값을 유지한 채 모션 필터를 통과하게 된다(360단계).
마스크 내 픽셀들의 모션 벡터값이 임계값 th3 이상이면, 대부분 또는 마스크내 전 픽셀들이 모션 벡터 절대값 1 이하임을 의미하고, 이는 해당 마스크내에서 모션이 없었다는 것을 의미한다. 따라서, even과 odd 필드인 인터레이스 영상 비교시, 모션이 없을 때에도 나타나는 1 픽셀 만큼의 모션 벡터값으로 인해 출력시 일직선의 라인 어긋남이 발생되는 것을 막기 위해, 해당 블록의 모션 벡터값을 모두 강제로 "0"으로 만든다(370단계).
여기까지의 단계가 모션 필터링 단계이다.
모션 필터링이 끝난 360 및 370단계의 필터링된 모션 벡터값은 프레임 레이트 변환(FRC)되어 출력된다(380단계).
상술한 본 발명을 하드웨어 측면에서 살펴 보면 다음과 같은 효과가 발생함을 알 수 있다:
1. 처리할 블록 크기를 절반으로(C x C --> C x C/2)으로 줄임으로써, 필요한 메모리량의 50%를 절감시키고, 그에 상응한 연산량을 50% 감소시킨다.
2. 디인터레이싱 및 인터레이싱 기능을 수행하지 않기 때문에, 구성이 간단해지고 그에 따른 연산량 감소 및 연산 속도 증가가 이뤄진다.
이러한 하드웨어적 효과에도 불구하고 지금까지 디인터레이싱 기능을 생략할수 없었던 이유는, 디인터레이싱을 생략할 경우 odd 필드와 even 필드의 픽셀간 위치 차로 인해, 영상의 바른 위치를 찾지 못하는 오류가 발생하기 때문이었다. 그러나 본 발명에서는 이러한 문제를 해결하는 모션 필터 알고리즘을 제공함으로써, 정지 영상에 대해 디인터레이싱을 수행하지 않았을 때 1 픽셀씩 움직인 것처럼 보이는 부분에 대해 모션 벡터값을 "0"으로 강제 변환시켜 출력시의 라인 어긋남을 방지하게 된다.
도 4는 입력된 오리지널 영상의 예를 도시한 것이다.
도 5는 도 4의 영상에 대해 도 1과 같이 디인터레이싱과 인터레이싱 기능을 포함해 처리 후 출력시킨 부분적 결과를 도시한 것이다.
도 6은 도 4의 영상에 대해, 디인터레이싱을 생략시 모션 벡터 처리 오류로 인해 발생한 영상의 출력 결과를 보인다. 이 도면의 동그라미 마크 부분에서 라인이 어긋나는 현상을 발견할 수 있다.
도 7은 디인터레이싱을 생략하고 대신 본 발명의 모션 필터 알고리즘을 적용해 모션 벡터 오류를 보상했을 때의 영상 출력 결과를 보인 것이다. 이 도면에서, 도 6에 나타났던 라인 어긋남은 어디에서도 발견할 수 없다.
본 발명에 의하면, 영상의 프레임 레이트 변환 처리시 모션 필터 알고리즘을 이용함으로써 하드웨어 구성 및 연산량을 감축시킴으로써 원가 절감과 연산 효율을 증가시킬 수 있게 된다.

Claims (22)

  1. 프레임 레이트 변환(frame-rate conversion, FRC)하는 영상 처리 장치에 있어서,
    입력된 필드 단위의 인터레이스(interlace) 영상으로부터 소정 크기의 블록을 추출하는 블록 추출부;
    순차적으로 입력된 두 상기 영상에서 추출된 각각의 블록을 비교해 모션 벡터를 산출하는 모션 벡터 산출부;
    소정 범위내 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하고, 모션이 있었다고 판별된 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 모션 필터; 및
    상기 모션 필터에서 출력된 모션 벡터값들에 대해 프레임 레이트 변환을 수행해 영상을 출력하는 FRC 변환기를 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  2. 제1항에 있어서, 상기 블록 추출부는,
    입력 영상으로부터 C x C/2() 형태의 블록을 결정함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  3. 제1항에 있어서, 상기 블록 추출부는,
    이전에 입력된 필드 영상을 한 필드 길이 만큼 지연시킨 지연부를 더 포함하여 그로부터 블록을 추출한 제1블록 추출부와, 현재 입력되는 필드 영상으로부터 블록을 추출하는 제2블록 추출부를 구비함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 제1블록 추출부에서 추출한 각 픽셀과 그에 상응하는 제2블록 추출부에서 추출된 각 픽셀들을 비교해 그 차를 얻는 SAD(sum of absolute difference) 맵을 더 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  5. 제4항에 있어서, 상기 모션 벡터 추출부는
    상기 SAD 맵으로부터 입력 영상의 모션 벡터를 추출함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  6. 제1항에 있어서, 상기 모션 필터는,
    소정 마스크 범위 내 영상에 대해 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하는 모션 판별부; 및
    모션 판별부에서 모션이 있었다고 판별된 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 모션 보상부를 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  7. 제6항에 있어서, 상기 모션 판별부는,
    소정의 마스크 블록을 설정하고, 상기 모션 벡터 산출부에서 산출된 모션 벡터값을 절대값으로 변환시키고, 상기 마스크 블록을 적용해 그 범위 안에서 상기 모션 벡터의 절대값이 소정 픽셀 크기 이하인 경우가 소정 개수 이상인지의 여부를 판별함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 모션 보상부는, 상기 모션 판별부에서 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 이상일 때 해당 마스크 범위 내 모션 벡터들의 절대값을 "0"으로 변환시켜 출력함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  9. 제7항에 있어서,
    상기 모션 보상부는, 상기 모션 판별부에서 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 미만일 때 해당 모션 벡터를 그대로 출력시킴을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 소정 픽셀 크기는 1, 상기 소정 개수는 마스크 블록이 커버하는 픽셀 개수임을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  11. FRC 변환을 이용한 영상 처리 방법에 있어서,
    인터레이스 입력 영상으로부터 소정 크기의 블록을 추출하는 단계;
    순차적으로 연속된 상기 인터레이스 입력 영상으로부터 추출된 각각의 상기 블록들을 비교하여 그로부터 모션 벡터를 추출하는 단계;
    소정 범위내 픽셀들의 모션 벡터값을 이용해 모션 유무를 판별하는 단계;
    모션이 있었다고 판별될 때, 상기 소정 범위내 모션 벡터값은 그대로 통과시키고, 모션이 없었다고 판별된 상기 소정 범위내 모션 벡터값은 "0"으로 강제 변환시켜 출력하는 단계; 및
    모션 유무에 따라 출력된 상기 모션 벡터값들에 대해 프레임 레이트 변환을 수행하는 단계를 포함함을 특징으로 하는 FRC 변환을 이용하는 영상 처리 방법.
  12. 제11항에 있어서, 상기 블록 추출 단계는
    입력 영상으로부터 C x C/2() 포맷의 블록을 추출함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  13. 제11항에 있어서, 상기 블록 추출 단계는,
    이전에 입력된 필드 영상을 한 필드 길이 만큼 지연시켜 그 지연된 영상으로부터 제1블록을 추출하는 단계; 및
    현재 입력되는 필드 영상으로부터 제2블록을 추출하는 단계를 구비함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 제1블록의 각 픽셀과 그에 상응하는 상기 제2블록의 픽셀들을 비교해 그 차를 얻는 단계를 더 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 제1블록과 제2블록의 픽셀들의 차로부터 입력 영상의 모션 벡터를 추출하고, 그 결과를 저장하는 단계를 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  16. 제11항에 있어서, 상기 모션 판별 단계는,
    소정의 마스크 블록을 설정하는 단계;
    상기 모션 벡터값의 절대값을 산출하는 단계; 및
    상기 마스크 블록을 적용해 그 범위 안에서 상기 모션 벡터의 절대값이 소정 픽셀 크기 이하인 경우가 소정 개수 이상인지의 여부를 판별하는 단계를 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 모션 보상 단계는 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 이상일 때 해당 마스크 범위 내 모션 벡터들의 절대값을 "0"으로 변환시켜 출력함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  18. 제16항에 있어서,
    상기 모션 보상 단계는, 상기 마스크 블록 내 모션 벡터 절대값들이 소정 픽셀 크기 이하인 경우가 소정 개수 미만일 때 해당 마스크 범위 내 모션 벡터를 그대로 출력시킴을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  19. 제17항 또는 제18항에 있어서,
    상기 소정 픽셀 크기는 1, 상기 소정 개수는 마스크 블록이 커버하는 픽셀 개수임을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  20. 제19항에 있어서, 상기 마스크 블록은 3 x 3 포맷이고, 상기 소정 개수는 9임을 특징으로 하는 FRC 변환을 사용하는 영상 처리 방법.
  21. FRC 변환을 사용하는 영상 처리 장치에 있어서,
    인터레이스 입력 영상들로터 추출된 모션 벡터값에 대해, 모션 벡터값이 홀(odd) 또는 짝(even) 필드간 라인 어긋남에 의한 것인지를 판별하는 모션 필터;및
    상기 모션 벡터값이 상기 라인 어긋남에 의한 것이면, 해당 모션 벡터값을 "0"으로 강제 변환시켜 출력하고, 그렇지 않은 것일 때 해당 모션 벡터값을 그대로 출력해 FRC 변환토록 하는 모션 벡터 보상부를 포함함을 특징으로 하는 FRC 변환을 사용하는 영상 처리 장치.
  22. FRC 변환을 사용하는 영상 처리 장치에 있어서,
    인터레이스 입력 영상들로부터 추출된 모션 벡터값에 대해, 모션 벡터값이 홀 또는 짝 필드간 라인 어긋남에 의한 것인지를 판별하는 단계; 및
    FRC 변환을 위해, 상기 모션 벡터값이 상기 라인 어긋남에 의한 것이면 해당 모션 벡터값을 "0"으로 강제 변환시켜 출력하고, 그렇지 않을 것일 때 해당 모션 벡터값을 그대로 출력하는 단계를 포함함을 특징으로 하는 FRC 변환을 위한 영상 처리 방법.
KR10-2003-0006537A 2003-02-03 2003-02-03 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법 KR100467625B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2003-0006537A KR100467625B1 (ko) 2003-02-03 2003-02-03 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법
AU2004200237A AU2004200237B2 (en) 2003-02-03 2004-01-22 Image processing apparatus with frame-rate conversion and method thereof
CN200410005811A CN100594723C (zh) 2003-02-03 2004-02-03 具有帧速率转换的图像处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0006537A KR100467625B1 (ko) 2003-02-03 2003-02-03 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040070487A KR20040070487A (ko) 2004-08-11
KR100467625B1 true KR100467625B1 (ko) 2005-01-24

Family

ID=34309353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0006537A KR100467625B1 (ko) 2003-02-03 2003-02-03 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법

Country Status (3)

Country Link
KR (1) KR100467625B1 (ko)
CN (1) CN100594723C (ko)
AU (1) AU2004200237B2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100515069C (zh) * 2004-09-16 2009-07-15 株式会社Ntt都科摩 视频评价装置及方法、帧速率确定装置、及视频处理装置
KR100766085B1 (ko) * 2006-02-28 2007-10-11 삼성전자주식회사 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
US8204104B2 (en) * 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
JP4139430B1 (ja) 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
JP2011223493A (ja) * 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法
CN102131058B (zh) * 2011-04-12 2013-04-17 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法
JP2013026727A (ja) * 2011-07-19 2013-02-04 Sony Corp 表示装置および表示方法
KR102584521B1 (ko) * 2019-02-15 2023-10-05 한화비전 주식회사 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2312806B (en) * 1993-04-08 1998-01-07 Sony Uk Ltd Motion compensated video signal processing
JPH08111852A (ja) * 1994-10-12 1996-04-30 Sharp Corp 動き適応形走査線補間装置
EP0883298A3 (en) * 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
CN1167261C (zh) * 2000-07-21 2004-09-15 三星电子株式会社 转换视频数据帧速率的方法及其装置

Also Published As

Publication number Publication date
AU2004200237A1 (en) 2004-08-19
CN1520180A (zh) 2004-08-11
AU2004200237B2 (en) 2005-09-08
KR20040070487A (ko) 2004-08-11
CN100594723C (zh) 2010-03-17

Similar Documents

Publication Publication Date Title
EP1223748B1 (en) Motion detection in an interlaced video signal
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US7170562B2 (en) Apparatus and method for deinterlace video signal
US5784115A (en) System and method for motion compensated de-interlacing of video frames
JP2004064788A (ja) デインタレーシング装置及び方法
KR20060047556A (ko) 필름 모드 검출 방법과, 필름 모드 검출기와, 움직임 보상방법 및 움직임 보상기
WO2001067742A1 (en) Detection of progressive frames in a video field sequence
US20030112369A1 (en) Apparatus and method for deinterlace of video signal
US20100177239A1 (en) Method of and apparatus for frame rate conversion
US20050225671A1 (en) Method of Processing Fields of Images and Related Device for Data Lines Similarity Detection
US7499102B2 (en) Image processing apparatus using judder-map and method thereof
US7479978B2 (en) Apparatus and method for performing inverse telecine process
JP2000341648A (ja) 映像信号変換装置
JP2005167887A (ja) 動画像フォーマット変換装置及び方法
KR100768579B1 (ko) 주사 변환 장치
KR100467625B1 (ko) 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법
US20090167938A1 (en) Synthesized image detection unit
US7868948B2 (en) Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal
US20040189877A1 (en) Apparatus for detecting a common frame in an interlaced image
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
JP4433949B2 (ja) 画像処理装置及び方法
US8872980B2 (en) System and method for accumulative stillness analysis of video signals
KR100827214B1 (ko) 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
KR100710236B1 (ko) 화소 보간 장치 및 화소 보간 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee