KR101180606B1 - 프레임 보간 장치 - Google Patents

프레임 보간 장치 Download PDF

Info

Publication number
KR101180606B1
KR101180606B1 KR20110075652A KR20110075652A KR101180606B1 KR 101180606 B1 KR101180606 B1 KR 101180606B1 KR 20110075652 A KR20110075652 A KR 20110075652A KR 20110075652 A KR20110075652 A KR 20110075652A KR 101180606 B1 KR101180606 B1 KR 101180606B1
Authority
KR
South Korea
Prior art keywords
frame
interpolation
frames
unit
sampling point
Prior art date
Application number
KR20110075652A
Other languages
English (en)
Other versions
KR20120012433A (ko
Inventor
리이찌 후루까와
사또시 오또와
Original Assignee
온 세미컨덕터 트레이딩 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 온 세미컨덕터 트레이딩 리미티드 filed Critical 온 세미컨덕터 트레이딩 리미티드
Publication of KR20120012433A publication Critical patent/KR20120012433A/ko
Application granted granted Critical
Publication of KR101180606B1 publication Critical patent/KR101180606B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본원 발명은 프레임 보간을 행할 때에 발생할 수 있는 영상 품질의 저하를 억제한다. 프레임 보간 장치(100)는, 동화상의 각 프레임의 후속으로 n(n은 자연수)매의 카피 프레임을 추가하고, 프레임수를 증가시켜서 출력하는 화상 생성 장치(300)로부터, 동화상의 공급을 받는다. 프레임 보간 장치(100)의 프레임 취득부(20)는, 동화상으로부터 (n+1)매에 1매의 주기로 프레임을 샘플링한다. 보간 프레임 생성부(30)는, 프레임 취득부(20)에 의해 샘플링된 프레임 간의 보간 프레임을 생성한다. 동일성 판정부는, 동화상이 연속되는 프레임의 동일성을 판정한다. 샘플링 포인트 변경부는, 동일성 판정부에 의해 동일하다고 판정된 프레임이 (n+1)매보다 적게 또는 많게 연속하고, 또한 일정한 조건을 만족시킬 때, 주기를 고정한 채, 그 샘플링 포인트를 이동시킨다.

Description

프레임 보간 장치{FRAME INTERPOLATING APPARATUS}
본 발명은, 원 프레임 간의 보간 프레임을 생성하고, 원 프레임간에 삽입하는 프레임 보간 장치에 관한 것이다.
최근, 프레임 보간 기술을 이용해서 동화상의 코마수를 증가시켜, 보다 매끄럽고 잔상감이 적은 동화상을 생성하는 방법이 실용화되어 있다. 예를 들어, 매초 60 프레임(60Hz)의 동화상을 2배속하여, 120Hz의 동화상으로 변환해서 표시하는 기술도 실용화되어 있다.
일본에서는 2006년 4월부터 원세그(one seg) 방송이 개시되었다. 원세그 방송은, 휴대전화기 등의 휴대 기기를 주된 수신 대상으로 하는 협대역을 이용한 방송이다. 원세그 방송에서는, 통상, 매초 15 프레임(15Hz)으로 영상이 송신되기 때문에, 그 코마수를 증가시킬 필요성이 높다. 일반적인 원세그 디코더에서는 프레임 주파수 60Hz로 영상 출력되기 때문에, 기본적으로 4 프레임 동일한 영상이 출력된다. 이 경우, 상기 프레임 보간 기술을 이용해서 동화상의 코마수를 증가시키기 위한 프레임 보간 장치는, 상기 원세그 디코더의 후단에 접속된다.
이러한 프레임 보간 장치에 있어서, 프레임의 연속수를 항상 카운트하고, 프레임의 연속수의 변화를 검출하고, 검출한 결과가 4매 연속이 아닐 때에, 보간 처리를 정지하거나, 샘플링 프레임을 어긋나게 하거나 하는 기술이 제안되어 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2009-239335호 공보
그러나, 상술한 기술에서는, 입력되는 프레임의 연속수의 변화가 발생할 때마다, 샘플링 프레임을 변경하게 되기 때문에, 샘플링 레이트가 가변하게 된다. 연속 프레임의 검출 정밀도가 나쁘고, 연속 프레임의 매수를 오검출한 경우(예를 들어, 입력 영상에는 변화점이 있지만, 검출 결과에는 변화점이 없다고 판정한 경우), 영상이 샘플링되지 않게 된다. 그 사이, 입력 영상이 출력 영상에 반영되지 않는 케이스도 발생할 수 있다.
또한, 프레임 보간 장치에 입력되는 영상에는 원세그 방송의 영상뿐만 아니라, 원세그 디코더에 의해, 시계 표시의 OSD(On Screen Display)나 터치 패널 형식의 OSD 메뉴 등이 중첩되어 오는 경우도 있다. 프레임의 연속수를 카운트한 결과, 그 OSD의 영향에 의해, 예를 들어, 연속 매수가 1매, 2매, 3매로 판정되는 케이스도 발생할 수 있다. 이 경우에서 샘플링 레이트 가변으로 샘플링 포인트를 어긋나게 하면, 파이프라인 처리되어 있는 프레임 보간의 연산 처리에서, 대역폭이 큰 처리가 겹치는 케이스가 발생하고, SDRAM(Synchronous Dynamic Random Access Memory)의 대역폭의 피크가 상승하게 될 가능성도 있다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 그 목적은 프레임 보간을 행할 때에 발생할 수 있는 영상 품질의 저하를 억제하는 기술을 제공하는 것에 있다.
본 발명의 한 형태의 프레임 보간 장치는, 동화상의 각 프레임의 후속으로 n(n은 자연수)매의 카피 프레임을 추가하고, 프레임수를 증가시켜서 출력하는 화상 생성 장치로부터 동화상의 공급을 받는 프레임 보간 장치이며, 동화상으로부터 (n+1)매에 1매의 주기로 프레임을 샘플링하는 프레임 취득부와, 프레임 취득부에 의해 샘플링된 프레임 간의 보간 프레임을 생성하는 보간 프레임 생성부와, 동화상이 연속되는 프레임의 동일성을 판정하는 동일성 판정부와, 동일성 판정부에 의해 동일하다고 판정된 프레임이 (n+1)매보다 적게 또는 많게 연속되고, 또한 일정한 조건을 만족시킬 때, 주기를 고정한 채, 그 샘플링 포인트를 이동시키는 샘플링 포인트 변경부를 구비한다.
본 발명의 다른 형태는 표시 장치이다. 이 장치는, 상술한 프레임 보간 장치와, 프레임 보간 장치에 의해 배속 변환된 동화상을 표시하는 표시부를 구비한다.
본 발명에 따르면, 프레임 보간을 행할 때에 발생할 수 있는 영상 품질의 저하를 억제할 수 있다.
도 1은 실시 형태에 관한 표시 장치의 기능 구성을 나타내는 도면.
도 2는 본 발명의 실시 형태에 관한 프레임 보간 장치의 구성을 나타내는 도면.
도 3은 보간 프레임의 생성 원리(2배속 변환)를 도시한 도면.
도 4는 실시 형태에 관한 프레임 보간 장치의 기본 동작을 나타내는 타이밍 차트.
도 5는 본 실시 형태에 관한 3매 연속 및/또는 5매 연속 입력 대책을 구비하는 제어부의 구성을 나타내는 도면.
도 6은 실시 형태에 관한 프레임 보간 장치의 5매 연속 입력 대책이 실시된 동작예를 나타내는 타이밍 차트.
도 7은 실시 형태에 관한 프레임 보간 장치의 3매 연속 입력 대책이 실시된 동작예를 나타내는 타이밍 차트.
도 8의 (a) 내지 (d)는 화상 생성 장치로부터 공급을 받는 동화상에 3매 연속 입력, 4매 연속 입력 및 5매 연속 입력이 주기적으로 포함되는 예를 나타내는 도면으로, 5매 연속 입력 대책 전의 도면.
도 9의 (a) 내지 (d)는 화상 생성 장치로부터 공급을 받는 동화상에, 3매 연속 입력, 4매 연속 입력 및 5매 연속 입력이 주기적으로 포함되는 예를 나타내는 도면으로, 5매 연속 입력 대책 후의 도면.
도 10은 실시 형태에 관한 화상 생성 장치가 생성한 OSD 영역을 포함하는 프레임을 도시하는 도면.
도 1은, 실시 형태에 관한 표시 장치(500)의 기능 구성을 나타내는 도면이다. 표시 장치(500)는, 원세그 방송 등의 텔레비전 방송을 수신하고, 표시 재생하는 기능을 탑재한 기기이다. 예를 들어, 원세그 방송의 수신 재생 전용기이어도 좋고, 그 기능을 탑재한 휴대전화기, 스마트 폰, 휴대형 음악 플레이어, 전자 사전, 카 내비게이션 장치 등이어도 좋다. 표시 장치(500)는, 텔레비전 방송을 수신하는 것에 한정되지 않고, 동화상을 표시 재생하는 기기이어도 좋다.
표시 장치(500)는, 안테나(200), 화상 생성 장치(300), 프레임 보간 장치(100) 및 표시부(400)를 구비한다. 화상 생성 장치(300)는, 수신한 신호를 복호(復號)해서 동화상을 출력한다. 그 때, 수신한 신호를 복호해서 얻어지는 동화상의 각 프레임의 후속으로 n(n은 자연수)매의 카피 프레임을 추가하고, 프레임수를 증가시켜서 출력한다. 원세그 방송을 수신하는 예에서는, 각 프레임의 후속으로 3매의 카피 프레임을 추가하고, 프레임수를 4배로 증가시킨다.
화상 생성 장치(300)는 수신부(310), 복호부(320), 복사부(330), 중첩부(340) 및 제어부(350)를 포함한다. 수신부(310)는, 안테나(200)를 통해서 원세그 방송을 수신하고, 선택된 채널의 신호를 복조(復調)해서, 복호부(320)로 출력한다. 복호부(320)는 수신부(310)로부터 입력되는 부호화 데이터를 복호한다. 원세그 방송 화상의 부호화에는 AVC/H.264 규격이 채용되어 있다. 복호부(320)는 복호한 프레임을 복사부(330)에 출력한다.
복사부(330)는, 복호부(320)로부터 입력되는 프레임을 단순히 복사하여, 중첩부(340)에 출력한다. 상술한 바와 같이 원세그 방송에서는, 15Hz로 영상이 송신되어 온다. 복사부(330)는 이 매초 15 프레임의 영상을 매초 60 프레임의 영상으로 변환한다. 이에 의해, 60Hz 구동의 표시부(표시 패널)(400)에 영상을 표시시킬 수 있다. 또한, 복호된 프레임이 중첩부(340)에 입력되기 전에, 실제로는 도시하지 않은 스케일러에 의한 해상도 변환이 실시되지만, 생략해서 그리고 있다.
중첩부(340)는, 복사부(330)로부터 수취하는 동화상의 화면에 OSD를 중첩한다. OSD는 문자(숫자를 포함함), 기호 등으로 표현되고, 예를 들어, 채널 정보, 음량 정보, 날짜 정보, 시간 정보, 전파 상황 정보, 전지 잔량 정보 등이 해당된다. 또한, 터치 패널 입력에 있어서의 조작 화면 등도 해당된다. 또한, 중첩부(340)는 OSD 영역을 화면 내에 복수 개소 설정해도 좋다. OSD는, 송신국이 아닌 수신기측에 의해 사후적으로 각 프레임에 부가되는 정보이다. 또한, OSD가 중첩 표시되는 화면 위치는 미리 정해져 있어, 화상 생성 장치(300)는 OSD의 종류에 따른 OSD 영역의 위치 정보를 유지한다.
제어부(350)는, OSD를 화면에 중첩하기 위해서, OSD를 중첩부(340)에 설정한다. 제어부(350)는, 수신부(310), 복호부(320) 및 복사부(330)의 동작 제어도 행한다.
프레임 보간 장치(100)는, 화상 생성 장치(300)로부터 동화상의 공급을 받는다. 프레임 보간 장치(100)는, 수취한 동화상을 배속 변환해서 영상 품질을 향상시킨다. 이하, 본 명세서에서는 2배속 변환하는 예를 설명한다. 표시부(400)는, 프레임 보간 장치(100)에 의해 배속 변환된 동화상을 표시한다.
도 2는, 본 발명의 실시 형태에 관한 프레임 보간 장치(100)의 구성을 나타내는 도면이다. 상기 프레임 보간 장치(100)는, 기억부(10), 프레임 취득부(20), 보간 프레임 생성부(30), 프레임 출력부(40) 및 제어부(50)를 구비한다. 프레임 취득부(20), 보간 프레임 생성부(30) 및 프레임 출력부(40)는, 병렬적으로 동작함으로써 파이프라인 처리를 실행한다.
기억부(10)는 SDRAM으로 구성하는 것이 가능하다. 또한, 기억부(10)는 프레임 보간 장치(100)의 외부에 설치되어도 좋다. 프레임 취득부(20), 보간 프레임 생성부(30) 및 프레임 출력부(40)의 각각은, 각종 연산기나 레지스터를 조합한 로직 회로로 구성하는 것이 가능하다. 상기 로직 회로는, SRAM(Static Random Access Memory) 등으로 구축된 워크 영역을 포함한다. 제어부(50)는, 로직 회로 또는 DSP(Digital Signal Processor)로 구성하는 것이 가능하다.
기억부(10)는, 프레임을 일시 기억한다. 보다 구체적으로는, 외부로부터 입력되는 원 프레임 및 보간 프레임 생성부(30)에 의해 생성되는 보간 프레임을 기억한다. 또한, 기억부(10)는, 보간 프레임 생성의 연산 도중에 발생하는 중간적인 데이터(예를 들어, 움직임 벡터)도 기억한다.
프레임 취득부(20)는, 외부로부터 입력되는 동화상을 구성하는 프레임을 기억부(10)에 기입한다. 보다 구체적으로는, 프레임 취득부(20)는, 화상 생성 장치(300)로부터 입력되는 동화상으로부터 (n+1)매에 1매의 주기(본 실시 형태에서는 4매에 1매의 주기)로 프레임을 샘플링한다.
본 실시 형태에서는, 프레임 취득부(20)에 입력되는 프레임 데이터는 삼원색(R, G, B) 신호로 규정되어 있는 것을 전제로 한다. 프레임 취득부(20)는, RGB/YC 변환 회로(21)를 포함한다. RGB/YC 변환 회로(21)는, 입력되는 삼원색(R, G, B) 신호를 휘도(Y) 신호 및 색차(Cb, Cr) 신호로 변환하여 기억부(10)에 기입한다. 그 때, 데이터량을 압축할 수 있다. 예를 들어, 4:4:4의 삼원색(R, G, B) 신호를 4:2:2의 휘도(Y) 신호 및 색차(Cb, Cr) 신호로 변환해도 좋다.
이하, 휘도(Y) 신호를 단순히 Y 신호라고 표기하고, 둘의 색차(Cb, Cr) 신호를 통합하여 C 신호라고 표기한다. 또한, 원 프레임의 Y 신호 및 C 신호를 각각 원 Y 신호 및 원 C 신호라고 표기하고, 보간 프레임의 Y 신호 및 C 신호를 각각 보간 Y 신호 및 보간 C 신호라고 표기한다.
본 실시 형태에서는, RGB/YC 변환 회로(21)는, 블록 매칭용 Y 신호를 생성하여 기억부(10)에 기입한다. 예를 들어, 1화소 미만의 화소 정밀도(예를 들어, 1/2화소 정밀도, 1/4화소 정밀도)의 신호를 보간한, 해상도가 증대된 Y 신호를 생성한다. 이 Y 신호를 이용하면, 1화소 미만의 화소 정밀도에서의 움직임 보상이 가능하게 되어, 보다 정밀도가 높은 움직임 벡터의 검출이 가능하게 된다. 또한, 1화소 미만의 화소 정밀도의 신호는, 6 탭 FIR 필터 등을 이용한 필터 처리에 의해 생성할 수 있다.
보간 프레임 생성부(30)는, 프레임 취득부(20)에 의해 샘플링된 프레임 간의 보간 프레임을 생성한다. 보다 구체적으로는, 보간 프레임 생성부(30)는, 기억부(10)로부터 복수의 원 프레임을 판독하고, 그들 프레임 간의 보간 프레임을 생성하여 기억부(10)에 기입한다. 본 실시 형태에서는, 보간 프레임 생성부(30)는 기억부(10)로부터 2매의 원 프레임을 판독하고, 그들 원 프레임 간의 보간 프레임을 생성하여, 그 보간 프레임을 기억부(10)에 기입한다. 보간 프레임 생성부(30)는, 움직임 벡터 검출부(31) 및 보간 프레임 산출부(35)를 포함한다.
움직임 벡터 검출부(31)는, 2매의 원 프레임간에서, 블록 단위 또는 화소 단위의 움직임 벡터를 검출한다. 본 실시 형태에서는, 화소 단위의 움직임 벡터를 2단계의 블록 매칭에 의해 검출한다.
움직임 벡터 검출부(31)는, 제1 블록 매칭 회로(32) 및 제2 블록 매칭 회로(33)를 포함한다. 제1 블록 매칭 회로(32)는, 기억부(10)로부터 상기 2매의 원 프레임으로 해야 하는 현 프레임의 블록 매칭용 Y 신호와, 그 전 프레임의 블록 매칭용 Y 신호를 판독한다. 제1 블록 매칭 회로(32)는, 전 프레임을 복수의 블록(예를 들어, 8×8 또는 16×16의 매크로 블록)으로 분할하고, 현 프레임 내에 있어서, 상기 각 블록과 일치 또는 오차가 최소인 블록을 탐색한다.
예를 들어, 전 프레임 내의 대상 블록과 현 프레임 내의 후보 블록간에서, 양자에 포함되는, 대응하는 위치의 화소의 차분 절대값 합 또는 차분 제곱 합을 구하고, 그 값이 가장 작은 후보 블록을 현 프레임 내의 최적 예측 블록으로 한다. 또한, 전 프레임 내의 대상 블록과 현 프레임 내의 후보 블록간에서, 양자에 포함되는, 대응하는 위치의 화소가 실질적으로 일치한 수가 가장 많은 후보 블록을 현 프레임 내의 최적 예측 블록으로 해도 좋다.
제1 블록 매칭 회로(32)는, 전 프레임 내의 각 블록과, 현 프레임 내의 각 최적 예측 블록의 움직임 벡터를 산출한다. 이에 의해, 블록 단위의 움직임 벡터를 검출할 수 있다. 제1 블록 매칭 회로(32)는, 이들 연산 결과를 중간 데이터로 하여 기억부(10)에 기입한다.
제2 블록 매칭 회로(33)는, 제1 블록 매칭 회로(32)에 의해 기입된 중간 데이터를 기억부(10)로부터 판독하고, 전 프레임 내의 각 블록과, 현 프레임 내의 각최적 예측 블록간에서, 화소값이 실질적으로 일치하지 않은 화소의 움직임 벡터를 구한다. 예를 들어, 상술한 방법과 동일한 방법을 이용하여, 전 프레임 내의 각 블록 내의 화소값이 실질적으로 일치하지 않은 화소의 영역과 일치 또는 오차가 최소인 영역을 현 프레임 내에 있어서 탐색한다. 이에 의해, 전 프레임과 현 프레임 사이에서, 화소 단위의 움직임 벡터를 검출할 수 있다. 제2 블록 매칭 회로(33)는, 화소 단위의 움직임 벡터를 기억부(10)에 기입한다.
보간 프레임 산출부(35)는, 보간 프레임 내의 각 화소를 통과하는 상기 움직임 벡터를 각각 특정하고, 그 움직임 벡터의 시작점 및 종료점에 대응하는, 전 프레임 내의 화소 및 현 프레임 내의 화소를 합성함으로써, 상기 보간 프레임 내의 각 화소를 생성한다. 이하, 도 3을 참조하면서 보간 프레임 내의 화소의 생성 방법에 대해서 설명한다.
도 3은, 보간 프레임의 생성 원리(2배속 변환)를 도시하는 도면이다. 2배속 변환에서는, 제1 원 프레임 Fo1과 제2 원 프레임 Fo2 사이에, 1매의 보간 프레임 Fi를 삽입할 필요가 있다. 보간 프레임 Fi는, 제1 원 프레임 Fo1과 제2 원 프레임 Fo2의 시간 간격을 이등분한 시간 위치에 삽입된다.
보간 프레임 Fi의 화소 Pi는, 그 화소 Pi를 통과하는 움직임 벡터 mv의 시작점 및 종료점에 대응하는, 제1 원 프레임 Fo1의 화소 Po1 및 제2 원 프레임 Fo2의 화소 Po2를 합성함으로써 생성된다. 예를 들어, 양자의 화소값을 평균하여 보간 프레임 Fi의 화소 Pi의 화소값을 산출해도 좋다.
여기서, 보간 프레임 Fi의 화소 Pi를 통과하는 움직임 벡터 mv를 항상 정확하게 구할 수 있으면, 그 움직임 벡터 mv의 시작점에 대응하는 제1 원 프레임 Fo1의 화소 Po1을, 그대로 보간 프레임 Fi의 화소 Pi에 할당해도 좋다. 그러나, 움직임 벡터 mv가 오검출된 경우, 한쪽의 화소 Po1만 참조하기 때문에, 큰 노이즈가 발생하기 쉬워진다. 따라서, 본 실시 형태에서는, 제1 원 프레임 Fo1의 화소 Po1 및 제2 원 프레임 Fo2의 화소 Po2의 양쪽을 참조한다.
또한, 보간 프레임 Fi의 대상 화소를 통과하는 움직임 벡터가 존재하지 않는 경우, 예를 들어, 다음과 같이 처리한다. 즉, 보간 프레임 Fi 내의 주변 화소로부터 공간적으로 보간한 화소를 상기 대상 화소에 할당하거나, 보간 프레임 Fi의 대상 화소와 동일한 위치의, 제1 원 프레임 Fo1의 화소 및 제2 원 프레임 Fo2의 화소를 합성한 화소를 상기 대상 화소에 할당한다.
도 2로 되돌아와서, 보간 프레임 산출부(35)는, 기억부(10)로부터, 전 프레임의 원 Y 신호 및 원 C 신호, 현 프레임의 원 Y 신호 및 원 C 신호 및 전 프레임과 현 프레임의 움직임 벡터를 판독한다. 보간 프레임 산출부(35)는, 상술한 방법을 이용하여 보간 프레임을 생성하여, 그 보간 Y 신호 및 보간 C 신호를 기억부(10)에 기입한다.
프레임 출력부(40)는, 기억부(10)로부터, 원 프레임 및 보간 프레임을 판독하고, 표시 순서를 따라서 외부[본 실시 형태에서는, 표시부(400)]에 출력한다. 프레임 출력부(40)는 YC/RGB 변환 회로(41)를 포함한다. YC/RGB 변환 회로(41)는, 기억부(10)로부터 보간 Y 신호 및 보간 C 신호를 판독하고, 삼원색(R, G, B) 신호로 변환하여, 보간 프레임으로서 외부에 출력한다. 또한, YC/RGB 변환 회로(41)는 기억부(10)로부터 원 Y 신호 및 원 C 신호를 판독하고, 삼원색(R, G, B) 신호로 변환하여, 원 프레임으로서 외부에 출력한다.
제어부(50)는, 프레임 보간 장치(100) 전체를 통괄적으로 제어한다. 제어부(50)의 본 실시 형태에 관한 상세한 구성 및 동작은 후술한다.
이하, 실시 형태에 관한 프레임 보간 장치(100)의 기본 동작을 설명한다. 프레임 취득부(20), 보간 프레임 생성부(30) 및 프레임 출력부(40)는, 프레임 취득부(20)에 처리 대상으로 해야 하는 프레임이 입력되는 주기보다 짧은 주기로 동작한다. 여기서, 처리 대상으로 해야 하는 프레임이란, 파기되지 않고, 표시용 및 보간 프레임 생성의 참조용으로 실제로 사용되는 프레임을 가리킨다. 이하, 프레임 취득부(20)에 15Hz의 주기로 프레임이 입력되고, 프레임 취득부(20), 제1 블록 매칭 회로(32), 제2 블록 매칭 회로(33), 보간 프레임 산출부(35) 및 프레임 출력부(40)가 각각 60Hz의 주기로 동작하는 예를 설명한다.
본 실시 형태에서는, 프레임 취득부(20)에 의한 기억부(10)에의 원 프레임의 기입 타이밍과, 보간 프레임 생성부(30)에 의한 기억부(10)에의 보간 프레임의 기입 타이밍이 어긋나도록, 프레임 취득부(20) 및 보간 프레임 생성부(30)의 동작 타이밍이 설정된다. 이하, 도 4를 참조하여, 프레임 취득부(20), 보간 프레임 생성부(30) 및 프레임 출력부(40)의 구체적인 동작 타이밍에 대해서 설명한다.
보간 프레임 생성부(30)는, 대상 프레임이 프레임 취득부(20)에 입력되어 기억부(10)에 기입되는 상기 대상 프레임의 입력 기간의 종료로부터, 다음 프레임의 입력 기간의 개시까지의 사이에, 보간 프레임 생성 처리를 종료한다. 상기 보간 프레임 생성 처리란, 상기 대상 프레임을 적어도 기억부(10)로부터 판독하고, 그 대상 프레임을 적어도 참조하여 보간 프레임을 생성하고, 및 그것을 기억부(10)에 기입하는 처리이다. 상기 보간 프레임은, 상기 대상 프레임보다 전에 삽입되어야 하는 보간 프레임이다. 보간 프레임 생성부(30)는, 상기 대상 프레임과 그 1개 전의 프레임을 참조하여 상기 보간 프레임을 생성해도 좋고, 상기 대상 프레임과 그 2개 이상 전의 프레임을 참조하여 상기 보간 프레임을 생성해도 좋고, 상기 대상 프레임과 그보다 전의 복수의 프레임을 참조하여 상기 보간 프레임을 생성해도 좋다.
도 4는, 실시 형태에 관한 프레임 보간 장치(100)의 기본 동작을 나타내는 타이밍 차트이다. 여기에서는, 원세그 방송에 의해 15Hz의 주파수로 수신되는 프레임이, 화상 생성 장치(300)의 복사부(330)에 의한 단순한 복사 처리에 의해 프레임수가 4배로 증가된 후, 그 증가된 프레임이 프레임 보간 장치(100)에 입력되는 예를 나타내고 있다.
도 4에서는, 동일한 프레임 A가 4매 계속해서 입력되고, 그 다음에 동일한 프레임 B가 4매 계속해서 입력되고, 그 다음에 동일한 프레임 C가 4매 계속해서 입력된다. 이하, 프레임 D, 프레임 E, …로 계속된다. 보간 프레임 생성부(30)는, 프레임 A와 프레임 B, 프레임 B와 프레임 C, 프레임 C와 프레임 D, …의 각각의 사이에서 1매의 보간 프레임을 생성한다. 이에 의해, 입력되는 동화상을 2배속 변환한다.
프레임 취득부(20)는, 4매 계속해서 입력되는 동일한 프레임 중, 1매를 남기고 3매을 파기한다. 여기에서는, 최초의 1매의 프레임을 입력 처리하고, 나머지 3매를 파기한다.
보간 프레임 생성부(30)는, 대상 프레임 (A)가 프레임 취득부(20)에 입력되어 기억부(10)에 기입되는 대상 프레임 (A)의 입력 기간[원 F 입력 (A)]의 종료로부터, 다음 프레임 (B)의 입력 기간[원 F 입력 (B)]의 개시까지의 사이에, 기억부(10)로부터 대상 프레임 (A)와 그 전 프레임 (x)를 판독하여 양쪽 프레임 간의 보간 프레임 (xA)를 생성하고, 및 그것을 기억부(10)에 기입하는 처리를 종료한다. 즉, 제1 블록 매칭 회로(32)에 의한 제1 매칭 기간[BM1 (xA)], 제2 블록 매칭 회로(33)에 의한 제2 매칭 기간[BM2 (xA)] 및 보간 프레임 산출부(35)에 의한 산출 기간[보간 F 산출 (xA)]이, 대상 프레임 (A)의 입력 기간[원 F 입력 (A)]의 종료로부터 다음 프레임 (B)의 입력 기간[원 F 입력 (B)]의 개시까지의 사이에 들어가도록 설정된다.
프레임 출력부(40)는, 다음 프레임 (B)의 입력 기간[원 F 입력 (B)]의 개시로부터, 또한 그 다음 프레임 (C)의 입력 기간[원 F 입력 (C)]의 개시까지의 사이에, 보간 프레임 (xA) 및 대상 프레임 (A)의 순서대로 기억부(10)로부터 판독하여 외부에 출력한다. 여기에서는, 먼저, 동일한 보간 프레임 (xA)를 2매 출력하고, 후에, 동일한 대상 프레임 (A)를 2매 출력한다.
프레임 출력부(40)에 의한 보간 프레임 (xA) 및 대상 프레임 (A)의 출력 기간[보간 F 출력 (xA), 보간 F 출력 (xA), 원 F 출력 (A), 원 F 출력 (A)]과 병행하여, 프레임 취득부(20)에 의한 다음 프레임 (B)의 입력 기간[원 F 입력 (B)], 제1 블록 매칭 회로(32)에 의한 제1 매칭 기간[BM1 (AB)], 제2 블록 매칭 회로(33)에 의한 제2 매칭 기간[BM2 (AB)] 및 보간 프레임 산출부(35)에 의한 산출 기간[보간 F 산출 (AB)]이 설정된다. 이에 의해, 파이프라인 처리를 실현하고 있다. 이하, 후속되는 프레임 C, D, E, …에 대해서도 동일하게 처리된다.
상기 동작예에 의하면, 보간 프레임을 생성해서 원 프레임간에 삽입하는 처리를 하드웨어 처리에서 실현하는 경우에서, 리얼 타임성을 확보하면서, 메모리의 부하를 경감시킬 수 있다. 즉, 프레임 취득부(20), 보간 프레임 생성부(30) 및 프레임 출력부(40)를 병렬적으로 동작시켜, 파이프라인 처리함으로써, 리얼 타임성을 확보할 수 있다.
또한, 프레임 취득부(20)로부터 기억부(10)에의 원 프레임의 기입 타이밍과, 보간 프레임 생성부(30)로부터 기억부(10)에의 보간 프레임의 기입 타이밍이 어긋나도록, 프레임 취득부(20) 및 보간 프레임 생성부(30)의 동작 타이밍을 설정함으로써, 기억부(10)에 걸리는 최대 부하를 저감시킬 수 있다.
보다 구체적으로는, 프레임 취득부(20)에 의한 입력 기간(원 F 입력) 및 보간 프레임 산출부(35)에 의한 산출 기간(보간 F 산출)에서는, 기억부(10)에 액세스되는 데이터량이 많아진다. 즉, 프레임 취득부(20)로부터 기억부(10)에의 원 프레임의 기입은, Y 신호와 C 신호의 양쪽을 기입할 필요가 있다. 또한, 보간 프레임 산출부(35)와 기억부(10) 사이에서는, 기억부(10)로부터 전 프레임과 현 프레임 각각의 Y 신호 및 C 신호, 및 전 프레임과 현 프레임의 움직임 벡터를, 보간 프레임 산출부(35)에 판독할 필요가 있다. 또한, 병행하여, 보간 프레임 산출부(35)로부터 보간 프레임의 Y 신호 및 C 신호를 기억부(10)에 기입할 필요가 있다.
이 점, 제1 블록 매칭 회로(32)에 의한 제1 매칭 기간(BM1) 및 제2 블록 매칭 회로(33)에 의한 제2 매칭 기간(BM2)에서는, 기억부(10)에 액세스되는 데이터량은 비교적 적다. 제1 블록 매칭 회로(32)와 기억부(10) 및 제2 블록 매칭 회로(33)와 기억부(10)의 각각의 사이에서 전송되는 신호는, Y 신호 또는 움직임 벡터이며, C 신호는 전송되지 않기 때문이다.
따라서, 프레임 취득부(20)에 의한 입력 기간(원 F 입력)과, 보간 프레임 산출부(35)에 의한 산출 기간(보간 F 산출)이 동 기간에 스케줄되지 않도록 설정함으로써, 기억부(10)에 액세스되는 데이터량의 증대를 억제할 수 있다. 도 4에 나타낸 동작예에서는, 상기 입력 기간(원 F 입력)과 상기 산출 기간(보간 F 산출)이 어긋나도록 설정하고 있다. 또한, 단위 동작 기간에 있어서, 프레임 취득부(20)에 의한 입력 처리, 보간 프레임 산출부(35)에 의한 산출 처리 및 프레임 출력부(40)에 의한 출력 처리가 모두 동시에 처리되지 않도록 설정하고 있다. 이에 의해, 프레임 취득부(20), 보간 프레임 산출부(35) 및 프레임 출력부(40) 전체에 걸리는 부하가 평준화된다.
여기까지, 화상 생성 장치(300)로부터 프레임 보간 장치(100)에, 이상적으로 동일한 프레임이 4매 연속해서 입력되는 예를 설명했다. 그러나, 현실적으로는 화상 생성 장치(300) 측에서 전파 간섭을 피하기 위하여 프레임 주파수를 의도적으로 60Hz로부터 어긋나게 하는 등의 요인에 의해, 화상 생성 장치(300)에서의 복호 주파수와, 화상 생성 장치(300)로부터 출력되는 영상의 프레임 주파수가 완전히 4배의 관계가 되지않는 케이스도 있다. 또한, 상술한 표시 장치(500)의 어플리케이션에 따라서는, 수신된 동화상을 소프트웨어 처리를 이용해서 복호하고 있는 어플리케이션도 있다. 그 어플리케이션에서는, 복호 처리와 그 이외의 부하가 큰 처리가 동시 처리되는 케이스도 발생하는 경우가 있고, 그 경우, 복호 처리가 지연될 가능성이 있다. 이와 같이, 이상적으로는 4매 연속해서 입력되어야 할 것이, 때때로 3매 연속 또는 5매 연속으로 입력되는 케이스가 발생할 수 있다.
도 5는, 본 실시 형태에 관한, 3매 연속 및/또는 5매 연속 입력 대책을 구비하는 제어부(50)의 구성을 나타내는 도면이다. 제어부(50)는, 동일성 판정부(52) 및 샘플링 포인트 변경부(54)를 구비한다.
동일성 판정부(52)는, 화상 생성 장치(300)로부터 입력되는 동화상이 연속되는 프레임의 동일성을 판정한다. 이 동일성 판정의 구체예는 후술한다.
샘플링 포인트 변경부(54)는, 동일성 판정부(52)에 의해 동일하다고 판정된 프레임이 (n+1)매(본 실시 형태에서는 4매)보다 적게 또는 많게 연속되고 있을 때(예를 들어, 3매 또는 5매), 상기 주기를 고정한 채, 그 샘플링 포인트를 적절하게 이동시킨다.
(5매 연속 입력)
이하, 화상 생성 장치(300)로부터 공급을 받는 동화상에 5매 연속 동일한 프레임이 포함되는 경우의 동작에 대해서 설명한다. 샘플링 포인트 변경부(54)는, 동일성 판정부(52)에 의해 동일하다고 판정된 프레임이 4매보다 많을 때(본 동작예에서는 5매일 때)이며, 그 프레임을 중복해서 샘플링할 때, 샘플링 포인트를 적어도 1 프레임, 시간적으로 지연시킨다.
도 6은, 실시 형태에 관한 프레임 보간 장치(100)의 5매 연속 입력 대책이 실시된 동작예를 나타내는 타이밍 차트이다. 도 6의 타이밍 차트는, 도 4의 타이밍 차트를 기초로 하고 있다. 이하, 주로 양자의 차이점에 대해서 설명한다. 또한, 입력 프레임 A1, A2, A3, A4는 모두 동일한 프레임이다. 「」는 화상 생성 장치(300)의 복사부(330)에 의해 복사된 카피 프레임인 것을 나타낸다. 숫자는 입력 순서를 나타낸다. 프레임 B 이후, 및 후술하는 도 7의 입력 프레임도 마찬가지이다.
또한, 도 6의 ○이 그려져 있는 입력 기간(원 F 입력)에서는 원 프레임의 샘플링이 실행되고, 또한 그 원 프레임이 움직임 벡터의 산출 및 보간 프레임의 생성, 및 표시부(400)에의 출력에 사용되는 원 프레임인 것을 나타낸다. △이 그려져 있는 입력 기간(원 F 입력)에서는 원 프레임의 샘플링이 실행되지만, 그 원 프레임이, 그 다음 ○이 그려져 있는 입력 기간(원 F 입력)에 샘플링되는 원 프레임에 의해 덮어 쓰여지는 원 프레임인 것을 나타낸다.
도 6에서, 프레임 B가 5매 연속으로 입력된다. 본 동작예에서는, 동일성 판정부(52)는 동일한 프레임이 5매 연속하는지를 검출하고, 또한 5매째의 프레임이 샘플링 포인트의 프레임일 때에, 다음 프레임 기간에서 플래그(이하, 중복 플래그라고 함)가 세트된다. 샘플링 포인트 변경부(54)는 이 중복 플래그가 세트되면, 그 기간에 샘플링 포인트를 이동시킨다. 원칙적으로 샘플링 주기는 고정이지만, 이 중복 플래그가 세트되었을 때는 예외적으로 샘플링 주기를 변경한다.
프레임 취득부(20)는 프레임 B1을 샘플링한 후, 그 4매 뒤의 프레임 B5를 샘플링하지만, 어느 쪽도 프레임 B이다. 연속 프레임의 5매째가 완료된 시점에서, 동일한 프레임(여기서는 프레임 B)이 적어도 5매 연속된 것을 판단할 수 있기 때문에, 이것을 조건으로 해서 다음 프레임 C1이 중복 플래그의 후보가 된다. 또한,이 프레임 C1 전의 프레임이, 원 프레임 입력 기간(원 F 입력)의 샘플링 프레임에 위치하므로, 5매 연속된 프레임 B가 2회 연속해서 샘플링되게 된다. 이것을 조건으로 해서 최종적으로 프레임 C1의 위치에 상기 중복 플래그가 세트된다. 프레임 취득부(20)는, 상기 중복 플래그가 세트되면 4매 샘플링 주기에 관계없이, 그 기간의 프레임을 샘플링한다. 여기에서는, 프레임 C1을 샘플링한다. 이하, 이 샘플링 포인트를 개시 기준으로, 4매 샘플링 주기가 재개된다.
이와 같이, 프레임 취득부(20)가 2회 연속해서 동일한 프레임을 샘플링한 경우, 뒤에 샘플링된 기간의 처리는, 실질적으로 무효인 것으로서 처리된다. 보다 구체적으로는 그 기간에 샘플링된 프레임 B5는 파기된다. 프레임 출력부(40)는 그 기간에 프레임 A와 프레임 B의 보간 프레임 AB를 외부 출력하지만, 이 외부 출력은 유효한 출력으로 카운트되지 않는다. 즉, 그 기간 후, 2매 계속해서 보간 프레임 AB가 외부 출력된다. 사용자는 1 프레임 분 많게 보간 프레임 AB를 보게 되지만, 시인성에 거의 영향은 없다.
동일한 프레임을 5매 연속 검출해도, 샘플링 포인트가 중복 플래그가 세트되는 프레임 전의 프레임에 없는 경우, 상기 중복 플래그는 세트되지 않는다. 이 경우, 샘플링 포인트의 변경은 행해지지 않고, 샘플링 주기는 그 이전부터의 반복 타이밍이 유지된다.
(3매 연속 입력)
이하, 화상 생성 장치(300)로부터 공급을 받는 동화상에 3매 연속 동일한 프레임이 포함되는 경우의 동작에 대해서 설명한다. 샘플링 포인트 변경부(54)는, 동일성 판정부(52)에 의해 동일하다고 판정된 프레임이 4매보다 적을 때(본 동작예에서는 3매일 때)이며, 그 프레임을 1주기 내에 샘플링할 수 없을 때, 샘플링 포인트를 적어도 1 프레임, 시간적으로 선행시킨다. 그 때, 샘플링 포인트 변경부(54)는, 프레임 취득부(20)에 의한 기억부(10)에의 원 프레임의 기입 타이밍과, 보간 프레임 생성부(30)에 의한 기억부(10)에의 보간 프레임의 기입 타이밍이 어긋나도록, 샘플링 포인트를 시간적으로 선행시키는 것이 바람직하다.
도 7은, 실시 형태에 관한 프레임 보간 장치(100)의, 3매 연속 입력 대책이 실시된 동작예를 나타내는 타이밍 차트이다. 도 7의 타이밍 차트는, 도 4의 타이밍 차트를 기초로 하고 있다. 이하, 주로 양자의 차이점에 대해서 설명한다. 도 4의 타이밍 차트에서는 4매 연속해서 입력되는 프레임 중, 최초의 프레임을 샘플링했지만, 도 7의 타이밍 차트에서는 4매째의 프레임을 샘플링한 예로 설명한다. 또한, 일시 프레임으로서 2매째의 프레임을 사전에 샘플링한다. 보다 구체적으로는, 제2 블록 매칭 회로(33)에 의한 제2 매칭 처리와 병행하고, 프레임 취득부(20)는 일시 프레임을 샘플링하고, 그 일시 프레임을 기억부(10) 또는 별도의 일시 기억부에 입력한다. 즉, 제2 매칭 기간(BM2)과 원 프레임(일시 프레임)의 입력 기간(원 F 입력)이 동일한 타이밍으로 설정된다.
또한, 도 7 의 ○이 그려져 있는 입력 기간(원 F 입력), 및 △이 그려져 있는 입력 기간(원 F 입력)은, 도 6의 그와 동일한 의미의 입력 기간(원 F 입력)을 가리킨다. ×가 그려져 있는 입력 기간(원 F 입력)에서는 샘플링이 실행되지 않는다.
도 7에서, 프레임 C가 3매 연속으로 입력된다. 본 동작예에서는, 동일성 판정부(52)는 동일한 프레임이 3매 연속되고, 그 다음 프레임이 별도의 프레임으로 변화하고 있는 것을 검출하고, 또한 3매 연속 후의 다음 프레임이 샘플링 포인트의 프레임일 때, 다음 프레임의 기간에서 플래그(이하, 누락 플래그라고 함)를 세트한다. 샘플링 포인트 변경부(54)는 이 누락 플래그가 세트되면, 누락 플래그가 세트된 다음 프레임의 기간에 샘플링 포인트를 이동시킨다. 도 7의 타이밍 차트에서는, 샘플링 포인트를 2 프레임, 시간적으로 선행시킨다.
프레임 취득부(20)는, 프레임 B4를 샘플링한 후, 그 4매 후의 프레임 D1을 샘플링한다. 프레임 C가 3매만 연속되고 있기 때문이다. 동일성 판정부(52)는 동일 프레임이 3매 계속되고, 그 다음에 별도의 프레임의 입력이 완료된 시점에서, 연속 프레임이 3매로 완료된 것을 판단할 수 있기 때문에, 이것을 조건으로 해서 다음 프레임 D2가 누락 플래그의 후보가 된다. 또한, 이 프레임 D2 전의 프레임 D1이 원 프레임 입력 기간(원 F 입력)의 샘플링 프레임에 위치하므로, 3매 연속된 프레임 C는 한번도 샘플링되지 않게 된다. 이것을 조건으로 해서 최종적으로 프레임 D2의 위치에 상기 누락 플래그가 세트된다. 프레임 취득부(20)는 상기 누락 플래그가 세트되면, 4매 샘플링 주기에 관계없이, 그 기간의 다음 프레임 D3을 샘플링하지만, 일시 프레임으로서의 프레임 D3의 샘플링은 실행하지 않는다. 이하, 이 샘플링 포인트를 개시 기준으로, 4매 샘플링 주기가 재개된다.
제1 블록 매칭 회로(32)는 상기 누락 플래그가 세트되면, 그 직전에 샘플링된 프레임을 이용하지 않고, 일시 프레임을 이용해서 제1 매칭 처리를 행한다. 여기에서는, 직전에 샘플링된 프레임 D1을 사용하지 않고, 그 2단위 기간 전에 샘플링된 일시 프레임 C2를 사용하여, 프레임 B와 프레임 C 사이의 제1 매칭 처리를 행한다. 게다가 후속되는, 제2 블록 매칭 회로(33)에 의한 제2 매칭 처리도 프레임 B와 프레임 C 사이에서 실행되고, 보간 프레임 산출부(35)에 의한 보간 프레임 산출 처리도 프레임 B와 프레임 C 사이에서 실행된다. 게다가 후속되는 프레임 출력부(40)에 의한 출력 처리는 통상과 상이하고, 프레임 B와 프레임 C 사이의 보간 프레임 BC와, 원 프레임 C를 1매씩 외부 출력한다. 사용자는 보간 프레임 BC와 원 프레임 C를 1 프레임 분 적게 보게 되지만, 시인성에 거의 영향은 없다.
동일한 프레임을 3매 연속하고, 그 다음 프레임이 별도의 프레임으로 변화하고 있는 것을 검출해도, 샘플링 포인트가 누락 플래그가 세트되는 프레임 전의 프레임에 없는 경우, 상기 중복 플래그는 세트되지 않는다. 이 경우, 샘플링 포인트의 변경은 행해지지 않고, 샘플링 주기는 그 전부터의 반복 타이밍이 유지된다.
도 7의 타이밍 차트에서는, 프레임 취득부(20)에 의한 기억부(10)에의 원 프레임의 기입 타이밍과, 보간 프레임 생성부(30)에 의한 기억부(10)에의 보간 프레임의 기입 타이밍이 중복되지 않는다. 이와 같이, 도 7의 타이밍 차트에서는 리얼타임성을 확보하면서, 기억부(10)의 부하 증대를 억제하면서, 3매 연속 입력 대책이 실시되어 있다.
(3매 연속 입력 및 5매 연속 입력의 혼재)
도 8의 (a) 내지 (d)는, 화상 생성 장치(300)로부터 공급을 받는 동화상에, 3매 연속 입력, 4매 연속 입력 및 5매 연속 입력이 주기적으로 포함되는 예를 나타내는 도면에서, 5매 연속 입력 대책 전의 도면이다. 도 8의 (a) 내지 (d)의 각각에 있어서, 상단은 프레임 보간 장치(100)에의 입력 프레임을 나타내고, 하단은 프레임 보간 장치(100)로부터의 출력 프레임을 나타낸다. 하단의 소문자 2문자의 블록은 보간 프레임인 것을 나타낸다. 세로 점선의 우측의 블록이 샘플링 포인트를 나타낸다.
도 8의 (a)에서, 프레임 X, Y, Z까지는 각각 4매씩 입력되지만, 프레임 A 이후는, 3매 연속, 4매 연속 및 5매 연속으로 주기적으로 입력된다. 이 주기적인 현상은, 화상 생성 장치(300)에의 전파 간섭이나, 화상 생성 장치(300)에 있어서의 부하 변동 등에 의해 발생하고, 관측되는 현상이다. 또한, 이 현상은 랜덤하게 발생한다. 도 8의 (d)에서는, 프레임 H 이후, 4매 연속 입력으로 되돌아왔다. 샘플링된 원 프레임은, 6 프레임 지연되어서 출력된다. 3매 연속 입력, 4매 연속 입력 및 5매 연속 입력이 주기적으로 발생하는 경우, 프레임 보간 장치(100)에 의한 2배속 변환은, 4매 연속 입력이 계속되는 경우와 동일한 정밀도로, 문제없이 실행된다.
도 8의 (b)는, 도 8의 (a)와 동일한 패턴으로 프레임이 입력되고, 샘플링 포인트가 1 프레임 지연된 경우를 나타내고 있다. 이 경우도, 프레임 보간 장치(100)에 의한 2배속 변환은, 4매 연속 입력이 계속되는 경우와 동일한 정밀도로 문제없이 실행된다. 도 8의 (c)는, 도 8의 (a)와 동일한 패턴으로 프레임이 입력되고, 샘플링 포인트가 2 프레임 지연된 경우를 나타내고 있다. 이 경우도, 프레임 보간 장치(100)에 의한 2배속 변환은, 4매 연속 입력이 계속되는 경우와 동일한 정밀도로 문제없이 실행된다.
도 8의 (d)는, 도 8의 (a)와 동일한 패턴으로 프레임이 입력되고, 샘플링 포인트가 3 프레임 지연된 경우를 나타내고 있다. 이 경우는, 3매 연속 입력된 프레임이 샘플링 포인트로부터 벗어나기 때문에, 그 프레임은 누락 프레임이 된다. 도 8의 (d)에서는, 프레임 A, D, G, J가 누락 프레임이 된다. 또한, 5매 연속 입력된 프레임이 2회 샘플링되기 때문에, 중복 프레임이 된다. 도 8의 (d)에서는, 프레임 C, F, I가 중복 프레임이 된다. 도 8의 (d)에서는, 프레임 보간 장치(100)에 의한 2배속 변환의 정밀도는 저하된다.
도 9의 (a) 내지 (d)는, 화상 생성 장치(300)로부터 공급을 받는 동화상에, 3매 연속 입력, 4매 연속 입력 및 5매 연속 입력이 주기적으로 포함되는 예를 나타내는 도면으로, 5매 연속 입력 대책 후의 도면이다. 도 9의 (a) 내지 (c)는, 도 8의 (a) 내지 (c)와 동일하다.
도 9의 (d)는, 최초로 발생하는 3매 연속 입력된 프레임 A의 누락은 방지할 수 없지만, 최초로 발생하는 5매 연속 입력된 프레임 C의 검출에 따라서, 샘플링 포인트(SP)를 1 프레임 지연시키고 있다. 이에 의해, 그 후는 누락도 중복도 발생하지 않는 것을 알 수 있다.
상술한 3매 연속 입력 대책도 실시하면, 최초로 발생하는 3매 연속 입력된 프레임 A의 누락도 방지할 수 있다. 그러나, 상술한 바와 같이 3매 연속 입력 대책에서는, 일시 프레임을 유지할 필요가 있고, 기억 용량을 증대시킬 필요가 있다. 이에 대해, 5매 연속 입력 대책에서는 그 필요가 없다. 따라서, 프레임 보간 장치(100)에 있어서, 3매 연속 입력보다 5매 연속 입력된 것이 대처하기 쉽다고 말할 수 있다.
(동일성 판정)
다음으로, 동일성 판정부(52)에 의한 프레임 간의 동일성 판정 처리에 대해서 설명한다. 동일성 판정부(52)는, 화상 생성 장치(300)로부터 입력되는 동화상의 각 프레임의 화소값의 합계값을 산출하여, 동일성을 판정한다. 화소값의 합계값이 일치 또는 소정의 설정값의 범위 내에 있는 경우, 동일한 프레임으로 판정한다. 이 화소값 산출의 기초로 해야 하는 프레임은, RGB/YC 변환 전의 프레임이어도 좋고, 그 변환 후의 프레임이어도 좋다. 또한, Y 신호만의 프레임이어도 좋다. 이 경우, 판정 정밀도는 저하되지만, 연산량을 저감할 수 있다.
또한, 화상 생성 장치(300)로부터 입력되는 프레임에 OSD가 중첩되어 있는 경우, 동일성 판정부(52)는, 각 프레임에 중첩된 OSD를 적어도 제외한 영역으로부터, 각 프레임의 화소값의 합계값을 산출한다.
도 10은, 실시 형태에 관한 화상 생성 장치(300)가 생성한 OSD 영역을 포함하는 프레임(60)을 나타낸다. 이 프레임(60)에는 OSD 영역(62)이 표시되어 있다.
OSD 영역(62)은, 종류에 따라서, 표시되는 위치 및 크기가 미리 설정되어 있다. 예를 들어, 음량 정보는 도 10에 도시한 바와 같이 프레임(60)의 하부에 표시되고, 채널 정보는 프레임의 좌측 상단부에 표시된다.
또한, 동일성 판정부(52)는 각 프레임에 중첩된 OSD를 적어도 제외한 영역에 있어서 취할 수 있는, 실질적으로 최대 직사각형 영역의 화소값의 합계값을 산출해도 좋다. 이 경우, 그 연산 회로의 하드웨어화가 용이해진다.
이상 설명한 바와 같이 본 실시 형태에 의하면, 4매 연속 입력이 붕괴되었을 때, 샘플링 레이트를 고정한 채, 샘플링 포인트를 이동시킴으로써, 프레임 보간을 행할 때에 발생할 수 있는 영상 품질의 저하를 억제할 수 있다.
이 점, 샘플링 레이트를 가변하는 구성에서는, 연속 매수를 오검출한 경우, 샘플링 자체가 정지하게 될 가능성이 있고, 입력 영상이 출력 영상에 반영되지 않을 가능성이 있다. 이 점, 본 실시 형태에 의하면, 연속 매수를 오검출한 경우에도, 영상 출력이 도중에 끊어질 일은 없고, 연속 매수가 정확하게 검출된 후는 정확한 프레임 보간이 재개되게 된다.
또한, 상술한 3매 연속 입력 대책에서는, 일시 프레임으로서 완충하는 프레임을 대역폭의 상승이 발생하지 않는 타이밍의 프레임으로 설정함으로써, 대역폭의 상승을 억제할 수 있다.
이상, 본 발명을 몇가지 실시 형태를 바탕으로 설명했다. 이 실시 형태는 예시이며, 그들 각 구성 요소나 각 처리 프로세스의 조합에 여러 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자가 이해할 수 있는 것이다.
상기 실시 형태에서는, 4매 연속 입력에 3매 연속 입력과 5매 연속 입력의 양쪽이 혼재하는 예를 나타냈지만, 이것에 한정되지 않는다. 단순한 4매 연속 입력과 5매 연속 입력의 조합, 혹은, 단순한 4매 연속 입력과 3매 연속 입력의 조합이면, 대응하는 연속 입력 대책만을 채용하면 된다.
구체적으로는, 화상 생성 장치(300)의 복사부(330)를, n매(본 동작예에서는 3매)의 카피 프레임을 생성하기 위한 동작 주파수보다 높은 주파수에서 동작하도록 설정한다. 예를 들어, 60Hz보다 높은 60.2Hz 등에서 동작하도록 설정한다. 프레임 보간 장치(100)는, n매의 카피 프레임을 생성하기 위한 동작 주파수보다 높은 주파수에서 동작하고 있는 화상 생성 장치(300)로부터 동화상의 공급을 받는다. 이에 의해, 4매 연속 입력과 5매 연속 입력의 조합의 입력 프레임을 받게 되고, 5매 연속 입력 대책만 채용함으로써, 회로 규모의 증대를 억제하면서, 배속 변환의 정밀도를 유지할 수 있다.
또한, 화상 생성 장치(300)의 복사부(330)를, n매(본 동작예에서는 3매)의 카피 프레임을 생성하기 위한 동작 주파수보다 낮은 주파수에서 동작하도록 설정한다. 예를 들어, 60Hz보다 낮은 59.8Hz 등에서 동작하도록 설정한다. 프레임 보간 장치(100)는, n매의 카피 프레임을 생성하기 위한 동작 주파수보다 낮은 주파수에서 동작하고 있는 화상 생성 장치(300)로부터 동화상의 공급을 받는다. 이에 의해, 3매 연속 입력과 4매 연속 입력의 조합의 입력 프레임을 받게 되고, 3매 연속 입력 대책만 채용함으로써, 배속 변환의 정밀도를 유지할 수 있다.
상술한 3매 연속 입력 대책에 있어서, 3매 연속 입력이 검출되었을 때, 샘플링 포인트를 2 프레임 진행시키는 처리를 설명했다. 대역폭의 상승을 감수할 수 있는 경우, 샘플링 포인트를 1 프레임 진행시키는 처리를 채용해도 좋다.
또한, 상기 실시 형태에서는, 2단계의 블록 매칭에 의해 화소 단위의 움직임 벡터를 검출하는 방법을 설명했지만, 1회의 블록 매칭에 의해 얻어지는 블록 단위의 움직임 벡터를 이용하여, 보간 프레임 내의 각 화소를 통과하는 움직임 벡터를 구해도 좋다. 또한, 블록 매칭이 아닌, 구배법을 이용해서 화소 단위의 움직임 벡터를 검출해도 좋다.
또한, 상기 실시 형태에서는, 화상 생성 장치(300)에 대하여 프레임 보간 장치(100)를 추가함으로써, 원세그 영상의 배속 변환을 실현하는 예를 나타냈지만, 화상 생성 장치(300) 내에, 복사부(330) 대신에 프레임 보간 장치(100)가 처음부터 탑재되어도 좋다.
또한, 상기 실시 형태에서는, 원세그 방송되는 동화상을 배속 변환하는 예를 설명했지만, 본 발명에 관한 프레임 보간 장치(100)는, 그 용도에 한정되지 않고, 여러가지 동화상의 프레임 레이트 변환에 적용 가능하다. 특히, 저스펙인 카메라로 촬영된 동화상 등, 저 프레임 레이트의 동화상에의 적용에 유효하다. 예를 들어, 15Hz 미만의 동화상의 프레임 레이트 변환에도 적용 가능하다.
10: 기억부
20: 프레임 취득부
21: RGB/YC 변환 회로
30: 보간 프레임 생성부
31: 움직임 벡터 검출부
32: 제1 블록 매칭 회로
33: 제2 블록 매칭 회로
35: 보간 프레임 산출부
40: 프레임 출력부
41: YC/RGB 변환 회로
50: 제어부
52: 동일성 판정부
54: 샘플링 포인트 변경부
100: 프레임 보간 장치
200: 안테나
300: 화상 생성 장치
310: 수신부
320: 복호부
330: 복사부
340: 중첩부
350: 제어부
400: 표시부
500: 표시 장치

Claims (8)

  1. 동화상의 각 프레임의 후속으로 n(n은 자연수)매의 카피 프레임을 추가하고, 프레임수를 증가시켜서 출력하는 화상 생성 장치로부터 동화상의 공급을 받는 프레임 보간 장치이며,
    상기 동화상으로부터 (n+1)매에 1매의 주기로 프레임을 샘플링하는 프레임 취득부와,
    상기 프레임 취득부에 의해 샘플링된 프레임 간의 보간 프레임을 생성하는 보간 프레임 생성부와,
    상기 동화상이 연속되는 프레임의 동일성을 판정하는 동일성 판정부와,
    상기 동일성 판정부에 의해 동일하다고 판정된 프레임이 (n+1)매보다 적거나 또는 많게 연속하고, 또한 일정한 조건을 만족시킬 때, 상기 주기를 고정한 채, 그 샘플링 포인트를 이동시키는 샘플링 포인트 변경부를 구비하는 것을 특징으로 하는, 프레임 보간 장치.
  2. 제1항에 있어서, 상기 샘플링 포인트 변경부는, 상기 동일성 판정부에 의해 동일하다고 판정된 프레임이 (n+1)매보다 많을 때에 있어서, 그 프레임을 중복해서 샘플링할 때, 상기 샘플링 포인트를 적어도 1 프레임, 시간적으로 지연시키는 것을 특징으로 하는, 프레임 보간 장치.
  3. 제1항 또는 제2항에 있어서, 상기 프레임 보간 장치는, 상기 n매의 카피 프레임을 생성하기 위한 동작 주파수보다 높은 주파수에서 동작하고 있는 화상 생성 장치로부터 동화상의 공급을 받는 것을 특징으로 하는, 프레임 보간 장치.
  4. 제1항에 있어서, 상기 샘플링 포인트 변경부는, 상기 동일성 판정부에 의해 동일하다고 판정된 프레임이 (n+1)매보다 적을 때에 있어서, 그 프레임을 1주기 내에 샘플링할 수 없을 때, 상기 샘플링 포인트를 적어도 1 프레임, 시간적으로 선행시키는 것을 특징으로 하는, 프레임 보간 장치.
  5. 제1항 또는 제4항에 있어서, 상기 프레임 보간 장치는, 상기 n매의 카피 프레임을 생성하기 위한 동작 주파수보다 낮은 주파수에서 동작하고 있는 화상 생성 장치로부터 동화상의 공급을 받는 것을 특징으로 하는, 프레임 보간 장치.
  6. 제4항에 있어서, 상기 동화상으로부터 취득한 원 프레임 및 상기 보간 프레임을 기억하기 위한 기억부와,
    상기 기억부로부터 원 프레임 및 보간 프레임을 판독하고, 표시 순서에 따라서 외부에 출력하는 프레임 출력부를 더 구비하고,
    상기 프레임 취득부는, 취득한 원 프레임을 상기 기억부에 기입하고,
    상기 보간 프레임 생성부는, 상기 기억부로부터 복수의 원 프레임을 판독하고, 그들 프레임 간의 보간 프레임을 생성하여, 상기 기억부에 기입하고,
    상기 프레임 취득부, 상기 보간 프레임 생성부 및 상기 프레임 출력부는, 병렬적으로 동작함으로써 파이프라인 처리를 실행하고,
    상기 샘플링 포인트 변경부는, 상기 프레임 취득부에 의한 상기 기억부에의 원 프레임의 기입 타이밍과, 상기 보간 프레임 생성부에 의한 상기 기억부에의 보간 프레임의 기입 타이밍이 어긋나도록, 상기 샘플링 포인트를 시간적으로 선행시키는 것을 특징으로 하는, 프레임 보간 장치.
  7. 제1항 또는 제2항에 있어서, 상기 동일성 판정부는, 상기 동화상의 각 프레임의 화소값의 합계값을 산출하여, 상기 동일성을 판정하는 것을 특징으로 하는, 프레임 보간 장치.
  8. 제7항에 있어서, 상기 동일성 판정부는, 각 프레임에 중첩된 OSD(On Screen Display)를 적어도 제외한 영역으로부터, 화소값의 합계값을 산출하는 것을 특징으로 하는, 프레임 보간 장치.
KR20110075652A 2010-07-30 2011-07-29 프레임 보간 장치 KR101180606B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-172191 2010-07-30
JP2010172191A JP2012034198A (ja) 2010-07-30 2010-07-30 フレーム補間装置

Publications (2)

Publication Number Publication Date
KR20120012433A KR20120012433A (ko) 2012-02-09
KR101180606B1 true KR101180606B1 (ko) 2012-09-06

Family

ID=45526371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110075652A KR101180606B1 (ko) 2010-07-30 2011-07-29 프레임 보간 장치

Country Status (4)

Country Link
US (1) US8520142B2 (ko)
JP (1) JP2012034198A (ko)
KR (1) KR101180606B1 (ko)
CN (1) CN102348090B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN107077823B (zh) * 2014-09-16 2019-05-14 株式会社理光 显示装置，显示***，和显示控制程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158162A (ja) 2006-12-22 2008-07-10 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
JP2009267446A (ja) 2008-04-21 2009-11-12 Hitachi Ltd 動画像情報処理方法、及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19928740C2 (de) * 1999-06-23 2002-06-27 Micronas Gmbh Verfahren zum Verdoppeln der Bildwiederholfrequenz einer im Zeilensprungverfahren erzeugten Bildsequenz
FR2844131B1 (fr) * 2002-09-03 2004-11-12 St Microelectronics Sa Procede et dispositif d'interpolation d'images avec compensation du mouvement
JP2004212610A (ja) * 2002-12-27 2004-07-29 Sharp Corp 表示装置の駆動方法、表示装置の駆動装置、および、そのプログラム
EP1843587A1 (en) * 2006-04-05 2007-10-10 STMicroelectronics S.r.l. Method for the frame-rate conversion of a digital video signal and related apparatus
WO2008062577A1 (fr) * 2006-11-24 2008-05-29 Sharp Kabushiki Kaisha Dispositif d'affichage d'image
JP2009239335A (ja) 2008-03-25 2009-10-15 Fujitsu Ten Ltd 映像補間装置および映像補間方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158162A (ja) 2006-12-22 2008-07-10 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
JP2009267446A (ja) 2008-04-21 2009-11-12 Hitachi Ltd 動画像情報処理方法、及び装置

Also Published As

Publication number Publication date
JP2012034198A (ja) 2012-02-16
CN102348090B (zh) 2014-03-26
KR20120012433A (ko) 2012-02-09
US20120026391A1 (en) 2012-02-02
US8520142B2 (en) 2013-08-27
CN102348090A (zh) 2012-02-08

Similar Documents

Publication Publication Date Title
KR101145554B1 (ko) 프레임 레이트 변환 장치, 및 그것을 탑재한 표시 장치
EP1708492A2 (en) Noise reducing apparatus and noise reducing method
KR101180606B1 (ko) 프레임 보간 장치
JP2006331136A (ja) 動きベクトル検出装置
US8385430B2 (en) Video signal processing apparatus and video signal processing method
WO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
JP5318811B2 (ja) ２次元／３次元映像処理装置および映像表示装置
JP5241632B2 (ja) 画像処理回路および画像処理方法
JP2008245135A (ja) 補間フレーム作成方法および補間フレーム作成装置
US8115865B2 (en) De-interlacing system with an adaptive edge threshold and interpolating method thereof
US20080317130A1 (en) Image converting apparatus
JP2011035612A (ja) フレームレート変換装置、およびそれを搭載した表示装置
JP2011205519A (ja) フレームレート変換回路
JP2007288483A (ja) 画像変換装置
JP2010010778A (ja) 映像処理装置及び映像処理装置の制御方法
JP2006229269A (ja) 走査線補間装置
JP2007129504A (ja) 画像表示装置
US20110285819A1 (en) Video signal processing apparatus and video signal processing method
JP2011211499A (ja) フレームレート変換回路およびそれを搭載した表示装置
JP2008199097A (ja) 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置
JP2009124547A (ja) 画像処理装置および画像録画再生装置
US20140002733A1 (en) Subframe level latency de-interlacing method and apparatus
JP4359322B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2011055021A (ja) 画像生成装置、表示システム及び画像生成方法
JP2008141772A (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170811

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 8