KR100816593B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR100816593B1
KR100816593B1 KR1020027001976A KR20027001976A KR100816593B1 KR 100816593 B1 KR100816593 B1 KR 100816593B1 KR 1020027001976 A KR1020027001976 A KR 1020027001976A KR 20027001976 A KR20027001976 A KR 20027001976A KR 100816593 B1 KR100816593 B1 KR 100816593B1
Authority
KR
South Korea
Prior art keywords
image signal
pixel
image
signal
class
Prior art date
Application number
KR1020027001976A
Other languages
English (en)
Other versions
KR20020062274A (ko
Inventor
데쯔지로 곤도
히사까즈 시라끼
야스노부 노데
가쯔히사 신메이
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2000179341A external-priority patent/JP4407015B2/ja
Priority claimed from JP2000179342A external-priority patent/JP4470282B2/ja
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20020062274A publication Critical patent/KR20020062274A/ko
Application granted granted Critical
Publication of KR100816593B1 publication Critical patent/KR100816593B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)

Abstract

입력 화상 신호를 수신하고, 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리 장치에는, 제1 및 제2 신호 처리 수단이 설치되어 있다. 제1 신호 처리 수단은 축적형 처리를 행하는 것으로, 출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장하는 저장 수단을 포함하고, 입력 화상 신호와 저장 수단에 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 저장 수단에 그 제1 화상 신호를 저장한다. 제2 신호 처리 수단은 클래스 분류 적응 처리를 행하는 것으로, 출력 화상 신호 중의 주목 화소 위치에 부합하여 입력 화상 신호에 기초하는 특징을 추출하고, 그 특징에 따라 주목 화소를 복수 클래스 중 하나로 분류하며, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성한다. 또한, 화상 처리 장치는 제1 화상 신호와 제2 화상 신호에 기초한 판정을 행하고, 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 수단을 포함한다.
클래스 분류, 특징 추출, 화상 신호, 주목 화소, 움직임, 정지, 가중치 부여

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 예를 들면 화상 신호의 노이즈를 제거하는 노이즈 제거 장치 및 노이즈 제거 방법, 및 입력 화상 신호를 해상도가 보다 높은 화상 신호로 변환하는 화상 변환 장치 및 화상 변환 방법에 대하여 적용 가능한 화상 처리 장치, 화상 처리 방법, 프로그램 및 기록 매체에 관한 것이다.
화상 신호 처리 장치로서, 시간과 함께 화상 신호를 축적하는 구성과 본원 출원인의 제안에 관한 클래스 분류 적응 처리가 있다. 예를 들면, 노이즈 제거의 처리를 예로서 설명하면, 도 1은 시간과 함께 화상 신호를 축적하는 구성으로, 움직임 적응형 재귀 필터(motion adaptive type recursive filter)로서 알려져 있는 구성이다.
입력 화상 신호는 화소 단위로 진폭 조정을 행하는 증폭기(1)를 통하여 가산 회로(2)에 공급된다. 프레임 메모리(3)에는 현 시점의 프레임(입력 화상 신호에 대한 현 시점의 프레임(이하, 현재 프레임이라 함))보다도 하나 전의 프레임(이하, 이전 프레임이라 함)의 출력 화상 신호가 기억되어 있다. 이 프레임 메모리(3)에 기억되어 있는 화상 신호는 입력 화상 신호의 각 화소 위치에 대응하여 화소 단위 로 순차적으로 판독되어, 진폭 조정을 행하는 증폭기(4)를 통하여 가산 회로(2)에 공급된다.
가산 회로(2)는 증폭기(1)를 통한 현재 프레임의 화소와 증폭기(4)를 통한 이전 프레임의 화소를 가산하고, 그 가산 출력을 출력 화상 신호로서 출력함과 함께, 프레임 메모리(3)에 공급한다. 프레임 메모리(3)에서는, 기억되어 있는 화상 신호가 가산 회로(2)의 출력 화상 신호로 재기입된다.
또한, 현재 프레임의 입력 화상 신호는 화소 단위로 감산 회로(5)에 공급된다. 또한, 프레임 메모리(3)에 기억되어 있는 이전 프레임의 화상 신호가 입력 화상 신호의 각 화소 위치에 대응하여 화소 단위로 순차적으로 판독되어 감산 회로(5)에 공급된다. 감산 회로(5)는, 화상 상의 동일한 화소 위치의 현재 프레임의 화소치와 이전 프레임의 화소치와의 차분을 출력한다.
이 감산 회로(5)로부터의 차분 출력은 절대치화 회로(6)에 공급되어 절대치로 변환되고, 그리고 임계치 처리 회로(7)에 공급된다. 임계치 처리 회로(7)는 절대치화 회로(6)에 의해 공급되는 화소 차분의 절대치와 사전에 결정된 임계치를 비교하여, 화소마다 움직임 부분인지 정지 부분인지를 판정하는 정지/움직임 판정을 행한다. 즉, 임계치 처리 회로(7)는 화소 차분의 절대치가 임계치보다도 작을 때에는, 입력 화소는 정지 부분이라고 판정하고, 화소 차분의 절대치가 임계치보다도 클 때에는, 입력 화소는 움직임 부분이라고 판정한다.
임계치 처리 회로(7)에서의 정지/움직임 판정 결과는 가중 계수 발생 회로(8)에 공급된다. 가중 계수 발생 회로(8)는 임계치 처리 회로(7)에서의 정지/ 움직임 판정 결과에 따라 가중 계수 k(0≤k≤1)의 값을 설정하고, 계수 k를 증폭기(1)에 공급함과 함께, 계수 1-k를 증폭기(4)에 공급한다. 증폭기(1)는 그 입력 신호를 k배 증폭하고, 증폭기(4)는 그 입력 신호를 1-k배 증폭한다.
이 경우, 임계치 처리 회로(7)에서 현재 프레임의 화소가 정지 부분이라고 판정될 때에는, 계수 k의 값으로서 k=0 ∼ 0.5 사이의 고정치가 설정된다. 따라서, 가산 회로(2)의 출력은 현재 프레임의 화소치와, 프레임 메모리(3)로부터의 이전 프레임의 화소치가 가중치 부여되어 가산된 값으로 된다.
한편, 임계치 처리 회로(7)에서 현재 프레임의 화소가 움직임 부분이라고 판정될 때에는, 계수 k의 값으로서 k=1이 설정된다. 따라서, 가산 회로(2)로부터는 현재 프레임의 화소치(입력 화상 신호의 화소치)가 그대로 출력된다.
가산 회로(2)로부터의 출력 화상 신호에 의해, 프레임 메모리(3)의 기억 신호는 프레임 단위로, 재기입되기 때문에, 프레임 메모리(3)에 기억되는 화상 신호 중 정지 부분은 복수 프레임의 화소치가 적산된 것으로 된다. 따라서, 노이즈가 프레임마다 랜덤하게 변화한다고 하면, 가중치 부여 가산에 의해 노이즈는 서서히 작아져서 제거되고, 프레임 메모리(3)에 기억되는 화상 신호(출력 화상 신호와 동일함)의 정지 부분은 노이즈 제거가 행해진 것으로 된다.
그러나, 상술한 움직임 적응형 재귀 필터에 의한 노이즈 제거에서는 하기와 같은 문제가 있다.
예를 들면, 노이즈 레벨이 큰 경우에, 움직임 부분을 정지 부분이라고 잘못 판별하는 경우가 있는데, 그 경우에는 흐려짐(unsharp) 등의 화질 열화가 나타나는 경우가 있다. 또한, 움직임 부분에서는 노이즈 제거는 불가능하다.
한편, 클래스 분류 적응 처리를 이용한 노이즈 제거 장치가 본원 출원인에 의해 제안되어 있다. 클래스 분류 적응 처리에서는, 정지, 움직임의 모든 부분에서도 노이즈 제거가 가능하다. 그러나, 완전한 정지 화상 부분에 대해서는, 상술한 움직임 적응형 재귀 필터가 노이즈 제거 측면에서 우수한 성능을 갖는다.
본 발명은, 노이즈 제거 처리 이외에도, 입력 화상 신호의 해상도를 보다 높게 하는 해상도 변환 장치에 대해서도 유효하게 적용된다.
즉, 현행의 텔레비전 방식으로서는, 1 프레임당 주사선 수가 525개나 625개 등인 소위 표준 방식과, 1 프레임당 주사선 수가 그 보다도 많은 고선명 방식, 예를 들면 1125개의 하이비젼 방식 등, 여러가지가 있다.
이 경우에, 예를 들면 고선명 방식에 대응한 기기에서, 표준 방식의 화상 신호를 처리할 수 있게 하기 위해서는, 표준 방식에 대응하는 해상도의 화상 신호를 고선명 방식에 대응하는 해상도의 화상 신호로 해상도 변환("업 컨버트"라고 적절하게 칭함)할 필요가 있다. 이를 위해, 종래로부터 선형 보간 등의 방법을 이용한 화상 신호의 해상도 변환 장치가 다양하게 제안되어 있다. 예를 들면, 축적형 처리(storage type process)에 의한 업 컨버트와 클래스 분류 적응 처리(class categorizing adaptive process)에 의한 업 컨버트가 제안되어 있다.
그러나, 축적형 처리에 의한 해상도 변환 장치는, 정지 화상 부분에 대해서는 열화가 적은 변환 출력 화상을 출력할 수 있지만, 움직임이 큰 화상 부분인 경우에는 화상의 열화가 생기게 된다는 문제가 있고, 또한 클래스 분류 적응 처리에 의한 해상도 변환 장치에서는, 움직임이 있는 화상 부분인 경우에는 열화가 적은 변환 출력 화상이 얻어지지만, 정지 부분에 대해서는 그 만큼 양호한 화상이 얻어지지 못한다는 문제가 있었다.
즉, 종래는 화상의 정지 부분 및, 움직임 부분에 모두 적확하게 대응하여 열화가 없는 화상을 형성할 수 있는 해상도 변환 장치를 실현하는 것이 곤란하였다.
따라서, 본 발명의 목적은, 시간과 함께 화상 신호를 축적하는 구성과 클래스 분류 적응 처리에 의한 구성의 이점을 모두 살림으로써, 전체적으로 양호한 처리가 가능한 화상 처리 장치, 화상 처리 방법, 프로그램 및 기록 매체를 제공하는 데 있다.
<발명의 개시>
청구항 제1항의 발명은, 입력 화상 신호를 수신하고 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리 장치로서,
출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장하는 저장 수단을 가지며, 입력 화상 신호와 저장 수단에 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 저장 수단에 제1 화상 신호를 저장하는 제1 신호 처리 수단과,
출력 화상 신호 중의 주목 화소 위치에 부합하여, 입력 화상 신호에 기초하는 특징을 추출하고, 그 특징에 따라 주목 화소를 복수 클래스 중의 하나로 분류하고, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 수 단과,
제1 화상 신호와 제2 화상 신호에 기초한 판정을 행하여, 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 수단을 포함하는 화상 처리 장치이다.
청구항 제26항의 발명은, 입력 화상 신호를 수신하고 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리 방법으로서,
출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장 수단에 저장하고, 입력 화상 신호와 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 제1 화상 신호를 저장 수단에 저장하는 제1 신호 처리 단계와,
출력 화상 신호 중의 주목 화소 위치에 부합하여, 입력 화상 신호에 기초하는 특징을 추출하고, 그 특징에 따라 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 단계와,
제1 화상 신호와 제2 화상 신호에 기초한 판정을 행하여, 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 단계를 포함하는 화상 처리 방법이다.
청구항 제51항의 발명은, 컴퓨터에 대하여 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리를 실행시키기 위한 프로그램으로서,
출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장 수단에 저장하고, 입력 화상 신호와 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께 제1 화상 신호를 저장 수단에 저장하는 제1 신호 처리 단계와,
출력 화상 신호 중의 주목 화소 위치에 부합하여, 입력 화상 신호에 기초하는 특징을 추출하고, 그 특징에 따라 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 단계와,
제1 화상 신호와 제2 화상 신호에 기초한 판정을 행하여, 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 단계를 실행시키기 위한 프로그램이다.
청구항 제52항의 발명은, 컴퓨터에 대하여 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장 수단에 저장하고, 입력 화상 신호와 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 제1 화상 신호를 저장 수단에 저장하는 제1 신호 처리 단계와,
출력 화상 신호 중의 주목 화소 위치에 부합하여, 입력 화상 신호에 기초하 는 특징을 추출하고, 그 특징에 따라 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 단계와,
제1 화상 신호와 제2 화상 신호에 기초한 판정을 행하여, 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체이다.
도 1은 종래의 움직임 적응 재귀 필터의 일례를 나타내는 블록도.
도 2는 본 발명의 기본적인 구성을 나타내는 블록도.
도 3은 본 발명의 일 실시 형태를 나타내는 블록도.
도 4는 본 발명의 일 실시 형태에서의 축적형 처리에 의한 노이즈 제거 회로의 일례의 블록도.
도 5는 본 발명의 일 실시 형태에서의 축적형 처리에 의한 노이즈 제거 회로의 일례의 처리를 나타내는 흐름도.
도 6은 일 실시 형태에서의 클래스 분류 적응 노이즈 제거 회로의 일례를 나타내는 블록도.
도 7은 클래스 탭 및 예측 탭의 일례를 나타내는 개략 선도.
도 8은 클래스 분류 적응 노이즈 제거 회로의 일부를 구성하는 특징 검출 회로의 일례를 나타내는 블록도.
도 9는 특징 검출 회로의 일례를 설명하기 위한 개략 선도.
도 10은 클래스 분류 적응 노이즈 제거 회로에 이용되는 계수 데이터를 생성하는 학습 시의 구성을 나타내는 블록도.
도 11은 본 발명의 일 실시 형태를 소프트웨어로 처리하는 경우의 처리를 설명하기 위한 흐름도.
도 12는 움직임 적응 재귀 필터의 처리의 흐름을 나타내는 흐름도.
도 13은 클래스 분류 적응 처리에 의한 노이즈 제거 처리의 흐름을 나타내는 흐름도.
도 14는 클래스 분류 적응 노이즈 제거 회로에 이용되는 계수 데이터를 생성하는 학습 시의 처리의 흐름을 나타내는 흐름도.
도 15는 본 발명의 다른 실시 형태의 블록도.
도 16은 다른 실시 형태에 의해 이루어지는 해상도 변환 처리를 설명하기 위한 개략 선도.
도 17은 다른 실시 형태에서의 축적 처리에 의한 해상도 변환부의 일례의 구성을 나타내는 블록도.
도 18은 축적 처리에 의한 해상도 변환부의 변환 처리를 설명하기 위한 개략 선도.
도 19는 축적 처리에 의한 해상도 변환부의 변환 처리를 설명하기 위한 개략 선도.
도 20은 클래스 분류 적응 처리에 의한 해상도 변환부의 일례의 구성을 나타 내는 블록도.
도 21은 클래스 분류 적응 처리에 의한 해상도 변환부의 처리 동작을 설명하기 위한 개략 선도.
도 22는 클래스 분류 적응 처리에 의한 해상도 변환부에서의 특징 검출 회로의 일례를 나타내는 블록도.
도 23은 특징 검출 회로의 동작을 설명하기 위한 개략 선도.
도 24는 클래스 분류 적응 처리에 의한 해상도 변환부에 이용되는 계수 데이터를 생성하는 학습 시의 구성을 나타내는 블록도.
도 25는 다른 실시 형태에서의 출력 화상 신호의 선택 처리를 설명하기 위한 개략 선도.
도 26은 다른 실시 형태에서의 출력 화상 신호의 선택 처리의 설명을 위한 흐름도.
도 27은 본 발명의 다른 실시 형태를 소프트웨어로 처리하는 경우의 처리를 설명하기 위한 흐름도.
도 28은 축적 처리에 의한 해상도 변환부의 변환 처리의 흐름을 나타내는 흐름도.
도 29는 클래스 분류 적응 처리에 의한 해상도 변환 처리의 흐름을 나타내는 흐름도.
도 30은 클래스 분류 적응 처리에 의한 해상도 변환 처리에 이용되는 계수 데이터를 생성하는 학습 시의 처리의 흐름을 나타내는 흐름도.
도 2는 본 발명의 전체적 구성을 나타낸다. 입력 화상 신호가 축적형 처리부(100) 및 클래스 분류 적응 처리부(200)에 공급된다. 축적형 처리부(100)는 시간 경과에 따라 화상 신호를 축적하는 구성을 갖는 처리부이다. 클래스 분류 적응 처리부(200)는 출력 화상 신호 중 주목 화소 위치에 부합하여 입력 화상 신호에 기초하는 특징을 검출하고, 그 특징에 따라 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 클래스에 대응하여 사전에 정해진 연산 방식으로 입력 화상 신호를 연산함으로써, 출력 화상 신호를 생성하는 것이다.
축적형 처리부(100)의 출력 화상 신호와 클래스 분류 적응 처리부(200)의 출력 화상 신호가 출력 선택부(300)의 선택 회로(301) 및 출력 판정 회로(302)에 공급된다. 출력 판정 회로(302)는 각 처리부의 출력 화상 신호에 기초하여, 어느 하나의 출력 화상 신호를 출력하는 것이 적절한지를 판단하고, 그 판단의 결과에 대응하는 선택 신호를 생성한다. 선택 신호가 선택 회로(301)에 공급되고, 2개의 출력 화상 신호 중 한쪽이 선택된다.
본 발명을 노이즈 제거에 대하여 적용하는 경우에는, 축적형 처리부(100)가 상술한 움직임 적응형 재귀 필터와 마찬가지의 구성이 된다. 그리고, 현재 프레임과 이전 프레임과의 가중치 부여 가산이 반복됨으로써, 정지 부분의 화소에 대해서는 양호하게 노이즈 제거가 행해진다.
한편, 클래스 분류 적응 처리부(200)가 클래스 분류 적응 처리에 기초하는 노이즈 제거부가 된다. 클래스 분류 적응 처리에 의한 노이즈 제거부에서는, 복수 프레임 사이에서 동일한 위치에 있는 각 프레임의 화소를 추출하고, 이들 화소의 프레임 사이의 변화에 기초하여 화소의 노이즈 성분을 클래스 분류하고, 분류된 클래스에 대응하여 사전에 설정되어 있는 연산 처리에 의해 입력 화상 신호로부터 노이즈 성분이 제거되기 때문에, 움직임 부분과 정지 부분에 상관없이 노이즈 제거가 행해진다. 단, 완전한 정지 부분에 관해서는 긴 프레임의 정보를 축적할 수 있는 축적형 노이즈 제거부 쪽이 클래스 분류 적응 처리에 의한 노이즈 제거부에 비하여 노이즈 제거 효과가 크다.
출력 선택부(300)에서는, 소정수의 화소 단위로 화상의 정지/움직임 부분을 판정하고, 그 판정 결과에 따라, 정지 부분에서는 축적형 처리에 기초하는 노이즈 제거부로부터의 출력 화상 신호를 선택하고, 움직임 부분에서는 클래스 분류 적응 처리에 기초하는 노이즈 제거부로부터의 출력 화상 신호를 선택함으로써, 정지 부분 및 움직임 부분에서 모두 노이즈 제거가 행해진 출력 화상 신호가 얻어진다.
또한, 본 발명을 업 컨버트를 행하는 해상도 변환 장치에 대하여 적용하는 경우에는, 축적형 처리부(100)가 프레임 메모리에 화상 정보를 시간 방향으로 긴 기간에 걸쳐서 축적함으로써, 고해상도의 화상 신호를 형성하는 구성으로 된다. 이 구성에 따르면, 정지 화상이나 모든 화면에 대하여 단순하게 팬(pan)이나 틸트(tilt)를 하는 화상에 대해서는 열화가 적은 변환 출력 화상 신호가 얻어진다.
한편, 클래스 분류 적응 처리부(200)가 클래스 분류 적응 처리에 기초하는 해상도 변환부가 된다. 이 해상도 변환부는, 입력 화상 신호에 의한 화상 중 주목 화소에 대한 특징을, 그 주목 화소와 그 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소에 대한 특징에 따라 클래스 분류하고, 그 분류된 클래스에 대응하여 사전에 설정되어 있는 화상 변환 연산 처리로 주목 화소에 대응하는 고해상도의 화상 중 복수 화소를 생성함으로써, 고해상도의 출력 화상 신호를 생성한다. 따라서, 클래스 분류 적응 처리에 기초하는 해상도 변환부는 움직임 부분에서도 열화가 적은 변환 출력 화상 신호가 얻어진다. 그러나, 정지 부분에 대해서는, 화상 정보를 시간 방향으로 길게 처리하는 축적형 해상도 변환부 쪽이 보다 양호한 해상도 변환을 행할 수 있다.
그리고, 각 해상도 변환부의 특징을 고려하여, 화소 단위 혹은 소정수의 화소마다 출력 선택부(300)에 의해 한쪽 해상도 변환부로부터의 화상 신호와, 다른 쪽 해상도 변환부로부터의 화상 신호 중 어느 한쪽의 화상 신호를 선택하여 출력할 수 있기 때문에, 열화가 적은 고화질의 변환 출력 화상을 얻을 수 있다.
이하, 본 발명을 노이즈 제거 장치에 대하여 적용한 일 실시 형태에 대하여 도 3을 참조하면서 설명한다. 입력 화상 신호는 화소마다 축적형 처리부(100)의 예를 구성하는 움직임 적응형 재귀 필터(11)에 공급됨과 함께, 클래스 분류 적응 처리부(200)의 예를 구성하는 클래스 분류 적응 노이즈 제거 회로(12)에 공급된다.
움직임 적응형 재귀 필터(11)로서, 상술한 도 1의 예와 마찬가지의 구성을 사용할 수 있다. 이 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호는 출력 선택부(300)에 대응하는 출력 선택부(13)에 공급된다.
또한, 클래스 분류 적응 노이즈 제거 회로(12)는 복수 프레임 사이에서 동일한 위치에 있는 각 프레임의 화소를 추출하고, 이들 화소의 프레임 간의 변화에 기 초하여 상기 화소의 노이즈 성분을 클래스 분류하고, 분류된 클래스에 대응하여 사전에 설정되어 있는 연산 처리에 의해 입력 화상 신호로부터 노이즈 성분이 제거된 출력 화상 신호를 생성하는 것으로, 그 상세한 구성에 대해서는 후술한다. 이 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호도 출력 선택부(13)에 공급된다.
출력 선택부(13)는 정지/움직임 판정 회로(14)와, 타이밍 조정용 지연 회로(15)와, 선택 회로(16)를 구비하고, 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호는 지연 회로(15)를 통하여 선택 회로(16)에 공급되고, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호는 그대로 선택 회로(16)에 공급된다.
또한, 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호와, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호는, 정지/움직임 판정 회로(14)에 공급된다. 본 예에서는, 정지/움직임 판정 회로(14)는, 입력된 2개의 출력 화상 신호로부터, 각 화소마다 정지 부분인지 움직임 부분인지를 판정하고, 그 판정 출력을 선택 제어 신호로서 선택 회로(16)에 공급한다.
움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호에서는, 상술한 바와 같이, 화상의 정지 부분의 화소는 노이즈 제거되지만, 화상의 움직임 부분의 화소는 노이즈 제거되지 않고 그대로 출력된다. 한편, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호에서는, 화상의 정지 부분 및 움직임 부분에 상관없이, 노이즈 제거가 실시된다.
이 때문에, 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호와, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호를 비교한 경우, 정지 부분은 모두 노이즈 제거되어 있기 때문에 이들의 화소치는 거의 같아지지만, 움직임 부분에서는 움직임 적응형 재귀 필터(11)의 출력 화상 신호에는 노이즈가 잔류하고 있는 반면, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호에는 노이즈가 제거되어 있기 때문에, 이들의 화소치가 노이즈분만큼 다르게 된다.
정지/움직임 판정 회로(14)는 전술한 성질을 이용하여, 본 예에서는 각 화소마다 화상의 정지 부분인지 화상의 움직임 부분인지를 판정한다. 즉, 정지/움직임 판정 회로(14)는, 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호의 화소치와 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호의 화소치와의 차분을 산출하는 차분치 산출 회로(141)와, 차분치 산출 회로(141)로부터의 차분치를 절대치화하는 절대치화 회로(142)와, 비교 판정 회로(143)를 갖는다.
비교 판정 회로(143)는, 절대치화 회로(142)로부터의 차분치의 절대치가 사전에 결정한 값보다도 클 때에는 움직임 부분이라고 판정하고, 절대치화 회로(142)로부터의 차분치의 절대치가 사전에 결정한 값보다도 작을 때에는 정지 부분이라고 판정한다. 그리고, 비교 판정 회로(143)는 화상의 정지 부분이라고 판정한 화소에 대해서는 움직임 적응형 재귀 필터(11)로부터의 출력 화상 신호를 선택하도록 선택 회로(16)를 제어하고, 화상의 움직임 부분이라고 판정한 화소에 대해서는 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호를 선택하도록 선택 회로(16)를 제어한다.
따라서, 선택 회로(16)로부터는, 즉 출력 선택부(13)로부터는 정지 부분에 대해서는 긴 프레임의 정보를 축적할 수 있어, 양호하게 노이즈 제거되는 움직임 적응형 재귀 필터로부터의 출력 화상 신호가 출력되고, 움직임 부분에 대해서는 노이즈 제거되지 않은 움직임 적응형 재귀 필터로부터의 출력 화상 신호 대신에, 클래스 분류 적응 노이즈 제거 회로(12)로부터의 출력 화상 신호가 출력된다. 따라서, 출력 선택부(13)로부터는 정지 부분 및 움직임 부분에서 모두 노이즈 제거된 출력 화상 신호가 얻어진다.
움직임 적응형 재귀 필터(11)로서는, 도 1에 예시한 구성뿐만 아니라, 도 4에 도시한 구성을 사용해도 된다. 도 4에 있어서, 참조 부호(101)는 시간 조정용 지연 회로를 나타내고, 참조 부호(104)는 움직임 벡터 검출 회로를 나타낸다. 지연 회로(101)를 통과한 입력 화상 신호는 합성 회로(102)에 공급된다. 합성 회로(102)에는 축적 메모리(103)에 축적되어 있는 화상이 시프트 회로(105)를 통해 공급된다. 합성 회로(102)에서 합성된 출력은 축적 메모리(103)에 축적된다. 축적 메모리(103)의 축적 화상이 출력으로서 추출됨과 함께, 움직임 벡터 검출 회로(104)에 공급된다.
움직임 벡터 검출 회로(104)는 입력 화상 신호와 축적 메모리(103)의 축적 화상 사이의 움직임 벡터를 검출한다. 시프트 회로(105)는 움직임 벡터 검출 회로(104)에서 검출된 움직임 벡터에 따라 축적 메모리(103)로부터 판독된 화상의 위치를 수평 및/또는 수직 방향으로 시프트한다. 시프트 회로(105)에 의해 움직임 보상이 이루어지기 때문에, 합성 회로(102)에서는 하기와 같이 상호 공간적으로 동 일한 위치에 있는 화소끼리 가산되게 된다.
합성 회로(102)의 출력의 합성치=(입력 화상의 화소치×N+축적 화상의 화소치×M)/(N+M)(여기서, N 및 M은 소정의 계수)
따라서, 축적 메모리(103)에는 복수 프레임 기간에 걸쳐서 화소의 데이터가 누적되어 저장된다. 이 처리에 의해, 상관이 없는 노이즈 성분을 제거할 수 있다.
도 5는 도 4에 도시한 구성의 처리를 소프트웨어 처리로 행하는 경우의 흐름을 나타내는 흐름도이다. 최초의 단계 S51에서는, 축적 화상 상의 화상 영역과 그 화상 영역에 대응하는 입력 화상 상의 화상 영역 사이에서 움직임 벡터를 검출한다. 다음의 단계 S52에서는 검출한 움직임 벡터에 기초하여, 축적 화상의 위치를 시프트한다. 그리고, 입력 화상과 위치가 시프트된 축적 화상을 합성하여 축적한다(단계 S53). 단계 S54에서는 축적 메모리로부터 축적 화상을 판독하여 출력한다.
[클래스 분류 적응 노이즈 제거 회로의 설명]
다음에, 본 실시 형태에 이용되는 클래스 분류 적응 노이즈 제거 회로에 대하여 상세하게 설명한다. 이하에 설명하는 예에서는 클래스 분류 적응 처리로서, 입력 화상 신호의 신호 레벨의 3차원(시공간) 분포에 따라 클래스 분류를 행하고, 클래스마다 사전 학습에 의해 획득된 예측 계수를 메모리에 저장하고, 이러한 예측 계수를 사용한 가중치 부여 가산식에 따른 연산 처리에 의해 최적의 추정치(즉, 노이즈 제거 후 화소치)를 출력하는 처리를 예로 들고 있다.
또한, 본 예는 화상의 움직임을 고려하여 클래스 분류 적응 처리를 행함으로 써 노이즈 제거를 행하는 것이다. 즉, 입력 화상 신호로부터 추정되는 움직임에 따라, 노이즈 성분을 검출하기 위해서 참조되어야 할 화소 영역과, 노이즈를 제거하기 위한 연산 처리에 사용되어야 할 화소 영역이 추출되고, 이들에 기초하여 클래스 분류 적응 처리에 의해 노이즈가 제거된 화상을 출력하도록 한 것이다.
도 6은 본 실시 형태에 이용되는 클래스 분류 적응 노이즈 제거 회로의 전체적인 구성을 나타내는 것이다.
처리되어야 할 입력 화상 신호는 프레임 메모리(21)에 공급된다. 프레임 메모리(21)는 공급되는 현재 프레임의 화상을 기억함과 함께, 1 프레임 전의 화상을 프레임 메모리(22)에 공급한다. 프레임 메모리(22)는 공급되는 1 프레임의 화상을 기억함과 함께, 그 1 프레임 전의 화상을 프레임 메모리(23)에 공급한다. 이와 같이 하여, 프레임 메모리(21, 22, 23)에는 이 순서대로, 보다 새로운 프레임의 화상이 기억된다.
이하에서는, 프레임 메모리(22)가 현재 프레임을 기억하고, 또한 프레임 메모리(21)가 현재 프레임의 1 프레임 후의 프레임을 기억하고, 프레임 메모리(23)가 현재 프레임의 1 프레임 전의 프레임을 기억하는 경우를 예로 들어 설명한다.
또, 프레임 메모리(21, 22, 23)의 기억 내용은 이에 한정되는 것은 아니다. 예를 들면, 시간적으로 2 프레임 간격의 화상을 기억해도 된다. 또한, 연속하는 3 프레임에 한정하지 않고, 5개의 프레임 메모리를 설치하여 연속하는 5 프레임의 화상을 기억하도록 해도 된다. 또한, 프레임 메모리 대신에 필드 메모리를 사용하는 것도 가능하다.
프레임 메모리(21, 22, 23)에 각각 기억되어 있는 이후 프레임, 현재 프레임, 이전 프레임의 화상 데이터는 움직임 벡터 검출부(24), 움직임 벡터 검출부(25), 제1 영역 추출부(26) 및 제2 영역 추출부(27)에 공급된다.
움직임 벡터 검출부(24)는 프레임 메모리(22)에 기억된 현재 프레임의 화상과, 프레임 메모리(23)에 기억된 이전 프레임의 화상 사이의 주목 화소에 대한 움직임 벡터를 검출한다. 또한, 움직임 벡터 검출부(25)는 프레임 메모리(22)에 기억된 현재 프레임의 화상과, 프레임 메모리(21)에 기억된 이후 프레임의 화상 사이의 주목 화소에 대한 움직임 벡터를 검출한다.
움직임 벡터 검출부(24, 25) 각각에서 검출된 주목 화소에 관한 움직임 벡터(움직임 방향 및 움직임 양)는 제1 영역 추출부(26) 및 제2 영역 추출부(27)에 공급된다. 움직임 벡터를 검출하는 방법으로서는, 블록 매칭법, 상관 계수에 의한 추정, 경사법 등을 사용할 수 있다.
제1 영역 추출부(26)는 그에 공급되는 각 프레임의 화상 데이터로부터, 움직임 벡터 검출부(24, 25)에서 검출된 움직임 벡터를 참조하면서, 후술하는 바와 같은 위치의 화소를 추출하고, 추출한 화소치를 특징 검출부(28)에 공급한다.
특징 검출부(28)는 제1 영역 추출부(26)의 출력에 기초하여, 후술하는 바와 같이, 노이즈 성분에 관한 정보를 표현하는 클래스 코드를 발생하고, 발생한 클래스 코드를 계수 ROM(29)에 공급한다. 이와 같이, 제1 영역 추출부(26)가 추출하는 화소는 클래스 코드의 발생을 위해 사용되기 때문에, "클래스 탭"이라고 칭한다.
계수 ROM(29)은, 후술하는 바와 같은 학습에 의해 결정되는 예측 계수를 클 래스마다, 보다 구체적으로는 클래스 코드에 관련되는 어드레스에 따라 사전에 기억하고 있다. 그리고, 계수 ROM(29)은 특징 검출부(28)로부터 공급되는 클래스 코드를 어드레스로서 수신하고, 그에 대응하는 예측 계수를 출력한다.
한편, 제2 영역 추출부(27)는, 프레임 메모리(21, 22, 23)가 각각 기억하고 있는 연속하는 3 프레임의 화상의 데이터로부터 예측용 화소를 추출하고, 추출한 화소의 값을 추정 연산부(30)에 공급한다. 추정 연산부(30)는 제2 영역 추출부(27)의 출력과 계수 ROM(29)으로부터 판독되는 예측 계수에 기초하여, 이하의 수학식 1에 도시한 바와 같은 가중치 부여 연산을 행하여, 노이즈가 제거된 예측 화상 신호를 생성한다. 이와 같이, 제2 영역 추출부(27)가 추출하는 화소치는, 예측 화상 신호를 생성하기 위한 가중치 부여 가산에 있어서 사용되기 때문에 "예측 탭"이라고 칭한다.
Figure 112002004553755-pct00001
여기서, x1, x2, …, xn이 각 예측 탭이고, w1, w2, …, wn이 각 예측 계수이다.
제1 영역 추출부(26) 및 제2 영역 추출부(27)에 의해 각각 추출되는 클래스 탭 및 예측 탭의 탭 구조를 도 7에 도시한다. 도 7에 있어서, 예측되어야 할 주목 화소를 흑색 동그라미로 나타내고, 클래스 탭 또는 예측 탭으로서 추출되는 화소를 그림자를 넣은 동그라미로 나타내었다. 도 7의 (A)에는 기본적인 클래스 탭 구조의 일례를 나타낸다. 주목 화소를 포함하는 현재 프레임 f[0]과, 시간적으로 현재 프레임의 전후로 위치하는 프레임, 즉 f[-1]과 f[+1]로부터 주목 화소와 동일한 공간적 위치에 있는 화소가 클래스 탭으로서 추출된다.
즉, 본 예에 있어서는 클래스 탭이 이전 프레임 f[-1], 현재 프레임 f[0], 이후 프레임 f[+1] 각각에 있어서, 1 화소만이 추출되는 탭 구조이다.
제1 영역 추출부(26)에 있어서는, 움직임 벡터 검출부(24, 25)에 의해 검출된 주목 화소의 움직임 벡터가 충분히 작으며 정지 부분이라고 판정되는 경우에는, 이전 프레임 f[-1], 현재 프레임 f[0], 이후 프레임 f[+1]의 각 프레임에서의 동일 화소 위치의 화소가 노이즈 검출을 위한 클래스 탭으로서 추출된다. 따라서, 처리 대상이 되는 각 프레임 내의 클래스 탭의 화소 위치는 일정하여 탭 구조에 변동은 없다.
한편, 주목 화소의 움직임이 어느 정도 이상으로 크고 움직임 부분이라고 판정되는 경우에는, 제1 영역 추출부(26)는 이전 프레임 f[-1], 현재 프레임 f[0], 이후 프레임 f[+1]의 각 프레임으로부터, 화상 상에서 주목 화소에 대응하는 위치의 화소를 클래스 탭으로서 추출한다. 즉, 움직임 벡터에 대응한 위치의 화소가 추출된다. 이후 프레임 f[+1]의 화상 데이터로부터 추출하는 화소의 위치는 움직임 벡터 검출부(24)에서 검출된 움직임 벡터에 의해 결정되고, 이전 프레임 f[-1]의 화상 데이터로부터 추출하는 화소의 위치는 움직임 벡터 검출부(25)에서 검출된 움직임 벡터에 의해 결정된다.
도 7의 (B)는 제2 영역 추출부(27)에 의해 추출되는 기본적인 예측 탭 구조의 일례를 나타낸다. 주목 프레임의 화소 데이터와, 시간적으로 주목 프레임의 전후에 위치하는 프레임의 화상 데이터로부터, 주목 화소와, 그 주목 화소 주위에 위치하는 예를 들면 12개의 화소로 이루어진 총 13개의 화소가 예측 탭으로서 추출된다.
또한, 움직임 벡터 검출부(24, 25)로부터 출력되는 움직임 벡터에 따라 시간적으로 추출 위치가 변이되는 경우에 대해, 도 7의 (C) 및 (D)에 도시한다. 도 7의 (E)에 도시한 바와 같이, 주목 프레임에서의 움직임 벡터가 (0, 0)이고, 이전 프레임에서의 움직임 벡터가 (-1, -1), 이후 프레임에서의 움직임 벡터가 (1, 1)인 경우에, 프레임 전체에서의 클래스 탭, 예측 탭의 추출 위치가 움직임 벡터에 따라 평행 이동하게 된다.
또, 예측 탭으로서 상술한 클래스 탭과 마찬가지의 탭 구조를 이용해도 된다.
이러한 움직임 벡터에 기초하는 화소 추출의 결과, 제1 영역 추출부(26)에 의해 추출되는 클래스 탭은 복수 프레임 사이에서의 화상 상의 대응 화소가 된다. 마찬가지로, 제2 영역 추출부(27)에 의해 추출되는 예측 탭도, 움직임 보정에 의해 복수 프레임 사이에서의 화상 상의 대응 화소가 된다.
또, 프레임 메모리의 수를 늘리고, 3개를 대신하여, 예를 들면 5개로 하고, 예를 들면 현재 프레임 및 그 전후 2개씩의 프레임을 기억하여, 현재 프레임으로부터 주목 화소만을 추출하고, 이전/이후 2개씩의 프레임으로부터 주목 화소에 대응하는 화소를 추출하는 클래스 탭 구조를 사용해도 된다. 그와 같이 한 경우에는, 추출되는 화소 영역이 시간적으로 확장되기 때문에, 보다 효과적인 노이즈 제거가 가능해진다.
특징 검출부(28)는, 후술하는 바와 같이, 제1 영역 추출부(26)에 의해 클래스 탭으로서 추출된 3 프레임의 화소의 화소치의 변동으로부터 주목 화소에 대한 노이즈 성분의 레벨 변동을 특징량으로서 검출한다. 그리고, 그 노이즈 성분의 레벨 변동에 부합한 클래스 코드를 계수 ROM(29)에 출력한다. 즉, 특징 검출부(28)는 주목 화소의 노이즈 성분의 레벨 변동을 클래스 분류하고, 그 클래스 분류한 클래스 중 어느 것인지를 나타내는 클래스 코드를 출력한다.
본 실시 형태에 있어서는, 특징 검출부(28)는 제1 영역 추출부(26)의 출력에 대하여, ADRC(Adaptive Dynamic Range Coding)를 행하고, 복수 프레임에 걸치는 주목 화소의 대응 화소의 레벨 변동을 ADRC 출력으로 이루어지는 클래스 코드를 발생한다.
도 8은 특징 검출부(28)의 일례를 나타낸다. 도 8은 1 비트 ADRC에 의해 클래스 코드를 발생하는 것이다.
동적 범위 검출 회로(281)에는, 상술한 바와 같이, 프레임 메모리(21, 22, 23) 각각으로부터, 현재 프레임의 주목 화소와, 현재 프레임의 전후의 프레임의 상기 주목 화소에 대응하는 2개의 화소로 이루어지는 3개의 화소가 공급된다. 각 화소의 값은, 예를 들면 8 비트로 표현되어 있다. 동적 범위 검출 회로(281)는 3개의 화소 중 최대치 MAX와 최소치 MIN을 검출하고, MAX-MIN=DR이 되는 연산에 의해 동적 범위 DR을 산출한다.
그리고, 동적 범위 검출 회로(281)는 그 출력으로서, 산출한 동적 범위 DR 과, 최소치 MIN과, 입력된 3개의 화소 각각의 화소치 Px를 각각 출력한다.
동적 범위 검출 회로(281)로부터의 3개의 화소의 화소치 Px는 감산 회로(282)에 순서대로 공급되며, 각 화소치 Px로부터 최소치 MIN이 감산된다. 각 화소치 Px로부터 최소치 MIN이 제거됨으로써, 정규화된 화소치가 비교 회로(283)에 공급된다.
비교 회로(283)에는 동적 범위 DR을 1/2로 하는 비트 시프트 회로(284)의 출력(DR/2)이 공급되고, 화소치 Px와 DR/2와의 대소 관계가 검출된다. 화소치 Px가 DR/2보다 클 때는 비교 회로(283)의 1 비트의 비교 출력이 "1"이 되고, 그렇지 못할 때에는 상기 비교 출력이 "0"이 된다. 그리고, 비교 회로(283)는 순차적으로 얻어지는 3 화소의 비교 출력을 병렬화하여 3 비트의 ADRC 출력을 발생한다.
또한, 동적 범위 DR이 비트수 변환 회로(285)에 공급되며, 양자화에 의해 비트수가 8 비트로부터, 예를 들면 5 비트로 변환된다. 그리고, 이 비트수 변환된 동적 범위와 3 비트의 ADRC 출력이 클래스 코드로서, 계수 ROM(29)에 공급된다.
상술한 바와 같은 클래스 탭 구조 하에서는, 현재 프레임의 주목 화소와 그 전후 프레임의 대응 화소 사이에서는 화소치의 변동이 생기지 않거나, 혹은 작은 것이다. 따라서, 화소치의 변동이 검출되는 경우에는 그것은 노이즈에 기인한다고 판정할 수 있다.
일례를 들어 설명하면, 도 9에 도시한 예의 경우에는, 시간적으로 연속한 t-1, t, t+1의 각 프레임으로부터 추출된 클래스 탭의 화소치가 1 비트 ADRC의 처리를 받음으로써, 3 비트 [010]의 ADRC 출력이 발생한다. 그리고, 동적 범위 DR이 5 비트로 변환된 것이 출력된다. 3 비트의 ADRC 출력에 의해 주목 화소에 대한 노이즈 레벨의 변동이 표현된다.
이 경우, 1 비트가 아니라 다중 비트 ADRC를 행하도록 하면, 노이즈 레벨의 변동을 보다 적확하게 표현하는 것이 가능해진다. 또, 동적 범위 DR을 5 비트로 변환한 코드에 의해 노이즈 레벨의 크기가 표현된다. 8 비트를 5 비트로 변환하는 것은, 클래스 수가 너무 많아지지 않게 하기 위해서이다.
이와 같이, 특징 검출부(28)가 생성하는 클래스 코드는, 본 예의 경우에는 ADRC의 결과로서 얻어지는 시간 방향의 노이즈 레벨 변동에 관한, 예를 들면 3 비트로 이루어지는 코드와, 동적 범위 DR의 결과로서 얻어지는 노이즈 레벨에 관한, 예를 들면 5 비트로 이루어지는 코드를 포함하게 된다. 동적 범위 DR을 클래스 분류로 이용함으로써, 움직임과 노이즈를 구별할 수 있고, 또한 노이즈 레벨의 차이를 구별할 수 있다.
다음에, 학습 처리, 즉 계수 ROM(29)에 저장하는 예측 계수를 얻는 처리에 대하여, 도 10을 참조하여 설명한다. 여기서, 도 6에서의 구성 요소와 마찬가지인 구성 요소에는 동일한 참조 부호를 붙였다.
학습을 행하기 위해 이용된, 노이즈를 포함하지 않은 입력 화상 신호(교사 신호라고 칭함)가 노이즈 부가부(31) 및 정규 방정식 가산부(32)에 공급된다. 노이즈 부가부(31)는 입력 화상 신호에 노이즈 성분을 부가하여 노이즈 부가 화상(학생 신호라고 칭함)을 생성하고, 생성한 학생 신호를 프레임 메모리(21)에 공급한다. 도 6을 참조하여 설명한 바와 같이, 프레임 메모리(21, 22, 23)에는 시간적으 로 연속하는 3 프레임의 학생 신호의 화상이 각각 기억된다.
이하에서는, 프레임 메모리(22)가 현재 프레임의 화상을 기억하고, 또한 프레임 메모리(21, 23)가 각각 현재 프레임의 이후 및 이전 프레임의 화상을 기억하는 경우를 예로서 설명한다. 단, 상술한 바와 같이 프레임 메모리(21, 22, 23)의 기억 내용은 이것에 한정되는 것은 아니다.
프레임 메모리(21, 22, 23)의 후단에서는, 도 6을 참조하여 상술한 처리와 거의 마찬가지의 처리가 이루어진다. 동일한 처리를 행하는 블록에 대해서는 도 6과 동일한 참조 부호를 붙였다. 단, 특징 검출부(28)가 발생하는 클래스 코드 및 제2 영역 추출부(27)가 추출하는 예측 탭은 정규 방정식 가산부(32)에 공급된다. 정규 방정식 가산부(32)에는 또한 교사 신호가 공급된다. 정규 방정식 가산부(32)는 이들 3 종류의 입력에 기초하여 계수를 생성하기 위해 정규 방정식을 생성하는 처리를 행하고, 예측 계수 결정부(33)는 정규 방정식으로부터 클래스 코드마다의 예측 계수를 결정한다. 그리고, 예측 계수 결정부(33)는 결정한 예측 계수를 메모리(34)에 공급한다. 메모리(34)는 공급되는 예측 계수를 클래스마다 기억한다. 메모리(34)에 기억되는 예측 계수와 계수 ROM(29)(도 6)에 기억되는 예측 계수는 동일한 것이다.
다음에, 정규 방정식에 대하여 설명한다. 상술한 수학식 1에 있어서, 학습 전은 예측 계수 w1, …, wn이 미정 계수이다. 학습은 클래스마다 복수의 교사 신호를 입력함으로써 행한다. 교사 신호의 클래스마다의 종류수를 m으로 표기하는 경 우, 수학식 1로부터 이하의 수학식 2가 설정된다.
Figure 112002004553755-pct00002
(k=1, 2, … , m)
m>n인 경우, 예측 계수 w1, …, wn은 일의적으로 결정되지 못하기 때문에, 오차 벡터 e의 요소 ek를, 이하의 수학식 3으로 정의한다.
Figure 112002004553755-pct00003
(k=1, 2, …, m)
그리고, 이하의 수학식 4에 의해 정의되는 오차 벡터 e를 최소로 하도록 예측 계수를 정한다. 즉, 소위 최소 제곱법에 의해서 예측 계수를 일의적으로 정한다.
Figure 112002004553755-pct00004
수학식 4의 e2를 최소로 하는 예측 계수를 구하기 위한 실제적인 계산 방법으로서는, e2를 예측 계수 wi(i=1, 2, …)로 편미분하고(이하의 수학식 5), i의 각 값에 대하여 편미분 값이 0이 되도록 각 예측 계수 wi를 정하면 된다.
Figure 112002004553755-pct00005
수학식 5로부터 각 예측 계수 wi를 정하는 구체적인 수순에 대하여 설명한다. 수학식 6, 수학식 7과 같이 Xji, Yi를 정의하면, 수학식 5는 이하의 수학식 8의 행렬식의 형태로 쓸 수 있다.
Figure 112002004553755-pct00006
Figure 112002004553755-pct00007
Figure 112002004553755-pct00008
수학식 8이 일반적으로 정규 방정식이라고 하는 것이다. 예측 계수 결정부(33)는 상술한 3 종류의 입력에 기초하여, 정규 방정식 8에서의 각 파라미터를 산출하고, 또한 소인법 등의 일반적인 행렬 해법에 따라 정규 방정식 8을 푸는 계산 처리를 행하여 예측 계수 wi를 산출한다.
다음에, 노이즈 부가부(31)에서의 노이즈 부가를 행하기 위해서는, 예를 들면 이하의 4가지 중 어느 하나의 방법을 이용할 수 있다.
1. 컴퓨터 시뮬레이션과 마찬가지로 랜덤 노이즈를 발생시켜서 입력 화상 신호에 부가한다.
2. 입력하는 화상 신호에 대하여 RF계를 통해 노이즈를 부가한다.
3. 레벨 변화가 적은 평탄한 화상 신호와, 이러한 화상 신호에 RF계를 통한 처리를 행함으로써 얻어지는 신호와의 차이로서 노이즈 성분을 추출하고, 추출한 노이즈 성분을 입력 화상 신호에 부가한다.
4. 평탄한 화상 신호에 RF계를 이용한 처리를 행함으로써 얻어지는 신호와, 이러한 신호를 프레임 가산함으로써 노이즈가 제거되어 이루어지는 화상 신호 성분과의 차이로서 노이즈 성분을 추출하고, 추출한 노이즈 성분을 입력 화상 신호에 부가한다.
상술한 클래스 분류 적응 처리를 이용한 노이즈 제거 회로(12)는, 화상 신호로부터 노이즈를 제거하기 위해 클래스 분류 적응 처리를 행할 때, 예를 들면 주목 화소 및 그 주목 화소에 대응하는 화소 등을 클래스 탭으로서 추출하고, 클래스 탭의 데이터에 기초하여 프레임 사이에서의 노이즈 레벨의 변동을 검출하고, 검출한 노이즈 레벨의 변동에 대응하여 클래스 코드를 생성하도록 한 것이다.
그리고, 프레임 사이의 움직임을 추정하고, 추정한 움직임을 보정하도록, 노 이즈 성분의 검출 처리에 사용해야 할 화소(클래스 탭)와 예측 연산 처리에 사용하여야 할 화소(예측 탭)를 추출한다. 그리고, 노이즈 성분을 반영한 클래스 정보마다 예측 탭과 예측 계수와의 선형 1차 결합에 의해 노이즈 제거된 화상 신호를 산출한다.
따라서, 노이즈 성분의 프레임 간 변동에 적확하게 대응하는 예측 계수를 선택할 수 있어, 그와 같은 예측 계수를 사용하여 추정 연산을 행함으로써, 노이즈 성분의 제거를 양호하게 행할 수 있다.
그리고, 움직임이 있는 경우에도 노이즈 레벨을 정확하게 검출할 수 있어 노이즈 제거가 가능해진다. 특히, 도 1을 참조하여 설명한 움직임 적응 재귀 필터와 같이 움직임 부분을 정지 부분이라고 오판정하는 것이 요인이 되어 화상에 흐려짐이 생기는 것을 회피할 수 있다.
또한, 프레임 내에서 공간적인 넓어짐이 없는 클래스 탭 구조, 예를 들면 현재 프레임으로부터 주목 화소만이 추출되고, 현재 프레임에 대하여 시간적으로 이전/이후에 있는 프레임으로부터 주목 화소에 대응하는 화소가 추출되도록 한 탭 구조를 클래스 탭 및/또는 예측 탭으로서 이용하는 경우에는, 공간 방향의 흐려짐 요인이 처리에 끼치는 영향을 저감할 수 있다. 즉, 예를 들면 엣지 등의 영향으로 출력 화상 신호 중에 흐려짐이 생기는 것을 저감할 수 있다.
이와 같이, 클래스 분류 적응 노이즈 제거 회로(12)에서는 화상의 정지, 움직임에 의존하지 않고 노이즈 제거가 행해진다. 그러나, 완전한 정지 부분에 대해서는 긴 프레임의 정보를 축적할 수 있는 움직임 적응 재귀 필터에는 뒤떨어진다.
본 발명에 있어서는, 상술한 바와 같이, 정지 부분에는 도 1 또는 도 4에 도시한 바와 같은 움직임 적응 재귀 필터의 출력을 선택 출력하고, 움직임 부분에서는 도 6에 도시한 바와 같은 클래스 분류 적응 노이즈 제거 회로의 출력을 선택 출력하기 때문에, 화상의 움직임 부분, 정지 부분 중 어디에서도 양호하게 노이즈 제거가 이루어진 화상 신호 출력이 얻어진다.
또, 클래스 분류 적응 제거 회로의 설명에 있어서 제1 영역 추출부(26) 및 제2 영역 추출부(27)에서의 클래스 탭 및 예측 탭은 일례로서, 이에 한정되지 않는 것은 물론이다.
또한, 특징 검출부(28)는 상술한 설명에서는 1 비트 ADRC의 인코드 회로를 이용하였지만, 상술한 바와 같이 다중 비트 ADRC의 인코드 회로를 이용해도 되며, 또한 ADRC 이외의 부호화 회로를 이용해도 된다.
또한, 이상의 설명에서는 움직임 적응형 재귀 필터(11)의 출력과 클래스 분류 적응 노이즈 제거 회로(12)의 출력의 선택은, 화소 단위로 행하도록 설명하였지만, 화소 단위가 아니라 소정 개수의 화소로 이루어지는 화소 블록이나 오브젝트 단위, 또한 프레임 단위로, 선택을 행하여도 된다. 이들 경우에는, 정지/움직임 판정 회로에서는 선택 단위로 정지/움직임 판정을 행한다.
또한, 이상의 예에서는 하나의 움직임 적응형 재귀 필터의 출력과 하나의 클래스 분류 적응 제거 회로의 출력 중의 양자 택일 선택으로 하였지만, 움직임 적응 재귀 필터 및/또는 클래스 분류 적응 처리에 의한 노이즈 제거 회로를 복수개 설치하고, 이들로부터 출력 화상 신호를 선택하도록 할 수도 있다.
본 발명의 일 실시 형태는, 처리를 하드웨어에 의해 실시하는 데 한하지 않고, 소프트웨어에 의해 실시하는 것도 가능하다. 소프트웨어에 의한 처리에 대하여 이하에 설명한다. 도 11은 본 발명의 일 실시 형태에 따른 노이즈 제거 처리의 흐름을 나타내는 흐름도이다. 단계 S1 및 S2에서 도시한 바와 같이, 클래스 분류 적응 노이즈 제거 처리와 움직임 적응형 재귀 필터 처리가 병행하여 이루어진다. 각각의 처리에서 구해진 출력의 차분이 연산된다(단계 S3).
단계 S4에서 차분이 절대치화되며, 판정의 단계 S5에 있어서, 차분의 절대치가 큰지의 여부가 결정된다. 차분의 절대치가 크다고 결정되면, 클래스 분류 적응 노이즈 제거의 출력이 선택된다(단계 S6). 그렇지 못할 때는 움직임 적응형 재귀 필터의 출력이 선택된다(단계 S7). 이상으로 1화소당 처리가 종료한다.
도 12는 움직임 적응형 재귀 필터의 처리 단계 S2의 상세를 나타내는 흐름도이다. 최초의 단계 S11에 있어서, 프레임 메모리에 초기 입력 화상이 저장된다. 다음의 단계 S12에서는 프레임 메모리 내의 화상과 다음의 입력 화상의 차분(프레임 차분)이 연산된다. 이 차분이 단계 S13에 있어서 절대치화된다.
절대치화된 차분이 단계 S14에 있어서, 임계치와 비교된다. 차분이 임계치 이상일 때에는 입력 화상 신호에 대하여 곱해지는 가중 계수 k가 1로 설정된다(단계 S15). 즉, 움직임 부분이기 때문에, 프레임 메모리의 출력 신호에 대하여 곱해지는 가중 계수 (1-k)가 0이 된다. 한편, 차분이 임계치보다도 작을 때에는, 단계 S16에서 k가 0 ∼ 0.5의 범위 내의 값으로 설정된다.
그리고, 프레임 메모리 내의 화소와 다음의 입력 화상의 동일 위치의 화소가 가중치 부여 가산된다(단계 S17). 가산 결과가 프레임 메모리에 대하여 저장된다(단계 S18). 이것과 함께, 프로세스는 단계 S12로 되돌아간다. 그리고, 가산 결과가 출력된다(단계 S19).
도 13은 클래스 분류 적응 노이즈 제거 처리 단계 S1의 상세를 나타내는 흐름도이다. 최초의 단계 S21에서, 현재 프레임과 이전 프레임 사에에서 움직임 벡터가 검출된다. 다음의 단계 S22에서는 현재 프레임과 다음의 프레임 사이에서 움직임 벡터가 검출된다. 단계 S23에서는 제1 영역 추출이 이루어진다. 즉, 클래스 탭이 추출된다. 추출된 클래스 탭에 대하여, 단계 S24에서 특징 검출의 처리가 이루어진다. 사전에 학습 처리가 취득되어 있는 계수 내에서, 검출된 특징에 대응하는 것이 판독된다(단계 S25).
단계 S26에서는, 제2 영역(예측 탭)이 추출된다. 단계 S27에서는 계수와 예측 탭을 이용하여 추정 연산이 이루어지고, 노이즈 제거된 출력이 얻어진다. 또, 제1 영역 추출 처리(단계 S23) 및 제2 영역 추출 처리(단계 S26)에 있어서는, 단계 S21 및 S22에서 검출된 움직임 벡터에 기초하여 추출 위치가 변경된다.
도 14는 클래스 분류 적응 노이즈 제거 처리에 사용하는 계수를 얻기 위한 학습 처리의 흐름을 나타내는 흐름도이다. 단계 S31에서는 노이즈가 없는 화상 신호(교사 신호)에 대하여 노이즈를 부가하여 학생 신호를 생성한다. 학생 신호에 대하여, 단계 S32에서 현재 프레임과 이전 프레임 사이에서 움직임 벡터가 검출된다. 다음의 단계 S33에서는 현재 프레임과 다음 프레임 사이에서 움직임 벡터가 검출된다. 검출된 이들의 움직임 벡터에 의해 영역 추출 위치가 변경된다.
단계 S34에서는 제1 영역(클래스 탭) 추출이 이루어진다. 추출된 클래스 탭에 기초하여 특징 검출이 이루어진다(단계 S35). 다음에 단계 S36에 있어서, 제2 영역(예측 탭) 추출이 이루어진다. 그리고, 단계 S37에서는 교사 화상 신호, 예측 탭의 데이터 및 검출된 특징에 기초하여, 예측 계수를 해로 하는 정규 방정식을 풀기 위해서 필요한 데이터가 계산된다.
그리고, 단계 S38에서는 정규 방정식의 가산이 종료되었는지의 여부가 결정된다. 종료되지 않은 경우에는 프로세스는 단계 S31로 되돌아간다. 처리가 종료되었다고 결정되면, 단계 S39에서 예측 계수가 결정된다. 구해진 예측 계수는 메모리에 저장되며 노이즈 제거 처리에서 사용된다.
이상 설명한 바와 같이, 본 발명에 따른 노이즈 제거 회로에 따르면, 정지 부분에서는 움직임 적응 재귀 필터 등의 정지 부분에 대한 노이즈 제거 효과가 큰 노이즈 제거 회로의 출력을 선택 출력하고, 움직임 부분에는 클래스 분류 적응 노이즈 제거 회로 등의 움직임 부분에서의 노이즈 제거가 가능한 노이즈 제거 회로의 출력을 선택 출력하기 때문에, 화상의 움직임 부분 및 정지 부분에서 모두 양호하게 노이즈 제거가 이루어진 화상 신호 출력이 얻어진다.
다음에, 본 발명을 업 컨버트를 행하는 해상도 변환 장치에 대하여 적용한 다른 실시 형태에 대하여, 도 15 이후의 도면을 참조하여 설명한다. 이하에 설명하는 다른 실시 형태는, 상술한 표준 텔레비전 방식(이하, SD라고 함)의 화상 신호를 입력 화상 신호로 하고, 이것을, 하이비젼 방식(이하, HD라고 함)의 출력 화상 신호로 변환하는 경우이다. 그리고, 이하에 설명하는 다른 실시 형태에서는 도 16 에 도시한 바와 같이, SD 화상의 1개의 주목 화소마다에 대하여 HD 화상의 4개의 화소를 창조하여 해상도를 변환한 것이다.
도 15는 다른 실시 형태의 구성을 나타내는 블록도이다. 도 15에 도시한 바와 같이, 본 예에서는, 입력 화상 신호는 화소마다 축적형 처리에 의한 해상도 변환부의 일례를 구성하는 고밀도 축적 해상도 변환 회로(111)에 공급됨과 함께, 클래스 분류 적응 처리에 의한 해상도 변환부의 일례를 구성하는 클래스 분류 적응 처리 해상도 변환 회로(112)에 공급된다.
고밀도 축적 해상도 변환 회로(111)는 HD 상당의 화상의 화상 신호를 기억하는 프레임 메모리를 구비하고, 그 프레임 메모리에 기억되어 있는 화상 신호에 의한 화상과, SD 입력 화상 신호에 의한 화상 사이에서의 움직임을 참조하여 화소 위치를 보정을 하면서, SD 입력 화상 신호를 그 프레임 메모리에 축적하도록 함으로써, 해당 프레임 메모리에 HD 상당의 출력 화상 신호를 생성하는 것으로, 그 상세한 구성에 대해서는 후술한다. 이 고밀도 축적 해상도 변환 회로(111)로부터의 HD 상당의 변환 화상 신호는 출력 선택부(113)에 공급된다.
또한, 클래스 분류 적응 처리 해상도 변환 회로(112)는 SD 입력 화상 신호에 의한 화상 중 주목 화소에 대한 특징을, 그 주목 화소와, 그 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소로부터 검출한다. 그리고, 그 주목 화소를 검출한 특징에 기초하여 클래스 분류하고, 분류된 클래스에 대응하여 사전에 설정되어 있는 화상 변환 연산 처리를 통해 주목 화소에 대응하는 HD 화상 중 복수 화소를 생성함으로써, 고해상도의 출력 화상 신호를 생성하는 것으로, 그 상세한 구성 에 대해서는 후술한다. 이 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 HD 상당의 변환 화상 신호도 출력 선택부(113)에 공급된다.
출력 선택부(113)는 후술하는 판정 회로(114)와 선택 회로(115)로 이루어지고, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호는, 각각 선택 회로(115)에 공급된다.
또한, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호는, 판정 회로(114)에 공급된다. 판정 회로(114)에서는, 이들 2개의 변환 화상 신호로부터, 이들 화상 신호에 의한 화상의 움직임과 액티비티를 각각 소정수의 화소 단위로 판정하고, 그 판정 결과에 따라, 선택 회로(115)가 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와, 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호 중 어느 한쪽을 소정수의 화소 단위로 선택하도록 선택 제어하는 선택 제어 신호를 생성한다. 본 예에서는 각 화소마다 어느쪽의 변환 화상 신호를 선택하는지를 판정하고, 그 판정 출력을 선택 제어 신호로서 선택 회로(115)에 공급한다.
[고밀도 축적 해상도 변환 회로의 구성예]
도 17은 본 실시 형태에 이용되는 고밀도 축적 해상도 변환 회로(111)의 구성예를 나타내는 것이다. 이 고밀도 축적 해상도 변환 회로(111)는 장면 전환이나 줌을 제외한, 정지나 모든 화면에서 단순한 팬, 틸트의 움직임을 갖는 화상의 해상 도 변환에 유효하다.
고밀도 축적 해상도 변환 회로(111)는, 도 17에 도시한 바와 같이, 프레임 메모리(210)를 구비한다. 이 프레임 메모리(210)는 HD 화상에 상당하는 해상도(도 16 참조)를 갖는 1 프레임의 화상 신호의 각 화소치를 저장한다.
우선, SD 입력 화상 신호는 선형 보간부(211)에 공급된다. 이 선형 보간부(211)는 SD 입력 화상 신호로부터 선형 보간에 의해 HD 화상 상당의 화소 수를 갖는 화상 신호를 생성하여, 움직임 벡터 검출부(212)에 출력한다. 이 선형 보간부(211)에서의 처리는, SD 입력 화상과 프레임 메모리(210) 내의 HD 상당 화상 사이에서 움직임 벡터 검출을 행할 때에 동일한 화상 사이즈로 매칭을 행하기 위해서이다.
움직임 벡터 검출부(212)에서는, 선형 보간부(211)의 출력 화상과 프레임 메모리(210)에 저장되어 있는 HD 화상 상당의 화상 사이에서 움직임 벡터 검출을 행한다. 움직임 벡터 검출의 수법으로서는, 예를 들면 모든 화면에서의 대표점 매칭을 행한다. 이 경우, 검출되는 움직임 벡터의 정밀도는 HD 상당 화상에 있어서 1 화소 단위분으로 한다. 즉, SD 화상의 입력 화상 신호에서는 1 화소분 이하의 정밀도를 갖는다.
움직임 벡터 검출부(212)에서 검출된 움직임 벡터는 위상 시프트부(213)에 공급된다. 위상 시프트부(213)는 이에 공급되는 움직임 벡터에 따라, SD 입력 화상 신호의 위상 시프트를 행하고, 화상 축적 처리부(214)에 공급한다. 화상 축적 처리부(214)에서는, 프레임 메모리(210)에 기억되어 있는 화상 신호와 위상 시프트 부(213)에서 위상 시프트된 SD 입력 화상 신호와의 축적 처리를 행하고, 축적 처리된 화상 신호에 의해 프레임 메모리(210)의 기억 내용을 재기입한다.
화상 축적 처리부(214)에서의 처리의 개념도를 도 18 및 도 19에 도시한다. 도 18 및 도 19는 설명을 간단하게 하기 위해서, 수직 방향에 대해서만 축적 처리를 나타내지만, 수평 방향에 대해서도 마찬가지로 축적 처리가 행해진다.
도 18의 (A) 및 도 19의 (A)가 SD 입력 화상 신호를 나타내고, 도 19에서 흑색 동그라미 표시는 SD 화상 상에서 실제로 존재하는 화소이고, 백색 동그라미 표시는 존재하지 않는 화소를 나타내고 있다. 도 19의 예는 움직임 벡터 검출부(212)에 있어서, HD 상당의 화상으로 수직 방향으로 3 화소분의 움직임이 검출되기 때문에, 위상 시프트부(213)에서 SD 입력 화상 신호를, 그 3 화소분만큼, 수직 방향으로 위상 시프트한 것을 나타내고 있다. 이 경우, 검출되는 움직임 벡터의 정밀도는, 상술한 바와 같이, HD 상당의 1 화소이기 때문에, 위상 시프트 후의 SD 입력 화상 신호에서의 화소 위치는 도 19의 (B)에 도시된 바와 같이, 프레임 메모리(210)에 기억되어 있는 HD 화상 상당의 화상 신호에서의 어느 하나의 화소 위치에 대응하는 것으로 되어 있다.
그리고, 화상 축적 처리에서는, 위상 시프트 후의 각 화소와, 그에 대응하는 프레임 메모리(210)의 HD 화상 상당의 화상 신호(도 18의 (B), 도 19의 (C))에서의 각 화소를 서로 가산하여 평균화한 후, 그 가산 출력 화소에 의해, 프레임 메모리(210)에 대응하는 화소를 재기입하도록 한다. 즉, SD 화상의 움직임에 대하여 움직임 보상을 행하고, 동일한 위치에 있는 HD 축적 화상의 화소와 SD 입력 화상의 화소의 가산을 행하는 것이다. 또, 이 가산에 대해서는, HD 축적 화상과 SD 입력 화상 사이에서 가중치 부여를 행해도 된다.
이 화상 축적 처리에 의해, 원래의 SD 화상이 HD 화상의 1 화소 단위의 정밀도로 움직임 벡터에 따라 시프트되어, 프레임 메모리(210)에 축적되는 결과, 도 19의 (A)에 도시한 SD 화상에 대하여, 프레임 메모리(210)에 기억되는 화상은 도 18의 (B) 또는 도 19의 (C)에 도시한 바와 같은 HD 상당의 화상이 된다. 도 18 및 도 19는 수직 방향에 대한 설명도이지만, 수평 방향에 대해서도 마찬가지로 SD 화상으로부터 HD 상당 화상으로 변환되는 것이다.
상술한 바와 같은 축적 처리에 의해 프레임 메모리(210)에 축적된 화상 신호가 HD 출력 화상 신호로서, 고밀도 축적 해상도 변환 회로(111)의 출력으로 하여, 출력 선택부(113)에 공급된다. 이 고밀도 축적 해상도 변환 회로(111)로부터의 HD 출력 화상 신호는, 상술한 바와 같은 화상의 시간 방향의 고밀도 축적 처리에 의해 생성되는 것이기 때문에, 상술한 바와 같이 장면 전환이나 줌 등을 제외한, 화상의 정지 부분이나, 단순한 팬, 틸트의 움직임을 갖는 SD 입력 화상인 경우에는 열화가 없고, 또한 겹침 왜곡(folded distortion)이 없는 HD 출력 화상을 얻을 수 있다.
그러나, 그 이외의 장면 전환 부분이나 줌 부분 등과 같이 움직임이 많은 부분의 경우에는, 이하에 설명하는 1개 이상의 소정수의 화소 단위에서의 SD-HD 변환을 행하는 클래스 분류 적응 처리 해상도 변환 회로 쪽이 고품질인 HD 출력 화상을 얻을 수 있다.
[클래스 분류 적응 처리 해상도 변환 회로의 구성예]
다음에, 다른 실시 형태에 이용되는 클래스 분류 적응 처리 해상도 변환 회로(112)에 대하여 상세히 설명한다. 이하에 설명하는 예에서는 클래스 분류 적응 처리로서, SD 입력 화상 신호의 주목 화소에 대하여, 그 주목 화소의 특징에 따라 클래스 분류를 행하고, 클래스마다 사전 학습에 의해서 획득된 예측 계수를 메모리에 저장해두고, 이러한 예측 계수를 사용한 가중치 부여 가산식에 따른 연산 처리에 의해 주목 화소에 대응하는 복수개의 HD 화소의 최적 추정 화소치를 출력하는 처리를 예로 들고 있다.
도 20은 본 실시 형태에 이용되는 클래스 분류 적응 처리 해상도 변환 회로(112)의 전체적인 구성예를 나타내는 것이다.
처리되어야 할 SD 입력 화상 신호는 필드 메모리(221)에 공급된다. 이 필드 메모리(221)에는 항상 1 필드 전의 SD 화상 신호가 기억되어 있다. 그리고, SD 입력 화상 신호와, 필드 메모리(221)에 기억되어 있는 1 필드 전의 SD 화상 신호는 제1 영역 추출부(222) 및 제2 영역 추출부(223)에 공급된다.
제1 영역 추출부(222)는 SD 입력 화상 신호에서의 주목 화소의 특징을 추출하기 위해서, SD 입력 화상 신호나 SD 화상 신호로부터 복수 화소(이하에 설명한 바와 같이 "클래스 탭"이라고 칭함)를 주목하는 처리를 행한다.
제1 영역 추출부(222)는 추출한 복수 화상의 화소치를 특징 검출부(224)에 공급한다. 특징 검출부(224)는 제1 영역의 주목 화소 및 그 시간적, 공간적인 주위 화소로부터, 주목 화소에 대한 특징을 표현하는 클래스 코드를 발생하고, 발생한 클래스 코드를 계수 ROM(225)에 공급한다. 이와 같이, 제1 영역 추출부(222)가 추출하는 복수개의 화소는 클래스 코드의 발생을 위해서 사용되기 때문에, 상술한 바와 같이, 클래스 탭이라고 칭한다.
계수 ROM(225)은 후술하는 바와 같은 학습에 의해 결정되는 예측 계수를 클래스마다, 보다 구체적으로는 클래스 코드에 관련하는 어드레스에 따라, 사전에 기억하고 있다. 그리고, 계수 ROM(225)은 특징 검출부(224)로부터 공급되는 클래스 코드를 어드레스로서 받아 그에 대응하는 예측 계수를 출력한다.
한편, 제2 영역 추출부(223)는, SD 입력 화상 신호와 필드 메모리(221)가 기억하고 있는 1 필드 전의 SD 화상 신호로부터 예측용 화소 영역(제2 영역)에 포함되는 주목 화소를 포함하는 복수개의 예측용 화소를 추출하고, 추출한 화소의 값을 추정 연산부(226)에 공급한다.
추정 연산부(226)는 제2 영역 추출부(223)로부터의 복수개의 예측용 화소의 화소치와 계수 ROM(225)으로부터 판독되는 예측 계수에 기초하여, 이하의 수학식 11에 도시한 바와 같은 연산을 행하여, SD 화상의 주목 화소에 대응하는 HD 화상의 복수개의 화소치를 구하여 예측 HD 화상 신호를 생성한다. 이와 같이, 제2 영역 추출부(223)가 추출하는 화소치는 예측 HD 화상 신호를 생성하기 위한 가중치 부여 가산에서 사용되기 때문에 "예측 탭"이라 한다. 수학식 11은 상술한 일 실시 형태에서의 수학식 1과 마찬가지이다.
Figure 112002004553755-pct00009
여기서, x1, x2, …, xn이 각 예측 탭이고, w1, w2, …, wn이 각 예측 계수이다.
다음에, 도 21을 참조하여 제1 영역 추출부(222)에서 추출되는 클래스 탭의 예를 설명한다. 본 예에서는, 클래스 탭으로서 추출되는 복수 화소는 도 21에 도시한 것으로 되어 있고, 주목 화소가 포함되는 필드와, 그 전의 필드를 포함하는 것으로 하고 있다.
도 21에 있어서, 흑색 동그라미로 나타내는 화소는 제n 필드(예를 들면, 홀수 필드)의 화소를 나타내고, 또한 백색 동그라미로 나타내는 화소는 제n+1 필드(예를 들면 짝수 필드)의 화소를 나타내고 있고, 클래스 탭은 주목 화소와 그 시간적 및 공간적으로 근방에 위치하는 복수개의 화소로 이루어지게 된다.
그리고, 주목 화소가 제n 필드의 화소일 때에 있어서는 도 21의 (A)에 도시한 바와 같은 클래스 탭의 구조로 되어 있고, 그 n 필드로부터는 주목 화소와, 그 상하의 1개씩의 화소와, 그 좌우 2개씩 화소로 이루어지는 7개의 화소가 클래스 탭으로서 추출되고, 그 이전의 필드로부터는 주목 화소에 공간적으로 인접하는 6개의 화소가 클래스 탭으로서 추출된다. 따라서, 합계 13개의 화소가 클래스 탭으로서 추출된다.
또한, 주목 화소가 제n+1 필드의 화소일 때에는 도 21의 (B)에 도시한 바와 같은클래스 탭의 구조로 되어 있고, 그 n+1 필드로부터는 주목 화소와 그 좌우 1개씩의 화소로 이루어지는 3개의 화소가 클래스 탭으로서 추출되고, 그 이전의 필드로부터는 주목 화소에 공간적으로 인접하는 6개의 화소가 클래스 탭으로서 추출된다. 따라서, 합계 9개의 화소가 클래스 탭으로서 추출된다. 제2 영역 추출부(27)에서 추출되는 예측 탭에 대해서도, 본 예에서는 상술한 클래스 탭과 마찬가지의 탭 구조가 이용된다.
다음에, 특징 검출부(224)의 구성 예에 대하여 설명한다. 다른 실시 형태에서는, 제1 영역 추출부(222)에서 클래스 탭으로서 추출되는 복수개의 화소치 패턴을 주목 화소의 특징으로 한다. 이 화소치 패턴은 클래스 탭에 부합한 복수개가 존재하게 되지만, 그 화소치 패턴 각각을 하나의 클래스로 한다.
특징 검출부(224)는 제1 영역 추출부(222)에서 클래스 탭으로서 추출된 복수개의 화소치를 이용하여, 주목 화소에 대한 특징을 클래스 분류하여, 사전에 클래스 탭에 따라 상정되는 복수개의 클래스 중 어느 하나를 나타내는 클래스 코드를 출력한다.
본 실시 형태에 있어서는, 특징 검출부(224)는 제1 영역 추출부(222)의 출력에 대하여, ADRC(Adaptive Dynamic Range Coding)를 행하고, 그 ADRC 출력을 주목 화소의 특징을 나타내는 클래스 코드로서 발생한다.
도 22는 특징 검출부(224)의 일례를 나타낸다. 도 22는 1 비트 ADRC에 의해 클래스 코드를 발생하는 것이다.
동적 범위 검출 회로(121)에는, 상술한 바와 같이, 제1 영역 추출부(222)로부터 클래스 탭으로서 13개 혹은 9개의 화소가 공급된다. 각 화소의 값은, 예를 들면 8 비트로 표현되어 있다. 동적 범위 검출 회로(121)는 클래스 탭으로서의 복 수개의 화소 중의 최대치 MAX와 최소치 MIN을 검출하고, MAX-MIN=DR이 되는 연산에 의해, 동적 범위 DR을 산출한다.
그리고, 동적 범위 검출 회로(121)는 그 출력으로서, 산출한 동적 범위 DR과, 최소치 MIN과, 입력된 복수개 화소의 각각의 화소치 Px를 각각 출력한다.
동적 범위 검출 회로(121)로부터의 복수개의 화소의 화소치 Px는 감산 회로(22)에 순서대로 공급되며, 각 화소치 Px로부터 최소치 MIN이 감산된다. 이에 따라, 각 화소치 Px로부터 최소치 MIN이 제거됨으로써, 정규화된 화소치가 비교 회로(123)에 공급된다.
비교 회로(123)에는 동적 범위 DR을 1/2로 하는 비트 시프트 회로(124)의 출력(DR/2)이 공급되고, 화소치 Px와 DR/2와의 대소 관계가 검출된다. 그리고, 도 23에 도시한 바와 같이, 화소치 Px가 DR/2보다 클 때는 비교 회로(123)의 1 비트의 비교 출력이 "1"이 되고, 그렇지 못할 때는 비교 회로(123)의 1 비트의 비교 출력이 "0"이 된다. 그리고, 비교 회로(123)는 순차적으로 얻어지는 클래스 탭으로서의 복수개의 화소의 비교 출력을 병렬화하여 13 비트 혹은 9 비트의 ADRC 출력을 발생한다.
또한, 동적 범위 DR이 비트수 변환 회로(125)에 공급되며, 양자화에 의해 비트수가 8 비트로부터, 예를 들면 5 비트로 변환된다. 그리고, 이 비트수 변환된 동적 범위와 ADRC 출력이 클래스 코드로서 계수 ROM(225)에 공급된다.
또, 1 비트가 아니라 다중 비트 ADRC를 행하도록 하면, 주목 화소의 특징을 보다 상세히 클래스 분류할 수 있는 것은 물론이다.
다음에, 학습, 즉 계수 ROM(225)에 저장하는 예측 계수를 얻는 처리에 대하여, 도 24를 참조하여 설명한다. 여기서, 도 20의 클래스 분류 적응 처리 해상도 변환 회로(112)에서의 구성 요소와 마찬가지인 구성 요소에는 동일한 참조 부호를 붙였다.
학습을 행하기 위해 이용되는 HD 화상 신호(교사 신호라고 칭함)가 세선화(thining) 처리부(131) 및 정규 방정식 가산부(132)에 공급된다. 세선화 처리부(131)는 HD 화상 신호에 대하여 세선화 처리를 행하여, SD 화상 신호(학생 신호라고 칭함)를 생성하고, 생성한 학생 신호를 필드 메모리(221)에 공급한다. 도 20을 참조하여 설명한 바와 같이, 필드 메모리(221)에는 시간적으로 1 필드 전의 학생 신호의 1 필드가 기억된다.
필드 메모리(221)의 후단에서는, 도 20을 참조하여 상술한 처리와 거의 마찬가지의 처리가 이루어진다. 단, 특징 검출부(224)가 발생하는 클래스 코드 및 제2 영역 추출부(223)가 추출하는 예측 탭은 정규 방정식 가산부(132)에 공급된다. 또한, 정규 방정식 가산부(132)에는 교사 신호가 공급된다. 정규 방정식 가산부(132)는 이들 3 종류의 입력에 기초하여 계수를 생성하기 위해서, 정규 방정식을 생성하는 처리를 행하고, 예측 계수 결정부(133)는 정규 방정식으로부터 클래스 코드마다의 예측 계수를 결정한다. 그리고, 예측 계수 결정부(133)는 결정한 예측 계수를 메모리(134)에 공급한다. 메모리(134)는 공급되는 예측 계수를 기억한다. 메모리(134)에 기억되는 예측 계수와, 계수 ROM(225)(도 20)에 기억되는 예측 계수와는 동일한 것이다.
상술한 수학식 11에서의 예측 계수 w1, …, wn을 클래스마다 결정하는 처리는, 상술한 일 실시 형태에 있어서 수학식 2 ∼ 수학식 8을 참조하여 설명한 것과 마찬가지이기 때문에, 그에 대한 설명을 생략한다.
이상과 같이 하여, 클래스 분류 적응 처리 해상도 변환 회로(112)는 SD 화상의 주목 화소의 특징을 클래스 분류하고, 분류된 클래스에 기초하여, 사전에 준비된 예측 계수를 이용한 추정 연산을 행함으로써, 주목 화소에 대응하는 HD 화상의 복수 화소를 창조한다.
따라서, SD 화상의 주목 화소의 특징에 적확하게 대응하는 예측 계수를 선택할 수 있기 때문에, 그와 같은 예측 계수를 사용하여 추정 연산을 행함으로써, 주목 화소에 대응하는 HD 화상의 복수 화소를 양호하게 창조할 수 있다. 그리고, 움직임이 있는 경우에도 열화가 적은 변환 화상 신호를 얻을 수 있다.
이와 같이, 클래스 분류 적응 처리 해상도 변환 회로(112)에서는 화상의 정지, 움직임에 의존하지 않고 열화가 적은 변환 화상 신호를 얻을 수 있지만, 상술한 바와 같은 완전한 정지 부분이나 팬, 틸트 등과 같이 화상 전체의 단순한 움직임에 관해서는 긴 프레임 정보를 축적할 수 있는 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호에는 뒤떨어진다.
다른 실시 형태에 있어서는, 이상과 같은 2개의 해상도 변환 회로(111, 112)의 특징을 살려서, 출력 선택부(113)로부터 보다 열화가 적은 해상도 변환 출력 화상 신호를 적절하게 얻도록 하고 있다. 즉, 출력 선택부(113)에서는, 그 판정 회 로(114)에서 어느 하나의 해상도 변환 출력을 선택할 것인지를 판정하고, 그 판정 출력에 의해 선택 회로(115)로부터 적절한 해상도 변환 출력 화상 신호가 얻어지도록 제어한다.
다음에, 도 15로 되돌아가서 판정 회로(114)의 상세에 대하여 설명함과 함께, 그에 의한 선택 동작에 대하여 설명한다.
판정 회로(114)에 있어서는, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와, 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호가 차분치 산출 회로(241)에 공급되어 이들 사이의 차분치가 산출된다. 그리고, 그 차분치가 절대치화 회로(242)에서 절대치화되어 비교 판정 회로(243)에 공급된다.
비교 판정 회로(243)에서는, 절대치화 회로(242)로부터의 차분치의 절대치가 사전에 정한 값보다도 큰지의 여부를 판정하고, 그 판정 결과를 선택 신호 생성 회로(249)에 공급한다.
선택 신호 생성 회로(249)는, 절대치화 회로(242)로부터의 차분치의 절대치가 사전에 정한 값보다도 크다는 판정 결과를 비교 판정 회로(243)로부터 받았을 때에는, 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 해상도 변환 화상 신호를 선택 회로(115)에서 선택하도록 하기 위한 선택 제어 신호를 생성하여 선택 회로(115)에 공급한다.
이와 같이 선택하는 것은, 이하와 같은 이유에 따른다. 즉, 상술한 바와 같이, 고밀도 축적 해상도 변환 회로(111)의 경우, 정지나 단순한 팬, 틸트의 화상에 서는 신호의 열화가 적지만, 회전이나 변형과 같은 움직임이나 화상 중 오브젝트의 움직임에 대해서는 화상 신호에 열화가 나타난다. 그 때문에, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와, 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호의 출력 화소의 레벨이 극단적으로 상이한 경우에는, 그것이 열화에 의한 것이라고 생각된다.
따라서, 차분치 산출 회로(241)에서 산출된 차분치의 절대치가 사전에 정한 임계치보다도 큰 경우에는, 움직임에 대응할 수 있는 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호를 이용하는 편이 좋다. 이상의 점으로부터 알 수 있듯이, 차분치 산출 회로(241), 절대치화 회로(242) 및 비교 판정 회로(243)는 화상의 정지/움직임 판정 회로를 구성하는 것이다.
다음에, 비교 판정 회로(243)에서 절대치화 회로(242)로부터의 차분치의 절대치가 사전에 정한 값보다도 작다고 판정하였을 때에는, 선택 신호 생성 회로(249)는 이하에 설명하는 바와 같이, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와, 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호 중에서 액티비티가 많은 쪽의 화소를 선택 회로(115)로부터 출력되도록 하는 선택 제어 신호를 생성하여 선택 회로(115)에 공급한다. 액티비티가 많은 쪽의 화소를 출력함으로써, 보다 액티비티가 많은 흐릿함이 없는 화상을 출력할 수 있다.
또, 액티비티의 규범으로서는, 본 예에서는 HD 상당의 해상도 변환 출력 신호에 대한 SD 화상의 주목 화소 전후의 복수 화소로 이루어지는 특정 영역의 동적 범위를 이용하고 있다.
이 때문에, 판정 회로(114)에서는, 고밀도 축적 해상도 변환 회로(111)로부터의 변환 화상 신호와 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 화상 신호가 각각 액티비티 연산을 위한 영역을 추출하는 영역 추출부(244, 245)에 각각 공급된다.
영역 추출부(244, 245)는 고밀도 축적 해상도 변환 회로(111) 및 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 HD 상당의 해상도 변환 출력 신호에 대하여, 예를 들면 도 25의 (B) 및 도 25의 (C)에서 파선으로 나타낸 바와 같이, SD 화상의 주목 화소 전후의 복수 화소를, 액티비티 연산 영역의 화소로서 추출한다.
액티비티 연산을 위한 영역으로서 추출된 복수 화소는 각각 액티비티로서의 동적 범위를 검출하는 검출부(246, 247)에 공급되어, 각각 영역 내의 액티비티(본 예에서는 동적 범위)가 검출된다. 그리고, 이들의 검출 출력이 비교 회로(248)에 공급되고, 여기서 이들의 동적 범위의 크기가 비교되며, 그 비교 출력이 선택 신호 생성 회로(249)에 공급된다.
선택 신호 생성 회로(249)는, 비교 판정 회로(243)의 판정 출력이 차분치의 절대치가 소정의 임계치보다도 작은 것을 나타내고 있는 경우에 있어서, 비교 회로(248)의 출력에 기초하여, 액티비티 연산 영역으로서 추출된 복수 화소의 동적 범위가 큰 쪽의 해상도 변환 출력을 선택하여 출력하도록 하는 선택 제어 신호를 생성하여, 그것을 선택 회로(115)에 공급한다.
이상의 판정 회로(114) 및 선택 회로(115)의 동작을, 도 26의 흐름도를 참조 하면서 더 설명한다. 이 도 26의 흐름도의 동작은 판정 회로(114)를 소프트웨어 처리에 의해 실현하는 경우에도 상당한다. 이하에서는, 고밀도 축적 해상도 변환 회로(111)의 출력과 클래스 분류 적응 처리 해상도 변환 회로(112)의 출력 중에서 적당한 것을 화소 단위로 선택하는 예에 대하여 설명한다.
우선, 이들 화소의 차분치를 산출하고(단계 S101), 차분치의 절대치가 임계치보다 큰지의 여부를 판정하고(단계 S102), 큰 경우에는 클래스 분류 적응 처리 해상도 변환 회로(112)로부터의 변환 출력 화상 신호를 선택하여 출력한다(단계 S107).
다음에, 이 차분치의 절대치가 작은 경우, 상술한 액티비티 연산 영역 단위로 각각의 액티비티(본 예에서는 동적 범위)를 산출하고(단계 S103, S104), 산출한 각 액티비티를 서로 비교하여(단계 S105), 액티비티가 큰 쪽의 화소를 출력한다(단계 S106, S108). 이에 따라, 보다 액티비티가 많은 흐릿함이 없는 화상이 선택되어 출력된다.
또, 액티비티의 규범으로서는 상술한 예에서는 도 25에 도시한 바와 같은 점선으로 둘러싸인 특정한 영역 내에서의 동적 범위를 이용하도록 하였지만, 이에 한정되는 것은 아니고, 그 이외에도, 예를 들면 특정 영역 내의 분산이나 주목 화소와 그 양 옆의 화소의 차분 절대치합 등을 이용하여도 무방하다.
또한, 이상의 선택 처리의 설명에 있어서는, 화소 단위로 선택하는 경우에 대해 설명하였지만, 화소 단위로 선택하는 것에 한정되지는 않고, 블록 단위, 오브젝트 단위, 프레임 단위 등이어도 된다.
또한, 이상의 예에서는, 하나의 고밀도 축적 해상도 변환 회로의 출력과, 하나의 클래스 분류 적응 처리 해상도 변환 회로의 출력 중에서 양자 택일 선택으로 하였지만, 고밀도 해상도 변환 회로 및/또는 클래스 분류 적응 처리 해상도 변환 회로를 각각 복수개 설치하고, 이들로부터 출력 화상 신호를 선택하도록 하여도 무방하다.
또한, 클래스 분류 적응 처리의 설명에서의 제1 영역 추출부(222) 및 제2 영역 추출부(223)에서의 클래스 탭 및 예측 탭은 일례로서, 이에 한정되는 것이 아님은 물론이다. 또한, 상술한 설명에서는, 클래스 탭과 예측 탭의 구조는 동일한 것으로 하였지만, 이들은 동일한 구조로 하지 않아도 된다.
또한, 상술한 실시 형태는, SD 화상으로부터 HD 화상으로의 변환에 대하여 예시하였지만, 이것에 한정되지 않고, 모든 해상도의 변환에 응용할 수 있다. 또한, 클래스 분류 적응 처리와 고밀도 축적도, 상술한 바와 같은 형태로 한정되는 것은 아니다.
본 발명의 다른 실시 형태는, 처리를 하드웨어에 의해 실시할뿐만 아니라, 소프트웨어에 의해 실시하는 것도 가능하다. 소프트웨어에 의한 처리에 대하여 이하에 설명한다. 도 27은 일 실시 형태에 따른 해상도 변환 처리의 흐름을 나타내는 흐름도이다. 단계 S111 및 S112에서 나타낸 바와 같이, 클래스 분류 적응 처리에 의한 해상도 변환 처리와 고밀도 축적 처리에 의한 해상도 변환 처리가 병행하여 이루어진다. 각각의 처리에서 구해진 출력이 출력 판정 처리에 의해 처리된다(단계 S113). 그리고, 단계 S113에 의한 판정 결과에 따라, 단계 S114에서 출력이 선택된다. 이상으로 1화소당 처리가 종료된다.
도 28은 고밀도 축적 처리에 의한 해상도 변환 처리 단계 S112의 상세를 나타내는 흐름도이다. 최초의 단계 S121에서 초기 입력 프레임 화상을 선형 보간하고, HD의 화소수를 갖는 화상을 형성한다. 이 보간 후의 화상이 프레임 메모리에 저장된다(단계 S122). 단계 S123에서는 다음 프레임에 대하여 마찬가지로 선형 보간이 이루어진다. 그리고, 단계 S124에서 선형 보간으로 얻어진 2 프레임의 화상을 사용하여 움직임 벡터가 검출된다.
단계 S125에서는 검출된 움직임 벡터에 의해 입력 SD 화상이 위상 시프트된다. 위상 시프트된 화상이 화상 축적 처리를 받는다(단계 S126). 다음 단계 S127에 있어서, 축적 결과가 프레임 메모리에 저장된다. 그리고, 프레임 메모리로부터 화상이 출력된다(단계 S128).
도 29는 클래스 분류 적응 처리에 의한 해상도 변환 처리 단계 S111의 상세를 나타내는 흐름도이다. 최초의 단계 S131에서는 제1 영역 추출이 이루어진다. 즉, 클래스 탭이 추출된다. 추출된 클래스 탭에 대하여 단계 S132에 있어서, 특징 검출의 처리가 이루어진다. 사전에 학습 처리에 의해 취득되어 있는 계수 내에서, 검출된 특징에 대응하는 것이 판독된다(단계 S133). 단계 S134에서는 제2 영역(예측 탭)이 추출된다. 단계 S135에서는 계수와 예측 탭을 이용하여 추정 연산이 이루어지며, 업 컨버트된 출력(HD 화상)이 얻어진다.
도 30은 클래스 분류 적응에 의한 해상도 변환 처리에 사용하는 계수를 얻기 위한 학습 처리의 흐름을 나타내는 흐름도이다. 단계 S141에서는 고해상도의 HD 신호(교사 신호)가 세선화 처리됨으로써 학생 신호가 생성된다. 학생 신호에 관하여, 단계 S142에서는 제1 영역(클래스 탭) 추출이 이루어진다. 추출된 클래스 탭에 기초하여 특징 검출이 이루어진다(단계 S143). 다음에 단계 S144에 있어서, 제2 영역(예측 탭) 추출이 이루어진다. 그리고, 단계 S145에서는 교사 화상 신호, 예측 탭의 데이터 및 검출된 특징에 기초하여, 예측 계수를 해로 하는 정규 방정식을 푸는 데 필요한 데이터가 계산된다.
그리고, 단계 S146에서는 정규 방정식의 가산이 종료되었는지의 여부가 결정된다. 종료되지 않은 경우에는 단계 S142(제1 영역 추출 처리)로 처리가 되돌아간다. 처리가 종료되었다고 결정되면, 단계 S147에 있어서 예측 계수가 결정된다. 구해진 예측 계수가 메모리에 저장되고 해상도 변환 처리에서 사용된다.
이상 설명한 바와 같이, 본 발명의 다른 실시 형태에 따르면, 시간 방향의 정보를 길게 처리할 수 있는 고밀도 축적 구조와 클래스 분류 적응 처리의 결과를 화소마다 선택할 수 있기 때문에, 열화가 없는 고화질의 화상을 출력할 수 있다.
본 발명은 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않은 범위 내에서 여러가지의 변형이나 응용이 가능하다.

Claims (52)

  1. 입력 화상 신호를 수신하고, 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리 장치에 있어서,
    출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장하는 저장 수단을 포함하고, 상기 입력 화상 신호와 상기 저장 수단에 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 상기 저장 수단에 상기 제1 화상 신호를 저장하는 제1 신호 처리 수단과,
    상기 출력 화상 신호 중 주목 화소의 위치에 부합하여, 상기 입력 화상 신호의 특징을 추출하고, 상기 특징에 따라 상기 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 상기 클래스에 대응하는 사전에 정해진 연산 방식으로 상기 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 수단과,
    상기 제1 화상 신호와 상기 제2 화상 신호에 대해, 각 화소마다 정지 부분인지 움직임 부분인지를 판정하고, 그 판정 결과에 따라, 상기 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 수단
    을 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 신호 처리 수단은,
    시간적으로 연속하고 있는 다수 프레임의 화상 신호를 누산함으로써 상기 제1 화상 신호를 생성하는 것인 화상 처리 장치.
  3. 제1항에 있어서,
    상기 제2 신호 처리 수단은,
    상기 제2 화상 신호 중 주목 화소 위치에 부합하여 상기 입력 화상 신호로부터 제1 화소 데이터를 추출하는 제1 추출 수단과,
    상기 제1 화소 데이터의 특징을 검출하고, 상기 특징에 따라 상기 주목 화소를 복수 클래스 중 하나로 분류하는 특징 검출 수단과,
    상기 주목 화소 위치에 부합하여, 상기 입력 화상 신호로부터 제2 화소 데이터를 추출하는 제2 추출 수단과,
    상기 클래스마다 상기 제2 화소 데이터를 이용하여 상기 주목 화소 위치의 화소 데이터를 생성하는 방법을 특정하는 방법 정보를 저장하는 저장 수단과,
    상기 방법 정보와 상기 제2 화소 데이터로부터, 상기 주목 화소 위치의 데이터를 생성하는 화소 생성 수단을 포함하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 제1 화상 신호와 상기 제2 화상 신호로부터 판정 정보를 생성하고, 상기 판정 정보에 의해 상기 출력 선택 수단을 제어하도록 한 화상 처리 장치.
  5. 제1항에 있어서,
    상기 출력 화상 신호는 상기 입력 화상 신호보다도 노이즈 성분이 적은 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 제1 신호 처리 수단은,
    상기 저장 수단에 기억되어 있는 화상 신호와, 입력 화상 신호를, 상기 입력 화상 신호에 의한 화상의 정지/움직임에 부합한 가중치 부여를 행하여 가산하고, 그 가산 출력에 의해 상기 저장 수단의 화상 신호를 재기입함으로써, 상기 가산 출력으로서 노이즈가 제거된 제1 화상 신호를 생성하고,
    상기 제2 신호 처리 수단은,
    복수 프레임 사이에서, 화상 상의 대응하는 화소를 추출하고, 이들 화소의 프레임 간의 변화에 따라 상기 화소의 노이즈 성분을 상기 특징으로 하여 클래스 분류하고, 분류된 클래스에 대응하여 사전에 설정되어 있는 연산 처리에 의해 상기 입력 화상 신호로부터 노이즈 성분이 제거된 제2 화상 신호를 생성하고,
    상기 출력 선택 수단은, 상기 제1 및 제2 화상 신호에 따라 소정수의 화소 단위로 화상의 정지/움직임을 판정하고, 그 판정 결과에 따라 상기 소정수의 화소 단위로 상기 제1 화상 신호와 상기 제2 화상 신호 중 한쪽을 선택하여 출력하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 출력 선택부는,
    상기 소정수의 화소가 화상의 정지 부분인지 움직임 부분인지를 판정하는 판정부와,
    상기 판정부의 판정 결과에 기초하여, 정지 부분의 화소에 대해서는 상기 제1 화상 신호를 선택하여 출력하고, 움직임 부분의 화소에 대해서는 상기 제2 화상 신호를 선택하여 출력하는 선택부를 구비하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 판정부는,
    상기 소정수의 화소마다 상기 제1 화상 신호와 상기 제2 화상 신호와의 차분치를 산출하는 차분치 산출부와,
    상기 차분치의 절대치와 사전에 설정된 임계치와의 비교 결과에 기초하여, 상기 차분치의 절대치가 상기 임계치 이상인 경우에는 상기 움직임 부분의 화소인 것을 나타내는 판정치를 출력하고, 상기 차분치의 절대치가 상기 임계치보다 작은 경우에는 정지 부분의 화소인 것을 나타내는 판정치를 출력하는 비교부를 구비하는 화상 처리 장치.
  9. 제6항에 있어서,
    상기 제1 신호 처리 수단은,
    상기 입력 화상 신호에 의한 화상의 정지/움직임 판정을 행하는 움직임 판정 부와,
    상기 움직임 판정부에서의 정지/움직임 판정에 부합하여, 상기 입력 화상 신호와 상기 저장 수단에 기억되어 있는 화상 신호에 가중치 부여를 행하는 가중치 부여부와,
    상기 가중치 부여된 입력 화상 신호와 상기 저장 수단으로부터의 화상 신호를 가산하는 가산부를 구비하고,
    상기 저장 수단의 화상 신호는 상기 가산부로부터의 화상 신호에 재기입되는 화상 처리 장치.
  10. 제6항에 있어서,
    상기 제2 신호 처리 수단은,
    상기 입력 화상 신호에 의한 화상 중의 주목 화소에 대한 움직임 정보를 검출하는 움직임 정보 검출부와,
    상기 움직임 정보 검출부에서 검출된 상기 움직임 정보를 이용하여, 복수 프레임에 대하여, 상기 주목 화소에 대응한 위치의 복수의 화소를 클래스 탭으로서 추출하는 클래스 탭 추출부와,
    상기 클래스 탭 추출부에서 추출된 상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 노이즈 성분을 클래스 분류하는 클래스 분류부와,
    상기 클래스 분류부에 의해 분류된 클래스에 따라 해당 클래스에 대응하는 연산 처리를 결정하고, 그 결정한 연산 처리에 의해 상기 주목 화소에 대한 노이즈 성분을 제거한 화상 신호를 생성하는 연산 처리부를 구비하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 클래스 분류부에서 이용하는 상기 클래스 탭의 특징은, 상기 클래스 탭으로서의 상기 복수의 화소의 노이즈 성분 분포인 화상 처리 장치.
  12. 제10항에 있어서,
    상기 연산 처리부에서는,
    상기 주목 화소에 대응한 위치의 복수 화소의 화소치와, 상기 클래스 분류부에서 분류된 클래스에 부합하여 사전에 설정되어 있는 상기 복수의 화소에 대한 연산 계수와의 연산을 행함으로써, 상기 주목 화소에 대한 노이즈 성분을 제거한 화상 신호를 생성하는 화상 처리 장치.
  13. 제10항에 있어서,
    상기 연산 처리부에서 이용하는 상기 연산 계수는, 사전에 구해지는 예측 계수로서,
    상기 입력 화상 신호보다 노이즈가 적은 교사 화상 데이터로부터 주목 화소를 추출하는 단계와,
    상기 입력 화상 신호와 동등한 노이즈를 갖는 학생 화상 데이터로부터 상기 주목 화소에 대한 움직임 정보를 검출하는 단계와,
    상기 주목 화소에 대하여 검출된 상기 움직임 정보에 부합하여, 복수 프레임의 상기 학생 화상 데이터로부터 상기 주목 화소에 대응한 위치의 복수 화소를 클래스 탭으로서 추출하는 단계와,
    상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 노이즈 성분을 클래스 분류하는 단계와,
    상기 교사 신호로부터 추출된 상기 주목 화소에 대응하는 화소와 동일한 화질을 갖는 출력 신호를 상기 학생 신호로부터 생성하기 위한 예측 계수를 상기 클래스 분류된 클래스마다 도출하는 단계
    에 의해 상기 예측 계수로서 구해지는 화상 처리 장치.
  14. 제1항에 있어서,
    상기 출력 화상 신호는 상기 입력 화상 신호보다도 고해상도인 것을 특징으로 하는 화상 처리 장치.
  15. 제14항에 있어서,
    상기 제1 신호 처리 수단은,
    상기 저장 수단에 기억되어 있는 화상 신호에 의한 화상과, 상기 입력 화상 신호에 의한 화상 사이에서의 움직임을 참조하여 화소 위치를 보정하면서, 상기 입력 화상 신호를 상기 저장 수단에 축적하도록 함으로써, 상기 저장 수단에 상기 고해상도의 제1 화상 신호를 생성하고,
    상기 제2 신호 처리 수단은,
    주목 화소와 그 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소를 이용하여 상기 특징을 검출하고, 상기 특징에 따라 클래스 분류함으로써, 상기 고해상도의 제2 화상 신호를 생성하는 화상 처리 장치.
  16. 제15항에 있어서,
    상기 출력 선택부는,
    상기 제1 및 제2 화상 신호에 의한 화상의 움직임과 액티비티를 각각 소정수의 화소 단위로 판정하는 판정부와,
    상기 판정부의 판정 결과에 따라, 상기 제1 및 제2 화상 신호 중 어느 한쪽을 소정수의 화소 단위로 선택하는 선택부를 구비하는 화상 처리 장치.
  17. 제16항에 있어서,
    상기 판정부는,
    상기 소정수의 화소마다 상기 제1 화상 신호와 상기 제2 화상 신호와의 차분치를 산출하는 차분치 산출부와,
    상기 차분치의 절대치와 사전에 설정된 임계치와의 비교 결과에 기초하여, 상기 차분치의 절대치가 상기 임계치 이상인 경우에는 상기 소정수의 화소 부분이 움직임 부분인 것을 나타내는 판정치를 출력하고, 상기 차분치의 절대치가 상기 임 계치보다 작은 경우에는 상기 소정수의 화소 부분이 정지 부분인 것을 나타내는 판정치를 출력하는 비교부를 갖는 화상 처리 장치.
  18. 제16항에 있어서,
    상기 판정부는,
    상기 소정수의 화소마다의 정지/움직임을 판정하는 정지/움직임 판정부와,
    상기 정지/움직임 판정부에서 상기 소정수의 화소 부분이 움직임 부분이라고 판정될 때에, 상기 선택부에 대하여 상기 제2 화상 신호를 선택하여 출력하도록 하기 위한 신호를 공급하는 선택 신호 생성부를 구비하는 화상 처리 장치.
  19. 제16항에 있어서,
    상기 판정부는,
    상기 소정수의 화소마다의 정지/움직임을 판정하는 정지/움직임 판정부와,
    상기 제1 화상 신호와 상기 제2 화상 신호 중 어느 화상의 액티비티가 보다 큰지를 판정하는 액티비티 판정부와,
    상기 정지/움직임 판정부에서 상기 소정수의 화소 부분이 정지 부분이라고 판정될 때에, 상기 액티비티 판정부에서의 판정 결과에 기초하여, 상기 제1 및 제2 화상 신호 중 상기 화상의 액티비티가 보다 높은 쪽을 선택하여 출력하기 위한 신호를 상기 선택부에 공급하는 선택 신호 생성부를 갖는 화상 처리 장치.
  20. 제19항에 있어서,
    상기 액티비티 판정부는,
    상기 제1 및 제2 화상 신호에 대하여 각각 소정 영역 내에서의 복수 화소의 화소치의 동적 범위를 산출하고, 산출된 2개의 동적 범위를 비교함으로써, 액티비티의 고저를 판정하는 화상 처리 장치.
  21. 제15항에 있어서,
    상기 제1 신호 처리 수단은,
    상기 저장 수단에 기억되어 있는 화상 신호에 의한 화상과, 상기 입력 화상 신호에 의한 화상 사이의 움직임을 검출하는 움직임 검출부와,
    상기 움직임 검출부에서 검출된 움직임에 의해 화소 위치를 보정하여, 상기 입력 화상 신호를 상기 저장 수단에 기억되어 있는 화상 신호에 가산하여 축적하는 화상 축적 처리부를 구비하는 화상 처리 장치.
  22. 제15항에 있어서,
    상기 제2 신호 처리 수단은,
    상기 입력 화상 신호에 의한 화상 중의 주목 화소와 그 주목 화소의 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소를 클래스 탭으로서 추출하는 클래스 탭 추출부와,
    상기 클래스 탭 추출부에서 추출된 상기 클래스 탭의 특징에 따라 클래스 분류하는 클래스 분류부와,
    상기 클래스 분류부에 의해 분류된 클래스에 따라 해당 클래스에 대응하는 화상 변환 연산 처리를 결정하고, 그 결정한 연산 처리에 의해 상기 주목 화소에 대응하는 상기 고해상도의 화상 중 복수 화소를 생성함으로써, 상기 제2 화상 신호를 생성하는 연산 처리부를 갖는 화상 처리 장치.
  23. 제22항에 있어서,
    상기 클래스 분류부는,
    상기 클래스 탭의 특징을 상기 클래스 탭으로서의 상기 복수 화소의 화소치의 패턴에 따라 클래스 분류하는 것을 특징으로 하는 화상 처리 장치.
  24. 제22항에 있어서,
    상기 연산 처리부에서는,
    상기 클래스 탭에 대응하여 상기 입력 화상 신호에 대하여 사전에 정해진 영역의 복수개의 화소와, 상기 클래스 분류부에서 분류된 클래스에 따라 사전에 설정되어 있는 상기 복수개의 화소에 대한 연산 계수와의 연산을 행함으로써, 상기 주목 화소에 대응하는 상기 고해상도의 화상 중 복수 화소를 생성하는 화상 처리 장치.
  25. 제24항에 있어서,
    상기 연산 처리부에서 이용하는 상기 연산 계수는, 사전에 구해지는 예측 계수로서,
    상기 출력 화상 신호와 동일한 화질을 갖는 교사 신호로부터 상기 주목 화소에 대응하는 복수개의 화소를 추출하는 단계와,
    상기 입력 화상 신호와 동일한 화질을 갖는 학생 신호로부터, 상기 주목 화소 및 그 시간적 및 공간적인 주위 화소를 포함하는 복수의 화소를 클래스 탭으로서 추출하는 단계와,
    상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 특징을 클래스 분류하는 단계와,
    상기 교사 신호로부터 추출된 상기 주목 화소에 대응하는 화소와 동일한 화질을 갖는 출력 신호를 상기 학생 신호로부터 생성하기 위한 예측 계수를, 상기 클래스 분류된 클래스마다 도출하는 단계
    에 의해 상기 예측 계수로서 구해지는 화상 처리 장치.
  26. 입력 화상 신호를 수신하고, 상기 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리 방법에 있어서,
    출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장 수단에 저장하고, 상기 입력 화상 신호와 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 상기 제1 화상 신호를 상기 저장 수단에 저장하는 제1 신호 처리 단계와,
    상기 출력 화상 신호 중의 주목 화소 위치에 부합하여, 상기 입력 화상 신호의 특징을 추출하고, 상기 특징에 따라 상기 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 상기 클래스에 대응하여 사전에 정해진 연산 방식으로 상기 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 단계와,
    상기 제1 화상 신호와 상기 제2 화상 신호에 대해, 각 화소마다 정지 부분인지 움직임 부분인지를 판정하고, 그 판정 결과에 따라, 상기 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 단계
    를 갖는 화상 처리 방법.
  27. 제26항에 있어서,
    상기 제1 신호 처리 단계는,
    시간적으로 연속하고 있는 다수 프레임의 화상 신호를 누산함으로써 상기 제1 화상 신호를 생성하는 것인 화상 처리 방법.
  28. 제26항에 있어서,
    상기 제2 신호 처리 단계는,
    상기 제2 화상 신호 중의 주목 화소 위치에 부합하여, 상기 입력 화상 신호로부터 제1 화소 데이터를 추출하는 제1 추출 단계와,
    상기 제1 화소 데이터의 특징을 검출하고, 상기 특징에 따라 상기 주목 화소를 복수 클래스 중 하나로 분류하는 특징 검출 단계와,
    상기 주목 화소 위치에 부합하여, 상기 입력 화상 신호로부터 제2 화소 데이터를 추출하는 제2 추출 단계와,
    상기 클래스마다 상기 제2 화소 데이터를 이용하여 상기 주목 화소 위치의 화소 데이터를 생성하는 방법을 특정하는 방법 정보를 저장하는 저장 단계와,
    상기 방법 정보와 상기 제2 화소 데이터로부터 상기 주목 화소 위치의 데이터를 생성하는 화소 생성 단계를 갖는 화상 처리 방법.
  29. 제26항에 있어서,
    상기 제1 화상 신호와 상기 제2 화상 신호로부터 판정 정보를 생성하고, 상기 판정 정보에 따라 상기 제1 및 제2 화상 신호의 한쪽을 출력으로서 선택하도록 한 화상 처리 방법.
  30. 제26항에 있어서,
    상기 출력 화상 신호는 상기 입력 화상 신호보다도 노이즈 성분이 적은 것을 특징으로 하는 화상 처리 방법.
  31. 제30항에 있어서,
    상기 제1 신호 처리 단계는, 저장 수단에 기억되어 있는 화상 신호와, 입력 화상 신호를 상기 입력 화상 신호에 의한 화상의 정지/움직임에 부합한 가중치 부여를 행하여 가산하고, 그 가산 출력에 따라 상기 저장 수단의 화상 신호를 재기입함으로써, 상기 가산 출력으로서 노이즈가 제거된 제1 화상 신호를 생성하고,
    상기 제2 신호 처리 단계는, 복수 프레임 사이에서 화상 상의 대응하는 화소를 추출하고, 이들 화소의 프레임 간의 변화에 따라 상기 화소의 노이즈 성분을 특징으로 하여 클래스 분류하고, 분류된 클래스에 대응하여 사전에 설정되어 있는 연산 처리에 의해 상기 입력 화상 신호로부터 노이즈 성분이 제거된 제2 화상 신호를 생성하고,
    상기 출력 선택 단계는, 소정수의 화소 단위로 화상의 정지/움직임을 판정하고, 그 판정 결과에 따라, 상기 소정수의 화소 단위로 상기 제1 화상 신호와 상기 제2 화상 신호와의 한쪽을 선택하여 출력하는 화상 처리 방법.
  32. 제31항에 있어서,
    상기 출력 선택 단계는,
    상기 소정수의 화소가 화상의 정지 부분인지 움직임 부분인지를 판정하는 판정 단계와,
    상기 판정 단계에서의 판정 결과에 기초하여, 정지 부분의 화소에 대해서는 상기 제1 화상 신호를 선택하여 출력하고, 움직임 부분의 화소에 대해서는 상기 제2 화상 신호를 선택하여 출력하는 선택 단계를 갖는 화상 처리 방법.
  33. 제32항에 있어서,
    상기 판정 단계는,
    상기 소정수의 화소마다 상기 제1 화상 신호와 상기 제2 화상 신호와의 차분치를 산출하는 차분치 산출 단계와,
    상기 차분치 산출 단계에서 산출된 상기 차분치의 절대치와 사전에 설정된 임계치와의 비교 결과에 기초하여, 상기 차분치의 절대치가 상기 임계치 이상인 경우에는 상기 움직임 부분의 화소인 것을 나타내는 판정치를 출력하고, 상기 차분치의 절대치가 상기 임계치보다 작은 경우에는 상기 정지 부분의 화소인 것을 나타내는 판정치를 출력하는 비교 단계를 갖는 화상 처리 방법.
  34. 제31항에 있어서,
    상기 제1 신호 처리 단계는,
    상기 입력 화상 신호에 의한 화상의 정지/움직임 판정을 행하는 움직임 판정 단계와,
    상기 움직임 판정 단계에서의 정지/움직임 판정에 따라, 상기 입력 화상 신호와 상기 저장 수단에 기억되어 있는 화상 신호에 가중치 부여를 행하는 가중치 부여 단계와,
    상기 가중치 부여된 입력 화상 신호와 상기 저장 수단으로부터의 화상 신호를 가산하는 가산 단계를 포함하고,
    상기 저장 수단의 화상 신호는 상기 가산 단계로부터의 화소 신호에 재기입되는 화상 처리 방법.
  35. 제31항에 있어서,
    상기 제2 신호 처리 단계는,
    상기 입력 화상 신호에 의한 화상 중의 주목 화소에 대한 움직임 정보를 검출하는 움직임 정보 검출 단계와,
    상기 움직임 정보 검출 단계에서 검출된 상기 움직임 정보를 이용하여, 복수 프레임에 대하여 상기 주목 화소에 대응한 위치의 복수의 화소를 클래스 탭으로서 추출하는 클래스 탭 추출 단계와,
    상기 클래스 탭 추출 단계에서 추출된 상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 노이즈 성분을 클래스 분류하는 클래스 분류 단계와,
    상기 클래스 분류 단계에 의해 분류된 클래스에 따라 해당 클래스에 대응하는 연산 처리를 결정하고, 그 결정한 연산 처리에 의해 상기 주목 화소에 대한 노이즈 성분을 제거한 화상 신호를 생성하는 연산 처리 단계를 포함하는 화상 처리 방법.
  36. 제35항에 있어서,
    상기 클래스 분류 단계에서 이용하는 상기 클래스 탭의 특징은, 상기 클래스 탭으로서의 상기 복수 화소의 노이즈 성분 분포인 화상 처리 방법.
  37. 제35항에 있어서,
    상기 연산 처리 단계에서는,
    상기 주목 화소에 대응한 위치의 복수 화소의 화소치와, 상기 클래스 분류 단계에서 분류된 클래스에 부합하여 사전에 설정되어 있는 상기 복수의 화소에 대한 연산 계수와의 연산을 행함으로써, 상기 주목 화소에 대한 노이즈 성분을 제거한 화상 신호를 생성하는 화상 처리 방법.
  38. 제37항에 있어서,
    상기 연산 계수는 사전에 구해지는 예측 계수로서,
    상기 입력 화상 신호보다 노이즈가 적은 교사 화상 데이터로부터 주목 화소를 추출하는 단계와,
    상기 입력 화상 신호와 동등한 노이즈를 갖는 학생 화상 데이터로부터 상기 주목 화소에 대한 움직임 정보를 검출하는 단계와,
    상기 주목 화소에 대하여 검출된 상기 움직임 정보에 부합하여, 복수 프레임의 상기 학생 화상 데이터로부터 상기 주목 화소에 대응한 위치의 복수의 화소를 클래스 탭으로서 추출하는 단계와,
    상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 노이즈 성분을 클래스 분류하는 단계와,
    상기 교사 신호로부터 추출된 상기 주목 화소에 대응한 위치의 복수의 화소와 동일한 화질을 갖는 출력 신호를 상기 학생 신호로부터 생성하기 위한 예측 계수를, 상기 클래스 분류된 클래스마다 도출하는 단계
    에 의해 상기 예측 계수로서 산출하는 화상 처리 방법.
  39. 제26항에 있어서,
    상기 출력 화상 신호는 상기 입력 화상 신호보다도 고해상도인 것을 특징으로 하는 화상 처리 방법.
  40. 제39항에 있어서,
    상기 제1 신호 처리 단계는, 저장 수단에 기억되어 있는 화상 신호에 의한 상기 출력 화상 신호의 화상의 해상도와 동일한 해상도의 화상과, 상기 입력 화상 신호에 의한 화상 사이에서의 움직임을 참조하여 화소 위치를 보정하면서, 상기 입력 화상 신호를 상기 저장 수단에 축적하도록 함으로써, 상기 저장 수단에 고해상도의 상기 제1 화상 신호를 생성하고,
    상기 제2 신호 처리 단계는, 주목 화소와 그 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소를 이용하여 상기 특징을 검출하고, 상기 특징에 따라 클래스 분류함으로써 상기 제2 화상 신호를 생성하고,
    상기 출력 선택 단계는 상기 제1 및 제2 화상 신호의 한쪽을 선택적으로 출력하는 화상 처리 방법.
  41. 제40항에 있어서,
    상기 출력 선택 단계는,
    상기 제1 및 제2 화상 신호에 의한 화상의 움직임과 액티비티를 각각 소정수 의 화소 단위로 판정하는 판정 단계와,
    상기 판정 단계에서의 판정 결과에 부합하여, 상기 제1 및 제2 화상 신호 중 어느 한쪽을 소정수의 화소 단위로 선택하는 선택 단계를 포함하는 화상 처리 방법.
  42. 제41항에 있어서,
    상기 판정 단계는,
    상기 소정수의 화소마다 상기 제1 및 제2 화상 신호의 차분치를 산출하는 차분치 산출 단계와,
    상기 차분치의 절대치와 사전에 설정된 임계치와의 비교 결과에 기초하여, 상기 차분치의 절대치가 상기 임계치 이상의 경우에는 상기 소정수의 화소 부분이 움직임 부분인 것을 나타내는 판정치를 출력하고, 상기 차분치의 절대치가 상기 임계치보다 작은 경우에는 상기 소정수의 화소 부분이 정지 부분인 것을 나타내는 판정치를 출력하는 비교 단계를 포함하는 화상 처리 방법.
  43. 제41항에 있어서,
    상기 판정 단계는,
    상기 소정수의 화소마다의 정지/움직임을 판정하는 정지/움직임 판정 단계와,
    상기 정지/움직임 판정부에서 상기 소정수의 화소 부분이 움직임 부분이라고 판정될 때에 상기 선택부에 대하여 상기 제2 화상 신호를 선택하여 출력하기 위한 신호를 공급하는 선택 신호 생성 단계를 포함하는 화상 처리 방법.
  44. 제41항에 있어서,
    상기 판정 단계는,
    상기 소정수의 화소마다의 정지/움직임을 판정하는 정지/움직임 판정 단계와,
    상기 제1 및 제2 화상 신호 중 어느 하나의 화상의 액티비티가 보다 큰지를 판정하는 액티비티 판정 단계와,
    상기 정지/움직임 판정 단계에서 상기 소정수의 화소 부분이 정지 부분이라고 판정될 때에 상기 액티비티 판정 단계에서의 판정 결과에 기초하여, 상기 제1 및 제2 화상 신호 중 상기 화상의 액티비티가 보다 큰 쪽을 선택하여 출력하기 위한 신호를 상기 선택부에 공급하는 선택 신호 생성 단계를 갖는 화상 처리 방법.
  45. 제44항에 있어서,
    상기 액티비티 판정 단계는,
    상기 제1 및 제2 화상 신호에 대하여 각각 소정 영역 내에서의 복수 화소의 화소치의 동적 범위를 산출하고 이들 2개의 동적 범위를 비교함으로써, 액티비티의 고저를 판정하는 화상 처리 방법.
  46. 제40항에 있어서,
    상기 제1 신호 처리 단계는,
    상기 저장 수단에 기억되어 있는 화상 신호에 의한 화상과, 상기 입력 화상 신호에 의한 화상 사이의 움직임을 검출하는 움직임 검출 단계와,
    상기 움직임 검출 단계에서 검출된 움직임에 따라 화소 위치를 보정하여, 상기 입력 화상 신호를 상기 저장 수단에 기억되어 있는 화상 신호에 가산하여 축적하는 화상 축적 처리 단계를 포함하는 화상 처리 방법.
  47. 제40항에 있어서,
    상기 제2 신호 처리 단계는,
    상기 입력 화상 신호에 의한 화상 중 주목 화소와, 그 시간적 및 공간적인 주위 화소를 포함하는 복수개의 화소를 클래스 탭으로서 추출하는 클래스 탭 추출 단계와,
    상기 클래스 탭 추출 단계에서 추출된 상기 클래스 탭의 특징에 따라 클래스 분류하는 클래스 분류 단계와,
    상기 클래스 분류 단계에 의해 분류된 클래스에 따라 해당 클래스에 대응하는 화상 변환 연산 처리를 결정하고, 그 결정한 연산 처리에 의해 상기 고해상도의 화상 신호를 생성하는 연산 처리 단계를 갖는 화상 처리 방법.
  48. 제47항에 있어서,
    상기 클래스 분류 단계는,
    상기 클래스 탭의 특징을 상기 클래스 탭으로서의 상기 복수 화소의 화소치의 패턴에 따라 클래스 분류하는 화상 처리 방법.
  49. 제47항에 있어서,
    상기 연산 처리 단계에서는,
    상기 클래스 탭에 대응하여 상기 입력 화상 신호에 대하여 사전에 정해진 영역의 복수개의 화소와, 상기 클래스 분류부에서 분류된 클래스에 부합하여 사전에 설정되어 있는 상기 복수개의 화소에 대한 연산 계수와의 연산을 행함으로써, 상기 주목 화소에 대한 상기 출력 화상 신호를 생성하는 화상 처리 방법.
  50. 제47항에 있어서,
    상기 연산 처리 단계에서 이용하는 상기 연산 계수는 사전에 구해지는 예측 계수로서,
    상기 출력 화상 신호와 동일한 화질을 갖는 교사 신호로부터 상기 주목 화소에 대응하는 복수개의 화소를 추출하는 단계와,
    상기 입력 화상 신호와 동일한 화질을 갖는 학생 신호로부터 상기 주목 화소에 대응한 위치의 복수의 화소를 클래스 탭으로서 추출하는 단계와,
    상기 클래스 탭의 특징에 따라 상기 주목 화소에 대한 특징을 클래스 분류하는 단계와,
    상기 교사 신호로부터 추출된 상기 주목 화소에 대응하는 화소와 동일한 화질을 갖는 출력 신호를 상기 학생 신호로부터 생성하기 위한 예측 계수를, 상기 클래스 분류된 클래스마다 도출하는 단계
    에 의해 상기 예측 계수로서 산출하는 화상 처리 방법.
  51. 삭제
  52. 컴퓨터에 대하여 입력 화상 신호보다 고품질인 출력 화상 신호를 생성하는 화상 처리를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 있어서,
    출력 화상 신호와 동일한 화질을 갖는 화상 신호를 저장 수단에 저장하고, 상기 입력 화상 신호와 저장된 화상을 가산함으로써, 입력 화상보다 고품질인 제1 화상 신호를 생성함과 함께, 상기 제1 화상 신호를 상기 저장 수단에 저장하는 제1 신호 처리 단계와,
    상기 출력 화상 신호 중의 주목 화소 위치에 부합하여, 상기 입력 화상 신호의 특징을 추출하고, 상기 특징에 따라 상기 주목 화소를 복수 클래스 중 하나로 분류하고, 분류된 상기 클래스에 대응하여 사전에 정해진 연산 방식으로 상기 입력 화상 신호를 연산함으로써, 입력 화상보다 고품질인 제2 화상 신호를 생성하는 제2 신호 처리 단계와,
    상기 제1 화상 신호와 상기 제2 화상 신호에 대해, 각 화소마다 정지 부분인지 움직임 부분인지를 판정하고, 그 판정 결과에 따라, 상기 제1 및 제2 화상 신호 중 한쪽을 출력 화상 신호로서 선택하는 출력 선택 단계
    를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020027001976A 2000-06-15 2001-06-15 화상 처리 장치, 화상 처리 방법, 및 기록 매체 KR100816593B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2000-00179341 2000-06-15
JPJP-P-2000-00179342 2000-06-15
JP2000179341A JP4407015B2 (ja) 2000-06-15 2000-06-15 ノイズ除去装置およびノイズ除去方法
JP2000179342A JP4470282B2 (ja) 2000-06-15 2000-06-15 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20020062274A KR20020062274A (ko) 2002-07-25
KR100816593B1 true KR100816593B1 (ko) 2008-03-24

Family

ID=26593971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027001976A KR100816593B1 (ko) 2000-06-15 2001-06-15 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Country Status (2)

Country Link
KR (1) KR100816593B1 (ko)
WO (1) WO2001097510A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4026491B2 (ja) * 2002-12-13 2007-12-26 ソニー株式会社 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体
JP4214459B2 (ja) 2003-02-13 2009-01-28 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4143916B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101108634B1 (ko) 2004-01-06 2012-01-31 소니 주식회사 화상 처리 장치 및 화상 처리 방법 및 기록 매체
JP4510749B2 (ja) * 2005-11-16 2010-07-28 Ｋｄｄｉ株式会社 ショット境界検出装置
US8411205B2 (en) 2007-07-11 2013-04-02 Olympus Corporation Noise reducing image processing apparatus
WO2010064316A1 (ja) * 2008-12-05 2010-06-10 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
EP2184914A1 (en) 2008-07-16 2010-05-12 Panasonic Corporation Image processing device, image processing method, program, recording medium, and integrated circuit
JP7487611B2 (ja) 2020-08-24 2024-05-21 株式会社リコー 画像形成装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101579A (ja) * 1990-08-21 1992-04-03 Toshiba Corp テレビジョン信号の処理装置
JPH0612294A (ja) * 1992-06-26 1994-01-21 Sekisui Chem Co Ltd 監視装置
JPH114415A (ja) 1997-06-12 1999-01-06 Sony Corp 画像変換装置、画像変換方法、学習装置、学習方法、および、伝送媒体
JP2000059652A (ja) * 1998-08-07 2000-02-25 Sony Corp ノイズ除去装置及びノイズ除去方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3098239B2 (ja) * 1987-11-30 2000-10-16 日本電気株式会社 画像信号の雑音除去方法
JP3326827B2 (ja) * 1992-10-08 2002-09-24 ソニー株式会社 ノイズ除去回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101579A (ja) * 1990-08-21 1992-04-03 Toshiba Corp テレビジョン信号の処理装置
JPH0612294A (ja) * 1992-06-26 1994-01-21 Sekisui Chem Co Ltd 監視装置
JPH114415A (ja) 1997-06-12 1999-01-06 Sony Corp 画像変換装置、画像変換方法、学習装置、学習方法、および、伝送媒体
JP2000059652A (ja) * 1998-08-07 2000-02-25 Sony Corp ノイズ除去装置及びノイズ除去方法

Also Published As

Publication number Publication date
KR20020062274A (ko) 2002-07-25
WO2001097510A1 (en) 2001-12-20

Similar Documents

Publication Publication Date Title
US7085318B2 (en) Image processing system, image processing method, program, and recording medium
JP4725001B2 (ja) 画像処理装置及び方法、並びに記録媒体
JP5052301B2 (ja) 画像処理装置、画像処理方法
JP4489033B2 (ja) フレームレート変換装置、パン・チルト判定装置および映像装置
US7710498B2 (en) Image processing apparatus, image processing method and program
Patti et al. Robust methods for high-quality stills from interlaced video in the presence of dominant motion
WO2010026839A1 (ja) 映像信号変換システム
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR100816593B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4517409B2 (ja) データ処理装置およびデータ処理方法
JP4407015B2 (ja) ノイズ除去装置およびノイズ除去方法
JPH0795591A (ja) ディジタル画像信号処理装置
KR20070094521A (ko) 화상 처리 장치 및 화상처리 방법과 프로그램
JP3362463B2 (ja) フレーム補間装置
CN100407766C (zh) 用于处理图像的方法和设备
KR100982625B1 (ko) 정보 신호의 처리 장치 및 처리 방법
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
JP4078806B2 (ja) 画像処理装置、画像処理方法、学習装置および学習方法
JP4096281B2 (ja) 画像処理装置および画像処理方法、並びに媒体
JP4470282B2 (ja) 画像処理装置および画像処理方法
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
JP2010062956A (ja) フィルタリング処理装置及びフィルタリング処理方法
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
JP3922286B2 (ja) 係数学習装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120312

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee