KR20020074201A - 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그것에사용되는 계수종 데이터 생성 장치 및 생성 방법, 그리고정보 제공 매체 - Google Patents
정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그것에사용되는 계수종 데이터 생성 장치 및 생성 방법, 그리고정보 제공 매체 Download PDFInfo
- Publication number
- KR20020074201A KR20020074201A KR1020027009130A KR20027009130A KR20020074201A KR 20020074201 A KR20020074201 A KR 20020074201A KR 1020027009130 A KR1020027009130 A KR 1020027009130A KR 20027009130 A KR20027009130 A KR 20027009130A KR 20020074201 A KR20020074201 A KR 20020074201A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- information
- coefficient
- class
- signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 194
- 238000001514 detection method Methods 0.000 claims description 63
- 230000014509 gene expression Effects 0.000 claims description 51
- 238000010606 normalization Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000003672 processing method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 description 94
- 230000008569 process Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 25
- 238000013139 quantization Methods 0.000 description 25
- 230000015572 biosynthetic process Effects 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 230000008030 elimination Effects 0.000 description 17
- 238000003379 elimination reaction Methods 0.000 description 17
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 발명은, 예를 들면 SD 신호를 HD 신호로 변환할 때 적용하기에 적합한 정보 신호 처리 장치 등에 관한 것이다. SD 신호로부터 선택적으로 추출된, HD 신호의 주목 위치에 대응하는 탭의 화소 데이터를 이용하여 주목 위치의 화소 데이터가 속하는 클래스(CL)를 얻는다. 계수 생성 회로(136)에서, 각 클래스의 계수종 데이터와 사용자 조작에 의한 화질 조정 파라미터 h, v 값에 기초하여 각 클래스의 계수 데이터 Wi를 생성한다. 연산 회로(127)에서, 탭 선택 회로(121)에서 SD 신호로부터 선택적으로 추출된, HD 신호의 주목 위치에 대응하는 탭의 데이터(xi)와, 메모리(134)로부터 판독된 클래스(CL)에 대응하는 계수 데이터 Wi를 이용하여, 추정식을 사용하여 HD 신호의 주목 위치의 화소 데이터를 구한다. 임의의 파라미터 값에 대응하는 계수 데이터 Wi를 생성할 수 있어 메모리의 절약을 도모할 수 있다.
Description
최근, 오디오·비주얼 지향의 고조로, 보다 고해상도의 화상을 얻을 수 있는 TV 수상기의 개발이 요망되고, 이 요망에 부응하여 소위 하이비전이 개발되었다. 하이비전의 주사선 수는 NTSC 방식의 주사선 수가 525개임에 비해 2배 이상인 1125개이다. 또한, 하이비전의 종횡비는 NTSC 방식의 종횡비가 3:4임에 비해 9:16으로 되어 있다. 따라서, 하이비전에서는 NTSC 방식에 비해 고해상도로 현장감 있는 화상을 표시할 수 있다.
하이비전은 이와 같이 우수한 특성을 갖지만, NTSC 방식의 비디오 신호를 그대로 공급해도 하이비전 방식에 의한 화상 표시를 실행할 수는 없다. 이것은 상술한 바와 같이 NTSC 방식과 하이비전은 규격이 다르기 때문이다.
그래서, NTSC 방식의 비디오 신호에 맞는 화상을 하이비전 방식으로 표시하기 위해, 본 출원인은 우선 NTSC 방식의 비디오 신호를 하이비전의 비디오 신호로 변환하기 위한 변환 장치를 제안하였다(일본 특허출원 평6-205934호 참조). 이 변환 장치에서는 NTSC 방식의 비디오 신호로부터 하이비전의 비디오 신호에서의 주목 위치에 대응하는 블록(영역)의 화소 데이터를 추출하고, 이 블록의 화소 데이터의 레벨 분포 패턴에 기초하여 상기 주목 위치의 화소 데이터의 클래스를 결정하고, 이 클래스에 대응하여 상기 주목 위치의 화소 데이터를 생성하도록 되어 있다.
상술한 변환 장치에 있어서는, 각 클래스의 추정식의 계수 데이터를 미리 메모리에 저장해 두는 것으로서, 분류되는 클래스 수가 많아지면, 필요한 추정식의 계수 데이터의 수도 증가하여 대용량의 메모리가 필요하게 된다.
또한 상술한 변환 장치에 있어서는, 하이비전의 비디오 신호에 의한 화상의해상도는 고정되어 있어, 종래의 콘트라스트나 샤프니스 등의 조정과 같이 화상 내용 등에 따라 원하는 해상도로 할 수 없었다. 이와 같이 원하는 화질을 얻기 위해 각 화질의 추정식의 계수 데이터를 미리 메모리에 저장해 두는 것을 생각할 수 있으나, 필요한 추정식의 계수 데이터의 수가 증가하여 대용량의 메모리가 필요해진다.
〈발명의 개시〉
본 발명은, 제1 정보 신호를 추정식을 이용하여 제2 정보 신호로 변환할 때에, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않아 메모리 용량을 절약할 수 있는 정보 신호 처리 장치 등을 제공하는 것을 목적으로 한다. 또한, 본 발명은 예를 들면 화상의 화질을 무단계로 매끄럽게 조정할 수 있도록 한 정보 처리 장치 등을 제공하는 것을 목적으로 한다.
본 발명에 관한 정보 신호 처리 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치로서, 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과, 파라미터 값을 입력하는 파라미터 입력 수단과, 메모리 수단에 저장되어 있는 계수종 데이터와 파라미터 입력 수단에서 입력된 파라미터 값을 이용하여 생성식에 의해 생성되고, 입력된 파라미터 값에 대응하는 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 정보 데이터를 선택하는 데이터 선택수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 데이터 선택 수단에서 선택된 복수의 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함한다.
또한 본 발명에 관한 정보 신호 처리 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법으로서, 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 입력된 파라미터 값을 이용하여, 생성식에 의해 파라미터 값에 대응하는 추정식의 계수 데이터를 생성하는 제1 단계와, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 정보 데이터를 선택하는 제2 단계와, 제1 단계에서 생성된 계수 데이터와 제2 단계에서 선택된 복수의 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제3 단계를 포함한다.
본 발명에 있어서는, 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터가 메모리 수단에 저장되어 있다. 예를 들면, 파라미터는 제2 정보 신호에 의한 출력의 질(해상도, 노이즈 억제도 등)을 결정하기 위한 것, 또는 제2 정보 신호의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 것이다.
그리고, 메모리 수단에 저장되어 있는 계수종 데이터와 입력된 파라미터 값을 이용하여, 생성식에 의해 파라미터 값에 대응하는 추정식의 계수 데이터가 생성된다. 이 계수 데이터와 복수의 제2 정보 데이터를 이용하여, 추정식에 기초하여 주목 위치의 정보 데이터가 생성된다.
이와 같이, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않고, 임의의 파라미터 값에 대응하는 추정식의 계수 데이터를 생성할 수 있어, 메모리의 절약을 도모할 수 있다.
본 발명에 관한 정보 신호 처리 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치로서, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과, 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과, 이 제1 메모리 수단에 저장되어 있는 계수종 데이터와 파라미터 조정 수단에서 조정된 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스 및 상기 조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함한다.
예를 들면, 계수 데이터 발생 수단은, 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 조정된 파라미터 값을 이용하고, 상기 생성식에 의해 클래스 검출 수단에서 검출되는 클래스마다 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과, 이 계수 데이터 생성 수단에서 생성된 각 클래스에서의 추정식의 계수 데이터를 저장하는 제2 메모리 수단과, 이 제2 메모리 수단으로부터 클래스 검출 수단에서 검출된 클래스에 대응하는 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 포함하여 이루어진다.
또한 본 발명에 관한 정보 신호 처리 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법으로서, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와, 이 제1 단계에서 선택된 복수의 제1 정보 데이터에 기초하여, 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와, 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제3 단계와, 제2 단계에서 검출되는 클래스마다 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 제3 단계에서 조정된 파라미터 값을 이용하여, 상기 생성식에 의해 제2 단계에서 검출된 클래스 및 상기조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제4 단계와, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와, 제4 단계에서 생성된 계수 데이터와 제5 단계에서 선택된 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제6 단계를 포함한다.
또한 본 발명에 관한 정보 제공 매체는, 상술한 정보 신호 처리 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램을 제공한다.
또한 본 발명에 관한 화상 신호 처리 장치는, 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치로서, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 제2 화상 신호에 의해 얻어지는 화상의 화질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과, 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과, 이 메모리 수단에 저장되어 있는 계수종 데이터와 파라미터 조정 수단에서 조정된 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스 및 상기 조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함한다.
또한 본 발명에 관한 화상 표시 장치는, 복수의 화소 데이터로 이루어지는 제1 화상 신호를 입력하는 화상 신호 입력 수단과, 이 화상 신호 입력 수단에서 입력된 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환해서 출력하는 화상 신호 처리 수단과, 이 화상 신호 처리 수단에서 출력되는 제2 화상 신호에 의한 화상을 화상 표시 소자에 표시하는 화상 표시 수단과, 화상 표시 소자에 표시되는 화상의 화질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단을 가지며 이루어진다. 그리고 화상 신호 처리 수단은, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 이 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과, 이 제1 메모리 수단에 저장되어 있는 계수종 데이터와 파라미터 조정 수단에서 조정된 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스및 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함한다.
본 발명에 있어서는, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다.
예를 들면, 복수의 제1 정보 데이터의 레벨 분포 패턴이 검출되고, 이 레벨 분포 패턴에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다. 제1 및 제2 데이터 선택 수단이 공통으로 구성되고, 따라서 복수의 제1 정보 데이터와 복수의 제2 정보 데이터가 동일해도 된다. 여기에서, 정보 신호는 예를 들면 화상 신호나 음성 신호이다.
파라미터 조정 수단에 의해, 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값이 조정된다. 예를 들면, 정보 신호가 화상 신호인 경우, 파라미터 값이 조정되어 제2 정보 신호(화상 신호)에 의한 화상의 화질이 결정된다. 또한, 정보 신호가 음성 신호인 경우, 파라미터 값이 조정되어 제2 정보 신호(음성 신호)에 의한 음성의 음질이 결정된다. 예를 들면 파라미터 조정 수단은, 파라미터의 조정 위치를 표시하는 표시 수단과, 이 표시 수단의 표시를 참조하여 파라미터 값을 조정하는 사용자 조작 수단을 갖게 된다. 이에 따라, 사용자는 사용자 조작 수단, 예를 들면 포인팅 디바이스를 조작하여 파라미터 값을 원하는 위치로 쉽게 조정할 수 있다.
그리고, 검출된 클래스 및 조정된 파라미터 값에 대응하여 주목 위치의 정보 데이터가 생성된다. 즉, 클래스마다 미리 구해진 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터가 메모리 수단에 저장되어 있고, 이 계수종 데이터와 조정된 파라미터 값을 이용하여, 검출된 클래스 및 조정된 파라미터 값에 대응하는 추정식의 계수 데이터가 발생되고, 이 계수 데이터와 제2 정보 데이터를 이용하여, 추정식에 기초하여 주목 위치의 정보 데이터가 생성된다.
이와 같이, 제1 정보 신호를 제2 정보 신호로 변환할 때에 사용되는 추정식의 계수 데이터를 계수종 데이터를 이용하여 생성하는 것으로서, 검출된 클래스 및 조정된 파라미터 값에 대응하는 계수 데이터를 쉽게 얻을 수 있고, 제2 정보 신호에 의해 얻어지는 출력의 질, 예를 들면 화상의 화질 등을 무단계로 매끄럽게 조정할 수 있게 된다.
그리고, 계수종 데이터를 이용하여 생성된 추정식의 계수 데이터의 총합을 구하고, 상술한 바와 같이 추정식을 이용하여 생성된 주목 위치의 정보 데이터를 그 총합에서 제산하여 정규화함으로써, 계수종 데이터를 이용하여 생성식에서 추정식의 계수 데이터를 구할 때의 라운딩 오차로 인한 주목 위치의 정보 데이터의 레벨 변동을 제거할 수 있다.
또한 본 발명에 관한 정보 처리 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치로서, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 이 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과, 이 제1 메모리 수단에 저장되어 있는 계수종 데이터와 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함한다.
예를 들면, 클래스 검출 수단에 클래스 분류의 세밀함을 결정하는 파라미터 값을 입력하는 파라미터 입력 수단을 더 포함한다. 또한 예를 들면, 계수 데이터 발생 수단은, 제1 메모리 수단에 저장되어 있는 계수종 데이터와 입력된 파라미터값을 이용하여, 상기 생성식에 의해 클래스 검출 수단에서 검출되는 클래스마다 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과, 이 계수 데이터 생성 수단에서 생성된 각 클래스에서의 추정식의 계수 데이터를 저장하는 제2 메모리 수단과, 이 제2 메모리 수단으로부터 클래스 검출 수단에서 검출된 클래스에 대응하는 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 가지며 이루어진다.
또한 본 발명에 관한 정보 신호 처리 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법으로서, 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와, 이 제1 단계에서 선택된 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와, 이 제2 단계에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 이용하여, 상기 생성식에 의해, 제2 단계에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제3 단계와, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와, 제3 단계에서 생성된 계수 데이터와 제4 단계에서 선택된 복수의 제2 정보 데이터를 이용하여 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제5 단계를 포함한다.
본 발명에 관한 정보 제공 매체는, 상술한 정보 신호 처리 방법의 각 단계를실행하기 위한 컴퓨터 프로그램을 제공한다.
또한 본 발명에 관한 화상 신호 처리 장치는, 복수의 화소 데이터로 이루어지는 제l 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치로서, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 이 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과, 이 메모리 수단에 저장되어 있는 계수종 데이터와 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함한다.
또한 본 발명에 관한 화상 표시 장치는, 복수의 화소 데이터로 이루어지는 제2 화상 신호를 입력하는 화상 신호 입력 수단과, 이 화상 신호 입력 수단으로부터 입력된 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하여 출력하는 화상 신호 처리 수단과, 이 화상 신호 처리 수단에서 출력되는 제2 화상 신호에 의한 화상을 화상 표시 장치에 표시하는 화상 표시 수단을 가지며 이루어진다. 그리고 화상 신호 처리 수단은, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 이 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과, 이 제1 메모리 수단에 저장되어 있는 계수종 데이터와 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과, 제1 화상 신호에 기초하여 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과, 계수 데이터 발생 수단에서 발생된 계수 데이터와 제2 데이터 선택 수단에서 선택된 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함한다.
본 발명에 있어서는, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다.예를 들면, 복수의 제1 정보 데이터의 레벨 분포 패턴이 검출되고, 이 레벨 분포 패턴에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 제1 정보 신호에 기초하여 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다. 제1 및 제2 데이터 선택 수단이 공통으로 구성되고, 따라서 복수의 제1 정보 데이터와 복수의 제2 정보 데이터가 같아도 된다. 여기에서, 정보 신호는 예를 들면 화상 신호나 음성 신호이다.
그리고, 검출된 클래스에 대응하여 주목 위치의 정보 데이터가 생성된다. 즉, 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터가 메모리 수단에 저장되어 있고, 이 계수종 데이터와 클래스 검출 수단에서 검출된 클래스의 값을 이용하여, 검출된 클래스의 값에 대응하는 추정식의 계수 데이터가 발생되고, 이 계수 데이터와 복수의 제2 정보 데이터를 이용하여, 추정식에 기초하여 주목 위치의 정보 데이터가 생성된다.
이와 같이, 제1 정보 신호를 제2 정보 신호로 변환할 때에 사용되는 각 클래스의 추정식의 계수 데이터를, 계수종 데이터를 이용하여 생성식에 의해 생성하는 것으로서, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않아 메모리 용량을 절약할 수 있다.
그리고, 계수종 데이터를 이용하여 생성된 추정식의 계수 데이터의 총합을 구하고, 상술한 바와 같이 추정식을 이용하여 생성된 주목 위치의 정보 데이터를 그 총합에서 제산하여 정규화함으로써, 계수종 데이터를 이용하여 생성식에서 추정식의 계수 데이터를 구할 때의 라운딩 오차로 인한 주목 위치의 정보 데이터의 레벨 변동을 제거할 수 있다.
또한, 클래스 검출 수단에 클래스 분류의 세밀함을 결정하는 파라미터 값을 입력함으로써, 클래스 검출 수단에서 검출되는 클래스 분류의 세밀함을 변경할 수 있다. 예를 들면, 이 파라미터 값은 사용자 조작 수단에 의해 조정된다. 또한 예를 들면, 이 파라미터 값은 제1 정보 신호로부터 검출된 소정의 특징량에 대응하여 자동적으로 변경된다. 또한 예를 들면, 이 파라미터 값은 제1 정보 신호로부터 추출된 정보에 기초하여 자동적으로 변경된다.
일반적으로, 클래스 검출 수단에서 검출되는 클래스의 분류를 세밀하게 할수록 제2 정보 신호에 의한 출력의 질을 높일 수 있다. 그러나, 학습시의 클래스 분류의 세밀함에 따라서는, 클래스 검출 수단에서 검출되는 클래스 분류를 세밀하게 하여도, 동화상, 정지화상, 애니메이션화상 등의 제1 정보 신호에 의해서는 제2 정보 신호에 의한 출력의 질을 높일 수 없고, 오히려 그 출력의 질을 저하시킬 우려가 있다. 클래스 검출 수단에 클래스 분류의 세밀함을 결정하는 파라미터 값을 입력하는 구성으로 함으로써, 제2 정보 신호에 의한 출력의 질을 최적으로 조정할 수 있게 된다.
또한, 본 발명에 관한 계수종 데이터 생성 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치로서, 제2 정보 신호에 대응하는 교사(敎師) 신호를 처리하여 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과, 상기 생성식에 포함되는 파라미터에 대응하고, 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 클래스 검출 수단에서 검출된 클래스, 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스마다 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 정규 방정식 생성 수단과, 정규 방정식을 풀어 클래스마다 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함한다.
또한 본 발명에 관한 계수종 데이터 생성 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법으로서, 제2 정보 신호에 대응하는 교사 신호를 처리하여 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와, 상기 생성식에 포함되는 파라미터에 대응하여, 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와, 이 제3 단계에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와, 제4 단계에서 검출된 클래스, 제5 단계에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스마다 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제6 단계와, 정규 방정식을 풀어 클래스마다 계수종 데이터를 얻는 제7 단계를 포함한다.
또한 본 발명에 관한 정보 제공 매체는, 상술한 계수종 데이터 생성 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램을 제공한다.
본 발명에 있어서는, 제2 정보 신호에 대응하는 교사 신호가 처리되어 제1 정보 신호에 대응하는 입력 신호가 얻어진다. 이 경우, 입력 신호에 의해 얻어지는 출력의 질은 조정된 파라미터 값으로 결정된다. 예를 들면, 정보 신호가 화상 신호인 경우, 파라미터 값이 조정되어 입력 신호에 의한 화상의 화질이 결정된다. 또한 정보 신호가 음성 신호인 경우, 파라미터 값이 조정되어 입력 신호에 의한 음성의 음질이 결정된다.
이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다.
그리고, 파라미터 값이 복수 단계로 조정되고, 교사 신호에서의 주목위치의 정보 데이터가 속하는 클래스, 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스마다 계수종 데이터를 얻기 위한 정규 방정식이 생성되고, 이 방정식을 풀이함으로써 클래스마다의 계수종 데이터가 얻어진다.
여기에서 계수종 데이터는, 제1 정보 신호에서 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터이다. 이 계수종 데이터를 사용함으로써, 생성식에 의해, 임의로 조정된 파라미터 값에 대응하는 계수 데이터를 얻을 수 있게 된다. 이에 따라, 추정식을 이용하여 제1 정보 신호에서 제2 정보 신호로 변환하는 경우에, 파라미터 값을 조정함으로써 제2 정보 신호에 의해 얻어지는 출력의 질, 예를 들면 화상의 화질 등을 무단계로 매끄럽게 조정할 수 있게 된다.
또한 본 발명에 관한 계수종 데이터 생성 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치로서, 제2 정보 신호에 대응하는 교사 신호를 처리하여 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과, 상기 생성식에 포함되는 파라미터에 대응하고, 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과, 입력 신호에기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 클래스 검출 수단에서 검출된 클래스, 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스 검출 수단에서 검출되는 클래스 및 파라미터 조정 수단에서 조정되는 파라미터 값의 조합마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제1 정규 방정식 생성 수단과, 이 제1 정규 방정식을 풀어 상기 조합마다 추정식의 계수 데이터를 얻는 계수 데이터 연산 수단과, 이 계수 데이터 연산 수단에서 얻어진 상기 조합마다의 계수 데이터를 이용하여, 클래스마다 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제2 정규 방정식 생성 수단과, 이 제2 정규 방정식을 풀어 클래스마다 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함한다.
본 발명에 관한 계수종 데이터 생성 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법으로서, 제2 정보 신호에 대응하는 교사 신호를 처리하여 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와, 상기 생성식에 포함되는 파라미터에 대응하여, 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와, 이 제3 단계에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와, 제4 단계에서 검출된 클래스, 제5 단계에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스 및 파라미터 값의 조합마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제6 단계와, 이 제1 정규 방정식을 풀어 상기 조합마다 추정식의 계수 데이터를 얻는 제7 단계와, 이 제7 단계에서 얻어진 상기 조합마다의 계수 데이터를 이용하여, 클래스마다 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제8 단계와, 이 제2 정규 방정식을 풀어 클래스마다 계수종 데이터를 얻는 제9 단계를 포함한다.
또한 본 발명에 관한 정보 제공 매체는, 상술한 계수종 데이터 생성 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램을 제공한다.
본 발명에 있어서는, 제2 정보 신호에 대응하는 교사 신호가 처리되어 제1 정보 신호에 대응하는 입력 신호가 얻어진다. 이 경우, 입력 신호에 의해 얻어지는 출력의 질은 조정된 파라미터 값으로 결정된다. 예를 들면, 정보 신호가 화상 신호인 경우, 파라미터 값이 조정되어 입력 신호에 의한 화상의 화질이 결정된다. 또한 정보 신호가 음성 신호인 경우, 파라미터 값이 조정되어 입력 신호에 의한 음성의 음질이 정된다.
이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다.
그리고, 파라미터 값이 복수 단계로 순차 조정되고, 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스, 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스 및 파라미터 값의 조합마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식이 생성되고, 이 방정식을 풀이함으로써 상기 조합마다의 추정식의 계수 데이터가 얻어진다.
또한, 상기 조합마다의 계수 데이터를 이용하여 클래스마다 계수종 데이터를 얻기 위한 제2 정규 방정식이 생성되고, 이 방정식을 풀이함으로써 클래스마다의 계수종 데이터가 얻어진다.
여기에서 계수종 데이터는, 제1 정보 신호로부터 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터이다. 이 계수종 데이터를 사용함으로써, 생성식에 의해 임의로 조정된 파라미터 값에 대응하는 계수 데이터를 얻을 수 있게 된다. 이에 따라, 추정식을 이용하여 제1 정보 신호로부터 제2 정보 신호로 변환하는 경우에, 파라미터 값을 조정함으로써 제2 정보 신호에 의해 얻어지는 출력의 질, 예를 들면 화상의 화질 등을 무단계로 매끄럽게 조정할 수 있게 된다.
또한 본 발명에 관한 계수종 데이터 생성 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치로서, 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 클래스 검출 수단에서 검출된 클래스, 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 정규 방정식 생성 수단과, 정규 방정식을 풀어 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함한다.
또한 본 발명에 관한 계수종 데이터 생성 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법으로서, 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와, 이 제2 단계에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와, 제3 단계에서 검출된 클래스, 제4 단계에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제5 단계와, 이 정규 방정식을 풀어 계수종 데이터를 얻는 제6 단계를 포함한다.
또한 본 발명에 관한 정보 제공 매체는, 상술한 계수종 데이터 생성 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램을 제공한다.
본 발명에 있어서는, 제2 정보 신호에 대응하는 교사 신호가 처리되어 제1 정보 신호에 대응하는 입력 신호가 얻어진다. 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다.
그리고, 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스, 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터로부터 계수종 데이터를 얻기 위한 정규 방정식이 생성되고, 이 정규 방정식을 풀이함으로써계수종 데이터가 얻어진다.
여기에서 계수종 데이터는, 제1 정보 신호로부터 제2 정보 신호로 변환할 때에 사용되는 각 클래스의 추정식의 계수 데이터를 생성하는 것이다. 이 계수종 데이터를 사용함으로써, 생성식에 의해 각 클래스의 추정식의 계수 데이터를 얻을 수 있게 된다.
또한 본 발명에 관한 계수종 데이터 생성 장치는, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치로서, 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과, 이 제1 데이터 선택 수단에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과, 클래스 검출 수단에서 검출된 클래스, 제2 데이터 선택 수단에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스 검출 수단에서 검출되는 클래스마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제1 정규 방정식 생성 수단과, 이 제1 정규 방정식을 풀어 클래스마다 추정식의계수 데이터를 얻는 계수 데이터 연산 수단과, 이 계수 데이터 연산 수단에서 얻어진 클래스마다의 계수 데이터를 이용하여 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제2 정규 방정식 생성 수단과, 이 제2 정규 방정식을 풀어 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함한다.
본 발명에 관한 계수종 데이터 생성 방법은, 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법으로서, 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와, 이 제2 단계에서 선택된 복수의 제1 정보 데이터에 기초하여 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와, 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와, 제3 단계에서 검출된 클래스, 제4 단계에서 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제5 단계와, 이 제1 정규 방정식을 풀어 클래스마다 추정식의 계수 데이터를 얻는 제6 단계와, 이 제6 단계에서 얻어진 클래스마다의 계수 데이터를 이용하여 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제7 단계와, 이 제2 정규 방정식을 풀어 계수종 데이터를 얻는 제8 단계를 포함한다.
또한 본 발명에 관한 정보 제공 매체는, 상술한 계수종 데이터 생성 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것이다.
본 발명에 있어서는, 제2 정보 신호에 대응하는 교사 신호가 처리되어 제1 정보 신호에 대응하는 입력 신호가 얻어진다. 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터가 선택되고, 그 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스가 검출된다. 또한, 이 입력 신호에 기초하여 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터가 선택된다.
그리고, 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스, 선택된 복수의 제2 정보 데이터 및 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 클래스마다 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식이 생성되고, 이 방정식을 풀이함으로써 클래스마다의 추정식의 계수 데이터가 얻어진다.
또한, 클래스마다의 계수 데이터를 이용하여 계수종 데이터를 얻기 위한 제2 정규 방정식이 생성되고, 이 방정식을 풀이함으로써 계수종 데이터가 얻어진다.
여기에서 계수종 데이터는, 제1 정보 신호로부터 제2 정보 신호로 변환할 때에 사용되는 각 클래스의 추정식의 계수 데이터를 생성하는 것이다. 이 계수종 데이터를 사용함으로써, 생성식에 의해 각 클래스의 추정식의 계수 데이터를 얻을 수 있게 된다.
본 발명은, 예를 들면 NTSC 방식의 비디오 신호를 하이비전의 비디오 신호로 변환할 때 적용하기에 적합한 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터(coefficient seed) 생성 장치 및 생성 방법, 그리고 정보 제공 매체에 관한 것이다. 상세하게는, 제1 정보 신호를 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를, 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 입력된 파라미터 값을 이용하여 당해 생성식에 의해 생성함으로써, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않고, 임의의 파라미터 값에 대응하는 추정식의 계수 데이터를 생성할 수 있어, 메모리의 절약을 도모하도록 한 정보 신호 처리 장치 등에 관한 것이다.
도 1은 실시 형태로서의 TV 수신기의 구성을 도시한 블록도.
도 2는 화질을 조정하기 위한 사용자 인터페이스의 예를 도시한 도면.
도 3은 조정 화면을 확대하여 도시한 도면.
도 4는 525i 신호와 525p 신호의 화소 위치 관계를 설명하기 위한 도면.
도 5는 525i 신호와 1050i 신호의 화소 위치 관계를 설명하기 위한 도면.
도 6은 525i와 525p의 화소 위치 관계와 예측 탭의 일례를 도시한 도면.
도 7은 525i와 525p의 화소 위치 관계와 예측 탭의 일례를 도시한 도면.
도 8은 525i와 1050i의 화소 위치 관계와 예측 탭의 일례를 도시한 도면.
도 9는 525i와 1050i의 화소 위치 관계와 예측 탭의 일례를 도시한 도면.
도 10은 525i와 525p의 화소 위치 관계와 공간 클래스 탭의 일례를 도시한 도면.
도 11은 525i와 525p의 화소 위치 관계와 공간 클래스 탭의 일례를 도시한 도면.
도 12는 525i와 1050i의 화소 위치 관계와 공간 클래스 탭의 일례를 도시한 도면.
도 13은 525i와 1050i의 화소 위치 관계와 공간 클래스 탭의 일례를 도시한 도면.
도 14는 525i와 525p의 화소 위치 관계와 움직임 클래스 탭의 일례를 도시한 도면.
도 15는 525i와 1050i의 화소 위치 관계와 움직임 클래스 탭의 일례를 도시한 도면.
도 16은 525p 신호를 출력하는 경우의 라인 배속 처리를 설명하기 위한 도면.
도 17은 계수종 데이터의 생성 방법의 일례의 개념을 도시한 도면.
도 18은 계수종 데이터 생성 장치의 구성예를 도시한 블록도.
도 19는 대역 필터의 주파수 특성의 일례를 도시한 도면.
도 20은 계수종 데이터의 생성 방법의 다른 예의 개념을 도시한 도면.
도 21은 계수종 데이터 생성 장치의 다른 구성예를 도시한 블록도.
도 22A∼도 22C는 노이즈 부가 방법을 설명하기 위한 도면.
도 23은 SD 신호(파라미터 r, z)의 생성예를 도시한 도면.
도 24는 파라미터 r, z의 조정 화면의 일례를 도시한 도면.
도 25는 SD 신호(파라미터 h, v, z)의 생성예를 도시한 도면.
도 26은 파라미터 h, v, z의 조정 화면의 일례를 도시한 도면.
도 27은 소프트웨어로 실현하기 위한 화상 신호 처리 장치의 구성예를 도시한 블록도.
도 28은 화상 신호의 처리 수순을 설명하는 흐름도.
도 29는 계수종 데이터 생성 처리(제1)를 설명하는 흐름도.
도 30은 계수종 데이터 생성 처리(제2)를 설명하는 흐름도.
도 31은 다른 실시 형태로서의 TV 수신기의 구성을 도시한 블록도.
도 32는 계수종 데이터 생성 장치의 구성예를 도시한 블록도.
도 33은 계수종 데이터 생성 방법의 개념을 도시한 도면.
〈발명을 실시하기 위한 최량의 형태〉
이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 설명한다. 도 1은 실시 형태로서의 TV 수상기(100)의 구성을 도시하고 있다. 이 TV 수상기(100)는 방송 신호에서 SD(Standard Definition) 신호로서의 525i 신호를 얻고, 이 525i 신호를 HD(High Definition) 신호로서의 525p 신호 또는 1050i 신호로 변환하고, 이 525p 신호 또는 1050i 신호에 의한 화상을 표시하는 것이다.
여기에서, 525i 신호는 라인수가 525개이고 인터레이스 방식의 화상 신호를 의미하고, 525p 신호는 라인수가 525개이고 프로그레시브 방식(논인터레이스 방식)의 화상 신호를 의미하고, 그리고 1050i 신호는 라인수가 1050개이고 인터레이스 방식의 화상 신호를 의미하고 있다.
TV 수상기(100)는 마이크로 컴퓨터를 포함하고, 시스템 전체의 동작을 제어하기 위한 시스템 컨트롤러(101)와, 리모트 컨트롤 신호를 수신하는 리모콘 신호 수신 회로(102)를 갖고 있다. 리모콘 신호 수신 회로(102)는 시스템 컨트롤러(101)에 접속되고, 리모콘 송신기(200)에서 사용자의 조작에 따라 출력되는 리모트 컨트롤 신호 RM을 수신하고, 그 신호 RM에 대응하는 조작 신호를 시스템 컨트롤러(101)에 공급하도록 구성되어 있다.
또한 TV 수상기(100)는, 수신 안테나(105)와, 이 수신 안테나(105)에 의해 포착된 방송 신호(RF 변조 신호)가 공급되고, 선국 처리, 중간 주파 증폭 회로, 검파 처리 등을 실행하여 상술한 SD 신호 Va(525i 신호)를 얻는 튜너(106)와, 외부에서 SD 신호 Vb(525i 신호)를 입력하는 외부 입력 단자(107)와, 이들 SD 신호 Va, Vb 중 어느 하나를 선택적으로 출력하는 전환 스위치(108)와, 이 전환 스위치(108)에서 출력되는 SD 신호를 일시적으로 보존하기 위한 버퍼 메모리(109)를 갖고 있다.
튜너(106)에서 출력되는 SD 신호 Va는 전환 스위치(108)의 a측 고정 단자에 공급되고, 외부 입력 단자(107)에서 입력되는 SD 신호 Vb는 전환 스위치(108)의 b측 고정 단자에 공급된다. 이 전환 스위치(108)의 전환 동작은 시스템 컨트롤러(101)에 의해 제어된다.
또한 TV 수상기(100)는, 버퍼 메모리(109)에 일시적으로 보존되는 SD 신호(525i 신호)를 HD 신호(525p 신호 또는 1050i 신호)로 변환하는 화상 신호 처리부(110)와, 화상 신호 처리부(110)에서 출력되는 HD신호에 의한 화상을 표시하는 디스플레이부(111)와, 이 디스플레이부(111)의 화면상에 문자 도형 등의 표시를 실행하기 위한 표시 신호 SCH를 발생시키기 위한 OSD(On Screen Display) 회로(112)와, 그 표시 신호 SCH를 상술한 화상 신호 처리부(110)에서 출력되는 HD 신호에 합성하여 디스플레이부(111)에 공급하기 위한 합성기(113)를 갖고 있다.
디스플레이부(111)는, 예를 들면 CRT(Cathode-Ray Tube) 디스플레이부 또는 LCD(Liquid Crystal Display) 등의 플랫 패널 디스플레이로 구성되어 있다. 또한, OSD 회로(112)에 있어서의 표시 신호 SCH의 발생 동작은 시스템 컨트롤러(101)에 의해 제어된다.
도 1에 도시한 TV 수상기(100)의 동작을 설명한다.
사용자의 리모콘 송신기(200)의 조작에 의해 튜너(106)에서 출력되는 SD 신호 Va에 대응하는 화상 표시를 실행하는 모드가 선택되는 경우, 시스템 컨트롤러(101)의 제어에 의해 전환 스위치(108)는 a측에 접속되어 이 전환 스위치(108)에서 SD 신호 Va가 출력된다. 한편, 사용자의 리모콘 송신기(200)의 조작에 의해 외부 입력 단자(107)에 입력되는 SD 신호 Vb에 대응하는 화소 표시를 실행하는 모드가 선택되는 경우, 시스템 컨트롤러(101)의 제어에 의해 전환 스위치(108)는 b측에 접속되어 이 전환 스위치(108)에서 SD 신호 Vb가 출력된다.
전환 스위치(108)에 의해 출력되는 SD 신호(525i 신호)는 버퍼 메모리(109)에 기록되어 일시적으로 보존된다. 그리고, 이 버퍼 메모리(109)에 일시적으로 보존된 SD 신호는 화상 신호 처리부(110)에 공급되어, HD 신호(525p 신호 또는 1050i 신호)로 변환된다. 즉, 화상 신호 처리부(110)에서는, SD 신호를 구성하는 화소 데이터(이하, 「SD 화소 데이터」라 함)로부터, HD신호를 구성하는 화소 데이터(이하, 「HD 화소 데이터」라 함)가 얻어진다. 여기에서, 525p 신호 또는 1050i 신호의 선택은 사용자의 리모콘 송신기(200)의 조작에 의해 실행된다. 이 화상 신호 처리부(110)에서 출력되는 HD 신호가 합성기(113)를 통해 디스플레이부(111)에 공급되고, 디스플레이부(111)의 화면상에 그 HD 신호에 의한 화상이 표시된다.
또한 상술하지 않았으나, 사용자는, 리모콘 송신기(200)의 조작에 의해 상술한 바와 같이 디스플레이부(111)의 화면상에 표시되는 화상의 수평 또는 수직의 해상도를 무단계로 매끄럽게 조정할 수 있다. 화상 신호 처리부(110)에서는 후술하는 바와 같이 HD 화소 데이터가 추정식에 의해 산출되는데, 이 추정식의 계수 데이터로서 사용자의 리모콘 송신기(200)의 조작에 의해 조정되는 수평, 수직의 해상도를 결정하는 파라미터 h, v에 대응하는 것이, 이들 파라미터 h, v를 포함하는 생성식에 의해 생성되어 사용된다. 이에 따라, 화상 신호 처리부(110)에서 출력되는 HD 신호에 의한 화상의 수평, 수직의 해상도는, 조정된 파라미터 h, v에 대응하는 것으로 된다.
도 2는 파라미터 h, v를 조정하기 위한 사용자 인터페이스의 일례를 도시하고 있다. 조정시에는, 디스플레이부(111)에 파라미터 h, v의 조정 위치를 ☆표시의 아이콘(115a)으로 표시한 조정 화면(115)이 OSD 표시된다. 또한, 리모콘 송신기(200)는 사용자 조작 수단으로서의 조이스틱(200a)을 포함하고 있다.
사용자는, 조이스틱(200a)을 조작함으로써, 조정 화면(115)상에서 아이콘(115a)의 위치를 움직여서 수평, 수직의 해상도를 결정하는 파라미터 h, v 값을 임의로 조정할 수 있다. 도 3은 조정 화면(115)의 부분을 확대해서 도시하고 있다. 아이콘(115a)이 좌우로 움직임으로써 수평 해상도를 결정하는 파라미터 h 값이 조정되고, 한편 아이콘(115a)이 상하로 움직임으로써 수직 해상도를 결정하는 파라미터 v 값이 조정된다. 사용자는, 디스플레이부(111)에 표시되는 조정 화면(115)을 참조하여 파라미터 h, v 값을 조정할 수 있어, 그 조정을 쉽게 실행할 수 있다.
그리고 리모콘 송신기(200)는, 조이스틱(200a) 대신에 마우스나 트랙 볼 등의 그 외의 포인팅 디바이스를 포함하고 있어도 된다. 또한, 사용자에 의해 조정된 파라미터 h, v 값을 조정 화면(115)상에 수치 표시해도 된다.
이어서, 화상 신호 처리부(110)를 상세하게 설명한다. 이 화상 신호 처리부(110)는, 버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)에서, HD 신호(1050i 신호 또는 525p 신호)에서의 주목 위치의 주변에 위치하는 복수의 SD 화소의 데이터를 선택적으로 추출하여 출력하는 제1∼제3 탭 선택 회로(121∼123)를 갖고 있다.
제1 탭 선택 회로(121)는, 예측에 사용하는 SD 화소(「예측 탭」이라 함)의 데이터를 선택적으로 추출한다. 제2 탭 선택 회로(122)는, SD 화소 데이터의 레벨 분포 패턴에 대응하는 클래스 분류에 사용하는 SD 화소(「공간 클래스 탭」이라 함)의 데이터를 선택적으로 추출한다. 제3 탭 선택 회로(123)는, 움직임에 대응하는 클래스 분류에 사용하는 SD 화소(「움직임 클래스 탭」이라 함)의 데이터를 선택적으로 추출한다. 그리고, 공간 클래스를 복수 필드에 속하는 SD 화소 데이터를 사용하여 결정하는 경우에는, 이 공간 클래스에도 움직임 정보가 포함되게 된다.
도 4는 525i 신호 및 525p 신호의 임의의 프레임 F의 홀수(o) 필드의 화소 위치 관계를 나타내고 있다. 큰 도트가 525i 신호의 화소이고, 작은 도트가 출력되는 525p 신호의 화소이다. 짝수(e) 필드에서는 525i 신호의 라인이 공간적으로 0.5라인 어긋나게 된다. 도 4에서 알 수 있는 바와 같이, 525p 신호의 화소 데이터로서는, 525i 신호의 라인과 동일 위치의 라인 데이터 L1과, 525i 신호의 상하 라인의 중간 위치의 라인 데이터 L2가 존재한다. 또한, 525p 신호의 각 라인의 화소수는 525i 신호의 각 라인의 화수소의 2배이다.
도 5는 525i 신호 및 1050i 신호의 임의의 프레임 F의 화소 위치 관계를 나타낸 것으로서, 홀수(o) 필드의 화소 위치를 실선으로 나타내고, 짝수(e) 필드의 화소 위치를 파선으로 나타내고 있다. 큰 도트가 525i 신호의 화소이고, 작은 도트가 출력되는 1050i 신호의 화소이다. 도 5에서 알 수 있는 바와 같이, 1050i 신호의 화소 데이터로서는, 525i 신호의 라인에 가까운 위치의 라인 데이터 L1, L1'와, 525i 신호의 라인에서 먼 위치의 라인 데이터 L2, L2'가 존재한다. 여기에서 L1, L2는 홀수 필드의 라인 데이터, L1', L2'는 짝수 필드의 라인 데이터이다. 또한, 1050i 신호의 각 라인의 화소수는 525i 신호의 각 라인의 화소수의 2배이다.
도 6 및 도 7은, 525i 신호에서 525p 신호로 변환하는 경우에, 제1 탭 선택 회로(121)에서 선택되는 예측 탭(SD 화소)의 구체예를 도시하고 있다. 도 6 및 도 7은, 시간적으로 연속하는 프레임 F-1, F, F+1의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다.
도 6에 도시한 바와 같이, 필드 F/e의 라인 데이터 L1, L2를 예측할 때의 예측 탭은, 다음 필드 F/e에 포함되고, 작성해야 할 525p 신호의 화소(주목 위치의 화소)에 대해 공간적으로 근방 위치인 SD 화소 T1, T2, T3과, 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T4, T5, T6과, 앞의 필드 F-1/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T7, T8, T9와, 더 앞의 필드 F-1/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T10이다.
도 7에 도시한 바와 같이, 필드 F/e의 라인 데이터 L1, L2를 예측할 때의 예측 탭은, 다음 필드 F+1/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T1, T2, T3과, 필드 F/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T4, T5, T6과, 앞의 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T7, T8, T9와, 더 앞의 필드 F-1/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T10이다.
그리고, 라인 데이터 L1을 예측할 때에는 SD 화소 T9를 예측 탭으로 선택하지 않도록 하고, 한편 라인 데이터 L2를 예측할 때에는 SD 화소 T4를 예측 탭으로 선택하지 않도록 하여도 된다.
도 8 및 도 9는, 525i 신호에서 1050i 신호로 변환하는 경우에, 제1 탭 선택 회로(121)에서 선택되는 예측 탭(SD 화소)의 구체예를 도시하고 있다. 도 8 및 도 9는, 시간적으로 연속하는 프레임 F-1, F, F+1의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다.
도 8에 도시한 바와 같이, 필드 F/o의 라인 데이터 L1, L2를 예측할 때의 예측 탭은, 다음 필드 F/e에 포함되고, 작성해야 할 1050i 신호의 화소(주목 위치의 화소)에 대해 공간적으로 근방 위치인 SD 화소 T1, T2와, 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T3, T4, T5, T6과, 앞의 필드 F-1/e에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T7, T8이다.
도 9에 도시한 바와 같이, 필드 F/e의 라인 데이터 L1', L2'를 예측할 때의 예측 탭은, 다음 필드 F+1/o에 포함되고, 작성해야 할 1050i 신호의 화소에 대해공간적으로 근방 위치인 SD 화소 T1, T2와, 필드 F/e에 포함되고, 작성해야 할 1050ip 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T3, T4, T5, T6과, 앞의 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T7, T8이다.
그리고, 라인 데이터 L1, L1'를 예측할 때에 SD 화소 T6을 예측 탭으로 선택하지 않도록 하고, 한편 라인 데이터 L2, L2'를 예측할 때에는 SD 화소 T3을 예측 탭으로 선택하지 않도록 해도 된다.
또한 도 6∼도 9에 도시한 바와 같이, 복수 필드의 동일 위치에 있는 SD 화소에 추가하여 수평 방향의 1개 또는 복수의 SD 화소를 예측 탭으로 선택하도록 해도 된다.
도 10 및 도 11은, 525i 신호에서 525p 신호로 변환하는 경우에, 제2 탭 선택 회로(122)에서 선택되는 공간 클래스 탭(SD 화소)의 구체예를 도시하고 있다. 도 10 및 도 11은, 시간적으로 연속하는 프레임 F-1, F, F+1의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다.
도 10에 도시한 바와 같이, 필드 F/o의 라인 데이터 L1, L2를 예측할 때의 공간 클래스 탭은, 다음 필드 F/e에 포함되고, 작성해야 할 525p 신호의 화소(주목 위치의 화소)에 대해 공간적으로 근방 위치인 SD 화소 T1, T2와, 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T3, T4, T5와, 앞의 필드 F-1/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T6, T7이다.
도 11에 도시한 바와 같이, 필드 F/e의 라인 데이터 L1, L2를 예측할 때의 공간 클래스 탭은, 다음 필드 F+1/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T1, T2와, 필드 F/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T3, T4, T5, T6과, 앞의 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T6, T7이다.
그리고, 라인 데이터 L1을 예측할 때에는 SD 화소 T7을 공간 클래스 탭으로 선택하지 않도록 하고, 한편 라인 데이터 L2를 예측할 때에는 SD 화소 T6을 공간 클래스 탭으로 선택하지 않도록 해도 된다.
도 12 및 도 13은, 525i 신호에서 1050i 신호로 변환하는 경우에, 제2 탭 선택 회로(122)에서 선택되는 공간 클래스 탭(SD 화소)의 구체예를 도시하고 있다. 도 12 및 도 13은, 시간적으로 연속하는 프레임 F-1, F, F+1의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다.
도 12에 도시한 바와 같이, 필드 F/o의 라인 데이터 L1, L2를 예측할 때의 공간 클래스 탭은, 필드 F/o에 포함되고, 작성해야 할 1050i 신호의 화소(주목 위치의 화소)에 대해 공간적으로 근방 위치인 SD 화소 T1, T2, T3과, 앞의 필드 F-1/e에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T4, T5, T6, T7이다.
도 13에 도시한 바와 같이, 필드 F/e의 라인 데이터 L1', L2'를 예측할 때의 공간 클래스 탭은, 필드 F/e에 포함되고, 작성해야 할 1050i 신호의 화소에 대해공간적으로 근방 위치인 SD 화소 T1, T2, T3과, 앞의 필드 F/o에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 T4, T5, T6, T7이다.
그리고, 라인 데이터 L1, L1'를 예측할 때에는 SD 화소 T7을 공간 클래스 탭으로 선택하지 않도록 하고, 한편 라인 데이터 L2, L2'를 예측할 때에는 SD 화소 T4를 공간 클래스 탭으로서 선택하지 않도록 해도 된다.
또한 도 10∼도 13에 도시한 바와 같이, 복수 필드의 동일 위치에 있는 SD 화소에 추가하여 수평 방향의 1개 또는 복수의 SD 화소를 공간 클래스 탭으로 선택하도록 해도 된다.
도 14는, 525i 신호에서 525p 신호로 변환하는 경우에, 제3 탭 선택 회로(123)에서 선택되는 움직임 클래스 탭(SD 화소)의 구체예를 도시하고 있다. 도 14는 시간적으로 연속하는 프레임 F-1, F의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다. 도 14에 도시한 바와 같이, 필드 F/o의 라인 데이터 L1, L2를 예측할 때의 움직임 클래스 탭은, 다음 필드 F/e에 포함되고, 작성해야 할 525p 신호의 화소(주목 위치의 화소)에 대해 공간적으로 근방 위치인 SD 화소 n2, n4, n6과, 필드 F/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 n1, n3, n5와, 앞의 필드 F-1/e에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 S/D 화소 m2, m4, m6과, 더 앞의 필드 F-1/o에 포함되고, 작성해야 할 525p 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 m1, m3, m5이다. SD 화소 n1∼n6 각각의 수직 방향의 위치는SD 화소 m1∼m6 각각의 수직 방향의 위치와 일치한다.
도 15는, 525i 신호에서 1050i 신호로 변환하는 경우에, 제3 탭 선택 회로(123)에서 선택되는 움직임 클래스 탭(SD 화소)의 구체예를 도시하고 있다. 도 15는 시간적으로 연속하는 프레임 F-1, F의 홀수(o), 짝수(e) 필드의 수직 방향의 화소 위치 관계를 나타내고 있다. 도 15에 도시한 바와 같이, 필드 F/o의 라인 데이터 L1, L2를 예측할 때의 움직임 클래스 탭은, 다음 필드 F/e에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 n2, n4, n6과, 필드 F/o에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 n1, n3, n5와, 앞의 필드 F-1/e에 포함되고, 작성해야 할 1050i 신호의 화소에 대하여 공간적으로 근방 위치인 S/D 화소 m2, m4, m6과, 더 앞의 필드 F-1/o에 포함되고, 작성해야 할 1050i 신호의 화소에 대해 공간적으로 근방 위치인 SD 화소 m1, m3, m5이다. SD 화소 n1∼n6 각각의 수직 방향의 위치는 SD 화소 m1∼m6 각각의 수직 방향의 위치와 일치한다.
도 1로 되돌아가서, 화상 신호 처리부(110)는, 제2 탭 선택 회로(122)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)의 레벨 분포 패턴을 검출하고, 이 레벨 분포 패턴에 기초하여 공간 클래스를 검출하고, 그 클래스 정보를 출력하는 공간 클래스 검출 회로(124)를 갖고 있다.
공간 클래스 검출 회로(124)에서는, 예를 들면 각 SD 화소 데이터를 8비트 데이터에서 2비트 데이터로 압축하는 연산이 실행된다. 그리고, 공간 클래스 검출 회로(124)에서는 각 SD 화소 데이터에 대응하는 압축 데이터가 공간 클래스의 클래스 정보로서 출력된다. 본 실시 형태에서는 ADRC(Adaptive Dynamic Range Coding)에 의해 데이터 압축이 실행된다. 그리고, 정보 압축 수단으로서는 ADRC 이외에 DPCM(예측 부호화), VQ(벡터 양자화) 등을 사용해도 된다.
본래, ADRC는 VTR(Video Tape Recorder)용 고성능 부호화용으로 개발된 적응 양자화법인데, 신호 레벨의 국소적인 패턴을 짧은 단어 길이로 효율적으로 표현할 수 있기 때문에, 상술한 데이터 압축에 사용하기에 적합하다. ADRC를 사용하는 경우, 공간 클래스 탭의 데이터(SD 화소 데이터)의 최대값을 MAX, 그 최소값을 MIN, 공간 클래스 탭의 다이나믹 레인지를 DR(=MAX-MIN+1), 재양자화 비트수를 P라 하면, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터 ki에 대해 수학식 1의 연산에 의해 압축 데이터로서의 재양자화 코드 qi가 얻어진다. 단, 수학식 1에 있어서 [ ]는 절사 처리를 의미한다. 공간 클래스 탭의 데이터로서 Na개의 SD 화소 데이터가 있을 때, i=1∼Na이다.
또한 화상 신호 처리부(110)는, 제3 탭 선택 회로(123)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)에서, 주로 움직임의 정도를 표현하기 위한 움직임 클래스를 검출하고, 그 클래스 정보를 출력하는 움직임 클래스 검출 회로(125)를 갖고 있다.
이 움직임 클래스 검출 회로(125)에서는, 제3 탭 선택 회로(123)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터) mi, ni로부터 프레임간차분이 산출되고, 또한 이 차분의 절대값의 평균값에 대하여 임계값 처리가 실행되어 움직임의 지표인 움직임 클래스가 검출된다. 즉, 움직임 클래스 검출 회로(125)에서는 수학식 2에 의해 차분의 절대값의 평균값 AV가 산출된다. 제3 탭 선택 회로(123)에서, 예를 들면 상술한 바와 같이 12개의 SD 화소 데이터 m1∼m6, n1∼n6이 추출될 때, 수학식 2에서의 Nb는 6이다.
그리고 움직임 클래스 검출 회로(125)에서는, 상술한 바와 같이 산출된 평균값 AV가 1개 또는 복수개의 임계값과 비교되어 움직임 클래스의 클래스 정보 MV가 얻어진다. 예를 들면, 3개의 임계값(th1, th2, th3(th1<th2<th3))이 준비되고, 4개의 움직임 클래스를 검출하는 경우, AV≤th1일 때에는 MV=0, th1<AV≤th2일 때에는 MV=1, th2<AV≤th3일 때에는 MV=2, th3<AV일 때에는 MV=3이 된다.
또한 화상 신호 처리부(110)는, 공간 클래스 검출 회로(124)에서 출력되는 공간 클래스의 클래스 정보로서의 재양자화 코드 qi와, 움직임 클래스 검출 회로(125)에서 출력되는 움직임 클래스의 클래스 정보 MV에 기초하여, 작성해야 할 HD 신호(525p 신호 또는 1050i 신호)의 화소 데이터, 즉 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL을 얻기 위한 클래스 합성 회로(126)를 갖고 있다.
이 클래스 합성 회로(126)에서는, 수학식 3에 의해 클래스 코드 CL의 연산이실행된다. 그리고, 수학식 3에 있어서 Na는 공간 클래스 탭의 데이터(SD 화소 데이터)의 개수, P는 ADRC에 있어서의 재양자화 비트수를 나타낸다.
또한, 화상 신호 처리부(110)는 레지스터(130∼131)와 계수 메모리(134)를 갖고 있다. 후술하는 선순차 변환 회로(129)는, 525p 신호를 출력하는 경우와 1050i 신호를 출력하는 경우에 그 동작을 전환할 필요가 있다. 레지스터(130)는 선순차 변환 회로(129)이 동작을 지정하는 동작 지정 정보를 저장하는 것이다. 선순차 변환 회로(129)는 레지스터(130)에서 공급되는 동작 지정 정보에 따른 동작을 한다.
레지스터(131)는, 제1 탭 선택 회로(121)에서 선택되는 예측 탭의 탭 위치 정보를 저장하는 것이다. 제1 탭 선택 회로(121)는 레지스터(131)에서 공급되는 탭 위치 정보에 따라 예측 탭을 선택한다. 탭 위치 정보는, 예를 들면 선택될 가능성이 있는 복수의 SD 화소에 대해 번호를 부여하고, 선택하는 SD 화소의 번호를 지정하는 것이다. 이하의 탭 위치 정보도 마찬가지이다.
레지스터(132)는, 제2 탭 선택 회로(122)에서 선택되는 공간 클래스 탭의 탭 위치 정보를 저장하는 것이다. 제2 탭 선택 회로(122)는 레지스터(132)에서 공급되는 탭 위치 정보에 따라 공간 클래스 탭을 선택한다.
여기에서 레지스터(132)에는, 움직임이 비교적 작은 경우의 탭 위치 정보 A와 움직임이 비교적 큰 경우의 탭 위치 정보 B가 저장된다. 이들 탭 위치 정보 A, B 중 어느 것을 제2 탭 선택 회로(122)에 공급할지는, 움직임 클래스 검출 회로(125)에서 출력되는 움직임 클래스의 클래스 정보 MV에 의해 선택된다.
즉, 움직임이 없거나 아니면 움직임이 작아서 MV=0 또는 MV=1일 때에는, 탭 위치 정보 A가 제2 탭 선택 회로(122)에 공급되고, 이 제2 탭 선택 회로(122)에서 선택되는 공간 클래스 탭은 도 10∼도 13에 도시한 바와 같이 복수 필드에 걸치는 것으로 된다. 또한, 움직임이 비교적 커서 MV=2 또는 MV=3일 때에는, 탭 위치 정보 B가 제2 탭 선택 회로(122)에 공급되고, 이 제2 탭 선택 회로(122)에서 선택되는 공간 클래스 탭은 도시하지 않았으나, 작성해야 할 화소와 동일 필드내의 SD 화소만으로 된다.
그리고 상술한 레지스터(131)에도, 움직임이 비교적 작은 경우의 탭 위치 정보와 움직임이 비교적 큰 경우의 탭 위치 정보가 저장되도록 하고, 제1 탭 선택 회로(122)에 공급되는 탭 위치 정보가 움직임 클래스 검출 회로(125)에서 출력되는 움직임 클래스의 클래스 정보 MV에 의해 선택되도록 해도 된다.
레지스터(133)는, 제3 탭 선택 회로(123)에서 선택되는 움직임 클래스 탭의 탭 위치 정보를 저장하는 것이다. 제3 탭 선택 회로(123)는 레지스터(133)에서 공급되는 탭 위치 정보에 따라 움직임 클래스 탭을 선택한다.
그리고, 계수 메모리(134)는 후술하는 추정 예측 연산 회로(127)에서 사용되는 추정식의 계수 데이터를 클래스마다 저장하는 것이다. 이 계수 데이터는, SD 신호로서의 525i 신호를 HD 신호로서의 525p 신호 또는 1050i 신호로 변환하기 위한 정보이다. 계수 메모리(134)에는 상술한 클래스 합성 회로(126)에서 출력되는 클래스 코드 CL이 판독 어드레스 정보로서 공급되고, 이 계수 메모리(134)로부터는 클래스 코드 CL에 대응하는 계수 데이터가 판독되어 추정 예측 연산 회로(127)에 공급된다.
또한, 화상 신호 처리부(110)는 정보 메모리 뱅크(135)를 갖고 있다. 이 정보 메모리 뱅크(135)에는 레지스터(130)에 저장하기 위한 동작 지정 정보와 레지스터(131∼133)에 저장하기 위한 탭 위치 정보가 미리 축적되어 있다.
여기에서 레지스터(130)에 저장하기 위한 동작 지정 정보로서, 정보 메모리 뱅크(135)에는 선순차 변환 회로(129)를 525p 신호를 출력하도록 동작시키기 위한 제1 동작 지정 정보와, 선순차 변환 회로(129)를 1050i 신호를 출력하도록 동작시키기 위한 제2 동작 지정 정보가 미리 축적되어 있다.
사용자는 리모콘 송신기(200)를 조작함으로써, HD 신호로서 525p 신호를 출력하는 제1 변환 방법 또는 HD 신호로서 1050i 신호를 출력하는 제2 변환 방법을 선택할 수 있다. 정보 메모리 뱅크(135)에는 시스템 컨트롤러(101)에서 그 변환 방법의 선택 정보가 공급되고, 이 정보 메모리 뱅크(135)에서 레지스터(130)에는 그 선택 정보에 따라 제1 동작 지정 정보 또는 제2 동작 지정 정보가 로드된다.
또한 정보 메모리 뱅크(135)에는, 레지스터(131)에 저장하기 위한 예측 탭의 탭 위치 정보로서, 제1 변환 방법(525p)에 대응하는 제1 탭 위치 정보와 제2 변환 방법(1050i)에 대응하는 제2 탭 위치 정보가 미리 축적되어 있다. 이 정보 메모리 뱅크(135)에서 레지스터(131)에는 상술한 변환 방법의 선택 정보에 따라 제1 탭 위치 정보 또는 제2 탭 위치 정보가 로드된다.
또한 정보 메모리 뱅크(135)에는, 레지스터(132)에 저장하기 위한 공간 클래스 탭의 탭 위치 정보로서, 제1 변환 방법(525p)에 대응하는 제1 탭 위치 정보와 제2 변환 방법(1050i)에 대응하는 제2 탭 위치 정보가 미리 축적되어 있다. 그리고 제1 및 제2 탭 위치 정보는, 각각 움직임이 비교적 작은 경우의 탭 위치 정보와 움직임이 비교적 큰 경우의 탭 위치 정보로 이루어져 있다. 이 정보 메모리 뱅크(135)에서 레지스터(132)에는, 상술한 변환 방법의 선택 정보에 따라 제1 탭 위치 정보 또는 제2 탭 위치 정보가 로드된다.
또한 정보 메모리 뱅크(135)에는, 레지스터(133)에 저장하기 위한 움직임 클래스 탭의 탭 위치 정보로서, 제1 변환 방법(525p)에 대응하는 제1 탭 위치 정보와 제2 변환 방법(1050i)에 대응하는 제2 탭 위치 정보가 미리 축적되어 있다. 이 정보 메모리 뱅크(135)에서 레지스터(133)에는 상술한 변환 방법의 선택 정보에 따라 제1 탭 위치 정보 또는 제2 탭 위치 정보가 로드된다.
또한 정보 메모리 뱅크(135)에는, 제1 및 제2 변환 방법의 각각에 대응하는 각 클래스의 계수종 데이터가 미리 저장되어 있다. 이 계수종 데이터는 상술한 계수 메모리(134)에 저장하기 위한 계수 데이터를 생성하기 위한 생성식의 계수 데이터이다.
후술하는 추정 예측 연산 회로(127)에서는, 예측 탭의 데이터(SD 화소 데이터) xi와 계수 메모리(134)에서 판독되는 계수 데이터 Wi로부터 수학식 4의 추정식에 의해 작성해야 할 HD 화소 데이터 y가 연산된다. 제1 탭 선택 회로(121)에서선택되는 예측 탭이 도 4 및 도 7에 도시한 바와 같이 10개일 때, 수학식 4에 있어서의 n은 10이 된다.
그리고 이 추정식의 계수 데이터 Wi(i=1∼n)는, 수학식 5에 나타낸 바와 같이 파라미터 h, v를 포함하는 생성식에 의해 생성된다. 정보 메모리 뱅크(135)에는, 이 생성식의 계수 데이터인 계수종 데이터 w10∼wn9가 변환 방법마다 또한 클래스마다 저장되어 있다. 이 계수종 데이터의 생성 방법에 대해서는 후술한다.
또한 화상 신호 처리부(110)는, 각 클래스의 계수종 데이터 및 파라미터 h, v 값을 사용하여, 수학식 5에 의해 클래스마다 파라미터 h, v 값에 대응하는 추정식의 계수 데이터 Wi(i=1∼n)를 생성하는 계수 생성 회로(136)를 갖고 있다. 이 계수 생성 회로(136)에는, 정보 메모리 뱅크(135)에서, 상술한 변환 방법의 선택 정보에 따라 제1 변환 방법 또는 제2 변환 방법에 대응하는 각 클래스의 계수종 데이터가 로드된다. 또한, 이 계수 생성 회로(136)에는 시스템 컨트롤러(101)에서파라미터 h, v 값이 공급된다.
이 계수 생성 회로(136)에서 생성되는 각 클래스의 계수 데이터 Wi(i=1∼n)는, 상술한 계수 메모리(134)에 저장된다. 이 계수 생성 회로(136)에 있어서의 각 클래스의 계수 데이터 Wi의 생성은, 예를 들면 각 수직 블랭킹 기간에서 실행된다. 이에 따라, 사용자의 리모콘 송신기(200)의 조작에 의해 파라미터 h, v 값이 변경되어도, 계수 메모리(134)에 저장되는 각 클래스의 계수 데이터 Wi를 그 파라미터 h, v 값에 대응하는 것으로 즉시 변경할 수 있고, 사용자에 의한 해상도의 조정이 원활하게 실행된다.
또한 화상 신호 처리부(110)는, 계수 생성 회로(136)에서 생성되는 각 클래스의 계수 데이터 Wi(i=1∼n)에 대응하는 정규화 계수 S를 수학식 6에 의해 연산하는 정규화 계수 생성 회로(137)와, 여기에서 생성된 정규화 계수 S를 클래스마다 저장하는 정규화 계수 메모리(138)를 갖고 있다. 정규화 계수 메모리(138)에는, 상술한 클래스 합성 회로(126)에서 출력되는 클래스 코드 CL이 판독 어드레스 정보로서 공급되고, 이 정규화 계수 메모리(138)로부터는 클래스 코드 CL에 대응하는 정규화 계수 S가 판독되어 후술하는 정규화 연산 회로(128)에 공급된다.
또한 화상 신호 처리부(110)는, 제1 탭 선택 회로(121)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi와 계수 메모리(134)에서 판독되는 계수데이터 Wi로부터, 작성해야 할 HD 신호의 화소 데이터(주목 위치의 화소 데이터)를 연산하는 추정 예측 연산 회로(127)를 갖고 있다.
이 추정 예측 연산 회로(127)에서는, 525p 신호를 출력하는 경우, 상술한 도 4에 도시한 바와 같이, 홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인과 동일 위치의 라인 데이터 L1과, 525i 신호의 상하 라인의 중간 위치의 라인 데이터 L2를 생성하고, 또한 각 라인의 화소수를 2배로 할 필요가 있다. 또한, 이 추정 예측 연산 회로(127)에서는, 1050i 신호를 출력하는 경우, 상술한 도 5에 도시한 바와 같이, 홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인에 가까운 위치의 라인 데이터 L1, L1'와 525i 신호의 라인에서 먼 위치의 라인 데이터 L2, L2'를 생성하고, 또한 각 라인의 화소수를 2배로 할 필요가 있다.
따라서, 추정 예측 연산 회로(127)에서는 HD 신호를 구성하는 4화소의 데이터가 동시적으로 생성된다. 예를 들면, 4화소의 데이터는 각각 계수 데이터를 달리 하는 추정식을 사용하여 동시적으로 생성되는 것으로서, 계수 메모리(134)로부터는 각각의 추정식의 계수 데이터가 공급된다. 여기에서 추정 예측 연산 회로(127)에서는, 예측 탭의 데이터(SD 화소 데이터) xi와 계수 메모리(134)에서 판독되는 계수 데이터 Wi로부터, 상술한 수학식 4의 추정식에 의해 작성해야 할 HD 화소 데이터 y가 연산된다.
또한 화상 신호 처리부(110)는, 추정 예측 연산 회로(127)에서 출력되는 라인 데이터 L1, L2(L1', L2')를 구성하는 각 HD 화소 데이터 y를, 정규화 계수 메모리(138)에서 판독되며 각각의 생성에 사용된 계수 데이터 Wi(i=1∼n)에 대응하는정규화 계수 S로 제산하여 정규화하는 정규화 연산 회로(128)를 갖고 있다. 상술하지 않았으나, 계수 생성 회로(136)에서 계수종 데이터로부터 생성식에서 추정식의 계수 데이터를 구하는 것인데, 생성되는 계수 데이터는 라운딩 오차를 포함하며, 계수 데이터 Wi(i=1∼n)의 총합이 1.0이 되리라고는 보증되지 않는다. 따라서, 추정 예측 연산 회로(127)에서 연산되는 HD 화소 데이터 y는 라운딩 오차로 인해 레벨 변동한 것으로 된다. 상술한 바와 같이, 정규화 연산 회로(128)에 의해 정규화함으로써 그 변동을 제거할 수 있다.
또한 화상 신호 처리부(110)는, 수평 주기를 1/2배로 하는 라인 배속 처리를 실행하여 추정 예측 연산 회로(127)에서 정규화 연산 회로(128)를 통해 공급되는 라인 데이터 L1, L2(L1', L2')를 선순차화하는 선순차 변환 회로(129)를 갖고 있다.
도 16은, 525p 신호를 출력하는 경우의 라인 배속 처리를 아날로그 파형을 사용하여 도시한 것이다. 상술한 바와 같이, 추정 예측 연산 회로(127)에 의해 라인 데이터 L1, L2가 생성된다. 라인 데이터 L1에는 차례로 a1, a2, a3, …의 라인이 포함되고, 라인 데이터 L2에는 차례로 b1, b2, b3, …의 라인이 포함된다. 선순차 변환 회로(129)는 각 라인의 데이터를 시간축 방향으로 1/2로 압축하고, 압축된 데이터를 번갈아 선택함으로써 선순차 출력 a0, b0, a1, b1,…을 형성한다.
그리고, 1050i 신호를 출력하는 경우에는, 홀수 필드 및 짝수 필드에서 인터레이스 관계를 만족하도록, 선순차 변환 회로(129)가 선순차 출력을 발생한다. 따라서, 선순차 변환 회로(129)는, 525p 신호를 출력하는 경우와 1050i 신호를 출력하는 경우에 그 동작을 전환할 필요가 있다. 그 동작 지정 정보는 상술한 바와 같이 레지스터(130)에서 공급된다.
이어서, 화상 신호 처리부(110)의 동작을 설명한다.
버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)에서, 제2 탭 선택 회로(122)에서 공간 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제2 탭 선택 회로(122)에서는 레지스터(132)로부터 공급되는, 사용자에 의해 선택된 변환 방법 및 움직임 클래스 검출 회로(125)에서 검출되는 움직임 클래스에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제2 탭 선택 회로(122)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 공간 클래스 검출 회로(124)에 공급된다. 이 공간 클래스 검출 회로(124)에서는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터에 대해 ADRC 처리가 실행되어 공간 클래스(주로 공간내의 파형 표현을 위한 클래스 분류)의 클래스 정보로서의 재양자화 코드 qi가 얻어진다(수학식 1 참조).
또한, 버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)로부터, 제3 탭 선택 회로(123)에서 움직임 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제3 탭 선택 회로(123)에서는 레지스터(133)로부터 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제3 탭 선택 회로(123)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)는 움직임 클래스 검출 회로(125)에 공급된다. 이 움직임 클래스 검출 회로(125)에서는, 움직임 클래스 탭의 데이터로서의 각 SD 화소 데이터에서 움직임 클래스(주로 움직임의 정도를 표현하기 위한 클래스 분류)의 클래스 정보 MV가 얻어진다.
이 움직임 정보 MV와 상술한 재양자화 코드 qi는 클래스 합성 회로(126)에 공급된다. 이 클래스 합성 회로(126)에서는 이들 움직임 정보 MV와 재양자화 코드 qi로부터, 작성해야 할 HD 신호(525p 신호 또는 1050i 신호)의 화소 데이터(주목 위치의 화소 데이터)가 속하는 클래스를 나타내는 클래스 코드 CL이 얻어진다(수학식 3 참조). 그리고 이 클래스 코드 CL는, 계수 메모리(134) 및 정규화 계수 메모리(138)에 판독 어드레스 정보로서 공급된다.
계수 메모리(134)에는, 예를 들면 각 수직 블랭킹 기간에 사용자에 의해 조정된 파라미터 h, v 값 및 변환 방법에 대응하는 각 클래스의 추정식의 계수 데이터 Wi(i=1∼n)가 계수 생성회로(136)에서 생성되어 저장된다. 또한 정규화 계수 메모리(138)에는, 상술한 바와 같이 계수 생성 회로(136)에서 생성된 각 클래스의 계수 데이터 Wi(i=1∼n)에 대응하는 정규화 계수 S가 정규화 계수 생성 회로(137)에서 생성되어 저장된다.
계수 메모리(134)에 상술한 바와 같이 클래스 코드 CL이 판독 어드레스 정보로서 공급됨으로써, 이 계수 메모리(134)로부터 클래스 코드 CL에 대응하는 계수 데이터 Wi가 판독되어 추정 예측 연산 회로(127)에 공급된다. 또한, 버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)로부터, 제1 탭 선택 회로(12)에서 예측 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제1 탭선택 회로(121)에서는 레지스터(131)로부터 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다. 이 제1 탭 선택 회로(121)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi는 추정 예측 연산 회로(127)에 공급된다.
추정 예측 연산 회로(127)에서는, 예측 탭의 데이터(SD 화소 데이터) xi와 계수 메모리(134)에서 판독되는 계수 데이터 Wi로부터, 작성해야 할 HD 신호의 화소 데이터, 즉 주목 위치의 화소 데이터(HD 화소 데이터) y가 연산된다(수학식 4 참조). 이 경우, HD 신호를 구성하는 4화소의 데이터가 동시적으로 생성된다.
이에 따라, 525p 신호를 출력하는 제1 변환 방법이 선택되어 있을 때에는, 홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인과 동일 위치의 라인 데이터 L1)와 525i 신호의 상하 라인의 중간 위치의 라인 데이터 L2가 생성된다(도 4 참조). 또한, 1050i 신호를 출력하는 제2 변환 방법이 선택되어 있을 때에는, 홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인에 가까운 위치의 라인 데이터 L1, L1'와 525i 신호의 라인에서 먼 위치의 라인 데이터 L2, L2'가 생성된다(도 5 참조).
이와 같이, 추정 예측 연산 회로(127)에서 생성된 라인 데이터 L1, L2(L1', L2')는 정규화 연산 회로(128)에 공급된다. 정규화 계수 메모리(138)에 상술한 바와 같이 클래스 코드 CL이 판독 어드레스 정보로서 공급됨으로써, 이 정규화 계수 메모리(138)로부터 클래스 코드 CL에 대응하는 정규화 계수 S, 즉 추정 예측 연산 회로(127)에서 출력되는 라인 데이터 L1, L2(L1', L2')를 구성하는 각 HD 화소 데이터 y의 생성에 사용된 계수 데이터 Wi(i=1∼n)에 대응하는 정규화 계수 S가 판독되어 추정 예측 연산 회로(127)에 공급된다. 정규화 연산 회로(128)에서는, 추정 예측 연산 회로(127)에서 출력되는 라인 데이터 L1, L2(L1', L2')를 구성하는 각 HD 화소 데이터 y가 각각 대응하는 정규화 계수 S로 제산되어 정규화된다. 이에 따라, 계수종 데이터를 사용하여 생성식(수학식 5 참조)에 의해 추정식(수학식 4 참조)의 계수 데이터를 구할 때의 라운딩 오차로 인한 주목 위치의 정보 데이터의 레벨 변동이 제거된다.
이와 같이, 정규화 연산 회로(128)에 의해 정규화된 라인 데이터 L1, L2(L1', L2')는 선순차 변환 회로(129)에 공급된다. 그리고 이 선순차 변환 회로(129)에서는, 라인 데이터 L1, L2(L1', L2')가 선순차화되어 HD 신호가 생성된다. 이 경우, 선순차 변환 회로(129)는 레지스터(130)에서 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 동작 지시 정보에 따른 동작을 한다. 따라서, 사용자에 의해 제1 변환 방법(525p)이 선택되어 있을 때에는, 선순차 변환 회로(129)에서 525p 신호가 출력된다. 한편, 사용자에 의해 제2 변환 방법(1050i)이 선택되어 있을 때에는, 선순차 변환 회로(129)에서 1050i 신호가 출력된다.
상술한 바와 같이, 계수 생성 회로(136)에서 정보 메모리 뱅크(135)로부터 로드되는 계수종 데이터를 사용하여 클래스마다 파라미터 h, v 값에 대응하는 추정식의 계수 데이터 Wi(i=1∼n)가 생성되고, 이것이 계수 메모리(134)에 저장된다. 그리고, 이 계수 메모리(134)에서 클래스 코드 CL에 대응하여 판독되는 계수 데이터 Wi(i=1∼n)를 사용하여 추정 예측 연산 회로(127)에서 HD 화소 데이터 y가 연산된다. 따라서, 사용자는 파라미터 h, v 값을 조정함으로써, HD 신호에 의해 얻어지는 화상의 수평 및 수직의 화질을 무단계로 매끄럽게 조정할 수 있다. 그리고, 이 경우 조정된 파라미터 h, v 값에 대응하는 각 클래스의 계수 데이터를 그 때마다 계수 생성 회로(136)에 의해 생성하여 사용하는 것으로서, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않는다.
상술한 바와 같이, 정보 메모리 뱅크(135)에는 계수종 데이터가 변환 방법마다 또한 클래스마다 저장되어 있다. 이 계수종 데이터는 미리 학습에 의해 생성된 것이다.
우선, 이 생성 방법의 일례에 대하여 설명한다. 수학식 5의 생성식에서의 계수 데이터인 계수종 데이터 w10∼wn9를 구하는 예를 나타내기로 한다.
여기에서, 이하의 설명을 위해 수학식 7과 같이 ti(i=0∼9)를 정의한다.
이 수학식 7을 사용하면, 수학식 5는 수학식 8과 같이 고쳐 쓸 수 있다.
최종적으로 학습에 의해 미정 계수 wx를 구한다. 즉, 변환 방법마다 또한 클래스마다 복수의 SD 화소 데이터와 HD 화소 데이터를 사용하여 자승 오차를 최소로 하는 계수치를 구한다. 소위 최소자승법에 의한 해법이다. 학습수를 m,k(1≤k≤m)번째 학습 데이터에서의 잔차를 ek, 자승 오차의 총합을 E라 하면, 수학식 4 및 수학식 5를 사용하여 E는 수학식 9로 표시된다. 여기에서, xik는 SD 화상의 i번째 예측 탭 위치에서의 k번째 화소 데이터, yk는 이에 대응하는 k번째 HD 화상의 화소 데이터를 나타낸다.
최소자승법에 의한 해법에서는, 수학식 9의 wxy에 의한 편미분이 0이 되는 wxy를 구한다. 이것은 수학식 10으로 나타난다.
이하, 수학식 11, 수학식 12와 같이 Xipjq, Yip를 정의하면, 수학식 10은 행렬을 이용하여 수학식 13과 같이 고쳐 쓸 수 있다.
이 방정식은 일반적으로 정규 방정식이라 불린다. 이 정규 방정식은 가우스-조르단(Gauss-Jordan) 소거법 등을 이용하여 wxy에 대해 풀이하여 계수종 데이터가 산출된다.
도 17은 상술한 계수종 데이터의 생성 방법의 개념을 나타내고 있다. HD 신호로부터 복수의 SD 신호를 생성한다. 예를 들면 HD 신호로부터 SD 신호를 생성할 때에 사용하는 필터의 수평 대역과 수직 대역을 가변하는 파라미터 h, v를 각각 9단계로 가변하여 합계 81종류의 SD 신호를 생성한다. 이와 같이 하여 생성된 복수의 SD 신호와 HD 신호 사이에서 학습을 실행하여 계수종 데이터를 생성한다.
도 18은 상술한 개념으로 계수종 데이터를 생성하는 계수종 데이터 생성 장치(150)의 구성을 도시하고 있다.
이 계수종 데이터 생성 장치(150)는 교사 신호로서의 HD 신호(525p신호/1050i 신호)가 입력되는 입력 단자(151)와, 이 HD 신호에 대해 수평 및 수직의 씨닝 처리를 실행하여 입력 신호로서의 SD 신호를 얻는 SD 신호 생성 회로(152)를 갖고 있다.
이 SD 신호 생성 회로(152)에는 변환 방법 선택 신호가 제어 신호로서 공급된다. 제1 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 525p 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 525p 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다(도 4 참조). 한편, 제2 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 1050i 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다(도 5 참조).
또한, SD 신호 생성 회로(152)에는 파라미터 h, v가 제어 신호로서 공급된다. 이 파라미터 h, v에 대응하여 HD 신호로부터 SD 신호를 생성할 때에 사용하는 필터의 수평 대역과 수직 대역이 가변된다. 여기에서, 필터의 상세에 대하여 몇가지 예를 나타낸다.
예를 들면, 필터를 수평 대역을 제한하는 대역 필터와 수직 대역을 제한하는 대역 필터로 구성하는 경우를 생각할 수 있다. 이 경우, 도 19에 도시한 바와 같이 파라미터 h 또는 v의 단계적인 값에 대응하는 주파수 특성을 설계하고 역푸리에 변환을 함으로써, 파라미터 h 또는 v의 단계적인 값에 대응하는 주파수 특성을 갖는 1차원 필터를 얻을 수 있다.
또한 예를 들면, 필터를 수평 대역을 제한하는 1차원 가우시안 필터와 수직대역을 제한하는 1차원 가우시안 필터로 구성하는 경우를 생각할 수 있다. 이 1차원 가우시안 필터는 수학식 14로 표시된다. 이 경우, 파라미터 h 또는 v의 단계적인 값에 대응하여 표준 편차 σ 값을 단계적으로 변경함으로써, 파라미터 h 또는 v의 단계적인 값에 대응하는 주파수 특성을 갖는 1차원 가우시안 필터를 얻을 수 있다.
또한 예를 들면, 필터를 파라미터 h, v의 양측에서 수평 및 수직의 주파수 특성이 결정되는 2차원 필터 F(h, v)로 구성하는 경우를 생각할 수 있다. 이 2차원 필터의 생성 방법은 상술한 1차원 필터와 마찬가지로, 파라미터 h, v의 단계적인 값에 대응하는 2차원 주파수 특성을 설계하고 2차원 역푸리에 변환을 함으로써, 파라미터 h, v의 단계적인 값에 대응하는 2차원 주파수 특성을 갖는 2차원 필터를 얻을 수 있다.
또한 계수종 데이터 생성 장치(150)는, SD 신호 생성 회로(152)에서 출력되는 SD 신호(525i 신호)로부터 HD 신호(1050i 신호 또는 525p 신호)에 있어서의 주목 위치의 주변에 위치하는 복수의 SD 화소의 데이터를 선택적으로 추출하여 출력하는 제1 ∼ 제3 탭 선택 회로(153∼155)를 갖고 있다.
이들 제1∼제3 탭 선택 회로(153∼155)는, 상술한 화상 신호 처리부(110)의 제1∼제3 탭 선택 회로(121∼123)와 동일하게 구성된다. 이들 제1∼제3 탭 선택회로(153∼155)에서 선택되는 탭은 탭 선택 제어부(156)로부터의 탭 위치 정보에 의해 지정된다.
탭 선택 제어 회로(156)에는 변환 방법 선택 신호가 제어 신호로서 공급된다. 제1 변환 방법이 선택되는 경우와 제2 변환 방법이 선택되는 경우에서, 제1∼제3 탭 선택 회로(153∼155)에 공급되는 탭 위치 정보가 달라지도록 되어 있다. 또한 탭 선택 제어 회로(156)에는, 후술하는 움직임 클래스 검출 회로(158)에서 출력되는 움직임 클래스의 클래스 정보 MV가 공급된다. 이에 따라, 제2 탭 선택 회로(154)에 공급되는 탭 위치 정보가 움직임이 큰지 작은지에 따라 달라지게 된다.
또한 계수종 데이터 생성 장치(150)는, 제2 탭 선택 회로(154)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)의 레벨 분포 패턴을 검출하고, 이 레벨 분포 패턴에 기초하여 공간 클래스를 검출하고, 그 클래스 정보를 출력하는 공간 클래스 검출 회로(157)를 갖고 있다. 이 공간 클래스 검출 회로(157)는, 상술한 화상 신호 처리부(110)의 공간 클래스 검출 회로(124)와 동일하게 구성된다. 이 공간 클래스 검출 회로(157)에서는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터마다의 재양자화 코드 qi가 공간 클래스를 나타내는 클래스 정보로서 출력된다.
또한 계수종 데이터 생성 장치(150)는, 제3 탭 선택 회로(155)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)에서, 주로 움직임의 정도를 표현하기 위한 움직임 클래스를 검출하고, 이 클래스 정보 MV를 출력하는 움직임 클래스 검출 회로(158)를 갖고 있다. 이 움직임 클래스 검출 회로(158)는, 상술한 화상 신호 처리부(110)의 움직임 클래스 검출 회로(125)와 동일하게 구성된다. 이 움직임 클래스 검출 회로(158)에서는, 제3 탭 선택 회로(155)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)로부터 프레임간 차분이 산출되고, 추가로 이 차분의 절대값의 평균값에 대하여 임계값 처리가 실행되어 움직임의 지표인 움직임 클래스가 검출된다.
또한 계수종 데이터 생성 장치(150)는, 공간 클래스 검출 회로(157)에서 출력되는 공간 클래스의 클래스 정보로서의 재양자화 코드 qi와 움직임 클래스 검출 회로(158)에서 출력되는 움직임 클래스의 클래스 정보 MV에 기초하여, HD 신호(525p 신호 또는 1050i 신호)에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL를 얻기 위한 클래스 합성 회로(159)를 갖고 있다. 이 클래스 합성 회로(159)도 상술한 화상 신호 처리부(110)의 클래스 합성 회로(126)와 동일하게 구성된다.
또한 계수종 데이터 생성 장치(150)는, 입력 단자(151)에 공급되는 HD 신호에서 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 출력되는 클래스 코드 CL로부터, 각 클래스마다 계수종 데이터 w10∼wn9를 얻기 위한 정규 방정식(수학식 13 참조)을 생성하는 정규 방정식 생성부(160)를 갖고 있다.
이 경우, 1개의 HD 화소 데이터 y와 이것에 대응하는 n개의 예측 탭 화소 데이터의 조합으로 학습 데이터가 생성되는데, SD 신호 생성 회로(152)로의 파라미터 h, v가 순차 변경되어 있어서 수평 및 수직의 대역이 단계적으로 변화된 복수의 SD 신호가 순차 생성되어 가고, 이에 따라 정규 방정식 생성부(160)에서는 많은 학습 데이터가 등록된 정규 방정식이 생성된다.
여기에서, HD 신호와, 이 HD 신호로부터 대역이 좁은 필터를 작용시켜 생성한 SD 신호 사이에서 학습하여 산출한 계수종 데이터는, 해상도가 높은 HD 신호를 얻기 위한 것으로 된다. 반대로, HD 신호와, 이 HD 신호로부터 대역이 넓은 필터를 작용시켜 생성한 SD 신호 사이에서 학습하여 산출한 계수종 데이터는 해상도가 낮은 HD 신호를 얻기 위한 것으로 된다. 상술한 바와 같이 복수의 SD 신호를 순차 생성하여 학습 데이터를 등록함으로써, 연속한 해상도의 HD 신호를 얻기 위한 계수종 데이터를 구할 수 있게 된다.
그리고 도시하지 않았으나, 제1 탭 선택 회로(153)의 전단에 시간 맞춤용 지연 회로를 배치함으로써, 이 제1 탭 선택 회로(153)에서 정규 방정식 생성부(160)로 공급되는 SD 화소 데이터 xi의 타이밍을 맞출 수 있다.
또한 계수종 데이터 생성 장치(150)는, 정규 방정식 생성부(160)에서 클래스마다 생성된 정규 방정식의 데이터가 공급되고, 클래스마다 정규 방정식을 풀어 각 클래스의 계수종 데이터 w10∼wn9를 구하는 계수종 데이터 결정부(161)와, 이 구해진 계수종 데이터 w10∼wn9를 저장하는 계수종 메모리(162)를 갖고 있다. 계수종 데이터 결정부(161)에서는 정규 방정식이 예를 들면 가우스-조르단 소거법 등에 의해 풀이되어 계수 데이터 w10∼wn9가 구해진다.
도 18에 도시한 계수종 데이터 생성 장치(150)의 동작을 설명한다. 입력 단자(151)에는 교사 신호로서의 HD 신호(525p 신호 또는 1050i 신호)가 공급되고, 그리고 이 HD 신호에 대해 SD 신호 생성 회로(152)에서 수평 및 수직의 압축처리가 실행되어 입력 신호로서의 SD 신호(525i 신호)가 생성된다.
이 경우, 제1 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 525p 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 525p 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다. 한편, 제2 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 1050i 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다. 또한 이경우, SD 신호 생성 회로(152)에는 파라미터 h, v가 제어 신호로서 공급되고, 수평 및 수직의 대역이 단계적으로 변화된 복수의 SD 신호가 순차 생성되어 간다.
이 SD 신호(525i 신호)에서, 제2 탭 선택 회로(154)에서 HD 신호(525p 신호 또는 1050i 신호)에서의 주목 위치의 주변에 위치하는 공간 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 제2 탭 선택 회로(154)에서는, 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법 및 움직임 클래스 검출 회로(158)에서 검출되는 움직임 클래스에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제2 탭 선택 회로(154)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 공간 클래스 검출 회로(157)에 공급된다. 이 공간 클래스 검출 회로(157)에서는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터에 대해 ADRC 처리가 실행되어 공간 클래스(주로 공간내의 파형 실현을 위한 클래스 분류)의 클래스 정보로서의 재양자화 코드 qi가 얻어진다(수학식 1 참조).
또한 SD 신호 생성 회로(152)에서 생성된 SD 신호로부터, 제3 탭 선택 회로(155)에서 HD 신호에서의 주목 위치의 주변에 위치하는 움직임 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제3 탭 선택 회로(155)에서는 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제3 탭 선택 회로(155)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)는 움직임 클래스 검출 회로(158)에 공급된다. 이 움직임 검출 회로(158)에서는, 움직임 클래스 탭의 데이터로서의 각 SD 화소 데이터로부터 움직임 클래스(주로 움직임의 정도를 표현하기 위한 클래스 분류)의 클래스 정보 MV가 얻어진다.
이 움직임 정보 MV와 상술한 재양자화 코드 qi는 클래스 합성 회로(159)에 공급된다. 이 클래스 합성 회로(159)에서는, 이들 움직임 정보 MV와 재양자화 코드 qi로부터, HD 신호(525p 신호 또는 1050i 신호)에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL이 얻어진다(수학식 3 참조).
또한, SD 신호 생성 회로(152)에서 생성되는 SD 신호로부터, 제1 탭 선택 회로(153)에서 HD 신호에서의 주목 위치의 주변에 위치하는 예측 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제1 탭 선택 회로(153)에서는 탭 선택 제어 회로(156)로부터 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
그리고, 입력 단자(151)에 공급되는 HD 신호로부터 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 공급되는 클래스 코드 CL로부터, 정규 방정식 생성부(160)에서는 각 클래스마다 계수종 데이터 w10∼wn9를 생성하기 위한 정규 방정식(수학식 13 참조)이 생성된다.
그리고, 계수종 데이터 결정부(161)에서 그 정규 방정식이 풀이되어 각 클래스마다의 계수종 데이터 w10∼wn9가 구해지고, 이 계수종 데이터 w10∼wn9는 클래스별로 어드레스 분할된 계수종 메모리(162)에 저장된다.
이와 같이 도 18에 도시한 계수종 데이터 생성 장치(150)에서는, 도 1의 화상 신호 처리부(110)의 정보 메모리 뱅크(135)에 저장되는 각 클래스의 계수종 데이터 w10∼wn9를 생성할 수 있다. 이 경우, SD 신호 생성 회로(152)에서는, 선택된 변환 방법에 의해 525p 신호 또는 1050i 신호를 사용하여 SD 신호(525i 신호)가 생성되는 것으로, 제1 변환 방법(화상 신호 처리부(110)에서 525i 신호로부터 525p신호를 얻음) 및 제2 변환 방법(화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)에 대응하는 계수종 데이터를 생성할 수 있다.
이어서, 계수종 데이터의 생성 방법의 다른 예에 대하여 설명한다. 이 예에 있어서도 상술한 수학식 5의 생성식에서의 계수 데이터인 계수종 데이터 w10∼wn9를 구하는 예를 나타내기로 한다.
도 20은 이 예의 개념을 나타내고 있다. HD 신호로부터 복수의 SD 신호를 생성한다. 예를 들면, HD 신호로부터 SD 신호를 생성할 때에 사용하는 필터의 수평 대역과 수직 대역을 가변하는 파라미터 h, v를 각각 9단계로 가변하여 합계 81종류의 SD 신호를 생성한다. 이와 같이 하여 생성된 각 SD 신호와 HD 신호 사이에서 학습을 실행하여 수학식 4의 추정식의 계수 데이터 Wi를 생성한다. 그리고, 각 SD 신호에 대응하여 생성된 계수 데이터 Wi를 사용하여 계수종 데이터를 생성한다.
우선, 추정식의 계수 데이터를 구하는 방법에 대하여 설명한다. 여기에서는 수학식 4의 추정식의 계수 데이터 Wi(i=1∼n)를 최소자승법에 의해 구하는 예를 나타내기로 한다. 일반화된 예로서, X를 입력 데이터, W를 계수 데이터, Y를 예측값으로 하여 수학식 15의 관측방정식을 생각할 수 있다. 이 수학식 15에 있어서, m은 학습 데이터의 수를 나타내고, n은 예측 탭의 수를 나타낸다.
수학식 15의 관측방정식에 의해 수집된 데이터에 최소자승법을 적용한다. 이 수학식 15의 관측방정식을 기초로 수학식 16의 잔차방정식을 구할 수 있다.
수학식 16의 잔차방정식으로부터 각 Wi의 최적값은, 수학식 17의 e2을 최소로 하는 조건이 성립되는 경우를 생각할 수 있다. 즉, 수학식 18의 조건을 고려하면 된다.
즉, 수학식 18의 i에 기초하는 n개의 조건을 고려하여, 이것을 만족하는 W1,W2, …, Wn을 산출하면 된다. 따라서, 수학식 16의 잔차방정식으로부터 수학식 19를 얻을 수 있다. 그리고, 수학식 19와 수학식 15로부터 수학식 20을 얻을 수 있다.
그리고, 수학식 16과 수학식 20으로부터 수학식 21의 정규 방정식을 얻을 수 있다.
수학식 21의 정규 방정식은, 미지수 n과 동일한 수의 방정식을 세울 수 있기 때문에, 각 Wi의 최적값을 구할 수 있다. 이 경우, 가우스-조르단 소거법 등을 사용하여 연립 방정식을 풀게 된다.
이어서, 각 SD 신호에 대응하여 생성된 계수 데이터를 사용하여 계수종 데이터를 구하는 방법에 대하여 설명한다.
파라미터 h, v에 대응하는 SD 신호를 사용한 학습에 의한 임의의 클래스의 계수 데이터가 kvhi로 되었다고 하자. 여기에서, i는 예측 탭의 번호이다. 이 kvhi로부터 이 클래스의 계수종 데이터를 구한다.
각 계수 데이터 Wi(i=1∼n)는, 계수종 데이터 w10∼wn9를 사용하여 상술한 수학식 5로 표현된다. 여기에서, 계수 데이터 Wi에 대해 최소자승법을 사용하는 것을 고려하면, 잔차는 수학식 22로 표시된다.
여기에서, tj는 상기 수학식 7에 나타나 있다. 수학식 22에 최소자승법을 작용시키면, 수학식 23을 얻을 수 있다.
여기에서, Xjk, Yj를 각각 수학식 24, 수학식 25와 같이 정의하면, 수학식 23은 수학식 26과 같이 고쳐 쓸 수 있다. 이 수학식 26도 정규 방정식이고, 이 식을 가우스-조르단 소거법 등의 일반해법으로 풀이함으로써 계수종 데이터 w10∼wn9를 산출할 수 있다.
도 21은 도 20에 나타낸 개념에 기초하여 계수종 데이터를 생성하는 계수종 데이터 생성 장치(150')의 구성을 도시하고 있다. 이 도 21에서 도 20과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
계수종 데이터 생성 장치(150')는, 입력 단자(151)에 공급되는 HD 신호에서 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 출력되는 클래스 코드 CL로부터, 클래스마다 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(수학식 21 참조)을 생성하는 정규 방정식 생성부(171)를 갖고 있다.
이 경우, 1개의 HD 화소 데이터 y와 이것에 대응하는 n개의 예측 탭 화소 데이터의 조합으로 학습 데이터가 생성되는데, SD 신호 생성 회로(152)로의 파라미터 h, v가 순차 변경되어 있어서 수평 및 수직의 대역이 단계적으로 변화된 복수의 SD 신호가 순차 생성되어 가고, HD 신호와 각 SD 신호 사이에서 각각 학습 데이터의 생성이 실행된다. 이에 따라, 정규 방정식 생성부(171)에서는 각 SD 신호의 각각에 대응하여 클래스마다 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식이 생성된다.
또한 계수종 데이터 생성 장치(150')는, 정규 방정식 생성부(171)에서 생성된 정규 방정식의 데이터가 공급되고, 그 정규 방정식을 풀어 각 SD 신호에 각각 대응하는 각 클래스의 계수 데이터 Wi를 구하는 계수 데이터 결정부(172)와, 이 각 SD 신호에 대응하는 각 클래스의 계수 데이터 Wi를 사용하여 클래스마다 계수종 데이터 w10∼wn9를 얻기 위한 정규 방정식(수학식 26 참조)을 생성하는 정규 방정식 생성부(173)를 갖고 있다.
또한 계수종 데이터 생성 장치(150')는, 정규 방정식 생성부(173)에서 클래스마다 생성된 정규 방정식의 데이터가 공급되고, 클래스마다 정규 방정식을 풀어 각 클래스의 계수종 데이터 w10∼wn9를 구하는 계수종 데이터 결정부(174)와, 이 구해진 계수종 데이터 w10∼wn9를 저장하는 계수종 메모리(162)를 갖고 있다.
도 21에 도시한 계수종 데이터 생성 장치(150')의 그 외의 것은, 도 18에 도시한 계수종 데이터 생성 장치(150)와 동일하게 구성된다.
도 21에 도시한 계수종 데이터 생성 장치(150')의 동작을 설명한다. 입력단자(151)에는 교사 신호로서의 HD 신호(525p 신호 또는 1050i 신호)가 공급되고, 그리고 이 HD 신호에 대해 SD 신호 생성 회로(152)에서 수평 및 수직의 씨닝 처리가 실행되어 입력 신호로서의 SD 신호(525i 신호)가 생성된다.
이 경우, 제1 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 525p 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 525p 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다. 한편, 제2 변환 방법(도 1의 화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 1050i 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다. 또한 이경우, SD 신호 생성 회로(152)에는 파라미터 h, v가 제어 신호로서 공급되고, 수평 및 수직의 대역이 단계적으로 변화된 복수의 SD 신호가 순차 생성되어 간다.
이 SD 신호(525i 신호)에서, 제2 탭 선택 회로(154)에서 HD 신호(525p 신호 또는 1050i 신호)에 있어서의 주목 위치의 주변에 위치하는 공간 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 제2 탭 선택 회로(154)에서는, 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법 및 움직임 클래스 검출 회로(158)에서 검출되는 움직임 클래스에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제2 탭 선택 회로(154)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 공간 클래스 검출 회로(157)에 공급된다. 이 공간 클래스 검출 회로(157)에서는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터에 대해ADRC 처리가 실행되어 공간 클래스(주로 공간내의 파형 표현을 위한 클래스 분류)의 클래스 정보로서의 재양자화 코드 qi가 얻어진다(수학식 1 참조).
또한, SD 신호 재생 회로(152)에서 생성된 SD 신호로부터, 제3 탭 선택 회로(155)에서 HD 신호에서의 주목 위치의 주변에 위치하는 움직임 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제3 탭 선택 회로(155)에서는 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제3 탭 선택 회로(155)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)는 움직임 클래스 검출 회로(158)에 공급된다. 이 움직임 클래스 검출 회로(158)에서는, 움직임 클래스 탭의 데이터로서의 각 SD 화소 데이터에서 움직임 클래스(주로 움직임의 정도를 표현하기 위한 클래스 분류)의 클래스 정보 MV가 얻어진다.
이 움직임 정보 MV와 상술한 재양자화 코드 qi는 클래스 합성 회로(159)에 공급된다. 이 클래스 합성 회로(159)에서는, 이들 움직임 정보 MV와 재양자화 코드 qi로부터, HD 신호(525p 신호 또는 1050i 신호)에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL이 얻어진다(수학식 3 참조).
또한, SD 신호 생성 회로(152)에서 생성되는 SD 신호로부터, 제1 탭 선택 회로(153)에서 HD 신호에서의 주목 위치의 주변에 위치하는 예측 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제1 탭 선택 회로(153)에서는 탭 선택 제어 회로(156)로부터 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에기초하여 탭의 선택이 실행된다.
그리고, 입력 단자(151)에 공급되는 HD 신호에서 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터)(xi)와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 출력되는 클래스 코드 CL로부터, 정규 방정식 생성부(171)에서는 SD 신호 생성 회로(152)에서 생성되는 각 SD 신호의 각각에 대응하여 클래스마다 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(수학식 21 참조)이 생성된다.
그리고, 계수 데이터 결정부(172)에서 그 정규 방정식이 풀이되어 각 SD 신호에 각각 대응하는 각 클래스의 계수 데이터 Wi가 구해진다. 정규 방정식 생성부(173)에서는, 이 각 SD 신호에 각각 대응하는 각 클래스의 계수 데이터 Wi로부터, 클래스마다 계수종 데이터 w10∼wn9를 얻기 위한 정규 방정식(수학식 26 참조)이 생성된다.
그리고, 계수종 데이터 결정부(174)에서 그 정규 방정식이 풀이되어 각 클래스의 계수종 데이터 w10∼wn9가 구해지고, 이 계수종 데이터 w10∼wn9는 클래스별로 어드레스 분할된 계수종 메모리(162)에 저장된다.
이와 같이 도 21에 도시한 계수종 데이터 생성 장치(150')에서는, 도 1의 화상 신호 처리부(110)의 정보 메모리 뱅크(135)에 저장되는 각 클래스의 계수종 데이터 w10∼wn9를 생성할 수 있다. 이 경우, SD 신호 생성 회로(152)에서는 선택된변환 방법에 의해 525p 신호 또는 1050i 신호를 사용하여 SD 신호(525i 신호)가 생성되는 것으로서, 제1 변환 방법(화상 신호 처리부(110)에서 525i 신호로부터 525p 신호를 얻음) 및 제2 변환 방법(화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)에 대응하는 계수종 데이터를 생성할 수 있다.
그리고 도 1의 화상 신호 처리부(110)에서는, 계수 데이터 Wi(i=1∼n)를 생성하기 위해 수학식 5의 생성식을 사용하였으나, 예를 들면 수학식 27, 수학식 28 등을 사용해도 되고, 추가로 차수가 다른 다항식이나 다른 함수로 표현되는 식으로도 실현할 수 있다.
또한 도 1 의 화상 신호 처리부(110)에서는, 수평 해상도를 지정하는 파라미터 h와 수직 해상도를 지정하는 파라미터 v를 설정하고, 이들 파라미터 h, v 값을조정함으로써 화상의 수평 및 수직의 해상도를 조정할 수 있는 것을 나타냈으나, 예를 들면 노이즈 제거도(노이즈 저감도)를 지정하는 파라미터 z를 설정하고, 이 파라미터 z 값을 조정함으로써 화상의 노이즈 제거도를 조정할 수 있는 것도 마찬가지로 구성할 수 있다.
이 경우, 계수 데이터 Wi(i=1∼n)를 생성하는 생성식으로서, 예를 들면 수학식 29, 수학식 30 등을 사용할 수 있고, 추가로 차수가 다른 다항식이나 다른 함수로 표현되는 식으로도 실현할 수 있다.
그리고, 상술한 바와 같이 파라미터 z를 포함하는 생성식의 계수 데이터인 계수종 데이터는, 상술한 파라미터 h, v를 포함하는 생성식의 계수 데이터인 계수종 데이터를 생성하는 경우와 마찬가지로, 도 18에 도시한 계수종 데이터 생성 장치(150) 또는 도 21에 도시한 계수종 데이터 생성 장치(150')에 의해 생성할 수 있다.
이 경우, SD 신호 생성 회로(152)에는 파라미터 z가 제어 신호로서 공급되고, 이 파라미터 z 값에 대응하여 HD 신호로부터 SD 신호를 생성할 때에 SD 신호에 대한 노이즈 부가 상태가 단계적으로 가변된다. 이와 같이 SD 신호에 대한 노이즈 부가 상태를 단계적으로 가변시켜 학습 데이터를 등록함으로써, 연속한 노이즈 제거도를 얻기 위한 계수종 데이터를 생성할 수 있다.
여기에서, 파라미터 z 값에 대응하는 노이즈 부가 방법의 상세에 대하여 몇가지 예를 나타낸다.
예를 들면 도 22A에 도시한 바와 같이, SD 신호에 진폭 레벨을 단계적으로 변화시킨 노이즈 신호를 부가하여 단계적으로 노이즈 레벨이 변화하는 SD 신호를 생성한다.
또한 예를 들면 도 22B에 도시한 바와 같이, SD 신호에 일정 진폭 레벨의 노이즈 신호를 부가하는데, 부가하는 화면 영역을 단계적으로 가변한다.
그리고 예를 들면 도 22C에 도시한 바와 같이, SD 신호(1화면분)로서 노이즈가 포함되어 있지 않은 것과 노이즈가 포함되어 있는 것을 준비한다. 그리고, 정규 방정식을 생성할 때에 각각의 SD 신호에 대해 복수회의 학습을 실행한다.
예를 들면, 「노이즈 0」에서는 노이즈가 없는 SD 신호에 대해 100회의 학습을 실행하고, 「노이즈 i」에서는 노이즈가 없는 SD 신호에 대해 30회의 학습을 실행함과 아울러 노이즈가 있는 SD 신호에 대해 70회의 학습을 실행한다. 이 경우,「노이즈 i」가 노이즈 제거도가 높은 계수종 데이터를 산출하는 학습계가 된다. 이와 같이 노이즈가 없는, 및 노이즈가 있는 SD 신호에 대한 학습 회수를 단계적으로 변화시켜 학습을 실행함으로써 연속한 노이즈 제거도를 얻기 위한 계수종 데이터를 얻을 수 있다.
이 기법을, 상술하지 않았으나, 정규 방정식의 가산이라는 형태로 실현할 수도 있다.
우선, 「노이즈 0」∼「노이즈 i」에서의 추정식의 계수 데이터를 산출하는 학습을 실행한다. 이 때의 정규 방정식은 상기 수학식 21에 나타낸 바와 같이 된다. 여기에서, Pij, Qj를 각각 수학식 31, 수학식 32와 같이 정의하면, 수학식 21은 수학식 33과 같이 고쳐 쓸 수 있다. 여기에서, xij는 j번째 예측 탭 위치의 SD 화소 데이터의 i번째 학습값, yi는 HD 화소 데이터의 i번째 학습값, Wi는 계수를 나타낸다.
이와 같은 학습을 이용하여 노이즈가 없는 SD 신호를 학습한 경우에서의 수학식 33의 좌변을 [P1ij], 우변을 [Q1i]라 정의하고, 마찬가지로 노이즈가 있는 SD 신호를 학습한 경우에 있어서의 수학식 33의 좌변을 [P2ij], 우변을 [Q2i]라 정의한다. 이와 같은 경우에 수학식 34, 수학식 35와 같이 [Paij],[Qai]를 정의한다. 단, a는 0≤a≤1 이다.
여기에서, a=0인 경우의 정규 방정식을 수학식 36으로 표시하며, 이것은 도 22C의 「노이즈 0」인 경우의 정규 방정식과 등가로 되고, a=0.7인 경우에는 「노이즈 i」인 경우의 정규 방정식과 등가로 된다.
이 a를 단계적으로 변화시켜 각 노이즈 레벨의 정규 방정식을 작성함으로써,목적으로 하는 계수종 데이터를 얻을 수 있다. 이 경우, 도 21의 계수종 데이터 생성 장치(150')에서 설명한 바와 마찬가지로, 각 노이즈 레벨의 정규 방정식으로부터 각각 계수 데이터 Wi를 산출하고, 이 각 단계의 계수 데이터를 사용하여 계수종 데이터를 구할 수 있다.
또한, 각 노이즈 레벨의 정규 방정식을 조합함으로써, 상기 수학식 13과 같은 계수종 데이터를 얻기 위한 정규 방정식을 생성할 수도 있다. 이 기법에 대해서는 이하에 구체적으로 설명한다. 여기서는, 상기 수학식 30을 사용하여 계수종 데이터를 구하는 정규 방정식을 생성하는 경우를 생각할 수 있다.
미리 몇 종류의 파라미터 z에 대응하는 노이즈 레벨의 SD 신호를 생성하여 학습을 실행하고, 상기 수학식 34, 수학식 35로 표시되는 [P], [Q]를 준비해 둔다. 이들을 [Pnij][Qni]라 표시한다. 또한, 상기 수학식 7은 수학식 37과 같이 고쳐 쓸 수 있다.
이 경우, 상기 수학식 24, 수학식 25는 각각 수학식 38, 수학식 39와 같이 고쳐 쓸 수 있다. 이들 수학식에 대해 수학식 40을 풀이함으로써 계수종 데이터 wij를 구할 수 있다. 여기에서, 예측 탭의 총수를 나타내는 변수는 m으로 고쳐져 있다.
또한 도 1의 화상 신호 처리부(110)에서는, 수평 해상도를 지정하는 파라미터 h)와 수직 해상도를 지정하는 파라미터 v를 설정하고, 이들 파라미터 h, v 값을 조정함으로써 화상의 수평 및 수직의 해상도를 조정할 수 있는 것을 나타냈으나, 수평 및 수직의 해상도를 1개의 파라미터로 조정하도록 구성할 수도 있다. 예를 들면, 수평 및 수직의 해상도를 지정하는 1개의 파라미터 r을 설정한다. 이 경우, 예를 들면 r=1은 h=1, v=1, r=2는 h=2, v=2, … 또는 r=1은 h=1, v=2, r=2는 h=2, v=3, …과 같은 대응 관계로 된다. 이 경우, 계수 데이터 Wi(i=1∼n)를 생성하는 생성식으로서는, r의 다항식 등이 사용되게 된다.
또한 도 1의 화상 신호 처리부(110)에서는, 수평 해상도를 지정하는 파라미터 h와 수직 해상도를 지정하는 파라미터 v를 설정하고, 이들 복수 종류의 파라미터 h, v 값을 조정함으로써 화상의 수평 및 수직의 해상도를 조정할 수 있는 것을 나타냈으나, 상술한 수평 및 수직의 해상도를 지정하는 파라미터 r과, 상기 노이즈 제거도(노이즈 저감도)를 지정하는 파라미터 z를 설정하고, 이들 복수 종류의 파라미터 r, z 값을 조정함으로써 화상의 수평 및 수직의 해상도와 노이즈 제거도를 조정할 수 있는 것도 마찬가지로 구성할 수 있다.
이 경우, 계수 데이터 Wi(i=1∼n)를 생성하는 생성식으로서, 예를 들면 수학식 41 등을 사용할 수 있고, 추가로 차수가 다른 다항식이나 다른 함수로 표현되는 식으로도 실현할 수 있다.
이와 같이 파라미터 r, z를 조정하기 위한 사용자 인터페이스도, 도 2에 도시한 바와 같이 구성할 수 있다. 사용자는 조이스틱(200a)을 조작함으로써, 조정 화면(115)상에서 아이콘(115a)의 위치를 움직일 수 있어, 해상도를 지정하는 파라미터 r 값과 노이즈 제거도(노이즈 저감도)를 지정하는 파라미터 z 값을 임의로 조정할 수 있다. 도 24는 조정 화면(115)의 부분을 확대해서 도시하고 있다. 아이콘(115a)이 좌우로 움직임으로써 해상도를 결정하는 파라미터 r 값이 조정되고, 한편 아이콘(115a)이 상하로 움직임으로써 노이즈 제거도를 결정하는 파라미터 z 값이 조정된다.
사용자는 디스플레이부(111)(도 2 참조)에 표시되는 조정 화면(115)을 참조하여 파라미터 r, z를 조정할 수 있어, 그 조정을 쉽게 할 수 있다. 그리고, 사용자에 의해 조정된 파라미터 r, z 값을 조정 화면(115)상에 수치 표시하여도 된다.
이와 같이 파라미터 r, z를 포함하는 생성식의 계수 데이터인 계수종 데이터는, 상술한 파라미터 h, v를 포함하는 생성식의 계수 데이터인 계수종 데이터를 생성하는 경우와 마찬가지로, 도 18에 도시한 계수종 데이터 생성 장치(150) 또는 도 21에 도시한 계수종 데이터 생성 장치(150')에 의해 생성할 수 있다.
이 경우, SD 신호 생성 회로(152)에는 파라미터 r, z가 제어 신호로서 공급되고, 이 파라미터 r, z 값에 대응하여 HD 신호로부터 SD 신호를 생성할 때에 SD 신호의 수평, 수직의 대역과, SD 신호에 대한 노이즈 부가 상태가 단계적으로 가변된다.
도 23은 파라미터 r, z 값에 대응하는 SD 신호의 생성예를 나타내고 있다. 이 예에서는 파라미터 r, z는 각각 9단계로 가변되고, 합계 81종류의 SD 신호가 생성된다. 그리고, 파라미터 r, z를 9단계보다 더욱 많은 단계로 가변하도록 해도 된다. 이 경우에는, 산출되는 계수종 데이터의 정밀도는 좋아지지만, 계산량은 증가하게 된다.
또한 도 1의 화상 신호 처리부(110)에서는, 수평 해상도를 지정하는 파라미터 h와 수직 해상도를 지정하는 파라미터 v를 설정하고, 이들 복수 종류의 파라미터 h, v 값을 조정함으로써 화상의 수평 및 수직의 해상도를 조정할 수 있는 것을나타냈으나, 이들 파라미터 h, v 외에 추가로 상술한 노이즈 제거도(노이즈 저감도)를 지정하는 파라미터 z를 설정하고, 이들 복수 종류의 파라미터 h, v 값을 조정함으로써, 화상의 수평 및 수직의 해상도와 노이즈 제거도를 조정할 수 있는 것도 마찬가지로 구성할 수 있다.
이 경우, 계수 데이터 Wi(i=1∼n)를 생성하는 생성식으로서, 예를 들면 수학식 42 등을 사용할 수 있을 뿐만 아니라, 차수가 다른 다항식이나 다른 함수로 표현되는 식으로도 실현할 수 있다.
이와 같이 파라미터 h, v, z를 조정하기 위한 사용자 인터페이스도, 도 2에 도시한 바와 같이 구성된다. 사용자는 조이스틱(200a)을 조작함으로써, 조정 화면(115)상에서 아이콘(115a)의 위치를 움직일 수 있고, 해상도를 지정하는 파라미터 h, v 값과 노이즈 제거도(노이즈 저감도)를 지정하는 파라미터 z 값을 임의로 조정할 수 있다.
도 26은 조정 화면(115)의 부분을 확대해서 도시하고 있다. 아이콘(115a)이좌우로 움직임으로써 수평의 해상도를 결정하는 파라미터 h 값이 조정되고, 한편 아이콘(115a)이 상하로 움직임으로써 수직의 해상도를 결정하는 파라미터 v 값이 조정되고, 또한 아이콘(115a)이 안쪽 방향으로 움직임으로써 노이즈 제거도를 결정하는 파라미터 z 값이 조정된다. 아이콘(115a)을 안쪽 방향으로 움직이기 위해서는, 예를 들면 조이스틱(200a)을 비스듬한 방향으로 조작하면 된다.
이 경우, 아이콘(115a)의 크기나 색의 농도 또는 색조 등을 변화시킴으로써, 안쪽 방향을 실현할 수 있다. 도면 중의 파선으로 표시되는 아이콘(115a)은, 그 크기를 변경하여 실선으로 표시되는 아이콘(115a)이 안쪽 방향으로 이동된 상태를 도시하고 있다.
사용자는, 디스플레이부(111)(도 2 참조)에 표시되는 조정 화면(115)을 참조하여 파라미터 h, v, z를 조정할 수 있어, 그 조정을 쉽게 할 수 있다. 그리고, 사용자에 의해 조정된 파라미터 h, v, z 값을 조정 화면(115)상에 수치 표시하여도 된다.
이와 같이 파라미터 h, v, z를 포함하는 생성식의 계수 데이터인 계수종 데이터는, 상술한 파라미터 h, v를 포함하는 생성식의 계수 데이터인 계수종 데이터를 생성하는 경우와 마찬가지로, 도 18에 도시한 계수종 데이터 생성 장치(150) 또는 도 21에 도시한 계수종 데이터 생성 장치(150')에 의해 생성할 수 있다.
이 경우, SD 신호 생성 회로(152)에는 파라미터 h, v, z가 제어 신호로서 공급되고, 이 파라미터 h, v, z 값에 대응하여 HD 신호로부터 SD 신호를 생성할 때에, SD 신호의 수평, 수직의 대역과, SD 신호에 대한 노이즈 부가 상태가 단계적으로 가변된다.
도 25는 파라미터 h, v, z 값에 대응하는 SD 신호의 생성예를 나타내고 있다. 이 예에서는 파라미터 h, v, z는 각각 9단계로 가변되고, 합계 729종류의 SD 신호가 생성된다. 그리고, 파라미터 h, v, z를 9단계보다 더욱 많은 단계로 가변하도록 해도 된다. 이 경우에는, 산출되는 계수종 데이터의 정밀도는 좋아지지만, 계산량은 증가하게 된다.
그리고, 도 1의 화상 신호 처리부(110)에서의 처리를, 예를 들면 도 27에 도시한 바와 같은 화상 신호 처리 장치(300)에 의해 소프트웨어로 실현할 수도 있다.
우선, 도 27에 도시한 화상 신호 처리 장치(300)에 대하여 설명한다. 이 화상 신호 처리 장치(300)는 장치 전체의 동작을 제어하는 CPU(301)와, 이 CPU(301)의 동작 프로그램이나 계수종 데이터 등이 저장된 ROM(Read Only Memory; 302)과, CPU(301)의 작업 환경을 구성하는 RAM(Random Access Memory; 303)을 갖고 있다. 이들 CPU(301), ROM(302) 및 RAM(303)은 각각 버스(304)에 접속되어 있다.
또한 화상 신호 처리 장치(300)는, 외부 기억 장치로서의 하드디스크 드라이브(HDD; 305)와, 플로피(R)디스크(306)를 드라이브하는 플로피(R)디스크 드라이브(FDD; 307)를 갖고 있다. 이들 드라이브(305, 307)는 각각 버스(304)에 접속되어 있다.
또한 화상 신호 처리 장치(300)는, 인터넷 등의 통신망(400)에 유선 또는 무선으로 접속하는 통신부(308)를 갖고 있다. 이 통신부(308)는 인터페이스(309)를 통해 버스(304)에 접속되어 있다.
또한 화상 신호 처리 장치(300)는, 사용자 인터페이스부를 포함하고 있다. 이 사용자 인터페이스부는 리모콘 송신기(200)로부터의 리모콘 신호 RM를 수신하는 리모콘 신호 수신 회로(310)와, LCD(Liquid Crystal Display) 등으로 이루어진 디스플레이(311)를 갖고 있다. 수신 회로(310)는 인터페이스(312)를 통해 버스(304)에 접속되고, 마찬가지로 디스플레이(311)는 인터페이스(313)를 통해 버스(304)에 접속되어 있다.
또한 화상 신호 처리 장치(300)는, SD 신호를 입력하기 위한 입력 단자(314)와, HD 신호를 출력하기 위한 출력 단자(315)를 갖고 있다. 입력 단자(314)는 인터페이스(316)를 통해 버스(304)에 접속되고, 마찬가지로 출력 단자(315)는 인터페이스(317)를 통해 버스(304)에 접속된다.
여기에서 상술한 바와 같이 ROM(302)에 처리 프로그램이나 계수종 데이터 등을 미리 저장해 두는 대신에, 예를 들면 인터넷 등의 통신망(400)에서 통신부(308)를 통해 다운로드하고, 하드 디스크나 RAM(303)에 축적하여 사용할 수도 있다. 또한, 이들 처리 프로그램이나 계수종 데이터 등을 플로피(R) 디스크(306)에 의해 제공하도록 해도 된다.
또한, 처리해야 할 SD 신호를 입력 단자(314)로부터 입력하는 대신에, 미리 하드디스크에 기록해 두거나, 또는 인터넷 등의 통신망(400)으로부터 통신부(308)를 통해 다운로드해도 된다. 또한, 처리후의 HD 신호를 출력 단자(315)에 출력하는 대신, 그와 병행하여 디스플레이(311)에 공급해서 화상 표시를 하거나, 나아가 하드디스크에 저장하거나 통신부(308)를 통해 인터넷 등의 통신망(400)에 송출하도록 해도 된다.
도 28의 흐름도를 참조하여 도 27에 도시한 화상 신호 처리 장치(300)에서의 SD 신호에서 HD 신호를 얻기 위한 처리 수순을 설명한다.
우선, 단계 ST1에서 처리를 개시하고, 단계 ST2에서 SD 화소 데이터를 프레임 단위 또는 필드 단위로 입력한다. 이 SD 화소 데이터가 입력 단자(314)로부터 입력되는 경우에는, 이 SD 화소 데이터를 RAM(303)에 일시적으로 저장한다. 또한, 이 SD 화소 데이터가 하드디스크에 기록되어 있는 경우에는, 하드디스크 드라이브(307)로 이 SD 화소 데이터를 판독하여, RAM(303)에 일시적으로 저장한다. 그리고, 단계 ST3에서 입력 SD 화소 데이터의 전체 프레임 또는 전체 필드의 처리가 종료되었는지의 여부를 판정한다. 처리가 종료되었을 때에는 단계 ST4에서 처리를 종료한다. 한편, 처리가 종료되지 않았을 때에는 단계 ST5로 진행한다.
이 단계 ST5에서는 사용자가 리모콘 송신기(200)를 조작하여 입력한 화질 지정치(예를 들면, 파라미터 h, v 값 등)를 예를 들면 RAM(303)에서 판독한다. 그리고, 단계 ST6에서, 판독한 화질 지정값 및 각 클래스의 계수종 데이터를 사용하여 생성식(예를 들면, 수학식 5)에 의해 각 클래스의 추정식(수학식 4 참조)의 계수 데이터 Wi를 생성한다.
이어서, 단계 ST7에서, 단계 ST2에서 입력된 SD 화소 데이터로부터, 생성해야 할 각 HD 화소 데이터에 대응하여 클래스 탭 및 예측 탭의 화소 데이터를 취득한다. 그리고, 단계 ST8에서, 입력된 SD 화소 데이터의 전체 영역에서 HD 화소 데이터를 얻는 처리가 종료되었는지 여부를 판정한다. 종료되었을 때에는 단계 ST2로 되돌아가서 다음 프레임 또는 필드의 SD 화소 데이터의 입력 처리로 이행한다. 한편, 처리가 종료되지 않았을 때에는 단계 ST9로 진행한다.
이 단계 ST9에서는, 단계 ST7에서 취득된 클래스 탭의 SD 화소 데이터로부터 클래스 코드 CL을 생성한다. 그리고, 단계 ST10에서 그 클래스 코드 CL에 대응하는 계수 데이터와 예측 탭의 SD 화소 데이터를 사용하여 추정식에 의해 HD 화소 데이터를 생성하고, 그 후에 단계 ST7로 되돌아가서 상술한 것과 동일한 처리를 반복한다.
이와 같이 도 28에 설명한 흐름도에 따라 처리를 함으로써, 입력된 SD 신호를 구성하는 SD 화소 데이터를 처리하여 HD 신호를 구성하는 HD 화소 데이터를 얻을 수 있다. 상술한 바와 같이, 이와 같이 처리하여 얻어진 HD 신호는 출력 단자(315)로 출력되거나 디스플레이(311)에 공급되어 이것에 의한 화상이 표시되고, 나아가 하드디스크 드라이브(305)에 공급되어 하드디스크에 기록된다.
또한 처리 장치의 도시는 생략하였으나, 도 18의 계수종 데이터 생성 장치(150)에서의 처리를 소프트웨어로 실현할 수도 있다.
도 29의 흐름도를 참조하여 계수종 데이터를 생성하기 위한 처리 수순을 설명한다.
우선, 단계 ST21에서 처리를 개시하고, 단계 ST22에서 학습에 사용되는 화질 패턴(예를 들면, 파라미터 h, v로 특정됨)을 선택한다. 그리고, 단계 ST23에서 전체 화질 패턴에 대해 학습이 종료되었는지의 여부를 판정한다. 전체 화질 선택 패턴에 대해 학습이 종료되지 않았을 때에는, 단계 ST24로 진행한다.
이 단계 ST24에서는 이미 알려진 HD 화소 데이터를 프레임 단위 또는 필드 단위로 입력한다. 그리고, 단계 ST25에서 전체 HD 화소 데이터에 대해 처리가 종료되었는지의 여부를 판정한다. 종료되었을 때에는, 단계 ST22로 되돌아가서 다음 화질 패턴을 선택하여 상술한 바와 동일한 처리를 반복한다. 한편, 종료되지 않았을 때에는 단계 ST26으로 진행한다.
이 단계 ST26에서는, 단계 ST24에서 입력된 HD 화소 데이터로부터 단계 ST22에서 선택된 화질 패턴에 기초하여 SD 화소 데이터를 생성한다. 그리고 단계 ST27에서, 단계 ST26에서 생성된 SD 화소 데이터로부터, 단계 ST24에서 입력된 각 HD 화소 데이터에 대응하여 클래스 탭 및 예측 탭의 화소 데이터를 취득한다. 그리고 단계 ST28에서, 생성된 SD 화소 데이터의 전체 영역에 있어서 학습 처리를 종료하였는지의 여부를 판정한다. 학습 처리를 종료하였을 때에는 단계 ST24로 되돌아가서 다음 HD 화소 데이터의 입력을 실행하여 상술한 바와 동일한 처리를 반복하고, 한편 학습 처리를 종료하지 않았을 때에는 단계 ST29로 진행한다.
이 단계 ST29에서는, 단계 ST27에서 취득된 클래스 탭의 SD 화소 데이터로부터 클래스 코드 CL을 생성한다. 그리고, 단계 ST30에서 정규 방정식(수학식 13 참조)을 생성한다. 그 후, 단계 ST27로 되돌아간다.
또한 단계 ST27에서, 전체 화질 데이터에 대해 학습이 종료되었을 때에는 단계 ST31로 진행한다. 이 단계 ST31에서는 정규 방정식을 가우스-조르단 소거법 등으로 풀이함으로써 각 클래스의 계수종 데이터를 산출하고, 단계 ST32에서 그 계수종 데이터를 메모리에 보존하고, 그 후에 단계 ST33에서 처리를 종료한다.
이와 같이 도 29에 설명한 흐름도를 따라 처리함으로써 도 18에 도시한 계수종 데이터 생성 장치(150)와 동일한 기법에 의해 각 클래스의 계수종 데이터를 얻을 수 있다.
또한 처리 장치의 도시는 생략하였으나, 도 21의 계수종 데이터 생성 장치(150')에서의 처리도 소프트웨어로 실현할 수 있다.
도 30의 흐름도를 참조하여 계수종 데이터를 생성하기 위한 처리 수순을 설명한다.
우선, 단계 ST41에서 처리를 개시하고, 단계 ST42에서 학습에 사용되는 화질 패턴(예를 들면, 파라미터 h, z로 특정됨)을 선택한다. 그리고, 단계 ST43에서 전체 화질 패턴에 대한 계수 데이터의 산출 처리가 종료되었는지의 여부를 판정한다. 종료되지 않았을 때에는 단계 ST44로 진행한다.
이 단계 ST44에서는 이미 알려진 HD 화소 데이터를 프레임 단위 또는 필드 단위로 입력한다. 그리고, 단계 ST45에서 전체 HD 화소 데이터에 대해 처리가 종료되었는지의 여부를 판정한다. 종료되지 않았을 때에는 단계 ST46에서, 단계 ST44에서 입력된 HD 화소 데이터로부터, 단계 ST42에서 선택된 화질 패턴에 기초하여 SD 화소 데이터를 생성한다.
그리고 단계 ST47에서, 단계 ST46에서 생성된 SD 화소 데이터로부터, 단계 ST44에서 입력된 각 HD 화소 데이터에 대응하여 클래스 탭 및 예측 탭의 화소 데이터를 취득한다. 그리고 단계 ST48에서, 생성된 SD 화소 데이터의 전체 영역에 있어서 학습 처리를 종료하였는지의 여부를 판정한다. 학습 처리를 종료하였을 때에는 단계 ST44로 되돌아가서 다음 HD 화소 데이터의 입력을 실행하여 상술한 바와 동일한 처리를 반복하고, 한편 학습 처리를 종료하지 않았을 때에는 단계 ST49로 진행한다.
이 단계 ST49에서는, 단계 ST47에서 취득된 클래스 탭의 SD 화소 데이터로부터 클래스 코드 CL을 생성한다. 그리고 단계 ST50에서, 계수 데이터를 얻기 위한 정규 방정식(수학식 21 참조)을 생성한다. 그 후, 단계 ST47로 되돌아간다.
상술한 단계 ST45에서 전체 HD 화소 데이터에 대해 처리가 종료된 때에는, 단계 ST51에서, 단계 ST50에서 생성된 정규 방정식을 가우스-조르단 소거법 등으로 풀어 각 클래스의 계수 데이터를 산출한다. 그 후, 단계 ST42로 되돌아가서 다음 화질 패턴을 선택하여 상술한 바와 동일한 처리를 반복하고, 다음 화질 패턴에 대응하는 각 클래스의 계수 데이터를 구한다.
또한, 상술한 단계 ST43에서, 전체 화질 패턴에 대한 계수 데이터의 산출 처리가 종료되었을 때에는 단계 ST52로 진행한다. 이 단계 ST52에서는 전체 화질 패턴에 대한 계수 데이터로부터, 계수종 데이터를 구하기 위한 정규 방정식(수학식 26 참조)을 생성한다.
그리고 단계 ST53에서, 단계 ST52에서 생성된 정규 방정식을 가우스-조르단 소거법 등으로 풀이함으로써 각 클래스의 계수종 데이터를 산출하고, 단계 ST54에서 그 계수종 데이터를 메모리에 보존하고, 그 후에 단계 ST55에서 처리를 종료한다.
이와 같이 도 30에 설명한 흐름도를 따라 처리함으로써, 도 21에 도시한 계수종 데이터 생성 장치(150')와 동일한 기법에 의해 각 클래스의 계수종 데이터를 얻을 수 있다.
이어서, 본 발명의 다른 실시 형태에 대하여 설명한다. 도 31은 다른 실시 형태로서의 TV 수상기(100A)의 구성을 도시하고 있다. 이 TV 수상기(100A)는 방송신호에서 SD 신호로서의 525i 신호를 얻고, 이 525i 신호를 HD 신호로서의 525p 신호 또는 1050i 신호로 변환하고, 그 525p 신호 또는 1050i 신호에 의한 화상을 표시하는 것이다. 이 도 31에 있어서 도 1과 대응하는 부분에는 동일 부호를 붙여서 도시하고 있다.
TV 수상기(100A)는, 도 1에 도시한 TV 수상기(100)의 화상 신호 처리부(110)가 화상 신호 처리부(110A)로 바뀐 것으로서, TV 수상기(100)와 거의 동일한 동작을 한다.
화상 신호 처리부(110A)에 대하여 상세하게 설명한다. 이 화상 신호 처리부(110A)에서, 도 1에 도시한 화상 신호 처리부(110)와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 화상 신호 처리부(110A)는 정보 메모리 뱅크(135A)를 갖고 있다. 이 정보 메모리 뱅크(135A)에는, 도 1에 도시한 화상 신호 처리부(110)에 있어서의 정보 메모리 뱅크(135)와 마찬가지로, 레지스터(130)에 저장하기 위한 동작 지정 정보와, 레지스터(131∼133)에 저장하기 위한 탭 위치 정보가 미리 축적되어 있다. 그리고, 이 정보 메모리 뱅크(135A)에는 제1 변환 방법(525p) 및 제2 변환 방법(1050i)의 각각에 대응하는 계수종 데이터가 미리 저장되어 있다. 이 계수종데이터는 계수 메모리(134)에 저장하기 위한 계수 데이터를 생성하기 위한 생성식의 계수 데이터이다.
추정 예측 연산 회로(127)에서는, 예측 탭의 데이터(SD 화소 데이터)(xi)와, 계수 메모리(134)에서 판독되는 계수 데이터 Wi로부터, 수학식 4의 추정식에 의해 작성해야 할 HD 화소 데이터 y가 연산된다. 여기에서는, 이 추정식의 계수 데이터 Wi(i=1∼n)가 수학식 43에 나타낸 바와 같이 파라미터 c를 포함하는 생성식에 의해 생성된다. 이 파라미터 c는 클래스 합성 회로(125)에서 출력되는 클래스 코드 CL에 대응하고 있다. 정보 메모리 뱅크(135A)에는 이 생성식의 계수 데이터인 계수종 데이터 wi0∼wi3가, 변환 방법마다 저장되어 있다. 이 계수종 데이터의 생성 방법에 대해서는 후술한다.
또한 화상 신호 처리부(110A)에서는, 시스템 컨트롤러(101)에서 공간 클래스 검출 회로(124), 클래스 합성 회로(126)에 파라미터 P가 공급된다. 이 파라미터 P는 재양자화 비트수를 나타내는 것이다.
공간 클래스 합성 회로(126)에서는, 상술한 수학식 1의 연산에 의해 공간 클래스의 클래스 정보로서의 재양자화 코드 qi가 연산되고, 클래스 합성 회로(126)에서는 수학식 3의 연산에 의해 클래스 코드 CL을 얻는데, 파라미터 P 값은 수학식 1, 수학식 3의 재양자화 비트수로서 사용된다. 이 파라미터 P 값은 사용자의 조작에 의해 변경 가능하게 되어 예를 들면 P=1, 2, 3의 변경이 가능하게 되어 있다.
이와 같이 파라미터 P 값을 변경함으로써, 클래스 코드 CL로 표시되는 클래스 분류의 세밀함을 변화시킨다. 예를 들면, P=1일 때 26클래스로 분류되고, P=2일 때 (22)6=212클래스로 분류되고, P=3일 때 (23)6=218클래스로 분류된다. 여기에서, 파라미터 P 값이 변경되어도 클래스 코드 CL의 변화 범위가 바뀌지 않도록 하기 위해, 클래스 합성 회로(126)에서 수학식 3의 연산을 실행할 때에, 연산에서 구해진 클래스 코드 CL이 (2P-1)6으로 제산된다.
또한 화상 신호 처리부(110A)는, 계수종 데이터 wi0∼wi3및 파라미터 P 값을 사용하고, 수학식 43에 의해 클래스마다 추정식의 계수 데이터 Wi(i=1∼n)를 생성하는 계수 생성 회로(136A)를 갖고 있다. 이 계수 생성 회로(136A)에는 정보 메모리 뱅크(135A)로부터, 상술한 변환 방법의 선택 정보에 따라 제1 변환 방법 또는 제2 변환 방법에 대응하는 계수종 데이터 wi0∼wi3이 로드된다. 또한, 이 계수 생성 회로(136A)에는 시스템 컨트롤러(101)에서 파라미터 P 값이 공급된다.
이 계수 생성 회로(136A)에서는, 파라미터 P 값에 의해 계수 데이터 Wi를 구해야 할 클래스의 값(클래스 코드 CL의 값)을 알 수 있다. 예를 들면, P=1일 때 계수 데이터 Wi를 구해야 할 64 클래스의 값을 알 수 있고, 이들 값을 수학식 43의 c에 대입함으로써, 64 클래스분의 계수 데이터 Wi를 구할 수 있다. 동일한 방법으로 P=2, P=3일 때, 각각 계수 데이터 Wi를 구할 수 있다. 사전에 정보 메모리 뱅크(135A)에 저장되어 있는 계수종 데이터가 P=1인 64 클래스로 학습된 것이어도, P=2, P=3을 입력함으로써 각각 64 크래스를 (22)6클래스, (23)6클래스로 다시 분류하였을 때의 계수 데이터 Wi를 구할 수 있다. 이것은 P=2를 입력함으로써 (22)6클래스분의 계수 데이터, P=3을 입력함으로써 (23)6클래스분의 계수 데이터를 64 클래스의 계수 데이터로부터 생성하는 것이다.
이 계수 생성 회로(136A)에서 생성되는 각 클래스의 계수 데이터 Wi(i=1∼n)는 계수 메모리(134)에 저장된다. 계수 생성 회로(136A)에 있어서의 각 클래스의 계수 데이터 Wi의 생성은, 예를 들면 각 수직 블랭킹 기간에 실행된다. 이에 따라, 사용자의 리모콘 송신기(200)의 조작에 의해 파라미터 P 값이 변경되어도, 계수 메모리(134)에 저장되는 각 클래스의 계수 데이터 Wi를 그 파라미터 P 값에 대응하는 것으로 바로 변경할 수 있어, 사용자에 의한 조정이 원활하게 행해진다.
화상 신호 처리부(110A)는 이상과 같이 구성되며, 그 외의 것은 도 1의 화상 신호 처리부(110)와 동일하게 구성된다.
이어서, 화상 신호 처리부(110A)의 동작을 설명한다.
버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)로부터, 제2 탭 선택 회로(122)에서 공간 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제2 탭 선택 회로(122)에서는 레지스터(132)로부터 공급되는, 사용자에 의해 선택된 변환 방법, 및 움직임 클래스 검출 회로(125)에서 검출되는 움직임 클래스에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제2 탭 선택 회로(122)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 공간 클래스 검출 회로(124)에 공급된다. 이 공간 클래스 검출 회로(124)에서는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터에 대해 ADRC 처리가 실행되어 공간 클래스(주로 공간내의 파형 표현을 위한 클래스 분류)의 클래스 정보로서의 재양자화 코드 qi가 얻어진다(수학식 1 참조).
또한, 버퍼 메모리(109)에 기록되어 있는 SD 신호(525i 신호)로부터, 제3 탭 선택 회로(123)에서 움직임 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제3 탭 선택 회로(123)에서는 레지스터(133)로부터 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제3 탭 선택 회로(123)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 움직임 클래스 검출 회로(125)에 공급된다. 이 움직임 클래스 검출 회로(125)에서는, 움직임 클래스 탭의 데이터로서의 각 SD 화소 데이터로부터 움직임 클래스(주로 움직임의 정도를 표현하기 위한 분류)의 클래스 정보 MV가 얻어진다.
이 움직임 정보 MV와 상술한 재양자화 코드 qi는 클래스 합성 회로(126)에 공급된다. 이 클래스 합성 회로(126)에서는 이들 움직임 정보 MV와 재양자화 코드 qi로부터, 작성해야 할 HD 신호(525p 신호 또는 1050i 신호)의 화소 데이터(주목 위치의 화소 데이터)가 속하는 클래스를 나타내는 클래스 코드 CL이 얻어진다(수학식 3 참조). 그리고, 이 클래스 코드 CL는 계수 메모리(134) 및 정규화 계수 메모리(138)에 판독 어드레스 정보로서 공급된다.
계수 메모리(134)에는, 예를 들면 각 수직 블랭킹 기간에 사용자에 의해 조정된 파라미터 P 값에 대응하는 각 클래스의 추정식의 계수 데이터 Wi(i=1∼n)가 계수 생성 회로(136A)에서 생성되어 저장된다. 또한 정규화 계수 메모리(138)에는, 계수 생성 회로(136A)에서 생성된 각 클래스의 계수 데이터 Wi(i=1∼n)에 대응하는 정규화 계수 S가 정규화 계수 생성 회로(137)에서 생성되어 저장된다.
계수 메모리(134)에 상술한 바와 같이 클래스 코드 CL이 판독 어드레스 정보로서 공급됨으로써, 이 계수 메모리(134)로부터 클래스 코드 CL에 대응하는 클래스의 계수 데이터 Wi가 판독되어 추정 예측 연산 회로(127)에 공급된다. 또한, 버퍼 메모리(109)에 기억되어 있는 SD 신호(525i 신호)로부터, 제1 탭 선택 회로(121)에서 예측 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우, 제1 탭 선택 회로(121)에서는 레지스터(131)로부터 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다. 이 제1 탭 선택 회로(121)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터) xi는 추정 예측 연산 회로(127)에 공급된다.
추정 예측 연산 회로(127)에서는, 예측 탭의 데이터(SD 화소 데이터) xi와 계수 메모리(134)에서 판독되는 계수 데이터 Wi로부터, 작성해야 할 HD 신호의 화소 데이터, 즉 주목 위치의 화소 데이터(HD 화소 데이터) y가 연산된다(수학식 4 참조). 이 경우, HD 신호를 구성하는 4화소의 데이터가 동시적으로 생성된다.
이에 따라, 525p 신호를 출력하는 제1 변환 방법이 선택되어 있을 때에는,홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인과 동일 위치의 라인 데이터 L1과 525i 신호의 상하 라인의 중간 위치의 라인 데이터 L2가 생성된다(도 4 참조). 또한, 1050i 신호를 출력하는 제2 변환 방법이 선택되어 있을 때에는, 홀수(o) 필드 및 짝수(e) 필드에서 525i 신호의 라인에 가까운 위치의 라인 데이터 L1, L1'와 525i 신호의 라인에서 먼 라인 데이터 L2, L2'가 생성된다(도 5 참조).
이와 같이 추정 예측 연산 회로(127)에서 생성된 라인 데이터 L1, L2(L1', L2')는 정규화 연산 회로(128)에 공급된다. 정규화 계수 메모리(138)에 상술한 바와 같이 클래스 코드 CL이 판독 어드레스 정보로서 공급됨으로써, 이 정규화 계수 메모리(138)로부터 클래스 코드 CL에 대응하는 정규화 계수 S, 즉 추정 예측 연산 회로(127)에서 출력되는 라인 데이터 L1, L2(L1', L2')를 구성하는 각 HD 화소 데이터 y의 생성에 사용된 계수 데이터 Wi(i=1∼n)에 대응하는 정규화 계수 S가 판독되어 추정 예측 연산 회로(127)에 공급된다. 정규화 연산 회로(128)에서는, 추정 예측 연산 회로(127)에서 출력되는 라인 데이터 L1, L2(L1', L2')를 구성하는 각 HD 화소 데이터 y가 각각 대응하는 정규화 계수 S로 제산되어 정규화된다. 이에 따라, 계수종 데이터를 사용하여 생성식(수학식 43 참조)에 의해 추정식(수학식 4 참조)의 계수 데이터를 구할 때의 라운딩 오차로 인한 주목 위치의 정보 데이터의 레벨 변동이 제거된다.
이와 같이 정규화 연산 회로(128)에 의해 정규화된 라인 데이터 L1, L2(L1', L2')는, 선순차 변환 회로(129)에 공급된다. 그리고 이 선순차 변환 회로(129)에서는, 라인 데이터 L1, L2(L1', L2')가 선순차화되어 HD 신호가 생성된다. 이 경우, 선순차 변환 회로(129)는 레지스터에서 공급되는, 사용자에 의해 선택된 변환 방법에 대응하는 동작 지시 정보에 따른 동작을 한다. 따라서, 사용자에 의해 제1 변환 방법(525p)이 선택되어 있을 때에는, 선순차 변환 회로(129)에서 525p 신호가 출력된다. 한편, 사용자에 의해 제2 변환 방법(1050i)이 선택되어 있을 때에는, 선순차 변환 회로(129)에서 1050i 신호가 출력된다.
상술한 바와 같이 계수 생성 회로(136A)에서, 정보 메모리 뱅크(135A)로부터 로드되는 계수종 데이터 wi0∼wi3를 사용하여 클래스마다 추정식의 계수 데이터 Wi(i=1∼n)가 생성되고, 이것이 계수 메모리(134)에 저장된다. 그리고 이 계수 메모리(134)로부터, 클래스 코드 CL에 대응하여 판독되는 계수 데이터 Wi(i=1∼n)를 사용하여 추정 예측 연산 회로(127)에서 HD 화소 데이터 y가 연산된다.
이와 같이 화상 신호 처리부(110A)는, 계수 생성 회로(136A)에서 각 클래스의 계수 데이터 Wi를, 정보 메모리 뱅크(135A)에 저장되어 있는 계수종 데이터 wi0∼wi3를 사용하여, 수학식 43의 생성식에 의해 생성한다. 따라서, 분류되는 클래스 수가 많아도 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않아 메모리의 절약을 도모할 수 있다.
또한, 일반적으로 클래스의 분류를 세밀하게 할수록 HD 신호에 의한 화질을 높일 수 있다. 그러나, 학습시의 클래스 분류의 세밀함에 따라서는, 클래스 분류를 세밀하게 해도 동화상, 정지화상, 애니메이션화상 등의 SD 신호에 의해서는 HD 신호에 의한 화질을 높일 수 없고, 오히려 그 출력의 질을 저하시킬 우려가 있다.상술한 화상 신호 처리부(110A)에서는, 클래스 분류의 세밀함을 결정하는 파라미터 P 값을 입력하는 구성으로 하였기 때문에, 사용자는 파라미터 P 값을 조정하여 HD 신호에 의한 화질을 최적으로 조정할 수 있다.
그리고 도 31에 도시한 TV 수상기(100A)에서는, 파라미터 P 값을 사용자가 설정하도록 하는데, 이 파라미터 P 값이 SD 신호로부터 검출된 소정의 특징량(동화상, 정지화상, 애니메이션화상 등을 구별할 수 있음)에 대응하여 자동적으로 변경되도록 하여도 된다. 또한 예를 들면, 이 파라미터 P 값이 SD 신호에 부가되어 있는 파라미터 P 값을 나타내는 정보를 추출하고, 이것에 기초하여 자동적으로 변경되도록 해도 된다.
또한 도 31에 도시한 TV 수상기(100A)에서는, 계수 생성 회로(136A)에서 각 클래스의 계수 데이터 Wi를 생성하여 계수 메모리(134)에 저장하고, 클래스 합성 회로(126)에서 출력되는 클래스 코드 CL에 대응하는 계수 데이터 Wi를 이 계수 메모리(134)로부터 판독하여 사용하나, 계수 생성 회로(136A)에서 클래스 합성 회로(126)로부터의 클래스 코드 CL에 대응하는 계수 데이터 Wi를 그 때마다 생성하고, 이것을 추정 예측 연산 회로(127)에서 사용하도록 해도 된다. 이 경우에는, 계수 메모리(134)는 불필요해진다. 또한, 계수 생성 회로(136A)에 파라미터 P를 공급할 필요가 없어진다.
이어서, 정보 메모리 뱅크(135A)에 저장되는 계수종 데이터 wi0∼wi3의 생성에 대하여 설명한다. 도 32는 계수종 데이터 wi0∼wi3를 구하기 위한 계수종 데이터생성 장치(150A)의 구성을 도시하고 있다. 이 도 32에서, 도 21과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
우선, 도 33을 사용하여 이 예의 생성 방법의 개념을 설명한다. HD 신호로부터 복수의 SD 신호를 생성한다. 그리고, SD 신호와 HD 신호 사이에서 학습을 실행하여 클래스마다 수학식 4의 추정식의 계수 데이터 Wi를 생성한다. 그리고, 클래스마다 생성된 계수 데이터 Wi를 사용하여 계수종 데이터 wi0∼wi3를 생성한다.
도 32로 되돌아가서 계수종 데이터 생성 장치(150A)는, 입력 단자(514)에 공급되는 HD 신호에서 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터)(xi)와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 출력되는 클래스 코드 CL로부터, 클래스마다 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(수학식 21 참조)을 생성하는 정규 방정식 생성부(171A)를 갖고 있다.
또한 계수종 데이터 생성 장치(150A)는, 정규 방정식 생성부(171A)에서 생성된 정규 방정식의 데이터가 공급되고, 그 정보 방정식을 풀어 각 클래스의 계수 데이터 Wi를 구하는 계수 데이터 결정부(172A)와, 각 클래스의 계수 데이터 Wi를 사용하여 계수종 데이터 wi0∼wi3를 얻기 위한 정규 방정식을 생성하는 정규 방정식 생성부(173A)를 갖고 있다.
또한 계수종 데이터 생성 장치(150A)는, 정규 방정식 생성부(173A)에서 생성된 정규 방정식의 데이터가 공급되고, 정규 방정식을 풀어 계수종 데이터 wi0∼wi3를 구하는 계수종 데이터 결정부(174A)와, 이 구해진 계수종 데이터 wi0∼wi3를 저장하는 계수종 메모리(162A)를 갖고 있다.
도 32에 도시한 계수종 데이터 생성 장치(150A)의 그 외의 것은, 도 21에 도시한 계수종 데이터 생성 장치(150')와 동일하게 구성된다.
도 32에 도시한 계수종 데이터 생성 장치(150A)의 동작을 설명한다. 입력 단자(514)에는 교사 신호로서의 HD 신호(525p 신호 또는 1050i 신호)가 공급되고, 그리고 이 HD 신호에 대해 SD 신호 생성 회로(152)에서 수평 및 수직의 씨닝 처리가 실행되어 입력 신호로서의 SD 신호(525i 신호)가 생성된다.
이 경우, 제1 변환 방법(도 31의 화상 신호 처리부(110)에서 525i 신호로부터 525p 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 525p 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다. 한편, 제2 변환 방법(도 31의 화상 신호 처리부(110)에서 525i 신호로부터 1050i 신호를 얻음)이 선택되는 경우, SD 신호 생성 회로(152)에서는 1050i 신호에 대해 씨닝 처리가 실행되어 SD 신호가 생성된다.
이 SD 신호(525i 신호)로부터, 제2 탭 선택 회로(154)에서 HD 신호(525p 신호 또는 1050i 신호)에서의 주목 위치의 주변에 위치하는 공간 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 제2 탭 선택 회로(154)에서는, 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법, 및 움직임 클래스검출 회로(158)에서 검출되는 움직임 클래스에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제2 탭 선택 회로(154)에서 선택적으로 추출되는 공간 클래스 탭의 데이터(SD 화소 데이터)는 공간 클래스 검출 회로(157)에 공급된다. 이 공간 클래스 검출 회로(157)는, 공간 클래스 탭의 데이터로서의 각 SD 화소 데이터에 대해 ADRC 처리가 실행되어 공간 클래스(주로 공간내의 파형 표현을 위한 클래스 분류)의 클래스 정보로서의 재양자화 코드 qi가 얻어진다(수학식 1 참조).
또한, SD 신호 생성 회로(152)에서 생성된 SD 신호에 의해, 제3 탭 선택 회로(155)에서 HD 신호에서의 주목 위치의 주변에 위치하는 움직임 클래스 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우 제3 탭 선택 회로(155)에서는, 탭 선택 제어 회로(156)에서 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
이 제3 탭 선택 회로(155)에서 선택적으로 추출되는 움직임 클래스 탭의 데이터(SD 화소 데이터)는 움직임 클래스 검출 회로(158)에 공급된다. 이 움직임 클래스 검출 회로(158)에서는, 움직임 클래스 탭의 데이터로서의 각 SD 화소 데이터에서 움직임 클래스(주로 움직임의 정도를 표현하기 위한 클래스 분류)의 클래스 정보 MV가 얻어진다.
이 움직임 정보 MV와 상술한 재양자화 코드 qi는 클래스 합성 회로(159)에 공급된다. 이 클래스 합성 회로(159)에서는, 이들 움직임 정보 MV와 재양자화 코드 qi로부터, HD 신호(525p 또는 1050i 신호)에서의 주목 위치의 화소 데이터가 속하는 클래스를 나타내는 클래스 코드 CL이 얻어진다(수학식 3 참조).
또한 SD 신호 생성 회로(152)에서 생성되는 SD 신호로부터, 제1 탭 선택 회로(153)에서 HD 신호에서의 주목 위치의 주변에 위치하는 예측 탭의 데이터(SD 화소 데이터)가 선택적으로 추출된다. 이 경우 제1 탭 선택 회로(153)에서는, 탭 선택 제어 회로(156)로부터 공급되는, 선택된 변환 방법에 대응하는 탭 위치 정보에 기초하여 탭의 선택이 실행된다.
그리고, 입력 단자(151)에 공급되는 HD 신호에서 얻어지는 주목 위치의 화소 데이터로서의 각 HD 화소 데이터 y와, 이 각 HD 화소 데이터 y에 각각 대응하여 제1 탭 선택 회로(153)에서 선택적으로 추출되는 예측 탭의 데이터(SD 화소 데이터)(xi)와, 각 HD 화소 데이터 y에 각각 대응하여 클래스 합성 회로(159)에서 출력되는 클래스 코드 CL로부터, 정규 방정식 생성부(171A)에서는 클래스마다 계수 데이터 Wi(i=1∼n)를 얻기 위한 정규 방정식(수학식 21 참조)이 생성된다.
그리고, 계수 데이터 결정부(172A)에서 그 정규 방정식이 풀이되어 각 클래스의 계수 데이터 Wi가 구해진다. 정규 방정식 생성부(173A)에서는, 이 각 클래스의 계수 데이터 Wi로부터 계수종 데이터 wi0∼wi3를 얻기 위한 정규 방정식이 생성된다.
그리고, 계수종 데이터 결정부(174A)에서 그 정규 방정식이 풀이되어 계수종 데이터 wi0∼wi3가 구해지고, 이 계수종 데이터 wi0∼wi3는 계수종 메모리(162A)에 저장된다.
이와 같이 도 32에 도시한 계수종 데이터 생성 장치(150A)에서는, 도 31의 화상 신호 처리부(110A)의 정보 메모리 뱅크(135A)에 저장되는 계수종 데이터 wi0∼wi3를 생성할 수 있다. 이 경우, SD 신호 생성 회로(152)에서는, 선택된 변환 방법에 의해 525p 신호 또는 1050i 신호를 사용하여 SD 신호(525i 신호)가 생성되는 것으로, 제1 변환 방법(화상 신호 처리부(110A)에서 525i 신호로부터 525p 신호를 얻음) 및 제2 변환 방법(화상 신호 처리부(110A)에서 525i 신호로부터 1050i 신호를 얻음)에 대응하는 계수종 데이터를 생성할 수 있다.
교사 화상으로부터 학생 화상을 생성하는 예를 사용하여 학습(계수 데이터, 계수종 데이터 생성)을 설명하였다. 그러나, 화상 취득시에 교사 화상과 학생 화상을 취득할 수 있는 화상 장치를 이용하거나 하여 독립해서 얻어진 교사 화상, 학생 화상을 사용하여 학습을 실행해도 된다.
상세한 설명은 생략하지만, 계수종 데이터 wi0∼wi3는 상술한 도 21에 대응하는 계수종 데이터 생성 장치에서 생성할 수 있는 것 외에, 도 18에 도시한 계수종 데이터 생성 장치에서도 생성할 수 있다.
또한 상세한 설명은 생략하지만, 도 31의 화상 신호 처리부(110A)에서의 처리를, 도 1의 화상 신호 처리부(110)에서의 처리와 마찬가지로, 도 27에 도시한 바와 같은 화상 신호 처리 장치(300)를 사용하여 소프트웨어로 실현할 수도 있다(도 28의 흐름도 참조).
그리고, 상술한 실시 형태에 있어서는, HD 신호를 생성할 때의 추정식으로서선형 일차 방정식을 사용한 것을 예로 들고 있으나, 이에 한정되는 것은 아니며, 예를 들면 추정식으로서 고차 방정식을 사용하여도 된다.
또한 상기 실시 형태에 있어서는, SD 신호(525i 신호)를 HD 신호(525p 신호 또는 1050i 신호)로 변환하는 예를 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 추정식을 사용하여 제1 화상 신호를 제2 화상 신호로 변환하는 그 외의 경우에도 마찬가지로 적용할 수 있음은 물론이다.
또한 상술한 실시 형태에 있어서는, 정보 신호가 화상 신호인 경우를 나타냈으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들면, 정보 신호가 음성 신호인 경우에도 본 발명을 마찬가지로 적용할 수 있다.
본 발명에 의하면, 제1 정보 신호를 제2 정보 신호로 변환할 때에 사용되는 추정식의 계수 데이터를, 소정의 파라미터를 포함하는 생성식의 계수 데이터인 계수종 데이터와 입력된 파라미터 값을 사용하여 당해 생성식에 의해 생성하는 것으로서, 대량의 계수 데이터를 저장해 두는 메모리를 필요로 하지 않고, 임의의 파라미터 값에 대응하는 추정식의 계수 데이터를 생성할 수 있으므로 메모리의 절약을 도모할 수 있다.
이상과 같이, 본 발명에 관한 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치 및 이것을 사용한 화상 표시 장치, 이것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 계수 데이터 생성 장치 및 생성 방법, 그리고 정보 제공 매체는, 예를 들면 NTSC 방식의 비디오 신호를 하이비전의 비디오 신호로변환할 때 적용하기에 적합하다.
Claims (47)
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치에 있어서,미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과,상기 파라미터 값을 입력하는 파라미터 입력 수단과,상기 메모리 수단에 저장되어 있는 계수종 데이터와 상기 파라미터 입력 수단에서 입력된 상기 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 상기 입력된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 정보 데이터를 선택하는 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 데이터 선택 수단에서 선택된 상기 복수의 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법에 있어서,미리 구해진 추정식에서 이용되는 계수 데이터를 생성하는 소정의 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 입력된 상기 파라미터 값을 이용하여, 상기 생성식에 의해 상기 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제1 단계와,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 정보 데이터를 선택하는 제2 단계와,상기 제1 단계에서 생성된 상기 계수 데이터와 상기 제2 단계에서 선택된 상기 복수의 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제3 단계를 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치에 있어서,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을조정하는 파라미터 조정 수단과,상기 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진, 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 파라미터 조정수단에서 조정된 상기 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스 및 상기 조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제3항에 있어서,상기 계수 데이터 발생 수단은,상기 제1 메모리 수단에 기억되어 있는 계수종 데이터와 상기 조정된 파라미터 값을 이용하여, 상기 생성식에 의해, 상기 클래스 검출 수단에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과,상기 계수 데이터 생성 수단에서 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 저장하는 제2 메모리 수단과,상기 제2 메모리 수단으로부터 상기 클래스 검출 수단에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제3항에 있어서,상기 계수 데이터 발생 수단에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 가산 수단과,상기 연산 수단에서 얻어진 상기 주목 위치의 정보 데이터를 상기 총합에서 제산하여 정규화하는 정규화 수단을 더 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제3항에 있어서,상기 파라미터 조정 수단은,상기 파라미터의 조정 위치를 표시하는 표시 수단과,상기 표시 수단의 표시를 참조하여 상기 파라미터 값을 조정하는 사용자 조작 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 복수의 화소 데이터로 이루어지는 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치에 있어서,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 제2 화상 신호에 의해 얻어지는 화상의 화질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과,상기 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진, 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과,상기 메모리 수단에 저장되어 있는 계수종 데이터와 상기 파라미터 조정 수단에서 조정된 상기 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스 및 상기 조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 복수의 화소 데이터로 이루어지는 제1 화상 신호를 입력하는 화상 신호 입력 수단과,상기 화상 신호 입력 수단에서 입력된 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환해서 출력하는 화상 신호 처리 수단과,상기 화상 신호 처리 수단에서 출력되는 상기 제2 화상 신호에 의한 화상을 화상 표시 소자에 표시하는 화상 표시 수단과,화상 표시 소자에 표시되는 상기 화상의 화질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단을 포함하며,상기 화상 신호 처리 수단은,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 클래스 검출 수단에서 검출되는 클래스마다 미리 구해진, 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 파라미터 조정수단에서 조정된 상기 파라미터 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스 및 상기 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제8항에 있어서,상기 계수 데이터 발생 수단은,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 파라미터 값을 이용하여, 상기 생성식에 의해, 상기 클래스 검출 수단에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과,상기 계수 데이터 생성 수단에서 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 저장하는 제2 메모리 수단과,상기 제2 메모리 수단으로부터 상기 클래스 검출 수단에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제8항에 있어서,상기 화상 신호 처리 수단은,상기 계수 데이터 발생 수단에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 가산 수단과,상기 연산 수단에서 얻어진 상기 주목 위치의 화소 데이터를 상기 총합에서 제산하여 정규화하는 정규화 수단을 더 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제8항에 있어서,상기 파라미터 조정 수단은,상기 파라미터의 조정 위치를 상기 화상 표시 소자에 표시하는 표시 제어 수단과,상기 화상 표시 소자에 표시되는 상기 파라미터의 조정 위치를 참조하여 상기 파라미터 값을 조정하는 사용자 조작 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법에 있어서,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와,상기 제1 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와,상기 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제3 단계와,상기 제2 단계에서 검출되는 클래스마다 미리 구해진, 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 상기 제3 단계에서 조정된 상기 파라미터 값을 이용하여, 상기 생성식에 의해 상기 제2 단계에서 검출된 클래스 및 상기 조정된 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제4 단계와,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,상기 제4 단계에서 생성된 상기 계수 데이터와 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제6 단계를 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 제12항에 있어서,상기 제4 단계는,상기 제2 단계에서 검출되는 클래스마다 미리 구해진 추정식에서 이용되는계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터와 상기 제3 단계에서 조정된 상기 파라미터 값을 이용하여, 상기 생성식에 의해 상기 클래스마다 상기 추정식의 계수 데이터를 생성하는 단계와,상기 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 메모리 수단에 저장하는 단계와,상기 메모리 수단으로부터 상기 제2 단계에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 단계를 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 제12항에 있어서,상기 제4 단계에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 제7 단계와,상기 제6 단계에서 얻어진 상기 주목 위치의 정보 데이터를 상기 제7 단계에서 구해진 상기 총합에서 제산하여 정규화하는 제8 단계를 더 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하기 위해,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와,상기 제1 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와,상기 제2 정보 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제3 단계와,상기 제2 단계에서 검출되는 클래스마다 미리 구해진, 추정식에서 이용되는 계수 데이터를 생성하는 상기 파라미터를 포함하는 생성식에서의 계수 데이터인 계수종 데이터와 제3 단계에서 조정된 상기 파라미터 값을 이용하여, 상기 생성식에 의해, 상기 제2 단계에서 검출된 클래스 및 상기 파라미터 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제4 단계와,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,상기 제4 단계에서 생성된 상기 계수 데이터와 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제6 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 장치에 있어서,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여, 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제16항에 있어서,상기 클래스 검출 수단에 상기 클래스 분류의 세밀함을 결정하는 파라미터값을 입력하는 파라미터 입력 수단을 더 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제17항에 있어서,상기 계수 데이터 발생 수단은,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 입력된 파라미터 값을 이용하여, 상기 생성식에 의해 상기 클래스 검출 수단에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과,상기 계수 데이터 생성 수단에서 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 저장하는 제2 메모리 수단과,상기 제2 메모리 수단으로부터 상기 클래스 검출 수단에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제16항에 있어서,상기 계수 데이터 발생 수단에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 가산 수단과,상기 연산 수단에서 얻어진 상기 주목 위치의 정보 데이터를 상기 총합에서 제산하여 정규화하는 정규화 수단을 더 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제17항에 있어서,상기 파라미터 입력 수단은,상기 파라미터 값을 표시하는 표시 수단과,상기 표시 수단의 표시를 참조하여 상기 파라미터 값을 조정하는 사용자 조작 수단을 포함하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제17항에 있어서,상기 파라미터 입력 수단은,상기 제1 정보 신호로부터 소정의 특징량을 검출하는 특징량 검출 수단을 갖고,상기 특징량 검출 수단에서 검출된 상기 소정의 특징량에 대응하는 파라미터 값을 입력하는 것을 특징으로 하는 정보 신호 처리 장치.
- 제17항에 있어서,상기 파라미터 입력 수단은,상기 제1 정보 신호에 포함되는 상기 파라미터 값의 정보를 추출하는 정보 추출 수단을 갖고,상기 정보 추출 수단에서 추출된 정보로 표시된 파라미터 값을 입력하는 것을 특징으로 하는 정보 신호 처리 장치.
- 복수의 화소 데이터로 이루어지는 제l 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하는 화상 신호 처리 장치에 있어서,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 메모리 수단과,상기 메모리 수단에 저장되어 있는 계수종 데이터와 상기 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 발생하는 계수 데이터 발생 수단과,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
- 복수의 화소 데이터로 이루어지는 제2 화상 신호를 입력하는 화상 신호 입력 수단과,상기 화상 신호 입력 수단에서 입력된 상기 제1 화상 신호를 복수의 화소 데이터로 이루어지는 제2 화상 신호로 변환하여 출력하는 화상 신호 처리 수단과,상기 화상 신호 처리 수단으로부터 출력되는 상기 제2 화상 신호에 의한 화상을 화상 표시 장치에 표시하는 화상 표시 수단을 포함하며,상기 화상 신호 처리 수단은,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 화소 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 화소 데이터에 기초하여 상기 주목 위치의 화소 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 클래스 검출 수단에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 저장하는 제1 메모리 수단과,상기 제1 메모리 수단에 저장되어 있는 계수종 데이터와 상기 클래스 검출 수단에서 검출되는 클래스의 값을 이용하여 상기 생성식에 의해 생성되고, 상기 클래스 검출 수단에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를발생하는 계수 데이터 발생 수단과,상기 제1 화상 신호에 기초하여 상기 제2 화상 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 화소 데이터를 선택하는 제2 데이터 선택 수단과,상기 계수 데이터 발생 수단에서 발생된 상기 계수 데이터와 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 화소 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 화소 데이터를 산출하여 얻는 연산 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제24항에 있어서,상기 클래스 검출 수단에 상기 클래스 분류의 세밀함을 결정하는 파라미터 값을 입력하는 파라미터 입력 수단을 더 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제25항에 있어서,상기 계수 데이터 발생 수단은,상기 제1 메모리 수단에 기억되어 있는 계수종 데이터와 상기 입력된 파라미터 값을 이용하여, 상기 생성식에 의해 상기 클래스 검출 수단에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 생성하는 계수 데이터 생성 수단과,상기 계수 데이터 생성 수단에서 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 저장하는 제2 메모리 수단과,상기 제2 메모리 수단으로부터 상기 클래스 검출 수단에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 계수 데이터 판독 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제24항에 있어서,상기 계수 데이터 발생 수단에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 가산 수단과,상기 연산 수단에서 얻어진 상기 주목 위치의 정보 데이터를 상기 총합에서 제산하여 정규화하는 정규화 수단을 더 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제25항에 있어서,상기 파라미터 입력 수단은,상기 파라미터 값을 상기 화상 표시 소자에 표시하는 표시 제어 수단과,상기 화상 표시 소자의 표시를 참조하여 상기 파라미터 값을 조정하는 사용자 조작 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
- 제25항에 있어서,상기 파라미터 입력 수단은,상기 제1 화상 신호로부터 소정의 특징량을 검출하는 특징량 검출 수단을 포함하고,상기 특징량 검출 수단에서 검출된 상기 소정의 특징량에 대응하는 파라미터 값을 입력하는 것을 특징으로 하는 화상 표시 장치.
- 제25항에 있어서,상기 파라미터 입력 수단은,상기 제1 화상 신호에 포함되는 상기 파라미터 값의 정보를 추출하는 정보 추출 수단을 갖고,상기 정보 추출 수단에서 추출된 정보로 표시된 파라미터 값을 입력하는 것을 특징으로 하는 화상 표시 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하는 정보 신호 처리 방법에 있어서,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와,상기 제1 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와,상기 제2 단계에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식에서 이용되는 계수 데이터를 생성하는 생성식에서의 계수 데이터인 계수종 데이터를 이용하여, 상기 생성식에 의해, 상기 제2 단계에서 검출된 클래스의 값에 대응하는상기 추정식의 계수 데이터를 생성하는 제3 단계와,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 생성된 상기 계수 데이터와 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제5 단계를 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 제31항에 있어서,상기 제2 단계에서 검출되는 상기 클래스 분류의 세밀함을 결정하는 파라미터 값을 입력하는 제6 단계를 더 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 제32항에 있어서,상기 제3 단계는,상기 계수종 데이터와 상기 제6 단계에서 입력된 상기 파라미터 값을 이용하여, 상기 생성식에 의해, 상기 제2 단계에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 생성하는 단계와,상기 생성된 각 클래스에서의 상기 추정식의 계수 데이터를 메모리 수단에 저장하는 단계와,상기 메모리 수단으로부터 상기 제2 단계에서 검출된 클래스에 대응하는 상기 추정식의 계수 데이터를 판독하여 출력하는 단계를 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 제31항에 있어서,상기 제3 단계에서 발생되는 상기 추정식의 계수 데이터의 총합을 구하는 제7 단계와,상기 제5 단계에서 얻어진 상기 주목 위치의 정보 데이터를 상기 제7 단계에서 구해진 상기 총합에서 제산하여 정규화하는 제8 단계를 더 포함하는 것을 특징으로 하는 정보 신호 처리 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환하기 위해,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 단계와,상기 제1 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제2 단계와,상기 제2 단계에서 검출되는 클래스에 대응하는 파라미터를 갖고, 추정식의 계수 데이터를 이용하여, 상기 생성식에 의해, 상기 제2 단계에서 검출된 클래스의 값에 대응하는 상기 추정식의 계수 데이터를 생성하는 제3 단계와,상기 제1 정보 신호에 기초하여 상기 제2 정보 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 생성된 상기 계수 데이터와 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터를 이용하여, 상기 추정식에 기초하여 상기 주목 위치의 정보 데이터를 산출하여 얻는 제5 단계를 실행하는 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과,상기 생성식에 포함되는 파라미터에 대응하여 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 클래스 검출 수단에서 검출된 클래스, 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 정규 방정식 생성 수단과,상기 정규 방정식을 풀어 상기 클래스마다 상기 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함하는 것을 특징으로 하는 계수종 데이터 생성 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 생성식에 포함되는 파라미터에 대응하고, 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와,상기 제3 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,상기 제4 단계에서 검출된 클래스, 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제6 단계와,상기 정규 방정식을 풀어 상기 클래스마다 계수종 데이터를 얻는 제7 단계를 포함하는 것을 특징으로 하는 계수종 데이터 생성 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하기 위해,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 생성식에 포함되는 파라미터에 대응하고, 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와,상기 제3 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,상기 제4 단계에서 검출된 클래스, 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제6 단계와,상기 정규 방정식을 풀어 상기 클래스마다 계수종 데이터를 얻는 제7 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과,상기 생성식에 포함되는 파라미터에 대응하여, 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 파라미터 조정 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 클래스 검출 수단에서 검출된 클래스, 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 상기 클래스 검출 수단에서 검출되는 클래스 및 상기 파라미터 조정 수단에서 조정되는 파라미터 값의 조합마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제1 정규 방정식 생성 수단과,상기 제1 정규 방정식을 풀어 상기 조합마다 상기 추정식의 계수 데이터를 얻는 계수 데이터 연산 수단과,상기 계수 데이터 연산 수단에서 얻어진 상기 조합마다의 계수 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제2 정규 방정식 생성 수단과,상기 제2 정규 방정식을 풀어 상기 클래스마다 상기 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함하는 것을 특징으로 하는 계수종 데이터 생성 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 생성식에 포함되는 파라미터에 대응하여, 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와,상기 제3 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,제4 단계에서 검출된 클래스, 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스 및 파라미터 값의 조합마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제6 단계와,상기 제1 정규 방정식을 풀어 상기 조합마다 상기 추정식의 계수 데이터를 얻는 제7 단계와,상기 제7 단계에서 얻어진 상기 조합마다의 계수 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제8 단계와,상기 제2 정규 방정식을 풀어 상기 클래스마다 상기 계수종 데이터를 얻는 제9 단계를 포함하는 것을 특징으로 하는 계수종 데이터 생성 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하기 위한 생성식에서의 계수 데이터인 계수종 데이터를 생성하기 위해,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 생성식에 포함되는 파라미터에 대응하여, 상기 입력 신호에 의해 얻어지는 출력의 질을 결정하는 파라미터 값을 조정하는 제2 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제3 단계와,상기 제3 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제4 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제5 단계와,제4 단계에서 검출된 클래스, 상기 제5 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스 및 파라미터 값의 조합마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제6 단계와,상기 제1 정규 방정식을 풀어 상기 조합마다 상기 추정식의 계수 데이터를 얻는 제7 단계와,상기 제7 단계에서 얻어진 상기 조합마다의 계수 데이터를 이용하여, 클래스마다 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제8 단계와,상기 제2 정규 방정식을 풀어 상기 클래스마다 상기 계수종 데이터를 얻는제9 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 클래스 검출 수단에서 검출된 클래스, 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 정규방정식 생성 수단과,상기 정규 방정식을 풀어 상기 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함하는 것을 특징으로 하는 계수종 데이터 생성 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와,상기 제2 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 검출된 클래스, 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제5 단계와,상기 정규 방정식을 풀어 상기 계수종 데이터를 얻는 제6 단계를 포함하는것을 특징으로 하는 계수종 데이터 생성 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하기 위해,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와,상기 제2 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 검출된 클래스, 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여 상기 계수종 데이터를 얻기 위한 정규 방정식을 생성하는 제5 단계와,상기 정규 방정식을 풀어 상기 계수종 데이터를 얻는 제6 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 장치에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 신호 처리 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제1 데이터 선택 수단과,상기 제1 데이터 선택 수단에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 클래스 검출 수단과,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제2 데이터 선택 수단과,상기 클래스 검출 수단에서 검출된 클래스, 상기 제2 데이터 선택 수단에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 상기 클래스 검출 수단에서 검출되는 클래스마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제1 정규 방정식 생성 수단과,상기 제1 정규 방정식을 풀어 상기 클래스마다 상기 추정식의 계수 데이터를 얻는 계수 데이터 연산 수단과,상기 계수 데이터 연산 수단에서 얻어진 상기 클래스마다의 계수 데이터를 이용하여 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제2 정규 방정식 생성 수단과,상기 제2 정규 방정식을 풀어 상기 계수종 데이터를 얻는 계수종 데이터 연산 수단을 포함하는 것을 특징으로 하는 계수종 데이터 생성 장치.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하는 방법에 있어서,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와,상기 제2 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 검출된 클래스, 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여,클래스마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제5 단계와,상기 제1 정규 방정식을 풀어 상기 클래스마다 상기 추정식의 계수 데이터를 얻는 제6 단계와,상기 제6 단계에서 얻어진 상기 클래스마다의 계수 데이터를 이용하여 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제7 단계와,상기 제2 정규 방정식을 풀어 상기 계수종 데이터를 얻는 제8 단계를 포함하는 것을 특징으로 하는 계수종 데이터 생성 방법.
- 복수의 정보 데이터로 이루어지는 제1 정보 신호를 복수의 정보 데이터로 이루어지는 제2 정보 신호로 변환할 때에 사용되는 추정식에서 이용되는 계수 데이터를 생성하는, 상기 제2 정보 신호에 대응하는 교사 신호에서의 주목 위치의 정보 데이터가 속하는 클래스에 대응하는 파라미터를 갖는 생성식에서의 계수 데이터인 계수종 데이터를 생성하기 위해,상기 제1 정보 신호에 대응하는 입력 신호를 얻는 제1 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제1 정보 데이터를 선택하는 제2 단계와,상기 제2 단계에서 선택된 상기 복수의 제1 정보 데이터에 기초하여 상기 주목 위치의 정보 데이터가 속하는 클래스를 검출하는 제3 단계와,상기 입력 신호에 기초하여 상기 교사 신호에서의 주목 위치의 주변에 위치하는 복수의 제2 정보 데이터를 선택하는 제4 단계와,상기 제3 단계에서 검출된 클래스, 상기 제4 단계에서 선택된 상기 복수의 제2 정보 데이터 및 상기 교사 신호에서의 주목 위치의 정보 데이터를 이용하여, 클래스마다 상기 추정식의 계수 데이터를 얻기 위한 제1 정규 방정식을 생성하는 제5 단계와,상기 제1 정규 방정식을 풀어 상기 클래스마다 상기 추정식의 계수 데이터를 얻는 제6 단계와,상기 제6 단계에서 얻어진 상기 클래스마다의 계수 데이터를 이용하여 상기 계수종 데이터를 얻기 위한 제2 정규 방정식을 생성하는 제7 단계와,상기 제2 정규 방정식을 풀어 상기 계수종 데이터를 얻는 제8 단계를 실행하기 위한 컴퓨터 프로그램을 제공하는 것을 특징으로 하는 정보 제공 매체.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2000-00348730 | 2000-11-15 | ||
JP2000348730 | 2000-11-15 | ||
JPJP-P-2001-00110696 | 2001-04-09 | ||
JP2001110696A JP4670169B2 (ja) | 2000-11-15 | 2001-04-09 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20020074201A true KR20020074201A (ko) | 2002-09-28 |
KR100847185B1 KR100847185B1 (ko) | 2008-07-17 |
Family
ID=26604036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020027009130A KR100847185B1 (ko) | 2000-11-15 | 2001-11-14 | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 그리고 정보 제공 매체 |
Country Status (6)
Country | Link |
---|---|
US (3) | US7212245B2 (ko) |
EP (3) | EP1737232B1 (ko) |
JP (1) | JP4670169B2 (ko) |
KR (1) | KR100847185B1 (ko) |
CN (2) | CN100340108C (ko) |
WO (1) | WO2002041630A1 (ko) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4696388B2 (ja) * | 2000-11-15 | 2011-06-08 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 |
JP4670169B2 (ja) * | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
JP4277446B2 (ja) * | 2000-12-26 | 2009-06-10 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 |
EP1725033B1 (en) * | 2001-01-22 | 2009-12-30 | Sony Corporation | Coefficient seed data production device and method for the conversion of information signals |
US7810128B2 (en) * | 2003-02-14 | 2010-10-05 | Sony Corporation | Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith |
JP4055655B2 (ja) * | 2003-05-29 | 2008-03-05 | ソニー株式会社 | 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム |
JP4311166B2 (ja) | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
JP4311258B2 (ja) * | 2004-04-02 | 2009-08-12 | ソニー株式会社 | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 |
JP2005311629A (ja) * | 2004-04-20 | 2005-11-04 | Sony Corp | 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
JP2006067345A (ja) * | 2004-08-27 | 2006-03-09 | Sony Corp | 画像信号処理装置、その制御方法および画像信号処理システム |
JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5088541B2 (ja) | 2007-06-11 | 2012-12-05 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
JP5061883B2 (ja) | 2007-12-21 | 2012-10-31 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
KR20110065997A (ko) * | 2009-12-10 | 2011-06-16 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
IT1399695B1 (it) * | 2010-04-14 | 2013-04-26 | Sisvel Technology Srl | Metodo per visualizzare un flusso video secondo un formato personalizzato. |
EP3471414A4 (en) | 2016-05-02 | 2021-04-21 | Sony Corporation | ENCRYPTION DEVICE AND ENCRYPTION METHOD, AND DECCRYPTION DEVICE AND DECryption METHOD |
EP3606079A4 (en) | 2017-03-24 | 2020-04-01 | Sony Corporation | CODING DEVICE AND CODING METHOD AND DECODING DEVICE AND DECODING METHOD |
WO2019111720A1 (ja) * | 2017-12-06 | 2019-06-13 | ソニー株式会社 | 符号化装置、符号化方法、復号装置、及び、復号方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3438233B2 (ja) * | 1992-05-22 | 2003-08-18 | ソニー株式会社 | 画像変換装置および方法 |
KR100360206B1 (ko) * | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
US5663764A (en) * | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
JP2770137B2 (ja) * | 1994-09-22 | 1998-06-25 | 日本プレシジョン・サーキッツ株式会社 | 波形データ圧縮装置 |
US5852470A (en) * | 1995-05-31 | 1998-12-22 | Sony Corporation | Signal converting apparatus and signal converting method |
US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
JP3669530B2 (ja) * | 1995-06-30 | 2005-07-06 | ソニー株式会社 | 画像信号変換装置及び画像信号変換方法 |
JP3953561B2 (ja) * | 1996-10-15 | 2007-08-08 | 株式会社日立製作所 | 画像信号のフォーマット変換信号処理方法及び回路 |
WO1998026607A1 (fr) * | 1996-12-11 | 1998-06-18 | Sony Corporation | Dispositif de conversion de signaux et procede correspondant |
JP3864494B2 (ja) * | 1997-05-12 | 2006-12-27 | ソニー株式会社 | 画像信号変換装置およびそれを使用したテレビ受信機 |
JP3952599B2 (ja) * | 1998-07-16 | 2007-08-01 | 松下電器産業株式会社 | 映像表示装置および映像表示方法 |
JP4158232B2 (ja) * | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
JP2000059735A (ja) * | 1998-08-04 | 2000-02-25 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
JP4147632B2 (ja) * | 1998-08-24 | 2008-09-10 | ソニー株式会社 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
JP4131048B2 (ja) * | 1998-10-01 | 2008-08-13 | ソニー株式会社 | 画像情報変換装置、変換方法および画像表示装置 |
JP2000207391A (ja) * | 1998-11-10 | 2000-07-28 | Sony Corp | 補間装置、補間方法及び画像表示装置 |
US6704463B1 (en) * | 1998-11-10 | 2004-03-09 | Sony Corporation | Interpolation/decimation apparatus, interpolation/decimation method and image display apparatus |
JP4362895B2 (ja) * | 1999-06-21 | 2009-11-11 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
GB0007660D0 (en) * | 2000-03-29 | 2000-05-17 | Unilever Plc | Laundry treatment for fabrics |
JP4040826B2 (ja) * | 2000-06-23 | 2008-01-30 | 株式会社東芝 | 画像処理方法および画像表示システム |
JP4696388B2 (ja) * | 2000-11-15 | 2011-06-08 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 |
JP4670169B2 (ja) * | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
JP4277446B2 (ja) * | 2000-12-26 | 2009-06-10 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 |
-
2001
- 2001-04-09 JP JP2001110696A patent/JP4670169B2/ja not_active Expired - Fee Related
- 2001-11-14 EP EP06076713A patent/EP1737232B1/en not_active Expired - Lifetime
- 2001-11-14 US US10/181,122 patent/US7212245B2/en not_active Expired - Fee Related
- 2001-11-14 EP EP01982777A patent/EP1335596B1/en not_active Expired - Lifetime
- 2001-11-14 EP EP06076714A patent/EP1750443B1/en not_active Expired - Lifetime
- 2001-11-14 CN CNB2004101021942A patent/CN100340108C/zh not_active Expired - Fee Related
- 2001-11-14 CN CNB018037259A patent/CN1254102C/zh not_active Expired - Fee Related
- 2001-11-14 WO PCT/JP2001/009942 patent/WO2002041630A1/ja active Application Filing
- 2001-11-14 KR KR1020027009130A patent/KR100847185B1/ko not_active IP Right Cessation
-
2007
- 2007-02-08 US US11/704,045 patent/US7852404B2/en not_active Expired - Fee Related
- 2007-03-06 US US11/714,438 patent/US7688383B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4670169B2 (ja) | 2011-04-13 |
US7688383B2 (en) | 2010-03-30 |
EP1335596A4 (en) | 2006-04-12 |
CN1395796A (zh) | 2003-02-05 |
EP1335596B1 (en) | 2012-04-25 |
EP1335596A1 (en) | 2003-08-13 |
WO2002041630A1 (fr) | 2002-05-23 |
CN100340108C (zh) | 2007-09-26 |
EP1750443A2 (en) | 2007-02-07 |
US20070132882A1 (en) | 2007-06-14 |
EP1750443B1 (en) | 2012-04-25 |
EP1750443A3 (en) | 2007-10-31 |
US7212245B2 (en) | 2007-05-01 |
EP1737232B1 (en) | 2012-04-25 |
KR100847185B1 (ko) | 2008-07-17 |
US20030133039A1 (en) | 2003-07-17 |
EP1737232A2 (en) | 2006-12-27 |
EP1737232A3 (en) | 2007-10-31 |
CN1625236A (zh) | 2005-06-08 |
US7852404B2 (en) | 2010-12-14 |
US20070159553A1 (en) | 2007-07-12 |
JP2002218414A (ja) | 2002-08-02 |
CN1254102C (zh) | 2006-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100847185B1 (ko) | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 그리고 정보 제공 매체 | |
JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
WO2004055775A1 (ja) | 画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
JP4193495B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な記憶媒体およびプログラム | |
JP4691835B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 | |
JP4662099B2 (ja) | 情報信号処理装置およびそれにおける調整パラメータの設定方法 | |
JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
JP4691814B2 (ja) | 情報信号処理装置および情報信号処理方法、並びに記録媒体 | |
JP4649786B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 | |
JP4692800B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体 | |
JP4691849B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 | |
JP4692801B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法 | |
JP4311014B2 (ja) | 動き判定装置および動き判定方法、それを使用した画像信号処理装置、および各方法を実行するためのプログラム | |
JP2004140559A (ja) | コンテンツ処理装置および方法、記録媒体、並びに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130628 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140707 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |