JP2007243633A - Signal processing apparatus and method, recording medium, and program - Google Patents
Signal processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP2007243633A JP2007243633A JP2006063631A JP2006063631A JP2007243633A JP 2007243633 A JP2007243633 A JP 2007243633A JP 2006063631 A JP2006063631 A JP 2006063631A JP 2006063631 A JP2006063631 A JP 2006063631A JP 2007243633 A JP2007243633 A JP 2007243633A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficient
- signal
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、ユーザの操作とそのときの画像に対応した予測係数を生成することで、視聴状況に応じて、ユーザにとって最適な画像を提供することができるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to a signal processing apparatus and method, a recording medium, and a program, and in particular, by generating a prediction coefficient corresponding to a user operation and an image at that time, an optimal image for the user can be obtained according to viewing conditions. The present invention relates to a signal processing apparatus and method, a recording medium, and a program that can be provided.
従来、低解像度の画像データに対して補間フィルタによる周波数補間処理を施して画素補間を行う等して、低解像度の画像データを高解像度の画像データに変換する画像データ変換装置（アップコンバータ）として、低解像度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、予測係数と低解像度の画像データとから、高解像度の画像データを予測演算する、いわゆる、クラス分類適応処理を採用した画像データ変換装置が存在する。 Conventionally, as an image data converter (upconverter) that converts low-resolution image data into high-resolution image data by subjecting low-resolution image data to pixel interpolation by performing frequency interpolation processing using an interpolation filter. After classifying the low-resolution image data into classes according to the signal level distribution of each pixel, the prediction coefficient corresponding to the class is read from a memory in which data called a prediction coefficient is stored in advance. There is an image data conversion apparatus that employs so-called class classification adaptive processing for predicting and calculating high resolution image data from resolution image data.
この画像データ変換装置のメモリに格納されている予測係数は、学習と呼ばれるデータ処理によって予め生成されている。この予測係数を生成する学習回路は、通過帯域の異なる複数のデジタルフィルタより選択された、教師画像としての高解像度の画像データに最適なデジタルフィルタを用いて、教師画像としての高解像度の画像データをダウンコンバートすることにより、生徒画像としての低解像度の画像データを生成し、高解像度の画像データと低解像度の画像データとの間で学習を行って予測係数を生成するようになされている（特許文献１参照）。 Prediction coefficients stored in the memory of the image data converter are generated in advance by data processing called learning. The learning circuit that generates the prediction coefficient uses high-resolution image data as a teacher image using a digital filter that is selected from a plurality of digital filters having different passbands and that is optimal for the high-resolution image data as a teacher image. Is converted into low-resolution image data as a student image, and learning is performed between the high-resolution image data and the low-resolution image data to generate a prediction coefficient ( Patent Document 1).
例えば、近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジョン受信装置の開発が望まれ、この要望に応えて、いわゆるハイビジョン（HDTV：High Definition TeleVision）が開発された。ハイビジョンの走査線は、NTSC（National Television Standards Committee）方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、NTSC方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、NTSC方式に比べて、高解像度で臨場感のある画像を表示することができる。 For example, in recent years, the development of television receivers that can obtain higher-resolution images has been desired due to the increase in audio / visual orientation. In response to this demand, so-called high definition television (HDTV) has been developed. It has been developed. The number of high-definition scan lines is 1125, which is more than twice that of 525 scan lines in the NTSC (National Television Standards Committee) system. Also, the aspect ratio of the high vision is 9:16, whereas the aspect ratio of the NTSC system is 3: 4. For this reason, high-definition images can be displayed with higher resolution and presence than in the NTSC system.
上述した画像データ変換装置を内蔵するテレビジョン受信装置は、このNTSC方式のビデオ信号から、ハイビジョンのビデオ信号の注目位置の画素データに対応するブロック（領域）の画素データを抽出し、このブロックの画素データのレベル分布パターンに基づいて、上述の注目位置の画素データの属するクラスを決定し、このクラスに対応して、予測係数を読み出し、予測係数を用いて、注目位置の画素データを生成する。 The television receiver incorporating the above-described image data converter extracts pixel data of a block (area) corresponding to pixel data at a target position of a high-definition video signal from the NTSC video signal, and Based on the level distribution pattern of the pixel data, the class to which the pixel data at the above-mentioned target position belongs is determined, the prediction coefficient is read out corresponding to this class, and the pixel data at the target position is generated using the prediction coefficient. .
ここで、特許文献１の画像データ変換装置の予測係数は、数十種類にも及ぶ教師画像の画像セットを用いた最小二乗法による学習により求められている。この時、通常の開発時においては、あらゆる入力信号に対して破綻がないようにするため、予め様々な特徴を持った画像セットを用意しておき、それらを混ぜ合わせたものを学習セットに用いている。
Here, the prediction coefficient of the image data conversion apparatus of
すなわち、統計的にロバストな性能を発揮するのが、従来の予測係数の特徴であった。 That is, it is a feature of the conventional prediction coefficient that exhibits statistically robust performance.
しかしながら、実際にユーザが家庭で視聴するテレビジョン信号の特徴は、予測係数の学習時に用いられている画像セットの特徴と一致するとは限らなかった。例えば、視聴コンテンツが極端に偏っていたり、受信状態がひどく一般的でない場合などは、統計的にロバストな予測係数では、画像データ変換装置が本来の性能を発揮できない恐れがあった。 However, the characteristics of the television signal that the user actually watches at home do not always match the characteristics of the image set used when learning the prediction coefficient. For example, when the viewing content is extremely biased or the reception state is extremely uncommon, the image data conversion device may not be able to exhibit its original performance with a statistically robust prediction coefficient.
また、従来より、特許文献１の画像データ変換装置のように、ユーザ操作により予測係数を切り換えたり、係数生成式のパラメータ値を変えたりすることは可能であったが、上述したように、多様な係数の切り換えパターンを持っていたとしても、それがすべてのユーザにとって必ずしも有効であるとは限らず、さらに、切り換えパターンが多くなるに連れ、ユーザの能動的な操作が煩雑になる恐れがあった。
Conventionally, as in the image data conversion apparatus of
本発明は、このような状況に鑑みてなされたものであり、視聴状況に応じて、ユーザがよく視聴する画像に対しての予測誤差を少なくし、予測精度を向上させ、ユーザの手を煩わせないようにすることができるようにするものである。 The present invention has been made in view of such a situation, and according to the viewing situation, the prediction error for an image often viewed by the user is reduced, the prediction accuracy is improved, and the user's hand is troublesome. It is to be able to prevent it.
本発明の第１の側面の信号処理装置は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置において、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段と、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第１の係数を記憶する第１の係数メモリと、前記第１の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第１の係数の使用を制御するための制御命令データを記憶する命令メモリと、前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段と、前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第１の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する画像信号変換手段とを備える。 A signal processing device according to a first aspect of the present invention is a signal processing device that converts a first image signal into a second image signal having a resolution higher than that of the first image signal. Control information stored in the signal processing apparatus is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is associated with the control history information. A history information storage unit for storing, and a first coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage unit is stored. Control instruction data for controlling use of the first coefficient generated based on the control history information corresponding to the coefficient memory and the feature amount information of the image used to generate the first coefficient Instruction memory to memorize Determination means for determining whether or not there is control information in the signal processing device acquired when the control command data stored in the command memory is read out, corresponding to the control command data; When it is determined by the determination means that there is one corresponding to the control command data, the first image signal is converted into the second image signal by performing an operation using the first coefficient. Image signal conversion means.
前記特徴量記憶手段は、着脱可能な基板に設けられることができる。 The feature amount storage means may be provided on a detachable substrate.
前記画像の特徴量情報は、前記画像の特徴量頻度分布とされることができる。 The feature amount information of the image may be a feature amount frequency distribution of the image.
前記履歴情報を用いることなく、複数の学習画像が用いられて生成された第２の係数を記憶する第２の係数メモリをさらに備え、前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第２の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換することができる。 A second coefficient memory for storing a second coefficient generated by using a plurality of learning images without using the history information is further provided, and there is no one corresponding to the control command data by the determination unit. When it is determined, the image signal converting means can convert the first image signal into the second image signal by performing an operation using the second coefficient.
受信された放送信号の選局を行い、前記第１の画像信号を得るチューナと、前記画像信号変換手段により変換される前記第１の画像信号を、前記チューナからの前記第１の画像信号または外部から入力される前記第１の画像信号に切り換える入力切換手段とをさらに備え、前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報であることができる。 A tuner that selects a received broadcast signal and obtains the first image signal, and the first image signal that is converted by the image signal conversion means, the first image signal from the tuner or Input switching means for switching to the first image signal input from the outside, and the control information is selected by the tuner, input switching by the input switching means, or It can be information for controlling parameters of image conversion by the image signal conversion means.
本発明の第１の側面の信号処理方法は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置の信号処理方法において、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶し、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換するステップを含む。 A signal processing method according to a first aspect of the present invention is a signal processing method of a signal processing device that converts a first image signal into a second image signal having a higher resolution than the first image signal. Control information in the signal processing device obtained for each operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is stored in the control history information. Is stored in the history information storage means, and the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means is controlled. Therefore, the control command data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is read from the command memory, and the control command data is the command memory. In the control information in the signal processing device acquired when read, it is determined whether there is a corresponding to the control command data, if it is determined that there is a corresponding to the control command data, The step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第１の側面のプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置に、所定の処理を行わせるプログラムであって、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換するステップを含む。 The program according to the first aspect of the present invention is a program that causes a signal processing device that converts a first image signal to a second image signal having a higher resolution than the first image signal to perform predetermined processing. Then, control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation Is stored in the history information storage means in association with the control history information, and the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means Control instruction data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is read from the instruction memory, and the control instruction data is controlled. Control information in the signal processing device acquired when the data is read from the command memory is determined whether there is data corresponding to the control command data, and there is information corresponding to the control command data If it is determined, the step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第１の側面の記録媒体に記録されているプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置に、所定の処理を行わせるプログラムであって、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換するステップを含む。 A program recorded on a recording medium according to the first aspect of the present invention provides a signal processing apparatus that converts a first image signal into a second image signal having a higher resolution than the first image signal. The control information in the signal processing device obtained for each user operation is stored as control history information, and the first image signal generated for each user operation is stored in the first image signal generated by the user operation. Corresponding feature amount information of an image is associated with the control history information and stored in history information storage means, and feature amount information of the image selected based on the history control information stored in the history information storage means is Control command data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is controlled from the command memory in order to control use of the generated coefficient. Determining whether the control information in the signal processing device acquired when the control instruction data is read from the instruction memory corresponds to the control instruction data; and When it is determined that there is a signal corresponding to the above, a step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第２の側面の信号処理装置は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置において、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段と、前記取得手段により取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段と、前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段とを備える。 The signal processing device according to the second aspect of the present invention is a process for causing a first image signal to be used in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal. Control signal information in the other signal processing device obtained for each user operation in another signal processing device that converts the first image signal into the second image signal. From the history information storage means in which the feature amount information of the image corresponding to the first image signal generated for each user operation is stored in association with each other, from the control history information and the feature of the image Selection means for acquiring quantity information, and selection of the feature quantity information of the image used for generating a coefficient to be used for calculation to convert to the second image signal based on the control history information acquired by the acquisition means Information selection And control command data for controlling the use of the coefficients generated by the feature selection information of the image selected by the information selection means in the other signal processing device by the information selection means. Command generation means for generating based on the control history information corresponding to the feature amount information of the selected image.
前記履歴情報記憶手段は、前記他の信号処理装置に着脱可能な基板に設けられることができる。 The history information storage means may be provided on a substrate that can be attached to and detached from the other signal processing device.
前記画像の特徴量情報は、前記画像の特徴量頻度分布とされることができる。 The feature amount information of the image may be a feature amount frequency distribution of the image.
学習画像の特徴量情報を生成する特徴量生成手段と、前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段と、前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第２の画像信号に変換する演算に用いられる係数を生成する係数生成手段とをさらに備えることができる。 Using feature amount generation means for generating feature amount information of a learning image, feature amount information of the learning image generated by the feature amount generation means, and feature amount information of the image selected by the information selection means The image selection means for selecting an image similar to the image from the learning image, and the learning image selected by the image selection means, and converted into the second image signal by the other signal processing device Coefficient generating means for generating a coefficient used for the operation to be performed can be further provided.
本発明の第２の側面の信号処理方法は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置の信号処理方法において、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The signal processing method according to the second aspect of the present invention is a process for using a predetermined coefficient in an operation for converting a first image signal into a second image signal having a resolution higher than that of the first image signal. In the signal processing method of the signal processing device that performs the above, in the other signal processing device that converts the first image signal into the second image signal, the other signal processing device obtained for each user operation From the history information storage means in which the control history information and the image feature amount information corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and The feature amount information of the image is acquired, and based on the acquired control history information, the feature amount information of the image used for generation of a coefficient used for calculation to be converted into the second image signal is selected and selected. Of said image Control command data for controlling use of the coefficient generated by using information in the other signal processing device is generated based on the control history information corresponding to the feature amount information of the selected image. Includes steps.
本発明の第２の側面のプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理をコンピュータに行わせるプログラムであって、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The program according to the second aspect of the present invention is a computer that performs processing for causing a predetermined coefficient to be used in an operation for converting a first image signal into a second image signal having a higher resolution than the first image signal. In another signal processing device that converts the first image signal into the second image signal, a control history in the other signal processing device obtained for each user operation From the history information storage means in which the information and the feature amount information of the image corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and the image The feature amount information is acquired, and based on the acquired control history information, the feature amount information of the image used for generating a coefficient to be used for calculation to be converted into the second image signal is selected, and the selected Image features Control command data for controlling use of the coefficient generated by using information in the other signal processing device is generated based on the control history information corresponding to the feature amount information of the selected image. Includes steps.
本発明の第２の側面の記録媒体に記録されているプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理をコンピュータに行わせるプログラムであって、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The program recorded on the recording medium according to the second aspect of the present invention uses a predetermined coefficient for the operation of converting the first image signal into a second image signal having a higher resolution than the first image signal. A program that causes a computer to perform processing for use in the other signal processing device that converts the first image signal into the second image signal, and that is obtained for each user operation. From the history information storage means in which the control history information in the signal processing device and the image feature amount information corresponding to the first image signal generated for each user operation are stored in association with each other, The control feature information and the feature amount information of the image are acquired, and based on the acquired control history information, the feature amount information of the image used for generating a coefficient to be used for calculation to convert to the second image signal is obtained. Selected, The control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. Generating based on the control history information.
本発明の第１の側面においては、ユーザの操作毎に得られた信号処理装置内の制御情報が制御履歴情報として記憶され、前記ユーザの操作毎に生成された第１の画像信号に対応する画像の特徴量情報が前記制御履歴情報に対応付けられて履歴情報記憶手段に記憶される。そして、前記履歴情報記憶手段に記憶される前記制御履歴情報の制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データが、命令メモリから読み出され、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かが判定され、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号が、前記第２の画像信号に変換される。 In the first aspect of the present invention, control information in the signal processing device obtained for each user operation is stored as control history information, and corresponds to the first image signal generated for each user operation. Image feature amount information is stored in the history information storage unit in association with the control history information. The coefficient generation unit controls the use of the coefficient generated by using the feature amount information of the image selected based on the control information of the control history information stored in the history information storage unit. Obtained when the control command data generated based on the control history information corresponding to the feature information of the image used in the processing is read from the command memory and the control command data is read from the command memory. It is determined whether there is control information in the signal processing device corresponding to the control command data. If it is determined that there is a control information corresponding to the control command data, an operation is performed using the coefficient. By performing the above, the first image signal is converted into the second image signal.
本発明の第２の側面においては、第１の画像信号を、第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報が取得され、取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報が選択される。そして、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データが、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成される。 In the second aspect of the present invention, in another signal processing device that converts the first image signal into the second image signal, the control history in the other signal processing device obtained for each user operation. From the history information storage means in which the information and the feature amount information of the image corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and the image Feature amount information is acquired, and based on the acquired control history information, feature amount information of the image used for generation of a coefficient used for calculation to convert to the second image signal is selected. Then, the control command data for controlling the use of the coefficient generated by using the feature amount information of the selected image in the other signal processing device corresponds to the feature amount information of the selected image. Generated based on the control history information.
本発明によれば、視聴状況に応じて、ユーザにとって最適な画像を提供することができる。これにより、ユーザの手を煩わせないようにすることができる。 According to the present invention, it is possible to provide an optimal image for a user according to a viewing situation. Thereby, a user's hand can be made troublesome.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment that is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の第１の側面の信号処理装置は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置（例えば、図４のテレビジョン受信装置１）において、ユーザの操作毎に得られた前記信号処理装置内の制御情報が制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段（例えば、図４の履歴情報記憶部１３）と、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第１の係数を記憶する第１の係数メモリ（例えば、図１１のユーザ係数メモリ７３）と、前記第１の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第１の係数の使用を制御するための制御命令データを記憶する命令メモリ（例えば、図１１の係数制御命令メモリ７２）と、前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段（例えば、図１１の係数制御部７１）と、前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第１の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する画像信号変換手段（例えば、図６の画像信号処理部３７）とを備える。
The signal processing device according to the first aspect of the present invention is a signal processing device that converts a first image signal into a second image signal having a higher resolution than the first image signal (for example, the television shown in FIG. 4). In the receiving device 1), control information in the signal processing device obtained for each user operation is stored as control history information, and an image corresponding to the first image signal generated for each user operation is stored. A history information storage unit (for example, the history
前記特徴量記憶手段は、着脱可能な基板（例えば、図４の基板１２）に設けられることができる。
The feature amount storage means may be provided on a detachable substrate (for example, the
前記履歴情報を用いることなく、複数の学習画像が用いられて生成された第２の係数を記憶する第２の係数メモリ（例えば、図１１の通常係数メモリ７４）をさらに備え、前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第２の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換することができる。
A second coefficient memory (for example, the
受信された放送信号の選局を行い、前記第１の画像信号を得るチューナ（例えば、図６のチューナ３３）と、前記画像信号変換手段により変換される前記第１の画像信号を、前記チューナからの前記第１の画像信号または外部から入力される前記第１の画像信号に切り換える入力切換手段（例えば、図６の入力切換部３５）とをさらに備え、前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報であることができる。
A tuner (for example, the
本発明の第１の側面の信号処理方法またはプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する信号処理装置（例えば、図４のテレビジョン受信装置１）の信号処理方法またはプログラムにおいて、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段（例えば、図４の履歴情報記憶部１３）に記憶し（例えば、図２８のステップＳ１４）、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し（例えば、図３０のステップＳ６１）、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し（例えば、図３０のステップＳ６２）、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する（例えば、図２８のステップＳ１９）ステップを含む。
The signal processing method or program according to the first aspect of the present invention provides a signal processing device (for example, FIG. 4) that converts a first image signal into a second image signal having a higher resolution than the first image signal. In the signal processing method or program of the television receiver 1), the control information in the signal processing device obtained for each user operation is stored as control history information, and the first information generated for each user operation is stored. The image feature amount information corresponding to the image signal is stored in the history information storage means (for example, the history
本発明の第２の側面の信号処理装置は、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置（例えば、図４のデータ生成反映装置２）において、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置（例えば、図４のテレビジョン受信装置１）において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段（例えば、図４の履歴情報記憶部１３）から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段（例えば、図２０の履歴情報取得部１３１）と、前記取得手段により取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段（例えば、図２０の履歴情報判定部１３２）と、前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段（例えば、図２０の係数制御命令決定部１２２）とを備える。
The signal processing device according to the second aspect of the present invention is a process for causing a first image signal to be used in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal. In the signal processing device (for example, the data generation /
前記履歴情報記憶手段は、前記他の信号処理装置に着脱可能な基板（例えば、図４の基板１２）に設けられることができる。
The history information storage means may be provided on a substrate (for example, the
学習画像の特徴量情報を生成する特徴量生成手段（例えば、図２１の学習画像頻度分布生成部２０４）と、前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段（例えば、図２１の学習画像選択部２０５）と、前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第２の画像信号に変換する演算に用いられる係数を生成する係数生成手段（例えば、図２１の係数種データ生成部２０６）とをさらに備えることができる。
Feature amount generation means (for example, a learning image frequency
本発明の第２の側面の信号処理方法またはプログラムは、第１の画像信号を、前記第１の画像信号よりも高解像度の第２の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置（例えば、図４のデータ生成反映装置２）の信号処理方法またはプログラムにおいて、前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置（例えば、図４のテレビジョン受信装置１）において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段（例えば、図４の履歴情報記憶部１３）から、前記制御履歴情報および前記画像の特徴量情報を取得し（例えば、図３２のステップＳ１０１）、取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し（例えば、図３２のステップＳ１０２）、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する（例えば、図３２のステップＳ１０７）ステップを含む。
The signal processing method or program according to the second aspect of the present invention causes a predetermined coefficient to be used in an operation for converting a first image signal into a second image signal having a resolution higher than that of the first image signal. In the signal processing method or program of the signal processing device (for example, the data generation /
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
まず、図１乃至図３を参照して、本発明の概要を説明する。図１は、従来の予測係数の学習の概念を示している。 First, the outline of the present invention will be described with reference to FIGS. FIG. 1 shows the concept of learning a conventional prediction coefficient.
低解像度の画像データから、高解像度の画像データを予測演算する際に用いられる予測係数の従来の学習方法としては、図１に示されるように、１シーンだけからなるHD（High Definition）信号の画像（以下、HD画像とも称する）と、そのHD画像から生成されたSD（Standard Definition）信号の画像（以下、SD画像とも称する）の組み合わせのサンプルを、１乃至ｎまでの数十種類用意しておき、それらすべてを足しこんだものを最小二乗法により予測係数を求めていた。 As a conventional learning method of a prediction coefficient used when predicting and calculating high resolution image data from low resolution image data, as shown in FIG. 1, an HD (High Definition) signal consisting of only one scene is used. Dozens of samples from 1 to n are prepared for combinations of images (hereinafter also referred to as HD images) and SD (Standard Definition) signal images (hereinafter also referred to as SD images) generated from the HD images. Prediction coefficients were obtained by the least square method with all of them added.
すなわち、従来の学習方法で求められる予測係数は、HD画像を教師データYとし、SD画像を生徒データXとすると、すべてのサンプルに対して、Y=aX+bの回帰直線で表すことができる。このため、各SD画像と予測係数Y=aX+bを用いて求められる予測値Y'と予測係数との予測誤差は、サンプルによっては、グラフ上の点で示されるように、大きくなってしまう場合があった。 That is, the prediction coefficient obtained by the conventional learning method can be expressed by a regression line of Y = aX + b for all samples, where the HD image is the teacher data Y and the SD image is the student data X. . For this reason, the prediction error between the prediction value Y ′ obtained using each SD image and the prediction coefficient Y = aX + b and the prediction coefficient may be large depending on the sample, as indicated by a point on the graph. There was a case.
図２は、予測係数の個別学習の概念を示している。図２の例においては、図１の例に対して、画像毎に個別に学習して予測係数が求められている。 FIG. 2 shows the concept of individual learning of prediction coefficients. In the example of FIG. 2, the prediction coefficient is obtained by learning individually for each image as compared to the example of FIG.
例えば、HD画像１と、HD画像１から生成されたSD画像１の組み合わせで学習されて求められた予測係数は、Y=a1X+b1の回帰直線で表すことができる。そして、SD画像１とこの予測係数Y=a1X+b1を用いて求められる予測値Y'と予測係数との予測誤差は、図１の例の場合よりも小さくなる。
For example, a prediction coefficient obtained by learning with a combination of the
同様に、HD画像２と、HD画像２から生成されたSD画像２の組み合わせで学習されて求められた予測係数は、Y=a2X+b2の回帰直線で表すことができ、SD画像２と予測係数Y=a2X+b2を用いて求められる予測値Y'と予測係数との予測誤差も図１の例の場合よりも小さくなる。
Similarly, the prediction coefficient obtained by learning from the combination of the
また、HD画像ｎと、HD画像ｎから生成されたSD画像ｎの組み合わせで学習されて求められた予測係数は、Y=anX+bnの回帰直線で表すことができ、SD画像ｎと予測係数Y=anX+bnを用いて求められる予測値Y'と予測係数との予測誤差も、図１の例の場合よりも小さくなる。 The prediction coefficient obtained by learning from the combination of the HD image n and the SD image n generated from the HD image n can be represented by a regression line of Y = anX + bn. The prediction error between the prediction value Y ′ obtained using Y = anX + bn and the prediction coefficient is also smaller than in the example of FIG.
すなわち、図２の例のように、各画像が個別に有する特徴に応じて予測係数を求めることで予測誤差を小さくし、予測精度を向上させることができる。したがって、もし、ユーザが自宅で視聴する画像（以下、ユーザ視聴画像とも称する）に応じて予測係数を学習、生成することができれば、この予測係数を用いて高解像度のデータを生成する装置は、最高の性能を発揮することができる。 That is, as in the example of FIG. 2, the prediction error can be reduced and the prediction accuracy can be improved by obtaining the prediction coefficient according to the characteristics of each image individually. Therefore, if a prediction coefficient can be learned and generated according to an image that the user views at home (hereinafter also referred to as a user viewing image), an apparatus that generates high-resolution data using the prediction coefficient The best performance can be demonstrated.
ただし、現実には、ユーザが視聴するSD信号に対応するHD信号を全て入手することは困難である。そこで、図３に示すように、ユーザ視聴画像と、予測係数学習時のSD画像のそれぞれの特徴量情報を用いる。 However, in reality, it is difficult to obtain all HD signals corresponding to the SD signal viewed by the user. Therefore, as shown in FIG. 3, the feature amount information of the user viewing image and the SD image at the time of prediction coefficient learning is used.
図３は、図２の方法を発展させた本発明の予測係数の概念を示している。 FIG. 3 shows the concept of the prediction coefficient of the present invention, which is an extension of the method of FIG.
まず、予測係数を学習する前に、HD画像１より生成されたSD画像１からSD画像１の特徴量情報として、特徴量頻度分布１が求められ、HD画像２より生成されたSD画像２からSD画像２の特徴量情報として、特徴量頻度分布２が求められ、HD画像ｎより生成されたSD画像ｎからSD画像ｎの特徴量情報として、特徴量頻度分布ｎが求められる。
First, before learning the prediction coefficient, the feature
そして、矢印Ａ１に示されるように、これらの特徴量頻度分布１乃至ｎと、ユーザ視聴画像から求められる特徴量頻度分布とが比較され、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する特徴量頻度分布のSD画像のみが選択されて、矢印Ａ２−１乃至矢印Ａ２−３に示されるように、選択されたSD画像とHD画像の組み合わせだけで、それぞれの予測係数が学習されて求められる。
Then, as indicated by the arrow A1, the feature
例えば、SD画像１の特徴量頻度分布１が、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する場合、SD画像１が選択されて、矢印Ａ２−１に示されるように、選択されたSD画像１とHD画像１の組み合わせのみで、Y=a1X+b1の回帰直線で表される予測係数が学習されて求められる。SD画像２の特徴量頻度分布２が、ユーザ視聴画像の特徴量頻度分布と似ている特徴を有する場合、SD画像２が選択されて、矢印Ａ２−２に示されるように、選択されたSD画像２とHD画像２の組み合わせのみで、Y=a2X+b2の回帰直線で表される予測係数が学習されて求められる。
For example, when the feature
同様に、SD画像ｎの特徴量頻度分布ｎが、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する場合、SD画像ｎが選択されて、矢印Ａ２−３に示されるように、選択されたSD画像ｎとHD画像ｎの組み合わせのみで、Y=anX+bnの回帰直線で表される予測係数が学習されて求められる。 Similarly, when the feature amount frequency distribution n of the SD image n has a feature similar to the feature amount frequency distribution of the user viewing image, the SD image n is selected and selected as indicated by an arrow A2-3. The prediction coefficient represented by the regression line of Y = anX + bn is learned and obtained only by the combination of the SD image n and the HD image n.
以上のように、ユーザ視聴画像そのものを用いた予測係数学習は困難であっても、ユーザ視聴画像と似た特徴を有する画像のみを学習に用いることによって、そのユーザ視聴画像に特化した予測係数を生成することができる。 As described above, even when prediction coefficient learning using the user viewing image itself is difficult, by using only an image having characteristics similar to the user viewing image for learning, a prediction coefficient specialized for the user viewing image is used. Can be generated.
したがって、以下に説明する、SD画像からHD画像を生成するテレビジョン受信装置１において、ユーザが視聴する画像が、その画像に特化して生成された予測係数が用いられて変換された場合、HD画像の生成時における予測誤差は小さくなり、予測精度を向上させることができる。その結果、ユーザが視聴する画像を最適な画質で表示することができる。
Therefore, in the
なお、このユーザ特徴頻度分布は、テレビジョン受信装置１において、例えば、ユーザの操作に対応して取得されるが、このとき同時に、ユーザの操作情報や、その時の機器の制御情報なども取得することができる。
The user characteristic frequency distribution is acquired in the
したがって、以下においては、ユーザ特徴頻度分布だけでなく、さらに、これらのユーザの操作情報や機器の制御情報も用いて予測係数が生成される画像信号処理システムの例を説明する。 Therefore, in the following, an example of an image signal processing system in which prediction coefficients are generated using not only the user feature frequency distribution but also the user operation information and device control information will be described.
図４は、本発明を適用した画像信号処理システムの一実施の形態の構成を示している。 FIG. 4 shows a configuration of an embodiment of an image signal processing system to which the present invention is applied.
図４に示される画像信号処理システムは、ユーザ宅に設置され、外部の放送局より供給される画像信号を受信したり、外部の録画装置より供給される画像信号を入力し、内蔵するディスプレイに表示するテレビジョン受信装置１と、製品のメンテナンスなどを行うメーカ側などに設置され、テレビジョン受信装置１用の予測係数および予測係数をテレビジョン受信装置１に反映させるための制御命令のデータを生成するデータ生成反映装置２により構成される。
The image signal processing system shown in FIG. 4 is installed in a user's house, receives an image signal supplied from an external broadcasting station, or receives an image signal supplied from an external recording device, and inputs it to a built-in display. The
テレビジョン受信装置１は、アンテナ１１を有しており、外部より供給される、例えばNTSC信号等の、SD（Standard Definition）信号である画像信号を、アンテナ１１を介して受信する。あるいは、テレビジョン受信装置１は、図示せぬ録画装置から入力されるSD信号である画像信号を入力する。テレビジョン受信装置１は、受信、または入力される画像信号に対してクラス分類適応処理を用いた画像信号処理を行い、HD（High Definition）信号の画像信号に変換する等の処理を行う。このとき、テレビジョン受信装置１は、データ生成反映装置２により生成された予測係数と、例えば、図１で上述した従来の方法で生成された予測係数を有しており、それらを切り換えて、クラス分類適応処理を用いた画像信号処理を行う。
The
そして、テレビジョン受信装置１は、変換した画像信号に対応する画像を、内蔵するディスプレイに表示する。画像信号処理に関する詳細な説明は後述する。
Then, the
また、テレビジョン受信装置１は、ユーザの操作が入力されると、ユーザの操作情報やテレビジョン受信装置１の各部の制御情報などを、履歴情報として履歴情報記憶部１３に記憶するとともに、そのときの、ユーザが視聴を所望して、アンテナ１１で受信した画像信号に対応する画像、すなわち、ユーザが視聴する画像の特徴量情報を求め、求めた特徴量情報も履歴情報として履歴情報記憶部１３に記憶する。
In addition, when a user operation is input, the
この履歴情報記憶部１３は、テレビジョン受信装置１の筐体に着脱可能に装着される基板１２に構成されている。基板１２は、テレビジョン受信装置１用の予測係数を生成するとき、テレビジョン受信装置１から取り外され、データ生成反映装置２に接続される。
The history
データ生成反映装置２は、予測係数生成装置２０および係数データ反映装置２１により構成され、テレビジョン受信装置１から取り外された基板１２の履歴情報記憶部１３の履歴情報を用いて、テレビジョン受信装置１が用いる予測係数である、係数種データを生成するとともに、テレビジョン受信装置１に対して、その係数種データを反映させる、すなわち、係数種データの使用を制御する制御命令データを生成する。なお、予測係数生成装置２０および係数データ反映装置２１は、それぞれ単独で構成されることもできる。
The data generation /
予測係数生成装置２０は、履歴情報記憶部１３の履歴情報から、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量情報を取得し、そのユーザ視聴画像の特徴量情報を用いて、係数種データを生成する。以下、従来の方法で生成された係数種データと区別するため、予測係数生成装置２０によりユーザ視聴画像の特徴量情報を用いて生成される係数種データを、ユーザ係数種データとも称する。生成されたユーザ係数種データは、係数データ反映装置２１に送信される。
The prediction
係数データ反映装置２１は、テレビジョン受信装置１から取り外された基板１２の履歴情報記憶部１３の制御履歴情報を参照して、予測係数の生成に用いるユーザ視聴画像の特徴量情報を選択する。そして、係数データ反映装置２１は、予測係数生成装置２０により生成されたユーザ係数種データに対応させて、そのユーザ係数種データのテレビジョン受信装置１における使用を制御する制御命令データを生成し、生成された制御命令データを制御命令メモリ２２に記憶させ、ユーザ係数種データをユーザ係数メモリ２３に記憶させる。
The coefficient
以上のようにして、制御命令メモリ２２に記憶された制御命令データおよびユーザ係数メモリ２３に記憶されたユーザ係数種データは、基板１２、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置１に提供される。
As described above, the control instruction data stored in the
そして、テレビジョン受信装置１においては、制御命令データに基づいて、データ生成反映装置２により生成された予測係数（すなわち、ユーザ係数種データ）と、従来の方法で生成された予測係数のどちらかが選択され、選択された予測係数が用いられて、クラス分類適応処理を用いた画像信号処理が行われる。
In the
この画像信号処理システムの処理の流れを、図５を参照して説明する。 The processing flow of this image signal processing system will be described with reference to FIG.
図４の画像信号処理システムにおいては、図５の左から順に、まず、テレビジョン受信装置１において履歴情報が記録され、データ生成装置２において、その履歴情報が用いられて、ユーザ係数種データが生成され、さらに、ユーザ係数種データの使用を制御する制御命令データが生成される。そして、テレビジョン受信装置１において、制御命令データに基づいて、ユーザ係数種データが反映される。
In the image signal processing system of FIG. 4, in order from the left in FIG. 5, first, history information is recorded in the
具体的に説明すると、テレビジョン受信装置１においていろいろなソース（入力源）のコンテンツを視聴する際、ユーザＡは、そのコンテンツによっては、テレビジョン受信装置１に対してさまざまな操作を行うことが想定される。
Specifically, when viewing content from various sources (input sources) on the
例えば、テレビジョン受信装置１の表示部１５に、放送局からの受信された放送コンテンツを表示させて視聴する際、ユーザＡは、テレビジョン受信装置１に対して、何も操作しない、あるいは、操作したとしても、その操作頻度は非常に少ないとする。
For example, when displaying and viewing broadcast content received from a broadcasting station on the
これに対して、例えば、テレビジョン受信装置１の表示部１５に、図示せぬ録画装置から入力された録画コンテンツを表示させて視聴する際、ユーザＡは、リモートコントローラ１６を用いて、テレビジョン受信装置１に対して画質調整の操作を頻繁に行うとする。
On the other hand, for example, when the recorded content input from the recording device (not shown) is displayed on the
このように、放送コンテンツ受信時の操作が少ないのに対して、録画コンテンツ入力時のみに画質調整を頻繁に行うという場合には、録画コンテンツ入力時に表示されるコンテンツの画像に、ユーザＡにとって何らかの欲求や不満を生み出すものが潜在している恐れが大きい。 In this way, when there are few operations at the time of receiving broadcast content, but when image quality adjustment is frequently performed only at the time of recording content input, the content image displayed at the time of recording content input has some sort of content for user A. There is a great fear that something that creates desire or frustration is latent.
ここで、テレビジョン受信装置１が「録画コンテンツ入力時」であるという情報は、テレビジョン受信装置１の制御情報から得られる。また、ユーザにより「画質調整」が操作されたという情報は、ユーザのリモートコントローラ１６の操作情報から得られる。
Here, the information that the
したがって、テレビジョン受信装置１において、ユーザの操作信号が入力される毎に、テレビジョン受信装置１の制御情報およびユーザの操作情報と、そのとき視聴中の画像の特徴量頻度分布のデータとを、履歴情報として基板１２の履歴情報記憶部１３に記録するようにする。
Therefore, each time a user operation signal is input, the
そして、係数データ反映装置２１は、特定の制御情報および操作情報、すなわち、「録画コンテンツ入力時」かつ「画質調整」だけに限定した画像の特徴量頻度分布を、履歴情報から選択し、選択した画像の特徴量頻度分布のみを用いて、予測係数生成装置２０にユーザ係数種データを生成させ、テレビジョン受信装置１の制御情報が「録画コンテンツ入力時」である場合には、予測係数生成装置２０により生成されたユーザ係数種データに基づくユーザ係数を用いて予測処理を行わせる制御命令データを生成する。
Then, the coefficient
すなわち、予測係数生成装置２０においては、「録画コンテンツ入力時」用のユーザ係数種データが生成される。
That is, the prediction
テレビジョン受信装置１は、例えば、図１を参照して上述した従来の方法、すなわち、特徴量頻度分布を用いることなく、複数の学習画像の画像セットから生成された係数種データ（以下、ユーザ係数種データと区別するため、通常係数種データとも称する）に基づく通常係数と、予測係数生成装置２０により生成されたユーザ係数種データに基づくユーザ係数を有しており、係数データ反映装置２１により生成された制御命令データに基づき、それらの係数のどちらかを用いて予測処理を行う。
The
例えば、録画コンテンツが入力される場合、すなわち、テレビジョン受信装置１が「録画コンテンツ入力時」である場合、テレビジョン受信装置１は、係数データ反映装置２１からの制御命令データに基づいて、ユーザ係数種データに基づくユーザ係数を用いて予測処理を行い、その結果の録画コンテンツの画像を表示部１５に表示させる。
For example, when the recorded content is input, that is, when the
一方、放送コンテンツが受信される場合、すなわち、テレビジョン受信装置１が、「録画コンテンツ入力時」ではない場合、テレビジョン受信装置１は、ユーザ係数ではなく、複数の学習画像の画像セットから生成された通常係数種データに基づく通常係数を用いて予測処理を行い、その結果の放送コンテンツの画像を表示部１５に表示させる。なお、この場合、ユーザから何らかの操作（例えば、ユーザ係数使用などの操作）によって指示があった場合には、ユーザ係数に切り換えられて予測処理が行われる。
On the other hand, when broadcast content is received, that is, when the
以上のように、この画像信号処理システムにおいて、履歴情報を用いて生成された予測係数は、係数生成時に用いられた履歴情報に対応する制御情報がテレビジョン受信装置１において得られる状況で使用される。すなわち、テレビジョン受信装置１において任意の制御情報が得られるときの画像の特徴量情報で生成された係数種データが、テレビジョン受信装置１がその任意の制御情報が得られる状況のときに用いられるので、その状況における、画像の予測誤差が軽減され、予測精度を向上させることができる。
As described above, in this image signal processing system, the prediction coefficient generated using the history information is used in a situation where control information corresponding to the history information used at the time of coefficient generation is obtained in the
これにより、ユーザは、視聴時のテレビジョン受信装置１における状況に応じて、最適な画質の画像を視聴することができる。したがって、結果的に、ユーザによる画質の調整などの設定の必要性が少なくすることができる。
As a result, the user can view an image with optimum image quality in accordance with the situation in the
図６は、図４のテレビジョン受信装置１の詳細な構成例を示すブロック図である。
FIG. 6 is a block diagram illustrating a detailed configuration example of the
このテレビジョン受信装置１は、放送信号より５２５ｉ信号というSD信号を得て、この５２５ｉ信号を１０５０ｉ信号というHD信号に変換し、そのHD信号による画像を表示するものである。
The
図７は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図７から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。 FIG. 7 shows the pixel position relationship of a frame (F) with a 525i signal and a 1050i signal. The pixel position of the odd (o) field is indicated by a solid line, and the pixel position of the even (e) field is indicated by a broken line. ing. Large dots are pixels of 525i signal, and small dots are pixels of 1050i signal. As can be seen from FIG. 7, the pixel data of the 1050i signal includes line data L1, L1 ′ at positions close to the line of the 525i signal and line data L2, L2 ′ at positions far from the line of the 525i signal. Here, L1 and L2 are line data of odd fields, and L1 'and L2' are line data of even fields. The number of pixels in each line of the 1050i signal is twice the number of pixels in each line of the 525i signal.
図６に戻り、テレビジョン受信装置１の構成について説明する。ユーザは、リモートコントローラ１６を用いて、テレビジョン受信装置１を操作する。テレビジョン受信装置１は、CPU（Central processing Unit)、RAM（Random Access Memory)、およびROM（Read Only memory）を含むマイクロコントローラを備え、システム全体の動作を制御するためのシステムコントローラ３２と、リモートコントローラ１６と通信を行う通信部３１とを有している。通信部３１は、システムコントローラ３２に接続され、リモートコントローラ１６よりユーザの操作に応じて出力されるリモートコントロール信号を受信し、その信号に対応する操作信号を、システムコントローラ３２に供給するように構成されている。
Returning to FIG. 6, the configuration of the
アンテナ１１は、放送信号（RF（Radio Frequency）変調信号）を受信する。チューナ３３は、アンテナ１１を介して受信した放送信号の供給を受け、システムコントローラ３２から入力される制御情報に従って、ユーザがリモートコントローラ１６を用いる等して選局したチャンネルを選局する選局処理を行い、更に、中間周波増幅処理、検波処理等などを行って、上述したSD信号（５２５ｉ信号）を得る。
The
入力切換部３５は、システムコントローラ３２から入力される制御情報に従って、チューナ３３より出力されるSD信号、または、入力端子３４を介して図示せぬ録画装置から入力されるSD信号のどちらかを選択し、選択したSD信号をバッファメモリ３６に出力する。バッファメモリ３６は、入力切換部３５より出力されるSD信号を一時的に保存する。
The
画像信号処理部３７は、バッファメモリ３６に一時的に保存されるSD信号（５２５ｉ信号）を、HD信号（１０５０ｉ信号）に変換する画像信号処理を行う。なお、上述した履歴情報記憶部１３は、画像信号処理部３７内に構成される。
The image
図８は、画像信号処理部３７の更に詳細な構成を示すブロック図である。
FIG. 8 is a block diagram showing a more detailed configuration of the image
画像信号処理部３７の第１のタップ選択部５１、第２のタップ選択部５２、および、第３のタップ選択部５３は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）より、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。
The first
第１のタップ選択部５１は、予測に使用するSD画素（以下、「予測タップ」とも称する）のデータを選択的に取り出すものである。第２のタップ選択部５２は、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素（以下、「空間クラスタップ」とも称する）のデータを選択的に取り出すものである。第３のタップ選択部５３は、動きに対応するクラス分類に使用するSD画素（以下、「動きクラスタップ」とも称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
The first
空間クラス検出部５４は、第２のタップ選択部５２で選択的に取り出された空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、その空間クラスのクラス情報を出力する。
The space
空間クラス検出部５４においては、例えば、各SD画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出部５４からは、各SD画素データに対応した圧縮データが、空間クラスのクラス情報として出力される。本実施の形態においては、ADRC（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ADRC以外にDPCM（予測符号化）、VQ（ベクトル量子化）等を用いてもよい。
In the space
本来、ADRCは、VTR（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ADRCを使用する場合、空間クラスタップのデータ（SD画素データ）の最大値をMAX、その最小値をMIN、空間クラスタップのデータのダイナミックレンジをDR（＝MAX−MIN＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各SD画素データｋｉに対して、式（１）の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、式（１）において、［ ］は切捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のSD画素データがあるとき、ｉ＝１乃至Ｎａである。 Originally, ADRC is an adaptive requantization method developed for high-performance coding for VTR (Video Tape Recorder), but it can express local patterns of signal level efficiently with a short word length. It is suitable for use in data compression. When using ADRC, the maximum value of space class tap data (SD pixel data) is MAX, the minimum value is MIN, the dynamic range of space class tap data is DR (= MAX-MIN + 1), and the number of requantization bits If P is P, the requantized code qi as compressed data is obtained by the calculation of Expression (1) for each SD pixel data ki as the space class tap data. However, in the formula (1), [] means a truncation process. When there are Na SD pixel data as the space class tap data, i = 1 to Na.
動きクラス検出部５５は、第３のタップ選択部５３で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報を出力する。
The motion
この動きクラス検出部５５では、第３のタップ選択部５３で選択的に取り出された動きクラスタップのデータ（SD画素データ）ｍｉおよびｎｉからフレーム間差分が算出され、更に、その差分の絶対値の平均値に対してしきい値処理が行われて、動きの指標である動きクラスが検出される。すなわち、動きクラス検出部５５は、式（２）によって、差分の絶対値の平均値AVを算出する。第３のタップ選択部５３で、例えば、上述したように、１２個のSD画素データｍ１乃至ｍ６およびｎ１乃至ｎ６が取り出されるとき、式（２）におけるＮｂは６である。
In the motion
そして、動きクラス検出部５５では、上述したように算出された平均値AVが、１個または複数個のしきい値と比較されて、動きクラスのクラス情報MVが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，およびｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスが検出される場合、AV≦ｔｈ１のときはMV＝０、ｔｈ１＜AV≦ｔｈ２のときはMV＝１、ｔｈ２＜AV≦ｔｈ３のときはMV＝２、ｔｈ３＜AVのときはMV＝３とされる。
Then, in the motion
クラス合成部５６は、空間クラス検出部５４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出部５５より出力される動きクラスのクラス情報MVに基づき、作成すべきHD信号（１０５０ｉ信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコードCLを得る。
The
このクラス合成部５６では、以下の式（３）によって、クラスコードCLの演算が行われる。なお、式（３）において、Ｎａは空間クラスタップのデータ（SD画素データ）の個数、ＰはADRCにおける再量子化ビット数を示している。
In the
係数メモリ５７は、後述する推定予測演算部５８で使用される推定式で用いられる複数の係数データＷｉを、クラス毎に格納するものである。この係数データＷｉは、SD信号（５２５ｉ信号）を、HD信号（１０５０ｉ信号）に変換するための情報である。係数メモリ５７には、クラス合成部５６より出力されるクラスコードCLが、読み出しアドレス情報として供給され、係数メモリ５７からは、クラスコードCLに対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が読み出され、推定予測演算部５８に供給される。
The coefficient memory 57 stores, for each class, a plurality of coefficient data Wi used in the estimation formula used in the estimated
また、画像信号処理部３７は、係数種記憶部６１を有している。後述する推定予測演算部５８では、予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５７より読み出される係数データＷｉとから、以下の式（４）の推定式によって、作成すべきHD画素データｙが演算される。式（４）のｎは、第１のタップ選択部５１で選択される予測タップの数を表している。
The image
ここで、第１のタップ選択部５１で選択的に取り出された予測タップのｎ個の画素データの位置は、HD信号における注目位置に対して、空間方向（水平、垂直の方向）および時間方向に亘っている。
Here, the positions of the n pixel data of the prediction tap selectively extracted by the first
そして、推定式の係数データＷｉ（ｉ＝１乃至ｎ）は、以下の式（５）に示すように、パラメータｒ、およびｚを含む生成式によって生成される。係数種記憶部６１は、この生成式における係数データである係数種データｗ10乃至ｗn9を、クラス毎に格納する。この係数種データの生成方法については後述する。
Then, the coefficient data Wi (i = 1 to n) of the estimation formula is generated by a generation formula including parameters r and z as shown in the following formula (5). The
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、および偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。 As described above, when the 525i signal is converted into the 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields. In this case, the four pixels in the 2 × 2 unit pixel block constituting the 1050i signal in each of the odd and even fields have different phase shifts with respect to the central prediction tap.
図９は、奇数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素HD１乃至HD４における中心予測タップSD０からの位相ずれを示している。ここで、HD１乃至HD４の位置は、それぞれ、SD０の位置から水平方向にｋ１乃至ｋ４、垂直方向にｍ１乃至ｍ４だけずれている。 FIG. 9 shows a phase shift from the center prediction tap SD0 in the four pixels HD1 to HD4 in the 2 × 2 unit pixel block constituting the 1050i signal in the odd field. Here, the positions of HD1 to HD4 are shifted from the position of SD0 by k1 to k4 in the horizontal direction and m1 to m4 in the vertical direction, respectively.
図１０は、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素HD１′乃至HD４′における中心予測タップSD０′からの位相ずれを示している。ここで、HD１′乃至HD４′の位置は、それぞれ、SD０′の位置から水平方向にｋ１′乃至ｋ４′、垂直方向にｍ１′乃至ｍ４′だけずれている。 FIG. 10 shows a phase shift from the center prediction tap SD0 'in the four pixels HD1' to HD4 'in the 2 &2; unit pixel block constituting the 1050i signal in the even field. Here, the positions of HD1 'to HD4' are shifted from the position of SD0 'by k1' to k4 'in the horizontal direction and m1' to m4 'in the vertical direction, respectively.
したがって、係数種記憶部６１には、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎に、係数種データｗ10乃至ｗn9が格納されている。なお、この係数種記憶部６１には、図１１に示されるように、２種類の係数種データ（通常係数種データおよびユーザ係数種データ）がそれぞれクラスおよび出力画素の組み合わせ毎に記憶されている。
Accordingly, the coefficient
図１１は、係数種記憶部６１の構成例を示す図である。図１１の例において、係数種記憶部６１は、係数制御部７１、係数制御命令メモリ７２、ユーザ係数メモリ７３、および通常係数メモリ７４により構成されている。
FIG. 11 is a diagram illustrating a configuration example of the coefficient
システムコントローラ３２は、上述したように、ユーザのリモートコントローラ１６の操作に対応して、テレビジョン受信装置１を構成する各部（例えば、チューナ３３や入力切換部３５、画像信号処理部３７など）を制御するための制御情報を、テレビジョン受信装置１の対応する各部に供給している。
As described above, the
係数制御部７１は、係数制御命令メモリ７２に記録されている制御命令データを読み出し、システムコントローラ３２より、テレビジョン受信装置１の各部の制御情報を取得する。係数制御部７１は、取得した制御情報に、制御命令データに対応するものがあるか否かを判定する。例えば、取得した制御情報に、制御命令データに対応する制御情報と一致するものがある場合、係数制御部７１は、制御命令データに対応するものがあると判定し、ユーザ係数メモリ７３に記録されているユーザ係数種データを係数生成部６２に出力させる。
The
取得した制御情報に、制御命令データに対応するものがないと判定された場合、係数制御部７１は、システムコントローラ３２からユーザによるリモートコントローラ１６の操作に対応する操作情報を取得し、ユーザによりユーザ係数の使用が要求されているか否かを判定する。
When it is determined that the acquired control information does not correspond to the control command data, the
ユーザによりユーザ係数の使用が要求されていると判定された場合、係数制御部７１は、ユーザ係数メモリ７３に記録されているユーザ係数種データを係数生成部６２に出力させる。一方、ユーザによりユーザ係数の使用が要求されていないと判定された場合、係数制御部７１は、通常係数メモリ７４に記録されている通常係数種データを係数生成部６２に出力させる。
When it is determined that the user is requested to use the user coefficient, the
係数制御命令メモリ７２には、予測係数生成装置２０により生成されるユーザ係数種データに対応して、係数データ反映装置２１により生成される、ユーザ係数種データの使用を制御する制御命令データが記憶されている。
The coefficient
制御命令データは、テレビジョン受信装置１の制御情報に、所定の制御情報（例えば、入力源「ビデオ１」に関する制御情報）が含まれる場合に、対応するユーザ係数種データを読み出すように係数制御部７１を制御するデータである。なお、制御命令データについては、図１５を参照して後述する。
When the control information of the
ユーザ係数メモリ７３には、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量情報を用いて、予測係数生成装置２０により生成される、クラスおよび出力画素の組み合わせ毎のユーザ係数種データが、係数制御命令メモリ７２の制御命令データに対応付けられて記憶されている。
The
通常係数メモリ７４には、予測係数生成装置２０または図示せぬ他の予測係数生成装置により、複数の学習画像の画像セットが用いられて、例えば、図１を参照して上述した従来の方法で生成された通常係数種データがクラスおよび出力画素の組み合わせ毎に記憶されている。
In the
係数生成部６２は、各クラスの係数種データ、並びに、パラメータｒ、およびｚの値を用い、上述した式（５）によって、クラス毎に、パラメータｒ、およびｚの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）を生成する。係数生成部６２には、係数種記憶部６１より、上述した各クラスの係数種データがロードされる。すなわち、係数生成部６２には、ユーザ係数種データあるいは通常係数種データのうちのどちらかが係数種データとしてロードされる。また、係数生成部６２には、システムコントローラ３２より、パラメータｒ、およびｚの値が供給される。
The
係数生成部６２で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）は、上述した係数メモリ５７に格納される。この係数生成部６２における各クラスの係数データＷｉの生成は、例えば、各垂直ブランキング期間で行われる。これにより、ユーザのリモートコントローラ１６の操作によってパラメータｒ、およびｚの値が変更されても、係数メモリ５７に格納される各クラスの係数データＷｉを、そのパラメータｒ、およびｚの値に対応したものに即座に変更することができ、ユーザによるノイズや解像度の調整がスムーズに行われる。
The coefficient data Wi (i = 1 to n) of each class generated by the
正規化係数演算部６３は、係数生成部６２で求められた係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、以下の式（６）によって演算する。正規化係数メモリ６４は、この正規化係数Ｓを格納する。正規化係数メモリ６４には、上述したクラス合成部５６より出力されるクラスコードCLが、読み出しアドレス情報として供給され、正規化係数メモリ６４からは、クラスコードCLに対応した正規化係数Ｓが読み出され、後述する正規化演算部５９に供給される。
The normalization
推定予測演算部５８は、第１のタップ選択部５１で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５７より読み出される係数データＷｉとから、式（４）の推定式によって、作成すべきHD信号の画素データ（注目位置の画素データ）を演算する。
The estimated
上述したように、SD信号（５２５ｉ信号）をHD信号（１０５０ｉ信号）に変換する際には、SD信号の１画素に対してHD信号の４画素（図８のHD１乃至HD４、図９のHD１′乃至HD４′参照）を得る必要があることから、この推定予測演算部５８では、HD信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算部５８には、第１のタップ選択部５１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ５７よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1乃至ｙ4は、それぞれ個別に、上述した式（４）の推定式で演算される。
As described above, when an SD signal (525i signal) is converted to an HD signal (1050i signal), four pixels of the HD signal (HD1 to HD4 in FIG. 8, HD1 in FIG. 9) are converted to one pixel of the SD signal. Therefore, the estimated
正規化演算部５９は、推定予測演算部５８より順次出力される４画素のデータｙ1乃至ｙ4を、正規化係数メモリ６４より読み出される、それぞれの演算に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する。上述したように、係数生成部６２は、推定式の係数データＷｉを求めるものであるが、求められる係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１乃至ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算部５８で演算される各画素のデータｙ1乃至ｙ4は、丸め誤差によってレベル変動したものとなる。したがって、正規化演算部５９で正規化することで、そのレベル変動を除去することができる。
The
後処理部６０は、正規化演算部５９で正規化されて順次供給される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′を線順次化して、１０５０ｉ信号のフォーマットで出力する。
The
システムコントローラ３２は、通信部３１からのユーザの操作信号が入力されると、その通知を、履歴情報記憶部１３および情報生成制御部６５に供給する。
When a user operation signal is input from the
情報生成制御部６５は、システムコントローラ３２からユーザの操作信号の入力が通知されるタイミングで、特徴量頻度分布生成部６６の処理を制御する。すなわち、情報生成制御部６５は、特徴量頻度分布生成部６６を制御し、ユーザが、例えば、選局、音量調整、解像度調整、または入力切換など、リモートコントローラ１６を操作する度に、その時、バッファメモリ３６に一時的に保存されるSD信号の画像の特徴量情報を求めさせる。
The information
特徴量頻度分布生成部６６は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）を入力し、入力したSD信号の画像の特徴量情報を、動きクラスおよび空間クラスの組み合わせ毎に生成し、生成した動きクラスおよび空間クラスの組み合わせ毎の画像の特徴量情報を、履歴情報記憶部１３に出力する。例えば、画像の特徴量情報として、画像の特徴量頻度分布が求められる。
The feature amount frequency
履歴情報記憶部１３は、システムコントローラ３２からユーザの操作信号の入力が通知されるタイミングで取得されるユーザの操作情報およびテレビジョン受信装置１の各部の制御情報からなる制御履歴情報と、画像の特徴量頻度分布のデータとを履歴情報として記録する。
The history
すなわち、履歴情報記憶部１３は、ユーザの操作信号の入力が通知されると、システムコントローラ３２から、ユーザの操作情報やテレビジョン受信装置１の各部の制御情報を取得し、取得された操作情報および制御情報を、制御履歴情報として記録する。また、履歴情報記憶部１３は、記録した制御履歴情報に対応付けて、ユーザの操作信号が入力される毎に生成される、複数の画像の特徴量頻度分布のデータを、動きクラスおよび空間クラス毎に記録する。また、図８の例においては、その図示は省略されているが、テレビジョン受信装置１において、履歴情報記憶部１３は着脱可能な基板１２上に構成されている。
That is, the history
なお、履歴情報記憶部１３のみに限らず、情報生成制御部６５および特徴量頻度分布生成部６６を加えて、基板１２上に構成されることもできる。また、履歴情報記憶部１３のみに限らず、係数種記憶部６１も加えて、基板１２上に構成してもよいし、機能のバージョンアップなどを可能にするため、画像信号処理部３７全体が着脱可能な基板１２上に構成されることもできる。
Not only the history
図１２は、特徴量頻度分布生成部６６および履歴情報記憶部１３の詳細な構成例を示すブロック図である。
FIG. 12 is a block diagram illustrating a detailed configuration example of the feature amount frequency
特徴量頻度分布生成部６６の動きクラスタップ選択部８１、空間クラスタップ選択部８２、および、特徴量生成タップ選択部８３は、情報生成制御部６５の制御のもと、バッファメモリ３６に記憶されているSD信号より、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。
The motion class
動きクラスタップ選択部８１は、図８の第３のタップ選択部５３と基本的に同様に構成され、動きに対応するクラス分類に使用するSD画素、すなわち、動きクラスタップのデータを選択的に取り出するものである。空間クラスタップ選択部８２は、図８の第２のタップ選択部５２と基本的に同様に構成され、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素、すなわち、空間クラスタップのデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
The motion class
特徴量生成タップ選択部８３は、特徴量の生成に使用するSD画素（以下、「特徴量生成タップ」とも称する）のデータを選択的に取り出すものである。特徴量生成タップは、空間タップと同じタップ構造であってもよいし、異なるタップ構造でもよい。
The feature quantity generation
動きクラス検出部８４は、図８の動きクラス検出部５５と同様に構成され、動きクラスタップ選択部８１で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報（MV）を出力する。
The motion
空間クラス検出部８５は、図８の空間クラス検出部５４と同様に構成され、空間クラスタップ選択部８２で選択的に取り出された空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて、空間クラスを検出し、その空間クラスのクラス情報（再量子化コードｑｉ）を出力する。
The space
なお、これらの動きクラスタップ選択部８１と動きクラス検出部８４、および空間クラスタップ選択部８２と空間クラス検出部８５を別途設けることなく、図８の画像信号処理部３７内の第３のタップ選択部５３と動きクラス検出部５５、および第２のタップ選択部５２と空間クラス検出部５４を併用するように構成することもできる。
It should be noted that the third tap in the image
特徴量生成部８６は、特徴量生成タップ選択部８３で選択的に取り出された特徴量生成タップのデータ（SD画素データ）より、SD画素の特徴量を生成し、その特徴量の値（データ）を出力する。なお、動きクラス検出部８４で検出される動きクラスも、空間クラス検出部８５で検出される空間クラスも入力されるSD信号に対して画素毎に検出されるが、特徴量生成部８６においても、それらと同じ画素毎に特徴量が生成される。
The feature
図１３は、水平方向の画素xo乃至x6の各画素値と、これらの画素値から生成される特徴量の例を示している。図１３の例における画素xo乃至x6の画素値における最大値は、Maxであり、最小値は、Minである。 FIG. 13 shows an example of the pixel values of the pixels xo to x6 in the horizontal direction and feature amounts generated from these pixel values. The maximum value of the pixel values of the pixels xo to x6 in the example of FIG. 13 is Max, and the minimum value is Min.
例えば、画素xo乃至x6の７画素が特徴量生成タップとして選択され、画素x3の特徴量が求められるとする。このとき、これらの画素xo乃至x6の７画素の画素値を用いて生成することができる値が、画素x3の特徴量となる。 For example, it is assumed that seven pixels of pixels xo to x6 are selected as feature amount generation taps and the feature amount of the pixel x3 is obtained. At this time, a value that can be generated using the pixel values of the seven pixels xo to x6 is the feature amount of the pixel x3.
すなわち、図１３に示されるように、これらの画素xo乃至x6の７画素の画素値を用いて生成される、画素xo乃至x6の画素値のタップ内最大値Max、画素xo乃至x6の画素値のタップ内最小値Min、画素xo乃至x6の画素値のダイナミックレンジDR、画素xo乃至x6の画素値の中間値Mean、または画素xo乃至x6の画素値の平均値Aveなどの値が、画素x3の特徴量として用いられる。 That is, as shown in FIG. 13, the pixel values of the pixels xo to x6, which are generated using the pixel values of the seven pixels xo to x6, the maximum value Max within the tap, and the pixel values of the pixels xo to x6. The minimum value Min within the tap, the dynamic range DR of the pixel values of the pixels xo to x6, the intermediate value Mean of the pixel values of the pixels xo to x6, or the average value Ave of the pixel values of the pixels xo to x6 is a pixel x3. It is used as a feature amount.
なお、これらのタップ内最大値Max、タップ内最小値Min、ダイナミックレンジDR、中間値Mean、および平均値Aveのうちの複数の種類を生成して、画素の特徴量として用いることもできるし、１種類のみを生成して、画素の特徴量として用いることもできる。 In addition, it is possible to generate a plurality of types of the maximum value Max within the tap, the minimum value Min within the tap, the dynamic range DR, the intermediate value Mean, and the average value Ave, and use them as the feature amount of the pixel. Only one type can be generated and used as a feature amount of a pixel.
特徴量頻度分布演算部８７は、同じ画素に対応する、動きクラス検出部８４より検出された動きクラス、空間クラス検出部８５より検出された空間クラス、および特徴量生成部８６より生成された特徴量に基づき、特徴量情報、すなわち、特徴量頻度分布（ヒストグラム）を生成していく。このとき、特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に履歴情報記憶部１３に出力される。
The feature amount frequency
図１４は、画素の特徴量値と特徴量頻度分布の例を示している。図１４の例においては、画像を構成する複数の画素のうち、画素ａ１乃至画素ａ１２の特徴量値と、これらの特徴量値から生成される特徴量頻度分布が示されている。この特徴量頻度分布は、横軸を特徴量値とし、縦軸を頻度として構成されている。 FIG. 14 shows an example of pixel feature value and feature frequency distribution. In the example of FIG. 14, the feature amount values of the pixels a1 to a12 among the plurality of pixels constituting the image and the feature amount frequency distribution generated from these feature amount values are shown. The feature amount frequency distribution is configured with the horizontal axis as the feature amount value and the vertical axis as the frequency.
例えば、画素ａ１と画素ａ１２の特徴量値は５０であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値５０の頻度を２カウントする。画素ａ２乃至画素ａ４、および画素ａ７の特徴量値は１００であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値１００の頻度を４カウントする。画素ａ５の特徴量値は２４０であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値２４０の頻度を１カウントする。
For example, since the feature amount value of the pixel a1 and the pixel a12 is 50, the feature amount frequency
画素ａ６と画素ａ１１の特徴量値は８０であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値８０の頻度を２カウントする。画素ａ８の特徴量値は２０であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値２０の頻度を１カウントする。画素ａ９の特徴量値は２００であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値２００の頻度を１カウントする。画素ａ１０の特徴量値は１０であるので、特徴量頻度分布演算部８７は、特徴量頻度分布における特徴量値１０の頻度を１カウントする。
Since the feature amount value of the pixel a6 and the pixel a11 is 80, the feature amount frequency
なお、この特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に履歴情報記憶部１３に出力される。
This feature amount frequency distribution is generated for each combination of motion class and space class input simultaneously, and the data is output to the history
図１２に戻り、履歴情報記憶部１３は、メモリ制御部９１および履歴情報メモリ９２により構成される。
Returning to FIG. 12, the history
メモリ制御部９１は、ユーザの操作信号の入力が通知されると、システムコントローラ３２から、ユーザの操作情報とテレビジョン受信装置１の各部（例えば、チューナ３３や入力切換部３５、画像信号処理部３７など）の制御情報を取得し、取得した操作情報および制御情報を、制御履歴情報として履歴情報メモリ９２に記録する。なお、取得されたすべての操作情報および制御情報を記録することもできるし、操作情報および制御情報のうち、必要な情報のみを記録することもできる。
When the input of the user's operation signal is notified, the
また、メモリ制御部９１は、システムコントローラ３２からユーザの操作信号の入力が通知されたタイミングに特徴量頻度分布演算部８７により求められたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量情報、すなわち、特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて記録された制御履歴情報に対応付けて記録する。
In addition, the
履歴情報メモリ９２には、ユーザの操作信号の入力が通知されたタイミングに取得されて記録される制御履歴情報と、ユーザの操作信号の入力が通知されたタイミングに生成される特徴量情報が対応付けられて、履歴情報として記録される。
The
図１５は、履歴情報メモリ９２に記録される履歴情報の例を示す図である。
FIG. 15 is a diagram illustrating an example of history information recorded in the
例えば、図１５に示されるように、履歴情報メモリ９２には、タイムコード、入力源（ソース）、チャンネル番号、および操作内容からなる制御履歴情報と、特徴量情報である特徴量頻度分布のデータが対応付けられて、履歴情報として記録される。
For example, as illustrated in FIG. 15, the
タイムコードは、例えば、システムコントローラ３２から、ユーザの操作信号の入力が通知された時刻である。入力源は、タイムコードの時刻に入力切換部３５が選択中の入力源の情報（例えば、チューナ３３またはビデオ（外部の録画装置））であり、例えば、入力切換部３５を制御する制御情報から取得される。
The time code is, for example, the time when the
チャンネル番号は、タイムコードの時刻にチューナ３３が選択中のチャンネルの情報であり、例えば、チューナ３３を制御する制御情報から取得される。操作内容は、ユーザがリモートコントローラ１６を操作することで指示される操作内容（図１５の場合、画質調整に関する操作内容）であり、リモートコントローラ１６からの操作信号に対応して、画像信号処理部３７を制御する制御情報から取得される。
The channel number is information on a channel that is selected by the
すなわち、図１５の上から順に説明するに、例えば、タイムコードが「AA:AA:AA」で、入力源が「ビデオ１」のときに、ユーザにより入力源を「ビデオ１」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部３５には「チューナ」を選択する制御情報が入力され、入力切換部３５は、チューナ３３からの画像信号を入力する。このとき、チューナ３３は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH01」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「AA:AA:AA」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH01」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「AA:AA:AA」のときに生成が開始された特徴量頻度分布のデータ１が対応付けられて構成される履歴情報が記録される。
That is, in order from the top of FIG. 15, for example, when the time code is “AA: AA: AA” and the input source is “
例えば、タイムコードが「BB:BB:BB」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「明るさ調整」を指示する制御情報が入力され、画像信号処理部３７は、「明るさ調整」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ１」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「BB:BB:BB」のときに得られた、入力源が「ビデオ１」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「BB:BB:BB」のときに生成が開始された特徴量頻度分布のデータ２が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “BB: BB: BB” and the user inputs an operation signal instructing “brightness adjustment” in the image quality adjustment, the image
また、例えば、タイムコードが「CC:CC:CC」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「パレット操作」を指示する制御情報が入力され、画像信号処理部３７は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ２」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「CC:CC:CC」のときに得られた、入力源が「ビデオ２」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「CC:CC:CC」のときに生成が開始された特徴量頻度分布のデータ３が対応付けられて構成される履歴情報が記録される。
Further, for example, when the user inputs an operation signal instructing “pallet operation” in image quality adjustment when the time code is “CC: CC: CC”, the image
例えば、タイムコードが「DD:DD:DD」のときに、ユーザにより画質調整のうち「色補正」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「色補正」を指示する制御情報が入力され、画像信号処理部３７は、「色補正」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ１」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「DD:DD:DD」のときに得られた、入力源が「ビデオ１」であり、操作内容が「色補正」である制御履歴情報に、タイムコードが「DD:DD:DD」のときに生成が開始された特徴量頻度分布のデータ４が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “DD: DD: DD” and the user inputs an operation signal instructing “color correction” in image quality adjustment, the image
さらに、例えば、タイムコードが「EE:EE:EE」で、入力源が「ビデオ１」のときに、ユーザにより入力源を「ビデオ１」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部３５には「チューナ」を選択する制御情報が入力され、入力切換部３５は、チューナ３３からの画像信号を入力する。このとき、チューナ３３は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH04」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「EE:EE:EE」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH04」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「EE:EE:EE」のときに生成が開始された特徴量頻度分布のデータ５が対応付けられて構成される履歴情報が記録される。
Further, for example, when the time code is “EE: EE: EE” and the input source is “
例えば、タイムコードが「FF:FF:FF」で、入力源が「チューナ」のときに、ユーザによりチャンネルを「CH04」から「CH01」に切り換える操作信号が入力されると、これに対応してチューナ３３には「CH01」を選択する制御情報が入力され、チューナ３３は、チャンネル01を選局する。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「FF:FF:FF」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH01」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「FF:FF:FF」のときに生成が開始された特徴量頻度分布のデータ６が対応付けられて構成される履歴情報が記録される。
For example, if the user inputs an operation signal to switch the channel from “CH04” to “CH01” when the time code is “FF: FF: FF” and the input source is “Tuner”, Control information for selecting “CH01” is input to the
また、例えば、タイムコードが「GG:GG:GG」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「明るさ調整」を指示する制御情報が入力され、画像信号処理部３７は、「明るさ調整」の設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ１」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「GG:GG:GG」のときに得られた、入力源が「ビデオ１」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「GG:GG:GG」のときに生成が開始された特徴量頻度分布のデータ７が対応付けられて構成される履歴情報が記録される。
For example, when the user inputs an operation signal for instructing “brightness adjustment” in the image quality adjustment when the time code is “GG: GG: GG”, the image
例えば、タイムコードが「HH:HH:HH」で、入力源が「チューナ」のときに、ユーザにより入力源を「チューナ」から「ビデオ１」に切り換える操作信号が入力されると、これに対応して入力切換部３５には「ビデオ１」を選択する制御情報が入力され、入力切換部３５は、入力端子からの画像信号を入力する。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「HH:HH:HH」のときに得られた、入力源が「ビデオ１」であり、チャンネル番号が「なし」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「HH:HH:HH」のときに生成が開始された特徴量頻度分布のデータ８が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “HH: HH: HH” and the input source is “tuner”, an operation signal for switching the input source from “tuner” to “
さらに、例えば、タイムコードが「JJ:JJ:JJ」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「パレット操作」を指示する制御情報が入力され、画像信号処理部３７は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ１」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「JJ:JJ:JJ」のときに得られた、入力源が「ビデオ１」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「JJ:JJ:JJ」のときに生成が開始された特徴量頻度分布のデータ９が対応付けられて構成される履歴情報が記録される。
Further, for example, when the time code is “JJ: JJ: JJ” and the user inputs an operation signal for instructing “pallet operation” in image quality adjustment, the image
例えば、タイムコードが「KK:KK:KK」で、入力源が「ビデオ１」のときに、ユーザにより入力源を「ビデオ１」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部３５には「チューナ」を選択する制御情報が入力され、入力切換部３５は、チューナ３３からの画像信号を入力する。このとき、チューナ３３は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH08」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「KK:KK:KK」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH08」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「KK:KK:KK」のときに生成が開始された特徴量頻度分布のデータ１０が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “KK: KK: KK” and the input source is “
また、例えば、タイムコードが「LL:LL:LL」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「明るさ調整」を指示する制御情報が入力され、画像信号処理部３７は、「明るさ調整」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ２」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「LL:LL:LL」のときに得られた、入力源が「ビデオ２」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「LL:LL:LL」のときに生成が開始された特徴量頻度分布のデータ１１が対応付けられて構成される履歴情報が記録される。
For example, when the user inputs an operation signal instructing “brightness adjustment” in image quality adjustment when the time code is “LL: LL: LL”, the image
例えば、タイムコードが「MM:MM:MM」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部３７には「パレット操作」を指示する制御情報が入力され、画像信号処理部３７は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部３５は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ１」を選択している。これらの情報がシステムコントローラ３２から取得され、履歴情報メモリ９２には、タイムコードが「MM:MM:MM」のときに得られた、入力源が「ビデオ１」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「MM:MM:MM」のときに生成が開始された特徴量頻度分布のデータ１２が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “MM: MM: MM” and the user inputs an operation signal instructing “pallet operation” in image quality adjustment, the image
以上のようにして、履歴情報記憶部１３には、操作信号が入力されたときに得られる制御履歴情報と、操作信号が入力されたときに生成される制御履歴情報に対応付けられた特徴量情報からなる履歴情報が記録される。そして、この履歴情報記憶部１３が構成されている基板２は、ユーザ係数種データを生成する際、テレビジョン受信装置１から取り外されて、後述するデータ生成反映装置２に接続される。
As described above, the history
ここで引き続き、図１５を参照しながら、上述した履歴情報が用いられるユーザ係数種データと、ユーザ係数種データの使用を制御する制御命令データの生成方法について説明する。 Here, with reference to FIG. 15 again, a method of generating user coefficient seed data using the above-described history information and control instruction data for controlling use of the user coefficient seed data will be described.
後述する係数データ反映装置２１においては、接続された基板２の履歴情報記憶部１３からの制御履歴情報が参照されて、可能な限り同じ条件の制御履歴情報が抽出され、抽出された制御履歴情報に対応付けられた特徴量情報が選択される。
In the coefficient
そして、係数データ反映装置２１は、選択した特徴量頻度分布のデータを用いて、予測係数生成装置２０に、ユーザ係数種データを生成させ、抽出された制御履歴情報に基づいて、テレビジョン受信装置１における、生成されたユーザ係数種データの使用を制御する制御命令データを生成する。
Then, the coefficient
例えば、図１５の例の場合、係数データ反映装置２１においては、入力源「ビデオ１」および操作内容「画質調整」を含む制御履歴情報、すなわち、入力源「ビデオ１」に関する制御情報および操作内容「画質調整」に関する制御情報を有する制御履歴情報のみが抽出され、それらの制御履歴情報に対応付けられた特徴量頻度分布のデータ（すなわち、ハッチが付されているデータ２，データ４，データ７，データ９，およびデータ１２）が選択される。
For example, in the case of the example of FIG. 15, in the coefficient
この場合、入力源「ビデオ１」に関する制御情報および操作内容「画質調整」に関する制御情報を有することが、可能な限り同じ条件となる。もちろん、条件は、これに限らず、例えば、入力源「ビデオ１」に関する制御情報を有することだけで構成することもできるし、入力源「ビデオ１」に関する制御情報、および操作内容「色補正」に関する制御情報を有することを条件として構成することもできる。
In this case, having the control information related to the input source “
そして、選択された特徴量頻度分布のデータが用いられて、予測係数生成装置２０により、ユーザ係数種データが生成されると、係数データ反映装置２１は、抽出した制御履歴情報（すなわち、入力源「ビデオ１」に関する制御情報および操作内容「画質調整」に関する制御情報を有する制御履歴情報）に基づいて、例えば、入力源「ビデオ１」に関する制御情報を有する場合のみに、生成されたユーザ係数種データを使用させるという、制御命令データを生成する。すなわち、このユーザ係数種データは、入力源「ビデオ１」という制御情報用の係数種データとも言える。
When user coefficient seed data is generated by the prediction
このようにして生成されたユーザ係数種データおよび制御命令データは、テレビジョン受信装置１に提供され、相互に対応付けられて、それぞれ係数種記憶部６１のユーザ係数メモリ７３および係数制御命令メモリ７２に記録される。
The user coefficient seed data and the control command data generated in this way are provided to the
図１６は、履歴情報メモリ９２に記憶されている特徴量頻度分布のデータの例を示している。
FIG. 16 shows an example of feature quantity frequency distribution data stored in the
図１５の履歴情報メモリ９２に記録されている各特徴量頻度分布のデータ１乃至ｎは、図１６に示されるように、リモートコントローラ１６からのユーザの操作信号が入力されるタイミングで、SD信号から生成される、ユーザが視聴する画像（すなわち、ユーザ視聴画像）１乃至ｎの特徴量頻度分布のデータであり、それぞれ、動きクラス０乃至Ｐおよび空間クラス０乃至Ｎの組み合わせ毎に構成されている。
The feature
すなわち、データ１乃至ｎは、それぞれ、各ユーザ視聴画像１乃至ｎの、動きクラス０および空間クラス０の特徴量頻度分布のデータ、動きクラス０および空間クラス１の特徴量頻度分布のデータ、動きクラス０および空間クラス２の特徴量頻度分布のデータ、…、動きクラス０および空間クラスＰの特徴量頻度分布のデータ、動きクラス１および空間クラス０の特徴量頻度分布のデータ、動きクラス２および空間クラス０の特徴量頻度分布のデータ、動きクラスＮおよび空間クラス０の特徴量頻度分布のデータ、………、動きクラスＰおよび空間クラスＮの特徴量頻度分布のデータからなる、（Ｐ＋１）×（Ｎ＋１）ずつの特徴量頻度分布のデータで構成されている。
That is, the
図６に戻り、再び、テレビジョン受信装置１の構成について説明する。
Returning to FIG. 6, the configuration of the
OSD（On Screen Display）処理部３８は、表示部１５の画面上に文字図形などの表示を行うための表示信号SCHを発生する。合成部３９は、OSD処理部３８から出力される表示信号SCHを、画像信号処理部３７から出力されるHD信号に合成して、表示部１５に供給する。表示部１５は、例えば、CRT（cathode-ray tube）ディスプレイ、あるいはLCD（liquid crystal display）等のフラットパネルディスプレイで構成され、画像信号処理部３７より出力されるHD信号による画像と、必要に応じて合成部３９により合成された表示信号SCHとを表示する。
An OSD (On Screen Display) processing unit 38 generates a display signal SCH for displaying a character graphic on the screen of the
また、システムコントローラ３２には、必要に応じてドライブ４０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは、半導体メモリなどのリムーバブルメディア４１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてシステムコントローラ３２にインストールされる。
A drive 40 is connected to the
図６のテレビジョン受信装置１の動作について説明する。
The operation of the
システムコントローラ３２は、リモートコントローラ１６を用いて入力されるユーザの操作に基づいて、制御情報を供給し、チューナ３３や入力切換部３５などを制御する。チューナ３３は、システムコントローラ３２の制御に従って、アンテナ１１で受信された放送信号に対して、選局処理、中間周波増幅処理、および検波処理などを行い、入力切換部３５に出力する。
The
入力切換部３５は、システムコントローラ３２の制御に従って、チューナ３３より出力されるSD信号、または、入力端子３４を介して図示せぬ録画装置から入力されるSD信号のどちらかを選択し、選択したSD信号をバッファメモリ３６に出力する。
The
入力切換部３５より出力されるSD信号（５２５ｉ信号）は、バッファメモリ３６に供給されて、一時的に保存される。そして、バッファメモリ３６に一時的に記憶されたSD信号は、画像信号処理部３７に供給され、システムコントローラ３２から供給される制御情報を基に、HD信号（１０５０ｉ信号）に変換される。
The SD signal (525i signal) output from the
すなわち、画像信号処理部３７では、SD信号を構成する画素データ（以下、「SD画素データ」と称する）から、HD信号を構成する画素データ（以下、「HD画素データ」と称する）を得ることができる。画像信号処理部３７より出力されるHD信号は、必要に応じて、合成部３９において、OSD処理部３８から出力される表示信号SCHによる文字図形などと合成されて、表示部１５に供給され、表示部１５の画面上に、画像が表示される。
That is, the image
また、ユーザは、リモートコントローラ１６の操作によって、表示部１５の画面上に表示される画像の水平および垂直の解像度と、ノイズ除去度（ノイズ低減度）を調整することができる。画像信号処理部３７では、推定式によって、HD画素データが算出されるが、この推定式の係数データとして、ユーザのリモートコントローラ１６の操作によって調整された、水平および垂直の解像度を定めるパラメータｒおよびノイズ除去度を定めるパラメータｚに対応したものが、これらパラメータｒ、およびｚを含む生成式によって生成されて使用される。これにより、画像信号処理部３７から出力されるHD信号による画像の水平および垂直の解像度およびノイズ除去度は、調整されたパラメータｒ、およびｚに対応したものとなる。
Further, the user can adjust the horizontal and vertical resolutions of the image displayed on the screen of the
図１７は、パラメータｒ、およびｚを調整するためのユーザインタフェースの一例を示している。調整時には、表示部１５に、パラメータｒ、およびｚの調整位置を、図中星印のアイコン１０２で示した調整画面１０１が、OSD表示される。また、リモートコントローラ１６は、ユーザ操作手段としてのジョイスティック１１１を備えている。
FIG. 17 shows an example of a user interface for adjusting the parameters r and z. At the time of adjustment, an
ユーザは、ジョイスティック１１１を操作することで、調整画面１０１上でアイコン１０２の位置を動かすことができ、水平および垂直の解像度を決定するパラメータｒ、およびノイズ除去度を決定するパラメータｚの値を調整することができる。
The user can move the position of the
図１８に、図１７の調整画面１０１の部分を拡大して示す。アイコン１０２が左右に動かされることでノイズ除去度を決定するパラメータｚの値が調整され、一方アイコン１０２が上下に動かされることで水平および垂直の解像度を決定するパラメータｒの値が調整される。ユーザは、表示部１５に表示される調整画面１０１を参照して、パラメータｒ、およびｚの値の調整を容易に行うことができる。
FIG. 18 shows an enlarged view of the
なお、リモートコントローラ１６は、ジョイスティック１１１の代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えるようにしてもよい。更に、ユーザによって調整されたパラメータｒ、およびｚの値が、調整画面１０１上に数値表示されるようにしてもよい。
Note that the
次に、図８を参照して上述した画像信号処理部３７の動作を説明する。
Next, the operation of the image
第２のタップ選択部５２は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（SD画素データ）を、選択的に取り出す。第２のタップ選択部５２で選択的に取り出された空間クラスタップのデータ（SD画素データ）は、空間クラス検出部５４に供給される。空間クラス検出部５４は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉを得る（式（１）参照）。
The second
また、第３のタップ選択部５３は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（SD画素データ）を選択的に取り出す。第３のタップ選択部５３で選択的に取り出された動きクラスタップのデータ（SD画素データ）は、動きクラス検出部５５に供給される。動きクラス検出部５５は、動きクラスタップのデータとしての各SD画素データより、動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを得る。
Further, the third tap selection unit 53 receives the SD signal (525i signal) stored in the
この動き情報MVと、再量子化コードｑｉとは、クラス合成部５６に供給される。クラス合成部５６は、供給された動き情報MVと再量子化コードｑｉとから、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードCLを得る（式（３）参照）。そして、このクラスコードCLは、係数メモリ５７および正規化係数メモリ６４に、読み出しアドレス情報として供給される。
The motion information MV and the requantization code qi are supplied to the
一方、係数種記憶部６１の係数制御部７１は、係数制御命令メモリ７２に記録されている制御命令データを読み出すとともに、システムコントローラ３２より、テレビジョン受信装置１の各部（例えば、チューナ３３や入力切換部３５、画像信号処理部３７など）の制御情報を取得し、取得した制御情報に、制御命令データに対応するものがあるか否かを判定する。
On the other hand, the
係数制御メモリ７２には、例えば、図１５を参照して上述したように、テレビジョン受信装置１の入力切換部３５への制御情報が入力源「ビデオ１」に関するものである場合に、対応するユーザ係数種データの使用を制御する制御命令データが記憶されている。
For example, as described above with reference to FIG. 15, the
例えば、入力切換部３５は、現在より最も近い過去のユーザの操作に対応する入力切換の制御情報に従って、「ビデオ１」を選択している場合、これに対応する制御情報が、システムコントローラ３２から取得される。この場合、テレビジョン受信装置１の制御情報に、制御命令データに一致するもの（入力源「ビデオ１」）があるので、テレビジョン受信装置１の制御情報に、制御命令データに対応するものがあると判定され、ユーザ係数メモリ７３から、対応するユーザ係数種データが読み出されて、係数生成部６２にロードされる。
For example, when the “
一方、例えば、入力切換部３５が、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報に従って、「チューナ」を選択している場合などには、入力源が「ビデオ１」ではないので、テレビジョン受信装置１の制御情報に、制御命令データに対応するものがないと判定され、通常係数メモリ７２から、通常係数種データが読み出されて、係数生成部６２にロードされる。
On the other hand, for example, when the
なお、このとき、ユーザによりユーザ係数の使用が要求されている場合、係数制御部７１は、ユーザ係数メモリ７３に記録されているユーザ係数種データを係数生成部６２に出力させる。
At this time, when the use of the user coefficient is requested by the user, the
そして、例えば、各垂直ブランキング期間に、係数生成部６２で、ユーザによって調整されたパラメータｒ、およびｚの値に対応して、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎に、係数種記憶部６１からロードされた係数種データｗ10乃至ｗn9を用いて、推定式の係数データＷｉ（ｉ＝１乃至ｎ）が求められて、係数メモリ５７に格納される（式（５）参照）。
Then, for example, in each vertical blanking period, the coefficient and the output pixels (HD1 to HD4, HD1 ′ to HD4 ′) corresponding to the values of the parameters r and z adjusted by the user in the
また、係数生成部６２で求められた推定式の係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが、正規化係数演算部６３で生成されて、正規化係数メモリ６４に格納される（式（６）参照）。
Also, the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) of the estimation formula obtained by the
クラスコードCLが、係数メモリ５７に読み出しアドレス情報として供給されることで、この係数メモリ５７からクラスコードＣＬに対応した４出力画素（奇数フィールドではHD１乃至HD４、偶数フィールドではHD１′乃至HD４′）分の推定式の係数データＷｉが読み出されて、推定予測演算部５８に供給される。また、第１のタップ選択部５１は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（SD画素データ）を選択的に取り出す。
By supplying the class code CL to the coefficient memory 57 as read address information, four output pixels corresponding to the class code CL from the coefficient memory 57 (HD1 to HD4 in the odd field, HD1 ′ to HD4 ′ in the even field). The coefficient data Wi of the estimation equation for the minute is read and supplied to the estimated
推定予測演算部５８は、予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５７より読み出される４出力画素分の係数データＷｉとから、作成すべきHD信号を構成する単位画素ブロック内の４画素（注目位置の画素）のデータｙ1乃至ｙ4を演算する（式（４）参照）。そして、この推定予測演算部５８より順次出力されるHD信号を構成する単位画素ブロック内の４画素のデータｙ1乃至ｙ4は、正規化演算部５９に供給される。
The estimated
正規化係数メモリ６４には、上述したように、クラスコードCLが読み出しアドレス情報として供給され、正規化係数メモリ６４からはクラスコードCLに対応した正規化係数Ｓ、つまり、推定予測演算部５８より出力されるHD画素データｙ1乃至ｙ4の演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて、正規化演算部５９に供給される。正規化演算部５９は、推定予測演算部５８より出力されるHD画素データｙ1乃至ｙ4を、それぞれ対応する正規化係数Ｓで除算して正規化する。これにより、係数生成部６２で係数データＷｉを求める際の丸め誤差によるデータｙ1乃至ｙ4のレベル変動が除去される。
As described above, the class code CL is supplied to the
このように、正規化演算部５９で正規化されて順次出力される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′は、後処理部５０に供給される。後処理部５０は、正規化演算部５９より順次供給される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、後処理部５０からは、HD信号としての１０５０ｉ信号が出力される。
As described above, the data y1 ′ to y4 ′ of the four pixels in the unit pixel block which are normalized by the
以上のように、画像信号処理部３７は、係数データの基になる係数種データとして、統計的にロバストな性能を発揮するように生成された従来の通常係数種データと、画像信号処理部３７において記録された操作制御情報、および画像の特徴量情報からなる履歴情報に基づいて予測係数生成装置２０により生成されたユーザ係数種データとの２種類を記憶している。
As described above, the image
そして、記憶している従来の通常係数種データとユーザ係数種データのどちらかを、画像信号処理部３７において記録された履歴情報が用いられて係数データ反映装置２１により生成された制御命令データに基づいて切り換えて用いるようにしたので、例えば、「ビデオ入力」時、あるいは「チューナ入力」かつ「CH03」選択時などの視聴時のテレビジョン受信装置１の状況に応じて最適な画像を生成することができる。
Then, either the stored conventional normal coefficient seed data or user coefficient seed data is used as control command data generated by the coefficient
これにより、視聴時のテレビジョン受信装置１の状況毎に最適な画像が表示されるので、ユーザが画質を調整したいと思うことは少なくなる。換言すると、ユーザが画質をわざわざ調整しなくても、テレビジョン受信装置１においては、ユーザの視聴状況毎に最適な画像が表示される。
As a result, an optimal image is displayed for each situation of the
次に、図１２の特徴量頻度分布生成部６６の動作を説明する。
Next, the operation of the feature amount frequency
例えば、リモートコントローラ１６から、ユーザの選局に対応する操作信号、ユーザの入力切替に対応する操作信号、またはユーザの解像度調整に対応する操作信号などが入力されると、システムコントローラ３２からは、各操作信号の入力の通知が履歴情報記憶部１３および情報生成制御部６５に供給される。
For example, when an operation signal corresponding to user tuning, an operation signal corresponding to user input switching, or an operation signal corresponding to user resolution adjustment is input from the
メモリ制御部９１は、ユーザの操作信号の入力が通知されると、システムコントローラ３２から、ユーザの操作情報やテレビジョン受信装置１の各部（例えば、チューナ３３や入力切換部３５）の制御情報を取得し、それらの操作情報および制御情報を、制御履歴情報として履歴情報メモリ９２に記録する。
When the input of the operation signal of the user is notified, the
また、このとき同時に、情報生成制御部６５は、動きクラスタップ選択部８１、空間クラスタップ選択部８２、および、特徴量生成タップ選択部８３に処理を開始させる。
At the same time, the information
動きクラスタップ選択部８１は、バッファメモリ３６に記憶されているSD信号の供給を受け、SD信号（５２５ｉ信号）より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップ（複数のSD画素）のデータを選択的に取り出す。動きクラスタップ選択部８１で選択的に取り出された動きクラスタップのデータは、動きクラス検出部８４に供給される。
The motion class
動きクラス検出部８４は、動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の動きクラス（主に動きの程度を表すためのクラス分類）を検出し、検出したSD画素の動きクラスのクラス情報（MV）を、特徴量頻度分布演算部８７に出力する。
The motion
また、空間クラスタップ選択部８２は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）の供給を受け、SD信号より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップ（複数のSD画素）のデータを選択的に取り出す。空間クラスタップ選択部８２で選択的に取り出された空間クラスタップのデータは、空間クラス検出部８５に供給される。
In addition, the space class
空間クラス検出部８５は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード（ｑｉ）を得て、特徴量頻度分布演算部８７に出力する。
The space
さらに、特徴量生成タップ選択部８３は、バッファメモリ３６に記憶されているSD信号（５２５ｉ信号）の供給を受け、SD信号より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する特徴量生成タップ（複数のSD画素）のデータを選択的に取り出す。特徴量生成タップ選択部８３で選択的に取り出された特徴量生成タップのデータは、特徴量生成部８６に供給される。
Further, the feature quantity generation
特徴量生成部８６は、特徴量生成タップ選択部８３で選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の特徴量である、例えば、最大値および最小値などを生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部８７に出力する。
The feature
同じSD画素について求められた動きクラス、空間クラス、および特徴量の各情報は、特徴量頻度分布演算部８７に供給される。特徴量頻度分布演算部８７は、動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布（ヒストグラム）を生成し、生成した特徴量頻度分布のデータを、動きクラスおよび空間クラスの組み合わせ毎に履歴情報記憶部１３に供給する。
Each information of the motion class, the space class, and the feature amount obtained for the same SD pixel is supplied to the feature amount frequency
履歴情報記憶部１３のメモリ制御部９１は、特徴量頻度分布演算部８７により求められたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて記録された制御履歴情報に対応付けて履歴情報として記録する。
The
このようにして、操作信号が入力される度に履歴情報記憶部１３に記録される制御履歴情報とユーザ視聴画像の特徴量頻度分布のデータからなる履歴情報は、例えば、テレビジョン受信装置１のバージョンアップ等の場合において、その係数種記憶部６１のユーザ係数メモリ７３に格納されるユーザ係数種データｗ10乃至ｗn9を生成する際などに利用される。
Thus, the history information including the control history information recorded in the history
すなわち、数種記憶部６１のユーザ係数メモリ７３に格納されるユーザ係数種データｗ10乃至ｗn9は、データ生成反映装置２において、履歴情報記憶部１３に記録される履歴情報を用いて生成されるものである。
That is, the user coefficient seed data w10 to wn9 stored in the
次に、係数種データｗ10乃至ｗn9の生成方法の一例について説明する。この例においては、上述した式（５）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。 Next, an example of a method for generating the coefficient seed data w10 to wn9 will be described. In this example, an example is shown in which coefficient seed data w10 to wn9, which are coefficient data in the generation formula of the above-described formula (5), are obtained.
ここで、以下の説明のため、式（７）のように、ｔｉ（ｉ＝０乃至９）を定義する。 Here, for the following description, ti (i = 0 to 9) is defined as in Expression (7).
この式（７）を用いると、式（５）は、以下の式（８）のように書き換えられる。 When this equation (7) is used, equation (5) can be rewritten as the following equation (8).
最終的に、学習によって未定係数ｗijが求められる。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値が決定される。これは、いわゆる、最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（４）および式（５）を用いて、Ｅは式（９）で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のHD画像の画素データを表している。 Finally, the undetermined coefficient wij is obtained by learning. That is, for each combination of class and output pixel, a coefficient value that minimizes the square error is determined using a plurality of SD pixel data and HD pixel data. This is a so-called least square method. If the learning number is m, the residual in the kth (1 ≦ k ≦ m) learning data is ek, and the sum of the squared errors is E, E can be expressed by Equation (9) using Equations (4) and (5). ). Here, xik represents the kth pixel data at the i-th predicted tap position of the SD image, and yk represents the corresponding pixel data of the kth HD image.
最小二乗法による解法では、式（９）のｗijによる偏微分が０になるようなｗijを求める。これは、以下の式（１０）で示される。 In the solution by the least square method, wij is obtained such that the partial differentiation by wij in equation (9) becomes zero. This is shown by the following formula (10).
以下、式（１１）、式（１２）のように、Ｘipjq、Ｙipを定義すると、式（１０）は、式（１３）のように行列を用いて書き換えられる。 Hereinafter, when Xipjq and Yip are defined as in Expression (11) and Expression (12), Expression (10) can be rewritten using a matrix as in Expression (13).
この方程式は、一般に、正規方程式と称されている。正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数種データが算出される。 This equation is generally referred to as a normal equation. The normal equation is solved for wij by using a sweeping method (Gauss-Jordan elimination method) or the like, and coefficient seed data is calculated.
図１９は、上述した係数種データの生成方法の一例の概念を示す図である。 FIG. 19 is a diagram illustrating a concept of an example of the above-described coefficient seed data generation method.
HD信号から、複数のSD信号が生成される。例えば、HD信号からSD信号を生成する際に使用されるフィルタの垂直方向および水平方向の帯域を可変するパラメータｒ、およびノイズ量を可変するパラメータｚをそれぞれ９段階に可変することによって、合計８１種類のSD信号が生成される。このようにして生成された複数のSD信号とHD信号との間で、学習が行われて、係数種データが生成される。 A plurality of SD signals are generated from the HD signal. For example, by varying the parameter r for varying the vertical and horizontal bands of the filter used when generating the SD signal from the HD signal and the parameter z for varying the noise amount in 9 stages, a total of 81 Types of SD signals are generated. Learning is performed between the plurality of SD signals and HD signals generated in this way, and coefficient seed data is generated.
図２０は、図４のデータ生成反映装置２の詳細な構成を示すブロック図である。
FIG. 20 is a block diagram showing a detailed configuration of the data generation /
データ生成反映装置２の係数データ反映装置２１は、履歴情報取得部１３１および履歴情報判定部１３２からなる履歴情報処理部１２１、係数制御命令決定部１２２、制御命令メモリ２２、並びにユーザ係数メモリ２３により構成されている。
The coefficient
データ生成反映装置２に、テレビジョン受信装置１から取り外された基板１２が接続されると、履歴情報取得部１３１は、基板１２の履歴情報記憶部１３のメモリ制御部９１を制御し、履歴情報メモリ９２から履歴情報（制御履歴情報および特徴量情報）を取得する。
When the
履歴情報判定部１３２は、履歴情報取得部１３１により取得された制御履歴情報を参照して、可能な限り同じ条件の制御履歴情報を抽出する。なお、このとき、履歴情報メモリ９２からの制御履歴情報は、係数制御命令決定部１２２にも供給され、履歴情報判定部１３２により抽出された制御履歴情報の抽出情報も、係数制御命令決定部１２２に供給される。
The history
すなわち、図１５を参照して上述したように、例えば、入力源が同じという条件、入力源と操作内容が同じという条件、または入力源とチャンネル番号が同じ条件など、同じ制御情報を有する制御履歴情報が抽出される。もちろん、これらの条件に限定されるものではない。 That is, as described above with reference to FIG. 15, for example, the control history having the same control information such as the condition that the input source is the same, the condition that the input source and the operation content are the same, or the condition that the input source and the channel number are the same. Information is extracted. Of course, it is not limited to these conditions.
そして、履歴情報判定部１３２は、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部９１を制御し、選択した特徴量情報のみを、予測係数生成装置２０に供給させる。これに対応して、予測係数生成装置２０は、履歴情報判定部１３２により選択された特徴量情報のみを用いて、ユーザ係数種データを生成する。
Then, the history
係数制御命令決定部１２２は、予測係数生成装置２０により生成されたユーザ係数種データと、履歴情報判定部１３２により抽出された制御履歴情報（すなわち、係数生成に用いられた特徴量情報に対応する制御履歴情報）を用いて、テレビジョン受信装置１におけるユーザ係数種データの使用を制御する制御命令を生成する。
The coefficient control
例えば、図１５を参照して上述したように、入力源「ビデオ１」に関する制御情報が得られる場合には、ユーザ係数種データを使用させるというような制御命令が生成される。すなわち、生成されたユーザ係数種データは、入力源「ビデオ１」用のユーザ係数種データであり、入力源「ビデオ１」以外では使用不可能であることを示す制御命令が生成される。
For example, as described above with reference to FIG. 15, when control information related to the input source “
係数制御命令決定部１２２は、生成した制御命令データを、制御命令メモリ２２に記録し、それに対応付けて、予測係数生成装置２０により生成されたユーザ係数種データをユーザ係数メモリ２３に記録する。そして、制御命令メモリ２２に記憶された制御命令データおよびユーザ係数メモリ２３に記憶されたユーザ係数種データは、基板１２、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置１に提供される。
The coefficient control
これにより、テレビジョン受信装置１においては、入力源「ビデオ１」に関する制御情報が得られる場合には、ユーザ係数種データが使用され、入力源「ビデオ１」に関する制御情報が得られない場合には、通常係数種データが使用される。なお、テレビジョン受信装置１においては、入力源「ビデオ１」に関する制御情報が得られない場合であっても、その使用を要求するユーザの操作があれば、ユーザ係数種データは使用可能とされる。
Thereby, in the
図２１は、図２０の予測係数生成装置２０の構成例を示している。
FIG. 21 shows a configuration example of the prediction
予測係数生成装置２０は、図示せぬデータサーバなどから、数十種類の学習画像としてのHD信号と、その画像番号を入力し、係数データ反映装置２１により選択され、基板１２の履歴情報記憶部１３（履歴情報メモリ９２）から供給されるユーザ視聴画像の特徴量情報である特徴量頻度分布のデータを用いて、テレビジョン受信装置１の係数種記憶部６１のユーザ係数メモリ７３に格納されるユーザ係数種データｗ10乃至ｗn9を生成する。
The prediction
予測係数生成装置２０は、入力端子２０１乃至２０３、複数の学習画像の特徴量頻度分布を生成し、記録する学習画像頻度分布生成部２０４、係数データ反映装置２１により選択された履歴情報記憶部１３のユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布生成部２０４により記録された学習画像の特徴量頻度分布とを比較し、学習画像の中から、ユーザ視聴画像に似ているものを選択する学習画像選択部２０５、学習画像選択部２０５により選択された学習画像を用いて予測係数を学習する係数種データ生成部２０６、並びにCPU、RAM、およびROMを含むマイクロコントローラを備え、システム全体の動作を制御するためのシステムコントローラ２０７により構成される。
The prediction
入力端子２０１には、入力端子２０２から入力される教師信号が対応する学習画像の画像番号が入力される。入力端子２０２には、数十種類の学習画像の、教師信号としてのHD信号（１０５０ｉ信号）が順に入力される。入力端子２０３には、パラメータｒ、およびｚの値が入力される。なお、学習画像、画像番号、並びに、パラメーラｒ、およびｚなどは、例えば、システムコントローラ２０７の制御のもと、外部の図示せぬデータサーバなどから入力される。
The image number of the learning image corresponding to the teacher signal input from the
学習画像頻度分布生成部２０４は、SD信号生成部２１１、特徴量頻度分布生成部２１２、および学習画像頻度分布メモリ２１３により構成され、入力端子２０１および２０２からそれぞれ入力されるHD信号とその画像番号を受け、動きクラス、空間クラス毎に学習画像の特徴量情報である、特徴量頻度分布を生成して記憶し、学習画像選択部２０５より要求された画像番号、動きクラス、および空間クラスに応じて、記憶している特徴量頻度分布のデータを出力する処理を行う。
The learning image frequency
SD信号生成部２１１は、入力端子２０２からのHD信号（１０５０ｉ信号）に対して、入力端子２０３から入力されるパラメータｒ、およびｚの値を用いて、水平および垂直の間引き処理を行って、生徒信号としてのSD信号（５２５ｉ信号）を得る。
The SD
このとき、SD信号生成部２１１は、入力端子２０３から入力されるパラメータｒに基づいて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの、空間方向（水平および垂直）の帯域を変更し、パラメータｚに基づいて、SD信号に対するノイズ付加状態を段階的に変更する。
At this time, the SD
したがって、SD信号生成部２１１においては、入力されたパラメータｒの値そのものに応じて、空間方向の帯域が可変され、入力されたパラメータｒの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Therefore, in the SD
特徴量頻度分布生成部２１２は、図８の特徴量頻度分布生成部６６と基本的に同様に構成され、SD信号生成部２１１からのSD信号の画像の特徴量情報としての特徴量頻度分布を、動きクラスおよび空間クラス毎に生成し、生成した動きクラスおよび空間クラス毎の画像の特徴量頻度分布のデータを、学習画像頻度分布メモリ２１３に記録する。
The feature amount frequency
学習画像頻度分布メモリ２１３には、入力端子２０１からの画像番号と、特徴量頻度分布生成部２１２により生成される、画像番号に対応する数十種類の学習画像の特徴量頻度分布のデータが、動きクラスおよび空間クラス毎に記憶されている。
In the learning image
図２２は、特徴量頻度分布生成部２１２の詳細な構成例を示すブロック図である。
FIG. 22 is a block diagram illustrating a detailed configuration example of the feature amount frequency
特徴量頻度分布生成部２１２の動きクラスタップ選択部２５１、空間クラスタップ選択部２５２、および、特徴量生成タップ選択部２５３は、SD信号生成部２１１からのSD信号より、特徴量を生成する対象画素の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。これらの動きクラスタップ選択部２５１、空間クラスタップ選択部２５２、および特徴量生成タップ選択部２５３は、図１２の動きクラスタップ選択部８１、空間クラスタップ選択部８２、および特徴量生成タップ選択部８３と基本的に同様に構成される。
The motion class
動きクラス検出部２５４は、図１２の動きクラス検出部８４と基本的に同様に構成され、動きクラスタップ選択部２５１で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報（MV）を出力する。
The motion
空間クラス検出部２５５は、図１２の空間クラス検出部８５と基本的に同様に構成され、空間クラスタップ選択部２５２で選択的に取り出された空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて、空間クラスを検出し、その空間クラスのクラス情報（再量子化コードｑｉ）を出力する。
The space
特徴量生成部２５６は、図１２の特徴量生成部８６と基本的に同様に構成され、特徴量生成タップ選択部２５３で選択的に取り出された特徴量生成タップのデータ（SD画素データ）より、SD画素の特徴量を生成し、その特徴量の値を出力する。すなわち、図１１を参照して上述したように、特徴量生成タップの画素値が用いられて、タップ内最大値Max、タップ内最小値Min、ダイナミックレンジDR、中間値、および平均値Aveのうちの少なくとも１つが、求める画素の特徴量として生成される。
The feature
特徴量頻度分布演算部２５７は、図１２の特徴量頻度分布演算部８７と基本的に同様に構成され、同じ画素に対応する、動きクラス検出部８４より検出された動きクラス、空間クラス検出部８５より検出された空間クラス、および特徴量生成部８６より生成された特徴量に基づき、特徴量情報である、図１４を参照して上述した特徴量頻度分布（ヒストグラム）を生成していく。このとき、特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に学習画像頻度分布メモリ２１３に記憶される。
The feature amount frequency
図２３は、学習画像頻度分布メモリ２１３に記憶されている特徴量頻度分布の例を示している。
FIG. 23 shows an example of the feature amount frequency distribution stored in the learning image
学習画像頻度分布メモリ２１３には、数十種類の学習画像の特徴量頻度分布のデータが、動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
The learning image
例えば、学習画像１乃至ｍの特徴量頻度分布のデータが、それぞれ、動きクラス０乃至Ｐおよび空間クラス０乃至Ｎの組み合わせ毎に記憶されている。
For example, feature amount frequency distribution data of learning
すなわち、各学習画像１乃至ｍに対して、動きクラス０および空間クラス０の特徴量頻度分布のデータ、動きクラス０および空間クラス１の特徴量頻度分布のデータ、動きクラス０および空間クラス２の特徴量頻度分布のデータ、…、動きクラス０および空間クラスＰの特徴量頻度分布のデータ、動きクラス１および空間クラス０の特徴量頻度分布のデータ、動きクラス２および空間クラス０の特徴量頻度分布のデータ、動きクラスＮおよび空間クラス０の特徴量頻度分布のデータ、………、動きクラスＰおよび空間クラスＮの特徴量頻度分布のデータというように、（Ｐ＋１）×（Ｎ＋１）ずつの特徴量頻度分布のデータが記憶されている。
That is, for each learning
図２１に戻り、学習画像選択部２０５は、頻度分布比較部２２１、学習画像選択部２２２、および学習画像テーブル２２３により構成され、履歴情報記憶部１３のユーザ視聴画像の特徴量頻度分布のうち、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ２１３の全ての学習画像の特徴量頻度分布とを比較し、動きクラスおよび空間クラスの組み合わせ毎に、似た特徴を有する学習画像を選択し、その画像番号を記録し、係数データ生成時に、記録した画像番号を提供する処理を行う。
Returning to FIG. 21, the learning
頻度分布比較部２２１は、同じ動きクラスおよび空間クラスの組み合わせについて、履歴情報記憶部１３に記憶されているユーザ視聴画像の特徴量頻度分布のうち、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ２１３にある全ての学習画像の特徴量頻度分布とを比較していく。
The frequency
図２４は、頻度分布比較部２２１による特徴量頻度分布の比較対象を説明する図である。
FIG. 24 is a diagram for explaining a comparison target of the feature amount frequency distribution by the frequency
履歴情報記憶部１３の履歴情報メモリ９２には、テレビジョン受信装置１において制御履歴情報に対応付けられて記録されたユーザ視聴画像の特徴量頻度分布のデータが記憶されている。
The
すなわち、履歴情報メモリ９２には、ユーザ視聴画像１の動きクラスＰおよび空間クラスＭの特徴量頻度分布のデータ、…、ユーザ視聴画像１の動きクラスＱおよび空間クラスＮの特徴量頻度分布のデータ、…、ユーザ視聴画像２の動きクラスＰおよび空間クラスＭの特徴量頻度分布のデータ、…、ユーザ視聴画像２の動きクラスＱおよび空間クラスＮの特徴量頻度分布のデータ、…、というように、ユーザ視聴画像の特徴量頻度分布のデータが動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
That is, the
また、学習画像特徴量頻度分布メモリ２１３には、学習画像頻度分布生成部２０４により生成された数十種類の学習画像の頻度分布のデータが記憶されている。すなわち、学習画像１の動きクラスＰおよび空間クラスＭの特徴量頻度分布のデータ、…、学習画像１の動きクラスＱおよび空間クラスＮの特徴量頻度分布のデータ、…、学習画像２の動きクラスＰおよび空間クラスＭの特徴量頻度分布のデータ、…、学習画像２の動きクラスＱおよび空間クラスＮの特徴量頻度分布のデータ、…、というように、学習画像の特徴量頻度分布のデータが動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
In addition, the learning image feature amount
なお、図２４の例においては、ユーザ視聴画像１およびユーザ視聴画像２の特徴量分布のデータに対応付けられている制御履歴情報が、係数データ反映装置２１により抽出されており、ユーザ視聴画像１およびユーザ視聴画像２の特徴量分布のデータが選択されているとする。
In the example of FIG. 24, the control history information associated with the feature amount distribution data of the
頻度分布比較部２２１は、履歴情報記憶部１３に記憶されているすべてのユーザ視聴画像の特徴量頻度分布のデータのうち、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータ（すなわち、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布のデータ）を、動きクラスおよび空間クラスの組み合わせ毎に平均化し、動きクラスおよび空間クラスの組み合わせ毎の１つの特徴量頻度分布とした上で、学習画像特徴量頻度分布メモリ２１３に記憶されているすべての学習画像の特徴量頻度分布に対して、動きクラスおよび空間クラスの組み合わせ毎に比較を行っていく。
The frequency
ここで、頻度分布比較部２２１は、図２５に示されるように、２つの特徴量頻度分布から求まる値を用いて相関係数を求めることで、２つの特徴量頻度分布を比較する。
Here, as shown in FIG. 25, the frequency
図２５は、頻度分布比較部２２１による特徴量頻度分布の比較方法の具体例を示している。図２５の例においては、左から順に、学習画像の特徴量頻度分布と、ユーザ視聴画像の特徴量頻度分布のグラフが示されている。各グラフにおいて、縦軸が学習画像の頻度fsty(x)およびユーザ視聴画像の頻度fusr(x)をそれぞれ表しており、横軸が特徴量値(x)を表している。
FIG. 25 shows a specific example of a comparison method of feature amount frequency distribution by the frequency
頻度分布比較部２２１は、学習画像の頻度fsty(x)から、頻度平均Mfstyと頻度標準偏差SDfstyを求め、ユーザ視聴画像の頻度fusr (x)から、頻度平均Mfusrと頻度標準偏差SDfusrを求め、次の式（１４）で求まる相関係数値Ｃ（−１≦Ｃ≦１）を求めることで、２つの特徴量頻度分布の比較を行う。
The frequency
なお、Ｎは、サンプル数（特徴量頻度分布をカウントする画素数）を表す。また、相関係数値Ｃは、−１乃至１の値をとり、値が大きいほど、特徴量頻度分布の形状が似ているとされる。 Note that N represents the number of samples (number of pixels for counting the feature frequency distribution). Further, the correlation coefficient value C takes a value of −1 to 1, and the larger the value, the more similar the shape of the feature amount frequency distribution.
したがって、頻度分布比較部２２１においては、図２４に示される、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＰおよび空間クラスＭのユーザ視聴画像の特徴量頻度分布と、学習画像１の動きクラスＰおよび空間クラスＭの特徴量頻度分布が比較され、その比較値である相関係数値Ｃと学習画像１の画像番号、動きクラスＰ、および空間クラスＭが、学習画像選択部２２２に出力される。
Therefore, in the frequency
また、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＰおよび空間クラスＭのユーザ視聴画像の特徴量頻度分布と、学習画像２の動きクラスＰおよび空間クラスＭの特徴量頻度分布が比較され、その比較値である相関係数値Ｃと学習画像２の画像番号、動きクラスＰ、および空間クラスＭが、学習画像選択部２２２に出力される。
In addition, after averaging the feature amount frequency distribution of the
なお、図示しないが、学習画像３以降についても、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＰおよび空間クラスＭのユーザ視聴画像の特徴量頻度分布との比較が行われ、その比較値である相関係数値Ｃと学習画像３以降の画像番号、動きクラスＰ、および空間クラスＭが、学習画像選択部２２２に出力される。
Although not shown, the learning image 3 and the subsequent feature image frequency distributions of the motion class P and the space class M of the user viewing image after averaging the feature amount frequency distributions of the
同様に、頻度分布比較部２２１においては、図２４に示される、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＱおよび空間クラスＮのユーザ視聴画像の特徴量頻度分布と、学習画像１の動きクラスＱおよび空間クラスＮの特徴量頻度分布が比較され、その比較値である相関係数値Ｃと学習画像１の画像番号、動きクラスＱ、および空間クラスＮが、学習画像選択部２２２に出力される。
Similarly, in the frequency
また、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＱおよび空間クラスＮのユーザ視聴画像の特徴量頻度分布と、学習画像２の動きクラスＱおよび空間クラスＮの特徴量頻度分布が比較され、その比較値である相関係数値Ｃと学習画像２の画像番号、動きクラスＱ、および空間クラスＮが、学習画像選択部２２２に出力される。
In addition, after averaging the feature amount frequency distribution of the
なお、図示しないが、学習画像３以降についても、ユーザ視聴画像１およびユーザ視聴画像２の特徴量頻度分布の平均化後の、動きクラスＱおよび空間クラスＮのユーザ視聴画像の特徴量頻度分布との比較が行われ、その比較値である相関係数値Ｃと学習画像３以降の画像番号、動きクラスＱ、および空間クラスＮが、学習画像選択部２２２に出力される。
Although not shown, the learning image 3 and the subsequent feature image frequency distributions of the motion class Q and the space class N of the user viewing images after averaging the feature amount frequency distributions of the
学習画像選択部２２２は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の比較値である相関係数値Ｃに基づいて１つの学習画像を選択し、動きクラスおよび空間クラスの組み合わせ毎に、選択した学習画像の画像番号（以下、選択画像番号とも称する）を学習画像テーブル２２３に記録していく。
The learning
学習画像テーブル２２３には、すべての動きクラスおよび空間クラスの組み合わせ毎の選択画像番号が記憶される。 The learning image table 223 stores selected image numbers for each combination of all motion classes and space classes.
図２６は、学習画像選択部２２２の学習画像選択および学習画像テーブルの構成の例を示す図である。
FIG. 26 is a diagram illustrating an example of the learning image selection of the learning
学習画像選択部２２２には、頻度分布比較部２２１より、すべての学習画像番号１乃至Ｌ、すべての動きクラス１乃至Ｍ、すべての空間クラス１乃至Ｎ、それらの組み合わせにおける特徴量頻度分布のユーザ視聴画像との比較結果の比較値が入力されている。
The learning
例えば、図２６の学習画像選択部２２２には、上から順に、学習画像番号「１」については、学習画像番号「１」、動きクラス「１」、空間クラス「１」、比較値「Ｃ_1_1_1」が入力され、学習画像番号「１」、動きクラス「１」、空間クラス「２」、比較値「Ｃ_1_1_2」が入力され、…、学習画像番号「１」、動きクラス「１」、空間クラス「Ｎ」、比較値「Ｃ_1_1_N」が入力されている。また、学習画像番号「１」、動きクラス「２」、空間クラス「１」、比較値「Ｃ_1_2_1」が入力され、学習画像番号「１」、動きクラス「２」、空間クラス「２」、比較値「Ｃ_1_2_2」が入力され、…、学習画像番号「１」、動きクラス「２」、空間クラス「Ｎ」、比較値「Ｃ_1_2_N」が入力されている。
For example, in the learning
なお、図示はされないが、以下、動きクラス「３」乃至「Ｍ−１」以降についても同様に入力されており、さらに、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「１」、比較値「Ｃ_1_M_1」が入力され、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「２」、比較値「Ｃ_1_M_2」が入力され、…、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「Ｎ」、比較値「Ｃ_1_M_N」が入力され、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「１」、比較値「Ｃ_1_M_1」が入力され、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「２」、比較値「Ｃ_1_M_2」が入力され、…、学習画像番号「１」、動きクラス「Ｍ」、空間クラス「Ｎ」、比較値「Ｃ_1_M_N」が入力されている。 Although not shown in the figure, the motion classes “3” to “M−1” and thereafter are input in the same manner, and the learning image number “1”, the motion class “M”, and the space class “1”. The comparison value “C_1_M_1” is input, the learning image number “1”, the motion class “M”, the space class “2”, the comparison value “C_1_M_2” is input,..., The learning image number “1”, the motion class “ M, space class “N”, and comparison value “C_1_M_N” are input, learning image number “1”, motion class “M”, space class “1”, and comparison value “C_1_M_1” are input, and learning image number “ 1 ”, motion class“ M ”, space class“ 2 ”, and comparison value“ C_1_M_2 ”are input,..., Learning image number“ 1 ”, motion class“ M ”, space class“ N ”, and comparison value“ C_1_M_N ” Is entered.
以降、その図示は殆ど省略されるが、学習画像番号「２」乃至「Ｌ」についても、学習画像番号「２」乃至「Ｌ」、動きクラス「１」乃至「Ｍ」、空間クラス「１」乃至「Ｎ」、比較値「Ｃ_2_1_1」乃至「Ｃ_L_M_N」がそれぞれ入力されている。 Thereafter, although illustration thereof is omitted, the learning image numbers “2” to “L”, the learning image numbers “2” to “L”, the motion classes “1” to “M”, and the space class “1” are also omitted. Through “N” and comparison values “C_2_1_1” through “C_L_M_N” are input.
まず、学習画像選択部２２２は、それらを、動きクラスおよび空間クラスの組み合わせ毎に並び替え、動きクラスおよび空間クラスの組み合わせ毎の比較値を評価し、最も相似している比較値の学習画像番号を選択し、その動きクラスおよび空間クラスの組み合わせにおける選択画像番号として、学習画像テーブル２２３に記録させる。
First, the learning
なお、ユーザ視聴画像の特徴量頻度分布と最も形状が似ている特徴量頻度分布を有する学習画像を選択することが必要であり、いまの場合、比較値として、図２５を参照して上述した相関関係値Ｃが用いられているので、最も大きい比較値を有する学習画像が最も類似しているとして選択される。 Note that it is necessary to select a learning image having a feature amount frequency distribution that is most similar to the feature amount frequency distribution of the user viewing image. In this case, the comparison value is described above with reference to FIG. Since the correlation value C is used, the learning image having the largest comparison value is selected as being most similar.
すなわち、動きクラス「１」および空間クラス「１」の組み合わせにおける各画像番号「１」乃至「Ｌ」の比較値「Ｃ_1_1_1」乃至「Ｃ_L_1_1」が順に並べられ、比較値「Ｃ_1_1_1」乃至「Ｃ_L_1_1」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「１」および空間クラス「１」の選択画像番号「X_1_1」として学習画像テーブル２２３に記録される。 That is, the comparison values “C_1_1_1” to “C_L_1_1” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “1” are sequentially arranged, and the comparison values “C_1_1_1” to “C_L_1_1” are arranged. Among them, the image number of the learning image having the largest comparison value is selected and recorded in the learning image table 223 as the selected image number “X_1_1” of the motion class “1” and the space class “1”.
動きクラス「１」および空間クラス「２」の組み合わせにおける各画像番号「１」乃至「Ｌ」の比較値「Ｃ_1_1_2」乃至「Ｃ_L_1_2」が順に並べられ、比較値「Ｃ_1_1_2」乃至「Ｃ_L_1_2」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「１」および空間クラス「２」の選択画像番号「X_1_2」として学習画像テーブル２２３に記録される。 The comparison values “C_1_1_2” to “C_L_1_2” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “2” are sequentially arranged, and the comparison values “C_1_1_2” to “C_L_1_2” The image number of the learning image having the maximum comparison value is selected and is recorded in the learning image table 223 as the selected image number “X_1_2” of the motion class “1” and the space class “2”.
なお、図示はされないが、以下、空間クラス「３」乃至「Ｎ−１」以降についても同様に、動きクラス「１」および各空間クラス「３」乃至「Ｎ−１」の比較値が順に並べられ、それらの比較値の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「１」および空間クラス「３」乃至「Ｎ−１」の選択画像番号として、それぞれ、学習画像テーブル２２３に記録される。 Although not shown, the comparison values of the motion class “1” and the spatial classes “3” to “N−1” are arranged in order in the same manner for the space classes “3” to “N−1” and thereafter. The image number of the learning image having the largest comparison value among the comparison values is selected, and learning is selected as the selection image number of the motion class “1” and the space classes “3” to “N−1”, respectively. It is recorded in the image table 223.
同様に、動きクラス「１」および空間クラス「Ｎ」の組み合わせにおける各画像番号「１」乃至「Ｌ」の比較値「Ｃ_1_1_N」乃至「Ｃ_L_1_N」が順に並べられ、比較値「Ｃ_1_1_N」乃至「Ｃ_L_1_N」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「１」および空間クラス「Ｎ」の選択画像番号「X_1_N」として学習画像テーブル２２３に記録される。 Similarly, the comparison values “C_1_1_N” to “C_L_1_N” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “N” are sequentially arranged, and the comparison values “C_1_1_N” to “C_L_1_N” are sequentially arranged. The learning image having the largest comparison value is selected and recorded in the learning image table 223 as the selected image number “X_1_N” of the motion class “1” and the space class “N”.
以降、その図示は殆ど省略されるが、動きクラス「２」乃至「Ｍ」についても、空間クラス「１」乃至「Ｎ」との組み合わせにおける各画像番号「１」乃至「Ｌ」の比較値「Ｃ_1_2_1」乃至「Ｃ_L_M_N」が順に並べられ、それらの比較値の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「２」乃至「Ｍ」および空間クラス「３」乃至「Ｎ−１」の選択画像番号「X_2_1」乃至「X_M_N」として、それぞれ、学習画像テーブル２２３に記録される。 Thereafter, although illustration thereof is almost omitted, for the motion classes “2” to “M”, the comparison values “1” to “L” in the combinations with the space classes “1” to “N” “ C_1_2_1 ”to“ C_L_M_N ”are arranged in order, and the image number of the learning image having the largest comparison value among these comparison values is selected, and the motion classes“ 2 ”to“ M ”and the space classes“ 3 ”to“ 3 ”are selected. The selected image numbers “X_2_1” to “X_M_N” of “N−1” are recorded in the learning image table 223, respectively.
図２１に戻り、係数種データ生成部２０６は、画像セット記憶部２３１、SD信号生成部２３２、予測係数学習部２３３、および係数種メモリ２３４により構成され、学習画像テーブル２２３からの動きクラスおよび空間クラス毎の選択画像番号に基づく学習画像のHD信号を用いて、予測係数としてのユーザ係数種データを生成し、係数種メモリ２３４に記録する処理を行う。
Returning to FIG. 21, the coefficient seed
画像セット記憶部２３１には、入力端子２０２から、数十種類の学習画像のHD信号が入力され、記憶されている。画像セット記憶部２３１は、学習画像テーブル２２３から選択画像番号を受け、選択画像番号に対応する学習画像のHD信号を選択し、出力する。
The image set
SD信号生成部２３２は、画像セット記憶部２３１により選択された学習画像（以下、選択学習画像とも称する）のHD信号（１０５０ｉ信号）に対して、入力端子２０３から入力されるパラメータｒ、およびｚの値を用いて、水平および垂直の間引き処理を行って、生徒信号としてのSD信号（５２５ｉ信号）を得る。なお、SD信号生成部２３２の構成は、上述したSD信号生成部２１１の構成と基本的に同様である。
The SD
予測係数学習部２３３には、画像セット記憶部２３１に入力された選択画像番号に対応する、学習画像テーブル２２３からの動きクラスおよび空間クラスの情報、画像セット記憶部２３１からの選択学習画像のHD信号と、SD信号生成部２３２からの選択学習画像のSD信号などが入力される。
The prediction
予測係数学習部２３３は、学習画像テーブル２２３からの動きクラスおよび空間クラスの組み合わせ毎に、その組み合わせが対応する選択学習画像のHD信号とSD信号を用いて予測係数を学習し、学習により得られたユーザ係数種データを、動きクラスおよび空間クラスの組み合わせ毎に係数種メモリ２３４に記録する。
For each combination of motion class and space class from the learning image table 223, the prediction
図２７は、予測係数学習部２３３の詳細な構成例を示している。
FIG. 27 shows a detailed configuration example of the prediction
予測係数学習部２３３の第１のタップ選択部２７１、第２のタップ選択部２７２、および第３のタップ選択部２７３は、SD信号生成部２３２より出力されるSD信号（５２５ｉ信号）より、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。これら第１のタップ選択部２７１乃至第３のタップ選択部２７３は、図８を参照して説明した画像信号処理部３７の第１のタップ選択部５１乃至第３のタップ選択部５３と基本的に同様に構成される。
The first
空間クラス検出部２７４は、第２のタップ選択部２７２で選択的に取り出された空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。この空間クラス検出部２７３は、図８を用いて説明した画像信号処理部３７の空間クラス検出部５４と基本的に同様に構成される。この空間クラス検出部２７４からは、空間クラスタップのデータとしての各SD画素データの再量子化コードｑｉが、空間クラスを示すクラス情報として出力される。
The space
動きクラス検出部２７５は、第３のタップ選択部２７３で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出部２７５は、図８を用いて説明した画像信号処理部３７の動きクラス検出部５５と基本的に同様に構成される。この動きクラス検出部２７５では、第３のタップ選択部２７３で選択的に取り出された動きクラスタップのデータ（SD画素データ）からフレーム間差分が算出され、更に、その差分の絶対値の平均値に対して閾値処理が行われて、動きの指標である動きクラスが検出される。
The motion
第１のクラス合成部２７６は、空間クラス検出部２７４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出部２７５より出力される動きクラスのクラス情報MVとに基づき、HD信号（１０５０ｉ信号）に係る注目画素が属するクラスを示す第１のクラスコードCL1を得る。この第１のクラス合成部２７６も、図８を用いて説明した画像信号処理部３７のクラス合成部５６と基本的に同様に構成される。
The first
第２のクラス合成部２７７は、学習画像テーブル２２３から入力される動きクラスの情報MVおよび空間クラスの情報ｑｉから第２のクラスコードCL2を得る。
The second
正規方程式生成部２７８は、第１のクラス合成部２７６より出力される第１のクラスコードCL1および第２のクラス合成部２７７より出力される第２のクラスコードCL2に応じて、画像セット記憶部２３１からのHD信号から得られる注目位置の画素データとしての各HD画素データｙ、この各HD画素データｙにそれぞれ対応して第１のタップ選択部２７１で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉ、並びに、パラメータｒおよびｚの値から、クラス毎に、ユーザ係数種データｗ10乃至ｗn9を得るための正規方程式（式（１３）参照）を生成する。
The normal
なお、正規方程式生成部２７８においては、クラス毎に１つの学習画像を選択して予測係数を生成するために、SD信号のクラス検出結果である第１のクラス合成部２７６の出力と、学習画像テーブル２２３における選択結果である第２のクラス合成部２７７の出力の２つ、すなわち、第１のクラスコードCL1と、第２のクラスコードCL2が一致する場合のみ、正規方程式が生成される。
Note that in the normal
この場合、１個のHD画素データｙと、それに対応するｎ個の予測タップのデータ（SD画素データ）ｘｉとの組み合わせで、学習データが生成されるが、調整後のパラメータｒ、およびｚの値の変化に対応して、SD信号生成部２３２における空間方向の帯域とノイズ量が可変され、複数のSD信号が順次生成されて、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部２７８では、パラメータｒ、およびｚの値が異なる多くの学習データが登録された正規方程式が生成され、ユーザ係数種データｗ10乃至ｗn9を求めることが可能となる。
In this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the adjusted parameters r and z are adjusted. Corresponding to the change in the value, the spatial band and noise amount in the SD
また、この場合、１個のHD画素データｙとそれに対応するｎ個の予測タップのデータ（SD画素データ）ｘｉとの組み合わせで学習データが生成されるが、正規方程式生成部２７８では、出力画素（図９のHD１乃至HD４、図１０のHD１′乃至HD４′参照）毎に、正規方程式が生成される。例えば、HD１に対応した正規方程式は、中心予測タップに対するずれ値がHD１と同じ関係にあるHD画素データｙから構成される学習データから生成される。
Further, in this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the normal
係数種データ決定部２７９は、正規方程式生成部２７８で、クラスおよび出力画素の組み合わせ毎に生成された正規方程式のデータの供給を受け、正規方程式を解いて、クラスおよび出力画素の組み合わせ毎に、ユーザ係数種データｗ10乃至ｗn9を求める。係数種データ決定部２７９は、正規方程式を、例えば、掃き出し法などによって解くことにより、ユーザ係数種データを求める。
The coefficient seed
係数種メモリ２３４は、係数種データ決定部２７９で求められたユーザ係数種データを格納する。なお、このユーザ係数種データは、係数データ反映装置２１に送信される。
The
次に、図２０の係数データ反映装置２１の動作について説明する。
Next, the operation of the coefficient
例えば、テレビジョン受信装置１から取り外された基板１２がデータ生成反映装置２に接続されると、係数データ反映装置２１の履歴情報取得部１３１は、基板１２の履歴情報記憶部１３のメモリ制御部９１に、履歴情報メモリ９２の履歴情報を要求するメモリ制御命令を送信する。
For example, when the
これに対応して、メモリ制御部９１から、履歴情報メモリ９２の履歴情報（制御履歴情報および特徴量情報）が送信されてくるので、履歴情報判定部１３２は、それを受信する。このとき、係数制御命令決定部１２２にも、制御履歴情報が入力される。
Correspondingly, since the history information (control history information and feature amount information) of the
履歴情報判定部１３２は、受信した制御履歴情報を参照して、図１５を参照して上述したように可能な限り同じ条件の制御履歴情報を抽出し、その抽出情報を、係数制御命令決定部１２２に供給するとともに、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部９１に、選択した特徴量情報のみを予測係数生成装置２０に供給させるメモリ制御命令を送信する。
The history
これに対応して、予測係数生成装置２０は、履歴情報判定部１３２により選択された特徴量情報のみを用いて、ユーザ係数種データを生成し、生成したユーザ係数種データを送信してくる。
In response to this, the prediction
係数制御命令決定部１２２は、予測係数生成装置２０により生成されたユーザ係数種データを受信すると、メモリ制御部９１からの制御履歴情報と履歴情報判定部１３２からの抽出情報を用いて、テレビジョン受信装置１におけるユーザ係数種データの使用を制御する制御命令を生成する。例えば、係数制御命令決定部１２２は、履歴情報判定部１３２により抽出された制御履歴情報の中で、すべてに共通する制御情報が、テレビジョン受信装置１において得られる場合のみユーザ係数種データの使用を許可する制御命令が生成される。
When the coefficient control
係数制御命令決定部１２２により生成された制御命令データは、制御命令メモリ２２に記録され、予測係数生成装置２０により生成されたユーザ係数種データは、それに対応付けて、ユーザ係数メモリ２３に記録される。そして、制御命令メモリ２２に記憶された制御命令データおよびユーザ係数メモリ２３に記憶されたユーザ係数種データは、基板１２、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置１に提供される。
The control instruction data generated by the coefficient control
次に、図２１の予測係数生成装置２０の、図２２に示される学習画像頻度分布生成部２０４の動作について説明する。
Next, the operation of the learning image frequency
入力端子１０１には、数十種類の学習画像の、教師信号としてのHD信号（１０５０ｉ信号）が順に供給され、そしてこのHD信号に対して、SD信号生成部２１１で、水平および垂直の間引き処理が行われて、数十種類の学習画像の、生徒信号としてのSD信号（５２５ｉ信号）が生成される。
The
この場合、SD信号生成部２１１には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向帯域を定めるパラメータｒおよびノイズ付加状態を定めるパラメータｚ、換言すれば、生成されるSD信号の空間方向の解像度を定めるパラメータｒおよびノイズ量を定めるパラメータｚの値が入力される。
In this case, the
そして、SD信号生成部２１１では、パラメータｒの値に応じて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向が可変され、入力されたパラメータｒの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Then, in the SD
SD信号生成部２１１に入力されるパラメータｒ、およびｚの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向の帯域およびノイズ付加状態が変更されることから、空間方向の帯域およびノイズ付加状態が段階的に変化した複数のSD信号が生成される。
The parameters r and z input to the
特徴量頻度分布生成部２１２の動きクラスタップ選択部２５１は、SD信号生成部２１１からSD信号の供給を受け、SD信号（５２５ｉ信号）より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップ（複数のSD画素）のデータを選択的に取り出す。動きクラスタップ選択部２５１で選択的に取り出された動きクラスタップのデータは、動きクラス検出部２５４に供給される。
The motion class
動きクラス検出部２５４は、動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の動きクラス（主に動きの程度を表すためのクラス分類）を検出し、検出したSD画素の動きクラスのクラス情報（MV）を、特徴量頻度分布演算部２５７に出力する。
The motion
また、空間クラスタップ選択部２５２は、SD信号生成部２１１からSD信号（５２５ｉ信号）の供給を受け、SD信号より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップ（複数のSD画素）のデータを選択的に取り出す。空間クラスタップ選択部２５２で選択的に取り出された空間クラスタップのデータは、空間クラス検出部２５５に供給される。
The space class
空間クラス検出部２５５は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード（ｑｉ）を得て、特徴量頻度分布演算部２５７に出力する。
The space
さらに、特徴量生成タップ選択部２５３は、SD信号生成部２１１からSD信号（５２５ｉ信号）の供給を受け、SD信号より、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する特徴量生成タップ（複数のSD画素）のデータを選択的に取り出す。特徴量生成タップ選択部２５３で選択的に取り出された特徴量生成タップのデータは、特徴量生成部２５６に供給される。
Further, the feature quantity generation
特徴量生成部２５６は、特徴量生成タップ選択部２５３で選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素に囲まれるSD画素の特徴量である、例えば、最大値および最小値などを生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部２５７に出力する。
The feature
同じSD画素について求められた動きクラス、空間クラス、および特徴量の各情報は、特徴量頻度分布演算部２５７に供給される。特徴量頻度分布演算部２５７は、特徴量頻度分布演算部２５７からの動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布（ヒストグラム）を生成する。そして、特徴量頻度分布演算部２５７は、生成した特徴量頻度分布のデータを、入力端子２０１からの画像番号に対応付けて、動きクラスおよび空間クラスの組み合わせ毎に学習画像頻度分布メモリ２１３に記録する。
Each information of the motion class, the space class, and the feature amount obtained for the same SD pixel is supplied to the feature amount frequency
このようにして、数十種類の学習画像の特徴量頻度分布のデータが予め学習画像頻度分布メモリ２１３に記録される。
In this way, the data of the feature amount frequency distribution of several tens of types of learning images is recorded in the learning image
次に、図２１の予測係数生成装置２０の学習画像選択部２０５の動作について説明する。
Next, the operation of the learning
基板１２の履歴情報記憶部１３から、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されるので、学習画像選択部２０５の頻度分布比較部２２１は、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータを、動きクラスおよび空間クラスの組み合わせ毎に平均化し、動きクラスおよび空間クラスの組み合わせ毎の１つの特徴量頻度分布とした上で、学習画像特徴量頻度分布メモリ２１３に記憶されているすべての学習画像の特徴量頻度分布に対して、動きクラスおよび空間クラスの組み合わせ毎に比較を行っていく。
Since the history
すなわち、頻度分布比較部２２１は、履歴情報記憶部１３から供給されてくる、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータを動きクラスおよび空間クラスの組み合わせ毎に平均化する。
That is, the frequency
そして、頻度分布比較部２２１は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の特徴量頻度分布のデータとその画像番号を順に読み出し、読み出した学習画像の特徴量頻度分布と平均化したユーザ視聴画像の特徴量頻度分布との相関係数値Ｃを求めることで比較する（式（１４）参照）。
Then, the frequency
求められた比較値としての相関係数値Ｃは、対応する動きクラスおよび空間クラスの情報と画像番号とともに、学習画像選択部２２２に出力される。
The obtained correlation coefficient value C as a comparison value is output to the learning
学習画像選択部２２２は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の比較値である相関係数値Ｃを評価し、最大の相関係数値Ｃを有する学習画像の特徴量頻度分布が、ユーザ視聴画像の特徴量頻度分布と最も似ているとして、その学習画像を選択し、動きクラスおよび空間クラスの組み合わせ毎に、選択した選択画像番号を学習画像テーブル２２３に記録していく。
The learning
このようにして、学習画像テーブル２２３には、すべての動きクラスおよび空間クラスの組み合わせ毎の、係数データ反映装置２１により選択されたユーザ視聴画像に特徴量頻度分布が最も似ているとされた学習画像の画像番号が、選択画像番号として記憶される。
In this way, in the learning image table 223, the feature amount frequency distribution that is most similar to the user viewing image selected by the coefficient
この選択画像番号は、係数種データ生成部２０６がテレビジョン受信装置１のユーザ係数種データを生成する際に、画像セット記憶部２３１に入力される。このとき、この選択画像番号に対応する動きクラスの情報および空間クラスの情報も予測係数学習部２３３に入力される。
The selected image number is input to the image set
次に、図２１の予測係数生成装置２０の、図２７に示される係数種データ生成部２０６の動作について説明する。
Next, the operation of the coefficient seed
画像セット記憶部２３１には、入力端子２０２から、学習画像頻度分布生成部２０４に入力されたものと同じ、数十種類の学習画像のHD信号が入力され、記憶されている。学習画像テーブル２２３から、係数種データを生成する動きクラスの情報および空間クラスの情報が、第２のクラス合成部２７７に順に出力される。このとき、同時に、第２のクラス合成部２７７に出力される動きクラスおよび空間クラスの選択画像番号が、画像セット記憶部２３１に出力される。
The image set
画像セット記憶部２３１は、学習画像テーブル２２３から選択画像番号を受け、選択画像番号に対応する学習画像のHD信号を選択する。画像セット記憶部２３１により選択された学習画像のHD信号は、SD信号生成部２３２および正規方程式生成部２７８に入力される。
The image set
このHD信号に対して、SD信号生成部２３２で、水平および垂直の間引き処理が行われて、選択画像番号に対応する学習画像の生徒信号としてのSD信号（５２５ｉ信号）が生成される。
The HD signal is subjected to horizontal and vertical thinning processing by the SD
この場合、SD信号生成部２３２には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向帯域を定めるパラメータｒおよびノイズ付加状態を定めるパラメータｚ、換言すれば、生成されるSD信号の空間方向の解像度を定めるパラメータｒおよびノイズ量を定めるパラメータｚの値が入力される。
In this case, the SD
そして、SD信号生成部２３２では、パラメータｒの値に応じて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向が可変され、入力されたパラメータｒの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Then, in the SD
SD信号生成部２３２に入力されるパラメータｒ、およびｚの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向の帯域およびノイズ付加状態が変更されることから、空間方向の帯域およびノイズ付加状態が段階的に変化した複数のSD信号が生成される。
The parameters r and z that are input to the
また、SD信号生成部２３２で生成されたSD信号（５２５ｉ信号）より、第２のタップ選択部２７２で、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この第２のタップ選択部２７２で選択的に取り出された空間クラスタップのデータ（SD画素データ）は、空間クラス検出部２７４に供給される。空間クラス検出部２７４では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（式（１）参照）。
Further, from the SD signal (525i signal) generated by the SD
また、SD信号生成部２３２で生成されたSD信号より、第３のタップ選択部２７３で、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ（SD画素データ）が選択的に取り出される。この第３のタップ選択部２７３で選択的に取り出された動きクラスタップのデータ（SD画素データ）は、動きクラス検出部３７５に供給される。この動きクラス検出部３７５では、動きクラスタップのデータとしての各SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVが得られる。
Further, from the SD signal generated by the SD
クラス情報MVと再量子化コードｑｉとは、第１のクラス合成部２７６に供給される。第１のクラス合成部２７６は、供給されたクラス情報MVと再量子化コードｑｉとから、HD信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示す第１のクラスコードCL1を得る（式（３）参照）。
The class information MV and the requantization code qi are supplied to the first
また、第２のクラス合成部２７７は、画像セット記憶部２３１に入力された選択画像番号に対応して、学習画像テーブル２２３から入力される動きクラスの情報MVおよび空間クラスの情報ｑｉから第２のクラスコードCL2を得る。
In addition, the second
一方、SD信号生成部２３２で生成されるＳＤ信号より、第１のタップ選択部２７１で、HD信号における注目位置の周辺に位置する予測タップのデータ（SD画素データ）が選択的に取り出される。
On the other hand, from the SD signal generated by the SD
そして、正規方程式生成部２７８では、SD信号のクラス検出結果であり、第１のクラス合成部２７６の出力である第１のクラスコードCL1と、学習画像テーブル２２３における選択結果であり、第２のクラス合成部２７７の出力である第２のクラスコードCL2が一致した場合のみ、正規方程式が生成される。
Then, in the normal
すなわち、正規方程式生成部２７８においては、画像セット記憶部２３１からのHD信号より得られる注目位置の画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択部２７１で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、パラメータｒ、およびｚの値と、各HD画素データｙにそれぞれ対応して第１のクラス合成部２７６（第２のクラス合成部２７７）より出力されるクラスコードとから、クラスおよび出力画素の組み合わせ毎に、ユーザ係数種データｗ10乃至ｗn9を得るための正規方程式（式（１３）参照）が個別に生成される。
That is, in the normal
そして、係数種データ決定部２７９で各正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎の係数種データｗ10乃至ｗn9が求められ、それらの係数種データｗ10乃至ｗn9は、係数種メモリ２３４に格納される。そして、この係数種データは、係数データ反映装置２１に送信される。
The coefficient seed
以上のように、図２７に示される係数種データ生成部２０６においては、図８の画像信号処理部３７の係数種記憶部６１のユーザ係数メモリ７３に格納される、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎の、推定式で用いられる係数データＷｉを求めるための生成式（式（５）参照）における係数データであるユーザ係数種データｗ10乃至ｗn9を生成することができる。
As described above, in the coefficient seed
また、この係数種データ生成部２０６において、例えば、テレビジョン受信装置１をバージョンアップする場合であって、その係数種記憶部６１のユーザ係数メモリ７３に格納されるユーザ係数種データｗ10乃至ｗn9を生成する際には、テレビジョン受信装置１から取り外された基板１２の履歴情報記憶部１３に記憶されている、テレビジョン受信装置１においてユーザにより過去に視聴されたユーザ視聴画像の特徴量頻度分布と似ている特徴量頻度分布を有する学習画像が選択され、選択された学習画像のみが用いられる。
Further, in the coefficient seed
したがって、従来のように複数種類の学習画像から係数種データを求める場合よりも、選択された学習画像のみを用いて係数種データを求めることができるので、係数種データを効率的に生成することができる。 Therefore, since the coefficient seed data can be obtained using only the selected learning image, compared to the case where the coefficient seed data is obtained from a plurality of kinds of learning images as in the prior art, the coefficient seed data can be generated efficiently. Can do.
さらに、このユーザ係数種データは、制御履歴情報から同じ制御情報を有するものが抽出されることで選択されたユーザ視聴画像の特徴量頻度分布と似ているとして選択された学習画像のみから求められたものである。 Further, the user coefficient seed data is obtained only from the learning image selected as being similar to the feature frequency distribution of the user viewing image selected by extracting the control coefficient information having the same control information. It is a thing.
したがって、このユーザ係数種データを、テレビジョン受信装置１に供給し、係数種記憶部６１のユーザ係数メモリ７３に格納して、抽出された制御情報から生成される制御命令データに基づいて使用することで、テレビジョン受信装置１においては、所定の制御情報が得られる状況の場合に、ユーザがよく視聴する画像を変換した際の予測誤差を小さくすることができる。
Therefore, this user coefficient seed data is supplied to the
これにより、テレビジョン受信装置１は、設置されているユーザ宅における最高の性能を発揮することができるようになる。また、ユーザは、視聴時のテレビジョン受信装置１における状況に応じて、最適な画質の画像を視聴することができる。そして、結果的に、ユーザは、操作などを行うことが少なくなる。
Thereby, the
すなわち、ユーザ係数種データ生成に用いられる特徴量頻度分布が、履歴制御情報によりさらに絞られるため、単にユーザ視聴画像の特徴量頻度分布を用いて係数種データが生成される場合よりも、変換した際の予測誤差が、さらに小さくなり、予測精度がさらに向上する。 That is, since the feature quantity frequency distribution used for generating the user coefficient seed data is further narrowed down by the history control information, it is converted from the case where the coefficient seed data is simply generated using the feature quantity frequency distribution of the user viewing image. The prediction error is further reduced, and the prediction accuracy is further improved.
次に、図２８のフローチャートを参照して、画像信号処理部３７による、SD信号よりHD信号を得るための画像信号処理について説明する。
Next, image signal processing for obtaining an HD signal from an SD signal by the image
ステップＳ１１において、画像信号処理部３７は、SD画素データをフレーム単位またはフィールド単位で取得する。
In step S11, the image
ステップＳ１２において、画像信号処理部３７は、入力SD画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。ステップＳ１２において、処理が終わっていないと判定された場合、ステップＳ１３において、画像信号処理部３７は、リモートコントローラ１６からのユーザの操作信号がシステムコントローラ３２に入力されたか否かを判定する。
In step S12, the image
リモートコントローラ１６からのユーザの操作信号がシステムコントローラ３２に入力されると、システムコントローラ３２は、その通知を画像信号処理部３７の情報生成制御部６５に供給してくるので、ステップＳ１３において、システムコントローラ３２にユーザの操作信号が入力されたと判定され、ステップＳ１４において、画像信号処理部３７は、履歴情報の更新処理を実行する。この履歴情報の更新処理の詳細な説明は、図２９を参照して後述する。
When a user operation signal from the
ステップＳ１４の履歴情報の更新処理により、ユーザの操作情報やテレビジョン受信装置１の各部の制御情報などが制御履歴情報として履歴情報記憶部１３に記録され、ステップＳ１１において取得されたSD画素データより、画像の特徴量情報である特徴量頻度分布が、動きクラスおよび空間クラスの組み合わせ毎に求められ、そのデータが制御履歴情報に対応付けられて、履歴情報として履歴情報記憶部１３に記録される。ステップＳ１３において、リモートコントローラ１６からユーザの操作信号が入力されていないと判定された場合、ステップＳ１４はスキップされ、処理は、ステップＳ１５に進む。
As a result of the history information update process in step S14, user operation information, control information for each part of the
ステップＳ１５において、画像信号処理部３７は、係数生成処理を実行する。この係数生成処理の詳細な説明は、図３０を参照して後述する。
In step S15, the image
ステップＳ１５の係数生成処理により、テレビジョン受信装置１の各部の制御情報と、係数制御命令メモリ７２に記録されている制御命令データに基づいて、ユーザ係数メモリ７３または通常係数メモリ７４から係数種データが読み出され、係数データが生成される。
Based on the control information of each part of the
画像信号処理部３７は、ステップＳ１６において、ステップＳ１１において取得されたSD画素データより、生成すべき各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
In step S16, the image
ステップＳ１７において、画像信号処理部３７は、取得されたSD画素データの全領域において、HD画素データを得る処理が終了したか否かを判定する。ステップＳ１７において、取得されたSD画素データの全領域において処理は終了していると判定された場合、処理は、ステップＳ１１に戻り、同様の処理が繰り返されることにより、次のフレームまたはフィールドのSD画素データに対する処理が実行される。
In step S <b> 17, the image
ステップＳ１７において、取得されたSD画素データの全領域において処理は終了していないと判定された場合、ステップＳ１８において、画像信号処理部３７のクラス合成部５６は、ステップＳ１６において取得されたクラスタップのSD画素データから、クラスコードCLを生成する。
If it is determined in step S17 that the processing has not been completed in the entire area of the acquired SD pixel data, in step S18, the
ステップＳ１９において、画像信号処理部３７は、クラスコードCLに対応した係数データＷｉと予測タップのSD画素データとを使用して、推定式により、HD画素データを生成する。ステップＳ２０の処理の終了後、処理は、ステップＳ１６に戻り、上述した処理と同様の処理が繰り返される。
In step S19, the image
ステップＳ１２において、全フレーム、または全フィールドの処理が終了したと判定された場合、処理が終了される。 If it is determined in step S12 that the processing for all frames or all fields has been completed, the processing ends.
以上のようにして、画像信号処理部３７において、テレビジョン受信装置１の制御履歴情報とともにユーザ視聴画像の特徴量頻度分布を予め記憶しておき、制御履歴情報に基づいて選択された画像の特徴量頻度分布のデータが用いられて生成されたユーザ係数種データと、従来の方法で生成された通常係数種データとを、テレビジョン受信装置１における制御情報に応じて切り換え、それを用いて画像処理を行うことにより、テレビジョン受信装置１は、ユーザがよく視聴するコンテンツ（画像）について、HD画像データを、予測精度を向上させて生成することができる。
As described above, the feature amount frequency distribution of the user viewing image is stored in advance together with the control history information of the
したがって、テレビジョン受信装置１は、設置されているユーザ宅における最高の性能を発揮することができるようになる。これにより、結果的に、ユーザは、従来行っていたような画質調整などの操作することが少なくなる。
Therefore, the
次に、図２９のフローチャートを参照して、特徴量頻度分布生成部６６による図２８のステップＳ１４の履歴情報の更新処理を詳しく説明する。
Next, the history information update processing in step S14 of FIG. 28 by the feature amount frequency
ステップＳ４１において、履歴情報記憶部１３のメモリ制御部９１は、図２８のステップＳ１３においてユーザの操作信号の入力が通知されると、システムコントローラ３２から、ユーザの操作情報とテレビジョン受信装置１の各部（例えば、チューナ３３や入力切換部３５）の制御情報を取得し、ステップＳ４２において、それらの操作情報および制御情報を、制御履歴情報として履歴情報メモリ９２に記録する。
In step S41, when the input of the user operation signal is notified in step S13 of FIG. 28, the
ステップＳ４３において、特徴量頻度分布生成部６６の動きクラス検出部８４は、図２８のステップＳ１１において取得され、動きクラスタップ選択部８１により選択的に取り出された動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の動きクラスを検出し、検出したSD画素の動きクラスのクラス情報（MV）を、特徴量頻度分布演算部８７に出力する。
In step S43, the motion
ステップＳ４４において、空間クラス検出部８５は、図２８のステップＳ１１において取得され、空間クラスタップ選択部８２により選択的に取り出された空間クラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の空間クラスのクラス情報としての再量子化コード（ｑｉ）を得て、特徴量頻度分布演算部８７に出力する。
In step S44, the space
ステップＳ４５において、特徴量生成タップ選択部８３は、図２８のステップＳ１１において取得され、特徴量生成タップ選択部８３により選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の特徴量を生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部８７に出力する。
In step S45, the feature quantity generation
ステップＳ４６において、特徴量頻度分布演算部８７は、供給された動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布（ヒストグラム）を生成し、そのデータを履歴情報記憶部１３に供給する。
In step S46, the feature quantity frequency
ステップＳ４７において、履歴情報記憶部１３のメモリ制御部９１は、ステップＳ４６において生成されたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて履歴情報メモリ９２に記録された制御履歴情報に対応付けて履歴情報として記録する。
In step S47, the
以上のようにして履歴情報記憶部１３の履歴情報メモリ９２に記録された制御履歴情報とユーザ視聴画像の特徴量頻度分布のデータは、予測係数生成装置２０において、テレビジョン受信装置１のユーザ係数種データを更新する際に用いられる。
As described above, the control history information recorded in the
次に、図３０のフローチャートを参照して、図２８のステップＳ１５の係数生成処理について詳しく説明する。 Next, the coefficient generation processing in step S15 in FIG. 28 will be described in detail with reference to the flowchart in FIG.
係数種記憶部６１の係数制御部７１は、図２８のステップＳ１１において新たなSD画素データが取得される毎に、係数制御命令メモリ７２の情報を読み出し、ステップＳ６１において、システムコントローラ３２より、テレビジョン受信装置１を構成する各部（例えば、チューナ３３や入力切換部３５、画像信号処理部３７など）の制御情報を取得する。
The
ステップＳ６２において、係数制御部７１は、テレビジョン受信装置１を構成する各部の制御情報に、制御命令データに対応するものがあるか否かを判定し、制御命令データに対応するものがないと判定した場合、処理は、ステップＳ６３に進む。
In step S62, the
係数制御部７１は、ステップＳ６３において、システムコントローラ３２からユーザによるリモートコントローラ１６の操作に対応する操作情報を取得し、ステップＳ６４において、ユーザによりユーザ係数の使用が要求されているか否かを判定する。
In step S63, the
ステップＳ６４において、ユーザによりユーザ係数の使用が要求されていないと判定された場合、係数制御部７１は、ステップＳ６５において、通常係数メモリ７４に記録されている通常係数種データを読み出し、係数生成部６２に出力させる
If it is determined in step S64 that the use of the user coefficient is not requested by the user, the
一方、ステップＳ６２において、テレビジョン受信装置１を構成する各部の制御情報に、制御命令データに対応するものがあると判定された場合、または、ステップＳ６４においえ、ユーザによりユーザ係数の使用が要求されていると判定された場合、処理は、ステップＳ６６に進み、係数制御部７１は、対応するものがあるとされた制御命令データに対応付けられているユーザ係数種データをユーザ係数メモリ７３から読み出し、係数生成部６２に出力させる。
On the other hand, if it is determined in step S62 that the control information of each part constituting the
ステップＳ６７において、画像信号処理部３７の係数生成部６２は、例えば、ユーザのリモートコントローラ１６の操作によって入力された画質指定値（例えばパラメータｒ、およびｚ）を取得する。
In step S <b> 67, the
ステップＳ６８において、係数生成部６２は、読み込んだ画質指定値、クラスおよび出力画素（図９のHD１乃至HD４、図１０のHD１′乃至HD４′参照）の各組み合わせの係数種データを使用して、例えば式（５）の生成式によって、各組み合わせの推定式（式（４）参照）の係数データＷｉを生成する。
In step S68, the
以上のように、テレビジョン受信装置１の制御履歴情報に基づき選択された画像の特徴量情報を用いて生成されたユーザ係数種データは、視聴時のテレビジョン受信装置１で取得される制御情報と、このユーザ係数種データに対応して、テレビジョン受信装置１の制御履歴情報を用いて生成された制御命令データとに基づいて読み出される。すなわち、視聴時のテレビジョン受信装置１の状況に応じて、ユーザ係数種データが用いられて係数データが生成される。
As described above, the user coefficient seed data generated using the feature amount information of the image selected based on the control history information of the
次に、図３１のフローチャートを参照して、予測係数生成装置２０の学習画像の特徴量頻度分布生成処理について詳しく説明する。図３１の学習画像の特徴量頻度分布生成処理は、例えば、予測係数を生成する前に実行される。なお、図３１のステップＳ８４乃至Ｓ８７の処理は、図２９のステップＳ４３乃至Ｓ４６の処理と基本的に同様の処理を行う。
Next, the learning image feature amount frequency distribution generation processing of the prediction
予測係数生成装置２０は、ステップＳ８１において、入力端子２０２を介して、数十種類の学習画像の、教師信号としてのHD信号（１０５０ｉ信号）を入力し、入力端子２０１を介して、入力端子２０２から入力される教師信号が対応する学習画像の画像番号を入力する。なお、このとき、入力端子２０３からは、パラメータｒ、およびｚの値が入力される。
In step S <b> 81, the prediction
ステップＳ８２において、予測係数生成装置２０は、係数種データ生成部２０６の画像セット記憶部２３１に、入力端子２０２からの数十種類の学習画像の、教師信号としてのHD信号を受け、記憶させる。
In step S <b> 82, the prediction
ステップＳ８３において、学習画像頻度分布生成部２０４のSD信号生成部２１１は、入力端子２０２からの学習画像のHD信号に対して、入力端子２０３から入力されるパラメータｒ、およびｚの値を用いて、水平および垂直の間引き処理を行って、学習画像の生徒信号としてのSD信号を得る。
In step S83, the SD
ステップＳ８４において、特徴量頻度分布生成部２１２の動きクラス検出部２５４は、ステップＳ８３において得られ、動きクラスタップ選択部２５１により選択的に取り出された動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の動きクラスを検出し、検出したSD画素の動きクラスのクラス情報（MV）を、特徴量頻度分布演算部２５７に出力する。
In step S84, the motion
ステップＳ８５において、空間クラス検出部２５５は、ステップＳ８３において取得され、空間クラスタップ選択部２５２により選択的に取り出された空間クラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の空間クラスのクラス情報としての再量子化コード（ｑｉ）を得て、特徴量頻度分布演算部２５７に出力する。
In step S85, the space
ステップＳ８６において、特徴量生成タップ選択部２５３は、ステップＳ８３において取得され、特徴量生成タップ選択部２５３により選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号を構成する単位画素ブロック内の４画素に囲まれるSD画素の特徴量を生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部２５７に出力する。
In step S86, the feature quantity generation
ステップＳ８７において、特徴量頻度分布演算部２５７は、供給された動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布（ヒストグラム）を生成する。
In step S87, the feature amount frequency
ステップＳ８８において、特徴量頻度分布演算部２５７は、ステップＳ８７において生成された特徴量頻度分布のデータを、ステップＳ８１で入力端子２０１より受けた画像番号に対応付けて、動きクラスおよび空間クラスの組み合わせ毎に学習画像頻度分布メモリ２１３に記録する。
In step S88, the feature amount frequency
ステップＳ８９において、予測係数生成装置２０は、すべての学習画像が入力されたか否かを判定し、すべての学習画像が入力されていないと判定した場合、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。
In step S89, the prediction
ステップＳ８９において、すべての学習画像が入力されたと判定された場合、特徴量頻度分布生成処理は終了される。 If it is determined in step S89 that all the learning images have been input, the feature amount frequency distribution generation process ends.
次に、図３２のフローチャートを参照して、係数データ反映装置２１および予測係数生成装置２０の係数反映処理を説明する。
Next, coefficient reflection processing of the coefficient
テレビジョン受信装置１のユーザ係数種データを更新するため、履歴情報記憶部１３が構成されている基板１２が、テレビジョン受信装置１から取り外されて、データ生成反映装置２に接続される。
In order to update the user coefficient seed data of the
ステップＳ１０１において、係数データ反映装置２１の履歴情報取得部１３１は、基板１２の履歴情報記憶部１３のメモリ制御部９１を制御し、履歴情報メモリ９２から履歴情報（制御履歴情報および特徴量情報）を取得する。
In step S <b> 101, the history
ステップＳ１０２において、履歴情報判定部１３２は、履歴情報取得部１３１により取得された履歴情報から、係数生成に用いる履歴情報を選択する。
In step S102, the history
すなわち、履歴情報判定部１３２は、取得した制御履歴情報を参照して、図１５を参照して上述したように同じ条件の（同じ制御情報を有する）制御履歴情報を抽出し、その抽出情報を、係数制御命令決定部１２２に供給するとともに、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部９１に、選択した特徴量情報のみを予測係数生成装置２０に供給させるメモリ制御命令を送信する。
That is, the history
これに対応して、基板１２の履歴情報記憶部１３から、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されるので、ステップＳ１０３において、予測係数生成装置２０は、１つの動きクラスおよび空間クラスの組み合わせを選択する。
Corresponding to this, since the history
ステップＳ１０４において、予測係数生成装置２０の学習画像選択部２０５は、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータを用い、ステップＳ１０３において選択された動きクラスおよび空間クラスの組み合わせについて、学習画像の選択処理を実行する。この学習画像の選択処理は、図３３を参照して詳しく後述する。
In step S104, the learning
ステップＳ１０４の学習画像選択処理により、１つの動きクラスおよび空間クラスの組み合わせについて、基板１２の履歴情報記憶部１３に記憶されているユーザ視聴画像の特徴量頻度分布のうち、履歴情報判定部１３２により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ２１３に記録されているすべての学習画像の特徴量頻度分布が比較され、学習画像の中から、履歴情報判定部１３２により選択されたユーザ視聴画像に似ているものが選択される。そして、選択された学習画像の画像番号が、選択画像番号として、動きクラスおよび空間クラスの組み合わせとともに学習画像テーブル２２３に記録される。
By the learning image selection processing in step S104, the history
ステップＳ１０５において、係数種データ生成部２０６は、ステップＳ１０３において学習画像テーブル２２３に記録された選択画像番号の学習画像を用いて、対応する動きクラスおよび空間クラスの組み合わせのユーザ係数種データ生成処理を実行する。このユーザ係数種データ生成処理は、図３４を参照して詳しく後述する。
In step S105, the coefficient seed
ステップＳ１０５のユーザ係数種データ生成処理により、１つの動きクラスおよび空間クラスの組み合わせのユーザ係数種データが、ステップＳ１０４においてユーザ視聴画像と似ているとされた学習画像のみを用いて生成され、生成されたユーザ係数種データが、係数データ反映装置２１の係数制御命令決定部１２２に送信される。
By the user coefficient seed data generation process in step S105, user coefficient seed data of a combination of one motion class and a space class is generated and generated using only the learning image that is similar to the user viewing image in step S104. The user coefficient seed data thus transmitted is transmitted to the coefficient control
ステップＳ１０６において、予測係数生成装置２０は、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データを求めたか否かを判定し、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データをまだ求めていないと判定した場合、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。
In step S106, the prediction
ステップＳ１０６において、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データを求めたと判定された場合、求められたすべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データは、係数データ反映装置２１の係数制御命令決定部１２２に送信され、処理は、ステップＳ１０７に進む。
If it is determined in step S106 that user coefficient seed data for all combinations of motion classes and space classes has been determined, the user coefficient seed data for all combinations of motion classes and space classes determined is the coefficient
ステップＳ１０７において、係数制御命令決定部１２２は、予測生成装置２０により生成されたユーザ係数種データに対応して、メモリ制御部９１からの制御履歴情報と履歴情報判定部１３２からの抽出情報を用いて、テレビジョン受信装置１におけるユーザ係数種データの使用を制御する制御命令を生成する。
In step S <b> 107, the coefficient control
ステップＳ１０８において、係数制御命令決定部１２２は、生成した制御命令データを制御命令メモリ２２に記録し、予測係数生成装置２０により生成されたユーザ係数種データを、制御命令データに対応付けて、ユーザ係数メモリ２３に記録する。
In step S108, the coefficient control
ステップＳ１０９において、係数データ反映装置２１は、すべてのユーザ係数種データを求めたか否かを判定する。すなわち、履歴情報の中から、まだ抽出していない条件がある場合には、可能な限り同じ条件の履歴情報を抽出するまで、ステップＳ１０２に戻り、次の条件について、それ以降の処理を繰り返す。
In step S109, the coefficient
履歴情報の中から可能な限り同じ条件が抽出された場合、すべてのユーザ係数種データを求めたと判定され、処理は、ステップＳ１１０に進む。ステップＳ１１０において、係数制御命令決定部１２２は、制御命令メモリ２２に記憶された制御命令データおよびユーザ係数メモリ２３に記憶されたユーザ係数種データを、基板１２、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置１に提供する。
If the same condition is extracted as much as possible from the history information, it is determined that all user coefficient seed data has been obtained, and the process proceeds to step S110. In step S110, the coefficient control
以上のようにして、予測係数生成装置２０においては、テレビジョン受信装置１から取り出された基板１２の履歴情報記憶部１３に記憶されている履歴情報に基づいて、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布と、形状が最も似ている特徴量頻度分布を有する学習画像のみが用いられて、テレビジョン受信装置１で用いられるユーザ係数種データが生成される。
As described above, in the prediction
また、係数データ反映装置２１においては、予測係数生成装置２０による係数生成で用いられた特徴量頻度分布に対応する履歴情報に基づいて、生成されたユーザ係数種データの使用を制御する制御命令データが生成される。
Further, in the coefficient
これにより、ユーザ宅に設置されるテレビジョン受信装置１においては、装置内の制御情報に応じて、係数種データが切り換られて用いられるので、視聴時のテレビジョン受信装置１の状況、すなわち、ユーザの視聴状況に応じた最適な画質で高画質の画像に変換することができる。すなわち、ユーザは、操作することなく、自分がよく見る画像を、自分の好みの画質で視聴することができる。
Thereby, in the
次に、図３３のフローチャートを参照して、図３２のステップＳ１０４の学習画像選択処理について説明する。 Next, the learning image selection processing in step S104 in FIG. 32 will be described with reference to the flowchart in FIG.
図３２のステップＳ１０２の履歴情報判定部１３２の処理に対応して、基板１２の履歴情報記憶部１３から、係数データ反映装置２１により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されている。
Corresponding to the process of the history
ステップＳ１３１において、頻度分布比較部２２１は、図３２のステップＳ１０３で選択された動きクラスおよび空間クラスの組み合わせについて、すべての画像の特徴量頻度分布のデータを、学習画像頻度分布メモリ２１３から読み出す。なお、このとき、頻度分布比較部２２１は、係数データ反映装置２１により選択され、履歴情報記憶部１３から供給されているユーザ視聴画像の特徴量頻度分布を平均化して１つにまとめる。
In step S131, the frequency
ステップＳ１３２において、頻度分布比較部２２１は、ユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ２１３のすべての学習画像の特徴量頻度分布を比較する。
In step S <b> 132, the frequency
ステップＳ１３３において、学習画像選択部２２２は、ステップＳ１３２における比較結果に基づいて、ユーザ視聴画像の特徴量頻度分布に最も似ている学習画像を選択し、動きクラスおよび空間クラスの組み合わせに対応付けて、その選択画像番号を、学習テーブル２２３に記録する。これにより、画像選択処理は終了され、処理は、処理は、図３２のステップＳ１０４に戻る。
In step S133, the learning
次に、図３４のフローチャートを参照して、図３２のステップＳ１０５のユーザ係数種データ生成処理を詳しく説明する。 Next, the user coefficient seed data generation processing in step S105 in FIG. 32 will be described in detail with reference to the flowchart in FIG.
図３３のステップＳ１３３で学習テーブル２２３に記録された動きクラスおよび空間クラスの情報は、第２のクラス合成部２７７に入力され、その動きクラスおよび空間クラスに対応する選択画像番号は、学習セット記憶部２３１に入力される。
The information on the motion class and the space class recorded in the learning table 223 in step S133 in FIG. 33 is input to the second
また、学習セット記憶部２３１には、図３１のステップＳ８２において数十種類の学習画像のHD信号が記憶されている。
In addition, the learning set
ステップＳ１５１において、係数種データ生成部２０６は、学習セット記憶部２３１において、学習画像テーブル２２３からの選択画像番号を受け、対応する学習画像のHD信号を選択する。
In step S151, the coefficient seed
ステップＳ１５２において、係数種データ生成部２０６は、学習セット記憶部２３１からのHD画像データを取得する。
In step S152, the coefficient seed
ステップＳ１５３において、係数種データ生成部２０６は、すべてのHD画素データについて処理は終了したか否かを判定する。ステップＳ１５３において、すべてのHD画素データについて処理を終了していないと判定された場合、処理は、ステップＳ１５４に進む。
In step S153, the coefficient seed
ステップＳ１５４において、係数種データ生成部２０６のSD信号生成部２３２は、ステップＳ１５２で取得されたHD画素データに、水平および垂直の間引き処理を行い、SD画素データを生成する。
In step S154, the SD
ステップＳ１５５において、係数種データ生成部２０６は、第１のタップ選択部２７１、第２のタップ選択部２７２、および第３のタップ選択部２７３において、ステップＳ１２４で生成されたSD画素データより、ステップＳ１５２で取得された各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
In step S155, the coefficient seed
ステップＳ１５６において、係数種データ生成部２０６は、生成されたSD画素データの全領域において学習処理は終了したか否かを判定する。ステップＳ１５６において、学習処理は終了したと判定された場合、処理は、ステップＳ１５２に戻り、次のHD画素データが取得され、同様の処理が繰り返される。
In step S156, the coefficient seed
ステップＳ１５６において、学習処理は終了していないと判定された場合、係数種データ生成部２０６の第１のクラス合成部２７６は、ステップＳ１５７において、ステップＳ１２５で取得されたクラスタップのSD画素データから第１のクラスコードを生成する。
If it is determined in step S156 that the learning process has not ended, the first
ステップＳ１５８において、係数種データ生成部２０６の第２のクラス合成部２７７は、学習テーブル２２３からの動きクラスおよび空間クラスの情報を用いて、第２のクラスコードを生成する。
In step S158, the second
ステップＳ１５９において、係数種データ生成部２０６の正規方程式生成部２７８は、第１のクラスコードと第２のクラスコードが一致していた場合、正規方程式（式（１３）参照）を生成する。ステップＳ１５９の処理を終了すると、係数種データ生成部２７８は、ステップＳ１５５に処理を戻し、それ以降の処理を繰り返す。
In step S159, the normal
ステップＳ１５３において、全ての画質パターンに対して学習が終了したと判定された場合、係数種データ生成部２０６の係数種データ決定部２７９は、ステップＳ１６０において、正規方程式を掃き出し法等で解くことによって、クラスおよび出力画素（図９のHD１乃至HD４、図１０のHD１′乃至HD４′参照）の各組み合わせのユーザ係数種データを算出する。
If it is determined in step S153 that learning has been completed for all image quality patterns, the coefficient seed
そして、ステップＳ１６１において、係数種データ生成部２０６の係数種データ決定部２７９は、係数種メモリ２３４に、そのユーザ係数種データを記録する。ステップＳ１６１の処理が終了すると、係数種データ生成処理は終了され、処理は、図３２のステップＳ１０５に戻る。
In step S 161, the coefficient seed
以上のようにして、予測係数生成装置２０においては、テレビジョン受信装置１から取り出された基板１２の履歴情報記憶部１３に記憶され、係数データ反映装置１０４により制御履歴情報に基づいて選択されたユーザ視聴画像の特徴量頻度分布と、形状が最も似ている特徴量頻度分布を有する学習画像のみが用いられて、テレビジョン受信装置１で用いられる係数種データが生成される。
As described above, in the prediction
以上のように、図４に示される画像信号処理システムにおいては、テレビジョン受信装置１が、ユーザの操作に対応して、操作の度に、操作情報や装置内の制御情報と、そのときの画像の特徴量頻度分布のデータを、着脱可能な基板１２に備えられる履歴情報記憶部１３に記録しておき、テレビジョン受信装置１で用いるユーザ係数種データを更新する際に、係数データ反映装置２１が、テレビジョン受信装置１から取り外された基板１２の履歴情報記憶部１３に記録されている操作情報や装置内の制御情報に基づいて、係数生成に用いる画像の特徴量頻度分布を選択し、予測係数生成装置２０が、選択された画像の特徴量頻度分布と、特徴量頻度分布が最もよく似ている学習画像を用いて、ユーザ係数種データを生成し、さらに、係数データ反映装置２１が、そのユーザ係数種データの使用を制御する制御命令データを生成するようにした。
As described above, in the image signal processing system shown in FIG. 4, the
これにより、テレビジョン受信装置１においては、制御命令データに対応する制御情報が取得される状況のときに、生成されたユーザ係数種データが用いられる。したがって、ユーザは、例えば、従来、ビデオ１入力の際に画質調整をしていた場合であっても、係数種データ更新後においては、ビデオ１入力時には、以前のビデオ１入力時の画像の特徴量情報が用いられて生成された係数種データが使用されるので、ビデオ１入力時の画像は、その画像に最適な品質となるように変換される。
Thereby, in the
すなわち、ユーザが画質調整を行わなくても、ビデオ１入力時に最適な画像が表示されるようになる。
That is, even when the user does not perform image quality adjustment, an optimal image is displayed when
なお、上述した、図４の画像信号処理部３７では、係数データＷｉ（ｉ＝１乃至ｎ）を生成するために式（５）の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも、係数データＷｉの生成は実現可能である。
In the image
また、画像信号処理部３７では、空間方向（垂直方向および水平方向）の解像度を定めるパラメータｒとノイズ除去度を定めるパラメータｚとを設定し、これらパラメータｒ、およびｚの値を調整することで画像の空間方向の解像度と、ノイズ除去度を調整し得るものとして説明したが、その他の画像の質を定めるパラメータを設けるものも、同様にして構成することができる。例えば、パラメータとしては、垂直方向の解像度を定めるパラメータ、水平方向の解像度を定めるパラメータ、時間方向（フレーム方向）の解像度を定めるパラメータ、変換後の画素の位相の変化度（垂直方向および水平方向）を定めるパラメータ、画面の明るさやコントラストを定めるパラメータ、または、再生速度を定めるパラメータなどの種々のパラメータが考えられる。
Further, the image
これらのパラメータの値は、ユーザによる操作入力によって、直接指定されるようにしてもよいし、ユーザが編集操作した内容に基づいて、編集操作内容に関連するパラメータの値が自動的に設定されるようにしてもよい。 The values of these parameters may be directly specified by an operation input by the user, or parameter values related to the editing operation content are automatically set based on the content edited by the user. You may do it.
例えば、ユーザが、リモートコントローラ１６を操作する等して、ズーム画像を表示するように指示した場合、そのときユーザが指定したズーム画像の拡大率、変化速度、またはズーム画像の中心の元画像における位置等の情報に基づいて、ズーム画像を作成する際に必要な、画素の垂直方向および水平方向の位相変化情報、ズーム画像の解像度、または、ズーム画像のノイズ除去度等のパラメータが生成されるようにしてもよい。
For example, when the user instructs to display a zoom image by operating the
また、ユーザが、リモートコントローラ１６を操作する等して、スローモーション再生を行うように指示した場合、そのときユーザが指定した再生速度等の情報に基づいて、画像の再生速度だけでなく、画像の解像度やノイズ除去度等のパラメータが生成されるようにしてもよい。
Further, when the user instructs to perform slow motion reproduction by operating the
さらに、テレビジョン受信装置１に照度計等を設置してテレビジョン受信装置１の周囲の明るさを測定し、その測定結果に基づいて、画像の輝度等のパラメータが生成されるようにしてもよいし、例えば、画像を表示するテレビジョン受信装置１のディスプレイ等の種類（CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、またはPDP（Plasma Display Panel）等）や、画面サイズ等の情報に基づいて、画像の解像度、ノイズ除去度、明るさまたはコントラスト等のパラメータが生成されるようにしてもよい。
Further, an illuminance meter or the like is installed in the
また、画像信号処理部３７では、パラメータｒ、およびｚの２つのパラメータを調整し得るものとして説明したが、１個または３個以上のパラメータを取り扱うものも同様に構成することができる。
Further, the image
さらに、予測係数生成装置２０においては、図１９の生成方法を用いて係数種データを生成するものとして説明したが、係数種データの生成方法は、その他の方法を用いることもできる。図１９の生成方法においては、パラメータを可変することによって生成された複数のSD信号と、HD信号との間で、学習が行われて、係数種データが生成されるが、その生成方法とは異なり、例えば、パラメータを可変することによって生成された複数のSD信号毎にHD信号との間で学習を行って、式（４）の推定式の係数データＷｉを生成し、各ＳＤ信号に対応して生成された係数データＷｉを使用して、係数種データを生成する方法を用いることもできる。なお、係数種データではなく、係数データを求めることもできる。
Furthermore, although the prediction
また、上記説明においては、ユーザ視聴画像の特徴量頻度分布と学習画像の特徴量頻度分布を比較する際に、相関係数Ｃを比較値として用いて比較する場合を説明したが、比較値は、相関係数Ｃに限らず、両方の特徴量情報が似ているか相違しているかを評価できる値であれば、他の値を用いることもできる。この場合、比較値が大きい場合が必ずしも似ていると評価されるわけではなく、比較値の種類に応じて評価される。 Further, in the above description, when comparing the feature amount frequency distribution of the user viewing image and the feature amount frequency distribution of the learning image, the case where the correlation coefficient C is used as a comparison value has been described. Other values can be used as long as the values are not limited to the correlation coefficient C and can be used to evaluate whether both pieces of feature amount information are similar or different. In this case, the case where the comparison value is large is not necessarily evaluated as being similar, but is evaluated according to the type of the comparison value.
なお、上記説明においては、SD信号をHD信号に変換する、チューナおよびモニタを備えたテレビジョン受信装置を用いて説明したが、本発明は、テレビジョン受信装置に限定されず、SD信号をHD信号に変換する装置であれば、例えば、画像処理装置などにも適用される。 In the above description, the description has been given using the television receiver having the tuner and the monitor that converts the SD signal into the HD signal. However, the present invention is not limited to the television receiver, and the SD signal is converted into the HD signal. Any device that converts a signal can be applied to an image processing device, for example.
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
図３５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ４０１の構成の例を示すブロック図である。CPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記憶部４１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。
FIG. 35 is a block diagram showing an example of the configuration of a
CPU４１１にはまた、バス４１４を介して入出力インタフェース４１５が接続されている。入出力インタフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。
An input /
入出力インタフェース４１５に接続されている記憶部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記憶する。通信部４１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
The
また、通信部４１９を介してプログラムを取得し、記憶部４１８に記憶してもよい。
A program may be acquired via the
入出力インタフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４１８に転送され、記憶される。
The
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４２１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記憶部４１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
As shown in FIG. 35, a program recording medium for storing a program that is installed in a computer and is ready to be executed by the computer is a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only). Memory, DVD (Digital Versatile Disc), a magneto-optical disk, a removable medium 421 that is a package medium composed of a semiconductor memory, a
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program recording medium is not limited to the processing performed in time series in the order described, but is not necessarily performed in time series. Or the process performed separately is also included.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
１ テレビジョン受信装置， ２ データ生成反映装置， １２ 基板， １３， 履歴情報記憶部， ２０ 予測係数生成装置， ２１ 係数データ反映装置， ２２ 制御命令メモリ， ２３ ユーザ係数メモリ，３２ システムコントローラ， ３３ チューナ， ３５ 入力切換部， ３７ 画像信号処理部， ６１ 係数種記憶部， ６５ 情報生成制御部， ６６ 特徴量頻度分布生成部， ７１ 係数制御部， ７２ 係数制御命令メモリ， ７３ ユーザ係数メモリ， ７４ 通常係数メモリ， ８３ 特徴量生成タップ選択部， ８６ 特徴量生成部， ８７ 特徴量頻度分布演算部， ９１ メモリ制御部， ９２ 履歴情報メモリ， １２２ 係数制御目例決定部， １３１ 履歴情報取得部， １３２ 履歴情報判定部， ２０４ 学習画像頻度分布生成部， ２０５ 学習画像選択部， ２０６ 係数種データ生成部， ２０７ システムコントローラ， ２１１ SD信号生成部， ２１２ 特徴量頻度分布生成部， ２１３ 学習画像頻度分布メモリ， ２２１ 頻度分布比較部， ２２２ 学習画像選択部， ２２３ 学習画像テーブル， ２３１ 画像セット記憶部， ２３２SD信号生成部， ２３３ 予測係数学習部， ２３４ 係数種メモリ， ２５３ 特徴量生成タップ選択部， ２５６ 特徴量生成部， ２５７ 特徴量頻度分布演算部， ２７６ 第１のクラス合成部， ２７７ 第２のクラス合成部 DESCRIPTION OF SYMBOLS 1 Television receiver, 2 Data production | generation reflection apparatus, 12 Board | substrates 13, History information storage part, 20 Prediction coefficient production | generation apparatus, 21 Coefficient data reflection apparatus, 22 Control command memory, 23 User coefficient memory, 32 System controller, 33 Tuner , 35 input switching unit, 37 image signal processing unit, 61 coefficient type storage unit, 65 information generation control unit, 66 feature quantity frequency distribution generation unit, 71 coefficient control unit, 72 coefficient control command memory, 73 user coefficient memory, 74 normal Coefficient memory, 83 feature quantity generation tap selection section, 86 feature quantity generation section, 87 feature quantity frequency distribution calculation section, 91 memory control section, 92 history information memory, 122 coefficient control example determination section, 131 history information acquisition section, 132 History information determination unit, 204 learning image frequency distribution generation , 205 learning image selection unit, 206 coefficient seed data generation unit, 207 system controller, 211 SD signal generation unit, 212 feature amount frequency distribution generation unit, 213 learning image frequency distribution memory, 221 frequency distribution comparison unit, 222 learning image selection unit , 223 learning image table, 231 image set storage unit, 232SD signal generation unit, 233 prediction coefficient learning unit, 234 coefficient seed memory, 253 feature quantity generation tap selection unit, 256 feature quantity generation unit, 257 feature quantity frequency distribution calculation unit, 276 first class synthesis unit, 277 second class synthesis unit
Claims (15)
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段と、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第１の係数を記憶する第１の係数メモリと、
前記第１の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第１の係数の使用を制御するための制御命令データを記憶する命令メモリと、
前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段と、
前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第１の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する画像信号変換手段と
を備える信号処理装置。 In the signal processing device that converts the first image signal into a second image signal having a higher resolution than the first image signal,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. History information storage means for storing in association with history information;
A first coefficient memory for storing a first coefficient generated using the feature amount information of the image selected based on the history control information stored in the history information storage means;
An instruction memory for storing control instruction data for controlling use of the first coefficient generated based on the control history information corresponding to the feature amount information of the image used for generating the first coefficient When,
Determination means for determining whether or not there is control information in the signal processing device acquired when the control command data stored in the command memory is read out, corresponding to the control command data;
When it is determined by the determination means that there is one corresponding to the control command data, the first image signal is converted into the second image signal by performing an operation using the first coefficient. A signal processing apparatus comprising:
請求項１に記載の信号処理装置。 The signal processing apparatus according to claim 1, wherein the feature amount storage unit is provided on a detachable substrate.
請求項１に記載の信号処理装置。 The signal processing device according to claim 1, wherein the feature amount information of the image is a feature amount frequency distribution of the image.
前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第２の係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する
請求項１に記載の信号処理装置。 A second coefficient memory for storing a second coefficient generated by using a plurality of learning images without using the history information;
When it is determined by the determination means that there is no data corresponding to the control command data, the image signal conversion means performs an operation using the second coefficient, thereby obtaining the first image signal, The signal processing apparatus according to claim 1, wherein the signal processing apparatus converts the second image signal into a second image signal.
前記画像信号変換手段により変換される前記第１の画像信号を、前記チューナからの前記第１の画像信号または外部から入力される前記第１の画像信号に切り換える入力切換手段とをさらに備え、
前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報である
請求項１に記載の信号処理装置。 A tuner that selects a received broadcast signal and obtains the first image signal;
Input switching means for switching the first image signal converted by the image signal converting means to the first image signal from the tuner or the first image signal input from the outside;
The control information is information for controlling parameters of channel selection by the tuner, input switching by the input switching unit, or image conversion by the image signal conversion unit in response to a user operation. Signal processing device.
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶し、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、
前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、
前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する
ステップを含む信号処理方法。 In the signal processing method of the signal processing device for converting the first image signal into the second image signal having a higher resolution than the first image signal,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. Store it in the history information storage means in association with the history information,
In order to control the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means, the coefficient used for generating the coefficient Control command data generated based on the control history information corresponding to the feature amount information of the image is read from the command memory,
Determining whether the control information in the signal processing device obtained when the control command data is read from the command memory corresponds to the control command data;
A signal processing method including a step of converting the first image signal into the second image signal by performing an operation using the coefficient when it is determined that there is one corresponding to the control command data .
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、
前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、
前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第１の画像信号を、前記第２の画像信号に変換する
ステップを含むプログラム。 A program for causing a signal processing device that converts a first image signal to a second image signal having a higher resolution than the first image signal to perform a predetermined process,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. It is stored in the history information storage means in association with the history information,
In order to control the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means, the coefficient used for generating the coefficient Control command data generated based on the control history information corresponding to the feature amount information of the image is read from the command memory,
Determining whether the control information in the signal processing device obtained when the control command data is read from the command memory corresponds to the control command data;
A program including a step of converting the first image signal into the second image signal by performing an operation using the coefficient when it is determined that there is data corresponding to the control command data.
前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段と、
前記取得手段により取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段と、
前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段と
を備える信号処理装置。 In a signal processing apparatus that performs processing for using a predetermined coefficient in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and each user operation An acquisition means for acquiring the control history information and the feature amount information of the image from a history information storage means in which the feature amount information of the image corresponding to the generated first image signal is stored in association with each other When,
Information selection means for selecting feature amount information of the image used for generating a coefficient to be used for calculation to convert to the second image signal based on the control history information acquired by the acquisition means;
Control command data for controlling use of the coefficient generated by using the feature amount information of the image selected by the information selection unit in the other signal processing device is selected by the information selection unit. And a command generation unit configured to generate based on the control history information corresponding to the feature amount information of the image.
請求項９に記載の信号処理装置。 The signal processing apparatus according to claim 9, wherein the history information storage unit is provided on a substrate that can be attached to and detached from the other signal processing apparatus.
請求項９に記載の信号処理装置。 The signal processing apparatus according to claim 9, wherein the image feature amount information is a feature amount frequency distribution of the image.
前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段と、
前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第２の画像信号に変換する演算に用いられる係数を生成する係数生成手段と
をさらに備える
請求項９に記載の信号処理装置。 Feature quantity generation means for generating feature quantity information of the learning image;
Using the feature amount information of the learning image generated by the feature amount generation means and the feature amount information of the image selected by the information selection means, the one similar to the image is selected from the learning images. Image selection means;
The coefficient generation means which produces | generates the coefficient used for the calculation converted into a said 2nd image signal by the said other signal processing apparatus using the said learning image selected by the said image selection means further comprises: The signal processing apparatus as described.
前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、
取得された前記制御履歴情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、
選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する
ステップを含む信号処理方法。 In the signal processing method of the signal processing device that performs processing for using a predetermined coefficient in the operation of converting the first image signal into the second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and each user operation Obtaining the control history information and the feature amount information of the image from the history information storage means stored in association with the feature amount information of the image corresponding to the first image signal generated in
Based on the acquired control history information, select feature value information of the image to be used for generating a coefficient to be used for calculation to convert to the second image signal,
Control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. A signal processing method including a step of generating based on control history information.
前記第１の画像信号を、前記第２の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られる前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成される前記第１の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、
取得された前記制御履歴情報の前記制御情報に基づいて、前記第２の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、
選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する
ステップを含むプログラム。 A program for causing a computer to perform processing for using a predetermined coefficient in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and for each user operation Obtaining the control history information and the feature amount information of the image from the history information storage means stored in association with the feature amount information of the image corresponding to the generated first image signal;
Based on the control information of the acquired control history information, select feature value information of the image used for generating a coefficient to be used for calculation to convert to the second image signal,
Control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. A program that includes steps that are generated based on control history information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006063631A JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006063631A JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007243633A true JP2007243633A (en) | 2007-09-20 |
Family
ID=38588711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006063631A Withdrawn JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007243633A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011023922A (en) * | 2009-07-15 | 2011-02-03 | Fuji Xerox Co Ltd | Image coding apparatus and program thereof |
-
2006
- 2006-03-09 JP JP2006063631A patent/JP2007243633A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011023922A (en) * | 2009-07-15 | 2011-02-03 | Fuji Xerox Co Ltd | Image coding apparatus and program thereof |
| US8433151B2 (en) | 2009-07-15 | 2013-04-30 | Fuji Xerox Co., Ltd. | Image coding apparatus, image coding method and computer readable medium storing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7911533B2 (en) | Method and apparatus for processing information, storage medium, and program | |
| US8581906B2 (en) | Image processing apparatus and image processing method | |
| JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
| US7460178B2 (en) | Image processing apparatus and image processing method | |
| US20170162171A1 (en) | Display apparatus and control method thereof | |
| CN101646042A (en) | Image processing apparatus and image processing method | |
| JP3885786B2 (en) | Information signal processing apparatus and processing method, and program for executing the processing method | |
| US20100007790A1 (en) | Remote controller, image signal processing apparatus, and image signal processing method | |
| US7286184B2 (en) | Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium | |
| US7616263B2 (en) | Information-processing apparatus and removable substrate used therein | |
| US20040233331A1 (en) | Apparatus, method and program for generating coefficient type data or coefficient data used in image display apparatus, computer-readable medium containing the program | |
| JP2007243633A (en) | Signal processing apparatus and method, recording medium, and program | |
| US7810128B2 (en) | Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith | |
| JP4803279B2 (en) | Image signal processing apparatus and method, recording medium, and program | |
| JP2007243632A (en) | Signal processing apparatus and method, recording medium, and program | |
| JP4048835B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| JP4349086B2 (en) | Information signal processing apparatus and processing method, program for executing the processing method, and medium storing the program | |
| JP4419045B2 (en) | Information processing system, information processing apparatus and method, recording medium, and program | |
| JP4092921B2 (en) | Information signal processing apparatus, information signal processing method and image display apparatus, coefficient seed data generating apparatus and generating method used therefor, coefficient data generating apparatus and generating method, program for executing each method, and program thereof Recorded computer-readable medium | |
| JP4691814B2 (en) | Information signal processing apparatus, information signal processing method, and recording medium | |
| JP4649786B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and coefficient seed data generating apparatus and generating method used therefor | |
| JP4329453B2 (en) | Image signal processing apparatus and method, recording medium, and program | |
| JP4649812B2 (en) | Image signal processing apparatus, image signal processing method and image display apparatus using the same, program for executing each image signal processing method, and computer-readable medium storing the program | |
| JP4692800B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, coefficient seed data generating apparatus and generating method used therefor, and recording medium | |
| JP2007058232A (en) | Information signal processing apparatus and processing method, and program for executing processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |