JP2007243633A - Signal processing apparatus and method, recording medium, and program - Google Patents
Signal processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP2007243633A JP2007243633A JP2006063631A JP2006063631A JP2007243633A JP 2007243633 A JP2007243633 A JP 2007243633A JP 2006063631 A JP2006063631 A JP 2006063631A JP 2006063631 A JP2006063631 A JP 2006063631A JP 2007243633 A JP2007243633 A JP 2007243633A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficient
- signal
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、ユーザの操作とそのときの画像に対応した予測係数を生成することで、視聴状況に応じて、ユーザにとって最適な画像を提供することができるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to a signal processing apparatus and method, a recording medium, and a program, and in particular, by generating a prediction coefficient corresponding to a user operation and an image at that time, an optimal image for the user can be obtained according to viewing conditions. The present invention relates to a signal processing apparatus and method, a recording medium, and a program that can be provided.
従来、低解像度の画像データに対して補間フィルタによる周波数補間処理を施して画素補間を行う等して、低解像度の画像データを高解像度の画像データに変換する画像データ変換装置(アップコンバータ)として、低解像度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、予測係数と低解像度の画像データとから、高解像度の画像データを予測演算する、いわゆる、クラス分類適応処理を採用した画像データ変換装置が存在する。 Conventionally, as an image data converter (upconverter) that converts low-resolution image data into high-resolution image data by subjecting low-resolution image data to pixel interpolation by performing frequency interpolation processing using an interpolation filter. After classifying the low-resolution image data into classes according to the signal level distribution of each pixel, the prediction coefficient corresponding to the class is read from a memory in which data called a prediction coefficient is stored in advance. There is an image data conversion apparatus that employs so-called class classification adaptive processing for predicting and calculating high resolution image data from resolution image data.
この画像データ変換装置のメモリに格納されている予測係数は、学習と呼ばれるデータ処理によって予め生成されている。この予測係数を生成する学習回路は、通過帯域の異なる複数のデジタルフィルタより選択された、教師画像としての高解像度の画像データに最適なデジタルフィルタを用いて、教師画像としての高解像度の画像データをダウンコンバートすることにより、生徒画像としての低解像度の画像データを生成し、高解像度の画像データと低解像度の画像データとの間で学習を行って予測係数を生成するようになされている(特許文献1参照)。 Prediction coefficients stored in the memory of the image data converter are generated in advance by data processing called learning. The learning circuit that generates the prediction coefficient uses high-resolution image data as a teacher image using a digital filter that is selected from a plurality of digital filters having different passbands and that is optimal for the high-resolution image data as a teacher image. Is converted into low-resolution image data as a student image, and learning is performed between the high-resolution image data and the low-resolution image data to generate a prediction coefficient ( Patent Document 1).
例えば、近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジョン受信装置の開発が望まれ、この要望に応えて、いわゆるハイビジョン(HDTV:High Definition TeleVision)が開発された。ハイビジョンの走査線は、NTSC(National Television Standards Committee)方式の走査線数が525本であるのに対して、2倍以上の1125本である。また、ハイビジョンの縦横比は、NTSC方式の縦横比が3:4であるのに対して、9:16となっている。このため、ハイビジョンでは、NTSC方式に比べて、高解像度で臨場感のある画像を表示することができる。 For example, in recent years, the development of television receivers that can obtain higher-resolution images has been desired due to the increase in audio / visual orientation. In response to this demand, so-called high definition television (HDTV) has been developed. It has been developed. The number of high-definition scan lines is 1125, which is more than twice that of 525 scan lines in the NTSC (National Television Standards Committee) system. Also, the aspect ratio of the high vision is 9:16, whereas the aspect ratio of the NTSC system is 3: 4. For this reason, high-definition images can be displayed with higher resolution and presence than in the NTSC system.
上述した画像データ変換装置を内蔵するテレビジョン受信装置は、このNTSC方式のビデオ信号から、ハイビジョンのビデオ信号の注目位置の画素データに対応するブロック(領域)の画素データを抽出し、このブロックの画素データのレベル分布パターンに基づいて、上述の注目位置の画素データの属するクラスを決定し、このクラスに対応して、予測係数を読み出し、予測係数を用いて、注目位置の画素データを生成する。 The television receiver incorporating the above-described image data converter extracts pixel data of a block (area) corresponding to pixel data at a target position of a high-definition video signal from the NTSC video signal, and Based on the level distribution pattern of the pixel data, the class to which the pixel data at the above-mentioned target position belongs is determined, the prediction coefficient is read out corresponding to this class, and the pixel data at the target position is generated using the prediction coefficient. .
ここで、特許文献1の画像データ変換装置の予測係数は、数十種類にも及ぶ教師画像の画像セットを用いた最小二乗法による学習により求められている。この時、通常の開発時においては、あらゆる入力信号に対して破綻がないようにするため、予め様々な特徴を持った画像セットを用意しておき、それらを混ぜ合わせたものを学習セットに用いている。
Here, the prediction coefficient of the image data conversion apparatus of
すなわち、統計的にロバストな性能を発揮するのが、従来の予測係数の特徴であった。 That is, it is a feature of the conventional prediction coefficient that exhibits statistically robust performance.
しかしながら、実際にユーザが家庭で視聴するテレビジョン信号の特徴は、予測係数の学習時に用いられている画像セットの特徴と一致するとは限らなかった。例えば、視聴コンテンツが極端に偏っていたり、受信状態がひどく一般的でない場合などは、統計的にロバストな予測係数では、画像データ変換装置が本来の性能を発揮できない恐れがあった。 However, the characteristics of the television signal that the user actually watches at home do not always match the characteristics of the image set used when learning the prediction coefficient. For example, when the viewing content is extremely biased or the reception state is extremely uncommon, the image data conversion device may not be able to exhibit its original performance with a statistically robust prediction coefficient.
また、従来より、特許文献1の画像データ変換装置のように、ユーザ操作により予測係数を切り換えたり、係数生成式のパラメータ値を変えたりすることは可能であったが、上述したように、多様な係数の切り換えパターンを持っていたとしても、それがすべてのユーザにとって必ずしも有効であるとは限らず、さらに、切り換えパターンが多くなるに連れ、ユーザの能動的な操作が煩雑になる恐れがあった。
Conventionally, as in the image data conversion apparatus of
本発明は、このような状況に鑑みてなされたものであり、視聴状況に応じて、ユーザがよく視聴する画像に対しての予測誤差を少なくし、予測精度を向上させ、ユーザの手を煩わせないようにすることができるようにするものである。 The present invention has been made in view of such a situation, and according to the viewing situation, the prediction error for an image often viewed by the user is reduced, the prediction accuracy is improved, and the user's hand is troublesome. It is to be able to prevent it.
本発明の第1の側面の信号処理装置は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置において、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段と、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第1の係数を記憶する第1の係数メモリと、前記第1の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第1の係数の使用を制御するための制御命令データを記憶する命令メモリと、前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段と、前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第1の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する画像信号変換手段とを備える。 A signal processing device according to a first aspect of the present invention is a signal processing device that converts a first image signal into a second image signal having a resolution higher than that of the first image signal. Control information stored in the signal processing apparatus is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is associated with the control history information. A history information storage unit for storing, and a first coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage unit is stored. Control instruction data for controlling use of the first coefficient generated based on the control history information corresponding to the coefficient memory and the feature amount information of the image used to generate the first coefficient Instruction memory to memorize Determination means for determining whether or not there is control information in the signal processing device acquired when the control command data stored in the command memory is read out, corresponding to the control command data; When it is determined by the determination means that there is one corresponding to the control command data, the first image signal is converted into the second image signal by performing an operation using the first coefficient. Image signal conversion means.
前記特徴量記憶手段は、着脱可能な基板に設けられることができる。 The feature amount storage means may be provided on a detachable substrate.
前記画像の特徴量情報は、前記画像の特徴量頻度分布とされることができる。 The feature amount information of the image may be a feature amount frequency distribution of the image.
前記履歴情報を用いることなく、複数の学習画像が用いられて生成された第2の係数を記憶する第2の係数メモリをさらに備え、前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第2の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換することができる。 A second coefficient memory for storing a second coefficient generated by using a plurality of learning images without using the history information is further provided, and there is no one corresponding to the control command data by the determination unit. When it is determined, the image signal converting means can convert the first image signal into the second image signal by performing an operation using the second coefficient.
受信された放送信号の選局を行い、前記第1の画像信号を得るチューナと、前記画像信号変換手段により変換される前記第1の画像信号を、前記チューナからの前記第1の画像信号または外部から入力される前記第1の画像信号に切り換える入力切換手段とをさらに備え、前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報であることができる。 A tuner that selects a received broadcast signal and obtains the first image signal, and the first image signal that is converted by the image signal conversion means, the first image signal from the tuner or Input switching means for switching to the first image signal input from the outside, and the control information is selected by the tuner, input switching by the input switching means, or It can be information for controlling parameters of image conversion by the image signal conversion means.
本発明の第1の側面の信号処理方法は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置の信号処理方法において、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶し、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換するステップを含む。 A signal processing method according to a first aspect of the present invention is a signal processing method of a signal processing device that converts a first image signal into a second image signal having a higher resolution than the first image signal. Control information in the signal processing device obtained for each operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is stored in the control history information. Is stored in the history information storage means, and the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means is controlled. Therefore, the control command data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is read from the command memory, and the control command data is the command memory. In the control information in the signal processing device acquired when read, it is determined whether there is a corresponding to the control command data, if it is determined that there is a corresponding to the control command data, The step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第1の側面のプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置に、所定の処理を行わせるプログラムであって、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換するステップを含む。 The program according to the first aspect of the present invention is a program that causes a signal processing device that converts a first image signal to a second image signal having a higher resolution than the first image signal to perform predetermined processing. Then, control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation Is stored in the history information storage means in association with the control history information, and the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means Control instruction data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is read from the instruction memory, and the control instruction data is controlled. Control information in the signal processing device acquired when the data is read from the command memory is determined whether there is data corresponding to the control command data, and there is information corresponding to the control command data If it is determined, the step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第1の側面の記録媒体に記録されているプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置に、所定の処理を行わせるプログラムであって、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換するステップを含む。 A program recorded on a recording medium according to the first aspect of the present invention provides a signal processing apparatus that converts a first image signal into a second image signal having a higher resolution than the first image signal. The control information in the signal processing device obtained for each user operation is stored as control history information, and the first image signal generated for each user operation is stored in the first image signal generated by the user operation. Corresponding feature amount information of an image is associated with the control history information and stored in history information storage means, and feature amount information of the image selected based on the history control information stored in the history information storage means is Control command data generated based on the control history information corresponding to the feature amount information of the image used for generating the coefficient is controlled from the command memory in order to control use of the generated coefficient. Determining whether the control information in the signal processing device acquired when the control instruction data is read from the instruction memory corresponds to the control instruction data; and When it is determined that there is a signal corresponding to the above, a step of converting the first image signal into the second image signal by performing an operation using the coefficient is included.
本発明の第2の側面の信号処理装置は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置において、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段と、前記取得手段により取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段と、前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段とを備える。 The signal processing device according to the second aspect of the present invention is a process for causing a first image signal to be used in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal. Control signal information in the other signal processing device obtained for each user operation in another signal processing device that converts the first image signal into the second image signal. From the history information storage means in which the feature amount information of the image corresponding to the first image signal generated for each user operation is stored in association with each other, from the control history information and the feature of the image Selection means for acquiring quantity information, and selection of the feature quantity information of the image used for generating a coefficient to be used for calculation to convert to the second image signal based on the control history information acquired by the acquisition means Information selection And control command data for controlling the use of the coefficients generated by the feature selection information of the image selected by the information selection means in the other signal processing device by the information selection means. Command generation means for generating based on the control history information corresponding to the feature amount information of the selected image.
前記履歴情報記憶手段は、前記他の信号処理装置に着脱可能な基板に設けられることができる。 The history information storage means may be provided on a substrate that can be attached to and detached from the other signal processing device.
前記画像の特徴量情報は、前記画像の特徴量頻度分布とされることができる。 The feature amount information of the image may be a feature amount frequency distribution of the image.
学習画像の特徴量情報を生成する特徴量生成手段と、前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段と、前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第2の画像信号に変換する演算に用いられる係数を生成する係数生成手段とをさらに備えることができる。 Using feature amount generation means for generating feature amount information of a learning image, feature amount information of the learning image generated by the feature amount generation means, and feature amount information of the image selected by the information selection means The image selection means for selecting an image similar to the image from the learning image, and the learning image selected by the image selection means, and converted into the second image signal by the other signal processing device Coefficient generating means for generating a coefficient used for the operation to be performed can be further provided.
本発明の第2の側面の信号処理方法は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置の信号処理方法において、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The signal processing method according to the second aspect of the present invention is a process for using a predetermined coefficient in an operation for converting a first image signal into a second image signal having a resolution higher than that of the first image signal. In the signal processing method of the signal processing device that performs the above, in the other signal processing device that converts the first image signal into the second image signal, the other signal processing device obtained for each user operation From the history information storage means in which the control history information and the image feature amount information corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and The feature amount information of the image is acquired, and based on the acquired control history information, the feature amount information of the image used for generation of a coefficient used for calculation to be converted into the second image signal is selected and selected. Of said image Control command data for controlling use of the coefficient generated by using information in the other signal processing device is generated based on the control history information corresponding to the feature amount information of the selected image. Includes steps.
本発明の第2の側面のプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理をコンピュータに行わせるプログラムであって、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The program according to the second aspect of the present invention is a computer that performs processing for causing a predetermined coefficient to be used in an operation for converting a first image signal into a second image signal having a higher resolution than the first image signal. In another signal processing device that converts the first image signal into the second image signal, a control history in the other signal processing device obtained for each user operation From the history information storage means in which the information and the feature amount information of the image corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and the image The feature amount information is acquired, and based on the acquired control history information, the feature amount information of the image used for generating a coefficient to be used for calculation to be converted into the second image signal is selected, and the selected Image features Control command data for controlling use of the coefficient generated by using information in the other signal processing device is generated based on the control history information corresponding to the feature amount information of the selected image. Includes steps.
本発明の第2の側面の記録媒体に記録されているプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理をコンピュータに行わせるプログラムであって、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成するステップを含む。 The program recorded on the recording medium according to the second aspect of the present invention uses a predetermined coefficient for the operation of converting the first image signal into a second image signal having a higher resolution than the first image signal. A program that causes a computer to perform processing for use in the other signal processing device that converts the first image signal into the second image signal, and that is obtained for each user operation. From the history information storage means in which the control history information in the signal processing device and the image feature amount information corresponding to the first image signal generated for each user operation are stored in association with each other, The control feature information and the feature amount information of the image are acquired, and based on the acquired control history information, the feature amount information of the image used for generating a coefficient to be used for calculation to convert to the second image signal is obtained. Selected, The control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. Generating based on the control history information.
本発明の第1の側面においては、ユーザの操作毎に得られた信号処理装置内の制御情報が制御履歴情報として記憶され、前記ユーザの操作毎に生成された第1の画像信号に対応する画像の特徴量情報が前記制御履歴情報に対応付けられて履歴情報記憶手段に記憶される。そして、前記履歴情報記憶手段に記憶される前記制御履歴情報の制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データが、命令メモリから読み出され、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かが判定され、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号が、前記第2の画像信号に変換される。 In the first aspect of the present invention, control information in the signal processing device obtained for each user operation is stored as control history information, and corresponds to the first image signal generated for each user operation. Image feature amount information is stored in the history information storage unit in association with the control history information. The coefficient generation unit controls the use of the coefficient generated by using the feature amount information of the image selected based on the control information of the control history information stored in the history information storage unit. Obtained when the control command data generated based on the control history information corresponding to the feature information of the image used in the processing is read from the command memory and the control command data is read from the command memory. It is determined whether there is control information in the signal processing device corresponding to the control command data. If it is determined that there is a control information corresponding to the control command data, an operation is performed using the coefficient. By performing the above, the first image signal is converted into the second image signal.
本発明の第2の側面においては、第1の画像信号を、第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報が取得され、取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報が選択される。そして、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データが、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成される。 In the second aspect of the present invention, in another signal processing device that converts the first image signal into the second image signal, the control history in the other signal processing device obtained for each user operation. From the history information storage means in which the information and the feature amount information of the image corresponding to the first image signal generated for each user operation are stored in association with each other, the control history information and the image Feature amount information is acquired, and based on the acquired control history information, feature amount information of the image used for generation of a coefficient used for calculation to convert to the second image signal is selected. Then, the control command data for controlling the use of the coefficient generated by using the feature amount information of the selected image in the other signal processing device corresponds to the feature amount information of the selected image. Generated based on the control history information.
本発明によれば、視聴状況に応じて、ユーザにとって最適な画像を提供することができる。これにより、ユーザの手を煩わせないようにすることができる。 According to the present invention, it is possible to provide an optimal image for a user according to a viewing situation. Thereby, a user's hand can be made troublesome.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment that is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の第1の側面の信号処理装置は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置(例えば、図4のテレビジョン受信装置1)において、ユーザの操作毎に得られた前記信号処理装置内の制御情報が制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段(例えば、図4の履歴情報記憶部13)と、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第1の係数を記憶する第1の係数メモリ(例えば、図11のユーザ係数メモリ73)と、前記第1の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第1の係数の使用を制御するための制御命令データを記憶する命令メモリ(例えば、図11の係数制御命令メモリ72)と、前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段(例えば、図11の係数制御部71)と、前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第1の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する画像信号変換手段(例えば、図6の画像信号処理部37)とを備える。
The signal processing device according to the first aspect of the present invention is a signal processing device that converts a first image signal into a second image signal having a higher resolution than the first image signal (for example, the television shown in FIG. 4). In the receiving device 1), control information in the signal processing device obtained for each user operation is stored as control history information, and an image corresponding to the first image signal generated for each user operation is stored. A history information storage unit (for example, the history
前記特徴量記憶手段は、着脱可能な基板(例えば、図4の基板12)に設けられることができる。
The feature amount storage means may be provided on a detachable substrate (for example, the
前記履歴情報を用いることなく、複数の学習画像が用いられて生成された第2の係数を記憶する第2の係数メモリ(例えば、図11の通常係数メモリ74)をさらに備え、前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第2の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換することができる。
A second coefficient memory (for example, the
受信された放送信号の選局を行い、前記第1の画像信号を得るチューナ(例えば、図6のチューナ33)と、前記画像信号変換手段により変換される前記第1の画像信号を、前記チューナからの前記第1の画像信号または外部から入力される前記第1の画像信号に切り換える入力切換手段(例えば、図6の入力切換部35)とをさらに備え、前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報であることができる。
A tuner (for example, the
本発明の第1の側面の信号処理方法またはプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する信号処理装置(例えば、図4のテレビジョン受信装置1)の信号処理方法またはプログラムにおいて、ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段(例えば、図4の履歴情報記憶部13)に記憶し(例えば、図28のステップS14)、前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し(例えば、図30のステップS61)、前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し(例えば、図30のステップS62)、前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する(例えば、図28のステップS19)ステップを含む。
The signal processing method or program according to the first aspect of the present invention provides a signal processing device (for example, FIG. 4) that converts a first image signal into a second image signal having a higher resolution than the first image signal. In the signal processing method or program of the television receiver 1), the control information in the signal processing device obtained for each user operation is stored as control history information, and the first information generated for each user operation is stored. The image feature amount information corresponding to the image signal is stored in the history information storage means (for example, the history
本発明の第2の側面の信号処理装置は、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置(例えば、図4のデータ生成反映装置2)において、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置(例えば、図4のテレビジョン受信装置1)において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段(例えば、図4の履歴情報記憶部13)から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段(例えば、図20の履歴情報取得部131)と、前記取得手段により取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段(例えば、図20の履歴情報判定部132)と、前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段(例えば、図20の係数制御命令決定部122)とを備える。
The signal processing device according to the second aspect of the present invention is a process for causing a first image signal to be used in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal. In the signal processing device (for example, the data generation /
前記履歴情報記憶手段は、前記他の信号処理装置に着脱可能な基板(例えば、図4の基板12)に設けられることができる。
The history information storage means may be provided on a substrate (for example, the
学習画像の特徴量情報を生成する特徴量生成手段(例えば、図21の学習画像頻度分布生成部204)と、前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段(例えば、図21の学習画像選択部205)と、前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第2の画像信号に変換する演算に用いられる係数を生成する係数生成手段(例えば、図21の係数種データ生成部206)とをさらに備えることができる。
Feature amount generation means (for example, a learning image frequency
本発明の第2の側面の信号処理方法またはプログラムは、第1の画像信号を、前記第1の画像信号よりも高解像度の第2の画像信号に変換する演算に所定の係数を使用させるための処理を行う信号処理装置(例えば、図4のデータ生成反映装置2)の信号処理方法またはプログラムにおいて、前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置(例えば、図4のテレビジョン受信装置1)において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段(例えば、図4の履歴情報記憶部13)から、前記制御履歴情報および前記画像の特徴量情報を取得し(例えば、図32のステップS101)、取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し(例えば、図32のステップS102)、選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する(例えば、図32のステップS107)ステップを含む。
The signal processing method or program according to the second aspect of the present invention causes a predetermined coefficient to be used in an operation for converting a first image signal into a second image signal having a resolution higher than that of the first image signal. In the signal processing method or program of the signal processing device (for example, the data generation /
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
まず、図1乃至図3を参照して、本発明の概要を説明する。図1は、従来の予測係数の学習の概念を示している。 First, the outline of the present invention will be described with reference to FIGS. FIG. 1 shows the concept of learning a conventional prediction coefficient.
低解像度の画像データから、高解像度の画像データを予測演算する際に用いられる予測係数の従来の学習方法としては、図1に示されるように、1シーンだけからなるHD(High Definition)信号の画像(以下、HD画像とも称する)と、そのHD画像から生成されたSD(Standard Definition)信号の画像(以下、SD画像とも称する)の組み合わせのサンプルを、1乃至nまでの数十種類用意しておき、それらすべてを足しこんだものを最小二乗法により予測係数を求めていた。 As a conventional learning method of a prediction coefficient used when predicting and calculating high resolution image data from low resolution image data, as shown in FIG. 1, an HD (High Definition) signal consisting of only one scene is used. Dozens of samples from 1 to n are prepared for combinations of images (hereinafter also referred to as HD images) and SD (Standard Definition) signal images (hereinafter also referred to as SD images) generated from the HD images. Prediction coefficients were obtained by the least square method with all of them added.
すなわち、従来の学習方法で求められる予測係数は、HD画像を教師データYとし、SD画像を生徒データXとすると、すべてのサンプルに対して、Y=aX+bの回帰直線で表すことができる。このため、各SD画像と予測係数Y=aX+bを用いて求められる予測値Y'と予測係数との予測誤差は、サンプルによっては、グラフ上の点で示されるように、大きくなってしまう場合があった。 That is, the prediction coefficient obtained by the conventional learning method can be expressed by a regression line of Y = aX + b for all samples, where the HD image is the teacher data Y and the SD image is the student data X. . For this reason, the prediction error between the prediction value Y ′ obtained using each SD image and the prediction coefficient Y = aX + b and the prediction coefficient may be large depending on the sample, as indicated by a point on the graph. There was a case.
図2は、予測係数の個別学習の概念を示している。図2の例においては、図1の例に対して、画像毎に個別に学習して予測係数が求められている。 FIG. 2 shows the concept of individual learning of prediction coefficients. In the example of FIG. 2, the prediction coefficient is obtained by learning individually for each image as compared to the example of FIG.
例えば、HD画像1と、HD画像1から生成されたSD画像1の組み合わせで学習されて求められた予測係数は、Y=a1X+b1の回帰直線で表すことができる。そして、SD画像1とこの予測係数Y=a1X+b1を用いて求められる予測値Y'と予測係数との予測誤差は、図1の例の場合よりも小さくなる。
For example, a prediction coefficient obtained by learning with a combination of the
同様に、HD画像2と、HD画像2から生成されたSD画像2の組み合わせで学習されて求められた予測係数は、Y=a2X+b2の回帰直線で表すことができ、SD画像2と予測係数Y=a2X+b2を用いて求められる予測値Y'と予測係数との予測誤差も図1の例の場合よりも小さくなる。
Similarly, the prediction coefficient obtained by learning from the combination of the
また、HD画像nと、HD画像nから生成されたSD画像nの組み合わせで学習されて求められた予測係数は、Y=anX+bnの回帰直線で表すことができ、SD画像nと予測係数Y=anX+bnを用いて求められる予測値Y'と予測係数との予測誤差も、図1の例の場合よりも小さくなる。 The prediction coefficient obtained by learning from the combination of the HD image n and the SD image n generated from the HD image n can be represented by a regression line of Y = anX + bn. The prediction error between the prediction value Y ′ obtained using Y = anX + bn and the prediction coefficient is also smaller than in the example of FIG.
すなわち、図2の例のように、各画像が個別に有する特徴に応じて予測係数を求めることで予測誤差を小さくし、予測精度を向上させることができる。したがって、もし、ユーザが自宅で視聴する画像(以下、ユーザ視聴画像とも称する)に応じて予測係数を学習、生成することができれば、この予測係数を用いて高解像度のデータを生成する装置は、最高の性能を発揮することができる。 That is, as in the example of FIG. 2, the prediction error can be reduced and the prediction accuracy can be improved by obtaining the prediction coefficient according to the characteristics of each image individually. Therefore, if a prediction coefficient can be learned and generated according to an image that the user views at home (hereinafter also referred to as a user viewing image), an apparatus that generates high-resolution data using the prediction coefficient The best performance can be demonstrated.
ただし、現実には、ユーザが視聴するSD信号に対応するHD信号を全て入手することは困難である。そこで、図3に示すように、ユーザ視聴画像と、予測係数学習時のSD画像のそれぞれの特徴量情報を用いる。 However, in reality, it is difficult to obtain all HD signals corresponding to the SD signal viewed by the user. Therefore, as shown in FIG. 3, the feature amount information of the user viewing image and the SD image at the time of prediction coefficient learning is used.
図3は、図2の方法を発展させた本発明の予測係数の概念を示している。 FIG. 3 shows the concept of the prediction coefficient of the present invention, which is an extension of the method of FIG.
まず、予測係数を学習する前に、HD画像1より生成されたSD画像1からSD画像1の特徴量情報として、特徴量頻度分布1が求められ、HD画像2より生成されたSD画像2からSD画像2の特徴量情報として、特徴量頻度分布2が求められ、HD画像nより生成されたSD画像nからSD画像nの特徴量情報として、特徴量頻度分布nが求められる。
First, before learning the prediction coefficient, the feature
そして、矢印A1に示されるように、これらの特徴量頻度分布1乃至nと、ユーザ視聴画像から求められる特徴量頻度分布とが比較され、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する特徴量頻度分布のSD画像のみが選択されて、矢印A2−1乃至矢印A2−3に示されるように、選択されたSD画像とHD画像の組み合わせだけで、それぞれの予測係数が学習されて求められる。
Then, as indicated by the arrow A1, the feature
例えば、SD画像1の特徴量頻度分布1が、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する場合、SD画像1が選択されて、矢印A2−1に示されるように、選択されたSD画像1とHD画像1の組み合わせのみで、Y=a1X+b1の回帰直線で表される予測係数が学習されて求められる。SD画像2の特徴量頻度分布2が、ユーザ視聴画像の特徴量頻度分布と似ている特徴を有する場合、SD画像2が選択されて、矢印A2−2に示されるように、選択されたSD画像2とHD画像2の組み合わせのみで、Y=a2X+b2の回帰直線で表される予測係数が学習されて求められる。
For example, when the feature
同様に、SD画像nの特徴量頻度分布nが、ユーザ視聴画像の特徴量頻度分布と似た特徴を有する場合、SD画像nが選択されて、矢印A2−3に示されるように、選択されたSD画像nとHD画像nの組み合わせのみで、Y=anX+bnの回帰直線で表される予測係数が学習されて求められる。 Similarly, when the feature amount frequency distribution n of the SD image n has a feature similar to the feature amount frequency distribution of the user viewing image, the SD image n is selected and selected as indicated by an arrow A2-3. The prediction coefficient represented by the regression line of Y = anX + bn is learned and obtained only by the combination of the SD image n and the HD image n.
以上のように、ユーザ視聴画像そのものを用いた予測係数学習は困難であっても、ユーザ視聴画像と似た特徴を有する画像のみを学習に用いることによって、そのユーザ視聴画像に特化した予測係数を生成することができる。 As described above, even when prediction coefficient learning using the user viewing image itself is difficult, by using only an image having characteristics similar to the user viewing image for learning, a prediction coefficient specialized for the user viewing image is used. Can be generated.
したがって、以下に説明する、SD画像からHD画像を生成するテレビジョン受信装置1において、ユーザが視聴する画像が、その画像に特化して生成された予測係数が用いられて変換された場合、HD画像の生成時における予測誤差は小さくなり、予測精度を向上させることができる。その結果、ユーザが視聴する画像を最適な画質で表示することができる。
Therefore, in the
なお、このユーザ特徴頻度分布は、テレビジョン受信装置1において、例えば、ユーザの操作に対応して取得されるが、このとき同時に、ユーザの操作情報や、その時の機器の制御情報なども取得することができる。
The user characteristic frequency distribution is acquired in the
したがって、以下においては、ユーザ特徴頻度分布だけでなく、さらに、これらのユーザの操作情報や機器の制御情報も用いて予測係数が生成される画像信号処理システムの例を説明する。 Therefore, in the following, an example of an image signal processing system in which prediction coefficients are generated using not only the user feature frequency distribution but also the user operation information and device control information will be described.
図4は、本発明を適用した画像信号処理システムの一実施の形態の構成を示している。 FIG. 4 shows a configuration of an embodiment of an image signal processing system to which the present invention is applied.
図4に示される画像信号処理システムは、ユーザ宅に設置され、外部の放送局より供給される画像信号を受信したり、外部の録画装置より供給される画像信号を入力し、内蔵するディスプレイに表示するテレビジョン受信装置1と、製品のメンテナンスなどを行うメーカ側などに設置され、テレビジョン受信装置1用の予測係数および予測係数をテレビジョン受信装置1に反映させるための制御命令のデータを生成するデータ生成反映装置2により構成される。
The image signal processing system shown in FIG. 4 is installed in a user's house, receives an image signal supplied from an external broadcasting station, or receives an image signal supplied from an external recording device, and inputs it to a built-in display. The
テレビジョン受信装置1は、アンテナ11を有しており、外部より供給される、例えばNTSC信号等の、SD(Standard Definition)信号である画像信号を、アンテナ11を介して受信する。あるいは、テレビジョン受信装置1は、図示せぬ録画装置から入力されるSD信号である画像信号を入力する。テレビジョン受信装置1は、受信、または入力される画像信号に対してクラス分類適応処理を用いた画像信号処理を行い、HD(High Definition)信号の画像信号に変換する等の処理を行う。このとき、テレビジョン受信装置1は、データ生成反映装置2により生成された予測係数と、例えば、図1で上述した従来の方法で生成された予測係数を有しており、それらを切り換えて、クラス分類適応処理を用いた画像信号処理を行う。
The
そして、テレビジョン受信装置1は、変換した画像信号に対応する画像を、内蔵するディスプレイに表示する。画像信号処理に関する詳細な説明は後述する。
Then, the
また、テレビジョン受信装置1は、ユーザの操作が入力されると、ユーザの操作情報やテレビジョン受信装置1の各部の制御情報などを、履歴情報として履歴情報記憶部13に記憶するとともに、そのときの、ユーザが視聴を所望して、アンテナ11で受信した画像信号に対応する画像、すなわち、ユーザが視聴する画像の特徴量情報を求め、求めた特徴量情報も履歴情報として履歴情報記憶部13に記憶する。
In addition, when a user operation is input, the
この履歴情報記憶部13は、テレビジョン受信装置1の筐体に着脱可能に装着される基板12に構成されている。基板12は、テレビジョン受信装置1用の予測係数を生成するとき、テレビジョン受信装置1から取り外され、データ生成反映装置2に接続される。
The history
データ生成反映装置2は、予測係数生成装置20および係数データ反映装置21により構成され、テレビジョン受信装置1から取り外された基板12の履歴情報記憶部13の履歴情報を用いて、テレビジョン受信装置1が用いる予測係数である、係数種データを生成するとともに、テレビジョン受信装置1に対して、その係数種データを反映させる、すなわち、係数種データの使用を制御する制御命令データを生成する。なお、予測係数生成装置20および係数データ反映装置21は、それぞれ単独で構成されることもできる。
The data generation /
予測係数生成装置20は、履歴情報記憶部13の履歴情報から、係数データ反映装置21により選択されたユーザ視聴画像の特徴量情報を取得し、そのユーザ視聴画像の特徴量情報を用いて、係数種データを生成する。以下、従来の方法で生成された係数種データと区別するため、予測係数生成装置20によりユーザ視聴画像の特徴量情報を用いて生成される係数種データを、ユーザ係数種データとも称する。生成されたユーザ係数種データは、係数データ反映装置21に送信される。
The prediction
係数データ反映装置21は、テレビジョン受信装置1から取り外された基板12の履歴情報記憶部13の制御履歴情報を参照して、予測係数の生成に用いるユーザ視聴画像の特徴量情報を選択する。そして、係数データ反映装置21は、予測係数生成装置20により生成されたユーザ係数種データに対応させて、そのユーザ係数種データのテレビジョン受信装置1における使用を制御する制御命令データを生成し、生成された制御命令データを制御命令メモリ22に記憶させ、ユーザ係数種データをユーザ係数メモリ23に記憶させる。
The coefficient
以上のようにして、制御命令メモリ22に記憶された制御命令データおよびユーザ係数メモリ23に記憶されたユーザ係数種データは、基板12、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置1に提供される。
As described above, the control instruction data stored in the
そして、テレビジョン受信装置1においては、制御命令データに基づいて、データ生成反映装置2により生成された予測係数(すなわち、ユーザ係数種データ)と、従来の方法で生成された予測係数のどちらかが選択され、選択された予測係数が用いられて、クラス分類適応処理を用いた画像信号処理が行われる。
In the
この画像信号処理システムの処理の流れを、図5を参照して説明する。 The processing flow of this image signal processing system will be described with reference to FIG.
図4の画像信号処理システムにおいては、図5の左から順に、まず、テレビジョン受信装置1において履歴情報が記録され、データ生成装置2において、その履歴情報が用いられて、ユーザ係数種データが生成され、さらに、ユーザ係数種データの使用を制御する制御命令データが生成される。そして、テレビジョン受信装置1において、制御命令データに基づいて、ユーザ係数種データが反映される。
In the image signal processing system of FIG. 4, in order from the left in FIG. 5, first, history information is recorded in the
具体的に説明すると、テレビジョン受信装置1においていろいろなソース(入力源)のコンテンツを視聴する際、ユーザAは、そのコンテンツによっては、テレビジョン受信装置1に対してさまざまな操作を行うことが想定される。
Specifically, when viewing content from various sources (input sources) on the
例えば、テレビジョン受信装置1の表示部15に、放送局からの受信された放送コンテンツを表示させて視聴する際、ユーザAは、テレビジョン受信装置1に対して、何も操作しない、あるいは、操作したとしても、その操作頻度は非常に少ないとする。
For example, when displaying and viewing broadcast content received from a broadcasting station on the
これに対して、例えば、テレビジョン受信装置1の表示部15に、図示せぬ録画装置から入力された録画コンテンツを表示させて視聴する際、ユーザAは、リモートコントローラ16を用いて、テレビジョン受信装置1に対して画質調整の操作を頻繁に行うとする。
On the other hand, for example, when the recorded content input from the recording device (not shown) is displayed on the
このように、放送コンテンツ受信時の操作が少ないのに対して、録画コンテンツ入力時のみに画質調整を頻繁に行うという場合には、録画コンテンツ入力時に表示されるコンテンツの画像に、ユーザAにとって何らかの欲求や不満を生み出すものが潜在している恐れが大きい。 In this way, when there are few operations at the time of receiving broadcast content, but when image quality adjustment is frequently performed only at the time of recording content input, the content image displayed at the time of recording content input has some sort of content for user A. There is a great fear that something that creates desire or frustration is latent.
ここで、テレビジョン受信装置1が「録画コンテンツ入力時」であるという情報は、テレビジョン受信装置1の制御情報から得られる。また、ユーザにより「画質調整」が操作されたという情報は、ユーザのリモートコントローラ16の操作情報から得られる。
Here, the information that the
したがって、テレビジョン受信装置1において、ユーザの操作信号が入力される毎に、テレビジョン受信装置1の制御情報およびユーザの操作情報と、そのとき視聴中の画像の特徴量頻度分布のデータとを、履歴情報として基板12の履歴情報記憶部13に記録するようにする。
Therefore, each time a user operation signal is input, the
そして、係数データ反映装置21は、特定の制御情報および操作情報、すなわち、「録画コンテンツ入力時」かつ「画質調整」だけに限定した画像の特徴量頻度分布を、履歴情報から選択し、選択した画像の特徴量頻度分布のみを用いて、予測係数生成装置20にユーザ係数種データを生成させ、テレビジョン受信装置1の制御情報が「録画コンテンツ入力時」である場合には、予測係数生成装置20により生成されたユーザ係数種データに基づくユーザ係数を用いて予測処理を行わせる制御命令データを生成する。
Then, the coefficient
すなわち、予測係数生成装置20においては、「録画コンテンツ入力時」用のユーザ係数種データが生成される。
That is, the prediction
テレビジョン受信装置1は、例えば、図1を参照して上述した従来の方法、すなわち、特徴量頻度分布を用いることなく、複数の学習画像の画像セットから生成された係数種データ(以下、ユーザ係数種データと区別するため、通常係数種データとも称する)に基づく通常係数と、予測係数生成装置20により生成されたユーザ係数種データに基づくユーザ係数を有しており、係数データ反映装置21により生成された制御命令データに基づき、それらの係数のどちらかを用いて予測処理を行う。
The
例えば、録画コンテンツが入力される場合、すなわち、テレビジョン受信装置1が「録画コンテンツ入力時」である場合、テレビジョン受信装置1は、係数データ反映装置21からの制御命令データに基づいて、ユーザ係数種データに基づくユーザ係数を用いて予測処理を行い、その結果の録画コンテンツの画像を表示部15に表示させる。
For example, when the recorded content is input, that is, when the
一方、放送コンテンツが受信される場合、すなわち、テレビジョン受信装置1が、「録画コンテンツ入力時」ではない場合、テレビジョン受信装置1は、ユーザ係数ではなく、複数の学習画像の画像セットから生成された通常係数種データに基づく通常係数を用いて予測処理を行い、その結果の放送コンテンツの画像を表示部15に表示させる。なお、この場合、ユーザから何らかの操作(例えば、ユーザ係数使用などの操作)によって指示があった場合には、ユーザ係数に切り換えられて予測処理が行われる。
On the other hand, when broadcast content is received, that is, when the
以上のように、この画像信号処理システムにおいて、履歴情報を用いて生成された予測係数は、係数生成時に用いられた履歴情報に対応する制御情報がテレビジョン受信装置1において得られる状況で使用される。すなわち、テレビジョン受信装置1において任意の制御情報が得られるときの画像の特徴量情報で生成された係数種データが、テレビジョン受信装置1がその任意の制御情報が得られる状況のときに用いられるので、その状況における、画像の予測誤差が軽減され、予測精度を向上させることができる。
As described above, in this image signal processing system, the prediction coefficient generated using the history information is used in a situation where control information corresponding to the history information used at the time of coefficient generation is obtained in the
これにより、ユーザは、視聴時のテレビジョン受信装置1における状況に応じて、最適な画質の画像を視聴することができる。したがって、結果的に、ユーザによる画質の調整などの設定の必要性が少なくすることができる。
As a result, the user can view an image with optimum image quality in accordance with the situation in the
図6は、図4のテレビジョン受信装置1の詳細な構成例を示すブロック図である。
FIG. 6 is a block diagram illustrating a detailed configuration example of the
このテレビジョン受信装置1は、放送信号より525i信号というSD信号を得て、この525i信号を1050i信号というHD信号に変換し、そのHD信号による画像を表示するものである。
The
図7は、525i信号および1050i信号のあるフレーム(F)の画素位置関係を示すものであり、奇数(o)フィールドの画素位置を実線で示し、偶数(e)フィールドの画素位置を破線で示している。大きなドットが525i信号の画素であり、小さいドットが1050i信号の画素である。図7から分かるように、1050i信号の画素データとしては、525i信号のラインに近い位置のラインデータL1,L1′と、525i信号のラインから遠い位置のラインデータL2,L2′とが存在する。ここで、L1,L2は奇数フィールドのラインデータ、L1′,L2′は偶数フィールドのラインデータである。また、1050i信号の各ラインの画素数は、525i信号の各ラインの画素数の2倍である。 FIG. 7 shows the pixel position relationship of a frame (F) with a 525i signal and a 1050i signal. The pixel position of the odd (o) field is indicated by a solid line, and the pixel position of the even (e) field is indicated by a broken line. ing. Large dots are pixels of 525i signal, and small dots are pixels of 1050i signal. As can be seen from FIG. 7, the pixel data of the 1050i signal includes line data L1, L1 ′ at positions close to the line of the 525i signal and line data L2, L2 ′ at positions far from the line of the 525i signal. Here, L1 and L2 are line data of odd fields, and L1 'and L2' are line data of even fields. The number of pixels in each line of the 1050i signal is twice the number of pixels in each line of the 525i signal.
図6に戻り、テレビジョン受信装置1の構成について説明する。ユーザは、リモートコントローラ16を用いて、テレビジョン受信装置1を操作する。テレビジョン受信装置1は、CPU(Central processing Unit)、RAM(Random Access Memory)、およびROM(Read Only memory)を含むマイクロコントローラを備え、システム全体の動作を制御するためのシステムコントローラ32と、リモートコントローラ16と通信を行う通信部31とを有している。通信部31は、システムコントローラ32に接続され、リモートコントローラ16よりユーザの操作に応じて出力されるリモートコントロール信号を受信し、その信号に対応する操作信号を、システムコントローラ32に供給するように構成されている。
Returning to FIG. 6, the configuration of the
アンテナ11は、放送信号(RF(Radio Frequency)変調信号)を受信する。チューナ33は、アンテナ11を介して受信した放送信号の供給を受け、システムコントローラ32から入力される制御情報に従って、ユーザがリモートコントローラ16を用いる等して選局したチャンネルを選局する選局処理を行い、更に、中間周波増幅処理、検波処理等などを行って、上述したSD信号(525i信号)を得る。
The
入力切換部35は、システムコントローラ32から入力される制御情報に従って、チューナ33より出力されるSD信号、または、入力端子34を介して図示せぬ録画装置から入力されるSD信号のどちらかを選択し、選択したSD信号をバッファメモリ36に出力する。バッファメモリ36は、入力切換部35より出力されるSD信号を一時的に保存する。
The
画像信号処理部37は、バッファメモリ36に一時的に保存されるSD信号(525i信号)を、HD信号(1050i信号)に変換する画像信号処理を行う。なお、上述した履歴情報記憶部13は、画像信号処理部37内に構成される。
The image
図8は、画像信号処理部37の更に詳細な構成を示すブロック図である。
FIG. 8 is a block diagram showing a more detailed configuration of the image
画像信号処理部37の第1のタップ選択部51、第2のタップ選択部52、および、第3のタップ選択部53は、バッファメモリ36に記憶されているSD信号(525i信号)より、HD信号(1050i信号)における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。
The first
第1のタップ選択部51は、予測に使用するSD画素(以下、「予測タップ」とも称する)のデータを選択的に取り出すものである。第2のタップ選択部52は、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素(以下、「空間クラスタップ」とも称する)のデータを選択的に取り出すものである。第3のタップ選択部53は、動きに対応するクラス分類に使用するSD画素(以下、「動きクラスタップ」とも称する)のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
The first
空間クラス検出部54は、第2のタップ選択部52で選択的に取り出された空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、その空間クラスのクラス情報を出力する。
The space
空間クラス検出部54においては、例えば、各SD画素データを、8ビットデータから2ビットデータに圧縮するような演算が行われる。そして、空間クラス検出部54からは、各SD画素データに対応した圧縮データが、空間クラスのクラス情報として出力される。本実施の形態においては、ADRC(Adaptive Dynamic Range Coding)によって、データ圧縮が行われる。なお、情報圧縮手段としては、ADRC以外にDPCM(予測符号化)、VQ(ベクトル量子化)等を用いてもよい。
In the space
本来、ADRCは、VTR(Video Tape Recorder)向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ADRCを使用する場合、空間クラスタップのデータ(SD画素データ)の最大値をMAX、その最小値をMIN、空間クラスタップのデータのダイナミックレンジをDR(=MAX−MIN+1)、再量子化ビット数をPとすると、空間クラスタップのデータとしての各SD画素データkiに対して、式(1)の演算により、圧縮データとしての再量子化コードqiが得られる。ただし、式(1)において、[ ]は切捨て処理を意味している。空間クラスタップのデータとして、Na個のSD画素データがあるとき、i=1乃至Naである。 Originally, ADRC is an adaptive requantization method developed for high-performance coding for VTR (Video Tape Recorder), but it can express local patterns of signal level efficiently with a short word length. It is suitable for use in data compression. When using ADRC, the maximum value of space class tap data (SD pixel data) is MAX, the minimum value is MIN, the dynamic range of space class tap data is DR (= MAX-MIN + 1), and the number of requantization bits If P is P, the requantized code qi as compressed data is obtained by the calculation of Expression (1) for each SD pixel data ki as the space class tap data. However, in the formula (1), [] means a truncation process. When there are Na SD pixel data as the space class tap data, i = 1 to Na.
動きクラス検出部55は、第3のタップ選択部53で選択的に取り出された動きクラスタップのデータ(SD画素データ)より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報を出力する。
The motion
この動きクラス検出部55では、第3のタップ選択部53で選択的に取り出された動きクラスタップのデータ(SD画素データ)miおよびniからフレーム間差分が算出され、更に、その差分の絶対値の平均値に対してしきい値処理が行われて、動きの指標である動きクラスが検出される。すなわち、動きクラス検出部55は、式(2)によって、差分の絶対値の平均値AVを算出する。第3のタップ選択部53で、例えば、上述したように、12個のSD画素データm1乃至m6およびn1乃至n6が取り出されるとき、式(2)におけるNbは6である。
In the motion
そして、動きクラス検出部55では、上述したように算出された平均値AVが、1個または複数個のしきい値と比較されて、動きクラスのクラス情報MVが得られる。例えば、3個のしきい値th1,th2,およびth3(th1<th2<th3)が用意され、4つの動きクラスが検出される場合、AV≦th1のときはMV=0、th1<AV≦th2のときはMV=1、th2<AV≦th3のときはMV=2、th3<AVのときはMV=3とされる。
Then, in the motion
クラス合成部56は、空間クラス検出部54より出力される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出部55より出力される動きクラスのクラス情報MVに基づき、作成すべきHD信号(1050i信号)の画素データ(注目位置の画素データ)が属するクラスを示すクラスコードCLを得る。
The
このクラス合成部56では、以下の式(3)によって、クラスコードCLの演算が行われる。なお、式(3)において、Naは空間クラスタップのデータ(SD画素データ)の個数、PはADRCにおける再量子化ビット数を示している。
In the
係数メモリ57は、後述する推定予測演算部58で使用される推定式で用いられる複数の係数データWiを、クラス毎に格納するものである。この係数データWiは、SD信号(525i信号)を、HD信号(1050i信号)に変換するための情報である。係数メモリ57には、クラス合成部56より出力されるクラスコードCLが、読み出しアドレス情報として供給され、係数メモリ57からは、クラスコードCLに対応した推定式の係数データWi(i=1乃至n)が読み出され、推定予測演算部58に供給される。
The coefficient memory 57 stores, for each class, a plurality of coefficient data Wi used in the estimation formula used in the estimated
また、画像信号処理部37は、係数種記憶部61を有している。後述する推定予測演算部58では、予測タップのデータ(SD画素データ)xiと、係数メモリ57より読み出される係数データWiとから、以下の式(4)の推定式によって、作成すべきHD画素データyが演算される。式(4)のnは、第1のタップ選択部51で選択される予測タップの数を表している。
The image
ここで、第1のタップ選択部51で選択的に取り出された予測タップのn個の画素データの位置は、HD信号における注目位置に対して、空間方向(水平、垂直の方向)および時間方向に亘っている。
Here, the positions of the n pixel data of the prediction tap selectively extracted by the first
そして、推定式の係数データWi(i=1乃至n)は、以下の式(5)に示すように、パラメータr、およびzを含む生成式によって生成される。係数種記憶部61は、この生成式における係数データである係数種データw10乃至wn9を、クラス毎に格納する。この係数種データの生成方法については後述する。
Then, the coefficient data Wi (i = 1 to n) of the estimation formula is generated by a generation formula including parameters r and z as shown in the following formula (5). The
上述したように、525i信号を1050i信号に変換する場合、奇数、および偶数のそれぞれのフィールドにおいて、525i信号の1画素に対応して1050i信号の4画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。 As described above, when the 525i signal is converted into the 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields. In this case, the four pixels in the 2 × 2 unit pixel block constituting the 1050i signal in each of the odd and even fields have different phase shifts with respect to the central prediction tap.
図9は、奇数フィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素HD1乃至HD4における中心予測タップSD0からの位相ずれを示している。ここで、HD1乃至HD4の位置は、それぞれ、SD0の位置から水平方向にk1乃至k4、垂直方向にm1乃至m4だけずれている。 FIG. 9 shows a phase shift from the center prediction tap SD0 in the four pixels HD1 to HD4 in the 2 × 2 unit pixel block constituting the 1050i signal in the odd field. Here, the positions of HD1 to HD4 are shifted from the position of SD0 by k1 to k4 in the horizontal direction and m1 to m4 in the vertical direction, respectively.
図10は、偶数フィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素HD1′乃至HD4′における中心予測タップSD0′からの位相ずれを示している。ここで、HD1′乃至HD4′の位置は、それぞれ、SD0′の位置から水平方向にk1′乃至k4′、垂直方向にm1′乃至m4′だけずれている。 FIG. 10 shows a phase shift from the center prediction tap SD0 'in the four pixels HD1' to HD4 'in the 2 &2; unit pixel block constituting the 1050i signal in the even field. Here, the positions of HD1 'to HD4' are shifted from the position of SD0 'by k1' to k4 'in the horizontal direction and m1' to m4 'in the vertical direction, respectively.
したがって、係数種記憶部61には、クラスおよび出力画素(HD1乃至HD4,HD1′乃至HD4′)の組み合わせ毎に、係数種データw10乃至wn9が格納されている。なお、この係数種記憶部61には、図11に示されるように、2種類の係数種データ(通常係数種データおよびユーザ係数種データ)がそれぞれクラスおよび出力画素の組み合わせ毎に記憶されている。
Accordingly, the coefficient
図11は、係数種記憶部61の構成例を示す図である。図11の例において、係数種記憶部61は、係数制御部71、係数制御命令メモリ72、ユーザ係数メモリ73、および通常係数メモリ74により構成されている。
FIG. 11 is a diagram illustrating a configuration example of the coefficient
システムコントローラ32は、上述したように、ユーザのリモートコントローラ16の操作に対応して、テレビジョン受信装置1を構成する各部(例えば、チューナ33や入力切換部35、画像信号処理部37など)を制御するための制御情報を、テレビジョン受信装置1の対応する各部に供給している。
As described above, the
係数制御部71は、係数制御命令メモリ72に記録されている制御命令データを読み出し、システムコントローラ32より、テレビジョン受信装置1の各部の制御情報を取得する。係数制御部71は、取得した制御情報に、制御命令データに対応するものがあるか否かを判定する。例えば、取得した制御情報に、制御命令データに対応する制御情報と一致するものがある場合、係数制御部71は、制御命令データに対応するものがあると判定し、ユーザ係数メモリ73に記録されているユーザ係数種データを係数生成部62に出力させる。
The
取得した制御情報に、制御命令データに対応するものがないと判定された場合、係数制御部71は、システムコントローラ32からユーザによるリモートコントローラ16の操作に対応する操作情報を取得し、ユーザによりユーザ係数の使用が要求されているか否かを判定する。
When it is determined that the acquired control information does not correspond to the control command data, the
ユーザによりユーザ係数の使用が要求されていると判定された場合、係数制御部71は、ユーザ係数メモリ73に記録されているユーザ係数種データを係数生成部62に出力させる。一方、ユーザによりユーザ係数の使用が要求されていないと判定された場合、係数制御部71は、通常係数メモリ74に記録されている通常係数種データを係数生成部62に出力させる。
When it is determined that the user is requested to use the user coefficient, the
係数制御命令メモリ72には、予測係数生成装置20により生成されるユーザ係数種データに対応して、係数データ反映装置21により生成される、ユーザ係数種データの使用を制御する制御命令データが記憶されている。
The coefficient
制御命令データは、テレビジョン受信装置1の制御情報に、所定の制御情報(例えば、入力源「ビデオ1」に関する制御情報)が含まれる場合に、対応するユーザ係数種データを読み出すように係数制御部71を制御するデータである。なお、制御命令データについては、図15を参照して後述する。
When the control information of the
ユーザ係数メモリ73には、係数データ反映装置21により選択されたユーザ視聴画像の特徴量情報を用いて、予測係数生成装置20により生成される、クラスおよび出力画素の組み合わせ毎のユーザ係数種データが、係数制御命令メモリ72の制御命令データに対応付けられて記憶されている。
The
通常係数メモリ74には、予測係数生成装置20または図示せぬ他の予測係数生成装置により、複数の学習画像の画像セットが用いられて、例えば、図1を参照して上述した従来の方法で生成された通常係数種データがクラスおよび出力画素の組み合わせ毎に記憶されている。
In the
係数生成部62は、各クラスの係数種データ、並びに、パラメータr、およびzの値を用い、上述した式(5)によって、クラス毎に、パラメータr、およびzの値に対応した推定式の係数データWi(i=1乃至n)を生成する。係数生成部62には、係数種記憶部61より、上述した各クラスの係数種データがロードされる。すなわち、係数生成部62には、ユーザ係数種データあるいは通常係数種データのうちのどちらかが係数種データとしてロードされる。また、係数生成部62には、システムコントローラ32より、パラメータr、およびzの値が供給される。
The
係数生成部62で生成される各クラスの係数データWi(i=1乃至n)は、上述した係数メモリ57に格納される。この係数生成部62における各クラスの係数データWiの生成は、例えば、各垂直ブランキング期間で行われる。これにより、ユーザのリモートコントローラ16の操作によってパラメータr、およびzの値が変更されても、係数メモリ57に格納される各クラスの係数データWiを、そのパラメータr、およびzの値に対応したものに即座に変更することができ、ユーザによるノイズや解像度の調整がスムーズに行われる。
The coefficient data Wi (i = 1 to n) of each class generated by the
正規化係数演算部63は、係数生成部62で求められた係数データWi(i=1乃至n)に対応した正規化係数Sを、以下の式(6)によって演算する。正規化係数メモリ64は、この正規化係数Sを格納する。正規化係数メモリ64には、上述したクラス合成部56より出力されるクラスコードCLが、読み出しアドレス情報として供給され、正規化係数メモリ64からは、クラスコードCLに対応した正規化係数Sが読み出され、後述する正規化演算部59に供給される。
The normalization
推定予測演算部58は、第1のタップ選択部51で選択的に取り出された予測タップのデータ(SD画素データ)xiと、係数メモリ57より読み出される係数データWiとから、式(4)の推定式によって、作成すべきHD信号の画素データ(注目位置の画素データ)を演算する。
The estimated
上述したように、SD信号(525i信号)をHD信号(1050i信号)に変換する際には、SD信号の1画素に対してHD信号の4画素(図8のHD1乃至HD4、図9のHD1′乃至HD4′参照)を得る必要があることから、この推定予測演算部58では、HD信号を構成する2×2の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算部58には、第1のタップ選択部51より単位画素ブロック内の4画素(注目画素)に対応した予測タップのデータxiと、係数メモリ57よりその単位画素ブロックを構成する4画素に対応した係数データWiとが供給され、単位画素ブロックを構成する4画素のデータy1乃至y4は、それぞれ個別に、上述した式(4)の推定式で演算される。
As described above, when an SD signal (525i signal) is converted to an HD signal (1050i signal), four pixels of the HD signal (HD1 to HD4 in FIG. 8, HD1 in FIG. 9) are converted to one pixel of the SD signal. Therefore, the estimated
正規化演算部59は、推定予測演算部58より順次出力される4画素のデータy1乃至y4を、正規化係数メモリ64より読み出される、それぞれの演算に使用された係数データWi(i=1乃至n)に対応した正規化係数Sで除算して正規化する。上述したように、係数生成部62は、推定式の係数データWiを求めるものであるが、求められる係数データは丸め誤差を含み、係数データWi(i=1乃至n)の総和が1.0になることは保証されない。そのため、推定予測演算部58で演算される各画素のデータy1乃至y4は、丸め誤差によってレベル変動したものとなる。したがって、正規化演算部59で正規化することで、そのレベル変動を除去することができる。
The
後処理部60は、正規化演算部59で正規化されて順次供給される単位画素ブロック内の4画素のデータy1′乃至y4′を線順次化して、1050i信号のフォーマットで出力する。
The
システムコントローラ32は、通信部31からのユーザの操作信号が入力されると、その通知を、履歴情報記憶部13および情報生成制御部65に供給する。
When a user operation signal is input from the
情報生成制御部65は、システムコントローラ32からユーザの操作信号の入力が通知されるタイミングで、特徴量頻度分布生成部66の処理を制御する。すなわち、情報生成制御部65は、特徴量頻度分布生成部66を制御し、ユーザが、例えば、選局、音量調整、解像度調整、または入力切換など、リモートコントローラ16を操作する度に、その時、バッファメモリ36に一時的に保存されるSD信号の画像の特徴量情報を求めさせる。
The information
特徴量頻度分布生成部66は、バッファメモリ36に記憶されているSD信号(525i信号)を入力し、入力したSD信号の画像の特徴量情報を、動きクラスおよび空間クラスの組み合わせ毎に生成し、生成した動きクラスおよび空間クラスの組み合わせ毎の画像の特徴量情報を、履歴情報記憶部13に出力する。例えば、画像の特徴量情報として、画像の特徴量頻度分布が求められる。
The feature amount frequency
履歴情報記憶部13は、システムコントローラ32からユーザの操作信号の入力が通知されるタイミングで取得されるユーザの操作情報およびテレビジョン受信装置1の各部の制御情報からなる制御履歴情報と、画像の特徴量頻度分布のデータとを履歴情報として記録する。
The history
すなわち、履歴情報記憶部13は、ユーザの操作信号の入力が通知されると、システムコントローラ32から、ユーザの操作情報やテレビジョン受信装置1の各部の制御情報を取得し、取得された操作情報および制御情報を、制御履歴情報として記録する。また、履歴情報記憶部13は、記録した制御履歴情報に対応付けて、ユーザの操作信号が入力される毎に生成される、複数の画像の特徴量頻度分布のデータを、動きクラスおよび空間クラス毎に記録する。また、図8の例においては、その図示は省略されているが、テレビジョン受信装置1において、履歴情報記憶部13は着脱可能な基板12上に構成されている。
That is, the history
なお、履歴情報記憶部13のみに限らず、情報生成制御部65および特徴量頻度分布生成部66を加えて、基板12上に構成されることもできる。また、履歴情報記憶部13のみに限らず、係数種記憶部61も加えて、基板12上に構成してもよいし、機能のバージョンアップなどを可能にするため、画像信号処理部37全体が着脱可能な基板12上に構成されることもできる。
Not only the history
図12は、特徴量頻度分布生成部66および履歴情報記憶部13の詳細な構成例を示すブロック図である。
FIG. 12 is a block diagram illustrating a detailed configuration example of the feature amount frequency
特徴量頻度分布生成部66の動きクラスタップ選択部81、空間クラスタップ選択部82、および、特徴量生成タップ選択部83は、情報生成制御部65の制御のもと、バッファメモリ36に記憶されているSD信号より、HD信号(1050i信号)における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。
The motion class
動きクラスタップ選択部81は、図8の第3のタップ選択部53と基本的に同様に構成され、動きに対応するクラス分類に使用するSD画素、すなわち、動きクラスタップのデータを選択的に取り出するものである。空間クラスタップ選択部82は、図8の第2のタップ選択部52と基本的に同様に構成され、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素、すなわち、空間クラスタップのデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
The motion class
特徴量生成タップ選択部83は、特徴量の生成に使用するSD画素(以下、「特徴量生成タップ」とも称する)のデータを選択的に取り出すものである。特徴量生成タップは、空間タップと同じタップ構造であってもよいし、異なるタップ構造でもよい。
The feature quantity generation
動きクラス検出部84は、図8の動きクラス検出部55と同様に構成され、動きクラスタップ選択部81で選択的に取り出された動きクラスタップのデータ(SD画素データ)より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報(MV)を出力する。
The motion
空間クラス検出部85は、図8の空間クラス検出部54と同様に構成され、空間クラスタップ選択部82で選択的に取り出された空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて、空間クラスを検出し、その空間クラスのクラス情報(再量子化コードqi)を出力する。
The space
なお、これらの動きクラスタップ選択部81と動きクラス検出部84、および空間クラスタップ選択部82と空間クラス検出部85を別途設けることなく、図8の画像信号処理部37内の第3のタップ選択部53と動きクラス検出部55、および第2のタップ選択部52と空間クラス検出部54を併用するように構成することもできる。
It should be noted that the third tap in the image
特徴量生成部86は、特徴量生成タップ選択部83で選択的に取り出された特徴量生成タップのデータ(SD画素データ)より、SD画素の特徴量を生成し、その特徴量の値(データ)を出力する。なお、動きクラス検出部84で検出される動きクラスも、空間クラス検出部85で検出される空間クラスも入力されるSD信号に対して画素毎に検出されるが、特徴量生成部86においても、それらと同じ画素毎に特徴量が生成される。
The feature
図13は、水平方向の画素xo乃至x6の各画素値と、これらの画素値から生成される特徴量の例を示している。図13の例における画素xo乃至x6の画素値における最大値は、Maxであり、最小値は、Minである。 FIG. 13 shows an example of the pixel values of the pixels xo to x6 in the horizontal direction and feature amounts generated from these pixel values. The maximum value of the pixel values of the pixels xo to x6 in the example of FIG. 13 is Max, and the minimum value is Min.
例えば、画素xo乃至x6の7画素が特徴量生成タップとして選択され、画素x3の特徴量が求められるとする。このとき、これらの画素xo乃至x6の7画素の画素値を用いて生成することができる値が、画素x3の特徴量となる。 For example, it is assumed that seven pixels of pixels xo to x6 are selected as feature amount generation taps and the feature amount of the pixel x3 is obtained. At this time, a value that can be generated using the pixel values of the seven pixels xo to x6 is the feature amount of the pixel x3.
すなわち、図13に示されるように、これらの画素xo乃至x6の7画素の画素値を用いて生成される、画素xo乃至x6の画素値のタップ内最大値Max、画素xo乃至x6の画素値のタップ内最小値Min、画素xo乃至x6の画素値のダイナミックレンジDR、画素xo乃至x6の画素値の中間値Mean、または画素xo乃至x6の画素値の平均値Aveなどの値が、画素x3の特徴量として用いられる。 That is, as shown in FIG. 13, the pixel values of the pixels xo to x6, which are generated using the pixel values of the seven pixels xo to x6, the maximum value Max within the tap, and the pixel values of the pixels xo to x6. The minimum value Min within the tap, the dynamic range DR of the pixel values of the pixels xo to x6, the intermediate value Mean of the pixel values of the pixels xo to x6, or the average value Ave of the pixel values of the pixels xo to x6 is a pixel x3. It is used as a feature amount.
なお、これらのタップ内最大値Max、タップ内最小値Min、ダイナミックレンジDR、中間値Mean、および平均値Aveのうちの複数の種類を生成して、画素の特徴量として用いることもできるし、1種類のみを生成して、画素の特徴量として用いることもできる。 In addition, it is possible to generate a plurality of types of the maximum value Max within the tap, the minimum value Min within the tap, the dynamic range DR, the intermediate value Mean, and the average value Ave, and use them as the feature amount of the pixel. Only one type can be generated and used as a feature amount of a pixel.
特徴量頻度分布演算部87は、同じ画素に対応する、動きクラス検出部84より検出された動きクラス、空間クラス検出部85より検出された空間クラス、および特徴量生成部86より生成された特徴量に基づき、特徴量情報、すなわち、特徴量頻度分布(ヒストグラム)を生成していく。このとき、特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に履歴情報記憶部13に出力される。
The feature amount frequency
図14は、画素の特徴量値と特徴量頻度分布の例を示している。図14の例においては、画像を構成する複数の画素のうち、画素a1乃至画素a12の特徴量値と、これらの特徴量値から生成される特徴量頻度分布が示されている。この特徴量頻度分布は、横軸を特徴量値とし、縦軸を頻度として構成されている。 FIG. 14 shows an example of pixel feature value and feature frequency distribution. In the example of FIG. 14, the feature amount values of the pixels a1 to a12 among the plurality of pixels constituting the image and the feature amount frequency distribution generated from these feature amount values are shown. The feature amount frequency distribution is configured with the horizontal axis as the feature amount value and the vertical axis as the frequency.
例えば、画素a1と画素a12の特徴量値は50であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値50の頻度を2カウントする。画素a2乃至画素a4、および画素a7の特徴量値は100であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値100の頻度を4カウントする。画素a5の特徴量値は240であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値240の頻度を1カウントする。
For example, since the feature amount value of the pixel a1 and the pixel a12 is 50, the feature amount frequency
画素a6と画素a11の特徴量値は80であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値80の頻度を2カウントする。画素a8の特徴量値は20であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値20の頻度を1カウントする。画素a9の特徴量値は200であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値200の頻度を1カウントする。画素a10の特徴量値は10であるので、特徴量頻度分布演算部87は、特徴量頻度分布における特徴量値10の頻度を1カウントする。
Since the feature amount value of the pixel a6 and the pixel a11 is 80, the feature amount frequency
なお、この特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に履歴情報記憶部13に出力される。
This feature amount frequency distribution is generated for each combination of motion class and space class input simultaneously, and the data is output to the history
図12に戻り、履歴情報記憶部13は、メモリ制御部91および履歴情報メモリ92により構成される。
Returning to FIG. 12, the history
メモリ制御部91は、ユーザの操作信号の入力が通知されると、システムコントローラ32から、ユーザの操作情報とテレビジョン受信装置1の各部(例えば、チューナ33や入力切換部35、画像信号処理部37など)の制御情報を取得し、取得した操作情報および制御情報を、制御履歴情報として履歴情報メモリ92に記録する。なお、取得されたすべての操作情報および制御情報を記録することもできるし、操作情報および制御情報のうち、必要な情報のみを記録することもできる。
When the input of the user's operation signal is notified, the
また、メモリ制御部91は、システムコントローラ32からユーザの操作信号の入力が通知されたタイミングに特徴量頻度分布演算部87により求められたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量情報、すなわち、特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて記録された制御履歴情報に対応付けて記録する。
In addition, the
履歴情報メモリ92には、ユーザの操作信号の入力が通知されたタイミングに取得されて記録される制御履歴情報と、ユーザの操作信号の入力が通知されたタイミングに生成される特徴量情報が対応付けられて、履歴情報として記録される。
The
図15は、履歴情報メモリ92に記録される履歴情報の例を示す図である。
FIG. 15 is a diagram illustrating an example of history information recorded in the
例えば、図15に示されるように、履歴情報メモリ92には、タイムコード、入力源(ソース)、チャンネル番号、および操作内容からなる制御履歴情報と、特徴量情報である特徴量頻度分布のデータが対応付けられて、履歴情報として記録される。
For example, as illustrated in FIG. 15, the
タイムコードは、例えば、システムコントローラ32から、ユーザの操作信号の入力が通知された時刻である。入力源は、タイムコードの時刻に入力切換部35が選択中の入力源の情報(例えば、チューナ33またはビデオ(外部の録画装置))であり、例えば、入力切換部35を制御する制御情報から取得される。
The time code is, for example, the time when the
チャンネル番号は、タイムコードの時刻にチューナ33が選択中のチャンネルの情報であり、例えば、チューナ33を制御する制御情報から取得される。操作内容は、ユーザがリモートコントローラ16を操作することで指示される操作内容(図15の場合、画質調整に関する操作内容)であり、リモートコントローラ16からの操作信号に対応して、画像信号処理部37を制御する制御情報から取得される。
The channel number is information on a channel that is selected by the
すなわち、図15の上から順に説明するに、例えば、タイムコードが「AA:AA:AA」で、入力源が「ビデオ1」のときに、ユーザにより入力源を「ビデオ1」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部35には「チューナ」を選択する制御情報が入力され、入力切換部35は、チューナ33からの画像信号を入力する。このとき、チューナ33は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH01」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「AA:AA:AA」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH01」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「AA:AA:AA」のときに生成が開始された特徴量頻度分布のデータ1が対応付けられて構成される履歴情報が記録される。
That is, in order from the top of FIG. 15, for example, when the time code is “AA: AA: AA” and the input source is “
例えば、タイムコードが「BB:BB:BB」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「明るさ調整」を指示する制御情報が入力され、画像信号処理部37は、「明るさ調整」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ1」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「BB:BB:BB」のときに得られた、入力源が「ビデオ1」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「BB:BB:BB」のときに生成が開始された特徴量頻度分布のデータ2が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “BB: BB: BB” and the user inputs an operation signal instructing “brightness adjustment” in the image quality adjustment, the image
また、例えば、タイムコードが「CC:CC:CC」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「パレット操作」を指示する制御情報が入力され、画像信号処理部37は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ2」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「CC:CC:CC」のときに得られた、入力源が「ビデオ2」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「CC:CC:CC」のときに生成が開始された特徴量頻度分布のデータ3が対応付けられて構成される履歴情報が記録される。
Further, for example, when the user inputs an operation signal instructing “pallet operation” in image quality adjustment when the time code is “CC: CC: CC”, the image
例えば、タイムコードが「DD:DD:DD」のときに、ユーザにより画質調整のうち「色補正」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「色補正」を指示する制御情報が入力され、画像信号処理部37は、「色補正」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ1」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「DD:DD:DD」のときに得られた、入力源が「ビデオ1」であり、操作内容が「色補正」である制御履歴情報に、タイムコードが「DD:DD:DD」のときに生成が開始された特徴量頻度分布のデータ4が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “DD: DD: DD” and the user inputs an operation signal instructing “color correction” in image quality adjustment, the image
さらに、例えば、タイムコードが「EE:EE:EE」で、入力源が「ビデオ1」のときに、ユーザにより入力源を「ビデオ1」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部35には「チューナ」を選択する制御情報が入力され、入力切換部35は、チューナ33からの画像信号を入力する。このとき、チューナ33は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH04」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「EE:EE:EE」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH04」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「EE:EE:EE」のときに生成が開始された特徴量頻度分布のデータ5が対応付けられて構成される履歴情報が記録される。
Further, for example, when the time code is “EE: EE: EE” and the input source is “
例えば、タイムコードが「FF:FF:FF」で、入力源が「チューナ」のときに、ユーザによりチャンネルを「CH04」から「CH01」に切り換える操作信号が入力されると、これに対応してチューナ33には「CH01」を選択する制御情報が入力され、チューナ33は、チャンネル01を選局する。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「FF:FF:FF」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH01」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「FF:FF:FF」のときに生成が開始された特徴量頻度分布のデータ6が対応付けられて構成される履歴情報が記録される。
For example, if the user inputs an operation signal to switch the channel from “CH04” to “CH01” when the time code is “FF: FF: FF” and the input source is “Tuner”, Control information for selecting “CH01” is input to the
また、例えば、タイムコードが「GG:GG:GG」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「明るさ調整」を指示する制御情報が入力され、画像信号処理部37は、「明るさ調整」の設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ1」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「GG:GG:GG」のときに得られた、入力源が「ビデオ1」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「GG:GG:GG」のときに生成が開始された特徴量頻度分布のデータ7が対応付けられて構成される履歴情報が記録される。
For example, when the user inputs an operation signal for instructing “brightness adjustment” in the image quality adjustment when the time code is “GG: GG: GG”, the image
例えば、タイムコードが「HH:HH:HH」で、入力源が「チューナ」のときに、ユーザにより入力源を「チューナ」から「ビデオ1」に切り換える操作信号が入力されると、これに対応して入力切換部35には「ビデオ1」を選択する制御情報が入力され、入力切換部35は、入力端子からの画像信号を入力する。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「HH:HH:HH」のときに得られた、入力源が「ビデオ1」であり、チャンネル番号が「なし」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「HH:HH:HH」のときに生成が開始された特徴量頻度分布のデータ8が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “HH: HH: HH” and the input source is “tuner”, an operation signal for switching the input source from “tuner” to “
さらに、例えば、タイムコードが「JJ:JJ:JJ」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「パレット操作」を指示する制御情報が入力され、画像信号処理部37は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ1」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「JJ:JJ:JJ」のときに得られた、入力源が「ビデオ1」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「JJ:JJ:JJ」のときに生成が開始された特徴量頻度分布のデータ9が対応付けられて構成される履歴情報が記録される。
Further, for example, when the time code is “JJ: JJ: JJ” and the user inputs an operation signal for instructing “pallet operation” in image quality adjustment, the image
例えば、タイムコードが「KK:KK:KK」で、入力源が「ビデオ1」のときに、ユーザにより入力源を「ビデオ1」から「チューナ」に切り換える操作信号が入力されると、これに対応して入力切換部35には「チューナ」を選択する制御情報が入力され、入力切換部35は、チューナ33からの画像信号を入力する。このとき、チューナ33は、現在から最も近い過去のユーザの操作に対応するチャンネル切換の制御情報により、「CH08」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「KK:KK:KK」のときに得られた、入力源が「チューナ」であり、チャンネル番号が「CH08」であり、操作内容が「なし」である制御履歴情報に、タイムコードが「KK:KK:KK」のときに生成が開始された特徴量頻度分布のデータ10が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “KK: KK: KK” and the input source is “
また、例えば、タイムコードが「LL:LL:LL」のときに、ユーザにより画質調整のうち「明るさ調整」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「明るさ調整」を指示する制御情報が入力され、画像信号処理部37は、「明るさ調整」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ2」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「LL:LL:LL」のときに得られた、入力源が「ビデオ2」であり、操作内容が「明るさ調整」である制御履歴情報に、タイムコードが「LL:LL:LL」のときに生成が開始された特徴量頻度分布のデータ11が対応付けられて構成される履歴情報が記録される。
For example, when the user inputs an operation signal instructing “brightness adjustment” in image quality adjustment when the time code is “LL: LL: LL”, the image
例えば、タイムコードが「MM:MM:MM」のときに、ユーザにより画質調整のうち「パレット操作」を指示する操作信号が入力されると、これに対応して画像信号処理部37には「パレット操作」を指示する制御情報が入力され、画像信号処理部37は、「パレット操作」のパラメータ設定を変更する。このとき、入力切換部35は、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報により、「ビデオ1」を選択している。これらの情報がシステムコントローラ32から取得され、履歴情報メモリ92には、タイムコードが「MM:MM:MM」のときに得られた、入力源が「ビデオ1」であり、操作内容が「パレット操作」である制御履歴情報に、タイムコードが「MM:MM:MM」のときに生成が開始された特徴量頻度分布のデータ12が対応付けられて構成される履歴情報が記録される。
For example, when the time code is “MM: MM: MM” and the user inputs an operation signal instructing “pallet operation” in image quality adjustment, the image
以上のようにして、履歴情報記憶部13には、操作信号が入力されたときに得られる制御履歴情報と、操作信号が入力されたときに生成される制御履歴情報に対応付けられた特徴量情報からなる履歴情報が記録される。そして、この履歴情報記憶部13が構成されている基板2は、ユーザ係数種データを生成する際、テレビジョン受信装置1から取り外されて、後述するデータ生成反映装置2に接続される。
As described above, the history
ここで引き続き、図15を参照しながら、上述した履歴情報が用いられるユーザ係数種データと、ユーザ係数種データの使用を制御する制御命令データの生成方法について説明する。 Here, with reference to FIG. 15 again, a method of generating user coefficient seed data using the above-described history information and control instruction data for controlling use of the user coefficient seed data will be described.
後述する係数データ反映装置21においては、接続された基板2の履歴情報記憶部13からの制御履歴情報が参照されて、可能な限り同じ条件の制御履歴情報が抽出され、抽出された制御履歴情報に対応付けられた特徴量情報が選択される。
In the coefficient
そして、係数データ反映装置21は、選択した特徴量頻度分布のデータを用いて、予測係数生成装置20に、ユーザ係数種データを生成させ、抽出された制御履歴情報に基づいて、テレビジョン受信装置1における、生成されたユーザ係数種データの使用を制御する制御命令データを生成する。
Then, the coefficient
例えば、図15の例の場合、係数データ反映装置21においては、入力源「ビデオ1」および操作内容「画質調整」を含む制御履歴情報、すなわち、入力源「ビデオ1」に関する制御情報および操作内容「画質調整」に関する制御情報を有する制御履歴情報のみが抽出され、それらの制御履歴情報に対応付けられた特徴量頻度分布のデータ(すなわち、ハッチが付されているデータ2,データ4,データ7,データ9,およびデータ12)が選択される。
For example, in the case of the example of FIG. 15, in the coefficient
この場合、入力源「ビデオ1」に関する制御情報および操作内容「画質調整」に関する制御情報を有することが、可能な限り同じ条件となる。もちろん、条件は、これに限らず、例えば、入力源「ビデオ1」に関する制御情報を有することだけで構成することもできるし、入力源「ビデオ1」に関する制御情報、および操作内容「色補正」に関する制御情報を有することを条件として構成することもできる。
In this case, having the control information related to the input source “
そして、選択された特徴量頻度分布のデータが用いられて、予測係数生成装置20により、ユーザ係数種データが生成されると、係数データ反映装置21は、抽出した制御履歴情報(すなわち、入力源「ビデオ1」に関する制御情報および操作内容「画質調整」に関する制御情報を有する制御履歴情報)に基づいて、例えば、入力源「ビデオ1」に関する制御情報を有する場合のみに、生成されたユーザ係数種データを使用させるという、制御命令データを生成する。すなわち、このユーザ係数種データは、入力源「ビデオ1」という制御情報用の係数種データとも言える。
When user coefficient seed data is generated by the prediction
このようにして生成されたユーザ係数種データおよび制御命令データは、テレビジョン受信装置1に提供され、相互に対応付けられて、それぞれ係数種記憶部61のユーザ係数メモリ73および係数制御命令メモリ72に記録される。
The user coefficient seed data and the control command data generated in this way are provided to the
図16は、履歴情報メモリ92に記憶されている特徴量頻度分布のデータの例を示している。
FIG. 16 shows an example of feature quantity frequency distribution data stored in the
図15の履歴情報メモリ92に記録されている各特徴量頻度分布のデータ1乃至nは、図16に示されるように、リモートコントローラ16からのユーザの操作信号が入力されるタイミングで、SD信号から生成される、ユーザが視聴する画像(すなわち、ユーザ視聴画像)1乃至nの特徴量頻度分布のデータであり、それぞれ、動きクラス0乃至Pおよび空間クラス0乃至Nの組み合わせ毎に構成されている。
The feature
すなわち、データ1乃至nは、それぞれ、各ユーザ視聴画像1乃至nの、動きクラス0および空間クラス0の特徴量頻度分布のデータ、動きクラス0および空間クラス1の特徴量頻度分布のデータ、動きクラス0および空間クラス2の特徴量頻度分布のデータ、…、動きクラス0および空間クラスPの特徴量頻度分布のデータ、動きクラス1および空間クラス0の特徴量頻度分布のデータ、動きクラス2および空間クラス0の特徴量頻度分布のデータ、動きクラスNおよび空間クラス0の特徴量頻度分布のデータ、………、動きクラスPおよび空間クラスNの特徴量頻度分布のデータからなる、(P+1)×(N+1)ずつの特徴量頻度分布のデータで構成されている。
That is, the
図6に戻り、再び、テレビジョン受信装置1の構成について説明する。
Returning to FIG. 6, the configuration of the
OSD(On Screen Display)処理部38は、表示部15の画面上に文字図形などの表示を行うための表示信号SCHを発生する。合成部39は、OSD処理部38から出力される表示信号SCHを、画像信号処理部37から出力されるHD信号に合成して、表示部15に供給する。表示部15は、例えば、CRT(cathode-ray tube)ディスプレイ、あるいはLCD(liquid crystal display)等のフラットパネルディスプレイで構成され、画像信号処理部37より出力されるHD信号による画像と、必要に応じて合成部39により合成された表示信号SCHとを表示する。
An OSD (On Screen Display) processing unit 38 generates a display signal SCH for displaying a character graphic on the screen of the
また、システムコントローラ32には、必要に応じてドライブ40が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは、半導体メモリなどのリムーバブルメディア41が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてシステムコントローラ32にインストールされる。
A drive 40 is connected to the
図6のテレビジョン受信装置1の動作について説明する。
The operation of the
システムコントローラ32は、リモートコントローラ16を用いて入力されるユーザの操作に基づいて、制御情報を供給し、チューナ33や入力切換部35などを制御する。チューナ33は、システムコントローラ32の制御に従って、アンテナ11で受信された放送信号に対して、選局処理、中間周波増幅処理、および検波処理などを行い、入力切換部35に出力する。
The
入力切換部35は、システムコントローラ32の制御に従って、チューナ33より出力されるSD信号、または、入力端子34を介して図示せぬ録画装置から入力されるSD信号のどちらかを選択し、選択したSD信号をバッファメモリ36に出力する。
The
入力切換部35より出力されるSD信号(525i信号)は、バッファメモリ36に供給されて、一時的に保存される。そして、バッファメモリ36に一時的に記憶されたSD信号は、画像信号処理部37に供給され、システムコントローラ32から供給される制御情報を基に、HD信号(1050i信号)に変換される。
The SD signal (525i signal) output from the
すなわち、画像信号処理部37では、SD信号を構成する画素データ(以下、「SD画素データ」と称する)から、HD信号を構成する画素データ(以下、「HD画素データ」と称する)を得ることができる。画像信号処理部37より出力されるHD信号は、必要に応じて、合成部39において、OSD処理部38から出力される表示信号SCHによる文字図形などと合成されて、表示部15に供給され、表示部15の画面上に、画像が表示される。
That is, the image
また、ユーザは、リモートコントローラ16の操作によって、表示部15の画面上に表示される画像の水平および垂直の解像度と、ノイズ除去度(ノイズ低減度)を調整することができる。画像信号処理部37では、推定式によって、HD画素データが算出されるが、この推定式の係数データとして、ユーザのリモートコントローラ16の操作によって調整された、水平および垂直の解像度を定めるパラメータrおよびノイズ除去度を定めるパラメータzに対応したものが、これらパラメータr、およびzを含む生成式によって生成されて使用される。これにより、画像信号処理部37から出力されるHD信号による画像の水平および垂直の解像度およびノイズ除去度は、調整されたパラメータr、およびzに対応したものとなる。
Further, the user can adjust the horizontal and vertical resolutions of the image displayed on the screen of the
図17は、パラメータr、およびzを調整するためのユーザインタフェースの一例を示している。調整時には、表示部15に、パラメータr、およびzの調整位置を、図中星印のアイコン102で示した調整画面101が、OSD表示される。また、リモートコントローラ16は、ユーザ操作手段としてのジョイスティック111を備えている。
FIG. 17 shows an example of a user interface for adjusting the parameters r and z. At the time of adjustment, an
ユーザは、ジョイスティック111を操作することで、調整画面101上でアイコン102の位置を動かすことができ、水平および垂直の解像度を決定するパラメータr、およびノイズ除去度を決定するパラメータzの値を調整することができる。
The user can move the position of the
図18に、図17の調整画面101の部分を拡大して示す。アイコン102が左右に動かされることでノイズ除去度を決定するパラメータzの値が調整され、一方アイコン102が上下に動かされることで水平および垂直の解像度を決定するパラメータrの値が調整される。ユーザは、表示部15に表示される調整画面101を参照して、パラメータr、およびzの値の調整を容易に行うことができる。
FIG. 18 shows an enlarged view of the
なお、リモートコントローラ16は、ジョイスティック111の代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えるようにしてもよい。更に、ユーザによって調整されたパラメータr、およびzの値が、調整画面101上に数値表示されるようにしてもよい。
Note that the
次に、図8を参照して上述した画像信号処理部37の動作を説明する。
Next, the operation of the image
第2のタップ選択部52は、バッファメモリ36に記憶されているSD信号(525i信号)の供給を受け、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する空間クラスタップのデータ(SD画素データ)を、選択的に取り出す。第2のタップ選択部52で選択的に取り出された空間クラスタップのデータ(SD画素データ)は、空間クラス検出部54に供給される。空間クラス検出部54は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードqiを得る(式(1)参照)。
The second
また、第3のタップ選択部53は、バッファメモリ36に記憶されているSD信号(525i信号)の供給を受け、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する動きクラスタップのデータ(SD画素データ)を選択的に取り出す。第3のタップ選択部53で選択的に取り出された動きクラスタップのデータ(SD画素データ)は、動きクラス検出部55に供給される。動きクラス検出部55は、動きクラスタップのデータとしての各SD画素データより、動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVを得る。
Further, the third tap selection unit 53 receives the SD signal (525i signal) stored in the
この動き情報MVと、再量子化コードqiとは、クラス合成部56に供給される。クラス合成部56は、供給された動き情報MVと再量子化コードqiとから、作成すべきHD信号(1050i信号)を構成する単位画素ブロック毎に、その単位画素ブロック内の4画素(注目画素)が属するクラスを示すクラスコードCLを得る(式(3)参照)。そして、このクラスコードCLは、係数メモリ57および正規化係数メモリ64に、読み出しアドレス情報として供給される。
The motion information MV and the requantization code qi are supplied to the
一方、係数種記憶部61の係数制御部71は、係数制御命令メモリ72に記録されている制御命令データを読み出すとともに、システムコントローラ32より、テレビジョン受信装置1の各部(例えば、チューナ33や入力切換部35、画像信号処理部37など)の制御情報を取得し、取得した制御情報に、制御命令データに対応するものがあるか否かを判定する。
On the other hand, the
係数制御メモリ72には、例えば、図15を参照して上述したように、テレビジョン受信装置1の入力切換部35への制御情報が入力源「ビデオ1」に関するものである場合に、対応するユーザ係数種データの使用を制御する制御命令データが記憶されている。
For example, as described above with reference to FIG. 15, the
例えば、入力切換部35は、現在より最も近い過去のユーザの操作に対応する入力切換の制御情報に従って、「ビデオ1」を選択している場合、これに対応する制御情報が、システムコントローラ32から取得される。この場合、テレビジョン受信装置1の制御情報に、制御命令データに一致するもの(入力源「ビデオ1」)があるので、テレビジョン受信装置1の制御情報に、制御命令データに対応するものがあると判定され、ユーザ係数メモリ73から、対応するユーザ係数種データが読み出されて、係数生成部62にロードされる。
For example, when the “
一方、例えば、入力切換部35が、現在から最も近い過去のユーザの操作に対応する入力切換の制御情報に従って、「チューナ」を選択している場合などには、入力源が「ビデオ1」ではないので、テレビジョン受信装置1の制御情報に、制御命令データに対応するものがないと判定され、通常係数メモリ72から、通常係数種データが読み出されて、係数生成部62にロードされる。
On the other hand, for example, when the
なお、このとき、ユーザによりユーザ係数の使用が要求されている場合、係数制御部71は、ユーザ係数メモリ73に記録されているユーザ係数種データを係数生成部62に出力させる。
At this time, when the use of the user coefficient is requested by the user, the
そして、例えば、各垂直ブランキング期間に、係数生成部62で、ユーザによって調整されたパラメータr、およびzの値に対応して、クラスおよび出力画素(HD1乃至HD4,HD1′乃至HD4′)の組み合わせ毎に、係数種記憶部61からロードされた係数種データw10乃至wn9を用いて、推定式の係数データWi(i=1乃至n)が求められて、係数メモリ57に格納される(式(5)参照)。
Then, for example, in each vertical blanking period, the coefficient and the output pixels (HD1 to HD4, HD1 ′ to HD4 ′) corresponding to the values of the parameters r and z adjusted by the user in the
また、係数生成部62で求められた推定式の係数データWi(i=1乃至n)に対応した正規化係数Sが、正規化係数演算部63で生成されて、正規化係数メモリ64に格納される(式(6)参照)。
Also, the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) of the estimation formula obtained by the
クラスコードCLが、係数メモリ57に読み出しアドレス情報として供給されることで、この係数メモリ57からクラスコードCLに対応した4出力画素(奇数フィールドではHD1乃至HD4、偶数フィールドではHD1′乃至HD4′)分の推定式の係数データWiが読み出されて、推定予測演算部58に供給される。また、第1のタップ選択部51は、バッファメモリ36に記憶されているSD信号(525i信号)の供給を受け、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する予測タップのデータ(SD画素データ)を選択的に取り出す。
By supplying the class code CL to the coefficient memory 57 as read address information, four output pixels corresponding to the class code CL from the coefficient memory 57 (HD1 to HD4 in the odd field, HD1 ′ to HD4 ′ in the even field). The coefficient data Wi of the estimation equation for the minute is read and supplied to the estimated
推定予測演算部58は、予測タップのデータ(SD画素データ)xiと、係数メモリ57より読み出される4出力画素分の係数データWiとから、作成すべきHD信号を構成する単位画素ブロック内の4画素(注目位置の画素)のデータy1乃至y4を演算する(式(4)参照)。そして、この推定予測演算部58より順次出力されるHD信号を構成する単位画素ブロック内の4画素のデータy1乃至y4は、正規化演算部59に供給される。
The estimated
正規化係数メモリ64には、上述したように、クラスコードCLが読み出しアドレス情報として供給され、正規化係数メモリ64からはクラスコードCLに対応した正規化係数S、つまり、推定予測演算部58より出力されるHD画素データy1乃至y4の演算に使用された係数データWiに対応した正規化係数Sが読み出されて、正規化演算部59に供給される。正規化演算部59は、推定予測演算部58より出力されるHD画素データy1乃至y4を、それぞれ対応する正規化係数Sで除算して正規化する。これにより、係数生成部62で係数データWiを求める際の丸め誤差によるデータy1乃至y4のレベル変動が除去される。
As described above, the class code CL is supplied to the
このように、正規化演算部59で正規化されて順次出力される単位画素ブロック内の4画素のデータy1′乃至y4′は、後処理部50に供給される。後処理部50は、正規化演算部59より順次供給される単位画素ブロック内の4画素のデータy1′乃至y4′を線順次化し、1050i信号のフォーマットで出力する。つまり、後処理部50からは、HD信号としての1050i信号が出力される。
As described above, the data y1 ′ to y4 ′ of the four pixels in the unit pixel block which are normalized by the
以上のように、画像信号処理部37は、係数データの基になる係数種データとして、統計的にロバストな性能を発揮するように生成された従来の通常係数種データと、画像信号処理部37において記録された操作制御情報、および画像の特徴量情報からなる履歴情報に基づいて予測係数生成装置20により生成されたユーザ係数種データとの2種類を記憶している。
As described above, the image
そして、記憶している従来の通常係数種データとユーザ係数種データのどちらかを、画像信号処理部37において記録された履歴情報が用いられて係数データ反映装置21により生成された制御命令データに基づいて切り換えて用いるようにしたので、例えば、「ビデオ入力」時、あるいは「チューナ入力」かつ「CH03」選択時などの視聴時のテレビジョン受信装置1の状況に応じて最適な画像を生成することができる。
Then, either the stored conventional normal coefficient seed data or user coefficient seed data is used as control command data generated by the coefficient
これにより、視聴時のテレビジョン受信装置1の状況毎に最適な画像が表示されるので、ユーザが画質を調整したいと思うことは少なくなる。換言すると、ユーザが画質をわざわざ調整しなくても、テレビジョン受信装置1においては、ユーザの視聴状況毎に最適な画像が表示される。
As a result, an optimal image is displayed for each situation of the
次に、図12の特徴量頻度分布生成部66の動作を説明する。
Next, the operation of the feature amount frequency
例えば、リモートコントローラ16から、ユーザの選局に対応する操作信号、ユーザの入力切替に対応する操作信号、またはユーザの解像度調整に対応する操作信号などが入力されると、システムコントローラ32からは、各操作信号の入力の通知が履歴情報記憶部13および情報生成制御部65に供給される。
For example, when an operation signal corresponding to user tuning, an operation signal corresponding to user input switching, or an operation signal corresponding to user resolution adjustment is input from the
メモリ制御部91は、ユーザの操作信号の入力が通知されると、システムコントローラ32から、ユーザの操作情報やテレビジョン受信装置1の各部(例えば、チューナ33や入力切換部35)の制御情報を取得し、それらの操作情報および制御情報を、制御履歴情報として履歴情報メモリ92に記録する。
When the input of the operation signal of the user is notified, the
また、このとき同時に、情報生成制御部65は、動きクラスタップ選択部81、空間クラスタップ選択部82、および、特徴量生成タップ選択部83に処理を開始させる。
At the same time, the information
動きクラスタップ選択部81は、バッファメモリ36に記憶されているSD信号の供給を受け、SD信号(525i信号)より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する動きクラスタップ(複数のSD画素)のデータを選択的に取り出す。動きクラスタップ選択部81で選択的に取り出された動きクラスタップのデータは、動きクラス検出部84に供給される。
The motion class
動きクラス検出部84は、動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の動きクラス(主に動きの程度を表すためのクラス分類)を検出し、検出したSD画素の動きクラスのクラス情報(MV)を、特徴量頻度分布演算部87に出力する。
The motion
また、空間クラスタップ選択部82は、バッファメモリ36に記憶されているSD信号(525i信号)の供給を受け、SD信号より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する空間クラスタップ(複数のSD画素)のデータを選択的に取り出す。空間クラスタップ選択部82で選択的に取り出された空間クラスタップのデータは、空間クラス検出部85に供給される。
In addition, the space class
空間クラス検出部85は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コード(qi)を得て、特徴量頻度分布演算部87に出力する。
The space
さらに、特徴量生成タップ選択部83は、バッファメモリ36に記憶されているSD信号(525i信号)の供給を受け、SD信号より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する特徴量生成タップ(複数のSD画素)のデータを選択的に取り出す。特徴量生成タップ選択部83で選択的に取り出された特徴量生成タップのデータは、特徴量生成部86に供給される。
Further, the feature quantity generation
特徴量生成部86は、特徴量生成タップ選択部83で選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の特徴量である、例えば、最大値および最小値などを生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部87に出力する。
The feature
同じSD画素について求められた動きクラス、空間クラス、および特徴量の各情報は、特徴量頻度分布演算部87に供給される。特徴量頻度分布演算部87は、動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布(ヒストグラム)を生成し、生成した特徴量頻度分布のデータを、動きクラスおよび空間クラスの組み合わせ毎に履歴情報記憶部13に供給する。
Each information of the motion class, the space class, and the feature amount obtained for the same SD pixel is supplied to the feature amount frequency
履歴情報記憶部13のメモリ制御部91は、特徴量頻度分布演算部87により求められたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて記録された制御履歴情報に対応付けて履歴情報として記録する。
The
このようにして、操作信号が入力される度に履歴情報記憶部13に記録される制御履歴情報とユーザ視聴画像の特徴量頻度分布のデータからなる履歴情報は、例えば、テレビジョン受信装置1のバージョンアップ等の場合において、その係数種記憶部61のユーザ係数メモリ73に格納されるユーザ係数種データw10乃至wn9を生成する際などに利用される。
Thus, the history information including the control history information recorded in the history
すなわち、数種記憶部61のユーザ係数メモリ73に格納されるユーザ係数種データw10乃至wn9は、データ生成反映装置2において、履歴情報記憶部13に記録される履歴情報を用いて生成されるものである。
That is, the user coefficient seed data w10 to wn9 stored in the
次に、係数種データw10乃至wn9の生成方法の一例について説明する。この例においては、上述した式(5)の生成式における係数データである係数種データw10乃至wn9を求める例を示すものとする。 Next, an example of a method for generating the coefficient seed data w10 to wn9 will be described. In this example, an example is shown in which coefficient seed data w10 to wn9, which are coefficient data in the generation formula of the above-described formula (5), are obtained.
ここで、以下の説明のため、式(7)のように、ti(i=0乃至9)を定義する。 Here, for the following description, ti (i = 0 to 9) is defined as in Expression (7).
この式(7)を用いると、式(5)は、以下の式(8)のように書き換えられる。 When this equation (7) is used, equation (5) can be rewritten as the following equation (8).
最終的に、学習によって未定係数wijが求められる。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値が決定される。これは、いわゆる、最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、式(4)および式(5)を用いて、Eは式(9)で表される。ここで、xikはSD画像のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応するk番目のHD画像の画素データを表している。 Finally, the undetermined coefficient wij is obtained by learning. That is, for each combination of class and output pixel, a coefficient value that minimizes the square error is determined using a plurality of SD pixel data and HD pixel data. This is a so-called least square method. If the learning number is m, the residual in the kth (1 ≦ k ≦ m) learning data is ek, and the sum of the squared errors is E, E can be expressed by Equation (9) using Equations (4) and (5). ). Here, xik represents the kth pixel data at the i-th predicted tap position of the SD image, and yk represents the corresponding pixel data of the kth HD image.
最小二乗法による解法では、式(9)のwijによる偏微分が0になるようなwijを求める。これは、以下の式(10)で示される。 In the solution by the least square method, wij is obtained such that the partial differentiation by wij in equation (9) becomes zero. This is shown by the following formula (10).
以下、式(11)、式(12)のように、Xipjq、Yipを定義すると、式(10)は、式(13)のように行列を用いて書き換えられる。 Hereinafter, when Xipjq and Yip are defined as in Expression (11) and Expression (12), Expression (10) can be rewritten using a matrix as in Expression (13).
この方程式は、一般に、正規方程式と称されている。正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wijについて解かれ、係数種データが算出される。 This equation is generally referred to as a normal equation. The normal equation is solved for wij by using a sweeping method (Gauss-Jordan elimination method) or the like, and coefficient seed data is calculated.
図19は、上述した係数種データの生成方法の一例の概念を示す図である。 FIG. 19 is a diagram illustrating a concept of an example of the above-described coefficient seed data generation method.
HD信号から、複数のSD信号が生成される。例えば、HD信号からSD信号を生成する際に使用されるフィルタの垂直方向および水平方向の帯域を可変するパラメータr、およびノイズ量を可変するパラメータzをそれぞれ9段階に可変することによって、合計81種類のSD信号が生成される。このようにして生成された複数のSD信号とHD信号との間で、学習が行われて、係数種データが生成される。 A plurality of SD signals are generated from the HD signal. For example, by varying the parameter r for varying the vertical and horizontal bands of the filter used when generating the SD signal from the HD signal and the parameter z for varying the noise amount in 9 stages, a total of 81 Types of SD signals are generated. Learning is performed between the plurality of SD signals and HD signals generated in this way, and coefficient seed data is generated.
図20は、図4のデータ生成反映装置2の詳細な構成を示すブロック図である。
FIG. 20 is a block diagram showing a detailed configuration of the data generation /
データ生成反映装置2の係数データ反映装置21は、履歴情報取得部131および履歴情報判定部132からなる履歴情報処理部121、係数制御命令決定部122、制御命令メモリ22、並びにユーザ係数メモリ23により構成されている。
The coefficient
データ生成反映装置2に、テレビジョン受信装置1から取り外された基板12が接続されると、履歴情報取得部131は、基板12の履歴情報記憶部13のメモリ制御部91を制御し、履歴情報メモリ92から履歴情報(制御履歴情報および特徴量情報)を取得する。
When the
履歴情報判定部132は、履歴情報取得部131により取得された制御履歴情報を参照して、可能な限り同じ条件の制御履歴情報を抽出する。なお、このとき、履歴情報メモリ92からの制御履歴情報は、係数制御命令決定部122にも供給され、履歴情報判定部132により抽出された制御履歴情報の抽出情報も、係数制御命令決定部122に供給される。
The history
すなわち、図15を参照して上述したように、例えば、入力源が同じという条件、入力源と操作内容が同じという条件、または入力源とチャンネル番号が同じ条件など、同じ制御情報を有する制御履歴情報が抽出される。もちろん、これらの条件に限定されるものではない。 That is, as described above with reference to FIG. 15, for example, the control history having the same control information such as the condition that the input source is the same, the condition that the input source and the operation content are the same, or the condition that the input source and the channel number are the same. Information is extracted. Of course, it is not limited to these conditions.
そして、履歴情報判定部132は、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部91を制御し、選択した特徴量情報のみを、予測係数生成装置20に供給させる。これに対応して、予測係数生成装置20は、履歴情報判定部132により選択された特徴量情報のみを用いて、ユーザ係数種データを生成する。
Then, the history
係数制御命令決定部122は、予測係数生成装置20により生成されたユーザ係数種データと、履歴情報判定部132により抽出された制御履歴情報(すなわち、係数生成に用いられた特徴量情報に対応する制御履歴情報)を用いて、テレビジョン受信装置1におけるユーザ係数種データの使用を制御する制御命令を生成する。
The coefficient control
例えば、図15を参照して上述したように、入力源「ビデオ1」に関する制御情報が得られる場合には、ユーザ係数種データを使用させるというような制御命令が生成される。すなわち、生成されたユーザ係数種データは、入力源「ビデオ1」用のユーザ係数種データであり、入力源「ビデオ1」以外では使用不可能であることを示す制御命令が生成される。
For example, as described above with reference to FIG. 15, when control information related to the input source “
係数制御命令決定部122は、生成した制御命令データを、制御命令メモリ22に記録し、それに対応付けて、予測係数生成装置20により生成されたユーザ係数種データをユーザ係数メモリ23に記録する。そして、制御命令メモリ22に記憶された制御命令データおよびユーザ係数メモリ23に記憶されたユーザ係数種データは、基板12、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置1に提供される。
The coefficient control
これにより、テレビジョン受信装置1においては、入力源「ビデオ1」に関する制御情報が得られる場合には、ユーザ係数種データが使用され、入力源「ビデオ1」に関する制御情報が得られない場合には、通常係数種データが使用される。なお、テレビジョン受信装置1においては、入力源「ビデオ1」に関する制御情報が得られない場合であっても、その使用を要求するユーザの操作があれば、ユーザ係数種データは使用可能とされる。
Thereby, in the
図21は、図20の予測係数生成装置20の構成例を示している。
FIG. 21 shows a configuration example of the prediction
予測係数生成装置20は、図示せぬデータサーバなどから、数十種類の学習画像としてのHD信号と、その画像番号を入力し、係数データ反映装置21により選択され、基板12の履歴情報記憶部13(履歴情報メモリ92)から供給されるユーザ視聴画像の特徴量情報である特徴量頻度分布のデータを用いて、テレビジョン受信装置1の係数種記憶部61のユーザ係数メモリ73に格納されるユーザ係数種データw10乃至wn9を生成する。
The prediction
予測係数生成装置20は、入力端子201乃至203、複数の学習画像の特徴量頻度分布を生成し、記録する学習画像頻度分布生成部204、係数データ反映装置21により選択された履歴情報記憶部13のユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布生成部204により記録された学習画像の特徴量頻度分布とを比較し、学習画像の中から、ユーザ視聴画像に似ているものを選択する学習画像選択部205、学習画像選択部205により選択された学習画像を用いて予測係数を学習する係数種データ生成部206、並びにCPU、RAM、およびROMを含むマイクロコントローラを備え、システム全体の動作を制御するためのシステムコントローラ207により構成される。
The prediction
入力端子201には、入力端子202から入力される教師信号が対応する学習画像の画像番号が入力される。入力端子202には、数十種類の学習画像の、教師信号としてのHD信号(1050i信号)が順に入力される。入力端子203には、パラメータr、およびzの値が入力される。なお、学習画像、画像番号、並びに、パラメーラr、およびzなどは、例えば、システムコントローラ207の制御のもと、外部の図示せぬデータサーバなどから入力される。
The image number of the learning image corresponding to the teacher signal input from the
学習画像頻度分布生成部204は、SD信号生成部211、特徴量頻度分布生成部212、および学習画像頻度分布メモリ213により構成され、入力端子201および202からそれぞれ入力されるHD信号とその画像番号を受け、動きクラス、空間クラス毎に学習画像の特徴量情報である、特徴量頻度分布を生成して記憶し、学習画像選択部205より要求された画像番号、動きクラス、および空間クラスに応じて、記憶している特徴量頻度分布のデータを出力する処理を行う。
The learning image frequency
SD信号生成部211は、入力端子202からのHD信号(1050i信号)に対して、入力端子203から入力されるパラメータr、およびzの値を用いて、水平および垂直の間引き処理を行って、生徒信号としてのSD信号(525i信号)を得る。
The SD
このとき、SD信号生成部211は、入力端子203から入力されるパラメータrに基づいて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの、空間方向(水平および垂直)の帯域を変更し、パラメータzに基づいて、SD信号に対するノイズ付加状態を段階的に変更する。
At this time, the SD
したがって、SD信号生成部211においては、入力されたパラメータrの値そのものに応じて、空間方向の帯域が可変され、入力されたパラメータrの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Therefore, in the SD
特徴量頻度分布生成部212は、図8の特徴量頻度分布生成部66と基本的に同様に構成され、SD信号生成部211からのSD信号の画像の特徴量情報としての特徴量頻度分布を、動きクラスおよび空間クラス毎に生成し、生成した動きクラスおよび空間クラス毎の画像の特徴量頻度分布のデータを、学習画像頻度分布メモリ213に記録する。
The feature amount frequency
学習画像頻度分布メモリ213には、入力端子201からの画像番号と、特徴量頻度分布生成部212により生成される、画像番号に対応する数十種類の学習画像の特徴量頻度分布のデータが、動きクラスおよび空間クラス毎に記憶されている。
In the learning image
図22は、特徴量頻度分布生成部212の詳細な構成例を示すブロック図である。
FIG. 22 is a block diagram illustrating a detailed configuration example of the feature amount frequency
特徴量頻度分布生成部212の動きクラスタップ選択部251、空間クラスタップ選択部252、および、特徴量生成タップ選択部253は、SD信号生成部211からのSD信号より、特徴量を生成する対象画素の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。これらの動きクラスタップ選択部251、空間クラスタップ選択部252、および特徴量生成タップ選択部253は、図12の動きクラスタップ選択部81、空間クラスタップ選択部82、および特徴量生成タップ選択部83と基本的に同様に構成される。
The motion class
動きクラス検出部254は、図12の動きクラス検出部84と基本的に同様に構成され、動きクラスタップ選択部251で選択的に取り出された動きクラスタップのデータ(SD画素データ)より、主に、動きの程度を表すための動きクラスを検出し、その動きクラスのクラス情報(MV)を出力する。
The motion
空間クラス検出部255は、図12の空間クラス検出部85と基本的に同様に構成され、空間クラスタップ選択部252で選択的に取り出された空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて、空間クラスを検出し、その空間クラスのクラス情報(再量子化コードqi)を出力する。
The space
特徴量生成部256は、図12の特徴量生成部86と基本的に同様に構成され、特徴量生成タップ選択部253で選択的に取り出された特徴量生成タップのデータ(SD画素データ)より、SD画素の特徴量を生成し、その特徴量の値を出力する。すなわち、図11を参照して上述したように、特徴量生成タップの画素値が用いられて、タップ内最大値Max、タップ内最小値Min、ダイナミックレンジDR、中間値、および平均値Aveのうちの少なくとも1つが、求める画素の特徴量として生成される。
The feature
特徴量頻度分布演算部257は、図12の特徴量頻度分布演算部87と基本的に同様に構成され、同じ画素に対応する、動きクラス検出部84より検出された動きクラス、空間クラス検出部85より検出された空間クラス、および特徴量生成部86より生成された特徴量に基づき、特徴量情報である、図14を参照して上述した特徴量頻度分布(ヒストグラム)を生成していく。このとき、特徴量頻度分布は、同時に入力される動きクラスと空間クラスの組み合わせ毎に生成され、そのデータは、動きクラスと空間クラスの組み合わせ毎に学習画像頻度分布メモリ213に記憶される。
The feature amount frequency
図23は、学習画像頻度分布メモリ213に記憶されている特徴量頻度分布の例を示している。
FIG. 23 shows an example of the feature amount frequency distribution stored in the learning image
学習画像頻度分布メモリ213には、数十種類の学習画像の特徴量頻度分布のデータが、動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
The learning image
例えば、学習画像1乃至mの特徴量頻度分布のデータが、それぞれ、動きクラス0乃至Pおよび空間クラス0乃至Nの組み合わせ毎に記憶されている。
For example, feature amount frequency distribution data of learning
すなわち、各学習画像1乃至mに対して、動きクラス0および空間クラス0の特徴量頻度分布のデータ、動きクラス0および空間クラス1の特徴量頻度分布のデータ、動きクラス0および空間クラス2の特徴量頻度分布のデータ、…、動きクラス0および空間クラスPの特徴量頻度分布のデータ、動きクラス1および空間クラス0の特徴量頻度分布のデータ、動きクラス2および空間クラス0の特徴量頻度分布のデータ、動きクラスNおよび空間クラス0の特徴量頻度分布のデータ、………、動きクラスPおよび空間クラスNの特徴量頻度分布のデータというように、(P+1)×(N+1)ずつの特徴量頻度分布のデータが記憶されている。
That is, for each learning
図21に戻り、学習画像選択部205は、頻度分布比較部221、学習画像選択部222、および学習画像テーブル223により構成され、履歴情報記憶部13のユーザ視聴画像の特徴量頻度分布のうち、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ213の全ての学習画像の特徴量頻度分布とを比較し、動きクラスおよび空間クラスの組み合わせ毎に、似た特徴を有する学習画像を選択し、その画像番号を記録し、係数データ生成時に、記録した画像番号を提供する処理を行う。
Returning to FIG. 21, the learning
頻度分布比較部221は、同じ動きクラスおよび空間クラスの組み合わせについて、履歴情報記憶部13に記憶されているユーザ視聴画像の特徴量頻度分布のうち、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ213にある全ての学習画像の特徴量頻度分布とを比較していく。
The frequency
図24は、頻度分布比較部221による特徴量頻度分布の比較対象を説明する図である。
FIG. 24 is a diagram for explaining a comparison target of the feature amount frequency distribution by the frequency
履歴情報記憶部13の履歴情報メモリ92には、テレビジョン受信装置1において制御履歴情報に対応付けられて記録されたユーザ視聴画像の特徴量頻度分布のデータが記憶されている。
The
すなわち、履歴情報メモリ92には、ユーザ視聴画像1の動きクラスPおよび空間クラスMの特徴量頻度分布のデータ、…、ユーザ視聴画像1の動きクラスQおよび空間クラスNの特徴量頻度分布のデータ、…、ユーザ視聴画像2の動きクラスPおよび空間クラスMの特徴量頻度分布のデータ、…、ユーザ視聴画像2の動きクラスQおよび空間クラスNの特徴量頻度分布のデータ、…、というように、ユーザ視聴画像の特徴量頻度分布のデータが動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
That is, the
また、学習画像特徴量頻度分布メモリ213には、学習画像頻度分布生成部204により生成された数十種類の学習画像の頻度分布のデータが記憶されている。すなわち、学習画像1の動きクラスPおよび空間クラスMの特徴量頻度分布のデータ、…、学習画像1の動きクラスQおよび空間クラスNの特徴量頻度分布のデータ、…、学習画像2の動きクラスPおよび空間クラスMの特徴量頻度分布のデータ、…、学習画像2の動きクラスQおよび空間クラスNの特徴量頻度分布のデータ、…、というように、学習画像の特徴量頻度分布のデータが動きクラスおよび空間クラスの組み合わせ毎に記憶されている。
In addition, the learning image feature amount
なお、図24の例においては、ユーザ視聴画像1およびユーザ視聴画像2の特徴量分布のデータに対応付けられている制御履歴情報が、係数データ反映装置21により抽出されており、ユーザ視聴画像1およびユーザ視聴画像2の特徴量分布のデータが選択されているとする。
In the example of FIG. 24, the control history information associated with the feature amount distribution data of the
頻度分布比較部221は、履歴情報記憶部13に記憶されているすべてのユーザ視聴画像の特徴量頻度分布のデータのうち、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータ(すなわち、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布のデータ)を、動きクラスおよび空間クラスの組み合わせ毎に平均化し、動きクラスおよび空間クラスの組み合わせ毎の1つの特徴量頻度分布とした上で、学習画像特徴量頻度分布メモリ213に記憶されているすべての学習画像の特徴量頻度分布に対して、動きクラスおよび空間クラスの組み合わせ毎に比較を行っていく。
The frequency
ここで、頻度分布比較部221は、図25に示されるように、2つの特徴量頻度分布から求まる値を用いて相関係数を求めることで、2つの特徴量頻度分布を比較する。
Here, as shown in FIG. 25, the frequency
図25は、頻度分布比較部221による特徴量頻度分布の比較方法の具体例を示している。図25の例においては、左から順に、学習画像の特徴量頻度分布と、ユーザ視聴画像の特徴量頻度分布のグラフが示されている。各グラフにおいて、縦軸が学習画像の頻度fsty(x)およびユーザ視聴画像の頻度fusr(x)をそれぞれ表しており、横軸が特徴量値(x)を表している。
FIG. 25 shows a specific example of a comparison method of feature amount frequency distribution by the frequency
頻度分布比較部221は、学習画像の頻度fsty(x)から、頻度平均Mfstyと頻度標準偏差SDfstyを求め、ユーザ視聴画像の頻度fusr (x)から、頻度平均Mfusrと頻度標準偏差SDfusrを求め、次の式(14)で求まる相関係数値C(−1≦C≦1)を求めることで、2つの特徴量頻度分布の比較を行う。
The frequency
なお、Nは、サンプル数(特徴量頻度分布をカウントする画素数)を表す。また、相関係数値Cは、−1乃至1の値をとり、値が大きいほど、特徴量頻度分布の形状が似ているとされる。 Note that N represents the number of samples (number of pixels for counting the feature frequency distribution). Further, the correlation coefficient value C takes a value of −1 to 1, and the larger the value, the more similar the shape of the feature amount frequency distribution.
したがって、頻度分布比較部221においては、図24に示される、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスPおよび空間クラスMのユーザ視聴画像の特徴量頻度分布と、学習画像1の動きクラスPおよび空間クラスMの特徴量頻度分布が比較され、その比較値である相関係数値Cと学習画像1の画像番号、動きクラスP、および空間クラスMが、学習画像選択部222に出力される。
Therefore, in the frequency
また、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスPおよび空間クラスMのユーザ視聴画像の特徴量頻度分布と、学習画像2の動きクラスPおよび空間クラスMの特徴量頻度分布が比較され、その比較値である相関係数値Cと学習画像2の画像番号、動きクラスP、および空間クラスMが、学習画像選択部222に出力される。
In addition, after averaging the feature amount frequency distribution of the
なお、図示しないが、学習画像3以降についても、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスPおよび空間クラスMのユーザ視聴画像の特徴量頻度分布との比較が行われ、その比較値である相関係数値Cと学習画像3以降の画像番号、動きクラスP、および空間クラスMが、学習画像選択部222に出力される。
Although not shown, the learning image 3 and the subsequent feature image frequency distributions of the motion class P and the space class M of the user viewing image after averaging the feature amount frequency distributions of the
同様に、頻度分布比較部221においては、図24に示される、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスQおよび空間クラスNのユーザ視聴画像の特徴量頻度分布と、学習画像1の動きクラスQおよび空間クラスNの特徴量頻度分布が比較され、その比較値である相関係数値Cと学習画像1の画像番号、動きクラスQ、および空間クラスNが、学習画像選択部222に出力される。
Similarly, in the frequency
また、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスQおよび空間クラスNのユーザ視聴画像の特徴量頻度分布と、学習画像2の動きクラスQおよび空間クラスNの特徴量頻度分布が比較され、その比較値である相関係数値Cと学習画像2の画像番号、動きクラスQ、および空間クラスNが、学習画像選択部222に出力される。
In addition, after averaging the feature amount frequency distribution of the
なお、図示しないが、学習画像3以降についても、ユーザ視聴画像1およびユーザ視聴画像2の特徴量頻度分布の平均化後の、動きクラスQおよび空間クラスNのユーザ視聴画像の特徴量頻度分布との比較が行われ、その比較値である相関係数値Cと学習画像3以降の画像番号、動きクラスQ、および空間クラスNが、学習画像選択部222に出力される。
Although not shown, the learning image 3 and the subsequent feature image frequency distributions of the motion class Q and the space class N of the user viewing images after averaging the feature amount frequency distributions of the
学習画像選択部222は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の比較値である相関係数値Cに基づいて1つの学習画像を選択し、動きクラスおよび空間クラスの組み合わせ毎に、選択した学習画像の画像番号(以下、選択画像番号とも称する)を学習画像テーブル223に記録していく。
The learning
学習画像テーブル223には、すべての動きクラスおよび空間クラスの組み合わせ毎の選択画像番号が記憶される。 The learning image table 223 stores selected image numbers for each combination of all motion classes and space classes.
図26は、学習画像選択部222の学習画像選択および学習画像テーブルの構成の例を示す図である。
FIG. 26 is a diagram illustrating an example of the learning image selection of the learning
学習画像選択部222には、頻度分布比較部221より、すべての学習画像番号1乃至L、すべての動きクラス1乃至M、すべての空間クラス1乃至N、それらの組み合わせにおける特徴量頻度分布のユーザ視聴画像との比較結果の比較値が入力されている。
The learning
例えば、図26の学習画像選択部222には、上から順に、学習画像番号「1」については、学習画像番号「1」、動きクラス「1」、空間クラス「1」、比較値「C_1_1_1」が入力され、学習画像番号「1」、動きクラス「1」、空間クラス「2」、比較値「C_1_1_2」が入力され、…、学習画像番号「1」、動きクラス「1」、空間クラス「N」、比較値「C_1_1_N」が入力されている。また、学習画像番号「1」、動きクラス「2」、空間クラス「1」、比較値「C_1_2_1」が入力され、学習画像番号「1」、動きクラス「2」、空間クラス「2」、比較値「C_1_2_2」が入力され、…、学習画像番号「1」、動きクラス「2」、空間クラス「N」、比較値「C_1_2_N」が入力されている。
For example, in the learning
なお、図示はされないが、以下、動きクラス「3」乃至「M−1」以降についても同様に入力されており、さらに、学習画像番号「1」、動きクラス「M」、空間クラス「1」、比較値「C_1_M_1」が入力され、学習画像番号「1」、動きクラス「M」、空間クラス「2」、比較値「C_1_M_2」が入力され、…、学習画像番号「1」、動きクラス「M」、空間クラス「N」、比較値「C_1_M_N」が入力され、学習画像番号「1」、動きクラス「M」、空間クラス「1」、比較値「C_1_M_1」が入力され、学習画像番号「1」、動きクラス「M」、空間クラス「2」、比較値「C_1_M_2」が入力され、…、学習画像番号「1」、動きクラス「M」、空間クラス「N」、比較値「C_1_M_N」が入力されている。 Although not shown in the figure, the motion classes “3” to “M−1” and thereafter are input in the same manner, and the learning image number “1”, the motion class “M”, and the space class “1”. The comparison value “C_1_M_1” is input, the learning image number “1”, the motion class “M”, the space class “2”, the comparison value “C_1_M_2” is input,..., The learning image number “1”, the motion class “ M, space class “N”, and comparison value “C_1_M_N” are input, learning image number “1”, motion class “M”, space class “1”, and comparison value “C_1_M_1” are input, and learning image number “ 1 ”, motion class“ M ”, space class“ 2 ”, and comparison value“ C_1_M_2 ”are input,..., Learning image number“ 1 ”, motion class“ M ”, space class“ N ”, and comparison value“ C_1_M_N ” Is entered.
以降、その図示は殆ど省略されるが、学習画像番号「2」乃至「L」についても、学習画像番号「2」乃至「L」、動きクラス「1」乃至「M」、空間クラス「1」乃至「N」、比較値「C_2_1_1」乃至「C_L_M_N」がそれぞれ入力されている。 Thereafter, although illustration thereof is omitted, the learning image numbers “2” to “L”, the learning image numbers “2” to “L”, the motion classes “1” to “M”, and the space class “1” are also omitted. Through “N” and comparison values “C_2_1_1” through “C_L_M_N” are input.
まず、学習画像選択部222は、それらを、動きクラスおよび空間クラスの組み合わせ毎に並び替え、動きクラスおよび空間クラスの組み合わせ毎の比較値を評価し、最も相似している比較値の学習画像番号を選択し、その動きクラスおよび空間クラスの組み合わせにおける選択画像番号として、学習画像テーブル223に記録させる。
First, the learning
なお、ユーザ視聴画像の特徴量頻度分布と最も形状が似ている特徴量頻度分布を有する学習画像を選択することが必要であり、いまの場合、比較値として、図25を参照して上述した相関関係値Cが用いられているので、最も大きい比較値を有する学習画像が最も類似しているとして選択される。 Note that it is necessary to select a learning image having a feature amount frequency distribution that is most similar to the feature amount frequency distribution of the user viewing image. In this case, the comparison value is described above with reference to FIG. Since the correlation value C is used, the learning image having the largest comparison value is selected as being most similar.
すなわち、動きクラス「1」および空間クラス「1」の組み合わせにおける各画像番号「1」乃至「L」の比較値「C_1_1_1」乃至「C_L_1_1」が順に並べられ、比較値「C_1_1_1」乃至「C_L_1_1」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「1」および空間クラス「1」の選択画像番号「X_1_1」として学習画像テーブル223に記録される。 That is, the comparison values “C_1_1_1” to “C_L_1_1” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “1” are sequentially arranged, and the comparison values “C_1_1_1” to “C_L_1_1” are arranged. Among them, the image number of the learning image having the largest comparison value is selected and recorded in the learning image table 223 as the selected image number “X_1_1” of the motion class “1” and the space class “1”.
動きクラス「1」および空間クラス「2」の組み合わせにおける各画像番号「1」乃至「L」の比較値「C_1_1_2」乃至「C_L_1_2」が順に並べられ、比較値「C_1_1_2」乃至「C_L_1_2」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「1」および空間クラス「2」の選択画像番号「X_1_2」として学習画像テーブル223に記録される。 The comparison values “C_1_1_2” to “C_L_1_2” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “2” are sequentially arranged, and the comparison values “C_1_1_2” to “C_L_1_2” The image number of the learning image having the maximum comparison value is selected and is recorded in the learning image table 223 as the selected image number “X_1_2” of the motion class “1” and the space class “2”.
なお、図示はされないが、以下、空間クラス「3」乃至「N−1」以降についても同様に、動きクラス「1」および各空間クラス「3」乃至「N−1」の比較値が順に並べられ、それらの比較値の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「1」および空間クラス「3」乃至「N−1」の選択画像番号として、それぞれ、学習画像テーブル223に記録される。 Although not shown, the comparison values of the motion class “1” and the spatial classes “3” to “N−1” are arranged in order in the same manner for the space classes “3” to “N−1” and thereafter. The image number of the learning image having the largest comparison value among the comparison values is selected, and learning is selected as the selection image number of the motion class “1” and the space classes “3” to “N−1”, respectively. It is recorded in the image table 223.
同様に、動きクラス「1」および空間クラス「N」の組み合わせにおける各画像番号「1」乃至「L」の比較値「C_1_1_N」乃至「C_L_1_N」が順に並べられ、比較値「C_1_1_N」乃至「C_L_1_N」の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「1」および空間クラス「N」の選択画像番号「X_1_N」として学習画像テーブル223に記録される。 Similarly, the comparison values “C_1_1_N” to “C_L_1_N” of the image numbers “1” to “L” in the combination of the motion class “1” and the space class “N” are sequentially arranged, and the comparison values “C_1_1_N” to “C_L_1_N” are sequentially arranged. The learning image having the largest comparison value is selected and recorded in the learning image table 223 as the selected image number “X_1_N” of the motion class “1” and the space class “N”.
以降、その図示は殆ど省略されるが、動きクラス「2」乃至「M」についても、空間クラス「1」乃至「N」との組み合わせにおける各画像番号「1」乃至「L」の比較値「C_1_2_1」乃至「C_L_M_N」が順に並べられ、それらの比較値の中で最大の比較値を有する学習画像の画像番号が選択され、動きクラス「2」乃至「M」および空間クラス「3」乃至「N−1」の選択画像番号「X_2_1」乃至「X_M_N」として、それぞれ、学習画像テーブル223に記録される。 Thereafter, although illustration thereof is almost omitted, for the motion classes “2” to “M”, the comparison values “1” to “L” in the combinations with the space classes “1” to “N” “ C_1_2_1 ”to“ C_L_M_N ”are arranged in order, and the image number of the learning image having the largest comparison value among these comparison values is selected, and the motion classes“ 2 ”to“ M ”and the space classes“ 3 ”to“ 3 ”are selected. The selected image numbers “X_2_1” to “X_M_N” of “N−1” are recorded in the learning image table 223, respectively.
図21に戻り、係数種データ生成部206は、画像セット記憶部231、SD信号生成部232、予測係数学習部233、および係数種メモリ234により構成され、学習画像テーブル223からの動きクラスおよび空間クラス毎の選択画像番号に基づく学習画像のHD信号を用いて、予測係数としてのユーザ係数種データを生成し、係数種メモリ234に記録する処理を行う。
Returning to FIG. 21, the coefficient seed
画像セット記憶部231には、入力端子202から、数十種類の学習画像のHD信号が入力され、記憶されている。画像セット記憶部231は、学習画像テーブル223から選択画像番号を受け、選択画像番号に対応する学習画像のHD信号を選択し、出力する。
The image set
SD信号生成部232は、画像セット記憶部231により選択された学習画像(以下、選択学習画像とも称する)のHD信号(1050i信号)に対して、入力端子203から入力されるパラメータr、およびzの値を用いて、水平および垂直の間引き処理を行って、生徒信号としてのSD信号(525i信号)を得る。なお、SD信号生成部232の構成は、上述したSD信号生成部211の構成と基本的に同様である。
The SD
予測係数学習部233には、画像セット記憶部231に入力された選択画像番号に対応する、学習画像テーブル223からの動きクラスおよび空間クラスの情報、画像セット記憶部231からの選択学習画像のHD信号と、SD信号生成部232からの選択学習画像のSD信号などが入力される。
The prediction
予測係数学習部233は、学習画像テーブル223からの動きクラスおよび空間クラスの組み合わせ毎に、その組み合わせが対応する選択学習画像のHD信号とSD信号を用いて予測係数を学習し、学習により得られたユーザ係数種データを、動きクラスおよび空間クラスの組み合わせ毎に係数種メモリ234に記録する。
For each combination of motion class and space class from the learning image table 223, the prediction
図27は、予測係数学習部233の詳細な構成例を示している。
FIG. 27 shows a detailed configuration example of the prediction
予測係数学習部233の第1のタップ選択部271、第2のタップ選択部272、および第3のタップ選択部273は、SD信号生成部232より出力されるSD信号(525i信号)より、HD信号(1050i信号)における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。これら第1のタップ選択部271乃至第3のタップ選択部273は、図8を参照して説明した画像信号処理部37の第1のタップ選択部51乃至第3のタップ選択部53と基本的に同様に構成される。
The first
空間クラス検出部274は、第2のタップ選択部272で選択的に取り出された空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。この空間クラス検出部273は、図8を用いて説明した画像信号処理部37の空間クラス検出部54と基本的に同様に構成される。この空間クラス検出部274からは、空間クラスタップのデータとしての各SD画素データの再量子化コードqiが、空間クラスを示すクラス情報として出力される。
The space
動きクラス検出部275は、第3のタップ選択部273で選択的に取り出された動きクラスタップのデータ(SD画素データ)より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出部275は、図8を用いて説明した画像信号処理部37の動きクラス検出部55と基本的に同様に構成される。この動きクラス検出部275では、第3のタップ選択部273で選択的に取り出された動きクラスタップのデータ(SD画素データ)からフレーム間差分が算出され、更に、その差分の絶対値の平均値に対して閾値処理が行われて、動きの指標である動きクラスが検出される。
The motion
第1のクラス合成部276は、空間クラス検出部274より出力される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出部275より出力される動きクラスのクラス情報MVとに基づき、HD信号(1050i信号)に係る注目画素が属するクラスを示す第1のクラスコードCL1を得る。この第1のクラス合成部276も、図8を用いて説明した画像信号処理部37のクラス合成部56と基本的に同様に構成される。
The first
第2のクラス合成部277は、学習画像テーブル223から入力される動きクラスの情報MVおよび空間クラスの情報qiから第2のクラスコードCL2を得る。
The second
正規方程式生成部278は、第1のクラス合成部276より出力される第1のクラスコードCL1および第2のクラス合成部277より出力される第2のクラスコードCL2に応じて、画像セット記憶部231からのHD信号から得られる注目位置の画素データとしての各HD画素データy、この各HD画素データyにそれぞれ対応して第1のタップ選択部271で選択的に取り出された予測タップのデータ(SD画素データ)xi、並びに、パラメータrおよびzの値から、クラス毎に、ユーザ係数種データw10乃至wn9を得るための正規方程式(式(13)参照)を生成する。
The normal
なお、正規方程式生成部278においては、クラス毎に1つの学習画像を選択して予測係数を生成するために、SD信号のクラス検出結果である第1のクラス合成部276の出力と、学習画像テーブル223における選択結果である第2のクラス合成部277の出力の2つ、すなわち、第1のクラスコードCL1と、第2のクラスコードCL2が一致する場合のみ、正規方程式が生成される。
Note that in the normal
この場合、1個のHD画素データyと、それに対応するn個の予測タップのデータ(SD画素データ)xiとの組み合わせで、学習データが生成されるが、調整後のパラメータr、およびzの値の変化に対応して、SD信号生成部232における空間方向の帯域とノイズ量が可変され、複数のSD信号が順次生成されて、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部278では、パラメータr、およびzの値が異なる多くの学習データが登録された正規方程式が生成され、ユーザ係数種データw10乃至wn9を求めることが可能となる。
In this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the adjusted parameters r and z are adjusted. Corresponding to the change in the value, the spatial band and noise amount in the SD
また、この場合、1個のHD画素データyとそれに対応するn個の予測タップのデータ(SD画素データ)xiとの組み合わせで学習データが生成されるが、正規方程式生成部278では、出力画素(図9のHD1乃至HD4、図10のHD1′乃至HD4′参照)毎に、正規方程式が生成される。例えば、HD1に対応した正規方程式は、中心予測タップに対するずれ値がHD1と同じ関係にあるHD画素データyから構成される学習データから生成される。
Further, in this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the normal
係数種データ決定部279は、正規方程式生成部278で、クラスおよび出力画素の組み合わせ毎に生成された正規方程式のデータの供給を受け、正規方程式を解いて、クラスおよび出力画素の組み合わせ毎に、ユーザ係数種データw10乃至wn9を求める。係数種データ決定部279は、正規方程式を、例えば、掃き出し法などによって解くことにより、ユーザ係数種データを求める。
The coefficient seed
係数種メモリ234は、係数種データ決定部279で求められたユーザ係数種データを格納する。なお、このユーザ係数種データは、係数データ反映装置21に送信される。
The
次に、図20の係数データ反映装置21の動作について説明する。
Next, the operation of the coefficient
例えば、テレビジョン受信装置1から取り外された基板12がデータ生成反映装置2に接続されると、係数データ反映装置21の履歴情報取得部131は、基板12の履歴情報記憶部13のメモリ制御部91に、履歴情報メモリ92の履歴情報を要求するメモリ制御命令を送信する。
For example, when the
これに対応して、メモリ制御部91から、履歴情報メモリ92の履歴情報(制御履歴情報および特徴量情報)が送信されてくるので、履歴情報判定部132は、それを受信する。このとき、係数制御命令決定部122にも、制御履歴情報が入力される。
Correspondingly, since the history information (control history information and feature amount information) of the
履歴情報判定部132は、受信した制御履歴情報を参照して、図15を参照して上述したように可能な限り同じ条件の制御履歴情報を抽出し、その抽出情報を、係数制御命令決定部122に供給するとともに、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部91に、選択した特徴量情報のみを予測係数生成装置20に供給させるメモリ制御命令を送信する。
The history
これに対応して、予測係数生成装置20は、履歴情報判定部132により選択された特徴量情報のみを用いて、ユーザ係数種データを生成し、生成したユーザ係数種データを送信してくる。
In response to this, the prediction
係数制御命令決定部122は、予測係数生成装置20により生成されたユーザ係数種データを受信すると、メモリ制御部91からの制御履歴情報と履歴情報判定部132からの抽出情報を用いて、テレビジョン受信装置1におけるユーザ係数種データの使用を制御する制御命令を生成する。例えば、係数制御命令決定部122は、履歴情報判定部132により抽出された制御履歴情報の中で、すべてに共通する制御情報が、テレビジョン受信装置1において得られる場合のみユーザ係数種データの使用を許可する制御命令が生成される。
When the coefficient control
係数制御命令決定部122により生成された制御命令データは、制御命令メモリ22に記録され、予測係数生成装置20により生成されたユーザ係数種データは、それに対応付けて、ユーザ係数メモリ23に記録される。そして、制御命令メモリ22に記憶された制御命令データおよびユーザ係数メモリ23に記憶されたユーザ係数種データは、基板12、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置1に提供される。
The control instruction data generated by the coefficient control
次に、図21の予測係数生成装置20の、図22に示される学習画像頻度分布生成部204の動作について説明する。
Next, the operation of the learning image frequency
入力端子101には、数十種類の学習画像の、教師信号としてのHD信号(1050i信号)が順に供給され、そしてこのHD信号に対して、SD信号生成部211で、水平および垂直の間引き処理が行われて、数十種類の学習画像の、生徒信号としてのSD信号(525i信号)が生成される。
The
この場合、SD信号生成部211には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向帯域を定めるパラメータrおよびノイズ付加状態を定めるパラメータz、換言すれば、生成されるSD信号の空間方向の解像度を定めるパラメータrおよびノイズ量を定めるパラメータzの値が入力される。
In this case, the
そして、SD信号生成部211では、パラメータrの値に応じて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向が可変され、入力されたパラメータrの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Then, in the SD
SD信号生成部211に入力されるパラメータr、およびzの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向の帯域およびノイズ付加状態が変更されることから、空間方向の帯域およびノイズ付加状態が段階的に変化した複数のSD信号が生成される。
The parameters r and z input to the
特徴量頻度分布生成部212の動きクラスタップ選択部251は、SD信号生成部211からSD信号の供給を受け、SD信号(525i信号)より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する動きクラスタップ(複数のSD画素)のデータを選択的に取り出す。動きクラスタップ選択部251で選択的に取り出された動きクラスタップのデータは、動きクラス検出部254に供給される。
The motion class
動きクラス検出部254は、動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の動きクラス(主に動きの程度を表すためのクラス分類)を検出し、検出したSD画素の動きクラスのクラス情報(MV)を、特徴量頻度分布演算部257に出力する。
The motion
また、空間クラスタップ選択部252は、SD信号生成部211からSD信号(525i信号)の供給を受け、SD信号より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する空間クラスタップ(複数のSD画素)のデータを選択的に取り出す。空間クラスタップ選択部252で選択的に取り出された空間クラスタップのデータは、空間クラス検出部255に供給される。
The space class
空間クラス検出部255は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コード(qi)を得て、特徴量頻度分布演算部257に出力する。
The space
さらに、特徴量生成タップ選択部253は、SD信号生成部211からSD信号(525i信号)の供給を受け、SD信号より、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する特徴量生成タップ(複数のSD画素)のデータを選択的に取り出す。特徴量生成タップ選択部253で選択的に取り出された特徴量生成タップのデータは、特徴量生成部256に供給される。
Further, the feature quantity generation
特徴量生成部256は、特徴量生成タップ選択部253で選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素に囲まれるSD画素の特徴量である、例えば、最大値および最小値などを生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部257に出力する。
The feature
同じSD画素について求められた動きクラス、空間クラス、および特徴量の各情報は、特徴量頻度分布演算部257に供給される。特徴量頻度分布演算部257は、特徴量頻度分布演算部257からの動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布(ヒストグラム)を生成する。そして、特徴量頻度分布演算部257は、生成した特徴量頻度分布のデータを、入力端子201からの画像番号に対応付けて、動きクラスおよび空間クラスの組み合わせ毎に学習画像頻度分布メモリ213に記録する。
Each information of the motion class, the space class, and the feature amount obtained for the same SD pixel is supplied to the feature amount frequency
このようにして、数十種類の学習画像の特徴量頻度分布のデータが予め学習画像頻度分布メモリ213に記録される。
In this way, the data of the feature amount frequency distribution of several tens of types of learning images is recorded in the learning image
次に、図21の予測係数生成装置20の学習画像選択部205の動作について説明する。
Next, the operation of the learning
基板12の履歴情報記憶部13から、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されるので、学習画像選択部205の頻度分布比較部221は、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータを、動きクラスおよび空間クラスの組み合わせ毎に平均化し、動きクラスおよび空間クラスの組み合わせ毎の1つの特徴量頻度分布とした上で、学習画像特徴量頻度分布メモリ213に記憶されているすべての学習画像の特徴量頻度分布に対して、動きクラスおよび空間クラスの組み合わせ毎に比較を行っていく。
Since the history
すなわち、頻度分布比較部221は、履歴情報記憶部13から供給されてくる、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータを動きクラスおよび空間クラスの組み合わせ毎に平均化する。
That is, the frequency
そして、頻度分布比較部221は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の特徴量頻度分布のデータとその画像番号を順に読み出し、読み出した学習画像の特徴量頻度分布と平均化したユーザ視聴画像の特徴量頻度分布との相関係数値Cを求めることで比較する(式(14)参照)。
Then, the frequency
求められた比較値としての相関係数値Cは、対応する動きクラスおよび空間クラスの情報と画像番号とともに、学習画像選択部222に出力される。
The obtained correlation coefficient value C as a comparison value is output to the learning
学習画像選択部222は、動きクラスおよび空間クラスの組み合わせ毎に、すべての学習画像の比較値である相関係数値Cを評価し、最大の相関係数値Cを有する学習画像の特徴量頻度分布が、ユーザ視聴画像の特徴量頻度分布と最も似ているとして、その学習画像を選択し、動きクラスおよび空間クラスの組み合わせ毎に、選択した選択画像番号を学習画像テーブル223に記録していく。
The learning
このようにして、学習画像テーブル223には、すべての動きクラスおよび空間クラスの組み合わせ毎の、係数データ反映装置21により選択されたユーザ視聴画像に特徴量頻度分布が最も似ているとされた学習画像の画像番号が、選択画像番号として記憶される。
In this way, in the learning image table 223, the feature amount frequency distribution that is most similar to the user viewing image selected by the coefficient
この選択画像番号は、係数種データ生成部206がテレビジョン受信装置1のユーザ係数種データを生成する際に、画像セット記憶部231に入力される。このとき、この選択画像番号に対応する動きクラスの情報および空間クラスの情報も予測係数学習部233に入力される。
The selected image number is input to the image set
次に、図21の予測係数生成装置20の、図27に示される係数種データ生成部206の動作について説明する。
Next, the operation of the coefficient seed
画像セット記憶部231には、入力端子202から、学習画像頻度分布生成部204に入力されたものと同じ、数十種類の学習画像のHD信号が入力され、記憶されている。学習画像テーブル223から、係数種データを生成する動きクラスの情報および空間クラスの情報が、第2のクラス合成部277に順に出力される。このとき、同時に、第2のクラス合成部277に出力される動きクラスおよび空間クラスの選択画像番号が、画像セット記憶部231に出力される。
The image set
画像セット記憶部231は、学習画像テーブル223から選択画像番号を受け、選択画像番号に対応する学習画像のHD信号を選択する。画像セット記憶部231により選択された学習画像のHD信号は、SD信号生成部232および正規方程式生成部278に入力される。
The image set
このHD信号に対して、SD信号生成部232で、水平および垂直の間引き処理が行われて、選択画像番号に対応する学習画像の生徒信号としてのSD信号(525i信号)が生成される。
The HD signal is subjected to horizontal and vertical thinning processing by the SD
この場合、SD信号生成部232には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向帯域を定めるパラメータrおよびノイズ付加状態を定めるパラメータz、換言すれば、生成されるSD信号の空間方向の解像度を定めるパラメータrおよびノイズ量を定めるパラメータzの値が入力される。
In this case, the SD
そして、SD信号生成部232では、パラメータrの値に応じて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向が可変され、入力されたパラメータrの値そのものに応じて、ノイズ付加状態が段階的に可変される。
Then, in the SD
SD信号生成部232に入力されるパラメータr、およびzの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向の帯域およびノイズ付加状態が変更されることから、空間方向の帯域およびノイズ付加状態が段階的に変化した複数のSD信号が生成される。
The parameters r and z that are input to the
また、SD信号生成部232で生成されたSD信号(525i信号)より、第2のタップ選択部272で、HD信号(1050i信号)における注目位置の周辺に位置する空間クラスタップのデータ(SD画素データ)が選択的に取り出される。この第2のタップ選択部272で選択的に取り出された空間クラスタップのデータ(SD画素データ)は、空間クラス検出部274に供給される。空間クラス検出部274では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて、空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードqiが得られる(式(1)参照)。
Further, from the SD signal (525i signal) generated by the SD
また、SD信号生成部232で生成されたSD信号より、第3のタップ選択部273で、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ(SD画素データ)が選択的に取り出される。この第3のタップ選択部273で選択的に取り出された動きクラスタップのデータ(SD画素データ)は、動きクラス検出部375に供給される。この動きクラス検出部375では、動きクラスタップのデータとしての各SD画素データより動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVが得られる。
Further, from the SD signal generated by the SD
クラス情報MVと再量子化コードqiとは、第1のクラス合成部276に供給される。第1のクラス合成部276は、供給されたクラス情報MVと再量子化コードqiとから、HD信号(1050i信号)における注目位置の画素データが属するクラスを示す第1のクラスコードCL1を得る(式(3)参照)。
The class information MV and the requantization code qi are supplied to the first
また、第2のクラス合成部277は、画像セット記憶部231に入力された選択画像番号に対応して、学習画像テーブル223から入力される動きクラスの情報MVおよび空間クラスの情報qiから第2のクラスコードCL2を得る。
In addition, the second
一方、SD信号生成部232で生成されるSD信号より、第1のタップ選択部271で、HD信号における注目位置の周辺に位置する予測タップのデータ(SD画素データ)が選択的に取り出される。
On the other hand, from the SD signal generated by the SD
そして、正規方程式生成部278では、SD信号のクラス検出結果であり、第1のクラス合成部276の出力である第1のクラスコードCL1と、学習画像テーブル223における選択結果であり、第2のクラス合成部277の出力である第2のクラスコードCL2が一致した場合のみ、正規方程式が生成される。
Then, in the normal
すなわち、正規方程式生成部278においては、画像セット記憶部231からのHD信号より得られる注目位置の画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択部271で選択的に取り出された予測タップのデータ(SD画素データ)xiと、パラメータr、およびzの値と、各HD画素データyにそれぞれ対応して第1のクラス合成部276(第2のクラス合成部277)より出力されるクラスコードとから、クラスおよび出力画素の組み合わせ毎に、ユーザ係数種データw10乃至wn9を得るための正規方程式(式(13)参照)が個別に生成される。
That is, in the normal
そして、係数種データ決定部279で各正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎の係数種データw10乃至wn9が求められ、それらの係数種データw10乃至wn9は、係数種メモリ234に格納される。そして、この係数種データは、係数データ反映装置21に送信される。
The coefficient seed
以上のように、図27に示される係数種データ生成部206においては、図8の画像信号処理部37の係数種記憶部61のユーザ係数メモリ73に格納される、クラスおよび出力画素(HD1乃至HD4,HD1′乃至HD4′)の組み合わせ毎の、推定式で用いられる係数データWiを求めるための生成式(式(5)参照)における係数データであるユーザ係数種データw10乃至wn9を生成することができる。
As described above, in the coefficient seed
また、この係数種データ生成部206において、例えば、テレビジョン受信装置1をバージョンアップする場合であって、その係数種記憶部61のユーザ係数メモリ73に格納されるユーザ係数種データw10乃至wn9を生成する際には、テレビジョン受信装置1から取り外された基板12の履歴情報記憶部13に記憶されている、テレビジョン受信装置1においてユーザにより過去に視聴されたユーザ視聴画像の特徴量頻度分布と似ている特徴量頻度分布を有する学習画像が選択され、選択された学習画像のみが用いられる。
Further, in the coefficient seed
したがって、従来のように複数種類の学習画像から係数種データを求める場合よりも、選択された学習画像のみを用いて係数種データを求めることができるので、係数種データを効率的に生成することができる。 Therefore, since the coefficient seed data can be obtained using only the selected learning image, compared to the case where the coefficient seed data is obtained from a plurality of kinds of learning images as in the prior art, the coefficient seed data can be generated efficiently. Can do.
さらに、このユーザ係数種データは、制御履歴情報から同じ制御情報を有するものが抽出されることで選択されたユーザ視聴画像の特徴量頻度分布と似ているとして選択された学習画像のみから求められたものである。 Further, the user coefficient seed data is obtained only from the learning image selected as being similar to the feature frequency distribution of the user viewing image selected by extracting the control coefficient information having the same control information. It is a thing.
したがって、このユーザ係数種データを、テレビジョン受信装置1に供給し、係数種記憶部61のユーザ係数メモリ73に格納して、抽出された制御情報から生成される制御命令データに基づいて使用することで、テレビジョン受信装置1においては、所定の制御情報が得られる状況の場合に、ユーザがよく視聴する画像を変換した際の予測誤差を小さくすることができる。
Therefore, this user coefficient seed data is supplied to the
これにより、テレビジョン受信装置1は、設置されているユーザ宅における最高の性能を発揮することができるようになる。また、ユーザは、視聴時のテレビジョン受信装置1における状況に応じて、最適な画質の画像を視聴することができる。そして、結果的に、ユーザは、操作などを行うことが少なくなる。
Thereby, the
すなわち、ユーザ係数種データ生成に用いられる特徴量頻度分布が、履歴制御情報によりさらに絞られるため、単にユーザ視聴画像の特徴量頻度分布を用いて係数種データが生成される場合よりも、変換した際の予測誤差が、さらに小さくなり、予測精度がさらに向上する。 That is, since the feature quantity frequency distribution used for generating the user coefficient seed data is further narrowed down by the history control information, it is converted from the case where the coefficient seed data is simply generated using the feature quantity frequency distribution of the user viewing image. The prediction error is further reduced, and the prediction accuracy is further improved.
次に、図28のフローチャートを参照して、画像信号処理部37による、SD信号よりHD信号を得るための画像信号処理について説明する。
Next, image signal processing for obtaining an HD signal from an SD signal by the image
ステップS11において、画像信号処理部37は、SD画素データをフレーム単位またはフィールド単位で取得する。
In step S11, the image
ステップS12において、画像信号処理部37は、入力SD画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。ステップS12において、処理が終わっていないと判定された場合、ステップS13において、画像信号処理部37は、リモートコントローラ16からのユーザの操作信号がシステムコントローラ32に入力されたか否かを判定する。
In step S12, the image
リモートコントローラ16からのユーザの操作信号がシステムコントローラ32に入力されると、システムコントローラ32は、その通知を画像信号処理部37の情報生成制御部65に供給してくるので、ステップS13において、システムコントローラ32にユーザの操作信号が入力されたと判定され、ステップS14において、画像信号処理部37は、履歴情報の更新処理を実行する。この履歴情報の更新処理の詳細な説明は、図29を参照して後述する。
When a user operation signal from the
ステップS14の履歴情報の更新処理により、ユーザの操作情報やテレビジョン受信装置1の各部の制御情報などが制御履歴情報として履歴情報記憶部13に記録され、ステップS11において取得されたSD画素データより、画像の特徴量情報である特徴量頻度分布が、動きクラスおよび空間クラスの組み合わせ毎に求められ、そのデータが制御履歴情報に対応付けられて、履歴情報として履歴情報記憶部13に記録される。ステップS13において、リモートコントローラ16からユーザの操作信号が入力されていないと判定された場合、ステップS14はスキップされ、処理は、ステップS15に進む。
As a result of the history information update process in step S14, user operation information, control information for each part of the
ステップS15において、画像信号処理部37は、係数生成処理を実行する。この係数生成処理の詳細な説明は、図30を参照して後述する。
In step S15, the image
ステップS15の係数生成処理により、テレビジョン受信装置1の各部の制御情報と、係数制御命令メモリ72に記録されている制御命令データに基づいて、ユーザ係数メモリ73または通常係数メモリ74から係数種データが読み出され、係数データが生成される。
Based on the control information of each part of the
画像信号処理部37は、ステップS16において、ステップS11において取得されたSD画素データより、生成すべき各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
In step S16, the image
ステップS17において、画像信号処理部37は、取得されたSD画素データの全領域において、HD画素データを得る処理が終了したか否かを判定する。ステップS17において、取得されたSD画素データの全領域において処理は終了していると判定された場合、処理は、ステップS11に戻り、同様の処理が繰り返されることにより、次のフレームまたはフィールドのSD画素データに対する処理が実行される。
In step S <b> 17, the image
ステップS17において、取得されたSD画素データの全領域において処理は終了していないと判定された場合、ステップS18において、画像信号処理部37のクラス合成部56は、ステップS16において取得されたクラスタップのSD画素データから、クラスコードCLを生成する。
If it is determined in step S17 that the processing has not been completed in the entire area of the acquired SD pixel data, in step S18, the
ステップS19において、画像信号処理部37は、クラスコードCLに対応した係数データWiと予測タップのSD画素データとを使用して、推定式により、HD画素データを生成する。ステップS20の処理の終了後、処理は、ステップS16に戻り、上述した処理と同様の処理が繰り返される。
In step S19, the image
ステップS12において、全フレーム、または全フィールドの処理が終了したと判定された場合、処理が終了される。 If it is determined in step S12 that the processing for all frames or all fields has been completed, the processing ends.
以上のようにして、画像信号処理部37において、テレビジョン受信装置1の制御履歴情報とともにユーザ視聴画像の特徴量頻度分布を予め記憶しておき、制御履歴情報に基づいて選択された画像の特徴量頻度分布のデータが用いられて生成されたユーザ係数種データと、従来の方法で生成された通常係数種データとを、テレビジョン受信装置1における制御情報に応じて切り換え、それを用いて画像処理を行うことにより、テレビジョン受信装置1は、ユーザがよく視聴するコンテンツ(画像)について、HD画像データを、予測精度を向上させて生成することができる。
As described above, the feature amount frequency distribution of the user viewing image is stored in advance together with the control history information of the
したがって、テレビジョン受信装置1は、設置されているユーザ宅における最高の性能を発揮することができるようになる。これにより、結果的に、ユーザは、従来行っていたような画質調整などの操作することが少なくなる。
Therefore, the
次に、図29のフローチャートを参照して、特徴量頻度分布生成部66による図28のステップS14の履歴情報の更新処理を詳しく説明する。
Next, the history information update processing in step S14 of FIG. 28 by the feature amount frequency
ステップS41において、履歴情報記憶部13のメモリ制御部91は、図28のステップS13においてユーザの操作信号の入力が通知されると、システムコントローラ32から、ユーザの操作情報とテレビジョン受信装置1の各部(例えば、チューナ33や入力切換部35)の制御情報を取得し、ステップS42において、それらの操作情報および制御情報を、制御履歴情報として履歴情報メモリ92に記録する。
In step S41, when the input of the user operation signal is notified in step S13 of FIG. 28, the
ステップS43において、特徴量頻度分布生成部66の動きクラス検出部84は、図28のステップS11において取得され、動きクラスタップ選択部81により選択的に取り出された動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の動きクラスを検出し、検出したSD画素の動きクラスのクラス情報(MV)を、特徴量頻度分布演算部87に出力する。
In step S43, the motion
ステップS44において、空間クラス検出部85は、図28のステップS11において取得され、空間クラスタップ選択部82により選択的に取り出された空間クラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の空間クラスのクラス情報としての再量子化コード(qi)を得て、特徴量頻度分布演算部87に出力する。
In step S44, the space
ステップS45において、特徴量生成タップ選択部83は、図28のステップS11において取得され、特徴量生成タップ選択部83により選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の特徴量を生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部87に出力する。
In step S45, the feature quantity generation
ステップS46において、特徴量頻度分布演算部87は、供給された動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布(ヒストグラム)を生成し、そのデータを履歴情報記憶部13に供給する。
In step S46, the feature quantity frequency
ステップS47において、履歴情報記憶部13のメモリ制御部91は、ステップS46において生成されたユーザ視聴画像の動きクラスおよび空間クラスの組み合わせ毎の特徴量頻度分布のデータを、ユーザの操作信号の入力が通知されたタイミングに取得されて履歴情報メモリ92に記録された制御履歴情報に対応付けて履歴情報として記録する。
In step S47, the
以上のようにして履歴情報記憶部13の履歴情報メモリ92に記録された制御履歴情報とユーザ視聴画像の特徴量頻度分布のデータは、予測係数生成装置20において、テレビジョン受信装置1のユーザ係数種データを更新する際に用いられる。
As described above, the control history information recorded in the
次に、図30のフローチャートを参照して、図28のステップS15の係数生成処理について詳しく説明する。 Next, the coefficient generation processing in step S15 in FIG. 28 will be described in detail with reference to the flowchart in FIG.
係数種記憶部61の係数制御部71は、図28のステップS11において新たなSD画素データが取得される毎に、係数制御命令メモリ72の情報を読み出し、ステップS61において、システムコントローラ32より、テレビジョン受信装置1を構成する各部(例えば、チューナ33や入力切換部35、画像信号処理部37など)の制御情報を取得する。
The
ステップS62において、係数制御部71は、テレビジョン受信装置1を構成する各部の制御情報に、制御命令データに対応するものがあるか否かを判定し、制御命令データに対応するものがないと判定した場合、処理は、ステップS63に進む。
In step S62, the
係数制御部71は、ステップS63において、システムコントローラ32からユーザによるリモートコントローラ16の操作に対応する操作情報を取得し、ステップS64において、ユーザによりユーザ係数の使用が要求されているか否かを判定する。
In step S63, the
ステップS64において、ユーザによりユーザ係数の使用が要求されていないと判定された場合、係数制御部71は、ステップS65において、通常係数メモリ74に記録されている通常係数種データを読み出し、係数生成部62に出力させる
If it is determined in step S64 that the use of the user coefficient is not requested by the user, the
一方、ステップS62において、テレビジョン受信装置1を構成する各部の制御情報に、制御命令データに対応するものがあると判定された場合、または、ステップS64においえ、ユーザによりユーザ係数の使用が要求されていると判定された場合、処理は、ステップS66に進み、係数制御部71は、対応するものがあるとされた制御命令データに対応付けられているユーザ係数種データをユーザ係数メモリ73から読み出し、係数生成部62に出力させる。
On the other hand, if it is determined in step S62 that the control information of each part constituting the
ステップS67において、画像信号処理部37の係数生成部62は、例えば、ユーザのリモートコントローラ16の操作によって入力された画質指定値(例えばパラメータr、およびz)を取得する。
In step S <b> 67, the
ステップS68において、係数生成部62は、読み込んだ画質指定値、クラスおよび出力画素(図9のHD1乃至HD4、図10のHD1′乃至HD4′参照)の各組み合わせの係数種データを使用して、例えば式(5)の生成式によって、各組み合わせの推定式(式(4)参照)の係数データWiを生成する。
In step S68, the
以上のように、テレビジョン受信装置1の制御履歴情報に基づき選択された画像の特徴量情報を用いて生成されたユーザ係数種データは、視聴時のテレビジョン受信装置1で取得される制御情報と、このユーザ係数種データに対応して、テレビジョン受信装置1の制御履歴情報を用いて生成された制御命令データとに基づいて読み出される。すなわち、視聴時のテレビジョン受信装置1の状況に応じて、ユーザ係数種データが用いられて係数データが生成される。
As described above, the user coefficient seed data generated using the feature amount information of the image selected based on the control history information of the
次に、図31のフローチャートを参照して、予測係数生成装置20の学習画像の特徴量頻度分布生成処理について詳しく説明する。図31の学習画像の特徴量頻度分布生成処理は、例えば、予測係数を生成する前に実行される。なお、図31のステップS84乃至S87の処理は、図29のステップS43乃至S46の処理と基本的に同様の処理を行う。
Next, the learning image feature amount frequency distribution generation processing of the prediction
予測係数生成装置20は、ステップS81において、入力端子202を介して、数十種類の学習画像の、教師信号としてのHD信号(1050i信号)を入力し、入力端子201を介して、入力端子202から入力される教師信号が対応する学習画像の画像番号を入力する。なお、このとき、入力端子203からは、パラメータr、およびzの値が入力される。
In step S <b> 81, the prediction
ステップS82において、予測係数生成装置20は、係数種データ生成部206の画像セット記憶部231に、入力端子202からの数十種類の学習画像の、教師信号としてのHD信号を受け、記憶させる。
In step S <b> 82, the prediction
ステップS83において、学習画像頻度分布生成部204のSD信号生成部211は、入力端子202からの学習画像のHD信号に対して、入力端子203から入力されるパラメータr、およびzの値を用いて、水平および垂直の間引き処理を行って、学習画像の生徒信号としてのSD信号を得る。
In step S83, the SD
ステップS84において、特徴量頻度分布生成部212の動きクラス検出部254は、ステップS83において得られ、動きクラスタップ選択部251により選択的に取り出された動きクラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の動きクラスを検出し、検出したSD画素の動きクラスのクラス情報(MV)を、特徴量頻度分布演算部257に出力する。
In step S84, the motion
ステップS85において、空間クラス検出部255は、ステップS83において取得され、空間クラスタップ選択部252により選択的に取り出された空間クラスタップのデータとしての各SD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の空間クラスのクラス情報としての再量子化コード(qi)を得て、特徴量頻度分布演算部257に出力する。
In step S85, the space
ステップS86において、特徴量生成タップ選択部253は、ステップS83において取得され、特徴量生成タップ選択部253により選択的に取り出された特徴量生成タップのデータとしてのSD画素データより、作成すべきHD信号を構成する単位画素ブロック内の4画素に囲まれるSD画素の特徴量を生成し、生成したSD画素の特徴量の値を特徴量頻度分布演算部257に出力する。
In step S86, the feature quantity generation
ステップS87において、特徴量頻度分布演算部257は、供給された動きクラスおよび空間クラスの組み合わせ毎に、特徴量の頻度をカウントし、特徴量頻度分布(ヒストグラム)を生成する。
In step S87, the feature amount frequency
ステップS88において、特徴量頻度分布演算部257は、ステップS87において生成された特徴量頻度分布のデータを、ステップS81で入力端子201より受けた画像番号に対応付けて、動きクラスおよび空間クラスの組み合わせ毎に学習画像頻度分布メモリ213に記録する。
In step S88, the feature amount frequency
ステップS89において、予測係数生成装置20は、すべての学習画像が入力されたか否かを判定し、すべての学習画像が入力されていないと判定した場合、処理は、ステップS81に戻り、それ以降の処理が繰り返される。
In step S89, the prediction
ステップS89において、すべての学習画像が入力されたと判定された場合、特徴量頻度分布生成処理は終了される。 If it is determined in step S89 that all the learning images have been input, the feature amount frequency distribution generation process ends.
次に、図32のフローチャートを参照して、係数データ反映装置21および予測係数生成装置20の係数反映処理を説明する。
Next, coefficient reflection processing of the coefficient
テレビジョン受信装置1のユーザ係数種データを更新するため、履歴情報記憶部13が構成されている基板12が、テレビジョン受信装置1から取り外されて、データ生成反映装置2に接続される。
In order to update the user coefficient seed data of the
ステップS101において、係数データ反映装置21の履歴情報取得部131は、基板12の履歴情報記憶部13のメモリ制御部91を制御し、履歴情報メモリ92から履歴情報(制御履歴情報および特徴量情報)を取得する。
In step S <b> 101, the history
ステップS102において、履歴情報判定部132は、履歴情報取得部131により取得された履歴情報から、係数生成に用いる履歴情報を選択する。
In step S102, the history
すなわち、履歴情報判定部132は、取得した制御履歴情報を参照して、図15を参照して上述したように同じ条件の(同じ制御情報を有する)制御履歴情報を抽出し、その抽出情報を、係数制御命令決定部122に供給するとともに、抽出した制御履歴情報に対応付けられた特徴量情報を選択し、メモリ制御部91に、選択した特徴量情報のみを予測係数生成装置20に供給させるメモリ制御命令を送信する。
That is, the history
これに対応して、基板12の履歴情報記憶部13から、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されるので、ステップS103において、予測係数生成装置20は、1つの動きクラスおよび空間クラスの組み合わせを選択する。
Corresponding to this, since the history
ステップS104において、予測係数生成装置20の学習画像選択部205は、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータを用い、ステップS103において選択された動きクラスおよび空間クラスの組み合わせについて、学習画像の選択処理を実行する。この学習画像の選択処理は、図33を参照して詳しく後述する。
In step S104, the learning
ステップS104の学習画像選択処理により、1つの動きクラスおよび空間クラスの組み合わせについて、基板12の履歴情報記憶部13に記憶されているユーザ視聴画像の特徴量頻度分布のうち、履歴情報判定部132により選択されたユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ213に記録されているすべての学習画像の特徴量頻度分布が比較され、学習画像の中から、履歴情報判定部132により選択されたユーザ視聴画像に似ているものが選択される。そして、選択された学習画像の画像番号が、選択画像番号として、動きクラスおよび空間クラスの組み合わせとともに学習画像テーブル223に記録される。
By the learning image selection processing in step S104, the history
ステップS105において、係数種データ生成部206は、ステップS103において学習画像テーブル223に記録された選択画像番号の学習画像を用いて、対応する動きクラスおよび空間クラスの組み合わせのユーザ係数種データ生成処理を実行する。このユーザ係数種データ生成処理は、図34を参照して詳しく後述する。
In step S105, the coefficient seed
ステップS105のユーザ係数種データ生成処理により、1つの動きクラスおよび空間クラスの組み合わせのユーザ係数種データが、ステップS104においてユーザ視聴画像と似ているとされた学習画像のみを用いて生成され、生成されたユーザ係数種データが、係数データ反映装置21の係数制御命令決定部122に送信される。
By the user coefficient seed data generation process in step S105, user coefficient seed data of a combination of one motion class and a space class is generated and generated using only the learning image that is similar to the user viewing image in step S104. The user coefficient seed data thus transmitted is transmitted to the coefficient control
ステップS106において、予測係数生成装置20は、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データを求めたか否かを判定し、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データをまだ求めていないと判定した場合、処理は、ステップS103に戻り、それ以降の処理が繰り返される。
In step S106, the prediction
ステップS106において、すべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データを求めたと判定された場合、求められたすべての動きクラスおよび空間クラスの組み合わせのユーザ係数種データは、係数データ反映装置21の係数制御命令決定部122に送信され、処理は、ステップS107に進む。
If it is determined in step S106 that user coefficient seed data for all combinations of motion classes and space classes has been determined, the user coefficient seed data for all combinations of motion classes and space classes determined is the coefficient
ステップS107において、係数制御命令決定部122は、予測生成装置20により生成されたユーザ係数種データに対応して、メモリ制御部91からの制御履歴情報と履歴情報判定部132からの抽出情報を用いて、テレビジョン受信装置1におけるユーザ係数種データの使用を制御する制御命令を生成する。
In step S <b> 107, the coefficient control
ステップS108において、係数制御命令決定部122は、生成した制御命令データを制御命令メモリ22に記録し、予測係数生成装置20により生成されたユーザ係数種データを、制御命令データに対応付けて、ユーザ係数メモリ23に記録する。
In step S108, the coefficient control
ステップS109において、係数データ反映装置21は、すべてのユーザ係数種データを求めたか否かを判定する。すなわち、履歴情報の中から、まだ抽出していない条件がある場合には、可能な限り同じ条件の履歴情報を抽出するまで、ステップS102に戻り、次の条件について、それ以降の処理を繰り返す。
In step S109, the coefficient
履歴情報の中から可能な限り同じ条件が抽出された場合、すべてのユーザ係数種データを求めたと判定され、処理は、ステップS110に進む。ステップS110において、係数制御命令決定部122は、制御命令メモリ22に記憶された制御命令データおよびユーザ係数メモリ23に記憶されたユーザ係数種データを、基板12、他の基板、あるいは、図示せぬネットワークを介して、テレビジョン受信装置1に提供する。
If the same condition is extracted as much as possible from the history information, it is determined that all user coefficient seed data has been obtained, and the process proceeds to step S110. In step S110, the coefficient control
以上のようにして、予測係数生成装置20においては、テレビジョン受信装置1から取り出された基板12の履歴情報記憶部13に記憶されている履歴情報に基づいて、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布と、形状が最も似ている特徴量頻度分布を有する学習画像のみが用いられて、テレビジョン受信装置1で用いられるユーザ係数種データが生成される。
As described above, in the prediction
また、係数データ反映装置21においては、予測係数生成装置20による係数生成で用いられた特徴量頻度分布に対応する履歴情報に基づいて、生成されたユーザ係数種データの使用を制御する制御命令データが生成される。
Further, in the coefficient
これにより、ユーザ宅に設置されるテレビジョン受信装置1においては、装置内の制御情報に応じて、係数種データが切り換られて用いられるので、視聴時のテレビジョン受信装置1の状況、すなわち、ユーザの視聴状況に応じた最適な画質で高画質の画像に変換することができる。すなわち、ユーザは、操作することなく、自分がよく見る画像を、自分の好みの画質で視聴することができる。
Thereby, in the
次に、図33のフローチャートを参照して、図32のステップS104の学習画像選択処理について説明する。 Next, the learning image selection processing in step S104 in FIG. 32 will be described with reference to the flowchart in FIG.
図32のステップS102の履歴情報判定部132の処理に対応して、基板12の履歴情報記憶部13から、係数データ反映装置21により選択されたユーザ視聴画像の特徴量頻度分布のデータが供給されている。
Corresponding to the process of the history
ステップS131において、頻度分布比較部221は、図32のステップS103で選択された動きクラスおよび空間クラスの組み合わせについて、すべての画像の特徴量頻度分布のデータを、学習画像頻度分布メモリ213から読み出す。なお、このとき、頻度分布比較部221は、係数データ反映装置21により選択され、履歴情報記憶部13から供給されているユーザ視聴画像の特徴量頻度分布を平均化して1つにまとめる。
In step S131, the frequency
ステップS132において、頻度分布比較部221は、ユーザ視聴画像の特徴量頻度分布と、学習画像頻度分布メモリ213のすべての学習画像の特徴量頻度分布を比較する。
In step S <b> 132, the frequency
ステップS133において、学習画像選択部222は、ステップS132における比較結果に基づいて、ユーザ視聴画像の特徴量頻度分布に最も似ている学習画像を選択し、動きクラスおよび空間クラスの組み合わせに対応付けて、その選択画像番号を、学習テーブル223に記録する。これにより、画像選択処理は終了され、処理は、処理は、図32のステップS104に戻る。
In step S133, the learning
次に、図34のフローチャートを参照して、図32のステップS105のユーザ係数種データ生成処理を詳しく説明する。 Next, the user coefficient seed data generation processing in step S105 in FIG. 32 will be described in detail with reference to the flowchart in FIG.
図33のステップS133で学習テーブル223に記録された動きクラスおよび空間クラスの情報は、第2のクラス合成部277に入力され、その動きクラスおよび空間クラスに対応する選択画像番号は、学習セット記憶部231に入力される。
The information on the motion class and the space class recorded in the learning table 223 in step S133 in FIG. 33 is input to the second
また、学習セット記憶部231には、図31のステップS82において数十種類の学習画像のHD信号が記憶されている。
In addition, the learning set
ステップS151において、係数種データ生成部206は、学習セット記憶部231において、学習画像テーブル223からの選択画像番号を受け、対応する学習画像のHD信号を選択する。
In step S151, the coefficient seed
ステップS152において、係数種データ生成部206は、学習セット記憶部231からのHD画像データを取得する。
In step S152, the coefficient seed
ステップS153において、係数種データ生成部206は、すべてのHD画素データについて処理は終了したか否かを判定する。ステップS153において、すべてのHD画素データについて処理を終了していないと判定された場合、処理は、ステップS154に進む。
In step S153, the coefficient seed
ステップS154において、係数種データ生成部206のSD信号生成部232は、ステップS152で取得されたHD画素データに、水平および垂直の間引き処理を行い、SD画素データを生成する。
In step S154, the SD
ステップS155において、係数種データ生成部206は、第1のタップ選択部271、第2のタップ選択部272、および第3のタップ選択部273において、ステップS124で生成されたSD画素データより、ステップS152で取得された各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
In step S155, the coefficient seed
ステップS156において、係数種データ生成部206は、生成されたSD画素データの全領域において学習処理は終了したか否かを判定する。ステップS156において、学習処理は終了したと判定された場合、処理は、ステップS152に戻り、次のHD画素データが取得され、同様の処理が繰り返される。
In step S156, the coefficient seed
ステップS156において、学習処理は終了していないと判定された場合、係数種データ生成部206の第1のクラス合成部276は、ステップS157において、ステップS125で取得されたクラスタップのSD画素データから第1のクラスコードを生成する。
If it is determined in step S156 that the learning process has not ended, the first
ステップS158において、係数種データ生成部206の第2のクラス合成部277は、学習テーブル223からの動きクラスおよび空間クラスの情報を用いて、第2のクラスコードを生成する。
In step S158, the second
ステップS159において、係数種データ生成部206の正規方程式生成部278は、第1のクラスコードと第2のクラスコードが一致していた場合、正規方程式(式(13)参照)を生成する。ステップS159の処理を終了すると、係数種データ生成部278は、ステップS155に処理を戻し、それ以降の処理を繰り返す。
In step S159, the normal
ステップS153において、全ての画質パターンに対して学習が終了したと判定された場合、係数種データ生成部206の係数種データ決定部279は、ステップS160において、正規方程式を掃き出し法等で解くことによって、クラスおよび出力画素(図9のHD1乃至HD4、図10のHD1′乃至HD4′参照)の各組み合わせのユーザ係数種データを算出する。
If it is determined in step S153 that learning has been completed for all image quality patterns, the coefficient seed
そして、ステップS161において、係数種データ生成部206の係数種データ決定部279は、係数種メモリ234に、そのユーザ係数種データを記録する。ステップS161の処理が終了すると、係数種データ生成処理は終了され、処理は、図32のステップS105に戻る。
In step S 161, the coefficient seed
以上のようにして、予測係数生成装置20においては、テレビジョン受信装置1から取り出された基板12の履歴情報記憶部13に記憶され、係数データ反映装置104により制御履歴情報に基づいて選択されたユーザ視聴画像の特徴量頻度分布と、形状が最も似ている特徴量頻度分布を有する学習画像のみが用いられて、テレビジョン受信装置1で用いられる係数種データが生成される。
As described above, in the prediction
以上のように、図4に示される画像信号処理システムにおいては、テレビジョン受信装置1が、ユーザの操作に対応して、操作の度に、操作情報や装置内の制御情報と、そのときの画像の特徴量頻度分布のデータを、着脱可能な基板12に備えられる履歴情報記憶部13に記録しておき、テレビジョン受信装置1で用いるユーザ係数種データを更新する際に、係数データ反映装置21が、テレビジョン受信装置1から取り外された基板12の履歴情報記憶部13に記録されている操作情報や装置内の制御情報に基づいて、係数生成に用いる画像の特徴量頻度分布を選択し、予測係数生成装置20が、選択された画像の特徴量頻度分布と、特徴量頻度分布が最もよく似ている学習画像を用いて、ユーザ係数種データを生成し、さらに、係数データ反映装置21が、そのユーザ係数種データの使用を制御する制御命令データを生成するようにした。
As described above, in the image signal processing system shown in FIG. 4, the
これにより、テレビジョン受信装置1においては、制御命令データに対応する制御情報が取得される状況のときに、生成されたユーザ係数種データが用いられる。したがって、ユーザは、例えば、従来、ビデオ1入力の際に画質調整をしていた場合であっても、係数種データ更新後においては、ビデオ1入力時には、以前のビデオ1入力時の画像の特徴量情報が用いられて生成された係数種データが使用されるので、ビデオ1入力時の画像は、その画像に最適な品質となるように変換される。
Thereby, in the
すなわち、ユーザが画質調整を行わなくても、ビデオ1入力時に最適な画像が表示されるようになる。
That is, even when the user does not perform image quality adjustment, an optimal image is displayed when
なお、上述した、図4の画像信号処理部37では、係数データWi(i=1乃至n)を生成するために式(5)の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも、係数データWiの生成は実現可能である。
In the image
また、画像信号処理部37では、空間方向(垂直方向および水平方向)の解像度を定めるパラメータrとノイズ除去度を定めるパラメータzとを設定し、これらパラメータr、およびzの値を調整することで画像の空間方向の解像度と、ノイズ除去度を調整し得るものとして説明したが、その他の画像の質を定めるパラメータを設けるものも、同様にして構成することができる。例えば、パラメータとしては、垂直方向の解像度を定めるパラメータ、水平方向の解像度を定めるパラメータ、時間方向(フレーム方向)の解像度を定めるパラメータ、変換後の画素の位相の変化度(垂直方向および水平方向)を定めるパラメータ、画面の明るさやコントラストを定めるパラメータ、または、再生速度を定めるパラメータなどの種々のパラメータが考えられる。
Further, the image
これらのパラメータの値は、ユーザによる操作入力によって、直接指定されるようにしてもよいし、ユーザが編集操作した内容に基づいて、編集操作内容に関連するパラメータの値が自動的に設定されるようにしてもよい。 The values of these parameters may be directly specified by an operation input by the user, or parameter values related to the editing operation content are automatically set based on the content edited by the user. You may do it.
例えば、ユーザが、リモートコントローラ16を操作する等して、ズーム画像を表示するように指示した場合、そのときユーザが指定したズーム画像の拡大率、変化速度、またはズーム画像の中心の元画像における位置等の情報に基づいて、ズーム画像を作成する際に必要な、画素の垂直方向および水平方向の位相変化情報、ズーム画像の解像度、または、ズーム画像のノイズ除去度等のパラメータが生成されるようにしてもよい。
For example, when the user instructs to display a zoom image by operating the
また、ユーザが、リモートコントローラ16を操作する等して、スローモーション再生を行うように指示した場合、そのときユーザが指定した再生速度等の情報に基づいて、画像の再生速度だけでなく、画像の解像度やノイズ除去度等のパラメータが生成されるようにしてもよい。
Further, when the user instructs to perform slow motion reproduction by operating the
さらに、テレビジョン受信装置1に照度計等を設置してテレビジョン受信装置1の周囲の明るさを測定し、その測定結果に基づいて、画像の輝度等のパラメータが生成されるようにしてもよいし、例えば、画像を表示するテレビジョン受信装置1のディスプレイ等の種類(CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、またはPDP(Plasma Display Panel)等)や、画面サイズ等の情報に基づいて、画像の解像度、ノイズ除去度、明るさまたはコントラスト等のパラメータが生成されるようにしてもよい。
Further, an illuminance meter or the like is installed in the
また、画像信号処理部37では、パラメータr、およびzの2つのパラメータを調整し得るものとして説明したが、1個または3個以上のパラメータを取り扱うものも同様に構成することができる。
Further, the image
さらに、予測係数生成装置20においては、図19の生成方法を用いて係数種データを生成するものとして説明したが、係数種データの生成方法は、その他の方法を用いることもできる。図19の生成方法においては、パラメータを可変することによって生成された複数のSD信号と、HD信号との間で、学習が行われて、係数種データが生成されるが、その生成方法とは異なり、例えば、パラメータを可変することによって生成された複数のSD信号毎にHD信号との間で学習を行って、式(4)の推定式の係数データWiを生成し、各SD信号に対応して生成された係数データWiを使用して、係数種データを生成する方法を用いることもできる。なお、係数種データではなく、係数データを求めることもできる。
Furthermore, although the prediction
また、上記説明においては、ユーザ視聴画像の特徴量頻度分布と学習画像の特徴量頻度分布を比較する際に、相関係数Cを比較値として用いて比較する場合を説明したが、比較値は、相関係数Cに限らず、両方の特徴量情報が似ているか相違しているかを評価できる値であれば、他の値を用いることもできる。この場合、比較値が大きい場合が必ずしも似ていると評価されるわけではなく、比較値の種類に応じて評価される。 Further, in the above description, when comparing the feature amount frequency distribution of the user viewing image and the feature amount frequency distribution of the learning image, the case where the correlation coefficient C is used as a comparison value has been described. Other values can be used as long as the values are not limited to the correlation coefficient C and can be used to evaluate whether both pieces of feature amount information are similar or different. In this case, the case where the comparison value is large is not necessarily evaluated as being similar, but is evaluated according to the type of the comparison value.
なお、上記説明においては、SD信号をHD信号に変換する、チューナおよびモニタを備えたテレビジョン受信装置を用いて説明したが、本発明は、テレビジョン受信装置に限定されず、SD信号をHD信号に変換する装置であれば、例えば、画像処理装置などにも適用される。 In the above description, the description has been given using the television receiver having the tuner and the monitor that converts the SD signal into the HD signal. However, the present invention is not limited to the television receiver, and the SD signal is converted into the HD signal. Any device that converts a signal can be applied to an image processing device, for example.
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
図35は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ401の構成の例を示すブロック図である。CPU(Central Processing Unit)411は、ROM(Read Only Memory)412、または記憶部418に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)413には、CPU411が実行するプログラムやデータなどが適宜記憶される。これらのCPU411、ROM412、およびRAM413は、バス414により相互に接続されている。
FIG. 35 is a block diagram showing an example of the configuration of a
CPU411にはまた、バス414を介して入出力インタフェース415が接続されている。入出力インタフェース415には、キーボード、マウス、マイクロホンなどよりなる入力部416、ディスプレイ、スピーカなどよりなる出力部417が接続されている。CPU411は、入力部416から入力される指令に対応して各種の処理を実行する。そして、CPU411は、処理の結果を出力部417に出力する。
An input /
入出力インタフェース415に接続されている記憶部418は、例えばハードディスクからなり、CPU411が実行するプログラムや各種のデータを記憶する。通信部419は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
The
また、通信部419を介してプログラムを取得し、記憶部418に記憶してもよい。
A program may be acquired via the
入出力インタフェース415に接続されているドライブ420は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア421が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部418に転送され、記憶される。
The
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図35に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア421、または、プログラムが一時的もしくは永続的に格納されるROM412や、記憶部418を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部419を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
As shown in FIG. 35, a program recording medium for storing a program that is installed in a computer and is ready to be executed by the computer is a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only). Memory, DVD (Digital Versatile Disc), a magneto-optical disk, a removable medium 421 that is a package medium composed of a semiconductor memory, a
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program recording medium is not limited to the processing performed in time series in the order described, but is not necessarily performed in time series. Or the process performed separately is also included.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
1 テレビジョン受信装置, 2 データ生成反映装置, 12 基板, 13, 履歴情報記憶部, 20 予測係数生成装置, 21 係数データ反映装置, 22 制御命令メモリ, 23 ユーザ係数メモリ,32 システムコントローラ, 33 チューナ, 35 入力切換部, 37 画像信号処理部, 61 係数種記憶部, 65 情報生成制御部, 66 特徴量頻度分布生成部, 71 係数制御部, 72 係数制御命令メモリ, 73 ユーザ係数メモリ, 74 通常係数メモリ, 83 特徴量生成タップ選択部, 86 特徴量生成部, 87 特徴量頻度分布演算部, 91 メモリ制御部, 92 履歴情報メモリ, 122 係数制御目例決定部, 131 履歴情報取得部, 132 履歴情報判定部, 204 学習画像頻度分布生成部, 205 学習画像選択部, 206 係数種データ生成部, 207 システムコントローラ, 211 SD信号生成部, 212 特徴量頻度分布生成部, 213 学習画像頻度分布メモリ, 221 頻度分布比較部, 222 学習画像選択部, 223 学習画像テーブル, 231 画像セット記憶部, 232SD信号生成部, 233 予測係数学習部, 234 係数種メモリ, 253 特徴量生成タップ選択部, 256 特徴量生成部, 257 特徴量頻度分布演算部, 276 第1のクラス合成部, 277 第2のクラス合成部 DESCRIPTION OF SYMBOLS 1 Television receiver, 2 Data production | generation reflection apparatus, 12 Board | substrates 13, History information storage part, 20 Prediction coefficient production | generation apparatus, 21 Coefficient data reflection apparatus, 22 Control command memory, 23 User coefficient memory, 32 System controller, 33 Tuner , 35 input switching unit, 37 image signal processing unit, 61 coefficient type storage unit, 65 information generation control unit, 66 feature quantity frequency distribution generation unit, 71 coefficient control unit, 72 coefficient control command memory, 73 user coefficient memory, 74 normal Coefficient memory, 83 feature quantity generation tap selection section, 86 feature quantity generation section, 87 feature quantity frequency distribution calculation section, 91 memory control section, 92 history information memory, 122 coefficient control example determination section, 131 history information acquisition section, 132 History information determination unit, 204 learning image frequency distribution generation , 205 learning image selection unit, 206 coefficient seed data generation unit, 207 system controller, 211 SD signal generation unit, 212 feature amount frequency distribution generation unit, 213 learning image frequency distribution memory, 221 frequency distribution comparison unit, 222 learning image selection unit , 223 learning image table, 231 image set storage unit, 232SD signal generation unit, 233 prediction coefficient learning unit, 234 coefficient seed memory, 253 feature quantity generation tap selection unit, 256 feature quantity generation unit, 257 feature quantity frequency distribution calculation unit, 276 first class synthesis unit, 277 second class synthesis unit
Claims (15)
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて記憶する履歴情報記憶手段と、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された第1の係数を記憶する第1の係数メモリと、
前記第1の係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された前記第1の係数の使用を制御するための制御命令データを記憶する命令メモリと、
前記命令メモリに記憶される前記制御命令データが読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定する判定手段と、
前記判定手段により前記制御命令データに対応するものがあると判定された場合、前記第1の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する画像信号変換手段と
を備える信号処理装置。 In the signal processing device that converts the first image signal into a second image signal having a higher resolution than the first image signal,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. History information storage means for storing in association with history information;
A first coefficient memory for storing a first coefficient generated using the feature amount information of the image selected based on the history control information stored in the history information storage means;
An instruction memory for storing control instruction data for controlling use of the first coefficient generated based on the control history information corresponding to the feature amount information of the image used for generating the first coefficient When,
Determination means for determining whether or not there is control information in the signal processing device acquired when the control command data stored in the command memory is read out, corresponding to the control command data;
When it is determined by the determination means that there is one corresponding to the control command data, the first image signal is converted into the second image signal by performing an operation using the first coefficient. A signal processing apparatus comprising:
請求項1に記載の信号処理装置。 The signal processing apparatus according to claim 1, wherein the feature amount storage unit is provided on a detachable substrate.
請求項1に記載の信号処理装置。 The signal processing device according to claim 1, wherein the feature amount information of the image is a feature amount frequency distribution of the image.
前記判定手段により前記制御命令データに対応するものがないと判定された場合、前記画像信号変換手段は、前記第2の係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する
請求項1に記載の信号処理装置。 A second coefficient memory for storing a second coefficient generated by using a plurality of learning images without using the history information;
When it is determined by the determination means that there is no data corresponding to the control command data, the image signal conversion means performs an operation using the second coefficient, thereby obtaining the first image signal, The signal processing apparatus according to claim 1, wherein the signal processing apparatus converts the second image signal into a second image signal.
前記画像信号変換手段により変換される前記第1の画像信号を、前記チューナからの前記第1の画像信号または外部から入力される前記第1の画像信号に切り換える入力切換手段とをさらに備え、
前記制御情報は、ユーザの操作に対応して、前記チューナによる選局、前記入力切換手段による入力切換、または前記画像信号変換手段による画像変換のパラメータを制御する情報である
請求項1に記載の信号処理装置。 A tuner that selects a received broadcast signal and obtains the first image signal;
Input switching means for switching the first image signal converted by the image signal converting means to the first image signal from the tuner or the first image signal input from the outside;
The control information is information for controlling parameters of channel selection by the tuner, input switching by the input switching unit, or image conversion by the image signal conversion unit in response to a user operation. Signal processing device.
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶し、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶し、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、
前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、
前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する
ステップを含む信号処理方法。 In the signal processing method of the signal processing device for converting the first image signal into the second image signal having a higher resolution than the first image signal,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. Store it in the history information storage means in association with the history information,
In order to control the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means, the coefficient used for generating the coefficient Control command data generated based on the control history information corresponding to the feature amount information of the image is read from the command memory,
Determining whether the control information in the signal processing device obtained when the control command data is read from the command memory corresponds to the control command data;
A signal processing method including a step of converting the first image signal into the second image signal by performing an operation using the coefficient when it is determined that there is one corresponding to the control command data .
ユーザの操作毎に得られた前記信号処理装置内の制御情報を制御履歴情報として記憶させ、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報を前記制御履歴情報に対応付けて履歴情報記憶手段に記憶させ、
前記履歴情報記憶手段に記憶される前記履歴制御情報に基づいて選択される前記画像の特徴量情報が用いられて生成された係数の使用を制御するために、前記係数の生成に用いられた前記画像の特徴量情報に対応する前記制御履歴情報に基づいて生成された制御命令データを、命令メモリから読み出し、
前記制御命令データが前記命令メモリから読み出されるときに取得される前記信号処理装置内の制御情報に、前記制御命令データに対応するものがあるか否かを判定し、
前記制御命令データに対応するものがあると判定された場合、前記係数を用いて演算を行うことで、前記第1の画像信号を、前記第2の画像信号に変換する
ステップを含むプログラム。 A program for causing a signal processing device that converts a first image signal to a second image signal having a higher resolution than the first image signal to perform a predetermined process,
Control information in the signal processing device obtained for each user operation is stored as control history information, and image feature amount information corresponding to the first image signal generated for each user operation is controlled. It is stored in the history information storage means in association with the history information,
In order to control the use of the coefficient generated by using the feature amount information of the image selected based on the history control information stored in the history information storage means, the coefficient used for generating the coefficient Control command data generated based on the control history information corresponding to the feature amount information of the image is read from the command memory,
Determining whether the control information in the signal processing device obtained when the control command data is read from the command memory corresponds to the control command data;
A program including a step of converting the first image signal into the second image signal by performing an operation using the coefficient when it is determined that there is data corresponding to the control command data.
前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得する取得手段と、
前記取得手段により取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択する情報選択手段と、
前記情報選択手段により選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、前記情報選択手段により選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する命令生成手段と
を備える信号処理装置。 In a signal processing apparatus that performs processing for using a predetermined coefficient in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and each user operation An acquisition means for acquiring the control history information and the feature amount information of the image from a history information storage means in which the feature amount information of the image corresponding to the generated first image signal is stored in association with each other When,
Information selection means for selecting feature amount information of the image used for generating a coefficient to be used for calculation to convert to the second image signal based on the control history information acquired by the acquisition means;
Control command data for controlling use of the coefficient generated by using the feature amount information of the image selected by the information selection unit in the other signal processing device is selected by the information selection unit. And a command generation unit configured to generate based on the control history information corresponding to the feature amount information of the image.
請求項9に記載の信号処理装置。 The signal processing apparatus according to claim 9, wherein the history information storage unit is provided on a substrate that can be attached to and detached from the other signal processing apparatus.
請求項9に記載の信号処理装置。 The signal processing apparatus according to claim 9, wherein the image feature amount information is a feature amount frequency distribution of the image.
前記特徴量生成手段により生成された前記学習画像の特徴量情報と、前記情報選択手段により選択された前記画像の特徴量情報を用いて、前記学習画像から前記画像と似ているものを選択する画像選択手段と、
前記画像選択手段により選択された前記学習画像を用いて、前記他の信号処理装置により前記第2の画像信号に変換する演算に用いられる係数を生成する係数生成手段と
をさらに備える
請求項9に記載の信号処理装置。 Feature quantity generation means for generating feature quantity information of the learning image;
Using the feature amount information of the learning image generated by the feature amount generation means and the feature amount information of the image selected by the information selection means, the one similar to the image is selected from the learning images. Image selection means;
The coefficient generation means which produces | generates the coefficient used for the calculation converted into a said 2nd image signal by the said other signal processing apparatus using the said learning image selected by the said image selection means further comprises: The signal processing apparatus as described.
前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られた前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成された前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、
取得された前記制御履歴情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、
選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する
ステップを含む信号処理方法。 In the signal processing method of the signal processing device that performs processing for using a predetermined coefficient in the operation of converting the first image signal into the second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and each user operation Obtaining the control history information and the feature amount information of the image from the history information storage means stored in association with the feature amount information of the image corresponding to the first image signal generated in
Based on the acquired control history information, select feature value information of the image to be used for generating a coefficient to be used for calculation to convert to the second image signal,
Control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. A signal processing method including a step of generating based on control history information.
前記第1の画像信号を、前記第2の画像信号に変換する他の信号処理装置において、ユーザの操作毎に得られる前記他の信号処理装置内の制御履歴情報と、前記ユーザの操作毎に生成される前記第1の画像信号に対応する画像の特徴量情報とが対応付けられて記憶されている履歴情報記憶手段から、前記制御履歴情報および前記画像の特徴量情報を取得し、
取得された前記制御履歴情報の前記制御情報に基づいて、前記第2の画像信号に変換する演算に使用させる係数の生成に用いる前記画像の特徴量情報を選択し、
選択された前記画像の特徴量情報が用いられて生成された前記係数の前記他の信号処理装置における使用を制御するための制御命令データを、選択された前記画像の特徴量情報が対応する前記制御履歴情報に基づいて生成する
ステップを含むプログラム。 A program for causing a computer to perform processing for using a predetermined coefficient in a calculation for converting a first image signal into a second image signal having a higher resolution than the first image signal,
In another signal processing device that converts the first image signal into the second image signal, control history information in the other signal processing device obtained for each user operation, and for each user operation Obtaining the control history information and the feature amount information of the image from the history information storage means stored in association with the feature amount information of the image corresponding to the generated first image signal;
Based on the control information of the acquired control history information, select feature value information of the image used for generating a coefficient to be used for calculation to convert to the second image signal,
Control command data for controlling use of the coefficient generated by using the selected feature amount information of the image in the other signal processing device corresponds to the feature amount information of the selected image. A program that includes steps that are generated based on control history information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006063631A JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006063631A JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007243633A true JP2007243633A (en) | 2007-09-20 |
Family
ID=38588711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006063631A Withdrawn JP2007243633A (en) | 2006-03-09 | 2006-03-09 | Signal processing apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007243633A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011023922A (en) * | 2009-07-15 | 2011-02-03 | Fuji Xerox Co Ltd | Image coding apparatus and program thereof |
-
2006
- 2006-03-09 JP JP2006063631A patent/JP2007243633A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011023922A (en) * | 2009-07-15 | 2011-02-03 | Fuji Xerox Co Ltd | Image coding apparatus and program thereof |
US8433151B2 (en) | 2009-07-15 | 2013-04-30 | Fuji Xerox Co., Ltd. | Image coding apparatus, image coding method and computer readable medium storing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7911533B2 (en) | Method and apparatus for processing information, storage medium, and program | |
US8581906B2 (en) | Image processing apparatus and image processing method | |
JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
US7460178B2 (en) | Image processing apparatus and image processing method | |
US20170162171A1 (en) | Display apparatus and control method thereof | |
CN101646042A (en) | Image processing apparatus and image processing method | |
JP3885786B2 (en) | Information signal processing apparatus and processing method, and program for executing the processing method | |
US20100007790A1 (en) | Remote controller, image signal processing apparatus, and image signal processing method | |
US7286184B2 (en) | Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium | |
US7616263B2 (en) | Information-processing apparatus and removable substrate used therein | |
US20040233331A1 (en) | Apparatus, method and program for generating coefficient type data or coefficient data used in image display apparatus, computer-readable medium containing the program | |
JP2007243633A (en) | Signal processing apparatus and method, recording medium, and program | |
US7810128B2 (en) | Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith | |
JP4803279B2 (en) | Image signal processing apparatus and method, recording medium, and program | |
JP2007243632A (en) | Signal processing apparatus and method, recording medium, and program | |
JP4048835B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4349086B2 (en) | Information signal processing apparatus and processing method, program for executing the processing method, and medium storing the program | |
JP4419045B2 (en) | Information processing system, information processing apparatus and method, recording medium, and program | |
JP4092921B2 (en) | Information signal processing apparatus, information signal processing method and image display apparatus, coefficient seed data generating apparatus and generating method used therefor, coefficient data generating apparatus and generating method, program for executing each method, and program thereof Recorded computer-readable medium | |
JP4691814B2 (en) | Information signal processing apparatus, information signal processing method, and recording medium | |
JP4649786B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and coefficient seed data generating apparatus and generating method used therefor | |
JP4329453B2 (en) | Image signal processing apparatus and method, recording medium, and program | |
JP4649812B2 (en) | Image signal processing apparatus, image signal processing method and image display apparatus using the same, program for executing each image signal processing method, and computer-readable medium storing the program | |
JP4692800B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, coefficient seed data generating apparatus and generating method used therefor, and recording medium | |
JP2007058232A (en) | Information signal processing apparatus and processing method, and program for executing processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |