JP4655483B2 - Information signal processing apparatus and method, program, and recording medium - Google Patents
Information signal processing apparatus and method, program, and recording medium Download PDFInfo
- Publication number
- JP4655483B2 JP4655483B2 JP2004035079A JP2004035079A JP4655483B2 JP 4655483 B2 JP4655483 B2 JP 4655483B2 JP 2004035079 A JP2004035079 A JP 2004035079A JP 2004035079 A JP2004035079 A JP 2004035079A JP 4655483 B2 JP4655483 B2 JP 4655483B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- processing
- unit
- signal
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Stored Programmes (AREA)
Description
この発明は、画像信号、音声信号等の情報信号に対して処理を行う情報信号処理装置およびその方法、プログラム、並びに記録媒体に関する。 The present invention relates to an information signal processing apparatus that performs processing on an information signal such as an image signal and an audio signal, a method thereof , a program, and a recording medium.
詳しくは、この発明は、処理部の追加、変更によるアップグレードを、ユーザの負担が少なく、容易に行い得るようにした情報信号処理装置等に係るものである。 Particularly, the present invention may include additional processing units, the upgrade of the change, less burden on the user, it relates to easily as the information signal processing device and the like may be performed.
画像信号、音声信号等の情報信号に対して基板単位で処理を行っていく情報信号処理装置が考えられる。このような情報信号処理装置では、基板の追加、変更により、装置のアップグレードを図ることができる。特許文献1には、基板を着脱できる例が記載されている。
An information signal processing apparatus that processes information signals such as image signals and audio signals in units of substrates can be considered. In such an information signal processing apparatus, it is possible to upgrade the apparatus by adding or changing a substrate.
上述したように基板を追加、変更する場合、装置全体を制御する基板に対して、制御情報の更新を行う必要がある。この更新作業をユーザが手動で行うとすれば、ユーザにとって大きな負担となる。 As described above, when a board is added or changed, it is necessary to update control information for a board that controls the entire apparatus. If the user manually performs this update operation, a heavy burden is placed on the user.
この発明の目的は、処理部(処理基板)の追加、変更によるアップグレードを、ユーザの負担が少なく、容易に行い得るようにすることにある。 An object of the present invention is to make it possible to easily perform upgrade by adding or changing a processing unit (processing substrate) with less burden on the user.
本発明の第1の側面の情報信号処理装置は、制御情報に基づいて情報信号をそれぞれ処理する所定数の処理部と、前記所定数の処理部の動作を制御する制御部とを備え、前記所定数の処理部には、予め装着されていたものと、後から追加装着されたものとがあり、前記予め装着されていた前記処理部は、自身が前記情報信号を処理するために必要な前記制御情報と、自身が記憶している前記制御情報についてのバージョン情報を予め記憶しており、前記後から追加装着された前記処理部は、自身の前記制御情報、前記予め装着されていた前記処理部のための前記制御情報、および自身が記憶している1以上の前記制御情報についてのバージョン情報であって、前記予め装着されていた前記処理部のバージョン情報よりもバージョンが高いバージョン情報を予め記憶しており、前記制御部は、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、前記所定数の処理部は、前記制御部から供給された前記制御情報を用いて、前記情報信号を処理する。 An information signal processing device according to a first aspect of the present invention includes a predetermined number of processing units that respectively process information signals based on control information, and a control unit that controls operations of the predetermined number of processing units, The predetermined number of processing units are pre-installed and those that are added later, and the pre-installed processing units are necessary for themselves to process the information signal. The control information and the version information about the control information stored by itself are stored in advance , and the processing unit additionally attached after the control information is the control information of itself, the pre-attached the control information for the processing unit, and it itself is an version information for one or more of the control information stored version is higher barge than the version information of the has been preloaded the processing unit Tio stores the down data beforehand, the control unit acquires the version information each of said predetermined number of processor is stored, and detects the processing unit having a version highest the version information, The detected control information of each processing unit stored in the processing unit is acquired and supplied to each of the corresponding predetermined number of processing units, and the predetermined number of processing units are supplied from the control unit The information signal is processed using the control information.
本発明の第1の側面の情報信号処理方法は、制御情報に基づいて情報信号をそれぞれ処理する所定数の処理部と、前記所定数の処理部の動作を制御する制御部とを備え、前記所定数の処理部には、予め装着されていたものと、後から追加装着されたものとがあり、前記予め装着されていた前記処理部は、自身が前記情報信号を処理するために必要な前記制御情報と、自身が記憶している前記制御情報についてのバージョン情報を予め記憶しており、前記後から追加装着された前記処理部は、自身の前記制御情報、前記予め装着されていた前記処理部のための前記制御情報、および自身が記憶している1以上の前記制御情報についてのバージョン情報であって、前記予め装着されていた前記処理部のバージョン情報よりもバージョンが高いバージョン情報を予め記憶している情報信号処理装置の情報信号処理方法であって、前記制御部が、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、前記所定数の処理部が、前記制御部から供給された前記制御情報を用いて、前記情報信号を処理するステップを含む。 An information signal processing method according to a first aspect of the present invention includes a predetermined number of processing units that respectively process information signals based on control information, and a control unit that controls operations of the predetermined number of processing units, The predetermined number of processing units are pre-installed and those that are added later, and the pre-installed processing units are necessary for themselves to process the information signal. The control information and the version information about the control information stored by itself are stored in advance , and the processing unit additionally attached after the control information is the control information of itself, the pre-attached the control information for the processing unit, and it itself is an version information for one or more of the control information stored version is higher barge than the version information of the has been preloaded the processing unit A tio down information stored in advance to have the information signal processing apparatus of an information signal processing method, the control unit acquires the version information each of said predetermined number of processor are stored, the highest version The processing unit having the version information is detected, the control information of each processing unit stored in the detected processing unit is acquired, supplied to each of the corresponding predetermined number of processing units, and the predetermined number The processing unit includes a step of processing the information signal using the control information supplied from the control unit.
本発明の第1の側面の記録媒体は、予め装着されていたものと、後から追加装着されたものとからなる所定数の処理部であって、前記予め装着されていた前記処理部は、自身が情報信号を処理するために必要な制御情報と、自身が記憶している前記制御情報についてのバージョン情報を予め記憶し、前記後から追加装着された前記処理部は、自身の前記制御情報、前記予め装着されていた前記処理部のための前記制御情報、および自身が記憶している1以上の前記制御情報についてのバージョン情報であって、前記予め装着されていた前記処理部のバージョン情報よりもバージョンが高いバージョン情報を予め記憶して、前記制御情報に基づいて前記情報信号をそれぞれ処理する前記所定数の処理部を備える情報信号処理装置を制御するコンピュータに、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、前記所定数の処理部に、供給された前記制御情報を用いて、前記情報信号を処理させる処理を実行させるためのプログラムを記録したコンピュータ読み取り可能なものである。 The recording medium according to the first aspect of the present invention is a predetermined number of processing units that are pre-mounted and those that are additionally mounted later, and the pre-mounted processing units are: Control information necessary for processing the information signal by itself and version information for the control information stored by itself are stored in advance, and the processing unit additionally mounted afterward stores the control information of the control signal. Version information on the control information for the processing unit that has been mounted in advance, and version information on the one or more control information stored by itself, the version information of the processing unit that has been mounted in advance Version information having a higher version than that is stored in advance, and the information signal processing apparatus including the predetermined number of processing units that respectively process the information signals based on the control information is controlled. To Yuta, acquires the version information each of said predetermined number of processor is stored, and detects the processing unit having a version highest the version information, each of said processing units that have been detected are stored Processing unit control information is acquired, supplied to each of the corresponding predetermined number of processing units, and the predetermined number of processing units executes processing of processing the information signal using the supplied control information It is a computer-readable one that records a program for making it happen.
本発明の第1の側面のプログラムは、予め装着されていたものと、後から追加装着されたものとからなる所定数の処理部であって、前記予め装着されていた前記処理部は、自身が情報信号を処理するために必要な制御情報と、自身が記憶している前記制御情報についてのバージョン情報を予め記憶し、前記後から追加装着された前記処理部は、自身の前記制御情報、前記予め装着されていた前記処理部のための前記制御情報、および自身が記憶している1以上の前記制御情報についてのバージョン情報であって、前記予め装着されていた前記処理部のバージョン情報よりもバージョンが高いバージョン情報を予め記憶して、前記制御情報に基づいて前記情報信号をそれぞれ処理する前記所定数の処理部を備える情報信号処理装置を制御するコンピュータに、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、前記所定数の処理部に、供給された前記制御情報を用いて、前記情報信号を処理させる処理を実行させるためのものである。 The program according to the first aspect of the present invention is a predetermined number of processing units that are pre-mounted and those that are additionally mounted later, and the pre-mounted processing units are themselves Pre-stores the control information necessary for processing the information signal and the version information about the control information stored by itself, and the processing unit additionally mounted after the control information, Version information about the control information for the processing unit that is pre-mounted and one or more of the control information stored by the processing unit, based on version information of the processing unit that is pre-mounted Version information having a higher version is stored in advance, and a control unit that controls the information signal processing device including the predetermined number of processing units that respectively process the information signals based on the control information. The computer acquires the version information each of said predetermined number of processor is stored, and detects the processing unit having a version highest the version information, each of said processing units that have been detected are stored Processing unit control information is acquired and supplied to each of the corresponding predetermined number of processing units, and the predetermined number of processing units are used to process the information signal using the supplied control information. It is for making it happen.
本発明の第1の側面においては、制御情報に基づいて情報信号をそれぞれ処理する所定数の処理部それぞれが記憶しているバージョン情報が取得されて、バージョンが最も高いバージョン情報を有する処理部が検出され、検出された処理部が記憶している各処理部の制御情報が取得されて、対応する所定数の処理部それぞれに供給され、所定数の処理部において、制御部から供給された制御情報を用いて、情報信号が処理される。 In the first aspect of the present invention, version information each predetermined number of processing unit for processing the information signal, respectively, based on the control information stored is acquired, the processing unit having a version highest version information Control information of each processing unit detected and stored in the detected processing unit is acquired and supplied to each of the corresponding predetermined number of processing units, and the control supplied from the control unit in the predetermined number of processing units Using the information, an information signal is processed.
本発明によれば、処理部の追加、変更によるアップグレードを、ユーザの負担が少なく、容易に行うことができる。 According to the present invention , upgrade by adding or changing a processing unit can be easily performed with less burden on the user.
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての画像信号処理装置100の構成を示している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of an image
この画像信号処理装置100は、制御基板101と、リモコン送信機102と、入力基板103と、処理基板104(処理基板A)と、処理基板105(処理基板B)と、出力基板106とを有している。制御基板101、入力基板103、処理基板104、処理基板105および出力基板106は、それぞれバス107に接続されている。処理基板104、105、少なくとも処理基板105は、着脱自在とされている。
The image
制御基板101は、制御部を構成しており、処理基板104,105の動作を含め、装置全体の動作を制御する。リモコン送信機102は、ユーザインタフェースを構成している。リモコン送信機102は、ユーザの操作によるリモコン信号RMを出力する。このリモコン信号RMは、例えば赤外線信号である。制御基板101は、リモコン信号RMに基づいて、処理基板104,105等の動作を制御する。
The
入力基板103は、処理すべき画像信号Vinを入力するための処理基板である。この画像信号Vinは、例えば図示しないDVD(Digital Versatile Disc)プレーヤ、地上波デジタル放送チューナ等から出力されたものである。この場合、画像信号Vinは、MPEG(Moving Picture Experts Group)データに対して復号化処理が施されることで取得されている。
The
処理基板104,105は、それぞれ、処理部を構成しており、画像信号を処理するものである。本実施の形態において、処理基板104,105は、それぞれ以下の処理を行うものとされる。すなわち、処理基板104は、SD(Standard Definition)信号である入力画像信号を、水平、垂直の画素数がそれぞれ2倍とされたHD(High Definition)信号である出力画像信号に変換する、高画質化処理を行う。処理基板105は、入力画像信号を、MPEGの符号化、復号化を経たことによって発生したブロック歪み、モスキートノイズを低減した出力画像信号に変換する、ノイズ低減処理を行う。
The
出力基板106は、処理後の画像信号Voutを出力するための処理基板である。この画像信号Voutは、CRT(Cathode-Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等からなる図示しないディスプレイに供給される。
The
図2は、制御基板101の構成を示している。制御基板101は、コンピュータとしてのCPU(Central Processing Unit)を有してなるコントローラ111と、そのCPUの動作プログラム等が格納されたROM(Read Only Memory)112と、そのCPUの作業領域を構成する、作業用記憶手段としてのRAM(Random Access Memory)113と、リモコン受信部114と、インタフェース(I/F)115とからなっている。リモコン受信部114は、上述したリモコン送信機102からのリモコン信号RMを受信し、そのリモコン信号RMに対応した操作信号をコントローラ111に供給する。インタフェース115は、コントローラ111をバス107に接続する。
FIG. 2 shows the configuration of the
図3は、処理基板104,105の構成を示している。処理基板104,105は、それぞれ、コンピュータとしてのCPUを有してなるコントローラ121と、そのCPUの動作プログラム等が格納された、第1の記憶手段としてのROM122と、そのCPUの作業領域を構成する、第2の記憶手段(作業用記憶手段)としてのRAM123と、画像信号を処理する信号処理部124と、インタフェース(I/F)125とからなっている。インタフェース125は、コントローラ121および信号処理部124をバス107に接続する。また、コントローラ121は、信号処理部124の動作を制御する。
FIG. 3 shows the configuration of the
ここで、図4を参照して、処理基板104(処理基板A)の信号処理部124の詳細を説明する。この信号処理部124は、入力画像信号(SD信号)Vaを、水平、垂直の画素数がそれぞれ2倍とされた出力画像信号Vbに変換する。図5は、SD信号とHD信号の画素位置関係を示しており、大きなドットがSD信号の画素であり、小さいドットがHD信号の画素である。この図5から分かるように、HD信号のライン数はSD信号の2倍であり、またHD信号の各ラインの画素数はSD信号の2倍である。
Here, the details of the
この信号処理部124は、バッファメモリ131と、予測タップ選択部132と、クラスタップ選択部133と、クラス検出部134と、係数データ生成部135と、推定予測演算部136と、バッファメモリ137とを有している。
The
バッファメモリ131は、バス107からインタフェース125を通じて取り込まれる、処理対象である画像信号Vaを一時的に記憶する。
The
予測タップ選択部132、クラスタップ選択部133は、それぞれ、バッファメモリ131に記憶されている画像信号Vaから、画像信号Vbにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。この場合、RAM123には、後述するように、初期化時に、コントローラ121が信号処理部124の動作を制御するための制御情報が記憶されるが、その一部として、予測タップ、クラスタップのパターン情報が含まれている。予測タップ選択部132、クラスタップ選択部133は、コントローラ121を介してRAM123から供給されるパターン情報に基づいて、それぞれ予測タップ、クラスタップのデータを選択的に抽出する。図6A,Bは、それぞれクラスタップ、予測タップのパターン例を示している。
The prediction
クラス検出部134は、クラスタップ選択部133で選択的に抽出されるクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、注目画素位置の画素データが属するクラスを示すクラスコードCLを取得する。例えば、データ圧縮処理としては、ADRC(Adaptive Dynamic Range Coding)、DPCM(予測符号化)、VQ(ベクトル量子化)等を利用できる。本実施の形態では、ADRC、例えば1ビットADRCが利用される。
The
まず、KビットADRCを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値MAXと最小値MINの差分であるダイナミックレンジDR=MAX−MINを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値MINを減算し、その減算値をDR/2Kで除算(量子化)し、クラスタップを構成するそれぞれの画素データをKビットに再量子化し、それを所定の順番で並べたビット列をクラスコードCLとする。 First, a case where K-bit ADRC is used will be described. In this case, the dynamic range DR = MAX−MIN, which is the difference between the maximum value MAX and the minimum value MIN of the pixel data included in the class tap, is detected, and for each pixel data included in the class tap, the minimum value is determined from the pixel data. Subtract the value MIN, divide (quantize) the subtracted value by DR / 2 K , requantize each pixel data constituting the class tap into K bits, and classify the bit string that is arranged in a predetermined order Let it be code CL.
1ビットADRCを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値MINを減算し、その減算値をDR/2で除算し、クラスタップに含まれるそれぞれの画素データを1ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードCLとして出力する。 When 1-bit ADRC is used, for each pixel data included in the class tap, the minimum value MIN is subtracted from the pixel data, the subtracted value is divided by DR / 2, and each pixel data included in the class tap is subtracted. The pixel data is requantized to 1 bit, and a bit string in which the pixel data is arranged in a predetermined order is output as a class code CL.
後述するように、推定予測演算部136では、予測タップのデータとしての複数の画素データxiと、係数データWiとを用い、(1)式の推定式に基づいて、画像信号Vbにおける注目画素位置の画素データyが求められる。この(1)式において、nは複数の画素データxiの個数である。
As will be described later, the estimated
RAM123には、後述するように、初期化時に、コントローラ121が信号処理部124の動作を制御するための制御情報が記憶されるが、その一部として、各クラスの係数種データが含まれている。この係数種データは、上述した推定式の係数データWi(i=1〜n)を生成するための、パラメータr,zを含む生成式の係数データである。(2)式は、その生成式の一例を示している。ここで、パラメータrは解像度を決めるパラメータであり、パラメータzはノイズ除去度を決めるパラメータである。そして、wi0〜wi9が係数種データである。
As will be described later, the
SD信号をHD信号に変換する場合、SD信号の1画素に対応してHD信号の4画素を得る必要がある(図5参照)。この場合、HD信号を構成する2×2の単位画素ブロック内の4画素は、それぞれSD信号の中心予測タップに対して異なる位相ずれを持っている。図7は、HD信号を構成する2×2の単位画素ブロック内の4画素HD1〜HD4における、SD信号の中心予測タップSD0からの位相ずれを示している。ここで、HD1〜HD4の位置は、それぞれ、SD0の位置から水平方向にk1〜k4、垂直方向にm1〜m4だけずれている。そのため、上述した各クラスの係数種データwi0〜wi9は、さらに出力画素(HD1〜HD4)にそれぞれ対応した係数種データからなっている。 When the SD signal is converted into the HD signal, it is necessary to obtain four pixels of the HD signal corresponding to one pixel of the SD signal (see FIG. 5). In this case, the four pixels in the 2 × 2 unit pixel block constituting the HD signal each have a different phase shift with respect to the center prediction tap of the SD signal. FIG. 7 shows a phase shift from the center prediction tap SD 0 of the SD signal in the four pixels HD 1 to HD 4 in the 2 × 2 unit pixel block constituting the HD signal. Here, the position of HD 1 ~HD 4, respectively, k 1 to k 4 in the horizontal direction from the position of the SD 0, are offset in the vertical direction by m 1 ~m 4. Therefore, the coefficient seed data w i0 to w i9 for each above-described class is made from each of the corresponding coefficient seed data further output pixels (HD 1 ~HD 4).
この係数種データwi0〜wi9は、画像信号Vbに対応した教師信号(HD信号)と画像信号Vaに対応した生徒信号(SD信号)とから学習によって予め生成されたものであり、画像信号Vaを画像信号Vbに変換するための情報である。このような係数種データwi0〜wi9を用いて画像信号Vaを画像信号Vbに変換することで、SD信号としての画像信号Vaは、HD信号としての画像信号Vbに変換される。この係数種データwi0〜wi9の生成方法については後述する。 The coefficient seed data w i0 to w i9 are generated in advance from learning from a teacher signal (HD signal) corresponding to the image signal Vb and a student signal (SD signal) corresponding to the image signal Va. This is information for converting Va into an image signal Vb. By converting the image signal Va to the image signal Vb using such coefficient seed data w i0 to w i9 , the image signal Va as the SD signal is converted into the image signal Vb as the HD signal. It will be described later method of generating coefficient seed data w i0 to w i9.
係数データ生成部135は、コントローラ121を介してRAM123から、クラス検出部134で得られたクラスコードCLが表すクラスの、出力画素(HD1〜HD4)にそれぞれ対応した4画素分の係数種データwi0〜wi9を取得し、さらにコントローラ121から供給される、ユーザによって調整されたパラメータr,zの値を用い、(2)式の生成式に基づいて、4画素分の係数データWiを生成する。
The coefficient
推定予測演算部136は、画像信号Vbを構成する2×2の単位画素ブロック毎に、画素データを求める。すなわち、この推定予測演算部136には、予測タップ選択部132から単位画素ブロック内の4画素(注目画素)に対応した、予測タップのデータとしての複数の画素データxiが供給され、また係数データ生成部135で生成された、その単位画素ブロックを構成する4画素分の係数データWiが供給される。そして、この推定予測演算部136は、単位画素ブロックを構成する4画素の画素データy1〜y4を、それぞれ上述した(1)式の推定式で個別に演算する。
The estimated
バッファメモリ137は、推定予測演算部136より順次出力される、画像信号Vbを構成する各単位画素ブロック内の4画素の画素データy1〜y4を一時的に記憶する。
図4に示す処理基板104(処理基板A)の信号処理部124の動作を説明する。
The operation of the
バス107からインタフェース125を通じて取り込まれる、処理対象である画像信号Vaはバッファメモリ131に一時的に記憶される。クラスタップ選択部133では、バッファメモリ131に記憶されている画像信号Vaから、画像信号Vbにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部134に供給される。
The image signal Va to be processed, which is fetched from the
クラス検出部134では、クラスタップのデータとしての複数の画素データに、例えば1ビットADRC等のデータ圧縮処理が施されて、画像信号Vbにおける注目画素位置の画素データが属するクラスを表すクラスコードCLが得られる。このクラスコードCLは係数データ生成部135に供給される。
In the
この係数データ生成部135では、クラスコードCLが表すクラスの、出力画素(HD1〜HD4)にそれぞれ対応した係数種データwi0〜wi9が、コントローラ121を介してRAM123から取得される。また、この係数データ生成部135には、コントローラ121から、ユーザによって調整されたパラメータr,zの値が供給される。そして、この係数データ生成部135では、4画素分の係数種データwi0〜wi9およびパラメータr,zの値が用いられ、(2)式の生成式に基づいて、画像信号Vbの2×2の単位画素ブロックを構成する4画素分の係数データWiが生成される。
In the coefficient
予測タップ選択部132では、バッファメモリ131に記憶されている画像信号Vaから、画像信号Vbにおける注目画素位置の周辺、つまりその注目画素位置の単位画素ブロック内の4画素の周辺に位置する、複数の画素データxiが予測タップのデータとして選択的に抽出される。この複数の画素データxiは推定予測演算部136に供給される。
In the prediction
また、この推定予測演算部136には、係数データ生成部135で生成された、画像信号Vbの単位画素ブロックを構成する4画素分の係数データWiが供給される。そして、この推定予測演算部136では、予測タップのデータとしての複数の画素データxiおよび4画素分の係数データWiが用いられ、注目画素位置の単位画素ブロックを構成する4画素の画素データy1〜y4が、それぞれ(1)式の推定式に基づいて、個別に求められる。
In addition, the estimated
画像信号Vbにおける注目画素位置が順次変化するようにされ、推定予測演算部136からは、画像信号Vbにおける各注目画素位置の単位ブロックを構成する画素データy1〜y4が順次出力される。このように推定予測演算部136から順次出力される、各注目画素位置の単位ブロックを構成する画素データy1〜y4はバッファメモリ137に供給されて一時的に記憶される。このバッファメモリ137に記憶された画像信号Vbを構成する各画素データは、その後に適宜なタイミングで読み出され、インタフェース125を介してバス107に送出される。
The target pixel position in the image signal Vb is sequentially changed, and the estimated
上述したように、処理基板104(処理基板A)のRAM123に、初期化時に、制御情報の一部としての係数種データが記憶される。この係数種データは、予め学習によって生成されたものである。
As described above, the coefficient seed data as part of the control information is stored in the
この係数種データの生成方法について説明する。ここでは、(2)式の生成式における係数データである係数種データwi0〜wi9を求める例を示すものとする。
ここで、以下の説明のため、(3)式のように、tj(j=0〜9)を定義する。
t0=1,t1=r,t2=z,t3=r2,t4=rz,t5=z2,t6=r3,
t7=r2z,t8=rz2,t9=z3
・・・(3)
この(3)式を用いると、(2)式は、(4)式のように書き換えられる。
A method for generating the coefficient seed data will be described. Here, it is assumed that shows an example of obtaining the coefficient seed data w i0 to w i9 is coefficient data in the production equation of the Equation (2).
Here, for the following explanation, tj (j = 0 to 9) is defined as shown in equation (3).
t 0 = 1, t 1 = r, t 2 = z, t 3 = r 2 , t 4 = rz, t 5 = z 2 , t 6 = r 3 ,
t 7 = r 2 z, t 8 = rz 2 , t 9 = z 3
... (3)
Using this equation (3), equation (2) can be rewritten as equation (4).
最終的に、学習によって未定係数wijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、(1)式および(2)式を用いて、Eは(5)式で表される。ここで、xikはSD信号のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応するk番目のHD信号の画素データを表している。 Finally, the undetermined coefficient w ij is obtained by learning. That is, for each combination of class and output pixel, a coefficient value that minimizes the square error is determined using a plurality of SD pixel data and HD pixel data. This is a so-called least square method. If the learning number is m, the residual in the kth (1 ≦ k ≦ m) learning data is e k , and the sum of the squared errors is E, using Eqs. (1) and (2), E is (5 ) Expression. Here, x ik represents k-th pixel data at the i-th predicted tap position of the SD signal, and y k represents pixel data of the corresponding k-th HD signal.
最小二乗法による解法では、(5)式のwijによる偏微分が0になるようなwijを求める。これは、(6)式で示される。 The solution according to the minimum square method, determine the w ij such that 0 is partial differentiation by (5) of w ij. This is shown by equation (6).
ここで、(7)式、(8)式のように、Xipjq、Yipを定義すると、(6)式は、行列を用いて、(9)式のように書き換えられる。 Here, if X ipjq and Y ip are defined as in equations (7) and (8), equation (6) can be rewritten as equation (9) using a matrix.
この(9)式が、係数種データwi0〜wi9(i=1〜n)を算出するための正規方程式である。この正規方程式を掃き出し法(Gauss-Jordanの消去法)等の一般解法で解くことにより、係数種データwi0〜wi9を求めることができる。 This equation (9) is a normal equation for calculating the coefficient seed data w i0 to w i9 (i = 1 to n). By solving a general solution such as sweep-out method the normal equation (Gauss-Jordan elimination) can be used to determine the coefficient seed data w i0 to w i9.
図8は、上述した係数種データの生成方法の概念を示している。教師信号としてのHD信号から、生徒信号としての複数のSD信号を生成する。ここで、HD信号からSD信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるSD信号を生成する。 FIG. 8 shows the concept of the coefficient seed data generation method described above. A plurality of SD signals as student signals are generated from the HD signals as teacher signals. Here, SD signals having different resolutions are generated by changing the frequency characteristics of the thinning filter used when the SD signal is generated from the HD signal.
解像度の異なるSD信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるSD信号とボケ具合の小さな画像が得られるSD信号があった場合、ボケ具合の大きな画像が得られるSD信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるSD信号による学習で、解像度を上げる効果の弱い係数種データが生成される。 Coefficient seed data having different effects of increasing the resolution can be generated by SD signals having different resolutions. For example, when there is an SD signal from which an image with a large degree of blur can be obtained and an SD signal from which an image with a small degree of blur can be obtained, coefficient seed data having a strong effect of increasing the resolution by learning with the SD signal from which an image with a large degree of blur can be obtained. Is generated, and coefficient seed data having a weak effect of increasing the resolution is generated by learning with the SD signal from which an image with a small degree of blur can be obtained.
また、解像度の異なるSD信号の各々に対してノイズを加えることで、ノイズの加わったSD信号を生成する。ノイズを加える量を可変することでノイズ量が異なるSD信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたSD信号とノイズを少し加えたSD信号とがあった場合、ノイズをたくさん加えたSD信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたSD信号による学習でノイズ除去効果の弱い係数種データが生成される。 Further, by adding noise to each of the SD signals having different resolutions, an SD signal with noise added is generated. By varying the amount of noise to be added, SD signals having different noise amounts are generated, thereby generating coefficient seed data having different noise removal effects. For example, if there is an SD signal with a lot of noise added and an SD signal with a little noise added, coefficient seed data with a strong noise removal effect is generated by learning with the SD signal with a lot of noise added, and SD with a little noise added. Coefficient seed data having a weak noise removal effect is generated by learning with a signal.
ノイズを加える量としては、例えば(10)式のように、SD信号の画素値xに対して、ノイズnを加えてノイズの加わったSD信号の画素値x′を生成する場合、Gを可変することでノイズ量を調整する。
x′=x+G・n ・・・(10)
As an amount of noise, for example, as shown in equation (10), when generating a pixel value x ′ of the SD signal to which noise n is added by adding noise n to the pixel value x of the SD signal, G is variable. To adjust the amount of noise.
x ′ = x + G · n (10)
例えば、周波数特性を可変するパラメータrの値を0〜1.0まで0.1のステップで11段階に可変し、ノイズを加える量を可変するパラメータzの値を0〜1.0まで0.1のステップで11段階に可変し、合計121種類のSD信号を生成する。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。このパラメータr,zは、図4の処理基板104(処理基板A)の信号処理部124に供給されるパラメータr,zに対応したものである。
For example, the value of the parameter r for varying the frequency characteristic is varied in 11 steps from 0 to 1.0 in 0.1 steps, and the value of the parameter z for varying the amount of noise added is varied from 0 to 1.0 to 0.1. It is variable to 11 steps in one step, and a total of 121 types of SD signals are generated. Learning is performed between the plurality of SD signals generated in this way and the HD signal to generate coefficient seed data. The parameters r and z correspond to the parameters r and z supplied to the
次に、上述した係数種データwi0〜wi9(i=1〜n)を生成するための係数種データ生成装置150について説明する。図9は、この係数種データ生成装置150の構成を示している。
Next, the coefficient seed
この係数種データ生成装置150は、入力端子151と、生徒信号生成回路152とを有している。入力端子151は、教師信号としてのHD信号を入力する。生徒信号生成回路152は、このHD信号に対して、水平および垂直の間引き処理を行って、生徒信号としてのSD信号を生成する。この生徒信号生成回路152には、パラメータr,zが供給される。パラメータrの値に対応して、HD信号からSD信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータzの値に対応して、SD信号に加えるノイズの量が可変される。
The coefficient seed
また、係数種データ生成装置150は、予測タップ選択部153と、クラスタップ選択部154とを有している。これら予測タップ選択部153、クラスタップ選択部154は、それぞれ、生徒信号生成回路152より出力されるSD信号から、HD信号における注目画素位置の周辺に位置する複数のSD画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。この予測タップ選択部153、クラスタップ選択部154は、それぞれ、上述した処理基板104(処理基板A)の信号処理部124の予測タップ選択部132、クラスタップ選択部133に対応するものである。
In addition, the coefficient seed
また、係数種データ生成装置150は、クラス検出部155を有している。このクラス検出部155は、クラスタップ選択部154で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号としてのHD信号における注目画素位置の画素データが属するクラスを示すクラスコードCLを生成する。このクラス検出部155は、上述した処理基板104(処理基板A)の信号処理部124のクラス検出部134に対応するものである。
The coefficient seed
また、係数種データ生成装置150は、教師タップ選択部156を有している。この教師タップ選択部156は、入力端子151に入力される教師信号としてのHD信号から、注目画素位置の画素データを選択的に抽出する。
Further, the coefficient seed
また、係数種データ生成装置150は、正規方程式生成部157を有している。この正規方程式生成部157は、教師タップ選択部156で選択的に抽出された、教師信号としてのHD信号における各注目画素位置の画素データyと、この各注目画素位置の画素データyにそれぞれ対応して予測タップ選択部153で選択的に抽出された、予測タップのデータとしての複数の画素データxiと、各注目画素位置の画素データyにそれぞれ対応してクラス検出部155で得られたクラスコードCLと、パラメータr,zの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を得るための正規方程式((9)式参照)を生成する。
Further, the coefficient seed
この場合、1個の画素データyとそれに対応する複数個の画素データxiとの組み合わせで1個の学習データが生成されるが、教師信号としてのHD信号と生徒信号としてのSD信号との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部157では、クラス毎に、係数種データwi0〜wi9を得るための正規方程式が生成される。
In this case, one piece of learning data is generated by combining one piece of pixel data y and a plurality of pieces of pixel data xi corresponding thereto, but between the HD signal as the teacher signal and the SD signal as the student signal. Thus, a lot of learning data is generated for each class. Thus, the normal
またこの場合、正規方程式生成部157では、出力画素(図7のHD1〜HD4参照)毎に、正規方程式が生成される。例えば、HD1に対応した正規方程式は、中心予測タップに対するずれ値がHD1と同じ関係にある画素データyから構成される学習データから生成される。結果的に正規方程式生成部157では、上述したように、クラスおよび出力画素の組み合わせ毎に、正規方程式が生成される。
In this case, the normal
また、係数種データ生成装置150は、係数種データ決定部158と、係数種メモリ159とを有している。係数種データ決定部158は、正規方程式生成部157から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を求める。係数種メモリ159は、係数種データ決定部158で求められた係数種データwi0〜wi9を格納する。
The coefficient seed
図9に示す係数種データ生成装置150の動作を説明する。
入力端子151に入力される教師信号としてのHD信号に対して、生徒信号生成回路152で水平および垂直の間引き処理が行われて、生徒信号としてのSD信号が生成される。この場合、SD信号生成回路152にはパラメータr,zが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のSD信号が順次生成されていく。
The operation of the coefficient seed
The student
クラスタップ選択部154では、生徒信号生成回路152で生成される生徒信号としてのSD信号から、教師信号としてのHD信号における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部155に供給される。このクラス検出部155では、クラスタップのデータとしての複数の画素データに、例えば1ビットADRCのデータ圧縮処理が施されて、教師信号としてのHD信号における注目画素位置の画素データが属するクラスを表すクラスコードCLが得られる。このクラスコードCLは、正規方程式生成部157に供給される。
The class
予測タップ選択部153では、生徒信号生成回路152で生成される生徒信号としてのSD信号から、教師信号としてのHD信号における注目画素位置の周辺に位置する複数の画素データxiが予測タップのデータとして選択的に抽出される。この複数の画素データxiは正規方程式生成部157に供給される。また、教師タップ選択部156では、入力端子151に入力される教師信号としてのHD信号から、注目画素位置の画素データyが選択的に抽出される。この画素データyは正規方程式生成部157に供給される。
In the prediction
正規方程式生成部157では、教師タップ選択部156で選択的に抽出された、教師信号としてのHD信号における各注目画素位置の画素データyと、この各注目画素位置の画素データyにそれぞれ対応して予測タップ選択部153で選択的に抽出された、予測タップのデータとしての複数の画素データxiと、各注目画素位置の画素データyにそれぞれ対応してクラス検出部155で得られたクラスコードCLと、パラメータr,zの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を得るための正規方程式((9)式参照)が生成される。
The normal
そして、係数種データ決定部158では、正規方程式生成部157から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9が求められる。この係数種データwi0〜wi9は、係数種メモリ159に格納される。
Then, the coefficient seed
このように、図9に示す係数種データ生成装置150においては、上述の図4に示す処理基板104(処理基板A)のRAM123に、初期化時に、制御情報の一部として記憶される係数種データwi0〜wi9を、良好に生成できる。
As described above, in the coefficient seed
次に、図10を参照して、処理基板105(処理基板B)の信号処理部124の詳細を説明する。この信号処理部124は、入力画像信号Vcを、ブロック歪み、モスキートノイズを低減した出力画像信号Vdに変換する。
Next, details of the
この信号処理部124は、バッファメモリ161と、予測タップ選択部162と、クラスタップ選択部163と、クラス検出部164と、推定予測演算部165と、バッファメモリ166とを有している。
The
バッファメモリ161は、バス107からインタフェース125を通じて取り込まれる、処理対象である画像信号Vcを一時的に記憶する。
The
予測タップ選択部162は、バッファメモリ161に記憶されている画像信号Vcから、画像信号Vdにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。この場合、RAM123には、後述するように、初期化時に、コントローラ121が信号処理部124の動作を制御するための制御情報が記憶されるが、その一部として、予測タップのパターン情報が含まれている。予測タップ選択部162は、コントローラ121を介してRAM123から供給されるパターン情報に基づいて、予測タップのデータを選択的に抽出する。図11は、予測タップのパターン例を示しており、APは注目画素位置である。
The prediction
クラスタップ選択部163は、バッファメモリ161に記憶されている画像信号Vcから、画像信号Vdにおける注目画素位置の画素データを含むDCT(Discrete Cosine Transform)処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。MPEGデータの復号化時には、DCT処理ブロック毎にデコード処理が行われて、画像信号Vcを構成する画素データが取得されている。図12は、DCT処理ブロックを構成する8×8の画素データを示している。
The class
クラス検出部164は、クラスタップ選択部163で選択的に抽出されるクラスタップのデータとしての複数の画素データに対して上述した1ビットADRC等のデータ圧縮処理を施して、画像信号Vdにおける注目画素位置の画素データが属するクラスを示すクラスコードCLを生成し、このクラスコードCLをコントローラ121に供給する。
The
推定予測演算部165は、予測タップのデータとしての複数の画素データxiと、係数データWiとを用い、上述した(1)式の推定式に基づいて、画像信号Vdにおける注目画素位置の画素データyを求める。 The estimated prediction calculation unit 165 uses a plurality of pixel data xi as the prediction tap data and the coefficient data Wi, and based on the estimation expression of the above expression (1), the pixel data of the target pixel position in the image signal Vd. Find y.
RAM123には、後述するように、初期化時に、コントローラ121が信号処理部124の動作を制御するための制御情報が記憶されるが、その一部として、各クラスの係数データWiが含まれている。この場合、各クラスの係数データWiは、静止画用の係数データおよび動画用の係数データからなっている。またこの場合、静止画用の係数データおよび動画用の係数データは、さらに、DCT処理ブロック内の8×8の各画素位置(図12の(1,1)〜(8,8)の64位置)にそれぞれ対応した係数データからなっている。結局、初期化時に、RAM123には、クラス、画像種類(静止画、動画)、画素位置の各組み合わせに対応した係数データWiが記憶される。
As will be described later, the
この係数データWiは、画像信号Vdに対応した教師信号と画像信号Vcに対応した生徒信号とから学習によって予め生成されたものであり、画像信号Vcを画像信号Vdに変換するための情報である。このような係数データWiを用いて画像信号Vcを画像信号Vdに変換することで、画像信号Vcは、ブロック歪み、モスキートノイズを低減した画像信号Vdに変換される。この係数データWiの生成方法については後述する。 The coefficient data Wi is generated in advance by learning from a teacher signal corresponding to the image signal Vd and a student signal corresponding to the image signal Vc, and is information for converting the image signal Vc into the image signal Vd. . By converting the image signal Vc to the image signal Vd using such coefficient data Wi, the image signal Vc is converted to the image signal Vd with reduced block distortion and mosquito noise. A method for generating the coefficient data Wi will be described later.
推定予測演算部165には、コントローラ121を介してRAM123から、クラス検出部164で得られたクラスコードCLが表すクラス、DCT処理ブロック内における注目画素位置の画素位置、さらにユーザの操作によって選択された画像種類に対応した係数データWiが供給される。
The estimated prediction calculation unit 165 is selected from the
バッファメモリ166は、推定予測演算部165より順次出力される、画像信号Vdを構成する画素データyを一時的に記憶する。
The
図10に示す処理基板105(処理基板B)の信号処理部124の動作を説明する。
バス107からインタフェース125を通じて取り込まれる、処理対象である画像信号Vcはバッファメモリ161に一時的に記憶される。クラスタップ選択部163では、バッファメモリ161に記憶されている画像信号Vcから、画像信号Vdにおける注目画素位置の画素データを含むDCT処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部164に供給される。
An operation of the
The image signal Vc to be processed that is captured from the
クラス検出部164では、クラスタップのデータとしての複数の画素データに、例えば1ビットADRC等のデータ圧縮処理が施されて、画像信号Vdにおける注目画素位置の画素データが属するクラスを表すクラスコードCLが得られる。このクラスコードCLはコントローラ121に供給される。そして、推定予測演算部165には、コントローラ121を介してRAM123から、このクラスコードCLが表すクラス、DCT処理ブロック内における注目画素位置の画素位置、さらにユーザの操作によって選択された画像種類に対応した係数データWiが供給される。
In the
予測タップ選択部162では、バッファメモリ161に一時的に格納されている画像信号Vcから、画像信号Vdにおける注目画素位置の周辺に位置する、複数の画素データxiが予測タップのデータとして選択的に取り出される。この複数の画素データxiは推定予測演算部165に供給される。
In the prediction
そして、推定予測演算部165では、予測タップのデータとしての複数の画素データxiおよび係数データWiが用いられ、(1)式の推定式に基づいて、画像信号Vdにおける注目画素位置の画素データyが求められる。 Then, the estimated prediction calculation unit 165 uses a plurality of pixel data xi and coefficient data Wi as prediction tap data, and pixel data y of the target pixel position in the image signal Vd based on the estimation expression of the expression (1). Is required.
画像信号Vdにおける注目画素位置が順次変化するようにされ、推定予測演算部165からは、画像信号Vdにおける各注目画素位置の画素データyが順次出力される。このように推定予測演算部165から順次出力される、各注目画素位置の画素データyはバッファメモリ166に供給されて一時的に記憶される。このバッファメモリ166に記憶された画像信号Vdを構成する各画素データは、その後に適宜なタイミングで読み出され、インタフェース125を介してバス107に送出される。
The target pixel position in the image signal Vd is sequentially changed, and the estimated prediction calculation unit 165 sequentially outputs pixel data y of each target pixel position in the image signal Vd. Thus, the pixel data y of each target pixel position sequentially output from the estimated prediction calculation unit 165 is supplied to the
上述したように、処理基板105(処理基板A)のRAM123に、初期化時に、制御情報の一部としての係数データWiが記憶される。この係数データWiの生成方法について説明する。この係数データWiは、予め学習によって生成されたものである。
As described above, the coefficient data Wi as part of the control information is stored in the
まず、この学習方法について説明する。上述の(1)式において、学習前は係数データW1,W2,‥‥,Wnは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がmの場合、(1)式に従って、以下に示す(11)式が設定される。nは予測タップの数を示している。
yk=W1×xk1+W2×xk2+‥‥+Wn×xkn ・・・(11)
(k=1,2,‥‥,m)
First, this learning method will be described. In the above equation (1), before learning, coefficient data W 1 , W 2 ,..., W n are undetermined coefficients. Learning is performed by using a plurality of learning data for each class. When the number of learning data is m, the following equation (11) is set according to equation (1). n indicates the number of prediction taps.
y k = W 1 × x k1 + W 2 × x k2 +... + W n × x kn (11)
(K = 1, 2,..., M)
m>nの場合、係数データW1,W2,‥‥,Wnは、一意に決まらないので、誤差ベクトルeの要素ekを、以下の(12)式で定義し、(13)式のe2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ek=yk−{W1×xk1+W2×xk2+‥‥+Wn×xkn} ・・・(12)
(k=1,2,‥‥m)
When m> n, the coefficient data W 1 , W 2 ,..., W n are not uniquely determined, so the element e k of the error vector e is defined by the following expression (12), and the expression (13) The coefficient data that minimizes e 2 is obtained. Coefficient data is uniquely determined by a so-called least square method.
e k = y k − {W 1 × x k1 + W 2 × x k2 +... + W n × x kn } (12)
(K = 1, 2, ... m)
(13)式のe2を最小とする係数データを求めるための実際的な計算方法としては、まず、(14)式に示すように、e2を係数データWi(i=1〜n)で偏微分し、iの各値について偏微分値が0となるように係数データWiを求めればよい。 As a practical calculation method for obtaining coefficient data that minimizes e 2 in equation (13), first, as shown in equation (14), e 2 is expressed by coefficient data Wi (i = 1 to n). Partial coefficient differentiation is performed, and coefficient data Wi may be obtained so that the partial differential value becomes 0 for each value of i.
(15)式、(16)式のようにXji,Yiを定義すると、(14)式は、(17)式の行列式の形に書くことができる。この(17)式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法(Gauss-Jordanの消去法)等の一般解法で解くことにより、係数データWi(i=1〜n)を求めることができる。 If Xji and Yi are defined as in the equations (15) and (16), the equation (14) can be written in the form of a determinant of the equation (17). This equation (17) is a normal equation for calculating coefficient data. Coefficient data Wi (i = 1 to n) can be obtained by solving this normal equation by a general solution method such as a sweep-out method (Gauss-Jordan elimination method).
次に、上述した係数データWi(i=1〜n)を生成するための係数データ生成装置170について説明する。図13は、この係数データ生成装置170の構成を示している。
Next, the coefficient
この係数データ生成装置170は、入力端子171と、MPEG符号化部172と、MPEG復号化部173とを有している。入力端子171は、上述した画像信号Vdに対応した教師信号を入力する。MPEG符号化部172は、この教師信号に対してMPEGの符号化を行ってMPEGストリームを生成する。MPEG復号化部173は、このMPEGストリームに対して復号化を行って、上述した画像信号Vcに対応した生徒信号を生成する。この生徒信号には、MPEGの符号化、復号化を経たことによって、ブロック歪み、モスキートノイズが発生している。
The coefficient
また、係数データ生成装置170は、予測タップ選択部174を有している。この予測タップ選択部174は、MPEG復号化部173で生成された生徒信号から、教師信号における注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。この予測タップ選択部174は、上述した処理基板105(処理基板B)の信号処理部124の予測タップ選択部162に対応するものである。
In addition, the coefficient
また、係数データ生成装置170は、クラスタップ選択部175を有している。このクラスタップ選択部175は、MPEG復号化部173で生成された生徒信号から、教師信号における注目画素位置の画素データを含むDCT処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。このクラスタップ選択部175は、上述した処理基板105(処理基板B)の信号処理部124のクラスタップ選択部163に対応するものである。
In addition, the coefficient
また、係数データ生成装置170は、クラス検出部176を有している。このクラス検出部176は、クラスタップ選択部175で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号における注目画素位置の画素データが属するクラスを示すクラスコードCLを生成する。このクラス検出部176は、上述した処理基板105(処理基板B)の信号処理部124のクラス検出部164に対応するものである。
The coefficient
また、係数データ生成装置170は、教師タップ選択部177を有している。この教師タップ選択部177は、入力端子171に入力される教師信号から、注目画素位置の画素データを選択的に抽出する。
In addition, the coefficient
また、係数データ生成装置170は、正規方程式生成部178を有している。この正規方程式生成部178は、教師タップ選択部177で選択的に抽出された、教師信号における各注目画素位置の画素データyと、この各注目画素位置の画素データyにそれぞれ対応して予測タップ選択部174で選択的に抽出された、予測タップのデータとしての複数の画素データxiと、各注目画素位置の画素データyにそれぞれ対応してクラス検出部176で得られたクラスコードCLとから、クラス、画像種類、画素位置の組み合わせ毎に、係数データWiを得るための正規方程式((17)式参照)を生成する。
Further, the coefficient
この場合、1個の画素データyとそれに対応する複数の画素データxiとの組み合わせで1個の学習データが生成されるが、教師信号と生徒信号との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部178では、クラス毎に、係数データWiを得るための正規方程式が生成される。
In this case, one piece of learning data is generated by a combination of one piece of pixel data y and a plurality of pieces of pixel data xi corresponding thereto, but a lot of learning is performed for each class between the teacher signal and the student signal. Data is generated. As a result, the normal
またこの場合、教師信号として静止画および動画の画像信号を用いることで、各クラスの係数データWiを得るための正規方程式として、それぞれ、画像種類(静止画、動画)に対応した正規方程式が生成される。 In this case, by using still and moving image signals as teacher signals, normal equations corresponding to image types (still images and moving images) are generated as normal equations for obtaining coefficient data Wi of each class. Is done.
またこの場合、正規方程式生成部178では、DCT処理ブロック内の画素位置毎に、正規方程式が生成される。すなわち、DCT処理ブロック内の8×8の各画素位置に対応した正規方程式は、それぞれ、その画素位置に存在する画素データyから構成される学習データを用いて生成される。
In this case, the normal
結局、正規方程式生成部178では、上述したように、クラス、画像種類、画素位置の組み合わせ毎に、正規方程式が生成される。
Eventually, as described above, the normal
また、係数データ生成装置170は、係数データ決定部179と、係数メモリ180とを有している。係数データ決定部179は、正規方程式生成部178から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラス、画像種類、画素位置の組み合わせ毎に、係数データWiを求める。係数メモリ180は、係数データ決定部179で求められた係数データWiを格納する。
In addition, the coefficient
次に、図13に示す係数データ生成装置170の動作を説明する。
入力端子171には、画像信号Vdに対応した教師信号が入力され、この教師信号は、MPEG符号化部172に供給される。MPEG符号化部172では、この教師信号に対してMPEGの符号化が施されて、MPEGストリームが生成される。このMPEGストリームは、MPEG復号化部173に供給される。MPEG復号化部173では、このMPEGストリームに対して復号化が施されて、画像信号Vcに対応した生徒信号が生成される。
Next, the operation of the coefficient
A teacher signal corresponding to the image signal Vd is input to the
クラスタップ選択部175では、MPEG復号化部173で生成された生徒信号から、教師信号における注目画素位置の画素データを含むDCT処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部176に供給される。このクラス検出部176では、クラスタップのデータとしての複数の画素データに、例えば1ビットADRCのデータ圧縮処理が施されて、教師信号における注目画素位置の画素データが属するクラスを表すクラスコードCLが得られる。このクラスコードCLは、正規方程式生成部178に供給される。
In the class
予測タップ選択部174では、MPEG復号化部173で生成された生徒信号から、教師信号における注目画素位置の周辺に位置する複数の画素データxiが予測タップのデータとして選択的に抽出される。この複数の画素データxiは正規方程式生成部178に供給される。また、教師タップ選択部177では、入力端子171に入力される教師信号から、注目画素位置の画素データyが選択的に抽出される。この画素データyは正規方程式生成部178に供給される。
The prediction
正規方程式生成部178では、教師タップ選択部177で選択的に抽出された、教師信号における各注目画素位置の画素データyと、この各注目画素位置の画素データyにそれぞれ対応して予測タップ選択部174で選択的に抽出された、予測タップのデータとしての複数の画素データxiと、各注目画素位置の画素データyにそれぞれ対応してクラス検出部176で得られたクラスコードCLとから、クラス、画像種類、画素位置の組み合わせ毎に、係数データWiを得るための正規方程式((17)式参照)が生成される。
The normal
そして、係数データ決定部179では、正規方程式生成部178から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラス、画像種類、画素位置の組み合わせ毎に、係数データWiが求められる。この係数データWiは、係数メモリ180に格納される。
Then, the coefficient
このように、図13に示す係数データ生成装置170においては、上述の図10に示す処理基板105(処理基板B)のRAM123に、初期化時に、制御情報の一部として記憶される係数データWiを、良好に生成できる。
As described above, in the coefficient
図1に戻って、処理基板101のROM112および処理基板104,105のROM122には、バージョン情報およびこのバージョン情報で示されるバージョン以下のバージョンを示すバージョン情報を持つ全ての処理基板の制御情報が記憶されている。図14A〜Cは、本実施の形態において、制御基板101、処理基板104,105がそれぞれ持つROM内の制御情報を示している。
Returning to FIG. 1, the
図14Bは、処理基板104(処理基板A)のROM122が持つ制御情報を示している。この処理基板104のROM122にはバージョン情報「1」および処理基板Aの制御情報「IA1」が記憶されている。なお、処理基板Aの制御情報「IA1」は、処理基板Aの動作を制御する際に必要な情報である。
FIG. 14B shows control information held by the
この制御情報「IA1」には、ユーザの処理基板Aの動作に係るリモコン操作に対応した操作信号を、後述する命令セットに変換するための情報、さらに処理基板A内の信号処理部124にその命令セット内の命令語に対応した動作をさせるための情報が含まれている。ここで、ユーザのリモコン操作に対応した操作信号には、上述したパラメータr,zの値を調整するための操作信号が含まれる。
This control information “IA1” includes information for converting an operation signal corresponding to a remote control operation related to the operation of the processing board A by the user into an instruction set to be described later, and further to the
また、この制御情報「IA1」には、処理基板Aで処理すべき画像信号Vaの取得場所、および処理後の画像信号Vbの供給場所を示す情報が含まれている。この場合、画像信号Vaの取得場所は入力基板103であり、画像信号Vbの供給場所は出力基板106である。さらに、この制御情報「IA1]には、処理基板Aで用いられる上述した係数種データwi0〜wi9およびタップパターン情報が含まれている。
The control information “IA1” includes information indicating the acquisition location of the image signal Va to be processed on the processing substrate A and the supply location of the processed image signal Vb. In this case, the acquisition location of the image signal Va is the
図14Aは、制御基板101のROM112が持つ制御情報を示している。この制御基板101のROM112にはバージョン情報「1」および処理基板Aの制御情報「IA1」が記憶されている。この場合、バージョン情報が、上述した処理基板104(処理基板A)のROM122のバージョン情報と同じ「1」であるので、この制御基板101のROM112には、上述した処理基板104のROM122と同様に、制御情報「IA1」が含まれている。
FIG. 14A shows control information held by the
図14Cは、処理基板105(処理基板B)のROM122が持つ制御情報を示している。この処理基板105のROM122にはバージョン情報「2」および処理基板Aの制御情報「IA2」および処理基板Bの制御情報「IB1」が記憶されている。なお、処理基板Aの制御情報「IA2」は処理基板Aの動作を制御する際に必要な情報であり、処理基板Bの制御情報「IB1」は処理基板Bの動作を制御する際に必要な情報である。
FIG. 14C shows control information held by the
制御情報「IA2」には、ユーザの処理基板Aの動作に係るリモコン操作に対応した操作信号を、後述する命令セットに変換するための情報、さらに処理基板A内の信号処理部124にその命令セット内の命令語に対応した動作をさせるための情報が含まれている。ここで、ユーザのリモコン操作に対応した操作信号には、上述したパラメータr,zの値を調整するための操作信号が含まれる。
The control information “IA2” includes information for converting an operation signal corresponding to a remote control operation related to the operation of the processing board A by the user into an instruction set to be described later, and further sends the command to the
また、この制御情報「IA2」には、処理基板Aで処理すべき画像信号Vaの取得場所、および処理後の画像信号Vbの供給場所を示す情報が含まれている。画像信号Vaの取得場所は処理基板105(処理基板B)であり、画像信号Vbの供給場所は出力基板106である。さらに、この制御情報「IA2」には、処理基板Aで用いられる上述した係数種データおよびタップパターン情報が含まれている。これら係数種データおよびタップパターン情報は、上述した制御情報「IA1」に含まれている係数種データwi0〜wi9およびタップパターン情報と同じ、あるいはそれをアップグレードしたものとされる。
The control information “IA2” includes information indicating the acquisition location of the image signal Va to be processed by the processing substrate A and the supply location of the processed image signal Vb. The acquisition location of the image signal Va is the processing substrate 105 (processing substrate B), and the supply location of the image signal Vb is the
制御情報「IB1」には、ユーザの処理基板Bの動作に係るリモコン操作に対応した操作信号を、後述する命令セットに変換するための情報、さらに処理基板B内でその命令セット内の命令語に対応した制御信号あるいは制御プログラムを得るための情報が含まれている。ここで、ユーザのリモコン操作に対応した操作信号には、上述した静止画、動画の画像種類を選択するための操作信号が含まれる。 The control information “IB1” includes information for converting an operation signal corresponding to a remote control operation related to the operation of the processing board B by the user into an instruction set to be described later, and instruction words in the instruction set in the processing board B. Includes information for obtaining a control signal or a control program corresponding to. Here, the operation signal corresponding to the user's remote control operation includes an operation signal for selecting the above-described still image or moving image type.
また、この制御情報「IB1」には、処理基板Bで処理すべき画像信号Vcの取得場所、および処理後の画像信号Vdの供給場所を示す情報が含まれている。画像信号Vcの取得場所は入力基板103であり、画像信号Vdの供給場所は処理基板104(処理基板A)である。さらに、この制御情報「IB1]には、処理基板Bで用いられる上述した係数データWiおよび予測タップのパターン情報が含まれている。
The control information “IB1” includes information indicating the acquisition location of the image signal Vc to be processed by the processing substrate B and the supply location of the processed image signal Vd. The acquisition location of the image signal Vc is the
次に、図15のフローチャートを参照して、初期化時、つまりパワーオン時、あるいはリセットボタン操作時の動作、つまり初期化動作について説明する。 Next, with reference to the flowchart of FIG. 15, an operation at the time of initialization, that is, at power-on or when a reset button is operated, that is, an initialization operation will be described.
まず、ステップST11で、初期化動作を開始し、ステップST12で、制御基板101は、バス107に接続されている各処理基板に、バージョン情報を要求する。このバージョン情報の要求は、制御基板101が、バージョン情報を要求するための、後述する命令セットをバス107を通じて各処理基板に送信することで行われる。この場合、命令語と共に命令セットを構成する処理基板IDとして、全ての処理基板を対象とするブロードキャスト用の処理基板IDが使用される。
First, in step ST11, an initialization operation is started. In step ST12, the
次に、ステップST13で、各処理基板は、各自のROM122からバージョン情報を読み出し、そのバージョン情報に各自の処理基板IDを付加して、バス107を通じて制御基板101に送信する。そして、ステップST14で、制御基板101は、各処理基板からのバージョン情報を受信する。
Next, in step ST <b> 13, each processing board reads the version information from its
次に、ステップST15で、制御基板101は、自己のROM112から、バージョン情報を読み出す。そして、ステップST16で、制御基板101は、自己のROM112から読み出したバージョン情報および各処理基板のROM122から読み出したバージョン情報で示されるバージョンを比較し、バージョン情報で示されるバージョンが最も高いROMを選択ROM(選択記憶手段)として選択する。
Next, in step ST15, the
この場合、制御基板101は、バージョン情報で示されるバージョンが最も高いROMが自己のROMおよび所定の処理基板のROMであるとき、選択ROMとして自己のROMを選択する。この場合、制御基板101は、所定の処理基板のROMに記憶されている制御情報を送ってもらう必要がなく、初期化の動作が簡単となる。
In this case, the
次に、ステップST17で、制御基板101のROM112が選択ROMでないとき、ステップST18に進む。このステップST18では、制御基板101は、選択ROMを持つ処理基板へ、制御情報を要求する。この制御情報の要求は、制御基板101が、制御情報を要求するための、後述する命令セットをバス107を通じて、選択ROMを持つ処理基板に送信することで行われる。そして、ステップST19で、選択ROMを持つ処理基板は、自己のROM122(選択ROM)から制御情報を読み出し、その制御情報を、自己の処理基板IDを付加した状態で、バス107を通じて制御基板101に送信する。
Next, when the
次に、ステップST20で、制御基板101は、選択ROMから読み出された制御情報を受信し、RAM113に記憶する。そして、ステップST21で、制御基板101は、RAM113に記憶された制御情報のうち、各処理基板に対応した制御情報を、当該各処理基板の処理基板IDを付加した状態として、バス107を通じて各処理基板に送信する。そして、ステップST22で、各処理基板は、自己の基板に対応した制御情報を受信し、RAM123に記憶する。その後に、ステップST23で、初期化動作を終了する。
Next, in step ST20, the
また、ステップST17で、制御基板101のROM112が選択ROMであるとき、ステップST24に進む。このステップST24では、制御基板101は、自己のROM112(選択ROM)から制御情報を読み出し、RAM113に記憶する。
In step ST17, when the
次に、ステップST25で、制御基板101は、RAM113に記憶された制御情報のうち、各処理基板にそれぞれ対応した制御情報を、当該各処理基板の処理基板IDを付加した状態として、バス107を通じて各処理基板に送信する。そして、ステップST26で、各処理基板は、自己の基板に対応した制御情報を受信し、RAM123に記憶する。その後に、ステップST23で、初期化動作を終了する。
Next, in step ST25, the
パワーオン時、あるいはリセットボタン操作時の初期化時に、上述した初期化動作が行われ、制御基板101のRAM113および各処理基板のRAM123に制御情報が記憶されることで、各処理基板の動作が、選択ROMに記憶されていた制御情報に基づいて制御される状態となる。
At the time of power-on or initialization at the time of reset button operation, the above-described initialization operation is performed, and control information is stored in the
この初期化動作の後、ユーザがリモコン送信機102で処理基板の動作に係る操作を行ったとき、制御基板101は、RAM113に記憶されている制御情報に基づいて、その操作に対応した命令セットを生成し、この命令セットをバス107に送出する。図16は、命令セットの構成を示しており、命令語と、この命令語を送る対象である処理基板の処理基板IDとからなっている。バス107に接続されている各処理基板は、バス107を通じて受信された命令セットの処理基板IDを参照し、その命令セットが自己の処理基板への命令セットである場合、その命令セットの命令語に従った動作をする。
After the initialization operation, when the user performs an operation related to the operation of the processing board with the
図17のフローチャートは、処理基板のコントローラ121における、命令セット受信時における制御動作を示している。ステップST31で、命令セットの受信があるとき、ステップST32で、受信された命令セットの処理基板IDに基づいて、その命令セットが自己の処理基板への命令セットであるか否かを判定する。自己の処理基板への命令セットであるとき、ステップST33で、受信された命令セットの命令語に従って信号処理部124の動作を制御する。そして、ステップST34で、制御動作を終了する。また、ステップST32で、自己の処理基板への命令セットでないときは、直ちに、ステップST34に進み、制御動作を終了する。
The flowchart of FIG. 17 shows the control operation when the command set is received by the
なお、コントローラ121は、上述したように命令語に従って信号処理部124の動作を制御する場合、RAM123に記憶されている制御情報に基づいて、当該命令語に対応した動作をさせる。
When the
例えば、図4に示す処理基板104(処理基板A)には、自己の処理基板への命令セットとして“パラメータr,zの値を1単位、例えば0.1だけアップまたはダウンする”という命令語を含む命令セットが供給される。この場合、コントローラ121は、RAM123から1単位の値を取得し、現在のパラメータr,zの値を1単位だけアップまたはダウンして、新たなパラメータr,zの値を取得し、この新たなパラメータr,zの値を制御信号として係数データ生成部135に供給する。
For example, the processing board 104 (processing board A) shown in FIG. 4 has an instruction word “increase or decrease the values of the parameters r and z by one unit, for example, 0.1” as an instruction set to its processing board. An instruction set including is provided. In this case, the
また例えば、図10に示す処理基板105(処理基板B)には、自己の処理基板への命令セットとして画像種類(静止画、動画)を選択する命令語を含む命令セットが供給される。この場合、コントローラ121は、RAM123からクラスおよび画素位置に対応した係数データWiを読み出して推定予測演算部165に供給する際、その命令語で選択された画像種類の係数データWiを読み出して推定予測演算部165に供給する。
Further, for example, the processing board 105 (processing board B) shown in FIG. 10 is supplied with an instruction set including an instruction word for selecting an image type (still image, moving image) as an instruction set to the processing board of its own. In this case, when the
次に、図1に示す画像信号処理装置100において、処理基板104(処理基板A)が接続されており、処理基板105(処理基板B)が接続されていない場合の動作を説明する。
Next, in the image
制御基板101のROM112および処理基板104(処理基板A)のROM122には、図14A,Bに示すように、バージョン情報「1」および処理基板Aの制御情報「IA1」が記憶されている。そのため、初期化動作では、図18に示すように、制御基板101のROM112が選択ROMとして選択され、このROM112に記憶されている制御情報「IA1」が、制御基板101のRAM113および処理基板104(処理基板A)のRAM123に記憶される。これにより、処理基板104の動作は、制御情報「IA1」に基づいて制御される状態となる。
The
この制御情報「IA1」には、上述したように、処理基板104(処理基板A)で処理すべき画像信号Vaの取得場所、および処理後の画像信号Vbの供給場所を示す情報が含まれており、画像信号Vaの取得場所は入力基板103であり、画像信号Vbの供給場所は出力基板106である。
As described above, the control information “IA1” includes information indicating the acquisition location of the image signal Va to be processed by the processing substrate 104 (processing substrate A) and the supply location of the processed image signal Vb. The image signal Va is acquired from the
そのため、処理基板104は、入力基板103に入力された画像信号Vinを、バス107を通じて、画像信号Vaとして取得する。そして、処理基板104では、この画像信号Vaに対して高画質化処理が行われる。すなわち、SD信号である画像信号Vaが、水平、垂直の画素数がそれぞれ2倍とされたHD信号である画像信号Vbに変換される(図4参照)。処理基板104で生成される画像信号Vbは出力基板106に供給され、画像信号Voutとして出力される。
Therefore, the
ここで、ユーザは、リモコン送信機102を操作して、パラメータr,zの値を調整できる。この場合、制御基板101から処理基板104には、命令セットとして“パラメータr,zの値を1単位、例えば0.1だけアップまたはダウンする”という命令語を含む命令セットが供給される。そしてこの場合、処理基板104のコントローラ121は、RAM123から1単位の値を取得し、現在のパラメータr,zの値を1単位だけアップまたはダウンして、新たなパラメータr,zの値を取得し、この新たなパラメータr,zの値を制御信号として信号処理部124の係数データ生成部135に供給する(図4参照)。これにより、処理基板104で生成される画像信号Vbは、新たなパラメータr,zの値に対応した解像度、ノイズ除去度を持つものとなる。
Here, the user can adjust the values of the parameters r and z by operating the
次に、図1に示す画像信号処理装置100において、処理基板104(処理基板A)および処理基板105(処理基板B)の双方が接続されている場合の動作を説明する。
Next, in the image
制御基板101のROM112および処理基板104(処理基板A)のROM122には、図14A,Bに示すように、バージョン情報「1」および処理基板Aの制御情報「IA1」が記憶されている。また、処理基板105(処理基板B)のROM122には、図14Cに示すように、バージョン情報「2」、処理基板Aの制御情報「IA2」および処理基板Bの制御情報「IB1」が記憶されている。
The
そのため、初期化動作では、図19に示すように、処理基板105(処理基板B)のROM122が選択ROMとして選択され、このROM122に記憶されている制御情報「IA2」,「IB1」が制御基板101のRAM113に記憶される。また、この処理基板105のROM122に記憶されている制御情報「IA2」が処理基板104(処理基板A)のRAM123に記憶され、この処理基板105のROM122に記憶されている制御情報「IA2」が処理基板105のRAM123に記憶される。
Therefore, in the initialization operation, as shown in FIG. 19, the
これにより、処理基板104の動作は、制御情報「IA2」に基づいて制御される状態となる。また、処理基板105の動作は、制御情報「IB1」に基づいて制御される状態となる。
Thereby, the operation of the
この制御情報「IA2」には、上述したように、処理基板104(処理基板A)で処理すべき画像信号Vaの取得場所、および処理後の画像信号Vbの供給場所を示す情報が含まれており、画像信号Vaの取得場所は処理基板105であり、画像信号Vbの供給場所は出力基板106である。また、制御情報「IB1」には、上述したように、処理基板105(処理基板B)で処理すべき画像信号Vcの取得場所、および処理後の画像信号Vdの供給場所を示す情報が含まれており、画像信号Vcの取得場所は入力基板103であり、画像信号Vdの供給場所は処理基板104である。
As described above, the control information “IA2” includes information indicating the acquisition location of the image signal Va to be processed by the processing substrate 104 (processing substrate A) and the supply location of the processed image signal Vb. The image signal Va is acquired from the
そのため、処理基板105は、入力基板103に入力された画像信号Vinを、バス107を通じて、画像信号Vcとして取得する。そして、この処理基板105では、この画像信号Vcに対してノイズ低減処理が行われる。すなわち、画像信号Vcが、MPEGの符号化、復号化を経たことによって発生したブロック歪み、モスキートノイズを低減した画像信号Vdに変換される(図10参照)。
Therefore, the
また、処理基板104は、処理基板105で得られた画像信号Vdを、バス107を通じて、画像信号Vaとして取得する。そして、この処理基板104では、この画像信号Vaに対して高画質化処理が行われる。すなわち、SD信号である画像信号Vaが、水平、垂直の画素数がそれぞれ2倍とされたHD信号である画像信号Vbに変換される(図4参照)。処理基板104で生成される画像信号Vbは出力基板106に供給され、画像信号Voutとして出力される。
Further, the
ここで、ユーザは、リモコン送信機102を操作して、処理基板105の処理に係る画像種類を選択できる。この場合、制御基板101から処理基板105には、命令セットとして、画像種類(静止画、動画)を選択する命令語を含む命令セットが供給される。そしてこの場合、処理基板105のコントローラ121は、RAM123からクラスおよび画素位置に対応した係数データWiを読み出して推定予測演算部165に供給する際、その命令語で選択された画像種類の係数データWiを読み出して推定予測演算部165に供給する(図10参照)。これにより、処理基板105では選択された画像種類に対応したノイズ低減処理が行われる。
Here, the user can select the image type related to the processing of the
またここで、ユーザは、リモコン送信機102を操作して、処理基板104の処理に係るパラメータr,zの値を調整できる。この場合、制御基板101から処理基板104には、命令セットとして“パラメータr,zの値を1単位、例えば0.1だけアップまたはダウンする”という命令語を含む命令セットが供給される。そしてこの場合、処理基板104のコントローラ121は、RAM123から1単位の値を取得し、現在のパラメータr,zの値を1単位だけアップまたはダウンして、新たなパラメータr,zの値を取得し、この新たなパラメータr,zの値を制御信号として信号処理部124の係数データ生成部135に供給する(図4参照)。これにより、処理基板104で生成される画像信号Vbは、新たなパラメータr,zの値に対応した解像度、ノイズ除去度を持つものとなる。
Here, the user can adjust the values of the parameters r and z related to the processing of the
このように、図1に示す画像信号処理装置100においては、制御基板101のROM112、処理基板104,105のROM122は、それぞれ、バージョン情報およびこのバージョン情報で示されるバージョン以下のバージョンを示すバージョン情報を持つ全ての処理基板の制御情報を記憶している。そして、初期化時には、バージョン情報で示されるバージョンが最も高いROMに記憶されている制御情報が、制御基板101のRAM113、および対応する処理基板のRAM123に自動的に記憶され、当該処理基板の動作が制御される。
As described above, in the image
したがって、例えば処理基板104(処理基板A)接続されている状態で、さらに処理基板105(処理基板B)を接続し、パワーオンあるいはリセットボタンの操作を行うだけで、画像信号の処理経路に処理基板105を挿入でき、処理基板105の追加によるアップグレードを、ユーザの負担が少なく、容易に行うことができる。
Therefore, for example, while the processing substrate 104 (processing substrate A) is connected, the processing substrate 105 (processing substrate B) is further connected, and the power on or reset button operation is performed. The
またこの場合、処理基板105のROM122内の制御情報「IA2」が処理基板104のRAM123に記憶され、この処理基板104の動作は、制御情報「IA2」に基づいて制御される。そのため、例えば、処理基板105のROM122内の制御情報「IA2」に含まれる係数種データおよびタップパターン情報を、制御基板104のROM122内の制御情報「IA1」に含まれる係数種データwi0〜wi9およびタップパターン情報に対してアップグレードしたものとしておくことで、処理基板104の処理のアップグレードを、ユーザの負担が少なく、容易に行うことができる。
In this case, the control information “IA2” in the
なお、詳細説明は省略するが、制御基板101、あるいは処理基板104,105を、そのROM112,122に記憶される処理基板104,105の制御情報がアップグレードに対応したものとされた新たな基板に変更する場合、当該新たな基板のROM内のバージョン情報で示すバージョンを高くしておくことで、初期化時に、制御基板101のRAM113、処理基板104,105のRAM123には当該アップグレードに対応した制御情報が自動的に記憶されるため、処理基板104,105の処理のアップグレードを、ユーザの負担が少なく、容易に行うことができる。
Although detailed description is omitted, the
なお、上述実施の形態においては、制御基板101のROM112にもバージョン情報および処理基板の制御情報を記憶しているものを示したが、制御基板101のROM112にバージョン情報および処理基板の制御情報を記憶しない構成も考えられる。ただし、制御基板101のROM112にバージョン情報および処理基板の制御情報を記憶しておくことで、この制御基板101のROM112が選択ROMとして選択される可能性があり、その場合、当該制御基板101は、所定の処理基板のROMに記憶されている制御情報を送ってもらう必要がなく、初期化の動作が簡単となる。
In the above-described embodiment, the
また、上述実施の形態においては、情報信号として画像信号を取り扱う画像信号処理装置100にこの発明を適用したものであるが、この発明は、他の情報信号、例えば音声信号を取り扱う情報信号処理装置にも同様に適用できる。
In the above-described embodiment, the present invention is applied to the image
この発明は、処理部の追加、変更によるアップグレードを、ユーザの負担が少なく、容易に行い得るものであり、例えば画像信号、音声信号等の情報信号に対して基板単位で処理を行っていく情報信号処理装置に適用できる。 According to the present invention, the upgrade by adding or changing the processing unit can be easily performed with less burden on the user. For example, information for processing information signals such as image signals and audio signals in units of substrates. Applicable to signal processing apparatus.
100・・・画像信号処理装置、101・・・制御基板、102・・・リモコン送信機、103・・・入力基板、104,105・・・処理基板、106・・・出力基板、107・・・バス、111・・・コントローラ、112・・・ROM、113・・・RAM、114・・・リモコン受信部、115・・・インタフェース(I/F)、121・・・コントローラ、122・・・ROM、123・・・RAM、124・・・信号処理部、125・・・インタフェース(I/F)、131・・・バッファメモリ、132・・・予測タップ選択部、133・・・クラスタップ選択部、134・・・クラス検出部、135・・・係数データ生成部、136・・・推定予測演算部、137・・・バッファメモリ、150・・・係数種データ生成装置、161・・・バッファメモリ、162・・・予測タップ選択部、163・・・クラスタップ選択部、164・・・クラス検出部、165・・・推定予測演算部、166・・・バッファメモリ、170・・・係数データ生成装置
DESCRIPTION OF
Claims (8)
前記所定数の処理部には、予め装着されていたものと、後から追加装着されたものとがあり、
前記予め装着されていた前記処理部は、自身が前記情報信号を処理するために必要な前記制御情報と、自身が記憶している前記制御情報についてのバージョン情報を予め記憶しており、
前記後から追加装着された前記処理部は、自身の前記制御情報、前記予め装着されていた前記処理部のための前記制御情報、および自身が記憶している1以上の前記制御情報についてのバージョン情報であって、前記予め装着されていた前記処理部のバージョン情報よりもバージョンが高いバージョン情報を予め記憶しており、
前記制御部は、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、
前記所定数の処理部は、前記制御部から供給された前記制御情報を用いて、前記情報信号を処理する
ことを特徴とする情報信号処理装置。 A predetermined number of processing units that respectively process information signals based on the control information; and a control unit that controls operations of the predetermined number of processing units,
In the predetermined number of processing units, there are those that have been attached in advance and those that have been additionally attached later,
The processing unit mounted in advance stores in advance the control information necessary for processing the information signal by itself and version information about the control information stored by itself.
The processing unit that is additionally attached later is a version of the control information of itself, the control information for the processing unit that has been attached in advance, and one or more of the control information stored by itself. Information that is pre-stored with version information that is higher in version than the version information of the processing unit that was previously mounted;
The control unit acquires the version information stored in each of the predetermined number of processing units, detects the processing unit having the version information having the highest version, and the detected processing unit stores the version information. Control information of each processing unit is supplied to each of the corresponding predetermined number of processing units,
The information signal processing device, wherein the predetermined number of processing units processes the information signal using the control information supplied from the control unit.
前記制御部は、取得した前記各処理部の制御情報を前記作業用記憶手段に記憶し、
前記所定数の処理部は、前記制御部から供給された前記制御情報を前記作業用記憶手段に記憶する
ことを特徴とする請求項1に記載の情報信号処理装置。 Each of the control unit and the predetermined number of processing units has work storage means for storing the control information,
The control unit stores the acquired control information of each processing unit in the work storage unit,
The information signal processing apparatus according to claim 1, wherein the predetermined number of processing units stores the control information supplied from the control unit in the work storage unit.
ことを特徴とする請求項1に記載の情報信号処理装置。 The information signal processing apparatus according to claim 1, wherein the control information includes information indicating an acquisition location of the information signal to be processed and a supply location of the information signal after processing.
前記所定数の処理部それぞれは、出力画像の各画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数画素の画素データと、事前の学習から求められる係数データとの積和演算式を行うことにより、前記出力画像の画像信号を求め、
前記制御情報には、前記係数データそのものか、または、前記係数データを生成するためのデータが含まれる
ことを特徴とする請求項1に記載の情報信号処理装置。 The information signal is an image signal;
Each of the predetermined number of processing units uses each pixel of the output image as a target pixel, and performs a product-sum operation of pixel data of a plurality of pixels around the pixel of the input image corresponding to the target pixel and coefficient data obtained from prior learning By calculating the image signal of the output image,
The information signal processing apparatus according to claim 1, wherein the control information includes the coefficient data itself or data for generating the coefficient data.
前記制御部が、前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、
前記所定数の処理部が、前記制御部から供給された前記制御情報を用いて、前記情報信号を処理する
ステップを含む情報信号処理方法。 A predetermined number of processing units that respectively process information signals based on control information, and a control unit that controls the operation of the predetermined number of processing units, the predetermined number of processing units being mounted in advance And the processing unit that has been mounted in advance, the control information that is necessary for itself to process the information signal, and the control information that is stored by itself. Version information about the processing unit that has been additionally mounted afterwards is stored in the control information of itself, the control information for the processing unit that has been mounted in advance, and Information signal processing in which version information on one or more of the control information is stored in advance and version information higher than the version information of the processing unit mounted in advance is stored A location information signal processing method,
The control unit acquires the version information stored in each of the predetermined number of processing units, detects the processing unit having the version information having the highest version, and the detected processing unit stores the version information. Control information of each processing unit is supplied to each of the corresponding predetermined number of processing units,
An information signal processing method including a step in which the predetermined number of processing units process the information signal using the control information supplied from the control unit.
前記制御部は、取得した前記各処理部の制御情報を前記作業用記憶手段に記憶し、
前記所定数の処理部は、前記制御部から供給された前記制御情報を前記作業用記憶手段に記憶する
ことを特徴とする請求項5に記載の情報信号処理方法。 Each of the control unit and the predetermined number of processing units has work storage means for storing the control information,
The control unit stores the acquired control information of each processing unit in the work storage unit,
The information signal processing method according to claim 5 , wherein the predetermined number of processing units store the control information supplied from the control unit in the work storage unit.
前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、
前記所定数の処理部に、供給された前記制御情報を用いて、前記情報信号を処理させる
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 A predetermined number of processing units, which are pre-mounted and those which are additionally mounted later, the pre-mounted processing units are controls necessary for themselves to process information signals Information and the version information about the control information stored therein are stored in advance, and the processing unit that is additionally mounted after the above is for the control unit that is mounted in advance, the processing unit that is mounted in advance The version information on the control information and the one or more pieces of control information stored by itself, the version information having a version higher than the version information of the processing unit mounted in advance is stored in advance. A computer that controls the information signal processing device including the predetermined number of processing units that respectively process the information signals based on the control information ;
The version information stored in each of the predetermined number of processing units is acquired, the processing unit having the version information with the highest version is detected, and the detected processing unit stores each version of the processing unit. Obtaining control information and supplying it to each of the corresponding predetermined number of processing units;
A computer-readable recording medium on which a program for causing the predetermined number of processing units to execute the process of processing the information signal using the supplied control information is recorded.
前記所定数の処理部それぞれが記憶している前記バージョン情報を取得し、バージョンが最も高い前記バージョン情報を有する前記処理部を検出し、検出された前記処理部が記憶している各処理部の制御情報を取得して、対応する前記所定数の処理部それぞれに供給し、
前記所定数の処理部に、供給された前記制御情報を用いて、前記情報信号を処理させる
処理を実行させるためのプログラム。 A predetermined number of processing units, which are pre-mounted and those which are additionally mounted later, the pre-mounted processing units are controls necessary for themselves to process information signals Information and the version information about the control information stored therein are stored in advance, and the processing unit that is additionally mounted after the above is for the control unit that is mounted in advance, the processing unit that is mounted in advance The version information on the control information and the one or more pieces of control information stored by itself, the version information having a version higher than the version information of the processing unit mounted in advance is stored in advance. A computer that controls the information signal processing device including the predetermined number of processing units that respectively process the information signals based on the control information ;
The version information stored in each of the predetermined number of processing units is acquired, the processing unit having the version information with the highest version is detected, and the detected processing unit stores each version of the processing unit. Obtaining control information and supplying it to each of the corresponding predetermined number of processing units;
A program for causing the predetermined number of processing units to execute processing of processing the information signal using the supplied control information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004035079A JP4655483B2 (en) | 2004-02-12 | 2004-02-12 | Information signal processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004035079A JP4655483B2 (en) | 2004-02-12 | 2004-02-12 | Information signal processing apparatus and method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005227969A JP2005227969A (en) | 2005-08-25 |
JP4655483B2 true JP4655483B2 (en) | 2011-03-23 |
Family
ID=35002649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004035079A Expired - Fee Related JP4655483B2 (en) | 2004-02-12 | 2004-02-12 | Information signal processing apparatus and method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4655483B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284957A (en) * | 1999-03-31 | 2000-10-13 | Fuji Photo Optical Co Ltd | Multi-microcomputer system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0744374A (en) * | 1993-07-27 | 1995-02-14 | Sony Corp | Microcomputer controller |
-
2004
- 2004-02-12 JP JP2004035079A patent/JP4655483B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284957A (en) * | 1999-03-31 | 2000-10-13 | Fuji Photo Optical Co Ltd | Multi-microcomputer system |
Also Published As
Publication number | Publication date |
---|---|
JP2005227969A (en) | 2005-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
JP4696388B2 (en) | Information signal processing apparatus, information signal processing method, image signal processing apparatus and image display apparatus using the same, coefficient seed data generation apparatus, coefficient data generation apparatus, and information recording medium | |
JP4462823B2 (en) | Image signal processing apparatus and processing method, coefficient data generating apparatus and generating method used therefor, and program for executing each method | |
JP2006211255A (en) | Information processing apparatus and recovery board | |
JP4640579B2 (en) | Information processing apparatus and recovery board | |
JP3885786B2 (en) | Information signal processing apparatus and processing method, and program for executing the processing method | |
JP2004040498A (en) | Information-processing apparatus and information-processing method, recording medium, and program | |
JP2002196737A (en) | Information signal processor, information signal processing method, image signal processor and image display device using the same as well as coefficient species data former used for the same and forming method as well as information provision medium and television receiver | |
JP4691812B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same | |
JP2003198967A (en) | Storage device, data processor and data processing method, program and recording medium, and data processing system | |
JPWO2002058386A1 (en) | Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image display device using the same, coefficient seed data generation device and generation method used therefor, and computer-readable medium and program | |
JP4655483B2 (en) | Information signal processing apparatus and method, program, and recording medium | |
JP4311258B2 (en) | Coefficient data generating apparatus and generating method, coefficient seed data generating apparatus and generating method, information signal processing apparatus, program, and recording medium recording the same | |
JP4662099B2 (en) | Information signal processing apparatus and adjustment parameter setting method therefor | |
JP4505729B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP4349086B2 (en) | Information signal processing apparatus and processing method, program for executing the processing method, and medium storing the program | |
JP4691814B2 (en) | Information signal processing apparatus, information signal processing method, and recording medium | |
JP4311166B2 (en) | Information signal processing apparatus and processing method, coefficient seed data generating apparatus and generating method used therefor, program for executing each method, and medium recording the program | |
JP4457277B2 (en) | Image signal conversion apparatus, image signal conversion method, and image display apparatus using the same | |
JP4649786B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and coefficient seed data generating apparatus and generating method used therefor | |
JP4692800B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, coefficient seed data generating apparatus and generating method used therefor, and recording medium | |
JP4692798B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image display device using the same, and recording medium | |
JP4232430B2 (en) | Image processing apparatus and method, recording medium, and program | |
JP4649812B2 (en) | Image signal processing apparatus, image signal processing method and image display apparatus using the same, program for executing each image signal processing method, and computer-readable medium storing the program | |
JP2003224830A (en) | Information signal processing apparatus, information signal processing method, image display apparatus, generating apparatus and generating method for coefficient type data used therefor, generating apparatus and generating method for coefficient data, program for executing each method, and computer- readable medium recorded with the program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070122 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091028 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101213 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |