JP4807349B2 - Learning apparatus and method - Google Patents
Learning apparatus and method Download PDFInfo
- Publication number
- JP4807349B2 JP4807349B2 JP2007322804A JP2007322804A JP4807349B2 JP 4807349 B2 JP4807349 B2 JP 4807349B2 JP 2007322804 A JP2007322804 A JP 2007322804A JP 2007322804 A JP2007322804 A JP 2007322804A JP 4807349 B2 JP4807349 B2 JP 4807349B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- data
- image
- block
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、学習装置および方法に関し、特に、効率よく、かつ、精度良く、予測を行うことができるようにした学習装置および方法に関する。 The present invention relates to a learning device and Methods, in particular, efficiently and accurately, to the learning apparatus and Methods were to be able to make predictions.
従来より、空間解像度の低い画像を空間解像度のより高い画像に変換して表示することが行われている。この場合、空間解像度の低い画素データから、より多くの画素データを補間する（生成する）ようにしている。 Conventionally, an image having a low spatial resolution is converted into an image having a higher spatial resolution and displayed. In this case, more pixel data is interpolated (generated) from pixel data having a low spatial resolution.
従来、このような補間処理を行うのに、空間解像度の低い画素データが、例えばＲ，Ｇ，Ｂのコンポーネント信号により構成されているとき、各コンポーネント信号毎に、独立に補間処理を行うようにしていた。 Conventionally, in order to perform such interpolation processing, when pixel data with low spatial resolution is composed of, for example, R, G, and B component signals, the interpolation processing is performed independently for each component signal. It was.
すなわち、空間解像度の高いＲの画素データは、空間解像度の低いＲの画素データから生成し、空間解像度の高いＧの画素データは、空間解像度の低いＧの画素データから生成し、空間解像度の高いＢの画素データは、空間解像度の低いＢの画素データから生成するようにしていた。 That is, R pixel data having a high spatial resolution is generated from R pixel data having a low spatial resolution, and G pixel data having a high spatial resolution is generated from G pixel data having a low spatial resolution. The B pixel data is generated from the B pixel data having a low spatial resolution.
その結果、効率が悪くなるばかりでなく、良好な精度を得ることが困難であった。 As a result, not only the efficiency is deteriorated, but it is difficult to obtain good accuracy.
本発明はこのような状況に鑑みてなされたものであり、効率と精度を改善するようにするものである。 The present invention has been made in view of such a situation, and is intended to improve efficiency and accuracy.
請求項１に記載の学習装置は、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数の第１の画素データそれぞれを構成する複数種類のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行う演算手段を備えることを特徴とする。
The learning device according to
請求項３に記載の学習方法は、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数の第１の画素データそれぞれを構成する複数種類のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行う演算ステップを備えることを特徴とする。
The learning method according to
請求項１に記載の学習装置および請求項３に記載の学習方法においては、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数種類の第１の画素データそれぞれを構成する複数のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行うことで、予測係数が決定される。
The learning device according to
本発明によれば、効率的に高精度に予測処理を行うことが可能となる。 According to the present invention, it is possible to efficiently perform prediction processing with high accuracy.
図１は、送信側から画像データを間引いて伝送し、受信側で、間引かれた画素を生成して再生するシステムの構成例を示している。伝送するディジタルビデオデータは、送信装置１の入力端子２０１からサブサンプリング回路２０２に入力され、水平方向に１つおきの画素データが間引かれ、伝送すべきデータ量が半分になるようになされている。エンコーダ２０３は、サブサンプリング回路２０２から供給されたデータを、例えばＤＣＴ（Discrete Cosine Transform）などの直交変換符号や、ＡＤＲＣ（Adaptive Dynamic Range Coding）などにより高能率符号化し、データ量をさらに低減するようになされている。送信処理回路２０４は、エンコーダ２０３の出力に対して、エラー訂正符号化、フレーム化、チャンネル符号化などの処理を行い、出力端子２０５から伝送路３に出力したり、光ディスク、磁気ディスクなどの記録媒体２に記録する。
FIG. 1 shows a configuration example of a system in which image data is thinned and transmitted from a transmission side, and thinned pixels are generated and reproduced on a reception side. Digital video data to be transmitted is input from the
伝送路３または記録媒体２から供給されたデータは、受信装置４の入力端子２１１から受信処理回路２１２に入力され、チャンネル符号化の復号化処理、フレーム分解処理、エラー訂正処理などが行われるようになされている。デコーダ２１３は、送信装置１側のエンコーダ２０３に対応する復号処理を行うようになされている。デコーダ２１３の出力は、同時化回路２１５と合成回路２１４に供給されている。
The data supplied from the
同時化回路２１５は、デコーダ２１３の出力を、処理対象とする画素データが同じタイミングで発生するようにタイミング調整を行い、調整後のデータをＡＤＲＣ処理回路２１６とデータ生成回路２１９に出力している。ＡＤＲＣ処理回路２１６は、同時化回路２１５より供給されたデータを、１ビットでＡＤＲＣ処理し、処理結果をクラス分類回路２１７に出力する。クラス分類回路２１７は、ＡＤＲＣ処理回路２１６より供給されたデータに対応するクラス分類処理を行い、分類されたクラスを示す信号をＲＯＭ（Read Only Memory）２１８にアドレスとして出力するようになされている。
The
ＲＯＭ２１８は、クラス分類回路２１７より供給されるクラスに対応するアドレスに記憶されている係数データを読み出し、データ生成回路２１９に出力するようになされている。データ生成回路２１９は、同時化回路２１５より供給されたデータに、ＲＯＭ２１８より供給された係数データを乗算し、新たな画素データを生成して、合成回路２１４に出力している。合成回路２１４は、デコーダ２１３より供給された、元々存在する画素データと、データ生成回路２１９により生成された画素データとを合成し、出力端子２２０から図示せぬＣＲＴなどに出力し、表示させるようになされている。
The
次に、その動作について説明する。入力端子２０１より入力されたディジタル画像データは、例えば図２に示すように、水平方向に１つおきに、サブサンプリング回路２０２において間引かれる。図２において、○印は、間引かれて残った画素データを表し、×印は、間引かれて伝送されない画素データを表している。これにより、伝送すべき画素データが半分になる。
Next, the operation will be described. For example, as shown in FIG. 2, the digital image data input from the
この画素データは、エンコーダ２０３によりエンコードされた後、送信処理回路２０４により所定の処理が施され、出力端子２０５から伝送路３または記録媒体２に伝送される。
The pixel data is encoded by the
受信処理回路２１２は、入力端子２１１から伝送路３または記録媒体２からの伝送データを受信し、デコーダ２１３に出力する。デコーダ２１３は、入力されたデータをデコードし、デコードした結果得られた画素データ（図２において、○印で示す画素データ）を合成回路２１４と同時化回路２１５に出力する。
The
同時化回路２１５は、処理対象とする画素データが、同じタイミングで発生するように、所定の遅延を施す処理などを実行する。これにより、例えば図２に示す、省略されている画素Ｙ1の上（Ｘ1）、左（Ｘ2）、右（Ｘ3）および下（Ｘ4）に位置する画素データＸ1乃至Ｘ4が、ＡＤＲＣ処理回路２１６とデータ生成回路２１９に、同じタイミングで供給される。
The
ＡＤＲＣ処理回路２１６は、入力された４個の画素データＸ1乃至Ｘ4により構成される１個のブロックのＡＤＲＣ処理を実行する。この実施例においては、図３に示すように、各画素データＸは、Ｒ，Ｇ，Ｂの各成分で規定される色空間上のベクトル（ＸR，ＸG，ＸB）で構成されている。ＸR，ＸG，ＸBは、それぞれ画素データＸのＲ，Ｇ，Ｂのコンポーネント成分を表し、例えば、それぞれが８ビットで表現されている。ＡＤＲＣ処理回路２１６は、１ビットＡＤＲＣ処理を実行するため、例えば、画素データＸ1のＲ成分ＸR1を１ビットで表し、Ｇ成分ＸG1を１ビットで表し、またＢ成分ＸB1を１ビットで表す。すなわち、本来、２４ビット（＝３×８）で表されていた画素データＸ1を、３ビット（＝３×１）のデータとする。他の画素データＸ2乃至Ｘ4も、同様に３ビットの画素データに変換され、それぞれが３ビットで表される画素データ（Ｘ1，Ｘ2，Ｘ3，Ｘ4）としてクラス分類回路２１７に供給される。
The ADRC
クラス分類回路２１７は、入力された合計１２ビット（＝４×３）のデータをクラスに分類し、その分類したクラスを表すクラスデータ信号を生成し、ＲＯＭ２１８に出力する。すなわち、この実施例の場合、１２ビットでクラスが表されるため、４０９６（＝２12）通りのクラスが存在することになる。
The
ＲＯＭ２１８には、各クラス毎に予測係数ｗが記憶されており、クラス分類回路２１７から所定のクラスを表す信号が供給されると、そのクラスに対応するアドレスに記憶されている予測係数ｗが読み出され、データ生成回路２１９に供給される。
The
データ生成回路２１９は、ＲＯＭ２１８より供給される予測係数ｗと、同時化回路２１５より供給される画素データＸ1乃至Ｘ4を用いて、次式に示すような演算を行って、図２に示す画素データＹ1を生成する。
ＹR1＝ｗ1（Ｒ）ＸR1＋ｗ2（Ｒ）ＸG1＋ｗ3（Ｒ）ＸB1
＋ｗ4（Ｒ）ＸR2＋ｗ5（Ｒ）ＸG2＋ｗ6（Ｒ）ＸB2
＋ｗ7（Ｒ）ＸR3＋ｗ8（Ｒ）ＸG3＋ｗ9（Ｒ）ＸB3
＋ｗ10（Ｒ）ＸR4＋ｗ11（Ｒ）ＸG4＋ｗ12（Ｒ）ＸB4
ＹG1＝ｗ1（Ｇ）ＸR1＋ｗ2（Ｇ）ＸG1＋ｗ3（Ｇ）ＸB1
＋ｗ4（Ｇ）ＸR2＋ｗ5（Ｇ）ＸG2＋ｗ6（Ｇ）ＸB2
＋ｗ7（Ｇ）ＸR3＋ｗ8（Ｇ）ＸG3＋ｗ9（Ｇ）ＸB3
＋ｗ10（Ｇ）ＸR4＋ｗ11（Ｇ）ＸG4＋ｗ12（Ｇ）ＸB4
ＹB1＝ｗ1（Ｂ）ＸR1＋ｗ2（Ｂ）ＸG1＋ｗ3（Ｂ）ＸB1
＋ｗ4（Ｂ）ＸR2＋ｗ5（Ｂ）ＸG2＋ｗ6（Ｂ）ＸB2
＋ｗ7（Ｂ）ＸR3＋ｗ8（Ｂ）ＸG3＋ｗ9（Ｂ）ＸB3
＋ｗ10（Ｂ）ＸR4＋ｗ11（Ｂ）ＸG4＋ｗ12（Ｂ）ＸB4
The
Y R1 = w 1 (R) X R1 + w 2 (R) X G1 + w 3 (R) X B1
+ W 4 (R) X R2 + w 5 (R) X G2 + w 6 (R) X B2
+ W 7 (R) X R3 + w 8 (R) X G3 + w 9 (R) X B3
+ W 10 (R) X R4 + w 11 (R) X G4 + w 12 (R) X B4
Y G1 = w 1 (G) X R1 + w 2 (G) X G1 + w 3 (G) X B1
+ W 4 (G) X R2 + w 5 (G) X G2 + w 6 (G) X B2
+ W 7 (G) X R3 + w 8 (G) X G3 + w 9 (G) X B3
+ W 10 (G) X R4 + w 11 (G) X G4 + w 12 (G) X B4
Y B1 = w 1 (B) X R1 + w 2 (B) X G1 + w 3 (B) X B1
+ W 4 (B) X R2 + w 5 (B) X G2 + w 6 (B) X B2
+ W 7 (B) X R3 + w 8 (B) X G3 + w 9 (B) X B3
+ W 10 (B) X R4 + w 11 (B) X G4 + w 12 (B) X B4
なお、ｗi（Ｒ），ｗi（Ｇ），ｗi（Ｂ）は、それぞれＲ，Ｇ，Ｂ用の予測係数を表している。 Note that w i (R), w i (G), and w i (B) represent prediction coefficients for R, G, and B, respectively.
上記式より明らかなように、この実施例においては、画素データＹ1のＲ成分ＹR1が、周囲の画素Ｘ1乃至Ｘ4のＲ成分ＸR1乃至ＸR4だけでなく、Ｇ成分ＸG1乃至ＸG4、並びにＢ成分ＸB1乃至ＸB4から生成される。同様に、画素データＹ1のＧ成分ＹG1と、Ｂ成分ＹB1も、それぞれ画素データＸ1乃至Ｘ4の対応する成分だけでなく、すべての成分ＸR1乃至ＸR4，ＸG1乃至ＸG4，ＸB1乃至ＸB4から生成される。 As apparent from the above equation, in this embodiment, the R component Y R1 of pixel data Y 1 is not only the R component X R1 to X R4 of surrounding pixels X 1 to X 4, or G component X G1 X G4 and B components X B1 to X B4 are generated. Similarly, the G component Y G1 and the B component Y B1 of the pixel data Y 1 are not only the corresponding components of the pixel data X 1 to X 4 but also all the components X R1 to X R4 , X G1 to X G4. , X B1 to X B4 .
画像、特に、テレビカメラを用いて撮影したような自然な画像は相関を有し、比較的近傍の画素ほど強い相関を有する。従って、新たな画素データを演算により生成する場合、より近傍の画素データをもとに、その演算を行う方が、より効率的に、また、高精度で新たな画素データを生成することができる。 An image, particularly a natural image taken using a television camera, has a correlation, and a relatively close pixel has a stronger correlation. Therefore, when new pixel data is generated by calculation, it is possible to generate new pixel data more efficiently and with high accuracy by performing the calculation based on pixel data in the vicinity. .
すなわち、上記式に示すように、例えば、画素データＹ1のＲ成分ＹR1を求めるのに、ＸR1乃至ＸB4の合計１２個のデータを用いているのであるが、例えば、このＹR1を演算により求めるのに、１２個のＲ成分だけを用いるようにするには、Ｒ成分は各画素に１個しか存在しないから、結局合計１２画素のＲ成分を利用する必要がある。このようにすれば、必然的に、いま注目している画素Ｙ1から、より遠くに離れている画素データを用いざるを得ず、効率と精度が劣化することになる。 That is, as shown in the above formula, for example, to determine the R component Y R1 of pixel data Y 1, although the uses a total of 12 pieces of data X R1 to X B4, for example, the Y R1 In order to use only 12 R components for calculation, since there is only one R component for each pixel, it is necessary to use R components of a total of 12 pixels after all. In this way, it is inevitably necessary to use pixel data that is farther away from the pixel Y 1 of interest, and the efficiency and accuracy deteriorate.
そこで、本実施例のように、各画素が有するＲ，Ｇ，Ｂ成分を用いて、注目画素のＲ成分（Ｇ成分とＢ成分も同様）を生成するようにすれば、より近い位置の画素データから必要な数のデータを得ることができる。従って、それだけ効率的に、高精度の画素データを生成することができる。 Therefore, if the R component (the G component and the B component are the same) of the target pixel is generated using the R, G, and B components of each pixel as in this embodiment, the pixels at closer positions The required number of data can be obtained from the data. Therefore, highly accurate pixel data can be generated efficiently.
合成回路２１４は、以上のようにして、データ生成回路２１９により生成された新たな画素データＹと、デコーダ２１３より供給される元々存在する画素データＸとを合成し、出力端子２２０から出力する。従って、出力端子２２０から出力される画素データは、受信回路２１２で受信した画素データＸにより構成される画像より、空間解像度が高い画像となっている（図１のサブサンプリング回路２０２でサブサンプリングされる前の画像と同一の解像度の画像となっている）。
The
ＲＯＭ２１８には、上記した式の予測係数ｗが記憶されているのであるが、この予測係数ｗのテーブルは、例えば図４に示す装置から得ることができる。
The
すなわち、図４の実施例においては、入力端子２３１からディジタルビデオ信号が入力され、同時化回路２３２に供給されている。この入力端子２３１に入力されるディジタルビデオ信号は、テーブルを作成する上において必要な標準的な信号（従って、間引かれる前の高解像度の画像の信号）であることが好ましく、例えば標準的な絵柄の静止画像からなる信号を採用することができる。同時化回路２３２は、図１の同時化回路２１５と同様に、図２に示す画素データＸ1乃至Ｘ4が同時に出力されるように、タイミング調整を行う。同時化回路２３２より出力された画素データは、ＡＤＲＣ処理回路２３３とデータメモリ２３７に供給される。
That is, in the embodiment of FIG. 4, a digital video signal is input from the
ＡＤＲＣ処理回路２３３は、入力された画素データを１ビットでＡＤＲＣ処理し、クラス分類回路２３４に出力する。クラス分類回路２３４は、ＡＤＲＣ処理回路２３３より入力されたデータをクラス分類し、分類したクラスに対応する信号をスイッチ２３５の接点Ａを介してデータメモリ２３７にアドレスとして供給する。すなわち、同時化回路２３２、ＡＤＲＣ処理回路２３３、およびクラス分類回路２３４は、図１における同時化回路２１５、ＡＤＲＣ処理回路２１６、およびクラス分類回路２１７における場合と同様の処理を行う。
The
カウンタ２３６は、図示せぬ回路から供給されるクロックＣＫをカウントし、そのカウント値をスイッチ２３５の接点Ｃを介して、データメモリ２３７にアドレスとして供給している。
The
データメモリ２３７は、スイッチ２３５を介してクラス分類回路２３４からアドレスが供給されているとき、そのアドレスに同時化回路２３２から供給されるデータを書き込み、カウンタ２３６からスイッチ２３５を介してアドレスが供給されているとき、そのアドレスに記憶されているデータを読み出し、最小自乗法演算回路２３８に出力するようになされている。最小自乗法演算回路２３８は、データメモリ２３７から供給された画素データに対して、最小自乗法に基づく演算を行い、予測係数ｗiを演算し、メモリ２３９に出力するようになされている。メモリ２３９は、スイッチ２３５を介してカウンタ２３６から供給されるアドレスに、最小自乗法演算回路２３８から供給される予測係数ｗiを書き込むようになされている。
When the address is supplied from the
次に、その動作について説明する。予測係数を決定するための学習のためのディジタルビデオデータが同時化回路２３２において同時化され、ＡＤＲＣ処理回路２３３で１ビットのＡＤＲＣ処理が行われた後、クラス分類回路２３４に入力され、クラス分類される。いまの場合、図１における場合と同様に、４画素がクラス分類のための１ブロックとされ、各画素は、ＡＤＲＣ処理回路２３３において、各Ｒ，Ｇ，Ｂ成分が１ビットでＡＤＲＣ処理されるため、クラス分類回路２３４から１２ビットのクラスデータがスイッチ２３５の接点Ａを介してデータメモリ２３７にアドレスとして供給される。データメモリ２３７は、このアドレスに、同時化回路２３２より供給される画素データを記憶させる。
Next, the operation will be described. Digital video data for learning for determining a prediction coefficient is synchronized in the
なお、ここで、記憶させる画素データは、図１のサブサンプリング回路２０２でサブサンプリングされる前の状態の、より高い空間解像度を有する画像の画素データである。従って、図２における○印の画素データＸiはもとより、×印で示す画像データＹiも記憶される。
Here, the pixel data to be stored is pixel data of an image having a higher spatial resolution before being subsampled by the
上記式に示すように、１つの成分の画像データ、例えばＹR1を演算する係数は、ｗ1（Ｒ）乃至ｗ12（Ｒ）の１２個存在する。従って、これらの１２個の予測係数を求めるには、１２個の予測係数を未知数とする１２個の連立方程式が各クラスにおいて必要となる。データメモリ２３７には、この連立方程式を解くのに必要な数の画素データが少なくとも記憶される。
As shown in the above equation, there are twelve coefficients w 1 (R) to w 12 (R) for calculating image data of one component, for example, Y R1 . Therefore, in order to obtain these 12 prediction coefficients, 12 simultaneous equations having 12 prediction coefficients as unknowns are required in each class. The
必要な数の画素データがデータメモリ２３７に記憶された後、スイッチ２３５が接点Ｃ側に切り替えられる。カウンタ２３６は、クロックＣＫをカウントし、そのカウント値を出力しているので、データメモリ２３７には、１ずつインクリメントする値が、読み出しアドレスとして入力される。データメモリ２３７は、入力された読み出しアドレスに対応する画素データを読み出し、最小自乗法演算回路２３８に出力する。最小自乗法演算回路２３８は、上記した式に対して、具体的データを当てはめ、予測係数ｗiを変数とする連立方程式を生成し、その連立方程式を解き、予測係数ｗiを求める。
After the necessary number of pixel data is stored in the
そして、演算により求めた予測係数ｗiを用いて、所定の画素データ（例えば、上記した画素データＹ1のＲ成分ＹR1）を求める（予測する）。そして、演算（予測）により求めたＹR1の値と、実際の画素データＹR1との誤差を演算し、その誤差の自乗が最小となるように予測係数ｗiを演算する。演算により求められた予測係数ｗiは、いまデータメモリ２３７から読み出された画素データのアドレスと対応するメモリ２３９のアドレスに書き込まれる。このようにして、メモリ２３９には、予測係数ｗiが記憶される。そして、この記憶内容が、図１に示すＲＯＭ２１８に書き込まれる。
Then, predetermined pixel data (for example, the R component Y R1 of the pixel data Y 1 described above) is obtained (predicted) using the prediction coefficient w i obtained by the calculation. Then, the error between the value of Y R1 obtained by calculation (prediction) and the actual pixel data Y R1 is calculated, and the prediction coefficient w i is calculated so that the square of the error is minimized. The prediction coefficient w i obtained by the calculation is written in the address of the
なお、上記実施例においては、ＲＯＭ２１８（メモリ２３９）に、予測係数ｗiを書き込むようにしたが、係数が乗算された後のデータそのものを書き込むようにすることも可能である。このようにすれば、図１におけるデータ生成回路２１９は不要となる。
In the above embodiment, the prediction coefficient w i is written in the ROM 218 (memory 239), but it is also possible to write the data itself after being multiplied by the coefficient. In this way, the
図５は、送信装置１の他の構成例を示している。
FIG. 5 shows another configuration example of the
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムに従い、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
The I / F (InterFace) 11 performs reception processing of image data supplied from the outside and transmission processing of encoded data to the transmitter /
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
The I /
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
In the
図６は、図５の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
FIG. 6 is a functional block diagram of a portion excluding the transmitter /
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御に従って補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
The image data to be encoded is supplied to the
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データとの線形結合により、予測値を算出するための予測係数を求める適応処理を行い、その予測係数に基づいて、予測値を求めるようになされており、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めた予測係数を、判定部２４に供給するようにもなされている。
The
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
The
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給された予測係数を多重化部２５に供給するようになされている。
Based on the error information from the
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図５）に供給するようになされている。
The multiplexing unit 25 multiplexes the optimum compressed data (correction data) from the
次に、図７のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
Next, the operation will be described with reference to the flowchart of FIG. When image data is supplied to the
即ち、ステップＳ２では、圧縮部２１からの補正データとの線形結合により、元の画像の予測値を算出するための予測係数を求める適応処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、予測係数は判定部２４に供給される。
That is, in step S2, an adaptive process for obtaining a prediction coefficient for calculating the predicted value of the original image is performed by linear combination with the correction data from the
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４側において得られる復号画像と同一のものである。
Here, the image composed of the prediction values output from the
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
When receiving the predicted value of the original image from the
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御に従って、補正量（後述する補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
That is, in step S4, it is determined whether the error information is equal to or less than a predetermined threshold value ε. If it is determined in step S4 that the error information is not equal to or less than the predetermined threshold ε, it is recognized that the correction data output from the
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
On the other hand, if it is determined in step S4 that the error information is equal to or less than the predetermined threshold ε, it is recognized that the correction data output from the
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。 As described above, the correction data obtained by correcting the compressed data when the error information is equal to or less than the predetermined threshold value ε is used as the encoding result of the original image. Based on the correction data, it is possible to obtain an image substantially identical to the original image (original image).
次に、図８は、図６の圧縮部２１の構成例を示している。
Next, FIG. 8 shows a configuration example of the
符号化すべき画像データは、間引き回路３１に入力されるようになされており、間引き回路３１は、入力された画像データを１／Ｎ（いまの場合、１／２）に間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。
The image data to be encoded is input to the thinning
補正回路３２は、判定部２４（図６）からの制御信号に従って、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、間引き回路３１からの圧縮データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、間引き回路３１が出力する圧縮データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。
The
次に、図９を参照して、図８の圧縮部２１の処理について説明する。
Next, the processing of the
例えば、１フレーム（フィールド）分などの画像データが、間引き回路３１に供給されると、間引き回路３１は、ステップＳ１１において、その画像データを１／Ｎに間引き、その結果得られる圧縮データを、補正回路３２に出力する。
For example, when image data for one frame (field) or the like is supplied to the thinning
ここで、間引き回路３１は、図２に示すように、画像データを、例えば、各ライン毎に１／２に間引くようになされている。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／２に間引きされた圧縮データとして供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。
Here, as shown in FIG. 2, the thinning
補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図６）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１５に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。
When receiving the compressed data from the thinning
即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。
That is, as described above, the
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号に従ったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの圧縮データそれぞれに、対応する補正値△を加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。
On the other hand, when it is determined in step S12 that the control signal from the
以上のようにして、圧縮部２１は、判定部２４の制御に従って、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
As described above, the
なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、その制御信号を受信すると、次のフレームの画像に対して、図９のフローチャートに従った処理を施すようになされている。
When the
また、上述の場合においては、間引き回路３１に、２画素に１個の割合で画素データ（画素値）を抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。
In the above case, the thinning
次に、図１０は、図６のローカルデコード部２２の構成例を示している。
Next, FIG. 10 shows a configuration example of the
圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。
The correction data from the
即ち、いま、クラス分類用ブロック化回路４１は、図２に示す４つの画素Ｘ1，Ｘ2，Ｘ3，Ｘ4の合計４画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
That is, the class
なお、この場合、クラス分類用ブロックは、４画素でなる十文字形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、その他、例えば、長方形や、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、４画素に限定されるものではない。 In this case, the class classification block is configured by a cross-shaped block of 4 pixels. However, the class classification block may have other shapes such as a rectangle, a square, and other arbitrary shapes. Is possible. Further, the number of pixels constituting the class classification block is not limited to four pixels.
予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である予測値計算用ブロックにブロック化するようになされている。この実施例の場合、そのブロックはクラス分類用のブロックと同一とされ、図２の画素データＸ1乃至Ｘ4により、そのブロックが構成される。
The predicted value
このように、この実施例の場合、予測値計算用ブロック化回路４２は、クラス分類用ブロック化回路４１と同一の範囲をブロック化するため、両者は共用するようにしてもよい。
Thus, in the case of this embodiment, since the predicted value
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
The predicted value calculation block obtained in the predicted value
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数以上とするのが望ましい。 Note that the number of pixels and the shape of the prediction value calculation block are not limited to those described above, as in the case of the class classification block. However, it is desirable that the number of pixels constituting the prediction value calculation block is equal to or greater than the number of pixels constituting the class classification block.
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。 Further, when the above-described blocking is performed (the same applies to processes other than blocking), there may be no corresponding pixel near the image frame of the image. In this case, for example, the image frame The processing is performed on the assumption that the same pixel as that constituting the pixel exists outside.
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
The class classification
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。 Class classification adaptation processing classifies input signals into several classes based on their characteristics, and applies appropriate adaptation processing to the input signals of each class. It is divided into processing.
ここで、クラス分類処理および適応処理について簡単に説明する。 Here, the class classification process and the adaptation process will be briefly described.
まず、クラス分類処理について説明する。 First, the class classification process will be described.
いま、例えば、図１１（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１１（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
Now, for example, as shown in FIG. 11A, a block (class classification block) composed of 2 × 2 pixels is configured by a certain target pixel and three pixels adjacent to the target pixel. It is expressed by 1 bit (takes a level of 0 or 1). In this case, the 2 × 2 4-pixel block can be classified into 16 (= (2 1 ) 4 ) patterns as shown in FIG. 11B according to the level distribution of each pixel. Such pattern division is class classification processing and is performed in the
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。 The class classification processing can be performed in consideration of the activity (complexity of the image) (severity of change) of the image (image in the block).
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施例においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。 Here, normally, for example, about 8 bits are assigned to each pixel. In this embodiment, as described above, the class classification block is composed of 9 pixels of 3 × 3. Therefore, if the class classification process is performed on such a class classification block, it is classified into an enormous number of classes of (2 8 ) 9 .
そこで、本実施例においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
Therefore, in this embodiment, the
即ち、例えば、いま、説明を簡単にするため、図１２（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。 That is, for example, in order to simplify the description, as shown in FIG. 12A, when a block composed of four pixels arranged on a straight line is considered, in ADRC processing, the maximum value of the pixel value is considered. MAX and minimum value MIN are detected. Then, DR = MAX−MIN is set as the local dynamic range of the block, and the pixel values of the pixels constituting the block are requantized to K bits based on the dynamic range DR.
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１２（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。 That is, from each pixel value in the block, subtracts the minimum value MIN, dividing the subtracted value by DR / 2 K. Then, it is converted into a code (ADRC code) corresponding to the division value obtained as a result. Specifically, for example, when K = 2, as shown in FIG. 12B, which range the division value belongs to is obtained by dividing the dynamic range DR into 4 (= 2 2 ) equally? And the division value belongs to the range of the lowest level, the range of the second level from the bottom, the range of the third level from the bottom, or the range of the highest level, respectively, It is coded into 2 bits such as 00B, 01B, 10B, or 11B (B represents a binary number). On the decoding side, the ADRC code 00B, 01B, 10B, or 11B is the center value L 00 of the lowest level range obtained by equally dividing the dynamic range DR into four, and the second level range from the bottom. center value L 01 of the is converted into a center value L 11 of the central value L 10 or most of the upper level range, the range of the third level from the bottom, to the value, decoded by the minimum value MIN is added Is done.
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。このようなノンエッジマッチングに対して、図１２（Ｃ）に示すように、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲に属する画素値の平均値ＭＩＮ’、またはその最も上のレベルの範囲に属する画素値の平均値ＭＡＸ’に、ＡＤＲＣコード００Ｂまたは１１Ｂそれぞれを変換するとともに、ＭＡＸ’−ＭＩＮ’で規定されるダイナミックレンジＤＲ’を等分（３等分）するレベルに、ＡＤＲＣコード０１Ｂと１０Ｂを変換することにより、ＡＤＲＣコードの復号を行うようなＡＤＲＣ処理があり、これは、エッジマッチングと呼ばれる。 Here, such ADRC processing is called non-edge matching. For such non-edge matching, as shown in FIG. 12C, the average value MIN ′ of the pixel values belonging to the lowest level range obtained by dividing the dynamic range DR into four equal parts, or the most A level at which the ADRC code 00B or 11B is converted into the average value MAX ′ of the pixel values belonging to the upper level range and the dynamic range DR ′ defined by MAX′−MIN ′ is equally divided (three equal parts). In addition, there is an ADRC process in which the ADRC code is decoded by converting the ADRC codes 01B and 10B, which is called edge matching.
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。 The details of the ADRC processing are disclosed in, for example, Japanese Patent Application Laid-Open No. 3-53778 filed by the applicant of the present application.
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
By applying ADRC processing that performs requantization with a smaller number of bits than the number of bits allocated to the pixels constituting the block, as described above, the number of classes can be reduced. This is performed in the
なお、本実施例では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
In the present embodiment, the
次に、適応処理について説明する。 Next, the adaptation process will be described.
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。 For example, now, the predicted value E [y] of the pixel value y of the original image is changed to pixel values (hereinafter referred to as learning data) x 1 , x 2 ,. Consider a linear primary combination model defined by a linear combination of predetermined prediction coefficients w 1 , w 2 ,. In this case, the predicted value E [y] can be expressed by the following equation.
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
E [y] = w 1 x 1 + w 2 x 2 +...
... (1)
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
ＸＷ＝Ｙ’
・・・（２）
XW = Y '
... (2)
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
ＸＷ＝Ｙ＋Ｅ
・・・（３）
XW = Y + E
... (3)
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。 Accordingly, when the above-mentioned square error differentiated by the prediction coefficient w i becomes 0, that is, the prediction coefficient w i satisfying the following equation obtains the prediction value E [y] close to the pixel value y of the original image. Therefore, it is an optimum value.
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。 Therefore, first, the following equation is established by differentiating the equation (3) by the prediction coefficient w i .
式（４）および（５）より、式（６）が得られる。 From equations (4) and (5), equation (6) is obtained.
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。 Further, considering the relationship among the learning data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of Equation (3), the following normal equation can be obtained from Equation (6). .
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。 The normal equation of Expression (7) can be established by the same number as the number of prediction coefficients w to be obtained. Therefore, the optimal prediction coefficient w can be obtained by solving Expression (7). In solving equation (7), for example, a sweep-out method (Gauss-Jordan elimination method) or the like can be applied.
以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
As described above, the optimum processing is to obtain the optimum prediction coefficient w, and further to obtain the prediction value E [y] close to the pixel value y of the original image by using the prediction coefficient w and the equation (1). The adaptive processing is performed in the
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。 Note that the adaptive processing is different from the interpolation processing in that a component included in the original image that is not included in the thinned image is reproduced. In other words, the adaptive process is the same as the interpolation process using a so-called interpolation filter as long as only Expression (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter uses the teacher data y. In other words, since it is obtained by learning, the components included in the original image can be reproduced. From this, it can be said that the adaptive process is a process having an image creating action.
次に、図１３のフローチャートを参照して、図１０のローカルデコード部２２の処理について説明する。
Next, the processing of the
ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、４画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが４画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
In the
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給されるようになされている。
As described above, the class classification
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックが属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
Upon receiving the class classification block, the
なお、本実施例においては、Ｒ，Ｇ，Ｂの各成分が１ビットのＡＤＲＣ処理が施された４画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、４０９６（＝（２3）4）のクラスのうちのいずれかに分類されることになる。 In the present embodiment, the class classification process is performed on the class classification block composed of four pixels in which the R, G, and B components have been subjected to the 1-bit ADRC process. The class classification block is classified into any one of 4096 (= (2 3 ) 4 ) classes.
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、予測係数および元の画像データの予測値が算出される。
In step S24, the
即ち、本実施例においては、例えば、ある１つの画素に注目した場合に、その注目画素の周りに隣接する４個の画素でなる予測値計算用ブロックを用いて、適応処理が行われる。 That is, in this embodiment, for example, when attention is paid to a certain pixel, the adaptive processing is performed using a prediction value calculation block including four pixels adjacent to the target pixel.
具体的には、例えば、いま、図２に示した４個の補正データＸ1，Ｘ2，Ｘ3，Ｘ4でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、予測値計算用ブロックとして、４画素の補正データＸ1，Ｘ2，Ｘ3，Ｘ4でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＹ1を、教師データとして、式（７）に示した正規方程式がたてられる。
Specifically, for example, the
さらに、クラス情報Ｃにクラス分類される他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値ＹR1の予測値Ｅ［ＹR1］を求めるための予測係数ｗ1（Ｒ）乃至ｗ12（Ｒ）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値ＹR1の予測値Ｅ［ＹR1］を求めるのに最適な予測係数ｗ1（Ｒ）乃至ｗ12（Ｒ）が算出される。そして、式（１）に対応する次式に従って、予測値Ｅ［ＹR1］が求められる。ＹG1，ＹB1などについても同様である。 Further, for other prediction value calculation blocks classified into the class information C, a normal equation is established in the same manner, and the prediction coefficient w 1 for obtaining the prediction value E [Y R1 ] of the pixel value Y R1. When the number of normal equations that can calculate (R) to w 12 (R) is obtained (therefore, until such number of normal equations is obtained, in step S24, the process of generating the normal equations is performed). The prediction coefficients w 1 (R) to w 12 (R) optimal for obtaining the predicted value E [Y R1 ] of the pixel value Y R1 for the class information C by solving the normal equation. Is calculated. Then, a predicted value E [Y R1 ] is obtained according to the following equation corresponding to equation (1). The same applies to Y G1 , Y B1 and the like.
Ｅ［ＹR1］＝ｗ1（Ｒ）ＸR1＋ｗ2（Ｒ）ＸG1＋ｗ3（Ｒ）ＸB1
＋ｗ4（Ｒ）ＸR2＋ｗ5（Ｒ）ＸG2＋ｗ6（Ｒ）ＸB2
＋ｗ7（Ｒ）ＸR3＋ｗ8（Ｒ）ＸG3＋ｗ9（Ｒ）ＸB3
＋ｗ10（Ｒ）ＸR4＋ｗ11（Ｒ）ＸG4＋ｗ12（Ｒ）ＸB4
Ｅ［ＹG1］＝ｗ1（Ｇ）ＸR1＋ｗ2（Ｇ）ＸG1＋ｗ3（Ｇ）ＸB1
＋ｗ4（Ｇ）ＸR2＋ｗ5（Ｇ）ＸG2＋ｗ6（Ｇ）ＸB2
＋ｗ7（Ｇ）ＸR3＋ｗ8（Ｇ）ＸG3＋ｗ9（Ｇ）ＸB3
＋ｗ10（Ｇ）ＸR4＋ｗ11（Ｇ）ＸG4＋ｗ12（Ｇ）ＸB4
Ｅ［ＹB1］＝ｗ1（Ｂ）ＸR1＋ｗ2（Ｂ）ＸG1＋ｗ3（Ｂ）ＸB1
＋ｗ4（Ｂ）ＸR2＋ｗ5（Ｂ）ＸG2＋ｗ6（Ｂ）ＸB2
＋ｗ7（Ｂ）ＸR3＋ｗ8（Ｂ）ＸG3＋ｗ9（Ｂ）ＸB3
＋ｗ10（Ｂ）ＸR4＋ｗ11（Ｂ）ＸG4＋ｗ12（Ｂ）ＸB4
E [Y R1 ] = w 1 (R) X R1 + w 2 (R) X G1 + w 3 (R) X B1
+ W 4 (R) X R2 + w 5 (R) X G2 + w 6 (R) X B2
+ W 7 (R) X R3 + w 8 (R) X G3 + w 9 (R) X B3
+ W 10 (R) X R4 + w 11 (R) X G4 + w 12 (R) X B4
E [Y G1 ] = w 1 (G) X R1 + w 2 (G) X G1 + w 3 (G) X B1
+ W 4 (G) X R2 + w 5 (G) X G2 + w 6 (G) X B2
+ W 7 (G) X R3 + w 8 (G) X G3 + w 9 (G) X B3
+ W 10 (G) X R4 + w 11 (G) X G4 + w 12 (G) X B4
E [Y B1 ] = w 1 (B) X R1 + w 2 (B) X G1 + w 3 (B) X B1
+ W 4 (B) X R2 + w 5 (B) X G2 + w 6 (B) X B2
+ W 7 (B) X R3 + w 8 (B) X G3 + w 9 (B) X B3
+ W 10 (B) X R4 + w 11 (B) X G4 + w 12 (B) X B4
ステップＳ２４において、以上のようにして各画素のＲ，Ｇ，Ｂの各成分についての予測係数が求められると、予測値が誤差算出部２３に出力されるとともに、予測係数が判定部２４に出力され、ステップＳ２１に戻り、以下同様の処理が繰り返される。
In step S24, when the prediction coefficients for the R, G, and B components of each pixel are obtained as described above, the prediction values are output to the
次に、図１４は、図６の誤差算出部２３の構成例を示している。
Next, FIG. 14 shows a configuration example of the
ブロック化回路５１には、元の画像データが供給されるようになされており、ブロック化回路５１は、その画素データを、ローカルデコード部２２から出力される予測値に対応する画素単位でブロック化し、その結果得られるブロックの画素（いまの場合、このブロックは１個の画素（図２のＹ1）により構成される）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１から画素データが供給される他、ローカルデコード部２２から予測値としての画素データが供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
The original image data is supplied to the blocking
即ち、自動誤差算出回路５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。
That is, the automatic
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
When receiving the square error from the square
次に、その動作について、図１５のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。
Next, the operation will be described with reference to the flowchart of FIG. In the
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
That is, in step S <b> 33, the
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
When the square error is received from the square
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。
Then, in step S35, the integrating
従って、誤差算出部２３では、元の画像データをＹiとするとともに、その予測値をＥ［Ｙi］とするとき、次式に従った演算が行われることで、誤差情報Ｑが算出される。
Therefore, in the
Ｑ＝（Σ（Ｙi）−Ｅ［Ｙi］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
Q = (Σ (Y i ) −E [Y i ]) 2
However, Σ means summation for one frame.
次に、図１６は、図６の判定部２４の構成例を示している。
Next, FIG. 16 illustrates a configuration example of the
予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。
The
なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たな予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たな予測係数が供給された場合には、既に記憶している予測係数（前回の予測係数）に代えて、その新たな予測係数を記憶するようになされている。
In the
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
The
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
The comparison circuit 64 compares the current error information stored in the
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図８）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されている予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。
Based on the comparison result in the comparison circuit 64, the control circuit 65 determines the appropriateness (optimum) of using the correction data stored in the
次に、図１７を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
Next, the operation of the
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
If it is determined in step S42 that the current error information is greater than or equal to the predetermined threshold ε, the previous error information stored in the
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを出力するように、補正回路３２（図８）を制御する制御信号が出力されるようになされている。
Here, when the processing for one frame is started and error information is supplied for the first time, the
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
If it is determined in step S43 that the current error information is equal to or less than the previous error information, that is, if the error information is reduced by correcting the compressed data, the process proceeds to step S44, where the control circuit 65 A control signal instructing to change the correction value Δ in the same manner as the previous time is output to the
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。 When the error information that has continued to decrease starts to increase at a certain timing, the control circuit 65 sets the correction value Δ to the previous value, for example, at a magnitude that is 1/2. Conversely, a control signal instructing to change is output.
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されている予測係数を読み出すとともに、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に供給して、処理を終了する。
Then, by repeating the processes of steps S41 to S45, the error information decreases, and when it is determined in step S42 that the current error information is smaller than the predetermined threshold value ε, the process proceeds to step S46, and control is performed. The circuit 65 reads the prediction coefficient stored in the
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１７に示すフローチャートに従った処理を繰り返す。 Thereafter, after waiting for the error information for the next frame to be supplied, the processing according to the flowchart shown in FIG. 17 is repeated again.
なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
The
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。 As described above, the correction of the compressed data is repeated until the error information is made smaller (below) than the predetermined threshold ε, and the correction data when the error information becomes smaller than the predetermined threshold ε is the code of the image. Therefore, in the receiving device 4, the same value as that of the original image is obtained from the correction data in which the pixel values of the pixels constituting the thinned image are set to values most suitable for restoring the original image ( It is possible to obtain substantially the same decoded image.
また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
In addition to being compressed by thinning processing, the image is also compressed by ADRC processing, class classification adaptation processing, and the like, so that encoded data with a very high compression rate can be obtained. Note that the encoding process as described above in the
次に、図１８は、図１の受信装置４のさらに他の構成例を示している。 Next, FIG. 18 shows still another configuration example of the receiving device 4 of FIG.
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、補正データと予測係数に分離され、補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、予測係数は、予測回路７６に供給される。
In the receiver / reproducing
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図１０におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図１０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
The class
予測回路７６では、クラス情報に対応した予測係数と、予測値計算用ブロック化回路７７から供給される予測値計算用ブロックを構成する補正データとを用い、式（１）に従って予測値が算出され、そのような予測値で構成される１フレームの画像が、復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
The
なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。 Note that, on the receiving side, even if the receiving device 4 is not as shown in FIG. 18, the decoding is performed by performing normal interpolation without using the prediction coefficient by a device that decodes the thinned image by simple interpolation. An image can be obtained. However, the decoded image obtained in this case has deteriorated image quality (resolution).
ところで、上述の場合おいては、図６のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに、予測値を算出するようにすることが可能である。
By the way, in the above-described case, the
即ち、図１９は、図６のローカルデコード部２２の他の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。即ち、図１９のローカルデコード部２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図１０における場合と同様に構成されている。
That is, FIG. 19 shows another configuration example of the
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４５が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
The
予測回路８２では、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ８１からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が算出される。
The
従って、図１９のクラス分類適応処理回路４３によれば、元の画像を用いずに、その予測値が算出される。
Therefore, according to the class classification
次に、図２０は、図１９の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
Next, FIG. 20 shows a configuration example of an image processing apparatus that performs learning for obtaining a prediction coefficient stored in the
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための（従って間引き処理が行われる前の）学習用の画像データ（学習用画像）が供給されるようになされている。
The learning block circuit 91 and the
学習用ブロック化回路９１は、入力される画像データから、例えば、４画素（例えば、図２のＸ1乃至Ｘ4）を抽出し、この４画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
The learning blocking circuit 91 extracts, for example, four pixels (for example, X 1 to X 4 in FIG. 2) from the input image data, and a block composed of these four pixels is used as a learning block. The
また、教師用ブロック化回路９２では、入力される画像データから、例えば、１画素（図２のＹ1）で構成されるブロックが生成され、この１画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
Further, the teacher
なお、学習用ブロック化回路９１において、所定の数の画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、対応する画素の教師用ブロックが生成されるようになされている。
Note that when the learning block forming circuit 91 generates a learning block including a predetermined number of pixels, the
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する４画素でなるブロックに対して、図１９のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、４画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、ＡＤＲＣ処理回路９３からのブロックがクラス分類され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
The
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
In the learning
従って、学習データメモリ９６において、４画素（図２のＸ1乃至Ｘ4）でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、それに対応する１画素（図２のＹ1）のブロックが、教師用ブロックとして記憶される。
Therefore, in the learning
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１９のローカルデコード部２２において、その学習用ブロックを構成する４画素と同一の位置関係を有する４個の補正データで構成される予測値計算用ブロックを用いて予測値が求められる１個の画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
Thereafter, the same processing is repeated for all learning images prepared in advance, whereby the learning block and the
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
In the learning
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
When the learning blocks and the teacher blocks for all the learning images are stored in the learning
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
Accordingly, the
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
When the
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。 That is, for example, the pixel values of the pixels constituting the learning block are now x 1 , x 2 , x 3 ,... And the prediction coefficients to be obtained are w 1 , w 2 , w 3 ,. Then, in order to obtain the pixel value y of a certain pixel constituting the teacher block by these linear linear combinations, the prediction coefficients w 1 , w 2 , w 3 ,... There is.
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・ y = w 1 x 1 + w 2 x 2 + w 3 x 3 +...
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。
Therefore, the
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
The prediction coefficient for each class obtained by the
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの画素を予測するのに最適な予測係数が記憶される。
As described above, the
図１９の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶された予測係数が記憶されている。
The
なお、予測係数ＲＯＭ８１には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１９のローカルデコード部２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。
Note that the
また、図１９に示したようにローカルデコード部２２を構成する場合においては、図１８に示した受信装置４は、受信機／再生装置７１の後段を、図１９のクラス分類適応処理回路４３と同様に構成するようにすれば良い。
In the case where the
なお、本実施例においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。 In this embodiment, the error sum of squares is used as the error information. However, as the error information, for example, the sum of absolute values of errors and the sum of the third and higher powers are used. It is possible to Which one is used as error information can be determined based on, for example, its convergence.
また、本実施例では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。 In this embodiment, the correction of the compressed data is repeatedly performed until the error information becomes equal to or less than the predetermined threshold value ε. However, an upper limit may be set for the number of corrections of the compressed data. It is. That is, for example, when image transmission is performed in real time, processing for one frame needs to be completed within a predetermined period, but error information converges within such a predetermined period. Not always. Therefore, by setting an upper limit on the number of corrections, if the error information does not converge below the threshold ε within a predetermined period, the processing for that frame is terminated (the correction data at that time is used as the encoding result). ), It is possible to start processing for the next frame.
さらに、本実施例においては、１フレームの画像からブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素から構成するようにすることも可能である。 Furthermore, in the present embodiment, a block is configured from an image of one frame, but the block may also be configured from pixels at the same position in a plurality of frames that are continuous in time series, for example. Is possible.
また、本実施例では、圧縮部２１において、画像を、単純に間引き、即ち、２画素毎に１個の画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する複数個の画素の平均値などを求めさせ、その平均値を、そのブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。
In the present embodiment, the
図２１は、この場合における送信装置１の構成例を示している。
FIG. 21 shows a configuration example of the
ブロック化回路１１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１１は、画像データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化し、ＡＤＲＣ処理回路１１２および遅延回路１１５に供給するようになされている。
Image data to be encoded is input to the block forming circuit 111. The block forming circuit 111 is a class classification that is a unit for classifying image data into predetermined classes according to their properties. These blocks are divided into blocks for use and supplied to the
ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１３に供給するようになされている。
The
このＡＤＲＣ処理より、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。 By this ADRC processing, the number of bits of pixels constituting the class classification block is reduced.
クラス分類回路１１３は、ＡＤＲＣ処理回路１１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１１４に供給するようになされている。
The
マッピング係数メモリ１１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１１６に供給するようになされている。
The
遅延回路１１５は、ブロック化回路１１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるまで遅延し、演算回路１１６に供給するようになされている。
The
演算回路１１６は、遅延回路１１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いた（少なくした）符号化した符号化データを算出するようになされている。即ち、演算回路１１６は、ブロック化回路１１１が出力するブロックを構成する各画素の画素値（元の画像の画素値）をｙ1，ｙ2，・・・とするとともに、マッピング係数メモリ１１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ1，ｋ2，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算し、その関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を、ブロック化回路１１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。
The
従って、ブロック化回路１１１が出力するクラス分類用ブロックを構成する画素数をＮ画素とすると、演算回路１１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。
Accordingly, assuming that the number of pixels constituting the class classification block output from the blocking circuit 111 is N pixels, the
なお、演算回路１１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の１個の画素を選択して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）であるが、この関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。
Note that the encoded data output from the
また、演算回路１１６における演算処理は、ブロック化回路１１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ1，ｋ2，・・・をマッピング係数と呼んでいる。
Further, the arithmetic processing in the
送信機／記録装置１１７は、演算回路１１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
The transmitter /
次に、図２２のフローチャートを参照して、その動作について説明する。 Next, the operation will be described with reference to the flowchart of FIG.
ブロック化回路１１１には、例えば、１フレーム（フィールド）単位で画像データが供給されるようになされており、ブロック化回路１１１では、ステップＳ６１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１１は、例えば、５画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１１２および遅延回路１１５に供給する。
For example, image data is supplied to the block forming circuit 111 in units of one frame (field). In the block forming circuit 111, in step S61, one frame image is blocked in a class classification block. It becomes. That is, the blocking circuit 111 divides the block into class classification blocks each including, for example, 5 pixels, and supplies the block to the
なお、この場合、クラス分類用ブロックは、５画素でなる十文字形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、その他、例えば、長方形や、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、５画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。 In this case, the class classification block is configured by a cross-shaped block of 5 pixels. However, the class classification block may have other shapes such as a rectangle, a square, and other arbitrary shapes. Is possible. Further, the number of pixels constituting the class classification block is not limited to five pixels. Furthermore, the class classification block may be configured not with adjacent pixels but with distant pixels. However, the shape and the number of pixels need to match those in the case of learning (mapping coefficient learning) described later.
ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からクラス分類用ブロックを受信すると、ステップＳ６２において、そのブロックのうちの中心の画素（図２のＹ1）を除く４個の画素（図２のＸ1乃至Ｘ4）に対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、Ｒ，Ｇ，Ｂの各画素が、それぞれ１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１１３に供給される。
When the
クラス分類回路１１３では、ステップＳ６３において、ＡＤＲＣ処理回路１１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１１４に、アドレスとして供給される。これにより、マッピング係数メモリ１１４からは、クラス分類回路１１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１１６に供給される。
In the
一方、遅延回路１１５では、ブロック化回路１１１からのクラス分類用ブロックの５画素データが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるのを待って、演算器１１６に供給される。演算器１１６では、ステップＳ６４において、遅延回路１１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値Ｘ1，Ｘ2，・・・と、マッピング係数ｋ1，ｋ2，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。いまの場合、図２の画素データＸ1乃至Ｘ4と画素データＹ1（Ｘ5）とから、画素データＹ1（Ｘ5）の位置の１個の画素データが生成される。また、このブロック化は、画素データに対して重複して行われ、最終的に、１／２の画素データが間引かれる。そして、この処理でも、上述したように、Ｒの成分（Ｇの成分もしくはＢの成分）を生成するのに、Ｒの成分（Ｇの成分もしくはＢの成分）だけでなく、Ｇの成分とＢの成分（Ｒの成分とＢの成分、またはＲの成分とＧの成分）が利用される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１１７に供給される。
On the other hand, the
送信機／記録装置１１７では、ステップＳ６５において、演算回路１１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
In the transmitter /
そして、ステップＳ６６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ６２に戻り、次のクラス分類用ブロックを対象に、ステップＳ６２以下の処理が繰り返される。また、ステップＳ６６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ６１に戻り、次のフレームを対象に、ステップＳ６１以下の処理が繰り返される。 In step S66, it is determined whether or not the processing for one frame of image data has been completed. If it is determined in step S66 that the processing for the image data for one frame has not been completed, the process returns to step S62, and the processing in step S62 and subsequent steps is repeated for the next class classification block. If it is determined in step S66 that the processing for the image data for one frame has been completed, the process returns to step S61, and the processing in step S61 and subsequent steps is repeated for the next frame.
次に、図２３は、図２１のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の構成例を示している。
Next, FIG. 23 shows a configuration example of an image processing apparatus that performs learning (mapping coefficient learning) processing for calculating the mapping coefficient stored in the
メモリ１２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路１２２は、メモリ１２１に記憶されている画像データを読み出し、図２１のブロック化回路１１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路１２３および演算回路１２６に供給するようになされている。
The
ＡＤＲＣ処理回路１２３またはクラス分類回路１２４は、図２１のＡＤＲＣ処理回路１１２またはクラス分類回路１１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路１２４からは、ブロック化回路１２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ１３１に、アドレスとして供給されるようになされている。
The
演算回路１２６は、ブロック化回路１２２から供給されるブロックを構成する画素と、マッピング係数メモリ１３１から供給されるマッピング係数とを用いて、図２１の演算回路１１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部１２７に供給するようになされている。
The
ローカルデコード部１２７は、演算回路１２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路１２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部１２８に供給するようになされている。誤差算出部１２８は、ローカルデコード部１２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ１２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部１２９に供給するようになされている。
Based on the correction data supplied from the
判定部１２９は、誤差算出部１２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路１３０を制御するようになされている。マッピング係数設定回路１３０は、判定部１２９の制御に従って、クラス分類回路１２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ１３１に供給するようになされている。
The
マッピング係数メモリ１３１は、マッピング係数設定回路１３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ１３１は、クラス分類回路１２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路１３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。
The mapping coefficient memory 131 temporarily stores the mapping coefficient supplied from the mapping
また、マッピング係数メモリ１３１は、クラス分類回路１２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路１２６に供給するようにもなされている。
The mapping coefficient memory 131 is also configured to read the mapping coefficient stored at the address corresponding to the class information supplied from the
次に、図２４のフローチャートを参照して、その動作について説明する。 Next, the operation will be described with reference to the flowchart of FIG.
まず最初に、マッピング係数設定回路１３０は、ステップＳ７１においてマッピング係数の初期値のセットを、クラス分類回路１２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ１３１に供給する。マッピング係数メモリ１３１では、マッピング係数設定回路１３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。
First, the mapping
そして、ブロック化回路１２２は、ステップＳ７２において、メモリ１２１に記憶されている学習用画像すべてを、図２１のブロック化回路１１１における場合と同様に、５画素（図２のＸ1乃至Ｘ4，Ｙ1）のブロックにブロック化する。さらに、ブロック化回路１２１は、そのブロックを、メモリ１２１から読み出し、ＡＤＲＣ処理回路１２３および演算回路１２６に順次供給する。
Then, in step S72, the blocking
ＡＤＲＣ処理回路１２３では、ステップＳ７３において、ブロック化回路１２２からのブロックのうちの４画素（図２のＸ1乃至Ｘ4）に対して、図２１のＡＤＲＣ処理回路１１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路１２４に供給される。クラス分類回路１２４では、ステップＳ７４において、ＡＤＲＣ処理回路１２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ１３１に供給される。これにより、ステップＳ７５において、マッピング係数メモリ１３１の、クラス分類回路１２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路１２６に供給される。
In the
演算回路１２６は、ブロック化回路１２２からのブロックの５画素（図２のＸ1乃至Ｘ4，Ｙ1）を受信するとともに、マッピング係数メモリ１３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ７６において、そのマッピング係数と、ブロック化回路１２２から供給されるブロックを構成する５画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路１２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部１２７に供給される。
The
即ち、例えば、上述の図２において、Ｘ1乃至Ｘ4，Ｙ1のブロックが、ブロック化回路１２２から出力されたものとすると、演算回路１２６では、その画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。
That is, for example, in FIG. 2 described above, assuming that the blocks X 1 to X 4 and Y 1 are output from the blocking
但し、演算回路２６では、ブロック化回路１２２におけるブロック化が、画素データに対して重複して行われ、学習用画像を構成する画素数が、１／２に間引かれ、ローカルデコード部２７に供給される。
However, in the arithmetic circuit 26, the blocking in the
図２４に戻り、ステップＳ７６で補正データが算出された後は、ステップＳ７７に進み、メモリ１２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ７７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ７３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ７３乃至Ｓ７７の処理を繰り返す。
Referring back to FIG. 24, after the correction data is calculated in step S76, the process proceeds to step S77, and it is determined whether correction data for all the learning images stored in the
また、ステップＳ７７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ１２１に記憶されたすべての学習用画像を、１／２に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／２に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ７８に進み、ローカルデコード部１２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部１２８に供給される。
If it is determined in step S77 that correction data for all learning images has been obtained, that is, a thinned image obtained by thinning all the learning images stored in the
ここで、このローカルデコード部１２７において得られる予測値で構成される画像（但し、後述するように、誤差算出部１２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４側において得られる復号画像と同一のものである。
Here, an image composed of predicted values obtained in the local decoding unit 127 (however, as described later, when the error information output from the
誤差算出部１２８では、ステップＳ７９において、メモリ１２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部１２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹijと表すとともに、ローカルデコード部１２７から出力される、その予測値をＥ［Ｙij］と表すとき、誤差算出部１２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部１２９に供給される。
In step S79, the
Ｑ＝Σ（Ｙij−Ｅ［Ｙij］）2
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。
Q = Σ (Y ij −E [Y ij ]) 2
However, in the above equation, Σ represents summation for all the pixels of the learning image.
判定部１２９は、誤差算出部１２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ８０において、その大小関係を判定する。ステップＳ８０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部１２９は、マッピング係数設定回路１３０に制御信号を出力する。マッピング係数設定回路１３０は、ステップＳ８１において、判定部１２９からの制御信号に従い、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ１３１に新たに記憶させる。
When receiving the error information from the
そして、ステップＳ７３に戻り、マッピング係数メモリ１３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ７３以下の処理が繰り返される。 Then, the process returns to step S73, and the processing after step S73 is repeated again using the changed mapping coefficient stored in the mapping coefficient memory 131.
ここで、マッピング係数設定回路１３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。
Here, the mapping
さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。 Further, the mapping coefficient can be changed for all classes or only for some of the classes. In the case of changing only the mapping coefficients for some classes, for example, a class having a strong influence on error information can be detected, and only the mapping coefficients for such classes can be changed. The class having a strong influence on the error information can be detected as follows, for example. That is, first, the error information is obtained by performing processing using the initial value of the mapping coefficient. Then, the mapping coefficient is changed by the same amount for each class, and the error information obtained as a result is compared with the error information obtained when the initial value is used, and the difference becomes a predetermined value or more. The class may be detected as a class having a strong influence on the error information.
また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。 In addition, when there are a plurality of mapping coefficients such as k1, k2,... Described above, only the one having a strong influence on the error information can be changed. .
さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。 Furthermore, in the above-described case, the mapping coefficient is set for each class. However, the mapping coefficient is set separately for each block, for example, or in units of adjacent blocks. It is possible to make it.
但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。 However, when mapping coefficients are set independently for each block, for example, multiple sets of mapping coefficients may be obtained for a certain class (conversely, mapping coefficients). However, there may be classes that cannot be obtained in one set). Since the mapping coefficients need to be finally determined for each class, as described above, when multiple sets of mapping coefficients are obtained for a certain class, multiple sets of mapping coefficients are targeted. It is necessary to determine one set of mapping coefficients by performing some processing.
一方、ステップＳ８０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。
On the other hand, when it is determined in step S80 that the error information is smaller than the threshold value ε1, that is, when the image composed of the prediction values obtained in the
この時点で、マッピング係数メモリ１３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２１のマッピング係数メモリ１１４にセットされている。
At this time, it is optimal to obtain correction data that can restore a decoded image (predicted value) in which the mapping coefficient for each class stored in the mapping coefficient memory 131 is recognized to be the same as the original image. As a thing, it is set to the
従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４側においては、元の画像とほぼ同一の画像を得ることが可能となる。 Therefore, by generating correction data using such a mapping coefficient, on the receiving device 4 side, it is possible to obtain an image that is almost the same as the original image.
なお、図２３の実施例においては、上述したように、ブロック化回路１２２において、画像が４画素にブロック化され、また、ＡＤＲＣ処理回路１２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路１２４によるクラス分類により得られるクラス数は４０９６であり、従って、４０９６セットのマッピング係数が得られる。
In the embodiment shown in FIG. 23, as described above, the
次に、図２５は、図２３のローカルデコード部１２７の構成例を示している。
Next, FIG. 25 illustrates a configuration example of the
演算回路１２６からの補正データは、クラス分類用ブロック化回路１４１および予測値計算用ブロック化回路１４２に供給されるようになされている。クラス分類用ブロック化回路１４１は、補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。
The correction data from the
なお、図２５のクラス分類用ブロック化回路１４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラスを決定するために構成されるものであり、この点で、補正データを算出するブロックのクラスを決定するために、図２１のブロック化回路１１１で生成されるものとは異なる。
Note that the class classification block obtained in the class
予測値計算用ブロック化回路１４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である予測値計算用ブロックにブロック化するようになされている。
The predicted value
予測値計算用ブロック化回路１４２において得られた予測値計算用ブロックは、予測回路１４６に供給されるようになされている。
The prediction value calculation block obtained in the prediction value calculation
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部１２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
Note that the number of pixels and the shape of the prediction value calculation block are not limited to those described above, as in the case of the class classification block. However, in the
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。 Further, when the above-described blocking is performed (the same applies to processes other than blocking), there may be no corresponding pixel near the image frame of the image. In this case, for example, the image frame The processing is performed on the assumption that the same pixel as that constituting the pixel exists outside.
ＡＤＲＣ処理回路１４３は、クラス分類用ブロック化回路１４１が出力するブロック（クラス分類用ブロック）を対象に、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路１４４に供給するようになされている。クラス分類回路１４４は、ＡＤＲＣ処理回路１４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ１４５に供給するようになされている。予測係数ＲＯＭ１４５は、予測係数を記憶しており、クラス分類回路１４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路１４６に供給するようになされている。なお、予測係数ＲＯＭ１４５に記憶されている予測係数は、後述する学習（予測係数学習）により得られたものである。
The
予測回路１４６は、予測値計算用ブロック化回路１４２からの予測値計算用ブロックと、予測係数ＲＯＭ１４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。
The
次に、図２６のフローチャートを参照して、その動作について説明する。 Next, the operation will be described with reference to the flowchart of FIG.
ローカルデコード部１２７においては、まず最初に、ステップＳ９１において、演算回路１２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路１４１において、補正データが、４画素（図２のＸ1乃至Ｘ4）のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路１４３に供給されるとともに、予測値計算用ブロック化回路１４２において、補正データが４画素の予測値計算用ブロックにブロック化され、予測回路１４６に供給される。
In the
なお、クラス分類用ブロック化回路１４１と予測値計算用ブロック化回路１４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。
The class
ＡＤＲＣ処理回路１４３は、クラス分類用ブロックを受信すると、ステップＳ９２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路１４４に出力する。クラス分類回路１４４は、ステップＳ９３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックが属するクラスを判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ１４５に供給される。
Upon receiving the class classification block, the
なお、図２５の実施例においては、Ｒ，Ｇ，Ｂの各成分がそれぞれ１ビットのＡＤＲＣ処理が施された４画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、４０９６（＝２12）のクラスのうちのいずれかに分類されることになる。 In the embodiment of FIG. 25, class classification processing is performed on a class classification block composed of four pixels in which R, G, and B components are each subjected to 1-bit ADRC processing. Therefore, each class classification block is classified into one of 4096 (= 2 12 ) classes.
そして、ステップＳ９４に進み、予測係数ＲＯＭ１４５の、クラス分類回路１４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ９５において、予測回路１４６は、その予測係数と、予測値計算用ブロック化回路１４２からの予測値計算用ブロックを構成する４個の画素値とを用い、例えば、次のような線形１次式に従って、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。
In step S94, the prediction coefficient is read from the address corresponding to the class information from the
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
但し、ｗ1，ｗ2，・・・は予測係数を表し、ｘ1，ｘ2，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。但し、ｘ1，ｘ2，・・・は、それぞれＲ，Ｇ，Ｂの成分を有し、ｗ1，ｗ2，・・・も、Ｒ，Ｇ，Ｂ用の係数で構成される。
E [y] = w 1 x 1 + w 2 x 2 +...
However, w 1, w 2, ··· represents a prediction coefficient, x 1, x 2, ··· represent the pixel values of the pixels constituting the predicted values calculation block (correction data). However, x 1, x 2, · · · includes R, G, and B components, respectively, w 1, w 2, · · · also, R, G, consists of coefficients for B.
ここで、図２５の実施例においては、上述したように、予測値計算用ブロックを構成する４画素から、１画素の予測値が算出されるようになされている。 Here, in the embodiment of FIG. 25, as described above, the predicted value of one pixel is calculated from the four pixels constituting the predicted value calculation block.
即ち、例えば、いま、図２に示した補正データＸ1乃至Ｘ4でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路１４４から出力され、また、予測値計算用ブロックとして、Ｘ1乃至Ｘ4でなる予測値計算用ブロックが、予測値計算用ブロック化回路１４２から出力されたものとする。
That is, for example, the class information C about the class classification block composed of the correction data X 1 to X 4 shown in FIG. 2 is output from the
さらに、予測係数ＲＯＭ１４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ1（Ｒ）乃至ｗ12（Ｒ）、ｗ1（Ｇ）乃至ｗ12（Ｇ）、ｗ1（Ｂ）乃至ｗ12（Ｂ）が記憶されているものとすると、これにより、上述した場合と同様に、例えば各画素の各成分ＹRi，ＹGi，ＹBiの予測値Ｅ［ＹRi］，Ｅ［ＹGi］，Ｅ［ＹBi］が算出される。
Further, in the
ステップＳ９４において、以上のようにして予測値が求められると、ステップＳ９１に戻り、以下、ステップＳ９１乃至Ｓ９４の処理が繰り返され、これにより、４画素単位で予測値が求められていく。 When the predicted value is obtained as described above in step S94, the process returns to step S91, and thereafter, the processing of steps S91 to S94 is repeated, whereby the predicted value is obtained in units of 4 pixels.
図２５の予測係数ＲＯＭ１４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置は、図２０に示した場合と同様の構成となる。そこで、この説明は省略する。
The image processing apparatus that performs learning (prediction coefficient learning) for obtaining the prediction coefficient stored in the
次に、図２７は、図２１のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の他の構成例を示している。
Next, FIG. 27 shows another configuration example of the image processing apparatus that performs learning (mapping coefficient learning) processing for calculating the mapping coefficient stored in the
なお、図２３の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図２７の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。 Note that, according to the image processing apparatus of FIG. 23, the optimal prediction is possible not only when the function f is expressed by, for example, a linear linear expression but also by a nonlinear expression or a quadratic expression or higher. Although the coefficient can be obtained, the image processing apparatus in FIG. 27 can obtain the optimum prediction coefficient only when the function f is expressed by a linear linear expression.
即ち、図２７の画像処理装置は、図２１において、ブロック化回路１１１が出力するブロックを構成する４画素（図２のＸ1，Ｘ2，Ｘ3，Ｘ4）の画素値をｙ1，ｙ2，ｙ3，ｙ4（それぞれが、Ｒ，Ｇ，Ｂ成分を有する）とするとともに、マッピング係数メモリ１１４が出力するマッピング係数をｋ1，ｋ2，ｋ3，ｋ4（それぞれが、Ｒ，Ｇ，Ｂ成分を有する）とする場合において、演算回路１１６が、次式に従って関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算して補正データを求めるようになされているときに用いることができる。
That is, the image processing apparatus of FIG. 27, in FIG. 21, y 1 pixel values of four pixels constituting the block outputted from the blocking circuit 111 (X 1, X 2, X 3, X 4 in FIG. 2), y 2 , y 3 , y 4 (each having R, G, B components), and mapping coefficients output by the
ｆ（・）＝ｋ1ｙ1＋ｋ2ｙ2＋ｋ3ｙ3＋ｋ4ｙ4 f (·) = k 1 y 1 + k 2 y 2 + k 3 y 3 + k 4 y 4
最適補正データ算出部１７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部１７０は、圧縮部１７１、補正部１７２、ローカルデコード部１７３、誤差算出部１７４、および判定部１７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路１７６に供給するようになされている。
The optimum correction data calculation unit 170 is supplied with a learning image suitable for learning, for example, in units of one frame. The optimal correction data calculation unit 170 includes a
即ち、最適補正データ算出部１７０に供給された学習用画像は、圧縮部１７１および誤差算出部１７４に供給されるようになされている。圧縮部１７１は、図２１の演算回路１１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施例においては、学習用画像を１／２に単純に間引き、これにより学習用画像を圧縮して補正部１７２に供給するようになされている。
That is, the learning image supplied to the optimum correction data calculation unit 170 is supplied to the
補正部１７２は、圧縮部１７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部１７５からの制御に従って補正するようになされている。補正部１７２における補正の結果得られるデータ（このデータも、図２１の演算回路１１６の出力と同様に、５画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部１７３に供給するようになされている。
The
ローカルデコード部１７３は、図２３のローカルデコード部１２７における場合と同様にして、補正部１７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部１７４に供給するようになされている。
The
誤差算出部１７４は、図２３の誤差算出部１２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部１７５に供給されるようになされている。
The
判定部１７５は、誤差算出部１７４からの誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部１７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、補正部１７２から供給された補正データを、最適補正データとして、ラッチ回路１７６に供給するようになされている。
Based on the error information from the
ラッチ回路１７６は、メモリ１７６Ａを内蔵しており、そのメモリ１７６Ａに、補正部１７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路１７６は、メモリ１７６Ａに記憶された最適補正データのうち、ブロック化回路１７７のメモリ１７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ１８０に供給するようになされている。なお、ラッチ回路１７６は、メモリ１７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路１７７に出力するようになされている。
The
ブロック化回路１７７には、最適補正データ算出部１７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路１７７は、メモリ１７７Ａを内蔵しており、そのメモリ１７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、メモリ１７７Ａに記憶された学習用画像を、図２１のブロック化回路１１１における場合と同様に、５画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給するようになされている。
As with the optimum correction data calculation unit 170, the
なお、ブロック化回路１７７は、その内蔵するメモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給するようになされている。ラッチ回路１７６では、この制御信号に基づいて、メモリ１７７Ａから読み出される５画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ１７６Ａから読み出されるようになされている。即ち、これにより、メモリ１８０に対しては、ある５画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。
The blocking
ＡＤＲＣ処理回路１７８またはクラス分類回路１７９は、図２１のＡＤＲＣ処理回路１１２またはクラス分類回路１１３とそれぞれ同様に構成されている。そして、クラス分類回路１７９が出力する、ブロック化回路１７７からのブロックについてのクラス情報は、メモリ１８０に対して、アドレスとして供給されるようになされている。
The
メモリ１８０は、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ１８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。
The
演算回路１８１は、メモリ１８０に記憶された、学習用画像の５画素のブロックを構成する５画素ｙ1，ｙ2，ｙ3，ｙ4，ｙ5と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ1乃至ｋ5を求め、メモリ１８２に供給するようになされている。メモリ１８２は、演算回路１８１から供給されるクラスごとのマッピング係数ｋ1乃至ｋ5を、そのクラスに対応したアドレスに記憶するようになされている。
The arithmetic circuit 181 stores the five pixels y 1 , y 2 , y 3 , y 4 , and y 5 that constitute a 5-pixel block of the learning image stored in the
次に、図２８のフローチャートを参照して、その動作について説明する。 Next, the operation will be described with reference to the flowchart of FIG.
学習用画像が入力されると、その学習用画像は、ブロック化回路１７７のメモリ１７７Ａに記憶されるとともに、最適補正データ算出部１７０に供給される。最適補正データ算出部１７０は、学習用画像を受信すると、ステップＳ１０１において、その学習用画像についての最適補正データを算出する。
When the learning image is input, the learning image is stored in the
このステップＳ１０１の処理は、図７のフローチャートの処理と同様である。すなわち、まず、圧縮部１７１が、ステップＳ１において、学習用画像を、１／２に間引くことにより圧縮データを生成し、補正部１７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部１７３に出力する。ローカルデコード部１７３では、ステップＳ２において、補正部１７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部１７４に供給される。
The processing in step S101 is the same as the processing in the flowchart in FIG. That is, first, in step S1, the
誤差算出部１７４は、ローカルデコード部１７３から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出し、誤差情報として、判定部１７５に供給する。判定部１７５は、誤差算出部１７４から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。
When the
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ５に進み、判定部１７５は、補正部１７２を制御し、これにより、圧縮部１７１から出力された圧縮データを補正させる。補正部１７２は、判定部１７５の制御に従って、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部１７３に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
That is, in step S4, it is determined whether the error information is equal to or less than a predetermined threshold value ε. If it is determined in step S4 that the error information is not equal to or less than the predetermined threshold ε, it is recognized that the correction data output from the
なお、圧縮データの補正は、例えば、上述の図２３で説明した、マッピング係数の変更と同様にして行うことが可能である。 The correction of the compressed data can be performed, for example, in the same manner as the mapping coefficient change described with reference to FIG.
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、判定部１７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部１７２からラッチ回路１７６に出力させ、その内蔵するメモリ１７６Ａに記憶させて、リターンする。
On the other hand, if it is determined in step S4 that the error information is equal to or smaller than the predetermined threshold ε, it is recognized that it is appropriate to use the correction data output from the
以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ１７６Ａに記憶させる。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。
As described above, the correction data obtained by correcting the compressed data when the error information is equal to or smaller than the predetermined threshold ε is stored in the
図２８に戻り、ラッチ回路１７６は、そのメモリ１７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路１７７に出力する。ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、ステップＳ１０２において、メモリ１７７Ａに記憶された学習用画像を、５画素で構成されるブロックに分割する。そして、ブロック化回路１７７は、メモリ１７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給する。
Returning to FIG. 28, the
また、同時に、ブロック化回路１７７は、メモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給し、ラッチ回路１７６は、その制御信号に対応して、メモリ１７７Ａから読み出された５画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ１８０に供給する。
At the same time, when the
そして、ステップＳ１０３に進み、ＡＤＲＣ処理回路１７８において、ブロック化回路１７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路１７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ１８０に供給される。
In step S103, the
メモリ１８０では、ステップＳ１０４において、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロック（学習データ）とが対応付けられて記憶される。
In the
そして、ステップＳ１０５に進み、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路１７７から次のブロックが読み出されるとともに、ラッチ回路１７６からそのブロックに対応する最適補正データが読み出され、ステップＳ１０３に戻り、以下、ステップＳ１０３以降の処理を繰り返す。
Then, the process proceeds to step S105, where it is determined whether or not the block and the optimum correction data for one frame are stored in the
また、ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ１０６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ１０６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ１０１に戻り、次の学習用画像について、ステップＳ１０１からの処理が繰り返される。
If it is determined in step S105 that the block and the optimal correction data for one frame have been stored in the
一方、ステップＳ１０６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ１０７に進み、演算回路１８１は、メモリ１８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路１８１は、ステップＳ１０８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ１０９において、メモリ１２に供給されて記憶され、処理を終了する。
On the other hand, if it is determined in step S106 that the processing for all the learning images has been completed, the process proceeds to step S107, and the arithmetic circuit 181 reads out the optimum correction data and blocks stored in the
関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ１８２に記憶されたマッピング係数を、図２１のマッピング係数メモリ１１４に記憶させ、これを用いて画像の符号化を行うことができる。
When the function f is expressed by a linear linear expression, the mapping coefficient stored in the
なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２１の演算回路１１６において、ブロック化回路１１１から出力されるブロックを構成する５画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ1乃至ｋ5＝１／５などが、デフォルトの値として設定される。
Note that, depending on the class, there may be cases where the number of normal equations that can determine the mapping coefficient cannot be obtained. In such a case, in the
次に、図２９は、図２１の送信装置に対応する受信装置４の構成例を示している。 Next, FIG. 29 illustrates a configuration example of the reception device 4 corresponding to the transmission device of FIG.
受信機／再生装置１９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部１９２に供給される。
In the receiver /
デコード部１９２は、図２５に示したローカルデコード部１２７におけるクラス分類用ブロック化回路１４１乃至予測回路１４６にそれぞれ対応するクラス分類用ブロック化回路１９３乃至予測回路１９８で構成されており、従って、デコード部１９２では、図２５のローカルデコード部１２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。
The decoding unit 192 includes class
補正データは、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の画像を得ることができる。 The correction data has error information that is equal to or less than a predetermined threshold value. Therefore, the receiving apparatus 4 can obtain an image that is almost the same as the original image.
なお、受信側においては、図２９に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。 On the receiving side, even if the receiving device 4 is not as shown in FIG. 29, a decoded image can be obtained by performing normal interpolation with a device that decodes the thinned image by interpolation. However, the decoded image obtained in this case has deteriorated image quality (resolution).
以上においては、Ｒ，Ｇ，Ｂのコンポーネント成分を用いて画素データを表現するようにしたが、コンポーネント信号としては、この他、それぞれ次の式で表される輝度信号Ｙ、色信号Ｉ、および色信号Ｑの組み合わせ、輝度信号Ｙ、色差信号Ｒ−Ｙ、および色差信号Ｂ−Ｙの組み合わせ、または、主に印刷の分野において用いられているＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、さらに必要に応じて加えられるＫ（ブラック）の組み合わせを用いることができる。 In the above, pixel data is expressed using R, G, and B component components. However, as component signals, a luminance signal Y, a color signal I, and Combination of color signal Q, luminance signal Y, color difference signal RY, and color difference signal BY, or C (cyan), M (magenta), Y (yellow) mainly used in the field of printing ), And a combination of K (black) added as necessary.
Ｉ＝０．６０Ｒ−０．２８Ｇ−０．３２Ｂ
Ｑ＝０．２１Ｒ−０．５２Ｇ＋０．３１Ｂ
Ｒ−Ｙ＝ ０．７Ｒ−０．５９Ｇ−０．１１Ｂ
Ｂ−Ｙ＝−０．３Ｒ−０．５９Ｇ＋０．８９Ｂ
Ｃ＝２５５−Ｒ
Ｍ＝２５５−Ｇ
Ｙ＝２５５−Ｂ
但し、Ｃ，Ｍ，Ｒは、Ｒ，Ｇ，Ｂをそれぞれ８ビットとする加法混色で表現されている。
I = 0.60R-0.28G-0.32B
Q = 0.21R-0.52G + 0.31B
RY = 0.7R-0.59G-0.11B
BY = -0.3R-0.59G + 0.89B
C = 255-R
M = 255-G
Y = 255-B
However, C, M, and R are expressed by an additive color mixture with R, G, and B being 8 bits each.
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ
DESCRIPTION OF
Claims (3)
前記第２の画素データを構成する前記コンポーネント信号と、その第２の画素データの近傍に位置する複数の前記第１の画素データそれぞれを構成する複数種類の前記コンポーネント信号および予測係数を用いて予測された前記第２の画素データを構成する前記コンポーネント信号の予測値との誤差を最小にする前記予測係数を求めるための演算を行う演算手段
を備えることを特徴とする学習装置。 An image processing apparatus for generating a second image having a higher spatial resolution from a first image having a lower spatial resolution composed of pixel data composed of a plurality of component signals combined to represent pixel data. The acquisition means for acquiring the first pixel data of the first image and the component signal constituting the first pixel data are located in the vicinity of the second pixel data of the second image. A second combination of the second image is obtained by linear combination of a plurality of types of the component signals constituting each of the plurality of first pixel data of the first image and a prediction coefficient obtained by learning in advance. And a prediction means for predicting a component signal constituting the pixel data. In the learning device for the,
Prediction using the component signal constituting the second pixel data and a plurality of types of component signals and prediction coefficients constituting each of the plurality of first pixel data located in the vicinity of the second pixel data A learning apparatus comprising: a calculation unit that performs a calculation for obtaining the prediction coefficient that minimizes an error from a predicted value of the component signal that constitutes the second pixel data.
前記演算手段は、前記クラスごとの前記第１の画素データを用いて前記演算を行う
ことを特徴とする請求項１に記載の学習装置。 Class classification means for classifying the first pixel data into classes;
The learning apparatus according to claim 1, wherein the calculation unit performs the calculation using the first pixel data for each class.
前記第２の画素データを構成する前記コンポーネント信号と、その第２の画素データの近傍に位置する複数の前記第１の画素データそれぞれを構成する複数種類の前記コンポーネント信号および予測係数を用いて予測された前記第２の画素データを構成する前記コンポーネント信号の予測値との誤差を最小にする前記予測係数を求めるための演算を行う演算ステップ
を備えることを特徴とする学習方法。 An image processing apparatus for generating a second image having a higher spatial resolution from a first image having a lower spatial resolution composed of pixel data composed of a plurality of component signals combined to represent pixel data. The acquisition means for acquiring the first pixel data of the first image and the component signal constituting the first pixel data are located in the vicinity of the second pixel data of the second image. A second combination of the second image is obtained by linear combination of a plurality of types of the component signals constituting each of the plurality of first pixel data of the first image and a prediction coefficient obtained by learning in advance. And a prediction means for predicting a component signal constituting the pixel data. In learning how to,
Prediction using the component signal constituting the second pixel data and a plurality of types of component signals and prediction coefficients constituting each of the plurality of first pixel data located in the vicinity of the second pixel data A learning method comprising: an operation step of performing an operation for obtaining the prediction coefficient that minimizes an error from a predicted value of the component signal constituting the second pixel data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007322804A JP4807349B2 (en) | 2007-12-14 | 2007-12-14 | Learning apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007322804A JP4807349B2 (en) | 2007-12-14 | 2007-12-14 | Learning apparatus and method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005302050A Division JP4566877B2 (en) | 2005-10-17 | 2005-10-17 | Image processing apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008136221A JP2008136221A (en) | 2008-06-12 |
| JP4807349B2 true JP4807349B2 (en) | 2011-11-02 |
Family
ID=39560684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007322804A Expired - Fee Related JP4807349B2 (en) | 2007-12-14 | 2007-12-14 | Learning apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4807349B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61205093A (en) * | 1985-03-08 | 1986-09-11 | Mitsubishi Electric Corp | Device for high efficiency coding of color image |
| JPH01288087A (en) * | 1988-05-13 | 1989-11-20 | Mitsubishi Electric Corp | Limited color picture processor |
| JP4190576B2 (en) * | 1994-08-31 | 2008-12-03 | ソニー株式会社 | Imaging signal processing apparatus, imaging signal processing method, and imaging apparatus |
| JPH08130744A (en) * | 1994-11-02 | 1996-05-21 | Sony Corp | Television receiver |
-
2007
- 2007-12-14 JP JP2007322804A patent/JP4807349B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008136221A (en) | 2008-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3748088B2 (en) | Image processing apparatus and method, and learning apparatus and method | |
| KR100538731B1 (en) | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks | |
| KR102477784B1 (en) | Image processing device and image processing method | |
| KR100537123B1 (en) | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium | |
| EP0820198B1 (en) | Apparatus and method for image coding and decoding | |
| WO1998030028A1 (en) | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium | |
| JP3946781B2 (en) | Image information conversion apparatus and method | |
| JP4807349B2 (en) | Learning apparatus and method | |
| JP4566877B2 (en) | Image processing apparatus and method | |
| JP3844031B2 (en) | Image coding apparatus and image coding method, and image decoding apparatus and image decoding method | |
| JP3747970B2 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
| JP3844030B2 (en) | Image signal encoding apparatus, image signal encoding method, image signal decoding apparatus, and image signal decoding method | |
| JP4534951B2 (en) | Image coding apparatus, image coding method, image processing system, image processing method, transmission method, and recording medium | |
| JP3912558B2 (en) | Image encoding apparatus, image encoding method, and recording medium | |
| JP4582416B2 (en) | Image coding apparatus and image coding method | |
| JP3867697B2 (en) | Image signal generation apparatus and generation method | |
| JP3906770B2 (en) | Digital image signal processing apparatus and method | |
| JP3912629B2 (en) | Image processing system, image encoding device, image encoding method, transmission method, and recording medium | |
| JP3952326B2 (en) | Image coding apparatus, image coding method, image processing system, image processing method, transmission method, and recording medium | |
| JP3906832B2 (en) | Image signal processing apparatus and processing method | |
| JP3963184B2 (en) | Signal processing apparatus and signal processing method | |
| JP4001143B2 (en) | Coefficient generation apparatus and method | |
| JP4487900B2 (en) | Image processing system | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP2002199393A (en) | Digital picture signal processor and its method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |