JP4123587B2 - 画像情報処理装置および方法 - Google Patents
画像情報処理装置および方法 Download PDFInfo
- Publication number
- JP4123587B2 JP4123587B2 JP23885898A JP23885898A JP4123587B2 JP 4123587 B2 JP4123587 B2 JP 4123587B2 JP 23885898 A JP23885898 A JP 23885898A JP 23885898 A JP23885898 A JP 23885898A JP 4123587 B2 JP4123587 B2 JP 4123587B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- image data
- symmetry
- spatial
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばテレビジョン受像機に用いて好適な画像情報処理装置および方法に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
かかる処理において、より高い解像度を得るためには、クラス分割を行うために用いる画素の数を増やして、空間パターンをより細かく分類するようにすれば良い。しかしながら、そのようにすると、クラス数が増加するため、大きな記憶容量を有するメモリが必要となったり、演算処理が複雑化する等の問題があった。より少ないクラス数を用いて出力画像の画質を損なわずに画像情報変換処理を行うようにすれば、上述したような問題を回避することができる。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、より少ないクラス数を用いて画像情報変換処理を行うことができる画像情報処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出手段と、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
第２の画像データ選択手段によって選択される画像データの位置を、クラス値変換手段によってなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置である。
【０００６】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
第３の画像データ選択手段によって選択される画像データの位置を、クラス値変換手段によってなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置である。
【０００７】
請求項５の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出ステップと、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２の空間クラス値に変換するクラス値変換ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
第２の画像データ選択ステップによって選択される画像データの位置を、クラス値変換ステップにおいてなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第２の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法である。
【０００８】
請求項６の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１の画像データ選択ステップによって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
第３の画像データ選択手段によって選択される画像データの位置を、クラス値変換ステップにおいてなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第３の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法である。
【００１１】
以上のような発明によれば、画像データが有する振幅対称性および／または空間対称性に基づいて、クラス分類適応処理による画像情報変換処理のきめ細かさを損なうこと無く、処理系内で扱われるクラスの数を削減することができる。
【００１２】
このため、より少ないクラス数で効率的な変換をすることができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
このような処理によって得られる画像信号についてより詳細に説明する。図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００１６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。
【００１７】
ラインデータｙ１，ｙ２は、５２５ｉ信号中の画素に基づくクラス分類および線型一次結合演算によって予測生成される。５２５ｉ信号中の画素配置と、ｙ１，ｙ２の位置関係の一例を図２に示す。図２では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００１８】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。図２から、ｙ１が５２５ｉ信号のラインと同一位置にあり、また、ｙ２が５２５ｉ信号のラインの中間位置にあることがわかる。
【００１９】
上述したような画像情報変換処理を行うための一般的な構成の一例を図３に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、６、７に供給される。
【００２０】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記する）を選択する。選択される予測タップが推定予測演算回路４に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００２１】
また、推定予測演算回路４には、後述する係数メモリ１１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２２】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、ラインデータｙ１およびｙ２が予測生成される。
【００２３】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２４】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。
【００２５】
空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。
【００２６】
クラス合成回路１０は、空間クラス値と動きクラス値とを合成し、合成されたクラス値を係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２７】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２８】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００３０】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３１】
【数１】
【００３２】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３３】
次に、予測係数を生成するための処理について説明する。図４に、予測係数の算出に係る処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００３４】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３５】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。
【００３６】
空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラス値および動きクラス値を合成し、合成したクラス値を正規方程式加算回路２７に供給する。
【００３７】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００３８】
正規方程式加算回路２７が算出したデータが予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００３９】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力画像信号データに対して行う。かかる入力画像信号データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００４０】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４１】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４２】
【数２】
【００４３】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４４】
【数３】
【００４５】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４６】
【数４】
【００４７】
【数５】
【００４８】
【数６】
【００４９】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力画像信号に基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００５０】
上述したような一般的な画像情報変換処理において、より精度の高い予測生成を行うためには、空間クラス分類を行うために使用されるタップの数を増やし、より細かな空間パターンの分類を行えば良い。しかしながら、そのようにすると、クラス数が大幅に増大してしまうという問題が生じる。そこで、この発明は、空間対称性を利用することにより、クラスを統合してクラス数を削減するようにしたものである。
【００５１】
この発明の一実施形態の全体的な構成について説明する。図５に、一実施形態における画像情報処理系の構成の一例を示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行う場合を前提としたものであるが、他の画像信号形式の入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。図４において、図１等を参照して上述した一般的な画像情報処理系中の構成要素と同様な構成要素には、同一の符号を付した。
【００５２】
ここでは、タップ選択回路１の後段にタップ位置組み替え回路１０１が設けられている。また、空間クラス検出回路１０２の後段に対称性判定・クラス値変換回路１０２が設けられている。対称性判定・クラス値変換回路１０２は、空間クラス検出回路８から供給される空間クラス値に基づいて、後述するような空間対称性および／または振幅対称性を判定し、判定結果をタップ位置組み替え回路１０１に供給すると共に、判定結果に対応するクラス値変換処理を行う。
【００５３】
クラス値変換処理された空間クラス値がクラス合成回路１０に供給される。これにより、クラス合成回路１０の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。後述するように、かかるクラス値変換処理は、空間対称性および／または振幅対称性を利用したクラス統合に対応する処理であり、従って、かかるクラス値変換処理によってクラス数が削減される。
【００５４】
タップ位置組み替え回路１０１は、対称性判定・クラス値変換回路１０２から供給される空間対称性および／または振幅対称性についての判定結果に基づいて、クラスタップ位置を組み替える。そして、組み替えたクラスタップ位置に対応する予測タップを推定予測演算回路４に供給する。タップ位置組み替え回路１０１の構成の一例を図６に示す。
【００５５】
後述するように、対称性判定・クラス値変換回路１０２から、空間対称性として水平対称性（Ｈ対称性）および垂直対称性（Ｖ対称性）、並びに時間対称性（Ｔ対称性）の各対称要素についての反転の有無を示すＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号が対称性判定・クラス値変換回路１０２から供給される。これらの信号に従って、それぞれ、Ｈタップ位置反転回路１５１、Ｖタップ位置反転回路１５２，Ｔタップ位置反転回路１５３がタップ位置反転処理を行う。
【００５６】
次に、一実施形態において予測係数を生成するための処理について説明する。図７に、かかる処理系の構成の一例を示す。ここで、図４等を参照して上述した、予測係数を生成するための一般的な処理系中の構成要素と同様な構成要素には同一の符号を付した。空間クラス検出回路２４の後段に対称性判定・クラス値変換回路１０３が設けられる。
【００５７】
対称性判定・クラス値変換回路１０３は、空間クラス検出回路２４から供給される空間クラス情報に基づいて空間対称性および／または振幅対称性を判定し、判定結果をタップ位置組み替え回路１０４に供給すると共に、判定結果に対応するクラス値変換処理を行う。そして、クラス値変換処理によって生成したクラス値を、クラス合成回路２６に供給する。これにより、クラス合成回路２６の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。
【００５８】
タップ位置組み替え回路１０４は、例えば図６を参照して上述したタップ位置組み替え回路１０１と同様の構成を有し、対称性判定・クラス値変換回路１０３から供給される空間対称性に関する情報に基づいてクラスタップ位置を組み替える。そして、組み替えたクラスタップ位置に対応する予測タップを正規方程式加算回路２７に供給する。
【００５９】
これにより、正規方程式加算回路２７、予測係数決定回路２８の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。従って、係数メモリ２９には、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映する予測係数データが記憶されることになる。図５を参照して上述した画像情報変換処理系の動作に先立って、係数メモリ２９の記憶内容が係数メモリ１１にロードされる。
【００６０】
なお、タップ選択回路２１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図７中の予測係数決定部２８では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００６１】
なお、図５に示したような画像信号変換処理系、図７に示したような予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、２１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００６２】
次に、ｙ１の空間クラス分類に使用されるタップ配置の一例を図８Ａに示す。また、ｙ１内の画素の予測生成に使用されるタップ配置の一例を図８Ｂに示す。さらに、ｙ２の空間クラス分類に使用されるタップ配置の一例を図９Ａに示し、ｙ２内の画素の予測生成に使用されるタップ配置の一例を図９Ｂに示す。以下の説明は、図２等を参照して上述した画像情報変換処理系中の空間クラス検出回路８において、図８、図９に示すようなタップ配置によって規定されるクラス分割点を使用して１ビットＡＤＲＣを行うことによってクラス分類を行う場合を前提として行う。
【００６３】
図８、図９における座標軸のとり方は以下のようなものである。すなわち、フレーム内の水平方向を、図中の水平方向の座標軸（以下、ｈ軸と表記する）に対応させる。また、フレーム内の垂直方向を、図中の垂直方向の座標軸（以下、ｖ軸と表記する）に対応させる。さらに、時間方向、すなわちフレームの時間的順序を示す方向を、図中の手前から奥に向かう座標軸（以下、ｔ軸と表記する）に対応させる。これ以降の説明において参照する、空間対称性の説明に係る各図においても、同様な座標軸を用いる。図８Ａ、図８Ｂにおいて、クラス分類用タップａ，ｂ，ｅ，ｈ，ｉは、いずれもｖ−ｔ面上に位置している。また、図９Ａ、図９Ｂにおいて、クラス分類用タップｂ，ｃ，ｄ，ｉ，ｊ，ｋは、いずれもｈ−ｔ面上に位置している。
【００６４】
対称性判定・クラス値変換回路１０２においてなされる、空間対称性を利用したクラス統合について説明する。以下の説明は、ｙ１の空間クラス分類に使用される空間クラスタップ配置の一例（図８Ａ参照）を前提として行うが、他の空間クラスタップ配置を用いる場合にも適用できる。Ｈ対称性、すなわちｖ−ｔ面に関する対称性を例として、空間対称性を利用した空間クラスの統合について説明する。空間クラス検出回路４の出力が図１０Ａに示す空間パターンに分類される場合の予測係数を図１０Ｂに示す。
【００６５】
ここで、図１０Ａにおける各タップａ〜ｉにおいては、白丸が例えば'1' 、黒丸が例えば'0' に対応する。また、ａ〜ｉに対応する、図１０Ｂ中の予測係数は、それぞれｋa 〜ｋi である。一方、図１１Ａに、図１０ＡをＨ反転した空間パターンの一例を示す。ここで、Ｈ反転は、Ｈ対称性における対称要素であるｖ−ｔ面に関して反転する（鏡像の関係とする）空間反転操作である。ｖ−ｔ面上に無いタップｄ，ｆの符号が図１０Ａと図１１Ａでは反転している。図１１Ａに示す空間パターンに対応する予測係数ｋa ’〜ｋi ’を図１１Ｂに示す。
【００６６】
図４等を参照して上述したように、出力画像信号と同じ信号形式を有する既知の複数個の画像信号に基づいて、線形予測推定式を解く演算処理を行うことによって予測係数が算出される。このような算出方法のため、ある任意の空間パターンとかかる任意の空間パターンをＨ反転して得られる空間パターンに分類されるクラスに対応して使用されるべき予測係数は、かかる任意の空間パターンに分類されるクラスに対応して使用されるべき予測係数と、ｖ−ｔ面に関して鏡像の関係となる。
【００６７】
上述の例においては、図１１Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数は、図１０Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数に対して、ｖ−ｔ面に関して鏡像の関係となる。従って、図１１Ｂに示す予測係数ｋ’a 〜ｋ’i は、図１０Ｂに示した予測係数ｋa 〜ｋi をＨ反転することによって得ることができる。すなわち、図１０Ａおよび図１１Ａの空間パターンに分類されるクラスについては、共通の係数値を状況に応じてＨ反転することにより、予測係数を得ることができる。より一般的には、以下のことがわかる。すなわち、空間パターン分割に使用されるタップの位置関係が互いにＨ対称の関係を成す空間パターンに分類されるクラスは、統合することができる。
【００６８】
上述したような、Ｈ対称性を利用したクラス統合と同様にして、Ｖ対称性すなわちｈ−ｔ面に関する対称性，およびＴ対称性すなわちｖ−ｈ面に関する対称性を利用してクラス統合を行うことも可能である。このことについて図１２を参照して説明する。図１２Ａが空間パターンの一例を示す。また、図１２Ｂ，図１２Ｃ，図１２Ｄに、かかる一例に対して、それぞれ、Ｈ反転、Ｖ反転、Ｔ反転が施されてなる空間パターンの例を示す。
【００６９】
図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｂに示す空間パターンに分類されるクラスは、互いにＨ対称の関係にあるので、上述したようにクラス統合することができる。同様に、図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｃに示す空間パターンに分類されるクラスとは、互いにＶ対称の関係にあるのでクラス統合することができ、さらに、図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｄに示す空間パターンに分類されるクラスとは、互いにＶ対称の関係にあるのでクラス統合することができる。
【００７０】
また、ｖ−ｔ面、ｈ−ｔ面、ｈ−ｖ面に関する対称性を組合わせてなる対称性を有する空間パターンに分類されるクラスについても、クラス統合が可能である。図１２Ａに示した空間パターンの一例に対して、ＨＶ対称性（Ｈ対称性とＶ対称性との組合わせ）を有する空間パターンの例を図１３Ａに示す。また、ＴＨ対称（Ｔ対称性とＨ対称性との組合わせ）を図１３Ｂに示す。さらに、ＶＴ対称（Ｖ対称性とＴ対称性との組合わせ）を有する空間パターンの例を図１３Ｃに示す。一方、ＨＶＴ対称（Ｈ対称性、Ｖ対称性、Ｔ対称性の組合わせ）を有する空間パターンの例を図１３Ｄに示す。
【００７１】
例えば、図１３Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数に対して、ＨＶ対称性における対称要素、すなわちｖ−ｔ面およびｈ−ｔ面に関して鏡像の関係となる。従って、図１３Ａに示す予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数をｖ−ｔ面およびｈ−ｔ面に関して反転することによって得ることができる。同様に、例えば、図１３Ｄに示す予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数をＨＶＴ対称における対称要素、すなわちｖ−ｔ面，ｈ−ｔ面およびｈ−ｖ面に関して反転することによって得ることができる。
【００７２】
次に、振幅対称性、すなわち振幅方向の対称性を利用したクラス統合について説明する。まず、図１４Ａに示す空間パターンに対応する予測係数を図１４Ｂに示す。一方、図１４Ａに示した空間パターンに対して、振幅反転した、すなわち各入力画素の符号が反対である空間パターンを図１５Ａに示す。図１５Ａに示した空間パターンは、図１４Ａに示した空間パターンを有する入力画像信号を反転させることによって、より具体的には入力画像信号の最大値から当該入力画像信号を引くことによって生成することができる。
【００７３】
上述したように、予測係数は、入力画像信号における各々の空間パターン毎に、入力画像信号と予測生成される画素の間の不変的な関係に対応するものとして求められる。このため、任意の空間パターンを振幅方向に反転させることによって得られる空間パターンから予測生成される画素値は、かかる任意の空間パターンから予測生成される画素値を反転した値となる。従って、図１４Ａに示した空間パターンを有する入力画像信号を反転させ、図１４Ｂに示した予測係数を用いて式（１）による予測生成演算を行うことにより、図１５Ａに示した空間パターンを有する入力画像信号に対応する画素値の予測生成を行うことができる。
【００７４】
また、式（１）は１次線形結合式であり、また、学習時に入力される、出力画像信号と同一の信号形式を有する画像信号と推定画素データの振幅とは対等であることから、予測係数の総和は１となる。このため、以下の式（１１）に示すように入力画像信号の反転および推定画素の反転は相殺されることになり、結果として、図１５Ａに示した空間パターンに対応する予測係数として、図１４Ａに示した空間パターンに対応する予測係数をそのまま用いることができる。すなわち、図１５Ｂ中のｋ’’a 〜ｋ’’i は、図１４Ｂ中のｋa 〜ｋi と一致することになる。
【００７５】
【数７】
【００７６】
以上の説明からわかるように、互いに振幅反転の関係にある空間パターンに分類されるクラスは、統合することができる。
【００７７】
また、図１２等を参照して上述した、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つ、または２つ以上を組合わせてなる対称性と、振幅対称性とを組合わせてなる対称性を有する空間パターンに分類されるクラスについても、クラス統合が可能である。まず、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つと、振幅対称とを組合わせてなる対称性を有する空間パターンの例についてを図１６を参照して説明する。図１６Ａには、図１４Ａに示した空間パターンの一例に振幅反転が施されてなる空間パターンの例を示す。
【００７８】
また、図１６Ｂには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＨ反転とが施されてなる空間パターンの例を示す。さらに、図１４Ａに示した空間パターンの一例に対して振幅反転とＶ反転とが施されてなる空間パターンの例、および図１４Ａに示した空間パターンの一例に対して振幅反転とＴ反転とが施されてなる空間パターンの例を、それぞれ、図１６Ｃおよび図１６Ｄに示す。
【００７９】
さらに、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の２つ以上と、振幅対称とを組合わせてなる対称性を有する空間パターンの例について図１７を参照して説明する。図１７Ａには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＨＶ反転とが施されてなる空間パターンの例を示す。また、図１７Ｂには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＴＨ反転とが施されてなる空間パターンの例を示す。さらに、図１７Ｃには、図１４Ａに示した空間パターンの一例に対して振幅反転とＶＴ反転とが施されてなる空間パターンの例を示す。よりさらに、図１７Ｄに、図１４Ａに示した空間パターンの一例に対して、振幅反転とＶＴ反転とが施されてなる空間パターンの例を示す。
【００８０】
上述したような各対称性に係る空間クラス値変換処理について、図１８、図１９を参照して説明する。図１８Ａには、入力画像信号の空間パターンの一例を示す。また、図１８Ａに示す空間パターンの一例に、Ｈ反転，Ｖ反転，Ｔ反転が施されてなる空間パターンを、それぞれ、図１８Ｂ，図１８Ｃ，図１８Ｄに示す。ここで、黒塗りを付したタップの値が例えば'1' 、白のタップの値が例えば'0' を示す。
【００８１】
これらの各タップの値の総体として検出される空間クラス値は、例えば各タップＰ，Ｑ，Ｒ，Ｓ，Ｔの値をこの順に並べた５ビットの値として定義することができる。かかる定義によれば、図１８Ａに示した一例についての空間クラス値＝００１１１となり、１０進表現では７となる。また、図１８Ｂに示した一例についての空間クラス値＝０１１０１となり、１０進表現では１３となる。同様に、図１８Ｃ、図１８Ｄに示した空間パターンについての空間クラス値は、それぞれ、１０１１０（１０進表現では２２）、１１１００（１０進表現では２８）となる。勿論、空間クラス値の定義は、上述したものに限定されない。
【００８２】
同様に、入力画像信号の空間パターンの他の例を図１９Ａに示す。さらに、かかる空間パターンの他の例に、Ｈ反転，Ｖ反転，Ｔ反転が施されてなる空間パターンを、それぞれ、図１９Ｂ，図１９Ｃ，図１９Ｄに示す。ここでも図１８の場合と同様に空間クラス値が検出されるものとすると、空間クラス値は、図１８Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄに示した空間パターンについて、それぞれ１１１００（１０進表現では２８）、１０１１０（１０進表現では２２）、０１１０１（１０進表現では１３）、００１１１（１０進表現では７）となる。
【００８３】
次に、空間クラス検出回路８（図５参照）から供給される空間クラス値から、上述したような空間対称性および／または振幅対称性を検出する、対称性判定・クラス値変換回路１０２について、図２０を参照して詳細に説明する。空間クラス値は、最小値判定回路２１６、振幅反転回路２０８，およびＨ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７に供給される。
【００８４】
最小値判定回路２１６、振幅反転回路２０８については後述する。Ｈ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７は、供給されるクラス値に対して、それぞれ、Ｈ反転処理、Ｖ反転処理、Ｔ反転処理、ＨＶ反転処理、ＶＴ反転処理、ＴＨ反転処理、ＨＴＶ反転処理を行う。これら７種類の空間反転処理の結果として得られるクラス値は、それぞれ、最小値判定回路２１６と、振幅反転処理を行う構成とに供給される。
【００８５】
振幅反転処理を行う構成として、Ｈ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７の後段にそれぞれ振幅反転回路２０９、２１０、２１１、２１２、２１３、２１４、２１５が設けられている。また、上述した振幅反転回路２０８は、空間クラス検出回路８から供給されるクラス値に対して振幅反転処理を行う。振幅反転回路２０８、２０９、２１０、２１１、２１２、２１３、２１４、２１５の出力が最小値判定回路に供給される。
【００８６】
以上のような構成により、７種類の空間反転処理の結果として得られるクラス値および空間クラス検出回路８から供給されるクラス値の計８種類のクラス値と、それら８種類のクラス値に振幅反転処理が施されてなる８種類のクラス値、従って全部で１６種類のクラス値が最小値判定回路２１６に供給される。最小値判定回路２１６は、供給される１６種類のクラス値の内で最小のものを判定し、判定結果である最小のクラス値を、代表クラス値として再アドレッシング処理回路２１７に供給する。なお、代表クラス値は、必ずしも最小のクラス値には限定されず、例えば最大のクラス値としても良い。但し、最小のクラス値を用いる場合には、代表クラス値を表現するための情報量を最小にすることができるという利点がある。
【００８７】
また、最小値判定回路２１６は、空間クラス検出回路８から供給されるクラス値から最小のクラス値を得るために施される反転処理を示す情報を生成する。このような情報としては、最小のクラス値を得るための処理において、Ｈ反転処理、Ｖ反転処理、Ｔ反転処理の各々が施されたか否かを示す、例えば各１ビットのＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号を生成するようにすれば良い。これらの信号がタップ位置組み替え回路１０１（図５参照）に供給される。
【００８８】
上述したようにして生成される代表クラス値は、空間クラス検出回路８から順次供給される各クラス値に対して離散的な値をとる。このため、再アドレッシング処理回路２１７は、空間クラス検出回路８から順次供給される各クラス値の内で欠落する値をスキップして連続したクラス値に変換する処理を行う。再アドレッシング処理回路２１７の出力が対称性判定・クラス値変換回路１０２による変換処理の結果として生成される最終的な空間クラス値として、クラス合成回路１０（図５参照）に供給される。従って、クラス合成回路１０の出力は、対称性判定・クラス値変換回路１０２による、空間対称性を利用したクラス値変換処理の結果に基づくものとなる。
【００８９】
以上のようなクラス値変換により、空間クラス値に関しては、１個の代表クラス値によって特定される係数メモリ１１内の予測係数データが１６種類の空間パターンに対応することになる。従って、１６種類の空間パターンが１個のクラスに統合されることになる。
【００９０】
また、タップ位置組み替え回路１０１は、供給されるＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号に基づいて、推定予測演算回路４においてなされる推定予測演算に使用されるタップデータの位置を組み替える。これにより、１個のクラスに類別される１６種類の空間パターンに対応して、タップデータの位置が的確に組み替えられる。従って、対称性判定・クラス値変換回路１０２による変換処理の結果に基づいて（すなわち、各代表クラス値に基づいて）生成されるクラス合成回路１０の出力に従って係数メモリ１１から出力される予測係数データと、タップデータとの推定予測演算における整合性が担保される。従って、ラインデータｙ１，ｙ２の予測生成を的確に行うことができる。
【００９１】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、水平周期を２倍とするライン倍速処理を行う。図２１は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００９２】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。このようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００９３】
上述したこの発明の一実施形態は、対称性判定とクラス値変換とを一括して行うようにしたものである。これに対し、対称性判定およびクラス値変換を、対称要素毎に行うようにした、この発明の他の実施形態も可能である。図２２に、他の実施形態における画像情報変換処理系の一例を示す。ここで、図５中の構成要素と同様な構成要素には、同一の符号を付した。
【００９４】
空間クラス検出回路８が生成する空間クラス値は、対称性判定回路１０５と、クラス値変換回路１０６とに供給される。対称性判定回路１０５は、例えば上述した一実施形態中の対称性判定・クラス値変換回路１０２と同様な構成を有し、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号を出力する。ここで、振幅反転の有無は、タップ位置組み替えを行うためには不必要な情報なので、上述した一実施形態中の対称性判定・クラス値変換回路１０２（図５参照）においては振幅反転情報信号は出力されない。しかし、クラス値変換処理を対称性判定と別個に行う他の実施形態においては、対称性判定回路１０５が振幅反転情報信号をも出力するようになされる。
【００９５】
対称性判定回路１０５の出力の内、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号がクラス値変換処理回路１０６に供給される。また、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号がタップ位置組み替え回路１０１に供給される。タップ位置組み替え回路１０１は、供給される各反転情報信号を参照してタップ位置組み替え処理を行う。
【００９６】
クラス値変換処理回路１０６の構成の一例を図２３に示す。空間クラス検出回路８から供給されるクラス値がＨ対称クラス値変換回路１１０に供給される。Ｈ対称クラス値変換回路１１０の後段には、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３が順に設けられる。Ｈ対称クラス値変換回路１１０、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３には、それぞれ、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号が供給される。
【００９７】
Ｈ対称クラス値変換回路１１０、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３は、各々に供給される反転情報信号を参照して、クラス値変換処理を行う。これらのクラス値変換処理の総体により、１６種類の空間パターン中で例えば最小のクラス値が代表クラス値として生成される。
【００９８】
振幅対称クラス値変換回路１１３の後段には、再アドレッシング処理回路１１４が設けられる。再アドレッシング処理回路１１４は、上述した一実施形態中の再アドレッシング処理回路２１７（図２０参照）と同様に、空間クラス検出回路８から順次供給される各クラス値の内で欠落する値をスキップして連続したクラス値に変換する処理を行う。再アドレッシング処理回路１１４の出力が対称性判定・クラス値変換回路１０５による変換処理の結果としての最終的な空間クラス値として出力される。
【００９９】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【０１００】
【発明の効果】
上述したように、この発明は、入力画像信号から走査線構造の異なる出力画像信号を形成する画像情報変換処理を行うに際して、画像データが有する振幅対称性および／または空間対称性に基づいてなされるクラス統合に対応するクラス値変換処理を施して、クラス数を削減するようにしたものである。
【０１０１】
このため、クラス分類適応処理による画像情報変換処理のきめ細かさを損なうこと無く、処理系内で扱われるクラスの数を削減することができるので、より少ないクラス数で効率的な処理を行うことができる。
【０１０２】
従って、装置内のメモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となるので、メモリ資産の記憶容量を削減することができる。このため、装置全体に関する、小型化、低コスト化等に寄与することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図３】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図４】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図５】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例中の一部の構成を示すブロック図である。
【図７】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図８】ラインデータｙ１についての空間クラスタップの配置の一例および予測タップの配置の一例を示す略線図である。
【図９】ラインデータｙ２についての空間クラスタップの配置の一例および予測タップの配置の一例を示す略線図である。
【図１０】空間パターンの一例と、それに対応する予測係数の一例とについて説明するための略線図である。
【図１１】図１１に示した空間パターンがＨ反転された場合の、空間パターンと予測係数とについて説明するための略線図である。
【図１２】Ｈ対称性、Ｖ対称性、Ｔ対称性について説明するための略線図である。
【図１３】Ｈ対称性、Ｖ対称性、Ｔ対称性の内の２つまたは３つを組合わせてなる対称性について説明するための略線図である。
【図１４】空間パターンの一例と、それに対応する予測係数の一例とについて説明するための略線図である。
【図１５】図１４に示した空間パターンが振幅反転された場合の、空間パターンと予測係数とについて説明するための略線図である。
【図１６】Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つと、振幅対称とを組合わせてなる対称性を有する空間パターンについて説明するための略線図である。
【図１７】Ｈ対称性、Ｖ対称性，Ｔ対称性の内の２つ以上と、振幅対称とを組合わせてなる対称性を有する空間パターンについて説明するための略線図である。
【図１８】対称性判定の一例について説明するための略線図である。
【図１９】対称性判定の他の例について説明するための略線図である。
【図２０】この発明の一実施形態における画像情報変換処理系の構成の一例中の他の一部の構成を示すブロック図である。
【図２１】ライン倍速処理について説明するための略線図である。
【図２２】この発明の他の実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図２３】この発明の他の実施形態における画像情報変換処理系の構成の一例中の一部の構成を示すブロック図である。
【符号の説明】
１０１・・・タップ位置組み替え回路、１０２・・・対称性判定・クラス値変換回路、２１７・・・再アドレッシング処理回路
【発明の属する技術分野】
この発明は、例えばテレビジョン受像機に用いて好適な画像情報処理装置および方法に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
かかる処理において、より高い解像度を得るためには、クラス分割を行うために用いる画素の数を増やして、空間パターンをより細かく分類するようにすれば良い。しかしながら、そのようにすると、クラス数が増加するため、大きな記憶容量を有するメモリが必要となったり、演算処理が複雑化する等の問題があった。より少ないクラス数を用いて出力画像の画質を損なわずに画像情報変換処理を行うようにすれば、上述したような問題を回避することができる。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、より少ないクラス数を用いて画像情報変換処理を行うことができる画像情報処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出手段と、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
第２の画像データ選択手段によって選択される画像データの位置を、クラス値変換手段によってなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置である。
【０００６】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
第３の画像データ選択手段によって選択される画像データの位置を、クラス値変換手段によってなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置である。
【０００７】
請求項５の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出ステップと、
第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２の空間クラス値に変換するクラス値変換ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
第２の画像データ選択ステップによって選択される画像データの位置を、クラス値変換ステップにおいてなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第２の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法である。
【０００８】
請求項６の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１の画像データ選択ステップによって選択される画像データの振幅対称性および／または空間対称性を判定し、振幅対称性および／または空間対称性を同一とする複数の第１の空間クラス値を、振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
第３の画像データ選択手段によって選択される画像データの位置を、クラス値変換ステップにおいてなされた第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた画像データと、第２のクラス値に対応して記憶手段から選択される予測係数データとの線型一次結合によって、注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数は、
出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、第３の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法である。
【００１１】
以上のような発明によれば、画像データが有する振幅対称性および／または空間対称性に基づいて、クラス分類適応処理による画像情報変換処理のきめ細かさを損なうこと無く、処理系内で扱われるクラスの数を削減することができる。
【００１２】
このため、より少ないクラス数で効率的な変換をすることができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
このような処理によって得られる画像信号についてより詳細に説明する。図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００１６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。
【００１７】
ラインデータｙ１，ｙ２は、５２５ｉ信号中の画素に基づくクラス分類および線型一次結合演算によって予測生成される。５２５ｉ信号中の画素配置と、ｙ１，ｙ２の位置関係の一例を図２に示す。図２では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００１８】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。図２から、ｙ１が５２５ｉ信号のラインと同一位置にあり、また、ｙ２が５２５ｉ信号のラインの中間位置にあることがわかる。
【００１９】
上述したような画像情報変換処理を行うための一般的な構成の一例を図３に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、６、７に供給される。
【００２０】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記する）を選択する。選択される予測タップが推定予測演算回路４に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００２１】
また、推定予測演算回路４には、後述する係数メモリ１１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２２】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、ラインデータｙ１およびｙ２が予測生成される。
【００２３】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２４】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。
【００２５】
空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。
【００２６】
クラス合成回路１０は、空間クラス値と動きクラス値とを合成し、合成されたクラス値を係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２７】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２８】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００３０】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３１】
【数１】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３３】
次に、予測係数を生成するための処理について説明する。図４に、予測係数の算出に係る処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００３４】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３５】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。
【００３６】
空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラス値および動きクラス値を合成し、合成したクラス値を正規方程式加算回路２７に供給する。
【００３７】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００３８】
正規方程式加算回路２７が算出したデータが予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００３９】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力画像信号データに対して行う。かかる入力画像信号データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００４０】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４１】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４２】
【数２】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４４】
【数３】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４６】
【数４】
【数５】
【数６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力画像信号に基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００５０】
上述したような一般的な画像情報変換処理において、より精度の高い予測生成を行うためには、空間クラス分類を行うために使用されるタップの数を増やし、より細かな空間パターンの分類を行えば良い。しかしながら、そのようにすると、クラス数が大幅に増大してしまうという問題が生じる。そこで、この発明は、空間対称性を利用することにより、クラスを統合してクラス数を削減するようにしたものである。
【００５１】
この発明の一実施形態の全体的な構成について説明する。図５に、一実施形態における画像情報処理系の構成の一例を示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行う場合を前提としたものであるが、他の画像信号形式の入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。図４において、図１等を参照して上述した一般的な画像情報処理系中の構成要素と同様な構成要素には、同一の符号を付した。
【００５２】
ここでは、タップ選択回路１の後段にタップ位置組み替え回路１０１が設けられている。また、空間クラス検出回路１０２の後段に対称性判定・クラス値変換回路１０２が設けられている。対称性判定・クラス値変換回路１０２は、空間クラス検出回路８から供給される空間クラス値に基づいて、後述するような空間対称性および／または振幅対称性を判定し、判定結果をタップ位置組み替え回路１０１に供給すると共に、判定結果に対応するクラス値変換処理を行う。
【００５３】
クラス値変換処理された空間クラス値がクラス合成回路１０に供給される。これにより、クラス合成回路１０の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。後述するように、かかるクラス値変換処理は、空間対称性および／または振幅対称性を利用したクラス統合に対応する処理であり、従って、かかるクラス値変換処理によってクラス数が削減される。
【００５４】
タップ位置組み替え回路１０１は、対称性判定・クラス値変換回路１０２から供給される空間対称性および／または振幅対称性についての判定結果に基づいて、クラスタップ位置を組み替える。そして、組み替えたクラスタップ位置に対応する予測タップを推定予測演算回路４に供給する。タップ位置組み替え回路１０１の構成の一例を図６に示す。
【００５５】
後述するように、対称性判定・クラス値変換回路１０２から、空間対称性として水平対称性（Ｈ対称性）および垂直対称性（Ｖ対称性）、並びに時間対称性（Ｔ対称性）の各対称要素についての反転の有無を示すＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号が対称性判定・クラス値変換回路１０２から供給される。これらの信号に従って、それぞれ、Ｈタップ位置反転回路１５１、Ｖタップ位置反転回路１５２，Ｔタップ位置反転回路１５３がタップ位置反転処理を行う。
【００５６】
次に、一実施形態において予測係数を生成するための処理について説明する。図７に、かかる処理系の構成の一例を示す。ここで、図４等を参照して上述した、予測係数を生成するための一般的な処理系中の構成要素と同様な構成要素には同一の符号を付した。空間クラス検出回路２４の後段に対称性判定・クラス値変換回路１０３が設けられる。
【００５７】
対称性判定・クラス値変換回路１０３は、空間クラス検出回路２４から供給される空間クラス情報に基づいて空間対称性および／または振幅対称性を判定し、判定結果をタップ位置組み替え回路１０４に供給すると共に、判定結果に対応するクラス値変換処理を行う。そして、クラス値変換処理によって生成したクラス値を、クラス合成回路２６に供給する。これにより、クラス合成回路２６の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。
【００５８】
タップ位置組み替え回路１０４は、例えば図６を参照して上述したタップ位置組み替え回路１０１と同様の構成を有し、対称性判定・クラス値変換回路１０３から供給される空間対称性に関する情報に基づいてクラスタップ位置を組み替える。そして、組み替えたクラスタップ位置に対応する予測タップを正規方程式加算回路２７に供給する。
【００５９】
これにより、正規方程式加算回路２７、予測係数決定回路２８の出力は、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映するものとなる。従って、係数メモリ２９には、空間対称性および／または振幅対称性を利用したクラス統合の結果を反映する予測係数データが記憶されることになる。図５を参照して上述した画像情報変換処理系の動作に先立って、係数メモリ２９の記憶内容が係数メモリ１１にロードされる。
【００６０】
なお、タップ選択回路２１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図７中の予測係数決定部２８では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００６１】
なお、図５に示したような画像信号変換処理系、図７に示したような予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、２１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００６２】
次に、ｙ１の空間クラス分類に使用されるタップ配置の一例を図８Ａに示す。また、ｙ１内の画素の予測生成に使用されるタップ配置の一例を図８Ｂに示す。さらに、ｙ２の空間クラス分類に使用されるタップ配置の一例を図９Ａに示し、ｙ２内の画素の予測生成に使用されるタップ配置の一例を図９Ｂに示す。以下の説明は、図２等を参照して上述した画像情報変換処理系中の空間クラス検出回路８において、図８、図９に示すようなタップ配置によって規定されるクラス分割点を使用して１ビットＡＤＲＣを行うことによってクラス分類を行う場合を前提として行う。
【００６３】
図８、図９における座標軸のとり方は以下のようなものである。すなわち、フレーム内の水平方向を、図中の水平方向の座標軸（以下、ｈ軸と表記する）に対応させる。また、フレーム内の垂直方向を、図中の垂直方向の座標軸（以下、ｖ軸と表記する）に対応させる。さらに、時間方向、すなわちフレームの時間的順序を示す方向を、図中の手前から奥に向かう座標軸（以下、ｔ軸と表記する）に対応させる。これ以降の説明において参照する、空間対称性の説明に係る各図においても、同様な座標軸を用いる。図８Ａ、図８Ｂにおいて、クラス分類用タップａ，ｂ，ｅ，ｈ，ｉは、いずれもｖ−ｔ面上に位置している。また、図９Ａ、図９Ｂにおいて、クラス分類用タップｂ，ｃ，ｄ，ｉ，ｊ，ｋは、いずれもｈ−ｔ面上に位置している。
【００６４】
対称性判定・クラス値変換回路１０２においてなされる、空間対称性を利用したクラス統合について説明する。以下の説明は、ｙ１の空間クラス分類に使用される空間クラスタップ配置の一例（図８Ａ参照）を前提として行うが、他の空間クラスタップ配置を用いる場合にも適用できる。Ｈ対称性、すなわちｖ−ｔ面に関する対称性を例として、空間対称性を利用した空間クラスの統合について説明する。空間クラス検出回路４の出力が図１０Ａに示す空間パターンに分類される場合の予測係数を図１０Ｂに示す。
【００６５】
ここで、図１０Ａにおける各タップａ〜ｉにおいては、白丸が例えば'1' 、黒丸が例えば'0' に対応する。また、ａ〜ｉに対応する、図１０Ｂ中の予測係数は、それぞれｋa 〜ｋi である。一方、図１１Ａに、図１０ＡをＨ反転した空間パターンの一例を示す。ここで、Ｈ反転は、Ｈ対称性における対称要素であるｖ−ｔ面に関して反転する（鏡像の関係とする）空間反転操作である。ｖ−ｔ面上に無いタップｄ，ｆの符号が図１０Ａと図１１Ａでは反転している。図１１Ａに示す空間パターンに対応する予測係数ｋa ’〜ｋi ’を図１１Ｂに示す。
【００６６】
図４等を参照して上述したように、出力画像信号と同じ信号形式を有する既知の複数個の画像信号に基づいて、線形予測推定式を解く演算処理を行うことによって予測係数が算出される。このような算出方法のため、ある任意の空間パターンとかかる任意の空間パターンをＨ反転して得られる空間パターンに分類されるクラスに対応して使用されるべき予測係数は、かかる任意の空間パターンに分類されるクラスに対応して使用されるべき予測係数と、ｖ−ｔ面に関して鏡像の関係となる。
【００６７】
上述の例においては、図１１Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数は、図１０Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数に対して、ｖ−ｔ面に関して鏡像の関係となる。従って、図１１Ｂに示す予測係数ｋ’a 〜ｋ’i は、図１０Ｂに示した予測係数ｋa 〜ｋi をＨ反転することによって得ることができる。すなわち、図１０Ａおよび図１１Ａの空間パターンに分類されるクラスについては、共通の係数値を状況に応じてＨ反転することにより、予測係数を得ることができる。より一般的には、以下のことがわかる。すなわち、空間パターン分割に使用されるタップの位置関係が互いにＨ対称の関係を成す空間パターンに分類されるクラスは、統合することができる。
【００６８】
上述したような、Ｈ対称性を利用したクラス統合と同様にして、Ｖ対称性すなわちｈ−ｔ面に関する対称性，およびＴ対称性すなわちｖ−ｈ面に関する対称性を利用してクラス統合を行うことも可能である。このことについて図１２を参照して説明する。図１２Ａが空間パターンの一例を示す。また、図１２Ｂ，図１２Ｃ，図１２Ｄに、かかる一例に対して、それぞれ、Ｈ反転、Ｖ反転、Ｔ反転が施されてなる空間パターンの例を示す。
【００６９】
図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｂに示す空間パターンに分類されるクラスは、互いにＨ対称の関係にあるので、上述したようにクラス統合することができる。同様に、図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｃに示す空間パターンに分類されるクラスとは、互いにＶ対称の関係にあるのでクラス統合することができ、さらに、図１２Ａに示す空間パターンに分類されるクラスと、図１２Ｄに示す空間パターンに分類されるクラスとは、互いにＶ対称の関係にあるのでクラス統合することができる。
【００７０】
また、ｖ−ｔ面、ｈ−ｔ面、ｈ−ｖ面に関する対称性を組合わせてなる対称性を有する空間パターンに分類されるクラスについても、クラス統合が可能である。図１２Ａに示した空間パターンの一例に対して、ＨＶ対称性（Ｈ対称性とＶ対称性との組合わせ）を有する空間パターンの例を図１３Ａに示す。また、ＴＨ対称（Ｔ対称性とＨ対称性との組合わせ）を図１３Ｂに示す。さらに、ＶＴ対称（Ｖ対称性とＴ対称性との組合わせ）を有する空間パターンの例を図１３Ｃに示す。一方、ＨＶＴ対称（Ｈ対称性、Ｖ対称性、Ｔ対称性の組合わせ）を有する空間パターンの例を図１３Ｄに示す。
【００７１】
例えば、図１３Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数に対して、ＨＶ対称性における対称要素、すなわちｖ−ｔ面およびｈ−ｔ面に関して鏡像の関係となる。従って、図１３Ａに示す予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数をｖ−ｔ面およびｈ−ｔ面に関して反転することによって得ることができる。同様に、例えば、図１３Ｄに示す予測係数は、図１２Ａに示した空間パターンに分類されるクラスに対応して使用されるべき予測係数をＨＶＴ対称における対称要素、すなわちｖ−ｔ面，ｈ−ｔ面およびｈ−ｖ面に関して反転することによって得ることができる。
【００７２】
次に、振幅対称性、すなわち振幅方向の対称性を利用したクラス統合について説明する。まず、図１４Ａに示す空間パターンに対応する予測係数を図１４Ｂに示す。一方、図１４Ａに示した空間パターンに対して、振幅反転した、すなわち各入力画素の符号が反対である空間パターンを図１５Ａに示す。図１５Ａに示した空間パターンは、図１４Ａに示した空間パターンを有する入力画像信号を反転させることによって、より具体的には入力画像信号の最大値から当該入力画像信号を引くことによって生成することができる。
【００７３】
上述したように、予測係数は、入力画像信号における各々の空間パターン毎に、入力画像信号と予測生成される画素の間の不変的な関係に対応するものとして求められる。このため、任意の空間パターンを振幅方向に反転させることによって得られる空間パターンから予測生成される画素値は、かかる任意の空間パターンから予測生成される画素値を反転した値となる。従って、図１４Ａに示した空間パターンを有する入力画像信号を反転させ、図１４Ｂに示した予測係数を用いて式（１）による予測生成演算を行うことにより、図１５Ａに示した空間パターンを有する入力画像信号に対応する画素値の予測生成を行うことができる。
【００７４】
また、式（１）は１次線形結合式であり、また、学習時に入力される、出力画像信号と同一の信号形式を有する画像信号と推定画素データの振幅とは対等であることから、予測係数の総和は１となる。このため、以下の式（１１）に示すように入力画像信号の反転および推定画素の反転は相殺されることになり、結果として、図１５Ａに示した空間パターンに対応する予測係数として、図１４Ａに示した空間パターンに対応する予測係数をそのまま用いることができる。すなわち、図１５Ｂ中のｋ’’a 〜ｋ’’i は、図１４Ｂ中のｋa 〜ｋi と一致することになる。
【００７５】
【数７】
以上の説明からわかるように、互いに振幅反転の関係にある空間パターンに分類されるクラスは、統合することができる。
【００７７】
また、図１２等を参照して上述した、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つ、または２つ以上を組合わせてなる対称性と、振幅対称性とを組合わせてなる対称性を有する空間パターンに分類されるクラスについても、クラス統合が可能である。まず、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つと、振幅対称とを組合わせてなる対称性を有する空間パターンの例についてを図１６を参照して説明する。図１６Ａには、図１４Ａに示した空間パターンの一例に振幅反転が施されてなる空間パターンの例を示す。
【００７８】
また、図１６Ｂには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＨ反転とが施されてなる空間パターンの例を示す。さらに、図１４Ａに示した空間パターンの一例に対して振幅反転とＶ反転とが施されてなる空間パターンの例、および図１４Ａに示した空間パターンの一例に対して振幅反転とＴ反転とが施されてなる空間パターンの例を、それぞれ、図１６Ｃおよび図１６Ｄに示す。
【００７９】
さらに、Ｈ対称性、Ｖ対称性，Ｔ対称性の内の２つ以上と、振幅対称とを組合わせてなる対称性を有する空間パターンの例について図１７を参照して説明する。図１７Ａには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＨＶ反転とが施されてなる空間パターンの例を示す。また、図１７Ｂには、図１４Ａに示した空間パターンの一例に対して、振幅反転とＴＨ反転とが施されてなる空間パターンの例を示す。さらに、図１７Ｃには、図１４Ａに示した空間パターンの一例に対して振幅反転とＶＴ反転とが施されてなる空間パターンの例を示す。よりさらに、図１７Ｄに、図１４Ａに示した空間パターンの一例に対して、振幅反転とＶＴ反転とが施されてなる空間パターンの例を示す。
【００８０】
上述したような各対称性に係る空間クラス値変換処理について、図１８、図１９を参照して説明する。図１８Ａには、入力画像信号の空間パターンの一例を示す。また、図１８Ａに示す空間パターンの一例に、Ｈ反転，Ｖ反転，Ｔ反転が施されてなる空間パターンを、それぞれ、図１８Ｂ，図１８Ｃ，図１８Ｄに示す。ここで、黒塗りを付したタップの値が例えば'1' 、白のタップの値が例えば'0' を示す。
【００８１】
これらの各タップの値の総体として検出される空間クラス値は、例えば各タップＰ，Ｑ，Ｒ，Ｓ，Ｔの値をこの順に並べた５ビットの値として定義することができる。かかる定義によれば、図１８Ａに示した一例についての空間クラス値＝００１１１となり、１０進表現では７となる。また、図１８Ｂに示した一例についての空間クラス値＝０１１０１となり、１０進表現では１３となる。同様に、図１８Ｃ、図１８Ｄに示した空間パターンについての空間クラス値は、それぞれ、１０１１０（１０進表現では２２）、１１１００（１０進表現では２８）となる。勿論、空間クラス値の定義は、上述したものに限定されない。
【００８２】
同様に、入力画像信号の空間パターンの他の例を図１９Ａに示す。さらに、かかる空間パターンの他の例に、Ｈ反転，Ｖ反転，Ｔ反転が施されてなる空間パターンを、それぞれ、図１９Ｂ，図１９Ｃ，図１９Ｄに示す。ここでも図１８の場合と同様に空間クラス値が検出されるものとすると、空間クラス値は、図１８Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄに示した空間パターンについて、それぞれ１１１００（１０進表現では２８）、１０１１０（１０進表現では２２）、０１１０１（１０進表現では１３）、００１１１（１０進表現では７）となる。
【００８３】
次に、空間クラス検出回路８（図５参照）から供給される空間クラス値から、上述したような空間対称性および／または振幅対称性を検出する、対称性判定・クラス値変換回路１０２について、図２０を参照して詳細に説明する。空間クラス値は、最小値判定回路２１６、振幅反転回路２０８，およびＨ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７に供給される。
【００８４】
最小値判定回路２１６、振幅反転回路２０８については後述する。Ｈ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７は、供給されるクラス値に対して、それぞれ、Ｈ反転処理、Ｖ反転処理、Ｔ反転処理、ＨＶ反転処理、ＶＴ反転処理、ＴＨ反転処理、ＨＴＶ反転処理を行う。これら７種類の空間反転処理の結果として得られるクラス値は、それぞれ、最小値判定回路２１６と、振幅反転処理を行う構成とに供給される。
【００８５】
振幅反転処理を行う構成として、Ｈ反転回路２０１、Ｖ反転回路２０２、Ｔ反転回路２０３、ＨＶ反転回路２０４、ＶＴ反転回路２０５、ＴＨ反転回路２０６、ＨＴＶ反転回路２０７の後段にそれぞれ振幅反転回路２０９、２１０、２１１、２１２、２１３、２１４、２１５が設けられている。また、上述した振幅反転回路２０８は、空間クラス検出回路８から供給されるクラス値に対して振幅反転処理を行う。振幅反転回路２０８、２０９、２１０、２１１、２１２、２１３、２１４、２１５の出力が最小値判定回路に供給される。
【００８６】
以上のような構成により、７種類の空間反転処理の結果として得られるクラス値および空間クラス検出回路８から供給されるクラス値の計８種類のクラス値と、それら８種類のクラス値に振幅反転処理が施されてなる８種類のクラス値、従って全部で１６種類のクラス値が最小値判定回路２１６に供給される。最小値判定回路２１６は、供給される１６種類のクラス値の内で最小のものを判定し、判定結果である最小のクラス値を、代表クラス値として再アドレッシング処理回路２１７に供給する。なお、代表クラス値は、必ずしも最小のクラス値には限定されず、例えば最大のクラス値としても良い。但し、最小のクラス値を用いる場合には、代表クラス値を表現するための情報量を最小にすることができるという利点がある。
【００８７】
また、最小値判定回路２１６は、空間クラス検出回路８から供給されるクラス値から最小のクラス値を得るために施される反転処理を示す情報を生成する。このような情報としては、最小のクラス値を得るための処理において、Ｈ反転処理、Ｖ反転処理、Ｔ反転処理の各々が施されたか否かを示す、例えば各１ビットのＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号を生成するようにすれば良い。これらの信号がタップ位置組み替え回路１０１（図５参照）に供給される。
【００８８】
上述したようにして生成される代表クラス値は、空間クラス検出回路８から順次供給される各クラス値に対して離散的な値をとる。このため、再アドレッシング処理回路２１７は、空間クラス検出回路８から順次供給される各クラス値の内で欠落する値をスキップして連続したクラス値に変換する処理を行う。再アドレッシング処理回路２１７の出力が対称性判定・クラス値変換回路１０２による変換処理の結果として生成される最終的な空間クラス値として、クラス合成回路１０（図５参照）に供給される。従って、クラス合成回路１０の出力は、対称性判定・クラス値変換回路１０２による、空間対称性を利用したクラス値変換処理の結果に基づくものとなる。
【００８９】
以上のようなクラス値変換により、空間クラス値に関しては、１個の代表クラス値によって特定される係数メモリ１１内の予測係数データが１６種類の空間パターンに対応することになる。従って、１６種類の空間パターンが１個のクラスに統合されることになる。
【００９０】
また、タップ位置組み替え回路１０１は、供給されるＨ反転情報信号、Ｖ反転情報信号、Ｔ反転情報信号に基づいて、推定予測演算回路４においてなされる推定予測演算に使用されるタップデータの位置を組み替える。これにより、１個のクラスに類別される１６種類の空間パターンに対応して、タップデータの位置が的確に組み替えられる。従って、対称性判定・クラス値変換回路１０２による変換処理の結果に基づいて（すなわち、各代表クラス値に基づいて）生成されるクラス合成回路１０の出力に従って係数メモリ１１から出力される予測係数データと、タップデータとの推定予測演算における整合性が担保される。従って、ラインデータｙ１，ｙ２の予測生成を的確に行うことができる。
【００９１】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、水平周期を２倍とするライン倍速処理を行う。図２１は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００９２】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。このようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００９３】
上述したこの発明の一実施形態は、対称性判定とクラス値変換とを一括して行うようにしたものである。これに対し、対称性判定およびクラス値変換を、対称要素毎に行うようにした、この発明の他の実施形態も可能である。図２２に、他の実施形態における画像情報変換処理系の一例を示す。ここで、図５中の構成要素と同様な構成要素には、同一の符号を付した。
【００９４】
空間クラス検出回路８が生成する空間クラス値は、対称性判定回路１０５と、クラス値変換回路１０６とに供給される。対称性判定回路１０５は、例えば上述した一実施形態中の対称性判定・クラス値変換回路１０２と同様な構成を有し、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号を出力する。ここで、振幅反転の有無は、タップ位置組み替えを行うためには不必要な情報なので、上述した一実施形態中の対称性判定・クラス値変換回路１０２（図５参照）においては振幅反転情報信号は出力されない。しかし、クラス値変換処理を対称性判定と別個に行う他の実施形態においては、対称性判定回路１０５が振幅反転情報信号をも出力するようになされる。
【００９５】
対称性判定回路１０５の出力の内、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号がクラス値変換処理回路１０６に供給される。また、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号がタップ位置組み替え回路１０１に供給される。タップ位置組み替え回路１０１は、供給される各反転情報信号を参照してタップ位置組み替え処理を行う。
【００９６】
クラス値変換処理回路１０６の構成の一例を図２３に示す。空間クラス検出回路８から供給されるクラス値がＨ対称クラス値変換回路１１０に供給される。Ｈ対称クラス値変換回路１１０の後段には、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３が順に設けられる。Ｈ対称クラス値変換回路１１０、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３には、それぞれ、Ｈ反転情報信号、Ｖ反転情報信号，Ｔ反転情報信号および振幅反転情報信号が供給される。
【００９７】
Ｈ対称クラス値変換回路１１０、Ｖ対称クラス値変換回路１１１、Ｔ対称クラス値変換回路１１２、振幅対称クラス値変換回路１１３は、各々に供給される反転情報信号を参照して、クラス値変換処理を行う。これらのクラス値変換処理の総体により、１６種類の空間パターン中で例えば最小のクラス値が代表クラス値として生成される。
【００９８】
振幅対称クラス値変換回路１１３の後段には、再アドレッシング処理回路１１４が設けられる。再アドレッシング処理回路１１４は、上述した一実施形態中の再アドレッシング処理回路２１７（図２０参照）と同様に、空間クラス検出回路８から順次供給される各クラス値の内で欠落する値をスキップして連続したクラス値に変換する処理を行う。再アドレッシング処理回路１１４の出力が対称性判定・クラス値変換回路１０５による変換処理の結果としての最終的な空間クラス値として出力される。
【００９９】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【０１００】
【発明の効果】
上述したように、この発明は、入力画像信号から走査線構造の異なる出力画像信号を形成する画像情報変換処理を行うに際して、画像データが有する振幅対称性および／または空間対称性に基づいてなされるクラス統合に対応するクラス値変換処理を施して、クラス数を削減するようにしたものである。
【０１０１】
このため、クラス分類適応処理による画像情報変換処理のきめ細かさを損なうこと無く、処理系内で扱われるクラスの数を削減することができるので、より少ないクラス数で効率的な処理を行うことができる。
【０１０２】
従って、装置内のメモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となるので、メモリ資産の記憶容量を削減することができる。このため、装置全体に関する、小型化、低コスト化等に寄与することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図３】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図４】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図５】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例中の一部の構成を示すブロック図である。
【図７】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図８】ラインデータｙ１についての空間クラスタップの配置の一例および予測タップの配置の一例を示す略線図である。
【図９】ラインデータｙ２についての空間クラスタップの配置の一例および予測タップの配置の一例を示す略線図である。
【図１０】空間パターンの一例と、それに対応する予測係数の一例とについて説明するための略線図である。
【図１１】図１１に示した空間パターンがＨ反転された場合の、空間パターンと予測係数とについて説明するための略線図である。
【図１２】Ｈ対称性、Ｖ対称性、Ｔ対称性について説明するための略線図である。
【図１３】Ｈ対称性、Ｖ対称性、Ｔ対称性の内の２つまたは３つを組合わせてなる対称性について説明するための略線図である。
【図１４】空間パターンの一例と、それに対応する予測係数の一例とについて説明するための略線図である。
【図１５】図１４に示した空間パターンが振幅反転された場合の、空間パターンと予測係数とについて説明するための略線図である。
【図１６】Ｈ対称性、Ｖ対称性，Ｔ対称性の内の１つと、振幅対称とを組合わせてなる対称性を有する空間パターンについて説明するための略線図である。
【図１７】Ｈ対称性、Ｖ対称性，Ｔ対称性の内の２つ以上と、振幅対称とを組合わせてなる対称性を有する空間パターンについて説明するための略線図である。
【図１８】対称性判定の一例について説明するための略線図である。
【図１９】対称性判定の他の例について説明するための略線図である。
【図２０】この発明の一実施形態における画像情報変換処理系の構成の一例中の他の一部の構成を示すブロック図である。
【図２１】ライン倍速処理について説明するための略線図である。
【図２２】この発明の他の実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図２３】この発明の他の実施形態における画像情報変換処理系の構成の一例中の一部の構成を示すブロック図である。
【符号の説明】
１０１・・・タップ位置組み替え回路、１０２・・・対称性判定・クラス値変換回路、２１７・・・再アドレッシング処理回路
Claims (6)
- 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出手段と、
上記第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、該振幅対称性および／または空間対称性を同一とする複数の上記第１の空間クラス値を、該振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する上記第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
上記第２の画像データ選択手段によって選択される画像データの位置を、上記クラス値変換手段によってなされた上記第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた該画像データと、上記第２のクラス値に対応して上記記憶手段から選択される予測係数データとの線型一次結合によって、上記注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数は、
上記出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、上記第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
上記第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、該振幅対称性および／または空間対称性を同一とする複数の上記第１の空間クラス値を、該振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する上記第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
上記第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶手段と、
上記第３の画像データ選択手段によって選択される画像データの位置を、上記クラス値変換手段によってなされた上記第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた該画像データと、上記第２のクラス値に対応して上記記憶手段から選択される予測係数データとの線型一次結合によって、上記注目点に画素を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数は、
上記出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、上記第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理装置。 - 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報処理装置。 - 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報処理装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す第１の空間クラス値を決定する空間クラス検出ステップと、
上記第１の画像データ選択手段によって選択される画像データの振幅対称性および／または空間対称性を判定し、該振幅対称性および／または空間対称性を同一とする複数の上記第１の空間クラス値を、該振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する上記第１のクラス値のうち最小のクラス値を用いた第２の空間クラス値に変換するクラス値変換ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
上記第２の画像データ選択ステップによって選択される画像データの位置を、上記クラス値変換ステップにおいてなされた上記第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた該画像データと、上記第２のクラス値に対応して上記記憶手段から選択される予測係数データとの線型一次結合によって、上記注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
上記予測係数は、
上記出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、上記第２の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記第２の画像データ選択ステップによって選択される画像データから、フレーム間差分に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
上記空間クラス値と上記動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
上記第１の画像データ選択ステップによって選択される画像データの振幅対称性および／または空間対称性を判定し、該振幅対称性および／または空間対称性を同一とする複数の上記第１の空間クラス値を、該振幅対称性および／または空間対称性を有する位置に反転することにより統合して、統合する上記第１のクラス値のうち最小のクラス値を用いた第２のクラス値に変換するクラス値変換ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
上記第２のクラス値が示すクラスに対応して、予め決定された予測係数データを記憶する記憶ステップと、
上記第３の画像データ選択手段によって選択される画像データの位置を、上記クラス値変換ステップにおいてなされた上記第１の空間クラス値の反転処理と同じ振幅対称性および／または空間対称性を有する位置に反転させ、反転させた該画像データと、上記第２のクラス値に対応して上記記憶手段から選択される予測係数データとの線型一次結合によって、上記注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
上記予測係数は、
上記出力画像信号と同一の信号形式を有する所定の画像信号中の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データとの線型一次結合の計算値との差を最小とするように定められることを特徴とする画像情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23885898A JP4123587B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23885898A JP4123587B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報処理装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000069434A JP2000069434A (ja) | 2000-03-03 |
| JP2000069434A5 JP2000069434A5 (ja) | 2005-09-08 |
| JP4123587B2 true JP4123587B2 (ja) | 2008-07-23 |
Family
ID=17036314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23885898A Expired - Fee Related JP4123587B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4123587B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4752130B2 (ja) * | 2001-05-10 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4055655B2 (ja) | 2003-05-29 | 2008-03-05 | ソニー株式会社 | 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム |
-
1998
- 1998-08-25 JP JP23885898A patent/JP4123587B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000069434A (ja) | 2000-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JPH0851599A (ja) | 画像情報変換装置 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| EP1111918B1 (en) | Image conversion device and method | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |