JP4147632B2 - 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 - Google Patents
画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 Download PDFInfo
- Publication number
- JP4147632B2 JP4147632B2 JP23731398A JP23731398A JP4147632B2 JP 4147632 B2 JP4147632 B2 JP 4147632B2 JP 23731398 A JP23731398 A JP 23731398A JP 23731398 A JP23731398 A JP 23731398A JP 4147632 B2 JP4147632 B2 JP 4147632B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- value
- image signal
- image data
- class value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置、画像情報変換方法、およびテレビジョン受像機に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。かかる処理において、入力画像信号の走査線に対応する位置において画素を予測生成する場合には、入力画像信号の走査線に対応しない位置において画素を予測生成する場合よりも、大きな困難さを伴う。
【０００３】
このため、入力画像信号の走査線に対応しない位置についてより多くのクラス数を割当てることにより、かかる位置における画素の予測生成をよりきめ細かく行うようにすれば、特に、クラス分類に対応して保持される予測生成処理に係るデータを記憶するメモリの使用方法等の観点から、より効率的な処理が可能となる。
【０００４】
一方、より多くのクラス数を用いる程、画像情報変換処理を行うために必要なメモリの記憶容量が増大する。従って、実際の装置において記憶容量が限られることを考慮すると、クラスの総数を削減することが必要となる。
【０００５】
【発明が解決しようとする課題】
従って、この発明の目的は、画素が予測生成されるべき位置と入力画像信号の走査線との位置関係、装置内に設けられるメモリの記憶容量等の条件に応じて適切なクラス数を割当てることを可能とする画像情報変換装置、画像情報変換方法、およびテレビジョン受像機を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【０００７】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
第３の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【０００８】
請求項７の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第２の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報変換方法である。
【０００９】
請求項８の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【００１０】
請求項１１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機である。
【００１１】
請求項１２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機である。
【００１２】
以上のような発明によれば、例えば、注目点すなわち画素が予測生成されるべき点が入力画像信号の走査線に対応する位置にあるか否か等の位置関係、あるいは、装置内に設けられるメモリの記憶容量等の条件に応じて注目位置についてのクラス数が的確に設定される。このため、画像情報変換処理をより効率的に行うことが可能となる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。ここで、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図１から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００１６】
ここで、ｙ１は既に存在するポイントであるのに対し、ｙ２は新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当てる必要がある。また、例えば装置に備えられるメモリー資産が充分な量を有しない場合、または、より少ないクラス数を用いて、効率的な画像情報変換処理を行う場合等においては、クラスの総数をより少なくするようなクラス値の変換を行う必要がある。これらの観点から、この発明は、ｙ１，ｙ２の予測生成を効率的に、また、きめ細かく行えるように、クラス数を適切に割り当てるようにしたものである。
【００１７】
以下、この発明の一実施形態について適宜図面を参照して説明する。一実施形態は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。図２は、この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、１０、２０に供給される。
【００１８】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記す）を選択する。選択される予測タップが推定予測演算回路４、５に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００１９】
また、推定予測演算回路４、５には、後述する係数メモリ４１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ４１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２０】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、推定予測演算回路４においてはラインデータｙ１が予測生成され、推定予測演算回路５においてはラインデータｙ２が予測生成される。予測係数ｗ1 ，‥‥，ｗn は、ｙ１，ｙ２についてそれぞれ相違したものである。
【００２１】
推定予測演算回路４、５は、それぞれ、ラインデータｙ１、ｙ２を線順序変換回路６に供給する。線順序変換回路６は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号がこの発明の一実施形態における画像情報変換処理系の最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２２】
一方、タップ選択回路１０、１１は、入力ＳＤ信号からそれぞれ、ラインデータｙ１，ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。また、タップ選択回路２０は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）動きクラスタップを選択する。タップ選択回路１０、１１の出力が空間クラス検出回路１２、１３にそれぞれ供給され、また、タップ選択回路２０の出力が動きクラス検出回路２１に供給される。
【００２３】
空間クラス検出回路１２、１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。そして、検出した空間クラス値をそれぞれクラス合成回路３０、３１に供給する。また、動きクラス検出回路２１は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路３０、３１に供給する。
【００２４】
クラス合成回路３０、３１は、供給される空間クラス値と、動きクラス値とを合成する。クラス合成回路３０、３１の出力は、それぞれ、クラス値変換回路３２、３３に供給される。クラス値変換回路３２、３３は、それぞれ、クラス合成回路３０、３１の出力に後述するようなクラス値変換処理を施す。クラス値変換処理により、クラスの総数が削減される。
【００２５】
変換されたクラス値が係数メモリ４１に供給される。係数メモリ４１は、後述する学習によって予め決められた予測係数を記憶し、記憶した予測係数の内でクラス値変換回路３２、３３から供給されるクラス値によって指定されるものを推定予測演算回路４、５に対して出力する。このような動作を可能とするためには、例えば、クラス値変換によって得られるクラス値によって指定されるアドレスに従って予測係数を記憶する等の方法を用いれば良い。
【００２６】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２７】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００２９】
上述したように、ラインデータｙ２についてのクラス数は、ラインデータｙ１についてのクラス数よりも大きい。この点について具体的に説明する。まず、ｙ１についての空間クラス検出に使用される空間クラスタップの配置の一例を図３に示す。図３では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００３０】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００３１】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，およびフィールドＦ／ｏ内のＴ１、Ｔ２、Ｔ３の全部で５個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００３２】
同様に、ｙ２についての空間クラス検出に使用される空間クラスタップの配置の一例を図４に示す。図４中での表記は図３と同様である。かかる一例においては、フィールドＦ／ｏ内のラインデータｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ６、およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４，Ｔ５，およびフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００３３】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３４】
【数１】
【００３５】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる（図５参照）。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３６】
動きクラス検出に使用される動きクラスタップの配置の一例を図５に示す。かかる一例においてフィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、動きクラスタップの配置はこれに限定されるものでは無い。
【００３７】
図３および図４に示したような空間クラスタップ配置を使用して、１ビットＡＤＲＣでクラス分類する場合には、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はそれぞれ以下のようになる。
【００３８】
ｙ１についてのクラス数 ＝ ２5 ×４ ＝ １２８
ｙ２についてのクラス数 ＝ ２6 ×４ ＝ ２５６
この場合、合計のクラス数は３８４である。但し、例えば画像情報変換処理系に備えられるメモリー資産（図２中では係数メモリ４１）がこのクラス数に対応するために充分な記憶容量を有しない場合、または、より少ないクラス数で効率的に画像情報変換処理を行う場合等においては、クラスの総数を削減する必要がある。そこで、この発明は、クラス値変換処理を行うことによってｙ１，ｙ２についてのクラス数を削減するようにしたものである。図６は、この場合のクラス総数の削減について模式的に示すものである。なお、図６中の仮予測係数については後述する。
【００３９】
次に、学習、すなわち適切な予測係数を設定する処理について以下に説明する。まず、学習の第１段階である、クラス値変換テーブルの作成に係る処理系の構成の一例を図７に示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ５１、および正規方程式加算回路６１、６２に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００４０】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００４１】
ここで、間引きフィルタ５１に対する入力ＳＤ信号の一例としての５２５ｐ信号と、間引きフィルタ５１からの出力画像信号の一例としての５２５ｉ信号との間の画素の空間的関係を図８に示す。５２５ｐ信号の奇数番目のフィールドでは、偶数番目のラインが間引かれ、また、奇数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図８では、第１フィールドと第３フィールドについて図示した。一方、５２５ｐ信号の奇数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図８では、第２フィールドについて図示した。
【００４２】
図７において、間引きフィルタ５１が生成するインターレス画像信号がタップ選択回路１０１、１１０、１１１および１２０に供給される。タップ選択回路１０１は、後述する正規方程式の計算において使用され得る予測タップを選択し、選択した予測タップを正規方程式加算回路６１、６２に供給する。一方、タップ選択回路１１０、１１１は、それぞれ、ラインデータｙ１，ｙ２についての空間クラスタップを選択し、選択した空間クラスタップをそれぞれ、空間クラス検出回路１１２、１１３に供給する。さらに、タップ選択回路１２０は、動きクラスタップを選択し、選択した動きクラスタップを動きクラス検出回路１２１に供給する。
【００４３】
空間クラス検出回路１１２、１１３は、空間クラスタップのデータをＡＤＲＣによって圧縮し、それぞれ、ｙ１，ｙ２についての空間クラス値を独立に検出する。また、動きクラス検出回路１２１は、動きクラス値を検出する。空間クラス検出回路１１２の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３０に供給される。また、空間クラス検出回路１１３の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３１に供給される。クラス合成回路１３０、１３１は、それぞれｙ１，ｙ２についての空間クラス値と動きクラス値とを合成する。クラス合成回路１３０、１３１の出力が正規方程式加算回路６１、６２に供給される。
【００４４】
正規方程式加算回路６１は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３０の出力に基づいてｙ１の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。同様に、正規方程式加算回路６２は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３１の出力に基づいてｙ２の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。
【００４５】
正規方程式加算回路６１、６２は、それぞれ、算出したデータを仮予測係数決定回路６３に供給する。仮予測係数決定回路６３は、供給されるデータに基づき、正規方程式を解く計算処理を行って、ｙ１，ｙ２の予測生成に係る仮予測係数を算出する。そして、算出した仮予測係数を近接係数クラス統合処理部６４に供給する。ここで、仮予測係数と称するのは、最終的な予測係数は、後述するように、クラス統合の結果として決定されるからである。正規方程式を解くための計算処理は、後述する予測係数決定回路２６３（図９参照）における計算処理と同様である。
【００４６】
近接係数クラス統合処理部６４は、供給される仮予測係数の間の距離ｄを、例えば以下の式（４）に従って計算する。
【００４７】
【数２】
【００４８】
ここで、ｋl 、ｋl ’は相異なるクラスの予測係数を示す。また、ｌは、予測タップの番号を示す。また、ｎが予測タップの総数を表す。
【００４９】
さらに、近接係数クラス統合処理部６４は、上述したようにして求めたクラス間の予測係数の距離を所定のしきい値と比較し、互いの距離がしきい値より小さくなるような複数個のクラスを１つのクラスに統合する。クラスを統合することによってクラスの総数を減らすことができる。この際に、あるクラスと他の幾つかのクラスとの間の距離が共にしきい値より小さくなる場合には、距離が最小となるクラス同志を統合するようにすれば良い。上述の所定のしきい値を大きく設定する程、クラス数を削減することができる。従って、しきい値を可変することにより、クラス値変換処理によって得られるクラスの総数を調整することができる。
【００５０】
この際に、画像情報変換処理系に備えられるメモリ資産（図２中では係数メモリ４１）の記憶容量等の条件に応じて、ｙ１、ｙ２について的確なクラス数を割り振るようにすることにより、メモリ資産をより有効に使用できる、または、より少ないクラス数で効率的に画像情報変換処理を行うことができる、等の効果を得ることができる。
【００５１】
そして、近接係数クラス統合処理部６４は、クラスの統合に関する情報をクラス値変換テーブル生成部６５に供給する。クラス値変換テーブル生成部６５は、供給される情報に基づいてクラス値変換テーブルを生成する。このクラス値変換テーブルは、上述したクラス値変換回路３２、３３（図２参照）、および後述するクラス値変換回路８１、８２（図９参照）に供給され、記憶される。そして、これらの構成要素の動作において参照される。
【００５２】
次に、学習の第２段階としての予測係数の算出処理について詳細に説明する。図９に、予測係数を算出する予測係数算出処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２５１、正規方程式加算回路２６１、２６２に供給される。間引きフィルタ２５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００５３】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。間引きフィルタ２５１が生成するＳＤ信号がタップ選択回路２０１、２１０、２１１、２２０に供給される。間引きフィルタ２５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００５４】
タップ選択回路２０１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２６１、２６２に供給する。一方、タップ選択回路２１０、２１１が選択する，ｙ１，ｙ２についての空間クラスタップがそれぞれ空間クラス検出回路２１２、２１３に供給される。さらに、タップ選択回路２２０が選択する予測タップが動きクラス検出回路２２１に供給される。
【００５５】
空間クラス検出回路２１２、２１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。また、動きクラス検出回路２２１は、供給される動きクラスタップに基づいて、動きクラス値を検出する。空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３０に供給される。また、空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３１に供給される。クラス合成回路２３０、２３１は、それぞれｙ１，ｙ２についてクラス値を合成し、各クラス値をクラス値変換処理部８１、８２に供給する。
【００５６】
クラス値変換処理部８１、８２は、上述したようにして生成されるクラス値変換テーブルを記憶しており、かかるクラス値変換テーブルを参照して、クラス合成回路２３０、２３１の出力に対してクラス値変換を施す。そして、クラス値変換の結果を、それぞれ、正規方程式加算回路２６１、２６２に供給する。
【００５７】
正規方程式加算回路２６１、２６２は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２６１は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８１の出力に基づいて加算処理を行うことにより、ｙ１の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。また、正規方程式加算回路２６２は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８２の出力に基づいて加算処理を行うことにより、ｙ２の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００５８】
正規方程式加算回路２６１、２６２が算出したデータが予測係数決定回路２６３に供給される。予測係数決定回路２６３は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に係る予測係数を算出する。算出される予測係数が係数メモリ８４に供給され、記憶される。
【００５９】
予測係数の決定に係る処理、すなわち正規方程式加算回路２６１、２６２、および予測係数決定回路２６３が行う処理について、以下、より詳細に説明する。まず、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素を式（１）によって順次予測生成することができる。
【００６０】
式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の信号データに対して行う。信号データの総数をｍと表記する場合、式（１）に従って、以下の式（５）が設定される。
【００６１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（６）で定義して、式（７）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００６２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （６）
（ｋ＝１，２，‥‥ｍ）
【００６３】
【数３】
【００６４】
式（７）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（８））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００６５】
【数４】
【００６６】
式（８）から各予測係数ｗi を定める具体的な手順について説明する。式（９）、（１０）のようにＸji，Ｙi を定義すると、式（８）は、式（１１）の行列式の形に書くことができる。
【００６７】
【数５】
【００６８】
【数６】
【００６９】
【数７】
【００７０】
式（１１）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２６１、２６２のそれぞれは、クラス値変換回路８１、８２から供給されたクラス値、予測タップ選択回路２０１から供給される予測タップ、および入力画像信号と同じ信号形式を有する既知の画像信号を用いて、正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部４３に供給する。予測係数決定部４３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００７１】
なお、以上のように生成される予測係数は、クラス値変換が施されたデータに基づいて算出されるのに対し、図７を参照して上述した仮予測係数は、クラス値変換が未だ施されていないデータに基づいて算出される。かかる点以外では、両者は正規方程式の解として全く同様な計算処理によって算出される。従って、仮予測係数の決定に係る処理、すなわち図７中の正規方程式加算回路６１、６２、および予測係数決定回路６３が行う処理も、全く同様なものである。
【００７２】
すなわち、図７では、クラス合成回路１３０、１３１から供給されるクラス値、予測タップ選択回路１０１から供給される予測タップ、および出力画像信号と同じ信号形式を有する既知の入力画像信号（例えば５２５ｐ信号）を用いて、正規方程式加算回路６１、６２のそれぞれが正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを仮予測係数決定部６３に供給する。仮予測係数決定部６３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って仮予測係数を算出する。
【００７３】
このように、仮予測係数を算出し、それに基づいてクラス値変換テーブルを生成し、さらに、クラス値変換テーブルを参照してクラス値変換を行いながら予測係数を算出することによって、学習が行なわれる。その結果として、予測係数メモリ８４には、クラス毎に、プログレッシブ画像の注目画素を推定するための、統計的に最も真値に近い推定ができる予測係数が格納される。予測係数メモリ８４に格納された予測係数は、図２等を参照して上述した画像情報変換処理系内の予測係数メモリ４１にロードされる。
【００７４】
なお、図５示したような画像信号変換処理系、図７に示したようなクラス値変換テーブルの作成に係る処理系、および図９に示した予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、５１、２０１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００７５】
また、タップ選択回路２０１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図９中の予測係数決定部２６３では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００７６】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、ラインメモリを有し、水平周期を２倍とするライン倍速処理を行う。図１０は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００７７】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。以上のようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００７８】
上述したこの発明の一実施形態においては、図３、図４を参照して上述したように、空間クラスタップの配置がｙ１，ｙ２について別個のもの（ｙ１について５個、ｙ２について６個）とされていた。これに対して、空間クラスタップの配置をｙ１，ｙ２について同一とした、この発明の他の実施形態も可能である。
【００７９】
以下、他の実施形態について説明する。他の実施形態におけるｙ１，ｙ２について空間クラスタップの配置について、図１１に示す。図１１での表記は図３と同様である。フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ５，Ｔ６，およびフィールドＦ／ｏ内のＴ２，Ｔ３，Ｔ４，並びにフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。この場合、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、ｙ１，ｙ２の何れについても、クラス数は、２6 ×４＝２５６個となる。
【００８０】
この場合にクラス値変換を行うことによってクラス数が削減される様子を、図１２に模式的に示す。クラス値変換が施される前のクラス数は、ｙ１，ｙ２の何れについても２５６クラスである。これに対し、クラス値変換が施された後のクラス数は、ｙ１についてのクラス数の方がｙ２についてのクラス数よりも小さい。これは、上述したように、ｙ２を予測生成する方がｙ１を予測生成するよりも困難であることを考慮したためである。
【００８１】
他の実施形態における画像情報変換処理系の構成について、図１３を参照して説明する。図１３において、図２と同様な構成要素については同一の符号を付した。上述したように、他の実施形態ではｙ１，ｙ２についての空間クラスタップの配置が同一とされるので、空間クラス検出に係る構成は、ｙ１，ｙ２について共通に設ければ良い。このような構成として、空間クラス検出回路１６、およびその前段で空間クラスの選択を行うタップ選択回路１５が設けられている。
【００８２】
空間クラス検出回路１６の出力である空間クラス値と、動きクラス検出回路２１の出力である動きクラス値とがクラス合成回路１７に供給される。クラス合成回路１７は、供給される空間クラス値と動きクラス値とを合成する。クラス合成回路１７の出力がクラス値変換回路１８、１９に供給される。クラス値変換回路１８、１９は、クラス合成回路１７の出力にクラス値変換を施すことにより、それぞれ、ｙ１，ｙ２に係る、変換されたクラス値を生成する。この際のクラス値変換は、ｙ１とｙ２のそれぞれを予測生成する際の困難さを考慮して、的確なクラス数を得るものとされる。クラス値変換回路１８、１９の出力が係数メモリ４１に供給される。
【００８３】
以上のような他の実施形態では、空間クラス検出に係る構成をｙ１，ｙ２について共通とすることができるので、回路構成の簡素化に寄与することができる。その反面、ｙ１について大きな比率でクラス数を削減するクラス値変換を行う必要があるので、特にｙ１についてのクラス値変換が複雑な処理となる可能性がある。なお、図２と同様に空間クラス検出に係る構成をｙ１，ｙ２について別個に設ける構成を用いても、他の実施形態に係る画像情報変換処理を実現することは可能である。
【００８４】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【００８５】
このような画像情報変換処理について具体的に説明する。図１４は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と、１０５０ｉ信号とにおける画素の配置を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。なお、図１４の実線で示したものは、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００８６】
図１５に、この場合の空間クラスタップの配置の一例を示す。図１５中での表記は図３と同様である。フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，Ｔ６，Ｔ７およびフィールドＦ／ｏ内のＴ１，Ｔ２，Ｔ３の全部で７個の画素値が使用される。この場合、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はｙ１，ｙ２の何れについても、２7 ×４＝５１２個となる。
【００８７】
このような空間クラスタップ配置を用いる場合には、例えば図１３等を参照して上述した他の実施形態と同様な構成によって画像情報変換処理を実現することができる。なお、空間クラスタップの配置はこれに限定されるものでは無い。例えば、ｙ１，ｙ２について異なる空間クラスタップ配置を用いても良い。また、水平方向の複数の入力画素を使用しても良い。
【００８８】
また、図１６に、この場合の動きクラスタップの配置の一例を示す。フィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、この場合の動きクラスタップの配置はこれに限定されるものでは無い。
【００８９】
【発明の効果】
上述したように、この発明は、入力画像信号から走査線構造の異なる出力画像信号を形成する画像情報変換処理を行うに際して、入力画像信号の走査線との位置関係が異なる複数種類の注目点（具体的には、入力画像信号の走査線上に位置するｙ１と、入力画像信号の走査線の間に位置するｙ２等）の各々について決定されるクラスの数を、注目点の入力画像信号の走査線に対する位置関係に応じて（例えば、予測生成がより困難なｙ２に対してより多くのクラス数を割当てる等）、削減するようにしたものである。
【００９０】
このため、装置内のメモリ資産の記憶容量に応じてクラス数を設定できるので、メモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となる。また、より少ないクラス数の下で効率的な処理を行う場合にも、この発明を適用することが有効となる。
【００９１】
また、注目点と入力画像信号の走査線との位置関係の違い等に起因する（具体的にはｙ１とｙ２の間での）予測生成の困難さに応じて、各注目点に対して適切なクラス数が割り当てられる。このため、メモリ資産の記憶容量が限られている場合にも、きめ細かく、また効率的な画像情報変換処理を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図３】この発明の一実施形態における、ラインデータｙ１についての空間クラスタップ配置の一例を示す略線図である。
【図４】この発明の一実施形態における、ラインデータｙ２についての空間クラスタップ配置の一例を示す略線図である。
【図５】この発明の一実施形態における、動きクラスタップ配置の一例を示す略線図である。
【図６】この発明の一実施形態におけるクラス統合について説明するための略線図である。
【図７】この発明の一実施形態におけるクラス値変換テーブル生成処理系の構成の一例を示すブロック図である。
【図８】クラス値変換テーブル生成処理系および予測係数算出処理系において使用される間引きフィルタによる処理について説明するための略線図である。
【図９】この発明の一実施形態における、予測係数算出処理系の構成の一例を示すブロック図である。
【図１０】ライン倍速処理について説明するための略線図である。
【図１１】この発明の他の実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図１２】この発明の他の実施形態におけるクラス統合について説明するための略線図である。
【図１３】この発明の他の実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図１４】この発明の他の実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図１５】この発明の一実施形態における、空間クラスタップ配置の一例を示すブロック図である。
【図１６】この発明の一実施形態における、動きクラスタップ配置の一例を示すブロック図である。
【符号の説明】
３２、３３・・・クラス値変換回路、４１・・・係数メモリ、６４・・・近接係数クラス統合、６５・・・クラス値変換テーブル生成部、８１、８２・・・クラス値変換回路、１８、１９・・・クラス値変換回路
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置、画像情報変換方法、およびテレビジョン受像機に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。かかる処理において、入力画像信号の走査線に対応する位置において画素を予測生成する場合には、入力画像信号の走査線に対応しない位置において画素を予測生成する場合よりも、大きな困難さを伴う。
【０００３】
このため、入力画像信号の走査線に対応しない位置についてより多くのクラス数を割当てることにより、かかる位置における画素の予測生成をよりきめ細かく行うようにすれば、特に、クラス分類に対応して保持される予測生成処理に係るデータを記憶するメモリの使用方法等の観点から、より効率的な処理が可能となる。
【０００４】
一方、より多くのクラス数を用いる程、画像情報変換処理を行うために必要なメモリの記憶容量が増大する。従って、実際の装置において記憶容量が限られることを考慮すると、クラスの総数を削減することが必要となる。
【０００５】
【発明が解決しようとする課題】
従って、この発明の目的は、画素が予測生成されるべき位置と入力画像信号の走査線との位置関係、装置内に設けられるメモリの記憶容量等の条件に応じて適切なクラス数を割当てることを可能とする画像情報変換装置、画像情報変換方法、およびテレビジョン受像機を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【０００７】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
第３の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【０００８】
請求項７の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第２の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報変換方法である。
【０００９】
請求項８の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置である。
【００１０】
請求項１１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
入力画像信号に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第２の画像データ選択手段によって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、演算処理手段による演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段とを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機である。
【００１１】
請求項１２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
入力画像信号の走査線に存在する走査線上の第１の注目点と、入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
第１および第２の注目点のそれぞれの第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
入力画像信号から、第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、演算処理ステップによる演算処理に使用される、第１および第２の予測係数データが第２のクラス値毎に記憶される記憶手段から第１および第２の予測係数データを出力するステップと、
第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、第１の注目点に画素を予測生成するための演算処理を行うと共に、第３の画像データ選択ステップによって選択された画像データ、および第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
出力画像信号と同一の解像度を有する画像信号中の、第１の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第１の仮予測係数が学習によって求められ、
出力画像信号と同一の解像度を有する画像信号中の、第２の注目点に対応する画素の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、第１のクラス値毎に第２の仮予測係数が学習によって求められ、
相異なる第１のクラス値について求められた第１の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第１のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
相異なる第１のクラス値について求められた第２の仮予測係数の間の差分としての距離の和または平均値を計算し、距離の和または平均値が第２のしきい値以下となる複数の第１のクラス値を１つのクラスに統合して、第１のクラス値よりもクラス数の少ない第２のクラス値を生成し、
クラス値変換テーブルは、第１のクラス値を第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機である。
【００１２】
以上のような発明によれば、例えば、注目点すなわち画素が予測生成されるべき点が入力画像信号の走査線に対応する位置にあるか否か等の位置関係、あるいは、装置内に設けられるメモリの記憶容量等の条件に応じて注目位置についてのクラス数が的確に設定される。このため、画像情報変換処理をより効率的に行うことが可能となる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。ここで、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図１から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００１６】
ここで、ｙ１は既に存在するポイントであるのに対し、ｙ２は新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当てる必要がある。また、例えば装置に備えられるメモリー資産が充分な量を有しない場合、または、より少ないクラス数を用いて、効率的な画像情報変換処理を行う場合等においては、クラスの総数をより少なくするようなクラス値の変換を行う必要がある。これらの観点から、この発明は、ｙ１，ｙ２の予測生成を効率的に、また、きめ細かく行えるように、クラス数を適切に割り当てるようにしたものである。
【００１７】
以下、この発明の一実施形態について適宜図面を参照して説明する。一実施形態は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。図２は、この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、１０、２０に供給される。
【００１８】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記す）を選択する。選択される予測タップが推定予測演算回路４、５に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００１９】
また、推定予測演算回路４、５には、後述する係数メモリ４１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ４１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２０】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、推定予測演算回路４においてはラインデータｙ１が予測生成され、推定予測演算回路５においてはラインデータｙ２が予測生成される。予測係数ｗ1 ，‥‥，ｗn は、ｙ１，ｙ２についてそれぞれ相違したものである。
【００２１】
推定予測演算回路４、５は、それぞれ、ラインデータｙ１、ｙ２を線順序変換回路６に供給する。線順序変換回路６は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号がこの発明の一実施形態における画像情報変換処理系の最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２２】
一方、タップ選択回路１０、１１は、入力ＳＤ信号からそれぞれ、ラインデータｙ１，ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。また、タップ選択回路２０は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）動きクラスタップを選択する。タップ選択回路１０、１１の出力が空間クラス検出回路１２、１３にそれぞれ供給され、また、タップ選択回路２０の出力が動きクラス検出回路２１に供給される。
【００２３】
空間クラス検出回路１２、１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。そして、検出した空間クラス値をそれぞれクラス合成回路３０、３１に供給する。また、動きクラス検出回路２１は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路３０、３１に供給する。
【００２４】
クラス合成回路３０、３１は、供給される空間クラス値と、動きクラス値とを合成する。クラス合成回路３０、３１の出力は、それぞれ、クラス値変換回路３２、３３に供給される。クラス値変換回路３２、３３は、それぞれ、クラス合成回路３０、３１の出力に後述するようなクラス値変換処理を施す。クラス値変換処理により、クラスの総数が削減される。
【００２５】
変換されたクラス値が係数メモリ４１に供給される。係数メモリ４１は、後述する学習によって予め決められた予測係数を記憶し、記憶した予測係数の内でクラス値変換回路３２、３３から供給されるクラス値によって指定されるものを推定予測演算回路４、５に対して出力する。このような動作を可能とするためには、例えば、クラス値変換によって得られるクラス値によって指定されるアドレスに従って予測係数を記憶する等の方法を用いれば良い。
【００２６】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２７】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００２９】
上述したように、ラインデータｙ２についてのクラス数は、ラインデータｙ１についてのクラス数よりも大きい。この点について具体的に説明する。まず、ｙ１についての空間クラス検出に使用される空間クラスタップの配置の一例を図３に示す。図３では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００３０】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００３１】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，およびフィールドＦ／ｏ内のＴ１、Ｔ２、Ｔ３の全部で５個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００３２】
同様に、ｙ２についての空間クラス検出に使用される空間クラスタップの配置の一例を図４に示す。図４中での表記は図３と同様である。かかる一例においては、フィールドＦ／ｏ内のラインデータｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ６、およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４，Ｔ５，およびフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００３３】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３４】
【数１】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる（図５参照）。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３６】
動きクラス検出に使用される動きクラスタップの配置の一例を図５に示す。かかる一例においてフィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、動きクラスタップの配置はこれに限定されるものでは無い。
【００３７】
図３および図４に示したような空間クラスタップ配置を使用して、１ビットＡＤＲＣでクラス分類する場合には、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はそれぞれ以下のようになる。
【００３８】
ｙ１についてのクラス数 ＝ ２5 ×４ ＝ １２８
ｙ２についてのクラス数 ＝ ２6 ×４ ＝ ２５６
この場合、合計のクラス数は３８４である。但し、例えば画像情報変換処理系に備えられるメモリー資産（図２中では係数メモリ４１）がこのクラス数に対応するために充分な記憶容量を有しない場合、または、より少ないクラス数で効率的に画像情報変換処理を行う場合等においては、クラスの総数を削減する必要がある。そこで、この発明は、クラス値変換処理を行うことによってｙ１，ｙ２についてのクラス数を削減するようにしたものである。図６は、この場合のクラス総数の削減について模式的に示すものである。なお、図６中の仮予測係数については後述する。
【００３９】
次に、学習、すなわち適切な予測係数を設定する処理について以下に説明する。まず、学習の第１段階である、クラス値変換テーブルの作成に係る処理系の構成の一例を図７に示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ５１、および正規方程式加算回路６１、６２に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００４０】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００４１】
ここで、間引きフィルタ５１に対する入力ＳＤ信号の一例としての５２５ｐ信号と、間引きフィルタ５１からの出力画像信号の一例としての５２５ｉ信号との間の画素の空間的関係を図８に示す。５２５ｐ信号の奇数番目のフィールドでは、偶数番目のラインが間引かれ、また、奇数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図８では、第１フィールドと第３フィールドについて図示した。一方、５２５ｐ信号の奇数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図８では、第２フィールドについて図示した。
【００４２】
図７において、間引きフィルタ５１が生成するインターレス画像信号がタップ選択回路１０１、１１０、１１１および１２０に供給される。タップ選択回路１０１は、後述する正規方程式の計算において使用され得る予測タップを選択し、選択した予測タップを正規方程式加算回路６１、６２に供給する。一方、タップ選択回路１１０、１１１は、それぞれ、ラインデータｙ１，ｙ２についての空間クラスタップを選択し、選択した空間クラスタップをそれぞれ、空間クラス検出回路１１２、１１３に供給する。さらに、タップ選択回路１２０は、動きクラスタップを選択し、選択した動きクラスタップを動きクラス検出回路１２１に供給する。
【００４３】
空間クラス検出回路１１２、１１３は、空間クラスタップのデータをＡＤＲＣによって圧縮し、それぞれ、ｙ１，ｙ２についての空間クラス値を独立に検出する。また、動きクラス検出回路１２１は、動きクラス値を検出する。空間クラス検出回路１１２の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３０に供給される。また、空間クラス検出回路１１３の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３１に供給される。クラス合成回路１３０、１３１は、それぞれｙ１，ｙ２についての空間クラス値と動きクラス値とを合成する。クラス合成回路１３０、１３１の出力が正規方程式加算回路６１、６２に供給される。
【００４４】
正規方程式加算回路６１は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３０の出力に基づいてｙ１の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。同様に、正規方程式加算回路６２は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３１の出力に基づいてｙ２の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。
【００４５】
正規方程式加算回路６１、６２は、それぞれ、算出したデータを仮予測係数決定回路６３に供給する。仮予測係数決定回路６３は、供給されるデータに基づき、正規方程式を解く計算処理を行って、ｙ１，ｙ２の予測生成に係る仮予測係数を算出する。そして、算出した仮予測係数を近接係数クラス統合処理部６４に供給する。ここで、仮予測係数と称するのは、最終的な予測係数は、後述するように、クラス統合の結果として決定されるからである。正規方程式を解くための計算処理は、後述する予測係数決定回路２６３（図９参照）における計算処理と同様である。
【００４６】
近接係数クラス統合処理部６４は、供給される仮予測係数の間の距離ｄを、例えば以下の式（４）に従って計算する。
【００４７】
【数２】
ここで、ｋl 、ｋl ’は相異なるクラスの予測係数を示す。また、ｌは、予測タップの番号を示す。また、ｎが予測タップの総数を表す。
【００４９】
さらに、近接係数クラス統合処理部６４は、上述したようにして求めたクラス間の予測係数の距離を所定のしきい値と比較し、互いの距離がしきい値より小さくなるような複数個のクラスを１つのクラスに統合する。クラスを統合することによってクラスの総数を減らすことができる。この際に、あるクラスと他の幾つかのクラスとの間の距離が共にしきい値より小さくなる場合には、距離が最小となるクラス同志を統合するようにすれば良い。上述の所定のしきい値を大きく設定する程、クラス数を削減することができる。従って、しきい値を可変することにより、クラス値変換処理によって得られるクラスの総数を調整することができる。
【００５０】
この際に、画像情報変換処理系に備えられるメモリ資産（図２中では係数メモリ４１）の記憶容量等の条件に応じて、ｙ１、ｙ２について的確なクラス数を割り振るようにすることにより、メモリ資産をより有効に使用できる、または、より少ないクラス数で効率的に画像情報変換処理を行うことができる、等の効果を得ることができる。
【００５１】
そして、近接係数クラス統合処理部６４は、クラスの統合に関する情報をクラス値変換テーブル生成部６５に供給する。クラス値変換テーブル生成部６５は、供給される情報に基づいてクラス値変換テーブルを生成する。このクラス値変換テーブルは、上述したクラス値変換回路３２、３３（図２参照）、および後述するクラス値変換回路８１、８２（図９参照）に供給され、記憶される。そして、これらの構成要素の動作において参照される。
【００５２】
次に、学習の第２段階としての予測係数の算出処理について詳細に説明する。図９に、予測係数を算出する予測係数算出処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２５１、正規方程式加算回路２６１、２６２に供給される。間引きフィルタ２５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００５３】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。間引きフィルタ２５１が生成するＳＤ信号がタップ選択回路２０１、２１０、２１１、２２０に供給される。間引きフィルタ２５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００５４】
タップ選択回路２０１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２６１、２６２に供給する。一方、タップ選択回路２１０、２１１が選択する，ｙ１，ｙ２についての空間クラスタップがそれぞれ空間クラス検出回路２１２、２１３に供給される。さらに、タップ選択回路２２０が選択する予測タップが動きクラス検出回路２２１に供給される。
【００５５】
空間クラス検出回路２１２、２１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。また、動きクラス検出回路２２１は、供給される動きクラスタップに基づいて、動きクラス値を検出する。空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３０に供給される。また、空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３１に供給される。クラス合成回路２３０、２３１は、それぞれｙ１，ｙ２についてクラス値を合成し、各クラス値をクラス値変換処理部８１、８２に供給する。
【００５６】
クラス値変換処理部８１、８２は、上述したようにして生成されるクラス値変換テーブルを記憶しており、かかるクラス値変換テーブルを参照して、クラス合成回路２３０、２３１の出力に対してクラス値変換を施す。そして、クラス値変換の結果を、それぞれ、正規方程式加算回路２６１、２６２に供給する。
【００５７】
正規方程式加算回路２６１、２６２は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２６１は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８１の出力に基づいて加算処理を行うことにより、ｙ１の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。また、正規方程式加算回路２６２は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８２の出力に基づいて加算処理を行うことにより、ｙ２の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００５８】
正規方程式加算回路２６１、２６２が算出したデータが予測係数決定回路２６３に供給される。予測係数決定回路２６３は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に係る予測係数を算出する。算出される予測係数が係数メモリ８４に供給され、記憶される。
【００５９】
予測係数の決定に係る処理、すなわち正規方程式加算回路２６１、２６２、および予測係数決定回路２６３が行う処理について、以下、より詳細に説明する。まず、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素を式（１）によって順次予測生成することができる。
【００６０】
式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の信号データに対して行う。信号データの総数をｍと表記する場合、式（１）に従って、以下の式（５）が設定される。
【００６１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（６）で定義して、式（７）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００６２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （６）
（ｋ＝１，２，‥‥ｍ）
【００６３】
【数３】
式（７）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（８））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００６５】
【数４】
式（８）から各予測係数ｗi を定める具体的な手順について説明する。式（９）、（１０）のようにＸji，Ｙi を定義すると、式（８）は、式（１１）の行列式の形に書くことができる。
【００６７】
【数５】
【数６】
【数７】
式（１１）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２６１、２６２のそれぞれは、クラス値変換回路８１、８２から供給されたクラス値、予測タップ選択回路２０１から供給される予測タップ、および入力画像信号と同じ信号形式を有する既知の画像信号を用いて、正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部４３に供給する。予測係数決定部４３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００７１】
なお、以上のように生成される予測係数は、クラス値変換が施されたデータに基づいて算出されるのに対し、図７を参照して上述した仮予測係数は、クラス値変換が未だ施されていないデータに基づいて算出される。かかる点以外では、両者は正規方程式の解として全く同様な計算処理によって算出される。従って、仮予測係数の決定に係る処理、すなわち図７中の正規方程式加算回路６１、６２、および予測係数決定回路６３が行う処理も、全く同様なものである。
【００７２】
すなわち、図７では、クラス合成回路１３０、１３１から供給されるクラス値、予測タップ選択回路１０１から供給される予測タップ、および出力画像信号と同じ信号形式を有する既知の入力画像信号（例えば５２５ｐ信号）を用いて、正規方程式加算回路６１、６２のそれぞれが正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを仮予測係数決定部６３に供給する。仮予測係数決定部６３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って仮予測係数を算出する。
【００７３】
このように、仮予測係数を算出し、それに基づいてクラス値変換テーブルを生成し、さらに、クラス値変換テーブルを参照してクラス値変換を行いながら予測係数を算出することによって、学習が行なわれる。その結果として、予測係数メモリ８４には、クラス毎に、プログレッシブ画像の注目画素を推定するための、統計的に最も真値に近い推定ができる予測係数が格納される。予測係数メモリ８４に格納された予測係数は、図２等を参照して上述した画像情報変換処理系内の予測係数メモリ４１にロードされる。
【００７４】
なお、図５示したような画像信号変換処理系、図７に示したようなクラス値変換テーブルの作成に係る処理系、および図９に示した予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、５１、２０１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００７５】
また、タップ選択回路２０１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図９中の予測係数決定部２６３では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００７６】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、ラインメモリを有し、水平周期を２倍とするライン倍速処理を行う。図１０は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００７７】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。以上のようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００７８】
上述したこの発明の一実施形態においては、図３、図４を参照して上述したように、空間クラスタップの配置がｙ１，ｙ２について別個のもの（ｙ１について５個、ｙ２について６個）とされていた。これに対して、空間クラスタップの配置をｙ１，ｙ２について同一とした、この発明の他の実施形態も可能である。
【００７９】
以下、他の実施形態について説明する。他の実施形態におけるｙ１，ｙ２について空間クラスタップの配置について、図１１に示す。図１１での表記は図３と同様である。フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ５，Ｔ６，およびフィールドＦ／ｏ内のＴ２，Ｔ３，Ｔ４，並びにフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。この場合、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、ｙ１，ｙ２の何れについても、クラス数は、２6 ×４＝２５６個となる。
【００８０】
この場合にクラス値変換を行うことによってクラス数が削減される様子を、図１２に模式的に示す。クラス値変換が施される前のクラス数は、ｙ１，ｙ２の何れについても２５６クラスである。これに対し、クラス値変換が施された後のクラス数は、ｙ１についてのクラス数の方がｙ２についてのクラス数よりも小さい。これは、上述したように、ｙ２を予測生成する方がｙ１を予測生成するよりも困難であることを考慮したためである。
【００８１】
他の実施形態における画像情報変換処理系の構成について、図１３を参照して説明する。図１３において、図２と同様な構成要素については同一の符号を付した。上述したように、他の実施形態ではｙ１，ｙ２についての空間クラスタップの配置が同一とされるので、空間クラス検出に係る構成は、ｙ１，ｙ２について共通に設ければ良い。このような構成として、空間クラス検出回路１６、およびその前段で空間クラスの選択を行うタップ選択回路１５が設けられている。
【００８２】
空間クラス検出回路１６の出力である空間クラス値と、動きクラス検出回路２１の出力である動きクラス値とがクラス合成回路１７に供給される。クラス合成回路１７は、供給される空間クラス値と動きクラス値とを合成する。クラス合成回路１７の出力がクラス値変換回路１８、１９に供給される。クラス値変換回路１８、１９は、クラス合成回路１７の出力にクラス値変換を施すことにより、それぞれ、ｙ１，ｙ２に係る、変換されたクラス値を生成する。この際のクラス値変換は、ｙ１とｙ２のそれぞれを予測生成する際の困難さを考慮して、的確なクラス数を得るものとされる。クラス値変換回路１８、１９の出力が係数メモリ４１に供給される。
【００８３】
以上のような他の実施形態では、空間クラス検出に係る構成をｙ１，ｙ２について共通とすることができるので、回路構成の簡素化に寄与することができる。その反面、ｙ１について大きな比率でクラス数を削減するクラス値変換を行う必要があるので、特にｙ１についてのクラス値変換が複雑な処理となる可能性がある。なお、図２と同様に空間クラス検出に係る構成をｙ１，ｙ２について別個に設ける構成を用いても、他の実施形態に係る画像情報変換処理を実現することは可能である。
【００８４】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【００８５】
このような画像情報変換処理について具体的に説明する。図１４は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と、１０５０ｉ信号とにおける画素の配置を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。なお、図１４の実線で示したものは、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００８６】
図１５に、この場合の空間クラスタップの配置の一例を示す。図１５中での表記は図３と同様である。フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，Ｔ６，Ｔ７およびフィールドＦ／ｏ内のＴ１，Ｔ２，Ｔ３の全部で７個の画素値が使用される。この場合、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はｙ１，ｙ２の何れについても、２7 ×４＝５１２個となる。
【００８７】
このような空間クラスタップ配置を用いる場合には、例えば図１３等を参照して上述した他の実施形態と同様な構成によって画像情報変換処理を実現することができる。なお、空間クラスタップの配置はこれに限定されるものでは無い。例えば、ｙ１，ｙ２について異なる空間クラスタップ配置を用いても良い。また、水平方向の複数の入力画素を使用しても良い。
【００８８】
また、図１６に、この場合の動きクラスタップの配置の一例を示す。フィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、この場合の動きクラスタップの配置はこれに限定されるものでは無い。
【００８９】
【発明の効果】
上述したように、この発明は、入力画像信号から走査線構造の異なる出力画像信号を形成する画像情報変換処理を行うに際して、入力画像信号の走査線との位置関係が異なる複数種類の注目点（具体的には、入力画像信号の走査線上に位置するｙ１と、入力画像信号の走査線の間に位置するｙ２等）の各々について決定されるクラスの数を、注目点の入力画像信号の走査線に対する位置関係に応じて（例えば、予測生成がより困難なｙ２に対してより多くのクラス数を割当てる等）、削減するようにしたものである。
【００９０】
このため、装置内のメモリ資産の記憶容量に応じてクラス数を設定できるので、メモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となる。また、より少ないクラス数の下で効率的な処理を行う場合にも、この発明を適用することが有効となる。
【００９１】
また、注目点と入力画像信号の走査線との位置関係の違い等に起因する（具体的にはｙ１とｙ２の間での）予測生成の困難さに応じて、各注目点に対して適切なクラス数が割り当てられる。このため、メモリ資産の記憶容量が限られている場合にも、きめ細かく、また効率的な画像情報変換処理を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図３】この発明の一実施形態における、ラインデータｙ１についての空間クラスタップ配置の一例を示す略線図である。
【図４】この発明の一実施形態における、ラインデータｙ２についての空間クラスタップ配置の一例を示す略線図である。
【図５】この発明の一実施形態における、動きクラスタップ配置の一例を示す略線図である。
【図６】この発明の一実施形態におけるクラス統合について説明するための略線図である。
【図７】この発明の一実施形態におけるクラス値変換テーブル生成処理系の構成の一例を示すブロック図である。
【図８】クラス値変換テーブル生成処理系および予測係数算出処理系において使用される間引きフィルタによる処理について説明するための略線図である。
【図９】この発明の一実施形態における、予測係数算出処理系の構成の一例を示すブロック図である。
【図１０】ライン倍速処理について説明するための略線図である。
【図１１】この発明の他の実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図１２】この発明の他の実施形態におけるクラス統合について説明するための略線図である。
【図１３】この発明の他の実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図１４】この発明の他の実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図１５】この発明の一実施形態における、空間クラスタップ配置の一例を示すブロック図である。
【図１６】この発明の一実施形態における、動きクラスタップ配置の一例を示すブロック図である。
【符号の説明】
３２、３３・・・クラス値変換回路、４１・・・係数メモリ、６４・・・近接係数クラス統合、６５・・・クラス値変換テーブル生成部、８１、８２・・・クラス値変換回路、１８、１９・・・クラス値変換回路
Claims (14)
- 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
上記入力画像信号に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第２の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、上記演算処理手段による演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段とを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
上記入力画像信号の走査線に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成して第１のクラス値を生成するクラス合成手段と、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
上記第３の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第３の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、上記演算処理手段による演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段とを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置。 - 請求項１または２において、
上記第１および第２のしきい値は、
上記記憶手段の記憶容量が小さくなるに従って大きくなるように設定されることを特徴とする画像情報変換装置。 - 請求項１または２において、
上記第１の仮予測係数に対する第１のしきい値は、上記第２の仮予測係数に対する第２のしきい値に比して大きくなるように設定されることを特徴とする画像情報変換装置。 - 請求項１または２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。 - 請求項１または２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
上記入力画像信号に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出ステップと、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
予め学習によって求められ、上記演算処理ステップによる演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段から上記第１および第２の予測係数データを出力するステップと、
上記第２の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第２の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第２の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第２の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報変換方法。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
上記入力画像信号の走査線に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
上記第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
上記空間クラス値と上記動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、上記演算処理ステップによる演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段から上記第１および第２の予測係数データを出力するステップと、
上記第３の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第３の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とする画像情報処理装置。 - 請求項７または８において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。 - 請求項７または８において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
上記入力画像信号に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する第１のクラス値を決定するクラス検出手段と、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換手段と、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第２の画像データ選択手段によって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理手段と、
予め学習によって求められ、上記演算処理手段による演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段とを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン受像機において、
上記入力画像信号の走査線に存在する走査線上の第１の注目点と、上記入力画像信号に存在せず、生成される走査線上の第２の注目点とのそれぞれに時間的または空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択ステップと、 上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記第１および第２の注目点がそれぞれ属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第２の画像データ選択ステップと、
上記第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
上記空間クラス値と上記動きクラス値とを合成して第１のクラス値を生成するクラス合成ステップと、
上記第１および第２の注目点のそれぞれの上記第１のクラス値に対して、予め学習によって生成されているクラス値変換テーブルを参照してクラス値変換処理を施して、第２のクラス値を生成するクラス値変換ステップと、
上記入力画像信号から、上記第１および第２の注目点のそれぞれに時間的または空間的に近傍に位置する複数の画素を選択する第３の画像データ選択ステップと、
予め学習によって求められ、上記演算処理ステップによる演算処理に使用される、上記第１および第２の予測係数データが上記第２のクラス値毎に記憶される記憶手段から上記第１および第２の予測係数データを出力するステップと、
上記第３の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第１の予測係数データの線型一次結合によって、上記第１の注目点に画素を予測生成するための演算処理を行うと共に、上記第３の画像データ選択ステップによって選択された画像データ、および上記第２のクラス値に対応して指定される第２の予測係数データの線型一次結合によって、上記第２の注目点に画素を予測生成するための演算処理を行う演算処理ステップとを有し、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第１の注目点に対応する画素の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データおよび第１の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第１の仮予測係数が学習によって求められ、
上記出力画像信号と同一の解像度を有する画像信号中の、上記第２の注目点に対応する画素の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データと第２の仮予測係数の線型一次結合の計算値との差を最小とするように、上記第１のクラス値毎に上記第２の仮予測係数が学習によって求められ、
相異なる上記第１のクラス値について求められた上記第１の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第１のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
相異なる上記第１のクラス値について求められた上記第２の仮予測係数の間の差分としての距離の和または平均値を計算し、上記距離の和または平均値が第２のしきい値以下となる複数の上記第１のクラス値を１つのクラスに統合して、上記第１のクラス値よりもクラス数の少ない上記第２のクラス値を生成し、
上記クラス値変換テーブルは、上記第１のクラス値を上記第２のクラス値に変換する変換規則を内容とすることを特徴とするテレビジョン受像機。 - 請求項１１または１２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とするテレビジョン受像機。 - 請求項１１または１２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とするテレビジョン受像機。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23731398A JP4147632B2 (ja) | 1998-08-24 | 1998-08-24 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
| EP19990306636 EP0989748B1 (en) | 1998-08-24 | 1999-08-20 | Picture information conversion and video processor |
| US09/378,065 US6483546B1 (en) | 1998-08-24 | 1999-08-20 | Picture information converting apparatus, picture information converting method, and television receiver |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23731398A JP4147632B2 (ja) | 1998-08-24 | 1998-08-24 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000069435A JP2000069435A (ja) | 2000-03-03 |
| JP2000069435A5 JP2000069435A5 (ja) | 2005-09-08 |
| JP4147632B2 true JP4147632B2 (ja) | 2008-09-10 |
Family
ID=17013524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23731398A Expired - Fee Related JP4147632B2 (ja) | 1998-08-24 | 1998-08-24 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6483546B1 (ja) |
| EP (1) | EP0989748B1 (ja) |
| JP (1) | JP4147632B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4470323B2 (ja) * | 1999-04-23 | 2010-06-02 | ソニー株式会社 | 画像変換装置および方法 |
| DE60140824D1 (de) * | 2000-02-10 | 2010-01-28 | Sony Corp | Anordnung und Verfahren zur Bildverarbeitung, und Aufzeichnungsträger |
| JP4670169B2 (ja) | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
| JP4696388B2 (ja) | 2000-11-15 | 2011-06-08 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 |
| US7095445B2 (en) * | 2000-12-20 | 2006-08-22 | Samsung Electronics Co., Ltd. | Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus |
| JP4517264B2 (ja) | 2000-12-26 | 2010-08-04 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 |
| KR100835454B1 (ko) * | 2001-01-22 | 2008-06-04 | 소니 가부시끼 가이샤 | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치, 화상 신호 처리 방법 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 및 컴퓨터 판독 가능한 매체 |
| KR100952242B1 (ko) | 2002-01-30 | 2010-04-09 | 소니 주식회사 | 화상 표시 장치에 사용되는 계수종 데이터 혹은 계수 데이터의 생성 장치와 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 매체 |
| US7865065B2 (en) | 2002-03-08 | 2011-01-04 | Sony Corporation | Apparatus and method of recording information on a recording medium |
| CN100533576C (zh) | 2002-03-08 | 2009-08-26 | 索尼公司 | 记录介质及其再现及制造方法和装置、记录装置 |
| JP4534422B2 (ja) * | 2002-03-08 | 2010-09-01 | ソニー株式会社 | 半導体装置 |
| US7777321B2 (en) * | 2002-04-22 | 2010-08-17 | Gann Keith D | Stacked microelectronic layer and module with three-axis channel T-connects |
| JP4055203B2 (ja) | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| JP4055655B2 (ja) | 2003-05-29 | 2008-03-05 | ソニー株式会社 | 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム |
| JP3885786B2 (ja) | 2003-09-12 | 2007-02-28 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム |
| US7542095B2 (en) * | 2005-01-20 | 2009-06-02 | Samsung Electronics Co., Ltd. | Method and system of noise-adaptive motion detection in an interlaced video sequence |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941045A (en) * | 1988-10-11 | 1990-07-10 | Scientific-Atlanta, Inc. | Method and apparatus for improving vertical definition of a television signal by scan conversion |
| JP2830111B2 (ja) | 1989-07-21 | 1998-12-02 | ソニー株式会社 | 高能率符号化装置 |
| JP3271108B2 (ja) * | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| JP3845870B2 (ja) | 1994-09-09 | 2006-11-15 | ソニー株式会社 | ディジタル信号処理用集積回路 |
| JP3794505B2 (ja) * | 1995-03-22 | 2006-07-05 | ソニー株式会社 | 信号変換装置及び信号変換方法 |
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| JP3669530B2 (ja) * | 1995-06-30 | 2005-07-06 | ソニー株式会社 | 画像信号変換装置及び画像信号変換方法 |
| EP0843475B1 (en) | 1996-05-30 | 2004-12-08 | Sony Corporation | Picture information converting apparatus and method |
| EP0883303B1 (en) | 1996-12-11 | 2003-05-28 | Sony Corporation | Signal conversion device and method |
| US6330344B1 (en) * | 1997-02-14 | 2001-12-11 | Sony Corporation | Image processing device and method employing motion detection to generate improved quality image from low resolution image |
-
1998
- 1998-08-24 JP JP23731398A patent/JP4147632B2/ja not_active Expired - Fee Related
-
1999
- 1999-08-20 EP EP19990306636 patent/EP0989748B1/en not_active Expired - Lifetime
- 1999-08-20 US US09/378,065 patent/US6483546B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000069435A (ja) | 2000-03-03 |
| EP0989748B1 (en) | 2012-10-03 |
| EP0989748A2 (en) | 2000-03-29 |
| EP0989748A3 (en) | 2001-09-12 |
| US6483546B1 (en) | 2002-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2006020347A (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |