JP3852133B2 - 画像信号変換装置および方法 - Google Patents
画像信号変換装置および方法 Download PDFInfo
- Publication number
- JP3852133B2 JP3852133B2 JP22931696A JP22931696A JP3852133B2 JP 3852133 B2 JP3852133 B2 JP 3852133B2 JP 22931696 A JP22931696 A JP 22931696A JP 22931696 A JP22931696 A JP 22931696A JP 3852133 B2 JP3852133 B2 JP 3852133B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- class
- prediction
- image signal
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１０に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１１および図１２に示す。
【０００４】
図１１に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１２に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数と予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
このようにクラス分類適応処理によってＳＤ信号より解像度の高いＨＤ信号を生成することが可能となる。先に提案されているクラス分類適応処理によるアップコンバータは、入力ＳＤ信号が、輝度信号等のコンポーネント信号に対する処理と関係するものであった。
【００１０】
しかしながら、コンポジットＳＤ信号を直接的にＨＤ信号へ変換することも可能である。コンポジットＳＤ信号が入力された場合、このコンポジットＳＤ信号をコンポーネントＳＤ信号へ変換してからＨＤ信号へ変換する方法と、入力されたコンポジットＳＤ信号を直接的にＨＤ信号へ変換する方法とは、画像の動きの程度によって変換の性能が異なることがある。先に提案されているクラス分類適応処理では、一方の方法のみを使用するものであり、両者を適応的に選択し、切り換えるものではなかったため、変換の性能は、不充分であった。
【００１１】
従って、この発明は、例えば異なる複数の処理により獲得されたＨＤ信号を入力されたコンポジットＳＤ信号の特徴に応じて切り換え、または重み付き加算を行うことで変換の性能が高いＨＤ信号を生成することができる画像信号変換装置および方法の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理手段と、第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理手段と、第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理手段と、第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理手段と、第１のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成手段と、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第１の変換信号が選択され、動き部分と判断されたときに、第２の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第３の変換信号を選択する選択手段とからなることを特徴とする画像信号変換装置である。
【００１３】
さらに、請求項４に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換方法において、第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理ステップと、第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理ステップと、第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理ステップと、第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理ステップと、第１のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成ステップと、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第１の変換信号が選択され、動き部分と判断されたときに、第２の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第３の変換信号を選択する選択ステップとからなることを特徴とする画像信号変換方法である。
【００１６】
入力ＳＤ信号に対して異なる前処理を行い、前処理された信号に対してそれぞれクラス分類適応処理においてアップコンバートを行う。そして、入力ＳＤ信号に基づいた制御信号に応じて、適切な変換処理で得られた変換信号を切り換える、または重み付け加算を行うことで高性能な出力ＨＤ信号を得ることができる。より具体的には、入力コンポジット信号に対して３次元Ｙ／Ｃ分離を施し、分離されたＹ信号またはＣ信号を用いてクラス分類適応処理においてアップコンバートを行い、入力コンポジット信号に対してクラス分類適応処理においてアップコンバートを行う。そして、入力コンポジット信号に基づいた制御信号に応じて、アップコンバートされた変換信号を切り換える、または重み付け加算を行うことによって、変換性能を高くすることができる。
【００１７】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１８】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１９】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００２０】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２１】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２２】
【数１】
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２３】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２４】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２５】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００２６】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２７】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
【００２８】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００２９】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
【００３０】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
を最小にする条件が成り立つ場合と考えられる。すなわち、式（５）の条件を考慮すれば良いわけである。
【００３１】
【数５】
【００３２】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３３】
【数６】
【００３４】
式（５）および式（６）により式（７）が得られる。
【数７】
【００３５】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
【００３６】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００３７】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００３８】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測方式によるクラス分類適応処理の概要である。
【００３９】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１１および図１２のアップコンバータに対応した構成であり、図１０に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００４０】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００４１】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数ｄ５の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４２】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４３】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４４】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４５】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００４６】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００４７】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００４８】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００４９】
このようなクラス分類適応処理を用いることにより、上述の従来の補間フィルタを用いたアップコンバータより、解像度の向上したアップコンバート画像が得られる。
【００５０】
上述したクラス分類適応処理は、コンポーネントＳＤ信号、例えば輝度信号に対して適用できる。コンポジット信号を直接的にアップコンバートする場合には、クラス分類適応処理に加えサブキャリアの位相等のコンポジット信号特有の性質を考慮する必要がある。図６は、コンポジット信号を４ｆｓｃのサンプリング周波数でサンプリングした場合のサブキャリア位相の例を示し、図６Ａは、偶数フレームの場合の画素のサブキャリア位相を示し、図６Ｂは、奇数フレームの場合の画素のサブキャリア位相を示す。
【００５１】
図に示すように、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は変化する。ＮＴＳＣコンポジット信号では、ラインおよびフレーム毎にサブキャリアの位相が反転し、４フィールド単位で位相は元に戻ることになる。コンポーネント信号からのアップコンバージョンにおいては、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが一般的である。しかしながら、図６から明らかなように、コンポジット信号においては近傍の各画素値は、サブキャリアの変動を反映する。同色かつ同一輝度値の平坦信号であってもコンポジット信号においては、サブキャリア位相により各画素値は、変化することになる。
【００５２】
よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必須となる。クラス分類適応処理を用いてコンポジット信号からアップコンバージョンを実行する処理構成は、コンポーネント信号の場合と同じく図２に示す構成で実現されるが、クラスタップや予測タップの構造を変更する必要がある。
【００５３】
この発明は、入力ＳＤ信号がコンポジット信号の場合などで、異なる前処理を施した上で各々にクラス分類適応処理を適用することで、高性能なアップコンバージョンを実現するものである。入力信号に異なる前処理を施し得られる信号に対し、各々クラス分類適応処理を用い変換信号を生成し、別途検出される制御信号に基づき変換信号の切り換えを行い、最終的な出力ＨＤ信号を得る。この発明の一実施例を図７に示す。
【００５４】
入力端子４１から供給される入力ＳＤ信号ｄ２０は、制御信号生成部４２、前処理部４３、４５、４７へ供給される。制御信号生成部４２では、供給される入力ＳＤ信号から制御信号ｄ２１が生成される。生成された制御信号ｄ２１は、画素単位またはブロック単位で制御信号生成部４２から選択部４９へ供給される。前処理部４３、４５および４７では、異なる３種類の前処理が入力ＳＤ信号に対して施され、前処理が施された信号は、ｄ２２、ｄ２３およびｄ２４としてクラス分類適応処理部４４、４６および４８へ供給される。クラス分類適応処理部４４、４６および４８が、予測方式の場合、上述した図２に示す構成になる。クラス分類適応処理部４４、４６および４８の出力信号ｄ２５、ｄ２６およびｄ２７は、選択部４９へ供給される。選択部４９では、制御信号生成部４２からの制御信号ｄ２１に基づいて出力信号ｄ２５、ｄ２６およびｄ２７が選択される。選択された主力信号は、出力端子５０からＨＤ信号ｄ２８として出力される。
【００５５】
また、複数の処理信号に重み付き加算を施す他の実施例の構成図を図８に示す。この図８中において、上述の図７と同じブロックには、同じ符号を付して、説明を省略する。制御信号生成部４２からの制御信号ｄ２１は、画素単位またはブロック単位に重み生成部５１へ供給される。重み生成部５１では、供給される制御信号ｄ２１に対して、しきい値判定などによって３種類の信号ｄ２５、ｄ２６およびｄ２７の加算重みａi が生成される。生成された加算重みａi は、ｄ３１として重み付き加算演算部５２へ供給される。重み付き加算演算部５２では、クラス分類適応処理部４４、４６および４８からの出力信号ｄ２５、ｄ２６およびｄ２７に対して式（９）の演算が実行される。式（９）の演算結果によって得られたＨＤ信号は、ｄ３２として出力端子５３から出力される。
【００５６】
ｙ”＝ａ0 ×ｙ’0 ＋ａ1 ×ｙ’1 ＋ａ2 ×ｙ’2 （９）
ｙ”：最終ＨＤ出力値
ｙ’i ：各前処理による推定ＨＤ画素値
ａi ：加算重み（但し、総和は１．０とする。）
【００５７】
また、加算重みａi に関しては、クラス分類適応処理の対象として、学習により予め生成しておくことも可能である。その場合には、重み生成部５１には、重み係数ＲＯＭが内蔵されることになる。
【００６０】
さらに、前処理部４３、４５および４７の１例として、静止部分に対して時間方向の平均化、すなわちフレーム巡回型のノイズリデューサを施し、動き部分に対して１次元または２次元のメディアンフィルタを施し、さらに、両者の中間の準静止部には、３次元メディアンフィルタを施し、それぞれにクラス分類適応処理を施し、アップコンバージョンが可能なものがある。
【００６１】
次に、上述した他の実施例のより具体的な構成例のブロック図を図９に示す。入力端子６１から供給される入力ＳＤ信号ｄ４０は、輝度信号に対して搬送色信号が重畳されたコンポジット信号である。搬送色信号のサブキャリアは、図６に示すような位相関係を有する。入力ＳＤ信号ｄ４０は、動き量検出部６２、処理部６４、６６および前処理部６５へ供給される。動き量検出部６２では、入力ＳＤ信号ｄ４０の動き量が検出される。コンポジット信号においては、理想的な動き量検出はできないので、簡単な低域フィルタなどにより擬似的に輝度信号を生成し、この輝度信号を使用して動き量検出が行われる。検出された動き量は、ｄ４１として動き量検出部６２から重み生成部６３へ供給される。
【００６２】
重み生成部６３では、動き量ｄ４１に応じて重み付き加算演算用の重みが生成される。簡単には、動き量をしきい値判別し、重みを生成する。このしきい値は、最終的な画質を検討しながら経験的に決定される。また、重みを生成する手法としては、教師信号となるＨＤ信号を用意しておき予め学習により重みを生成し、ＲＯＭに格納するものが考えられる。この手法では、クラス分類適応処理そのものになり、単純には、動き量がクラスとなり、その動き量に応答する重みが読み出される。重みｄ４５は、重み生成部６３から重み付き加算演算部６７へ供給される。
【００６３】
図９に示す構成では、処理部６４は、クラス分類部６９、予測係数ＲＯＭ７０および予測演算部７１から構成される。その処理部６４では、供給される入力コンポジットＳＤ信号ｄ４０がクラス分類部６９へ供給される。クラス分類部６９では、入力コンポジットＳＤ信号ｄ４０に応じてクラスが生成される。生成されたクラスは、ｄ４２としてクラス分類部６９から予測係数ＲＯＭ７０に供給される。予測係数ＲＯＭ７０では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、ｄ４６として予測演算部７１へ供給される。
【００６４】
前処理部６５では、例えばコンポジット信号特有の画質劣化を抑圧するために、３次元Ｙ／Ｃ分離によるＹ／Ｃ分離が実行され、分離されたＹ信号は、ｄ４３として予測演算部７１へ供給される。予測演算部７１では、前処理部６５からのＹ信号ｄ４３と予測係数ｄ４６との積和演算が行われ、演算結果は、ｄ４８として重み付き加算演算部６７へ供給される。このように、処理部６４では、分離されたＹ信号ｄ４３にクラス分類適応処理を適用して、その演算結果がｄ４８として出力される。この処理部６４は、図８に示すクラス分類適応処理部に相当する。さらに、図示しないがＣ信号に対してもクラス分類適応処理により信号変換を施すことも可能である。
【００６５】
一方、処理部６６は、予測演算部７２、クラス分類部７３および予測係数ＲＯＭ７４から構成され、前処理を行わずに、直接的にクラス分類適応処理により信号変換が行われる。その処理部６６では、供給される入力コンポジットＳＤ信号ｄ４０が予測演算部７２およびクラス分類部７３へ供給される。クラス分類部７３では、入力コンポジットＳＤ信号ｄ４０に応じてクラスが生成される。生成されたクラスは、ｄ４４としてクラス分類部７３から予測係数ＲＯＭ７４へ供給される。予測係数ＲＯＭ７４では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、ｄ４７として予測演算部７２へ供給される。予測演算部７２では、入力ＳＤ信号ｄ４０と予測係数ｄ４７との積和演算が行われ、演算結果は、ｄ４９として重み付き加算演算部６７へ供給される。
【００６６】
重み付き加算演算部６７では、重み生成部６３からの重みｄ４５に応じて、処理部６４からのｄ４８と、処理部６６からのｄ４９とが演算される。この重み付き加算演算部６７において、動き量の大きい箇所では、入力コンポジットＳＤ信号に対してＹ／Ｃ分離などを行わず、直接的にクラス分類適応処理が施され、アップコンバージョンされたｄ４９に対する重みが大きくなる。また、動き量の小さい箇所では、入力コンポジットＳＤ信号に対して３次元Ｙ／Ｃ分離を施し、その結果得られたコンポーネントＹ信号にクラス分類適応処理が施され、アップコンバージョンされたｄ４８に対する重みが大きくなる。この場合、上述した式（９）が２入力の場合の演算となり、その演算結果は、ｄ５０として出力端子６８から取り出される。
【００６７】
図９に示す構成は、３次元Ｙ／Ｃ分離によって、比較的安定的なＹ信号が得ることが可能な動き量の小さい箇所では、コンポーネントＹ信号を生成し、生成されたコンポーネントＹ信号に対してクラス分類適応処理を施す。それ以外の箇所では、コンポジット信号に対して何も処理を施さず、直接的にクラス分類適応処理がなされる。従って、サブキャリアの重畳に起因するコンポジット信号特有のドット妨害などの画質劣化をさけるために、最終的な画質向上を図ることができる。
【００６８】
上述の実施例では、クラス分類適応処理において、予測演算を用いる手法を説明したが、この手法に限らず重心法を用いることも可能であり、さらに予測演算と重心法を併用することも可能である。
【００６９】
【発明の効果】
この発明に依れば、入力ＳＤ信号に対して異なる前処理を施した後に、クラス分類適応処理を施すことによって得られた複数の変換信号を、入力ＳＤ信号から得られる制御信号に応じて重み付き加算または切り換えることによって、高性能な信号変換を行うことができる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る偶数フレームと奇数フレームのコンポジット信号のサブキャリアの位相の一例を示す略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明が適用されたアップコンバータの他の実施例である。
【図９】この発明が適用されたアップコンバータの具体的な一例である。
【図１０】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１１】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１２】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
６２・・・動き量検出部、６３・・・重み生成部、６４、６６・・・処理部、６５・・・前処理部、６７・・・重み付き加算演算部、６９、７３・・・クラス分類部、７０、７４・・・予測係数ＲＯＭ、７１、７２・・・予測演算部
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１０に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１１および図１２に示す。
【０００４】
図１１に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１２に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数と予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
このようにクラス分類適応処理によってＳＤ信号より解像度の高いＨＤ信号を生成することが可能となる。先に提案されているクラス分類適応処理によるアップコンバータは、入力ＳＤ信号が、輝度信号等のコンポーネント信号に対する処理と関係するものであった。
【００１０】
しかしながら、コンポジットＳＤ信号を直接的にＨＤ信号へ変換することも可能である。コンポジットＳＤ信号が入力された場合、このコンポジットＳＤ信号をコンポーネントＳＤ信号へ変換してからＨＤ信号へ変換する方法と、入力されたコンポジットＳＤ信号を直接的にＨＤ信号へ変換する方法とは、画像の動きの程度によって変換の性能が異なることがある。先に提案されているクラス分類適応処理では、一方の方法のみを使用するものであり、両者を適応的に選択し、切り換えるものではなかったため、変換の性能は、不充分であった。
【００１１】
従って、この発明は、例えば異なる複数の処理により獲得されたＨＤ信号を入力されたコンポジットＳＤ信号の特徴に応じて切り換え、または重み付き加算を行うことで変換の性能が高いＨＤ信号を生成することができる画像信号変換装置および方法の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理手段と、第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理手段と、第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理手段と、第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理手段と、第１のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成手段と、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第１の変換信号が選択され、動き部分と判断されたときに、第２の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第３の変換信号を選択する選択手段とからなることを特徴とする画像信号変換装置である。
【００１３】
さらに、請求項４に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換方法において、第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理ステップと、第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理ステップと、第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理ステップと、第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理ステップと、第１のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成ステップと、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第１の変換信号が選択され、動き部分と判断されたときに、第２の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第３の変換信号を選択する選択ステップとからなることを特徴とする画像信号変換方法である。
【００１６】
入力ＳＤ信号に対して異なる前処理を行い、前処理された信号に対してそれぞれクラス分類適応処理においてアップコンバートを行う。そして、入力ＳＤ信号に基づいた制御信号に応じて、適切な変換処理で得られた変換信号を切り換える、または重み付け加算を行うことで高性能な出力ＨＤ信号を得ることができる。より具体的には、入力コンポジット信号に対して３次元Ｙ／Ｃ分離を施し、分離されたＹ信号またはＣ信号を用いてクラス分類適応処理においてアップコンバートを行い、入力コンポジット信号に対してクラス分類適応処理においてアップコンバートを行う。そして、入力コンポジット信号に基づいた制御信号に応じて、アップコンバートされた変換信号を切り換える、または重み付け加算を行うことによって、変換性能を高くすることができる。
【００１７】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１８】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１９】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００２０】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２１】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２２】
【数１】
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２３】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２４】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２５】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００２６】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２７】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００２９】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
【００３１】
【数５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３３】
【数６】
式（５）および式（６）により式（７）が得られる。
【数７】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００３７】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００３８】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測方式によるクラス分類適応処理の概要である。
【００３９】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１１および図１２のアップコンバータに対応した構成であり、図１０に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００４０】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００４１】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数ｄ５の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４２】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４３】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４４】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４５】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００４６】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００４７】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００４８】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００４９】
このようなクラス分類適応処理を用いることにより、上述の従来の補間フィルタを用いたアップコンバータより、解像度の向上したアップコンバート画像が得られる。
【００５０】
上述したクラス分類適応処理は、コンポーネントＳＤ信号、例えば輝度信号に対して適用できる。コンポジット信号を直接的にアップコンバートする場合には、クラス分類適応処理に加えサブキャリアの位相等のコンポジット信号特有の性質を考慮する必要がある。図６は、コンポジット信号を４ｆｓｃのサンプリング周波数でサンプリングした場合のサブキャリア位相の例を示し、図６Ａは、偶数フレームの場合の画素のサブキャリア位相を示し、図６Ｂは、奇数フレームの場合の画素のサブキャリア位相を示す。
【００５１】
図に示すように、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は変化する。ＮＴＳＣコンポジット信号では、ラインおよびフレーム毎にサブキャリアの位相が反転し、４フィールド単位で位相は元に戻ることになる。コンポーネント信号からのアップコンバージョンにおいては、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが一般的である。しかしながら、図６から明らかなように、コンポジット信号においては近傍の各画素値は、サブキャリアの変動を反映する。同色かつ同一輝度値の平坦信号であってもコンポジット信号においては、サブキャリア位相により各画素値は、変化することになる。
【００５２】
よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必須となる。クラス分類適応処理を用いてコンポジット信号からアップコンバージョンを実行する処理構成は、コンポーネント信号の場合と同じく図２に示す構成で実現されるが、クラスタップや予測タップの構造を変更する必要がある。
【００５３】
この発明は、入力ＳＤ信号がコンポジット信号の場合などで、異なる前処理を施した上で各々にクラス分類適応処理を適用することで、高性能なアップコンバージョンを実現するものである。入力信号に異なる前処理を施し得られる信号に対し、各々クラス分類適応処理を用い変換信号を生成し、別途検出される制御信号に基づき変換信号の切り換えを行い、最終的な出力ＨＤ信号を得る。この発明の一実施例を図７に示す。
【００５４】
入力端子４１から供給される入力ＳＤ信号ｄ２０は、制御信号生成部４２、前処理部４３、４５、４７へ供給される。制御信号生成部４２では、供給される入力ＳＤ信号から制御信号ｄ２１が生成される。生成された制御信号ｄ２１は、画素単位またはブロック単位で制御信号生成部４２から選択部４９へ供給される。前処理部４３、４５および４７では、異なる３種類の前処理が入力ＳＤ信号に対して施され、前処理が施された信号は、ｄ２２、ｄ２３およびｄ２４としてクラス分類適応処理部４４、４６および４８へ供給される。クラス分類適応処理部４４、４６および４８が、予測方式の場合、上述した図２に示す構成になる。クラス分類適応処理部４４、４６および４８の出力信号ｄ２５、ｄ２６およびｄ２７は、選択部４９へ供給される。選択部４９では、制御信号生成部４２からの制御信号ｄ２１に基づいて出力信号ｄ２５、ｄ２６およびｄ２７が選択される。選択された主力信号は、出力端子５０からＨＤ信号ｄ２８として出力される。
【００５５】
また、複数の処理信号に重み付き加算を施す他の実施例の構成図を図８に示す。この図８中において、上述の図７と同じブロックには、同じ符号を付して、説明を省略する。制御信号生成部４２からの制御信号ｄ２１は、画素単位またはブロック単位に重み生成部５１へ供給される。重み生成部５１では、供給される制御信号ｄ２１に対して、しきい値判定などによって３種類の信号ｄ２５、ｄ２６およびｄ２７の加算重みａi が生成される。生成された加算重みａi は、ｄ３１として重み付き加算演算部５２へ供給される。重み付き加算演算部５２では、クラス分類適応処理部４４、４６および４８からの出力信号ｄ２５、ｄ２６およびｄ２７に対して式（９）の演算が実行される。式（９）の演算結果によって得られたＨＤ信号は、ｄ３２として出力端子５３から出力される。
【００５６】
ｙ”＝ａ0 ×ｙ’0 ＋ａ1 ×ｙ’1 ＋ａ2 ×ｙ’2 （９）
ｙ”：最終ＨＤ出力値
ｙ’i ：各前処理による推定ＨＤ画素値
ａi ：加算重み（但し、総和は１．０とする。）
【００５７】
また、加算重みａi に関しては、クラス分類適応処理の対象として、学習により予め生成しておくことも可能である。その場合には、重み生成部５１には、重み係数ＲＯＭが内蔵されることになる。
【００６０】
さらに、前処理部４３、４５および４７の１例として、静止部分に対して時間方向の平均化、すなわちフレーム巡回型のノイズリデューサを施し、動き部分に対して１次元または２次元のメディアンフィルタを施し、さらに、両者の中間の準静止部には、３次元メディアンフィルタを施し、それぞれにクラス分類適応処理を施し、アップコンバージョンが可能なものがある。
【００６１】
次に、上述した他の実施例のより具体的な構成例のブロック図を図９に示す。入力端子６１から供給される入力ＳＤ信号ｄ４０は、輝度信号に対して搬送色信号が重畳されたコンポジット信号である。搬送色信号のサブキャリアは、図６に示すような位相関係を有する。入力ＳＤ信号ｄ４０は、動き量検出部６２、処理部６４、６６および前処理部６５へ供給される。動き量検出部６２では、入力ＳＤ信号ｄ４０の動き量が検出される。コンポジット信号においては、理想的な動き量検出はできないので、簡単な低域フィルタなどにより擬似的に輝度信号を生成し、この輝度信号を使用して動き量検出が行われる。検出された動き量は、ｄ４１として動き量検出部６２から重み生成部６３へ供給される。
【００６２】
重み生成部６３では、動き量ｄ４１に応じて重み付き加算演算用の重みが生成される。簡単には、動き量をしきい値判別し、重みを生成する。このしきい値は、最終的な画質を検討しながら経験的に決定される。また、重みを生成する手法としては、教師信号となるＨＤ信号を用意しておき予め学習により重みを生成し、ＲＯＭに格納するものが考えられる。この手法では、クラス分類適応処理そのものになり、単純には、動き量がクラスとなり、その動き量に応答する重みが読み出される。重みｄ４５は、重み生成部６３から重み付き加算演算部６７へ供給される。
【００６３】
図９に示す構成では、処理部６４は、クラス分類部６９、予測係数ＲＯＭ７０および予測演算部７１から構成される。その処理部６４では、供給される入力コンポジットＳＤ信号ｄ４０がクラス分類部６９へ供給される。クラス分類部６９では、入力コンポジットＳＤ信号ｄ４０に応じてクラスが生成される。生成されたクラスは、ｄ４２としてクラス分類部６９から予測係数ＲＯＭ７０に供給される。予測係数ＲＯＭ７０では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、ｄ４６として予測演算部７１へ供給される。
【００６４】
前処理部６５では、例えばコンポジット信号特有の画質劣化を抑圧するために、３次元Ｙ／Ｃ分離によるＹ／Ｃ分離が実行され、分離されたＹ信号は、ｄ４３として予測演算部７１へ供給される。予測演算部７１では、前処理部６５からのＹ信号ｄ４３と予測係数ｄ４６との積和演算が行われ、演算結果は、ｄ４８として重み付き加算演算部６７へ供給される。このように、処理部６４では、分離されたＹ信号ｄ４３にクラス分類適応処理を適用して、その演算結果がｄ４８として出力される。この処理部６４は、図８に示すクラス分類適応処理部に相当する。さらに、図示しないがＣ信号に対してもクラス分類適応処理により信号変換を施すことも可能である。
【００６５】
一方、処理部６６は、予測演算部７２、クラス分類部７３および予測係数ＲＯＭ７４から構成され、前処理を行わずに、直接的にクラス分類適応処理により信号変換が行われる。その処理部６６では、供給される入力コンポジットＳＤ信号ｄ４０が予測演算部７２およびクラス分類部７３へ供給される。クラス分類部７３では、入力コンポジットＳＤ信号ｄ４０に応じてクラスが生成される。生成されたクラスは、ｄ４４としてクラス分類部７３から予測係数ＲＯＭ７４へ供給される。予測係数ＲＯＭ７４では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、ｄ４７として予測演算部７２へ供給される。予測演算部７２では、入力ＳＤ信号ｄ４０と予測係数ｄ４７との積和演算が行われ、演算結果は、ｄ４９として重み付き加算演算部６７へ供給される。
【００６６】
重み付き加算演算部６７では、重み生成部６３からの重みｄ４５に応じて、処理部６４からのｄ４８と、処理部６６からのｄ４９とが演算される。この重み付き加算演算部６７において、動き量の大きい箇所では、入力コンポジットＳＤ信号に対してＹ／Ｃ分離などを行わず、直接的にクラス分類適応処理が施され、アップコンバージョンされたｄ４９に対する重みが大きくなる。また、動き量の小さい箇所では、入力コンポジットＳＤ信号に対して３次元Ｙ／Ｃ分離を施し、その結果得られたコンポーネントＹ信号にクラス分類適応処理が施され、アップコンバージョンされたｄ４８に対する重みが大きくなる。この場合、上述した式（９）が２入力の場合の演算となり、その演算結果は、ｄ５０として出力端子６８から取り出される。
【００６７】
図９に示す構成は、３次元Ｙ／Ｃ分離によって、比較的安定的なＹ信号が得ることが可能な動き量の小さい箇所では、コンポーネントＹ信号を生成し、生成されたコンポーネントＹ信号に対してクラス分類適応処理を施す。それ以外の箇所では、コンポジット信号に対して何も処理を施さず、直接的にクラス分類適応処理がなされる。従って、サブキャリアの重畳に起因するコンポジット信号特有のドット妨害などの画質劣化をさけるために、最終的な画質向上を図ることができる。
【００６８】
上述の実施例では、クラス分類適応処理において、予測演算を用いる手法を説明したが、この手法に限らず重心法を用いることも可能であり、さらに予測演算と重心法を併用することも可能である。
【００６９】
【発明の効果】
この発明に依れば、入力ＳＤ信号に対して異なる前処理を施した後に、クラス分類適応処理を施すことによって得られた複数の変換信号を、入力ＳＤ信号から得られる制御信号に応じて重み付き加算または切り換えることによって、高性能な信号変換を行うことができる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る偶数フレームと奇数フレームのコンポジット信号のサブキャリアの位相の一例を示す略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明が適用されたアップコンバータの他の実施例である。
【図９】この発明が適用されたアップコンバータの具体的な一例である。
【図１０】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１１】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１２】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
６２・・・動き量検出部、６３・・・重み生成部、６４、６６・・・処理部、６５・・・前処理部、６７・・・重み付き加算演算部、６９、７３・・・クラス分類部、７０、７４・・・予測係数ＲＯＭ、７１、７２・・・予測演算部
Claims (4)
- 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
上記第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理手段と、
上記第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理手段と、
上記第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理手段と、
上記第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段から上記クラスに対応する予測係数が読み出され、上記予測係数と上記注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、上記第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理手段と、
上記第１のディジタル画像信号の動き量を検出し、上記検出された動き量に基づいて制御信号が生成される制御信号生成手段と、
上記制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、上記第１の変換信号が選択され、動き部分と判断されたときに、上記第２の変換信号が選択され、上記静止部分と上記動き部分の中間の準静止部分と判断されたときに、上記第３の変換信号を選択する選択手段とからなることを特徴とする画像信号変換装置。 - 請求項１に記載の画像信号変換装置において、
上記クラス分類適応処理は、
上記予測演算に代えて予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させてメモリに記憶させ、上記メモリからクラスに対応する平均値を読み出す重心法を用いることを特徴とする画像信号変換装置。 - 請求項１に記載の画像信号変換装置において、
上記クラス分類適応処理は、
上記予測演算と、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させてメモリに記憶させ、上記メモリからクラスに対応する平均値を読み出す重心法とを用いることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換方法において、
上記第１のディジタル画像信号に対して時間方向の平均化を施すことにより第１の信号が生成される第１の前処理ステップと、
上記第１のディジタル画像信号に対して１次元または２次元のメディアンフィルタを施すことにより第２の信号が生成される第２の前処理ステップと、
上記第１のディジタル画像信号に対して３次元のメディアンフィルタを施すことにより第３の信号が生成される第３の前処理ステップと、
上記第１、第２、および第３の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段から上記クラスに対応する予測係数が読み出され、上記予測係数と上記注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、上記第１、第２、および第３の信号に対してそれぞれ施し、第１、第２、および第３の変換信号を生成する第１、第２、および第３のクラス分類適応処理ステップと、
上記第１のディジタル画像信号の動き量を検出し、上記検出された動き量に基づいて制御信号が生成される制御信号生成ステップと、
上記制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、上記第１の変換信号が選択され、動き部分と判断されたときに、上記第２の変換信号が選択され、上記静止部分と上記動き部分の中間の準静止部分と判断されたときに、上記第３の変換信号を選択する選択ステップとからなることを特徴とする画像信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22931696A JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22931696A JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1056622A JPH1056622A (ja) | 1998-02-24 |
| JP3852133B2 true JP3852133B2 (ja) | 2006-11-29 |
Family
ID=16890234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22931696A Expired - Fee Related JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852133B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001076232A1 (en) | 2000-03-30 | 2001-10-11 | Sony Corporation | Information processor |
| JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP4193871B2 (ja) | 2006-05-18 | 2008-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
1996
- 1996-08-12 JP JP22931696A patent/JP3852133B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1056622A (ja) | 1998-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
| US5666164A (en) | Image signal converting apparatus | |
| JP4145275B2 (ja) | 動きベクトル検出・補償装置 | |
| US5068722A (en) | Motion vector estimating apparatus | |
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH06351002A (ja) | 動き信号検出方法およびこれを用いた映像信号処理装置 | |
| JP3852133B2 (ja) | 画像信号変換装置および方法 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4223576B2 (ja) | 画像信号変換装置および方法 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3861309B2 (ja) | 信号変換装置および信号変換方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4352298B2 (ja) | 演算装置及び変換装置並びにそれらの方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JP3852124B2 (ja) | 信号変換装置および方法 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| KR20060023150A (ko) | 공간 신호 변환 | |
| JP2008118519A (ja) | 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム | |
| KR101144435B1 (ko) | 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |