JP3852133B2 - 画像信号変換装置および方法 - Google Patents
画像信号変換装置および方法 Download PDFInfo
- Publication number
- JP3852133B2 JP3852133B2 JP22931696A JP22931696A JP3852133B2 JP 3852133 B2 JP3852133 B2 JP 3852133B2 JP 22931696 A JP22931696 A JP 22931696A JP 22931696 A JP22931696 A JP 22931696A JP 3852133 B2 JP3852133 B2 JP 3852133B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- class
- prediction
- image signal
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【0002】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準TV信号(SD(Standard Definition )信号)をHD(High Definition )フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準TV信号(SD信号)とHD信号の各画素の空間配置例を図10に示す。ここでは、説明の簡素化のため、HD信号の画素数を水平方向、垂直方向に各々2倍としている。図中の◎のSD画素に注目すると、近傍4種類の位置にHD画素が存在する。この4種類の位置に存在するHD画素を予測するモードをそれぞれmode1、mode2、mode3、mode4と称する。
【0003】
従来のアップコンバータにおいては、入力SD信号に補間フィルタを適用することで補間画素を生成し、HDフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、SD信号のフィールドデータから、4種類の位置のHD画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内2次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直/水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図11および図12に示す。
【0004】
図11に示すノンセパラブル補間フィルタは、空間内2次元フィルタを使用するものである。入力端子81からSD信号が供給され、入力SD信号は、mode1用2次元フィルタ82、mode2用2次元フィルタ83、mode3用2次元フィルタ84およびmode4用2次元フィルタ85へそれぞれ供給される。すなわち、4種類の位置のHD画素毎に独立した2次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ82〜85の出力は、HD信号として選択部86において、直列化がなされ、出力端子87から出力HD信号が取り出される。
【0005】
また、図12に示す補間フィルタは、垂直/水平セパラブルフィルタを使用するものである。入力端子91からSD信号が供給され、入力SD信号は、垂直補間フィルタ92および93において、HD信号の2本の走査線データが生成される。例えば、垂直補間フィルタ92では、mode1用およびmode2用の処理が行われ、垂直補間フィルタ93では、mode3用およびmode4用の処理が行われる。
【0006】
これらの処理が行われると垂直補間フィルタ92および93からの出力信号は、水平補間フィルタ94および95へ供給される。この水平補間フィルタ94および95では、各走査線毎に水平フィルタを用い4種類の位置のHD画素が補間され、選択部96へ供給される。選択部96では、供給されたHD信号の直列化がなされ、出力端子97から出力HD信号が取り出される。
【0007】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はSD信号と変わらない。実際には、理想フィルタを用いることが出来ないため、SD信号より解像度の低下したHD信号を生成することしかできないという問題がある。
【0008】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力SD信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数と予測タップを構成する入力SD信号の複数の画素値との線形1次結合によりHD信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【0009】
【発明が解決しようとする課題】
このようにクラス分類適応処理によってSD信号より解像度の高いHD信号を生成することが可能となる。先に提案されているクラス分類適応処理によるアップコンバータは、入力SD信号が、輝度信号等のコンポーネント信号に対する処理と関係するものであった。
【0010】
しかしながら、コンポジットSD信号を直接的にHD信号へ変換することも可能である。コンポジットSD信号が入力された場合、このコンポジットSD信号をコンポーネントSD信号へ変換してからHD信号へ変換する方法と、入力されたコンポジットSD信号を直接的にHD信号へ変換する方法とは、画像の動きの程度によって変換の性能が異なることがある。先に提案されているクラス分類適応処理では、一方の方法のみを使用するものであり、両者を適応的に選択し、切り換えるものではなかったため、変換の性能は、不充分であった。
【0011】
従って、この発明は、例えば異なる複数の処理により獲得されたHD信号を入力されたコンポジットSD信号の特徴に応じて切り換え、または重み付き加算を行うことで変換の性能が高いHD信号を生成することができる画像信号変換装置および方法の提供を目的とする。
【0012】
【課題を解決するための手段】
請求項1に記載の発明は、第1のディジタル画像信号を、より解像度の高い第2のディジタル画像信号に変換するようにした画像信号変換装置において、第1のディジタル画像信号に対して時間方向の平均化を施すことにより第1の信号が生成される第1の前処理手段と、第1のディジタル画像信号に対して1次元または2次元のメディアンフィルタを施すことにより第2の信号が生成される第2の前処理手段と、第1のディジタル画像信号に対して3次元のメディアンフィルタを施すことにより第3の信号が生成される第3の前処理手段と、第1、第2、および第3の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第1、第2、および第3の信号に対してそれぞれ施し、第1、第2、および第3の変換信号を生成する第1、第2、および第3のクラス分類適応処理手段と、第1のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成手段と、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第1の変換信号が選択され、動き部分と判断されたときに、第2の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第3の変換信号を選択する選択手段とからなることを特徴とする画像信号変換装置である。
【0013】
さらに、請求項4に記載の発明は、第1のディジタル画像信号を、より解像度の高い第2のディジタル画像信号に変換するようにした画像信号変換方法において、第1のディジタル画像信号に対して時間方向の平均化を施すことにより第1の信号が生成される第1の前処理ステップと、第1のディジタル画像信号に対して1次元または2次元のメディアンフィルタを施すことにより第2の信号が生成される第2の前処理ステップと、第1のディジタル画像信号に対して3次元のメディアンフィルタを施すことにより第3の信号が生成される第3の前処理ステップと、第1、第2、および第3の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段からクラスに対応する予測係数が読み出され、予測係数と注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、第1、第2、および第3の信号に対してそれぞれ施し、第1、第2、および第3の変換信号を生成する第1、第2、および第3のクラス分類適応処理ステップと、第1のディジタル画像信号の動き量を検出し、検出された動き量に基づいて制御信号が生成される制御信号生成ステップと、制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、第1の変換信号が選択され、動き部分と判断されたときに、第2の変換信号が選択され、静止部分と動き部分の中間の準静止部分と判断されたときに、第3の変換信号を選択する選択ステップとからなることを特徴とする画像信号変換方法である。
【0016】
入力SD信号に対して異なる前処理を行い、前処理された信号に対してそれぞれクラス分類適応処理においてアップコンバートを行う。そして、入力SD信号に基づいた制御信号に応じて、適切な変換処理で得られた変換信号を切り換える、または重み付け加算を行うことで高性能な出力HD信号を得ることができる。より具体的には、入力コンポジット信号に対して3次元Y/C分離を施し、分離されたY信号またはC信号を用いてクラス分類適応処理においてアップコンバートを行い、入力コンポジット信号に対してクラス分類適応処理においてアップコンバートを行う。そして、入力コンポジット信号に基づいた制御信号に応じて、アップコンバートされた変換信号を切り換える、または重み付け加算を行うことによって、変換性能を高くすることができる。
【0017】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力SD信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力HD信号を生成する。
【0018】
一例として、図1Aに示すような入力SD信号(8ビットPCM(Pulse Code Modulation )データ)に対してクラス生成タップを設定し、入力SD信号の波形特性によりクラスを生成する。この図1Aの例では、注目SD画素(◎)を中心として7タップ(7個のSD画素)でクラスが生成される。例えば、7タップデータに対し1ビットADRC(Adaptive Dynamic Range Coding )を適用すると、7画素のデータから定義されるダイナミックレンジに基づき、7画素の最小値を除去した上で、各タップの画素値を適応的に1ビット量子化するので、128クラスが生成される。
【0019】
ADRCは、VTR用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ADRCの他にもクラス分類法としては、下記のものを採用することができる。
【0020】
1)PCMデータを直接使用する。
2)DPCM(Differential PCM)を適用してクラス数を削減する。
3)VQ(Vector Quantization )を適用してクラス数を削減する。
4)周波数変換(DCT(Discrete Cosine Transform Coding)、アダマール変換、フーリエ変換等)の値に基づいたクラス分類を行う。
【0021】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図1Bに示す。この一例は、注目SD画素を中心としたフレーム内13タップから予測タップが構成される。予測式の一例を式(1)に示す。
【0022】
【数1】
y´:推定HD画素値
xi :SD信号予測タップ画素値
wi :予測係数
【0023】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形1次結合によりHD画素値を推定する。このクラス分類適応処理の回路構成を図2に示す。1で示す入力端子から入力SD信号が供給され、供給された入力SD信号は、クラス分類部2および予測タップ選択部3へ供給される。クラス分類部2では、上述した図1Aに示すようなクラスタップに基づき、入力SD信号に対するクラスが生成される。生成されたクラスは、クラス分類部2から予測係数ROM4へ供給される。
【0024】
予測係数ROM4では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ROM4から予測演算部5へ供給される。予測タップ選択部3は、入力SD信号から上述した図1Bに示すように13タップからなる予測タップを選択する。選択された13タップからなる予測タップは、予測タップ選択部3から予測演算部5へ供給される。予測演算部5では、供給された予測係数および予測タップから式(1)に示す予測演算が実行され、その演算結果は、出力端子6から出力される。
【0025】
この例では、mode1〜mode4のHD画素を予測するために、図1Aに示す7画素からなるクラスタップを共用しているが、mode1〜mode4毎にクラスタップを変えても良い。同様に、図1Bに示す13画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode1〜mode4毎に予測タップを変えることも可能である。
【0026】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式(1)の線形1次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Xを入力データ、Wを予測係数、Yを推定値として次の式を考える。
【0027】
観測方程式:XW=Y (2)
【数2】
【0028】
上述の観測方程式(2)により収集されたデータに最小自乗法を適用する。式(1)の例においては、n=13、mが学習データ数となる。式(2)の観測方程式をもとに、式(4)の残差方程式を考える。
【0029】
残差方程式:XW=Y+E (4)
【数3】
【0030】
式(4)の残差方程式から、各wi の最確値は、
【数4】
を最小にする条件が成り立つ場合と考えられる。すなわち、式(5)の条件を考慮すれば良いわけである。
【0031】
【数5】
【0032】
式(5)のiに基づくn個の条件を考え、これを満たすw1 、w2 、・・・、wn を算出すれば良い。そこで、残差方程式(4)から式(6)が得られる。
【0033】
【数6】
【0034】
式(5)および式(6)により式(7)が得られる。
【数7】
【0035】
そして、式(4)および式(7)から、正規方程式(8)が得られる。
【数8】
【0036】
式(8)の正規方程式は、未知数の数nと同じ数の方程式を立てることが可能であるので、各wi の最確値を求めることができる。そして、掃き出し法(Gauss-Jordanの消去法)を用いて連立方程式を解く。
【0037】
この場合の学習においては、対象信号と教師信号との間で上述の線形1次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図3に示す。このフローチャートは、ステップS1から学習処理の制御が始まり、ステップS1の学習データ形成では、例えば上述した図1Bに示す13タップから学習データが形成される。ここで、注目SD画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【0038】
ステップS2のデータ終了では、入力された全データ、例えば1フレームまたは1フィールドのデータの処理が終了していれば、ステップS5の予測係数決定へ制御が移り、終了していなければ、ステップS3のクラス決定へ制御が移る。ステップS3のクラス決定は、上述した図1Aに示すように、注目SD画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップS4の正規方程式では、上述した式(8)の正規方程式が作成される。全データの処理が終了後、ステップS2のデータ終了から制御がステップS5へ移る。このステップS5の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップS6の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測方式によるクラス分類適応処理の概要である。
【0039】
上述したクラス分類適応処理を用いたアップコンバータの一例を図4および図5に示す。この図4および図5は、上述した図11および図12のアップコンバータに対応した構成であり、図10に示すSD画素とHD画素の関係に基づいてHD画素データを生成するものである。入力端子10から供給される入力SD信号は、予測タップ選択部11およびクラス分類部12へ供給される。クラス分類部12では、上述した図1Aに示すクラスタップのようにクラスd0が生成され、生成されたクラスd0は、アドレスとして予測係数ROM13へ供給される。予測タップ選択部11では、上述した図1Bに示すような予測タップが選択される。選択された予測タップは、mode1予測演算部14、mode2予測演算部15、mode3予測演算部16およびmode4予測演算部17へ供給される。
【0040】
予測係数ROM13では、上述したように予め学習により獲得された予測係数からクラスd0に対応したものが読み出される。読み出された予測係数は、d5として、mode1予測演算部14、mode2予測演算部15、mode3予測演算部16およびmode4予測演算部17へ供給される。mode1予測演算部14では、選択された予測タップと予測係数d5とから積和演算が実行され、mode1のHD画素d1が生成され、生成されたHD画素d1は、選択部18に供給される。同様に、予測演算部15、16および17では、選択された予測タップと予測係数d5とから積和演算が実行され、HD画素d2、d3、d4が生成され、選択部18へ供給される。
【0041】
このとき、各予測演算部14、15、16、17では、予測タップ選択部11からの予測タップと予測係数d5との積和演算が行われる。この積和演算の際にmodeに応じて予測係数d5の符号が変更される。mode1予測演算部14とmode2予測演算部15の間では、積和演算を実行するときに、例えば予測係数d5の符号を正負の逆とし、同様にmode3予測演算部16とmode4予測演算部17の間でも、予測係数d5の符号を正負の逆とし、積和演算を実行する。また、mode1予測演算部14とmode3予測演算部16の間では、例えば注目SD画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数d5と積和演算を実行し、同様にmode2予測演算部15とmode4予測演算部17とでも、注目SD画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【0042】
選択部18では、注目SD画素から生成されたHD画素を所望の時系列に並び換え、出力端子19を介してHD画素が出力される。この選択部18には、並び換えに必要なメモリも含まれる。以上が2次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【0043】
一方、図5は、垂直/水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子20から入力SD信号が供給され、入力SD信号は、予測タップ選択部21およびクラス分類部22へ供給される。クラス分類部22では、上述した図1Aに示すクラスタップのようにクラスd11が生成され、生成されたクラスd11は、アドレスとして垂直係数ROM23および水平係数ROM24へ供給される。予測タップ選択部21において選択された予測タップは、垂直予測演算部25および26へ供給される。
【0044】
垂直係数ROM23では、上述したように予め学習により獲得された予測係数からクラスd11に対応したものが読み出され、読み出された予測係数は、垂直予測係数d16として、垂直予測演算部25および26へ供給される。水平係数ROM24では、上述したように予め学習により獲得された予測係数からクラスd11に対応したものが読み出され、読み出された予測係数は、水平予測係数d17として、水平予測演算部27および28へ供給される。
【0045】
垂直予測演算部25では、選択された予測タップと垂直予測係数d16とから積和演算により、垂直推定値が生成される。この垂直推定値は、HD画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってHD画素値を生成する。生成された垂直推定値は、d12として水平予測演算部27へ供給される。同様に、垂直予測演算部26では、選択された予測タップと垂直予測係数d16とから積和演算により、垂直推定値d13が生成され、水平予測演算部28へ供給される。
【0046】
水平予測演算部27では、供給された垂直推定値d12を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数d17との積和演算により、HD画素が生成される。生成されたHD画素は、d14として選択部29へ供給される。同様に、水平予測演算部28では、メモリから選択された予測タップと水平予測係数d17との積和演算により、HD画素が生成される。生成されたHD画素は、d15として選択部29へ供給される。上述した予測演算部25、26、27および28では、modeに応じて予測係数の符号および/またはタップの入れ換えがなされる。
【0047】
この垂直および水平予測演算部25〜28では、mode1、mode2の走査線用と、mode3、mode4の走査線用の2種類に分かれ、予測演算部25および27が前者を示し、予測演算部26および28が後者を示す。選択部29では、供給されたHD画素d14およびd15を最適な並び換えにより最終的に出力端子30を介してHD画素が出力される。以上の処理により予測演算を垂直/水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【0048】
以上のクラス分類適応処理は、式(1)の例で示されるような予測演算を使用する予測方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ROMを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【0049】
このようなクラス分類適応処理を用いることにより、上述の従来の補間フィルタを用いたアップコンバータより、解像度の向上したアップコンバート画像が得られる。
【0050】
上述したクラス分類適応処理は、コンポーネントSD信号、例えば輝度信号に対して適用できる。コンポジット信号を直接的にアップコンバートする場合には、クラス分類適応処理に加えサブキャリアの位相等のコンポジット信号特有の性質を考慮する必要がある。図6は、コンポジット信号を4fscのサンプリング周波数でサンプリングした場合のサブキャリア位相の例を示し、図6Aは、偶数フレームの場合の画素のサブキャリア位相を示し、図6Bは、奇数フレームの場合の画素のサブキャリア位相を示す。
【0051】
図に示すように、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は変化する。NTSCコンポジット信号では、ラインおよびフレーム毎にサブキャリアの位相が反転し、4フィールド単位で位相は元に戻ることになる。コンポーネント信号からのアップコンバージョンにおいては、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが一般的である。しかしながら、図6から明らかなように、コンポジット信号においては近傍の各画素値は、サブキャリアの変動を反映する。同色かつ同一輝度値の平坦信号であってもコンポジット信号においては、サブキャリア位相により各画素値は、変化することになる。
【0052】
よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必須となる。クラス分類適応処理を用いてコンポジット信号からアップコンバージョンを実行する処理構成は、コンポーネント信号の場合と同じく図2に示す構成で実現されるが、クラスタップや予測タップの構造を変更する必要がある。
【0053】
この発明は、入力SD信号がコンポジット信号の場合などで、異なる前処理を施した上で各々にクラス分類適応処理を適用することで、高性能なアップコンバージョンを実現するものである。入力信号に異なる前処理を施し得られる信号に対し、各々クラス分類適応処理を用い変換信号を生成し、別途検出される制御信号に基づき変換信号の切り換えを行い、最終的な出力HD信号を得る。この発明の一実施例を図7に示す。
【0054】
入力端子41から供給される入力SD信号d20は、制御信号生成部42、前処理部43、45、47へ供給される。制御信号生成部42では、供給される入力SD信号から制御信号d21が生成される。生成された制御信号d21は、画素単位またはブロック単位で制御信号生成部42から選択部49へ供給される。前処理部43、45および47では、異なる3種類の前処理が入力SD信号に対して施され、前処理が施された信号は、d22、d23およびd24としてクラス分類適応処理部44、46および48へ供給される。クラス分類適応処理部44、46および48が、予測方式の場合、上述した図2に示す構成になる。クラス分類適応処理部44、46および48の出力信号d25、d26およびd27は、選択部49へ供給される。選択部49では、制御信号生成部42からの制御信号d21に基づいて出力信号d25、d26およびd27が選択される。選択された主力信号は、出力端子50からHD信号d28として出力される。
【0055】
また、複数の処理信号に重み付き加算を施す他の実施例の構成図を図8に示す。この図8中において、上述の図7と同じブロックには、同じ符号を付して、説明を省略する。制御信号生成部42からの制御信号d21は、画素単位またはブロック単位に重み生成部51へ供給される。重み生成部51では、供給される制御信号d21に対して、しきい値判定などによって3種類の信号d25、d26およびd27の加算重みai が生成される。生成された加算重みai は、d31として重み付き加算演算部52へ供給される。重み付き加算演算部52では、クラス分類適応処理部44、46および48からの出力信号d25、d26およびd27に対して式(9)の演算が実行される。式(9)の演算結果によって得られたHD信号は、d32として出力端子53から出力される。
【0056】
y”=a0 ×y’0 +a1 ×y’1 +a2 ×y’2 (9)
y”:最終HD出力値
y’i :各前処理による推定HD画素値
ai :加算重み(但し、総和は1.0とする。)
【0057】
また、加算重みai に関しては、クラス分類適応処理の対象として、学習により予め生成しておくことも可能である。その場合には、重み生成部51には、重み係数ROMが内蔵されることになる。
【0060】
さらに、前処理部43、45および47の1例として、静止部分に対して時間方向の平均化、すなわちフレーム巡回型のノイズリデューサを施し、動き部分に対して1次元または2次元のメディアンフィルタを施し、さらに、両者の中間の準静止部には、3次元メディアンフィルタを施し、それぞれにクラス分類適応処理を施し、アップコンバージョンが可能なものがある。
【0061】
次に、上述した他の実施例のより具体的な構成例のブロック図を図9に示す。入力端子61から供給される入力SD信号d40は、輝度信号に対して搬送色信号が重畳されたコンポジット信号である。搬送色信号のサブキャリアは、図6に示すような位相関係を有する。入力SD信号d40は、動き量検出部62、処理部64、66および前処理部65へ供給される。動き量検出部62では、入力SD信号d40の動き量が検出される。コンポジット信号においては、理想的な動き量検出はできないので、簡単な低域フィルタなどにより擬似的に輝度信号を生成し、この輝度信号を使用して動き量検出が行われる。検出された動き量は、d41として動き量検出部62から重み生成部63へ供給される。
【0062】
重み生成部63では、動き量d41に応じて重み付き加算演算用の重みが生成される。簡単には、動き量をしきい値判別し、重みを生成する。このしきい値は、最終的な画質を検討しながら経験的に決定される。また、重みを生成する手法としては、教師信号となるHD信号を用意しておき予め学習により重みを生成し、ROMに格納するものが考えられる。この手法では、クラス分類適応処理そのものになり、単純には、動き量がクラスとなり、その動き量に応答する重みが読み出される。重みd45は、重み生成部63から重み付き加算演算部67へ供給される。
【0063】
図9に示す構成では、処理部64は、クラス分類部69、予測係数ROM70および予測演算部71から構成される。その処理部64では、供給される入力コンポジットSD信号d40がクラス分類部69へ供給される。クラス分類部69では、入力コンポジットSD信号d40に応じてクラスが生成される。生成されたクラスは、d42としてクラス分類部69から予測係数ROM70に供給される。予測係数ROM70では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、d46として予測演算部71へ供給される。
【0064】
前処理部65では、例えばコンポジット信号特有の画質劣化を抑圧するために、3次元Y/C分離によるY/C分離が実行され、分離されたY信号は、d43として予測演算部71へ供給される。予測演算部71では、前処理部65からのY信号d43と予測係数d46との積和演算が行われ、演算結果は、d48として重み付き加算演算部67へ供給される。このように、処理部64では、分離されたY信号d43にクラス分類適応処理を適用して、その演算結果がd48として出力される。この処理部64は、図8に示すクラス分類適応処理部に相当する。さらに、図示しないがC信号に対してもクラス分類適応処理により信号変換を施すことも可能である。
【0065】
一方、処理部66は、予測演算部72、クラス分類部73および予測係数ROM74から構成され、前処理を行わずに、直接的にクラス分類適応処理により信号変換が行われる。その処理部66では、供給される入力コンポジットSD信号d40が予測演算部72およびクラス分類部73へ供給される。クラス分類部73では、入力コンポジットSD信号d40に応じてクラスが生成される。生成されたクラスは、d44としてクラス分類部73から予測係数ROM74へ供給される。予測係数ROM74では、クラスに応答した予測係数が読み出される。この予測係数は、予め学習により獲得されたものであり、d47として予測演算部72へ供給される。予測演算部72では、入力SD信号d40と予測係数d47との積和演算が行われ、演算結果は、d49として重み付き加算演算部67へ供給される。
【0066】
重み付き加算演算部67では、重み生成部63からの重みd45に応じて、処理部64からのd48と、処理部66からのd49とが演算される。この重み付き加算演算部67において、動き量の大きい箇所では、入力コンポジットSD信号に対してY/C分離などを行わず、直接的にクラス分類適応処理が施され、アップコンバージョンされたd49に対する重みが大きくなる。また、動き量の小さい箇所では、入力コンポジットSD信号に対して3次元Y/C分離を施し、その結果得られたコンポーネントY信号にクラス分類適応処理が施され、アップコンバージョンされたd48に対する重みが大きくなる。この場合、上述した式(9)が2入力の場合の演算となり、その演算結果は、d50として出力端子68から取り出される。
【0067】
図9に示す構成は、3次元Y/C分離によって、比較的安定的なY信号が得ることが可能な動き量の小さい箇所では、コンポーネントY信号を生成し、生成されたコンポーネントY信号に対してクラス分類適応処理を施す。それ以外の箇所では、コンポジット信号に対して何も処理を施さず、直接的にクラス分類適応処理がなされる。従って、サブキャリアの重畳に起因するコンポジット信号特有のドット妨害などの画質劣化をさけるために、最終的な画質向上を図ることができる。
【0068】
上述の実施例では、クラス分類適応処理において、予測演算を用いる手法を説明したが、この手法に限らず重心法を用いることも可能であり、さらに予測演算と重心法を併用することも可能である。
【0069】
【発明の効果】
この発明に依れば、入力SD信号に対して異なる前処理を施した後に、クラス分類適応処理を施すことによって得られた複数の変換信号を、入力SD信号から得られる制御信号に応じて重み付き加算または切り換えることによって、高性能な信号変換を行うことができる。
【図面の簡単な説明】
【図1】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図2】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図3】この発明に係る予測係数を学習するためのフローチャートである。
【図4】この発明に係るクラス分類を用いた2次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図5】この発明に係るクラス分類を用いた垂直/水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図6】この発明に係る偶数フレームと奇数フレームのコンポジット信号のサブキャリアの位相の一例を示す略線図である。
【図7】この発明が適用されたアップコンバータの一実施例である。
【図8】この発明が適用されたアップコンバータの他の実施例である。
【図9】この発明が適用されたアップコンバータの具体的な一例である。
【図10】SD画素とHD画素の配置を示す配置図である。
【図11】従来の2次元ノンセパラブル構成のアップコンバータを示す。
【図12】従来の垂直/水平セパラブル構成のアップコンバータを示す。
【符号の説明】
62・・・動き量検出部、63・・・重み生成部、64、66・・・処理部、65・・・前処理部、67・・・重み付き加算演算部、69、73・・・クラス分類部、70、74・・・予測係数ROM、71、72・・・予測演算部
Claims (4)
- 第1のディジタル画像信号を、より解像度の高い第2のディジタル画像信号に変換するようにした画像信号変換装置において、
上記第1のディジタル画像信号に対して時間方向の平均化を施すことにより第1の信号が生成される第1の前処理手段と、
上記第1のディジタル画像信号に対して1次元または2次元のメディアンフィルタを施すことにより第2の信号が生成される第2の前処理手段と、
上記第1のディジタル画像信号に対して3次元のメディアンフィルタを施すことにより第3の信号が生成される第3の前処理手段と、
上記第1、第2、および第3の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段から上記クラスに対応する予測係数が読み出され、上記予測係数と上記注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、上記第1、第2、および第3の信号に対してそれぞれ施し、第1、第2、および第3の変換信号を生成する第1、第2、および第3のクラス分類適応処理手段と、
上記第1のディジタル画像信号の動き量を検出し、上記検出された動き量に基づいて制御信号が生成される制御信号生成手段と、
上記制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、上記第1の変換信号が選択され、動き部分と判断されたときに、上記第2の変換信号が選択され、上記静止部分と上記動き部分の中間の準静止部分と判断されたときに、上記第3の変換信号を選択する選択手段とからなることを特徴とする画像信号変換装置。 - 請求項1に記載の画像信号変換装置において、
上記クラス分類適応処理は、
上記予測演算に代えて予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させてメモリに記憶させ、上記メモリからクラスに対応する平均値を読み出す重心法を用いることを特徴とする画像信号変換装置。 - 請求項1に記載の画像信号変換装置において、
上記クラス分類適応処理は、
上記予測演算と、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させてメモリに記憶させ、上記メモリからクラスに対応する平均値を読み出す重心法とを用いることを特徴とする画像信号変換装置。 - 第1のディジタル画像信号を、より解像度の高い第2のディジタル画像信号に変換するようにした画像信号変換方法において、
上記第1のディジタル画像信号に対して時間方向の平均化を施すことにより第1の信号が生成される第1の前処理ステップと、
上記第1のディジタル画像信号に対して1次元または2次元のメディアンフィルタを施すことにより第2の信号が生成される第2の前処理ステップと、
上記第1のディジタル画像信号に対して3次元のメディアンフィルタを施すことにより第3の信号が生成される第3の前処理ステップと、
上記第1、第2、および第3の信号中の注目位置の周辺内にある画素のレベル分布のパターンに基づいてクラス分類してクラスを検出し、予め学習処理により求められた予測係数が記憶された予測係数記憶手段から上記クラスに対応する予測係数が読み出され、上記予測係数と上記注目位置の周辺内にある画素との積和演算による予測演算を行ない変換信号を生成するクラス分類適応処理を、上記第1、第2、および第3の信号に対してそれぞれ施し、第1、第2、および第3の変換信号を生成する第1、第2、および第3のクラス分類適応処理ステップと、
上記第1のディジタル画像信号の動き量を検出し、上記検出された動き量に基づいて制御信号が生成される制御信号生成ステップと、
上記制御信号が画素単位またはブロック単位で供給され、静止部分と判断されたときに、上記第1の変換信号が選択され、動き部分と判断されたときに、上記第2の変換信号が選択され、上記静止部分と上記動き部分の中間の準静止部分と判断されたときに、上記第3の変換信号を選択する選択ステップとからなることを特徴とする画像信号変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22931696A JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22931696A JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1056622A JPH1056622A (ja) | 1998-02-24 |
JP3852133B2 true JP3852133B2 (ja) | 2006-11-29 |
Family
ID=16890234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22931696A Expired - Fee Related JP3852133B2 (ja) | 1996-08-12 | 1996-08-12 | 画像信号変換装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3852133B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001076232A1 (en) | 2000-03-30 | 2001-10-11 | Sony Corporation | Information processor |
JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP4193871B2 (ja) | 2006-05-18 | 2008-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
1996
- 1996-08-12 JP JP22931696A patent/JP3852133B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1056622A (ja) | 1998-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
US5666164A (en) | Image signal converting apparatus | |
JP4145275B2 (ja) | 動きベクトル検出・補償装置 | |
US5068722A (en) | Motion vector estimating apparatus | |
JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
JPH06351002A (ja) | 動き信号検出方法およびこれを用いた映像信号処理装置 | |
JP3852133B2 (ja) | 画像信号変換装置および方法 | |
JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
JP4223576B2 (ja) | 画像信号変換装置および方法 | |
JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP3743077B2 (ja) | 画像信号変換装置および方法 | |
JP3772408B2 (ja) | 画像信号変換装置および方法 | |
JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
JP3861309B2 (ja) | 信号変換装置および信号変換方法 | |
JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
JP4352298B2 (ja) | 演算装置及び変換装置並びにそれらの方法 | |
JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
JPH0851598A (ja) | 画像情報変換装置 | |
JP3852124B2 (ja) | 信号変換装置および方法 | |
JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
JP3814850B2 (ja) | 信号変換装置および方法 | |
KR20060023150A (ko) | 공간 신호 변환 | |
JP2008118519A (ja) | 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム | |
KR101144435B1 (ko) | 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |