JPH1056622A - 画像信号変換装置および方法 - Google Patents

画像信号変換装置および方法

Info

Publication number
JPH1056622A
JPH1056622A JP8229316A JP22931696A JPH1056622A JP H1056622 A JPH1056622 A JP H1056622A JP 8229316 A JP8229316 A JP 8229316A JP 22931696 A JP22931696 A JP 22931696A JP H1056622 A JPH1056622 A JP H1056622A
Authority
JP
Japan
Prior art keywords
image signal
signal
digital image
prediction
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8229316A
Other languages
English (en)
Other versions
JP3852133B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yasuhiro Fujimori
泰弘 藤森
Kenji Takahashi
健治 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22931696A priority Critical patent/JP3852133B2/ja
Publication of JPH1056622A publication Critical patent/JPH1056622A/ja
Application granted granted Critical
Publication of JP3852133B2 publication Critical patent/JP3852133B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 サブキャリアの位相等のコンポジット信号特
有の性質を考慮し、より解像度の高いHD信号を生成す
る。 【解決手段】 コンポジット信号が供給された動き量検
出部62では、擬似的に輝度信号を生成し、動き量d4
1の検出が行われる。重み生成部63では、d41に応
じて重みd45が生成される。コンポジット信号が供給
された前処理部65では、3次元Y/C分離によって、
Y信号が生成される。そのY信号を用いて処理部64で
は、クラス分類部69、予測係数ROM70、予測演算
部71によってクラス分類適応処理が施され、演算結果
はd48として出力される。同様に、処理部66では、
クラス分類適応処理が施され、演算結果は、d49とし
て出力される。重み付き加算演算部67では、d45に
応じてd48、d49の重みを変え最適な加算演算が行
われる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、入力された画像
信号より高い解像度を有する画像信号を得ることができ
るクラス分類適応処理を用いた画像信号変換装置および
方法に関する。
【0002】
【従来の技術】従来、画像信号を異なるフォーマットに
変換する装置として、例えば標準TV信号(SD(Stan
dard Definition )信号)をHD(High Definition )
フォーマット信号に変換するアップコンバータがある。
このアップコンバータに使用されている技術について以
下、説明する。まず、標準TV信号(SD信号)とHD
信号の各画素の空間配置例を図10に示す。ここでは、
説明の簡素化のため、HD信号の画素数を水平方向、垂
直方向に各々2倍としている。図中の◎のSD画素に注
目すると、近傍4種類の位置にHD画素が存在する。こ
の4種類の位置に存在するHD画素を予測するモードを
それぞれmode1、mode2、mode3、mode4と称する。
【0003】従来のアップコンバータにおいては、入力
SD信号に補間フィルタを適用することで補間画素を生
成し、HDフォーマットの信号を出力する。このアップ
コンバータの簡素な構成例としては、SD信号のフィー
ルドデータから、4種類の位置のHD画素を生成するこ
とが考えられる。そこで用いられる補間フィルタの構成
は、垂直方向の処理と水平方向の処理とを分離しない空
間内2次元ノンセパラブルフィルタと、これらの処理を
分離して行う垂直/水平セパラブルフィルタに分類され
る。これらの補間フィルタの構成例を図11および図1
2に示す。
【0004】図11に示すノンセパラブル補間フィルタ
は、空間内2次元フィルタを使用するものである。入力
端子81からSD信号が供給され、入力SD信号は、mo
de1用2次元フィルタ82、mode2用2次元フィルタ8
3、mode3用2次元フィルタ84およびmode4用2次元
フィルタ85へそれぞれ供給される。すなわち、4種類
の位置のHD画素毎に独立した2次元フィルタを用いて
補間処理を実行する。その結果、それぞれのフィルタ8
2〜85の出力は、HD信号として選択部86におい
て、直列化がなされ、出力端子87から出力HD信号が
取り出される。
【0005】また、図12に示す補間フィルタは、垂直
/水平セパラブルフィルタを使用するものである。入力
端子91からSD信号が供給され、入力SD信号は、垂
直補間フィルタ92および93において、HD信号の2
本の走査線データが生成される。例えば、垂直補間フィ
ルタ92では、mode1用およびmode2用の処理が行わ
れ、垂直補間フィルタ93では、mode3用およびmode4
用の処理が行われる。
【0006】これらの処理が行われると垂直補間フィル
タ92および93からの出力信号は、水平補間フィルタ
94および95へ供給される。この水平補間フィルタ9
4および95では、各走査線毎に水平フィルタを用い4
種類の位置のHD画素が補間され、選択部96へ供給さ
れる。選択部96では、供給されたHD信号の直列化が
なされ、出力端子97から出力HD信号が取り出され
る。
【0007】しかしながら、従来のアップコンバータに
おいて、補間フィルタとして理想フィルタを使用して
も、画素数は増えるものの空間解像度はSD信号と変わ
らない。実際には、理想フィルタを用いることが出来な
いため、SD信号より解像度の低下したHD信号を生成
することしかできないという問題がある。
【0008】そこで、これらの問題を解決するために、
補間のためのクラス分類適応処理を適用することが提案
されている。このクラス分類適応処理は、入力SD信号
の例えば輝度レベルの特徴に基づき、クラス分類を行
い、分類されたクラスに対応した予測係数と予測タップ
を構成する入力SD信号の複数の画素値との線形1次結
合によりHD信号を生成する処理である。このとき、用
いられている予測係数は、クラス毎に予め学習により獲
得されたものである。
【0009】
【発明が解決しようとする課題】このようにクラス分類
適応処理によってSD信号より解像度の高いHD信号を
生成することが可能となる。先に提案されているクラス
分類適応処理によるアップコンバータは、入力SD信号
が、輝度信号等のコンポーネント信号に対する処理と関
係するものであった。
【0010】しかしながら、コンポジットSD信号を直
接的にHD信号へ変換することも可能である。コンポジ
ットSD信号が入力された場合、このコンポジットSD
信号をコンポーネントSD信号へ変換してからHD信号
へ変換する方法と、入力されたコンポジットSD信号を
直接的にHD信号へ変換する方法とは、画像の動きの程
度によって変換の性能が異なることがある。先に提案さ
れているクラス分類適応処理では、一方の方法のみを使
用するものであり、両者を適応的に選択し、切り換える
ものではなかったため、変換の性能は、不充分であっ
た。
【0011】従って、この発明は、例えば異なる複数の
処理により獲得されたHD信号を入力されたコンポジッ
トSD信号の特徴に応じて切り換え、または重み付き加
算を行うことで変換の性能が高いHD信号を生成するこ
とができる画像信号変換装置および方法の提供を目的と
する。
【0012】
【課題を解決するための手段】請求項1に記載の発明
は、第1のディジタル画像信号より画素数の多い第2の
ディジタル画像信号に変換するようにした画像信号変換
装置において、第1のディジタル画像信号に対して異な
る前処理を施すことにより複数の信号が生成される複数
の前処理手段と、複数の信号に対してそれぞれクラス分
類適応処理を施し、複数の変換信号を生成する複数のク
ラス分類適応処理手段と、第1のディジタル画像信号か
ら制御信号が生成される制御信号生成手段と、制御信号
によって複数の変換信号を切り換える切り換え手段とか
らなることを特徴とする画像信号変換装置である。
【0013】さらに、請求項2に記載の発明は、第1の
ディジタル画像信号より画素数の多い第2のディジタル
画像信号に変換するようにした画像信号変換装置におい
て、第1のディジタル画像信号に対して異なる前処理を
施すことにより複数の信号が生成される複数の前処理手
段と、複数の信号に対してそれぞれクラス分類適応処理
を施し、複数の変換信号を生成する複数のクラス分類適
応処理手段と、第1のディジタル画像信号から制御信号
が生成される制御信号生成手段と、複数の変換信号に対
して制御信号に応じた重み付き加算を行う加算演算手段
とからなることを特徴とする画像信号変換装置である。
【0014】また、請求項10に記載の発明は、第1の
ディジタル画像信号より画素数の多い第2のディジタル
画像信号に変換するようにした画像信号変換方法におい
て、第1のディジタル画像信号に対して異なる前処理を
施すことにより複数の信号を生成するステップと、複数
の信号に対してそれぞれクラス分類適応処理を施し、複
数の変換信号を生成するステップと、第1のディジタル
画像信号から制御信号を生成するステップと、制御信号
によって複数の変換信号を切り換えるステップとからな
ることを特徴とする画像信号変換方法である。
【0015】さらに、請求項11に記載の発明は、第1
のディジタル画像信号より画素数の多い第2のディジタ
ル画像信号に変換するようにした画像信号変換方法にお
いて、第1のディジタル画像信号に対して異なる前処理
を施すことにより複数の信号を生成するステップと、複
数の信号に対してそれぞれクラス分類適応処理を施し、
複数の変換信号を生成するステップと、第1のディジタ
ル画像信号から制御信号を生成するステップと、複数の
変換信号に対して制御信号に応じた重み付き加算を行う
ステップとからなることを特徴とする画像信号変換方法
である。
【0016】入力SD信号に対して異なる前処理を行
い、前処理された信号に対してそれぞれクラス分類適応
処理においてアップコンバートを行う。そして、入力S
D信号に基づいた制御信号に応じて、適切な変換処理で
得られた変換信号を切り換える、または重み付け加算を
行うことで高性能な出力HD信号を得ることができる。
より具体的には、入力コンポジット信号に対して3次元
Y/C分離を施し、分離されたY信号またはC信号を用
いてクラス分類適応処理においてアップコンバートを行
い、入力コンポジット信号に対してクラス分類適応処理
においてアップコンバートを行う。そして、入力コンポ
ジット信号に基づいた制御信号に応じて、アップコンバ
ートされた変換信号を切り換える、または重み付け加算
を行うことによって、変換性能を高くすることができ
る。
【0017】
【発明の実施の形態】以下、この発明の実施例について
図面を参照しながら詳細に説明する。まず、この発明の
理解を容易とするため、先に提案されているクラス分類
適応処理を用いたアップコンバータを説明する。クラス
分類適応処理を用いたアップコンバータでは、入力SD
信号の特徴に基づき、入力信号をいくつかのクラスに分
類し、予め学習により生成されたクラス毎の適応予測手
法に従い、出力HD信号を生成する。
【0018】一例として、図1Aに示すような入力SD
信号(8ビットPCM(Pulse CodeModulation )デー
タ)に対してクラス生成タップを設定し、入力SD信号
の波形特性によりクラスを生成する。この図1Aの例で
は、注目SD画素(◎)を中心として7タップ(7個の
SD画素)でクラスが生成される。例えば、7タップデ
ータに対し1ビットADRC(Adaptive Dynamic Range
Coding )を適用すると、7画素のデータから定義され
るダイナミックレンジに基づき、7画素の最小値を除去
した上で、各タップの画素値を適応的に1ビット量子化
するので、128クラスが生成される。
【0019】ADRCは、VTR用信号圧縮方式として
開発されたものであるが、少ないクラス数で、入力信号
の波形特性を表現するのに適している。ADRCの他に
もクラス分類法としては、下記のものを採用することが
できる。
【0020】1)PCMデータを直接使用する。 2)DPCM(Differential PCM)を適用してクラス数
を削減する。 3)VQ(Vector Quantization )を適用してクラス数
を削減する。 4)周波数変換(DCT(Discrete Cosine Transform
Coding)、アダマール変換、フーリエ変換等)の値に基
づいたクラス分類を行う。
【0021】こうして分類されたクラス毎に適応処理を
実行するが、その適応処理の一例として、予め学習によ
り生成されたクラス毎の予測係数を用いた予測処理が挙
げられる。予測処理のときに使用される予測タップの一
例を図1Bに示す。この一例は、注目SD画素を中心と
したフレーム内13タップから予測タップが構成され
る。予測式の一例を式(1)に示す。
【0022】
【数1】 y´:推定HD画素値 xi :SD信号予測タップ画素値 wi :予測係数
【0023】このように、クラス毎に生成された予測係
数と入力データとの積和演算、例えば線形1次結合によ
りHD画素値を推定する。このクラス分類適応処理の回
路構成を図2に示す。1で示す入力端子から入力SD信
号が供給され、供給された入力SD信号は、クラス分類
部2および予測タップ選択部3へ供給される。クラス分
類部2では、上述した図1Aに示すようなクラスタップ
に基づき、入力SD信号に対するクラスが生成される。
生成されたクラスは、クラス分類部2から予測係数RO
M4へ供給される。
【0024】予測係数ROM4では、生成されたクラス
をアドレスとして応答する予測係数が出力される。予測
係数は、予測係数ROM4から予測演算部5へ供給され
る。予測タップ選択部3は、入力SD信号から上述した
図1Bに示すように13タップからなる予測タップを選
択する。選択された13タップからなる予測タップは、
予測タップ選択部3から予測演算部5へ供給される。予
測演算部5では、供給された予測係数および予測タップ
から式(1)に示す予測演算が実行され、その演算結果
は、出力端子6から出力される。
【0025】この例では、mode1〜mode4のHD画素を
予測するために、図1Aに示す7画素からなるクラスタ
ップを共用しているが、mode1〜mode4毎にクラスタッ
プを変えても良い。同様に、図1Bに示す13画素から
なる予測タップを共用しているが、上述したように供給
されるクラスに基づいて予測タップを変えることも可能
であり、またmode1〜mode4毎に予測タップを変えるこ
とも可能である。
【0026】上述した予測係数は、予め学習により生成
しておくが、その学習方法について述べる。式(1)の
線形1次結合モデルに基づく予測係数を最小自乗法によ
り生成する例を示す。最小自乗法は、以下のように適用
される。一般化した例として、Xを入力データ、Wを予
測係数、Yを推定値として次の式を考える。
【0027】 観測方程式:XW=Y (2)
【数2】
【0028】上述の観測方程式(2)により収集された
データに最小自乗法を適用する。式(1)の例において
は、n=13、mが学習データ数となる。式(2)の観
測方程式をもとに、式(4)の残差方程式を考える。
【0029】 残差方程式:XW=Y+E (4)
【数3】
【0030】式(4)の残差方程式から、各wi の最確
値は、
【数4】 を最小にする条件が成り立つ場合と考えられる。すなわ
ち、式(5)の条件を考慮すれば良いわけである。
【0031】
【数5】
【0032】式(5)のiに基づくn個の条件を考え、
これを満たすw1 、w2 、・・・、wn を算出すれば良
い。そこで、残差方程式(4)から式(6)が得られ
る。
【0033】
【数6】
【0034】式(5)および式(6)により式(7)が
得られる。
【数7】
【0035】そして、式(4)および式(7)から、正
規方程式(8)が得られる。
【数8】
【0036】式(8)の正規方程式は、未知数の数nと
同じ数の方程式を立てることが可能であるので、各wi
の最確値を求めることができる。そして、掃き出し法
(Gauss-Jordanの消去法)を用いて連立方程式を解く。
【0037】この場合の学習においては、対象信号と教
師信号との間で上述の線形1次モデルを設定し、最小自
乗法により予め予測係数を生成しておく。その学習方法
の一例となるフローチャートを図3に示す。このフロー
チャートは、ステップS1から学習処理の制御が始ま
り、ステップS1の学習データ形成では、例えば上述し
た図1Bに示す13タップから学習データが形成され
る。ここで、注目SD画素近傍のブロック内のダイナミ
ックレンジが所定のしきい値より小さいもの、すなわち
アクティビティーの低いものは、学習データとして扱わ
ない制御がなされる。ダイナミックレンジが小さいもの
は、ノイズの影響を受けやすく、正確な学習結果が得ら
れないおそれがあるからである。
【0038】ステップS2のデータ終了では、入力され
た全データ、例えば1フレームまたは1フィールドのデ
ータの処理が終了していれば、ステップS5の予測係数
決定へ制御が移り、終了していなければ、ステップS3
のクラス決定へ制御が移る。ステップS3のクラス決定
は、上述した図1Aに示すように、注目SD画素近傍の
画素位置の動き評価値に基づいたクラス決定がなされ
る。ステップS4の正規方程式では、上述した式(8)
の正規方程式が作成される。全データの処理が終了後、
ステップS2のデータ終了から制御がステップS5へ移
る。このステップS5の予測係数決定では、この正規方
程式が行列解法を用いて解かれ、予測係数が決定され
る。ステップS6の予測係数登録で、予測係数をメモリ
にストアし、このフローチャートが終了する。以上が予
測方式によるクラス分類適応処理の概要である。
【0039】上述したクラス分類適応処理を用いたアッ
プコンバータの一例を図4および図5に示す。この図4
および図5は、上述した図11および図12のアップコ
ンバータに対応した構成であり、図10に示すSD画素
とHD画素の関係に基づいてHD画素データを生成する
ものである。入力端子10から供給される入力SD信号
は、予測タップ選択部11およびクラス分類部12へ供
給される。クラス分類部12では、上述した図1Aに示
すクラスタップのようにクラスd0が生成され、生成さ
れたクラスd0は、アドレスとして予測係数ROM13
へ供給される。予測タップ選択部11では、上述した図
1Bに示すような予測タップが選択される。選択された
予測タップは、mode1予測演算部14、mode2予測演算
部15、mode3予測演算部16およびmode4予測演算部
17へ供給される。
【0040】予測係数ROM13では、上述したように
予め学習により獲得された予測係数からクラスd0に対
応したものが読み出される。読み出された予測係数は、
d5として、mode1予測演算部14、mode2予測演算部
15、mode3予測演算部16およびmode4予測演算部1
7へ供給される。mode1予測演算部14では、選択され
た予測タップと予測係数d5とから積和演算が実行さ
れ、mode1のHD画素d1が生成され、生成されたHD
画素d1は、選択部18に供給される。同様に、予測演
算部15、16および17では、選択された予測タップ
と予測係数d5とから積和演算が実行され、HD画素d
2、d3、d4が生成され、選択部18へ供給される。
【0041】このとき、各予測演算部14、15、1
6、17では、予測タップ選択部11からの予測タップ
と予測係数d5との積和演算が行われる。この積和演算
の際にmodeに応じて予測係数d5の符号が変更される。
mode1予測演算部14とmode2予測演算部15の間で
は、積和演算を実行するときに、例えば予測係数d5の
符号を正負の逆とし、同様にmode3予測演算部16とmo
de4予測演算部17の間でも、予測係数d5の符号を正
負の逆とし、積和演算を実行する。また、mode1予測演
算部14とmode3予測演算部16の間では、例えば注目
SD画素上の垂直方向の線に対して線対称に予測タップ
を入れ換え、予測係数d5と積和演算を実行し、同様に
mode2予測演算部15とmode4予測演算部17とでも、
注目SD画素上の垂直方向の線に対して線対称に予測タ
ップを入れ換え、積和演算を実行する。
【0042】選択部18では、注目SD画素から生成さ
れたHD画素を所望の時系列に並び換え、出力端子19
を介してHD画素が出力される。この選択部18には、
並び換えに必要なメモリも含まれる。以上が2次元ノン
セバラブル構成の予測演算を使用したときのクラス分類
適応処理の構成例である。
【0043】一方、図5は、垂直/水平セパラブル構成
の予測演算を行う場合のクラス分類適応処理の構成例を
示す。入力端子20から入力SD信号が供給され、入力
SD信号は、予測タップ選択部21およびクラス分類部
22へ供給される。クラス分類部22では、上述した図
1Aに示すクラスタップのようにクラスd11が生成さ
れ、生成されたクラスd11は、アドレスとして垂直係
数ROM23および水平係数ROM24へ供給される。
予測タップ選択部21において選択された予測タップ
は、垂直予測演算部25および26へ供給される。
【0044】垂直係数ROM23では、上述したように
予め学習により獲得された予測係数からクラスd11に
対応したものが読み出され、読み出された予測係数は、
垂直予測係数d16として、垂直予測演算部25および
26へ供給される。水平係数ROM24では、上述した
ように予め学習により獲得された予測係数からクラスd
11に対応したものが読み出され、読み出された予測係
数は、水平予測係数d17として、水平予測演算部27
および28へ供給される。
【0045】垂直予測演算部25では、選択された予測
タップと垂直予測係数d16とから積和演算により、垂
直推定値が生成される。この垂直推定値は、HD画素の
位置に生成されるものである。次に、この垂直推定値を
使用して水平方向のクラス分類適応予測を行い、それに
よってHD画素値を生成する。生成された垂直推定値
は、d12として水平予測演算部27へ供給される。同
様に、垂直予測演算部26では、選択された予測タップ
と垂直予測係数d16とから積和演算により、垂直推定
値d13が生成され、水平予測演算部28へ供給され
る。
【0046】水平予測演算部27では、供給された垂直
推定値d12を記憶するメモリを有し、記憶された垂直
推定値から予測タップが選択され、選択された予測タッ
プと水平予測係数d17との積和演算により、HD画素
が生成される。生成されたHD画素は、d14として選
択部29へ供給される。同様に、水平予測演算部28で
は、メモリから選択された予測タップと水平予測係数d
17との積和演算により、HD画素が生成される。生成
されたHD画素は、d15として選択部29へ供給され
る。上述した予測演算部25、26、27および28で
は、modeに応じて予測係数の符号および/またはタップ
の入れ換えがなされる。
【0047】この垂直および水平予測演算部25〜28
では、mode1、mode2の走査線用と、mode3、mode4の
走査線用の2種類に分かれ、予測演算部25および27
が前者を示し、予測演算部26および28が後者を示
す。選択部29では、供給されたHD画素d14および
d15を最適な並び換えにより最終的に出力端子30を
介してHD画素が出力される。以上の処理により予測演
算を垂直/水平セパラブル構成にした場合のクラス分類
適応処理が実現される。
【0048】以上のクラス分類適応処理は、式(1)の
例で示されるような予測演算を使用する予測方式と呼ば
れる手法である。この他に重心法を用いたクラス分類適
応処理がある。重心法は、予測演算値を出力する予測演
算方式ではなく、各クラスに対応する目標信号分布の平
均値を出力値とする手法である。予測演算方式は、予め
学習により各クラスに対応する予測係数を生成しておく
が、重心法では、予め学習により各クラスに対応する出
力値を生成しておく。よって、重心法の基本構成は、ク
ラス分類部と予測値ROMを直列接続した簡素なものと
なる。重心法は、予測演算方式に比べ予測自由度が少な
いため、全体の性能では予測方式より劣ることが多い
が、ハード量が非常に少ないという利点がある。このた
め、これらは、用途によって使い分けられる。
【0049】このようなクラス分類適応処理を用いるこ
とにより、上述の従来の補間フィルタを用いたアップコ
ンバータより、解像度の向上したアップコンバート画像
が得られる。
【0050】上述したクラス分類適応処理は、コンポー
ネントSD信号、例えば輝度信号に対して適用できる。
コンポジット信号を直接的にアップコンバートする場合
には、クラス分類適応処理に加えサブキャリアの位相等
のコンポジット信号特有の性質を考慮する必要がある。
図6は、コンポジット信号を4fscのサンプリング周
波数でサンプリングした場合のサブキャリア位相の例を
示し、図6Aは、偶数フレームの場合の画素のサブキャ
リア位相を示し、図6Bは、奇数フレームの場合の画素
のサブキャリア位相を示す。
【0051】図に示すように、画素位置、ライン番号、
フィールド番号、フレーム番号に基づき位相は変化す
る。NTSCコンポジット信号では、ラインおよびフレ
ーム毎にサブキャリアの位相が反転し、4フィールド単
位で位相は元に戻ることになる。コンポーネント信号か
らのアップコンバージョンにおいては、処理対象画素の
近傍から、順次クラスタップや予測タップを形成するこ
とが一般的である。しかしながら、図6から明らかなよ
うに、コンポジット信号においては近傍の各画素値は、
サブキャリアの変動を反映する。同色かつ同一輝度値の
平坦信号であってもコンポジット信号においては、サブ
キャリア位相により各画素値は、変化することになる。
【0052】よって、コンポジット信号からのアップコ
ンバージョンにおいては、注目画素近傍から、順次クラ
スタップや予測タップを取るのではなく、サブキャリア
位相を考慮したタップ構成が必須となる。クラス分類適
応処理を用いてコンポジット信号からアップコンバージ
ョンを実行する処理構成は、コンポーネント信号の場合
と同じく図2に示す構成で実現されるが、クラスタップ
や予測タップの構造を変更する必要がある。
【0053】この発明は、入力SD信号がコンポジット
信号の場合などで、異なる前処理を施した上で各々にク
ラス分類適応処理を適用することで、高性能なアップコ
ンバージョンを実現するものである。入力信号に異なる
前処理を施し得られる信号に対し、各々クラス分類適応
処理を用い変換信号を生成し、別途検出される制御信号
に基づき変換信号の切り換えを行い、最終的な出力HD
信号を得る。この発明の一実施例を図7に示す。
【0054】入力端子41から供給される入力SD信号
d20は、制御信号生成部42、前処理部43、45、
47へ供給される。制御信号生成部42では、供給され
る入力SD信号から制御信号d21が生成される。生成
された制御信号d21は、画素単位またはブロック単位
で制御信号生成部42から選択部49へ供給される。前
処理部43、45および47では、異なる3種類の前処
理が入力SD信号に対して施され、前処理が施された信
号は、d22、d23およびd24としてクラス分類適
応処理部44、46および48へ供給される。クラス分
類適応処理部44、46および48が、予測方式の場
合、上述した図2に示す構成になる。クラス分類適応処
理部44、46および48の出力信号d25、d26お
よびd27は、選択部49へ供給される。選択部49で
は、制御信号生成部42からの制御信号d21に基づい
て出力信号d25、d26およびd27が選択される。
選択された主力信号は、出力端子50からHD信号d2
8として出力される。
【0055】また、複数の処理信号に重み付き加算を施
す他の実施例の構成図を図8に示す。この図8中におい
て、上述の図7と同じブロックには、同じ符号を付し
て、説明を省略する。制御信号生成部42からの制御信
号d21は、画素単位またはブロック単位に重み生成部
51へ供給される。重み生成部51では、供給される制
御信号d21に対して、しきい値判定などによって3種
類の信号d25、d26およびd27の加算重みai
生成される。生成された加算重みai は、d31として
重み付き加算演算部52へ供給される。重み付き加算演
算部52では、クラス分類適応処理部44、46および
48からの出力信号d25、d26およびd27に対し
て式(9)の演算が実行される。式(9)の演算結果に
よって得られたHD信号は、d32として出力端子53
から出力される。
【0056】 y”=a0 ×y’0 +a1 ×y’1 +a2 ×y’2 (9) y”:最終HD出力値 y’i :各前処理による推定HD画素値 ai :加算重み(但し、総和は1.0とする。)
【0057】また、加算重みai に関しては、クラス分
類適応処理の対象として、学習により予め生成しておく
ことも可能である。その場合には、重み生成部51に
は、重み係数ROMが内蔵されることになる。
【0058】上述した前処理部43、45および47の
第1の例として、1次元Y/C分離、2次元Y/C分離
および3次元Y/C分離の処理が挙げられる。入力コン
ポジットSD信号に対してY/C分離を施し、コンポー
ネントのY信号とC信号を生成し、それぞれのコンポー
ネント信号にクラス分類適応処理を施し、アップコンバ
ージョンが行われる。
【0059】また、前処理部43、45および47の第
2の例は、一方がコンポジットSD信号に対してY/C
分離を施し、生成されたコンポーネントY信号にクラス
分類適応処理を施し、アップコンバージョンされたコン
ポーネントY信号を生成し、他方がコンポジットSD信
号に対してY/C分離を行わず、直接クラス分類適応処
理を施し、アップコンバージョンされたコンポーネント
C信号を生成することでアップコンバージョンが可能な
方式がある。
【0060】さらに、前処理部43、45および47の
第3の例は、静止部分に対して時間方向の平均化、すな
わちフレーム巡回型のノイズリデューサを施し、動き部
分に対して1次元または2次元のメディアンフィルタを
施し、さらに、両者の中間の準静止部には、3次元メデ
ィアンフィルタを施し、それぞれにクラス分類適応処理
を施し、アップコンバージョンが可能なものがある。
【0061】次に、上述した他の実施例のより具体的な
構成例のブロック図を図9に示す。入力端子61から供
給される入力SD信号d40は、輝度信号に対して搬送
色信号が重畳されたコンポジット信号である。搬送色信
号のサブキャリアは、図6に示すような位相関係を有す
る。入力SD信号d40は、動き量検出部62、処理部
64、66および前処理部65へ供給される。動き量検
出部62では、入力SD信号d40の動き量が検出され
る。コンポジット信号においては、理想的な動き量検出
はできないので、簡単な低域フィルタなどにより擬似的
に輝度信号を生成し、この輝度信号を使用して動き量検
出が行われる。検出された動き量は、d41として動き
量検出部62から重み生成部63へ供給される。
【0062】重み生成部63では、動き量d41に応じ
て重み付き加算演算用の重みが生成される。簡単には、
動き量をしきい値判別し、重みを生成する。このしきい
値は、最終的な画質を検討しながら経験的に決定され
る。また、重みを生成する手法としては、教師信号とな
るHD信号を用意しておき予め学習により重みを生成
し、ROMに格納するものが考えられる。この手法で
は、クラス分類適応処理そのものになり、単純には、動
き量がクラスとなり、その動き量に応答する重みが読み
出される。重みd45は、重み生成部63から重み付き
加算演算部67へ供給される。
【0063】図9に示す構成では、処理部64は、クラ
ス分類部69、予測係数ROM70および予測演算部7
1から構成される。その処理部64では、供給される入
力コンポジットSD信号d40がクラス分類部69へ供
給される。クラス分類部69では、入力コンポジットS
D信号d40に応じてクラスが生成される。生成された
クラスは、d42としてクラス分類部69から予測係数
ROM70に供給される。予測係数ROM70では、ク
ラスに応答した予測係数が読み出される。この予測係数
は、予め学習により獲得されたものであり、d46とし
て予測演算部71へ供給される。
【0064】前処理部65では、例えばコンポジット信
号特有の画質劣化を抑圧するために、3次元Y/C分離
によるY/C分離が実行され、分離されたY信号は、d
43として予測演算部71へ供給される。予測演算部7
1では、前処理部65からのY信号d43と予測係数d
46との積和演算が行われ、演算結果は、d48として
重み付き加算演算部67へ供給される。このように、処
理部64では、分離されたY信号d43にクラス分類適
応処理を適用して、その演算結果がd48として出力さ
れる。この処理部64は、図8に示すクラス分類適応処
理部に相当する。さらに、図示しないがC信号に対して
もクラス分類適応処理により信号変換を施すことも可能
である。
【0065】一方、処理部66は、予測演算部72、ク
ラス分類部73および予測係数ROM74から構成さ
れ、前処理を行わずに、直接的にクラス分類適応処理に
より信号変換が行われる。その処理部66では、供給さ
れる入力コンポジットSD信号d40が予測演算部72
およびクラス分類部73へ供給される。クラス分類部7
3では、入力コンポジットSD信号d40に応じてクラ
スが生成される。生成されたクラスは、d44としてク
ラス分類部73から予測係数ROM74へ供給される。
予測係数ROM74では、クラスに応答した予測係数が
読み出される。この予測係数は、予め学習により獲得さ
れたものであり、d47として予測演算部72へ供給さ
れる。予測演算部72では、入力SD信号d40と予測
係数d47との積和演算が行われ、演算結果は、d49
として重み付き加算演算部67へ供給される。
【0066】重み付き加算演算部67では、重み生成部
63からの重みd45に応じて、処理部64からのd4
8と、処理部66からのd49とが演算される。この重
み付き加算演算部67において、動き量の大きい箇所で
は、入力コンポジットSD信号に対してY/C分離など
を行わず、直接的にクラス分類適応処理が施され、アッ
プコンバージョンされたd49に対する重みが大きくな
る。また、動き量の小さい箇所では、入力コンポジット
SD信号に対して3次元Y/C分離を施し、その結果得
られたコンポーネントY信号にクラス分類適応処理が施
され、アップコンバージョンされたd48に対する重み
が大きくなる。この場合、上述した式(9)が2入力の
場合の演算となり、その演算結果は、d50として出力
端子68から取り出される。
【0067】図9に示す構成は、3次元Y/C分離によ
って、比較的安定的なY信号が得ることが可能な動き量
の小さい箇所では、コンポーネントY信号を生成し、生
成されたコンポーネントY信号に対してクラス分類適応
処理を施す。それ以外の箇所では、コンポジット信号に
対して何も処理を施さず、直接的にクラス分類適応処理
がなされる。従って、サブキャリアの重畳に起因するコ
ンポジット信号特有のドット妨害などの画質劣化をさけ
るために、最終的な画質向上を図ることができる。
【0068】上述の実施例では、クラス分類適応処理に
おいて、予測演算を用いる手法を説明したが、この手法
に限らず重心法を用いることも可能であり、さらに予測
演算と重心法を併用することも可能である。
【0069】
【発明の効果】この発明に依れば、入力SD信号に対し
て異なる前処理を施した後に、クラス分類適応処理を施
すことによって得られた複数の変換信号を、入力SD信
号から得られる制御信号に応じて重み付き加算または切
り換えることによって、高性能な信号変換を行うことが
できる。
【図面の簡単な説明】
【図1】この発明に係るクラス分類の説明のための画素
の配置を示す略線図である。
【図2】この発明に係るクラス分類の説明のための一般
的な構成例を示すブロック図である。
【図3】この発明に係る予測係数を学習するためのフロ
ーチャートである。
【図4】この発明に係るクラス分類を用いた2次元ノン
セパラブル構成のアップコンバータの一例を示すブロッ
ク図である。
【図5】この発明に係るクラス分類を用いた垂直/水平
セパラブル構成のアップコンバータの一例を示すブロッ
ク図である。
【図6】この発明に係る偶数フレームと奇数フレームの
コンポジット信号のサブキャリアの位相の一例を示す略
線図である。
【図7】この発明が適用されたアップコンバータの一実
施例である。
【図8】この発明が適用されたアップコンバータの他の
実施例である。
【図9】この発明が適用されたアップコンバータの具体
的な一例である。
【図10】SD画素とHD画素の配置を示す配置図であ
る。
【図11】従来の2次元ノンセパラブル構成のアップコ
ンバータを示す。
【図12】従来の垂直/水平セパラブル構成のアップコ
ンバータを示す。
【符号の説明】
62・・・動き量検出部、63・・・重み生成部、6
4、66・・・処理部、65・・・前処理部、67・・
・重み付き加算演算部、69、73・・・クラス分類
部、70、74・・・予測係数ROM、71、72・・
・予測演算部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 第1のディジタル画像信号より画素数の
    多い第2のディジタル画像信号に変換するようにした画
    像信号変換装置において、 上記第1のディジタル画像信号に対して異なる前処理を
    施すことにより複数の信号が生成される複数の前処理手
    段と、 上記複数の信号に対してそれぞれクラス分類適応処理を
    施し、複数の変換信号を生成する複数のクラス分類適応
    処理手段と、 上記第1のディジタル画像信号から制御信号が生成され
    る制御信号生成手段と、 上記制御信号によって上記複数の変換信号を切り換える
    切り換え手段とからなることを特徴とする画像信号変換
    装置。
  2. 【請求項2】 第1のディジタル画像信号より画素数の
    多い第2のディジタル画像信号に変換するようにした画
    像信号変換装置において、 上記第1のディジタル画像信号に対して異なる前処理を
    施すことにより複数の信号が生成される複数の前処理手
    段と、 上記複数の信号に対してそれぞれクラス分類適応処理を
    施し、複数の変換信号を生成する複数のクラス分類適応
    処理手段と、 上記第1のディジタル画像信号から制御信号が生成され
    る制御信号生成手段と、 上記複数の変換信号に対して上記制御信号に応じた重み
    付き加算を行う加算演算手段とからなることを特徴とす
    る画像信号変換装置。
  3. 【請求項3】 請求項2に記載の画像信号変換装置にお
    いて、 上記重み係数をクラス分類適応処理を用いて生成するこ
    とを特徴とする画像信号変換装置。
  4. 【請求項4】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記クラス分類適応処理は、予測演算を用いることを特
    徴とする画像信号変換装置。
  5. 【請求項5】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記クラス分類適応処理は、重心法を用いることを特徴
    とする画像信号変換装置。
  6. 【請求項6】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記クラス分類適応処理は、予測演算および重心法を用
    いることを特徴とする画像信号変換装置。
  7. 【請求項7】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記複数の前処理手段は、 1次元Y/C分離、2次元Y/C分離または3次元Y/
    分離のうち少なくとも2つであることを特徴とする画像
    信号変換装置。
  8. 【請求項8】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記複数の前処理手段は、 上記第1のディジタル画像信号に対してY/C分離を施
    し、コンポーネント信号を出力するY/C分離手段と、 上記第1のディジタル画像信号に対してY/C分離を行
    わず、コンポーネント信号を出力する手段であることを
    特徴とする画像信号変換装置。
  9. 【請求項9】 請求項1または請求項2に記載の画像信
    号変換装置において、 上記複数の前処理手段は、 静止部分に適用されるノイズリデューサ、準静止部分に
    適用されるノイズリデューサ、動き部分に適用されるノ
    イズリデューサのうち少なくとも2つであることを特徴
    とする画像信号変換装置。
  10. 【請求項10】 第1のディジタル画像信号より画素数
    の多い第2のディジタル画像信号に変換するようにした
    画像信号変換方法において、 上記第1のディジタル画像信号に対して異なる前処理を
    施すことにより複数の信号を生成するステップと、 上記複数の信号に対してそれぞれクラス分類適応処理を
    施し、複数の変換信号を生成するステップと、 上記第1のディジタル画像信号から制御信号を生成する
    ステップと、 上記制御信号によって上記複数の変換信号を選択するス
    テップとからなることを特徴とする画像信号変換方法。
  11. 【請求項11】 第1のディジタル画像信号画素数の多
    い第2のディジタル画像信号に変換するようにした画像
    信号変換方法において、 上記第1のディジタル画像信号に対して異なる前処理を
    施すことにより複数の信号を生成するステップと、 上記複数の信号に対してそれぞれクラス分類適応処理を
    施し、複数の変換信号を生成するステップと、 上記第1のディジタル画像信号から制御信号を生成する
    ステップと、 上記複数の変換信号に対して上記制御信号に応じた重み
    付き加算を行うステップとからなることを特徴とする画
    像信号変換方法。
JP22931696A 1996-08-12 1996-08-12 画像信号変換装置および方法 Expired - Fee Related JP3852133B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22931696A JP3852133B2 (ja) 1996-08-12 1996-08-12 画像信号変換装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22931696A JP3852133B2 (ja) 1996-08-12 1996-08-12 画像信号変換装置および方法

Publications (2)

Publication Number Publication Date
JPH1056622A true JPH1056622A (ja) 1998-02-24
JP3852133B2 JP3852133B2 (ja) 2006-11-29

Family

ID=16890234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22931696A Expired - Fee Related JP3852133B2 (ja) 1996-08-12 1996-08-12 画像信号変換装置および方法

Country Status (1)

Country Link
JP (1) JP3852133B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076232A1 (en) * 2000-03-30 2001-10-11 Sony Corporation Information processor
JP2007006304A (ja) * 2005-06-27 2007-01-11 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US8218077B2 (en) 2006-05-18 2012-07-10 Sony Corporation Image processing apparatus, image processing method, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076232A1 (en) * 2000-03-30 2001-10-11 Sony Corporation Information processor
US7174051B2 (en) 2000-03-30 2007-02-06 Sony Corporation Information processing apparatus for adaptive processing circuits
US7474806B2 (en) 2000-03-30 2009-01-06 Sony Corporation Information processing apparatus
US7477801B2 (en) 2000-03-30 2009-01-13 Sony Corporation Information processing apparatus
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
JP2007006304A (ja) * 2005-06-27 2007-01-11 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US7755701B2 (en) 2005-06-27 2010-07-13 Sony Corporation Image processing apparatus, image processing method, and program
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8218077B2 (en) 2006-05-18 2012-07-10 Sony Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP3852133B2 (ja) 2006-11-29

Similar Documents

Publication Publication Date Title
WO1994014278A1 (en) Image signal converter
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
JPH11191880A (ja) 画像変換装置および画像変換方法、並びに学習装置および学習方法
JP3669530B2 (ja) 画像信号変換装置及び画像信号変換方法
US5966183A (en) Signal converter and signal conversion method
EP1151606B1 (en) Classified adaptive spatio-temporal format conversion method and apparatus
JP3859089B2 (ja) 信号変換装置及び信号変換方法
JPH1056622A (ja) 画像信号変換装置および方法
JP3743077B2 (ja) 画像信号変換装置および方法
JP3671469B2 (ja) 予測係数の学習方法並びに信号変換装置および方法
JP3772408B2 (ja) 画像信号変換装置および方法
JP4223576B2 (ja) 画像信号変換装置および方法
JP3703034B2 (ja) 画像信号処理方法及び画像信号伝送装置
JP3693187B2 (ja) 信号変換装置及び信号変換方法
JP3669522B2 (ja) 信号変換装置、信号変換方法、係数学習装置及び係数学習方法
US8228995B2 (en) Image processing apparatus, image processing method, and program
JP3861309B2 (ja) 信号変換装置および信号変換方法
JP4352298B2 (ja) 演算装置及び変換装置並びにそれらの方法
JP3814850B2 (ja) 信号変換装置および方法
JP3852124B2 (ja) 信号変換装置および方法
JP4131049B2 (ja) 信号処理装置及び信号処理方法
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP3856244B2 (ja) 信号変換装置及び信号変換方法
JP4016138B2 (ja) 画像信号変換装置及び画像信号変換方法
JP2001298713A (ja) 画像処理装置および画像処理方法、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060828

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees