JPH0851622A

JPH0851622A - ディジタル画像信号の処理装置

Info

Publication number: JPH0851622A
Application number: JP20286494A
Authority: JP
Inventors: Kenji Takahashi; 健治高橋; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-04
Filing date: 1994-08-04
Publication date: 1996-02-20
Anticipated expiration: 2020-07-13
Also published as: JP3671437B2

Abstract

(57)【要約】【目的】サブサンプリング信号を復号する時に、間引
き画素の補間をクラス分類適応処理で行い、その場合の
クラス分けの精度を向上する。【構成】補間対象としての注目間引き画素のクラス分
けを行なうために、注目間引き画素の右側の伝送画素Ｂ
と、その左側の伝送画素Ｄとに関して方向性を調べる。
画素Ｂとその周囲の８個の画素のそれぞれとの差分値が
計算される。差分値の中の最小値を生じさせる方向を３
ビットで表現する。左側の画素Ｄとその周囲の８個の画
素のそれぞれとの差分値が計算され、その中で最小値を
生じさせる方向を３ビットで表現する。合計の６ビット
と、各差分値の極性をそれぞれ示す２ビットとの計８ビ
ットにより、注目間引き画素のクラスが表現される。そ
して、クラス毎に予め求められている係数と周辺画素の
線形１次結合によって、注目間引き画素の補間値が生成
される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、サブサンプリング信
号を受け取って、間引き画素を補間するのに適用される
ディジタル画像信号の処理装置に関する。

【０００２】

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。

【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。図１１は、オフセッ
トサブサンプリング回路の一例であって、６１で示す入
力端子にディジタルビデオ信号が供給され、プリフィル
タ６２を介してサブサンプリング回路６３に供給され
る。サブサンプリング回路６３には、入力端子６４から
所定の周波数のサンプリングパルスが供給される。

【０００４】サブサンプリング回路６３でなされる２次
元のオフセットサブサンプリングの一例を図１２に示
す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサン
プリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔
（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く
（間引き画素を×で示す）とともに、垂直方向に隣合う
伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ
／２）だけオフセットするものである。このようなオフ
セットサブサンプリングを行うことによる伝送帯域は、
斜め方向の空間周波数に対して水平あるいは垂直方向の
空間周波数成分を広帯域化することができる。

【０００５】サブサンプリング回路６３の出力信号がポ
ストフィルタ６５を介して出力端子６６に取り出され
る。プリフィルタ６２は、サンプリングされる画像信号
の帯域を制限し、ポストフィルタは、不要な、あるいは
悪影響を及ぼす信号成分を取り除く。サブサンプリング
によって伝送されるデータ量を減少でき、比較的低い速
度の伝送路を介してディジタルビデオ信号を伝送でき
る。また、受信されたオフセットサブサンプリングされ
た画像信号をモニタに表示したり、プリントアウトする
場合には、間引き画素が隣接画素を使用して補間され
る。

【０００６】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前のプリフィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
てプリフィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるためにプリフィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。

【０００７】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。

【０００８】上述の補助情報を使用する適応型補間方法
においては、伝送画素に加えて補助情報を伝送する必要
があり、データ量の圧縮率が低下する問題を生じる。ま
た、伝送、あるいは記録再生の過程において、補助情報
にエラーが生じた場合には、誤った補間がなされるため
に、再生画像の劣化が生じやすい欠点があった。

【０００９】この問題を解決する一つの方法として、本
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目間引き画素の値をその周辺の伝送画素と係数の
線形１次結合で表し、誤差の二乗和が最小となるよう
に、注目間引き画素の実際の値を使用して最小二乗法に
よりこの係数の値を決定するものが提案されている。こ
こでは、線形１次結合の係数を予め学習によって決定
し、決定係数がメモリに格納されている。さらに、注目
間引き画素を補間する時に、周辺の伝送画素の平均値を
計算し、平均値と各画素の値との大小関係に応じて、各
画素を１ビットで表現し、（参照画素数×１ビット）の
パターンに応じたクラス分けを行い、注目画素を含む画
像の局所的特徴を反映した補間値を形成している。この
クラス適応処理の方法は、補助情報を必要とせずに、間
引き画素を良好に補間することができる。

【００１０】

【発明が解決しようとする課題】上述の補間方法は、ク
ラス分けを行なう時に、参照する画素数が少なく、クラ
ス分けを細かくできず、補間の精度が低い問題があっ
た。参照する画素数を多くすると、クラス情報を表現す
るビット数が多くなり、その結果、クラス数も非常に多
くなる。このことは、係数を格納するメモリの容量の増
大をもたらす。

【００１１】従って、この発明の目的は、サブサンプリ
ング信号を復号する時に、間引き画素をクラス適応予測
処理で補間し、その場合のクラス分けの精度が向上され
たディジタル画像信号の処理装置を提供することにあ
る。

【００１２】

【課題を解決するための手段】請求項１に記載の発明
は、プリフィルタを介されたディジタル画像信号をサン
プリングし、サンプリングによって画素数が減少された
信号を受け取り、サンプリングにより間引かれた画素を
補間するようにしたディジタル画像信号の処理装置にお
いて、受け取ったディジタル画像信号中に存在する注目
間引き画素と隣接する第１および第２の伝送画素を規定
し、第１の伝送画素とその周辺の複数の伝送画素との間
の差分値の中の最小値を検出し、最小値を指示する第１
の方向データを形成し、第２の伝送画素とその周辺の複
数の伝送画素との間の差分値の中の最小値を検出し、最
小値を指示する第２の方向データを形成し、第１および
第２の方向データを含むクラスコードを生成するための
クラス分類回路と、入力ディジタル画像信号中に含ま
れ、注目間引き画素の空間的および／または時間的に近
傍の複数の伝送画素の値と係数の線形１次結合によっ
て、注目間引き画素の値を作成した時に、作成された値
と注目間引き画素の真値との誤差を最小とするような、
係数をクラス毎に発生するための係数発生回路と、係数
と注目間引き画素の空間的および／または時間的に近傍
の複数の伝送画素の値との線形１次結合によって、注目
間引き画素の補間値を生成するための演算回路とからな
ることを特徴とするディジタル画像信号の処理装置であ
る。

【００１３】請求項４に記載の発明は、受け取ったディ
ジタル画像信号中に存在する注目間引き画素と隣接する
第１および第２の伝送画素を規定し、第１の伝送画素と
その周辺の複数の伝送画素との間の差分値の中の最小値
を検出し、最小値を指示する第１の方向データを形成
し、第２の伝送画素とその周辺の複数の伝送画素との間
の差分値の中の最小値を検出し、最小値を指示する第２
の方向データを形成し、第１および第２の方向データを
含むクラスコードを生成するためのクラス分類回路と、
予め学習により獲得された代表値がクラス毎に貯えら
れ、クラス分類回路によって決定されたクラスと対応す
る代表値を注目間引き画素の値として出力するためのメ
モリ回路とからなることを特徴とするディジタル画像信
号の処理装置である。

【００１４】

【作用】間引き画素について、予め学習により獲得され
た係数と周辺の伝送画素の値との線形１次結合によって
補間値、すなわち、予測された間引き画素の値を形成す
ることができる。この係数は、補間しようとする間引き
画素を中心とする部分的な小領域の特徴と対応するクラ
ス毎に決定される。クラス分けは、注目間引き画素と隣
接する二つの伝送画素を規定し、各伝送画素について方
向性を調べる。この方向性が注目間引き画素のクラス情
報として採用される。

【００１５】

【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。この
一実施例は、間引き画素を補間するのみならず、伝送画
素の補正をも行なうものである。すなわち、伝送画素に
ついても、プリフィルタおよびポストフィルタを介して
伝送されるために、高域成分が失われており、その結
果、信号波形がなまる問題が生じる。この問題を解決す
るために、伝送画素の補正がなされる。

【００１６】一実施例の構成を示す図１において、１
は、オフセットサブサンプリングされたディジタルビデ
オ信号の入力端子である。具体的には、放送などによる
伝送、ＶＴＲ等からの再生信号が入力端子１に供給され
る。伝送画素の値は、８ビットのコードで表されてい
る。２は、テレビジョンラスター順序で到来する入力信
号をブロックの順序に変換するための時系列変換回路で
ある。

【００１７】時系列変換回路２の出力信号がクラス分類
回路３および４に供給される。クラス分類回路３は、補
間の対象の注目間引き画素のクラスを決定するもので、
そのクラスを指示するクラスコードがメモリ５に対して
アドレスとして供給される。クラス分類回路４は、補正
の対象の注目伝送画素のクラスを決定するもので、その
クラスを指示するクラスコードがメモリ６に対してアド
レスとして供給される。メモリ５から読出された予測係
数が補間値生成回路７に供給され、メモリ６から読出さ
れた予測係数が補正値生成回路８に供給される。

【００１８】メモリ５および６には、後述のように、予
め学習により獲得された予測係数が格納されている。こ
の係数は、間引き画素の補間値と伝送画素の補正値をそ
れぞれ予測するために必要とされる。補間値および補正
値は、何れも予測値であるが、間引き画素に対する予測
値を補間値と称し、伝送画素に対する予測値を補正値と
称している。補間値生成回路７および補正値生成回路８
に対しては、注目画素の周囲の複数の画素の値が時系列
変換回路２から供給される。そして、補間値生成回路７
は、注目間引き画素の予測値をメモリ５からの係数と周
囲の伝送画素の値との線形１次結合によって生成する。
同様に、補正値生成回路８は、注目伝送画素の補正値を
メモリ６からの係数と周囲の伝送画素の値との線形１次
結合によって生成する

【００１９】生成された補正値および補間値とが合成回
路９に供給され、出力端子１０に間引き画素が補間さ
れ、また、フィルタ処理で失われた周波数成分を補償さ
れたディジタルビデオ信号が出力される。図示しない
が、出力端子１０に対して時系列変換回路が接続され、
ブロックの順序からラスター走査の順序へ変換されたデ
ィジタルビデオ信号が形成される。

【００２０】クラス分類回路３は、注目間引き画素のク
ラスを決定し、クラス分類回路４は、注目伝送画素のク
ラスを決定する。最初に、クラス分類回路４について説
明すると、これは、注目伝送画素の近傍の伝送画素のレ
ベル分布のパターンに基づいて、この注目伝送画素のク
ラスを決定する。図２に示すように、注目伝送画素（そ
の真値をｙとする）の上下左右の最も近い距離の伝送画
素（ａ、ｂ、ｃ、ｄ）のレベル分布のパターンをクラス
として決定する。一例として、この参照される４画素の
平均値Ａｖを求め、平均値Ａｖに対する大小関係によっ
て、周囲の画素を８ビットから１ビットへ圧縮する。す
なわち、図３に一例を示すように、平均値Ａｖより大き
い値の場合は、`1' を割り当て、平均値Ａｖより小さい
値の場合は、`0' を割り当てる。図３の例では、（１０
１０）の４ビットのコードが得られる。

【００２１】クラス分類回路４が発生するクラスコード
としては、周辺画素のみならず、注目伝送画素の値ｙの
情報を含むものが使用される。例えば画素値ｙを平均値
と比較した１ビットを加えた５ビットが使用できる。こ
の場合、注目伝送画素を１ビットではなくて、注目伝送
画素の値ｙをＡＤＲＣによって圧縮した数ビットの量子
化値とを組み合わせたものを使用しても良い。すなわ
ち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲ
および最小値ＭＩＮを検出し、各画素の値から最小値Ｍ
ＩＮを減算し、最小値が減算された値をダイナミックレ
ンジＤＲで除算し、商を整数化する処理である。

【００２２】例えば１ビットＡＤＲＣの場合について説
明すると、ａ〜ｄおよびｙの５画素の中の最大値ＭＡＸ
および最小値ＭＩＮが検出され、ダイナミックレンジＤ
Ｒ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素ａ〜ｄお
よびｙの値から最小値ＭＩＮが減算され、最小値除去後
の値がダイナミックレンジＤＲで割算される。この割算
の商が０．５と比較され、０．５以上の場合は、`1' と
され、商が０．５より少ない場合は、`0' とされる。１
ビットＡＤＲＣは、上述の平均値と各画素の値とを比較
するものと実質的に同一の結果が得られる。２ビットＡ
ＤＲＣの場合であれば、ＤＲ／２²で計算される量子化
ステップ幅によって、最小値除去後の値が割算される。

【００２３】クラス分類回路３は、注目間引き画素（そ
の真値をＹとする）のクラスを決定する。図４は、クラ
ス分類のために使用される伝送画素の配列を示してい
る。注目間引き画素Ｙと隣接する二つの伝送画素例えば
左右に位置する画素ＢおよびＤを規定し、画素Ｂおよび
Ｄに関してそれぞれ方向性を調べる。図５Ａは、左側の
画素Ｄを使用して方向性を調べる様子を示し、図５Ｂ
は、右側の画素Ｂを使用して方向性を調べる様子を示
す。

【００２４】図５Ａに示すように、画素Ｄを中心とし
て、左右の画素（Ｂ、Ｎ）、上下の画素（Ｇ、Ｈ）、斜
め上の画素（Ａ、Ｌ）、斜め下の画素（Ｃ、Ｋ）の配列
において、次の差分値Ｄ０〜Ｄ７を計算する。Ｄ０＝Ｄ−Ｈ、Ｄ１＝Ｄ−Ｌ、Ｄ２＝Ｄ−Ｎ、Ｄ
３＝Ｄ−ＫＤ４＝Ｄ−Ｇ、Ｄ５＝Ｄ−Ｃ、Ｄ６＝Ｄ−Ｂ、Ｄ
７＝Ｄ−Ａ

【００２５】これらの差分値Ｄ０〜Ｄ７の中の最小値を
検出する。この最小値が存在する方向が図５Ｃに示すよ
うに、３ビットの方向コードにより指示される。例えば
差分値（Ｄ３）が最小であれば、方向コードが（０１
１）とされる。図５Ｂに示すように、注目間引き画素Ｙ
の右側の伝送画素Ｂを使用して、上述と同様に、次の差
分値Ｄ０´〜Ｄ７´が形成される。Ｄ０´＝Ｂ−Ｅ、Ｄ１´＝Ｂ−Ａ、Ｄ２´＝Ｂ−
Ｄ、Ｄ３´＝Ｂ−ＣＤ４´＝Ｂ−Ｆ、Ｄ５´＝Ｂ−Ｊ、Ｄ６´＝Ｂ−
Ｍ、Ｄ７´＝Ｂ−Ｉ

【００２６】そして、差分値Ｄ０´〜Ｄ７´の中の最小
値が検出され、最小値が存在する方向が３ビットの方向
コードで指示される。左側の画素について発生した方向
コードと右側の画素について発生した方向コードの合計
６ビットが注目間引き画素Ｙのクラスコードとして採用
される。また、必要に応じて、最小である二つの差分値
の極性を示す符号ビット（２ビット）をクラスコードに
加えて、合計８ビットのクラスコードを形成しても良
い。

【００２７】さらに、左右の画素（ＢおよびＤ）のみな
らず、上下の画素（ＡおよびＣ）についてもそれぞれ上
述と同様に方向性を求めても良い。また、クラス分けの
ために、注目間引き画素Ｙの周囲の伝送画素の値を量子
化して、その量子化値（ビット数が元の８ビットより１
ビットあるいは数ビットへ低減されている）を組み合わ
せて使用することもできる。量子化としては、上述のＡ
ＤＲＣを使用できる。この場合、方向性を求める画素
と、量子化する画素との組合せは、種々可能である。す
なわち、方向性を上下の画素（ＡおよびＣ）に関してそ
れぞれ求め、左右の画素（ＢおよびＤ）をそれぞれ量子
化する方法等が可能である。さらに、方向性および量子
化を同一の画素についてそれぞれ行なうようにしても良
い。例えば方向性を上下の画素に関して求めるととも
に、上下の画素を量子化する方法が可能である。

【００２８】このように、注目間引き画素と隣接する複
数の伝送画素について方向性を求めることによって、広
い領域の特徴を反映し、然も、少ないビット数、言い換
えると少ないクラス数でもって注目間引き画素のクラス
を決定することができる。若し、周辺の伝送画素の８ビ
ットデータをそのまま使用すると、クラス数が膨大とな
り、メモリの容量、メモリの制御回路等のハードウエア
の規模が大きくなりすぎる。この発明は、このような問
題点を解消できる。

【００２９】さらに、上述の一実施例では、方向性を求
める時に、差分値の最小値を検出しているが、差分値を
小さい順に並べた時に、第ｎ番目の差分値を生じさせる
方向を方向性データとしても良い。第ｎ番目の差分値を
検出することによって、方向性データを求めることの効
果について図６を参照して説明する。

【００３０】図６Ａおよび図６Ｂは、急峻な＜のパター
ンの画像を示している。図６Ａおよび図６Ｂにおいて、
各伝送画素の上側に付された数字は、画素値の相対的な
レベル関係を示す。すなわち、値の小さい方から順に、
１，２，３，４，５の数字が記入されている。例えば図
６Ａにおいて、〔１〕が付された伝送画素Ｅ，Ａ，Ｄ，
Ｃ，Ｆが最もレベルが小さい画素であり、これらの画素
によって、＜状パターンの谷（最も低いレベル部分）が
形成されている。

【００３１】図６Ａのレベル分布に対して、上述のよう
に差分を計算すると、注目間引き画素の左側の伝送画素
Ｄについては、Ｄ−Ｃ（またはＤ−Ａ）が最小値とな
り、方向コード（１０１）（または（１１１））が求め
られる。また、右側の画素Ｂについては、Ｂ−Ｊ（また
はＢ−Ｉ）が最小となり、（１０１）（または（１１
１））の方向コードが求められる。これらの方向コード
から注目間引き画素のクラスコードが決定される。

【００３２】図６Ｂにおいて、伝送画素Ａ，Ｎ，Ｃ等で
＜状パターンの谷が形成されている。左側の画素Ｄにつ
いて方向を調べると、Ｄ−Ｋ（またはＤ−Ｌ）が最小と
なり、方向コードとして、（００１）（または（０１
１））が得られる。左側の画素Ｂについては、Ｂ−Ｍが
最小となり、（１１０）の方向コードが得られる。ここ
で、画素Ｄについての差分の最小値を生じさせる画素Ｌ
およびＫは、＜状のエッジの外側に位置するので、注目
間引き画素が含まれる画像とは別の画像の画素である可
能性が高い。一方、図６Ａの場合では、画素Ｄについて
差分の最小値を生じさせる画素ＡまたはＣは、＜状のエ
ッジの内側に位置する。従って、これらの画素は、注目
間引き画素が含まれる画像と同一の画像を構成している
ものと考えられる。

【００３３】クラス分けは、注目間引き画素の周辺の画
素のレベル分布から、注目間引き画素が含まれる画像の
特徴を抽出し、抽出された特徴に基づいてクラスを決定
するものである。従って、上述の図６Ｂの場合のよう
に、エッジを挟んで注目間引き画素の画像と異なる画像
に含まれる可能性の高い画素を使用して方向性を検出す
ることは、クラス分けの精度の低下をもたらす。

【００３４】上述した理由から、＜状のエッジの付近の
画素のクラス分けを行なう時に、最小値を検出すること
は、常に最良と言えない。図６Ｂの場合では、Ｄ−Ｂで
求められる差分値（これは、最小値ではなく、２番目あ
るいは３番目の値である）と対応する方向コード（１１
０）を形成することが好ましい。一般的には、小さい方
（または大きい方）から第ｎ番目の差分と対応して方向
コードが形成される。但し、図６Ｂの場合は、特殊なレ
ベル分布と言えるので、最小値の方向と第ｎ番目の値の
方向との組み合わせによって、方向コードを生成するの
が実際的である。

【００３５】さて、補間値生成回路７は、メモリ５から
の予測係数と周辺伝送画素の値との線形１次結合によっ
て、補間値を生成する。一例として、図４に示すよう
に、クラス分類のために使用したＡ〜Ｐの１６個の画素
の値を補間値生成のために使用する。しかしながら、補
間値生成のための画素とクラス分けのための画素とが同
一の必要はない。補正値生成回路８は、メモリ６からの
予測係数の周囲の伝送画素の値の線形１次結合によっ
て、補正値を生成する。この予測のためには、自分自身
の値ｙを使用しない。また、予測のために、ａ〜ｄの４
画素またはこれより多い数の周囲の伝送画素が使用され
る。メモリ５および６に格納されている予測係数は、予
め学習により獲得されたものである。

【００３６】図７は、予測係数を決定するための学習時
の構成を示す。学習は、図１の入力端子１に供給される
ディジタルビデオ信号を原ディジタルビデオ信号から形
成する処理と同様の処理を行なう。学習によって、注目
伝送画素および注目間引き画素の真値に対する予測値が
有する誤差の二乗和を最小とするような係数が最小二乗
法により決定される。

【００３７】図７において、１１で示す入力端子に原デ
ィジタルビデオ信号が供給される。入力端子１１に対し
て、プリフィルタ１２、サブサンプリング回路１３およ
びポストフィルタ１５が接続される。サブサンプリング
回路１３には、入力端子１４からオフセットサブサンプ
リングを行うための所定の周波数のサンプリングパルス
が供給される。従って、ポストフィルタ１５の出力に
は、オフセットサブサンプリングされたディジタルビデ
オ信号が得られる。

【００３８】ポストフィルタ１５に対して時系列変換回
路１６が接続され、ラスター走査の順序からブロックの
順序へ変換されたビデオデータがクラス分類回路１７お
よび１８に供給される。クラス分類回路１７は、上述の
クラス分類回路３と同様に、周囲の伝送画素Ａ〜Ｐを使
用して注目間引き画素のクラスを決定する。クラス分類
回路１８は、上述のクラス分類回路４と同様に、注目伝
送画素のクラスを決定する。クラス分類回路１７および
１８からのクラスコードが係数決定回路１９および２０
にそれぞれ供給される。

【００３９】係数決定回路１９および２０は、線形１次
結合で生成される予測値とその真値との誤差の二乗和を
最小とするような予測係数を決定する。入力端子１１に
供給される原データが時系列変換回路２３に供給され、
この回路２３から係数決定回路１９および２０に対して
注目間引き画素の真値および注目伝送画素の真値が供給
される。また、係数決定回路１９および２０には、予測
のために使用される画素が時系列変換回路１６から供給
される。

【００４０】各係数決定回路は、最小二乗法によって最
良の予測係数を決定する。決定された予測係数がメモリ
２１および２２にそれぞれ格納される。格納アドレス
は、クラス分類回路１９および２０からのクラスコード
で指示される。一例として、間引き画素の補間値に関す
る係数決定の処理をソフトウェア処理で行う動作につい
て、図８を参照して説明する。なお、間引き画素の補間
値に関する係数決定も、図８と同様の処理でなされる。

【００４１】まず、ステップ４１から処理の制御が開始
され、ステップ４２の学習データ形成では、既知の画像
に対応した学習データが形成される。ステップ４３のデ
ータ終了では、入力された全データ例えば１フレームの
データの処理が終了していれば、ステップ４６の予測係
数決定へ、終了していなければ、ステップ４４のクラス
決定へ制御が移る。

【００４２】ステップ４４のクラス決定は、上述のよう
に、注目間引き画素と隣接する二つの画素に関してそれ
ぞれ方向コードを生成し、二つの方向コードに基づい
て、注目間引き画素のクラスを決定するステップであ
る。次のステップ４５の正規方程式生成では、後述する
正規方程式が作成される。

【００４３】ステップ４３のデータ終了から全データの
処理が終了後、制御がステップ４６に移り、ステップ４
６の予測係数決定では、後述する式（８）を行列解法を
用いて解いて、係数を決める。ステップ４７の予測係数
ストアで、予測係数をメモリ２１にストアし、ステップ
４８で学習処理の制御が終了する。

【００４４】図８中のステップ４５（正規方程式生成）
およびステップ４６（予測係数決定）の処理をより詳細
に説明する。学習時には、注目間引き画素の真値ｙが既
知である。注目間引き画素の補間値をｙ´、その周囲の
画素の値をｘ₁ 〜ｘ_nとしたとき、クラス毎に係数ｗ₁
〜ｗ_nによるｎタップの線形１次結合ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （１）を設定する。学習前はｗ_iが未定係数である。

【００４５】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（１）に従って、ｙ_j´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn （２）（但し、ｊ＝１，２，‥‥ｍ）

【００４６】ｍ＞ｎの場合、ｗ₁ 〜ｗ_nは一意には決ま
らないので、誤差ベクトルＥの要素をｅ_j＝ｙ_j−（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn）（３）（但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式
（４）を最小にする係数を求める。

【００４７】

【数１】

【００４８】いわゆる最小自乗法による解法である。こ
こで式（４）のｗ_iによる偏微分係数を求める。

【００４９】

【数２】

【００５０】式（５）を０にするように各ｗ_iを決めれ
ばよいから、

【００５１】

【数３】

【００５２】として、行列を用いると

【００５３】

【数４】

【００５４】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗ_iについて解けば、予測係数ｗ_iが
求まり、クラスコードをアドレスとして、この予測係数
ｗ_iをメモリに格納しておく。

【００５５】図８は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成またはソフトウェア
およびハードウエアを併用した構成によって、学習を行
うこともできる。また、補間値および補正値を形成する
のに、予測係数による線形１次結合に限らず、これらの
データの値そのものを学習によって予め作成し、この値
を補間値および補正値としても良い。

【００５６】図９は、データの値そのものを予め作成す
るための学習を説明するためのフローチャートである。
制御の開始のステップ５１、学習データ形成のステップ
５２、データ終了のステップ５３およびクラス決定のス
テップ５４は、上述の予測係数を決定するための学習に
おけるステップ４１、４２、４３および４４と同様の処
理を行うステップである。

【００５７】代表値決定のステップ５５は、クラス毎に
真値の平均値を求め、この平均値を代表値として決定す
るステップである。すなわち、学習の過程で得られた真
値の累積値を累積度数で割算することによって、代表値
が得られる。このような代表値を求める方法は、重心法
と称される。また、代表値を求める場合、データの値そ
のものを累算すると、累積したデータ量が多くなるの
で、ブロック内の基準値（ブロック内の複数の画素の大
きさを相対的に規定するための値であり、最小値ＭＩ
Ｎ、最大値ＭＡＸ、平均値等である）とブロックのダイ
ナミックレンジＤＲで正規化した値を代表値として求め
ても良い。

【００５８】すなわち、ブロックの基準値をＢ（例えば
ブロック内の画素の最小値）とし、ダイナミックレンジ
をＤＲで表すと、正規化された代表値Ｇは、Ｇ＝（ｙ−Ｂ）／ＤＲで規定される。ステップ５６において、決定された代表
値がメモリに格納され、学習が終了する。

【００５９】このように正規化された値を学習により求
めておいた時には、補間値生成または補正値生成のため
には、図１０の構成が使用される。図１０は、簡単のた
めに補間値生成のための構成のみを示す。図１０に示す
ように、時系列変換回路２の出力信号がクラス分類回路
３および検出回路２７に供給される。クラス分類回路３
からのクラスコードで指示されるメモリ５のアドレスか
ら正規化された代表値が読出される。また、検出回路２
７は、予測に使用する複数の伝送画素のダイナミックレ
ンジＤＲおよび最小値ＭＩＮを検出する。

【００６０】メモリ５からの正規化代表値が乗算回路２
５に供給され、正規化代表値と検出されたダイナミック
レンジＤＲとが乗算される。乗算回路２５の出力が加算
回路２６に供給され、検出された最小値ＭＩＮと加算さ
れる。この加算回路２６の出力信号が補間値であり、合
成回路９に対して生成補間値が供給される。図示しない
が、補正値が合成回路９に供給され、出力端子１０に出
力信号が取り出される。

【００６１】なお、補間値および補正値を同一の予測方
法により予測するのに限らず、上述した予測式（線形１
次結合）による予測、代表値を使用する予測、正規化代
表値を使用する予測を組み合わせても良い。

【００６２】また、この発明におけるクラス分類あるい
は予測演算のために、空間的に注目画素の周囲の画素の
値を使用するものに限らず、時間方向で注目画素と近い
画素（例えば前フレームの同一の画素）も使用すること
ができる。

【００６３】

【発明の効果】この発明は、注目間引き画素のクラス分
けのために、注目間引き画素と隣接する２個以上の伝送
画素に関して方向性をそれぞれ調べ、方向性に基づくク
ラス分けを行なうので、クラス数が多くなり過ぎずに、
より広い範囲の画像の特徴を反映したクラス情報を生成
でき、従って、高精度にクラス分けを行うことができ
る。

【００６４】また、この一実施例では、サンプリングに
より間引かれた画素のみならず、伝送画素の値も補正し
ているので、サンプリングのためのフィルタリング処理
によって失われた高域成分を補償することができる。従
って、復号信号の波形のなまりを補償でき、復号画像の
質を向上できる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】伝送画素のクラス分けのために参照する画素の
位置を示すための略線図である。

【図３】伝送画素のクラス分けの方法の一例を説明する
ための略線図である。

【図４】間引き画素のクラス分けのために参照する画素
の位置を示すための略線図である。

【図５】間引き画素のクラス分けを説明するための略線
図である。

【図６】間引き画素のクラス分けの具体例を説明するた
めの略線図である。

【図７】予測係数を求めるための学習時の構成の一例の
ブロック図である。

【図８】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。

【図９】代表値を求めるための学習をソフトウェア処理
で行う時のフローチャートである。

【図１０】正規化代表値から補間値を生成するための構
成の一例のブロック図である。

【図１１】オフセットサブサンプリングのための構成の
一例のブロック図である。

【図１２】２次元のオフセットサブサンプリングの構造
を示す略線図である。

【符号の説明】

３，４クラス分類回路５，６予測係数が格納されたメモリ７補間値生成回路８補正値生成回路９合成回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/00 Ａ

Claims

【特許請求の範囲】

【請求項１】プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、受け取ったディジタル画像信号中に存在する注目間引き
画素と隣接する第１および第２の伝送画素を規定し、上
記第１の伝送画素とその周辺の複数の伝送画素との間の
差分値の中の最小値を検出し、上記最小値を指示する第
１の方向データを形成し、上記第２の伝送画素とその周
辺の複数の伝送画素との間の差分値の中の最小値を検出
し、上記最小値を指示する第２の方向データを形成し、
上記第１および第２の方向データを含むクラスコードを
生成するためのクラス分類手段と、上記入力ディジタル画像信号中に含まれ、上記注目間引
き画素の空間的および／または時間的に近傍の複数の伝
送画素の値と係数の線形１次結合によって、上記注目間
引き画素の値を作成した時に、作成された値と上記注目
間引き画素の真値との誤差を最小とするような、係数を
上記クラス毎に発生するための係数発生手段と、上記係数と上記注目間引き画素の空間的および／または
時間的に近傍の複数の伝送画素の値との線形１次結合に
よって、上記注目間引き画素の補間値を生成するための
演算手段とからなることを特徴とするディジタル画像信
号の処理装置。
【請求項２】請求項１に記載のディジタル画像信号の
処理装置において、上記クラス分類手段は、第１の伝送画素とその周辺の複
数の伝送画素との間の差分値の中のｎ番目の値を検出
し、上記ｎ番目の値を指示する第１の方向データを形成
し、上記第２の伝送画素とその周辺の複数の伝送画素と
の間の差分値の中のｎ番目の値を検出し、上記ｎ番目の
値を指示する第２の方向データを形成し、上記第１およ
び第２の方向データを含むクラスコードを生成すること
を特徴とするディジタル画像信号の処理装置。
【請求項３】請求項１に記載のディジタル画像信号の
処理装置において、上記係数発生手段は、最小二乗法によって係数を決定す
ることを特徴とするディジタル画像信号の処理装置。
【請求項４】プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、受け取ったディジタル画像信号中に存在する注目間引き
画素と隣接する第１および第２の伝送画素を規定し、上
記第１の伝送画素とその周辺の複数の伝送画素との間の
差分値の中の最小値を検出し、上記最小値を指示する第
１の方向データを形成し、上記第２の伝送画素とその周
辺の複数の伝送画素との間の差分値の中の最小値を検出
し、上記最小値を指示する第２の方向データを形成し、
上記第１および第２の方向データを含むクラスコードを
生成するためのクラス分類手段と、予め学習により獲得された代表値が上記クラス毎に貯え
られ、上記クラス分類手段によって決定された上記クラ
スと対応する上記代表値を上記注目間引き画素の値とし
て出力するためのメモリ手段とからなることを特徴とす
るディジタル画像信号の処理装置。
【請求項５】請求項４に記載のディジタル画像信号の
処理装置において、上記クラス分類手段は、第１の伝送画素とその周辺の複
数の伝送画素との間の差分値の中のｎ番目の値を検出
し、上記ｎ番目の値を指示する第１の方向データを形成
し、上記第２の伝送画素とその周辺の複数の伝送画素と
の間の差分値の中のｎ番目の値を検出し、上記ｎ番目の
値を指示する第２の方向データを形成し、上記第１およ
び第２の方向データを含むクラスコードを生成すること
を特徴とするディジタル画像信号の処理装置。
【請求項６】請求項４に記載のディジタル画像信号の
処理装置において、上記メモリ手段に格納される代表値は、学習時に与えら
れる注目間引き画素の真値を平均化した値であることを
特徴とするディジタル画像信号の処理装置。
【請求項７】請求項４に記載のディジタル画像信号の
処理装置において、上記メモリ手段に格納される代表値は、注目間引き画素
を含むブロック内の複数画素の基準値と、上記ブロック
のダイナミックレンジとによって、上記注目間引き画素
の真値を正規化した値であることを特徴とするディジタ
ル画像信号の処理装置。