JP3831960B2 - 圧縮高解像度ビデオ信号の補間装置および補間方法 - Google Patents
圧縮高解像度ビデオ信号の補間装置および補間方法 Download PDFInfo
- Publication number
- JP3831960B2 JP3831960B2 JP34883195A JP34883195A JP3831960B2 JP 3831960 B2 JP3831960 B2 JP 3831960B2 JP 34883195 A JP34883195 A JP 34883195A JP 34883195 A JP34883195 A JP 34883195A JP 3831960 B2 JP3831960 B2 JP 3831960B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- pixel
- video signal
- pixels
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるＭＵＳＥ方式のデコーダに適用される圧縮高解像度ビデオ信号の補間装置および補間方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮することができる。
【０００３】
【発明が解決しようとする課題】
従来のＭＵＳＥ方式では、エンコード時に、１回あるいは２回サブサンプリングされたデータをデコードする際に、補間のために２次元の空間フィルタを用いている。しかしながら、ＭＵＳＥ方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【０００４】
従って、この発明の目的は、ＭＵＳＥ方式のデコーダに対して適用され、伝送された画素データと、検出された動き量とを用いてクラス分けを行うことによって、予め用意した最適な予測式より出力を予測するようにした高解像度ビデオ信号の補間装置および補間方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間装置において、供給されたディジタルビデオ信号の動き量を検出する動き量検出手段と、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するクラス分類手段と、画素の補間値を生成するために予め学習により獲得されたクラス毎の係数が格納されたメモリ手段と、メモリ手段と結合され、注目画素の空間的および／または時間的に近傍の複数の画素と係数を線形１次結合によって補間値を生成する補間値生成手段とからなることを特徴としたビデオ信号の補間装置である。
【０００６】
また、請求項２に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間方法において、供給されたディジタルビデオ信号の動き量を検出するステップと、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するステップと、画素の補間値を生成するために、予め学習により獲得されたクラス毎の係数が格納されたメモリから対応する係数を読み出すステップと、注目画素の空間的および／または時間的に近傍の複数の画素と係数を線形１次結合によって補間値を生成するステップとからなることを特徴としたビデオ信号の補間方法である。
【０００７】
係数と周辺画素の値との線形１次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。このクラスは、周辺画素のレベル分布のパターンと動き量を用いて表現される。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第１および第２の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第１の係数とフィールド内の周辺画素の値との線形１次結合により補間値を形成し、これが静止のときは、第２の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。まず、ＭＵＳＥ方式のエンコーダの主要部を図１を参照して説明する。１で示す入力端子からハイビジョン信号が入力され、入力されたハイビジョン信号は、白クリップ回路２へ供給される。白クリップ回路２では、白レベルがクリップされ、〔−１ｄＢ〕回路３において、−１ｄＢの補正が行われる。逆γ補正回路４では、γ補正の逆補正が供給された信号に対してなされ、Ｙ、Ｐｒ、Ｐｂ変換回路５において、マトリックス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成される。Ｙ、Ｐｒ、Ｐｂ変換回路５において、変換されたＹ信号は、フィールド間フィルタ６へ供給され、Ｐｒ信号は、垂直ＬＰＦ（ローパスフィルタ）２１へ供給され、Ｐｂ信号は、垂直ＬＰＦ２２へ供給される。
【０００９】
Ｙ信号が供給されたフィールド間フィルタ６に対して、フィールドオフセットサブサンプリング回路７、ＬＰＦ８およびサンプリング周波数変換回路９が接続される。フィールドオフセットサブサンプリング回路７は、フィールド間でサブサンプリングの位相が１画素ずらされるもので、その出力がＬＰＦ１０に供給される。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚで、サブサンプリング回路７のサンプリング周波数が２４．３ＭＨｚで、ＬＰＦ１０によって、１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が４８．６ＭＨｚに戻される。
【００１０】
ＬＰＦ１０に対して、サンプリング周波数変換回路１１が接続され、サンプリング周波数がサンプリング周波数変換回路１１によって、３２．４ＭＨｚに変換される。この回路１１の出力信号がＴＣＩ(Time Compressed Integration) スイッチ１２に供給される。サブサンプリング回路７から変換回路１１までの信号路は、静止領域の処理のために設けられている。
【００１１】
帯域制限用のＬＰＦ８に対してサンプリング周波数変換回路１３が接続され、４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。この回路１３の出力がＴＣＩスイッチ１４に供給される。ＴＣＩスイッチ１４からの信号が２次元サブサンプリングフィルタ１８を介して混合（ＭＩＸ）回路１９に供給される。ＬＰＦ８から２次元サブサンプリングフィルタ１８に至る信号路が動き領域の処理のために設けられている。混合回路１９では、フィルタ１８の出力信号とＴＣＩスイッチ１２の出力信号とが混合される。
【００１２】
サンプリング周波数変換回路９に対しては、動きベクトル検出回路１５が接続される。動きベクトル検出回路１５に対して、動きフィルタ１６および動き検出回路１７が接続される。動きフィルタ１６には、サンプリング周波数変換回路１３の出力信号も供給される。動きフィルタ１６の出力が動き検出回路１７に供給される。動き検出回路１７での検出結果（動き量）に基づいて混合回路１９の混合比を制御する制御信号が生成される。
【００１３】
Ｙ、Ｐｒ、Ｐｂ変換回路５からの色信号Ｐｒ、Ｐｂが垂直ＬＰＦ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がＬＰＦ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のＬＰＦ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。サブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１４】
ＬＰＦ２４およびサブサンプリング回路２６は、静止領域用の処理回路であり、ＬＰＦ２５、サブサンプリング回路２７および時間圧縮回路２８は、動き領域用の処理回路である。サブサンプリング回路２６および時間圧縮回路２８の出力信号がＴＣＩスイッチ１２および１４へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００１５】
混合回路１９の出力信号がフレーム，ラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が１６．２ＭＨｚとされる。サブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介してＭＵＳＥのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出される。
【００１６】
上述のＭＵＳＥエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。静止領域の処理が上側に示され、動き領域の処理が下側に示されている。図１の各点の信号に関して、そのサンプリング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路７の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００１７】
ＬＰＦ１０の出力（Ｃ点）には、内挿処理された信号（サンプリング周波数が４８．６ＭHz）が発生する。サンプリング周波数変換回路１１の出力（Ｄ点）もサンプリング周波数が３２．４ＭHzに変換された信号が現れる。
【００１８】
一方、ＬＰＦ８の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数回路１３の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００１９】
静止領域および動き領域のそれぞれの処理を受けたＹ信号が混合回路１９で混合され、混合回路１９の出力がフレーム、ラインオフセットサブサンプリング回路３１に供給される。この回路３１の出力（Ｅ点）では、フレーム間およびライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００２０】
図３は、この発明を適用できるＭＵＳＥデコーダの一部を示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号がフレーム間内挿回路４１、フィールド内内挿回路４２および動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２１】
すなわち、静止領域は、フレーム間内挿回路４１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路４１の出力信号がＬＰＦ４４、サンプリング周波数変換回路（３２．４ＭＨｚから２４．３ＭＨｚへ）４５およびフィールド間内挿回路４６を介して混合回路４８に供給される。サブサンプリング周波数変換回路４５からは、２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２２】
動き領域は、フィールド内内挿回路４２によって、空間的内挿がなされる。内挿回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４７が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２３】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域がフレーム間内挿回路４１を介され、その出力（Ｆ点）で間引き画素が内挿されたビデオ信号が生じる。
【００２４】
サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が２４．３ＭHzに変換されたビデオ信号が現れる。そのビデオ信号は、フィールド毎に１画素ずれたオフセットサンプリングがなされたものである。次のフィールド間内挿回路４６の出力（Ｈ点）に画素が内挿された信号が生じる。これが混合回路４８に供給される。
【００２５】
動き領域の処理のためのフィールド内内挿回路４２の出力（ｆ点）にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路４７によって、その出力（ｇ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２６】
さて、上述のＭＵＳＥ方式では、静止領域に関して２回のサブサンプリングがなされ、２回の補間がなされ、また、動き領域に関しては、１回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のＭＵＳＥデコーダにおけるフレーム間内挿回路４１、フィールド内内挿回路４２およびフィールド間内挿回路４６の何れに対しても適用できる。
【００２７】
一例として、フィールド内内挿回路４２に対してこの発明を適用した一実施例を図５に示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号は、動き部分・動き量検出回路５３、フレーム間内挿回路５１およびクラス分類適応補間回路５２へ供給される。動き部分・動き量検出回路５３では、供給される画面全体の動きベクトルに基づいて、供給された画像データの動き領域および動き量が検出される。この動き部分・動き量検出回路５３で検出される動き領域および動き量は、混合（ＭＩＸ）回路５８において、静止領域と動き領域との画素毎の混合比の基準となるものである。また、この動き部分・動き量検出回路５３で求められる動き量は、クラス分類適応補間回路５２へ供給される。同様に、検出された動き領域および動き量は、混合回路５８へ供給される。
【００２８】
画像データからの静止領域は、フレーム間内挿回路５１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路５１の出力信号がＬＰＦ５４へ供給される。ＬＰＦ５４では、供給された画像データに対して１２ＭHzの帯域制限が施され、サンプリング周波数変換回路５５では、画像データのサンプリング周波数が３２．４ＭHzから２４．３ＭHzへ周波数変換される。フィールド間内挿回路５６では、フレーム間内挿回路５１と同様に、１フィールド前の画像データを使用したフィールド間内挿がなされる。フィールド間内挿回路５６の出力信号は、混合回路５８へ供給される。
【００２９】
画像データからの動き領域は、クラス分類適応補間回路５２により、動き部分・動き量検出回路５３からの動き量と注目画素の周辺の画素とからクラス分類が行われ、後述するように空間的内挿、すなわちフレーム内内挿またはフィールド内内挿がなされる。クラス分類適応補間回路５２の出力信号がサンプリング周波数変換回路５７へ供給される。サンプリング周波数変換回路５７では、画像データのサンプリング周波数が３２．４ＭHzから４８．６ＭHzへ周波数変換される。その出力信号が混合回路５８へ供給される。この混合回路５８は、動き部分・動き量検出回路５３からの信号に基づいて、静止画像と動き画像の混合比が制御される。この混合回路５３の出力信号は、図示しないがＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変化され、逆マトリクス演算され、γ補正がなされた後、Ｒ、Ｇ、Ｂ信号が得られる。
【００３０】
ここで、この動き部分・動き量検出回路５３の詳細なブロック図を図６に示す。この動き部分・動き量検出回路５３に供給されるＭＵＳＥ信号のフレームは、入力端子６１から供給される。横線エッジ検出回路６２では、供給されたフレームから後述するように横線となるエッジ、すなわち水平方向のエッジが検出される。検出された水平方向のエッジは、２フレーム検出エッジ回路７０へ供給される。縦線エッジ検出回路６３では、供給されたフレームから後述するように縦線となるエッジ、すなわち垂直方向のエッジが検出される。検出された垂直方向のエッジは、２フレーム検出エッジ回路７０へ供給される。
【００３１】
ノンリニアエッジ検出回路６４では、供給されたフレームからエッジであると判断された部分に対して、所定のレベルに重み付けがなされる。１フレーム検出エッジ回路６５では、供給されたフレームと、ノンリニアエッジ検出回路６４の出力と、横線エッジ検出回路６２からの水平方向のエッジとが加算される。ここでは、横線エッジ検出回路６２の出力が用いられているが、縦線エッジ検出回路６３からの垂直方向のエッジを用いることも可能である。
【００３２】
ＬＰＦ６６および６７は、カットオフ周波数が４ＭHzであり、ＬＰＦ６６では、供給されたＭＵＳＥ信号のフレームが帯域制限され、ＬＰＦ６７では、１フレーム前のＭＵＳＥ信号のフレームが帯域制限される。帯域制限されたそれぞれの信号は、１フレーム差分回路６８へ供給される。１フレーム差分回路６８では、４ＭHzの帯域制限がなされた１フレーム間の差分が算出される。算出された１フレーム差分は、感度設定回路６９へ供給される。感度設定回路６９では、供給された１フレーム差分と、１フレーム検出エッジ回路６５からの出力によって、感度が設定される。この感度設定回路６９では、エッジ部分では、フレーム差が大きくなるため、動き部分・動き量検出の感度が落とされる。
【００３３】
２フレーム検出エッジ回路７０では、供給されたＭＵＳＥ信号のフレームと、横線エッジ検出回路６２からの水平方向のエッジと、縦線エッジ検出回路６３からの垂直方向のエッジとが加算される。加算結果は、感度設定回路７２へ供給される。２フレーム差分回路７１では、供給されたフレームと、２フレーム前のフレームとの２フレーム差分が算出される。感度設定回路７２では、供給された２フレーム差分と、２フレーム検出エッジ回路７０からの加算結果に基づいて感度の設定が行われる。この感度設定回路７２も感度設定回路６９と同様に動き部分・動き量検出の感度が落とされる。
【００３４】
孤立点除去回路７３では、供給された２フレーム差分から孤立点の除去が行われる。フレーム補間回路７４では、孤立点が除去された２フレーム差分と、１フレームディレイ回路７５から１フレーム遅延がなされた２フレーム差分とを用いて２フレーム差分の補間処理がなされる。１フレームディレイ回路７５では、フレーム補間された２フレーム差分を１フレームの時間だけ遅延が行われた後、保持された２フレーム差分は、フレーム補間回路７４へ供給される。２次元ＬＰＦ７６では、フレーム補間された２フレーム差分に対して２次元の帯域制限が行われる。帯域制限が行われたフレームは、ミキシング回路７７へ供給される。
【００３５】
ミキシング回路７７では、感度設定回路６９からの１フレーム差分と、２次元ＬＰＦ７６からの２フレーム差分とが加算される。フィールド補間回路７８では、フィールド毎の合成フレーム差分が作られ、フィールドの補間が行われる。フィールドの補間が行われた信号は、しきい値処理回路７９において、合成フレーム差分に対してしきい値処理が行われ、１６段階にて表現された動き量が得られる。この動き量は、出力端子８０を介してクラス分類適応補間回路５２および混合回路５８へ供給される。
【００３６】
ここで、横線エッジ検出回路６２の一例を図７に示す。また、縦線エッジ検出回路６３も同様の構成である。８１で示す入力端子からＭＵＳＥ信号のフレームが供給される。画素抽出回路８２では、供給されたフレームから画素が抽出される。抽出された画素は、差分検出回路８３1 〜８３3 において、差分が検出される。検出された差分は、最大差分検出回路８４において、絶対値へ変換され、最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして、出力端子８５を介して１フレーム検出エッジ回路６５および／または２フレーム検出エッジ回路７０へ供給される。
【００３７】
このエッジ検出回路を図８および図９に示す伝送された画素を用いて説明する。まず、図８は、水平方向のエッジを検出する場合に抽出される画素のパターンを示す。さらに、図８Ａは、注目画素が伝送された画素ｅに相当する場合、差分検出回路８３1 では、抽出された画素ａと画素ｄの差分が検出され、差分検出回路８３2 では、抽出された画素ｂと画素ｅの差分が検出され、差分検出回路８３3 では、抽出された画素ｃと画素ｆの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３８】
図８Ｂは、注目画素が伝送された画素ｈと画素ｋの間にある場合、差分検出回路８３1 では、抽出された画素ｇと画素ｊの差分が検出され、差分検出回路８３2 では、抽出された画素ｈと画素ｋの差分が検出され、差分検出回路８３3 では、抽出された画素ｉと画素ｌの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３９】
また、図９は、垂直方向のエッジを検出する場合に抽出される画素のパターンを示す。図９Ａは、注目画素が伝送された画素ｐに相当する場合、差分検出回路８３1 では、抽出された画素ｍと画素ｎの差分が検出され、差分検出回路８３2 では、抽出された画素ｏと画素ｐの差分が検出され、差分検出回路８３3 では、抽出された画素ｐと画素ｑの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４０】
図９Ｂは、注目画素が伝送された画素ｕと画素ｖの間にある場合、差分検出回路８３1 では、抽出された画素ｒと画素ｓの差分が検出され、差分検出回路８３2 では、抽出された画素ｓと画素ｔの差分が検出され、差分検出回路８３3 では、抽出された画素ｕと画素ｖの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４１】
ここで、この発明が適用されるクラス分類適応補間回路５２の一例を図１０に示す。入力端子９１から画像データの動き領域が供給される。この動き領域は、レベル検出回路９３および補間回路９６へ供給される。レベル検出回路９３では、供給された動き領域、例えば３画素×３ライン（以下、（３×３）ブロックと称する）毎のレベル分布のパターンが検出される。ブロック毎のレベル分布のパターンは、一例として（３×３）ブロックの各画素のレベルを、例えばそのブロックの平均値と比較することによって２値化し、さらに４ビットへ圧縮され、検出される。
【００４２】
クラス作成回路９４では、端子９２を介して動き部分・動き量検出回路５３から供給される動き量と、検出された（３×３）ブロック毎のレベル分布のパターンとからクラスが作成される。具体的には、この一例において、動き量は、上述したように１６段階から表現されているので、４ビットからなり、レベル分布のパターン（４ビット）と共に合計８ビットでブロックのクラスが作成される。これらの８ビットからなるクラスがクラス作成回路９４から係数ＲＯＭ９５へ供給される。
【００４３】
係数ＲＯＭ９５では、供給されたクラスをアドレスとして、そのアドレスに対応する係数データが読み出される。この係数データは、後述するように予め演算により求められている。読み出された係数データは、係数ＲＯＭ９５から補間回路９６へ供給される。補間回路９６では、供給された係数データから補間データを作成するために、例えば線形一次結合式が用いられ、空間内内挿、すなわちフレーム内内挿またはフィールド内内挿が行われる。補間が行われた画像データは、出力端子９７を介してサンプリング周波数変換回路５７へ供給される。
【００４４】
次に、上述した係数ＲＯＭ９５に記憶される係数データの学習の一例を図１１のフローチャートを用いて説明する。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内またはフレーム内の周辺画素の値が学習データとして採用される。注目画素の真値と複数の周辺画素の値とが一組の学習データである。
【００４５】
ここで、周辺画素で構成されるブロックのダイナミックレンジが所定のしきい値より小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップＳ２のデータ終了では、入力された全データ、例えば１フレームのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。
【００４６】
ステップＳ３のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値および動き量に基づいたクラス決定がなされる。ステップＳ４の正規方程式生成では、後述する式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５に移る。このステップＳ５の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップＳ６の予測係数ストアで、予測係数をメモリにストアし、この学習のフローチャートが終了する。
【００４７】
図１１中のステップＳ４（正規方程式生成）およびステップＳ５（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
を設定する。学習前は、ｗi が未定係数である。
【００４８】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）は、式（２）で表される。
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋・・・＋ｗn ｘjn （２）
（但し、ｊ＝１，２，・・・，ｍ）
【００４９】
ｍ＞ｎの場合、ｗ1 〜ｗn は、一意には決まらないので、誤差ベクトルＥの要素をそれぞれの学習データｘj1，ｘj2，・・・，ｘjn，ｙj における予測誤差をｅj として、次の式（３）のごとく定義する。
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋・・・＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，・・・，ｍ）
次に、式（４）を最小にする係数を求め、最小自乗法における最適な予測係数ｗ1 ，ｗ2 ，・・・，ｗn を決定する。
【００５０】
【数１】
【００５１】
すなわち、式（４）のｗi による偏微分係数を求めると、式（５）に示すようになる。式（５）で（ｉ＝１，２，・・・，ｎ）である。
【００５２】
【数２】
【００５３】
式（５）を０にするように各ｗi を決めればよいから、
【００５４】
【数３】
【００５５】
として、行列を用いると、
【００５６】
【数４】
【００５７】
となる。この方程式は、一般に正規方程式と呼ばれている。正規方程式は、丁度未知数がｎ個だけある連立方程式である。これにより最確値たる各未定係数ｗ1 ，ｗ2 ，・・・ｗn を求めることができる。具体的には、一般的に式（８）の左辺の行列は、正定値対称なので、コレスキー法という手法により式（８）の連立方程式を解くことができ、未定係数ｗi が求まり、クラスコードをアドレスとして、この係数ｗi をメモリに格納しておく。
【００５８】
上述の係数ＲＯＭ９５に記憶される係数データの学習を概略的に説明する。図１２Ａに示すように、例えば（３×３）ブロックの注目画素、すなわち間引かれた注目画素ｙの周囲にある画素ｘ1 〜ｘ4 のレベル方向および動き量を用いてクラスが生成される。画素ｘ1 〜ｘ4 のレベル方向（図１２Ｂ）に対して施す正規化の一例として、４つの画素の平均と４つの画素との大小関係が２値化され、表現される（図１２Ｃ）。すなわち、４つの画素の平均をしきい値として画素毎に大小の判定が行われ、大きいと判断された場合、 `１' とし、小さいと判断された場合、 `０' とする。この４つの画素の判断結果、図１２Ｃに示すように `0101' をクラスとし、クラス分けが行われる。また、画素の値をそのまま、クラス分け用のビットとして用いることも可能である。
【００５９】
このようにクラス分けを行った後、画素ｘ1 〜ｘ4 を用いて間引かれた画素を式（９）を用いて、注目画素ｙの予測が行われる。
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋ｗ3 ×ｘ3 ＋ｗ4 ×ｘ4 （９）
（ただし、ｗ1 〜ｗ4 は、係数データとする）
この式（９）の各画素に係る係数データを上述した最小自乗法によって求める。
【００６０】
このように学習によって、求められた係数データは、デコード時に各クラスに応じた出力を周囲の画素から予測することができる。図１３Ａに示すように、学習時と同じようにサブサンプリングされて間引かれた画素の周辺データ（図１３Ｂ）のレベル分布のパターンと動き量を用いてクラスが求められる。このようにして、式（１０）に示すように、クラスと周辺画素のデコード値を求めることにより、補間値を予測することができる。
【００６１】
ｙ´＝ｗ1 ´×ｘ1 ´＋ｗ2 ´×ｘ2 ´＋ｗ3 ´×ｘ3 ´＋ｗ4 ´×ｘ4 ´
（１０）
（ただし、ｗ1 ´〜ｗ4 ´は、学習によって求められた係数データとする）
【００６２】
また、デコード時に求める動き量以外との組み合わせでも良い。さらに、正規化の方法は、この手法以外にもビット数を増やす方法や、ＡＤＲＣのようにエンコードしたものを用いる方法などが考えられる。
【００６３】
【発明の効果】
この発明に依れば、伝送された周辺画素のレベル分布のパターンと動き量からクラスを生成することで、予め学習によって決定された正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行い、動き画素の時には、フィールド内の画素を補間に使用し、静止画素の時には、フレーム内の画素を補間に使用しているので、精度が高い補間を行うことができる。また、学習時に、アクティビティーが低いデータを学習対象から除外しているので、精度の高い補間値を生成できる。
【図面の簡単な説明】
【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック図である。
【図２】ＭＵＳＥ方式のエンコーダのサブサンプリングを説明するための略線図である。
【図３】この発明を適用できるＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図４】ＭＵＳＥ方式のデコーダの補間処理を説明するための略線図である。
【図５】この発明のＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図６】この発明の動き部分・動き量検出回路の一例を示すブロック図である。
【図７】この発明の動き部分・動き量検出回路に含まれるエッジデータを検出する一例を示すブロック図である。
【図８】この発明のエッジデータ検出を説明するための略線図である。
【図９】この発明のエッジデータ検出を説明するための略線図である。
【図１０】この発明を適用できる補間処理を行うためのクラス分類適応補間回路の一例を示すブロック図である。
【図１１】係数を求めるための学習を説明するためのフローチャートである。
【図１２】係数を求めるための学習を説明するための略線図である。
【図１３】学習により得た係数を用いた補間を説明するための略線図である。
【符号の説明】
５１ フレーム間内挿回路
５２ クラス分類適応補間回路
５３ 動き部分・動き量検出回路
５４ ＬＰＦ
５５、５７ サンプリング周波数変換回路
５６ フィールド間内挿回路
５８ 混合回路
【産業上の利用分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるＭＵＳＥ方式のデコーダに適用される圧縮高解像度ビデオ信号の補間装置および補間方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮することができる。
【０００３】
【発明が解決しようとする課題】
従来のＭＵＳＥ方式では、エンコード時に、１回あるいは２回サブサンプリングされたデータをデコードする際に、補間のために２次元の空間フィルタを用いている。しかしながら、ＭＵＳＥ方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【０００４】
従って、この発明の目的は、ＭＵＳＥ方式のデコーダに対して適用され、伝送された画素データと、検出された動き量とを用いてクラス分けを行うことによって、予め用意した最適な予測式より出力を予測するようにした高解像度ビデオ信号の補間装置および補間方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間装置において、供給されたディジタルビデオ信号の動き量を検出する動き量検出手段と、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するクラス分類手段と、画素の補間値を生成するために予め学習により獲得されたクラス毎の係数が格納されたメモリ手段と、メモリ手段と結合され、注目画素の空間的および／または時間的に近傍の複数の画素と係数を線形１次結合によって補間値を生成する補間値生成手段とからなることを特徴としたビデオ信号の補間装置である。
【０００６】
また、請求項２に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間方法において、供給されたディジタルビデオ信号の動き量を検出するステップと、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するステップと、画素の補間値を生成するために、予め学習により獲得されたクラス毎の係数が格納されたメモリから対応する係数を読み出すステップと、注目画素の空間的および／または時間的に近傍の複数の画素と係数を線形１次結合によって補間値を生成するステップとからなることを特徴としたビデオ信号の補間方法である。
【０００７】
係数と周辺画素の値との線形１次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。このクラスは、周辺画素のレベル分布のパターンと動き量を用いて表現される。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第１および第２の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第１の係数とフィールド内の周辺画素の値との線形１次結合により補間値を形成し、これが静止のときは、第２の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。まず、ＭＵＳＥ方式のエンコーダの主要部を図１を参照して説明する。１で示す入力端子からハイビジョン信号が入力され、入力されたハイビジョン信号は、白クリップ回路２へ供給される。白クリップ回路２では、白レベルがクリップされ、〔−１ｄＢ〕回路３において、−１ｄＢの補正が行われる。逆γ補正回路４では、γ補正の逆補正が供給された信号に対してなされ、Ｙ、Ｐｒ、Ｐｂ変換回路５において、マトリックス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成される。Ｙ、Ｐｒ、Ｐｂ変換回路５において、変換されたＹ信号は、フィールド間フィルタ６へ供給され、Ｐｒ信号は、垂直ＬＰＦ（ローパスフィルタ）２１へ供給され、Ｐｂ信号は、垂直ＬＰＦ２２へ供給される。
【０００９】
Ｙ信号が供給されたフィールド間フィルタ６に対して、フィールドオフセットサブサンプリング回路７、ＬＰＦ８およびサンプリング周波数変換回路９が接続される。フィールドオフセットサブサンプリング回路７は、フィールド間でサブサンプリングの位相が１画素ずらされるもので、その出力がＬＰＦ１０に供給される。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚで、サブサンプリング回路７のサンプリング周波数が２４．３ＭＨｚで、ＬＰＦ１０によって、１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が４８．６ＭＨｚに戻される。
【００１０】
ＬＰＦ１０に対して、サンプリング周波数変換回路１１が接続され、サンプリング周波数がサンプリング周波数変換回路１１によって、３２．４ＭＨｚに変換される。この回路１１の出力信号がＴＣＩ(Time Compressed Integration) スイッチ１２に供給される。サブサンプリング回路７から変換回路１１までの信号路は、静止領域の処理のために設けられている。
【００１１】
帯域制限用のＬＰＦ８に対してサンプリング周波数変換回路１３が接続され、４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。この回路１３の出力がＴＣＩスイッチ１４に供給される。ＴＣＩスイッチ１４からの信号が２次元サブサンプリングフィルタ１８を介して混合（ＭＩＸ）回路１９に供給される。ＬＰＦ８から２次元サブサンプリングフィルタ１８に至る信号路が動き領域の処理のために設けられている。混合回路１９では、フィルタ１８の出力信号とＴＣＩスイッチ１２の出力信号とが混合される。
【００１２】
サンプリング周波数変換回路９に対しては、動きベクトル検出回路１５が接続される。動きベクトル検出回路１５に対して、動きフィルタ１６および動き検出回路１７が接続される。動きフィルタ１６には、サンプリング周波数変換回路１３の出力信号も供給される。動きフィルタ１６の出力が動き検出回路１７に供給される。動き検出回路１７での検出結果（動き量）に基づいて混合回路１９の混合比を制御する制御信号が生成される。
【００１３】
Ｙ、Ｐｒ、Ｐｂ変換回路５からの色信号Ｐｒ、Ｐｂが垂直ＬＰＦ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がＬＰＦ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のＬＰＦ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。サブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１４】
ＬＰＦ２４およびサブサンプリング回路２６は、静止領域用の処理回路であり、ＬＰＦ２５、サブサンプリング回路２７および時間圧縮回路２８は、動き領域用の処理回路である。サブサンプリング回路２６および時間圧縮回路２８の出力信号がＴＣＩスイッチ１２および１４へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００１５】
混合回路１９の出力信号がフレーム，ラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が１６．２ＭＨｚとされる。サブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介してＭＵＳＥのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出される。
【００１６】
上述のＭＵＳＥエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。静止領域の処理が上側に示され、動き領域の処理が下側に示されている。図１の各点の信号に関して、そのサンプリング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路７の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００１７】
ＬＰＦ１０の出力（Ｃ点）には、内挿処理された信号（サンプリング周波数が４８．６ＭHz）が発生する。サンプリング周波数変換回路１１の出力（Ｄ点）もサンプリング周波数が３２．４ＭHzに変換された信号が現れる。
【００１８】
一方、ＬＰＦ８の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数回路１３の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００１９】
静止領域および動き領域のそれぞれの処理を受けたＹ信号が混合回路１９で混合され、混合回路１９の出力がフレーム、ラインオフセットサブサンプリング回路３１に供給される。この回路３１の出力（Ｅ点）では、フレーム間およびライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００２０】
図３は、この発明を適用できるＭＵＳＥデコーダの一部を示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号がフレーム間内挿回路４１、フィールド内内挿回路４２および動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２１】
すなわち、静止領域は、フレーム間内挿回路４１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路４１の出力信号がＬＰＦ４４、サンプリング周波数変換回路（３２．４ＭＨｚから２４．３ＭＨｚへ）４５およびフィールド間内挿回路４６を介して混合回路４８に供給される。サブサンプリング周波数変換回路４５からは、２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２２】
動き領域は、フィールド内内挿回路４２によって、空間的内挿がなされる。内挿回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４７が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２３】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域がフレーム間内挿回路４１を介され、その出力（Ｆ点）で間引き画素が内挿されたビデオ信号が生じる。
【００２４】
サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が２４．３ＭHzに変換されたビデオ信号が現れる。そのビデオ信号は、フィールド毎に１画素ずれたオフセットサンプリングがなされたものである。次のフィールド間内挿回路４６の出力（Ｈ点）に画素が内挿された信号が生じる。これが混合回路４８に供給される。
【００２５】
動き領域の処理のためのフィールド内内挿回路４２の出力（ｆ点）にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路４７によって、その出力（ｇ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２６】
さて、上述のＭＵＳＥ方式では、静止領域に関して２回のサブサンプリングがなされ、２回の補間がなされ、また、動き領域に関しては、１回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のＭＵＳＥデコーダにおけるフレーム間内挿回路４１、フィールド内内挿回路４２およびフィールド間内挿回路４６の何れに対しても適用できる。
【００２７】
一例として、フィールド内内挿回路４２に対してこの発明を適用した一実施例を図５に示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号は、動き部分・動き量検出回路５３、フレーム間内挿回路５１およびクラス分類適応補間回路５２へ供給される。動き部分・動き量検出回路５３では、供給される画面全体の動きベクトルに基づいて、供給された画像データの動き領域および動き量が検出される。この動き部分・動き量検出回路５３で検出される動き領域および動き量は、混合（ＭＩＸ）回路５８において、静止領域と動き領域との画素毎の混合比の基準となるものである。また、この動き部分・動き量検出回路５３で求められる動き量は、クラス分類適応補間回路５２へ供給される。同様に、検出された動き領域および動き量は、混合回路５８へ供給される。
【００２８】
画像データからの静止領域は、フレーム間内挿回路５１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路５１の出力信号がＬＰＦ５４へ供給される。ＬＰＦ５４では、供給された画像データに対して１２ＭHzの帯域制限が施され、サンプリング周波数変換回路５５では、画像データのサンプリング周波数が３２．４ＭHzから２４．３ＭHzへ周波数変換される。フィールド間内挿回路５６では、フレーム間内挿回路５１と同様に、１フィールド前の画像データを使用したフィールド間内挿がなされる。フィールド間内挿回路５６の出力信号は、混合回路５８へ供給される。
【００２９】
画像データからの動き領域は、クラス分類適応補間回路５２により、動き部分・動き量検出回路５３からの動き量と注目画素の周辺の画素とからクラス分類が行われ、後述するように空間的内挿、すなわちフレーム内内挿またはフィールド内内挿がなされる。クラス分類適応補間回路５２の出力信号がサンプリング周波数変換回路５７へ供給される。サンプリング周波数変換回路５７では、画像データのサンプリング周波数が３２．４ＭHzから４８．６ＭHzへ周波数変換される。その出力信号が混合回路５８へ供給される。この混合回路５８は、動き部分・動き量検出回路５３からの信号に基づいて、静止画像と動き画像の混合比が制御される。この混合回路５３の出力信号は、図示しないがＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変化され、逆マトリクス演算され、γ補正がなされた後、Ｒ、Ｇ、Ｂ信号が得られる。
【００３０】
ここで、この動き部分・動き量検出回路５３の詳細なブロック図を図６に示す。この動き部分・動き量検出回路５３に供給されるＭＵＳＥ信号のフレームは、入力端子６１から供給される。横線エッジ検出回路６２では、供給されたフレームから後述するように横線となるエッジ、すなわち水平方向のエッジが検出される。検出された水平方向のエッジは、２フレーム検出エッジ回路７０へ供給される。縦線エッジ検出回路６３では、供給されたフレームから後述するように縦線となるエッジ、すなわち垂直方向のエッジが検出される。検出された垂直方向のエッジは、２フレーム検出エッジ回路７０へ供給される。
【００３１】
ノンリニアエッジ検出回路６４では、供給されたフレームからエッジであると判断された部分に対して、所定のレベルに重み付けがなされる。１フレーム検出エッジ回路６５では、供給されたフレームと、ノンリニアエッジ検出回路６４の出力と、横線エッジ検出回路６２からの水平方向のエッジとが加算される。ここでは、横線エッジ検出回路６２の出力が用いられているが、縦線エッジ検出回路６３からの垂直方向のエッジを用いることも可能である。
【００３２】
ＬＰＦ６６および６７は、カットオフ周波数が４ＭHzであり、ＬＰＦ６６では、供給されたＭＵＳＥ信号のフレームが帯域制限され、ＬＰＦ６７では、１フレーム前のＭＵＳＥ信号のフレームが帯域制限される。帯域制限されたそれぞれの信号は、１フレーム差分回路６８へ供給される。１フレーム差分回路６８では、４ＭHzの帯域制限がなされた１フレーム間の差分が算出される。算出された１フレーム差分は、感度設定回路６９へ供給される。感度設定回路６９では、供給された１フレーム差分と、１フレーム検出エッジ回路６５からの出力によって、感度が設定される。この感度設定回路６９では、エッジ部分では、フレーム差が大きくなるため、動き部分・動き量検出の感度が落とされる。
【００３３】
２フレーム検出エッジ回路７０では、供給されたＭＵＳＥ信号のフレームと、横線エッジ検出回路６２からの水平方向のエッジと、縦線エッジ検出回路６３からの垂直方向のエッジとが加算される。加算結果は、感度設定回路７２へ供給される。２フレーム差分回路７１では、供給されたフレームと、２フレーム前のフレームとの２フレーム差分が算出される。感度設定回路７２では、供給された２フレーム差分と、２フレーム検出エッジ回路７０からの加算結果に基づいて感度の設定が行われる。この感度設定回路７２も感度設定回路６９と同様に動き部分・動き量検出の感度が落とされる。
【００３４】
孤立点除去回路７３では、供給された２フレーム差分から孤立点の除去が行われる。フレーム補間回路７４では、孤立点が除去された２フレーム差分と、１フレームディレイ回路７５から１フレーム遅延がなされた２フレーム差分とを用いて２フレーム差分の補間処理がなされる。１フレームディレイ回路７５では、フレーム補間された２フレーム差分を１フレームの時間だけ遅延が行われた後、保持された２フレーム差分は、フレーム補間回路７４へ供給される。２次元ＬＰＦ７６では、フレーム補間された２フレーム差分に対して２次元の帯域制限が行われる。帯域制限が行われたフレームは、ミキシング回路７７へ供給される。
【００３５】
ミキシング回路７７では、感度設定回路６９からの１フレーム差分と、２次元ＬＰＦ７６からの２フレーム差分とが加算される。フィールド補間回路７８では、フィールド毎の合成フレーム差分が作られ、フィールドの補間が行われる。フィールドの補間が行われた信号は、しきい値処理回路７９において、合成フレーム差分に対してしきい値処理が行われ、１６段階にて表現された動き量が得られる。この動き量は、出力端子８０を介してクラス分類適応補間回路５２および混合回路５８へ供給される。
【００３６】
ここで、横線エッジ検出回路６２の一例を図７に示す。また、縦線エッジ検出回路６３も同様の構成である。８１で示す入力端子からＭＵＳＥ信号のフレームが供給される。画素抽出回路８２では、供給されたフレームから画素が抽出される。抽出された画素は、差分検出回路８３1 〜８３3 において、差分が検出される。検出された差分は、最大差分検出回路８４において、絶対値へ変換され、最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして、出力端子８５を介して１フレーム検出エッジ回路６５および／または２フレーム検出エッジ回路７０へ供給される。
【００３７】
このエッジ検出回路を図８および図９に示す伝送された画素を用いて説明する。まず、図８は、水平方向のエッジを検出する場合に抽出される画素のパターンを示す。さらに、図８Ａは、注目画素が伝送された画素ｅに相当する場合、差分検出回路８３1 では、抽出された画素ａと画素ｄの差分が検出され、差分検出回路８３2 では、抽出された画素ｂと画素ｅの差分が検出され、差分検出回路８３3 では、抽出された画素ｃと画素ｆの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３８】
図８Ｂは、注目画素が伝送された画素ｈと画素ｋの間にある場合、差分検出回路８３1 では、抽出された画素ｇと画素ｊの差分が検出され、差分検出回路８３2 では、抽出された画素ｈと画素ｋの差分が検出され、差分検出回路８３3 では、抽出された画素ｉと画素ｌの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３９】
また、図９は、垂直方向のエッジを検出する場合に抽出される画素のパターンを示す。図９Ａは、注目画素が伝送された画素ｐに相当する場合、差分検出回路８３1 では、抽出された画素ｍと画素ｎの差分が検出され、差分検出回路８３2 では、抽出された画素ｏと画素ｐの差分が検出され、差分検出回路８３3 では、抽出された画素ｐと画素ｑの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４０】
図９Ｂは、注目画素が伝送された画素ｕと画素ｖの間にある場合、差分検出回路８３1 では、抽出された画素ｒと画素ｓの差分が検出され、差分検出回路８３2 では、抽出された画素ｓと画素ｔの差分が検出され、差分検出回路８３3 では、抽出された画素ｕと画素ｖの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４１】
ここで、この発明が適用されるクラス分類適応補間回路５２の一例を図１０に示す。入力端子９１から画像データの動き領域が供給される。この動き領域は、レベル検出回路９３および補間回路９６へ供給される。レベル検出回路９３では、供給された動き領域、例えば３画素×３ライン（以下、（３×３）ブロックと称する）毎のレベル分布のパターンが検出される。ブロック毎のレベル分布のパターンは、一例として（３×３）ブロックの各画素のレベルを、例えばそのブロックの平均値と比較することによって２値化し、さらに４ビットへ圧縮され、検出される。
【００４２】
クラス作成回路９４では、端子９２を介して動き部分・動き量検出回路５３から供給される動き量と、検出された（３×３）ブロック毎のレベル分布のパターンとからクラスが作成される。具体的には、この一例において、動き量は、上述したように１６段階から表現されているので、４ビットからなり、レベル分布のパターン（４ビット）と共に合計８ビットでブロックのクラスが作成される。これらの８ビットからなるクラスがクラス作成回路９４から係数ＲＯＭ９５へ供給される。
【００４３】
係数ＲＯＭ９５では、供給されたクラスをアドレスとして、そのアドレスに対応する係数データが読み出される。この係数データは、後述するように予め演算により求められている。読み出された係数データは、係数ＲＯＭ９５から補間回路９６へ供給される。補間回路９６では、供給された係数データから補間データを作成するために、例えば線形一次結合式が用いられ、空間内内挿、すなわちフレーム内内挿またはフィールド内内挿が行われる。補間が行われた画像データは、出力端子９７を介してサンプリング周波数変換回路５７へ供給される。
【００４４】
次に、上述した係数ＲＯＭ９５に記憶される係数データの学習の一例を図１１のフローチャートを用いて説明する。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内またはフレーム内の周辺画素の値が学習データとして採用される。注目画素の真値と複数の周辺画素の値とが一組の学習データである。
【００４５】
ここで、周辺画素で構成されるブロックのダイナミックレンジが所定のしきい値より小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップＳ２のデータ終了では、入力された全データ、例えば１フレームのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。
【００４６】
ステップＳ３のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値および動き量に基づいたクラス決定がなされる。ステップＳ４の正規方程式生成では、後述する式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５に移る。このステップＳ５の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップＳ６の予測係数ストアで、予測係数をメモリにストアし、この学習のフローチャートが終了する。
【００４７】
図１１中のステップＳ４（正規方程式生成）およびステップＳ５（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
を設定する。学習前は、ｗi が未定係数である。
【００４８】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）は、式（２）で表される。
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋・・・＋ｗn ｘjn （２）
（但し、ｊ＝１，２，・・・，ｍ）
【００４９】
ｍ＞ｎの場合、ｗ1 〜ｗn は、一意には決まらないので、誤差ベクトルＥの要素をそれぞれの学習データｘj1，ｘj2，・・・，ｘjn，ｙj における予測誤差をｅj として、次の式（３）のごとく定義する。
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋・・・＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，・・・，ｍ）
次に、式（４）を最小にする係数を求め、最小自乗法における最適な予測係数ｗ1 ，ｗ2 ，・・・，ｗn を決定する。
【００５０】
【数１】
すなわち、式（４）のｗi による偏微分係数を求めると、式（５）に示すようになる。式（５）で（ｉ＝１，２，・・・，ｎ）である。
【００５２】
【数２】
式（５）を０にするように各ｗi を決めればよいから、
【００５４】
【数３】
として、行列を用いると、
【００５６】
【数４】
となる。この方程式は、一般に正規方程式と呼ばれている。正規方程式は、丁度未知数がｎ個だけある連立方程式である。これにより最確値たる各未定係数ｗ1 ，ｗ2 ，・・・ｗn を求めることができる。具体的には、一般的に式（８）の左辺の行列は、正定値対称なので、コレスキー法という手法により式（８）の連立方程式を解くことができ、未定係数ｗi が求まり、クラスコードをアドレスとして、この係数ｗi をメモリに格納しておく。
【００５８】
上述の係数ＲＯＭ９５に記憶される係数データの学習を概略的に説明する。図１２Ａに示すように、例えば（３×３）ブロックの注目画素、すなわち間引かれた注目画素ｙの周囲にある画素ｘ1 〜ｘ4 のレベル方向および動き量を用いてクラスが生成される。画素ｘ1 〜ｘ4 のレベル方向（図１２Ｂ）に対して施す正規化の一例として、４つの画素の平均と４つの画素との大小関係が２値化され、表現される（図１２Ｃ）。すなわち、４つの画素の平均をしきい値として画素毎に大小の判定が行われ、大きいと判断された場合、 `１' とし、小さいと判断された場合、 `０' とする。この４つの画素の判断結果、図１２Ｃに示すように `0101' をクラスとし、クラス分けが行われる。また、画素の値をそのまま、クラス分け用のビットとして用いることも可能である。
【００５９】
このようにクラス分けを行った後、画素ｘ1 〜ｘ4 を用いて間引かれた画素を式（９）を用いて、注目画素ｙの予測が行われる。
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋ｗ3 ×ｘ3 ＋ｗ4 ×ｘ4 （９）
（ただし、ｗ1 〜ｗ4 は、係数データとする）
この式（９）の各画素に係る係数データを上述した最小自乗法によって求める。
【００６０】
このように学習によって、求められた係数データは、デコード時に各クラスに応じた出力を周囲の画素から予測することができる。図１３Ａに示すように、学習時と同じようにサブサンプリングされて間引かれた画素の周辺データ（図１３Ｂ）のレベル分布のパターンと動き量を用いてクラスが求められる。このようにして、式（１０）に示すように、クラスと周辺画素のデコード値を求めることにより、補間値を予測することができる。
【００６１】
ｙ´＝ｗ1 ´×ｘ1 ´＋ｗ2 ´×ｘ2 ´＋ｗ3 ´×ｘ3 ´＋ｗ4 ´×ｘ4 ´
（１０）
（ただし、ｗ1 ´〜ｗ4 ´は、学習によって求められた係数データとする）
【００６２】
また、デコード時に求める動き量以外との組み合わせでも良い。さらに、正規化の方法は、この手法以外にもビット数を増やす方法や、ＡＤＲＣのようにエンコードしたものを用いる方法などが考えられる。
【００６３】
【発明の効果】
この発明に依れば、伝送された周辺画素のレベル分布のパターンと動き量からクラスを生成することで、予め学習によって決定された正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行い、動き画素の時には、フィールド内の画素を補間に使用し、静止画素の時には、フレーム内の画素を補間に使用しているので、精度が高い補間を行うことができる。また、学習時に、アクティビティーが低いデータを学習対象から除外しているので、精度の高い補間値を生成できる。
【図面の簡単な説明】
【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック図である。
【図２】ＭＵＳＥ方式のエンコーダのサブサンプリングを説明するための略線図である。
【図３】この発明を適用できるＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図４】ＭＵＳＥ方式のデコーダの補間処理を説明するための略線図である。
【図５】この発明のＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図６】この発明の動き部分・動き量検出回路の一例を示すブロック図である。
【図７】この発明の動き部分・動き量検出回路に含まれるエッジデータを検出する一例を示すブロック図である。
【図８】この発明のエッジデータ検出を説明するための略線図である。
【図９】この発明のエッジデータ検出を説明するための略線図である。
【図１０】この発明を適用できる補間処理を行うためのクラス分類適応補間回路の一例を示すブロック図である。
【図１１】係数を求めるための学習を説明するためのフローチャートである。
【図１２】係数を求めるための学習を説明するための略線図である。
【図１３】学習により得た係数を用いた補間を説明するための略線図である。
【符号の説明】
５１ フレーム間内挿回路
５２ クラス分類適応補間回路
５３ 動き部分・動き量検出回路
５４ ＬＰＦ
５５、５７ サンプリング周波数変換回路
５６ フィールド間内挿回路
５８ 混合回路
Claims (4)
- ディジタルビデオ信号を受け取り画素を補間する補間装置において、
供給されたディジタルビデオ信号の動き量を検出する動き量検出手段と、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するクラス分類手段と、
上記画素の補間値を生成するために予め学習により獲得された上記クラス毎の係数が格納されたメモリ手段と、
上記メモリ手段と結合され、上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数を線形１次結合によって補間値を生成する補間値生成手段と
からなることを特徴としたビデオ信号の補間装置。 - ディジタルビデオ信号を受け取り画素を補間する補間方法において、
供給されたディジタルビデオ信号の動き量を検出するステップと、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するステップと、
上記画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数が格納されたメモリから対応する係数を読み出すステップと、
上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数を線形１次結合によって補間値を生成するステップと
からなることを特徴としたビデオ信号の補間方法。 - サブサンプリングにより伝送情報量が圧縮されたディジタル高解像度ビデオ信号を受け取り、間引かれた画素を補間するための高解像度ビデオ信号の補間装置において、
供給されたディジタル高解像度ビデオ信号の動き量を検出する動き量検出手段と、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するクラス分類手段と、
上記間引かれた画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数が格納されたメモリ手段と、
上記メモリ手段と結合され、上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数を線形１次結合によって補間値を生成する補間値生成手段と
からなることを特徴とした圧縮高解像度ビデオ信号の補間装置。 - サブサンプリングにより伝送情報量が圧縮されたディジタル高解像度ビデオ信号を受け取り、間引かれた画素を補間するための高解像度ビデオ信号の補間方法において、
供給されたディジタル高解像度ビデオ信号の動き量を検出するステップと、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するステップと、
上記間引かれた画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数がメモリ手段に格納されるステップと、
上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数を線形１次結合によって補間値を生成するステップと
からなることを特徴とした圧縮高解像度ビデオ信号の補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34883195A JP3831960B2 (ja) | 1995-12-19 | 1995-12-19 | 圧縮高解像度ビデオ信号の補間装置および補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34883195A JP3831960B2 (ja) | 1995-12-19 | 1995-12-19 | 圧縮高解像度ビデオ信号の補間装置および補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09172620A JPH09172620A (ja) | 1997-06-30 |
| JP3831960B2 true JP3831960B2 (ja) | 2006-10-11 |
Family
ID=18399677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34883195A Expired - Lifetime JP3831960B2 (ja) | 1995-12-19 | 1995-12-19 | 圧縮高解像度ビデオ信号の補間装置および補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3831960B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4552264B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | エラー修整装置および方法 |
-
1995
- 1995-12-19 JP JP34883195A patent/JP3831960B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09172620A (ja) | 1997-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH01288187A (ja) | デジタルビデオ信号の空間―時間サブ―サンプリング装置およびこの装置を具える高品位テレビジョン画像伝送システム | |
| JP3864444B2 (ja) | 画像信号処理装置および方法 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP2801301B2 (ja) | ▲高▼品位テレビジョン受像機の動検出装置 | |
| JPH0846934A (ja) | ディジタル画像信号の処理装置 | |
| JPS6348088A (ja) | ディジタル画像信号の補間装置及び補間方法 | |
| JP3831960B2 (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JPH0363275B2 (ja) | ||
| JP3867697B2 (ja) | 画像信号生成装置および生成方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP2590865B2 (ja) | 高能率符号化された画像信号の復号装置 | |
| JP3746305B2 (ja) | 画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP3906832B2 (ja) | 画像信号処理装置および処理方法 | |
| JP3617080B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP2814482B2 (ja) | 高能率符号の復号装置及び復号方法 | |
| JP3470380B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3285892B2 (ja) | オフセットサブサンプリングデコード装置 | |
| JP3918759B2 (ja) | 画像データの生成装置および生成方法 | |
| JPS63313978A (ja) | 高能率符号の復号装置 | |
| JP2712299B2 (ja) | 高能率符号の復号装置 | |
| KR940008809B1 (ko) | 고품위 텔레비죤 수상기의 동검출 장치 | |
| JPH0759060A (ja) | 圧縮高解像度ビデオ信号の補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |