JP3831960B2 - Interpolation apparatus and interpolation method for compressed high resolution video signal - Google Patents
Interpolation apparatus and interpolation method for compressed high resolution video signal Download PDFInfo
- Publication number
- JP3831960B2 JP3831960B2 JP34883195A JP34883195A JP3831960B2 JP 3831960 B2 JP3831960 B2 JP 3831960B2 JP 34883195 A JP34883195 A JP 34883195A JP 34883195 A JP34883195 A JP 34883195A JP 3831960 B2 JP3831960 B2 JP 3831960B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- pixel
- video signal
- pixels
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【産業上の利用分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるMUSE方式のデコーダに適用される圧縮高解像度ビデオ信号の補間装置および補間方法に関する。
【0002】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、MUSE方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を8MHz程度の帯域に圧縮することができる。
【0003】
【発明が解決しようとする課題】
従来のMUSE方式では、エンコード時に、1回あるいは2回サブサンプリングされたデータをデコードする際に、補間のために2次元の空間フィルタを用いている。しかしながら、MUSE方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【0004】
従って、この発明の目的は、MUSE方式のデコーダに対して適用され、伝送された画素データと、検出された動き量とを用いてクラス分けを行うことによって、予め用意した最適な予測式より出力を予測するようにした高解像度ビデオ信号の補間装置および補間方法を提供することにある。
【0005】
【課題を解決するための手段】
請求項1に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間装置において、供給されたディジタルビデオ信号の動き量を検出する動き量検出手段と、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するクラス分類手段と、画素の補間値を生成するために予め学習により獲得されたクラス毎の係数が格納されたメモリ手段と、メモリ手段と結合され、注目画素の空間的および/または時間的に近傍の複数の画素と係数を線形1次結合によって補間値を生成する補間値生成手段とからなることを特徴としたビデオ信号の補間装置である。
【0006】
また、請求項2に記載の発明は、ディジタルビデオ信号を受け取り画素を補間する補間方法において、供給されたディジタルビデオ信号の動き量を検出するステップと、補間対象となる注目画素の周辺の複数の参照画素と動き量から注目画素のクラスを決定するステップと、画素の補間値を生成するために、予め学習により獲得されたクラス毎の係数が格納されたメモリから対応する係数を読み出すステップと、注目画素の空間的および/または時間的に近傍の複数の画素と係数を線形1次結合によって補間値を生成するステップとからなることを特徴としたビデオ信号の補間方法である。
【0007】
係数と周辺画素の値との線形1次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。このクラスは、周辺画素のレベル分布のパターンと動き量を用いて表現される。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第1および第2の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第1の係数とフィールド内の周辺画素の値との線形1次結合により補間値を形成し、これが静止のときは、第2の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【0008】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。まず、MUSE方式のエンコーダの主要部を図1を参照して説明する。1で示す入力端子からハイビジョン信号が入力され、入力されたハイビジョン信号は、白クリップ回路2へ供給される。白クリップ回路2では、白レベルがクリップされ、〔−1dB〕回路3において、−1dBの補正が行われる。逆γ補正回路4では、γ補正の逆補正が供給された信号に対してなされ、Y、Pr、Pb変換回路5において、マトリックス演算により、Y(輝度)信号、Pr(R−Y成分)信号、Pb(B−Y成分)信号が形成される。Y、Pr、Pb変換回路5において、変換されたY信号は、フィールド間フィルタ6へ供給され、Pr信号は、垂直LPF(ローパスフィルタ)21へ供給され、Pb信号は、垂直LPF22へ供給される。
【0009】
Y信号が供給されたフィールド間フィルタ6に対して、フィールドオフセットサブサンプリング回路7、LPF8およびサンプリング周波数変換回路9が接続される。フィールドオフセットサブサンプリング回路7は、フィールド間でサブサンプリングの位相が1画素ずらされるもので、その出力がLPF10に供給される。原Y信号のサンプリング周波数は、48.6MHzで、サブサンプリング回路7のサンプリング周波数が24.3MHzで、LPF10によって、12.15MHz以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が48.6MHzに戻される。
【0010】
LPF10に対して、サンプリング周波数変換回路11が接続され、サンプリング周波数がサンプリング周波数変換回路11によって、32.4MHzに変換される。この回路11の出力信号がTCI(Time Compressed Integration) スイッチ12に供給される。サブサンプリング回路7から変換回路11までの信号路は、静止領域の処理のために設けられている。
【0011】
帯域制限用のLPF8に対してサンプリング周波数変換回路13が接続され、48.6MHzから32.4MHzへサンプリング周波数が変換される。この回路13の出力がTCIスイッチ14に供給される。TCIスイッチ14からの信号が2次元サブサンプリングフィルタ18を介して混合(MIX)回路19に供給される。LPF8から2次元サブサンプリングフィルタ18に至る信号路が動き領域の処理のために設けられている。混合回路19では、フィルタ18の出力信号とTCIスイッチ12の出力信号とが混合される。
【0012】
サンプリング周波数変換回路9に対しては、動きベクトル検出回路15が接続される。動きベクトル検出回路15に対して、動きフィルタ16および動き検出回路17が接続される。動きフィルタ16には、サンプリング周波数変換回路13の出力信号も供給される。動きフィルタ16の出力が動き検出回路17に供給される。動き検出回路17での検出結果(動き量)に基づいて混合回路19の混合比を制御する制御信号が生成される。
【0013】
Y、Pr、Pb変換回路5からの色信号Pr、Pbが垂直LPF21、22をそれぞれ介して線順次化回路23に供給される。線順次化回路23からの線順次色信号がLPF24に供給され、7MHz以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路26に供給される。線順次色信号が帯域制限用のLPF25を介してフィールドオフセットサブサンプリング回路27に供給される。サブサンプリング回路27に対して時間圧縮回路28が接続される。
【0014】
LPF24およびサブサンプリング回路26は、静止領域用の処理回路であり、LPF25、サブサンプリング回路27および時間圧縮回路28は、動き領域用の処理回路である。サブサンプリング回路26および時間圧縮回路28の出力信号がTCIスイッチ12および14へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【0015】
混合回路19の出力信号がフレーム,ラインオフセットサブサンプリング回路31に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が16.2MHzとされる。サブサンプリング回路31の出力信号が伝送用ガンマ補正回路32を介してMUSEのフォーマット化回路33に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、VIT信号等がフォーマット化回路33に加えられ、出力端子34に約8MHzのMUSE信号が取り出される。
【0016】
上述のMUSEエンコーダのサブサンプリングについて、図2を参照して概略的に説明する。静止領域の処理が上側に示され、動き領域の処理が下側に示されている。図1の各点の信号に関して、そのサンプリング状態を図2に示す。また、C信号の処理は、Y信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路7の入力(A点)からディジタルY信号が供給され、フィールド毎にサンプリング位相が1画素ずれたパターンでサブサンプリングされた出力信号がB点に発生する。
【0017】
LPF10の出力(C点)には、内挿処理された信号(サンプリング周波数が48.6MHz)が発生する。サンプリング周波数変換回路11の出力(D点)もサンプリング周波数が32.4MHzに変換された信号が現れる。
【0018】
一方、LPF8の入力(a点)には、A点と同様のディジタルY信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数回路13の出力(b点)には、D点と同様のY信号が発生する。
【0019】
静止領域および動き領域のそれぞれの処理を受けたY信号が混合回路19で混合され、混合回路19の出力がフレーム、ラインオフセットサブサンプリング回路31に供給される。この回路31の出力(E点)では、フレーム間およびライン間で水平方向に1画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【0020】
図3は、この発明を適用できるMUSEデコーダの一部を示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたMUSE信号がフレーム間内挿回路41、フィールド内内挿回路42および動き部分検出回路43にそれぞれ供給される。動き部分検出回路43によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【0021】
すなわち、静止領域は、フレーム間内挿回路41により1フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて1フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路41の出力信号がLPF44、サンプリング周波数変換回路(32.4MHzから24.3MHzへ)45およびフィールド間内挿回路46を介して混合回路48に供給される。サブサンプリング周波数変換回路45からは、24.3MHzのサンプリング周波数の信号が得られる。
【0022】
動き領域は、フィールド内内挿回路42によって、空間的内挿がなされる。内挿回路42に対して、32.4MHzから48.6MHzへのサンプリング周波数変換回路47が接続され、その出力信号が混合回路48に供給される。この混合回路48の混合比は、動き部分検出回路43の出力信号により制御される。混合回路48の出力信号が図示しないが、TCIデコーダに供給され、Y、Pr、Pbの各信号に分離される。さらに、D/A変換され、逆マトリクス演算され、ガンマ補正がされてからR、G、B信号が得られる。
【0023】
上述のデコーダの処理を図4のサンプリングパターンを参照して概略的に説明する。入力信号(E点)のサンプリング状態は、上述のエンコーダの出力(E点)と同一である。静止領域がフレーム間内挿回路41を介され、その出力(F点)で間引き画素が内挿されたビデオ信号が生じる。
【0024】
サンプリング周波数変換回路45(G点)では、サンプリング周波数が24.3MHzに変換されたビデオ信号が現れる。そのビデオ信号は、フィールド毎に1画素ずれたオフセットサンプリングがなされたものである。次のフィールド間内挿回路46の出力(H点)に画素が内挿された信号が生じる。これが混合回路48に供給される。
【0025】
動き領域の処理のためのフィールド内内挿回路42の出力(f点)にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路47によって、その出力(g点)には、48.6MHzのサンプリング周波数のビデオ信号が発生する。これが混合回路48に供給される。
【0026】
さて、上述のMUSE方式では、静止領域に関して2回のサブサンプリングがなされ、2回の補間がなされ、また、動き領域に関しては、1回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のMUSEデコーダにおけるフレーム間内挿回路41、フィールド内内挿回路42およびフィールド間内挿回路46の何れに対しても適用できる。
【0027】
一例として、フィールド内内挿回路42に対してこの発明を適用した一実施例を図5に示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたMUSE信号は、動き部分・動き量検出回路53、フレーム間内挿回路51およびクラス分類適応補間回路52へ供給される。動き部分・動き量検出回路53では、供給される画面全体の動きベクトルに基づいて、供給された画像データの動き領域および動き量が検出される。この動き部分・動き量検出回路53で検出される動き領域および動き量は、混合(MIX)回路58において、静止領域と動き領域との画素毎の混合比の基準となるものである。また、この動き部分・動き量検出回路53で求められる動き量は、クラス分類適応補間回路52へ供給される。同様に、検出された動き領域および動き量は、混合回路58へ供給される。
【0028】
画像データからの静止領域は、フレーム間内挿回路51により1フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて1フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路51の出力信号がLPF54へ供給される。LPF54では、供給された画像データに対して12MHzの帯域制限が施され、サンプリング周波数変換回路55では、画像データのサンプリング周波数が32.4MHzから24.3MHzへ周波数変換される。フィールド間内挿回路56では、フレーム間内挿回路51と同様に、1フィールド前の画像データを使用したフィールド間内挿がなされる。フィールド間内挿回路56の出力信号は、混合回路58へ供給される。
【0029】
画像データからの動き領域は、クラス分類適応補間回路52により、動き部分・動き量検出回路53からの動き量と注目画素の周辺の画素とからクラス分類が行われ、後述するように空間的内挿、すなわちフレーム内内挿またはフィールド内内挿がなされる。クラス分類適応補間回路52の出力信号がサンプリング周波数変換回路57へ供給される。サンプリング周波数変換回路57では、画像データのサンプリング周波数が32.4MHzから48.6MHzへ周波数変換される。その出力信号が混合回路58へ供給される。この混合回路58は、動き部分・動き量検出回路53からの信号に基づいて、静止画像と動き画像の混合比が制御される。この混合回路53の出力信号は、図示しないがTCIデコーダに供給され、Y、Pr、Pbの各信号に分離される。さらに、D/A変化され、逆マトリクス演算され、γ補正がなされた後、R、G、B信号が得られる。
【0030】
ここで、この動き部分・動き量検出回路53の詳細なブロック図を図6に示す。この動き部分・動き量検出回路53に供給されるMUSE信号のフレームは、入力端子61から供給される。横線エッジ検出回路62では、供給されたフレームから後述するように横線となるエッジ、すなわち水平方向のエッジが検出される。検出された水平方向のエッジは、2フレーム検出エッジ回路70へ供給される。縦線エッジ検出回路63では、供給されたフレームから後述するように縦線となるエッジ、すなわち垂直方向のエッジが検出される。検出された垂直方向のエッジは、2フレーム検出エッジ回路70へ供給される。
【0031】
ノンリニアエッジ検出回路64では、供給されたフレームからエッジであると判断された部分に対して、所定のレベルに重み付けがなされる。1フレーム検出エッジ回路65では、供給されたフレームと、ノンリニアエッジ検出回路64の出力と、横線エッジ検出回路62からの水平方向のエッジとが加算される。ここでは、横線エッジ検出回路62の出力が用いられているが、縦線エッジ検出回路63からの垂直方向のエッジを用いることも可能である。
【0032】
LPF66および67は、カットオフ周波数が4MHzであり、LPF66では、供給されたMUSE信号のフレームが帯域制限され、LPF67では、1フレーム前のMUSE信号のフレームが帯域制限される。帯域制限されたそれぞれの信号は、1フレーム差分回路68へ供給される。1フレーム差分回路68では、4MHzの帯域制限がなされた1フレーム間の差分が算出される。算出された1フレーム差分は、感度設定回路69へ供給される。感度設定回路69では、供給された1フレーム差分と、1フレーム検出エッジ回路65からの出力によって、感度が設定される。この感度設定回路69では、エッジ部分では、フレーム差が大きくなるため、動き部分・動き量検出の感度が落とされる。
【0033】
2フレーム検出エッジ回路70では、供給されたMUSE信号のフレームと、横線エッジ検出回路62からの水平方向のエッジと、縦線エッジ検出回路63からの垂直方向のエッジとが加算される。加算結果は、感度設定回路72へ供給される。2フレーム差分回路71では、供給されたフレームと、2フレーム前のフレームとの2フレーム差分が算出される。感度設定回路72では、供給された2フレーム差分と、2フレーム検出エッジ回路70からの加算結果に基づいて感度の設定が行われる。この感度設定回路72も感度設定回路69と同様に動き部分・動き量検出の感度が落とされる。
【0034】
孤立点除去回路73では、供給された2フレーム差分から孤立点の除去が行われる。フレーム補間回路74では、孤立点が除去された2フレーム差分と、1フレームディレイ回路75から1フレーム遅延がなされた2フレーム差分とを用いて2フレーム差分の補間処理がなされる。1フレームディレイ回路75では、フレーム補間された2フレーム差分を1フレームの時間だけ遅延が行われた後、保持された2フレーム差分は、フレーム補間回路74へ供給される。2次元LPF76では、フレーム補間された2フレーム差分に対して2次元の帯域制限が行われる。帯域制限が行われたフレームは、ミキシング回路77へ供給される。
【0035】
ミキシング回路77では、感度設定回路69からの1フレーム差分と、2次元LPF76からの2フレーム差分とが加算される。フィールド補間回路78では、フィールド毎の合成フレーム差分が作られ、フィールドの補間が行われる。フィールドの補間が行われた信号は、しきい値処理回路79において、合成フレーム差分に対してしきい値処理が行われ、16段階にて表現された動き量が得られる。この動き量は、出力端子80を介してクラス分類適応補間回路52および混合回路58へ供給される。
【0036】
ここで、横線エッジ検出回路62の一例を図7に示す。また、縦線エッジ検出回路63も同様の構成である。81で示す入力端子からMUSE信号のフレームが供給される。画素抽出回路82では、供給されたフレームから画素が抽出される。抽出された画素は、差分検出回路831 〜833 において、差分が検出される。検出された差分は、最大差分検出回路84において、絶対値へ変換され、最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして、出力端子85を介して1フレーム検出エッジ回路65および/または2フレーム検出エッジ回路70へ供給される。
【0037】
このエッジ検出回路を図8および図9に示す伝送された画素を用いて説明する。まず、図8は、水平方向のエッジを検出する場合に抽出される画素のパターンを示す。さらに、図8Aは、注目画素が伝送された画素eに相当する場合、差分検出回路831 では、抽出された画素aと画素dの差分が検出され、差分検出回路832 では、抽出された画素bと画素eの差分が検出され、差分検出回路833 では、抽出された画素cと画素fの差分が検出される。最大差分検出回路84において、検出されたこれら3つの差分が絶対値に変換され、3つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【0038】
図8Bは、注目画素が伝送された画素hと画素kの間にある場合、差分検出回路831 では、抽出された画素gと画素jの差分が検出され、差分検出回路832 では、抽出された画素hと画素kの差分が検出され、差分検出回路833 では、抽出された画素iと画素lの差分が検出される。最大差分検出回路84において、検出されたこれら3つの差分が絶対値に変換され、3つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【0039】
また、図9は、垂直方向のエッジを検出する場合に抽出される画素のパターンを示す。図9Aは、注目画素が伝送された画素pに相当する場合、差分検出回路831 では、抽出された画素mと画素nの差分が検出され、差分検出回路832 では、抽出された画素oと画素pの差分が検出され、差分検出回路833 では、抽出された画素pと画素qの差分が検出される。最大差分検出回路84において、検出されたこれら3つの差分が絶対値に変換され、3つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【0040】
図9Bは、注目画素が伝送された画素uと画素vの間にある場合、差分検出回路831 では、抽出された画素rと画素sの差分が検出され、差分検出回路832 では、抽出された画素sと画素tの差分が検出され、差分検出回路833 では、抽出された画素uと画素vの差分が検出される。最大差分検出回路84において、検出されたこれら3つの差分が絶対値に変換され、3つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【0041】
ここで、この発明が適用されるクラス分類適応補間回路52の一例を図10に示す。入力端子91から画像データの動き領域が供給される。この動き領域は、レベル検出回路93および補間回路96へ供給される。レベル検出回路93では、供給された動き領域、例えば3画素×3ライン(以下、(3×3)ブロックと称する)毎のレベル分布のパターンが検出される。ブロック毎のレベル分布のパターンは、一例として(3×3)ブロックの各画素のレベルを、例えばそのブロックの平均値と比較することによって2値化し、さらに4ビットへ圧縮され、検出される。
【0042】
クラス作成回路94では、端子92を介して動き部分・動き量検出回路53から供給される動き量と、検出された(3×3)ブロック毎のレベル分布のパターンとからクラスが作成される。具体的には、この一例において、動き量は、上述したように16段階から表現されているので、4ビットからなり、レベル分布のパターン(4ビット)と共に合計8ビットでブロックのクラスが作成される。これらの8ビットからなるクラスがクラス作成回路94から係数ROM95へ供給される。
【0043】
係数ROM95では、供給されたクラスをアドレスとして、そのアドレスに対応する係数データが読み出される。この係数データは、後述するように予め演算により求められている。読み出された係数データは、係数ROM95から補間回路96へ供給される。補間回路96では、供給された係数データから補間データを作成するために、例えば線形一次結合式が用いられ、空間内内挿、すなわちフレーム内内挿またはフィールド内内挿が行われる。補間が行われた画像データは、出力端子97を介してサンプリング周波数変換回路57へ供給される。
【0044】
次に、上述した係数ROM95に記憶される係数データの学習の一例を図11のフローチャートを用いて説明する。このフローチャートは、ステップS1から学習処理の制御が始まり、ステップS1の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内またはフレーム内の周辺画素の値が学習データとして採用される。注目画素の真値と複数の周辺画素の値とが一組の学習データである。
【0045】
ここで、周辺画素で構成されるブロックのダイナミックレンジが所定のしきい値より小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップS2のデータ終了では、入力された全データ、例えば1フレームのデータの処理が終了していれば、ステップS5の予測係数決定へ制御が移り、終了していなければ、ステップS3のクラス決定へ制御が移る。
【0046】
ステップS3のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値および動き量に基づいたクラス決定がなされる。ステップS4の正規方程式生成では、後述する式(8)の正規方程式が作成される。全データの処理が終了後、ステップS2のデータ終了から制御がステップS5に移る。このステップS5の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップS6の予測係数ストアで、予測係数をメモリにストアし、この学習のフローチャートが終了する。
【0047】
図11中のステップS4(正規方程式生成)およびステップS5(予測係数決定)の処理をより詳細に説明する。注目画素の真値をyとし、その推定値をy´とし、その周囲の画素の値をx1 〜xn としたとき、クラス毎に係数w1 〜wn によるnタップの線形1次結合
y´=w1 x1 +w2 x2 +・・・+wn xn (1)
を設定する。学習前は、wi が未定係数である。
【0048】
上述のように、学習はクラス毎になされ、データ数がmの場合、式(1)は、式(2)で表される。
yj ´=w1 xj1+w2 xj2+・・・+wn xjn (2)
(但し、j=1,2,・・・,m)
【0049】
m>nの場合、w1 〜wn は、一意には決まらないので、誤差ベクトルEの要素をそれぞれの学習データxj1,xj2,・・・,xjn,yj における予測誤差をej として、次の式(3)のごとく定義する。
ej =yj −(w1 xj1+w2 xj2+・・・+wn xjn) (3)
(但し、j=1,2,・・・,m)
次に、式(4)を最小にする係数を求め、最小自乗法における最適な予測係数w1 ,w2 ,・・・,wn を決定する。
【0050】
【数1】
【0051】
すなわち、式(4)のwi による偏微分係数を求めると、式(5)に示すようになる。式(5)で(i=1,2,・・・,n)である。
【0052】
【数2】
【0053】
式(5)を0にするように各wi を決めればよいから、
【0054】
【数3】
【0055】
として、行列を用いると、
【0056】
【数4】
【0057】
となる。この方程式は、一般に正規方程式と呼ばれている。正規方程式は、丁度未知数がn個だけある連立方程式である。これにより最確値たる各未定係数w1 ,w2 ,・・・wn を求めることができる。具体的には、一般的に式(8)の左辺の行列は、正定値対称なので、コレスキー法という手法により式(8)の連立方程式を解くことができ、未定係数wi が求まり、クラスコードをアドレスとして、この係数wi をメモリに格納しておく。
【0058】
上述の係数ROM95に記憶される係数データの学習を概略的に説明する。図12Aに示すように、例えば(3×3)ブロックの注目画素、すなわち間引かれた注目画素yの周囲にある画素x1 〜x4 のレベル方向および動き量を用いてクラスが生成される。画素x1 〜x4 のレベル方向(図12B)に対して施す正規化の一例として、4つの画素の平均と4つの画素との大小関係が2値化され、表現される(図12C)。すなわち、4つの画素の平均をしきい値として画素毎に大小の判定が行われ、大きいと判断された場合、 `1' とし、小さいと判断された場合、 `0' とする。この4つの画素の判断結果、図12Cに示すように `0101' をクラスとし、クラス分けが行われる。また、画素の値をそのまま、クラス分け用のビットとして用いることも可能である。
【0059】
このようにクラス分けを行った後、画素x1 〜x4 を用いて間引かれた画素を式(9)を用いて、注目画素yの予測が行われる。
y=w1 ×x1 +w2 ×x2 +w3 ×x3 +w4 ×x4 (9)
(ただし、w1 〜w4 は、係数データとする)
この式(9)の各画素に係る係数データを上述した最小自乗法によって求める。
【0060】
このように学習によって、求められた係数データは、デコード時に各クラスに応じた出力を周囲の画素から予測することができる。図13Aに示すように、学習時と同じようにサブサンプリングされて間引かれた画素の周辺データ(図13B)のレベル分布のパターンと動き量を用いてクラスが求められる。このようにして、式(10)に示すように、クラスと周辺画素のデコード値を求めることにより、補間値を予測することができる。
【0061】
y´=w1 ´×x1 ´+w2 ´×x2 ´+w3 ´×x3 ´+w4 ´×x4 ´
(10)
(ただし、w1 ´〜w4 ´は、学習によって求められた係数データとする)
【0062】
また、デコード時に求める動き量以外との組み合わせでも良い。さらに、正規化の方法は、この手法以外にもビット数を増やす方法や、ADRCのようにエンコードしたものを用いる方法などが考えられる。
【0063】
【発明の効果】
この発明に依れば、伝送された周辺画素のレベル分布のパターンと動き量からクラスを生成することで、予め学習によって決定された正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行い、動き画素の時には、フィールド内の画素を補間に使用し、静止画素の時には、フレーム内の画素を補間に使用しているので、精度が高い補間を行うことができる。また、学習時に、アクティビティーが低いデータを学習対象から除外しているので、精度の高い補間値を生成できる。
【図面の簡単な説明】
【図1】MUSE方式のエンコーダの部分的なブロック図である。
【図2】MUSE方式のエンコーダのサブサンプリングを説明するための略線図である。
【図3】この発明を適用できるMUSE方式のデコーダの部分的なブロック図である。
【図4】MUSE方式のデコーダの補間処理を説明するための略線図である。
【図5】この発明のMUSE方式のデコーダの部分的なブロック図である。
【図6】この発明の動き部分・動き量検出回路の一例を示すブロック図である。
【図7】この発明の動き部分・動き量検出回路に含まれるエッジデータを検出する一例を示すブロック図である。
【図8】この発明のエッジデータ検出を説明するための略線図である。
【図9】この発明のエッジデータ検出を説明するための略線図である。
【図10】この発明を適用できる補間処理を行うためのクラス分類適応補間回路の一例を示すブロック図である。
【図11】係数を求めるための学習を説明するためのフローチャートである。
【図12】係数を求めるための学習を説明するための略線図である。
【図13】学習により得た係数を用いた補間を説明するための略線図である。
【符号の説明】
51 フレーム間内挿回路
52 クラス分類適応補間回路
53 動き部分・動き量検出回路
54 LPF
55、57 サンプリング周波数変換回路
56 フィールド間内挿回路
58 混合回路[0001]
[Industrial application fields]
The present invention relates to a high-definition video signal decoder that compresses the amount of transmission information by sub-sampling, for example, a high-definition video signal interpolation apparatus and interpolation method applied to a MUSE decoder that is a high-definition signal compression method.
[0002]
[Prior art]
One method for recording or transmitting a digital image signal to compress the bandwidth or reduce the amount of information is to reduce the amount of transmitted data by thinning out pixels by sub-sampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. This system can compress high-definition signals into a band of about 8 MHz.
[0003]
[Problems to be solved by the invention]
In the conventional MUSE system, a two-dimensional spatial filter is used for interpolation when decoding data that has been subsampled once or twice during encoding. However, the MUSE method has a problem in that the amount of transmitted information is compressed using the visual characteristic that the resolution in the oblique direction is low, so that the resolution in the oblique direction lost during encoding cannot be recovered.
[0004]
Accordingly, the object of the present invention is applied to a MUSE decoder, and is output from an optimal prediction formula prepared in advance by performing classification using the transmitted pixel data and the detected motion amount. It is an object of the present invention to provide an interpolation apparatus and an interpolation method for a high resolution video signal.
[0005]
[Means for Solving the Problems]
The invention according to
[0006]
According to a second aspect of the present invention, there is provided an interpolation method for receiving a digital video signal and interpolating pixels. Of the supplied digital video signal Detecting the amount of movement; A plurality of reference pixels around the target pixel to be interpolated and Determine the pixel class of interest from the amount of motion Ru A step of reading a corresponding coefficient from a memory storing a coefficient for each class acquired in advance by learning in order to generate an interpolation value of the pixel; and a spatially and / or temporally neighboring pixel of interest. A method of interpolating a video signal, comprising a step of generating an interpolation value by linear linear combination of a plurality of pixels and coefficients.
[0007]
An interpolation value is generated by linear linear combination of the coefficient and the value of the surrounding pixel. This coefficient is obtained for each class by learning in advance. This class is expressed using the level distribution pattern and the amount of motion of peripheral pixels. At the time of learning, the first and second coefficients are obtained using peripheral pixels in the field and in the frame, respectively. At the time of interpolation, the stillness of the target pixel is determined. When the target pixel is in motion, an interpolation value is formed by linear linear combination of the first coefficient and the values of surrounding pixels in the field, and when this is still, Use the second factor. By this selection, interpolation with high accuracy can be performed, and the image quality of the decoded image can be improved.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. First, the main part of the MUSE encoder will be described with reference to FIG. A high-definition signal is input from the input terminal indicated by 1, and the input high-definition signal is supplied to the
[0009]
A field
[0010]
A sampling frequency conversion circuit 11 is connected to the LPF 10, and the sampling frequency is converted to 32.4 MHz by the sampling frequency conversion circuit 11. An output signal of the circuit 11 is supplied to a TCI (Time Compressed Integration) switch 12. A signal path from the
[0011]
A sampling
[0012]
A motion
[0013]
The color signals Pr and Pb from the Y, Pr, and
[0014]
The LPF 24 and the
[0015]
The output signal of the mixing
[0016]
Sub-sampling of the above-described MUSE encoder will be schematically described with reference to FIG. The still region processing is shown on the upper side and the motion region processing is shown on the lower side. FIG. 2 shows the sampling state of the signal at each point in FIG. Further, since the processing of the C signal is the same as that of the Y signal, the description thereof is omitted. A digital Y signal is supplied from the input (point A) of the field offset
[0017]
An interpolated signal (sampling frequency is 48.6 MHz) is generated at the output (point C) of the LPF 10. As for the output (point D) of the sampling frequency conversion circuit 11, a signal whose sampling frequency is converted to 32.4 MHz appears.
[0018]
On the other hand, the same digital Y signal as that at the point A is supplied to the input (point a) of the
[0019]
The Y signals that have been subjected to the respective processing of the still region and the motion region are mixed by the mixing
[0020]
FIG. 3 shows a part of a MUSE decoder to which the present invention can be applied. The MUSE signal converted into the received baseband signal and converted into a digital signal is supplied to the inter-frame interpolation circuit 41, the field interpolation circuit 42, and the motion part detection circuit 43, respectively. The motion part detection circuit 43 detects a motion region, and controls a mixing ratio of signals obtained by processing the motion region and the stationary region.
[0021]
In other words, the still region is inter-frame interpolated using the image data of the previous frame by the inter-frame interpolation circuit 41. However, when the entire image moves, such as camera panning, a process is performed in which the image one frame before is moved and superimposed according to the motion vector transmitted as the control signal. An output signal of the inter-frame interpolation circuit 41 is supplied to the mixing
[0022]
The motion region is spatially interpolated by the field interpolation circuit 42. A sampling
[0023]
The processing of the above decoder will be schematically described with reference to the sampling pattern of FIG. The sampling state of the input signal (point E) is the same as the output (point E) of the encoder described above. The still region is passed through the inter-frame interpolation circuit 41, and a video signal in which thinned pixels are interpolated is generated at the output (point F).
[0024]
In the sampling frequency conversion circuit 45 (point G), a video signal whose sampling frequency is converted to 24.3 MHz appears. The video signal has been subjected to offset sampling shifted by one pixel for each field. A signal in which a pixel is interpolated is generated at the output (point H) of the next inter-field interpolation circuit 46. This is supplied to the mixing
[0025]
A video signal interpolated by the pixels in the field is generated at the output (point f) of the field interpolation circuit 42 for processing the motion region. The sampling
[0026]
In the MUSE method described above, sub-sampling is performed twice for the still region, interpolation is performed twice, and sub-sampling and interpolation is performed once for the motion region. Conventionally, a filter is used for these interpolations. As a result, as described above, there is a problem that the resolution in the oblique direction is lost. The present invention solves this problem. Therefore, the present invention is applicable to any of the interframe interpolating circuit 41, the field interpolating circuit 42 and the interfield interpolating circuit 46 in the MUSE decoder described above. Applicable.
[0027]
As an example, field Inside
[0028]
The still area from the image data is subjected to interframe interpolation using the image data of the previous frame by the
[0029]
The motion region from the image data is classified by the class classification
[0030]
Here, a detailed block diagram of the moving part / motion amount detecting circuit 53 is shown in FIG. The frame of the MUSE signal supplied to the moving part / motion amount detection circuit 53 is supplied from the input terminal 61. The horizontal line edge detection circuit 62 detects an edge that becomes a horizontal line, that is, a horizontal edge, as will be described later, from the supplied frame. The detected horizontal edge is supplied to the two-frame detection edge circuit 70. The vertical line edge detection circuit 63 detects a vertical line edge, that is, an edge in the vertical direction, as will be described later, from the supplied frame. The detected vertical edge is supplied to the two-frame detection edge circuit 70.
[0031]
In the non-linear edge detection circuit 64, a predetermined level is weighted to a portion determined to be an edge from the supplied frame. In the 1-frame
[0032]
The
[0033]
In the two-frame detection edge circuit 70, the frame of the supplied MUSE signal, the horizontal edge from the horizontal line edge detection circuit 62, and the vertical edge from the vertical line edge detection circuit 63 are added. The addition result is supplied to the sensitivity setting circuit 72. The two-frame difference circuit 71 calculates a two-frame difference between the supplied frame and a frame two frames before. In the sensitivity setting circuit 72, sensitivity is set based on the supplied two-frame difference and the addition result from the two-frame detection edge circuit 70. Similar to the sensitivity setting circuit 69, the sensitivity setting circuit 72 is also less sensitive to the detection of the moving part / motion amount.
[0034]
The isolated point removal circuit 73 removes isolated points from the supplied two-frame difference. In the frame interpolation circuit 74, the 2-frame difference interpolation process is performed using the 2-frame difference from which the isolated points are removed and the 2-frame difference delayed from the 1-frame delay circuit 75 by 1 frame. The 1-frame delay circuit 75 delays the frame-interpolated 2 frame difference by the time of 1 frame, and then supplies the held 2-frame difference to the frame interpolation circuit 74. In the two-
[0035]
In the mixing circuit 77, the one-frame difference from the sensitivity setting circuit 69 and the two-
[0036]
An example of the horizontal line edge detection circuit 62 is shown in FIG. The vertical line edge detection circuit 63 has the same configuration. A frame of the MUSE signal is supplied from an
[0037]
This edge detection circuit will be described using the transmitted pixels shown in FIGS. First, FIG. 8 shows a pixel pattern extracted when an edge in the horizontal direction is detected. Furthermore, FIG. 8A shows a difference detection circuit 83 when the target pixel corresponds to the transmitted pixel e. 1 The difference between the extracted pixel a and pixel d is detected, and the difference detection circuit 83 is detected. 2 The difference between the extracted pixel b and pixel e is detected, and the difference detection circuit 83 Three Then, the difference between the extracted pixel c and pixel f is detected. The maximum difference detection circuit 84 converts these detected three differences into absolute values, and detects the maximum difference absolute value from the three difference absolute values. The detected difference absolute value is transmitted as edge data.
[0038]
FIG. 8B shows the difference detection circuit 83 when the target pixel is between the transmitted pixel h and pixel k. 1 The difference between the extracted pixel g and pixel j is detected, and the difference detection circuit 83 2 The difference between the extracted pixel h and pixel k is detected, and the difference detection circuit 83 is detected. Three Then, the difference between the extracted pixel i and pixel l is detected. In the maximum difference detection circuit 84, these detected three differences are converted into absolute values, and the maximum difference absolute value is detected from the three difference absolute values. The detected difference absolute value is transmitted as edge data.
[0039]
FIG. 9 shows a pixel pattern extracted when an edge in the vertical direction is detected. FIG. 9A shows the difference detection circuit 83 when the target pixel corresponds to the transmitted pixel p. 1 The difference between the extracted pixel m and pixel n is detected, and the difference detection circuit 83 2 The difference between the extracted pixel o and pixel p is detected, and the difference detection circuit 83 is detected. Three Then, the difference between the extracted pixel p and pixel q is detected. The maximum difference detection circuit 84 converts these detected three differences into absolute values, and detects the maximum difference absolute value from the three difference absolute values. The detected difference absolute value is transmitted as edge data.
[0040]
FIG. 9B shows the difference detection circuit 83 when the target pixel is between the transmitted pixel u and pixel v. 1 The difference between the extracted pixel r and pixel s is detected, and the difference detection circuit 83 is detected. 2 The difference between the extracted pixel s and pixel t is detected, and the difference detection circuit 83 Three Then, the difference between the extracted pixel u and pixel v is detected. The maximum difference detection circuit 84 converts these detected three differences into absolute values, and detects the maximum difference absolute value from the three difference absolute values. The detected difference absolute value is transmitted as edge data.
[0041]
An example of the class classification
[0042]
The
[0043]
In the
[0044]
Next, an example of learning of coefficient data stored in the
[0045]
Here, when the dynamic range of the block composed of the peripheral pixels is smaller than a predetermined threshold, control is not performed as learning data. This is because a small dynamic range is easily affected by noise and an accurate learning result may not be obtained. At the end of the data in step S2, if the processing of all input data, for example, one frame of data has been completed, the control shifts to the prediction coefficient determination in step S5. Control is transferred.
[0046]
As described above, the class determination in step S3 is performed based on the value of a predetermined pixel in the field or frame and the amount of motion. In the normal equation generation in step S4, a normal equation of equation (8) described later is created. After the processing of all data is completed, control is transferred to step S5 from the end of data in step S2. In the determination of the prediction coefficient in step S5, the normal equation is solved using a matrix solution method to determine the prediction coefficient. In the prediction coefficient store in step S6, the prediction coefficient is stored in the memory, and the learning flowchart ends.
[0047]
The processing of step S4 (normal equation generation) and step S5 (prediction coefficient determination) in FIG. 11 will be described in more detail. The true value of the pixel of interest is y, its estimated value is y ', and the values of surrounding pixels are x 1 ~ X n The coefficient w for each class 1 ~ W n N-tap linear linear combination by
y '= w 1 x 1 + W 2 x 2 + ... + w n x n (1)
Set. Before learning, w i Is an undetermined coefficient.
[0048]
As described above, learning is performed for each class, and when the number of data is m, Expression (1) is expressed by Expression (2).
y j '= W 1 x j1 + W 2 x j2 + ... + w n x jn (2)
(However, j = 1, 2,..., M)
[0049]
If m> n, w 1 ~ W n Are not uniquely determined, the elements of the error vector E are assigned to the respective learning data x j1 , X j2 , ..., x jn , Y j The prediction error at j Is defined as the following equation (3).
e j = Y j -(W 1 x j1 + W 2 x j2 + ... + w n x jn (3)
(However, j = 1, 2,..., M)
Next, a coefficient that minimizes the expression (4) is obtained, and the optimum prediction coefficient w in the least square method is calculated. 1 , W 2 , ..., w n To decide.
[0050]
[Expression 1]
[0051]
That is, w in equation (4) i When the partial differential coefficient is obtained by the following equation (5). In equation (5), (i = 1, 2,..., N).
[0052]
[Expression 2]
[0053]
Each w so that equation (5) is zero i Because you only have to decide
[0054]
[Equation 3]
[0055]
As a matrix,
[0056]
[Expression 4]
[0057]
It becomes. This equation is generally called a normal equation. A normal equation is a simultaneous equation with exactly n unknowns. As a result, each undetermined coefficient w as the most probable 1 , W 2 , ... w n Can be requested. Specifically, since the matrix on the left side of Equation (8) is generally positive definite symmetric, the simultaneous equations of Equation (8) can be solved by a technique called the Cholesky method, and the undetermined coefficient w i And the coefficient w i Is stored in memory.
[0058]
Learning of the coefficient data stored in the
[0059]
After classifying in this way, pixel x 1 ~ X Four The pixel of interest y is predicted using the equation (9) for the pixels culled out using.
y = w 1 X 1 + W 2 X 2 + W Three X Three + W Four X Four (9)
(However, w 1 ~ W Four Is coefficient data)
The coefficient data relating to each pixel of the equation (9) is obtained by the least square method described above.
[0060]
Thus, the coefficient data obtained by learning can predict an output corresponding to each class from surrounding pixels at the time of decoding. As shown in FIG. 13A, a class is obtained by using the level distribution pattern and the amount of motion of pixel peripheral data (FIG. 13B) subsampled and thinned out as in the learning. In this way, as shown in Expression (10), the interpolation value can be predicted by obtaining the decoded values of the class and the surrounding pixels.
[0061]
y '= w 1 ´ × x 1 '+ W 2 ´ × x 2 '+ W Three ´ × x Three '+ W Four ´ × x Four ´
(10)
(However, w 1 ´〜w Four 'Is coefficient data obtained by learning)
[0062]
Also, a combination other than the amount of motion required during decoding may be used. Further, as a normalization method, other than this method, a method of increasing the number of bits, a method of using an encoded one like ADRC, and the like are conceivable.
[0063]
【The invention's effect】
According to the present invention, by generating a class from the level distribution pattern and the amount of motion of the transmitted peripheral pixels, it is possible to interpolate with an accurate value determined in advance by learning, and restore the resolution in the oblique direction. it can. However, according to the present invention, the stationary determination of the pixel of interest is performed. When the pixel is a motion pixel, the pixel in the field is used for interpolation. When the pixel is a stationary pixel, the pixel in the frame is used for interpolation. High interpolation can be performed. In addition, since data with low activity is excluded from the learning target during learning, a highly accurate interpolation value can be generated.
[Brief description of the drawings]
FIG. 1 is a partial block diagram of a MUSE encoder.
FIG. 2 is a schematic diagram for explaining subsampling of a MUSE encoder.
FIG. 3 is a partial block diagram of a MUSE decoder to which the present invention can be applied.
FIG. 4 is a schematic diagram for explaining interpolation processing of a MUSE decoder.
FIG. 5 is a partial block diagram of a MUSE decoder according to the present invention.
FIG. 6 is a block diagram showing an example of a motion part / motion amount detection circuit according to the present invention.
FIG. 7 is a block diagram illustrating an example of detecting edge data included in a motion part / motion amount detection circuit according to the present invention;
FIG. 8 is a schematic diagram for explaining edge data detection according to the present invention;
FIG. 9 is a schematic diagram for explaining edge data detection according to the present invention;
FIG. 10 is a block diagram showing an example of a class classification adaptive interpolation circuit for performing an interpolation process to which the present invention can be applied.
FIG. 11 is a flowchart for explaining learning for obtaining coefficients.
FIG. 12 is a schematic diagram for explaining learning for obtaining a coefficient.
FIG. 13 is a schematic diagram for explaining interpolation using a coefficient obtained by learning;
[Explanation of symbols]
51 Interframe interpolation circuit
52 class classification adaptive interpolation circuit
53 Moving part / motion amount detection circuit
54 LPF
55, 57 Sampling frequency conversion circuit
56 Inter-field interpolation circuit
58 Mixing circuit
Claims (4)
供給されたディジタルビデオ信号の動き量を検出する動き量検出手段と、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するクラス分類手段と、
上記画素の補間値を生成するために予め学習により獲得された上記クラス毎の係数が格納されたメモリ手段と、
上記メモリ手段と結合され、上記注目画素の空間的および/または時間的に近傍の複数の画素と上記係数を線形1次結合によって補間値を生成する補間値生成手段と
からなることを特徴としたビデオ信号の補間装置。In an interpolator that receives a digital video signal and interpolates pixels,
A motion amount detecting means for detecting a motion amount of the supplied digital video signal ;
And class classification means from a plurality of reference pixels and the motion amount of the periphery of the target pixel to be interpolated that determine the class of the target pixel,
Memory means for storing a coefficient for each class acquired in advance by learning in order to generate an interpolated value of the pixel;
A plurality of pixels spatially and / or temporally close to the pixel of interest and an interpolation value generating means for generating an interpolation value by linear linear combination of the coefficients are combined with the memory means. Video signal interpolator.
供給されたディジタルビデオ信号の動き量を検出するステップと、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するステップと、
上記画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数が格納されたメモリから対応する係数を読み出すステップと、
上記注目画素の空間的および/または時間的に近傍の複数の画素と上記係数を線形1次結合によって補間値を生成するステップと
からなることを特徴としたビデオ信号の補間方法。In an interpolation method for receiving a digital video signal and interpolating pixels,
Detecting the amount of motion of the supplied digital video signal ;
A step that determine the class of the target pixel from a plurality of reference pixels and the motion amount of the periphery of the target pixel to be interpolated,
Reading a corresponding coefficient from a memory in which the coefficient for each class acquired in advance by learning is stored in order to generate an interpolation value of the pixel;
A method of interpolating a video signal, comprising: a step of generating an interpolation value by linear linear combination of a plurality of pixels spatially and / or temporally adjacent to the target pixel and the coefficient.
供給されたディジタル高解像度ビデオ信号の動き量を検出する動き量検出手段と、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するクラス分類手段と、
上記間引かれた画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数が格納されたメモリ手段と、
上記メモリ手段と結合され、上記注目画素の空間的および/または時間的に近傍の複数の画素と上記係数を線形1次結合によって補間値を生成する補間値生成手段と
からなることを特徴とした圧縮高解像度ビデオ信号の補間装置。In a high-resolution video signal interpolating apparatus for receiving a digital high-resolution video signal whose transmission information amount is compressed by sub-sampling and interpolating the thinned pixels,
A motion amount detecting means for detecting a motion amount of the supplied digital high resolution video signal ;
And class classification means from a plurality of reference pixels and the motion amount of the periphery of the target pixel to be interpolated that determine the class of the target pixel,
Memory means for storing the coefficient for each class acquired in advance by learning in order to generate the interpolation value of the thinned pixels;
A plurality of pixels spatially and / or temporally close to the pixel of interest and an interpolation value generating means for generating an interpolation value by linear linear combination of the coefficients are combined with the memory means. Interpolator for compressed high-resolution video signals.
供給されたディジタル高解像度ビデオ信号の動き量を検出するステップと、
補間対象となる注目画素の周辺の複数の参照画素と上記動き量から上記注目画素のクラスを決定するステップと、
上記間引かれた画素の補間値を生成するために、予め学習により獲得された上記クラス毎の係数がメモリ手段に格納されるステップと、
上記注目画素の空間的および/または時間的に近傍の複数の画素と上記係数を線形1次結合によって補間値を生成するステップと
からなることを特徴とした圧縮高解像度ビデオ信号の補間方法。In a method of interpolating a high-resolution video signal for receiving a digital high-resolution video signal whose transmission information amount is compressed by sub-sampling and interpolating the thinned pixels,
Detecting the amount of motion of the supplied digital high resolution video signal ;
A step that determine the class of the target pixel from a plurality of reference pixels and the motion amount of the periphery of the target pixel to be interpolated,
Storing the coefficient for each class obtained in advance by learning in the memory means in order to generate the interpolation value of the thinned pixels;
A method of interpolating a compressed high-resolution video signal, comprising: generating an interpolation value by linear linear combination of a plurality of pixels spatially and / or temporally adjacent to the pixel of interest and the coefficient.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34883195A JP3831960B2 (en) | 1995-12-19 | 1995-12-19 | Interpolation apparatus and interpolation method for compressed high resolution video signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34883195A JP3831960B2 (en) | 1995-12-19 | 1995-12-19 | Interpolation apparatus and interpolation method for compressed high resolution video signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09172620A JPH09172620A (en) | 1997-06-30 |
JP3831960B2 true JP3831960B2 (en) | 2006-10-11 |
Family
ID=18399677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34883195A Expired - Lifetime JP3831960B2 (en) | 1995-12-19 | 1995-12-19 | Interpolation apparatus and interpolation method for compressed high resolution video signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3831960B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4552264B2 (en) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | Error correction apparatus and method |
-
1995
- 1995-12-19 JP JP34883195A patent/JP3831960B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09172620A (en) | 1997-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH01288187A (en) | Space-time sub-sampling apparatus of digital video signal and high quality television picture transmission system having the apparatus | |
JP3864444B2 (en) | Image signal processing apparatus and method | |
JP3674186B2 (en) | Image information conversion apparatus and method | |
JP2801301B2 (en) | ▲ High ▼ Motion detection device for high-definition television receiver | |
JPH0846934A (en) | Processor for digital picture signal | |
JPS6348088A (en) | Interpolation circuit for digital image signal | |
JP3831960B2 (en) | Interpolation apparatus and interpolation method for compressed high resolution video signal | |
JP3470373B2 (en) | Apparatus and method for processing digital image signal | |
JP3906770B2 (en) | Digital image signal processing apparatus and method | |
JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
JPH0363275B2 (en) | ||
JP3867697B2 (en) | Image signal generation apparatus and generation method | |
JP3480015B2 (en) | Apparatus and method for generating image data | |
JP2590865B2 (en) | High-efficiency encoded image signal decoding apparatus | |
JP3746305B2 (en) | Image signal generating apparatus and method, and digital image signal processing apparatus and method | |
JP3906832B2 (en) | Image signal processing apparatus and processing method | |
JP3617080B2 (en) | Signal processing apparatus and signal processing method | |
JP2814482B2 (en) | High efficiency code decoding apparatus and decoding method | |
JP3470380B2 (en) | Apparatus and method for processing digital image signal | |
JP3285892B2 (en) | Offset subsampling decoding device | |
JP3918759B2 (en) | Image data generation apparatus and generation method | |
JPS63313978A (en) | High efficient code decoder | |
JP2712299B2 (en) | High-efficiency code decoding device | |
KR940008809B1 (en) | Motion detecting apparatus of hdtv | |
JPH0759060A (en) | Interpolation device for compressed high resolution video signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |