JP4928082B2 - ビデオ画像処理方法 - Google Patents

Description

本発明は画像処理技術に関し、特に連続画像の出力前に移動ベクトルフィルタ処理することにより、ブロック毎の移動ベクトルと実際に対応したオブジェクト移動方向とが一致するとともに、移動情報ビット数量を低減させる、ビデオ画像処理方法に関するものである。

情報量が爆発的に成長している今日では、情報量の処理がますます大きくなり、特に画像に関しての情報は、そのデータ量が想像もつかないほど膨大である。これらのデータの蓄積やインターネットでの転送をより有効に行うために、そのデータ量を一層効率よく圧縮しなければ、現在のユーザの需要を満足させることができない。

現在よく見られる画像圧縮フォーマットにはPCX、TGA、Tiff、GIF、JPEG、VQなどがあり、インターネットではGIF、JPEGがよく用いられる。上記の圧縮フォーマットのうち、VQは極めて基本的な圧縮方法である。画像圧縮の作業が行われる場合には、殆どは歪み方式が採用されるため、画像処理の品質の良否が生じるおそれがある。これに対しては、肉眼で判断する。だだし、実際には客観的に認定され、一般に信号対ノイズ比（SNR、Signal-to-Noise Ratio）またはピーク信号対ノイズ比（PSNR、Peak-Signal-to-Noise Ratio）によって認定されるが、PSNRの数値が高ければ画像品質が良いとは限らず、肉眼の感覚に従うのが通常である。

連続フレーム（フレーム）のフレーム間ウェーブレット（Inter-Frame Wavelet）の場合には、ウェーブレット変換の概念を利用して、時間軸（Time domain）において隣接したフレームを移動補償時間フィルタ技術（Motion compensated temporal filtering, MCTF）によってハイパスフレーム（High-pass frame）とローパスフレーム（Low-pass frame）とに分解（Decomposition）し、その後、得られたローパスフレームによって時間軸分解（Temporal decomposition）を行いつつ、これを繰り返してMCTFのステップを完成させる。従って、移動補償技術はMCTFのキーステップであって、移動補償技術において、連続フレームの関連性を利用して圧縮の目的を達成する。連続フレームは、少なくとも第１フレームの移動による第2フレームの出力からなり、即ち、第１フレームにおけるブロック・エレメントが、それぞれの移動ベクトルに沿って前へ変形移動し、第2フレームを生成して出力する。一般に、従来はこのプロセスにおいて移動推定工程が導入されていた。該移動算定工程ではインターフレーム（Inter-frame）の間の時間冗長性を利用するために、前の参照フレームに基づきマクロブロック・エレメントを予測する。予測プロセスにおいてブロック・エレメントの対比を採用して、複数の候補ブロック・エレメントを参照フレームから見つけ出し、現在コード化しようとするソースマクロブロックと比較を行うことが通常である。

現在よく知られている複数のブロック・エレメント対比演算法が2つあり、１つには演算量が膨大である全数探索演算法（exhaustive search algorithm）であり、２つ目は複雑性が低い望遠探索演算法（Telescopic search algorithm）である。全数探索演算法はまず探索ブロック（search window）における候補可能のブロック・エレメントの全てを対比する。望遠探索演算法は階段式探索を採用して、段階毎にまず候補ブロックにおける希薄なピクセルを対比し、得られた最適候補ベクトルを次の段階の開始点とし、次の段階で濃密なピクセルを使用する。

上記の演算法は、いずれも１組の移動ベクトルを計算し、これらの移動ベクトルを３つの隣接したブロック・エレメントによって差別コード化（Differentially coded）し、そして得られた移動ベクトル差異値を長さ可変コード化技術によってコード化する。ただし、移動が速い連続画像またはフレームエッジに対して、演算法は参照ブロックにおいて良好な対比結果を見つけ出すことができないことがあるため、移動推定の処理結果の偏差となり、さらにそれによって第１のフレーム（オリジナルフレーム）の一部のブロック・エレメント内に含まれた移動ベクトルが歪みを生じ、第１のフレームにおけるブロック・エレメントが元々従うべき移動ベクトルに沿って前へ変形移動することができなくなり、第２フレーム（次の連続画像の出力フレーム）に出力された移動ベクトルは混乱状態となる。図３（a）は連続画像が移動する前の出力フレームを示す。図3（b）は、図３（a）が速い移動によって次のフレームが出力される場合、その期間の移動推定結果を示す。図3（b）に示すように、その表示されたピクセルが過多であり、これらのピクセルは第１フレームから第2フレームの出力に移動するのに参照が必要な移動情報を示す。ピクセルが過多だったのは、第１フレームから第2フレームの連続出力プロセスにおいて、連続画像が動的に移動したため、移動推定処理はブロック毎の移動ベクトルを確実に推定することができなくなり、しかも、これらのブロック・エレメントの移動ベクトルを調整せず、複数の重複した移動情報がともに第2フレームに移動して出力したからである。故に、ブロック・エフェクト（Block Effect）が生じ出力フレームが歪みとなり、移動情報のビット数量を低減させることができず、さらにこれらのフレームのこの後の圧縮効率に不利になる。

従って、連続画像の出力に有した画像歪み及びノイズの過多などの欠点を有効に除去し、出力フレームの歪み及びノイズの過多の情況を回避することは、実に解決すべき技術課題である。

上記の従来の技術の欠点に鑑みて、本発明は、第１フレームを移動推定処理した後、第2フレームが出力されるまで、まず移動ベクトルフィルタ処理し、ブロック・エレメントの移動ベクトルを調整することにより、ブロック・エフェクトの発生確率を低減させ、第2フレームの出力品質を向上させる、ビデオ画像処理方法を提供することを目的とする。

また、本発明は、近似したブロック・エレメントを移動推定処理によって推定された移動ベクトルから選択して結合することにより、ブロック・エレメントに含まれた移動ベクトルの一致性を増加する、ビデオ画像処理方法を提供することを目的とする。

また、本発明は、余分なブロック・エレメントを除去することにより、移動情報のビット数量を低減させ、後続の圧縮作業の効率を向上させる、ビデオ画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明はビデオ画像処理方法を提供することを特徴とする。

本発明に係るビデオ画像処理方法は、少なくとも、（1）第１フレームが連続画像出力のプロセスにおいて含まれたブロック・エレメントの移動ベクトルを、移動推定処理によって取得し、さらに中継フレームを形成するステップと、（2）中継フレームの、ブロック・エレメント毎に含まれた移動ベクトルをさらに移動ベクトルフィルタ処理によって調整することにより、ブロック・エレメント毎の移動ベクトルを一致させ、ブロック・エフェクトの発生確率を低減させるステップと、（3）中継フレームにおいて移動ベクトルが近似したブロック・エレメントを結合し、余分なブロック・エレメントを除去して、第2フレームの出力を形成するステップと、を備える。

下記において特定の具体的実施例によって本発明の実施方式を説明する。明細書に記載の内容に基づきこの技芸に習熟した者は本発明のその他の利点や効果が容易に理解できる。本発明は図示の実施の形態に限定されるものではなく、本発明の技術思想の範囲内で数々の変更態様が可能であることは言うまでもない。

本発明に係る上記とその他の目的、特徴、及び利点がもっと分かりやすくするために、好ましい実施の形態を添付の図面に沿いながら、本発明に係る実施の形態を詳しく説明する。添付の図面の内容は、「図面の簡単な説明」欄記載のように簡単に説明される。

以下の実施例は、本発明の観点をさらに詳しく説明する。ただし、本発明の範囲はこれらの実施例に限定されるものではない。

図1はフローチャートであって、本発明の方法に基づきビデオ画像処理が行われる各ステップのフローを示す。図２−１はビデオ画像に含まれたブロック・エレメントを模式的に示す。図２−２の(ｂ)は図２−１に示す第１フレームが連続画像出力状態において生じた第2フレームを模式的に示す。図２−２の(ｃ)は図２−２の(ｂ)に示すブロック・エレメントA’の拡大図を模式的に示す。以下は図1、図２−１ないし図２−２の(ｃ)に沿って本発明に係る実施プロセスを詳述する。

まず、ステップS1において、処理すべき第１フレームから出力された画像を図２−１に示す複数のブロック・エレメントに切断（画像切断技術は従来技術であるため、ここで詳しい説明を省略する）する。図２−１に示す第１フレームは連続画像模式で表示されるため、それに含まれたブロック範囲内における画像はその位置が時間とともに変更移動する。本実施例において、ブロック・エレメントAを本発明に係る方法の応用ブロック・エレメントとして選択するが、ここで、説明を簡単にするためだけであり、本発明の適用範囲はこれによって限定されるものではない。換言すれば、本発明の方法は図２−１に示すいずれかのブロック・エレメントを画像処理するフローであって、ブロック・エレメントAに限定されるものではない。図２−２の(ｂ)は図２−１に示す第１フレームが単位時間のあと連続画像模式で出力される前、移動推定処理された長形フレームを示す。該図からはブロック・エレメントAに含まれた画像データはブロック・エレメントA’の位置に移動したことが分かる。このように、ブロックA’に含まれた複数のブロック・エレメントの移動ベクトルが極めて混乱となり、図２−２の(ｂ)に示す第2フレームの出力品質が影響され、そして、ステップS2に入る。

ステップS2において、図２−２の(ｃ)に合わせながら本発明の方法がこのステップにおける実施プロセスを詳述する必要がある。図２−２の(ｃ)はブロック・エレメントA’の拡大図を模式的に示す。該図に示すように、ブロック・エレメントA’は9つの小ブロック・エレメントからなり、第１フレームが第2フレームに出力される前の中継フレームである。該中継フレームに含まれたブロック・エレメント毎にはその移動ベクトルを示す矢印がそれぞれあり、ブロック・エレメント毎の移動ベクトルは移動ベクトル推定処理によって得られたものであるが、フレームが連続画像状態で出力されるため、移動ベクトル推定処理によって得られた移動ベクトルは図２−２の(ｃ)に示すように混乱であっても、ステップS2において移動ベクトルフィルタ処理によってブロック・エレメント毎の正確な移動ベクトルに統合される。ここではブロック・エレメント0を例として、ブロック・エレメント0の正確な移動ベクトルを中央値フィルタ（Median Filter）方法によって推定する。

中央値フィルタとは隣接したブロック・エレメントにおける移動ベクトルによって自身の新規値を決定するものであって、自身の移動ベクトルをその周囲の8つの移動ベクトルの差異値が小から大までソートされることに合わせながら、その中央値をそのブロック・エレメント自身の新規移動ベクトルとする。中央値フィルタの利用は余分なブロック・エレメントを有効に除去することができる。余分なブロック・エレメントは隣接したブロック・エレメントにおいて強烈に変化した移動ベクトルであり、ソートの間に無視されてしまうため、ソートの間に、移動ベクトルとその他のブロック・エレメントの移動ベクトルとの差異が過大であれば排除される。例えば図２−２の(ｃ)に示すように、ブロック・エレメントA’が中央値フィルタを行っているプロセスにおいて、ブロック・エレメント0を中央値とし、その周囲の小ブロック・エレメントに含まれた移動ベクトルをサンプリング対象とする。ここでは9つのサンプリングブロック・エレメント（O、V1、V2、V3、V4、V5、V6、V7、V8）を例として、ブロック・エレメント0の移動ベクトルを対比帰納する。サンプリング原則としては近似した移動ベクトルを主要対象とし、いずれかのブロック・エレメントの移動ベクトルが複数のブロック・エレメントに比較して偏差のベクトルであればサンプリングを行わない。図２−２の(ｃ)に示すように、V1、V4及びV7の移動ベクトルはV2、V3、V5、V6、V8等ブロック・エレメントの移動ベクトルに比較して極端偏差であるため、サンプリング対象にならないように除去される必要がある。このことから、ブロック・エレメント0の移動ベクトルは図２−２の(ｄ)に示すように、V2、V3、V5、V6、V8等ブロック・エレメントの移動ベクトルに近似したことがわかる。同様に、ブロック・エレメントV1の移動ベクトルは上記のプロセスのみに従って求めれば分かる。このように、このプロセスに従えば、小ブロック・エレメント毎の移動ベクトルをフィルタすることにより、ブロック・エレメント毎の移動ベクトルを一致させ、ブロック・エフェクトの発生確率を低下させ、第2フレームの歪み程度を低減させることができ、そして、ステップS3に入る。

ステップS3は中央値フィルタ処理された移動ベクトルとその他のブロック・エレメントの移動ベクトルとの間にベクトル差異が過大なブロック・エレメントを除去することにより、移動情報のビット数量を低減させ、その後の圧縮作業の効率を向上させ、そして、ステップS4に入る。

ステップS4においては、ブロック・エレメントA’における移動ベクトルが近似したブロック・エレメントの全てを結合する（Merge）ことにより、ブロック・エレメント毎の移動ベクトルの一致性を向上させ、出力すべき第2フレームの解像度を増加させる。

上記のように、本発明に係るビデオ画像処理方法は連続画像のフレーム間ウェーブレットの圧縮作業に適用され、次の連続フレームが出力される前、まず移動ベクトルフィルタ処理を行うことにより、画像フレームに含まれたブロック・エレメントの移動ベクトルが動的移動によって重大な歪みがなく、さらに、移動ベクトルが近似したブロック・エレメントを結合し余分なブロック・エレメントを除去することにより、次の連続フレームの出力の解像度を向上させるとともに、連続フレームに含まれた移動情報のビット数量を低減させ、後続の画像の圧縮作業の効率を向上させることができる。図3（a）は草地に様様な草木のビデオフレームを示す。このフレームが連続的に出力される場合、従来技術の処理方式では、該フレームに含まれた移動ベクトルが動的連続出力の影響で極めて混乱となり、図3（b）に示すように、出力されたピクセルが過多であり、出力フレームの解像度が影響される。そのピクセルが過多であったことは、従来技術の方法は出力すべき移動ベクトルを予め帰納整理せず、移動推定によって得られた移動ベクトルを直接採用したため、出力の移動ベクトルが動的移動の影響で混乱となるからである。さらに、これらの移動ベクトルを帰納整理していないため、近似した移動ベクトルを結合することにより余分なブロック・エレメントを除去することができなくなり、即ち、帰納整理もせずに次の連続フレームが出力されるため、移動情報のビット数量が過大となり、図3（b）に示すようにピクセルが過大な主因となる。ところが、図3（c）は本発明に係るビデオ画像処理方法が適用される出力フレームを示す。本発明は移動推定処理によって得られた移動ベクトルを、さらに移動ベクトルフィルタ処理することにより、移動推定処理された移動ベクトルが調整され、さらに移動ベクトルの近似であるか否かに応じてブロック移動ベクトルが結合または除去されるため、図3（c）に示すように出力されたビデオフレームに含まれた移動ベクトルが図3（b）に示すものより規則でかつ一致となるとともに、出力フレームを少ないピクセルだけで表示することができるため、移動情報のビッド数量及び後続の圧縮作業の効率を低減させることが可能である。

以上本発明の原理や効果を実施の形態に基づいて説明したが、本発明は前記した実施の形態に限定されるものではなく、この技術分野に精通したものが特許請求の範囲を脱しない範囲で色々な修飾や変更が可能である。例えば、周期性配列方式をランダム配列に、幾何柱状体を孔に変更し、または干渉構造の組合せ位置等を変更する。従って、本発明に係る特許請求の保護範囲は本発明の技術範囲に入るものである。

フローチャートであって、本発明の方法に基づきビデオ画像処理を行う各ステップのフローを示す。 ビデオ画像に含まれたブロック・エレメントを模式的に示す。 (ｂ)：図２−１に示すビデオ画像の次のフレームを模式的に示す。(ｃ)：（b）においてブロック・エレメントA’の拡大図を模式的に示す。(ｄ)：得られたブロック・エレメント移動ベクトルを模式的に示す。 (ａ)：草地に様様な草木のビデオフレームを示す。(ｂ)：従来技術と本発明の方法との対比を模式的に示す。(ｃ)：従来技術と本発明の方法との対比を模式的に示す。

Claims (5)

1. 出力フレームの品質を改善するためのビデオ画像処理方法であって、少なくとも、
   (１) ビデオ画像が連続画像模式で出力された第１フレームを移動推定処理することにより、第１フレームの連続画像出力のプロセスに含まれたブロック・エレメントの移動ベクトルを取得し、中継フレームを形成するステップと、
   (２) 中継フレームに含まれた各ブロック・エレメント毎を移動ベクトルフィルタ処理し、ブロック・エレメント毎を正確な移動ベクトルに調整することにより、ブロック・エフェクトの発生確率を低減させるステップと、
   (３) 中継フレームにおいて調整された移動ベクトルの方向が近似したブロック・エレメントを結合し、余分なブロック・エレメントを除去することにより、移動情報のビット数量を低減し、第2フレームの出力を形成するステップと、
   を備え、
   前記移動ベクトルフィルタ処理は中央値フィルタ（Median filter）方法によってブロック・エレメント毎の移動ベクトルを分析し、
   前記中央値フィルタ方法は分析すべきブロック・エレメントの周囲に移動ベクトルが近似した複数のブロック・エレメントに基づき、分析すべきブロック・エレメントに応じた移動ベクトルを見つけ出す
   ことを特徴とするビデオ画像処理方法。
2. 前記方法は連続画像のフレーム間ウェーブレット（Inter-Frame Wavelet）圧縮作業に適用されることを特徴とする請求項１に記載のビデオ画像処理方法。
3. 前記中央値フィルタ方法は殆んどのブロック・エレメントの有した移動ベクトルを見つけ出すことを特徴とする請求項１に記載のビデオ画像処理方法。
4. 前記余分なブロック・エレメントを除去するステップは後続の圧縮作業の効率を向上させることを特徴とする請求項１に記載のビデオ画像処理方法。
5. 前記余分なブロック・エレメントとは、フィルタ処理された移動ベクトルについてその他のブロック・エレメントとの差異が過大なブロック・エレメントであることを特徴とする請求項１に記載のビデオ画像処理方法。

Images