JP2007074042A - 動画像処理装置及び方法 - Google Patents

Abstract

【課題】 三次元動画像表示で動き量に基づいてフレーム画像を調整することで動き量推定精度を向上することができる動画像処理装置及び動画像処理方法を提供する。
【解決手段】 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム単位の二つの画像データ間の相関を算出する相関算出処理と、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定処理と（Ｓ１１）、この動き量推定処理により動き量が小さいと推定された場合に、フレーム画像データを間引いて再生する間引き再生処理（Ｓ１２）を実行するようにした。
【選択図】 図３

Description

本発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置に関わり、特に、三次元画像表示用データの再生画像の奥行き方向の動き量を推定し、その動き量に基づいてフレーム補正をする動画像処理装置及び動画像処理方法に関するものである。

一般的に、三次元立体像表示においては、視野の異なる右眼用と左眼用の画像データを別々に用意して再現することで三次元表示処理がなされている。右眼用と左眼用の画像データ間の違い（相関）が奥行きとして再現され、二つの画像間の相関の大きさが奥行きの度合いを表し、この奥行き度合いの推定値を用いることで動き量の推定精度を向上するようにしたものがある。
動き量を推定する方式としては、特許文献１乃至４等が提案されている。
特許文献１に開示されている動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行うようにしている。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
また特許文献２には、入力画像の周波数成分により構成される水平方向の櫛状部分を検出して検出程度を表す量を出力し、入力画像に対し垂直高域通過フィルタリングを行い符号化する技術が開示されている。
特許文献３には、インターレースのくし型により、画像が動いているか否かを判定し、ブロックノンインターレースデータ（フレームデータ）とブロックインターレースデータ（フィールドデータ）の何れか一方のデータを選択して符号化を行う技術が開示されている。
特許文献４には、離散ウェーブレット変換で変換された係数を基にフレーム間での画像の動きを検出し、この検出した画像の動きを用いて符号化された画像データの量を低減する技術が開示されている。
特許文献５には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
特公平０４−７７５１７号公報 特開２００２−２７１７８９公報 特開２００２−６４８３０公報 特開２００１−３０９３８１公報 特開２００１−１６６１２公報

しかしながら、動画像再生では符号量が大きいために転送時にフレーム符号データの駒落ちが起こる場合がある。そこで、動画像の符号化処理の過程で、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００のようにフレーム間で独立に符号化されるような場合に、動き量がない場合にフレーム間引きとか符号量削減処理とかの編集をすることが提案されているが、動き量が高精度に推定できないと編集に起因する画質劣化を招くおそれがあった。
そこで、上記したような点を鑑みてなされたものであり、三次元動画像表示で動き量に基づいてフレーム画像を調整することで動き量推定精度を向上することができる動画像処理装置及び動画像処理方法を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、該動き量推定手段により動き量が小さいと推定された場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする。
請求項２に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする。
請求項３に記載の発明は、三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、フレーム画像データを符号化する符号化手段と、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする。

請求項４に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の画像データを符号化する符号化手段と、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする。
請求項５に記載の発明は、請求項２または４記載の動画像処理装置において、処理速度要求を入力する処理速度要求入力手段をさらに備え、前記動き量推定手段は、前記処理速度要求が高速要求の場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。
請求項６に記載の発明は、請求項１乃至４の何れか１項に記載の動画像処理装置において、フレーム補正精度要求を入力するフレーム補正精度要求入力手段をさらに備え、前記動き量推定手段は、前記フレーム補正精度要求が高い場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。

請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の動画像処理装置において、画像領域毎に動き量を推定する領域毎動き量推定手段と、前記画像領域毎に符号量を削減する符号量削減手段と、を備えたことを特徴とする。
請求項８記載の発明は、請求項１乃至７の何れか１項に記載の動画像処理装置において、前記相関の算出は画像データの一部の領域であることを特徴とする。
請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の動画像処理装置において、前記フレーム符号データはＭｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づいて符号化されることを特徴とする。
請求項１０に記載の発明は、請求項９記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えたことを特徴とする。
請求項１１に記載の発明は、請求項９記載の動画像処理装置において、画像データをウェーブレット変換するウェーブレット変換の過程で得られたサブ・バンド単位の符号データの符号量を算出するサブ・バンド符号量算出手段と、サブ・バンド１ＬＨ中の符号量またはサブ・バンド１ＨＬ中の符号量とで前記縦横方向動き量を推定する動き量推定手段と、を備えたことを特徴とする。
請求項１２に記載の発明は、請求項１乃至１１の何れか１項に記載の動画像処理装置において、フレーム画像データがインターレース画像であり、インターレース画像データを奇数フィールドの画像データと偶数フィールドの画像データに分割するフィールド分割手段と、あるインターレース画像の奇数フィールドの画像データと前記インターレース画像の一つ前のインターレース画像の偶数フィールドの画像データのフィールドデータを使用して動き量を推定する動き量手段と、を備えたことを特徴とする。
請求項１３に記載の発明は、請求項１２に記載の動画像処理装置において、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量を計算する動き量計算手段と、前記奇数及び偶数のフィールド間の動き量に基づいて前記動き量を判定する判定手段と、を備えたことを特徴とする。

請求項１４に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが、予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、該動き量推定ステップにより動き量が小さいと推定された場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする。
請求項１５に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする。
請求項１６に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。
請求項１７に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。

本発明によれば、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、動き量を高精度に推定することで、奥行き方向を含めた動画像の動き量が小さい場合にフレーム間引きしたり、フレーム画像を編集したりして符号量を削減することで、編集に起因する画質劣化を防止することができる。

以下、図面を参照しながら本発明の実施形態を説明する。
先ず、奥行き動き量によるフレーム間引き制御について説明する。
図１は、本発明の第１の実施形態の動画像処理装置の奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。なお、本実施形態では、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置の構成を例に挙げて説明する。
この図１に示す動画像処理装置は、奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部１０１、画像奥行き算出部１０２、動き量評価部１０３、フレーム（符号データ）編集部１０４、画像データ保存部１０５、評価基準動き量保存部１０６、フレーム毎奥行き保存部１０７、フレーム動き量評価結果保存部１０８、フレーム動き量変化評価結果保存部１０９により構成されている。
このように構成される動画像処理装置では、フレーム毎に画像の奥行きを算出する画像奥行き算出部１０２においてフレーム単位で、右眼用と左眼用の二つの画像データ間の相関を算出し、算出した相関値により三次元画像の奥行き度合いを推定する。動き量評価部１０３では、画像奥行き算出部１０２において推定された奥行き度合いが予め設定された設定値よりも小さいかどうかを判断する。動き量が小さいと判断した場合に、フレーム符号データ編集部１０４においてフレーム補正を指令する。フレーム符号データ編集部１０４では、動き量が小さいと判断したフレーム画像データを間引いたりするようにしている。
即ち、本実施形態においては、三次元画像入力部１０１にて、右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部１０２にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部１０３において評価基準動き量保存部１０６に保存された基準動き量と、画像奥行き算出部１０２において推定されたフレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部１０８に保存する。そして、直前に保存されたフレームの動き量評価結果と新たなフレームの動き量の評価結果とを比較し、フレーム動き量変化評価結果をフレーム動き量変化評価結果保存部１０９に保存する。フレーム符号データ編集部１０４においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。

図２は、奥行き方向の動き量をフレーム毎に推定する画像奥行き算出部１０２の構成を示したブロック図である。
この図２に示す画像奥行き算出部１０２は、領域毎に画像を抽出する領域毎画像抽出部４１、画像領域毎に奥行きを算出する画像領域毎奥行き算出部４２、フレーム奥行き算出部４３、画像データ保存部４４、画像領域データ保存部４５、領域毎奥行き保存部４６により構成される。
また画像領域毎奥行き算出部４２は、領域毎画像抽出部５１、ライン毎画像データ抽出部５２、相関算出部５３、奥行き算出部５４、ライン毎画像データ保存部５５、相関データ保存部５６により構成されている。
画像奥行き算出部１０２は、三次元画像入力部１０１で三次元画像データを読み込み、領域毎画像抽出部４１で画像領域の画像データを算出する。画像領域毎奥行き算出部４２では、画像領域毎に三次元画像入力部１０１にて画像領域の画像データを読み込み、ライン毎画像データ抽出部５２でライン毎に画像データをライン単位で読み込み、相関算出部５３においてライン単位で相関値を算出する。そして、奥行き算出部５４で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部４３は、保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部１０７には該フレームの画像データを再生した場合の奥行き情報が保存される。
このように構成される動作画像処理装置においては、フレーム補正を施し、処理負担の軽減、あるいは、フレーム符号データの保存量を節約するために、三次元画像の奥行き動き量が少ない場合にフレーム間引きをするようにしている。このため、前述したように、動き量として奥行き動き量を評価するところに特徴がある。

図３は第１の実施形態の動画像処理装置における奥行き動き量によるフレーム間引き制御の処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ１）、夫々の画像データのライン毎の相関値を算出する（Ｓ２）。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ３）、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする（Ｓ４）。
次に、ステップＳ５において、領域内の全ての画像に対して上記ステップＳ１〜Ｓ４の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ（Ｓ５でＮ）、ステップＳ１に戻って処理を繰り返し行う。
一方、ステップＳ５において領域内の全ての画像に対して上記ステップＳ１〜Ｓ４の処理が行われたと判断した場合は（Ｓ５でＹ）、続くステップＳ６において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ６でＮ）、領域を変更した後（Ｓ７）、ステップＳ１に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合（Ｓ６でＹ）、ステップＳ８に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き（度合い）評価値を決定する（Ｓ８）。例えば、ある第１閾値より小さければ→奥行き評価値＝小と判定し、ある第１閾値より大きければ→奥行き評価値＝大と判定し、それ以外であれば→奥行き評価値＝中と判定する。
次に、フレーム画像データの奥行き評価値を保存し（Ｓ９）、フレーム画像データの奥行き評価値と比較して奥行き変化の大小／奥行き方向の増加減少を識別する（Ｓ１０）。
例えば、Ｎ＝｜該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値｜であり、Ｎがある第１閾値より小さければ→奥行き変化＝小と判定、Ｎがある第２閾値より大きければ→奥行き変化＝大と判定、それ以外であれば→奥行き変化＝中と判定する。
次に、ステップＳ１１において、フレーム画像データの動き量（奥行き方向の動き量）の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ（Ｓ１１でＹ）、そのフレーム画像データを削除（フレーム間引き）して（Ｓ１２）、ステップＳ１３に進む。
一方、ステップＳ１１に否定結果が得られたときは（Ｓ１１でＮ）、ステップＳ１２においてフレーム画像データを削除することなくステップＳ１３に進む。
ステップＳ１３においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップＳ１に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。

このように第１の実施形態の動画像処理装置では、右眼用と左眼用の二つの画像データ間の相関を算出し、算出した相関値により三次元画像の奥行き度合いを推定する。そして奥行き度合いが予め設定された設定値よりも小さいか否かの判定を行い、動き量が小さいと判定した場合にフレーム補正、この場合はフレーム画像データを間引いて再生するようにしている。なお、上記したフレーム間引き制御の処理において、動き量を算出する際に、奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって該動き量を評価することもできる。
ここで、本実施形態の動画像処理装置では、三次元画像データを再生した場合の奥行き方向の動きによって動き量を推定するようにしている。奥行き方向の動き量を推定するのに右眼用と左眼用の二つの画像データの相関を用いる。
本実施形態における右眼用と左眼用の二つの画像データの相関の計算は、以下の式に従って算出する。
Ｓ（ｙ）は、ある画像ｙ番目のライン（ｙは０〜ｌy-1の範囲内の数値とする）の相関値である。

ここで、画素の（ｘ，ｙ）は座標値であり、Ｉ（ｘ，ｙ）は画像Ｉの座標（ｘ，ｙ）の値であり、Ｊ（ｘ，ｙ）は画像Ｊの座標（ｘ，ｙ）の値である。画像は、ｘの最大値がｌx-1、ｙの最大値がｌy-1よりなる。
なお、相関値は必ずしも上記に示すような算出式（式１）により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるｙ番目のラインの相関Ｓ（ｙ）は、以下の式２により求めてよい。その場合はより簡潔になる。
相関値Ｓ（ｙ）は、

また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値＜Ｓ→奥行き度合い＝大
相関値＞Ｓ→奥行き度合い＝小 ・・・式３
上記図３に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Ｓと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Ｓより大きかった場合に奥行き度合いが小さいと推定した。
また奥行き方向の動き量は、奥行き度合いの時間変化、すなわち、フレーム単位の奥行き度合いの変化によって推定する。
ところで、上記した第１の実施形態の動画像処理装置においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
そこで、次に第２の実施形態として奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上することができる動画像処理装置について説明する。即ち、動き量の算出の場合に、奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量を推定する動画像処理装置を説明する。

図４は、第２の実施形態に係る動画像処理装置の奥行き度合い算出部と、周辺部の構成を示した図である。なお、図２と同一部位には同一符号を付して説明は省略する。
この図に示す奥行き度合い算出部１０２は、領域毎画像抽出部４１、画像領域毎奥行き算出部４２、フレーム奥行き算出部４３、画像データ保存部４４、画像領域データ保存部４５、領域毎奥行き保存部４６、画面内動き量算出部８１、フレーム奥行き方向動き量算出部８２により構成される。
この場合は、画面内動き量算出部８１は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部のウェーブレット変換処理部でウェーブレット変換し、１ＬＨサブ・バンド成分の符号量と、１ＨＬサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量の推定精度を向上させている。勿論、動き量の推定の方法を処理速度要求によって切り替えても構わない。例えば、高速な処理が要求されている場合には、奥行き方向の動きだけ、あるいは、二次元平面方向の動きだけで動き量を推定し、そうでない場合に、奥行き方向と二次元平面方向の動きで動き量を推定するようにしても良い。

図５は、奥行き動き量によるフレーム間引き処理の概念説明図である。
本実施形態では、三次元表示における奥行き方向の動きが小さいときに該フレームを削除して（フレーム間引きして）、処理負担を軽減、あるいは、フレー符号データの保存量を節約している。即ち、本実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。ＭＰＥＧなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレームを間引くことを簡単に実現することはできない。これに対して、本実施形態では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化によりフレーム間独立で符号化することによって符号レベルでのフレームデータを削減することを容易に実現することができる。
尚、奥行き方向の動き量推定については、本出願人が先に出願した特願２００５−２０２３５８にて詳述している。
次に、本発明の奥行き動き量によるフレーム符号量削減制御方式について説明する。
なお、その場合の動画像処理装置の構成は、図２に示した動画像処理装置により実現できるため、図示は省略するが、フレーム符号データ編集部１０４の動き量が小さいと判断されたフレーム画像データを間引いて再生する機能を備えている点に特徴がある。

図６は、第３の実施形態の動画像処理装置における奥行き動き量によるフレーム符号量の削減処理を示したフローチャートである。なお、図３と同一処理には同一符号を付して詳細な説明は省略する。
この場合も、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ１）、夫々の画像データのライン毎の相関値を算出する（Ｓ２）。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ３）、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする（Ｓ４）。
次に、ステップＳ５において、領域内の全ての画像に対して上記ステップＳ１〜Ｓ４の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ（Ｓ５でＮ）、ステップＳ１に戻って処理を繰り返し行う。
一方、ステップＳ５において領域内の全ての画像に対して上記ステップＳ１〜Ｓ４の処理が行われたと判断した場合は（Ｓ５でＹ）、続くステップＳ６において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ６でＮ）、領域を変更した後（Ｓ７）、ステップＳ１に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合（Ｓ６でＹ）、ステップＳ８に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き（度合い）評価値を決定する（Ｓ８）。
次に、フレーム画像データの奥行き評価値を保存し（Ｓ９）、フレーム画像データの奥行き評価値と比較して奥行き変化の大小／奥行き方向の増加減少を識別する（Ｓ１０）。
次に、ステップＳ２１において、フレーム画像データの動き量（奥行き方向の動き量）の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ（Ｓ１１でＹ）、そのフレーム画像データの符号量を削減して（Ｓ２１）、ステップＳ１３に進む。
一方、ステップＳ１１に否定結果が得られたときは（Ｓ１１でＮ）、ステップＳ２１においてフレーム画像データを削除することなくステップＳ１３に進む。
ステップＳ１３においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップＳ１に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。

図７は奥行き動き量によるフレーム符号量を削減する処理の概念説明図である。
第３の実施形態では、三次元表示における奥行き方向の動きが小さいときにフレーム符号量を削除して、処理負担を軽減、あるいは、フレーム符号データの保存量を節約している。
第３の実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。その場合、ＭＰＥＧなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレーム符号データの編集を簡単に実現することはできない。そこで、本実施形態では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化によりフレーム間独立で符号化することによって符号レベルでのフレーム符号量を削減することを容易に実現できる。
次に、領域毎に奥行き方向の動き量推定方法について説明する。
本実施形態の動画像処理装置では、一部の画像領域を調べて動き量を推定し、該動き量に基づいてフレーム補正することもできる。一部の画像領域を調べるだけであるので処理効率を高めることができる。
本実施形態では、前述した動き量推定のための相関値の算出は、例えば、（式１）あるいは（式２）において、先頭ラインからいくつかのライン（ｙｎ）までのラインについてΣ（ｙ＝０〜ｙｎ）Ｓ（ｙ）を算出して、画像全体の相関値として推定する。
ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、あるいは、処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。

図８は、第４の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。なお、図２と同一部位には同一符号を付して説明は省略する。
図８に示す動画像処理装置は、三次元画像入力部１０１、画像データ保存部１２、属性毎領域抽出部１３、属性画像領域データ保存部１４、画像属性毎奥行き算出部１５、奥行きデータ保存部１６により構成される。
さらに画像属性毎奥行き算出部１５は、画像属性毎画像抽出部２１、ライン毎画像データ抽出部２２、相関算出部２３、奥行き算出部２４、ライン毎画像データ保存部２５、相関データ保存部２６により構成されている。
三次元画像入力部１０１では右眼用と左眼用の三次元画像データを読み込み、属性毎領域抽出部１３では右眼用と左眼用夫々の画像属性毎に領域抽出を行う。画像属性毎奥行き算出部１５では、画像属性毎画像抽出部２１にて属性領域の画像データを読み込み、ライン毎画像データ抽出部２２で画像データをライン単位で読み込み、相関算出部２３で、ライン単位で相関値を算出する。そして、奥行き算出部２３で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部２６に保存する。
奥行き算出部２４では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部２４では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。奥行きデータ保存部１６には画像属性領域毎に算出された奥行き情報が保存される。

図９は、上記した三次元画像領域毎に奥行きを算出する原理図である。
右眼用と左眼用の二つの画像データに属性毎の領域データに対して相関算出部２３において相関算出処理を施す。この場合は、相関算出部２３において右眼用と左眼用の二つの画像データの同じ領域の画像データ同士の相関を算出している。従って、画像属性毎の領域の算出は右眼用と左眼用の二つの画像データの中で一つの画像データに対してだけ画像属性の領域を算出すればよい。
図１０は第４の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、右眼用と左眼用の三次元画像データを入力し（Ｓ４１）、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する（Ｓ４２）。
次に、右眼用と左眼用の三次元画像データのライン毎に入力し（Ｓ４３）、夫々の画像データをライン毎に相関値を算出する（Ｓ４４）。そして、相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ４５）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする（Ｓ４６）。
そして続くステップＳ４７において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ（Ｓ４７でＮ）、ステップＳ４３に戻って処理を行う。
一方、ステップＳ４７において領域内の全ての画像に行ったと判断した場合は（Ｓ４７でＹ）、続くステップＳ４８において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ４８でＮ）、領域を変更した後（Ｓ４９）、ステップＳ４３に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば（Ｓ４８でＹ）、処理を終了する。

次に、ＪＰＥＧ２０００における符号レベルでのフレーム補正について説明する。
先に説明したように、フレーム画像データが、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づき符号化あるいは復号化されていると、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、フレーム単位に独立して扱えるため、本発明の方式を容易に適応することができ有効である。特に、符号レベルで動画像のフレームを一部削減するとか、符号量を削減することができ有効である。
また、符号化は、ＪＰＥＧ２０００で符号化されていると、後述するような、動き量を推定する場合にウェーブレット係数符号データを分析することによって、フレーム単位で容易に実施できる。
ＭｏｔｉｏｎＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。そこで、まず、簡潔に「ＪＰＥＧ２０００アルゴリズム」について説明する。

ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化は、おおよそ以下の手順でなされる。
（１）インターレース画像のフレームデータを、Ｙ、Ｃｒ、Ｃｂの色成分毎のデータに変換する。
各色成分の色データに対して
（２）２次元離散ウェーブレット変換を施す。
（３）得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施す。
（４）スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。
全ての色データに対して（２）〜（４）の処理を施した後、
（５）ＪＰＥＧ２０００で規定する符号列を生成する。
復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は、既に存在する。

図１１はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４により構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を各々用いている。
ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部１１４と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、図１５に示したようにブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。

以下、ＪＰＥＧ２０００アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に図１２に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル１２０のデータが、図１１の色空間変換部１１０に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
図１３には、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。

さらに図１５では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。
例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１１の量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図１５に示したように一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
エントロピー符号化部１１３（図１１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。

エントロピー符号化部１１３で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットは、あるプログレッシブ順データ、例えば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
（１）ＬＲＣＰ プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
（２）ＲＬＣＰ プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ 同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
（３）ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
（４）ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。

最後にタグ処理部（符号列形成部）は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
図１４には、コード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図１１を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められると共に、逆量子化部１１２でその対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。
エントロピー復号化部１１３で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、ＪＰＥＧ２０００の符号データは、５通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除することで符号量を減らすことを簡単に行うことができるのである。
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００のようにフレーム間独立に符号化されているので、フレーム画像が符号化されたフレーム符号を削除することは簡単に実現することができるのである。
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化による符号データ形成後に、符号レベルでフレーム符号データを削除することや、符号データを簡単に編集することができる。

次に、二次元平面方向の動き量の推定方法について説明する。
本実施形態では、二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるか否かの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。典型的な、二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度（高速／低速）を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度（高速／低速）を検出することができる。

ここで、櫛形成分の分析による二次元平面方向の動き量判定について説明する。
図１６（ａ）は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用と左眼用の三次元画像データである。
このように、撮影の開始時間ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間ｔｎまでの間に一定時間単位、例えば１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
図１６（ｂ）は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。
図１６（ｂ）に示すように、インターレース形式の画像は、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。次に、前回スキャンしなかった画素ライン（点線で示す走査ライン）のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、１／１２０秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図１６（ｂ）に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ（実線で示す走査ライン）であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ（点線で示す走査ライン）である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。

このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用と左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用と左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
フレームデータをフィールドデータへ分解して生成された、奇数フィールドデータ内、偶数フィールドデータ内では夫々被写体（画像）はほぼ連続であるが、被写体が高速に動いた場合は、奇数フィールドデータ内の被写体（画像）と偶数フィールドデータ内の被写体（画像）において互いにずれが生ずる。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差により横方向の動きが大きい（横方向の動作が速い）ほど、図１８で示すように櫛形形状が顕著に現れることになる。横方向の動きが大きい場合にフレームを新たに追加することにより、上述したように簡易な演算で判定できる。

先に説明したように、被写体が高速に動いた場合は、奇数フィールドデータ内の被写体（画像）と偶数フィールドデータ内の被写体（画像）が互いにスキャン時間の異なるためにずれることから、高速に横方向に動いた場合、その分だけくし型部分の発生量が増えるのである。
そこで、二次元平面方向の動き量を櫛形成分の量により推定することができる。
即ち、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量をくし型の量を計算することによって求める。櫛形成分の量により動き量を推定する機能を提供することにより、一つのフレーム内におけるフィールド間の動きを推定できるので、複数のフレームを調べることなく効率的に画像（フレーム）の動きを推定できる。櫛形ノイズの影響を軽減したなめらかなフレームの追加ができる。
さて、図１８に示すくし型のずれの量Ｌは、被写体のインターレース画像内での移動速度に比例して長くなる。ここで、ノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブ・バンドの係数値は、横のエッジ成分の合計、即ち、被写体のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブ・バンドの係数値は、縦のエッジ成分の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとみなせる。そこで、フレーム間の動き量を判断する、より簡易な方法として、１ＬＨのサブ・バンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。すなわち、ウェーブレット変換手段により得られるウェーブレット係数の内、前記サブ・バンドの係数値に基づいて、前記フレーム間の動き量を判定する。ウェーブレット符号化である場合に１ＬＨサブ・バンド成分の係数値により簡易に動き量が推定できるのである。周波数領域データ比較により二次元平面方向の動き量を判定することができるのである。

ところで、インターレース画像内での被写体の移動速度の判定は、サブブロック（ＪＰＥＧ２０００規格のコード・ブロック）でもよい。サブ・バンド単位で被写体の移動速度を判定する場合に比べ、サブ・バンドよりも小さな、例えば、３２×３２画素マトリクスよりなるサブブロック単位での判断結果に基づいて総合的にフレーム内の被写体の移動速度について判定を行うことで、静止画（風景）の中を比較的小さな被写体だけが高速で移動する場合を、正しく認識することができる。即ち、フレームをウェーブレット変換によりサブ・バンドに分割し、さらにサブブロックに分割し、任意のサブブロックの係数値を用いてフレーム間の動き量を判定する。より細かな単位の周波数領域データ比較による動き量を判定することができるのである。
そこで、次に符号量による二次元平面方向の動き量判定について説明する。
上記に示したことは、係数値でなく符号量によっても判断することができる。即ち、前述したことと同様な考え方から、インターレース画像のフレーム画像データを２次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に１ＬＨのサブ・バンドの符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブ・バンドの符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の動き量を判定することができる。
サブ・バンド１ＬＨ中の符号量とサブ・バンド１ＨＬ中の符号量とを比較する、またはサブ・バンド１ＬＨ中の所定のサブブロックの符号量とサブ・バンド１ＨＬ中の所定のサブブロックの符号量とを比較することで、前記比較結果に基づいてフレーム間の動き量を判定する。
このとき、サブ・バンド１ＬＨ中の符号量とサブ・バンド１ＨＬ中の符号量とをサブ・バンドの領域単位で予め決められた順に順次比較し、あるいは、サブ・バンド１ＬＨ中の所定のサブブロックの符号量とサブ・バンド１ＨＬ中の所定のサブブロックの符号量とをサブブロック単位で予め決められた順に順次比較し、その比較結果に基づいてフレーム間の動き量を判定し、動き量が予め設定された設定値よりある一定値を超えたら動きは大きいと判断し以後の比較を止めることで効率的に動き量を判定することもできる。

図１７は、本発明の第５の実施形態における二次元平面方向の動き量を推定する処理を示したフローチャートである。
この場合は、まず、２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨの係数の絶対値の和であるｓｕｍ１ＬＨを求める（Ｓ５１）。次に、１ＨＬの係数の絶対値の和であるｓｕｍ１ＨＬを求める（Ｓ５２）。そして、ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（Ｓ５３）。上記ｓｐｅｅｄは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
次に、ステップＳ５３において求めた係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ１よりも大きいか否かの判定を行い大きい場合（Ｓ５３でＹ）、フレーム内での被写体の移動速度が高速であると判定する。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ１よりも小さい場合（Ｓ５３でＮ）、フレーム内での被写体の移動速度が低速であると判定することができる。

本発明の第１の実施形態の動画像処理装置の奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。 奥行き方向の動き量を推定するフレーム毎の画像奥行き算出部１０２の構成を示したブロック図である。 第１の実施形態の動画像処理装置における奥行き動き量によるフレーム間引き制御の処理を示したフローチャートである。 第２の実施形態に係る動画像処理装置の奥行き度合い算出部と、周辺部の構成を示した図である。 奥行き動き量によるフレーム間引き処理の概念説明図である。 第３の実施形態の動画像処理装置における奥行き動き量によるフレーム符号量の削減処理を示したフローチャートである。 奥行き動き量によるフレーム符号量を削減する処理の概念説明図である。 第４の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。 三次元画像領域毎に奥行きを算出する原理図である。 第４の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。 ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。 タイル分割の基本を説明するための図である。 デコンポジション・レベルとサブ・バンドを説明するための図である。 コード・ストリームの構造を説明するための図である。 プレシンクトとコード・ブロックを説明するための図である。 （ａ）はフレームデータについての説明図、（ｂ）はインターレース形式のフレームデータのフィールドデータについての説明図である。 第５の実施形態における二次元平面方向の動き量を推定する処理を示したフローチャートである。 （ａ）〜（ｄ）は被写体が高速に動いた場合に奇数フィールドと偶数フィールドとの間で発生するずれを説明するための図。

符号の説明

１０１…三次元画像入力部、１０２…画像奥行き算出部、１０３…動き量評価部、１０４…フレーム符号データ編集部、１０５…画像データ保存部、１０６…評価基準動き量保存部、１０７…フレーム毎奥行き保存部、１０８…フレーム動き量評価結果保存部、１０９…フレーム動き量変化評価結果保存部、１１０…色空間変換・逆変換部、１１１…２次元ウェーブレット変換・逆変換部、１１２…量子化・逆量子化部、１１３…エントロピー符号化・復号化部、１１４…タグ処理部、１２…画像データ保存部、１３…属性毎領域抽出部、１４…属性画像領域データ保存部、１５…画像属性毎奥行き算出部、１６…奥行きデータ保存部、２１…画像属性毎画像抽出部、２２…ライン毎画像データ抽出部、２３…相関算出部、２４…奥行き算出部、２５…ライン毎画像データ保存部、２６…相関データ保存部、３…相関算出部、４１…領域毎画像抽出部、４２…画像領域毎奥行き算出部、４３…フレーム奥行き算出部、４４…画像データ保存部、４５…画像領域データ保存部、４６…領域毎奥行き保存部、５１…領域毎画像抽出部、５２…ライン毎画像データ抽出部、５３…相関算出部、５４…奥行き算出部、５５…ライン毎画像データ保存部、５６…相関データ保存部、８１…画面内動き量算出部

Claims (17)

1. 三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、該動き量推定手段により動き量が小さいと推定された場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする動画像処理装置。
2. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする動画像処理装置。
3. 三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、フレーム画像データを符号化する符号化手段と、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする動画像処理装置。
4. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の画像データを符号化する符号化手段と、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする動画像処理装置。
5. 請求項２または４記載の動画像処理装置において、処理速度要求を入力する処理速度要求入力手段をさらに備え、前記動き量推定手段は、前記処理速度要求が高速要求の場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする動画像処理装置。
6. 請求項１乃至４の何れか１項に記載の動画像処理装置において、フレーム補正精度要求を入力するフレーム補正精度要求入力手段をさらに備え、前記動き量推定手段は、前記フレーム補正精度要求が高い場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする動画像処理装置。
7. 請求項１乃至６の何れか１項に記載の動画像処理装置において、画像領域毎に動き量を推定する領域毎動き量推定手段と、前記画像領域毎に符号量を削減する符号量削減手段と、を備えたことを特徴とする動画像処理装置。
8. 請求項１乃至７の何れか１項に記載の動画像処理装置において、前記相関の算出は画像データの一部の領域であることを特徴とする動画像処理装置。
9. 請求項１乃至８の何れか１項に記載の動画像処理装置において、前記フレーム符号データはＭｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づいて符号化されることを特徴とする動画像処理装置。
10. 請求項９記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えたことを特徴とする動画像処理装置。
11. 請求項９記載の動画像処理装置において、画像データをウェーブレット変換するウェーブレット変換の過程で得られたサブ・バンド単位の符号データの符号量を算出するサブ・バンド符号量算出手段と、サブ・バンド１ＬＨ中の符号量またはサブ・バンド１ＨＬ中の符号量とで前記縦横方向動き量を推定する動き量推定手段と、を備えたことを特徴とする動画像処理装置。
12. 請求項１乃至１１の何れか１項に記載の動画像処理装置において、フレーム画像データがインターレース画像であり、インターレース画像データを奇数フィールドの画像データと偶数フィールドの画像データに分割するフィールド分割手段と、あるインターレース画像の奇数フィールドの画像データと前記インターレース画像の一つ前のインターレース画像の偶数フィールドの画像データのフィールドデータを使用して動き量を推定する動き量手段と、を備えたことを特徴とする動画像処理装置。
13. 請求項１２に記載の動画像処理装置において、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量を計算する動き量計算手段と、前記奇数及び偶数のフィールド間の動き量に基づいて前記動き量を判定する判定手段と、を備えたことを特徴とする動画像処理装置。
14. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが、予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、該動き量推定ステップにより動き量が小さいと推定された場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする動画像処理方法。
15. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする動画像処理方法。
16. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする動画像処理方法。
17. 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする動画像処理方法。

Images