JP4792250B2 - 動画像処理装置、及び動画像処理方法 - Google Patents

Description

本発明は、三次元動画像表示用データの奥行き度合いを推定、或いは調整する動画像処理装置に関わり、特に、三次元動画像表示における視覚的疲労に起因する奥行き方向の動きを推定する技術に関するものである。

近年、奥行きを有する三次元動画像の再生を行う動画像処理装置の開発が行われている。
例えば、特許文献１には右眼用と左眼用の立体動画像を、合成器を用いて１水平走査線毎に合成してフレーム画像を形成し、その合成したフレーム画像をＭＰＥＧ（Moving Picture Image Coding Experts Group）方式のエンコーダを用いて符号化する技術が開示されている。また特許文献２には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
特開平８−７０４７５号公報 特開２００１−１６６１２公報

しかしながら、上記したような三次元動画像を再生する場合、特に、奥行き方向の動きを伴う場合には視覚的に大きな目の疲労を伴うという問題点があった。
そこで、本発明は上記したような問題点を鑑みてなされたものであり、三次元動画像を再現する場合に視覚的な眼の疲労を防止できる動画像処理装置とその方法を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段と、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、前記属性領域は、前記相関算出手段及び前記奥行き推定手段における画像領域であり、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段と、を備える動画像処理装置を特徴とする。
請求項２の発明は、請求項１において、前記属性は、文字である動画像処理装置を特徴とする。
請求項３に記載の発明は、請求項１又は２に記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備える動画像処理装置を特徴とする。
請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする。
請求項５に記載の発明は、請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする。
請求項６に記載の発明は、請求項１乃至５の何れか一項記載の動画像処理装置において、右眼用と左眼用の両方の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段と、を備えることを特徴とする。
請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする。
請求項８に記載の発明は、請求項７に記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする。
請求項９に記載の発明は、請求項１乃至８の何れか一項に記載の動画像処理装置において、前記相関の算出により再現画像の奥行き動き量の分布を算出する算出手段を備えることを特徴とする。
請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載の動画像処理装置において、前記属性領域の識別を符号化された画像データについて行うことを特徴とする。

請求項１１に記載の発明は、請求項１０に記載の動画像処理装置において、前記符号化された画像データは、ＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする。
請求項１２に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力手段と、入力された二つのフレーム画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出されたフレーム間における相関値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定手段と、フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする。
請求項１３に記載の発明は、請求項１２に記載の動画像処理装置において、前記遅延手段は、前記フレームレートを遅くする処理を符号化されたフレーム画像データについて行うことを特徴とする。
請求項１４に記載の発明は、請求項１３に記載の動画像処理装置において、前記フレーム画像データはｍｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づいて符号化されることを特徴とする。
請求項１５に記載の発明は、請求項１２乃至１４の何れか一項に記載の動画像処理装置において、フレーム画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。
請求項１６に記載の発明は、三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、を有することを特徴とする。
請求項１７に記載の発明は、三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする。

本発明によれば、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関を相関算出手段により算出し、算出した相関の値により三次元画像の画像領域毎の奥行き度合いを推定することで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、簡易に三次元画像の画像属性領域毎の奥行き度合いを算出することができる。また、簡易に三次元表示画像の奥行きを自動的に調整する手段を提供することができる。
また、文字再現の奥行きを調整する手段を提供することができる。また眼の疲労に基づいた処理を行うことができる。
また、本発明によれば、簡易に三次元表示画像の奥行きをなくす調整をする手段を提供することができる。また三次元動画像表示を二次元画像表示に簡易に変換する手段を提供することができる。
また、本発明によれば、通常水平ライン毎に撮影またはスキャンされた画像データが生成されるため、水平ライン毎に相関を算出することで効率的に計算することが可能になる。
また、本発明によれば、垂直方向で垂直ライン毎に撮影またはスキャンされた画像データに対して効率的に垂直ライン毎の相関を算出することで効率的に計算することが可能になる。

また、本発明によれば、視差を有する右眼用と左眼用の画像データの三次元再生時における奥行き情報を抽出する過程で画像データを合成することができるので、効率的に処理ができると共に、画像データをまとめて符号化することで符号化効率を高めることができる。
また、本発明によれば、連続画像データを対象とすることができる。簡易に奥行きを算出できるので連続三次元動画像の効率的な再現ができる。
また、本発明によれば、インターレースタイプの連続画像データを対象とすることができる。ライン毎に制御することが容易であるため効率的に奥行き情報を抽出することができる。
また、本発明によれば、簡易に画像全体の奥行き動き量を算出する手段を提供することができる。

また、本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
また、本発明によれば、符号データを汎用的に用いられているＪＰＥＧ２０００規格に基づいたデータとすることで汎用性を高めることができる。
また、本発明によれば、入力された二つのフレーム画像データ間の相関を相関算出手段により算出し、算出したフレーム間における相関値の変化により三次元画像の奥行き方向の動き量を推定するようにしたことで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、特に眼の疲労が大きい三次元表示の動き量が大きいところの動きを緩やかにすることで眼の疲労を大幅に低減することができる。
また、本発明によれば、ＩＳＯの国際標準であるため汎用的な符号化データとすることで汎用性を高めることができる。
また、本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
先ず、三次元（３Ｄ）画像の再生時に問題となる動きを伴う立体画像を観察する場合に特に激しいと言われている視覚的疲労を回避する方法について説明する。
図１は、本発明の第１の実施形態に係る動画像処理装置の動画再生時に奥行き調整を行うシステムの構成を示したブロック図である。
この図１に示す動画像処理装置１は、画像データ入力部２、画像データ保存部３、画像データ編集部４、符号化処理部５、符号列編集部６、データ転送部７、復号化処理部８、出力処理部９、奥行き調整指示部１０、画像データ保存部１１、符号データ保存部１２、符号データ保存部１３、奥行き度合い算出部１４、奥行きデータ保存部１５より構成される。
三次元画像データである右眼用と左眼用の動画像データは、フレーム単位で画像データ入力部２により入力され、画像データ保存部３で一旦保持された後、符号化処理部５により符号化されて符号データ保存部１２に保持される。符号データ保存部１２に保持された符号データはデータ転送部７により符号データ保存部１３に転送され、符号データ保存部１３を介して復号化処理部８で復号される。この復号データは画像データ保存部１１に一時的に保存された後、或いは直接、出力処理部９に出力され、出力処理部９において立体画像を出力（表示）するようにしている。さらに奥行き調整指示部１０により奥行きの度合いの指示を行い、この指示に従って、必要であれば、奥行き度合い算出部１４において入力された画像データの奥行き度合いを算出し、画像データ編集部４において入力された画像データを編集してから符号化処理部５で符号化するようにしている。
このように構成される第１の実施形態の動画像処理装置１においては、画像データ編集部４において画像データを編集し、奥行き調整を行うようにした点に特徴がある。なお、フレーム単位で右眼用と左眼用の画像データを互いに重ね合わせて（マージして）、画像データを作成してもよい。その場合は復号化処理部８で復号後にマージされた画像データを分離して、元の右眼用と左眼用の動画像データに分離すれば良い。
また、第１の実施形態の動画像処理装置１においては、奥行き調整指示部１０の指示に従って画像データを編集するのではなく、符号列編集部６で符号化されたデータを編集して奥行き調整を行う機能も備えている。

図２は、第１の実施形態の動画像処理装置において動画再生時の奥行き調整に係る概念説明図である。
第１の実施形態の動画像処理装置１は、上記したように右眼用画像データと左眼用画像データの再生時に奥行きを調整する機能を有している点に特徴があり、疲労の度合いに応じ奥行き度合いを指示するようにしている。奥行き調整方法は、画像データ編集部４に備えられている画像データ修正部４ａとデータ合成部４ｂ、及び奥行き度合い算出部１４に設けられている後述する相関算出部５３を用いて画像データを調整する場合と、符号列編集部６の符合データを調整する場合とがある。
この図２に示す例では、動画像データがフレーム単位で順次入力される場合には相関算出部１４ａで相関を算出して両者をマージ（合成）して符号化している。勿論、符号データは別々に独立に符号化するのであっても構わない。奥行き度合いを推定する相関の算出は、いつも施す必要はなく、例えば奥行き調整をする場合に相関を算出し奥行き度合いがある一定水準になるように画像データを編集すれば良い。
なお、三次元画像データである右眼用と左眼用の画像データの編集によって再生時の奥行き度合いを調整する方法は、後述する再生時に一部領域の奥行きがなくなる（二次元表示になる）ように補正する方法がある。また符号データの編集方法は、後述する符号化後の符号データに対して編集を施し画像データの編集と同じく奥行きを調整する方法がある。

以下、動画再生時に画像データの奥行き度合いの調整方法について説明する。
先ず、画像データの編集により奥行き度合いを調整する場合について説明する。
図３は画像データの編集による奥行き調整処理を示したフローチャートである。
この場合、先ず、ステップＳ１において三次元画像データである右眼用と左眼用夫々の画像データの入力が有ったどうかの判断を行い、三次元画像データの入力が有れば（Ｓ１でＹ）、夫々の三次元画像データの符号化と復号化の処理を行い（Ｓ２、Ｓ３）、右眼用と左眼用夫々の画像データの再生を行う（Ｓ４）。なお、ステップＳ１において、三次元画像データの入力が無いと判断した場合（Ｓ１でＮ）、処理を終了する。
次に、ステップＳ５において、奥行き調整指示部１０からの奥行き調整指示の有無を判断し、指示があれば（Ｓ５でＹ）、ステップＳ６に進む。なお、奥行き調整指示部１０から指示が無ければ（Ｓ５でＮ）、ステップＳ２に戻って、ステップＳ２からの処理を繰り返し実行する。
ステップＳ６において、奥行き調整指示部１０からの奥行き調整指示が奥行き度合いを減らす指示であると判断した場合（Ｓ６でＹ）、右眼用と左眼用夫々の画像データを入力し（Ｓ７）、奥行き度合いの指示に応じて画像データの修正を行い（Ｓ８）、三次元画像データである右眼用と左眼用の画像データをマージする（Ｓ９）。そして、マージされた画像データの符号化、復号化を行った後（Ｓ１０、Ｓ１１）、マージされた画像データを分解して元の右眼用と左眼用の画像データに戻して（Ｓ１２）、ステップＳ７に戻るようにする。なお、ステップＳ７において右眼用と左眼用の画像データの入力が無くなったときはそのまま処理を終了する。

次に、動画再生時に符号データの編集により奥行き度合いを調整する場合を説明する。
図４は符号データの編集による奥行き度合いの調整処理を示したフローチャートである。
この場合は、右眼用と左眼用夫々の画像データを入力し（Ｓ２１）、符号化と復号化の処理を行い（Ｓ２２、Ｓ２３）、右眼用と左眼用夫々の画像データの再生を行う（Ｓ２４）。
次に、ステップＳ２５において、奥行き調整指示部１０からの奥行き調整指示の有無を判断し、指示があれば（Ｓ２５でＹ）、ステップＳ２６に進み、指示が無ければステップＳ２１へ戻ってステップＳ２１から処理を行う。
ステップＳ２６において、奥行き調整指示部１０からの指示が奥行き度合いを減らす指示である場合は、右眼用と左眼用夫々の画像データを入力し（Ｓ２７）、画像データが有れば（Ｓ２８でＮ）、符号化した後（Ｓ２９）、奥行き度合いの指示に応じて符号化した符号データの修正を行って（Ｓ３０）、ステップＳ２７へ戻るようにする。なお、ステップＳ２８において三次元画像データがなくなったと判断した場合（Ｓ２８でＹ）、処理を終了する。
このようにすれば、立体動画像を再生しているときに疲労に応じて奥行き度合いを調整して、例えば、奥行きを全くなくし立体表示をやめる調整を行うことが可能になる。また、画像サーバ側へ指示することで転送符号量を減らすことができる。
次に、本発明の第２の実施形態として相関の変化に基づいて三次元画像の奥行き方向の動きを推定する推定方法について説明する。
一般に右眼用と左眼用の画像データの奥行き度合いは、二つの画像データ間の相関値の逆数と比例関係にある。
そこで、第２の実施形態の動画像処理装置ではこのような関係を踏まえてフレーム単位で連続している動画像を再現する際に各フレーム画像の相関値の変化に基づいて奥行き方向の動きを推定するところに特徴がある。
図５は、右眼用と左眼用の画像データの奥行きを算出する算出方法の概念を説明する図である。
図５に示すように、三次元画像データである右眼用と左眼用の画像データにおいて領域毎の奥行き度合いを算出する場合は、奥行き度合い算出部に設けられている相関算出部により算出した相関値に基づいて奥行き度合い算出部において画像領域毎の奥行き度合いを算出し、フレーム単位奥行き度合い算出部においてフレーム単位の奥行き量、即ち画像全体の奥行き度合いを推定するようにする。ここで、画像データの奥行き度合いは、相関値の逆数と比例関係があることに基づいて推定するようにしている。

図６は、第２の実施形態の動画像処理装置においてライン毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ３１）、夫々の画像データのライン毎の相関値を算出する（Ｓ３２）。このような算出処理は、ステップＳ３３において全ての三次元画像データに行われたと判断されるまで繰り返し行う。そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして（Ｓ３４）、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いとする（Ｓ３５）。
図７は、第２の実施形態の動画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、三次元画像データである右眼用と左眼用の画像データを入力し（Ｓ４１）、右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出する（Ｓ４２）。
次に、右眼用と左眼用の画像データのライン毎に入力し（Ｓ４３）、夫々の画像データをライン毎に相関値を算出する（Ｓ４４）。そして、相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ４５）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする（Ｓ４６）。そして続くステップＳ４７において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ（Ｓ４７でＮ）、ステップＳ４３に戻って処理を行う。
一方、ステップＳ４７において領域内の全ての画像に行ったと判断した場合は（Ｓ４７でＹ）、続くステップＳ４８において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ４８でＮ）、領域を変更した後（Ｓ４９）、ステップＳ４３に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば（Ｓ４８でＹ）、処理を終了する。

上記した右眼用と左眼用の画像データの相関値の計算は、以下の式に従って算出する。
Ｓ（ｙ）は、ある画像ｙ番目のライン（ｙは０〜ｌy-1の範囲内の数値とする）の相関値である。

ここで、画素の（ｘ，ｙ）は座標値であり、Ｉ（ｘ，ｙ）は画像Ｉの座標（ｘ，ｙ）の値であり、Ｊ（ｘ，ｙ）は画像Ｊの座標（ｘ，ｙ）の値である。画像は、ｘの最大値がｌx-1、ｙの最大値がｌy-1よりなる。
なお、相関値は必ずしも上記に示すような算出式（式１）により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるｙ番目のラインの相関Ｓ（ｙ）は、以下の式２により求めてよい。その場合はより簡潔になる。
相関値Ｓ（ｙ）は、

また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値＜Ｓ→奥行き度合い＝大
相関値＞Ｓ→奥行き度合い＝小 ・・・（式３）
上記図５に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Ｓと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Ｓより大きかった場合に奥行き度合いが小さいと推定した。またフレーム画像データのフレーム単位奥行き量は、以下のような（式４）により算出するようにした。
フレーム単位奥行き量＝奥行き度合いの平均値・・・（式４）
図８は、上記した奥行き方向の動き量を推定する推定方法の概念説明図である。
この図に示す奥行き方向の動き量は、奥行き度合いの時間変化、即ちフレーム単位の奥行き度合いの変化によって推定して奥行き動き量の変化（分布）を算出している。

図９は第２の実施形態に係る動画像処理装置の奥行き方向の動き量を推定する奥行き度合い算出部の構成を示した図である。なお、第２の実施形態に係る動画像処理装置の他の構成は、図１と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図９において、３３はフレーム毎の画像奥行き方向の動きを算出する画像奥行き方向動き算出部、３４はフレーム奥行き保存部、３５は奥行き方向動き保存部により構成されている。
奥行き度合い算出部１４は、画像データ入力部３２より入力された動画像データを分析してフレーム毎に画像再生時の奥行きを算出し、フレーム単位の奥行きデータを使用して、画像奥行き方向動き算出部３３にて奥行き方向の動き量を推定する。
奥行き度合い算出部１４は、領域毎に画像を抽出する領域毎画像抽出部４１、画像領域毎に奥行きを算出する画像領域毎奥行き算出部４２、フレーム奥行き算出部４３、画像データ保存部４４、画像領域データ保存部４５、領域毎奥行き保存部４６により構成される。
また画像領域毎奥行き算出部４２は、領域毎画像抽出部５１、ライン毎画像データ抽出部５２、相関算出部５３、奥行き算出部５４、ライン毎画像データ保存部５５、相関データ保存部５６により構成されている。
画像奥行き算出部１４は、画像データ入力部２で三次元画像データを読み込み、領域毎画像抽出部４１で画像領域の画像データを算出する。
画像領域毎奥行き算出部４２では、画像領域毎に画像データ入力部２にて画像領域毎に画像データを読み込み、ライン毎画像データ抽出部５２でライン毎に画像データをライン単位で読み込み、相関算出部５３においてライン単位で相関値を算出する。そして、奥行き算出部５４で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部４３は、領域毎奥行き保存部４６に保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部３４には該フレームの画像データを再生した場合の奥行き情報が保存される。なお、第２の実施形態では画像属性毎に奥行き情報を算出するものとしているが画像領域毎に奥行き情報を算出することも勿論可能であり、その場合は画像領域を予めブロック毎に区分してブロック単位で奥行き情報を算出すればよい。

図１０は奥行き方向の動き量推定処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ５１）、夫々の画像データのライン毎の相関値を算出する（Ｓ５２）。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ５３）、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする（Ｓ５４）。
ここで、領域内の全ての画像に対して上記ステップＳ５１〜Ｓ５４の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ（Ｓ５５でＮ）、ステップＳ５１に戻って処理を繰り返し行う。
一方、ステップＳ５５において領域内の全ての画像に対して上記ステップＳ５１〜Ｓ５４の処理が行われたと判断した場合は（Ｓ５５でＹ）、続くステップＳ５６において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ５６でＮ）、領域を変更した後（Ｓ５７）、ステップＳ５１に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合（Ｓ５６でＹ）、ステップＳ５８に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き（度合い）評価値を決定する（Ｓ５８）。例えば、ある第１閾値より小さければ→奥行き評価値＝小と判定し、ある第１閾値より大きければ→奥行き評価値＝大と判定し、それ以外であれば→奥行き評価値＝中と判定する。
次に、フレーム画像データの奥行き評価値を保存し（Ｓ５９）、フレーム画像データの奥行き評価値と比較して奥行き変化の大小／奥行き方向の増加減少を識別する（Ｓ６０）。
例えば、Ｎ＝｜該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値｜であり、Ｎがある第１閾値より小さければ→奥行き変化＝小と判定、Ｎがある第２閾値より大きければ→奥行き変化＝大と判定、それ以外であれば→奥行き変化＝中と判定する。
この後、全てのフレームの処理が終わったか否かの判断を行い（Ｓ６１）、全てのフレームの処理が終わっていなければステップＳ５１に戻る。一方、全てのフレーム処理が終わっていれば（Ｓ６１でＹ）処理を終了する。
なお、この図１０に示した処理では、ステップＳ６０において、奥行きの大小判定しか行っていないが、奥行きの増減の判定を行うこともできる。その場合はステップＳ６０において、フレーム画像データの奥行き評価値と比較して、奥行き変化の大小／奥行き方向の増加減少を識別する。例えば、Ｓ＝該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値の正負とし、Ｎ＝｜該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値｜とすると、Ｎがある第１閾値より小さければ→奥行き変化＝小と判定し、Ｎがある第２閾値より大きければ→奥行き変化＝大と判定し、それ以外であれば→奥行き変化＝中と判定する。そして、Ｓ＝正→奥行き＝増加と判定し、Ｓ＝負→奥行き＝減少と判定し、Ｓ＝０→奥行き＝変化なしと判定すればよい。

次に、三次元画像の奥行き度合いを調整する方式について説明する。
第２の実施形態の動画像処理装置では、画像データを編集することにより奥行きを調整することができる。三次元再生画像の奥行きは、一般には左眼用画像データの描画内容の位置を対応する右眼用画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする（同一の描画内容にする）ことで奥行きをなくすことができる。
次に、第２の実施形態に係る動画像処理装置の変形例として画像属性毎に奥行き調整を行う場合について説明する。
図１１は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理（図７参照）を行った後（Ｓ７１）、画像属性が文字である画像領域に対して奥行き度合いを算出する（Ｓ７２）。そして、前記奥行き度合いが「０」でない場合、右眼用と左眼用の画像データを同じにして（Ｓ７３）、処理を終えるようにする。
なお、この図１１に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるものでない。またこの処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。

図１２は画像領域毎の奥行き調整の原理図である。
右眼用と左眼用の画像データの画像属性の特定領域の三次元画像データを抽出し、相関算出部で該部分領域の画像データ間の相関を計算する。画像データ編集部において相関算出部で求めた相関値を使用して画像データを編集する。
画像データの編集は一方の画像データの画像属性領域に対する編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。
例えば、領域別に右眼用画像データと左眼用画像データを同じにする修正し、簡易に三次元表示画像の奥行きをなくす調整をしたり、三次元画像表示を二次元画像表示に簡易に変換する手段を設けるようにしたりする。文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。例えば、文字画像領域の奥行きをなくし二次元で表示する調整は簡易に視差量をなくすことができ有効である。

図１３は第２の実施形態に係る動画像処理装置における奥行き度合い算出部の他の構成を示した図である。なお、他の構成は図１と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図１３（ａ）に示す奥行き度合い算出部１４は、属性毎領域抽出部６２、画像属性領域データ保存部６３、画像属性毎奥行き算出部６４、画像属性毎奥行きデータ保存部６５、画像属性毎奥行き評価部６６、画像属性毎画像データ編集部６７、画像データ保存部６８により構成されている。
画像データ入力部２から三次元画像データを入力し、画像データ保存部６８に画像データを保存し、属性毎領域抽出部６２にて画像属性領域情報を抽出する。画像属性毎奥行き算出部６４は、図１３（ｂ）に示すように画像属性毎画像抽出部７１、ライン毎画像データ抽出部７２、相関算出部７３、奥行き算出部７４、ライン毎画像データ保存部７５、相関データ保存部７６により構成される。
このように構成される画像属性毎奥行き算出部６４において算出した画像属性毎の奥行きデータは、画像属性毎奥行きデータ保存部６５に保存され、画像属性毎奥行き評価部６６において画像属性の奥行きの有無、或いは奥行きレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大／中／小の判定を行うようにする。
なお、これまで説明した相関値の算出処理においては、全てのラインについて相関値を算出するとしているが、必ずしも全てのラインについて実施する必要はなく、画像データの一部のラインであっても構わない。例えば、先頭ラインからいくつかのライン（ｙｎ）までのラインについて

を算出して、画像全体の相関値として推定してもよい。このようにすると一部の画像領域を調べて判定するので、処理効率を高めることができる。ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、或いは処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算したりするのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。

図１４は符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図である。
この例では、後述するＪＰＥＧ２０００規格に基づく符号化している。マージされた画像データに対して符号化処理部のウェーブレット変換処理部においてウェーブレット変換を施して符号化処理を行うようにしている。この場合、ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して、例えば画像属性領域、例えば文字領域を識別する。
これまで説明した本実施形態においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
立体表示された場合に、奥行き方向だけでなく二次元平面方向の動きが同時に伴うと、さらに疲労は大きいものとなる。
そこで、次に奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上させるようにした第３の実施形態に係る動画像処理装置の構成について説明する。

図１５は第３の実施形態に係る動画像処理装置の奥行き度合い算出部１４と、周辺部の構成を示した図である。なお、図９と同一部位には同一番号を付して説明は省略する。
この場合は、画面内動き量算出部８１は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部５のウェーブレット変換処理部５ａでウェーブレット変換し、１ＬＨサブ・バンド成分の符号量と、１ＨＬサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
図１６は、相関の分布変化によって動きの激しさを推定する処理の概念説明図である。
先の実施形態で説明したように奥行き方向の動き量を推定するのと同時に三次元動画像データを符号化する過程で二次元平面方向の動き量を推定している。
予め画像データをブロック（タイル）単位に区切って符号化することで、ブロック毎の１ＬＨサブ・バンド成分の符号量と、１ＨＬサブ・バンド成分の符号量の算出ができ、平面方向の動きを推定することができる。そこで、該画像領域の奥行き方向の動きを推定する場合の領域の区切りとブロック領域を同じにすることで、画像領域ブロック毎に、簡易に、奥行き方向と二次元方向の動きとを合わせて推定することできる。動き量の大きさは、動き量の基準を設けて該基準値と比較することで行うことができるが、その場合に、奥行き方向の動きを優先的に高く評価しても構わない。
本発明では二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるかないかの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。
典型的な二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度（高速／低速）を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度（高速／低速）を検出することができる。

図１７はビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。なお夫々の画像データは右眼用と左眼用の画像データである。
このように撮影の開始時間Ｔ０と共に、フレーム０の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに一定時間経過後、例えば１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間ｔｎまでの間に一定時間単位、例えば１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。

図１８は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図１８に示すようにインターレース形式の画像は、１画素のライン（実線で示す走査ラインン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。次に、前回スキャンしなかった画素ライン（点線で示す走査ライン）のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、１／１２０秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図１８に示すようにインターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ（実線で示す走査ライン）であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ（点線で示す走査ライン）である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元動画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元動画像データ間での相関を使用して奥行き方向の動き量を推定することも可能である。
三次元表示における奥行き方向の動きは、特に視覚的な疲労が大きいことから疲労の緩和が重要である。
三次元の動画像データの再現における疲労を緩和する場合の一例を説明する。この場合は動き量を推定する際に奥行き方向の動き量を推定しているところに特徴がある。
本実施形態では、三次元表示における奥行き方向の動きが大きいときにフレームレートを下げることで動きに起因する疲労を緩和している。
図１９は動画再生のフレームレートの調整に係る説明図である。
動き量が大きいと評価される区間では再生時のフレームレートを下げて、動きに起因する疲労を緩和することを目的としている。この例では、動き量の推定が奥行き方向の動きを推定しているところに特徴がある。

図２０は本発明の第４の実施形態に係る動画像処理装置における動画再生のフレームレートを調整する場合の構成を示したブロック図である。
本実施形態の動画像処理装置は、フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部１０１、画像奥行き算出部１０２、動き量評価部１０３、フレーム（符号データ）編集部１０４、画像データ保存部１０５、評価基準動き量保存部１０６、フレーム毎奥行き保存部１０７、フレーム動き量評価結果保存部１０８、フレーム動き量変化評価結果保存部１０９により構成されている。
このような動画像処理装置においては、三次元画像入力部１０１にて、三次元画像データである右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部１０２にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部１０３において評価基準動き量保存部１０６に保存された基準動き量と該フレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部１０８に保存する。直前に保存されたフレームの動き量評価結果と該フレームの動き量の評価結果を比較し、フレーム動き量変化評価結果を、フレーム動き量変化評価結果保存部１０９に保存する。フレーム符号データ編集部１０４においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。尚、ここでフレーム毎の画像奥行き算出部１０２では、先に説明した図９の処理ブロックで実現する。
図２１は、動画像の疲労度によるフレームレートの調整処理を示したフローチャートである。
この場合、先ず、フレーム再生時のフレームレートをデフォルト値に設定する（Ｓ８１）。次に、図１０に示した処理により奥行き変化を推定し（Ｓ８２）、該画像フレームの奥行き変化が大の場合にフレームレートを低くする。即ち、時間当たりの処理画像フレーム数を少なくする（Ｓ８３）。そして、このフレームレートで再生する（Ｓ８４）。この後、全てのフレームの処理が終わったら（Ｓ８５でＹ）処理を終了する。

次に、符号レベルでの奥行きの編集としてＪＰＥＧ２０００における符号レベルでの奥行きの編集について説明する。
図２２は本発明における符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成（マージ）する場合に、マージする画像データが互いに分離されているように画像データがブロック（タイル）分割されていて、夫々のブロック（タイル）毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は後述するＪＰＥＧ２０００で符号化されている場合には、符号レベルでの編集を容易に進めることができる。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化によれば、符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。
また、ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようなフレームレート補正などフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。ＭｏｔｉｏｎＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づき符号化について以下に説明する。
ＪＰＥＧ２０００規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより、得られるウェーブレット係数にＪＰＥＧ２０００に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。そして全ての色データに対して上記のような処理を施した後、ＪＰＥＧ２０００で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は既に存在する。

図２３はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４により構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を各々用いている。
ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。
また他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、後述する図２５に示したようにブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、ＪＰＥＧ２０００アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に、図２４に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２０によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル１２０毎に独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図２７の色空間変換部に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。

図２５にはデコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）、（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図２５では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図２３の量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２７に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

エントロピー符号化部１１３（図２３参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部１１３で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットはあるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
（１）ＬＲＣＰ プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
（２）ＲＬＣＰ プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
（３）ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
（４）ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
（５）ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部（符号列形成部）１１４は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。

図２６には、コード・ストリームの構造を簡単に示した。
コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図２３を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１３で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、ＪＰＥＧ２０００の符号データは、５通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができるのである。
ＭｏｔｉｏｎＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。ｍｏｔｉｏｎ−ＪＰＥＧ２０００のようにフレーム間独立に符号化されているので、独立したフレーム画像を編集することを簡単に実現することができるのである。
ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化による符号データ形成後に、フレームレートを変更するなど、符号データを簡単に編集することができる。

次に、インターレース画像を対象とした奥行き調整について説明する。
三次元連続画像データの符号化すると共に、動画像に関しても、フレーム画像単位で奥行き情報を算出する。
また、ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようにフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。
ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づき符号化については、下に簡潔に説明している。
左眼用右眼用画像データはインターレース画像であっても前述と同様に奥行きを算出することができる。フレームレートを調整することもできる。
典型的な左眼の画像データと右眼の画像データから構成される立体動画像データの符号化においては、夫々の画像データは複数のフレーム（ピクチャ）で構成されている。
左眼の画像データと右眼の画像データは、図２８で示すように夫々の画像データはライン毎に左眼画像データと右眼画像データとを交互にマージする。このとき、動画像データは、インターレース走査方式得られた画像であっても、ノンインタレース走査方式で得られた画像であっても構わない。フレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
図２９は入力３Ｄ画像データがインターレース信号である場合の奥行き度合い算出の原理図である。フィールド単位で相関を算出することで容易に奥行きを算出できる。

上記図１７、１８では、画像データがインターレース信号について簡潔に説明している。
図１７は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用左眼用の三次元画像データである。
このように、撮影の開始時間Ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間ｔｎまでの間に一定時間単位、例えば１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。

図１８は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図１８に示すように、インターレース形式の画像は、１画素のライン（実線で示す走査ラインン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。次に、前回スキャンしなかった画素ライン（点線で示す走査ライン）のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、１／１２０秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図１８に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ（実線で示す走査ライン）であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ（点線で示す走査ライン）である。
なお、最後に本願発明と各特許文献を比較すると、特許文献１はライン毎に合成して符号化するところは本発明と同じである。本発明では、併合する画像が互いに少し異なる（殊に右眼用及び左眼用の立体画像のデータでは視差のために互いに少し異なる）ので、その差を補正して併合する機能を備えることで、複数の画像間を合成した時の合成画像の圧縮率を上げている。また特許文献１では符号化方式としてＭＰＥＧ（Moving Picture Image Coding Experts Group）方式に限定している。
また特許文献２は画像データの撮像時に光学的に奥行きを算出することに係る発明であり、本発明にあるような撮像された画像データを分析して奥行き情報を算出するというものではない。
ＪＰＥＧ２０００符号化に関しては、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（Ｊ２Ｋ：ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化では、フレーム単位の符号化がなされる。フレーム単位に独立した処理が可能である。また、ＪＰＥＧ２０００では生成した符号データ空間上での領域が、画像空間上での領域と対応が取られているので、符号レベルでの領域毎の処理を効率的にすることができる。

本発明の第１の実施形態に係る動画像処理装置の動画再生時の奥行き調整を行うシステムの構成を示したブロック図である。 第１の実施形態の動画像処理装置において動画再生時の奥行き調整に係る概念説明図である。 画像データの編集による奥行き調整処理を示したフローチャートである。 符号データの編集による奥行き度合いの調整処理を示したフローチャートである。 右眼用と左眼用の画像データの奥行きを算出する算出方法の概念を説明する図である。 第２の実施形態の動画像処理装置においてライン毎に奥行き度合いを算出する算出処理を示したフローチャートである。 第２の実施形態の動画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。 奥行き方向の動き量を推定する推定方法の概念説明図である。 本発明の第２の実施形態に係る動画像処理装置の奥行き方向の動き量を推定する奥行き度合い算出部の構成を示した図である。 奥行き方向の動き量推定処理を示したフローチャートである。 画像属性毎に奥行き調整する処理を示したフローチャートである。 画像領域毎の奥行き調整の原理図である。 第２の実施形態に係る動画像処理装置における奥行き度合い算出部の他の構成を示した図である。 符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図である。 第３の実施形態に係る動画像処理装置の奥行き度合い算出部と周辺部の構成を示した図である 相関の分布変化によって動きの激しさを推定する処理概念説明図である。 ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。 インターレース形式のフレームデータのフィールドデータについて説明するための図である 動画再生のフレームレートの調整に係る説明図である。 第４の実施形態に係る動画像処理装置における動画再生のフレームレートを調整する場合の構成を示したブロック図である。 動画像の疲労度によるフレームレートの調整処理を示したフローチャートである。 本発明における符号列編集による奥行き度合い調整の原理図である。 ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。 タイル分割の基本を説明するための図である。 デコンポジション・レベルとサブ・バンドを説明するための図である。 コード・ストリームの構造を説明するための図である。 プレシンクトとコード・ブロックを説明するための図である。 右眼用と左眼用の画像データを夫々マージした画像データの生成について説明するための図。 インターレース三次元画像データの奥行き度合い算出の原理図である。

符号の説明

１…動画像処理装置、１０…奥行き調整指示部、１０１…三次元画像入力部、１０２…画像奥行き算出部、１０３…動き量評価部、１０４…フレーム符号データ編集部、１０５…画像データ保存部、１０６…評価基準動き量保存部、１０７…フレーム毎奥行き保存部、１０８…フレーム動き量評価結果保存部、１０９…フレーム動き量変化評価結果保存部、１１…画像データ保存部、１１０…色空間変換・逆変換部、１１１…次元ウェーブレット変換・逆変換部、１１２…量子化・逆量子化部、１１３…エントロピー符号化・復号化部、１１４…タグ処理部、１２…符号データ保存部、１２０…タイル、１３…符号データ保存部、１４…奥行き度合い算出部、１５…データ保存部、２…画像データ入力部、３…画像データ保存部、３３…画像奥行き方向動き算出部、３４…フレーム奥行き保存部、４…画像データ編集部、４１…領域毎画像抽出部、４２…画像領域毎奥行き算出部、４３…フレーム奥行き算出部、４４…画像データ保存部、４５…画像領域データ保存部、４６…領域毎奥行き保存部、５…符号化処理部、５１…領域毎画像抽出部、５２…ライン毎画像データ抽出部、５３…相関算出部、５４…奥行き算出部、５５…ライン毎画像データ保存部、５６…相関データ保存部、６…符号列編集部、６２…属性毎領域抽出部、６３…画像属性領域データ保存部、６４…画像属性毎奥行き算出部、６５…データ保存部、６６…画像属性毎奥行き評価部、６７…画像属性毎画像データ編集部、６８…画像データ保存部、７…データ転送部、７１…画像属性毎画像抽出部、７２…ライン毎画像データ抽出部、７３…相関算出部、７４…奥行き算出部、７５…ライン毎画像データ保存部、７６…相関データ保存部、８…復号化処理部、８１…画面内動き量算出部、９…出力処理部

Claims (17)

1. 三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段と、
   前記相関算出手段及び前記奥行き推定手段における画像領域として、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、
   前記相関値が変わるように、画像データの一部を変更することで前記属性に係る領域の奥行きが少なくなるように調整をする調整手段と、を備えることを特徴とする動画像処理装置。
2. 請求項１において、前記属性は、文字であることを特徴とする動画像処理装置。
3. 請求項１又は２に記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備えることを特徴とする動画像処理装置。
4. 請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする動画像処理装置。
5. 請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする動画像処理装置。
6. 請求項１乃至５の何れか一項に記載の動画像処理装置において、右眼用と左眼用の両方の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段と、を備えることを特徴とする動画像処理装置。
7. 請求項１乃至６の何れか一項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする動画像処理装置。
8. 請求項７に記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする動画像処理装置。
9. 請求項１乃至８の何れか一項に記載の動画像処理装置において、前記相関の算出により再現画像の奥行き動き量の分布を算出する算出手段を備えることを特徴とする動画像処理装置。
10. 請求項１乃至９の何れか一項に記載の動画像処理装置において、前記属性領域の識別を符号化された画像データについて行うことを特徴とする動画像処理装置。
11. 請求項１０に記載の動画像処理装置において、前記符号化された画像データは、ＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする動画像処理装置。
12. 三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力手段と、入力された二つのフレーム画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出されたフレーム間における相関値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定手段と、
    フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする動画像処理装置。
13. 請求項１２に記載の動画像処理装置において、前記遅延手段は、前記フレームレートを遅くする処理を符号化されたフレーム画像データについて行うことを特徴とする動画像処理装置。
14. 請求項１３に記載の動画像処理装置において、前記フレーム画像データはｍｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づいて符号化されることを特徴とする動画像処理装置。
15. 請求項１２乃至１４の何れか一項に記載の動画像処理装置において、フレーム画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする動画像処理装置。
16. 三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、
    フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、
    を有することを特徴とする動画像処理方法。
17. 三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、
    前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、
    前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする動画像処理方法。

Images