JP2007020130A - 動画像処理装置、及び動画像処理方法 - Google Patents
動画像処理装置、及び動画像処理方法 Download PDFInfo
- Publication number
- JP2007020130A JP2007020130A JP2005202358A JP2005202358A JP2007020130A JP 2007020130 A JP2007020130 A JP 2007020130A JP 2005202358 A JP2005202358 A JP 2005202358A JP 2005202358 A JP2005202358 A JP 2005202358A JP 2007020130 A JP2007020130 A JP 2007020130A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- depth
- moving image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力する画像データ入力部32と、入力された二つのフレーム画像データ間の相関を算出する相関算出部53と、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する画像奥行き方向動き算出部33とを備えるようにした。
【選択図】 図9
Description
例えば、特許文献1には右眼用と左眼用の立体動画像を、合成器を用いて1水平走査線毎に合成してフレーム画像を形成し、その合成したフレーム画像をMPEG(Moving Picture Image Coding Experts Group)方式のエンコーダを用いて符号化する技術が開示されている。また特許文献2には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
そこで、本発明は上記したような問題点を鑑みてなされたものであり、三次元動画像を再現する場合に視覚的な眼の疲労を防止できる動画像処理装置とその方法を提供することを目的とする。
請求項2に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段とを備える動画像処理装置を特徴とする。
請求項3に記載の発明は、請求項2記載の動画像処理装置において、画像データの属性毎の領域を識別して抽出する属性領域抽出手段を備え、前記属性領域が前記相関算出手段及び前記奥行き推定手段における画像領域であることを特徴とする。
請求項4に記載の発明は、請求項1乃至請求項3の何れか1項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする。
請求項5に記載の発明は、請求項1乃至請求項3の何れか1項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする。
請求項6に記載の発明は、請求項4又は請求項5記載の動画像処理装置において、右眼用と左眼用の両方の画像データがライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段とを備えることを特徴とする。
請求項7に記載の発明は、請求項1乃至請求項6の何れか1項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする。
請求項8に記載の発明は、請求項7記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする。
請求項9に記載の発明は、請求項1乃至請求項8の何れか1項に記載の動画像処理装置において、前記相関算出手段は画像データの一部の領域を用いて相関を算出することを特徴とする。
請求項11に記載の発明は、請求項1乃至請求項10の何れか1項に記載の動画像処理装置において、右眼用と左眼用の画像データ間の相関値が変わるように、画像データの一部を変更することで文字属性の奥行きが少なくなるように調整をする調整手段を備えることを特徴とする。
請求項12に記載の発明は、請求項1乃至請求項11記載の何れか1項に記載の動画像処理装置において、フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段を備えることを特徴とする。
請求項13に記載の発明は、請求項11又は請求項12記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備えることを特徴とする。
請求項14に記載の発明は、請求項13記載の動画像処理装置において、前記修正手段は、画像属性として少なくとも文字属性を含み、文字属性の奥行きが少なくなるように画像データの修正をすることを特徴とする。
請求項15に記載の発明は、請求項1乃至請求項14の何れか1項に記載の動画像処理装置において、前記符号データがJPEG2000規格に基づき符号化されたデータであることを特徴とする。
請求項16に記載の発明は、請求項15記載の動画像処理装置において、前記フレーム符号データはmotion−JPEG2000規格に基づいて符号化されることを特徴とする。
請求項18に記載の発明は、請求項16又は請求項17記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段とを備えることを特徴とする。
請求項19に記載の発明は、三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、を備えることを特徴とする。
請求項20に記載の発明は、三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、を備える動画像処理方法を特徴とする。
請求項2、請求項20に記載の本発明によれば、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関を相関算出手段により算出し、算出した相関の値により三次元画像の画像領域毎の奥行き度合いを推定することで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。
請求項3に記載の本発明によれば、簡易に三次元画像の画像属性領域毎の奥行き度合いを算出することができる。
請求項4に記載の本発明によれば、通常水平ライン毎に撮影またはスキャンされた画像データが生成されるため、水平ライン毎に相関を算出することで効率的に計算することが可能になる。
請求項5に記載の本発明によれば、垂直方向で垂直ライン毎に撮影またはスキャンされた画像データに対して効率的に垂直ライン毎の相関を算出することで効率的に計算することが可能になる。
請求項7に記載の本発明によれば、連続画像データを対象とすることができる。簡易に奥行きを算出できるので連続三次元動画像の効率的な再現ができる。
請求項8に記載の本発明によれば、インターレースタイプの連続画像データを対象とすることができる。ライン毎に制御することが容易であるため効率的に奥行き情報を抽出することができる。
請求項9に記載の本発明によれば、画像の部分領域を調べるだけで、簡易に全体の奥行き傾向を推定する手段を提供することができる。
請求項10に記載の本発明によれば、簡易に画像全体の奥行き動き量を算出する手段を提供することができる。
請求項11に記載の本発明によれば、簡易に三次元表示画像の奥行きを自動的に調整する手段を提供することができる。
請求項12に記載の本発明によれば、特に眼の疲労が大きい三次元表示の動き量が大きいところの動きを緩やかにすることで眼の疲労を大幅に低減することができる。
請求項13に記載の本発明によれば、簡易に三次元表示画像の奥行きをなくす調整をする手段を提供することができる。また三次元動画像表示を二次元画像表示に簡易に変換する手段を提供することができる。
請求項14に記載の本発明によれば、文字再現の奥行きを調整する手段を提供することができる。また眼の疲労に基づいた処理を行うことができる。
請求項16に記載の本発明によれば、ISOの国際標準であるため汎用的な符号化データとすることで汎用性を高めることができる。
また請求項17に記載の本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
請求項18に記載の本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。
先ず、三次元(3D)画像の再生時に問題となる動きを伴う立体画像を観察する場合に特に激しいと言われている視覚的疲労を回避する方法について説明する。
図1は、本発明の第1の実施形態に係る動画像処理装置の動画再生時に奥行き調整を行うシステムの構成を示したブロック図である。
この図1に示す動画像処理装置1は、画像データ入力部2、画像データ保存部3、画像データ編集部4、符号化処理部5、符号列編集部6、データ転送部7、復号化処理部8、出力処理部9、奥行き調整指示部10、画像データ保存部11、符号データ保存部12、符号データ保存部13、奥行き度合い算出部14、奥行きデータ保存部15より構成される。
三次元画像データである右眼用と左眼用の動画像データは、フレーム単位で画像データ入力部2により入力され、画像データ保存部3で一旦保持された後、符号化処理部5により符号化されて符号データ保存部12に保持される。符号データ保存部12に保持された符号データはデータ転送部7により符号データ保存部13に転送され、符号データ保存部13を介して復号化処理部8で復号される。この復号データは画像データ保存部11に一時的に保存された後、或いは直接、出力処理部9に出力され、出力処理部9において立体画像を出力(表示)するようにしている。さらに奥行き調整指示部10により奥行きの度合いの指示を行い、この指示に従って、必要であれば、奥行き度合い算出部14において入力された画像データの奥行き度合いを算出し、画像データ編集部4において入力された画像データを編集してから符号化処理部5で符号化するようにしている。
このように構成される第1の実施形態の動画像処理装置1においては、画像データ編集部4において画像データを編集し、奥行き調整を行うようにした点に特徴がある。なお、フレーム単位で右眼用と左眼用の画像データを互いに重ね合わせて(マージして)、画像データを作成してもよい。その場合は復号化処理部8で復号後にマージされた画像データを分離して、元の右眼用と左眼用の動画像データに分離すれば良い。
また、第1の実施形態の動画像処理装置1においては、奥行き調整指示部10の指示に従って画像データを編集するのではなく、符号列編集部6で符号化されたデータを編集して奥行き調整を行う機能も備えている。
第1の実施形態の動画像処理装置1は、上記したように右眼用画像データと左眼用画像データの再生時に奥行きを調整する機能を有している点に特徴があり、疲労の度合いに応じ奥行き度合いを指示するようにしている。奥行き調整方法は、画像データ編集部4に備えられている画像データ修正部4aとデータ合成部4b、及び奥行き度合い算出部14に設けられている後述する相関算出部53を用いて画像データを調整する場合と、符号列編集部6の符合データを調整する場合とがある。
この図2に示す例では、動画像データがフレーム単位で順次入力される場合には相関算出部14aで相関を算出して両者をマージ(合成)して符号化している。勿論、符号データは別々に独立に符号化するのであっても構わない。奥行き度合いを推定する相関の算出は、いつも施す必要はなく、例えば奥行き調整をする場合に相関を算出し奥行き度合いがある一定水準になるように画像データを編集すれば良い。
なお、三次元画像データである右眼用と左眼用の画像データの編集によって再生時の奥行き度合いを調整する方法は、後述する再生時に一部領域の奥行きがなくなる(二次元表示になる)ように補正する方法がある。また符号データの編集方法は、後述する符号化後の符号データに対して編集を施し画像データの編集と同じく奥行きを調整する方法がある。
先ず、画像データの編集により奥行き度合いを調整する場合について説明する。
図3は画像データの編集による奥行き調整処理を示したフローチャートである。
この場合、先ず、ステップS1において三次元画像データである右眼用と左眼用夫々の画像データの入力が有ったどうかの判断を行い、三次元画像データの入力が有れば(S1でY)、夫々の三次元画像データの符号化と復号化の処理を行い(S2、S3)、右眼用と左眼用夫々の画像データの再生を行う(S4)。なお、ステップS1において、三次元画像データの入力が無いと判断した場合(S1でN)、処理を終了する。
次に、ステップS5において、奥行き調整指示部10からの奥行き調整指示の有無を判断し、指示があれば(S5でY)、ステップS6に進む。なお、奥行き調整指示部10から指示が無ければ(S5でN)、ステップS2に戻って、ステップS2からの処理を繰り返し実行する。
ステップS6において、奥行き調整指示部10からの奥行き調整指示が奥行き度合いを減らす指示であると判断した場合(S6でY)、右眼用と左眼用夫々の画像データを入力し(S7)、奥行き度合いの指示に応じて画像データの修正を行い(S8)、三次元画像データである右眼用と左眼用の画像データをマージする(S9)。そして、マージされた画像データの符号化、復号化を行った後(S10、S11)、マージされた画像データを分解して元の右眼用と左眼用の画像データに戻して(S12)、ステップS7に戻るようにする。なお、ステップS7において右眼用と左眼用の画像データの入力が無くなったときはそのまま処理を終了する。
図4は符号データの編集による奥行き度合いの調整処理を示したフローチャートである。
この場合は、右眼用と左眼用夫々の画像データを入力し(S21)、符号化と復号化の処理を行い(S22、S23)、右眼用と左眼用夫々の画像データの再生を行う(S24)。
次に、ステップS25において、奥行き調整指示部10からの奥行き調整指示の有無を判断し、指示があれば(S25でY)、ステップS26に進み、指示が無ければステップS21へ戻ってステップS21から処理を行う。
ステップS26において、奥行き調整指示部10からの指示が奥行き度合いを減らす指示である場合は、右眼用と左眼用夫々の画像データを入力し(S27)、画像データが有れば(S28でN)、符号化した後(S29)、奥行き度合いの指示に応じて符号化した符号データの修正を行って(S30)、ステップS27へ戻るようにする。なお、ステップS28において三次元画像データがなくなったと判断した場合(S28でY)、処理を終了する。
このようにすれば、立体動画像を再生しているときに疲労に応じて奥行き度合いを調整して、例えば、奥行きを全くなくし立体表示をやめる調整を行うことが可能になる。また、画像サーバ側へ指示することで転送符号量を減らすことができる。
次に、本発明の第2の実施形態として相関の変化に基づいて三次元画像の奥行き方向の動きを推定する推定方法について説明する。
一般に右眼用と左眼用の画像データの奥行き度合いは、二つの画像データ間の相関値の逆数と比例関係にある。
そこで、第2の実施形態の動画像処理装置ではこのような関係を踏まえてフレーム単位で連続している動画像を再現する際に各フレーム画像の相関値の変化に基づいて奥行き方向の動きを推定するところに特徴がある。
図5は、右眼用と左眼用の画像データの奥行きを算出する算出方法の概念を説明する図である。
図5に示すように、三次元画像データである右眼用と左眼用の画像データにおいて領域毎の奥行き度合いを算出する場合は、奥行き度合い算出部に設けられている相関算出部により算出した相関値に基づいて奥行き度合い算出部において画像領域毎の奥行き度合いを算出し、フレーム単位奥行き度合い算出部においてフレーム単位の奥行き量、即ち画像全体の奥行き度合いを推定するようにする。ここで、画像データの奥行き度合いは、相関値の逆数と比例関係があることに基づいて推定するようにしている。
この場合、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S31)、夫々の画像データのライン毎の相関値を算出する(S32)。このような算出処理は、ステップS33において全ての三次元画像データに行われたと判断されるまで繰り返し行う。そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして(S34)、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いとする(S35)。
図7は、第2の実施形態の動画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、三次元画像データである右眼用と左眼用の画像データを入力し(S41)、右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出する(S42)。
次に、右眼用と左眼用の画像データのライン毎に入力し(S43)、夫々の画像データをライン毎に相関値を算出する(S44)。そして、相関値の逆数を画像のライン毎の奥行き度合いとし(S45)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする(S46)。そして続くステップS47において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ(S47でN)、ステップS43に戻って処理を行う。
一方、ステップS47において領域内の全ての画像に行ったと判断した場合は(S47でY)、続くステップS48において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ(S48でN)、領域を変更した後(S49)、ステップS43に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば(S48でY)、処理を終了する。
S(y)は、ある画像y番目のライン(yは0〜ly-1の範囲内の数値とする)の相関値である。
ここで、画素の(x,y)は座標値であり、I(x,y)は画像Iの座標(x,y)の値であり、J(x,y)は画像Jの座標(x,y)の値である。画像は、xの最大値がlx-1、yの最大値がly-1よりなる。
なお、相関値は必ずしも上記に示すような算出式(式1)により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるy番目のラインの相関S(y)は、以下の式2により求めてよい。その場合はより簡潔になる。
相関値S(y)は、
奥行き度合いの算出式は、
相関値<S→奥行き度合い=大
相関値>S→奥行き度合い=小 ・・・(式3)
上記図5に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Sと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Sより大きかった場合に奥行き度合いが小さいと推定した。またフレーム画像データのフレーム単位奥行き量は、以下のような(式4)により算出するようにした。
フレーム単位奥行き量=奥行き度合いの平均値・・・(式4)
図8は、上記した奥行き方向の動き量を推定する推定方法の概念説明図である。
この図に示す奥行き方向の動き量は、奥行き度合いの時間変化、即ちフレーム単位の奥行き度合いの変化によって推定して奥行き動き量の変化(分布)を算出している。
この図9において、33はフレーム毎の画像奥行き方向の動きを算出する画像奥行き方向動き算出部、34はフレーム奥行き保存部、35は奥行き方向動き保存部により構成されている。
奥行き度合い算出部14は、画像データ入力部32より入力された動画像データを分析してフレーム毎に画像再生時の奥行きを算出し、フレーム単位の奥行きデータを使用して、画像奥行き方向動き算出部33にて奥行き方向の動き量を推定する。
奥行き度合い算出部14は、領域毎に画像を抽出する領域毎画像抽出部41、画像領域毎に奥行きを算出する画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46により構成される。
また画像領域毎奥行き算出部42は、領域毎画像抽出部51、ライン毎画像データ抽出部52、相関算出部53、奥行き算出部54、ライン毎画像データ保存部55、相関データ保存部56により構成されている。
画像奥行き算出部14は、画像データ入力部2で三次元画像データを読み込み、領域毎画像抽出部41で画像領域の画像データを算出する。
画像領域毎奥行き算出部42では、画像領域毎に画像データ入力部2にて画像領域毎に画像データを読み込み、ライン毎画像データ抽出部52でライン毎に画像データをライン単位で読み込み、相関算出部53においてライン単位で相関値を算出する。そして、奥行き算出部54で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部43は、領域毎奥行き保存部46に保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部34には該フレームの画像データを再生した場合の奥行き情報が保存される。なお、第2の実施形態では画像属性毎に奥行き情報を算出するものとしているが画像領域毎に奥行き情報を算出することも勿論可能であり、その場合は画像領域を予めブロック毎に区分してブロック単位で奥行き情報を算出すればよい。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S51)、夫々の画像データのライン毎の相関値を算出する(S52)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S53)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S54)。
ここで、領域内の全ての画像に対して上記ステップS51〜S54の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S55でN)、ステップS51に戻って処理を繰り返し行う。
一方、ステップS55において領域内の全ての画像に対して上記ステップS51〜S54の処理が行われたと判断した場合は(S55でY)、続くステップS56において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S56でN)、領域を変更した後(S57)、ステップS51に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S56でY)、ステップS58に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S58)。例えば、ある第1閾値より小さければ→奥行き評価値=小と判定し、ある第1閾値より大きければ→奥行き評価値=大と判定し、それ以外であれば→奥行き評価値=中と判定する。
次に、フレーム画像データの奥行き評価値を保存し(S59)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S60)。
例えば、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|であり、Nがある第1閾値より小さければ→奥行き変化=小と判定、Nがある第2閾値より大きければ→奥行き変化=大と判定、それ以外であれば→奥行き変化=中と判定する。
この後、全てのフレームの処理が終わったか否かの判断を行い(S61)、全てのフレームの処理が終わっていなければステップS51に戻る。一方、全てのフレーム処理が終わっていれば(S61でY)処理を終了する。
なお、この図10に示した処理では、ステップS60において、奥行きの大小判定しか行っていないが、奥行きの増減の判定を行うこともできる。その場合はステップS60において、フレーム画像データの奥行き評価値と比較して、奥行き変化の大小/奥行き方向の増加減少を識別する。例えば、S=該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値の正負とし、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|とすると、Nがある第1閾値より小さければ→奥行き変化=小と判定し、Nがある第2閾値より大きければ→奥行き変化=大と判定し、それ以外であれば→奥行き変化=中と判定する。そして、S=正→奥行き=増加と判定し、S=負→奥行き=減少と判定し、S=0→奥行き=変化なしと判定すればよい。
第2の実施形態の動画像処理装置では、画像データを編集することにより奥行きを調整することができる。三次元再生画像の奥行きは、一般には左眼用画像データの描画内容の位置を対応する右眼用画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする(同一の描画内容にする)ことで奥行きをなくすことができる。
次に、第2の実施形態に係る動画像処理装置の変形例として画像属性毎に奥行き調整を行う場合について説明する。
図11は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理(図7参照)を行った後(S71)、画像属性が文字である画像領域に対して奥行き度合いを算出する(S72)。そして、前記奥行き度合いが「0」でない場合、右眼用と左眼用の画像データを同じにして(S73)、処理を終えるようにする。
なお、この図11に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるものでない。またこの処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。
右眼用と左眼用の画像データの画像属性の特定領域の三次元画像データを抽出し、相関算出部で該部分領域の画像データ間の相関を計算する。画像データ編集部において相関算出部で求めた相関値を使用して画像データを編集する。
画像データの編集は一方の画像データの画像属性領域に対する編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。
例えば、領域別に右眼用画像データと左眼用画像データを同じにする修正し、簡易に三次元表示画像の奥行きをなくす調整をしたり、三次元画像表示を二次元画像表示に簡易に変換する手段を設けるようにしたりする。文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。例えば、文字画像領域の奥行きをなくし二次元で表示する調整は簡易に視差量をなくすことができ有効である。
この図13(a)に示す奥行き度合い算出部14は、属性毎領域抽出部62、画像属性領域データ保存部63、画像属性毎奥行き算出部64、画像属性毎奥行きデータ保存部65、画像属性毎奥行き評価部66、画像属性毎画像データ編集部67、画像データ保存部68により構成されている。
画像データ入力部2から三次元画像データを入力し、画像データ保存部68に画像データを保存し、属性毎領域抽出部62にて画像属性領域情報を抽出する。画像属性毎奥行き算出部64は、図13(b)に示すように画像属性毎画像抽出部71、ライン毎画像データ抽出部72、相関算出部73、奥行き算出部74、ライン毎画像データ保存部75、相関データ保存部76により構成される。
このように構成される画像属性毎奥行き算出部64において算出した画像属性毎の奥行きデータは、画像属性毎奥行きデータ保存部65に保存され、画像属性毎奥行き評価部66において画像属性の奥行きの有無、或いは奥行きレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大/中/小の判定を行うようにする。
なお、これまで説明した相関値の算出処理においては、全てのラインについて相関値を算出するとしているが、必ずしも全てのラインについて実施する必要はなく、画像データの一部のラインであっても構わない。例えば、先頭ラインからいくつかのライン(yn)までのラインについて
を算出して、画像全体の相関値として推定してもよい。このようにすると一部の画像領域を調べて判定するので、処理効率を高めることができる。ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、或いは処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算したりするのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
この例では、後述するJPEG2000規格に基づく符号化している。マージされた画像データに対して符号化処理部のウェーブレット変換処理部においてウェーブレット変換を施して符号化処理を行うようにしている。この場合、ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して、例えば画像属性領域、例えば文字領域を識別する。
これまで説明した本実施形態においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
立体表示された場合に、奥行き方向だけでなく二次元平面方向の動きが同時に伴うと、さらに疲労は大きいものとなる。
そこで、次に奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上させるようにした第3の実施形態に係る動画像処理装置の構成について説明する。
この場合は、画面内動き量算出部81は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部5のウェーブレット変換処理部5aでウェーブレット変換し、1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
図16は、相関の分布変化によって動きの激しさを推定する処理の概念説明図である。
先の実施形態で説明したように奥行き方向の動き量を推定するのと同時に三次元動画像データを符号化する過程で二次元平面方向の動き量を推定している。
予め画像データをブロック(タイル)単位に区切って符号化することで、ブロック毎の1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量の算出ができ、平面方向の動きを推定することができる。そこで、該画像領域の奥行き方向の動きを推定する場合の領域の区切りとブロック領域を同じにすることで、画像領域ブロック毎に、簡易に、奥行き方向と二次元方向の動きとを合わせて推定することできる。動き量の大きさは、動き量の基準を設けて該基準値と比較することで行うことができるが、その場合に、奥行き方向の動きを優先的に高く評価しても構わない。
本発明では二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるかないかの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。
典型的な二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度(高速/低速)を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度(高速/低速)を検出することができる。
このように撮影の開始時間T0と共に、フレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに一定時間経過後、例えば1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
図18に示すようにインターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎(上記の例では1画素単位の走査ライン毎)に、交互に並べる(スキャンしていないラインのデータを補充する)ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元動画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元動画像データ間での相関を使用して奥行き方向の動き量を推定することも可能である。
三次元表示における奥行き方向の動きは、特に視覚的な疲労が大きいことから疲労の緩和が重要である。
三次元の動画像データの再現における疲労を緩和する場合の一例を説明する。この場合は動き量を推定する際に奥行き方向の動き量を推定しているところに特徴がある。
本実施形態では、三次元表示における奥行き方向の動きが大きいときにフレームレートを下げることで動きに起因する疲労を緩和している。
図19は動画再生のフレームレートの調整に係る説明図である。
動き量が大きいと評価される区間では再生時のフレームレートを下げて、動きに起因する疲労を緩和することを目的としている。この例では、動き量の推定が奥行き方向の動きを推定しているところに特徴がある。
本実施形態の動画像処理装置は、フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部101、画像奥行き算出部102、動き量評価部103、フレーム(符号データ)編集部104、画像データ保存部105、評価基準動き量保存部106、フレーム毎奥行き保存部107、フレーム動き量評価結果保存部108、フレーム動き量変化評価結果保存部109により構成されている。
このような動画像処理装置においては、三次元画像入力部101にて、三次元画像データである右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部102にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部103において評価基準動き量保存部106に保存された基準動き量と該フレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部108に保存する。直前に保存されたフレームの動き量評価結果と該フレームの動き量の評価結果を比較し、フレーム動き量変化評価結果を、フレーム動き量変化評価結果保存部109に保存する。フレーム符号データ編集部104においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。尚、ここでフレーム毎の画像奥行き算出部102では、先に説明した図9の処理ブロックで実現する。
図21は、動画像の疲労度によるフレームレートの調整処理を示したフローチャートである。
この場合、先ず、フレーム再生時のフレームレートをデフォルト値に設定する(S81)。次に、図10に示した処理により奥行き変化を推定し(S82)、該画像フレームの奥行き変化が大の場合にフレームレートを低くする。即ち、時間当たりの処理画像フレーム数を少なくする(S83)。そして、このフレームレートで再生する(S84)。この後、全てのフレームの処理が終わったら(S85でY)処理を終了する。
図22は本発明における符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成(マージ)する場合に、マージする画像データが互いに分離されているように画像データがブロック(タイル)分割されていて、夫々のブロック(タイル)毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は後述するJPEG2000で符号化されている場合には、符号レベルでの編集を容易に進めることができる。JPEG2000(ISO/IEC 15444−1)規格の符号化によれば、符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。
また、motion−JPEG2000符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようなフレームレート補正などフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。
JPEG2000(ISO/IEC 15444−1)規格に基づき符号化について以下に説明する。
JPEG2000規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Y,Cr,Cbの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより、得られるウェーブレット係数にJPEG2000に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。そして全ての色データに対して上記のような処理を施した後、JPEG2000で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は既に存在する。
DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。
また他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、後述する図25に示したようにブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、JPEG2000アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に、図24に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)120によって分割される。そして、個々のタイル、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル120毎に独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図27の色空間変換部に入力され、色空間変換を施されたのち、2次元ウェーブレット変換部で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図23の量子化部112で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図27に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
エントロピー符号化部113で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの1つで示される。パケットはあるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
(1)LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
(2)RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
(3)RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
(4)PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
(5)CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部(符号列形成部)114は、エントロピコーダ部からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図23を用いて簡単に説明する。この場合、タグ処理部114は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部112で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー復号化部113で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、JPEG2000の符号データは、5通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができるのである。
MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。motion−JPEG2000のようにフレーム間独立に符号化されているので、独立したフレーム画像を編集することを簡単に実現することができるのである。
motion−JPEG2000の符号化による符号データ形成後に、フレームレートを変更するなど、符号データを簡単に編集することができる。
三次元連続画像データの符号化すると共に、動画像に関しても、フレーム画像単位で奥行き情報を算出する。
また、motion−JPEG2000符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようにフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。
motion−JPEG2000(ISO/IEC 15444−1)規格に基づき符号化については、下に簡潔に説明している。
左眼用右眼用画像データはインターレース画像であっても前述と同様に奥行きを算出することができる。フレームレートを調整することもできる。
典型的な左眼の画像データと右眼の画像データから構成される立体動画像データの符号化においては、夫々の画像データは複数のフレーム(ピクチャ)で構成されている。
左眼の画像データと右眼の画像データは、図28で示すように夫々の画像データはライン毎に左眼画像データと右眼画像データとを交互にマージする。このとき、動画像データは、インターレース走査方式得られた画像であっても、ノンインタレース走査方式で得られた画像であっても構わない。フレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
図29は入力3D画像データがインターレース信号である場合の奥行き度合い算出の原理図である。フィールド単位で相関を算出することで容易に奥行きを算出できる。
図17は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用左眼用の三次元画像データである。
このように、撮影の開始時間T0と共にフレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
図18に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
なお、最後に本願発明と各特許文献を比較すると、特許文献1はライン毎に合成して符号化するところは本発明と同じである。本発明では、併合する画像が互いに少し異なる(殊に右眼用及び左眼用の立体画像のデータでは視差のために互いに少し異なる)ので、その差を補正して併合する機能を備えることで、複数の画像間を合成した時の合成画像の圧縮率を上げている。また特許文献1では符号化方式としてMPEG(Moving Picture Image Coding Experts Group)方式に限定している。
また特許文献2は画像データの撮像時に光学的に奥行きを算出することに係る発明であり、本発明にあるような撮像された画像データを分析して奥行き情報を算出するというものではない。
JPEG2000符号化に関しては、Motion−JPEG2000(J2K:ISO/IEC 15444−1)規格の符号化では、フレーム単位の符号化がなされる。フレーム単位に独立した処理が可能である。また、JPEG2000では生成した符号データ空間上での領域が、画像空間上での領域と対応が取られているので、符号レベルでの領域毎の処理を効率的にすることができる。
Claims (20)
- 三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力手段と、入力された二つのフレーム画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出されたフレーム間における相関値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定手段と、を備えることを特徴とする動画像処理装置。
- 三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段と、を備えることを特徴とする動画像処理装置。
- 請求項2記載の動画像処理装置において、画像データの属性毎の領域を識別して抽出する属性領域抽出手段を備え、前記属性領域が前記相関算出手段及び前記奥行き推定手段における画像領域であることを特徴とする動画像処理装置。
- 請求項1乃至請求項3の何れか1項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする動画像処理装置。
- 請求項1乃至請求項3の何れか1項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする動画像処理装置。
- 請求項4又は請求項5記載の動画像処理装置において、右眼用と左眼用の両方の画像データがライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段と、を備えることを特徴とする動画像処理装置。
- 請求項1乃至請求項6の何れか1項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする動画像処理装置。
- 請求項7記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする動画像処理装置。
- 請求項1乃至請求項8の何れか1項に記載の動画像処理装置において、前記相関算出手段は画像データの一部の領域を用いて相関を算出することを特徴とする動画像処理装置。
- 請求項1乃至請求項8の何れか1項に記載の動画像処理装置において、前記相関の算出により再現画像の奥行き動き量の分布を算出する算出手段を備えることを特徴とする動画像処理装置。
- 請求項1乃至請求項10の何れか1項に記載の動画像処理装置において、右眼用と左眼用の画像データ間の相関値が変わるように、画像データの一部を変更することで文字属性の奥行きが少なくなるように調整をする調整手段を備えることを特徴とする動画像処理装置。
- 請求項1乃至請求項11記載の何れか1項に記載の動画像処理装置において、フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段を備えることを特徴とする動画像処理装置。
- 請求項11又は請求項12記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備えることを特徴とする動画像処理装置。
- 請求項13記載の動画像処理装置において、前記修正手段は、画像属性として少なくとも文字属性を含み、文字属性の奥行きが少なくなるように画像データの修正をすることを特徴とする動画像処理装置。
- 請求項1乃至請求項14の何れか1項に記載の動画像処理装置において、前記符号データがJPEG2000規格に基づき符号化されたデータであることを特徴とする動画像処理装置。
- 請求項15記載の動画像処理装置において、前記フレーム符号データはmotion−JPEG2000規格に基づいて符号化されることを特徴とする動画像処理装置。
- 請求項15又は請求項16記載の動画像処理装置において、画像の領域識別を符号レベルで行うことを特徴とする動画像処理装置。
- 請求項16又は請求項17記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする動画像処理装置。
- 三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、を備えることを特徴とする動画像処理方法。
- 三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、を備えることを特徴とする動画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202358A JP4792250B2 (ja) | 2005-07-11 | 2005-07-11 | 動画像処理装置、及び動画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202358A JP4792250B2 (ja) | 2005-07-11 | 2005-07-11 | 動画像処理装置、及び動画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007020130A true JP2007020130A (ja) | 2007-01-25 |
JP4792250B2 JP4792250B2 (ja) | 2011-10-12 |
Family
ID=37756839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005202358A Expired - Fee Related JP4792250B2 (ja) | 2005-07-11 | 2005-07-11 | 動画像処理装置、及び動画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4792250B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012169730A (ja) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
US8766974B2 (en) | 2010-10-22 | 2014-07-01 | Samsung Electronics Co., Ltd. | Display apparatus and method |
JP2016535516A (ja) * | 2013-07-26 | 2016-11-10 | サムスン エレクトロニクス カンパニー リミテッド | 多視点映像処理装置及びその映像処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04203908A (ja) * | 1990-11-29 | 1992-07-24 | Matsushita Electric Ind Co Ltd | 3次元データ獲得方法及び3次元データ獲得装置 |
JPH08280026A (ja) * | 1994-04-27 | 1996-10-22 | Matsushita Electric Ind Co Ltd | 動き及び奥行き推定方法及びその装置 |
JP2000222585A (ja) * | 1999-02-01 | 2000-08-11 | Toshiba Corp | 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体 |
JP2005110120A (ja) * | 2003-10-01 | 2005-04-21 | Sharp Corp | 立体画像表示装置および立体画像表示方法 |
-
2005
- 2005-07-11 JP JP2005202358A patent/JP4792250B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04203908A (ja) * | 1990-11-29 | 1992-07-24 | Matsushita Electric Ind Co Ltd | 3次元データ獲得方法及び3次元データ獲得装置 |
JPH08280026A (ja) * | 1994-04-27 | 1996-10-22 | Matsushita Electric Ind Co Ltd | 動き及び奥行き推定方法及びその装置 |
JP2000222585A (ja) * | 1999-02-01 | 2000-08-11 | Toshiba Corp | 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体 |
JP2005110120A (ja) * | 2003-10-01 | 2005-04-21 | Sharp Corp | 立体画像表示装置および立体画像表示方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8766974B2 (en) | 2010-10-22 | 2014-07-01 | Samsung Electronics Co., Ltd. | Display apparatus and method |
JP2012169730A (ja) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
JP2016535516A (ja) * | 2013-07-26 | 2016-11-10 | サムスン エレクトロニクス カンパニー リミテッド | 多視点映像処理装置及びその映像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4792250B2 (ja) | 2011-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4751116B2 (ja) | 画像処理装置、画像処理方法 | |
US8953898B2 (en) | Image processing apparatus and method | |
JP5660361B2 (ja) | 画像処理装置および方法、並びにプログラム | |
TWI436286B (zh) | 畫像解碼方法及裝置 | |
JP5437807B2 (ja) | 動画像符号化装置および動画像復号装置 | |
TW201424406A (zh) | 多視點圖像編碼方法及多視點圖像解碼方法 | |
US20070110163A1 (en) | Image processing apparatus and image processing method | |
JP4898513B2 (ja) | クライアント・サーバシステム | |
JP4637672B2 (ja) | 符号化処理装置及び方法 | |
JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
KR20000059799A (ko) | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 | |
KR20070026515A (ko) | 동영상 부호화 방법 및 동영상 복호 방법 | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP4792250B2 (ja) | 動画像処理装置、及び動画像処理方法 | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
US20070269120A1 (en) | Video image compression using model plus difference image | |
JP2007074042A (ja) | 動画像処理装置及び方法 | |
JP4165752B2 (ja) | 画像データへの秘匿データ挿入方式および秘匿データ検出方式 | |
JP3942088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006295561A (ja) | 符号化処理装置、符号化処理方法、プログラムおよび記録媒体 | |
JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
JP2003032639A (ja) | 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法 | |
JP4247089B2 (ja) | ノンインターレース画像の処理装置及び処理方法 | |
JP2005136596A (ja) | 動画像処理システム、動画像処理方法、プログラム及び情報記録媒体 | |
JP4667423B2 (ja) | 画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |