JP4751116B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP4751116B2 JP4751116B2 JP2005210453A JP2005210453A JP4751116B2 JP 4751116 B2 JP4751116 B2 JP 4751116B2 JP 2005210453 A JP2005210453 A JP 2005210453A JP 2005210453 A JP2005210453 A JP 2005210453A JP 4751116 B2 JP4751116 B2 JP 4751116B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- attribute
- data
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
例えば、特許文献1には右眼用と左眼用の立体動画像を合成器を用いて1水平走査線毎に合成してフレーム画像を形成し、その合成されたフレーム画像をMPEG(Moving Picture Image Coding Experts Group)方式のエンコーダを用いて符号化する技術が開示されている。
また特許文献2には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
しかしながら、上記したような三次元立体像を表示する場合、奥行き方向の動きを伴う場合には視覚的に大きな目の疲労を伴うという問題点があった。特に、文字情報の表示などで奥行きが伴う場合には特に大きな疲労を伴うという欠点があった。
そこで、本発明は上記したような点を鑑みてなされたものであり、三次元画像表示用データの奥行き度合いを簡易に推定し調整することができる三次元画像表示用の画像処理装置と画像処理方法を提供することを目的とする。
また請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎に算出されることを特徴とする。
また請求項3に記載の発明は、請求項1に記載の画像処理装置において、前記相関算出手段における相関は画像データの垂直方向のライン毎に算出されることを特徴とする。
また請求項4に記載の発明は、請求項2又は請求項3に記載の画像処理装置において、前記右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、合成した画像データを符号化する符号化手段と、を備えることを特徴とする。
また請求項5に記載の発明は、請求項1乃至請求項4の何れか1項に記載の画像処理装置において、前記相関算出手段は、画像データの一部の領域を用いて相関を算出することを特徴とする。
また請求項6に記載の発明は、請求項4に記載の画像処理装置において、前記符号化手段により符号化した符号データがJPEG2000規格に基づき符号化されたデータであることを特徴とする。
また請求項8に記載の発明は、請求項7又は請求項8に記載の画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。
また請求項10に記載の発明は、請求項9に記載の画像処理方法において、入力された2つの画像データを合成する合成ステップと、合成した画像データを符号化する符号化ステップと、符号化したデータを復号化する復号化ステップとを有することを特徴とする。
また本発明によれば、属性領域に文字属性が含まれている場合は、文字属性が含まれている属性領域毎に奥行きを調整することで目の疲労という問題を解決することができる。
請求項8に記載の本発明によれば、領域別に右眼用の画像データと左眼用の画像データが同じになるように編集する、または画像属性として文字属性を含んでいる場合は、文字属性の奥行きが少なくなるように画像データを編集することで三次元画像を二次元画像に調整したり、文字画像の奥行きを調整したりすることで疲労に基づいた処理が可能になる。
請求項9に記載の本発明によれば、相関の算出は画像データの一部の領域を用いて行うことにより、画像の部分領域を調べるだけで全体の奥行き傾向を推定することが可能になる。
また請求項10に記載の本発明によれば、符号データを汎用的に用いられているJPEG2000規格に基づいたデータとすることでより汎用性を高めることができる。
また請求項11に記載の本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
また請求項12に記載の本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。
先ず、本発明の第1の実施形態として、入力三次元画像データから三次元画像再生時の奥行き度合いを算出して奥行き度合いを推定する方法について説明する。
図1は第1の実施形態の画像処理装置における奥行き度合い算出処理ブロックの構成を示した図である。
この図1に示す画像処理装置は、三次元画像入力部(画像データ入力手段)1、ライン毎画像データ抽出部2、相関算出部(相関算出手段)3、奥行き算出部(推定手段)4、画像データ保存部5、ライン毎画像データ保存部6、相関データ保存部7、及び奥行きデータ保存部8により構成されている。
三次元画像入力部1では右眼用と左眼用の三次元画像データを読み込む。ライン毎画像データ抽出部2では画像データをライン単位で読み込みライン毎に画像データを抽出する。相関算出部3ではライン単位で入力された2つの画像データ間の相関値を算出する。
相関が算出されたらライン単位の相関値を相関データ保存部7に保存する。奥行き算出部4では相関データ保存部7に保存されたライン単位の相関値を用いて奥行き度合いを算出する。また奥行き算出部4は、相関データ保存部4に保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。
撮影またはスキャンされた画像データをそのままの順番で読み込んで処理できると処理を効率的に進めることができる。これは全ての画像データを読み込んでから処理をするとなると、画像データを一時保存するためのメモリを必要とするからである。
このため、本実施形態の画像処理装置では、図2(a)に示すように右眼用と左眼用の画像データを水平ライン毎に読み込むだけでなく、図2(b)に示すように右眼用と左眼用の画像データを垂直ライン毎に読み込んで、ライン単位の互いの相関を算出するようにしている。これにより画像データの読み込み(撮影またはスキャン)の順番に合わせた効率的な処理を実現するようにしている。
なお、入力される画像データの順番に処理できるように、読み込み方向が、水平方向と垂直方向が選択的にできるように構成してもよい。画像データの読み込みの順番に合うように選択的に処理ライン方向を選択することで、画像データの読み込みの順番が予め定まってないような場合においても効率的に処理することができる。
この場合、右眼用と左眼用の三次元画像データをライン毎に入力し(S31)、夫々の三次元画像データのライン毎の相関値を算出する(S32)。この算出処理は、ステップS33において全ての三次元画像データに行われたと判断されるまで繰り返し行う。
そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして(S34)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して画像全体の奥行き度合いとする(S35)。
上記ステップS32における右眼用と左眼用の画像データの相関値計算は、以下の式に従って算出する。
S(y)は、ある画像y番目のライン(yは0〜ly-1の範囲内の数値とする)の相関値である。
ここで、画素の(x、y)は座標値であり、I(x、y)は画像Iの座標(x、y)の値であり、J(x、y)は画像Jの座標(x、y)の値である。画像は、xの最大値がlx-1、yの最大値がly-1よりなる。
なお、相関値は必ずしも上記に示すような算出式(式1)により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるy番目のラインの相関S(y)は、以下の式2により求めてよい。その場合はより簡潔になる。
相関値S(y)は、
例えば、先頭ラインからいくつかのライン(yn)までのラインについて
を算出して、画像全体の相関値として推定してもよい。
この場合は一部の画像領域を調べて判定するので、処理効率を高めることができる。ここで、一部の画像領域は、推定精度が重要とあるような関心領域、或いは処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
上記ステップS34における右眼用と左眼用の画像データの再生時の奥行き度合いの算出は、予め定めた基準の値との比較により、基準値より低ければ、相関値が高いと判定する。そして、相関が高いと奥行きの度合いは小さいと判断する。
一般に右眼用と左眼用画像データの二つの画像データ間の互いの相関が高いほど、奥行き度合いが小さく再生されるからである。右眼用と左眼用画像データの二つの画像データ間の互いに等しくなると奥行きは全くなくなる。そこで、前記算出式で算出された相関値の逆数を画像のライン毎の奥行き度合いとしている。
なお、これまで説明した第1の実施形態では、三次元画像の領域全体で奥行き度合いを推定する処理(ステップS35)と、部分領域における奥行き度合いも推定する処理(ステップS34)を行っているが用途に応じて、どちらか一つであっても構わない。
上記第1の実施形態では、画像データ全体について奥行き情報を算出するものであったが、画像領域毎あるいは、画像属性毎に奥行きデータを算出するのでも構わない。
第2の実施形態は画像属性毎の奥行き度合いを算出する例である。なお、第2の実施形態では、画像属性毎に奥行き情報を算出するものとして説明するが画像領域毎に奥行き情報を算出するようにしても良い。
図4は第2の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。
図4に示す画像処理装置は、三次元画像入力部11、画像データ保存部12、属性毎領域抽出部(属性領域抽出手段)13、属性画像領域データ保存部14、画像属性毎奥行き算出部15、奥行きデータ保存部16により構成される。
さらに画像属性毎奥行き算出部15は、画像属性毎画像抽出部21、ライン毎画像データ抽出部22、相関算出部23、奥行き算出部24、ライン毎画像データ保存部25、相関データ保存部26により構成されている。
三次元画像入力部11では右眼用と左眼用の三次元画像データを読み込み、属性毎領域抽出部13では右眼用と左眼用夫々の画像属性毎に領域抽出を行う。画像属性毎奥行き算出部15では、画像属性毎画像抽出部21にて属性領域の画像データを読み込み、ライン毎画像データ抽出部22で画像データをライン単位で読み込み、相関算出部23で、ライン単位で相関値を算出する。そして、奥行き算出部23で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部26に保存する。
奥行き算出部24では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部24では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。奥行きデータ保存部16には画像属性領域毎に算出された奥行き情報が保存される。
右眼用と左眼用の二つの画像データに属性毎の領域データに対して相関算出部3において相関算出処理を施す。この場合は、相関算出部23において右眼用と左眼用の二つの画像データの同じ領域の画像データ同士の相関を算出している。従って、画像属性毎の領域の算出は右眼用と左眼用の二つの画像データの中で一つの画像データに対してだけ画像属性の領域を算出すればよい。
図6は第2の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、右眼用と左眼用の三次元画像データを入力し(S41)、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する(S42)。
次に、右眼用と左眼用の三次元画像データのライン毎に入力し(S43)、夫々の画像データをライン毎に相関値を算出する(S44)。そして、相関値の逆数を画像のライン毎の奥行き度合いとし(S45)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする(S46)。
そして続くステップS47において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ(S47でN)、ステップS43に戻って処理を行う。
一方、ステップS47において領域内の全ての画像に行ったと判断した場合は(S47でY)、続くステップS48において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ(S48でN)、領域を変更した後(S49)、ステップS43に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば(S48でY)、処理を終了する。
図3に示した処理フローと異なるところは、ステップS42において右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出し、画像属性毎に相関を算出する点である。典型的な画像属性としては文字属性とか絵柄属性が挙げられる。属性領域の算出方法は、OCRとか像域分離技術によって求めることができる。
なお、第2の実施形態では、画像属性毎に奥行き情報を算出するものとしているが、画像領域毎に奥行き情報を算出して良い。画像領域毎に奥行き情報を算出する場合には画像領域を予めブロック毎に区分し、ブロック単位で奥行き情報を算出すればよい。
画像データを編集することで奥行きを調整することは可能である。左眼画像データの描画内容の位置を対応する右眼画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする(同一の描画内容にする)ことで奥行きをなくすことができる。
図7は第3の実施形態に係る画像処理装置の奥行き調整処理を行うブロックの構成を示した図である。なお、図4と同一部位には同一番号を付す。
この図7に示す画像処理装置の奥行き調整処理ブロックは、三次元画像入力部11、画像データ保存部12、属性毎領域抽出部13、画像属性領域データ保存部14、画像属性毎奥行き算出部15、画像属性毎奥行きデータ保存部31、画像属性毎奥行き評価部32、画像属性毎画像データ編集部33により構成されている。
三次元画像入力部11から三次元画像データを入力し、画像データ保存部12に画像データを保存し、属性毎領域抽出部13にて画像属性領域情報を抽出する。画像属性毎奥行き算出部15は、図4に示したような処理構成ブロックで画像属性毎の奥行きデータを算出する。算出した画像属性毎の奥行き情報は画像属性毎奥行きデータ保存部31に保存される。画像属性毎奥行き評価部32は、画像属性の奥行きの有無、あるいは、奥行きのレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大/中/小の判定を行う。
右眼用と左眼用画像データの画像属性の特定領域の三次元画像データを抽出し、画像属性毎奥行き算出部15内の相関算出部23で部分領域の画像データ間の相関を計算する。
そして、画像属性毎画像データ編集部33において相関算出部23で求めた相関値を用いて画像データを編集する。
画像属性毎画像データ編集部33における編集は、一方の画像データの画像属性領域に対して編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。典型的な編集としては、領域別に右眼用の画像データと左眼用の画像データを同じにする編集を施し、簡易に三次元表示画像の奥行きをなくすように調整する調整手段を設けるようにする。つまり、三次元画像表示を二次元画像表示に簡易に変換する調整手段を備えるようにする。また文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。そこで、文字画像領域が含まれている場合は、文字画像領域の奥行きが少なくなるように好適には無くすように調整する調整手段を備えるようにすると、視差量をなくすことができ有効である。
図9は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理(図6の処理参照)を行った後(S71)、画像属性が文字である画像領域に対して奥行き度合いを算出する(S72)。そして、前記奥行き度合いが「0」でない場合、右眼用と左眼用の画像データを同じにして(S73)、処理を終えるようにする。
なお、この図9に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるわけではない。また、この処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。
上記のようにライン毎の相関を算出する場合には画像データをライン毎に取り出す過程で、相関の算出と共にライン毎に交互にマージした画像データを生成し、係る合成画像データを符号化することで符号化効率を高めることもできる。
視差を持つ二つの画像データをライン毎に重ねてマージして符号化することで互いに相関のある画像データは夫々独立に符号化するよりも、符号化した場合の圧縮率を向上させることができる。
第4の実施形態では視差を持つ二つの画像データをライン毎に相関を算出するので、その過程でデータをマージ(合成)することで簡易にマージした画像データを生成することができる。
図10は、第4の実施形態に係る三次元画像データの符号化処理のブロック構成を示した図である。
この図に示す画像処理装置は、三次元画像ライン毎入力部41、ライン毎画像データ抽出部42、相関算出部43、奥行き算出部44、画像属性毎奥行き評価部45、データ合成部(画像データ合成手段)46、符号化処理部(符号化手段)47、復号化処理部48、画像属性毎画像データ編集部(調整手段)49、出力処理部50、第1の画像データ保存部51、ライン毎画像データ保存部52、相関データ保存部53、奥行きデータ保存部54、第2の画像データ保存部55、符号データ保存部56、第3の画像データ保存部57により構成されている。
データ合成部46では、ライン毎画像データ保存部52に保存されたライン毎画像データを合成する。合成した画像データは第2の画像データ保存部55に保存される。
三次元画像データを再生した場合の奥行きを算出及び評価は、三次元画像ライン毎入力部41、ライン毎画像データ抽出部42、相関算出部43、奥行き算出部44、画像属性毎奥行き評価部45で行う。
データ合成部46は、図11に示したように入力された画像データを合成して、合成画像データを生成する機能を有する。符号化処理部47は合成した画像データを符号化する機能を有する。また符号化処理部47は符号データを編集(削除)して、新しい符号データを再構成して生成する再構成手段としての機能を有していても構わない。
復号化処理部48は、符号化された符号データを復号化し画像データを生成する機能を有する。画像属性毎画像データ編集部49は、二つの画像データを編集して画像データ同士の相関を調整して奥行き度合いを調整する。なお、画像属性毎画像データ編集部49は出力した画像の状態を観察しながら奥行き度合いを調整しても構わない。
出力処理部50は、復元した画像データを使用して出力する機能を有する。
二つの画像データを合成して符号化する場合は、二つの画像データをライン毎に交互に重ねあわせて新たな画像データを生成している。三次元立体像表示のための右眼用と左眼用の両者のデータに見られるように互いに同じようなデータの場合にあっては、画像間の相関が高く、ライン毎に交互に画像データを合成した合成画像は符号化における圧縮率を高くすることが期待できる。互いに相関が高い画像データ同士をマージすることで、符号化時の圧縮率を高めることができるのである。
図12は符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図であり、この図12から相関算出処理とデータ合成処理が並列に実行可能であり、処理効率を高めることが可能であることが分かる。
第4の実施形態では、符号化処理部47においてJPEG2000規格に基づく符号化を行っており、合成した画像データに対してウェーブレット変換を施して符号化処理している。
ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して画像属性領域、例えば、文字領域を識別する。このように画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
図13に示す符号化処理の特徴は、先に記載したように画像データを分析して奥行き度合いを算出する(上記ステップS82)ことに加え、画像データを合成(マージ)して(ステップS83〜S86)、マージした画像データを符号化処理、及び復号化処理を行う点にある。即ち、ステップS83において、前述したようにライン毎に交互に読み込んだ右眼用と左眼用三次元の画像データを重ね合わせてマージし、符号化対象とする別の新しい画像データを生成する。後述するように、右眼用と左眼用三次元の画像データを交互にライン毎に読み込みながら所定のライン数分毎に符号化していくのであっても構わない。
ステップS84では、マージした画像データを符号化し符号データを生成する。次にステップS85においては、生成された符号データを復号化し画像データを生成し、続くステップS86においては生成された画像データが複数個の画像データを重ね合わせて構成されたものであるので、それを分解して元に戻して元の画像データを復元する。
次にステップS87においては、奥行き度合いに基づいて画像データを編集し、ステップS88において三次元画像データを出力する。
なお、第4の実施形態ではウェーブレット変換による符号化を例に説明しているが、符号化方式は問わない。また、符号化後の符号データについて符号データを再構成する編集機能をもっていても構わない。
ところで、ステップS83の画像データの合成において、圧縮率が高くなるように相関を高めるために、図14に示すように合成方法を変更しても構わない。
図13は、右眼用と左眼用三次元画像データを合成する場合に列をずらして合成する処理を示している。
この例では、互いに左右方向をずらして合成データを生成する例になっている。これは、三次元立体表示用のデータにおいては、右眼用と左眼用の画像データのように視差のために同じ対象を表す画像の左右の位置が互いにに少しずれているような場合や、データが後述する連続データの符号化において左右方向に連続データが少し動いたような場合に有効となる。殊に、三次元画像データの場合は、近くの対象を撮影した場合に、視差のずれが大きいことから、焦点距離に応じて、左右方向にずらす機能を持たせることもできる。
例えば、焦点距離が短いときにずらす補正量を大きくするという制御をすることで、合成後の画像データの圧縮率を高めることが期待できる。
図15は、第5の実施形態に係る符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成する場合に、合成する画像データが互いに分離されているように画像データがブロック(タイル)分割されていて、夫々のブロック(タイル)毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は前述したJPEG2000(ISO/IEC 15444−1)で符号化されている場合には、符号レベルでの編集を容易に進めることができる。本実施形態では、合成された画像データを符号化する方式は、別々に独立に符号化するのと比較して、両者のデータがまとまっていることから、領域部分的な符号量制御が容易であるというところにも着目した。
JPEG2000規格の符号化方式においては、併合対象となる画像データで同じ領域に対する同様な処理をするような場合にあって、画像データに対応して夫々別々に処理をすることなく、まとまった処理が可能である。
また、JPEG2000では、生成された符号データの領域は再生画像の領域に対応しているので、符号データの編集においても右眼用と左眼用二つの特定領域の編集が容易に実現できる。すなわち、合成された画像データの符号化処理により生成された符号データに対して符号データの編集を行うことにより、複数のデータをまとめて編集できるため効率的である。
特に、JPEG2000規格の符号化によれば、符号レベルでの編集が容易に実現できる。符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。例えば、前記領域とそれ以外の領域とで異なる圧縮率により前記符号化する。特に注目領域とそうでない領域とで異なる圧縮率で符号化する。
以下、第6の実施形態としてJPEG2000規格に基づき符号化について説明する。
JPEG2000規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Y、Cr、Cbの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより得られるウェーブレット係数にJPEG2000に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。そして全ての色データに対して上記のような処理を施した後、JPEG2000で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部114と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図21に示したようにブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
カラー画像は、一般に図18に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00、R01、…、R15/G00、G01、…、G15/B00、B01、…、B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル120のデータが、図17の色空間変換部110に入力され、色空間変換を施されたのち、2次元ウェーブレット変換部111で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
図19には、デコンポジション・レベル数が3の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL、1HL、1LH、1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL、2HL、2LH、2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL、3HL、3LH、3HH)を分離する。
例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL、3LH、3HH、2HL、2LH、2HH、1HL、1LH、1HH)が符号化対象となり、3LLサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図17の量子化部112で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図21に示したように一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
エントロピー符号化部113で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの1つで示される。パケットは、あるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
(1)LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
(2)RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
(3)PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
(4)CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部(符号列形成部)は、エントロピコーダ部からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図17を用いて簡単に説明する。この場合、タグ処理部114は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部112でその対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。
エントロピー復号化部113で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部111で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、JPEG2000の符号データは、5通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができる。
Claims (10)
- 三次元画像を再生するための画像処理を行う画像処理装置であって、
右眼用と左眼用の画像データを入力する画像データ入力手段と、前記画像データの属性毎の領域を識別する属性領域抽出手段と、前記画像データの属性領域毎の相関値を算出する相関算出手段と、算出された相関値により三次元画像の属性領域毎の奥行き度合いを推定する推定手段と、前記属性領域に文字属性が含まれている場合は、当該文字属性が含まれている属性領域の奥行きを調整する調整手段と、を備えていることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎に算出されることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置において、前記相関算出手段における相関は画像データの垂直方向のライン毎に算出されることを特徴とする画像処理装置。
- 請求項2又は請求項3に記載の画像処理装置において、前記右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、合成した画像データを符号化する符号化手段と、を備えることを特徴とする画像処理装置。
- 請求項1乃至請求項4の何れか1項に記載の画像処理装置において、前記相関算出手段は、画像データの一部の領域を用いて相関を算出することを特徴とする画像処理装置。
- 請求項4に記載の画像処理装置において、前記符号化手段により符号化した符号データがJPEG2000規格に基づき符号化されたデータであることを特徴とする画像処理装置。
- 請求項6に記載の画像処理装置において、前記属性領域抽出手段による画像の領域識別を符号レベルで行うようにしたことを特徴とする画像処理装置。
- 請求項7又は請求項8に記載の画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする画像処理装置。
- 三次元画像を再生するための画像処理方法であって、
入力された二つの画像データの属性毎の領域を識別する属性領域抽出ステップと、前記画像データの属性領域毎の相関値を算出する相関算出ステップと、算出された相関値により三次元画像の属性領域毎の奥行き度合いを推定する推定ステップと、前記属性領域に文字属性が含まれている場合は、当該文字属性が含まれている属性領域の奥行きを調整する調整ステップと、を有することを特徴とする画像処理方法。 - 請求項9に記載の画像処理方法において、入力された2つの画像データを合成する合成ステップと、合成した画像データを符号化する符号化ステップと、符号化したデータを復号化する復号化ステップとを有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005210453A JP4751116B2 (ja) | 2005-07-20 | 2005-07-20 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005210453A JP4751116B2 (ja) | 2005-07-20 | 2005-07-20 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007028439A JP2007028439A (ja) | 2007-02-01 |
JP4751116B2 true JP4751116B2 (ja) | 2011-08-17 |
Family
ID=37788567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005210453A Expired - Fee Related JP4751116B2 (ja) | 2005-07-20 | 2005-07-20 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4751116B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5361618B2 (ja) * | 2009-09-04 | 2013-12-04 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2011109422A (ja) * | 2009-11-18 | 2011-06-02 | Hitachi Consumer Electronics Co Ltd | 3次元映像表示装置、再生装置及び記録媒体 |
JP5660361B2 (ja) | 2010-03-26 | 2015-01-28 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
KR101798236B1 (ko) * | 2011-04-29 | 2017-11-15 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 휘도 조절 방법 |
JP2012249295A (ja) * | 2012-06-05 | 2012-12-13 | Toshiba Corp | 映像処理装置 |
JP5355758B2 (ja) * | 2012-07-06 | 2013-11-27 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
JP5742886B2 (ja) * | 2013-06-19 | 2015-07-01 | 沖電気工業株式会社 | 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム |
CN112379440A (zh) * | 2020-11-02 | 2021-02-19 | 中国石油天然气集团有限公司 | 缝洞体固体充填特征识别方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870475A (ja) * | 1994-06-23 | 1996-03-12 | Sanyo Electric Co Ltd | 立体動画像の符号化・復号化方法及び装置 |
JP3802653B2 (ja) * | 1997-05-21 | 2006-07-26 | オリンパス株式会社 | 立体画像表示装置 |
JP4251952B2 (ja) * | 2003-10-01 | 2009-04-08 | シャープ株式会社 | 立体画像表示装置および立体画像表示方法 |
-
2005
- 2005-07-20 JP JP2005210453A patent/JP4751116B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007028439A (ja) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4751116B2 (ja) | 画像処理装置、画像処理方法 | |
US8953898B2 (en) | Image processing apparatus and method | |
JP5660361B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
JP4898513B2 (ja) | クライアント・サーバシステム | |
JP4637672B2 (ja) | 符号化処理装置及び方法 | |
Wang et al. | Curved wavelet transform for image coding | |
US10827161B2 (en) | Depth codec for 3D-video recording and streaming applications | |
JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
KR20000059799A (ko) | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
JP2005123856A (ja) | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 | |
JP4792250B2 (ja) | 動画像処理装置、及び動画像処理方法 | |
WO2021193213A1 (ja) | 情報処理装置、3dモデル生成方法およびプログラム | |
JP2007074042A (ja) | 動画像処理装置及び方法 | |
JP4315928B2 (ja) | 画像処理装置および画像処理方法 | |
KR100656783B1 (ko) | 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한양안식 입체 영상 렌더링 장치 및 그 방법 | |
JP2016192054A (ja) | 画像処理システムおよび画像処理方法 | |
JP4379869B2 (ja) | 動画像処理装置、プログラム及び情報記録媒体 | |
CN104427323B (zh) | 基于深度的三维图像处理方法 | |
JP3942088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4375662B2 (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
Gao et al. | Occupancy-assisted attribute artifact reduction for video-based point cloud compression | |
JP4247089B2 (ja) | ノンインターレース画像の処理装置及び処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110520 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |