JP2007074042A - 動画像処理装置及び方法 - Google Patents
動画像処理装置及び方法 Download PDFInfo
- Publication number
- JP2007074042A JP2007074042A JP2005255758A JP2005255758A JP2007074042A JP 2007074042 A JP2007074042 A JP 2007074042A JP 2005255758 A JP2005255758 A JP 2005255758A JP 2005255758 A JP2005255758 A JP 2005255758A JP 2007074042 A JP2007074042 A JP 2007074042A
- Authority
- JP
- Japan
- Prior art keywords
- amount
- motion
- image
- frame
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 三次元動画像表示で動き量に基づいてフレーム画像を調整することで動き量推定精度を向上することができる動画像処理装置及び動画像処理方法を提供する。
【解決手段】 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム単位の二つの画像データ間の相関を算出する相関算出処理と、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定処理と(S11)、この動き量推定処理により動き量が小さいと推定された場合に、フレーム画像データを間引いて再生する間引き再生処理(S12)を実行するようにした。
【選択図】 図3
【解決手段】 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム単位の二つの画像データ間の相関を算出する相関算出処理と、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定処理と(S11)、この動き量推定処理により動き量が小さいと推定された場合に、フレーム画像データを間引いて再生する間引き再生処理(S12)を実行するようにした。
【選択図】 図3
Description
本発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置に関わり、特に、三次元画像表示用データの再生画像の奥行き方向の動き量を推定し、その動き量に基づいてフレーム補正をする動画像処理装置及び動画像処理方法に関するものである。
一般的に、三次元立体像表示においては、視野の異なる右眼用と左眼用の画像データを別々に用意して再現することで三次元表示処理がなされている。右眼用と左眼用の画像データ間の違い(相関)が奥行きとして再現され、二つの画像間の相関の大きさが奥行きの度合いを表し、この奥行き度合いの推定値を用いることで動き量の推定精度を向上するようにしたものがある。
動き量を推定する方式としては、特許文献1乃至4等が提案されている。
特許文献1に開示されている動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行うようにしている。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
また特許文献2には、入力画像の周波数成分により構成される水平方向の櫛状部分を検出して検出程度を表す量を出力し、入力画像に対し垂直高域通過フィルタリングを行い符号化する技術が開示されている。
特許文献3には、インターレースのくし型により、画像が動いているか否かを判定し、ブロックノンインターレースデータ(フレームデータ)とブロックインターレースデータ(フィールドデータ)の何れか一方のデータを選択して符号化を行う技術が開示されている。
特許文献4には、離散ウェーブレット変換で変換された係数を基にフレーム間での画像の動きを検出し、この検出した画像の動きを用いて符号化された画像データの量を低減する技術が開示されている。
特許文献5には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
特公平04−77517号公報
特開2002−271789公報
特開2002−64830公報
特開2001−309381公報
特開2001−16612公報
動き量を推定する方式としては、特許文献1乃至4等が提案されている。
特許文献1に開示されている動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行うようにしている。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
また特許文献2には、入力画像の周波数成分により構成される水平方向の櫛状部分を検出して検出程度を表す量を出力し、入力画像に対し垂直高域通過フィルタリングを行い符号化する技術が開示されている。
特許文献3には、インターレースのくし型により、画像が動いているか否かを判定し、ブロックノンインターレースデータ(フレームデータ)とブロックインターレースデータ(フィールドデータ)の何れか一方のデータを選択して符号化を行う技術が開示されている。
特許文献4には、離散ウェーブレット変換で変換された係数を基にフレーム間での画像の動きを検出し、この検出した画像の動きを用いて符号化された画像データの量を低減する技術が開示されている。
特許文献5には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
しかしながら、動画像再生では符号量が大きいために転送時にフレーム符号データの駒落ちが起こる場合がある。そこで、動画像の符号化処理の過程で、Motion−JPEG2000のようにフレーム間で独立に符号化されるような場合に、動き量がない場合にフレーム間引きとか符号量削減処理とかの編集をすることが提案されているが、動き量が高精度に推定できないと編集に起因する画質劣化を招くおそれがあった。
そこで、上記したような点を鑑みてなされたものであり、三次元動画像表示で動き量に基づいてフレーム画像を調整することで動き量推定精度を向上することができる動画像処理装置及び動画像処理方法を提供することを目的とする。
そこで、上記したような点を鑑みてなされたものであり、三次元動画像表示で動き量に基づいてフレーム画像を調整することで動き量推定精度を向上することができる動画像処理装置及び動画像処理方法を提供することを目的とする。
上記目的を達成するため、請求項1に記載の発明は、三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、該動き量推定手段により動き量が小さいと推定された場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする。
請求項2に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする。
請求項3に記載の発明は、三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、フレーム画像データを符号化する符号化手段と、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする。
請求項2に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする。
請求項3に記載の発明は、三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、フレーム画像データを符号化する符号化手段と、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする。
請求項4に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の画像データを符号化する符号化手段と、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする。
請求項5に記載の発明は、請求項2または4記載の動画像処理装置において、処理速度要求を入力する処理速度要求入力手段をさらに備え、前記動き量推定手段は、前記処理速度要求が高速要求の場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。
請求項6に記載の発明は、請求項1乃至4の何れか1項に記載の動画像処理装置において、フレーム補正精度要求を入力するフレーム補正精度要求入力手段をさらに備え、前記動き量推定手段は、前記フレーム補正精度要求が高い場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。
請求項5に記載の発明は、請求項2または4記載の動画像処理装置において、処理速度要求を入力する処理速度要求入力手段をさらに備え、前記動き量推定手段は、前記処理速度要求が高速要求の場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。
請求項6に記載の発明は、請求項1乃至4の何れか1項に記載の動画像処理装置において、フレーム補正精度要求を入力するフレーム補正精度要求入力手段をさらに備え、前記動き量推定手段は、前記フレーム補正精度要求が高い場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする。
請求項7に記載の発明は、請求項1乃至6の何れか1項に記載の動画像処理装置において、画像領域毎に動き量を推定する領域毎動き量推定手段と、前記画像領域毎に符号量を削減する符号量削減手段と、を備えたことを特徴とする。
請求項8記載の発明は、請求項1乃至7の何れか1項に記載の動画像処理装置において、前記相関の算出は画像データの一部の領域であることを特徴とする。
請求項9に記載の発明は、請求項1乃至8の何れか1項に記載の動画像処理装置において、前記フレーム符号データはMotion−JPEG2000規格に基づいて符号化されることを特徴とする。
請求項10に記載の発明は、請求項9記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えたことを特徴とする。
請求項11に記載の発明は、請求項9記載の動画像処理装置において、画像データをウェーブレット変換するウェーブレット変換の過程で得られたサブ・バンド単位の符号データの符号量を算出するサブ・バンド符号量算出手段と、サブ・バンド1LH中の符号量またはサブ・バンド1HL中の符号量とで前記縦横方向動き量を推定する動き量推定手段と、を備えたことを特徴とする。
請求項12に記載の発明は、請求項1乃至11の何れか1項に記載の動画像処理装置において、フレーム画像データがインターレース画像であり、インターレース画像データを奇数フィールドの画像データと偶数フィールドの画像データに分割するフィールド分割手段と、あるインターレース画像の奇数フィールドの画像データと前記インターレース画像の一つ前のインターレース画像の偶数フィールドの画像データのフィールドデータを使用して動き量を推定する動き量手段と、を備えたことを特徴とする。
請求項13に記載の発明は、請求項12に記載の動画像処理装置において、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量を計算する動き量計算手段と、前記奇数及び偶数のフィールド間の動き量に基づいて前記動き量を判定する判定手段と、を備えたことを特徴とする。
請求項8記載の発明は、請求項1乃至7の何れか1項に記載の動画像処理装置において、前記相関の算出は画像データの一部の領域であることを特徴とする。
請求項9に記載の発明は、請求項1乃至8の何れか1項に記載の動画像処理装置において、前記フレーム符号データはMotion−JPEG2000規格に基づいて符号化されることを特徴とする。
請求項10に記載の発明は、請求項9記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えたことを特徴とする。
請求項11に記載の発明は、請求項9記載の動画像処理装置において、画像データをウェーブレット変換するウェーブレット変換の過程で得られたサブ・バンド単位の符号データの符号量を算出するサブ・バンド符号量算出手段と、サブ・バンド1LH中の符号量またはサブ・バンド1HL中の符号量とで前記縦横方向動き量を推定する動き量推定手段と、を備えたことを特徴とする。
請求項12に記載の発明は、請求項1乃至11の何れか1項に記載の動画像処理装置において、フレーム画像データがインターレース画像であり、インターレース画像データを奇数フィールドの画像データと偶数フィールドの画像データに分割するフィールド分割手段と、あるインターレース画像の奇数フィールドの画像データと前記インターレース画像の一つ前のインターレース画像の偶数フィールドの画像データのフィールドデータを使用して動き量を推定する動き量手段と、を備えたことを特徴とする。
請求項13に記載の発明は、請求項12に記載の動画像処理装置において、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量を計算する動き量計算手段と、前記奇数及び偶数のフィールド間の動き量に基づいて前記動き量を判定する判定手段と、を備えたことを特徴とする。
請求項14に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが、予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、該動き量推定ステップにより動き量が小さいと推定された場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする。
請求項15に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする。
請求項16に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。
請求項17に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。
請求項15に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする。
請求項16に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。
請求項17に記載の発明は、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする。
本発明によれば、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、動き量を高精度に推定することで、奥行き方向を含めた動画像の動き量が小さい場合にフレーム間引きしたり、フレーム画像を編集したりして符号量を削減することで、編集に起因する画質劣化を防止することができる。
以下、図面を参照しながら本発明の実施形態を説明する。
先ず、奥行き動き量によるフレーム間引き制御について説明する。
図1は、本発明の第1の実施形態の動画像処理装置の奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。なお、本実施形態では、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置の構成を例に挙げて説明する。
この図1に示す動画像処理装置は、奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部101、画像奥行き算出部102、動き量評価部103、フレーム(符号データ)編集部104、画像データ保存部105、評価基準動き量保存部106、フレーム毎奥行き保存部107、フレーム動き量評価結果保存部108、フレーム動き量変化評価結果保存部109により構成されている。
このように構成される動画像処理装置では、フレーム毎に画像の奥行きを算出する画像奥行き算出部102においてフレーム単位で、右眼用と左眼用の二つの画像データ間の相関を算出し、算出した相関値により三次元画像の奥行き度合いを推定する。動き量評価部103では、画像奥行き算出部102において推定された奥行き度合いが予め設定された設定値よりも小さいかどうかを判断する。動き量が小さいと判断した場合に、フレーム符号データ編集部104においてフレーム補正を指令する。フレーム符号データ編集部104では、動き量が小さいと判断したフレーム画像データを間引いたりするようにしている。
即ち、本実施形態においては、三次元画像入力部101にて、右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部102にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部103において評価基準動き量保存部106に保存された基準動き量と、画像奥行き算出部102において推定されたフレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部108に保存する。そして、直前に保存されたフレームの動き量評価結果と新たなフレームの動き量の評価結果とを比較し、フレーム動き量変化評価結果をフレーム動き量変化評価結果保存部109に保存する。フレーム符号データ編集部104においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。
先ず、奥行き動き量によるフレーム間引き制御について説明する。
図1は、本発明の第1の実施形態の動画像処理装置の奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。なお、本実施形態では、三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置の構成を例に挙げて説明する。
この図1に示す動画像処理装置は、奥行き動き量によるフレーム補正をする処理ブロックの構成を示した図である。フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部101、画像奥行き算出部102、動き量評価部103、フレーム(符号データ)編集部104、画像データ保存部105、評価基準動き量保存部106、フレーム毎奥行き保存部107、フレーム動き量評価結果保存部108、フレーム動き量変化評価結果保存部109により構成されている。
このように構成される動画像処理装置では、フレーム毎に画像の奥行きを算出する画像奥行き算出部102においてフレーム単位で、右眼用と左眼用の二つの画像データ間の相関を算出し、算出した相関値により三次元画像の奥行き度合いを推定する。動き量評価部103では、画像奥行き算出部102において推定された奥行き度合いが予め設定された設定値よりも小さいかどうかを判断する。動き量が小さいと判断した場合に、フレーム符号データ編集部104においてフレーム補正を指令する。フレーム符号データ編集部104では、動き量が小さいと判断したフレーム画像データを間引いたりするようにしている。
即ち、本実施形態においては、三次元画像入力部101にて、右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部102にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部103において評価基準動き量保存部106に保存された基準動き量と、画像奥行き算出部102において推定されたフレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部108に保存する。そして、直前に保存されたフレームの動き量評価結果と新たなフレームの動き量の評価結果とを比較し、フレーム動き量変化評価結果をフレーム動き量変化評価結果保存部109に保存する。フレーム符号データ編集部104においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。
図2は、奥行き方向の動き量をフレーム毎に推定する画像奥行き算出部102の構成を示したブロック図である。
この図2に示す画像奥行き算出部102は、領域毎に画像を抽出する領域毎画像抽出部41、画像領域毎に奥行きを算出する画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46により構成される。
また画像領域毎奥行き算出部42は、領域毎画像抽出部51、ライン毎画像データ抽出部52、相関算出部53、奥行き算出部54、ライン毎画像データ保存部55、相関データ保存部56により構成されている。
画像奥行き算出部102は、三次元画像入力部101で三次元画像データを読み込み、領域毎画像抽出部41で画像領域の画像データを算出する。画像領域毎奥行き算出部42では、画像領域毎に三次元画像入力部101にて画像領域の画像データを読み込み、ライン毎画像データ抽出部52でライン毎に画像データをライン単位で読み込み、相関算出部53においてライン単位で相関値を算出する。そして、奥行き算出部54で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部43は、保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部107には該フレームの画像データを再生した場合の奥行き情報が保存される。
このように構成される動作画像処理装置においては、フレーム補正を施し、処理負担の軽減、あるいは、フレーム符号データの保存量を節約するために、三次元画像の奥行き動き量が少ない場合にフレーム間引きをするようにしている。このため、前述したように、動き量として奥行き動き量を評価するところに特徴がある。
この図2に示す画像奥行き算出部102は、領域毎に画像を抽出する領域毎画像抽出部41、画像領域毎に奥行きを算出する画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46により構成される。
また画像領域毎奥行き算出部42は、領域毎画像抽出部51、ライン毎画像データ抽出部52、相関算出部53、奥行き算出部54、ライン毎画像データ保存部55、相関データ保存部56により構成されている。
画像奥行き算出部102は、三次元画像入力部101で三次元画像データを読み込み、領域毎画像抽出部41で画像領域の画像データを算出する。画像領域毎奥行き算出部42では、画像領域毎に三次元画像入力部101にて画像領域の画像データを読み込み、ライン毎画像データ抽出部52でライン毎に画像データをライン単位で読み込み、相関算出部53においてライン単位で相関値を算出する。そして、奥行き算出部54で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部43は、保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部107には該フレームの画像データを再生した場合の奥行き情報が保存される。
このように構成される動作画像処理装置においては、フレーム補正を施し、処理負担の軽減、あるいは、フレーム符号データの保存量を節約するために、三次元画像の奥行き動き量が少ない場合にフレーム間引きをするようにしている。このため、前述したように、動き量として奥行き動き量を評価するところに特徴がある。
図3は第1の実施形態の動画像処理装置における奥行き動き量によるフレーム間引き制御の処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S1)、夫々の画像データのライン毎の相関値を算出する(S2)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S3)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S4)。
次に、ステップS5において、領域内の全ての画像に対して上記ステップS1〜S4の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S5でN)、ステップS1に戻って処理を繰り返し行う。
一方、ステップS5において領域内の全ての画像に対して上記ステップS1〜S4の処理が行われたと判断した場合は(S5でY)、続くステップS6において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S6でN)、領域を変更した後(S7)、ステップS1に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S6でY)、ステップS8に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S8)。例えば、ある第1閾値より小さければ→奥行き評価値=小と判定し、ある第1閾値より大きければ→奥行き評価値=大と判定し、それ以外であれば→奥行き評価値=中と判定する。
次に、フレーム画像データの奥行き評価値を保存し(S9)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S10)。
例えば、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|であり、Nがある第1閾値より小さければ→奥行き変化=小と判定、Nがある第2閾値より大きければ→奥行き変化=大と判定、それ以外であれば→奥行き変化=中と判定する。
次に、ステップS11において、フレーム画像データの動き量(奥行き方向の動き量)の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ(S11でY)、そのフレーム画像データを削除(フレーム間引き)して(S12)、ステップS13に進む。
一方、ステップS11に否定結果が得られたときは(S11でN)、ステップS12においてフレーム画像データを削除することなくステップS13に進む。
ステップS13においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップS1に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S1)、夫々の画像データのライン毎の相関値を算出する(S2)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S3)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S4)。
次に、ステップS5において、領域内の全ての画像に対して上記ステップS1〜S4の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S5でN)、ステップS1に戻って処理を繰り返し行う。
一方、ステップS5において領域内の全ての画像に対して上記ステップS1〜S4の処理が行われたと判断した場合は(S5でY)、続くステップS6において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S6でN)、領域を変更した後(S7)、ステップS1に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S6でY)、ステップS8に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S8)。例えば、ある第1閾値より小さければ→奥行き評価値=小と判定し、ある第1閾値より大きければ→奥行き評価値=大と判定し、それ以外であれば→奥行き評価値=中と判定する。
次に、フレーム画像データの奥行き評価値を保存し(S9)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S10)。
例えば、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|であり、Nがある第1閾値より小さければ→奥行き変化=小と判定、Nがある第2閾値より大きければ→奥行き変化=大と判定、それ以外であれば→奥行き変化=中と判定する。
次に、ステップS11において、フレーム画像データの動き量(奥行き方向の動き量)の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ(S11でY)、そのフレーム画像データを削除(フレーム間引き)して(S12)、ステップS13に進む。
一方、ステップS11に否定結果が得られたときは(S11でN)、ステップS12においてフレーム画像データを削除することなくステップS13に進む。
ステップS13においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップS1に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。
このように第1の実施形態の動画像処理装置では、右眼用と左眼用の二つの画像データ間の相関を算出し、算出した相関値により三次元画像の奥行き度合いを推定する。そして奥行き度合いが予め設定された設定値よりも小さいか否かの判定を行い、動き量が小さいと判定した場合にフレーム補正、この場合はフレーム画像データを間引いて再生するようにしている。なお、上記したフレーム間引き制御の処理において、動き量を算出する際に、奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって該動き量を評価することもできる。
ここで、本実施形態の動画像処理装置では、三次元画像データを再生した場合の奥行き方向の動きによって動き量を推定するようにしている。奥行き方向の動き量を推定するのに右眼用と左眼用の二つの画像データの相関を用いる。
本実施形態における右眼用と左眼用の二つの画像データの相関の計算は、以下の式に従って算出する。
S(y)は、ある画像y番目のライン(yは0〜ly-1の範囲内の数値とする)の相関値である。
ここで、画素の(x,y)は座標値であり、I(x,y)は画像Iの座標(x,y)の値であり、J(x,y)は画像Jの座標(x,y)の値である。画像は、xの最大値がlx-1、yの最大値がly-1よりなる。
なお、相関値は必ずしも上記に示すような算出式(式1)により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるy番目のラインの相関S(y)は、以下の式2により求めてよい。その場合はより簡潔になる。
相関値S(y)は、
ここで、本実施形態の動画像処理装置では、三次元画像データを再生した場合の奥行き方向の動きによって動き量を推定するようにしている。奥行き方向の動き量を推定するのに右眼用と左眼用の二つの画像データの相関を用いる。
本実施形態における右眼用と左眼用の二つの画像データの相関の計算は、以下の式に従って算出する。
S(y)は、ある画像y番目のライン(yは0〜ly-1の範囲内の数値とする)の相関値である。
ここで、画素の(x,y)は座標値であり、I(x,y)は画像Iの座標(x,y)の値であり、J(x,y)は画像Jの座標(x,y)の値である。画像は、xの最大値がlx-1、yの最大値がly-1よりなる。
なお、相関値は必ずしも上記に示すような算出式(式1)により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるy番目のラインの相関S(y)は、以下の式2により求めてよい。その場合はより簡潔になる。
相関値S(y)は、
また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値<S→奥行き度合い=大
相関値>S→奥行き度合い=小 ・・・式3
上記図3に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Sと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Sより大きかった場合に奥行き度合いが小さいと推定した。
また奥行き方向の動き量は、奥行き度合いの時間変化、すなわち、フレーム単位の奥行き度合いの変化によって推定する。
ところで、上記した第1の実施形態の動画像処理装置においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
そこで、次に第2の実施形態として奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上することができる動画像処理装置について説明する。即ち、動き量の算出の場合に、奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量を推定する動画像処理装置を説明する。
奥行き度合いの算出式は、
相関値<S→奥行き度合い=大
相関値>S→奥行き度合い=小 ・・・式3
上記図3に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Sと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Sより大きかった場合に奥行き度合いが小さいと推定した。
また奥行き方向の動き量は、奥行き度合いの時間変化、すなわち、フレーム単位の奥行き度合いの変化によって推定する。
ところで、上記した第1の実施形態の動画像処理装置においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
そこで、次に第2の実施形態として奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上することができる動画像処理装置について説明する。即ち、動き量の算出の場合に、奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量を推定する動画像処理装置を説明する。
図4は、第2の実施形態に係る動画像処理装置の奥行き度合い算出部と、周辺部の構成を示した図である。なお、図2と同一部位には同一符号を付して説明は省略する。
この図に示す奥行き度合い算出部102は、領域毎画像抽出部41、画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46、画面内動き量算出部81、フレーム奥行き方向動き量算出部82により構成される。
この場合は、画面内動き量算出部81は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部のウェーブレット変換処理部でウェーブレット変換し、1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量の推定精度を向上させている。勿論、動き量の推定の方法を処理速度要求によって切り替えても構わない。例えば、高速な処理が要求されている場合には、奥行き方向の動きだけ、あるいは、二次元平面方向の動きだけで動き量を推定し、そうでない場合に、奥行き方向と二次元平面方向の動きで動き量を推定するようにしても良い。
この図に示す奥行き度合い算出部102は、領域毎画像抽出部41、画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46、画面内動き量算出部81、フレーム奥行き方向動き量算出部82により構成される。
この場合は、画面内動き量算出部81は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部のウェーブレット変換処理部でウェーブレット変換し、1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
奥行き方向の動き量だけでなく、二次元平面方向の動きを評価することによって動き量の推定精度を向上させている。勿論、動き量の推定の方法を処理速度要求によって切り替えても構わない。例えば、高速な処理が要求されている場合には、奥行き方向の動きだけ、あるいは、二次元平面方向の動きだけで動き量を推定し、そうでない場合に、奥行き方向と二次元平面方向の動きで動き量を推定するようにしても良い。
図5は、奥行き動き量によるフレーム間引き処理の概念説明図である。
本実施形態では、三次元表示における奥行き方向の動きが小さいときに該フレームを削除して(フレーム間引きして)、処理負担を軽減、あるいは、フレー符号データの保存量を節約している。即ち、本実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。MPEGなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレームを間引くことを簡単に実現することはできない。これに対して、本実施形態では、Motion−JPEG2000符号化によりフレーム間独立で符号化することによって符号レベルでのフレームデータを削減することを容易に実現することができる。
尚、奥行き方向の動き量推定については、本出願人が先に出願した特願2005−202358にて詳述している。
次に、本発明の奥行き動き量によるフレーム符号量削減制御方式について説明する。
なお、その場合の動画像処理装置の構成は、図2に示した動画像処理装置により実現できるため、図示は省略するが、フレーム符号データ編集部104の動き量が小さいと判断されたフレーム画像データを間引いて再生する機能を備えている点に特徴がある。
本実施形態では、三次元表示における奥行き方向の動きが小さいときに該フレームを削除して(フレーム間引きして)、処理負担を軽減、あるいは、フレー符号データの保存量を節約している。即ち、本実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。MPEGなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレームを間引くことを簡単に実現することはできない。これに対して、本実施形態では、Motion−JPEG2000符号化によりフレーム間独立で符号化することによって符号レベルでのフレームデータを削減することを容易に実現することができる。
尚、奥行き方向の動き量推定については、本出願人が先に出願した特願2005−202358にて詳述している。
次に、本発明の奥行き動き量によるフレーム符号量削減制御方式について説明する。
なお、その場合の動画像処理装置の構成は、図2に示した動画像処理装置により実現できるため、図示は省略するが、フレーム符号データ編集部104の動き量が小さいと判断されたフレーム画像データを間引いて再生する機能を備えている点に特徴がある。
図6は、第3の実施形態の動画像処理装置における奥行き動き量によるフレーム符号量の削減処理を示したフローチャートである。なお、図3と同一処理には同一符号を付して詳細な説明は省略する。
この場合も、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S1)、夫々の画像データのライン毎の相関値を算出する(S2)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S3)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S4)。
次に、ステップS5において、領域内の全ての画像に対して上記ステップS1〜S4の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S5でN)、ステップS1に戻って処理を繰り返し行う。
一方、ステップS5において領域内の全ての画像に対して上記ステップS1〜S4の処理が行われたと判断した場合は(S5でY)、続くステップS6において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S6でN)、領域を変更した後(S7)、ステップS1に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S6でY)、ステップS8に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S8)。
次に、フレーム画像データの奥行き評価値を保存し(S9)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S10)。
次に、ステップS21において、フレーム画像データの動き量(奥行き方向の動き量)の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ(S11でY)、そのフレーム画像データの符号量を削減して(S21)、ステップS13に進む。
一方、ステップS11に否定結果が得られたときは(S11でN)、ステップS21においてフレーム画像データを削除することなくステップS13に進む。
ステップS13においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップS1に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。
この場合も、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S1)、夫々の画像データのライン毎の相関値を算出する(S2)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S3)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S4)。
次に、ステップS5において、領域内の全ての画像に対して上記ステップS1〜S4の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S5でN)、ステップS1に戻って処理を繰り返し行う。
一方、ステップS5において領域内の全ての画像に対して上記ステップS1〜S4の処理が行われたと判断した場合は(S5でY)、続くステップS6において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S6でN)、領域を変更した後(S7)、ステップS1に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S6でY)、ステップS8に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S8)。
次に、フレーム画像データの奥行き評価値を保存し(S9)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S10)。
次に、ステップS21において、フレーム画像データの動き量(奥行き方向の動き量)の変化が、予め設定した変化量より小さいか否かの判別を行い、奥行き変化が小さければ(S11でY)、そのフレーム画像データの符号量を削減して(S21)、ステップS13に進む。
一方、ステップS11に否定結果が得られたときは(S11でN)、ステップS21においてフレーム画像データを削除することなくステップS13に進む。
ステップS13においては、全てのフレームの処理が終わったか否かの判断を行い全てのフレームの処理が終わっていなければ、ステップS1に戻る。一方、全てのフレーム処理が終わっていれば処理を終了する。
図7は奥行き動き量によるフレーム符号量を削減する処理の概念説明図である。
第3の実施形態では、三次元表示における奥行き方向の動きが小さいときにフレーム符号量を削除して、処理負担を軽減、あるいは、フレーム符号データの保存量を節約している。
第3の実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。その場合、MPEGなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレーム符号データの編集を簡単に実現することはできない。そこで、本実施形態では、Motion−JPEG2000符号化によりフレーム間独立で符号化することによって符号レベルでのフレーム符号量を削減することを容易に実現できる。
次に、領域毎に奥行き方向の動き量推定方法について説明する。
本実施形態の動画像処理装置では、一部の画像領域を調べて動き量を推定し、該動き量に基づいてフレーム補正することもできる。一部の画像領域を調べるだけであるので処理効率を高めることができる。
本実施形態では、前述した動き量推定のための相関値の算出は、例えば、(式1)あるいは(式2)において、先頭ラインからいくつかのライン(yn)までのラインについてΣ(y=0〜yn)S(y)を算出して、画像全体の相関値として推定する。
ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、あるいは、処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
第3の実施形態では、三次元表示における奥行き方向の動きが小さいときにフレーム符号量を削除して、処理負担を軽減、あるいは、フレーム符号データの保存量を節約している。
第3の実施形態においては、画像データを編集するのではなく、符号データを編集するところに特徴がある。その場合、MPEGなどのフレーム間差分による動画像データの符号化では、符号レベルでフレーム単位に独立に符号化されていないので、フレーム符号データの編集を簡単に実現することはできない。そこで、本実施形態では、Motion−JPEG2000符号化によりフレーム間独立で符号化することによって符号レベルでのフレーム符号量を削減することを容易に実現できる。
次に、領域毎に奥行き方向の動き量推定方法について説明する。
本実施形態の動画像処理装置では、一部の画像領域を調べて動き量を推定し、該動き量に基づいてフレーム補正することもできる。一部の画像領域を調べるだけであるので処理効率を高めることができる。
本実施形態では、前述した動き量推定のための相関値の算出は、例えば、(式1)あるいは(式2)において、先頭ラインからいくつかのライン(yn)までのラインについてΣ(y=0〜yn)S(y)を算出して、画像全体の相関値として推定する。
ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、あるいは、処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
図8は、第4の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。なお、図2と同一部位には同一符号を付して説明は省略する。
図8に示す動画像処理装置は、三次元画像入力部101、画像データ保存部12、属性毎領域抽出部13、属性画像領域データ保存部14、画像属性毎奥行き算出部15、奥行きデータ保存部16により構成される。
さらに画像属性毎奥行き算出部15は、画像属性毎画像抽出部21、ライン毎画像データ抽出部22、相関算出部23、奥行き算出部24、ライン毎画像データ保存部25、相関データ保存部26により構成されている。
三次元画像入力部101では右眼用と左眼用の三次元画像データを読み込み、属性毎領域抽出部13では右眼用と左眼用夫々の画像属性毎に領域抽出を行う。画像属性毎奥行き算出部15では、画像属性毎画像抽出部21にて属性領域の画像データを読み込み、ライン毎画像データ抽出部22で画像データをライン単位で読み込み、相関算出部23で、ライン単位で相関値を算出する。そして、奥行き算出部23で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部26に保存する。
奥行き算出部24では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部24では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。奥行きデータ保存部16には画像属性領域毎に算出された奥行き情報が保存される。
図8に示す動画像処理装置は、三次元画像入力部101、画像データ保存部12、属性毎領域抽出部13、属性画像領域データ保存部14、画像属性毎奥行き算出部15、奥行きデータ保存部16により構成される。
さらに画像属性毎奥行き算出部15は、画像属性毎画像抽出部21、ライン毎画像データ抽出部22、相関算出部23、奥行き算出部24、ライン毎画像データ保存部25、相関データ保存部26により構成されている。
三次元画像入力部101では右眼用と左眼用の三次元画像データを読み込み、属性毎領域抽出部13では右眼用と左眼用夫々の画像属性毎に領域抽出を行う。画像属性毎奥行き算出部15では、画像属性毎画像抽出部21にて属性領域の画像データを読み込み、ライン毎画像データ抽出部22で画像データをライン単位で読み込み、相関算出部23で、ライン単位で相関値を算出する。そして、奥行き算出部23で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部26に保存する。
奥行き算出部24では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部24では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。奥行きデータ保存部16には画像属性領域毎に算出された奥行き情報が保存される。
図9は、上記した三次元画像領域毎に奥行きを算出する原理図である。
右眼用と左眼用の二つの画像データに属性毎の領域データに対して相関算出部23において相関算出処理を施す。この場合は、相関算出部23において右眼用と左眼用の二つの画像データの同じ領域の画像データ同士の相関を算出している。従って、画像属性毎の領域の算出は右眼用と左眼用の二つの画像データの中で一つの画像データに対してだけ画像属性の領域を算出すればよい。
図10は第4の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、右眼用と左眼用の三次元画像データを入力し(S41)、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する(S42)。
次に、右眼用と左眼用の三次元画像データのライン毎に入力し(S43)、夫々の画像データをライン毎に相関値を算出する(S44)。そして、相関値の逆数を画像のライン毎の奥行き度合いとし(S45)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする(S46)。
そして続くステップS47において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ(S47でN)、ステップS43に戻って処理を行う。
一方、ステップS47において領域内の全ての画像に行ったと判断した場合は(S47でY)、続くステップS48において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ(S48でN)、領域を変更した後(S49)、ステップS43に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば(S48でY)、処理を終了する。
右眼用と左眼用の二つの画像データに属性毎の領域データに対して相関算出部23において相関算出処理を施す。この場合は、相関算出部23において右眼用と左眼用の二つの画像データの同じ領域の画像データ同士の相関を算出している。従って、画像属性毎の領域の算出は右眼用と左眼用の二つの画像データの中で一つの画像データに対してだけ画像属性の領域を算出すればよい。
図10は第4の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、右眼用と左眼用の三次元画像データを入力し(S41)、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する(S42)。
次に、右眼用と左眼用の三次元画像データのライン毎に入力し(S43)、夫々の画像データをライン毎に相関値を算出する(S44)。そして、相関値の逆数を画像のライン毎の奥行き度合いとし(S45)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする(S46)。
そして続くステップS47において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ(S47でN)、ステップS43に戻って処理を行う。
一方、ステップS47において領域内の全ての画像に行ったと判断した場合は(S47でY)、続くステップS48において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ(S48でN)、領域を変更した後(S49)、ステップS43に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば(S48でY)、処理を終了する。
次に、JPEG2000における符号レベルでのフレーム補正について説明する。
先に説明したように、フレーム画像データが、Motion−JPEG2000(ISO/IEC 15444−1)規格に基づき符号化あるいは復号化されていると、Motion−JPEG2000では、フレーム単位に独立して扱えるため、本発明の方式を容易に適応することができ有効である。特に、符号レベルで動画像のフレームを一部削減するとか、符号量を削減することができ有効である。
また、符号化は、JPEG2000で符号化されていると、後述するような、動き量を推定する場合にウェーブレット係数符号データを分析することによって、フレーム単位で容易に実施できる。
MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。そこで、まず、簡潔に「JPEG2000アルゴリズム」について説明する。
先に説明したように、フレーム画像データが、Motion−JPEG2000(ISO/IEC 15444−1)規格に基づき符号化あるいは復号化されていると、Motion−JPEG2000では、フレーム単位に独立して扱えるため、本発明の方式を容易に適応することができ有効である。特に、符号レベルで動画像のフレームを一部削減するとか、符号量を削減することができ有効である。
また、符号化は、JPEG2000で符号化されていると、後述するような、動き量を推定する場合にウェーブレット係数符号データを分析することによって、フレーム単位で容易に実施できる。
MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。そこで、まず、簡潔に「JPEG2000アルゴリズム」について説明する。
JPEG2000(ISO/IEC 15444−1)規格の符号化は、おおよそ以下の手順でなされる。
(1)インターレース画像のフレームデータを、Y、Cr、Cbの色成分毎のデータに変換する。
各色成分の色データに対して
(2)2次元離散ウェーブレット変換を施す。
(3)得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施す。
(4)スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。
全ての色データに対して(2)〜(4)の処理を施した後、
(5)JPEG2000で規定する符号列を生成する。
復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は、既に存在する。
(1)インターレース画像のフレームデータを、Y、Cr、Cbの色成分毎のデータに変換する。
各色成分の色データに対して
(2)2次元離散ウェーブレット変換を施す。
(3)得られるウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施す。
(4)スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。
全ての色データに対して(2)〜(4)の処理を施した後、
(5)JPEG2000で規定する符号列を生成する。
復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は、既に存在する。
図11はJPEG2000の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部110、2次元ウェーブレット変換・逆変換部111、量子化・逆量子化部112、エントロピー符号化・復号化部113、タグ処理部114により構成されている。JPEGアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を各々用いている。
DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部114と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図15に示したようにブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部114と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図15に示したようにブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、JPEG2000アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に図12に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル120のデータが、図11の色空間変換部110に入力され、色空間変換を施されたのち、2次元ウェーブレット変換部111で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
図13には、デコンポジション・レベル数が3の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。
カラー画像は、一般に図12に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)によって分割される。そして、個々のタイル、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル120のデータが、図11の色空間変換部110に入力され、色空間変換を施されたのち、2次元ウェーブレット変換部111で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
図13には、デコンポジション・レベル数が3の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。
さらに図15では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。
例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図11の量子化部112で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図15に示したように一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
エントロピー符号化部113(図11参照)では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図11の量子化部112で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図15に示したように一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
エントロピー符号化部113(図11参照)では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部113で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの1つで示される。パケットは、あるプログレッシブ順データ、例えば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
(1)LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
(2)RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP 同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
(3)PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
(4)CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
(1)LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
(2)RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP 同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
(3)PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
(4)CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部(符号列形成部)は、エントロピコーダ部からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
図14には、コード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図11を用いて簡単に説明する。この場合、タグ処理部114は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められると共に、逆量子化部112でその対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。
エントロピー復号化部113で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部111で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、JPEG2000の符号データは、5通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除することで符号量を減らすことを簡単に行うことができるのである。
Motion−JPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。Motion−JPEG2000のようにフレーム間独立に符号化されているので、フレーム画像が符号化されたフレーム符号を削除することは簡単に実現することができるのである。
Motion−JPEG2000の符号化による符号データ形成後に、符号レベルでフレーム符号データを削除することや、符号データを簡単に編集することができる。
図14には、コード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図11を用いて簡単に説明する。この場合、タグ処理部114は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められると共に、逆量子化部112でその対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。
エントロピー復号化部113で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部111で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、JPEG2000の符号データは、5通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除することで符号量を減らすことを簡単に行うことができるのである。
Motion−JPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。Motion−JPEG2000のようにフレーム間独立に符号化されているので、フレーム画像が符号化されたフレーム符号を削除することは簡単に実現することができるのである。
Motion−JPEG2000の符号化による符号データ形成後に、符号レベルでフレーム符号データを削除することや、符号データを簡単に編集することができる。
次に、二次元平面方向の動き量の推定方法について説明する。
本実施形態では、二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるか否かの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。典型的な、二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度(高速/低速)を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度(高速/低速)を検出することができる。
本実施形態では、二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるか否かの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。典型的な、二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度(高速/低速)を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度(高速/低速)を検出することができる。
ここで、櫛形成分の分析による二次元平面方向の動き量判定について説明する。
図16(a)は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用と左眼用の三次元画像データである。
このように、撮影の開始時間t0と共にフレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
図16(b)は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。
図16(b)に示すように、インターレース形式の画像は、1画素のライン(実線で示す走査ライン)をスキャンした後、直ぐ下の画素のライン(点線で示す走査ライン)を飛ばして2画素下のライン(実線で示す走査ライン)をスキャンする。次に、前回スキャンしなかった画素ライン(点線で示す走査ライン)のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、1/120秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図16(b)に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎(上記の例では1画素単位の走査ライン毎)に、交互に並べる(スキャンしていないラインのデータを補充する)ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
図16(a)は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用と左眼用の三次元画像データである。
このように、撮影の開始時間t0と共にフレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
図16(b)は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。
図16(b)に示すように、インターレース形式の画像は、1画素のライン(実線で示す走査ライン)をスキャンした後、直ぐ下の画素のライン(点線で示す走査ライン)を飛ばして2画素下のライン(実線で示す走査ライン)をスキャンする。次に、前回スキャンしなかった画素ライン(点線で示す走査ライン)のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、1/120秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図16(b)に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎(上記の例では1画素単位の走査ライン毎)に、交互に並べる(スキャンしていないラインのデータを補充する)ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用と左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用と左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
フレームデータをフィールドデータへ分解して生成された、奇数フィールドデータ内、偶数フィールドデータ内では夫々被写体(画像)はほぼ連続であるが、被写体が高速に動いた場合は、奇数フィールドデータ内の被写体(画像)と偶数フィールドデータ内の被写体(画像)において互いにずれが生ずる。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差により横方向の動きが大きい(横方向の動作が速い)ほど、図18で示すように櫛形形状が顕著に現れることになる。横方向の動きが大きい場合にフレームを新たに追加することにより、上述したように簡易な演算で判定できる。
フレームデータをフィールドデータへ分解して生成された、奇数フィールドデータ内、偶数フィールドデータ内では夫々被写体(画像)はほぼ連続であるが、被写体が高速に動いた場合は、奇数フィールドデータ内の被写体(画像)と偶数フィールドデータ内の被写体(画像)において互いにずれが生ずる。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差により横方向の動きが大きい(横方向の動作が速い)ほど、図18で示すように櫛形形状が顕著に現れることになる。横方向の動きが大きい場合にフレームを新たに追加することにより、上述したように簡易な演算で判定できる。
先に説明したように、被写体が高速に動いた場合は、奇数フィールドデータ内の被写体(画像)と偶数フィールドデータ内の被写体(画像)が互いにスキャン時間の異なるためにずれることから、高速に横方向に動いた場合、その分だけくし型部分の発生量が増えるのである。
そこで、二次元平面方向の動き量を櫛形成分の量により推定することができる。
即ち、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量をくし型の量を計算することによって求める。櫛形成分の量により動き量を推定する機能を提供することにより、一つのフレーム内におけるフィールド間の動きを推定できるので、複数のフレームを調べることなく効率的に画像(フレーム)の動きを推定できる。櫛形ノイズの影響を軽減したなめらかなフレームの追加ができる。
さて、図18に示すくし型のずれの量Lは、被写体のインターレース画像内での移動速度に比例して長くなる。ここで、ノンインターレス画像の画像データを2次元離散ウェーブレット変換して得られる1LHのサブ・バンドの係数値は、横のエッジ成分の合計、即ち、被写体のインターレース画像内での移動速度に比例して増加する。また、1HLのサブ・バンドの係数値は、縦のエッジ成分の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとみなせる。そこで、フレーム間の動き量を判断する、より簡易な方法として、1LHのサブ・バンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。すなわち、ウェーブレット変換手段により得られるウェーブレット係数の内、前記サブ・バンドの係数値に基づいて、前記フレーム間の動き量を判定する。ウェーブレット符号化である場合に1LHサブ・バンド成分の係数値により簡易に動き量が推定できるのである。周波数領域データ比較により二次元平面方向の動き量を判定することができるのである。
そこで、二次元平面方向の動き量を櫛形成分の量により推定することができる。
即ち、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量をくし型の量を計算することによって求める。櫛形成分の量により動き量を推定する機能を提供することにより、一つのフレーム内におけるフィールド間の動きを推定できるので、複数のフレームを調べることなく効率的に画像(フレーム)の動きを推定できる。櫛形ノイズの影響を軽減したなめらかなフレームの追加ができる。
さて、図18に示すくし型のずれの量Lは、被写体のインターレース画像内での移動速度に比例して長くなる。ここで、ノンインターレス画像の画像データを2次元離散ウェーブレット変換して得られる1LHのサブ・バンドの係数値は、横のエッジ成分の合計、即ち、被写体のインターレース画像内での移動速度に比例して増加する。また、1HLのサブ・バンドの係数値は、縦のエッジ成分の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとみなせる。そこで、フレーム間の動き量を判断する、より簡易な方法として、1LHのサブ・バンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。すなわち、ウェーブレット変換手段により得られるウェーブレット係数の内、前記サブ・バンドの係数値に基づいて、前記フレーム間の動き量を判定する。ウェーブレット符号化である場合に1LHサブ・バンド成分の係数値により簡易に動き量が推定できるのである。周波数領域データ比較により二次元平面方向の動き量を判定することができるのである。
ところで、インターレース画像内での被写体の移動速度の判定は、サブブロック(JPEG2000規格のコード・ブロック)でもよい。サブ・バンド単位で被写体の移動速度を判定する場合に比べ、サブ・バンドよりも小さな、例えば、32×32画素マトリクスよりなるサブブロック単位での判断結果に基づいて総合的にフレーム内の被写体の移動速度について判定を行うことで、静止画(風景)の中を比較的小さな被写体だけが高速で移動する場合を、正しく認識することができる。即ち、フレームをウェーブレット変換によりサブ・バンドに分割し、さらにサブブロックに分割し、任意のサブブロックの係数値を用いてフレーム間の動き量を判定する。より細かな単位の周波数領域データ比較による動き量を判定することができるのである。
そこで、次に符号量による二次元平面方向の動き量判定について説明する。
上記に示したことは、係数値でなく符号量によっても判断することができる。即ち、前述したことと同様な考え方から、インターレース画像のフレーム画像データを2次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に1LHのサブ・バンドの符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、1HLのサブ・バンドの符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の動き量を判定することができる。
サブ・バンド1LH中の符号量とサブ・バンド1HL中の符号量とを比較する、またはサブ・バンド1LH中の所定のサブブロックの符号量とサブ・バンド1HL中の所定のサブブロックの符号量とを比較することで、前記比較結果に基づいてフレーム間の動き量を判定する。
このとき、サブ・バンド1LH中の符号量とサブ・バンド1HL中の符号量とをサブ・バンドの領域単位で予め決められた順に順次比較し、あるいは、サブ・バンド1LH中の所定のサブブロックの符号量とサブ・バンド1HL中の所定のサブブロックの符号量とをサブブロック単位で予め決められた順に順次比較し、その比較結果に基づいてフレーム間の動き量を判定し、動き量が予め設定された設定値よりある一定値を超えたら動きは大きいと判断し以後の比較を止めることで効率的に動き量を判定することもできる。
そこで、次に符号量による二次元平面方向の動き量判定について説明する。
上記に示したことは、係数値でなく符号量によっても判断することができる。即ち、前述したことと同様な考え方から、インターレース画像のフレーム画像データを2次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に1LHのサブ・バンドの符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、1HLのサブ・バンドの符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の動き量を判定することができる。
サブ・バンド1LH中の符号量とサブ・バンド1HL中の符号量とを比較する、またはサブ・バンド1LH中の所定のサブブロックの符号量とサブ・バンド1HL中の所定のサブブロックの符号量とを比較することで、前記比較結果に基づいてフレーム間の動き量を判定する。
このとき、サブ・バンド1LH中の符号量とサブ・バンド1HL中の符号量とをサブ・バンドの領域単位で予め決められた順に順次比較し、あるいは、サブ・バンド1LH中の所定のサブブロックの符号量とサブ・バンド1HL中の所定のサブブロックの符号量とをサブブロック単位で予め決められた順に順次比較し、その比較結果に基づいてフレーム間の動き量を判定し、動き量が予め設定された設定値よりある一定値を超えたら動きは大きいと判断し以後の比較を止めることで効率的に動き量を判定することもできる。
図17は、本発明の第5の実施形態における二次元平面方向の動き量を推定する処理を示したフローチャートである。
この場合は、まず、2次元離散ウェーブレット変換により得られるウェーブレット係数から1LHの係数の絶対値の和であるsum1LHを求める(S51)。次に、1HLの係数の絶対値の和であるsum1HLを求める(S52)。そして、sum1LH/sum1HLの値をフレーム内における被写体の移動速度を表す数値speedとして求める(S53)。上記speedは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、1LHの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、1HLの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
次に、ステップS53において求めた係数speedが実験的に定められるしきい値Vth1よりも大きいか否かの判定を行い大きい場合(S53でY)、フレーム内での被写体の移動速度が高速であると判定する。一方、係数speedがしきい値Vth1よりも小さい場合(S53でN)、フレーム内での被写体の移動速度が低速であると判定することができる。
この場合は、まず、2次元離散ウェーブレット変換により得られるウェーブレット係数から1LHの係数の絶対値の和であるsum1LHを求める(S51)。次に、1HLの係数の絶対値の和であるsum1HLを求める(S52)。そして、sum1LH/sum1HLの値をフレーム内における被写体の移動速度を表す数値speedとして求める(S53)。上記speedは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、1LHの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、1HLの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
次に、ステップS53において求めた係数speedが実験的に定められるしきい値Vth1よりも大きいか否かの判定を行い大きい場合(S53でY)、フレーム内での被写体の移動速度が高速であると判定する。一方、係数speedがしきい値Vth1よりも小さい場合(S53でN)、フレーム内での被写体の移動速度が低速であると判定することができる。
101…三次元画像入力部、102…画像奥行き算出部、103…動き量評価部、104…フレーム符号データ編集部、105…画像データ保存部、106…評価基準動き量保存部、107…フレーム毎奥行き保存部、108…フレーム動き量評価結果保存部、109…フレーム動き量変化評価結果保存部、110…色空間変換・逆変換部、111…2次元ウェーブレット変換・逆変換部、112…量子化・逆量子化部、113…エントロピー符号化・復号化部、114…タグ処理部、12…画像データ保存部、13…属性毎領域抽出部、14…属性画像領域データ保存部、15…画像属性毎奥行き算出部、16…奥行きデータ保存部、21…画像属性毎画像抽出部、22…ライン毎画像データ抽出部、23…相関算出部、24…奥行き算出部、25…ライン毎画像データ保存部、26…相関データ保存部、3…相関算出部、41…領域毎画像抽出部、42…画像領域毎奥行き算出部、43…フレーム奥行き算出部、44…画像データ保存部、45…画像領域データ保存部、46…領域毎奥行き保存部、51…領域毎画像抽出部、52…ライン毎画像データ抽出部、53…相関算出部、54…奥行き算出部、55…ライン毎画像データ保存部、56…相関データ保存部、81…画面内動き量算出部
Claims (17)
- 三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、該動き量推定手段により動き量が小さいと推定された場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする動画像処理装置。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを間引いて再生する間引き再生手段と、を備えたことを特徴とする動画像処理装置。
- 三次元画像再現のための右眼用と左眼用の二つの画像データをフレーム単位で連続的に再生する動画像処理装置において、フレーム画像データを符号化する符号化手段と、前記フレーム単位の二つの画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定手段と、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする動画像処理装置。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理装置において、前記フレーム単位の画像データを符号化する符号化手段と、画像の縦横方向の動きを推定する動き量推定手段と、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム単位の画像データを符号化した符号データの符号量を削減するフレーム符号量削減手段と、を備えたことを特徴とする動画像処理装置。
- 請求項2または4記載の動画像処理装置において、処理速度要求を入力する処理速度要求入力手段をさらに備え、前記動き量推定手段は、前記処理速度要求が高速要求の場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする動画像処理装置。
- 請求項1乃至4の何れか1項に記載の動画像処理装置において、フレーム補正精度要求を入力するフレーム補正精度要求入力手段をさらに備え、前記動き量推定手段は、前記フレーム補正精度要求が高い場合には、奥行き方向の動き量で動き量を推定するか、あるいは、画像の縦横方向の動きを推定する縦横方向動き量で動き量を推定し、そうでない場合には、奥行き方向の動き量と、画像の縦横方向の動きを推定する縦横方向動き量とにより動き量を推定することを特徴とする動画像処理装置。
- 請求項1乃至6の何れか1項に記載の動画像処理装置において、画像領域毎に動き量を推定する領域毎動き量推定手段と、前記画像領域毎に符号量を削減する符号量削減手段と、を備えたことを特徴とする動画像処理装置。
- 請求項1乃至7の何れか1項に記載の動画像処理装置において、前記相関の算出は画像データの一部の領域であることを特徴とする動画像処理装置。
- 請求項1乃至8の何れか1項に記載の動画像処理装置において、前記フレーム符号データはMotion−JPEG2000規格に基づいて符号化されることを特徴とする動画像処理装置。
- 請求項9記載の動画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えたことを特徴とする動画像処理装置。
- 請求項9記載の動画像処理装置において、画像データをウェーブレット変換するウェーブレット変換の過程で得られたサブ・バンド単位の符号データの符号量を算出するサブ・バンド符号量算出手段と、サブ・バンド1LH中の符号量またはサブ・バンド1HL中の符号量とで前記縦横方向動き量を推定する動き量推定手段と、を備えたことを特徴とする動画像処理装置。
- 請求項1乃至11の何れか1項に記載の動画像処理装置において、フレーム画像データがインターレース画像であり、インターレース画像データを奇数フィールドの画像データと偶数フィールドの画像データに分割するフィールド分割手段と、あるインターレース画像の奇数フィールドの画像データと前記インターレース画像の一つ前のインターレース画像の偶数フィールドの画像データのフィールドデータを使用して動き量を推定する動き量手段と、を備えたことを特徴とする動画像処理装置。
- 請求項12に記載の動画像処理装置において、一つのインターレース画像信号が分解されて生成された奇数及び偶数のフィールド間の動き量を計算する動き量計算手段と、前記奇数及び偶数のフィールド間の動き量に基づいて前記動き量を判定する判定手段と、を備えたことを特徴とする動画像処理装置。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが、予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、該動き量推定ステップにより動き量が小さいと推定された場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする動画像処理方法。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを間引いて再生する間引き再生ステップと、を備えたことを特徴とする動画像処理方法。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、前記フレーム単位の二つの画像データ間の相関を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いが予め設定された設定値よりも小さい場合に動き量が小さいと推定する動き量推定ステップと、前記動き量が小さいと推定された場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする動画像処理方法。
- 三次元画像再現のための右眼用と左眼用の画像データをフレーム単位で連続的に再生する動画像処理方法において、フレーム画像データを符号化する符号化ステップと、画像の縦横方向の動きを推定する動き量推定ステップと、奥行き方向の動き量が小さく、かつ、縦横方向動き量が予め設定された動き量基準値より小さい場合に前記フレーム画像データを符号化した符号データの符号量を削減するフレーム符号量削減ステップと、を備えたことを特徴とする動画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005255758A JP2007074042A (ja) | 2005-09-02 | 2005-09-02 | 動画像処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005255758A JP2007074042A (ja) | 2005-09-02 | 2005-09-02 | 動画像処理装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007074042A true JP2007074042A (ja) | 2007-03-22 |
Family
ID=37935158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005255758A Pending JP2007074042A (ja) | 2005-09-02 | 2005-09-02 | 動画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007074042A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169334A (ja) * | 2008-01-21 | 2009-07-30 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
CN106686388A (zh) * | 2015-11-05 | 2017-05-17 | 安讯士有限公司 | 用于控制数字图像的压缩程度的方法和装置 |
US9661227B2 (en) | 2012-05-15 | 2017-05-23 | Samsung Electronics Co., Ltd. | Method, circuit and system for stabilizing digital image |
-
2005
- 2005-09-02 JP JP2005255758A patent/JP2007074042A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169334A (ja) * | 2008-01-21 | 2009-07-30 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
US9661227B2 (en) | 2012-05-15 | 2017-05-23 | Samsung Electronics Co., Ltd. | Method, circuit and system for stabilizing digital image |
CN106686388A (zh) * | 2015-11-05 | 2017-05-17 | 安讯士有限公司 | 用于控制数字图像的压缩程度的方法和装置 |
JP2017123641A (ja) * | 2015-11-05 | 2017-07-13 | アクシス アーベー | デジタル画像の圧縮比を制御する方法及び装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100971833B1 (ko) | 화상 부호화 방법 및 장치 | |
JP4751116B2 (ja) | 画像処理装置、画像処理方法 | |
JP4898513B2 (ja) | クライアント・サーバシステム | |
US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2007142614A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP4637672B2 (ja) | 符号化処理装置及び方法 | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP4229323B2 (ja) | 符号化装置、符号化方法及びプログラム | |
JP4792250B2 (ja) | 動画像処理装置、及び動画像処理方法 | |
JP2007074042A (ja) | 動画像処理装置及び方法 | |
JP2006238022A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP4379869B2 (ja) | 動画像処理装置、プログラム及び情報記録媒体 | |
JP3942088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006129248A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JP4749508B2 (ja) | 画像復号方法 | |
JP4247089B2 (ja) | ノンインターレース画像の処理装置及び処理方法 | |
JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
JP4077706B2 (ja) | インターレース画像の処理装置及び処理方法 | |
JP2005149227A (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
JP4247088B2 (ja) | ノンインターレース画像の処理装置及び処理方法 | |
JP4667424B2 (ja) | 画像復号装置 | |
JP4667423B2 (ja) | 画像復号装置 | |
JP2005136596A (ja) | 動画像処理システム、動画像処理方法、プログラム及び情報記録媒体 | |
JP2007189622A (ja) | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 |