JP2007122232A - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP2007122232A JP2007122232A JP2005311041A JP2005311041A JP2007122232A JP 2007122232 A JP2007122232 A JP 2007122232A JP 2005311041 A JP2005311041 A JP 2005311041A JP 2005311041 A JP2005311041 A JP 2005311041A JP 2007122232 A JP2007122232 A JP 2007122232A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- information
- image frame
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】撮像装置100であって、MPEG方式により符号化された符号化動画像データから動画像データに復号する復号部4と、動画像を構成する複数の画像フレームFのマクロブロックのうち、MB選択処理部62により選択された全体動きベクトルの推定に適したマクロブロックの動きベクトルを取得するとともに、当該動きベクトルに基づいて画像フレームの全体動きベクトルを推定するぶれ量計算部63と、推定された全体動きベクトルに基づいて、動画像の再生の際に手ぶれ補正を行う手ぶれ補正処理部6とを備える。
【選択図】図1
Description
また、撮像の際に手ぶれ補正を行わずに記録した動画ファイルに対しても、動画像の再生の際に動きを検出して手ぶれ補正を行う装置も開発されている(例えば、特許文献1参照)。
しかしながら、一の画像フレームにおける特徴部分の探索、当該特徴部分の前後フレームとの比較には、多大な演算量を必要とすることから再生の際の負荷が大きいといった問題がある。
動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する動画像復号手段(例えば、図1の復号部4等)と、
前記動画像復号手段による前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレーム(例えば、図2の画像フレームF等)のうちの少なくとも一の画像フレームに係る動き補償情報を取得する動き補償情報取得手段(例えば、図1のぶれ量計算部63等)と、
前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する全体動きベクトル推定手段(例えば、図1のぶれ量計算部63等)と、
前記全体動きベクトル推定手段により推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う手ぶれ補正手段(例えば、図1の手ぶれ補正処理部6等)と、
を備えることを特徴としている。
前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段(例えば、図1のフレーム処理部61等)と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームの前後の画像フレームに基づいて、当該動き情報無し画像フレームに係る前記全体動きベクトルの補間を行う全体動きベクトル補間手段(例えば、図1の補間処理部64等)と、を備えることを特徴としている。
前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段(例えば、図6のフレーム処理部61等)と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームに係る特徴点を抽出する特徴点抽出手段(例えば、図6の画像信号処理部164等)と、
前記特徴点抽出手段により抽出された前記特徴点を前記動き情報無し画像フレームの前後のうちの何れか一方の画像フレームにて追跡する特徴点追跡手段(例えば、図6の画像信号処理部164等)と、
前記特徴点追跡手段による前記特徴点の追跡結果に基づいて、当該動き情報無し画像フレームに係る全体動きベクトルを決定する全体動きベクトル決定手段(例えば、図6の画像信号処理部164等)と、を備えることを特徴としている。
前記画像フレームを構成する複数のマクロブロック(例えば、図2のマクロブロックMB等)の動きベクトルの信頼性を判定する信頼性判定手段(例えば、図1のMB選択処理部62等)と、
前記信頼性判定手段によって、前記複数のマクロブロックのうち、前記動きベクトルの信頼性が高いと判定された前記マクロブロックを、前記全体動きベクトル推定手段による前記全体動きベクトルの推定に用いるマクロブロックとして選択するマクロブロック選択手段(例えば、図1のMB選択処理部62等)と、を備えることを特徴としている。
前記信頼性判定手段は、
前記画像フレームにおける前記マクロブロックに係る画像部分の平坦度合に基づいて前記動きベクトルの信頼性を判定する信頼性平坦度合判定手段(例えば、図1のMB選択処理部62等)を備えることを特徴としている。
前記信頼性平坦度合判定手段は、
前記マクロブロックの画像情報の量子化に係るQ値に基づいて、前記平坦度合を判定するQ値平坦度合判定手段(例えば、図1のMB選択処理部62等)を備えることを特徴としている。
前記信頼性平坦度合判定手段は、
前記マクロブロックの符号量に基づいて、前記平坦度合を判定する符号量平坦度合判定手段(例えば、図1のMB選択処理部62等)を備えることを特徴としている。
前記信頼性判定手段は、
前記マクロブロックの動き補償の成功度合を判定する動き補償成功度合判定手段(例えば、図1のMB選択処理部62等)と、
前記動き補償成功度合判定手段による判定結果に基づいて前記動きベクトルの信頼性を判定する信頼性成功度合判定手段(例えば、図1のMB選択処理部62等)と、を備えることを特徴としている。
画像処理装置(例えば、図1の撮像装置100等)に、
動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する機能と、
前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレーム(例えば、図2の画像フレームF等)のうちの少なくとも一の画像フレームに係る動き補償情報を取得する機能と、
取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する機能と、
推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う機能と、
を実現させることを特徴としている。
ここで、図1は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置100の要部構成を示すブロック図である。
具体的には、撮像装置100は、例えば、図1に示すように、被写体の静止画像や動画像を撮像する撮像部1と、撮像部1により撮像された画像を所定の情報圧縮方式により符号化する符号化部2と、符号化部2により符号化された符号化画像データを記録する記録部3と、記録部3に記録された符号化画像データを復号する復号部4と、撮像部1により撮像された画像を表示する表示部51と、表示部51に表示される動画像の手ぶれを補正する手ぶれ補正処理部6等を備えて構成されている。
そして、撮像制御部の制御下にて、信号処理部から画像処理が施された画像データが符号化部2に対して出力されるようになっている。
また、符号化部2は、例えば、DCTにより算出されるDCT変換係数を視覚特性を考慮した所定のQ値で除算する量子化を行うようになっている。
そして、MCは、例えば、フレーム内符号化画像であるI-pictureを基準として、フレーム間順方向予測符号化画像であるP-pictureや、双方向予測符号化画像であるB-picture等を生成するようになっている。
なお、I-pictureは、フレーム内符号化画像であるので、差分をとらずに入力画像に対してそのままDCT演算が行われるようになっている。
外部出力端子52は、図示しない表示装置(例えば、テレビ)を接続して画像を表示させるためのものである。表示処理部53は、再生時手ぶれ補正処理にて手ぶれ補正処理部6の表示領域設定部65(後述)により設定された表示領域5Rに基づいて復号部4により復号された画像データ中から必要部分を切り出し、表示部51又は外部出力端子52に接続された表示装置に表示可能な形態に加工するようになっている。
なお、表示処理部53は、例えば、補間処理部64による全体動きベクトルの補間作業による遅延時間との同期をとるためにバッファ(図示略)を備えるようになっている。
また、フレーム処理部61は、例えば、複数の画像フレームFの各々について、動きベクトル(動き補償情報)を取得不可のI-picture(動き情報無し画像フレーム)であるか否かを判定して、判定結果をMB選択処理部62及び補間処理部64に出力するようになっている。即ち、フレーム処理部61は、複数の画像フレームFのうちで定期的に配されるI-pictureを特定する画像フレーム特定手段を構成している。
即ち、例えば、VGAサイズのMPEG4ストリームの場合、1画像フレームFあたり1200個のマクロブロックMB(図2参照)を有し、これらは、フレーム間補償のあるInterMBとフレーム間補償の無いIntraMBとからなる。このうち、InterMBの持つ動きベクトルを平均化することにより一の画像フレームF全体に係る全体動きベクトル(ぶれ)が算出されると考えられる。
しかしながら、当該画像フレームFの符号化の際に誤った動きベクトルが作成されている可能性もあるため、全ての動きベクトルが全体動きベクトルの算出に適しているという訳ではない。さらに、動きベクトルが誤検出であったかどうかを判定するため再度検出を行うことは現実的ではないため、マクロブロックMBに関する各種の情報から誤検出が生じた可能性が高いかどうかを判定して、より信頼性の高いマクロブロックMBを選択するものである。
ここで、MB選択処理部62は、一の画像フレームFを構成する複数のマクロブロックMBの動きベクトルの信頼性を判定する信頼性判定手段を構成し、さらに、複数のマクロブロックMBのうち、動きベクトルの信頼性が高いと判定されたマクロブロックMBを、ぶれ量計算部63による一の画像フレームFの全体動きベクトルの推定に用いるマクロブロックMBとして選択するマクロブロック選択手段を構成している。
即ち、一の画像フレームFにおいて、のっぺりとした特徴の少ない部分では動きベクトルの誤検出が生じやすいため、特徴の少ない平坦な画像部分に係るマクロブロックMBの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
より具体的には、符号化部2によるマクロブロックMBの画像データの符号化に供されるQ値(量子化パラメータ)は、のっぺりとした特徴の少ない部分では小さくなり、一方で、周波数成分が多いと大きくなることから、このQ値に基づいて、MB選択処理部62は、Q値平坦度合判定手段として、画像の平坦度合を判定するようになっている。
即ち、DC係数は、DCT後の参照ブロックに対するDC成分の差分であり、当該DC係数が大きくなった場合には、正しい位置で動き補償がなされずに、その結果として参照ブロックとのDC成分の差分が大きくなった可能性がある。そこで、DC係数が所定の閾値以上の場合には、そのマクロブロックMBの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
ここで、MB選択処理部62は、マクロブロックMBの動き補償の成功度合を判定する動き補償成功度合判定手段を構成し、さらに、当該判定結果に基づいて動きベクトルの信頼性を判定する信頼性成功度合判定手段を構成している。
ここで、ぶれ量計算部63は、復号部4による動画像データの復号化に基づいて、動画像を構成する複数の画像フレームFのうちの少なくとも一の画像フレームFに係る動きベクトルを取得する動き補償情報取得手段を構成し、さらに、取得された動きベクトルに基づいて、画像フレームFの全体動きベクトルを推定する全体動きベクトル推定手段を構成している。
ここで、補間処理部64は、I-picture(動き情報無し画像フレームF)に係る全体動きベクトルの補間を行う全体動きベクトル補間手段を構成している。
ここで、図3(a)は、先に表示される画像フレームF1及び表示領域5R1を模式的に示した図であり、図3(b)は、本来画像フレームF1に続けて表示される画像フレームF2及び表示領域5R2を模式的に示した図であり、図3(c)は、手ぶれ補正処理後に表示される画像フレームF2及び表示領域5R2を模式的に示した図である。
ここで、図4は、再生時手ぶれ補正処理に係る動作の一例を示すフローチャートであり、図5は、再生時手ぶれ補正処理におけるマクロブロック選択処理に係る動作の一例を示すフローチャートである。
図5に示すように、MB選択処理部62は、入力される画像フレームFのマクロブロックMBを4×4のマクロブロックMBからなるMBグループG(図2参照)に分割する(ステップS301)。
続けて、MB選択処理部62は、分割されたMBグループGの中から何れか一のMBグループGを選択し(ステップS302)、このMBグループGの中から何れか一のMB(例えば、図2にあっては黒く塗りつぶされた左上隅のMB)を選択する(ステップS303)。
そして、MB選択処理部62は、Intra/Interフラグに基づいて、選択されたマクロブロックMBがInterMBであるか否かを判定する(ステップS305)。
ここで、InterMBであると判定されると(ステップS305;YES)、MB選択処理部62は、当該マクロブロックMBのQ値が所定値以上であるか否かを判定する(ステップS(ステップS306)。
そして、Q値が所定値以上、即ち、周波数成分の多いマクロブロックMBであると判定されると(ステップS306;YES)、MB選択処理部62は、当該マクロブロックMBのDCT後のDC係数が所定値以下であるか否かを判定する(ステップS307)。
ここで、DC係数が所定値以下であると判定されると(ステップS307;YES)、MB選択処理部62は、当該マクロブロックMBを全体動きベクトルの推定用のマクロブロックMBとして採用する(ステップS308)。
ここで、全てのマクロブロックMBについて判定していないと判定されると(ステップS309;NO)、MB選択処理部62は、MBグループG内の別のマクロブロックMBを選択して(ステップS310)、ステップS304に移行して、それ以降の処理を実行する。
ここで、全てのMBグループGに対してマクロブロックMBの推定を行っていないと判定されると(ステップS311;NO)、MB選択処理部62は、ステップS302に移行して、それ以降の処理を実行する。
また、ステップS311にて、全てのMBグループGに対してマクロブロックMBの推定を行ったと判定されると(ステップS311;YES)、マクロブロック選択処理を終了する。
具体的には、画像フレームFを構成する複数のマクロブロックMBのうち、動きベクトルの信頼性が高いマクロブロックMBを、全体動きベクトルの推定に用いるマクロブロックMBとして選択することができるので、符号化の際に誤った動きベクトルが作成された信頼性の低いマクロブロックMBは、全体動きベクトルの推定から排除されることとなって、全体動きベクトルの推定をより適正に行うことができる。
ここで、画像フレームFにおけるマクロブロックMBの動きベクトルの信頼性の判定は、マクロブロックMBに係る画像部分の平坦度合に基づいて、また、マクロブロックMBの動き補償の成功度合の判定結果に基づいて行うことができるので、当該動きベクトルの信頼性の判定をより適正に行うことができることとなって、複数のマクロブロックMBのうちで、全体動きベクトルの推定から排除されるマクロブロックMBの判定を好適に行うことができる。
さらに、画像フレームFにおけるマクロブロックMBに係る画像部分の平坦度合の判定は、マクロブロックMBの画像データの量子化に係るQ値に基づいて行うことができるので、当該平坦度合の判定をより適正に行うことができることとなって、マクロブロックMBの動きベクトルの信頼性の判定を好適に行うことができる。
従って、手ぶれ補正を行わずに記録された動画像であっても、動画像の再生の際に、推定された画像フレームFの全体動きベクトルに基づいて手ぶれ補正を適正に行うことができる。これにより、従来のように、手ぶれ補正処理の際に一の画像フレームFにおける特徴部分の探索、当該特徴部分の前後の画像フレームFとの比較を行う必要がなくなって、当該動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる。
例えば、MB選択処理部62によるマクロブロックMBに係る画像部分の平坦度合の判定用のパラメータとして、マクロブロックMBのQ値を用いるようにしたが、これに限られるものではない。即ち、例えば、画像フレームFのうちでのっぺりとした特徴の少ない画像部分は圧縮効率が良いため、符合量が少なくなることから、MB選択処理部62は、符号量平坦度合判定手段として、マクロブロックMBの符号量を判定用のパラメータとして当該画像部分の平坦度合を判定するようにしても良い。
これにより、マクロブロックMBの符号量に基づいて、マクロブロックMBに係る画像部分の平坦度合の判定をより適正に行うことができることとなって、マクロブロックMBの動きベクトルの信頼性の判定を好適に行うことができる。
これにより、動きベクトルを具備しないI-pictureであっても、その特徴点をI-pictureの前後のうちの何れか一方の画像フレームFにて追跡して、その追跡結果に基づいて、当該I-pictureに係る全体動きベクトルを決定することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。
2 符号化部
4 復号部(動画像復号手段)
51 表示部
6 手ぶれ補正処理部(手ぶれ補正手段)
61 フレーム処理部(画像フレーム特定手段)
62 MB選択処理部(信頼性判定手段、マクロブロック選択手段、信頼性平坦度合判定手段、Q値平坦度合判定手段、符号量平坦度合判定手段、動き補償成功度合判定手段、信頼性成功度合判定手段)
63 ぶれ量計算部(動き補償情報取得手段、全体動きベクトル推定手段)
64 補間処理部(全体動きベクトル補間手段)
164 画像信号処理部(特徴点抽出手段、特徴点追跡手段、全体動きベクトル決定手段)
65 表示領域設定部
F 画像フレーム
MB マクロブロック
Claims (9)
- 動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する動画像復号手段と、
前記動画像復号手段による前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレームのうちの少なくとも一の画像フレームに係る動き補償情報を取得する動き補償情報取得手段と、
前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する全体動きベクトル推定手段と、
前記全体動きベクトル推定手段により推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う手ぶれ補正手段と、
を備えることを特徴とする画像処理装置。 - 前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームの前後の画像フレームに基づいて、当該動き情報無し画像フレームに係る前記全体動きベクトルの補間を行う全体動きベクトル補間手段と、を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームに係る特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された前記特徴点を前記動き情報無し画像フレームの前後のうちの何れか一方の画像フレームにて追跡する特徴点追跡手段と、
前記特徴点追跡手段による前記特徴点の追跡結果に基づいて、当該動き情報無し画像フレームに係る全体動きベクトルを決定する全体動きベクトル決定手段と、を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記画像フレームを構成する複数のマクロブロックの動きベクトルの信頼性を判定する信頼性判定手段と、
前記信頼性判定手段によって、前記複数のマクロブロックのうち、前記動きベクトルの信頼性が高いと判定された前記マクロブロックを、前記全体動きベクトル推定手段による前記全体動きベクトルの推定に用いるマクロブロックとして選択するマクロブロック選択手段と、を備えることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。 - 前記信頼性判定手段は、
前記画像フレームにおける前記マクロブロックに係る画像部分の平坦度合に基づいて前記動きベクトルの信頼性を判定する信頼性平坦度合判定手段を備えることを特徴とする請求項4に記載の画像処理装置。 - 前記信頼性平坦度合判定手段は、
前記マクロブロックの画像情報の量子化に係るQ値に基づいて、前記平坦度合を判定するQ値平坦度合判定手段を備えることを特徴とする請求項5に記載の画像処理装置。 - 前記信頼性平坦度合判定手段は、
前記マクロブロックの符号量に基づいて、前記平坦度合を判定する符号量平坦度合判定手段を備えることを特徴とする請求項5に記載の画像処理装置。 - 前記信頼性判定手段は、
前記マクロブロックの動き補償の成功度合を判定する動き補償成功度合判定手段と、
前記動き補償成功度合判定手段による判定結果に基づいて前記動きベクトルの信頼性を判定する信頼性成功度合判定手段と、を備えることを特徴とする請求項4に記載の画像処理装置。 - 画像処理装置に、
動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する機能と、
前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレームのうちの少なくとも一の画像フレームに係る動き補償情報を取得する機能と、
取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する機能と、
推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う機能と、
を実現させるためのプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005311041A JP2007122232A (ja) | 2005-10-26 | 2005-10-26 | 画像処理装置及びプログラム |
KR1020077022807A KR100941285B1 (ko) | 2005-10-26 | 2006-10-19 | 영상 처리 장치 및 컴퓨터 판독가능 매체 |
CNB2006800105562A CN100521744C (zh) | 2005-10-26 | 2006-10-19 | 图像处理设备和方法 |
EP06822283.5A EP1941720B1 (en) | 2005-10-26 | 2006-10-19 | Image processing device and program |
PCT/JP2006/321306 WO2007049662A1 (en) | 2005-10-26 | 2006-10-19 | Image processing device and program |
US11/586,047 US7742647B2 (en) | 2005-10-26 | 2006-10-25 | Image processing device and program |
TW95139313A TWI327026B (en) | 2005-10-26 | 2006-10-25 | Image processing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005311041A JP2007122232A (ja) | 2005-10-26 | 2005-10-26 | 画像処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007122232A true JP2007122232A (ja) | 2007-05-17 |
Family
ID=37649276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005311041A Pending JP2007122232A (ja) | 2005-10-26 | 2005-10-26 | 画像処理装置及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US7742647B2 (ja) |
EP (1) | EP1941720B1 (ja) |
JP (1) | JP2007122232A (ja) |
KR (1) | KR100941285B1 (ja) |
CN (1) | CN100521744C (ja) |
TW (1) | TWI327026B (ja) |
WO (1) | WO2007049662A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140302A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
JP2010278931A (ja) * | 2009-05-29 | 2010-12-09 | Toshiba Corp | 画像処理装置 |
WO2011151966A1 (ja) * | 2010-06-01 | 2011-12-08 | パナソニック株式会社 | 画像処理装置およびそれを備えた電子機器 |
JP2012065175A (ja) * | 2010-09-16 | 2012-03-29 | Casio Comput Co Ltd | 手ぶれ補正装置、手ぶれ補正方法およびプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122232A (ja) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
JP4686795B2 (ja) * | 2006-12-27 | 2011-05-25 | 富士フイルム株式会社 | 画像生成装置及び画像再生装置 |
US8780990B2 (en) * | 2008-12-16 | 2014-07-15 | Panasonic Intellectual Property Corporation Of America | Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same |
KR101103350B1 (ko) * | 2010-02-09 | 2012-01-05 | 원창주식회사 | 조명기구의 광확산 장치 |
KR20120090101A (ko) * | 2010-12-23 | 2012-08-17 | 한국전자통신연구원 | 디지털 비디오 고속 정합 시스템 |
CN105284122B (zh) * | 2014-01-24 | 2018-12-04 | Sk 普兰尼特有限公司 | 用于通过使用帧聚类来***广告的装置和方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0575913A (ja) * | 1991-09-13 | 1993-03-26 | Matsushita Electric Ind Co Ltd | 動きベクトル検出回路及び手ぶれ補正回路 |
JPH05233815A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
JPH06217187A (ja) * | 1992-10-14 | 1994-08-05 | Mitsubishi Electric Corp | 撮像装置,動きベクトル検出装置及び画像揺れ補正装置 |
JPH0738800A (ja) * | 1993-06-28 | 1995-02-07 | Sanyo Electric Co Ltd | 手振れ補正装置を有するビデオカメラ |
JPH08163565A (ja) * | 1994-12-05 | 1996-06-21 | Canon Inc | 動きベクトル検出方法及びその装置 |
JP2001250118A (ja) * | 2000-03-06 | 2001-09-14 | Kddi Corp | 動画像内の移動物体検出追跡装置 |
JP2002281506A (ja) * | 2001-03-16 | 2002-09-27 | Internatl Business Mach Corp <Ibm> | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
JP2004207802A (ja) * | 2002-12-24 | 2004-07-22 | Sony Corp | 画像データ処理装置および方法、記録媒体、並びにプログラム |
JP2005006275A (ja) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム |
JP2005027046A (ja) * | 2003-07-02 | 2005-01-27 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2005203934A (ja) * | 2004-01-14 | 2005-07-28 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2005244780A (ja) * | 2004-02-27 | 2005-09-08 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2005260481A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | 動きベクトル検出装置及びその検出方法並びにカメラ |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0595895B1 (en) * | 1991-07-23 | 1997-12-29 | BRITISH TELECOMMUNICATIONS public limited company | Method and device for frame interpolation of a moving image |
US5844616A (en) * | 1993-06-01 | 1998-12-01 | Thomson Multimedia S.A. | Method and apparatus for motion compensated interpolation |
KR100292475B1 (ko) * | 1993-12-08 | 2001-06-01 | 구자홍 | 디지탈 영상 흔들림 보상 장치 |
GB2297450B (en) * | 1995-01-18 | 1999-03-10 | Sony Uk Ltd | Video processing method and apparatus |
JPH10136304A (ja) | 1996-10-30 | 1998-05-22 | Nagano Nippon Denki Software Kk | 記録済み動画ファイルの手振れ補正機構 |
JPH10210473A (ja) * | 1997-01-16 | 1998-08-07 | Toshiba Corp | 動きベクトル検出装置 |
US6809758B1 (en) * | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
KR100683849B1 (ko) * | 2000-06-28 | 2007-02-15 | 삼성전자주식회사 | 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법 |
JP4596202B2 (ja) * | 2001-02-05 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
JP3886769B2 (ja) * | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
EP1377040A1 (en) | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Method of stabilizing an image sequence |
US7639741B1 (en) * | 2002-12-06 | 2009-12-29 | Altera Corporation | Temporal filtering using object motion estimation |
US8085850B2 (en) * | 2003-04-24 | 2011-12-27 | Zador Andrew M | Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail |
US7440634B2 (en) * | 2003-06-17 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method for de-blurring images of moving objects |
JP4164424B2 (ja) * | 2003-08-29 | 2008-10-15 | キヤノン株式会社 | 撮像装置及び方法 |
GB2407226B (en) * | 2003-10-18 | 2008-01-23 | Hewlett Packard Development Co | Image processing scheme |
WO2005093654A2 (en) * | 2004-03-25 | 2005-10-06 | Fatih Ozluturk | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
US7643553B2 (en) * | 2004-10-27 | 2010-01-05 | Arris Group, Inc. | Optimal rate allocation for a group of channels |
JP2007122232A (ja) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
-
2005
- 2005-10-26 JP JP2005311041A patent/JP2007122232A/ja active Pending
-
2006
- 2006-10-19 CN CNB2006800105562A patent/CN100521744C/zh active Active
- 2006-10-19 EP EP06822283.5A patent/EP1941720B1/en active Active
- 2006-10-19 KR KR1020077022807A patent/KR100941285B1/ko active IP Right Grant
- 2006-10-19 WO PCT/JP2006/321306 patent/WO2007049662A1/en active Application Filing
- 2006-10-25 TW TW95139313A patent/TWI327026B/zh not_active IP Right Cessation
- 2006-10-25 US US11/586,047 patent/US7742647B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0575913A (ja) * | 1991-09-13 | 1993-03-26 | Matsushita Electric Ind Co Ltd | 動きベクトル検出回路及び手ぶれ補正回路 |
JPH05233815A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
JPH06217187A (ja) * | 1992-10-14 | 1994-08-05 | Mitsubishi Electric Corp | 撮像装置,動きベクトル検出装置及び画像揺れ補正装置 |
JPH0738800A (ja) * | 1993-06-28 | 1995-02-07 | Sanyo Electric Co Ltd | 手振れ補正装置を有するビデオカメラ |
JPH08163565A (ja) * | 1994-12-05 | 1996-06-21 | Canon Inc | 動きベクトル検出方法及びその装置 |
JP2001250118A (ja) * | 2000-03-06 | 2001-09-14 | Kddi Corp | 動画像内の移動物体検出追跡装置 |
JP2002281506A (ja) * | 2001-03-16 | 2002-09-27 | Internatl Business Mach Corp <Ibm> | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
JP2005006275A (ja) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム |
JP2004207802A (ja) * | 2002-12-24 | 2004-07-22 | Sony Corp | 画像データ処理装置および方法、記録媒体、並びにプログラム |
JP2005027046A (ja) * | 2003-07-02 | 2005-01-27 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2005203934A (ja) * | 2004-01-14 | 2005-07-28 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2005244780A (ja) * | 2004-02-27 | 2005-09-08 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2005260481A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | 動きベクトル検出装置及びその検出方法並びにカメラ |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278931A (ja) * | 2009-05-29 | 2010-12-09 | Toshiba Corp | 画像処理装置 |
WO2010140302A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
JP2010283623A (ja) * | 2009-06-04 | 2010-12-16 | Panasonic Corp | 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路 |
CN102113308A (zh) * | 2009-06-04 | 2011-06-29 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序、记录介质以及集成电路 |
US8204337B2 (en) | 2009-06-04 | 2012-06-19 | Panasonic Corporation | Image processing system and method for noise reduction |
WO2011151966A1 (ja) * | 2010-06-01 | 2011-12-08 | パナソニック株式会社 | 画像処理装置およびそれを備えた電子機器 |
JP2012065175A (ja) * | 2010-09-16 | 2012-03-29 | Casio Comput Co Ltd | 手ぶれ補正装置、手ぶれ補正方法およびプログラム |
US8571386B2 (en) | 2010-09-16 | 2013-10-29 | Casio Computer Co., Ltd. | Motion blur correction device and motion blur correction method |
Also Published As
Publication number | Publication date |
---|---|
EP1941720A1 (en) | 2008-07-09 |
CN101151889A (zh) | 2008-03-26 |
CN100521744C (zh) | 2009-07-29 |
KR100941285B1 (ko) | 2010-02-11 |
EP1941720B1 (en) | 2017-05-03 |
TWI327026B (en) | 2010-07-01 |
US7742647B2 (en) | 2010-06-22 |
KR20080000580A (ko) | 2008-01-02 |
WO2007049662A1 (en) | 2007-05-03 |
US20070092145A1 (en) | 2007-04-26 |
TW200723861A (en) | 2007-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4887750B2 (ja) | 画像処理装置、制御方法及びプログラム | |
JP2007122232A (ja) | 画像処理装置及びプログラム | |
JP5359783B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US20100215104A1 (en) | Method and System for Motion Estimation | |
KR20100021574A (ko) | 화상처리장치, 화상처리방법 및 프로그램 | |
KR101049922B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP2011151430A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
JP2011135326A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011527841A (ja) | 画像処理装置およびそれを用いた撮像装置 | |
JP4861636B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20070140336A1 (en) | Video coding device and image recording/reproducing device | |
JP5044922B2 (ja) | 撮像装置及びプログラム | |
US8189102B2 (en) | Image processing apparatus using interpolation direction | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
KR20010092316A (ko) | 영상 기록 재생 장치 및 방법 | |
JP6313614B2 (ja) | 動画像符号化装置及びその制御方法 | |
JP2007228119A (ja) | 撮像装置、画像処理方法、およびプログラム | |
JP2010288006A (ja) | 動画像データ処理装置、撮像装置および動画像再生装置 | |
JP2012222460A (ja) | 動画像符号化装置、動画像符号化方法及びプログラム | |
JP4186769B2 (ja) | Gop周期検出装置 | |
JP2006041648A (ja) | 動画像処理ユニット | |
JPH0715654A (ja) | 静止画像合成方法 | |
JP2000041222A (ja) | 映像再生装置とその方法および映像表示装置 | |
JP2010233186A (ja) | 電子カメラ及び符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120112 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120410 |