JP2006319578A - 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。 - Google Patents

Abstract

【課題】
従来、撮影装置の手ぶれ補正技術として光学式や電子式など様々な技術が開示されている。しかし従来の電子式手ぶれ補正技術では、上下左右という二次元方向へのぶれのみの検出、補正しか行っておらず、奥行方向へのぶれの検出や画像の補正を行っていない、と言う課題がある。
【解決手段】
上記課題解決のため、本発明は、撮影時の被写体の奥行方向の前後移動を、画像内の局所的な動きベクトルに基づいて判定する機能を備えた奥行方向移動判定装置を提供する。また、その奥行方向移動判定装置の判定結果に基づいて画像補正を行う手ぶれ補正システムも提供する。また、本発明では、これら奥行方向移動判定方法および手ぶれ補正方法、それら方法を計算機に実行させるプログラム、それらプログラムを記録した計算機が読み取り可能な記録媒体、および手ぶれ補正システムを備えた電子機器も合わせて提供する。
【選択図】 図３

Description

本発明は、撮影装置のぶれなどによる、被写体の撮影装置に対する相対的な奥行方向への移動があるか否かを判定する技術、およびその奥行方向への移動判定技術を用いて撮影された画像情報を補正する技術に関する。

通常カメラなどの撮影装置で被写体を撮影する際は、その撮影装置を人が手で支えて撮影を行っている。そのため被写体を撮影する際には、所謂「手ぶれ」などによる撮影画像の品質低下という問題が常に存在している。これを解決するために、従来では、三脚などで撮影装置を固定支持して撮影する方法のほかに、振動ジャイロや角速度センサなどを利用し光学系や撮像素子を駆動制御することによってぶれの撮影への影響を低減させる技術が開示されている。また特許文献１や特許文献２などには、同一の被写体に対して時間的に前後に撮影された撮影画像のデータをソフトウェア上で電子的に比較処理することで、生じたぶれの方向を検出し補正する、電子式とよばれるぶれの方向の検出方法および手ぶれ補正技術も開示されている。
特開平７−１７７４１９号公報 特開平５−１１０９３１号公報

ところが、例えば上記従来の電子式手ぶれ検出、補正技術では、ぶれの方向の検出において上下あるいは左右という被写体の二次元方向へのぶれのみの検出しかしていない。しかし、実際には、上記二次元方向へのぶれに加え撮影装置に対する奥行方向へのぶれもある。すなわち、従来の電子式手ぶれ検出、補正技術ではその奥行方向へのぶれも考慮に入れたぶれの検出や画像の補正を行っていない、と言う課題がある。

特に、技術の進歩により撮影装置の小型、軽量化が図られたため撮影装置を片手で簡単に保持して撮影することが可能になり、従来の両手で支えて撮影するカメラと比べて手ぶれも発生しやすくなっている。とりわけカメラ付携帯電話や、液晶表示モニターなどを一体化して備えたカメラでの撮影においては、従来のファインダーを覗くタイプのカメラと比べて奥行方向の手ぶれの発生が顕著である、とも言える。なぜならば従来型のカメラとカメラ付携帯電話などではその撮影装置の保持方法などその撮影体勢が大きく異なるためである。すなわち、従来のカメラではファインダーを覗いて撮影する必要があるため比較的身体の近くで撮影装置を保持した体勢で撮影するので撮影装置も安定しやすく、奥行方向への手ぶれは比較的発生しにくい。しかし、一般的に腕を伸ばし身体から撮影装置を離し保持するというカメラ付携帯電話などの撮影体勢では、その伸ばした腕が前後にぶれることは容易に起こりうるので奥行方向への手ぶれも比較的発生しやすい、と言える。

上記課題を解決するために、本発明は、撮影時の被写体の奥行方向の前後移動を、画像内の局所的な動きベクトルに基づいて判定する機能を備えた奥行方向移動判定装置を提供する。また、その奥行方向移動判定装置の判定結果に基づいて画像補正を行う手ぶれ補正システムも提供する。

具体的には、本発明の奥行方向移動判定装置は、画像情報を取得する画像情報取得部と、取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、検出結果に基づいて被写体の奥行方向の前後移動を判定する移動判定部と、いう構成の判定装置である。また、本発明の手ぶれ補正システムは、前記奥行方向移動判定装置と、その奥行方向移動判定装置からの判定結果に基づいて画像情報の補正をする画像情報補正部と、いう構成の装置である。また、本発明では、これら奥行方向移動判定方法および手ぶれ補正方法、それら方法を計算機に実行させるプログラム、それらプログラムを記録した計算機が読み取り可能な記録媒体、および手ぶれ補正システムを備えた電子機器も合わせて提供する。

なお、本発明の奥行方向移動判定および手ぶれ補正は、例えば撮影中に地面が揺れることにより発生するぶれなど、手以外のぶれによる奥行方向への移動の判定、および画像の補正を行うことができるのは言うまでもない。また撮影装置のぶれ以外に、被写体自身の前後移動を判定することも可能である。

上記構成を備えた本発明の奥行方向移動判定装置により、従来行っていた上下左右という二次元方向への被写体のぶれのみならず、撮影時に発生する奥行方向への前後移動のぶれを判定することが可能になる。また、その判定を利用した本発明の手ぶれ補正システムにより撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく、奥行方向へのぶれとしてその方向を正しく検出することができる。また、その正確なぶれ方向の検出に基づいて、撮影画像に対する正確な補正をすることが可能になる。

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１，４，６，８について説明する。また、実施例２は、主に請求項２，５，７，８について説明する。また、実施例３では、主に請求項３，９，１０について説明する。

≪実施例１≫ <実施例１の概要> 図１に示すのは、カメラによる撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための図である。なお、図１の（１）は、被写体Ａと撮影装置Ｂとを上方から見た図である。また図１の（２）は、被写体Ａと撮影装置Ｂとを側面から見た図である。まず、図１の（１）の矢印αで示すように、撮影装置Ｂは被写体Ａに対して左右方向へぶれる可能性がある。一方、図１の（２）の矢印βで示すように、撮影装置Ｂは、被写体Ａに対して上下方向へもぶれる可能性がある。しかし撮影装置Ｂは、これら左右または上下のぶれのみならず、図１の（１）および（２）の矢印γからわかるように、被写体Ａに対して奥行方向の前後にぶれる可能性も存在する。

図２に示すのは、上記説明した撮影装置のぶれにより生じる撮影画像でのぶれの一例を表す図である。なお、この図は、例えば動画像撮影において時間軸上で近傍にある個々のフレーム（コマ）画像を重ね合わせたものである。この図にあるように、例えば図１の矢印αで示すように撮影装置が左右方向へぶれている場合、図２のαに示すように、その撮影画像内で本来実線で示す位置に撮影されるべき被写体が前後のフレームにおいてそれぞれ破線で示すように左右の位置にぶれていることがわかる。同様に図１の矢印βで示す上下方向のぶれがある場合、図２のβで示すような被写体の上下のぶれが発生することがわかる。また、図１の矢印γで示す三次元方向の前後移動のぶれがある場合、図２のγで示すように、二次元の撮影画像内では被写体像の拡大縮小という形でぶれが撮影される。したがってこれを動画像として再生した際には、被写体がぶれて動くという見づらい再生動画像になってしまう。

そこで従来の手ぶれ補正システムにおける手ぶれの方向判定装置では、図１の矢印αや矢印βに示すような上下左右でのぶれの方向を検出していた。そしてその検出結果から、図２のα、βで示すような手ぶれ撮影画像に対する補正を行っていた。しかし、本実施例の奥行方向移動判定装置ではそれのみならず、矢印γで示すような三次元の奥行方向の前後のぶれについても、その手ぶれの方向を正確に判定できることを特徴としている。そして、それにより従来では手ぶれの方向を正確に検出できず補正が困難であった図２のγで示すような撮影画像に関しても正確な手ぶれ補正を行うことが可能になる。

<実施例１の構成> 図３に示すのは、本実施例の奥行方向移動判定装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「奥行方向移動判定装置」（０３００）は、「画像情報取得部」（０３０１）と、「動きベクトル検出部」（０３０２）と、「移動判定部」（０３０３）と、を有している。

なお、以下に記載する本装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵ（中央演算処理装置）やバッファメモリ、バス、ハードディスクや不揮発性メモリなどの記憶装置、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶メディア、それらメディアの読取ドライブ、各種通信や印刷機器用の送受信ポート、その他の周辺装置などのハードウェア構成部や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるインターフェースなどが挙げられる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。ここで図１９にて、本発明の奥行方向移動判定装置を備えた撮像装置のハードウェア構成の一例について示す。以下、図３の機能ブロックと、図１９のハードウェア構成とを合わせて本実施例の機能及びそれを実現するための構成の一例について説明する。

また本発明は、装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができることもできる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

「画像情報取得部」（０３０１）は、画像情報を取得する機能を有する。「画像情報」には、ＣＣＤイメージセンサ（１９０２）やＣＭＯＳイメージセンサなどの光電変換素子やカラーフィルターなどを利用し取得された、画素単位のＲＧＢ値やＹＵＶ値などの数値で表される画像情報などが挙げられる。なお、この画像情報取得部で取得される画像情報は、同一の被写体に対して時間遷移にともなって複数枚取得される必要がある。なぜならば、後述する動きベクトルを検出する際に、時間的にずれた複数枚の画像情報が必要であるためである。「同一の被写体に対して時間遷移にともなって取得された複数の画像情報」とは、図４に示すように、例えば、動画像の撮影の場合、その動画像を構成する連続した（あるいは非連続の）フレーム（コマ）である複数の画像情報が挙げられる。

あるいは、静止画像であれば、静止画撮影した被写体について、その直後にも同時に撮影し複数の画像情報を取得する方法が挙げられる。このように時間遷移に応じて同一被写体に対する連続（または所定の間隔で非連続）の画像情報を比較することで、後述するように動きベクトルを検出することが可能になる。

また、これら画像情報は符号化された情報であり、復号化されることで画像を表示可能な情報であっても構わない。また、その場合、動画像であればフラクタル符号化などを利用して単独で符号化された画像情報であっても構わないし、時間的に前又は／及び後ろの画像情報を参照するフレーム間予測を利用して符号化された画像情報であっても良い。

この「画像情報取得部」による画像の取得は、例えば図１９のレンズ（１９０１）を通った被写体の光が画素単位のＣＣＤ素子の集合体であるＣＣＤイメージセンサ（１９０２）によって光電変換され、変換された電荷の量に応じＡ／Ｄ変換器（１９０３）によって画像情報を示すデジタルデータが生成され取得する方法が挙げられる。そしてこのように取得された画像情報が、一時記憶メモリ（１９０５）や記憶装置（１９０６）内の所定のアドレスの記憶領域にフレーム番号と対応して記憶される。フレーム番号とは、画像情報取得の時間経過に即して割り振られる番号であり、画像情報が動画像情報であれば再生順番を示す情報となる。また画像情報が静止画像であれば例えば連続撮影の撮影順を示す情報となる。このように画像情報がフレーム番号と対応して所定のアドレスに記憶されることで、後述するようにＣＰＵの演算処理によって動きベクトルの検出を行う際に、時間的に前後の画像情報を比較してその検出処理を行うことが可能になる。

「動きベクトル検出部」（０３０２）は、画像情報取得部（０３０１）にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する機能を有する。図５に示すのは、この動きベクトルの検出の一例について説明するための図である。図５（ａ）や（ｂ）に示すように、画像情報取得部で取得される画像情報は、例えば分割領域を指定するためのサイズ情報や位置情報などによって、その内部が所定の格子状領域などに分割されている。なお、本実施例では、この格子状領域のうち図６で示す所定の５箇所を検出箇所として、それぞれの検出箇所における局所的な動きベクトルを検出する例を説明する。もちろん、後述する実施例２のように、上記格子状領域（あるいは格子状以外の形状の領域）のすべてを検出箇所としてそれぞれにおける局所的な動きベクトルを検出しても良い。

図５（ａ）の画像情報１の画像において、斜線で示す格子状領域（０５０１）は、上記所定の５箇所の検出箇所のうちの一つである。そして、この検出箇所（０５０１）における局所的な動きベクトルの検出は、例えば以下のような処理により行われる。すなわち、この検出箇所（０５０１）内の被写体画像が、時間的にその次以降のフレームである図５（ｂ）の画像情報２の画像においてどの位置に移動しているか、を判断する。

その判断のためには、例えばブロックマッチングなどの画像マッチング処理技術を利用すると良い。ブロックマッチングでは、まず図５（ｂ）の画像情報２の画像内から、前記検出箇所（０５０１）と同じ位置のブロックを中心として周囲所定個のブロック群で構成される探索範囲（０５０２）を決定する。そして探索範囲の中から画素値やその分布情報などを利用して、図５（ａ）の検索箇所（０５０１）内の被写体画像と最も近似しているブロック（０５０３）を検出する。そしてその移動量を水平、垂直成分として、検出箇所（０５０１）における局所的な動きベクトル（０５０１ｎ）が検出される、という具合である。そして、その他の検出箇所についても同様に動きベクトルの検出を行い、その動きベクトルを、後述する移動判定部において総合的に利用することで、本実施例の奥行方向移動判定装置は、被写体の奥行方向への移動を判定する。

なお、上記ブロックマッチングなどを利用した局所的な動きベクトルの検出は、通常の動画像の符号化において一般的に行われている処理であって、符号化された動画像情報に含まれる情報である。したがって、符号化動画像による記録を行う撮影装置であれば、その符号化における動きベクトル検出部を本発明の奥行方向移動判定装置における動きベクトル検出部と兼用とし、その符号化の際に検出される動きベクトルを再利用する構成としても良い。このように動きベクトルとして符号化時のものを再利用することで、従来の符号化動画像撮影装置にそのほかの判定機能を追加するだけで、本実施例の奥行方向移動判定装置を簡単に実現することができる。したがって、上記検出箇所は、動画像の符号化において動きベクトルの検出に一般的に利用される、サイズが８×８や１６×１６、４×８画素などの方形のマクロブロックと同一とすることが望ましい。あるいは、動画像符号化において同様に動きベクトルの検出に利用される、エッジ抽出処理で抽出された被写体の輪郭を外縁とするブロックと同一とすることが望ましい。

しかし、もちろんこの検出箇所の形状は上記には限定されず、六角形や円形など様々な形状であって良い。また、動きベクトルの検出の際にブロックマッチングなどで参照される画像情報は時間的に次以降であってもよいし、それ以前の画像情報であっても良いし、あるいはその両方であっても構わない。

また、上記一つの検出箇所について、時間的にさらにそれ以降や逆に時間的に前のフレームに関しても同様の動きベクトル検出処理を行い、一つの検出箇所について複数の動きベクトルを検出する構成としても良い。その場合、例えば検出箇所（０５０１）では動きベクトル０５０１ｎに加え、別の動きベクトル０５０１ｍがさらに検出される、という具合である。

また、前述のとおり上記動きベクトルの検出処理は動画像での処理には限らない。静止画像では、連写でない限り時間的に前後のフレームを比較することはできないが、例えば静止画像撮影した被写体について、その直後にも自動的に撮影し、それら複数枚の静止画像をバッファメモリにいったん保持しておく。そして、それらを上記同様の処理によって比較することで、静止画像における撮影の前後の時間も含めた動きベクトルを検出してもよい。

この「動きベクトル検出部」による動きベクトルの検出は、例えば以下のような手順にて行う方法が挙げられる。その検出方法の一例とは、まず、奥行方向移動判定装置における移動方向判定モードの実行を指示する実行命令などの検知によって、動きベクトル検出用のプログラムが記憶装置の所定の記憶領域からメモリの主記憶領域に展開され、順次ＣＰＵによって実行される。このプログラムの実行により、前述の画像情報取得部の作用でフレーム番号に応じて所定のアドレスに記憶されている画像情報を複数枚読み出すための命令が送出され、その読出命令に基づいて複数枚の画像情報が一時記憶メモリ内に格納される。つづいて、ＣＰＵの論理演算処理により、一時記憶メモリ内に格納された複数枚の画像情報の比較が、フレーム番号に応じた時間関係に基づいて行われる。そして、例えば上記ブロックマッチングを利用した前記比較処理などにより、所定の検出箇所における動きベクトルが検出される、という方法である。そして検出された動きベクトルを、その検出箇所と関連付けて、再び一時記憶メモリや記憶装置などの所定のアドレスの記憶領域に記憶する。

「移動判定部」（０３０３）は、動きベクトル検出部（０３０２）での検出結果に基づいて被写体の奥行方向の前後移動を判定する機能を有する。なお、「被写体の奥行方向への前後移動」とは、撮影装置に対して被写体が奥行方向に前後移動することを言う。したがって、被写体だけではなく撮影装置が前後に移動する場合も含むものである。

図６に示すのは、前記所定の５箇所をサンプル検出箇所として、そのサンプル検出箇所における動きベクトルを利用して行われる移動判定部での判定の一例を説明するための図である。この図にあるように、前記５箇所のサンプル検出箇所は、斜線で示す格子状領域（０６０１、０６０２、０６０３、０６０４、０６０５）とする。そしてこの５箇所のサンプル検出箇所についてそれぞれの動きベクトル（０６０１ｎ、・・・・、０６０５ｎ）を検出し、この移動判定部において被写体の奥行方向への前後移動の判定を行う。具体的な判定方法の一例としては、動きベクトル０６０１ｎ、動きベクトル０６０２ｎ、・・・、動きベクトル０６０５ｎを、それぞれ、

として、数式

により、これらサンプルの動きベクトルを合成する。そして合成された動きベクトルｆ（ａ）の成分が、図７で示すように所定の閾値ａ，ｂ以上Ａ，Ｂ以下であれば被写体は奥行方向の前後移動をしている、と判定する。逆に、合成動きベクトルｆ（ａ）の成分が所定の閾値Ａ，Ｂのいずれかを超えていた場合、少なくと上下、または左右方向への移動をしている、と判定する。また、合成動きベクトルｆ（ａ）の成分のいずれかが所定の閾値ａ，ｂよりも小さい場合はぶれなどによる被写体の動きはなかったと判定する、という具合である。

このように判定する理由は、画像という２次元平面上では、前後移動は、左右や上下の移動に比べてその移動幅が小さく示される、という前提があるからである。ただし、「上と下」という具合に方向が対になる移動の組が多数存在していた場合、上記式では振れ幅の大きい上下移動しかない場合でも合成した動きベクトルの成分が閾値以下となることがありうる。したがって、上記式では各サンプルの動きベクトル成分の絶対値をとって計算すると良い。

なお上記判定においては、ベクトル合成の際に画像の中心部分でのぶれをもっとも重要なぶれ判定の要素とし、中心の検出箇所の動きベクトルに重み付けを行い合成し、判定を行うなどしても良い。もちろん、移動判定部における移動の判定方法は上記動きベクトルの成分の合成を利用した方法のみならず、例えば実施例２で後述するような動きベクトルの方向のばらつきから判定する方法など様々な方法で実現されて良い。このようにして、本実施例の奥行方向移動判定装置は、局所的な動きベクトルを利用して被写体が撮影装置に対して相対的に奥行方向に移動しているか、について判定することができる。

この「移動判定部」による被写体の奥行方向の前後移動の判定は、例えば以下のような手順にて行う方法が挙げられる。その判定方法の一例とは、まず、前述の局所的な動きベクトルの検出終了情報の検知によって、今度は移動方向の判定用プログラムが記憶装置（１９０６）の所定の記憶領域からメモリの主記憶領域に展開され、順次ＣＰＵ（１９０４）によって実行される。この移動方向判定プログラムの実行により、前述のようにして複数の検出箇所ごとに所定のアドレスに記憶された動きベクトルが一時記憶メモリ（１９０５）上に読み出され、それぞれ所定のアドレスに格納される（もちろん、動きベクトルの検出処理と、この移動方向の判定処理が連続して行われる場合など、最初から複数の動きベクトルが一時記憶メモリの所定のアドレスにそれぞれ格納されていても良い）。つづいてＣＰＵの演算処理によって、この一時記憶メモリ内に格納された複数の動きベクトルの合成処理が行われる。そして、ＣＰＵによる処理結果である合成ベクトルを示す情報が一時記憶メモリなどに出力され、所定の記憶領域に格納される。

また、この移動方向判定プログラムによって、記憶装置のまた別の所定記憶領域に記憶されている判定用の所定値情報（上記例では閾値Ａ、Ｂなど）が読み出され、一時記憶メモリに格納される。そして一時記憶メモリの所定領域に格納されている合成ベクトルと、別の所定領域に格納されている所定値情報で示される閾値と、がＣＰＵの論理演算処理によって比較される。そしてその比較処理の結果、例えば合成ベクトルが所定の閾値ａ，ｂ以上Ａ，Ｂ以下であるとの比較結果がＣＰＵにより出力されれば、被写体は奥行方向の前後移動をしている、と判定し、その旨を示す情報が生成される、という方法である。そしてその判定情報が一時記憶メモリや記憶装置の所定のアドレスの記憶領域に記憶される。

そして、このようにしてなされた動きの方向の判定結果を利用して、例えば撮影装置の表示部に「カメラが前後方向にぶれています」などの警告メッセージを表示すると良い。具体的には、例えば１／３０秒ごとに上記判定を行い、１秒間３０回の判定うち最も多く判定されたぶれの方向に関する警告を表示する、という具合である。

<実施例１のその他の例> なお上記では、ぶれの方向を警告するために奥行方向移動判定装置を利用する実施の形態について説明した。しかし、そのような実施の形態のみならず、本実施例の奥行方向移動判定装置は、例えば後述する実施例３のように手ぶれ補正処理に利用したり、その他の画像処理に利用したり、あるいは「横移動の動画」「前後移動の動画」など動画像の移動属性から動画を分類するためのインデックスを付与するために利用したりする、という具合に様々な利用の形態があって良い。

<実施例1の処理の流れ> 図８に示すのは、本実施例の奥行方向移動判定装置における処理の流れの一例を表すフローチャートである。この図にあるように、まず、ｎ枚目の画像情報を取得し（ステップＳ０８０１）、続けてｎ＋１枚目の画像情報を取得する（ステップＳ０８０２）。次に、前記ステップＳ０８０１で取得したｎ枚目の画像情報で示される画像内の複数の検出箇所に関して、ｎ枚目の画像情報とｎ＋１枚目の画像情報とを比較する（ステップＳ０８０３）。さらに、前記ステップＳ０８０３での比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する（ステップＳ０８０４）。最後に、前記ステップＳ０８０４での検出結果に基づいて被写体の奥行方向の前後移動を判定し（ステップＳ０８０５）、その判定結果に基づいて例えば撮影装置のぶれの方向を警告したり、画像の補正を行ったり、あるいは画像分類用のインデックスを付与したりすることができる。

<実施例１の効果の簡単な説明> 以上のように、本実施例の奥行方向移動判定装置によって奥行方向への前後移動のぶれを判定することが可能になる。また、その判定結果から、例えば撮影装置のぶれの方向についての警告メッセージを表示することができるようになる。また、後述する本発明の手ぶれ補正システムに組み込まれることで、撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく奥行方向へのぶれとしてその方向を正しく認識し、その正確なずれの方向に応じた補正することが可能になる。あるいは、動画の動きの方向による分類用インデックスを付与することもできるようになる。

≪実施例２≫ <実施例２の概要> 本実施例の奥行方向移動判定装置も、実施例1と同様に動きベクトル検出部で検出した画像内の局所的な動きベクトルを利用して、被写体の奥行方向への移動を判定する機器である。そして本実施例の特徴点は、被写体の奥行方向への移動を、画像内の各検出箇所での動きベクトルがその方向においてどのようなばらつきを見せるか、から判定する点である。このように動きベクトルの方向の、頻度のばらつきから被写体の奥行方向への移動を判定することで、例えば実施例１のサンプリングなどを利用した判定方法よりさらに精度の高い奥行方向への移動の判定を行うことができる。

<実施例２の構成> 図９に示すのは、本実施例の奥行方向移動判定装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「奥行方向移動判定装置」（０９００）は、「画像情報取得部」（０９０１）と、「動きベクトル検出部」（０９０２）と、「移動判定部」（０９０３）と、を有している。なお「画像情報取得部」と「動きベクトル検出部」については、実施例１ですでに記載済みであるのでその説明は省略する。そして本実施例の奥行方向移動判定装置の特徴点は、その「移動判定部」が、さらに「集計手段」（０９０４）と、「ばらつき判定手段」（０９０５）と、「ばらつき依存前後移動判定手段」（０９０６）とを有する点である。

「集計手段」（０９０４）は、複数の検出箇所ごとに検出される動きベクトルの方向別の頻度を複数枚の画像にわたって集計する機能を有する。「複数の検出箇所」とは、例えば実施例１の動きベクトルの検出の説明において図５を用いて説明した複数の格子状領域が挙げられる。なお、本実施例では実施例１とは異なり、所定の５箇所ではなく全ての格子状領域における局所的な動きベクトルを利用（集計）し、被写体の移動の判定を行う例について説明する。もちろん、この複数の検出箇所の形状は格子状に限定されず、またその個数も限定されるものではない。

図１０、図１１、および図１２に示すのは、この動きベクトルの方向別頻度の、集計の一例について説明するための図である。まず前述の動きベクトル検出部によって、図１０にあるように、画像内の複数の検出箇所である例えば１６×１６画素のマクロブロックごとに、動きベクトル１００１ｎ、動きベクトル１００２ｎ、・・・、動きベクトル１０３０ｎが検出された。ここで前記それぞれの動きベクトルを、その方向に基づいて、図１１に示すような中心角４５度で分割された８方向（図中１から８）及び方向なし（図中０）の９方向に分類する（もちろん、前記頻度を集計するための方向は９方向には限定されない）。

すると、図１２に示すように、その方向が方向０（方向なし）である動きベクトルの検出頻度は「３個」、方向１の動きベクトルの検出頻度は「１個」、方向２の動きベクトルの検出頻度は「４個」、方向３の動きベクトルの検出頻度は「５個」、方向４の動きベクトルの検出頻度は「４個」、方向５の動きベクトルの検出頻度は「３個」、方向６の動きベクトルの検出頻度は「４個」、方向７の動きベクトルの検出頻度は「４個」、方向８の動きベクトルの検出頻度は「２個」、という具合に、９方向別の動きベクトルの頻度が集計される。このようにして、画像内の複数の検出箇所の動きベクトルについて方向別の頻度が集計される。

この「集計手段」による動きベクトルの方向別頻度の集計は、例えば以下のような手順にて行う方法が挙げられる。その集計方法の一例とは、まず、実施例１で説明したように例えばＣＰＵ（１９０４）によるブロックマッチングなどの処理により、局所的な動きベクトルが検出され、一時記憶メモリ（１９０５）内などに格納される。そしてその動きベクトルの検出終了情報の検知によって、今度は動きベクトルの方向別頻度の集計用プログラムが記憶装置（１９０６）の所定の記憶領域からメモリの主記憶領域に展開され、順次ＣＰＵによって実行される。この頻度集計プログラムによって、図１１に示すような方向別の分類を示す情報が記憶装置の別の所定記憶領域から読み出され、その方向別分類情報が一時記憶メモリに格納される。つづいてＣＰＵの論理演算処理により、一時記憶メモリ内に格納された動きベクトルで示される方向と、方向別分類情報で示される分類された方向と、が比較される。そして、動きベクトルを、方向別分類情報で示される方向情報と関連付けて記憶装置の所定のアドレスに記憶することで、動きベクトルの方向別分類処理が行われる。そしてその分類にしたがって、ＣＰＵにて方向別の動きベクトルの頻度の集計処理が行われる、という方法である。そしてこのようにして集計された動きベクトルの方向別頻度を示す情報が、その方向と関連づけて一時記憶メモリや記憶装置の所定アドレスの記憶領域に格納される。

「ばらつき判定手段」（０９０５）は、集計手段（０９０４）にて集計された方向別の頻度のばらつきが、所定のばらつき範囲に含まれているか判定する機能を有する。この方向別の頻度のばらつきを判定する方法としては、例えば標準偏差を利用する方法が挙げられる。すなわち、図１２に示すような集計手段で集計された方向別の動きベクトルの頻度に基づいて標準偏差を算出する。そしてその標準偏差の値が所定値以下であれば方向別の頻度にばらつきが無い（所定のばらつき範囲に含まれている）、すなわち複数の検出箇所における動きベクトルの方向は９方向それぞれにほぼまんべんなく検出されている、と判定する方法である。具体的に計算すると、前記動きベクトルの方向別の頻度の平均値は３０／９で「３．３」（小数点第二以下、四捨五入）である。したがって、その標準偏差の値は、「１．２」となり、所定値が例えば「１．６」であれば標準偏差は所定値以下となるので、この場合は動きベクトルの頻度のばらつきが所定のばらつき範囲に含まれている、と判定する。

また、逆に標準偏差の値が所定値以上であれば方向別の頻度にばらつきがある（所定のばらつき範囲に含まれていない）、すなわち複数の検出箇所における動きベクトルの方向は９方向のうち特定の方向に寄って検出されている、と判定することができる。

また、上記方向別頻度のばらつきが所定のばらつき範囲に含まれているかの判定に利用される「所定の値」は、例えば、奥行方向のぶれによる再生動画像などへの影響の度合いに応じた方向別の頻度のばらつきを予め統計的データとして収集し、その統計データに基づいて決定する方法が挙げられる。より具体的には、「所定の値」は、レンズ固有の焦点深度や撮影時の絞り量などのハードウェアに依存する要因と、前記動きベクトルの検出箇所の個数や方向別頻度の個数などのソフトウェアにおいての設定に依存する要因との双方に応じて統計的データが収集され、それに基づいて決定されると良い。

この「ばらつき判定手段」による動きベクトルの方向別頻度のばらつきの判定は、例えば以下のような手順にて行う方法が挙げられる。その判定方法の一例とは、まず、前述の頻度集計プログラムの集計終了情報の検知によって、今度は動きベクトルの方向別頻度のばらつきを判定するためのプログラムが記憶装置（１９０６）の所定の記憶領域からメモリの主記憶領域に展開され、順次ＣＰＵ（１９０４）により実行される。このばらつき判定プログラムにより、前述のように一時記憶メモリに格納された動きベクトルの方向別頻度を示す情報に基いてその頻度を示す数値の標準偏差を算出するための演算処理がＣＰＵにて行われる。そしてＣＰＵの演算処理により標準偏差を示す数値が出力され、一時記憶メモリ内に格納される。また、このばらつき判定プログラムにより、上記「所定の値」を示す情報も記憶装置の所定の記憶領域から一時記憶メモリに読み出され格納される。そして、ＣＰＵの論理演算処理により、一時記憶メモリに格納された上記標準偏差と所定値との大小比較が行われる。そしてその結果、標準偏差が所定値以下である場合には、動きベクトルの方向別頻度のばらつきが所定のばらつき範囲に含まれている、との判定結果を示す情報が生成される、という方法である。そして、このようにして生成された判定結果を示す情報が一時記憶メモリや記憶装置の所定のアドレスの記憶領域に記憶される。

また、別の動きベクトル頻度のばらつき判定方法として、最大頻度と最小頻度の差分が所定値以下であれば所定のばらつき範囲に含まれていると判定する方法も挙げられる。あるいは、前述の図１２に示すようにして集計された動きベクトルの方向別頻度のうち、最大頻度を示す方向における動きベクトルの頻度は全体の頻度数の何割に相当するか、によって方向別の頻度のばらつきを判定する方法も挙げられる。具体的には、上記例のように検出された動きベクトル全体の数が３０個であり、集計された動きベクトルの方向別頻度のうち、最大頻度となる方向が方向７の５個であれば、そのばらつきを示す指数は、３０分の５、すなわち小数点３位以下四捨五入で１７％となる。そして、このようにして算出された指数が、所定のばらつき範囲、例えば２０％に含まれているか、をこのばらつき判定手段で判定する。

なお、上記のようにこのばらつき判定手段において「頻度の標準偏差」や「最大頻度と最小頻度の差分」、あるいは「最大頻度の全体頻度における割合」などを利用して、動きベクトルの方向別頻度のばらつきについて所定の範囲内にあるか判定する理由は、次の「ばらつき依存前後移動判定手段」で被写体の奥行方向への前後移動を判定するためである。

この、その他のばらつき判定プログラムによるばらつきの判定は、具体的には例えば以下のような手順で行う方法が挙げられる。まず、上記と同様にして動きベクトルの方向別頻度のばらつきを判定するためのプログラムがメモリの主記憶領域に展開され、順次ＣＰＵに実行される。また上記「所定の値」が一時記憶メモリに格納される。そして、一時記憶メモリ内に格納された動きベクトルの方向別頻度を示す情報それぞれが、ＣＰＵの論理演算処理により大小比較され、その比較処理により最大頻度を示す数値と最小頻度を示す数値とが抽出される。そしてその最大頻度を示す数値と最小頻度を示す数値との差分値がＣＰＵの演算処理により算出される。あるいは、最大頻度を示す数値が全体の頻度を示す数値の何割にあたるかがＣＰＵの演算処理により算出される。そして、そのＣＰＵの演算処理により出力された「最大頻度と最小頻度の差分」、あるいは「最大頻度の全体頻度における割合」を示す数値が、一時記憶メモリや記憶装置の所定の記憶領域に格納される。そして、一時記憶メモリに格納されたこの方向別頻度に基づく数値と、前記「所定の値」とが、ＣＰＵの論理演算処理により大小比較され、その比較結果からばらつきの度合いが判定される、という具合である。

「ばらつき依存前後移動判定手段」（０９０６）は、ばらつき判定手段（０９０５）での判定結果が所定のばらつき範囲内である場合には前記被写体の奥行方向の前後移動があったとの判定をする機能を有する。ここで、ばらつき依存前後移動判定手段において、上記ばらつき判定手段での判定結果に基づいて前後移動の判定を行う理由を、図１３を用いて以下に説明する。

図１３に示すのは、撮影装置の左右（上下）方向へのぶれと、奥行方向への前後のぶれの違いによって、検出される動きベクトルの方向別の頻度がどのように違うかの一例を説明するための図である。例えば撮影装置が左右（上下）にぶれる場合、図に示すように撮影される画像はその全体において左右（上下）に移動することになる。すると、この図１３（１）にあるように、画像内の検出箇所それぞれの動きベクトルは、おおよそ同方向の向きを示す。すると特定方向の動きベクトルの頻度が多くなり、上記ばらつき判定手段での判定では、方向別の頻度にばらつきが生じている（所定のばらつき範囲に含まれない）と判定されることになるからである。したがって、前記ばらつき判定手段において方向別頻度のばらつきが所定のばらつき範囲内に含まれていないと判定されている場合、このばらつき依存前後移動判定手段では、複数の検出箇所における動きベクトルの方向は９方向のうち特定の方向に寄って検出されている、と判定することができる。

一方、撮影装置がその奥行方向の前後へぶれる場合、上記上下左右の二次元軸での移動とは異なる具合に動きベクトルが検出されることになる。図１３（２）にあるように、撮影装置が三次元方向である奥行方向にぶれる場合、二次元平面であるその撮影画像では、撮影装置の焦点（通常中心点１３０１）に向かって、またはその逆方向に向かって被写体が動くことになり、検出される動きベクトルも図１３（２）の矢印に示すようなものとなる。つまり、このように検出される動きベクトルは、その方向が同方向ではなく、検出箇所の位置に応じてそれぞればらばらである、と言える。したがって、検出される動きベクトルの方向別頻度は同程度となり、その動きベクトルの方向別頻度のばらつきは所定のばらつき範囲に含まれる可能性が高くなる。このような理由から、ばらつき依存前後移動判定手段において、ばらつき判定手段（０９０５）での判定結果が所定のばらつき範囲内である場合には、前記被写体の奥行方向の前後移動があったとの判定をするのである。

この「ばらつき依存前後移動判定手段」による被写体の奥行方向への前後移動の判定は、例えば、まず、前述のばらつき判定プログラムの判定終了情報の検知によって、今度は被写体の奥行方向への前後移動の判定プログラムが記憶装置（１９０６）の所定の記憶領域からメモリの主記憶領域に展開され、順次ＣＰＵ（１９０４）により実行される。そして、前述のようにして判定された動きベクトルの方向別頻度のばらつきの度合いを示す情報から、前記被写体の奥行方向の前後移動があった、あるいは無かった旨の情報が生成され、一時記憶メモリや記憶装置の所定領域に格納される、という具合である。

なお、上記「所定のばらつき範囲」は、例えば前述のとおり検出箇所の個数や頻度を集計するための方向別個数に応じて、出荷製造元などによって予め設定されていても構わない。あるいはユーザーによって予め設定可能とする構成となっており、そのために本実施例の奥行方向移動判定装置は「ばらつき範囲設定部」を備えていても良い。また、本実施例の奥行方向移動判定装置は、後述する手ぶれ補正処理などにおいてズーム時に撮影画像内の被写体に生じる奥行方向への動きを手にれによるものと誤判定することを防ぐために、例えば、ズーム速度と検出した動きベクトルから算出される動きの速度との比較からズームであるか手ぶれなどのぶれであるかを判定する「ズーム判定手段」を備えていても良い。

<実施例２の処理の流れ> 図１４に示すのは、本実施例の奥行方向移動判定装置における処理の流れの一例を表すフローチャートである。この図にあるように、まず、ｎ枚目の画像情報を取得し（ステップＳ１４０１）、続けてｎ＋１枚目の画像情報を取得する（ステップＳ１４０２）。次に、前記ステップＳ１４０１で取得したｎ枚目の画像情報で示される画像内の複数の検出箇所に関して、ｎ枚目の画像情報とｎ＋１枚目の画像情報とを比較する（ステップＳ１４０３）。さらに、前記ステップＳ１４０３での比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する（ステップＳ１４０４）。次に、複数の検出箇所ごとに検出される動きベクトルの方向別の頻度を、複数枚の画像にわたって集計する（ステップＳ１４０５）。そして、前記ステップＳ１４０５にて集計された方向別頻度のばらつきが、所定のばらつき範囲に含まれているか判定する（ステップＳ１４０６）。ここで、前記判定結果が所定のばらつき範囲内であれば、前記被写体の奥行方向の前後移動があったとの判定をする（ステップＳ１４０７）。一方、前記判定結果が所定のばらつき範囲内でなければ、前記被写体は奥行方向への前後移動ではないとして、例えば手ぶれ補正システムにおける判定処理であれば、上下または左右方向の手ぶれとして従来どおりの補正処理を行う。

<実施例２の効果の簡単な説明> 以上のように、本実施例の奥行方向移動判定装置によって検出された動きベクトルの頻度のばらつきを判定し、それによって精度の高い奥行方向への前後移動の判定を行うことができる。ひいては、例えばより精度の高い奥行方向の前後移動の手ぶれに対する警告メッセージの表示や手ぶれ動画像に対する補正を行うことが可能になる。

≪実施例３≫ <実施例３の概要> 本実施例の手ぶれ補正システムは、上記実施例１や実施例２で説明した奥行方向移動判定装置を利用した手ぶれ補正システムである。つまり、従来の手ぶれ補正機能に加え奥行方向への手ぶれについても判定し、その判定結果に基づいて奥行方向のぶれの補正をも可能とした手ぶれ補正システムである。

<実施例３の構成> 図１５に示すのは、本実施例の手ぶれ補正システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例の「手ぶれ補正システム」（１５００）は、「奥行方向移動判定装置」（１５０１）と、「画像情報補正部」（１５０２）と、を有する。なお、「奥行方向移動判定装置」は、実施例１で説明したとおり、「画像情報取得部」と、「動きベクトル検出部」と、「移動判定部」と、を有している。あるいは実施例２で説明したように、その「移動判定部」が、さらに「集計手段」と、「ばらつき判定手段」と、「ばらつき依存前後移動判定手段」と、を有している。ただし、これら「奥行方向移動判定装置」における「画像情報取得部」と「動きベクトル検出部」と「移動判定部」と、「集計手段」と「ばらつき判定手段」と「ばらつき依存前後移動判定手段」については、実施例１または実施例２ですでに記載済みであるのでその説明は省略する。

「画像情報補正部」（１５０２）は、奥行方向移動判定装置（１５０１）からの判定結果に基づいて前記画像情報取得部にて取得される画像情報の補正をする機能を有する。図１６に示すのは、この画像情報補正部での補正処理の一例について説明するための図である。図１６（ａ）にあるように、動画像を構成する時間的に連続した３枚の画像情報１，２，３が取得されている。これらはバッファメモリなどに読み込まれ、そこで前述の動きベクトル検出部や移動判定部の処理により奥行方向の前後移動がある、と判定されている。すると、この画像情報補正部において、例えば、まず動きベクトル検出部で検出された複数の検出箇所における動きベクトルの画素単位での平均移動量と、撮影画像の（撮影に有効な）画素領域の画素サイズとの比率から、撮影画像を縮小、拡大補正するための縮小、拡大倍率が算出される。そして算出されたその倍率に基づいて画像情報の補正が行われる。なお、縮小倍率とするか拡大倍率とするかの判断は、検出された動きベクトルの方向が画像の中心方向か否か、などから判断すると良い。

あるいは、奥行方向の手ぶれがある場合には画像情報の補正は行わない、とする処理であっても良い。また、その奥行方向への手ぶれが判定された画像情報より時間的に前の画像情報において上下又は左右方向への手ぶれが判定されている場合には、画像情報補正部では補正は行うが補正対象となる画像情報での奥行方向への移動ベクトルに基づく補正は行わず、前記時間的に前の画像情報での移動ベクトルに基づく上下や左右方向への補正のみ行う、という具合の処理を行っても良い。

もちろん、上記動きベクトル検出部や移動判定部の処理により、奥行方向ではなく上下や左右への手ぶれである、と判定された場合は、検出された動きベクトルから被写体の移動量を算出し、例えば有効画素領域をその移動量の分だけ移動させる、などの通常の手ぶれ補正の処理がこの画像情報補正部で行われると良い。

この「画像情報補正部」による画像情報の補正は、例えば以下のようにして行われる。まず前述のように、画像情報取得部にて取得された複数枚の画像情報を示す画素ごとの色データや位置データが、画素ごとに対応した図１９の一時記憶メモリ（１９０４）内の所定のアドレスに格納されている。そして実施例１や２で説明した動きベクトルによる被写体の前後移動の判定結果情報が出力されると、それを検知し画像情報を補正するためのプログラムが記憶装置からメモリの主記憶領域に展開され、順次ＣＰＵによって実行される。そして上記判定結果から補正をすべき画素データに対して、ＣＰＵの演算処理により画素の色データや位置データが補正される。そして補正をすべき画素にたいして上記同様の補正処理が行われ、その補正画像情報を示す各画素のデータが出力される。そして出力されたそれぞれの画素を示す情報が、再び記憶領域などの所定領域に記憶されたり、画像出力用のメモリに描画され、ディスプレイなどに出力されたりする。

<実施例３の処理の流れ> 図１７に示すのは、本実施例の奥行方向移動判定装置における処理の流れの一例を表すフローチャートである。この図にあるように、まず、ｎ枚目の画像情報を取得し（ステップＳ１７０１）、続けてｎ＋１枚目の画像情報を取得する（ステップＳ１７０２）。次に、前記ステップＳ１７０１で取得したｎ枚目の画像情報で示される画像内の複数の検出箇所に関して、ｎ枚目の画像情報とｎ＋１枚目の画像情報とを比較する（ステップＳ１７０３）。さらに、前記ステップＳ１７０３での比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する（ステップＳ１７０４）。次に、前記ステップＳ１７０４での検出結果に基づいて被写体の奥行方向の前後移動を判定する（ステップＳ１７０５）。そして、その判定結果に基づいて、前記ステップＳ１７０１にて取得したｎ枚目の画像情報の補正を行う（ステップＳ１７０６）。

<実施例３の効果の簡単な説明> 以上のように、本実施例の手ぶれ補正システムによって、従来の手ぶれ補正システム腕では実現されていなかった奥行方向への手ぶれも加味した上で撮影画像に対する補正を行うことができるようになる。したがって、奥行方向の手ぶれにより撮影された画像に対して、誤って上下や左右方向への補正と同じ処理を行ってしまうという事態を避けることが可能になる。

≪実施例３の手ぶれ補正システムの利用形態例≫ <実施例３の手ぶれ補正システムを備えた電子機器の概要>なお、上記手ぶれ補正システムを備えた電子機器としては、例えばカメラ付無線通信機器やカメラ付携帯情報端末などが挙げられる。これら電子機器は、例えばカメラ付無線通信機器であれば、屋外への携行を前提として考えると、ぶれのおきやすい状態での撮影が多くありうる。したがって、本実施例の手ぶれ補正システムを備えることにより上下左右以外に奥行方向の手ぶれにも対応し多様な補正ができると良い。あるいは、例えばカメラ付の携帯情報端末であれば、前述のとおり片手で腕を若干伸ばし保持されることが多く、奥行方向の前後移動の手ぶれが発生しやすいと言える。したがって本実施例の手ぶれ補正システムを備えることによる効果も高く期待できる。

<上記手ぶれ補正システムを備える電子機器の構成> 図１８に示すのは、上記手ぶれ補正システムを備えた電子機器における機能ブロックの一例を説明するための図である。この図にあるように、この「電子機器」（１８００）は、「手ぶれ補正システム」（１８０１）と、「補正画像情報取得部」（１８０２）と、「補正画像情報出力部」（１８０３）と、を有する。なお、「手ぶれ補正システム」は、実施例３で説明したとおり、「画像情報取得部」と、「動きベクトル検出部」と、「移動判定部」と、「画像情報補正部」と、を有している。あるいは実施例２で説明したように、その「移動判定部」が、さらに「集計手段」と、「ばらつき判定手段」と、「ばらつき依存前後移動判定手段」と、を有している。ただし、これら「手ぶれ補正システム」における「画像情報取得部」と「動きベクトル検出部」と「移動判定部」と「画像情報補正部」と、「集計手段」と「ばらつき判定手段」と「ばらつき依存前後移動判定手段」については、実施例１、実施例２および実施例３ですでに記載済みであるのでその説明は省略する。

「補正画像情報取得部」（１８０２）は、前記手ぶれ補正システムにより補正された画像情報を取得する機能を有する。なお、ここで取得される補正画像情報は、符号化された画像情報であってもかまわない。

「補正画像情報出力部」（１８０３）は、補正画像情報取得部（１８０２）で取得した補正画像情報を出力する機能を有する。この補正画像情報出力部での出力の形態としては、例えばディスプレイに表示するための補正画像情報の出力や、記録媒体へ記録するため補正画像情報の出力、ネットワークなどの接続ケーブルを介してその他の外部機器に送信するための補正画像情報の出力などが挙げられる。もちろん符号化されている情報であれば、適宜復号化して出力される。

具体的には、例えば前述のようにバッファメモリや記憶装置に記憶された補正画像情報が、図１９に示す画像出力ユニット（１９０７）を介し、アナログモニターであればＤ／Ａ変換器によりアナログデータに変換され、デジタル表示可能なモニターであればそのままがデジタルデータとしてモニター（１９０８）に出力され表示される。

<上記手ぶれ補正システムを備える電子機器の効果の簡単な説明> 以上のように、これら電子機器は手ぶれ補正システムを備えているので、例えば撮影装置の屋外への携行時やカメラ付の携帯情報端末のように片手で腕を若干伸ばし保持されて撮影される場合に発生する奥行方向への手ぶれについても補正可能することができる。そして、この電子機器によって、手ぶれが補正され品質の向上した画像をディスプレイなどの表示装置に出力したり、記録媒体に記録したりすることができる。

カメラによる撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための図 撮影装置のぶれにより生じる撮影画像でのぶれの一例を表す図 実施例１の奥行方向移動判定装置における機能ブロックの一例を表す図 実施例１の奥行方向移動判定装置の画像情報取得部において、同一の被写体に対して時間遷移にともなって取得された複数の画像情報の一例を説明するための図 実施例１の奥行方向移動判定装置の動きベクトル検出部における動きベクトルの検出の一例について説明するための図 実施例１の奥行方向移動判定装置の移動判定部でのサンプリングによる判定の一例を説明するための図 実施例１の奥行方向移動判定装置の移動判定部でのサンプリングによる判定の一例を説明するための別の図 実施例１の奥行方向移動判定装置における処理の流れの一例を表すフローチャート 実施例２の奥行方向移動判定装置における機能ブロックの一例を表す図 実施例２の奥行方向移動判定装置の集計手段での、動きベクトルの方向別の頻度の集計の一例について説明するための図 実施例２の奥行方向移動判定装置の集計手段での、動きベクトルの方向別の頻度の集計の一例について説明するための別の図 実施例２の奥行方向移動判定装置の集計手段での、動きベクトルの方向別の頻度の集計の一例について説明するためのさらに別の図 実施例２の奥行方向移動判定装置のばらつき判定手段での、撮影装置の上下左右、または奥行方向への前後のぶれの違いによる、検出される動きベクトルの、方向別の頻度の違いの一例を説明するための図 実施例２の奥行方向移動判定装置における処理の流れの一例を表すフローチャート 実施例３の手ぶれ補正システムにおける機能ブロックの一例を表す図 実施例３の手ぶれ補正システムの画像情報補正部での、補正処理の一例について説明するための図 実施例３の手ぶれ補正システムにおける処理の流れの一例を表すフローチャート 実施例３の手ぶれ補正システムを備えた電子機器における、機能ブロックの一例を説明するための図 本発明の奥行方向移動判定装置を備えた撮像装置のハードウェア構成の一例について示す図

符号の説明

０３００ 奥行方向移動判定装置
０３０１ 画像情報取得部
０３０２ 動きベクトル検出部
０３０３ 移動判定部
０９０４ 集計手段
０９０５ ばらつき判定手段
０９０６ ばらつき依存前後移動判定手段

Claims (10)

1. 画像情報を取得する画像情報取得部と、
   前記画像情報取得部にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部での検出結果に基づいて被写体の奥行方向の前後移動を判定する移動判定部と、
   を有する奥行方向移動判定装置。
2. 前記移動判定部は、
   前記複数の検出箇所ごとに検出される動きベクトルの方向別の頻度を複数枚の画像にわたって集計する集計手段と、
   前記集計手段にて集計された方向別の頻度のばらつきが所定のばらつき範囲に含まれているか判定するばらつき判定手段と、
   前記ばらつき判定手段での判定結果が所定のばらつき範囲内である場合には前記被写体の奥行方向の前後移動があったとの判定をするばらつき依存前後移動判定手段と、
   を有する請求項１に記載の奥行方向移動判定装置。
3. 請求項１又は２に記載の奥行方向移動判定装置と、
   前記奥行方向移動判定装置からの判定結果に基づいて前記画像情報取得部にて取得される画像情報の補正をする画像情報補正部と、
   を有する手ぶれ補正システム。
4. 画像情報を取得する画像情報取得ステップと、
   前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップでの検出結果に基づいて被写体の奥行方向の前後移動を判定する移動判定ステップと、
   を有する奥行方向移動判定方法。
5. 画像情報を取得する画像情報取得ステップと、
   前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
   前記複数の検出箇所ごとに検出される動きベクトルの方向別の頻度を複数枚の画像にわたって集計する集計ステップと、
   前記集計ステップにて集計された方向別の頻度のばらつきが所定のばらつき範囲に含まれているか判定するばらつき判定ステップと、
   前記ばらつき判定ステップでの判定結果が所定のばらつき範囲内である場合には前記被写体の奥行方向の前後移動があったとの判定をするばらつき依存前後移動判定ステップと、
   を有する奥行方向移動判定方法。
6. 画像情報を取得する画像情報取得ステップと、
   前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップでの検出結果に基づいて前記画像中の被写体の奥行方向の前後移動を判定する移動判定ステップと、
   を計算機に実行させる奥行方向移動判定プログラム。
7. 画像情報を取得する画像情報取得ステップと、
   前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
   前記複数の検出箇所ごとに検出される動きベクトルの方向別の頻度を複数枚の画像にわたって集計する集計ステップと、
   前記集計ステップにて集計された方向別の頻度のばらつきが所定のばらつき範囲に含まれているか判定するばらつき判定ステップと、
   前記ばらつき判定ステップでの判定結果が所定のばらつき範囲内である場合には前記被写体の奥行方向の前後移動があったとの判定をするばらつき依存前後移動判定ステップと、
   を計算機に実行させる奥行方向移動判定プログラム。
8. 前記請求項６または７に記載の奥行方向移動判定プログラムが記録された、計算機に読み取り可能な記録媒体。
9. 請求項３の手ぶれ補正システムを備え、
   前記手ぶれ補正システムにより補正された画像情報を取得する補正画像情報取得部と、
   前記補正画像情報取得部で取得した補正画像情報を出力する補正画像情報出力部と、
   を有する電子機器。
10. カメラ付無線通信機器、またはカメラ付携帯情報端末であることを特徴とする請求項９に記載の電子機器。

Images