JP2006203493A

JP2006203493A - 画像動き補正装置

Info

Publication number: JP2006203493A
Application number: JP2005012318A
Authority: JP
Inventors: Takenori Sakai; 武則酒井; Yukitaka Tsuchida; 幸孝土田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-01-20
Filing date: 2005-01-20
Publication date: 2006-08-03

Abstract

【課題】ムービーやＤＳＣでの手振れ補正においては自然な操作感を提供するため、意図した撮影動作であるパンニング後に動き検出回路における補正基準値のドリフトを軽減し、パンニング終了直後からは通常時と異なる補正基準値の更新を行う事で、パンニング終了後の手振れ補正のふらつきをなくしたより高精度で自然な画像動き補正装置を提供することを目的とする。
【解決手段】演算手段１０５により、Ａ／Ｄ変換手段１０３と補正用基準値決定手段１０４の差分と符号を算出し、補正用基準値更新方法判定条件１１１により判定したパンニングの終了直後、判定条件１１２により補正用基準値の更新方法を切り替えることで、補正用基準値のドリフトを軽減し、パンニング終了後の補正能力を高める。
【選択図】図１

Description

本発明は撮像装置の手振れ補正等に用いる画像動き補正装置に関し、特にその性能改善に関し提案するものである。

近年、民生用ビデオカメラ（以下、ビデオム−ビ−と称す）やデジタルスチルカメラ（以下、ＤＳＣと称す）の小型化、軽量化、光学ズ−ムの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってビデオム−ビ−やＤＳＣはごく普通の家電製品の一つとなっている。しかしその反面、小型化、軽量化、光学ズ−ムの高倍率化、及び撮影に習熟していない消費者へのビデオム−ビ−やＤＳＣの普及は、撮影時の手振れによる画面の不安定化という問題も発生させた。よって、この問題を解決するため、画像動き補正装置を搭載するビデオム−ビ−やＤＳＣが今や多く開発、商品化されている。

撮像装置の画像動き補正装置としては、例えば、ジンバル機構により撮像光学系及び固体撮像素子を備えた撮像ユニットを支持し、これを角速度センサーから得られる撮像装置自体の動き情報に基づき駆動制御することで画像の動きを補正する方式（”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１、Ｎｏ．２８、ｐｐ１９〜２４（１９８７））がある。

上記方式は、撮像装置の撮像ユニットをジンバル機構によりその重心点において回動自在に支持し、角速度センサーから得られる撮像装置のピッチング、ヨ−イング２方向の動き情報に基づき、コイルとマグネットにより構成されたアクチエ−タによりこの撮像ユニットの姿勢制御を行うことで、撮影画像を安定化させるものである。

また、別の例としては、撮像光学系の前部に可変頂角プリズムを備え、これを同じく角速度センサーからの情報により駆動制御することで画像の動きを補正する方式（”光学式手振れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１７、Ｎｏ．５、ｐｐ１５〜２０（１９９３））がある。

上記方式は、２枚のガラス板を特殊なフィルムで作られた蛇腹のようなもので接続し、中を高屈折率の液体で満たした可変頂角プリズムを固体撮像素子の前段に設け、角速度センサーから得られるピッチング、ヨ−イング２方向の撮像装置の動きの情報に基づき、この可変頂角プリズムの２枚のガラス板を水平・垂直方向に各々傾けることにより、入射光の光軸を曲げ、撮影画像の動きを安定化させるものである。

また、別の例としては、固体撮像素子上の画像に対し、その一部分のみを出力画像として読み出すための枠を設け、固体撮像素子の駆動タイミングを変えることにより、この枠を移動させて画像の動きを補正する方式がある。
上記方式は、放送方式に合致した標準の固体撮像素子よりも画素数の多い固体撮像素子を用い、角速度センサーから得られるピッチング、ヨ−イング２方向の撮像装置の動きの情報を撮影レンズの焦点距離に基づき、固体撮像素子上の画像の移動量に換算し、この換算結果をもとに固体撮像素子の駆動タイミングを制御し、撮影画像の動きに応じて固体撮像素子からの画像の読み出し位置（枠）を変更することで、撮影画像の動きを安定化させるものである。
特開２００２−９９０１３号公報（振れ検出装置及びブレ補正光学機器）

以上のように画像動き補正装置に関しては様々な方式の提案及び実用化が図られていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その一つとしては、横方向への意図した撮影動作であるパンニングや縦方向の意図した撮影動作であるチルティング（以降は説明を容易にするためパンニングのみを例にとって説明するが、チルティングについても同様である）等の意図した撮影動作をする場合の動作終了時の補正残りがあげられる。

手ぶれ補正は補正の基準値と補正の基準値の目標値を持っており、この目標値は入力値の一定区間の加算平均値として計算を行っている。補正の基準値はこの目標値へと時間をかけて変化するが、これは基準値の急激な変化による補正画像の不連続な動きを抑制するためである。しかし、図２で示すようにパンニング時の角速度センサーの出力信号２０４には、２０１、２０２、２０３で示す、静止−パンニング−静止という一連の動作を行った場合、通常の手持ち時よりも大きな入力値が入ってしまう（２０２区間）。そのため、その入力値の一定区間の平均値として計算を行っている補正の基準目標値２０５が角速度センサーの出力値と乖離してしまい、実際の補正の基準値２０６もそれに追随して変化するため、補正能力が低下する期間が長時間発生してしまうことがあった（図２中の２０７に示す）。図３は従来の制御の流れを示したものであるが、ステップ３０２で補正用基準値を更新し、ステップ３０３において補正用基準値と入力値を減算し、３０４にてその結果を補正計算に使用していたために、角速度センサーにパンニングなどで大きな入力が発生すると、３０２で補正用基準値を十分な補正効果を発揮できない値に更新してしまうことがあった。

本発明は以上の問題に鑑みてなされたものであり、パンニング終了後の補正効果の向上を行い、通常撮影時に自然な操作感を持った撮影ができる画像動き補正装置を提供することを目的とする。

この課題を解決するために本発明は、装置の物理的な動きを検出する動き検出手段と、動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、入力信号増幅回路によって増幅されたアナログ信号をデジタル信号にするＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によって出力されたデジタル信号と前タイミングの補正用基準値との差分から算出される補正用基準値決定手段と、前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力の差分と符号を算出する演算手段と、前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力から撮像装置の動きを補正する信号を決定する補正信号決定手段と、決定された補正信号を元に装置の動きを補正する為の信号を発生する補正信号発生手段と、前記補正用基準値決定手段の出力特性を変化させる第１の補正用基準値更新手段発生部と、前記補正基準値決定手段の出力特性を前記第１の補正条件とは異なる特性で変化させる第２の補正用基準値更新手段発生部と、前記第１の補正条件と前記第２の補正条件の出力を選択可能な切り替え手段と、撮像装置の意図したパンニング動作によって算出される補正用基準値更新方法判定条件と、前記演算手段により算出された前記補正用基準値決定手段の出力の差分、及び前記の補正用基準値更新方法判定条件の出力を元に前記切り替え手段を切り替える切り替え条件判断手段とを有していることを特徴とする画像動き補正装置である。

以上のように本発明は、撮影動作としてのパンニングを検出したのちに補正用基準値の更新手段を時間に応じて変化させ、パンニング時の角加速度センサーへの大入力による補正用基準値の不正な更新を防ぐことで、通常撮影時の手振れ補正効果制限の誤動作を排除し、自然な操作感を持った画像動き補正性能を供給するというすぐれた効果が得られる。

本発明の請求項１に記載の発明は、装置の物理的な動きを検出する動き検出手段と、動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、入力信号増幅回路によって増幅されたアナログ信号をデジタル信号にするＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によって出力されたデジタル信号と前タイミングの補正用基準値との差分から算出される補正用基準値決定手段と、前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力の差分と符号を算出する演算手段と、前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力から撮像装置の動きを補正する信号を決定する補正信号決定手段と、決定された補正信号を元に装置の動きを補正する為の信号を発生する補正信号発生手段と、前記補正用基準値決定手段の出力特性を変化させる第１の補正用基準値更新手段発生部と、前記補正基準値決定手段の出力特性を前記第１の補正条件とは異なる特性で変化させる第２の補正用基準値更新手段発生部と、前記第１の補正条件と前記第２の補正条件の出力を選択可能な切り替え手段と、撮像装置の意図したパンニング動作によって算出される補正用基準値更新方法判定条件と、前記演算手段により算出された前記補正用基準値決定手段の出力の差分、及び前記の補正用基準値更新方法判定条件の出力を元に前記切り替え手段を切り替える切り替え条件判断手段を有し、前記の補正用基準値更新方法判定条件に応じて第１の補正基準値更新手段と第２の補正基準値更新手段を切り替え、前記の補正用基準値を決定するものであり、パンニング後にも違和感の無い自然な操作感を持った撮影が出来るという作用を有する。

以下、本発明の実施形態について、図面を用いて説明する。

（実施の形態１）
図１は本発明の画像動き補正装置のブロック図を示すものであり、図４は本実施形態における角速度センサーの出力信号４０１、補正用基準値の目標値４０２及び補正用基準値４０３の出力例を示す図である。また、図５は本発明の一連の処理の流れを表したものである。

図１において、１０１は装置の物理的な動きを検出する動き検出手段、１０２は入力信号増幅回路で動き検出手段１０１で検出した動きをアナログ的に増幅する。１０３はＡ／Ｄ変換手段で検出された動きのアナログ信号をデジタル信号に変換する。１０４は補正用基準値決定手段でＡ／Ｄ変換手段１０３でデジタル化された前回までの動き信号から算出される。１０５はＡ／Ｄ変換手段３でデジタル化された動き信号と補正用基準値決定手段１０４により平均化された信号との差分と符号を演算する演算手段、１０６はＡ／Ｄ変換手段１０３でデジタル化された動き信号と補正用基準値決定手段１０４により算出された信号から画像の動きを補正する信号を決定する補正信号決定手段、１０７は決定された補正信号から実際に撮像装置の動きを補正する信号を発生する補正信号発生手段である。本説明においてはＡ／Ｄ変換手段１０３以降はマイコンを用いる事を想定しているが、必ずしも全てがマイコン上で実現される必要は無い。

以上のように構成された画像動き補正装置について図面を用いてその動作の一例を説明する。

ステップ５０１において、動き検出手段１０１にて検出した装置の物理的な揺れを検出し、入力信号増幅回路１０２で増幅した上で、Ａ／Ｄ変換手段１０３にてデジタル信号に変化する。

ステップ５０２では、演算手段１０５を用いて補正用基準値決定手段１０４によって決定された補正用基準値とＡ／Ｄ変換手段１０３の差分を取り、そのときの符号と差分を求める。

ステップ５０３では、ステップ５０２にて求めた差分値を用いてパンニング中であるか否かを判定する。

ステップ５０４では、ステップ５０３にて判定されたパンニング中であるか否かを検出する処理であり、パンニングが終了していなければそのままステップ５０６へと移行し、パンニングが終了していればステップ５０５にてパンニング終了タイマを初期化するとともにカウントを開始する。

ステップ５０６では、パンニング終了時からスタートされるパンニング終了タイマがカウント中であるかどうかの確認を行う。このタイマがカウント中であった場合にはステップ５０７に移行する。このとき、このタイマがカウント中ではなかった場合には図４の４０４区間（Ｔ１区間）に表されるような、従来例と同じ処理であるステップ５０９で行われる第１の補正用基準値更新処理が実施される。なお、この時の更新は第１の補正用基準値更新手段発生部１０８で示される更新手段にて行われる。また、この第１の補正用基準値更新手段は入力値の一定区間の加算平均値として計算される目標値に対して補正の基準値をこの目標値へ時間をかけて変化させる更新方法であり、装置を手持ちで保持しているときなど、基準値の急激な変化による補正画像の不連続な動きを抑制する必要がある際に適した特性を持つ補正用基準値更新方法である。

また、ステップ５０７ではパンニング終了タイマが補正用基準値更新方法判定条件１１１で示される補正用基準値更新処理条件を満足しているかどうかの確認を行う。このとき、この条件を満足していた場合には図４の４０５区間（Ｔ２区間）に表されるような、ステップ５０８で行われる第２の補正用基準値更新処理が実施される。なお、この時の更新は第２の補正用基準値更新手段発生部１０９で示される更新手段にて行われる。なお、この第２の補正用基準値更新手段は入力値の一定区間の加算平均値として計算される目標値をリセットし、補正用基準値、補正用基準値の目標値の再計算を行う更新方法であり、装置を意図的に大きく動かした直後に発生する補正用基準値のドリフトの軽減を行う際に適した特性を持つ補正用基準値更新方法である。

また、この条件を満足していなかった場合には図４の４０６区間（Ｔ１区間）に表されるような、従来例と同じ処理であるステップ５０９で行われる第１の補正用基準値更新処理が実施される。なお、この時の更新は第１の補正用基準値更新手段発生部１０８で示される更新手段にて行われる。

ステップ５１０においては、ステップ５０８またはステップ５０９にて決定された補正用基準値更新処理を行い、補正用基準値決定手段１０４で示される通り、補正用基準値を更新する。

以上の処理を元に、ステップ５１１にてＡ／Ｄ変換手段１０３、補正用基準値決定手段１０４からの出力を元に補正信号決定手段１０６にて補正信号の決定を行い、補正信号発生手段１０７の出力を元にステップ５１２にて撮像装置の動き補正を実現する。

本発明にかかる画像動き補正装置は、検出した動き信号から意図したパンニング動作のあとの補正用基準値の大幅なドリフトを軽減することによってパンニング終了時においても高精度にブレ補正を実施することができ、多様な撮影状況において自然な操作感を提供する用途に適用できる。

本発明の実施の形態１による画像動き補正装置を示すブロック図従来装置においての課題を説明する為の説明図従来課題となっていた処理を説明するための流れ図本発明を適用した際の効果を説明する為の説明図本発明の全体を説明する為の流れ図

符号の説明

１０１動き検出手段
１０２入力信号増幅回路
１０３Ａ／Ｄ変換手段
１０４補正用基準値決定手段
１０５演算手段
１０６補正信号決定手段
１０７補正信号発生手段
１０８第１の補正用基準値更新手段発生部
１０９第２の補正用基準値更新手段発生部
１１０切り替え手段
１１１補正用基準値更新方法判定条件
１１２切り替え条件判断手段

Claims

装置の物理的な動きを検出する動き検出手段と、
動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、
入力信号増幅回路によって増幅されたアナログ信号をデジタル信号にするＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段によって出力されたデジタル信号と前タイミングの補正用基準値との差分から算出される補正用基準値決定手段と、
前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力の差分と符号を算出する演算手段と、
前記Ａ／Ｄ変換手段の出力と前記補正用基準値決定手段の出力から撮像装置の動きを補正する信号を決定する補正信号決定手段と、
決定された補正信号を元に装置の動きを補正する為の信号を発生する補正信号発生手段と、前記補正用基準値決定手段の出力特性を変化させる第１の補正用基準値更新手段発生部と、前記補正基準値決定手段の出力特性を前記第１の補正条件とは異なる特性で変化させる第２の補正用基準値更新手段発生部と、
前記第１の補正条件と前記第２の補正条件の出力を選択可能な切り替え手段と、
撮像装置の意図したパンニング動作によって算出される補正用基準値更新方法判定条件と、前記演算手段により算出された前記補正用基準値決定手段の出力の差分、及び前記の補正用基準値更新方法判定条件の出力を元に前記切り替え手段を切り替える切り替え条件判断手段と、
を有し、
前記の補正用基準値更新方法判定条件の出力により前記補正基準値決定手段の特性を変化させる事を特徴とする画像動き補正装置。
補正信号発生信号の出力はレンズを制御し撮像撮像面に入射する光軸を変化させる事で、撮影画像の手振れ成分を補正することを特徴とする請求項１記載の画像動き補正装置。
補正信号発生信号の出力は撮像素子の駆動、画像メモリ制御により、撮影画像の出力位置を変化させる事で、撮影画像の手振れ成分を補正することを特徴とする請求項１記載の画像動き補正装置。
第１の補正用基準値更新条件は装置を手持ちで保持しているときなど、基準値の急激な変化による補正画像の不連続な動きを抑制する必要がある際に適した特性を持つ条件を発生する請求項１記載の画像動き補正装置。
第２の補正用基準値更新条件は装置を意図的に大きく動かした直後などに発生する、補正用基準値のドリフトを軽減する必要がある際に適した特性を持つ条件を発生する請求項１記載の画像動き補正装置。