JP2013138413A - 撮像装置 - Google Patents

Abstract

【課題】順次ラインを読み出す方式の撮像センサを用いた場合でも、手ブレ補正された画像を視聴したユーザが違和感を持つのを抑制可能な撮像装置を提供する。
【解決手段】デジタルビデオカメラ１００は、順次ラインを読み出すことにより被写体像を露光して、画像を生成するＣＭＯＳイメージセンサ１４０と、当該デジタルビデオカメラ１００のブレの角速度を検出するジャイロセンサ２５０と、検出された角速度が所定の角速度以下であるときは、検出された角速度を補正用角速度として決定し、検出された角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定するコントローラ１８０と、ＣＭＯＳイメージセンサ１４０で生成された画像に対して、コントローラ１８０で決定された補正用角速度に基づいて、ブレによる影響を軽減するための補正を画像処理により施す画像処理部１６０と、を備える。
【選択図】図２

Description

本開示は手ブレ補正機能を有する撮像装置に関する。

特許文献１は、電子カメラを開示する。この電子カメラは、撮像画像の一部を切り出した画像を示す画像データを記憶媒体に記録する。この電子カメラは、撮像画像の切り出し位置（切り出し範囲）を、手ブレによる撮像画像の回転を打ち消す方向に回転させる補正を行う。これにより、この電子カメラは、回転方向の手ブレの影響を低減した画像データを記憶媒体に記録できる。

特開２００２−９４８７７号公報

ＣＭＯＳセンサのような順次ラインを読み出す方式の撮像センサを用いた撮像装置に特許文献１に記載の補正技術を適用した場合、手ブレ補正された画像を視聴したユーザが違和感を持つことがある。

本開示は、順次ラインを読み出す方式の撮像センサを用いた場合でも、手ブレ補正された画像を視聴したユーザが違和感を持つのを抑制可能な撮像装置を提供する。

本開示にかかる撮像装置は、
順次ラインを読み出すことにより被写体像を露光して、画像を生成する撮像部と、
自装置のブレの角速度を検出する検出部と、
検出された角速度が所定の角速度以下であるときは、検出された角速度を補正用角速度として決定し、検出された角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定する角速度決定部と、
撮像部で生成された画像に対して、角速度決定部で決定された補正用角速度に基づいて、ブレによる影響を軽減するための補正を画像処理により施す補正部と、を備える。

本開示によれば、順次ラインを読み出す方式の撮像センサを用いた場合でも、ユーザに適切な補正画像を提示可能な撮像装置を提供することができる。

手ブレによるデジタルビデオカメラのブレの方向の種類を説明するための図 デジタルビデオカメラの電気的構成を示すブロック図 回転手ブレ補正を説明するための模式図 検出した角速度に基づく回転補正処理を説明するためのフローチャート 回転補正におけるクリップ角度を説明するための図 本開示による回転補正の効果を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

まず、順次ラインを読み出す方式の撮像センサを用いた撮像装置に特許文献１に記載の補正技術を適用した場合、手ブレ補正された画像を視聴したユーザが違和感を持つ理由について説明する。

順次ラインを読み出す方式の撮像センサにおいては、例えば上から下に順番にラインが読み出される。そのため、各ラインの読み出しタイミングに時間差が生じる。例えば、前述のように上から下に順番にラインが読み出される場合には、下側のラインほど読み出しタイミングが遅くなる。

このような撮像センサを有する撮像装置を用いて、動く被写体を撮影した場合、撮影された被写体が歪む。また、被写体が動いていなくても、手ブレ等により撮像装置が被写体に対して動く場合には、動く被写体を撮影した場合同様に、撮影された被写体が歪む。

手ブレによりこのように歪んで撮像された画像を、特許文献１に記載の手ブレ補正技術により完全に静止させた場合、撮像画像中の被写体の歪がユーザにより視認されやすくなり、手ブレ補正された画像を視聴したユーザが違和感を持つことがある。

そのため、本実施形態では、順次ラインを読み出す方式の撮像センサを用いた場合でも、手ブレ補正された画像を視聴したユーザが違和感を持つのを抑制可能な撮像装置を提供する。

以下、本開示の撮像装置について詳しく説明する。

１．実施の形態１
実施の形態１について図面を用いて説明する。

１−１．概要
図１は、デジタルビデオカメラにおける手ブレの方向の種類を説明するための模式図である。デジタルビデオカメラ１００は、動画像や静止画像を撮像可能である。デジタルビデオカメラ１００は、手ブレ補正機能を有する。手ブレ補正機能とは、ユーザの手の振れや揺れ等によるデジタルビデオカメラ１００の振れや揺れ（手ブレ）が撮像した上記動画像や静止画像に与える影響を低減する機能をいう。デジタルビデオカメラ１００は、図１に示すヨー方向、ピッチ方向、ロール方向の手ブレを補正できる。デジタルビデオカメラ１００は、ヨー方向の手ブレとピッチ方向の手ブレを光学的に補正する。また、デジタルビデオカメラ１００は、ロール方向の手ブレ（以下、適宜「回転手ブレ」という）を画像処理により電子的に補正する。

デジタルビデオカメラ１００は、ロール方向の補正を行う際、ジャイロセンサ（後述する）の検出した角速度（以下適宜、「検出角速度」という）に応じて回転角を決定し、この決定した回転角に基づいて撮像画像をロール方向に回転させる補正を施す。これにより、デジタルビデオカメラ１００は、より適切な回転手ブレ補正を行うことができる。

１−２．構成
本実施の形態にかかるデジタルビデオカメラ１００の電気的構成について図２を用いて説明する。図２は、デジタルビデオカメラ１００の構成を示すブロック図である。

デジタルビデオカメラ１００は、光学系１１０、レンズ駆動制御部１２０、ＣＭＯＳイメージセンサ１４０、Ａ／Ｄコンバータ１５０、画像処理部１６０、バッファ１７０、コントローラ１８０、カードスロット１９０、操作部材２１０、表示モニタ２２０、内部メモリ２４０、及びジャイロセンサ２５０を有する。

デジタルビデオカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズ１１１、手ブレ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸に沿って移動させることにより、被写体像のピントを調整することができる。また、手ブレ補正レンズ１１２は、光学系１１０の光軸に垂直な面内で移動可能である。デジタルビデオカメラ１００の手ブレを打ち消す方向に手ブレ補正レンズ１１２を移動させることで、デジタルビデオカメラ１００の手ブレが撮像画像に与える影響を低減できる。また、絞り１１４は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。

また、光学系１１０は、ズームレンズ１１１を駆動するズームアクチュエータや、手ブレ補正レンズ１１２を駆動する手ブレ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。

レンズ駆動制御部１２０は、光学系１１０に含まれる各種レンズ１１１、１１２、１１３及び絞り１１４の駆動を制御する。レンズ駆動制御部１２０は、例えば、光学系１１０に含まれるズームアクチュエータや、フォーカスアクチュエータや、手ブレ補正アクチュエータや、絞りアクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。例えば、ＣＭＯＳイメージセンサ１４０は、撮影モードとして動画撮影モードが設定されている場合、毎秒６０フレームの画像データを生成する。ＣＭＯＳイメージセンサ１４０は、順次ラインを読み出す方式のイメージセンサである。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。具体的に、ＣＭＯＳイメージセンサ１４０の各画素から出力されるアナログ画像データをそれぞれデジタル化して出力する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、Ａ／Ｄコンバータ１５０で変換された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、Ａ／Ｄコンバータ１５０で変換された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、Ａ／Ｄコンバータ１５０で変換された画像データに対して、回転補正を施す。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、Ａ／Ｄコンバータ１５０で変換された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

コントローラ１８０は、デジタルビデオカメラ全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。コントローラ１８０は、ジャイロセンサ２５０が検出した角速度に基づいて、画像処理部１６０に回転補正を施させるときに使用する補正角度を算出する。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースである。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等である。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

ジャイロセンサ２５０は、デジタルビデオカメラ１００の手ブレの角速度を検出するセンサである。ジャイロセンサ２５０は、図１に示すように、ヨー方向、ピッチ方向、ロール方向の角速度を検出できる。ジャイロセンサ２５０は、検出した角速度を、ＣＭＯＳイメージセンサ１４０が生成するフレームに対応させて出力する。例えば、ＣＭＯＳイメージセンサ１４０の撮像領域の中心のラインが読み出されるタイミングにおいてジャイロセンサ２５０により検出された角速度をそのフレームに対応する角速度として扱う。

１−３．補正動作
本実施の形態にかかるデジタルビデオカメラ１００は、デジタルビデオカメラ１００の手ブレがＣＭＯＳイメージセンサ１４０上に形成された像に与えた回転方向（ロール方向）の影響を低減させる回転手ブレ補正機能を有する。回転手ブレ補正の具体的な方法について、図３を用いて説明する。図３は、回転手ブレ補正を説明するための模式図である。図３（ａ）は、撮影者（ユーザ）と被写体との関係を説明するための図である。図３（ｂ）は、図３（ａ）の関係において撮影された画像を示す模式図である。

図３（ａ）に示すように、撮影者（ユーザ）が本来の撮影姿勢（デジタルビデオカメラ１００のＣＭＯＳイメージセンサ１４０のラインの延伸方向が水平方向と一致する姿勢）からデジタルビデオカメラ１００を反時計回り方向にθ度振れさせた状態で被写体を撮影したとする。この場合には、図３（ｂ）に示すように、被写体が中心Ｘを中心として時計回り方向にθ度回転した状態の画像が撮像される。この状態で、図３（ｂ）において実線Ａで示されるように水平方向を基準として時計回り方向にθ度傾いた位置を切り出し位置として画像データを切り出す。そうすると、回転方向において被写体が傾いていない画像データが切り出される。このような、回転方向の手ブレが低減された画像を生成する方法が回転手ブレ補正である。以下、デジタルビデオカメラ１００における回転手ブレ補正動作の詳細について説明する。なお、以下適宜、「回転手ブレ補正」を「回転補正」という。

１−３−１．検出角速度に基づく回転補正処理
本実施の形態にかかるデジタルビデオカメラ１００の検出角速度に基づく回転補正処理について、図４を用いて説明する。図４は、検出角速度に基づく回転補正処理を説明するためのフローチャートである。本例では、撮影モードを動画撮影モードに設定した場合における回転補正処理について説明する。

使用者は、操作部材２１０のうちのモード選択ダイヤルを操作することで、デジタルビデオカメラ１００を動画撮影モードに設定できる。撮影モードに設定されると（Ｓ２００）、ＣＭＯＳイメージセンサ１４０により被写体が撮像され、画像信号が生成される。ＣＭＯＳイメージセンサ１４０により生成された画像信号は、Ａ／Ｄコンバータ１５０によりデジタルの画像信号に変換され、画像処理部１６０により処理される。そして、画像処理部１６０により処理された画像信号に基づく画像がスルー画像として表示モニタ２２０に表示される。

撮影モードに設定されると、コントローラ１８０は、ジャイロセンサ２５０からロール方向の角速度情報を取得する（Ｓ２１０）。上述したように、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０の撮像領域の中心のラインが読み出されるタイミングにおいてジャイロセンサ２５０により検出された角速度をそのフレームにおける角速度として扱う。手ブレの状態は変化するので、検出される角速度は、ＣＭＯＳイメージセンサ１４０から出力されるフレームごとに異なることとなる。ロール方向の角速度を取得することにより、これに比例するロール方向の回転の周波数も得ることができる。

コントローラ１８０は、画像処理部１６０に回転補正を施させるのに先立って、回転補正を施す対象のフレームにおいて検出された角速度に対してクリップ処理（角速度決定処理）を施して、回転補正で利用する角速度を決定する（Ｓ２２０）。具体的に、コントローラ１８０は、検出した角速度が所定の角速度よりも小さい場合は、その検出した角速度を、回転補正で利用する角速度として決定する。一方、検出した角速度が所定の角速度よりも大きい場合は、検出した角速度に代えて所定の角速度を、回転補正で利用する角速度として決定する。上記の所定の角速度は、当該所定の角速度を１フレーム当たりの時間（例えば１／６０秒）で積分して得られる回転（ロール）の角度が、後述する図５のθβラインで示す値となるように設定される。上記の所定の角速度は、手ブレの周波数に応じた値で変化する値となる。なお、本実施形態において、所定の角速度でクリップ（制限する）することは、所定の角度でクリップすることでもある。そのため、この所定の角度を、以下適宜「所定のクリップ角度」という。

コントローラ１８０は、ステップＳ２２０において、回転補正で利用する角速度を決定すると、この決定した角速度を積分することで回転（ロール）の角度を算出する（Ｓ２３０）。例えば、ステップＳ２２０において決定された角速度を１フレーム当たりの時間で（例えば１／６０秒）積分することで、そのフレームにおける回転（ロール）の角度を算出する。角度を算出すると、コントローラ１８０は、算出した角度に基づいて、切り出し位置（切り出し範囲）を、画像中心Ｘを中心として回転させ、回転させた位置の画像を切り出す（Ｓ２４０）。その後、デジタルビデオカメラ１００は、切り出した画像データをメモリカード２００に記録する。デジタルビデオカメラ１００は、ステップＳ２１０〜ステップＳ２４０までの処理を映像信号の更新頻度に合わせて繰り返す。なお、デジタルビデオカメラ１００は、毎秒６０フレームで映像信号を更新するので、ステップＳ２１０〜ステップＳ２４０の処理も毎秒６０フレームで実行する。

ここで、図５を用いて、本実施の形態のデジタルビデオカメラ１００のクリップ処理の詳細を説明する。図５は、回転補正におけるクリップ角度を説明するための図である。

図５に示すグラフの縦軸は、ジャイロセンサ２５０の検出角速度を積分した角度を示す。一方、図５に示すグラフの横軸は、ジャイロセンサ２５０の検出した角速度に対応する周波数を示す。

図５に示すθαラインは、ジャイロセンサ２５０の性能に基づいて定まるラインである。θαラインは、ジャイロセンサ２５０で正常に検出可能な角度の最大値を示す。

図５に示すθβラインは、クリップの閾値を示すラインである。θβラインは、ユーザが歩きながらデジタルビデオカメラ１００を把持して撮影した場合に、適切な回転補正が施されるよう設計されている。例えば、図５において、周波数０〜３Ｈｚ、角度０〜θβ３（例えば１．５度）の領域における手ブレが、人が歩きながらデジタルビデオカメラ１００を把持して撮影した場合に主に生じる手ブレであるとする。θβラインは、周波数０〜３Ｈｚ、角度０〜θβ３（例えば１．５度）の領域の回転手ブレを回転補正により完全にキャンセルできるように設計されている。

図５に示すＡ領域（θβラインよりも下の領域。例えば、周波数７Ｈｚにおいて角度０〜θβ７の領域）は、回転補正しても画像中の被写体の歪みが目立たない領域である。また、図５に示すＢ領域（θαラインとθβラインの間の領域。例えば、周波数７Ｈｚにおいて角度θβ７〜θα７の領域）は、回転補正可能であるが、回転補正すると画像中の被写体の歪みが目立つ領域である。そして、図５に示すＣ領域（θαラインよりも上の領域。例えば、周波数７Ｈｚにおいて角度θα７以上の領域）は、ジャイロセンサ２５０が角速度を精度よく検出できない、または全く検出できない領域である。

コントローラ１８０は、θβラインに基づいてクリップ処理を行う。具体的に、コントローラ１８０は、ジャイロセンサ２５０が検出した角速度に基づく角度がＢ領域またはＣ領域（θβラインよりも上の領域）にあるときは、当該角速度に基づく角度に代えて、θβラインが示す角度を、手ブレ補正処理に用いる角度として設定する。

ＣＭＯＳイメージセンサ１４０は、上述のとおり、順次ライン読み出し式のイメージセンサである。そのため、ラインごとに読み出し時間（読み出しタイミング）に差が生じる。一方、ジャイロセンサ２５０が検出している角速度も時間において一定ではなく、随時変化している。従って、ＣＭＯＳイメージセンサ１４０が出力するラインごとに、検出される角速度（すなわち回転手ブレ成分を示す値）が異なる。

ここで、ジャイロセンサ２５０が検出した角速度に基づいて求めた角度（以下適宜、「角速度に基づく角度」という）が、周波数７Ｈｚにおいて、θα７より大きい角度であったとする。すなわち、ジャイロセンサ２５０が検出した角速度に基づく角度が領域Ｃに含まれているとする。この場合、ジャイロセンサ２５０により正常に検出可能な最大角度はθα７であるため、コントローラ１８０は、実際の回転手ブレの角度がθα７より大きい角度であったとしても、θα７として検出する。この場合にもし、画像処理部１６０において、撮像画像に対してθα７で回転補正を施したとする。この場合、実際はθα７より大きい角度の回転手ブレが存在するため、回転補正しきれず、補正した画像はぶれた画像となる。

また、ここで、ジャイロセンサ２５０が検出した角速度に基づく角度が、周波数７Ｈｚにおいて、θβ７より大きくθα７より小さい角度であったとする。すなわち、ジャイロセンサ２５０が検出した角速度に基づく角度が領域Ｂに含まれているとする。このとき、ジャイロセンサ２５０により正常に検出可能な角度はθα７以下であるため、コントローラ１８０は実際の回転手ブレ角度を検出できる。この場合にもし、コントローラ１８０においてクリップ処理を施さずに、画像処理部１６０において、検出した回転手ブレ角度でそのまま回転補正を施したとする。このとき、実際には回転手ブレが発生していても、画像処理部１６０によりこの回転手ブレはキャンセルされる。そのため、表示モニタ２２０には回転手ブレがほとんど存在しない画像が表示される。しかしながら、上述したように、順次ライン読み出し式のイメージセンサでは、ＣＭＯＳイメージセンサ１４０が出力するラインごとに、検出される角速度が異なる。すなわち、ラインごとに回転手ブレ成分が異なる。そのため、表示モニタ２２０に表示される画像は、この回転補正により被写体の歪みが明確に視認されてしまうような画像となる。

そこで、本実施の形態にかかるデジタルビデオカメラ１００においては、ジャイロセンサ２５０が検出した角速度に基づく角度が、周波数７Ｈｚにおいて、θβ７より大きくθα７より小さい角度の範囲である場合、すなわち領域Ｂに含まれる場合、θβ７（周波数７Ｈｚの場合）にクリップする。これにより、画像処理部１６０は、実際にはθβ７よりも大きい回転手ブレが生じていても、撮像画像に対してθβ７で回転補正を施す。この補正により、回転手ブレはある程度軽減される。つまり、θβ７より大きい部分の回転手ブレ成分が残された状態となる。表示モニタ２２０には、残った回転手ブレ成分に起因して、やや回転手ブレが存在する画像が表示される。これにより、表示モニタ２２０に表示される画像をユーザが視聴したときに、画像における被写体の歪みが視認されにくくなる。つまり、上述のような回転補正により被写体の歪みを目立ちにくくすることができる。

また、ここで、ジャイロセンサ２５０が検出した角速度に基づく角度が、周波数７Ｈｚにおいて、０〜θβ７の間の角度であったとする。すなわち、ジャイロセンサ２５０が検出した角速度に基づく角度が領域Ａに含まれているとする。このときは、実際の回転手ブレの角度が、クリップ角度以下であるため、画像処理部１６０は、ジャイロセンサ２５０が検出した実際の角度に基づいて、撮像画像に対して回転補正を施す。領域Ａでは、実際には回転手ブレがわずかに発生しているが、画像処理部１６０によりこの回転手ブレはキャンセルされる。そのため、表示モニタ２２０には回転手ブレがほとんど存在しない画像が表示される。また、領域Ａでは、回転手ブレ角度は小さいため、画像処理部１６０により回転手ブレがキャンセルされた画像が表示モニタ２２０に表示されたとしても、被写体の歪みは目立たない。

図６は、本開示による回転補正の効果を説明するための図である。具体的に、図６（ａ）は、回転補正を行わない場合における画像の回転手ブレを示す図である。なお、この画像は、直線状の棒状の被写体を撮影した場合を示す。図６（ａ）に示すように、比較的大きな回転手ブレが発生した場合、本来矩形である画像Ｐが、矢印Ｑで示すように、変形するだけでなく大きな角度で回転手ブレを起こす。その結果、本来は直線状の被写体が、矢印Ｏで示すように、大きく変形するだけでなく大きな角度で回転手ブレを起こす。しかし、画像全体として回転手ブレが大きいので、画像内容の認識自体が困難となっている。

図６（ｂ）は、検出した回転角速度に基づいて画像を回転させる回転補正を行った場合の画像のイメージを示す図である。図６（ｂ）に示すように、検出した角速度に基づく角度で画像を回転させる回転補正を行った場合、画像全体の回転手ブレが大きく抑制される。そのため、画像そのものが矢印Ｑ′で示すように大きく変形し、かつ画像Ｐに含まれる被写体が矢印Ｏ′で示すように大きく変形していることが、ユーザにより明瞭に認識可能となる。そのため、ユーザが違和感をいだく場合がある。

図６（ｃ）は、本開示の回転補正を行った場合における画像の状態を示す図である。図６（ｂ）に示すように、クリップした角速度に基づく角度で画像を回転させる回転補正を行う。つまりジャイロセンサ２５０が検出した角速度に基づく角度に基づく角度よりも小さな角度で、回転補正しても回転手ブレが若干残存するように、回転補正を行う。これにより、矢印Ｑ″で示すように、画像の回転手ブレの角度が小さくなり、画像の内容を認識しやすくなる。このとき、画像の回転手ブレが残存しているため、画像に含まれる被写体も矢印Ｏ″で示すように若干回転手ブレを起こしている。そのため、被写体が大きく変形していることが、認識しにくくなる。これにより、ユーザが違和感を抱くのが軽減される。

１−４．効果等
以上のように、本実施の形態において、デジタルビデオカメラ１００は、
順次ラインを読み出すことにより被写体像を露光して、画像を生成するＣＭＯＳイメージセンサ１４０（撮像部）と、
当該デジタルビデオカメラ１００のブレの角速度を検出するジャイロセンサ２５０（検出部）と、
検出された角速度が所定の角速度以下であるときは、検出された角速度を補正用角速度として決定し、検出された角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定するコントローラ１８０（角速度決定部）と、
ＣＭＯＳイメージセンサ１４０で生成された画像に対して、コントローラ１８０で決定された補正用角速度に基づいて、ブレによる影響を軽減するための補正を画像処理により施す画像処理部１６０（補正部）と、を備える。

これにより、検出された角速度が所定の角速度よりも大きい場合は、所定の角速度に基づいて、ＣＭＯＳイメージセンサ１４０で生成された画像に対して、ブレによる影響を軽減するための補正が行われる。この補正された画像には、手ブレによるブレが若干残存する。そのため、撮像画像中の被写体の歪みがユーザにより視認されにくくなる。そのため、手ブレ補正された画像を視聴したユーザが違和感を持つのを抑制することができる。

また、本実施の形態において、
ジャイロセンサ２５０は、デジタルビデオカメラ１００のブレとしてデジタルビデオカメラ１００の光軸を中心とするロール方向のブレの角速度を検出し、
コントローラ１８０は、検出されたロール方向のブレの角速度が所定の角速度以下であるときは、検出されたロール方向のブレの角速度を補正用角速度として決定し、検出されたロール方向のブレの角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定し、
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像に対して、コントローラ１８０で決定された補正用角速度に基づいて、画像を光軸を中心として回転させる回転補正を施す。

これにより、ロール方向のブレに対する補正において、前述の効果が得られる。

また、本実施の形態において、デジタルビデオカメラ１００は、
コントローラ１８０で決定された補正用角速度に基づいて回転補正を行うときの回転角を決定する回転角決定部（コントローラ１８０）をさらに備え、
画像処理部１６０は、回転角決定部で決定された回転角に基づいて、画像を光軸を中心として回転させる回転補正を施す。

これにより、コントローラ１８０で決定された回転角に基づいて、画像を光軸を中心として回転させる回転補正を施すことができる。

また、本実施の形態において、
検出部は、ジャイロセンサ２５０である。

これにより、ブレの角速度を精度よく検出することができる。

また、本実施の形態において、
ＣＭＯＳイメージセンサ１４０で生成された画像は動画像である。

これにより、ＣＭＯＳイメージセンサ１４０で生成された画像が動画像である場合において、上述した手ブレ補正による効果が行われる。つまり、本補正によれば、検出された角速度が所定の角速度よりも大きい場合、被写体のブレが若干残存することとなる。そのため、撮像画像中の被写体の歪みがユーザにより一層視認されにくくなる。したがって、ブレ補正された画像を視聴したユーザが違和感を持つのを一層抑制することができる。つまり、本実施形態は、ＣＭＯＳイメージセンサ１４０で生成された画像が動画像である場合に特に大きな効果が得られる。

２．他の実施の形態
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像手段はこれに限定されない。例えば、撮像手段を、ＮＭＯＳイメージセンサなど、順次ライン読み出し式のイメージセンサで構成してもよい。

また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。

また、デジタルビデオカメラ１００は、ステップＳ２１０〜ステップＳ２４０までの処理を毎秒６０フレームで実行した。しかしながら、必ずしもこのような構成である必要はない。例えば、ステップＳ２２０、ステップＳ２４０の処理を映像信号の更新頻度と同等の頻度で実行し、ステップＳ２１０、ステップＳ２３０の処理をジャイロセンサ２５０の検出頻度（例えば、４ｋＨＺ）で実行するような構成であってもよい。

また、デジタルビデオカメラ１００は、ロール方向の手ブレの角速度を検出して、ロール方向の手ブレによる影響が抑制されるように回転補正を行う。また、ヨー方向の手ブレとピッチ方向の手ブレに関しては、光学的に補正を行う。しかしながら、これに限らない。例えば、デジタルビデオカメラ１００は、ヨー方向の手ブレの角速度を検出して、ヨー方向の手ブレによる影響が抑制されるように回転補正を行ってもよい。

具体的に、以下のように構成する。
ジャイロセンサ２５０は、デジタルビデオカメラ１００のブレとしてヨー方向のブレの角速度を検出し、
コントローラ１８０は、検出されたヨー方向のブレの角速度が所定の角速度以下であるときは、検出されたヨー方向のブレの角速度を補正用角速度として決定し、検出されたヨー方向のブレの角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定し、
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像に対して、コントローラ１８０で決定された補正用角速度に基づいて、画像をヨー方向に移動させる移動補正を施す。

これにより、ヨー方向のブレに対する補正において、ロール方向のブレに対する補正における効果と同様の効果が得られる。また、この場合、ヨー方向のブレに対する光学的な手ブレ補正機構を不要とすることができうる。

また、本態様において、以下のように構成してもよい。すなわち、デジタルビデオカメラ１００は、
コントローラ１８０で決定された補正用角速度に基づいて移動補正を行うときの移動量を決定する移動量決定部（コントローラ１８０）をさらに備え、
画像処理部１６０は、移動量決定部で決定された移動量に基づいて、画像をヨー方向に移動させる移動補正を施す。

これにより、移動量決定部（コントローラ１８０）で決定された移動量に基づいて、画像をヨー方向に移動させる移動補正を施すことができる。

また、デジタルビデオカメラ１００は、ピッチ方向の手ブレの角速度を検出して、ピッチ方向の手ブレによる影響が抑制されるように回転補正を行ってもよい。

具体的に、以下のように構成する。
ジャイロセンサ２５０は、デジタルビデオカメラ１００のブレとしてピッチ方向のブレの角速度を検出し、
コントローラ１８０は、検出されたピッチ方向のブレの角速度が所定の角速度以下であるときは、検出されたピッチ方向のブレの角速度を補正用角速度として決定し、検出されたピッチ方向のブレの角速度が所定の角速度よりも大きいときは、所定の角速度を補正用角速度として決定し、
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像に対して、コントローラ１８０で決定された補正用角速度に基づいて、画像をピッチ方向に移動させる移動補正を施す。

これにより、ピッチ方向のブレに対する補正において、ロール方向のブレに対する補正における効果と同様の効果が得られる。また、この場合、ピッチ方向のブレに対する光学的な手ブレ補正機構を不要とすることができうる。

また、本態様において、
コントローラ１８０で決定された補正用角速度に基づいて移動補正を行うときの移動量を決定する移動量決定部（コントローラ１８０）をさらに備え、
画像処理部１６０は、コントローラ１８０で決定された補正用角速度に基づいて移動量決定部で決定された移動量に基づいて、画像をピッチ方向に移動させる移動補正を施す。

これにより、移動量決定部（コントローラ１８０）で決定された移動量に基づいて、画像をヨー方向に移動させる移動補正を施すことができる。

また、デジタルビデオカメラ１００は、ロール方向の手ブレの角速度、ヨー方向の手ブレの角速度、及びピッチ方向の手ブレの角速度のうち少なくとも一方向の角速度に関する情報を検出し、対応する方向の手ブレによる影響が抑制されるように補正を行ってもよい。

なお、上述のように、ロー方向及びピッチ方向の手ブレを補正する場合、図４における特性は、θαライン及びθβラインが角度軸方向に移動したものとなる。

実施形態１において、デジタルビデオカメラ１００は、手ブレの角速度を、ジャイロセンサ２５０により検出する。しかしながら、これに限らない。例えば、撮像画像に基づいて算出できる回転方向の動きベクトル情報等を用いて検出してもよい。要するに、デジタルビデオカメラ１００の手ブレがＣＭＯＳイメージセンサ１４０上に結像される像に与えた回転方向の影響を検出できればよい。

具体的に、
ブレの角速度の検出部は、
ＣＭＯＳイメージセンサ１４０で生成された画像の動きベクトルを検出する動きベクトル検出部を含み、
動きベクトル検出部で検出した動きベクトルに基づいてデジタルビデオカメラ１００のブレの角速度を検出する。

これにより、ジャイロセンサ等を設けることなく、ブレに対する補正を行うことができる。つまり、デジタルビデオカメラ１００の構成を簡素化することができる。なお、この構成によれば、ロール方向、ヨー方向、ピッチ方向のいずれのブレも検出することができる。

また、上記各実施形態では、画像処理部１６０（補正部）は、ＣＭＯＳイメージセンサ１４０（撮像部）で生成された画像に対して、コントローラ１８０（角速度決定部）で決定された補正用角速度に基づいて、手ブレによる影響を軽減するための補正を画像処理により施す。しかしながら、これに限らない。例えば、コントローラ１８０（角速度決定部）で決定された補正用角速度に基づいて、手ブレによる影響が軽減されるように、手ブレ補正レンズ１１２を駆動してもよい。この場合においても、前記各実施形態と同様の効果が得られる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。

１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動制御部
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２４０ 内部メモリ
２５０ ジャイロセンサ

Claims (10)

1. 順次ラインを読み出すことにより被写体像を露光して、画像を生成する撮像部と、
   自装置のブレの角速度を検出する検出部と、
   前記検出された角速度が所定の角速度以下であるときは、前記検出された角速度を補正用角速度として決定し、前記検出された角速度が所定の角速度よりも大きいときは、前記所定の角速度を補正用角速度として決定する角速度決定部と、
   前記撮像部で生成された画像に対して、前記角速度決定部で決定された補正用角速度に基づいて、前記ブレによる影響を軽減するための補正を画像処理により施す補正部と、を備える、
   撮像装置。
2. 前記検出部は、自装置のブレの角速度として自装置の光軸を中心とするロール方向のブレの角速度を検出し、
   前記角速度決定部は、前記検出されたロール方向のブレの角速度が所定の角速度以下であるときは、前記検出されたロール方向のブレの角速度を補正用角速度として決定し、前記検出されたロール方向のブレの角速度が所定の角速度よりも大きいときは、前記所定の角速度を補正用角速度として決定し、
   前記補正部は、前記撮像部で生成された画像に対して、前記角速度決定部で決定された補正用角速度に基づいて、前記画像を前記光軸を中心として回転させる回転補正を施す、
   請求項１に記載の撮像装置。
3. 前記角速度決定部で決定された補正用角速度に基づいて前記回転補正を行うときの回転角を決定する回転角決定部をさらに備え、
   前記補正部は、前記回転角決定部で決定された回転角に基づいて、前記画像を前記光軸を中心として回転させる回転補正を施す、
   請求項２に記載の撮像装置。
4. 前記検出部は、自装置のブレの角速度としてヨー方向のブレの角速度を検出し、
   前記角速度決定部は、前記検出されたヨー方向のブレの角速度が所定の角速度以下であるときは、前記検出されたヨー方向のブレの角速度を補正用角速度として決定し、前記検出されたヨー方向のブレの角速度が所定の角速度よりも大きいときは、前記所定の角速度を補正用角速度として決定し、
   前記補正部は、前記撮像部で生成された画像に対して、前記角速度決定部で決定された補正用角速度に基づいて、前記画像をヨー方向に移動させる移動補正を施す、
   請求項１に記載の撮像装置。
5. 前記角速度決定部で決定された補正用角速度に基づいて前記移動補正を行うときの移動量を決定する移動量決定部をさらに備え、
   前記補正部は、前記移動量決定部で決定された移動量に基づいて、前記画像をヨー方向に移動させる移動補正を施す、
   請求項４に記載の撮像装置。
6. 前記検出部は、自装置のブレの角速度としてピッチ方向のブレの角速度を検出し、
   前記角速度決定部は、前記検出されたピッチ方向のブレの角速度が所定の角速度以下であるときは、前記検出されたピッチ方向のブレの角速度を補正用角速度として決定し、前記検出されたピッチ方向のブレの角速度が所定の角速度よりも大きいときは、前記所定の角速度を補正用角速度として決定し、
   前記補正部は、前記撮像部で生成された画像に対して、前記角速度決定部で決定された補正用角速度に基づいて、前記画像をピッチ方向に移動させる移動補正を施す、
   請求項１に記載の撮像装置。
7. 前記角速度決定部で決定された補正用角速度に基づいて前記移動補正を行うときの移動量を決定する移動量決定部をさらに備え、
   前記補正部は、前記移動量算出部で決定された移動量に基づいて、前記画像をピッチ方向に移動させる移動補正を施す、
   請求項６に記載の撮像装置。
8. 前記検出部は、ジャイロセンサである、
   請求項１から７のいずれか１項に記載の撮像装置。
9. 前記検出部は、
   前記撮像部で生成された画像の動きベクトルを検出する動きベクトル検出部を含み、
   前記動きベクトル検出部で検出した動きベクトルに基づいて自装置のブレの角速度を検出する、
   請求項１に記載の撮像装置。
10. 前記撮像部で生成された画像は動画像である、
    請求項１から９のいずれか１項に記載の撮像装置。

Images