JP6098874B2 - 撮像装置および画像処理装置 - Google Patents

Description

本開示は撮像装置および画像処理装置に関する。

特許文献１は、電子カメラを開示する。この電子カメラは、撮像によって取得した画像（以下、「撮像画像」と呼ぶことがある。）から一部を抽出することによって得られる画像を示す画像データを記憶媒体に記録する。この電子カメラは、撮像画像から抽出する画像領域の座標を、画像の傾きを打ち消す方向に回転させることによって画像を補正する。

特開２００２−９４８７７号公報

本開示は、より適切な傾き補正を行う撮像装置および画像処理装置を提供する。

本開示における撮像装置は、撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、前記加速度検出部によって検出された前記加速度の絶対値と、予め設定された基準値との差分が、予め設定された閾値よりも大きいとき、前記角速度検出部の検出結果に基づいて前記画像の回転角度を決定するコントローラとを備える。

本開示における画像処理装置は、撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部とを備える撮像装置から出力された信号を処理する。画像処理装置は、画像を示す情報、加速度検出部によって検出された加速度を示す情報、および角速度検出部によって検出された角速度を示す情報を取得するインターフェースと、加速度検出部によって検出された加速度の絶対値と、予め設定された基準値との差分が、予め設定された閾値よりも大きいとき、角速度検出部の検出結果に基づいて前記画像の回転角度を決定するコントローラとを備える。

本開示における他の装置は、加速度の大きさと方向とを検出する第１の検出部と、自機の姿勢の変化を検出する第２の検出部と、前記第１の検出部の検出結果が示す加速度の方向に基づいて、自機の姿勢を特定する第１モード、または、前記第２の検出部の検出結果に基づいて、自機の姿勢の変化を追跡することによって、自機の姿勢を特定する第２モードのいずれかで動作するコントローラとを備える。コントローラは、前記第１の検出部の検出結果が示す加速度の大きさが、重力加速度の大きさを基準として定まる所定の範囲内にある場合に、前記第１モードで動作し、前記第１の検出部の検出結果が示す加速度の大きさが、前記所定の範囲内にない場合に、前記第２モードで動作する。

本開示の技術によれば、より適切な傾き補正を行う撮像装置および画像処理装置を提供できる。

デジタルビデオカメラ１００の電気的構成を示すブロック図 加速度センサと角速度センサの検出軸のイメージを示す図 加速度センサによる誤検出を説明するための図 傾き補正の根拠とする加速度センサの出力結果の妥当性を判断する動作を示すフローチャート 角速度センサの出力に基づく傾き量、加速度センサの出力に基づく傾き量、３軸の合算値と重力加速度との差分との関係を説明するための図 画像の傾きを補正する処理のイメージを示す図 他の実施の形態におけるシステムの構成を示す図 他の実施の形態における動作を示すフローチャート 他の実施の形態における装置の構成を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
本開示の技術をデジタルビデオカメラに適用した実施の形態１について図面を参照して説明する。以下の説明において、画像を示す信号またはデータを単に「画像」と称することがある。また、デジタルビデオカメラの横方向を「水平方向」、縦方向を「鉛直（垂直）方向」と呼ぶことがある。

［１−１．概要］
本実施の形態のデジタルビデオカメラ１００は、傾き補正機能および回転ブレ補正機能を有する。傾き補正機能とは、撮影時の自装置の水平な姿勢からの傾きが撮像画像に与える傾きを補正する機能である。デジタルビデオカメラ１００は、加速度を検出する加速度センサ（加速度検出部）２６０の出力に基づいて、自装置の鉛直方向が重力加速度方向に対してどの程度傾いているかを算出し、撮像画像の傾きを打ち消す方向に画像の座標を回転させることにより、画像の傾きを電子的に補正する機能を備えている。一方、回転ブレ補正機能とは、撮影時の自装置の振れが撮像画像に与える影響を低減する機能のことである。デジタルビデオカメラ１００は、角速度センサ（角速度検出部）２５０の出力に基づいて、撮像画像から切り出す画像の座標を、ロール方向（カメラの前後方向を軸方向とする回転の方向）の手振れを打ち消す方向に回転させることにより、画像の回転ブレを電子的に補正する機能を備えている。

以下、デジタルビデオカメラ１００の具体的な構成および動作を説明する。

［１−２．構成］
本実施の形態にかかるデジタルビデオカメラ１００の構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図であり、構成要素間の電気的な接続関係を示している。デジタルビデオカメラ１００は、撮像部２７０、画像処理部１６０、バッファ１７０、コントローラ１８０、カードスロット１９０、メモリカード２００、操作部２１０、表示モニタ２２０、内部メモリ２４０、角速度センサ２５０、加速度センサ２６０を備えている。撮像部２７０は、光学系１１０、レンズ駆動部１２０、ＣＭＯＳイメージセンサ１４０、およびＡ／Ｄコンバータ（ＡＤＣ）１５０を有している。

デジタルビデオカメラ１００は、１又は複数のレンズを有する光学系１１０によって形成された被写体像をＣＭＯＳイメージセンサ１４０によって電気信号に変換（撮像）する。ＣＭＯＳイメージセンサ１４０で生成された電気信号は、画像処理部１６０で各種の処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成要素をより詳細に説明する。

光学系１１０は、ズームレンズ、手振れ補正レンズ、フォーカスレンズ、絞り等を有する。ズームレンズを光軸に沿って移動させることにより、ＣＭＯＳイメージセンサ１４０の撮像面上に形成される被写体像を拡大および縮小させることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。手振れ補正レンズは、光学系１１０の光軸に垂直な面内で移動できるように構成されている。デジタルビデオカメラ１００の振れを打ち消す方向に手振れ補正レンズを移動させることにより、デジタルビデオカメラ１００の振れが撮像画像に与える影響を低減できる。絞りは、使用者の設定に応じて、または自動で、開口部の大きさを調整し、透過する光の量を調整する。図１では、一例として３つのレンズが描かれているが、レンズの数はこの例に限定されず、要求される機能および性能に応じて好適に決定される。

光学系１１０は、さらにズームレンズを駆動するズームアクチュエータ、手振れ補正レンズを駆動する手振れ補正アクチュエータ、フォーカスレンズを駆動するフォーカスアクチュエータ、および絞りを駆動する絞りアクチュエータを含んでいてもよい。

レンズ駆動部１２０は、光学系１１０に含まれる各種のレンズ及び絞りを駆動する。レンズ駆動部１２０は、例えば、光学系１１０に含まれ得るズームアクチュエータ、フォーカスアクチュエータ、手振れ補正アクチュエータ、および絞りアクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０によって形成された被写体像を電気信号に変換して、アナログの画像データを生成する。ＣＭＯＳイメージセンサ１４０は、例えば露光、転送、電子シャッタなどの各種の動作を行う。なお、ＣＭＯＳイメージセンサ１４０の代わりにＣＣＤイメージセンサやＮＭＯＳイメージセンサのような他の種類のイメージセンサを用いてもよい。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する回路である。Ａ／Ｄコンバータ１５０の出力は画像処理部１６０に送られる。

光学系１１０、ＣＭＯＳイメージセンサ１４０、およびＡ／Ｄコンバータ１５０を含む複数の要素は、撮像部２７０を構成している。撮像部２７０は、撮像によって時間的に連続する複数のフレームを含むデジタル画像データを順次生成して出力する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種の処理を施す回路である。画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）やマイクロコントローラ(マイコン)によって実現され得る。画像処理部１６０は、表示モニタ２２０に表示するための画像データや、メモリカード２００に格納するための画像データを生成する。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種の処理を行う。また、画像処理部１６０は、撮像部２７０から出力された画像データを、例えばＨ．２６４規格やＭＰＥＧ２規格などの所定の規格に準拠した形式に圧縮する。

画像処理部１６０は、画像データに対して座標回転処理を施すことにより、撮影中の自装置の傾きや回転ブレがＣＭＯＳイメージセンサ１４０の撮像面上に形成される像に及ぼす回転方向（ロール方向）の傾きを低減できる。例えば、被写体を撮影しているときに、撮影者の手振れによってデジタルビデオカメラ１００が反時計回りにθ°回転したり、撮影者が初めからデジタルビデオカメラ１００を基準の姿勢から反時計回りにθ°だけ傾けた状態で撮影したとする。この場合、画像処理部１６０による傾きおよび回転ブレ補正機能により、画像全体が時計回りにθ°だけ回転した補正された画像が生成される。このとき、画像処理部１６０は、画像データの座標を時計回りにθ°だけ回転させた上で適切な範囲の画像データを切り出す。そうすることにより、回転方向に被写体が傾いていない画像データが切り出される。このように、画像処理部１６０は、回転方向の振れが低減された画像を生成する。

コントローラ１８０は、デジタルビデオカメラ全体を制御するプロセッサである。コントローラ１８０は、例えばマイコンなどの半導体集積回路によって実現可能である。コントローラ１８０は、中央演算処理装置（ＣＰＵ）とプログラム（ソフトウェア）との組み合わせにより、好適に実現され得る。あるいは、専用のハードウェアのみでコントローラ１８０を構成してもよい。コントローラ１８０は、例えば、６０ｆｐｓの垂直同期信号を生成する。角速度センサ２５０および加速度センサ２６０の出力に基づく傾き補正量の演算処理は、垂直同期信号の周期内で行なわれる。これにより、画像の傾きが適切に補正された画像を得ることができる。なお、垂直同期信号期間は、６０ｆｐｓに限らず、他の値に設定されていてもよい。

図１では、画像処理部１６０とコントローラ１８０とが分離して描かれているが、両者は物理的に統合された１つの集積回路によって実現されていてもよい。すなわち、画像処理部１６０およびコントローラ１８０は、別々の半導体チップで構成されている必要はなく、１つの半導体チップで構成されていてもよい。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納することが可能である。なお、図１に示されているメモリカード２００は、デジタルビデオカメラ１００の構成要素ではなく、外部の要素である。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成され得る。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。

表示モニタ２２０は、例えば液晶や有機ＥＬによって実現され得るディスプレイである。表示モニタ２２０は、撮像部２７０から出力され、画像処理部１６０によって処理された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

本実施の形態におけるデジタルビデオカメラ１００は、上述のように、加速度センサ２６０および角速度センサ２５０を備えている。以下、図２を参照して、加速度センサ２６０および角速度センサ２５０の検出軸を説明する。図２は、加速度センサ２６０および角速度センサ２５０の検出軸のイメージを示す図である。

加速度センサ２６０は、重力加速度方向に対するデジタルビデオカメラ１００の鉛直方向の傾きを検出するセンサである。加速度センサ２６０は、例えば、静電容量型、ピエゾ抵抗型、熱検知型といった半導体式加速度センサを用いることができる。加速度センサ２６０は、半導体式に限らず、光学式や機械式のセンサでもよい。

図２（ａ）に示すように、本実施の形態における加速度センサ２６０は、デジタルビデオカメラ１００の光軸方向（Ｚ軸方向）の加速度成分を検出するセンサと、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の水平方向（Ｘ軸方向）の加速度成分を検出するセンサと、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の鉛直方向（Ｙ軸方向）の加速度成分を検出するセンサとを備えている。本明細書では、これらのセンサを総称して「加速度センサ２６０」と呼ぶことにする。Ｘ軸、Ｙ軸、Ｚ軸は、デジタルビデオカメラ１００に固定されているため、各軸方向の加速度成分の検出結果はデジタルビデオカメラ１００の姿勢に応じて変化する。

加速度センサ２６０が検出したＸ軸方向、Ｙ軸方向、Ｚ軸方向の加速度に関する情報はコントローラ１８０に通知される。コントローラ１８０は、加速度センサ２６０のＸ軸方向の出力信号、Ｙ軸方向の出力信号、Ｚ軸方向の出力信号を解析することにより、デジタルビデオカメラ１００の傾きを補正するための第１の補正量（第１の補正角度）を算出することができる。ここで、検出されたＸ方向の加速度成分の値を「Ｘ」、Ｙ方向の加速度成分の値を「Ｙ」、Ｚ方向の加速度成分の値を「Ｚ」で表すとすると、デジタルビデオカメラ１００の重力加速度方向に対するＹ軸の傾き角度「θ」は、次の式で算出することができる。

例えば、図２（ｂ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、重力加速度の大きさを１Ｇ（約９．８０７ｍ／ｓ²）として、Ｘ＝Ｙ＝０．７０７Ｇ、Ｚ＝０であったとする。これは、デジタルビデオカメラ１００がロール（Ｒ）方向以外の方向に傾いていない状況を表している。このとき、コントローラ１８０は、式（１）に基づき、θ＝４５°という演算結果を得る。また、図２（ｃ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、Ｘ＝０．５００Ｇ、Ｙ＝０．８６６Ｇ、Ｚ＝０であった場合を考える。このとき、コントローラ１８０は、式（１）に基づき、θ＝３０°という演算結果を得る。上記以外の場合でも、コントローラ１８０は、式（１）に基づいて傾き角度θを算出することができる。

角速度センサ２５０は、デジタルビデオカメラ１００の角速度を検出するセンサである。角速度センサ２５０は、例えば振動式のジャイロセンサであり得る。角速度センサ２５０は、回転する振動子に働くコリオリの力に起因する振動子の変位量を測定することによって角速度を検出することができる。角速度センサ２５０は、光学式などの他の種類のセンサであってもよい。

図２に示すように、本実施の形態における角速度センサ２５０は、手振れ等に起因して発生するデジタルビデオカメラ１００のロール（Ｒ）方向の角速度を検出するセンサを備えている。角速度センサ２５０は、ロール方向に加えて、ヨー方向（Ｙ軸回りの回転の方向）、ピッチ方向（Ｘ軸回りの回転の方向）の角速度を検出するセンサを備えていてもよい。コントローラ１８０は、角速度センサ２５０のロール方向に関する出力信号を解析することにより、撮影中のデジタルビデオカメラ１００のロール方向の振れを補正するための第２の補正量（第２の補正角度）を算出することができる。

なお、図１に示されている構成要素は一例であり、デジタルビデオカメラ１００は、後述する動作を実行できる限り、一部の要素を含んでいなくてもよい。また、デジタルビデオカメラ１００は、電源、ハードディスクドライブなどの記録装置、フラッシュ、外部インターフェースのような他の要素を含み得る。

［１−３．動作］
本実施の形態のデジタルビデオカメラ１００は、画像データに対して座標回転処理を施すことにより、自装置の傾きがＣＭＯＳイメージセンサ１４０の撮像面上に形成された像に及ぼすロール方向の傾きの影響を低減できる。

この際、デジタルビデオカメラ１００は、加速度センサ２６０の出力から算出した第１の補正量に基づいて撮影画像の傾き補正を行うか、角速度センサ２５０の出力から算出した第２の補正量に基づいて撮影画像の傾き補正を行うかを、加速度センサ２６０の出力結果に基づいて決定する。

以下、デジタルビデオカメラ１００における傾き補正動作の詳細を説明する。

［１−３−１．傾き量の誤検出］
まず、図３を参照しながら、デジタルビデオカメラ１００が撮影中に加速度運動を行っているときの加速度センサ２６０による傾き量（傾き角度）の誤検出について説明する。図３は、加速度センサ２６０の傾き量の誤検出を説明するための図である。

上述したように、加速度センサ２６０による傾き量の算出は、センサの検出軸であるＸ、Ｙ、Ｚ軸方向の加速度成分の出力値を利用して算出される。具体的には、コントローラ１８０は、式（１）を用いて、重力加速度１Ｇが、Ｘ、Ｙ、Ｚ軸方向の各成分にどのように分配されたかを示す比率に基づいて傾き量を算出する。

自機が加速度運動を行っていないとき、加速度センサ２６０には、重力以外の力（慣性力）は働かない。本明細書では、この状態を「重力加速度以外の加速度が発生していない」と表現する。自機に重力加速度以外の加速度が発生していない場合、加速度センサ２６０のＸ、Ｙ、Ｚの３軸方向の加速度のベクトル和の絶対値（以下、「３軸の合算値」と呼ぶことがある。）は、重力加速度１Ｇに一致する。この場合、重力加速度以外の加速度が自機に発生していないため、コントローラ１８０は、式（１）に基づく演算により、自機の傾き角度を精度良く算出することができる。

一方、自機が加速度運動を行っているとき、加速度センサ２６０には、重力以外の力（慣性力）が働く。本明細書では、この状態を「重力加速度以外の加速度が発生している」と表現する。自機に重力加速度以外の加速度が発生している場合、コントローラ１８０は、式（１）に基づいて自機の傾き角度を正確に算出することができない。この点について、図３を参照しながら説明する。

図３は、加速度センサ２６０によって検出される加速度がＹ成分のみをもち、その大きさが１Ｇである状態、つまり傾きがない状態（図３（ａ））から、デジタルビデオカメラ１００の筐体をＸ軸の正方向に加速度０．５Ｇで動的に加速させた場合（図３（ｂ））の加速度の合成による傾きの誤検出（図３（ｃ））を例示している。この時、Ｙ軸の正方向には重力加速度１Ｇが、Ｘ軸の負方向には動的な移動による慣性加速度０．５Ｇが生じる。上述のように、傾き量を算出する際、コントローラ１８０は、各軸方向の加速度成分の比率を利用する。そのため、図３（ｃ）に示すように、コントローラ１８０は、動的な移動（加速度運動）に伴うＸ軸の負方向の加速度を、自機の傾きに起因するものであると誤検出してしまう。このように、動的な移動による慣性加速度が生じている場合、加速度センサ２６０では、重力加速度に基づく正確な傾き量を算出することが困難である。すなわち、重力加速度以外の動的な移動による慣性加速度が生じている場合、加速度センサ２６０の検出結果の信頼性は担保できない。

発明者らは、自機の動的な移動に伴う加速が発生したときでも、誤検出を軽減し、適切な傾き補正を実現する必要があるとの課題を認識するに至った。以下、この課題を解決するための傾き補正動作を説明する。

［１−３−２．動的な加速の有無の判定と傾き量算出処理の切替］
図４は、本実施形態における傾き量を決定する処理を示すフローチャートである。デジタルビデオカメラ１００は、まずユーザによる撮影開始指示を受けると、撮影モードに移行し、撮影終了の指示を受けるまで撮影動作を継続する。この際、デジタルビデオカメラ１００の各要素は、垂直同期信号に従い、例えば６０ｆｐｓのフレームレートで画像（フレーム）を順次生成する。各フレームの生成の際、以下の傾き補正処理が行われる。

撮影モードにおいて、コントローラ１８０は、撮影終了の指示が出されたか否かを判定する（ステップＳ４００）。撮影終了の指示が出されていない場合、コントローラ１８０は、デジタルビデオカメラ１００が動的な加速状態にあるか否かを判定する（ステップＳ４１０）。ここでは、コントローラ１８０は、加速度センサ２６０のＸ、Ｙ、Ｚ軸方向の加速度のベクトル和の絶対値（３軸の合算値）を計算し、自機が動的な加速状態にあるか否かを判定する。自機に重力加速度以外の加速度が発生していない場合、加速度センサ２６０のＸ、Ｙ、Ｚの３軸のベクトル和の絶対値は、重力加速度１Ｇにほぼ一致する。一方、自機に動的な加速度、つまり重力加速度以外の加速度が生じた場合、加速度センサ２６０によって検出される３軸の合算値は重力加速度１Ｇの近傍から離れた値を示す。例えば、デジタルビデオカメラ１００が鉛直方向上向きに加速度運動をしている場合、重力に加えて鉛直方向下向きに慣性力が発生するため、加速度センサ２６０によって検出される３軸の合算値は、１Ｇよりも大きくなる。一方、デジタルビデオカメラ１００が鉛直方向下向きに加速度運動をしている場合、鉛直方向下向きの重力に加えて鉛直方向上向きに慣性力が発生するため、加速度センサ２６０によって検出される３軸の合算値は、１Ｇよりも小さくなる。この原理を利用し、コントローラ１８０は、３軸の合算値が１Ｇ近傍から離れた値を取っているか、３軸の合算値が１Ｇ近傍であるかにより、重力加速度以外の加速度が発生しているか否かを判断する。ここで、３軸の合算値が１Ｇの「近傍」にある場合に重力加速度以外の加速度が生じていないと判断するのは、加速度センサ２６０の検出精度による誤差などの影響を考慮するためである。

以上のようにして、コントローラ１８０は、１Ｇに対して所定の範囲（例えば、１Ｇ−０．０１Ｇから１Ｇ＋０．０１Ｇの範囲）の外側の値をとる場合を、動的な加速状態と判定する。一方、１Ｇに対して所定の範囲（例えば、１Ｇ−０．０１Ｇから１Ｇ＋０．０１Ｇの範囲）の内側の値をとる場合を、動的な加速のない状態（重力のみが働いている静的な状態）と判定する。このように、コントローラ１８０は、加速度センサ２６０によって検出された加速度の絶対値と予め定められた基準値との差分の絶対値が、予め設定された閾値よりも大きい場合には、動的な加速状態にあると判定し、それ以外の場合には、静的な加速状態にあると判定する。

本実施形態では、上記の基準値は、地表面での重力加速度（約９．８０７ｍ／ｓ²）と同一の値に設定されるが、これはあくまでも地表面での撮影を前提にしているためである。高所や深海、宇宙空間のように、重力加速度が地表面とは異なる環境で撮影を行う場合、基準値はその環境に応じた異なる値に設定され得る。したがって、デジタルビデオカメラ１００は、この基準値の設定を変更できるように構成されていてもよい。例えば、ユーザが操作部２１０を操作することによって撮影環境に適した基準値を設定できるようにしてもよい。また、上記の閾値も、０．０１Ｇに限らず、０．０１Ｇよりも小さい値または０．０１Ｇよりも大きい値に設定され得る。この閾値は、要求される性能に応じて適宜決定される。この範囲もユーザが自由に設定できるように操作部２１０およびコントローラ１８０が構成されていてもよい。

動的な加速状態にあると判定した場合（ステップＳ４１０におけるＮｏ）、コントローラ１８０は、自機の傾き量を角速度センサ２５０の出力信号に基づいて算出する（ステップＳ４２０）。具体的には、コントローラ１８０は、各フレームを生成する際にバッファ１７０に順次蓄積していた角速度センサ２５０の出力（角速度の値）を積分することにより、自機の傾き量を算出する。この際、過去に静的な状態にあった時点での加速度センサ２６０の出力（傾き）を基準にして、その時点以降の角速度を累積することによって現時点での傾きを算出してもよい。このようにして求めた現時点での傾きから、コントローラ１８０は、自機の傾き量の補正量（補正角度θ２）を算出する。コントローラ１８０は、算出した補正角度θ２を画像処理部１６０に通知する。これにより、画像処理部１６０は、コントローラ１８０が角速度センサ２５０の出力信号に基づいて算出した補正角度θ２により、撮像画像の傾き補正を行う。角速度センサ２５０は、自機の加速度ではなく、自機の角速度に応じた信号を出力するため、動的な加速状態においても角度の算出が可能である。これにより、動的な加速状態においては、誤検出の恐れのある加速度センサ２６０の出力から傾き量を算出するのではなく、角速度センサ２５０の出力信号に基づいて、より信頼性の高い傾き量を算出することができる。その結果、画像処理部１６０は、撮像画像に対して、より信頼性の高い傾き補正を行うことが可能となる。

一方で、動的な加速状態にない場合、すなわち重力加速度以外の加速度が生じていないと判定した場合（ステップＳ４１０におけるＹｅｓ）、加速度センサ２６０の出力値を信頼することができる。そのため、コントローラ１８０は、自機の傾き量を加速度センサ２６０の出力信号から算出する（ステップＳ４３０）。算出した傾き量から、コントローラ１８０は、自機の傾き量の補正量（補正角度θ１）を算出する。コントローラ１８０は、算出した補正角度θ１を画像処理部１６０に通知する。これにより、画像処理部１６０は、加速度センサ２６０の出力信号に基づいて算出された補正角度θ１により、撮像画像の傾き補正を行う。なお、重力加速度以外の加速度が生じていないということは、静止状態または等速直線運動を行っている状態であることを意味する。従って、このような状態においては、角速度センサ２５０の出力値から傾き量を算出することはできない。これに対し、動的な加速度がなく重力加速度のみが検出される場合は、上記のように、加速度センサ２６０の出力信号に基づいて、確実に傾き量を算出することができる。従って、画像処理部１６０は、撮像画像に対して、より確実に傾き補正を行うことが可能となる。

次に、図５の出力波形例を参照しながら、図４のフローチャートにおけるステップＳ４１０〜Ｓ４３０の処理をより具体的に説明する。図５は、角速度センサ２５０の検出結果に基づく傾き量、加速度センサ２６０の検出結果に基づく傾き量、および３軸の合算値と重力加速度１Ｇとの差分の関係を説明するためのイメージ図である。図５には、角速度センサ２５０の出力から算出されたＲ方向の傾き量（ｄｅｇ）、加速度センサ２６０（Ｘ、Ｙ，Ｚの３軸）の出力から算出されたＲ方向の傾き量（ｄｅｇ）、加速度センサ２６０の３軸合算の加速度の絶対値と重力加速度１Ｇの絶対値との差分の波形が時間軸に沿って描かれている。

図５の区間Ｔ１〜Ｔ２（Ｔ５〜Ｔ６）における出力波形は、デジタルビデオカメラ１００の筐体をゆっくりと傾けて、しばらく静止させた後、元の水平な姿勢に戻した状況を示している。筐体を傾けたとき、および元の水平な姿勢に戻したときにＲ方向の角速度が発生するため、コントローラ１８０は、時刻Ｔ１およびＴ２（Ｔ５およびＴ６）において、Ｒ方向の角速度を検出する角速度センサ２５０の出力に基づく傾き量（図５の例ではそれぞれ±３°）を算出している。区間Ｔ１〜Ｔ２（Ｔ５〜Ｔ６）では、筐体を傾けたまま静止させているので、角速度は発生せず、コントローラ１８０は、角速度センサ２５０の出力に基づく傾き量を算出しない。一方、この区間では、Ｘ、Ｙ、Ｚの各方向の成分に分解された重力加速度が、加速度センサ２６０によって検出される。コントローラ１８０は、加速度センサ２６０から出力されるＸ、Ｙ、Ｚ軸方向の加速度成分の配分に基づいて、自機の傾き量を算出する。この時、加速度センサ２６０によって検出される３軸の合算加速度の絶対値は、重力加速度１Ｇに対して所定の閾値（センサの検出誤差を考慮した閾値）以内であるため、コントローラ１８０は、自機が静的な状態にあると判定し、加速度センサ１６０の出力から傾き量を算出する。

図５の区間Ｔ３〜Ｔ４（Ｔ７〜Ｔ８）における出力波形は、デジタルビデオカメラ１００を傾ける動作を行なわず、加速動作のみを行なっている状況を示している。区間Ｔ３〜Ｔ４（Ｔ７〜Ｔ８）では、筐体を傾ける動作を行っていないため、角速度センサ２５０によって検出されるＲ方向の角速度は、ほぼ０である。一方、加速度センサ２６０は、重力加速度に加えて、加速動作に伴う慣性加速度をＸ、Ｙ、Ｚの３軸方向について検出する。この時、加速度センサ２６０から出力される３軸の合算加速度の絶対値は、重力加速度１Ｇに対して所定の閾値の範囲外の値となる。そのため、コントローラ１８０は、デジタルビデオカメラ１００に重力以外の力（慣性力）が働いている、つまり動的な加速状態にあると判定する。このとき、加速度センサ２６０の出力信号から正確に自機の傾き量を算出するのは困難である。そのため、コントローラ１８０は、角速度センサ２５０の出力信号から自機の傾き量を算出する。角速度センサ２５０の出力信号から傾き量を算出することにより、コントローラ１８０は、区間Ｔ３〜Ｔ４（Ｔ７〜Ｔ８）ではデジタルビデオカメラ１００が傾いていないことを正しく検出できる。

図５の区間Ｔ９〜Ｔ１０における出力波形は、デジタルビデオカメラ１００を急激に傾ける動作を行なった状況を示している。傾ける動作に伴い、デジタルビデオカメラ１００にはＲ方向の角速度が発生する。この急激に傾ける動作を行っている最中は、加速度センサ２６０の３軸の合算の加速度の絶対値が、重力加速度１Ｇに対して所定の閾値の範囲外の値となる。このとき、加速度センサ２６０の出力信号から正確に自機の傾き量を算出するのは困難である。そのため、コントローラ１８０は、角速度センサ２５０の出力信号から自機の傾き量を算出する。角速度センサ２５０の出力信号から傾き量を算出することにより、区間Ｔ９〜Ｔ１０においても自機の傾きを正しく検出できる。図５に示される例では、急激に傾ける動作の終了後は、静的な状態になるため、コントローラ１８０は、加速度センサ２６０の出力に基づいて以降の傾き量を算出する。

このように、本実施の形態にかかるデジタルビデオカメラ１００は、撮影中にカメラ自身が動的な加速状態にあるか静的な状態にあるかを判定する。判定結果によって傾き量の算出処理を変えることにより、適切な傾き補正を実現することができる。

画像処理部１６０は、コントローラ１８０から通知された補正角度θ１またはθ２だけ、画像の傾きを低減させる方向に当該画像を回転させる。これにより、傾きが補正された好適な画像が生成される。以下、図６を参照しながら、画像処理部１６０による傾き補正処理の例を説明する。

図６は、傾き補正処理のイメージを示す図である。図６では、顔や衣服等に装着して使用するウェアラブルカメラとしてデジタルビデオカメラ１００が使用されている例を示している。図６には、ＣＭＯＳイメージセンサ１４０におけるオプティカルブラック領域、有効画素領域、および実効画素領域に対応する画像領域が示されている。画像処理部１６０は、撮像部２７０から出力された画像を補正角度θ１またはθ２だけ、画像の傾きを低減させる方向に回転させた後、ＣＭＯＳイメージセンサ１４０の有効画素領域内で画像の切出し処理を行う。そして、切り出した画像（実線の矩形で示されている実効画素領域の画像）を補正画像として出力する。これにより、撮像画像のロール方向の傾きを補正した場合でも、オプティカルブラック領域内の画素を含まない良好な画像を記録することができる。

［１−４．効果等］
以上のように、本実地形態のデジタルビデオカメラ（撮像装置）１００は、撮像によって画像を生成する撮像部２７０と、加速度を検出する加速度センサ（加速度検出部）２６０と、角速度を検出する角速度センサ（角速度検出部）２５０と、加速度センサ２６０によって検出された加速度の絶対値と予め設定された基準値との差分が予め設定された閾値よりも大きいとき、角速度センサ２５０の検出結果に基づいて当該画像の傾きを補正するための回転角度を決定するコントローラ１８０とを備えている。これにより、撮影中にデジタルビデオカメラ１００が加速度運動をしていた場合でも、基準値および閾値を適切に設定することにより、画像の傾きを適切に補正することができる。

また、コントローラ１８０は、加速度センサ２６０によって検出された加速度の絶対値と予め設定された基準値との差分が閾値以下であるとき、加速度センサ２６０の検出結果に基づいて画像の傾きを補正するための回転角度（補正角度）を決定する。すなわち、差分が閾値以下のときには加速度センサ２６０の出力に基づいて補正角度が決定され、差分が閾値よりも大きいときには角速度センサ２５０の出力に基づいて補正角度が決定される。これにより、加速度センサ２６０の出力から正しく傾きを検出できる場合には、加速度センサ２６０の出力から容易に補正角度を決定することができる。

本実施形態のデジタルビデオカメラ２７０は、コントローラ１８０によって決定された回転角度に基づいて画像の座標を回転させることによって画像の傾きを補正する画像処理部１６０をさらに備えている。これにより、傾きが適切に補正された画像を出力することができるため、記録媒体に補正された画像を記録したり、ディスプレイに補正された画像を表示することができる。

また、加速度センサ２６０は、直交する３つの座標軸の各方向における加速度成分を検出することによって合成加速度を検出する。そして、コントローラ１８０は、この合成加速度に基づく値を、加速度センサ２６０によって検出された加速度の絶対値として処理する。これにより、合成加速度を正確に検出することができる。

また、角速度センサ２５０は、撮像部２７０の光軸に平行な座標軸を含む３つの直交する座標軸の回りの角速度を検出する。これにより、角速度を正確に検出することができる。

また、基準値は、重力加速度の値に設定されている。これにより、加速度センサ２６０によって検出される合成加速度の絶対値が重力加速度の値から乖離している場合に、デジタルビデオカメラ１００が加速度運動をしていることが判断できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記の実施形態では、デジタルビデオカメラ（撮像装置）１００自身が画像の傾き補正処理を行うように構成されているが、傾き補正処理を撮像装置とは異なる他の装置（画像処理装置）に実行させてもよい。図７は、そのような画像処理装置３００を備えたシステムの例を示す図である。このシステムは、撮像装置２９０と、画像処理装置３００と、表示モニタ４００とを備えている。画像処理装置３００は、撮像装置２９０によって生成された画像を取得し、実施の形態１で説明した処理と同様の処理によって当該画像の傾きを補正する。

撮像装置２９０は、光学系１１０、ＣＭＯＳセンサ１４０、Ａ／Ｄコンバータ１５０、角速度センサ２５０および加速度センサ２６０を備える。これらの要素は、いずれも実施の形態１における対応する要素と同様のものである。Ａ／Ｄコンバータ１５０から出力される画像情報、加速度センサ２６０から出力される加速度情報、および角速度センサ２５０から出力される角速度情報は、直接または不図示の記録媒体を介して画像処理装置３００のインターフェース３１０に送られる。

画像処理装置３００は、画像処理部１６０、コントローラ１８０、バッファ１７０、内部メモリ２４０、およびインターフェース３１０を備える。画像処理部１６０、コントローラ１８０、バッファ１７０、内部メモリ２４０は、いずれも実施形態１における対応する要素と同様のものである。画像処理装置３００は、インターフェース３１０を介して、撮像装置２９０から出力された画像情報、加速度情報、および角速度情報を取得する。画像処理部１６０およびコントローラ１８０は、実施形態１において説明した処理と同様の処理により、画像の傾きを補正して表示モニタ４００や不図示の記録媒体に記録する。

図８は、画像処理装置の処理の例を示すフローチャートである。図８において、図４と同様の処理については同じ参照符号を付している。まず、ステップＳ７００において、インターフェース３１０は、撮像装置２９０によって生成された画像、加速度情報、および角速度情報を取得する。次に、コントローラ１８０は、ステップＳ７００において、取得した画像のうち、全てのフレームについて処理が完了したと判定するまで、ステップＳ４１０、Ｓ４２０、Ｓ４３０の処理を実行する。ステップＳ４１０〜Ｓ４３０の処理は、実施形態１における対応する処理と同様であるため、説明を省略する。

以上の処理により、画像処理装置３００は、画像の傾きを補正することができる。このように、実施の形態１で説明した画像の傾きを補正する機能は、必ずしも撮像装置に設けられている必要はない。このような構成により、例えばデジタルビデオカメラ（撮像装置）が生成した画像情報、加速度情報、および角速度情報を遠隔地のサーバコンピュータ（画像処理装置）にネットワークを介して送信し、当該サーバコンピュータが画像の傾きを補正して結果を返すといったシステムが可能になる。なお、撮像装置２９０から画像処理装置３００への情報の受け渡しは、ネットワークを介して行われてもよいし、記録媒体を介して行われてもよい。

このように、本実施形態における画像処理装置３００は、撮像装置２９０から出力された信号を処理する。撮像装置３００は、撮像によって画像を生成する撮像部２９０と、加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０とを備える。画像処理装置３００は、画像を示す情報、加速度センサ２６０によって検出された加速度を示す情報、および角速度センサ２５０によって検出された角速度を示す情報を取得するインターフェース３１０と、加速度センサ２６０によって検出された加速度の絶対値と予め設定された基準値との差分が予め設定された閾値よりも大きいとき、角速度センサ２５０の検出結果に基づいて画像の傾きを補正するための回転角度を決定するコントローラ１８０と、当該回転角度に従って画像を補正する画像処理部１６０とを備えている。これにより、実施の形態１と同様に、撮像装置２９０が加速度運動をしている状態で記録した画像であっても適切に傾きを補正することができる。

上記の例の他、補正角度を決定する処理までを撮像装置２９０が行い、その補正角度に基づいて画像の傾きを補正する処理を画像処理装置３００が行う構成も可能である。そのような構成では、コントローラ１８０は、画像処理装置３００ではなく、撮像装置２９０に設けられる。

上記の実施形態では、デジタルビデオカメラ１００または撮像装置２９０は、ロール方向の手振れを角速度センサ２５０を用いて検出することとした。すなわち、角速度センサ２５０が「角速度検出部」として機能する。しかしながら、必ずしもこのような構成である必要はない。例えば、角速度センサ２５０の代わりに角加速度センサを用いてもよい。角加速度センサによって出力される角加速度を時間で積分することによって角速度を求め、角速度をさらに時間で積分することにより、傾きを検出することができる。また、画像の解析によってロール方向の手振れを検出してもよい。具体的には、撮像画像に含まれる被写体の回転方向の動きベクトルを算出することによって、ロール方向の角速度を検出してもよい。要するに、自装置の回転ブレが撮像素子の撮像面上に形成される像に及ぼす回転の影響を検出できればよい。このような例では、コントローラ１８０または画像処理部１６０が「角速度検出部」としても機能する。

また、以上の実施形態では、動画像を記録するビデオカメラを例に説明を行ったが、静止画像のみを生成するデジタルカメラに本開示の技術を適用してもよい。

さらに、本開示の技術は、撮像装置や画像処理装置に限らず、自機の姿勢を特定する必要のある様々な装置（例えば携帯情報端末やゲームコントローラ）に適用することができる。そのような装置は、例えば図９に示すように、加速度の大きさと方向とを検出する第１の検出部９１０と、自機の姿勢の変化を検出する第２の検出部９２０と、第１の検出部９１０の検出結果が示す加速度の方向に基づいて、自機の姿勢を特定する第１モード、または、前記第２の検出部の検出結果に基づいて、自機の姿勢の変化を追跡することによって、自機の姿勢を特定する第２モードのいずれかで動作するコントローラ９３０とを備えていればよい。このとき、第１モード及び第２モードにおいて、コントローラ９３０は、自機の重力方向に対する姿勢を特定してもよい。また、第２モードにおいて、自機の姿勢の変化の追跡手段として、コントローラ９３０は、自機の姿勢の変化量を積算するように動作してもよい。コントローラ９３０は、第１の検出部の検出結果が示す加速度の大きさが、重力加速度の大きさを基準として定まる所定の範囲内にある場合に、第１モードで動作し、第１の検出部の検出結果が示す加速度の大きさが、当該所定の範囲内にない場合に、第２モードで動作するように構成される。これにより、コントローラ９３０は、自機の姿勢（傾き）を特定し、当該姿勢を示す情報を出力することができる。なお、第１の検出部９１０によって検出される「加速度」は、実施の形態１で説明したように、重力と慣性力との合力に応じた加速度である。当該「加速度」は、自機が加速度運動をしていない場合には、重力加速度に相当する方向および大きさをもち、自機が加速度運動をしている場合には、重力加速度とは異なる方向および大きさをもち得る。以上の構成により、自機が加速度運動をしていない場合には、第１の検出部９１０の検出結果に基づいて自機の姿勢（傾き）を特定し、自機が加速度運動をしている場合には、第２の検出部９２０の検出結果に基づいて自機の姿勢を特定することができる。

また、本開示の技術はさらに、上述の傾き補正処理、画像の回転角度決定処理、または姿勢特定処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図４、８に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

従って、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の技術は、例えば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付携帯電話、カメラ機能付スマートフォン等の撮像装置に適用できる。また、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末等のコンピュータにも適用できる。

１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部
２２０ 表示モニタ
２４０ 内部メモリ
２５０ 角速度センサ
２６０ 加速度センサ
２９０ 撮像装置
３００ 画像処理装置
４００ 表示モニタ
９１０ 第１の検出部
９２０ 第２の検出部
９３０ コントローラ

Claims (10)

1. 撮像によって画像を生成する撮像部と、
   加速度を検出する加速度検出部と、
   角速度を検出する角速度検出部と、
   前記加速度検出部によって検出された前記加速度の絶対値と、予め設定された基準値との差分が、予め設定された閾値よりも大きいとき、前記角速度検出部の検出結果に基づいて前記画像の回転角度を決定するコントローラと、
   を備える撮像装置。
2. 前記コントローラは、前記差分が前記閾値よりも小さいとき、前記加速度検出部の検出結果に基づいて前記画像の回転角度を決定する、請求項１に記載の撮像装置。
3. 前記コントローラによって決定された前記回転角度に基づいて前記画像の座標を回転させることによって前記画像の傾きを補正する画像処理部をさらに備える、請求項１または２に記載の撮像装置。
4. 前記加速度検出部は、直交する３つの座標軸の各方向における加速度成分を検出することによって合成加速度を検出し、
   前記コントローラは、前記加速度検出部が検出した前記合成加速度に基づく値を、前記加速度の前記絶対値として処理する、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記角速度検出部は、角速度センサである、請求項１から４のいずれかに記載の撮像装置。
6. 前記角速度センサは、前記撮像部の光軸に平行な座標軸を含む３つの直交する座標軸の回りの角速度を検出する、請求項５に記載の撮像装置。
7. 前記基準値は、重力加速度の値に設定されている、請求項１から６のいずれかに記載の撮像装置。
8. 前記閾値は、重力加速度の値を１Ｇと表すとき、０．０１Ｇよりも小さい値に設定される、請求項１から７のいずれかに記載の撮像装置。
9. 撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部とを備える撮像装置から出力された信号を処理する画像処理装置であって、
   前記画像を示す情報、前記加速度検出部によって検出された前記加速度を示す情報、および前記角速度検出部によって検出された前記角速度を示す情報を取得するインターフェースと、
   前記加速度検出部によって検出された前記加速度の絶対値と、予め設定された基準値との差分が、予め設定された閾値よりも大きいとき、前記角速度検出部の検出結果に基づいて前記画像の回転角度を決定するコントローラと、
   を備える画像処理装置。
10. 撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部とを備える撮像装置から出力された信号を処理する画像処理方法であって、
    前記画像を示す情報、前記加速度検出部によって検出された前記加速度を示す情報、および前記角速度検出部によって検出された前記角速度を示す情報を取得するステップと、
    前記加速度検出部によって検出された前記加速度の絶対値と、予め設定された基準値との差分が、予め設定された閾値よりも大きいとき、前記角速度検出部の検出結果に基づいて前記画像の回転角度を決定するステップと、
    を含む画像処理方法。

Images