JP5011387B2 - 撮像装置 - Google Patents

Description

本発明は、手ブレ補正機能を備える撮像装置に関するものである。

近年、民生用のデジタルカメラやビデオカメラ（以下、「ビデオムービー」と称す）の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の１つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手ブレによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。ただし、これら既存の画像動き補正装置は、垂直方向（ピッチング方向）および水平方向（ヨーイング方向）の手ブレによる画像の動きを補正するものである。しかしデジタルカメラやビデオムービーでの撮影中の手ブレは垂直方向および水平方向に限られるものではなく、例えば光軸もしくは光軸に平行する軸を中心に回転するローリング方向の手ブレも発生しうる。

そこで撮影時のローリング方向のブレ（画像の回転）を補正する装置として、以下のようにいくつかの提案がなされている。

例えば特許文献１においては、カメラ本体の傾きの検出手段と、検出手段によって得られた信号により傾きの程度を判断する手段と、撮像素子の回転手段と、回転手段の制御手段とを有するビデオムービーが開示されている。この特許文献１においては、カメラの傾きを検出する手段として、重力を用いたものまたは加速度を利用したものを採用し、カメラ本体の傾きに応じて撮像素子を回転駆動することで、撮影画像の傾き（ローリング方向のブレ）を解消する例が開示されている。

また、例えば特許文献２においては、被写体を撮像する撮像装置であって、上記被写体の画像を取得する撮像部と、上記画像から、上記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、上記検出条件に基づいて、上記画像から、上記直線成分に対応する画像要素を検出し、検出した上記画像要素と、予め定められた上記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置が開示されている。この特許文献２においては、撮像部から得た画像を処理し、検出したエッジ成分をもとに画像の傾きを検出し、さらに得られた画像の傾きを用いて撮影画像の傾き（ローリング方向のブレ）の補正を行う例が提示されている。
特開平４−３３１５８６号公報 特開２００２−３４４７２３号公報

以上のようにローリング方向のブレ（画像の回転）を補正する装置に関しては各種方法の提案がされていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その１つは、ローリング方向のブレを検出する手段として、加速度センサなどの物理センサを使用する場合、センサは個体ばらつきや温度特性、経年変化が不可避であるため、検出される傾きの精度を高く保つことは困難である。

その点では、ローリング方向のブレを検出する手段として、撮影画像の特徴から画像の傾きを検出する手段を用いた場合、画像処理は電子的な信号処理であり、個体ばらつきや温度特性、経年変化は発生しえない。しかし、撮影画像の特徴から画像の傾きを検出する場合、傾きに関する情報を取得できる周期が画像の撮影周期に束縛され、所望の早い周期で傾きの情報を得ることができない。例えばテレビジョン方式がＮＴＳＣ方式のビデオカメラの場合、約１６．６ミリ秒間隔で画像を撮影するため、これ以上の早い周期で画像の傾き情報を得ることができない。つまり傾きの検出が遅延する。このことはすなわち、例えば撮影画像の傾きを補正するために撮像素子などを機構的に回転駆動する場合、この検出の遅延が原因で機構部を十分に高い動作周波数で駆動できず、傾きの補正が精度よく実現できない可能性が懸念される。その点、センサは画像の撮影周期に束縛を受けることなく、ほぼリアルタイムで傾きを検出することが可能である。

本発明の目的は、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することである。

上述したような課題を解決するために、第１の発明に係る撮像装置は、被写体の光学的な像を形成する撮像光学系と、前記形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、前記撮像装置のローリング方向の傾きの角度を検出する角速度センサを有する装置傾き角検出部と、前記画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、前記装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部と、前記画像傾き角検出部によって検出された像の傾きの角度によって、前記装置傾き角検出部の検出結果及び前記角度変化量を校正して装置傾き角を算出する装置傾き角算出部と、を備え、前記装置傾き角算出部は、前記角速度センサから出力される傾き角を保持する装置傾き角保存メモリと、前記装置傾き角保存メモリから出力される傾き角と前記画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、前記差分演算器の出力を保持する差分値保存メモリと、前記差分値保存メモリの出力を用いて前記角度変化量に加算する補正値を算出する補正値算出部とからなり、前記画像傾き角検出部の動作タイミングに合わせて前記差分値保存メモリの保持する内容を更新し、前記撮像素子の動作タイミングに合わせて前記装置傾き角保存メモリを更新する、構成を採る。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる。

第２の発明に係る撮像装置は、第１の発明に係る撮像装置において、装置傾き角算出部の算出結果に基づいて、撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。

第３の発明に係る撮像装置は、第２の発明に係る撮像装置において、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、電気的な画像を回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。

第４の発明に係る撮像装置は、第３の発明に係る撮像装置において、撮像光学系を格納し、撮像素子が固定されたレンズ鏡筒をさらに備え、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。

第５の発明に係る撮像装置は、第３または第４の発明に係る撮像装置において、傾き補正部は、画像信号に変換された像の水平または垂直が、被写体と一致するように撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする。これにより、撮影画像に多く含まれる水平または垂直の線分を利用して補正することにより補正精度を向上することができる。

第６の発明に係る撮像装置は、第３〜第５の発明のいずれかに係る撮像装置において、傾き補正部は、最初の校正が完了した後から撮像素子またはレンズ鏡筒を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする。これにより、正しく校正された装置傾き角を使って傾き補正が実施されるので補正精度を向上することができる。

第７の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像装置から被写体側への撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。

第８の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値としてもよい。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。

第９の発明に係る撮像装置は、第１〜第８の発明のいずれかに係る撮像装置において、装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする。これにより、装置傾き角を正確に検出することができる。

第１０の発明に係る撮像装置は、第９の発明に係る撮像装置において、装置傾き角検出部が角速度センサであって、装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、装置傾き角算出部は画像傾き角検出部によって検出された像の傾きの角度によって、角度変化量を校正して装置傾き角を算出することを特徴とする。これにより、装置傾き角検出部にコリオリ力を検知するジャイロセンサのような角速度検出方法も用いることにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることがなく正確に装置傾き角を検出することができる。

第１１の発明に係る撮像装置は、第１０の発明に係る撮像装置において、装置傾き角算出部は、装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、装置傾き角保存メモリから出力される傾き角と画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、差分演算器の出力を保持する差分値保存メモリと、差分値保存メモリの出力を用いて角度変化量に加算する補正値を算出する補正値算出部とからなり、画像傾き角検出部の動作タイミングに合わせて差分値保存メモリの保持する内容を更新し、撮像素子の動作タイミングに合わせて装置傾き角保存メモリを更新することを特徴とする。これにより、画像傾き角検出部の動作タイミングに合わせて装置傾き角算出部の算出結果を校正するので正確な装置傾き角が算出できる。

第１２の発明に係る撮像装置は、第１１の発明に係る撮像装置において、補正値算出部は、画像傾き角検出部の動作周波数を角度変化量算出部の動作周波数で割った値を、差分値保存メモリの出力に対して掛け合わせる乗算器と、乗算器からの出力を積算する積分器とから構成することを特徴とする。これにより、補正値の急変を防止することができ安定な補正が可能となる。

本発明によれば、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
まず、本発明の実施の形態１における撮像装置１００について図１〜図９を用いて説明する。図１は、本発明の実施の形態１における撮像装置１００の構成を示すブロック図である。図１において、撮像光学系１は、光軸ＡＸに沿って配置された３つのレンズ群Ｌ１、Ｌ２、Ｌ３からなり、被写体像を撮像素子３上に結像させるために設けられており、レンズ鏡筒２の内部に格納されている。また、レンズ鏡筒２は撮像光学系１の光軸ＡＸを中心に回転自在に構成されており、後述する鏡筒回転駆動部１６によって回転運動する。また、図１においては各レンズ群は単レンズで構成されているが、これに限定されるものではなく、複数レンズで１つのレンズ群を構成してもよい。

撮像素子３は撮像光学系１を介して入射する像を電気信号に変換する撮像素子であり、具体的にはＣＣＤやＣＭＯＳなどが使用される。カメラ信号処理部４では、撮像素子３から出力される画像信号に対してゲインコントロール処理やガンマ処理などのアナログ信号処理、Ａ／Ｄ変換、ノイズ除去や輪郭強調などのデジタル信号処理が施される。その後、記録系信号処理部５にて、圧縮などの記録系の信号処理が施され、最後に半導体メモリなどで構成される記録媒体６に記録される。画像傾き角検出処理部７は、カメラ信号処理部４の出力画像信号から画像の傾き（角度）を電子的に検出する。

角度センサ８ａは撮像装置１００本体に設置され、撮像装置１００自体のローリング方向の傾きを検出するためのセンサである。ここで、重力の方向（鉛直方向）に対し９０度をなす方向は水平方向として定められ、これが角度の基準（角度＝０度）として定められる。また、撮像光学系から被写体側を見たときの反時計回り方向はプラス方向として定められる。角度センサ８ａは、撮像装置１００の傾きの大きさおよび方向に応じて、正負両方向の角度信号を出力する。

ここで角度信号と角度の関係（初期状態）は図８に示すように、水平方向の基準（角度＝０度）に対して傾いた角度に比例して角度信号が出力されるような関係である。角度信号の正負は、撮像装置１００の傾きが水平方向（角度＝０度で且つ、角度信号＝０[V]）に対して、右上がりまたは左上がりの場合に相当する。図８に示した角度信号と角度の関係を表すグラフにおいて、その比例直線の傾きをＫとすると、角度信号から角度を換算する換算式は以下のようになる。

ＨＰＦ９ａは角度センサ８ａの出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタである。ＬＰＦ１０ａは角度センサ８ａの出力に含まれる不要帯域成分中の、例えばノイズ成分を除去するための低域通過フィルタである。アンプ（Ａｍｐ）１１ａは、角度センサ８ａの出力の信号レベルの調整を行う信号増幅器である。Ａ／Ｄ変換（ＡＤＣ）部１２ａはアンプ１１ａの出力をデジタル信号に変換する。

マイクロコンピュータ（以下、「マイコン」と略記する）１４は、Ａ／Ｄ変換部１２ａを介して取り込んだ角度センサ８ａの出力と、画像傾き角検出処理部７から得た画像の傾きの角度に基づき、装置傾き角算出処理部１３（マイコン内の処理）でレンズ鏡筒２を回転運動させるための駆動制御量を求め、駆動制御量を示す制御信号をＤ／Ａ変換（ＤＡＣ）部１５を介して鏡筒回転駆動部１６に送る。Ｄ／Ａ変換部１５はマイコン１４から信号を受け取ると略同時にこれをアナログ信号に変換し、変換された制御信号を鏡筒回転駆動部１６に送る。

鏡筒回転駆動部１６は制御信号に基づきレンズ鏡筒２を回転駆動することで撮影される画像の傾きを補正するものであり、レンズ鏡筒２を回転駆動するためのモーターとモータードライバーからなる。最後に、撮像素子駆動部１７は撮像素子３において被写体から変換された電荷の転送を制御する。

図２は、本発明の実施の形態１における撮像装置１００のレンズ鏡筒２とその回転方向を示す模式図である。図２に示すようにレンズ鏡筒２は光軸ＡＸ（一点鎖線）を回転中心として、矢印の方向に鏡筒回転駆動部１６（図示せず）によって回転する。撮像素子３はレンズ鏡筒２に物理的に固定されている。よって、レンズ鏡筒２が回転運動する際には、撮像素子３もレンズ鏡筒２と一体になって回転する。

図３は、本発明の実施の形態１における撮像装置１００の画像傾き角検出処理部７から出力される撮影画像の傾きの角度と、角度センサ８ａからの撮像装置１００の傾きに関する角度信号を、マイコン１４が取得するタイミングの一例を示す模式図である。図３において、Ａ）は撮影された画像の傾きを画像傾き角検出処理部７が検出する処理にかかる期間を示したものである。実施の形態１においては、画像傾き角検出処理部７は１垂直走査期間をかけて撮影画像から傾きの角度を検出するものとする。Ｂ）は画像傾き角検出処理部７が検出した画像の傾き角度を、マイコン１４に出力するタイミング（矢印で示す）を示したものである。Ｃ）は角度センサ８ａが検出した撮像装置１００自体の角度信号がマイコン１４に取り込まれるタイミングである。Ｂ）およびＣ）に示すように、画像傾き角検出処理部７から得られる撮影画像の傾き角度は、１垂直走査期間に一度であり、角度センサ８ａからの角度信号は、より高い頻度でマイコン１４に取り込まれるものとする。なお実施の形態１における以下の説明では、一例として撮影画像の１秒あたりのコマ数を６０枚（１垂直走査期間は約１６．６ミリ秒）とし、角度センサ８ａからの角度信号をマイコン１４が１秒間に取り込む回数を１秒あたり６００回とする。

ここで、画像傾き角検出処理部７の動作について説明する。図４は本発明の実施の形態１における撮像装置１００の画像傾き角検出処理のフローチャート、図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは画像傾き角検出処理の処理過程の説明図である。まず初めに画像傾き角検出処理部７で実行される画像傾き角検出処理（マイコン）について説明する。この処理は画像に含まれる直線成分に着目するものである。建築物など種々の構造物、地面、地平線、水平線など水平方向および鉛直方向の線が一般的に多く含まれることを利用し、画像内の水平鉛直方向を検出することにより傾き角を算出する。画像傾き角検出処理部７は演算処理部とフレームメモリ（図示せず）からなる。カメラ信号処理部４から受け取った画像はフレームメモリに保持され、演算処理部との間でデータのやりとりをしながら以下の処理が行われる。

ステップＳ１では輝度画像の作成が行われる。各画素においてＲ成分の輝度値をＩ_Ｒ、Ｇ成分の輝度値をＩ_Ｇ、Ｂ成分の輝度値をＩ_Ｂとするとき、輝度画像の輝度値Ｉは下記（数２）を実行することにより求められる。

なお、カメラ信号処理部４から輝度画像が出力される場合はステップＳ１を省略することができる。

ステップＳ２ではステップＳ１で作成した輝度画像に対してエッジ検出が行われる。エッジ検出方法として、例えば３×３ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）を適用することができる。図６Ａおよび図６Ｂに３×３ラプラシアンフィルタの重み付け係数の一例を示す。注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を図６Ａまたは図６Ｂのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）やプレウィットフィルタ（Ｐｒｅｗｉｔｔ
Ｆｉｌｔｅｒ）などのフィルタを適用する方法などがある。

ステップＳ３ではステップＳ２で作成したエッジ抽出画像に対して線分抽出処理を行う。具体的な処理方法としては、例えば画像処理においてロバストな直線検出手法として多く使用されているハフ変換を利用してもよい。ハフ変換では、Ｘ−Ｙ平面における求めたい直線をパラメータｐ、ｑを用いてＹ＝ｐＸ＋ｑで表すとき、画素（Ｘ，Ｙ）ごとにパラメータ空間ｐ−ｑにｑ＝Ｙ−ｐＸの軌跡を描く。多くの軌跡が交わる点のパラメータ（ｐ、ｑ）を持つ直線が、画像中に存在するものとみなす。このような処理を用いた例を図５Ａ〜図５Ｄに示す。

図５Ａは撮像装置１００が水平に対して傾きを有したまま撮影してしまった画像の例である。図５Ｂは図５Ａの元画像に対してエッジ検出、線分抽出を行った結果の例である。太線で示した線分が抽出線分である。図５Ｂを見ると全ての線分が抽出されているわけではないことがわかる。線分抽出の感度は前述したハフ変換の説明のｐ−ｑ平面における“多くの軌跡が交わる点のパラメータ（ｐ、ｑ）”を抽出する際の閾値の設定に依存する。また一般的によく行われる処理として、ハフ変換で線分候補を抽出した後、さらに線分の長さやエッジ検出画像での輝度の大きさなどに基づいてフィルタリングを行ってもよい。これらのフィルタ処理をチューニングすることによりノイズに強い傾き角検出が可能となる。

ステップＳ４ではステップＳ３で抽出した線分の傾き角を求め、その分布を得る。ここで傾き角は前述のように水平方向を０度とする。また±９０度の範囲の値をとることとする。図５Ｃに図５Ｂの抽出線分の傾き角θの分布を模式的に示す。図５Ｃでは元画像の略水平方向の線分と略鉛直方向の線分によって２つのピークができる。

ステップＳ５でこのピーク位置を検出し、水平方向および鉛直方向を決定する。前述のように、一般的には９０度間隔で水平方向と鉛直方向の２つのピークができる。これら２つのピークを検出し、画像の水平方向の角度θ_Ｈおよび鉛直方向の角度θ_Ｖを求める。これらを精度よく検出するために、図５Ｃに示されるような角度分布の−９０≦θ＜０[deg]の範囲のデータと０≦θ＜９０[deg]の範囲のデータを重ね合わせた分布データに対してピーク検出を行う。これにより水平鉛直方向検出の精度を上げることができる。

最後にステップＳ６では、ステップＳ５で検出した画像内の水平方向および鉛直方向の角度を基に最終的な画像の傾き角度を求める。ここで、画像の傾き角度を例えばθ_Ｈとすると撮影時の撮像装置１００の傾き角は、−θ_Ｈとなる。

次にマイコン１４内の装置傾き角算出処理部１３の動作を説明する。

図７は、本発明の実施の形態１における撮像装置１００のマイコン１４に格納された処理プログラムのフローチャートである。傾き補正スイッチ（図示せず）がＯＮされると図７に示した一連の処理が開始される。なお、図７には記載していないが、１回の処理ループは、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みをかけることにより、行われる。その割り込みをかける周期は角度センサ８ａから角度信号を取得する周期（１／６００秒ごと）とする。

まず傾き補正スイッチがＯＮされると、ステップＳ１０１においてＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する制御信号値を０度に相当する初期値に設定する。

またステップＳ１０２において、マイコン１４に内蔵のカウンタ（以下、「ＣＮＴ」と略記する）をゼロに設定する（カウンタのリセット）。さらにステップＳ１０３において、画像傾き角検出処理部７において最初の画像からの傾き角度検出が完了するまで待機する。

画像傾き角検出処理部７における最初の画像からの傾き角度の検出が完了し、タイマーによる割り込みがかけられると、まずステップＳ１０４でＣＮＴ値に応じて、処理をステップＳ１０５もしくはステップＳ１０６へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０５において、画像傾き角検出処理部７から画像の傾きの角度を取得する。ＣＮＴ値がゼロでない場合は、ステップＳ１０６に移行し、Ａ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号を取得する。

次に、ステップＳ１０７で再びＣＮＴ値に応じて、処理をステップＳ１０８もしくはステップＳ１０９へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０８において、後述する換算式をステップＳ１０５で取得した画像の傾き角度を用いて更新する。ＣＮＴ値がゼロでない場合は、ステップＳ１０９において、ステップＳ１０６にて取得した角度信号から後述する換算式を用いて撮像装置１００の傾きを算出する。

ステップＳ１１０ではステップＳ１０９で算出した撮像装置１００の傾きによって生じる撮影画像の傾きを解消する方向にレンズ鏡筒２を回転させるための制御信号値を算出し、これをＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。

ステップＳ１１１ではＣＮＴ値を角度センサ８ａからの１秒あたりの角度信号読み込み回数６００と比較し、ＣＮＴ値がもしも６００ならばＣＮＴをリセット（ステップＳ１１２）し、６００でなければＣＮＴを１だけカウントアップする。

以上のように構成された実施の形態１に関し、以下その動作を、マイコン１４に格納された処理プログラムを基に説明する。

撮像装置１００の操作者の指示などにより傾き補正が動作の状態にされると図７に示した一連の処理が開始される。

まず、撮影された画像から画像傾き角検出処理部７によって、画像の傾きの角度の検出が開始される。略同時に角度センサ８ａも撮像装置１００自体の傾きの検出を開始する。初期の状態ではＣＮＴ値はゼロであり（ステップＳ１０２）、ステップＳ１０３で画像傾き角検出処理部７による画像の傾き角度の検出の完了を待つ。画像傾き角検出処理部７による画像の傾き角度の検出が完了したことを知る方法は、例えば一定時間のタイマー処理でウエイトをかける方法や、画像傾き角検出処理部７が処理完了を割り込みや通信でマイ
コン１４に伝えるなど様々な方法が考えられるが、実施の形態１においては、方法は特に限定されない。

画像傾き角検出処理部７による画像の傾き角度の検出が完了すると、ステップＳ１０４にてＣＮＴ値が確認される。最初はＣＮＴ値はゼロのため、ステップＳ１０５において画像傾き角検出処理部７によって検出された画像の傾き角度が取得される。

次にステップＳ１０６においてはＡ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号が取得される。

次にステップＳ１０７においてＣＮＴ値がゼロであるため、ステップＳ１０８に移行し、ステップＳ１０５で取得した角度信号を角度に換算するための換算式を更新する。ここで角度信号から角度を換算する換算式の更新について、図８を用いて説明する。

まず換算式は、（数１）に示したような式となるが、これはあくまでも換算式の初期値である。その理由は、角度センサ８ａは例えば重力加速度の方向や大きさを検出する物理的センサであり、その特性は部品ごとにばらつきや温度特性を有することが一般的だからである。個別に角度センサ８ａの特性を調整するなどの処理をしない場合、角度センサ８ａごとに特性のばらつきが発生する。このため、角度信号値から換算式によって得られる角度の値が正しいとは限らない。また、角度センサ８ａを個別に調整したとしても、経年変化や温度変化によって、やはり得られる角度の値が正しい保証はない。一方、画像傾き角検出処理部７から得られる画像の傾きの角度値は、個体ばらつきや経年変化や温度変化による影響を受けない。

そこでステップＳ１０８においては、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。図９に示すようにステップＳ１０５で取得した画像の傾き角度をθ２、ステップＳ１０６で取得した角度信号をｂとすると、図８および（数１）に示した初期状態の換算式では、角度信号がｂの場合、換算結果の角度はθ３となる。仮に角度信号に応じて正しく撮像装置１００の傾き角度が検出されており、且つレンズ鏡筒２がこの傾き角度に合致して回転していれば、撮影された画像の傾きは０度である。つまり撮影画像は水平を保たれて撮影されているので、θ２は０となる。しかし、角度信号値から換算式によって得られる角度の値が正しくない場合、撮影された画像は傾いた状態で撮影されるため、θ２は何らかの値を持つ。そしてこのθ２の値は角度信号値から換算式によって得られる角度の値の誤差に相当するといえる。したがって、θ３から誤差であるθ２を除いた値が撮像装置１００の正しい角度であることとなる。そこでθ３からθ２を除いた値とθ３を比較し、両者が等しければ換算式の更新は不要と判断する。逆にθ３からθ２を除いた値とθ３が異なる場合、θ３からθ２を除いた値を新たにθ４として、換算式の傾きを以下の（数３）よって算出し、

このＫ’を用いて換算式を以下の（数４）のように更新する。

次にステップＳ１０９では、ステップＳ１０８において更新された換算式（数４）を用
いてステップＳ１０６で取得した角度信号から撮像装置１００の傾き角度を算出する。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号を生成し、Ｄ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。この制御信号に基づきレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。

ステップＳ１１１、ステップＳ１１２、ステップＳ１１３はＣＮＴ値をリセットもしくはカウントアップするステップであり、ＣＮＴ値が６００の場合はＣＮＴ値をゼロにリセットし、ＣＮＴ値が６００未満の場合は、１だけカウントアップを行う。

これら一連の処理が完了すると、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みがかけられ、ステップＳ１０４以降のループ処理が繰り返される。

２回目以降のループでは、ＣＮＴ値がゼロではないため、ステップＳ１０５およびステップＳ１０８は実施されず、ステップＳ１０６で取得された角度信号を基に、ステップＳ１０８で更新された換算式によって、撮像装置１００の傾きの角度が算出される。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号が生成される。そして、上述したようにレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。

これらのループが繰り返され、ＣＮＴ値が６００となりステップＳ１１２にてＣＮＴがゼロにリセットされた次のループでは、再度、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）が行われる。

このように、一定周期ごとに、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、角度信号から角度を算出する換算式が絶えず更新されている。このため、精度の高い角度検出および撮像装置１００の傾きの補正を実現することができる。

以上のように、実施の形態１においては、マイコン１４は、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置１００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出が可能となる。さらに、この検出された傾き角度を利用して撮像装置１００の傾きを補正することにより、精度の高い傾き補正を実現することが可能である。

（実施の形態２）
本発明の実施の形態１においては、撮像装置１００の傾きに起因する撮影画像の傾きを補正するために、レンズ鏡筒２を回転駆動する構成を説明したが、レンズ鏡筒２の代わりに撮像素子３を回転することで撮影画像の傾きを補正する構成も考えられる。実施の形態２は、撮像素子３を回転することで撮影画像の傾きを補正するものである。

図１０は、本発明の実施の形態２における撮像装置２００の構成を示すブロック図を示すものである。実施の形態１と同様な部分には同じ符号を付して説明を省略し、異なる部分についてのみ説明する。図１０において、撮像素子回転機構１９は撮像素子３を撮像光学系１の光軸を中心に回転させるための機構である。撮像素子回転駆動部１８は、本発明の実施の形態１の鏡筒回転駆動部１６と同様に、撮像素子回転機構１９を回転駆動するためのものであり、これによって撮像素子回転機構１９が回転運動し、結果的に撮像素子３が回転して撮影時の画像の傾きが補正される。撮像素子回転機構１９の概略構成を図１１
に示す。

図１１において、撮像素子回転機構１９は、回転台１９１と固定枠１９２と駆動源１９３とからなる。撮像素子３は回転台１９１上に固定され、回転台１９１は回転自在に固定枠１９２上に設置される。また固定枠１９２上に固定される駆動源１９３は図示しないＤＣモーターなどのアクチュエータとその回転駆動力を回転台１９１に伝達するギアボックスからなる。

撮像素子回転駆動部１８はマイコン１４からＤ／Ａ変換部１５を介して回転制御信号を受け、駆動源１９３に含まれるアクチュエータをコントロール可能な信号に変換し、変換された信号を出力する。この信号を受け取った駆動源１９３は、その指示に従って駆動力を発生させ、回転台１９１および撮像素子３を回転駆動させる。回転台１９１および撮像素子３の回転移動量は固定枠１９２に固定された図示しない位置検出器で検出する。位置検出器は、磁気センサを固定枠１９２に設けるような構成を有する。磁気センサは、例えば回転台１９１の内周に描かれたスリット状の磁気パターンが作る磁界の強さの強弱を読み取る。このような位置検出器の出力は撮像素子回転駆動部１８に返され、そのパルス数をカウントすることにより位置がわかる。この情報を使ってフィードバック制御ループを形成することによって精度よく撮像素子３の位置決めが可能となる。

このように構成された実施の形態２においては、実施の形態１と同様にＤ／Ａ変換部１５を介してマイコン１４から供給される制御信号によって撮像素子３が回転され、撮像装置２００の傾きに起因する撮影画像の傾きが補正される。

また実施の形態１と同様に、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置２００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出および撮像装置２００の傾きの補正を実現することが可能である。

（実施の形態３）
以下、本発明の実施の形態３における撮像装置３００について、図１２〜図１６を用いて説明する。図１２は本発明の実施の形態３における撮像装置３００の構成を示すブロック図、図１３は角速度算出処理のブロック図、図１４は角度変化量算出処理のブロック図、図１５、１６は装置傾き角算出処理のブロック図である。また、実施の形態３においては、画像傾き角から求めた装置の傾き角度と傾きセンサで求めた装置の傾き角度を区別するために、前者をα_Ｉと表し画像傾き角と呼び、後者をα_Ｓと表して装置傾き角と呼ぶことにする。

図１２を用いて実施の形態３における撮像装置３００の構成について説明する。実施の形態３が実施の形態１および実施の形態２と異なる点は、撮像装置３００の傾きセンサとして角度センサに代えて角速度センサを使用する点である。その他の構成は、実施の形態１および実施の形態２と同じであるので同様な部分には同じ符号を付し、説明を省略する。

角速度センサ８ｂは被写体に対してローリング方向の角速度を検出するように撮像装置３００の任意の位置に固定された所謂ジャイロセンサである。ジャイロセンサの出力としてはアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合を取り上げている。角速度センサ８ｂから出力される電圧信号はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１へと順次送られ処理される。デジタルＬＰＦ２０ｂでは主に高周波ノイズを削除す
るためのローパスフィルタ処理が必要に応じて行われる。角速度算出処理部２１では後述する電圧値の角速度への変換が行われ、角度変化量算出処理部２２では後述する角速度の角度変化量への変換が行われる。

装置傾き角算出処理部１３では画像傾き角検出処理部７から出力される傾き角を用いて角度変化量算出処理部２２から出力される角度変化量を補正し撮像装置３００の傾き角を算出する。その詳細な動作については後述する。

デジタル処理であるデジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２、装置傾き角算出処理部１３は、マイコン１４の内部に実現される。またマイコン１４は撮像素子駆動部１７を介して撮像素子３の撮影タイミングなどの動作を制御する。

次に角速度算出処理部２１で実行される処理について図１３を用いて説明する。

既に説明したように角速度センサ８ｂのアナログ電圧出力はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理を施され、Ａ／Ｄ変換部１２ｂのサンプリング周波数ｆ_Ｓ[Hz]にてデジタル化された電圧信号Ｖ(ｎ・Ts)[V]となる。ここでTsはサンプリング周期[sec]、ｎは整数である。角速度算出処理部２１にはこのデジタル化された電圧信号が入力される。これに対して（数５）に示す演算を行い角速度ω(ｎ・Ts)[deg/sec]を出力する。

（数５）を実現するブロック図を図１３に示し、これについて説明する。角速度算出処理部２１の内部ではまず入力信号が分岐され、一方は加算器５１に、他方は移動平均算出処理部５０に入力される。移動平均算出処理部５０では最近数十点分の電圧値の平均（移動平均電圧値と呼ぶ）を算出し、加算器５１へと出力される。移動平均電圧値は角加速度０のときの基準電圧となる。加算器５１では、最新の電圧値から移動平均電圧値を減算し、差分電圧値が出力される。乗算器５２では予め設定された感度定数Ｓ[V/deg/sec]での割り算を実行する。これにより差分電圧値は角速度ω(ｎ・Ts)[deg/sec]に変換される。

次に角度変化量算出処理部２２で実行される処理について説明する。角度変化量算出処理部２２では角速度ω(ｎ・Ts)[deg/sec]を積分し、角度変化量φ(ｎ・Ts)[deg]を出力する。具体的には図１４に示すように、まず乗算器５３において角速度ω(ｎ・Ts)[deg/sec]に対してＡ／Ｄ変換部１２ｂのサンプリング周期Ts[sec]を掛け合わせる。次に加算器５４において積分処理を行う。

次に装置傾き角算出処理部１３で実行される処理について説明する。装置傾き角算出処理部１３では角度変化量算出処理部２２から角度変化量φ(ｎ・Ts)[deg]と画像傾き角検出処理部７から画像傾き角α_Ｉ(ｍ・Ti)[deg]が入力される。ここでTiは画像傾き角α_Ｉのサンプリング周期[sec]、ｍは整数である。画像傾き角α_Ｉ(ｍ・Ti)[deg]を基準として、角度変化量φ(ｎ・Ts)[deg]の絶対値の補正を行う。具体的には図１５に示すように、加算器５５において角度変化量φ(ｎ・Ts)[deg]から、補正値算出処理部５９からの入力
値である補正値Ｃ(ｎ・Ts)[deg]を減算する。これにより撮像装置３００の傾き角α_Ｓ(ｎ・Ts)[deg]が得られる。装置傾き角α_Ｓ(ｎ・Ts)[deg]は装置傾き角算出処理部１３から出力される一方で装置傾き角保存メモリ５６に送られる。装置傾き角保存メモリ５６に保存された値は加算器５７に送られる。加算器５７では装置傾き角α_Ｓ(ｎ・Ts)[deg]から、画像傾き角検出処理部７からの入力値である画像傾き角α_Ｉ(ｍ・Ti)[deg]が減算される。

この差分値（α_Ｓ(ｎ・Ts)−α_Ｉ(ｍ・Ti)）[deg]が差分値保存メモリ５８に代入される。この差分値が０となるよう、補正値算出処理部５９にて補正値Ｃ(ｎ・Ts)[deg]を変更することにより装置傾き角α_Ｓ(ｎ・Ts)[deg]へのフィードバックを行う。この差分値算出の際、装置傾き角α_Ｓ(ｎ・Ts)[deg]と画像傾き角α_Ｉ(ｍ・Ti)[deg]のサンプリングタイミングは同期していなければならない。そこで装置傾き角保存メモリ５６の更新、加算器５７での減算処理、差分値保存メモリ５８の更新はマイコン１４のタイミング管理下で画像傾き角検出処理部７の処理周期ｆ_Ｉ[Hz]に同期して行われる。つまりマイコン１４は、画像傾き角検出処理部７から処理結果出力（画像傾き角の更新）のタイミングを受け、装置傾き角算出処理部１３に差分値保存メモリ５８の更新処理を指示する。ここで差分値保存メモリ５８の更新処理とは、装置傾き角保存メモリ５６から受け取る装置傾き角と、画像傾き角検出処理部７から受け取る画像傾き角を加算器５７で減算処理し、その結果を差分値保存メモリ５８に代入する一連の処理を指す。

その後マイコン１４は、次に画像傾き角検出処理部７に送る画像信号の撮像素子３における露光終了タイミングを特定し図示しない結線を通して装置傾き角保存メモリ５６に送る。装置傾き角保存メモリ５６ではマイコン１４からタイミングの指示を受け、保持している装置傾き角α_Ｓ(ｎ・Ts)[deg]の値を更新する。さらにマイコン１４はこの露光終了タイミングで取り込んだ画像信号をカメラ信号処理部４で処理した結果が次に画像傾き角検出処理部７に送られるよう制御する。

なおここでは露光終了タイミングを送ることとしたが、露光開始タイミングあるいは露光開始と終了の間のいずれかのタイミングを送るようにしても実用上問題ない。傾き補正の場合、手ブレ補正と異なり比較的低い数Ｈｚ程度の周波数の動きを補正対象とするからである。

補正値算出処理部５９では補正値Ｃ(ｎ・Ts)[deg]の更新を行う。その際補正値Ｃ(ｎ・Ts)[deg]の急変を避けるため、差分値保存メモリ５８から受け取った差分値（α_Ｓ(ｎ・Ts)−α_Ｉ(ｍ・Ti)）[deg]を分割して補正値Ｃ(ｎ・Ts)[deg]に加算するように構成している。具体的には差分値保存メモリ５８から受け取る差分値（α_Ｓ(ｎ・Ts)−α_Ｉ(ｍ・Ti)）[deg]に対して乗算器６０で（ｆ_Ｉ／ｆ_Ｓ）を乗算する。加算器６１では乗算器６０の出力値の積分処理を行う。

次に撮像素子回転駆動部１８は装置傾き角算出処理部１３から受け取る装置傾き角α_Ｓ(ｎ・Ts)[deg]に応じて撮像素子３を撮像素子３の光軸周りに−α_Ｓ(ｎ・Ts)[deg]回転駆動し、得られる撮影画像の水平を保つようにする。

以上のような実施の形態によれば、角速度センサ（ジャイロセンサ）８ｂを使用することにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることなく角速度を取得することが可能となる。また角速度センサ８ｂを使用する場合、角速度から角度変化量は積分計算により容易に求めることができるが、傾き角、つまり水平からの絶対的な傾き角はわからないという問題があった。この問題は、傾き角が出力可能な画像傾き角検出部を組み合わせることにより解決され、傾き角を得ることが可能となった。

また温度特性／経時変化のない画像傾き角検出部で傾き角を補正することにより角速度センサ（ジャイロセンサ）の温度特性／経時変化の影響を排除した正確な傾き角を取得することが可能となる。

また本実施の形態においては、角速度算出処理部２１と角度変化量算出処理部２２を分割していたが、図１６に示すような両者を融合した形態としてもよい。図１６は図１５の結線を一部変更したのみであり、説明は省略する。

（実施の形態４）
以下、本発明の実施の形態４における撮像装置４００について、図１７〜図２０を用いて説明する。実施の形態４における撮像装置４００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置４００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。

実施の形態４の撮像装置４００における主な構成は、実施の形態３の構成と同じである。相違点は加速度センサを備え、その出力値を利用して画像傾き角検出処理の高精度化を図った点である。

図１７は本発明の実施の形態４における撮像装置４００の構成を示すブロック図、図１８は加速度算出処理のブロック図、図１９はコアリング処理部での入出力特性を示す図、図２０Ａ、図２０Ｂおよび図２０Ｃは傾き角検出処理の処理過程の説明図である。

実施の形態３と共通する部分は同じ符号を付して説明を省略し、実施の形態３と異なる部分のみ説明を行う。

加速度センサ８ｃは、撮像装置４００から被写体側へ伸ばした光軸ＡＸに対して垂直で且つ撮影画像の横方向に相当する方向の加速度を検出するように撮像装置４００の任意の位置に固定されている。加速度センサ８ｃの場合もジャイロセンサの出力と同じようにアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合について説明する。加速度センサ８ｃから出力される電圧信号は、ＨＰＦ９ｃ、ＬＰＦ１０ｃ、アンプ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃ、加速度算出処理部２３へと順次送られ処理される。デジタルＬＰＦ２０ｃでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。加速度算出処理部２３では後述する電圧値の加速度への変換が行われる。

参照傾き角算出処理部２４では後述する加速度の傾き角への変換が行われる。画像傾き角検出処理部７では画像内の被写体の水平に対する傾き角の検出処理が行われる。基本的なアルゴリズムは実施の形態１で説明したものと同じである。相違点は、参照傾き角算出処理部２４から受け取った参照傾き値を利用して傾き角算出精度の向上を図る点である。その詳細な動作については後述する。デジタル処理であるデジタルＬＰＦ２０ｃ、加速度算出処理部２３、参照傾き角算出処理部２４は、マイコン１４の内部に実現される。

以下、実施の形態４の撮像装置４００の動作について実施の形態３と異なる部分のみ説明する。

まず加速度算出処理部２３で実行される処理について図１８を用いて説明する。既に説明したように、加速度センサ８ｃのアナログ電圧出力はＨＰＦ９ｃ、ＬＰＦ１０ｃ、アン
プ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理が行われ、Ａ／Ｄ変換部１２ｃでサンプリング周波数ｆ_Ｓ[Hz]にてデジタル化された電圧信号Ｖａ(ｎ・Ts)[V]となる。ここでもTsはサンプリング周期[sec]、ｎは整数である。加速度算出処理部２３には、このデジタル化された電圧信号が入力される。これに対してコアリング処理部８０では残留ノイズの影響により測定値が微小に振動して後の処理に悪影響を与えることを避けるために（数６）で示される変換を行う。図１９に入出力特性を示す。

０Ｇ電圧保存メモリ８１には加速度センサ８ｃが０Ｇ検出時の出力電圧値定数が保存されている。加算器８２にて、コアリング処理後の電圧信号から０Ｇ電圧を減算する。乗算器８３でこの減算結果に対して感度定数Ｓ_Ｇ[V/G]の逆数を掛け合わせることにより加速度Ａを得る。

参照傾き角算出処理部２４では、撮像装置４００から被写体側へ伸ばした光軸ＡＸ周りの傾き角α_Ｇを（数７）に従い加速度Ａから求める処理を行う。

こうして求めた傾き角α_Ｇを参照傾き角と呼ぶこととする。画像傾き角検出処理部７では、基本的には実施の形態１の場合とほとんど同じ処理を行う。相違点は、図４のステップＳ５にてピーク検出を行う際、±９０度全範囲をサーチする代わりに、参照傾き角α_Ｇの近傍のみをサーチする点である。この点について図２０Ａ〜図２０Ｃを用いて説明する。図２０Ａは傾きを有して撮影されてしまった画像の例である。この画像の特徴は、本来の水平／垂直方向の線分と斜めの線分の分布の差が小さいことである。そのため、この画像に対して図４のフローチャートに従い、抽出線分の角度分布算出までの処理を実施すると図２０Ｂに模式的に示すような角度分布が得られる。このようなケースで±９０度全範囲をサーチすると間違ってα_Ｅを画像傾き角と判定してしまう可能性がある。そこで参照傾き角α_Ｇを用いて、図２０Ｂに示すようにピークサーチ範囲をα_Ｇ±βに制限する。こうすれば図２０Ｂに示すα_Ｉを画像傾き角として検出することができ、エラーの発生を防ぐことができる。ここでβの値は加速度センサの傾き角検出精度に略一致する値に設定すればよい。現状市販されているＭＥＭＳを利用した加速度センサの場合は、５〜１０度程度が望ましい。

上述のように、実施の形態４によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角α_Ｉを求めることが可能となる。こうして求めた画像傾き角α_Ｉを用いて装置傾き角α_Ｓを補正し、傾き補正を実行すれば図２０Ｃに示すような水平が正しく保たれた画像を精度よく得ることが可能となる。

なお実施の形態４では１軸の加速度センサを用いたがこれに限定されない。１軸であれば±９０度の範囲しか検出できないが、例えば、撮像装置４００から被写体側へ伸ばした光軸ＡＸに垂直な方向に、互いに直交した２軸の加速度センサを用いた場合には±１８０度の範囲で傾き角の検出が可能になる。

（実施の形態５）
以下、本発明の実施の形態５における撮像装置５００について、図２１〜図２４を用いて説明する。実施の形態５における撮像装置５００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置５００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。

実施の形態５の撮像装置５００における主な構成は、実施の形態３の構成と同じである。相違点は手ブレ補正装置を備え、その装置内にあるアクチュエータの駆動電流量を利用して参照傾き角を検出し、画像傾き角検出処理の高精度化を図った点である。

図２１は本発明の実施の形態５における撮像装置５００の構成を示すブロック図、図２２はヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図、図２３Ａ、図２３Ｂおよび図２３Ｃは撮像装置５００の傾き角とピッチング保持枠の関係を示す図、図２４は撮像装置５００の傾き角とコイルの駆動電流の関係を示す図である。ここでも、実施の形態３と共通する部分には同じ符号を付して説明を省略し、実施の形態３と異なる部分、具体的には手ブレ補正装置および参照傾き角算出処理部の説明を行う。

まず手ブレ補正装置および参照傾き角算出処理部の構成について図２１、図２２を用いて説明する。

手ブレ補正装置は、被写体に対してヨーイング方向およびピッチング方向の撮像装置５００の角度変化量を検出し、この角度変化量に起因する光路のシフトを、撮像光学系１を構成するレンズ群の１つであるレンズ群Ｌ２を撮像画面の水平／垂直方向に駆動することにより補正する。図２１において手ブレ補正装置はヨーイング方向角速度センサ２５、ＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１、ヨーイング方向駆動制御部３２、ピッチング方向角速度センサ３３、ＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９、ピッチング方向駆動制御部４０、撮像光学系１からなる。ヨーイング方向角速度センサ２５およびピッチング方向角速度センサ３３は被写体に対してそれぞれヨーイング方向、ピッチング方向の角速度を検出するように撮像装置５００の任意の位置に固定された所謂ジャイロセンサである。ヨーイング方向角速度センサ２５の出力に対するＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１の処理およびピッチング方向角速度センサ３３の出力に対するＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９の処理は、実施の形態３のＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２の処理と同じであるため、説明を省略する。ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０は、それぞれ角度変化量算出処理部３１、角度変化量算出処理部３９から受け取った角度変化量に基づき、光軸補正用レンズ群Ｌ２を光軸ＡＸに垂直な面内で駆動し、画像の動きを補正する。

次に、実施の形態５に用いる手ブレ補正装置の機構部詳細について、図２２を用いて説明する。図２２において、手ブレ補正機構部９０はヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０の一部であり、ピッチング保持枠９１と、ヨーイング保持枠９２と、固定枠９５と、ヨーイング用アクチュエータ９９ｘと、ピッチング用アクチュエータ９９ｙと、発光素子１００と、受光素子１０１とを含む。

ピッチング保持枠９１は、コイル９４ｘ、９４ｙを有する。第２レンズ群Ｌ２および発光素子１００は、ピッチング保持枠９１に固定されている。ピッチング保持枠９１は、２本のピッチングシャフト９３ａ、９３ｂを介して、ヨーイング保持枠９２に対し、Ｙ方向に摺動可能に保持される。

ヨーイング保持枠９２は、ヨーイングシャフト９６ａ、９６ｂを介して、固定枠９５に対し、Ｘ方向に摺動可能に保持される。

ヨーイング用アクチュエータ９９ｘは、マグネット９７ｘと、ヨーク９８ｘとを有し、固定枠９５に保持される。同様に、ピッチング用アクチュエータ９９ｙは、マグネット９７ｙと、ヨーク９８ｙとを有し、固定枠９５に保持される。

受光素子１０１は、固定枠９５に固定され、発光素子１００の投射光を受光し、２次元の位置座標を検出する。

またヨーイング方向駆動制御部３２にはヨーイング用アクチュエータ９９ｘが動作したときのコイル９４ｘに流れる電流値を検出する図示しないヨーイング電流値検出部があり、参照傾き角算出処理部２４ｃにヨーイング電流値を受け渡す。同様に、ピッチング方向駆動制御部４０にはピッチング用アクチュエータ９９ｙが動作したときのコイル９４ｙに流れる電流値を検出する図示しないピッチング電流値検出部があり、参照傾き角算出処理部２４ｃにピッチング電流値を受け渡す。

参照傾き角算出処理部２４ｃは、ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取ったヨーイング電流値およびピッチング電流値を用いて後述する撮像装置５００の傾き角の算出を行う。

またデジタル処理であるデジタルＬＰＦ２９、角速度算出処理部３０、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３１、角度変化量算出処理部３９、参照傾き角算出処理部２４ｃは、マイコン１４の内部に実現される。

次に、実施の形態５における撮像装置５００の手ブレ補正装置および参照傾き角算出処理部２４ｃの動作について、図２１、図２２を用いて説明する。

撮像装置５００の動作時、撮像装置５００に加わる手ブレや振動は、ヨーイング方向角速度センサ２５、ピッチング方向角速度センサ３３により検知される。それぞれの検出電圧は既に説明したように角度変化量に変換され、ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０に送られる。ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０は受け取った角度変化量を基に手ブレなどを打ち消すための制御信号を生成し、手ブレ補正機構部９０を駆動する。この制御信号に応じた電流は、ピッチング保持枠９１のコイル９４ｘ、９４ｙのそれぞれに供給される。ピッチング保持枠９１は、供給された電流とマグネット９７ｘ、９７ｙとから形成された磁気回路により、光軸ＡＸと直角な２方向Ｘ、Ｙ平面内を移動する。また、ピッチング保持枠９１の位置検出は、受光素子１０１を用いることにより高精度に行われる。すなわち、手ブレ補正機構部９０により第２レンズ群Ｌ２は、光軸と直交する２平面内を移動する。これにより、撮像光学系１を介して撮像素子３に入射する画像の水平および垂直方向のブレ補正を行うことができる。

また手ブレ補正駆動を行う際にコイル９４ｘ、９４ｙに流れる電流値が参照傾き角算出処理部２４ｃに送られる。このときの電流値について図２３Ａ〜図２３Ｃ、図２４を用いて説明する。図２３Ａは傾き角０の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。レンズ群Ｌ２を
所定の位置に保持するためには、Ｙ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyが重力方向（−Ｙ方向）にかかるため、コイル９４ｙにその自重分を持ち上げるための駆動電流Ｉyaを流す必要がある。一方、Ｘ方向に関しては、レンズ群Ｌ２を所定の位置に保持するために自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉxaをコイル９４ｘに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００とヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxがヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｘに流せばよい。

図２３Ｂは傾き角９０度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｘ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００、ヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxが重力方向（−Ｘ方向）にかかるため、コイル９４ｘにその自重分を持ち上げるための駆動電流Ｉxbを流す必要がある。一方、Ｙ方向に関しては、レンズ群Ｌ２を所定の位置に保持するための自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉybをコイル９４ｙに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyがピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｙに流せばよい。なおＭy＜ＭxであるためＩya＜Ｉxbとなる。

図２３Ｃは傾き角θ度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｙ方向に関して、位置保持のための上記の質量和Ｍyの角度θ分の分力（位置保持のための力）と、ピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉycを流す必要がある。一方、Ｘ方向に関しては、上記の質量和Ｍxの角度θ分の分力（位置保持のための力）と、ヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉxcを流す必要がある。以上をまとめると、レンズ群Ｌ２を所定の位置に保持するためにコイル９４ｘ、９４ｙにかかる駆動電流の中央値（静止時駆動電流）は図２４に示すようになる。

参照傾き角算出処理部２４ｃでは、予めコイル９４ｘ、９４ｙにかかるそれぞれの駆動電流の基準電流値および最大電流値を記憶しておく。これらの値を用いてヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取る２方向の駆動電流値を正規化し、その比から傾き角を算出する。これを参照傾き角として画像傾き角検出処理部７に渡す。

画像傾き角検出処理部７では、参照傾き角算出処理部２４ｃから受け取った参照傾き角を用いて実施の形態４で説明した処理と同様の処理を実行する。

上述のように、実施の形態５によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角α_Ｉを求めることが可能となる。こうして求めた画像傾き角α_Ｉを用いて装置傾き角α_Ｓを補正し、傾き補正を実行することが可能となり、水平が正しく保たれた画像を精度よく得ること
が可能となる。

（その他の実施の形態）
本発明の内容は、上述した実施の形態に示された具体例に限定されない。例えば、以下のような変形例も考えられる。

（１）
撮像装置の傾き角を検出するセンサとしては、振り子状の構造物を内蔵した角度センサもしくは傾斜センサや、重力加速度などを検出する加速度センサ、もしくは回転角速度を検出する角速度センサが用いられるが特にいずれかに限るものではない。

（２）
本発明の実施の形態において、角度センサ８は重力の方向（鉛直方向）に対し９０度をなす方向を水平方向として定め、これを角度の基準（角度＝０度）として定め、撮像装置の傾きの大きさおよび方向に応じて正負両方向の角度信号を出力するものとした。しかし、本発明はこれに限られるものではない。鉛直方向を角度の基準（角度＝０度）として撮像装置の傾きの大きさ、方向を検出してもよい。

（３）
本発明の実施の形態において、傾きの補正を行う際、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸を中心に回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば図２５に示したように光軸と平行する軸を中心として回転させても撮影画像の傾きを補正することが可能である。本発明においても、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸と平行する軸を中心として回転させてもよい。

（４）
本発明の実施の形態において、図７に示したように画像傾き角検出処理部７が最初に画像からの傾き検出結果を出力するまでは、鏡筒回転駆動部１６もしくは撮像素子回転駆動部１８による傾きの補正が動作しない構成を説明した。しかし、本発明はこれに限られるものではない。例えば、最初の画像傾き角検出処理部７による画像からの傾き検出結果が出力されるまでは、角度センサ８ａから得られる角度信号と初期の換算式から算出される傾き角度によって撮影画像の傾き補正を行ってもよい。

（５）
本発明の実施の形態において、角度センサ８ａから得られた角度信号を角度に換算するための関係式の例として図８、図９を示した。しかし、本発明はこれに限るものではない。例えば図２６のように原点を通らない１次直線の関係でもよい。もちろん２次以上の高次でもよい。また原点を通らない１次直線の関係や２次以上の高次の場合、換算式を校正する際には、画像傾き角検出処理部７から検出される画像からの傾き検出結果を複数用いて換算式を校正すればよい。

（６）
本発明の実施の形態において、画像傾き角検出処理部７による画像からの傾き検出は撮影周期ごととして説明を行った。しかし、本発明はこれに限られるものではない。実施の形態において用いる角度センサの特性、性能を考慮して、任意に周期を設定するのが有効である。その際、画像傾き角検出処理部７による画像からの傾き検出の周期を低減すれば、機器の消費電力の低減などの新たな効果が実現可能である。

（７）
本発明の実施の形態において、マイコン１４によるプログラム処理による例を示した。
しかし、本発明はこれに限られるものではない。マイコン１４によるプログラム処理を電子回路などのハードウェアにより実現することが可能であることは言うまでもない。

（８）
本発明の実施の形態において、撮像装置の撮像素子数に関しては特に言及しなかった。しかし、単板式撮像装置、２板式撮像装置、３板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。

（９）
本発明の実施の形態において、傾き補正部として、レンズ鏡筒２もしくは撮像素子３を回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば撮像装置を固定する雲台を回転させて傾きを補正する構成でもよい。この場合、雲台を回転駆動するための制御信号を撮像装置の外部に出力し、これを基に雲台が駆動制御される構成が考えられる。さらには、機械的な構成のみでなく、例えば撮影画像の水平を保つための方法として撮像素子２を回転駆動する代わりに画像信号に対して画像処理を行い、傾き角を補正するように画像を回転させてもよい。

２００７年７月１３日出願の特願２００７−１８３９５７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、例えば、傾き補正機能を有するデジタルカメラやビデオムービーなどの撮像装置に利用することが可能である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 同撮像装置のレンズ鏡筒とその回転方向を示す模式図 同撮像装置の画像傾き角検出処理部から出力される撮影画像の傾きの角度と、角度センサからの撮像装置の傾きに関する角度信号を、マイコンが取得するタイミングの一例を示す模式図 同撮像装置の画像傾き角検出処理のフローチャート 同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図 同撮像装置の画像傾き角検出処理の処理過程の説明図であって、線分抽出結果の例を示す図 同撮像装置の画像傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図 同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾き補正後の画像を示す図 同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の一例を示す図 同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の他の例を示す図 同撮像装置のマイコンに格納された処理プログラムのフローチャート 同撮像装置の角度信号から角度を換算する換算式の一例を説明するための図 同撮像装置の角度信号から角度を換算する換算式の更新方法を説明するための図 本発明の実施の形態２における撮像装置の構成を示すブロック図 同撮像装置の撮像素子回転機構の概略構成を示す斜視図 本発明の実施の形態３における撮像装置の構成を示すブロック図 同撮像装置の角速度算出処理のブロック図 同撮像装置の角度変化量算出処理のブロック図 同撮像装置の装置傾き角算出処理のブロック図 同撮像装置の装置傾き角算出処理のブロック図 本発明の実施の形態４における撮像装置の構成を示すブロック図 同撮像装置の加速度算出処理のブロック図 同撮像装置のコアリング処理部での入出力特性を示す図 同撮像装置の傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図 同撮像装置の傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図 同撮像装置の傾き角検出処理の処理過程の説明図であって、正しい傾き補正後の画像を示す図 本発明の実施の形態５における撮像装置の構成を示すブロック図 同撮像装置のヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図 同撮像装置の傾き角が０度の場合のピッチング保持枠を示す図 同撮像装置の傾き角が９０度の場合のピッチング保持枠を示す図 同撮像装置の傾き角がθ度の場合のピッチング保持枠を示す図 同撮像装置の傾き角とコイルの駆動電流の関係を示す図 同撮像装置のレンズ鏡筒とその回転方向を示す他の例の模式図 同撮像装置の角度信号から角度を換算する換算式の他の更新方法を説明するためのグラフ

Claims (9)

1. 被写体の光学的な像を形成する撮像光学系と、前記形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、
   前記撮像装置のローリング方向の傾きの角度を検出する角速度センサを有する装置傾き角検出部と、
   前記画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、
   前記装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部と、
   前記画像傾き角検出部によって検出された像の傾きの角度によって、前記装置傾き角検出部の検出結果及び前記角度変化量を校正して装置傾き角を算出する装置傾き角算出部と、を備え、
   前記装置傾き角算出部は、
   前記角速度センサから出力される傾き角を保持する装置傾き角保存メモリと、
   前記装置傾き角保存メモリから出力される傾き角と前記画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、
   前記差分演算器の出力を保持する差分値保存メモリと、
   前記差分値保存メモリの出力を用いて前記角度変化量に加算する補正値を算出する補正値算出部とからなり、
   前記画像傾き角検出部の動作タイミングに合わせて前記差分値保存メモリの保持する内容を更新し、前記撮像素子の動作タイミングに合わせて前記装置傾き角保存メモリを更新する、撮像装置。
2. 前記装置傾き角算出部の算出結果に基づいて、前記撮像装置の傾きを補正する傾き補正部をさらに備える、請求項１記載の撮像装置。
3. 前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、前記電気的な画像を回転する、請求項２記載の撮像装置。
4. 前記撮像光学系を格納し、前記撮像素子が固定されたレンズ鏡筒をさらに備え、
   前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、請求項３記載の撮像装置。
5. 前記傾き補正部は、前記画像信号に変換された像の水平または垂直が、被写体と一致するように前記撮像素子を光軸または光軸に平行する軸を中心に回転する、請求項３記載の撮像装置。
6. 前記傾き補正部は、最初の前記校正が完了した後から前記撮像素子を光軸または光軸に平行な軸を中心に回転する動作を開始する、請求項３記載の撮像装置。
7. 前記撮像装置から被写体側への前記撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、
   前記装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
   前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とする、請求項１記載の撮像装置。
8. 前記撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、
   前記第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
   前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とする、請求項１記載の撮像装置。
9. 前記補正値算出部は、
   前記画像傾き角検出部の動作周波数を前記角度変化量算出部の動作周波数で割った値を、前記差分値保存メモリの出力に対して掛け合わせる乗算器と、
   前記乗算器からの出力を積算する積分器と
   からなる、請求項１記載の撮像装置。

Images