JPWO2014156731A1 - 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 - Google Patents

Abstract

本開示は、より効果的な手振れ補正を行うことができるようにする撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関する。被写体を撮像して画像を出力する撮像部と、撮像部が振れた際のブレ角を物理的に検出する検出部と、撮像部が出力する画像を構成する画素の配置位置に依存して異なり、検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って画像を補正する補正処理部と、撮像部から出力される画像と、検出部から出力されるブレ角との同期をとって補正処理部に供給する同期部とを備える。本技術は、例えば、撮像機能を備えた電子機器に適用できる。

Description

本開示は、撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関し、特に、より効果的な手振れ補正を行うことができるようにした撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関する。

従来、デジタルスチルカメラやデジタルビデオカメラなどの撮像機能を備えた電子機器においては、撮像時の手振れを補正してブレのない画像を出力する手振れ補正システムが採用されている。従来の手振れ補正システムには、電子式の手振れ補正と、光学式の手振れ補正との２種類がある。

電子式の手振れ補正は、連続する画像の間で、写されている被写体のブレを画像から検出し、そのブレ量に応じて画像の位置を移動させる画像処理を行うことで手振れを補正する。このような電子式の手振れ補正は、メカニカルな機構が不要であり、構造体を小型化することができる。しかしながら、画像からブレを検出するため、暗所で画像が明確でないときにはブレを検出することが困難であった。また、前の画像と比較するために、前の画像を全て保存するメモリ領域が必要となる。

さらに、電子式の手振れ補正では、手振れ量を２つのフレーム（画）から検出するため、画像中の動きのある物体（動体）なのか、あるいは手振れによる画像のズレなのかの判定をあらゆるシーンで確実に行うことは極めて困難である。この動体と手振れの区別も含めたアルゴリズムは数多く提案されているが、現状では、いまだに改善が行われている。

また、光学式の手振れ補正は、イメージセンサがどのように振れたかをジャイロなどで検出し、その逆補正の分をレンズもしくはイメージセンサを稼働させることによって手振れを補正する。光学式の手振れ補正では、物理的な振れを検出するため、電子式の手振れ補正のような動体と手振れとの誤認識は発生しない。また、前の画との比較も必要ないので、前の画を蓄積するためのフレームメモリが不要である。しかしながら、光学式の手振れ補正では、その稼働部の構造体が大きくなってしまうだけでなく、構造体を動かすために消費電力が大きくなってしまう。

また、従来、撮像素子としてCMOS（Complementary Metal Oxide Semiconductor）イメージセンサを採用した撮像装置では、撮像素子のラインごとに露光期間のずれ（撮像タイミングのずれ）が生じるため、手振れの影響を完全に除去することは困難であった。

そこで、特許文献１に開示されているように、被写体画像における所定のラインが撮像されたときの振動量から算出された補正量に基づいて、被写体画像をラインごとに補正する手振れ補正処理が提案されている（特許文献１参照）。

特開２００６−３０４３１３号公報

ところで、従来の電子式および光学式の手振れ補正のどちらにおいても、画像全体を一様に補正することはできるが、例えば、手振れにより画像に発生する歪みまでは効果的に補正することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、より効果的な手振れ補正を行うことができるようにするものである。

本開示の一側面の撮像装置、固体撮像素子、カメラモジュール、または電子機器は、被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部と、前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部とを備える。

本開示の一側面の撮像方法は、被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、前記撮像部が画像を出力し、前記検出部がブレ角を出力し、前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正するステップを含む。

本開示の一側面においては、被写体を撮像して画像が出力する撮像部と、撮像部が振れた際のブレ角を物理的に検出する検出部とを備え、撮像部が出力する画像を構成する画素の位置と検出部により検出されたブレ角に基づいた補正量が算出され、この補正量に従って画像が補正される。

本開示の一側面によれば、より効果的な手振れ補正を行うことができる。

本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 撮像素子のセンサ面と被写体面との関係を説明する図である。 センサ面が振れる前後の関係を示す図である。 振れによるＹ方向の距離差を説明する図である。 Ｙ軸方向の仰角と被写体距離とをパラメータとして求めた誤差距離δｙの一例を示す図である。 ブレ角θで回転移動したときにおけるＸ方向の補正について説明する図である。 ブレ角θによる瞳位置の変化を説明する図である。 Ｘ軸方向の仰角と被写体距離とをパラメータとして求めた誤差距離δｘの一例を示す図である。 像高と補正量の関係を示す図である。 手振れ補正処理の効果を比較して説明する図である。 手振れ補正処理の効果を比較して説明する図である。 手振れ補正処理の効果を比較して説明する図である。 ジャイロデータと画像データの同期について説明する図である。 ジャイロデータと画像データの同期について説明する図である。 ピッチ角、ヨー角、およびロール角の定義を示す図である。 グローバルシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 グローバルシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 バレルシフト方式による手振れ補正機能を備えた撮像装置の構成例を示す図である。 撮像方法を説明するフローチャートである。 本技術を適用した撮像装置の他の実施の形態の構成例を示すブロック図である。 ＡＦ制御信号の電流値と被写体距離との関係について説明する図である。 所定の被写体距離とＸ方向の誤差距離δｘとの関係の一例を示す図である。 手振れ補正処理の効果を比較して説明する図である。 本技術を適用した固体撮像素子の一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。

図１に示すように、撮像装置１１は、デジタルスチルカメラやデジタルビデオカメラなどのように撮像を主な機能とする電子機器であり、光学系１２、記録媒体１３、ディスプレイ１４、およびカメラモジュール１５を備えて構成される。また、例えば、撮像装置１１としては、撮像を主な機能とする電子機器の他、携帯電話機器、または、いわゆるスマートフォンやタブレットなどと呼ばれる多機能型携帯端末のように撮像機能を備えた電子機器が適応可能とされる。

光学系１２は、１枚または複数枚のレンズを有して構成され、被写体からの光を集光して、カメラモジュール１５が有するイメージセンサ２１のセンサ面に被写体の像を結像する。

記録媒体１３は、撮像装置１１に内蔵型、または、撮像装置１１に着脱可能なリムーバブル型のメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））であり、カメラモジュール１５から出力される画像を記録する。

ディスプレイ１４は、例えば、液晶パネルや有機EL（Electro Luminescence）パネルなどの表示部を有して構成され、カメラモジュール１５から出力される画像を表示する。

カメラモジュール１５は、イメージセンサ２１、ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５を備えて構成される。

イメージセンサ２１は、被写体の光学像を撮像して電気信号に変換するX-Y型の撮像素子と、撮像素子から出力される信号に対する信号処理を施す信号処理部とを有して構成され、被写体が撮像された画像信号を出力する。例えば、イメージセンサ２１は、撮像素子および信号処理部が積層された一体のチップにより構成され、または、撮像素子のチップと信号処理部のチップとが組み合わされたユニットにより構成される。また、信号処理部は、撮像素子の出力を増幅するAGC（Automatic Gain Control：オートゲインコントロール）や、AD（Analog Digital）変換などの前処理、前処理されたディジタル信号を適切な画像信号フォーマット（Bayer、YUV、RGBなど）に変換する処理などを行う。

ジャイロセンサ２２は、イメージセンサ２１の近傍に実装され、イメージセンサ２１が振れた際のブレ角を物理的に（画像処理的にではなく）検出する。例えば、ジャイロセンサ２２は、角速度を検出する検出部であり、一定のタイミングで、検出した角速度から求められるブレ角を示すジャイロデータ（以下、適宜、手振れ量情報とも称する）を出力する。

信号同期部２３は、イメージセンサ２１から出力される画像信号と、ジャイロセンサ２２から一定のタイミングで出力される手振れ量情報との同期をとる同期処理を行って、画像信号および手振れ量情報を手振れ補正処理部２５に出力する。なお、信号同期部２３による同期処理については、図１３および図１４を参照して後述する。

パラメータ保持部２４は、光学系１２およびイメージセンサ２１から構成されるモジュールの幾何光学的な固有パラメータ（例えば、画角やモジュール瞳距離など）を保持する。

手振れ補正処理部２５は、信号同期部２３から出力される画像信号、その画像信号と同期のとれた手振れ量情報、および、パラメータ保持部２４に保持されている固有パラメータに基づいて、画像信号に対する補正量を算出する。そして、手振れ補正処理部２５は、算出した補正量に従って画像信号の手振れを補正する手振れ補正処理を行い、手振れの発生を抑制した画像信号（以下、適宜、手振れ補正画像と称する）に変換して、記録媒体１３およびディスプレイ１４に供給する。なお、手振れ補正処理部２５による詳細な手振れ補正処理については、図１５乃至図２０を参照して後述する。

まず、図２乃至図１２を参照して、手振れ補正処理部２５における手振れ補正処理の原理および評価について説明する。

まず、図２に示すように、イメージセンサ２１のセンサ面Ｓと被写体面との関係を定義する。

被写体面上の各点は、図示しない光学系１２（図１）のレンズの瞳位置Ｉを通過して、センサ面Ｓ上に結像する。例えば、光学系１２の光軸と交差する被写体面上の点Ｃは、瞳位置Ｉを通過してセンサ面Ｓの略中心（ここで、略中心とは、センサ面Ｓの画像上の中心、あるいはセンサ面Ｓの光学的な中心、または、センサ面Ｓの画像上あるいは光学的な中心の近傍を含み、以下、適宜、中心点と称する）に結像し、光学系１２の光軸に対して仰角αの位置にある被写体面上の点Ａは、点Ａから瞳位置Ｉを通過する光線Ｌ１と交差するセンサ面Ｓ上の点に結像する。

また、図示するように、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な距離をモジュール瞳距離ｄとし、被写体面上の点Ｃから瞳位置Ｉまでの光学的な距離を被写体距離Ｄとする。また、図面に対して直交し手前に向かう軸をＸ軸とし、図面の下から上に向かう軸をＹ軸とし、図面の左から右に向かう軸をＺ軸とする。

そして、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてＸ軸周りにブレ角θで回転移動したとする。

即ち、図３に示すように、回転中心Ｏを中心にしてブレ角θで回転移動したとき、センサ面Ｓはセンサ面Ｓ’に移動し、瞳位置Ｉは瞳位置Ｉ’に移動する。このとき、撮像装置１１が振れる前に仰角αの位置にあった被写体面上の点Ａは、点Ａから瞳位置Ｉ’を通過する光線ＬＲと交差するセンサ面Ｓ’上の点に結像する。即ち、被写体面上の点Ａからの光は、撮像装置１１が振れる前の瞳位置Ｉを通過する光線Ｌ１ではなく、撮像装置１１が振れた後の瞳位置Ｉ’を通過する光線ＬＲに沿って、センサ面Ｓ’上の点に結像する。

このとき、撮像装置１１が振れた後の光学系１２の光軸に対する光線ＬＲの仰角は未知であり、直接的に評価することはできない。そこで、撮像装置１１が振れた後の瞳位置Ｉ’を通過して光線Ｌ１と平行な光線Ｌ２が被写体面と交差する被写体面上の点Ａ’が、被写体面上の点Ａであると仮定した場合に、これらの位置関係について検討する。

まず、回転中心Ｏからセンサ面Ｓの中心点までの距離を回転半径ｒとすると、ブレ角θで回転移動したとき、センサ面Ｓの中心点がＺ軸方向に移動する移動量ΔＣｚ、および、センサ面Ｓの中心点がＹ軸方向に移動する移動量ΔＣｙは、次の式（１）で表される。

また、撮像装置１１が振れる前における仰角αの光線Ｌ１と交差する被写体面上の点Ａのセンサ面上での像高Ａ、および、撮像装置１１が振れた後において光線Ｌ１と平行な光線Ｌ２と交差する被写体面上の点Ａ’のセンサ面上での像高Ａ’は、次の式（２）で表される。

従って、被写体面上の点Ａおよび点Ａ’の距離差がセンサ面上で無視できるときに、センサ面Ｓがブレ角θで回転移動したときの像高の変化量ΔＡは、次の式（３）で表される。

このように、式（３）に示すように、像高の変化量ΔＡは、モジュール瞳距離ｄ、ブレ角θ、および仰角αのみで求めることができ、これらの値は、すべて既知量である。従って、モジュール瞳距離ｄ、ブレ角θ、および仰角αが、例えば、実用に耐え得るものであれば、極めて正確に手振れ補正を行うことができる。そこで、モジュール瞳距離ｄ、ブレ角θ、および仰角αが、実用に耐え得るものであるか否かを評価するためには、被写体面上の点Ａおよび点Ａ’の距離差が無視できるとみなしたときに、発生する誤差量を検討する必要がある。

例えば、図４に示すように、被写体面上の点Ａから瞳位置Ｉを通過する光線Ｌ１と交差するセンサ面Ｓ上の点を点ａとし、被写体面上の点Ａ’から瞳位置Ｉ’を通過する光線Ｌ２と交差するセンサ面Ｓを含む平面上の点を点ａ’とする。このとき、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ−Ａ’）は、幾何光学的に、センサ面Ｓを含む平面上の点ａおよび点ａ’のＹ方向の距離差（ａ−ａ’）と等しく、次の式（４）で表される。

このように求められる距離差（Ａ−Ａ’）から、被写体面上の点Ａ’を点Ａとみなすことができるかどうかを評価するためのセンサ面上での画素数の誤差距離δ（θ,α,Ｄ）を求めることができる。即ち、誤差距離δ（θ,α,Ｄ）は、距離差（Ａ−Ａ’）、イメージセンサ２１のＹ軸方向の一辺の画素数Ｎｙ、および、イメージセンサ２１のＹ軸方向の最大画角βにおける被写体面上においてＹ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）を用いて、次の式（５）で表される。

このように求められる誤差距離δ（θ,α,Ｄ）について、Ｙ軸方向の仰角αと被写体距離Ｄとをパラメータとして求めた一例を図５に示す。

図５には、列方向のパラメータとしてＹ軸方向の仰角α（0.00°，5.00°，10.00°，15.00°，20.00°，25.00°）を用い、行方向のパラメータとして被写体距離Ｄ（25ｃｍ，50ｃｍ，１ｍ，２ｍ，３ｍ，５ｍ）を用いて求められた誤差距離δ（θ,α,Ｄ）が示されている。また、図５は、イメージセンサ２１の最大画角βを上下２５°とし、イメージセンサ２１のＹ方向の画素数Ｎｙを３０００画素とし、回転半径ｒを５０ｍｍとして求められた誤差距離δ（θ,α,Ｄ）の一例である。

図５に示されている誤差距離δ（θ,α,Ｄ）の各数値は、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ−Ａ’）が、イメージセンサ２１の画素において、どの程度異なる位置に画として現れるのかを表している。

一般的に、被写体面上の所定の２箇所の点の距離差がセンサ面上で２画素以上あると、その距離差が目立つと言われている。図５では、誤差距離δ（θ,α,Ｄ）が２画素未満の範囲、即ち、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ−Ａ’）がセンサ面Ｓ上で２画素未満となる範囲が、太線の枠線で囲われている。このように、図５に示されている仰角αおよび被写体距離Ｄについて、ほとんどの範囲において、誤差距離δ（θ,α,Ｄ）は２画素未満であり、十分、距離差（Ａ−Ａ’）が目立つことはなく、実用に耐え得るものである。

また、誤差距離δ（θ,α,Ｄ）は、あくまでもある瞬間での誤差（誤差画素数）であり、通常の撮像において、その蓄積時間の中で動いており、その動き量を全て積分したものが画として表現される。このことより、図５に示されている程度の誤差は、通常の撮像において使用する範囲では全く問題となることはない。

つまり、被写体面上の点Ａおよび点Ａ’の距離差が無視できるとみなすことができる。従って、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてブレ角θで回転移動したとき、そのＹ方向（縦軸方向）の補正量Δｙは、次の式（６）で求めることができる。この式（６）に示されるように、補正量Δｙは、仰角αに依存して異なる値となる。また、被写体面上の点Ａのセンサ面上での像高は仰角αより求まることより、補正量Δｙは、その像高（仰角αの位置にある被写体面上の点Ａがセンサ面Ｓ上で結像するセンサ面Ｓの略中心からＹ方向の距離）に依存して異なる値となる。

ここで、図６を参照して、このようにブレ角θで回転移動したときにおけるＸ方向（横軸方向）の補正について説明する。

図６では、センサ面Ｓの像面に結像される画がどのようになるのかを分かり易く示すために、Ｘ軸方向に沿って配置される棒状の被写体Ｂが用いられており、説明を簡易化するために撮像装置１１が振れることによる瞳位置ｉがズレないものとして図示されている。

図６のＡには、棒状の被写体Ｂに沿ってＸ軸方向から見た図が示されており、図６のＢには、図６のＡの白抜きの矢印の方向から見た、即ち、Ｙ軸方向から見た図が示されている。

図６に示すように、ブレ角θによって、棒状の被写体Ｂの一方の端部ｂ０から瞳位置ｉに入射される光Ｌ０は、撮像装置１１が振れる前のセンサ面Ｓのセンサ中心点Ｃに結像し、撮像装置１１が振れた後のセンサ面Ｓ’のセンサ中心点Ｃ’に結像する。従って、センサ面Ｓおよびセンサ面Ｓ’それぞれにおいて、瞳位置ｉからセンサ中心点Ｃまでの距離は、ｄ／ＣＯＳαとなり、瞳位置ｉからセンサ中心点Ｃ’までの距離はｄ／ＣＯＳ（α＋θ）となる。

また、ブレ角θによって、棒状の被写体Ｂの他方の端部ｂ１から瞳位置ｉに入射される光Ｌ１は、撮像装置１１が振れる前のセンサ面Ｓの点Ｐに結像し、撮像装置１１が振れた後のセンサ面Ｓ’の点Ｐ’に結像する。このとき、瞳位置ｉ、センサ中心点Ｃ、および点Ｐからなる三角形と、瞳位置ｉ、センサ中心点Ｃ’、および点Ｐ’からなる三角形とは相似となる。従って、撮像装置１１が振れる前のセンサ中心点Ｃから点Ｐまでの値Ｐｘと、撮像装置１１が振れた後のセンサ中心点Ｃ’から点Ｐ’までの値Ｐ’ｘとの比は、次の式（７）で表される。

従って、式（７）より、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてブレ角θで回転移動したとき、点Ｐの位置にある画素を補正の対象とし、センサ中心点Ｃから点Ｐまでの距離をＸとすると、そのＸ方向（横軸方向）の補正量Δｘは、次の式（８）で求めることができる。この式（８）に示されるように、補正量Δｘは、仰角αと、センサ中心点Ｃから点Ｐまでの距離Ｘとに依存して異なる値となる。

ところで、実際には、ブレ角θによって、瞳位置ｉは変化する。そのため、棒状の被写体Ｂの端部ｂ１が結像する位置は、図６に示すようなセンサ面Ｓ’の点Ｐ’とはならない。

ここで、図７は、ブレ角θによる瞳位置ｉの変化を考慮したときの棒状の被写体Ｂの端部ｂ１が結像する位置を説明する図である。

図７に示すように、撮像装置１１がブレ角θで振れたとき、瞳位置ｉは、次の式（９）に示す瞳位置移動量Δｉだけ被写体Ｂに近づくことになる。

従って、撮像装置１１がブレ角θで振れたとき、被写体Ｂの端部ｂ１’の位置が、本来の端部ｂ１の位置として、センサ面Ｓ’’の点Ｐ’’に結像される。このときの被写体ＢでのＸ軸方向の被写体誤差δｘは、次の式（１０）で表される。

但し、式（１０）において、ＴＡＮｑ＝Ｘ／Ｄである。

ここで、上述の図５に示したＹ方向の誤差距離δ（θ,α,Ｄ）と同様に、Ｘ方向の誤差距離δｘを求める。誤差距離δｘは、イメージセンサ２１のＸ軸方向の一辺の画素数Ｎｘ、および、イメージセンサ２１のＸ軸方向の最大画角βにおける被写体面上においてＸ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）を用いて、次の式（１１）で表される。

但し、式（１１）において、ＴＡＮｑ＝Ｘ／Ｄである。

このように求められる誤差距離δｘについて、Ｘ軸方向の仰角αと被写体距離Ｄとをパラメータとして求めた一例を図８に示す。

図８には、列方向のパラメータとしてＸ軸方向の仰角α（0.00°，5.00°，10.00°，15.00°，20.00°，25.00°，30.00°，35.00°）を用い、行方向のパラメータとして被写体距離Ｄ（25ｃｍ，50ｃｍ，１ｍ，２ｍ，３ｍ，５ｍ）を用いて求められた誤差距離δｘが示されている。また、イメージセンサ２１の最大画角βを左右３５°とし、イメージセンサ２１のＸ方向の画素数Ｎｘを４０００画素とし、回転半径ｒを５０ｍｍとして求められる誤差距離δｘの一例である。

図８に示されている誤差距離δｘの各数値は、被写体Ｂの端部ｂ１および端部ｂ１’のＸ方向の距離差が、イメージセンサ２１の画素において、どの程度異なる位置に画として現れるのかを表している。

上述したＹ方向の誤差距離δ（θ,α,Ｄ）と同様に、一般的に、被写体面上の所定の２箇所の点の距離差が２画素以上あると、その距離差が目立つと言われている。図８では、誤差距離δｘが２画素未満の範囲、即ち、被写体Ｂの端部ｂ１および端部ｂ１’のＸ方向の距離差がセンサ面Ｓ上で２画素未満となる範囲が、太線の枠線で囲われている。このように、図８に示されている仰角αおよび被写体距離Ｄについて、ほとんどの範囲において、誤差距離δｘは２画素未満であり、十分、実用に耐え得るものである。

また、誤差距離δｘは、あくまでもある瞬間での誤差（誤差画素数）であり、通常の撮像において、その蓄積時間の中で動いており、その動き量を全て積分したものが画として表現される。このことより、図８に示されている程度の誤差は、日常的に使用する範囲では全く問題となることはない。

なお、以上の説明では、Ｘ軸周りに前方に傾くブレ（ピッチ）に関して説明したが、Ｙ軸方向に左右に傾くブレ（ヨー）に関しても同様に、求めることができる。

ここで、図１の光学系１２およびイメージセンサ２１を備えて構成されるモジュールが、図９のＡに示すようにブレ角Δθで振れたときの補正量の一例が図９のＢに示されている。また、この補正量は、画素数が１３００万画素であり、１画素の一辺が1.12μｍであるイメージセンサ２１を用いて求められたものである。

図９のＢにおいて、横軸はＹ軸方向の像高を示し、縦軸はＹ軸方向の補正量を示している。図９には、Ｙ軸方向の像高が高くなるのに伴って、補正量が増加していることが示されている。また、図９には、ブレ角Δθとして、1.0°および0.3°が示されており、ブレ角が大きくなるのに伴って、補正量が増加することが示されている。なお、バレルシフト方式の光学手ブレ補正では、撮像素子の中心点、即ち、図９において横軸が０の点の補正量に従って一様に画像全体が補正されている。

従って、撮像装置１１の手振れ補正処理部２５は、Ｙ軸方向の像高に応じて補正量を求め、その補正量を用いて手振れを補正することにより、Ｙ軸方向の像高に応じて異なって画像に発生する歪を効果的に補正することができる。撮像装置１１の手振れ補正処理部２５では、特に、画像の端部における補正を効果的に行うことができる。

ここで、図１０乃至図１２は、本技術を適用した撮像装置１１による手振れ補正処理が施された画像と、従来のバレルシフト方式の光学手ブレ補正が施された画像を比較して示している。

図１０には、格子パターンのパネルを手振れなしの原画と0.5°傾けた画像を重ねたものが示されており、図１０のＡは、本技術を適用した撮像装置１１による手振れ補正処理が施された画像であり、図１０のＢは、従来のバレルシフト方式の光学手ブレ補正が施された画像である。図１０のように遠目の画像では、それぞれの画像の差異を認識することは困難である。

そこで、図１１には、図１０の画像の中央付近を切り出した画像が示されており、図１２には、図１０の画像の端部近傍を切り出した画像が示されている。図１１のＡおよび図１２のＡは、本技術を適用した撮像装置１１による手振れ補正処理が施された画像であり、図１１のＢおよび図１２のＢは、従来のバレルシフト方式の光学手ブレ補正が施された画像である。

図１１に示されるように、画像の中央付近では、それぞれの画像の差異を認識することは困難である。これに対し、図１２に示されるように、画像の端部近傍では、それぞれの画像の差異を明確に認識することができる。即ち、本技術を適用した撮像装置１１による手振れ補正処理が施された画像では、端部近傍でも原画と0.5°ブレを補正した画は一致している。しかしながら、従来のバレルシフト方式の光学手ブレ補正が施された画像では、原画と0.5°ブレを補正した画は二重に見えている。

このように、図１０乃至図１２に示す画像から、本技術を適用することにより、より効果的に手振れを補正することができることが示されている。特に、近年、スマートフォンの普及は目覚ましいものがあり、その機能として、小型ゆえに避けて通れない手振れを、構造的なディメリットがなく撮像し、しかも品質の良い画を簡単に撮像することができるという本技術は、極めて工業的価値が高いといえる。

ところで、撮像装置１１では、イメージセンサ２１により撮像される画像の、どの部分の蓄積期間中に、どれくらいどの方向に振れたのかということを、手振れ補正処理部２５が補正することになる。そのために、信号同期部２３が、ジャイロセンサ２２から出力されるジャイロデータ（手振れ量情報）と、イメージセンサ２１から出力される画像データとを同期する必要がある。

次に、図１３を参照して、ジャイロデータと画像データとの同期について説明する。

図１３の右側には、イメージセンサ２１からの信号の読み出しが示されている。イメージセンサ２１は、縦方向を垂直アドレスとして、１つの垂直アドレスに対して、水平方向の全ての画素が一度に読み出される構造となっている。即ち、１つの水平ラインで読み出し時間が一定であり、蓄積時間が一定となるということである。

従って、イメージセンサ２１では、異なる垂直アドレスで指定される水平ラインが時々刻々読み出され、水平ラインごとの蓄積時間は異なるタイミングとなる。但し、イメージセンサ２１の各画素に信号電荷が蓄積される時間である蓄積時間は、全ての画素で一定である。そして、各水平ラインにおける蓄積時間のタイミングに対応したジャイロデータを取得する必要がある。つまり、蓄積時間において、どの程度の振れ量が発生したのかを示す手振れ量情報が必要となる。

図１３の左側には、ある水平ラインの蓄積時間Ｔの中間のタイミングにおいて、ジャイロセンサ２２から出力されるジャイロデータを、その水平ラインのジャイロデータとする処理例が示されている。なお、このような処理に限定されることなく、例えば、ある水平ラインの蓄積時間Ｔの間において出力されたジャイロデータの平均値を、その水平ラインのジャイロデータとする処理を行ってもよい。つまり、各水平ラインに対して、それぞれの蓄積時間に対応する同期のとれたジャイロデータを取得できればよい。

例えば、イメージセンサ２１から画像データが出力されるタイミングと、ジャイロセンサ２２からジャイロデータが出力されるタイミングとで同期をとる方法がある。また、ジャイロセンサ２２から出力されるジャイロデータを、ベースバンドチップなどのジャイロセンサ２２外で受けて同期をとる方法がある。

具体的には、イメージセンサ２１へのコマンド発行タイミングと、そのコマンドに従って出力される画像データの遅延を、ベースバンドチップに伝達する手段を用いる。即ち、イメージセンサ２１は、一般的に、垂直同期信号に従って駆動しているため、外部から露光時間を変更するコマンドを、どのタイミングで受けても即座に反映することはできない。そのため、イメージセンサ２１では、外部からコマンドを受けた以降のフレームが開始する垂直同期信号に従って制御が行われる。このような制御は、フレーム内での撮像条件を同一にするためである。一方、コマンドはイメージセンサ２１の外部から与えられるため、垂直同期信号とは無関係のタイミングで発行される。また、ベースバンドチップの知り得るタイミングは、イメージセンサ２１へのコマンド発行と、ジャイロセンサ２２へのコマンド発行のタイミングである。

つまり、図１４に示すように、ベースバンド処理からみたとき、イメージセンサ２１へのコマンドが時刻Ｔ１のタイミングで出力され、そのコマンドを受け取ったイメージセンサ２１は、その内部で垂直同期信号と同期するための同期時間ΔＴを経て、さらにｎ×ＦＴ時間後（フレーム画像出力時間ＦＴ、整数ｎ：１，２、・・・）に、画像データを出力する。従って、この同期時間ΔＴが、イメージセンサ２１へのコマンドを入力するタイミングによって異なるものとなる。

一方、ジャイロセンサ２２へのデータ出力を要求するコマンドは、イメージセンサ２１へのコマンドが要求される前の時刻Ｔ０のタイミングで出力されており、ジャイロセンサ２２側では、そのコマンドを受け取った時刻Ｔ０をタイムスタンプとして記録し、順次、ジャイロデータを出力する。従って、ベースバンド処理からみれば、全てのジャイロデータが出力されるタイミングを知ることができる。

このようなタイミングで、画像データおよびジャイロデータが出力されて信号同期部２３に供給され、信号同期部２３は、画像データおよびジャイロデータの同期をとって、手振れ補正処理部２５に出力する。そして、手振れ補正処理部２５において手振れ補正処理が行われる。

以下では、手振れ補正処理部２５において行われる手振れ補正処理について説明する。なお、以下の説明で示される数式において、一部、これまでの説明と同一の対象に対して異なる記号が用いられていることがある。

まず、手振れ補正処理の第１の処理例として、イメージセンサ２１で用いられる撮像素子が、グローバルシャッター方式を採用している構成における手振れ補正処理について説明する。

グローバルシャッター方式では、撮像画像の全体が、略同時にイメージとして記録されるので、後述するローリングシャッター方式と異なり、１枚の画像に対して一組の補正角（Ｙ軸方向の補正量とＸ軸方向の補正量）を用いて手振れ補正処理を行うことができる。即ち、一組の補正角を用いて、手振れにより位置がずれた画像を、位置がずれていない画像に補正することができる。

なお、仮に、露光時間が長時間であり、露光中に複数の手振れ量情報（ジャイロデータ）が取得された場合には、それらの複数の手振れ量情報の平均値を用いて一組の補正角を決定することができる。または、露光時間の中央のタイミングにおいて取得された手振れ量情報や、複数の手振れ量情報から補間して必要なタイミングにおける手振れ量情報を取得し、一組の補正角を決定してもよい。

まず、図１５に示すように、撮像装置１１のブレ（つまり、撮像装置１１に内蔵されるイメージセンサ２１のブレ）は、ピッチ角、ヨー角、およびロール角で定義される。

図１６は、グローバルシャッター方式のイメージセンサ２１においてブレ角が画像に与える影響を示している。

図１６のＡには、イメージセンサ２１が静止している場合における画像の位置が示されており、この場合には、イメージセンサ２１の中央に画像が位置している。

図１６のＢには、イメージセンサ２１がピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されており、この場合には、主にイメージセンサ２１の垂直方向（Ｙ方向）の上側に向かう影響が与えられる。

図１６のＣには、イメージセンサ２１がヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されており、この場合には、主にイメージセンサ２１の水平方向（Ｘ方向）の左側に向かう影響が与えられる。

図１６のＤには、イメージセンサ２１がピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。この場合には、イメージセンサ２１の垂直方向（Ｙ方向）の上側と、イメージセンサ２１の水平方向（Ｘ方向）の左側とを足し合わせた方向に向かう影響が与えられる。

また、ロール角の手振れは、画像の回転として影響が与えられる。なお、イメージセンサ２１の手振れ角をθとすると、画像上では、−θの影響が与えられる。

とろこで、従来の手振れ補正処理では、ピッチ角のブレに関して、画像全体が一様にＹ方向にＹ１画素分ズレているとして、−Ｙ１画素分の画像を移動させたり、画像の読み出し位置をＹ１画素分ずらしたりするなどの処理が行われていた。同様に、ヨー角のブレに対しても、従来の手振れ補正処理では、画像全体が一様にＸ方向にＸ１画素分ずれているとして、−Ｘ１画素分の画像を移動させたり、画像の読み出し位置をＸ１画素分ずらしたりするなどの処理が行われていた。

しかしながら、図１７に示すように、ブレ角に対して、画像全体が一様にズレるのではない。図１７では、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。

図１７のＡには、イメージセンサ２１が、ピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＡに示すように、画像上の画素位置により異なる影響が与えられる。例えば、画像の上端近傍では、垂直方向に関して中央付近より大きく移動し、さらに水平方向に広がっている。一方、画像の下端近傍では、垂直方向の移動量が上端近傍および中央付近と異なり水平方向には狭まるような変形をしている。即ち、各画素の位置により、Ｙ方向の移動量は異なっており、さらに、Ｘ方向にも異なる移動をしている。

図１７のＢには、イメージセンサ２１が、ヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＢに示すように、画像上の画素位置により異なる影響が与えられる。例えば、画像の左端近傍では、水平方向に関して中央付近より大きく移動し、さらに垂直方向に広がっている。一方、画像の右端近傍では、水平方向の移動量が左端近傍および中央付近と異なり垂直方向には狭まるような変形をしている。即ち、各画素の位置により、Ｘ方向の移動量は異なっており、さらに、Ｙ方向にも異なる移動をしている。

図１７のＣには、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＣに示すように、二つの方向へのブレの影響が重畳することにより、図１７のＡおよび図１７のＢよりも複雑に画像が変形をしている。

さらに、図示しないが、ロール角のブレが加わることによって、画像は、さらに複雑な変形をする。なお、一般的な手振れにおいて、ロール角の影響は少なく補正処理を行わないことが多いため、以下では、主にピッチ角およびヨー角のブレに関して説明を行う。

以下、グローバルシャッター方式における手振れ補正処理の手順について説明する。

ここで、説明を簡略化するために、イメージセンサ２１の出力画像の各画素の位置を左下の画素の中央を（０，０）として、左からｘ画素目、かつ、下からｙ画素目の画素の中央を座標A（ｘ，ｙ）と表すこととする。

まず、出力画像の座標Ａ（ｘ，ｙ）について、図１の光学系１２のレンズの光軸中心がイメージセンサ２１の撮像素子に像を結ぶ点の座標Ｏ（ｘ０，ｙ０）からの相対位置（Ｘ，Ｘ）を求めると座標Ａ（Ｘ＝ｘ−ｘ０，Ｙ＝ｙ−ｙ０）となる。なお、座標Ｏ（ｘ０，ｙ０）については、イメージセンサ２１の撮像素子の画像の中央で代用してもよい。

この画像の撮像時の手振れ量が、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒであるとき、座標Ａを、ピッチ角−θｐ、ヨー角−θｙ、およびロール角−θｒでブレさせた座標Ａ’とすると、入力画像中の座標Ａ’の画素値を、出力画像の座標Ａの画素値とすれば手振れを補正した画素の値となる。従って、この画素値を座標Ａの値として、イメージセンサ２１の全ての画素について求めた画像を出力画像とすることで、手振れの補正された画像が出力される。

入力画像中の座標Ａ’を求めるにあたり、イメージセンサ２１の有効画素について、水平方向の画素数をＷとし、垂直方向の画素数をＨとし、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離をＬ（画素数相当）とし、水平方向の画角の１／２を角度βとする。そして、仮に、座標Ｏ（ｘ０，ｙ０）を、イメージセンサ２１の有効画素の中央とすると、水平方向の画角の１／２である角度βは、次の式（１２）で求められる。

従って、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離Ｌ（画素数相当）は、次の式（１３）で求められる。

なお、水平方向の画角の１／２である角度βおよび距離Ｌ（画素数相当）は、撮像装置１１の撮像モード（例えば、全ての画素で出力する撮像モード、画素を間引いて出力する撮像モード、画素の一部を切り出して出力する撮像モードなど）と、イメージセンサ２１の撮像素子、および、光学系１２のレンズによって固有の値である。

このとき、座標Ａの位置におけるピッチ方向の角度αｐ、および、座標Ａの位置におけるヨー方向の角度αｙは、次の式（１４）となる。

従って、ピッチ角θｐで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（−θｐ）画素だけ画素位置がＹ方向に移動する。そして、座標Ａの位置では、次の式（１５）で表されるＹ方向移動量ΔＹｐだけ画素位置がＹ方向に移動する。

このとき、図６および図７を参照して上述したように、Ｙ方向だけでなくＸ方向にも移動する。その移動先のＸ座標は、次の式（１６）に示す関係があるとすると、Ｘ方向にＬ２／Ｌ１倍した座標になり、次の式（１７）で表される。

従って、Ｘ座標は、次の式（１８）で示される位置に移動し、Ｘ座標移動量ΔＸｐは、次の式（１９）で求められる。

このようなピッチ角θｐで手振れたときと同様に、ヨー角θｙで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（−θｙ）画素だけ画素位置がＸ方向に移動する。そして、座標Ａの位置では、次の式（２０）で表されるＸ方向移動量ΔＸｙだけ画素位置がＸ方向に移動する。

また、同様に、Ｘ方向だけでなくＹ方向にも移動する。その移動先のＹ座標は、次の式（２１）に示す関係があるとすると、Ｙ方向にＬ４／Ｌ３倍した座標になり、次の式（２２）で表される。

従って、Ｙ座標は、次の式（２３）で示される位置に移動し、Ｙ座標移動量ΔＹｙは、次の式（２４）で求められる。

また、ロール角θｒで手振れたとき、回転中心が画像中央の場合は、次の式（２５）で示される位置に移動し、Ｘ方向移動量ΔＸｒおよびＹ座標移動量ΔＹｒは、次の式（２６）で求められる。

このように、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出することができる。ところで、それらは互いに影響しあうため、本来は、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒの手振れの影響を同時に求める必要があるが、次のように簡略化して求めても実用上問題ないレベルで補正できる。例えば、順番に、ピッチ角θｐの影響による移動量に基づいてヨー角θｙの影響による移動量を求め、さらに、その求められた移動量に基づいてロール角θｒの影響による移動量を求めてもよい。なお、移動量を求める際、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒの順番は異なっていてもよい。また、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出した結果を足し合わせてもよい。

ところで、手振れによるピッチ角θｐ、ヨー角θｙ、およびロール角θｒは、プラスマイナス１度以内の程度の小さな角度であるので、これらの計算結果の差は非常に微小な値であり、無視することができる程度のものである。

ここでは、最も簡単な方法である、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出した結果を足し合わせて、次の式（２７）で総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを求めることとする。

従って、求めるべき座標Ａ’のＸ座標Ｘ’は、次の式（２８）により求めることができ、求めるべき座標Ａ’のＹ座標Ｙ’は、次の式（２９）により求めることができる。

また、座標Ａ（Ｘ，Ｙ）は、次の式（３０）の関係があることより、座標Ａ’のＸ座標Ｘ’およびＹ座標Ｙ’は、次の式（３１）となる。

ここで、座標Ａ’（Ｘ’，Ｙ’）は、座標Ｏ（ｘ０，ｙ０）からの相対位置であるため、次の式（３２）に基づいて、出力画像の座標Ａ’（ｘ’，ｙ’）の値を読み込むことができる。

そして、全ての画素に対して、出力画像の座標Ａ’（ｘ’，ｙ’）を求める処理を行うことで、手振れが補正された補正画像を取得することができる。このように、グローバルシャッター方式を採用した撮像素子により撮像された画像に対して、本実施の形態の手振れ補正処理を適用することで、１枚の画像に対して一組の補正角を用いて手振れ補正処理を行うことができ、少ない処理負担で効果的に手振れ補正を行うことができる。

次に、手振れ補正処理の第２の処理例として、イメージセンサ２１で用いられる撮像素子が、ローリングシャッター方式を採用している構成における手振れ補正処理について説明する。

ローリングシャッター方式の撮像素子では、撮像画像内で水平ラインごとに撮像タイミングが異なるため、グローバルシャッターのものより画像の変形が複雑になる。これは、ブレ角による画像のゆがみに加えて、時間変化によりブレ角が変わることに影響されている。

例えば、図１８および図１９は、ローリングシャッター方式のイメージセンサ２１においてブレ角が画像に与える影響を示している。

図１８のＡには、イメージセンサ２１が静止している場合における画像の位置が示されており、この場合には、イメージセンサ２１の中央に画像が位置している。

図１８のＢには、イメージセンサ２１がピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されており、図１８のＣには、イメージセンサ２１がピッチ角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。また、図１９のＡには、イメージセンサ２１がヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されており、図１９のＢには、イメージセンサ２１がヨー角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。さらに、図１９のＣには、イメージセンサ２１がピッチ角のプラス方向およびヨー角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。

図１８および図１９に示されているように、ローリングシャッター方式では、グローバルシャッター方式と比較して、ピッチ角のマイナス方向にぶれる際は、画像がＹ方向に縮む変化が加わり、ピッチ角のプラス方向にぶれる際は、画像がＹ方向に延びる変形が加わる。また、ヨー角にぶれた場合は、画像の下方に向かうに従い、ブレと反対側に、より大きくぶれていく変形が加わる。

図２０のＡには、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図２０のＡでは、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。このように、２つのブレが同時し発生した場合、さらに複雑な変形となる。

また、図２０のＢには、画素位置依存性を考慮せずにフォーカルプレーン影響のみを補正した場合において、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図２０のＢでは、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。このような補正をした場合でも、図示するように、画像の歪みを完全に補正することはできない。なお、図２０のＢに示す画像の歪は小さく見えるが、画像の周辺になると歪が大きくなり、手振れの条件によっては、図１７に示したような影響が表れることになる。

以下、ローリングシャッター方式における手振れ補正処理の手順について説明する。

ローリングシャッターの影響を補正するためには、ラインごとに、そのラインの撮像時のブレ角を用いて手振れ補正処理を行う必要がある。従って、信号同期部２３では、手振れ量情報を１画像につきラインごとに同期させることが望ましい。しかしながら、現状のジャイロセンサ２２では、複数ラインで１回程度の手振れ量情報を検出することしかできない。

従って、複数ラインで同一の手振れ量情報を使用したり、ラインごとに補間した手振れ量情報を使用したり、複数ラインで同一の手振れ量情報を使用するものの、補正角度を計算する際に時間ずれ分を考慮して補正角度を算出したりする方法を採用することができる。また、これらの方法のいずれか、または、その他の方法でラインごとの補正角を求めて、その角度を用いて、上述した入力画像中の座標Ａ’の求め方と同様の計算をして、求める座標位置を取得して補正後の画像を構築することができる。この場合、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒは、そのラインに同期したものを用いる。

次に、手振れ補正処理の第３の処理例として、バレルシフト方式の光学手ブレ補正と併用する処理について説明する。上述したような手振れ補正処理と、バレルシフト方式と併用することにより、バレルシフト方式において画像の周辺のゆがみ（周辺の補正残り）を補正することができる。

図２１には、バレルシフト方式の光学手ブレ補正を備える撮像装置１１Ａが示されている。なお、図２１の撮像装置１１Ａにおいて、図１の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。

図２１に示すように、撮像装置１１Ａは、図１の撮像装置１１の構成に加えて駆動部２６を備える。駆動部２６は、ジャイロセンサ２２からの手振れ量情報に基づいて、撮像素子上の画像が動かない方向に、光学系１２のレンズをイメージセンサ２１の撮像素子のセンサ面と平行に駆動することにより手ブレを光学的に補正する。

とろこで、バレルシフト方式の光学手ブレ補正では、光学系１２のレンズを手ブレ量に応じて決まった量で動かすので、画素位置の依存性は考慮されていない。このため、画像中央の位置ズレ分を画像全体に一様に補正しているのと略同一の画像になる。従って、バレルシフトの制御に用いている手ブレ情報を用いて手ブレ時の各画素の移動量から、画像中央の位置ズレ分をひいた残りの分（画素位置依存分）の移動量を各画素に対して補正することにより、バレルシフトの補正画像の周辺の歪みを補正することができる。

入力画像中の座標Ａ’を求めるにあたり、イメージセンサ２１の有効画素について、水平方向の画素数をＷとし、垂直方向の画素数をＨとし、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離をＬ（画素数相当）とし、水平方向の画角の１／２をβとする。そして、仮に、座標Ｏ（ｘ０，ｙ０）を、イメージセンサ２１の有効画素の中央とすると、水平方向の画角の１／２である角度βは、上述した式（１２）で求められる。

従って、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離Ｌ（画素数相当）は、上述した式（１３）で求められる。

なお、水平方向の画角の１／２である角度βおよび距離Ｌ（画素数相当）は、撮像装置１１の撮像モード（例えば、全ての画素で出力する撮像モード、画素を間引いて出力する撮像モード、画素の一部を切り出して出力する撮像モードなど）と、イメージセンサ２１の撮像素子、および、光学系１２のレンズによって固有の値である。

このとき、座標Ａの位置におけるピッチ方向の角度αｐ、および、座標Ａの位置におけるヨー方向の角度αｙは、上述した式（１４）となる。

従って、ピッチ角θｐで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（−θｐ）画素だけ画素位置がＹ方向に移動する。そして、座標Ａの位置では、上述した式（１５）で表されるＹ方向移動量ΔＹｐだけ画素位置がＹ方向に移動する。

このとき、図６および図７を参照して上述したように、Ｙ方向だけでなくＸ方向にも移動する。その移動先のＸ座標は、上述した式（１６）に示す関係があるとすると、Ｘ方向にＬ２／Ｌ１倍した座標になり、上述した式（１７）で表される。

従って、Ｘ座標は、上述した式（１８）で示される位置に移動し、Ｘ座標移動量ΔＸｐは、上述した式（１９）で求められる。

ここで、バレルシフト方式では、光学系１２のレンズを駆動することのより中央のブレ分は画像全体に対して補正しているので、Ｙ方向移動量ΔＹｐは、次の式（３３）で求められる。

また、Ｘ方向のズレに関してバレルシフト方式は考慮していないため、Ｘ方向移動量ΔＸｐはそのまま、上述した式（１９）となる。

このようなピッチ角θｐで手振れたときと同様に、ヨー角θｙで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（−θｙ）画素だけ画素位置がＸ方向に移動する。そして、座標Ａの位置では、上述した式（２０）で表されるＸ方向移動量ΔＸｙだけ画素位置がＸ方向に移動する。

また、同様に、Ｘ方向だけでなくＹ方向にも移動する。その移動先のＹ座標は、上述した式（２１）に示す関係があるとすると、Ｙ方向にＬ４／Ｌ３倍した座標になり、上述した式（２２）で表される。

従って、Ｙ座標は、上述した式（２３）で示される位置に移動し、Ｙ座標移動量ΔＹｙは、上述した式（２４）で求められる。

ここで、バレルシフト方式では、光学系１２のレンズを駆動することのより中央のブレ分は画像全体に対して補正しているので、Ｙ方向移動量ΔＹｙは、次の式（３４）で求められる。

また、Ｘ方向のズレに関してバレルシフト方式は考慮していないため、Ｘ方向移動量ΔＸｙはそのまま、上述した式（２０）となる。

なお、バレルシフト方式では、ロール角θｒの補正を行うことはできないため、ロール角θｒの補正は行われない。

従って、最も簡単な方法である、ピッチ角θｐおよびヨー角θｙそれぞれ２方向の角度について手振れの影響を個別に算出した結果を足し合わせて、次の式（３５）で総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを求めることとする。

従って、求めるべき座標Ａ’のＸ座標Ｘ’は、次の式（３６）により求めることができ、求めるべき座標Ａ’のＹ座標Ｙ’は、次の式（３７）により求めることができる。

また、座標Ａ（Ｘ，Ｙ）は、次の式（３８）の関係があることより、座標Ａ’のＸ座標Ｘ’およびＹ座標Ｙ’は、次の式（３９）となる。

ここで、座標Ａ’（Ｘ’，Ｙ’）は、座標Ｏ（ｘ０，ｙ０）からの相対位置であるため、上述した式（３２）に基づいて、出力画像の座標Ａ’（ｘ’，ｙ’）の値を読み込むことができる。

そして、全ての画素に対して、出力画像の座標Ａ'（ｘ'，ｙ'）を求める処理を行うことで、手振れが補正された補正画像を取得することができる。なお、ここでは、バレルシフト方式のピッチ方向およびヨー方向の補正に関して記述したが、ロール方向の補正を加えることも可能である。

ところで、上述した手振れ補正処理の第１乃至第３の処理例において、出力画像の座標Ａ’（ｘ’，ｙ’）は、入力画像上の画素の中央位置に一致するとは限らないため、周辺の画素より補間して画素値を求める必要がある。即ち、補正された後の画像（出力画像）を構成する各画素の画素位置が、補正前の画像（入力画像）を構成する各画素の画素位置に一致するとは限らないため、補正の前後で画素位置が一致するように、補正後の画像を構成する所定の画素の周辺にある複数の画素より補間して、所定の画素の画素値を求める。

この補間方法には、最近傍法、バイリニア法、バイキュービック法など様々な補間技術を用いることができる。また、入力画像および出力画像の形式（例えば、画素位置により色が決まっているベイヤ画像や、各画素とも同じ色（RGB3色または単色）の画像、YUV画像など）により補間に用いる近傍の画素や求め方が異なるものとなるが、それぞれの形式で計算された画素の値を求めることは異なることはない。

また、上述した手振れ補正処理の第１乃至第３の処理例において、求めるべき画素の位置が画像外などとなった場合には、画素値としてゼロ等を返したり、画像外とならないように補正量に制限を加えたりするなどの処理が必要となる。ここで、画素値としてゼロ等を返す場合には、出力画像の周辺に本来の画像と異なるものが書き込まれることになるが、最終的な出力画像を、本来の画像のある範囲から切り出したり、切り出した後に拡大したりする処理を施すことができる。一般的には、入力画像として、補正したい角度を補える範囲で、最終出力画像より一回り大きめのものを用意することで、このような影響が最終出力結果に与えられないようにすることができる。

また、本実施の形態では、説明を分かり易くするために、全画素に関して補正位置を計算して補正する例を説明したが、画像全体を複数のブロックに分割して、分割されたブロックごとに代表点の補正位置を求め、その代表点の補正位置の値から補間して各画素の補正位置を求める等の方法を用いてもよい。また、数値計算に関しては、近似計算等を用いて簡略化してもよい。

なお、バレルシフト方式（第３の処理例）の場合には、画像のセンターのブレ分はレンズの移動で補正されているため手振れ補正処理の第１および第２の処理例と比較して、同じ角度のブレ量に対して求めるべき画素の位置が、画像外になる量は少なくなる。

また、特に動画撮影時において、従来、画像の周辺近傍において歪が大きく表れるため、そのような歪の影響の少ない画像の中央のみを切り出したり、イメージセンサユニットの画角を狭くしたりする処理が行われていた。これに対し、本技術を適用した撮像装置１１による手振れ補正処理では、画像の周辺近傍における歪を補正することができるので、撮像装置１１の画角を広くすることができる。

次に、図２２は、図１の撮像装置１１による撮像方法を説明するフローチャートである。

例えば、撮像装置１１の電源が投入されて手振れ補正処理が有効となるように設定されると処理が開始される。ステップＳ１１において、ジャイロセンサ２２は一定のタイミングで手振れ量信号（ジャイロデータ）の出力を開始し、信号同期部２３は、順次、ジャイロセンサ２２から手振れ量信号を取得する。

ステップＳ１２において、イメージセンサ２１は、水平同期信号に従ったタイミングで、画像信号を出力し、信号同期部２３は、順次、イメージセンサ２１から画像信号を取得する。

ステップＳ１３において、信号同期部２３は、手振れ量信号と画像信号との同期をとって手振れ補正処理部２５に供給する。

ステップＳ１４において、手振れ補正処理部２５は、画素位置ごとにずれ量を算出する。例えば、手振れ補正処理部２５は、上述した式（１５）、式（１９）、式（２０）、式（２４）、および式（２６）を演算して、それらの演算結果に基づいて式（２７）から求められる総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを、画素位置ごとに算出する。

ステップＳ１５において、手振れ補正処理部２５は、ステップＳ１４で算出した画素位置ごとのずれ量に基づいて、画像を補正する。例えば、手振れ補正処理部２５は、座標Ａ（Ｘ，Ｙ）ごとに、上述した式（３１）を演算して座標Ａ’（Ｘ’，Ｙ’）を求めることにより画像を補正する。ステップＳ１５の処理後、処理はステップＳ１１に戻り、次のフレームを処理の対象として、以下、同様の処理が繰り返される。

ところで、図５を参照して上述したように、誤差距離δ（θ,α,Ｄ）が２画素未満の範囲であれば、被写体面上の点Ａおよび点Ａ’の距離差が目立つことはない。従って、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘによる手振れ補正処理を行うことで、手振れの発生を十分に抑制した画像を得ることができる。しかしながら、例えば、被写体距離Ｄが近い被写体に対しては、誤差距離δ（θ,α,Ｄ）が２画素以上となることがあり、手振れ補正処理を行っても、手振れが目立つ画像になることがあった。

そこで、例えば、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘに、被写体距離Ｄを用いた追加的な補正量を追加した手振れ補正処理を行うことで、被写体距離Ｄが近い被写体に対する手振れを抑制することができる。例えば、ＡＦ（Auto Focus）機能を利用してフォーカスを合わせる被写体までの被写体距離Ｄを推定し、その被写体における手振れが最も抑制されるように、被写体距離Ｄに応じた手振れ補正処理が行われる。

次に、図２３は、本技術を適用した撮像装置の他の実施の形態の構成例を示すブロック図である。

図２３には、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行う撮像装置１１Ｂが示されている。なお、図２３の撮像装置１１Ｂにおいて、図１の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。

図２３に示すように、撮像装置１１Ｂは、図１の撮像装置１１の構成に加えて、ＡＦセンサ３１、ＡＦ制御部３２、ＡＦ駆動部３３、および距離推定部３４を備えて構成される。

ＡＦセンサ３１は、例えば、イメージセンサ２１のセンサ面に埋め込まれた複数の位相差検出画素を有して構成される。位相差検出画素は、右側半分が遮光された画素と左側半分が遮光された画素とが組み合わされて構成され、センサ面の所定箇所に配置される。そして、右側半分が遮光された画素から出力される画素信号から構築される画像と、左側半分が遮光された画素から出力される画素信号から構築される画像とが、ＡＦセンサ３１からＡＦ制御部３２に供給される。

ＡＦ制御部３２は、ＡＦセンサ３１から供給される２枚の画像上における被写体の位置のズレに基づいて、フォーカスを合わせる被写体までの距離を算出する。そして、ＡＦ制御部３２は、その距離にフォーカスが合うように、光学系１２が有するフォーカス調整用のレンズのレンズ位置を決定し、決定したレンズ位置に対応する電流値のＡＦ制御信号をＡＦ駆動部３３に供給する。

ＡＦ駆動部３３は、光学系１２が有するフォーカス調整用のレンズを駆動するためのアクチュエータを有して構成され、ＡＦ制御部３２から供給されるＡＦ制御信号の電流値に従ってフォーカス調整用のレンズを駆動して、被写体にフォーカスを合わせる。

距離推定部３４には、ＡＦ制御部３２からＡＦ駆動部３３に出力されるＡＦ制御信号が供給され、距離推定部３４は、ＡＦ制御信号の電流値から、フォーカスを合わせる被写体までの被写体距離Ｄを推定する。そして、距離推定部３４は、ＡＦ制御信号の電流値から推定した被写体距離Ｄを、手振れ補正処理部２５に供給する。

ここで、図２４を参照して、ＡＦ制御信号の電流値と被写体距離Ｄとの関係について説明する。

図２４のＡに示すように、レンズから被写体までの距離を物側距離ａとし、レンズからセンサ面までの距離を像側距離ｂとしたとき、物側距離ａおよび像側距離ｂの関係は、レンズの焦点距離ｆに従ったものとなる。

即ち、物側距離ａおよび像側距離ｂの関係は、図２４のＢに示すように、ガウスの結像公式（１／ｆ＝１／ａ＋１／ｂ）により求められる。図２４のＢでは、横軸が物側距離ａを表し、縦軸が像側距離ｂを表しており、物側距離ａが短くなるのに伴って像側距離ｂが長くなる。特に、フォーカスを合わせる被写体が近距離にあるとき、即ち、物側距離ａが極端に短いときには、像側距離ｂは急激に長くなる。

また、ＡＦ駆動部３３は、光学系１２が有するフォーカス調整用のレンズを、ＡＦ制御部３２から供給されるＡＦ制御信号の電流値に応じてリニアに駆動する。図２４のＣでは、横軸がＡＦ制御信号の電流値を表し、縦軸がフォーカス調整用のレンズのレンズ位置を表しており、フォーカス調整用のレンズのレンズ位置は、ＡＦ制御信号の電流値に対して略線形に変化する。

従って、距離推定部３４は、略線形的な関係に基づいて、ＡＦ駆動部３３に供給されるＡＦ制御信号の電流値から、ＡＦ駆動部３３により駆動されるフォーカス調整用のレンズのレンズ位置を求めることができる。そして、フォーカス調整用のレンズのレンズ位置に従って物側距離ａが決定されることより、距離推定部３４は、図２４のＢに示したガウスの結像公式から像側距離ｂを求めることで、フォーカスを合わせる被写体までの被写体距離Ｄを推定することができる。

距離推定部３４は、このようにして推定した被写体距離Ｄを手振れ補正処理部２５に供給し、手振れ補正処理部２５は、被写体距離Ｄに応じた手振れ補正処理を行うことができる。例えば、上述したように、誤差距離δ（θ,α,Ｄ）が２画素以上となる程度に、フォーカスを合わせる被写体までの被写体距離Ｄが近い場合、手振れ補正処理部２５は、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘに追加する追加補正量を、被写体距離Ｄを用いて求め、その追加補正量を追加した補正量で手振れ補正処理を行うようにすることができる。これにより、フォーカスを合わせる被写体における誤差距離δ（θ,α,Ｄ）を２画素以下に抑制することができる。

図２５には、撮像装置１１Ｂがロール方向に手振れしたときに求められる、所定の被写体距離ＤとＸ方向の誤差距離δｘとの関係の一例が示されている。

図２５に示すように、例えば、撮像装置１１Ｂのロール方向の回転中心までの距離ｒを100ｍｍとし、ブレ角θを0.5°としたとき、Ｘ方向の移動量ｒ・ｓｉｎθは872.7μｍと求められ、Ｙ方向の移動量ｒ・（１−ｃｏｓθ）は3.8μｍと求められる。

そして、被写体距離Ｄが2.4ｍであるとき、Ｘ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）は2.47ｍとして求められ、上述の式（５）よりＸ方向の誤差距離δｘは1.5と求められる。同様に、被写体距離Ｄが1.4ｍであるとき、Ｘ方向に撮像可能な範囲は1.44ｍとして求められ、Ｘ方向の誤差距離δｘは2.5と求められる。さらに、被写体距離Ｄが0.35ｍであるとき、Ｘ方向に撮像可能な範囲は0.36ｍとして求められ、Ｘ方向の誤差距離δｘは10.1と求められる。

このように、フォーカスを合わせる被写体までの被写体距離Ｄが近く、Ｘ方向の誤差距離δｘが２画素以上となるとき、被写体にはＸ方向の誤差距離δｘで手振れが発生することになる。従って、そのＸ方向の誤差距離δｘを補正値に加算して手振れ補正処理を行うことで、フォーカスを合わせる被写体における手振れを抑制することができる。つまり、手振れ補正処理部２５は、このＸ方向の誤差距離δｘを、上述した式（８）の補正量Δｘに対して追加する追加補正量（追加的に修正する画素数）として追加した手振れ補正処理を行う。

ここでは、Ｘ方向の補正について説明したが、手振れ補正処理部２５は、Ｙ方向の補正についても同様に、上述した式（６）の補正量Δｙに対して、Ｙ方向の誤差距離δｙを追加補正量として追加した手振れ補正処理を行う。

つまり、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うときのＹ方向の補正量Δｙは、上述した式（６）に、Ｙ方向の誤差距離δｙを加算した次の式（４０）で求められる。

但し、式（４０）において、ｄは、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な瞳距離を示し、αは、瞳位置Ｉから被写体面上の点Ａへの仰角を示し、θは、回転中心Ｏを中心としたブレ角を示している。また、ｒは、回転中心Ｏからセンサ面Ｓの中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、イメージセンサ２１のＹ軸方向の一辺の画素数を示し、βは、イメージセンサ２１のＹ軸方向の最大画角を示している。

同様に、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うときのＸ方向の補正量Δｘは、上述した式（８）に、Ｘ方向の誤差距離δｘを加算した次の式（４１）で求められる。

但し、式（４１）において、ｄは、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な瞳距離を示し、αは、瞳位置Ｉから被写体面上の点Ａへの仰角を示し、θは、回転中心Ｏを中心としたブレ角を示している。また、ｒは、回転中心Ｏからセンサ面Ｓの中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｘは、イメージセンサ２１のＸ軸方向の一辺の画素数を示し、γは、イメージセンサ２１のＸ軸方向の最大画角を示している。

例えば、手振れ補正処理部２５には、誤差距離δ（θ,α,Ｄ）が２画素以上となる被写体距離が予め求められて閾値として設定することができる。そして、手振れ補正処理部２５は、距離推定部３４により推定された被写体距離Ｄが、その閾値未満である場合、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うようにすることができる。

これにより、撮像装置１１Ｂは、フォーカスを合わせる被写体において、手振れが最も抑制されるように手振れ補正処理を行うようことができる。従って、被写体が近距離であっても手振れの発生をより確実に抑制することができ、画質の向上を図ることができる。また、撮像装置１１Ｂでは、誤差距離δ（θ,α,Ｄ）が２画素以上となる被写体距離が予め求められて閾値未満である場合にだけ、被写体距離Ｄに応じた手振れ補正処理を行えばよく、処理負荷を低減することができる。

図２６は、被写体距離Ｄに応じた手振れ補正処理の効果を比較して説明する図である。

図２６には、定規を手前側に配置し、格子パターンのパネルを奥側に配置して撮像された画像が示されている。図２６のＡには、手振れ補正処理が施されていない画像が示されており、図２６のＢには、定規が配置されている位置に被写体距離Ｄを設定して手振れ補正処理が施された画像が示されており、図２６のＣには、格子パターンが配置されている位置に被写体距離Ｄを設定して手振れ補正処理が施された画像が示されている。

図２６のＡに示す画像のように、手振れ補正処理が施されていない場合には、定規および格子パターンの両方に手振れが発生している。また、図２６のＢに示す画像のように、定規が配置されている位置に被写体距離Ｄを設定して手振れ補正処理を施した場合には、定規に対する手振れが抑制され、奥側にある格子パターンに手振れが発生している。また、図２６のＣに示す画像のように、格子パターンが配置されている位置に被写体距離Ｄを設定して手振れ補正処理を施した場合には、格子パターンに対する手振れが抑制され、手前側にある定規に手振れが発生している。

このように、被写体距離Ｄに応じた手振れ補正処理を行うことにより、フォーカスを合わせる被写体に対する手振れを、より効果的に抑制することができる。

なお、図２４のＣを参照して説明したように、フォーカス調整用のレンズのレンズ位置は、ＡＦ制御信号の電流値に対して略線形に変化する関係を有するが、例えば、撮像装置１１の姿勢によって、その関係が略線形にならないことがある。即ち、例えば、撮像装置１１が上を向いているときと、撮像装置１１が下を向いているときとで、フォーカス調整用のレンズに作用する重力によって、フォーカス調整用のレンズのレンズ位置は異なることになる。

そこで、撮像装置１１Ｂでは、撮像装置１１の姿勢に基づいて、被写体距離Ｄを補正することで、より正確な補正量を求めることができる。

即ち、例えば、撮像装置１１では、ジャイロセンサ２２により重力方向（即ち、撮像装置１１の姿勢）を測定し、ジャイロセンサ２２が、その重力方向を距離推定部３４に供給するように構成することができる。そして、距離推定部３４は、予め求められた重力方向と被写体距離Ｄの補正量との対応関係を保持しており、ジャイロセンサ２２から供給される重力方向に従い、被写体距離Ｄを補正することができる。これにより、撮像装置１１がどのような姿勢であっても、より正確に手振れ補正処理を行うことができる。

なお、撮像装置１１Ｂにおいて、ＡＦセンサ３１は、位相差検出画素をイメージセンサ２１のセンサ面に埋め込む構成に限定されることはない。例えば、撮像装置１１Ｂでは、イメージセンサ２１に向かう光の一部を分割して被写体までの距離を求める構成や、イメージセンサ２１から出力される画像のコントラストに基づいて被写体までの距離を求める構成などを採用することができる。

また、撮像装置１１Ｂにおいて、距離推定部３４を設けずに、ＡＦ制御部３２が、被写体までの距離を示す信号を手振れ補正処理部２５に直接的に供給するように構成してもよい。さらに、ＡＦ駆動部３３が、パルス信号に従ってフォーカス調整用のレンズを駆動する構成としてもよく、この場合、ＡＦ制御部３２が、ＡＦ制御信号としてパルス信号を出力し、距離推定部３４は、そのパルスをカウントすることにより被写体までの距離を推定することができる。

次に、図２７は、本技術を適用した固体撮像素子の一実施の形態の構成例を示すブロック図である。

図２７に示すように、固体撮像素子５１は、画素アレイ部５２、行走査部５３、カラム処理部５４、列走査部５５、出力部５６、制御部５７、およびロジック回路５８を備えて構成される。

画素アレイ部５２は、複数の画素６１がアレイ状に配置されており、画素６１は、行走査部５３からの制御に従って行ごとに駆動し、光電変換により発生した電荷に応じた画素信号を列ごとに並列的にカラム処理部５４に出力する。

行走査部５３は、画素アレイ部５２の画素６１を行ごとに駆動するための駆動信号（例えば、転送信号、選択信号、リセット信号）を供給する。

カラム処理部５４は、画素アレイ部５２の画素６１から供給される画素信号を、画素６１の列ごとに並列的にA/D（Analog/Digital）変換し、列走査部５５からの制御に従って順番に出力部５６に供給する。

列走査部５５は、カラム処理部５４に対して所定のタイミングで順次、画素信号を出力するように制御する。

出力部５６は、カラム処理部５４から供給される画素信号を、例えば、所定のゲインで増幅して出力する。

制御部５７は、行走査部５３、カラム処理部５４、列走査部５５、および出力部５６の駆動の基準となるクロック信号や、駆動を制御するための制御信号を供給する。

ロジック回路５８は、ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５を有するように構成される。ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５の構成については、図１と同様であり、その詳細な説明は省略する。

つまり、固体撮像素子５１は、図１のカメラモジュール１５と同様の手振れ補正処理を、その内部で行うことができるように構成されている。なお、ロジック回路５８は、例えば、画素アレイ部５２と同一の基板において画素アレイ部５２の周辺回路として設けられる。または、ロジック回路５８は、画素アレイ部５２の基板とは異なる基板に設けられ、それらの基盤が積層される構成とすることができる。

このように、固体撮像素子５１は、手振れ補正処理を施した画像を出力することができる。

なお、本技術は、撮像装置の他、例えば、パーソナルコンピュータのように、撮像済みの画像データと画像データに同期したジャイロデータとを取得して、事後的に手振れ補正処理を提供する装置に適用してもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
被写体を撮像して画像を出力する撮像部と、
前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
を備える撮像装置。
（２）
前記補正処理部は、前記画像の略中心からの縦方向と横方向との距離に依存して異なる補正量を用いる
上記（１）に記載の撮像装置。
（３）
前記補正処理部は、前記撮像部のセンサ面に被写体の像を結像する光学系の瞳位置から前記撮像部のセンサ面までの光学的な距離である瞳距離と、前記撮像部から供給される画像の所定の画素の配置位置と、この配置位置に対応する前記センサ面上の点に対する前記瞳位置からの仰角と、前記ブレ角とを用いて、前記画素ごとに、幾何光学的な計算式に従った演算を行って前記補正量を算出する
上記（１）または（２）に記載の撮像装置。
（４）
前記補正量は、上述した式（６）および式（８）で表される
但し、前記式（６）および式（８）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示す
上記（３）に記載の撮像装置。
（５）
前記補正処理部は、前記補正量に従って補正された補正後の画像を構成する各画素の画素位置が、補正前の画像を構成する各画素の画素位置に一致するように、補正後の画像を構成する所定の前記画素の周辺にある所定数の前記画素より補間して、所定の前記画素の画素値を求める
上記（１）から（４）までのいずれかに記載の撮像装置。
（６）
前記撮像部から出力される画像と、前記検出部から出力される前記ブレ角との同期をとって前記補正処理部に供給する同期部
をさらに備える
上記（１）から（５）までのいずれかに記載の撮像装置。
（７）
前記同期部は、前記撮像部から出力される画像の水平ラインごとに、前記検出部から出力される前記ブレ角との同期をとる
上記（１）から（６）までのいずれかに記載の撮像装置。
（８）
前記補正処理部は、前記撮像部が振れることによって、
前記画像が上下方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量に加え、前記画像が上下方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量を算出し、
前記画像が左右方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量に加え、前記画像が左右方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量を算出する
上記（１）から（７）までのいずれかに記載の撮像装置。
（９）
前記撮像部は、前記画像の全体が略同時に記録されるグローバルシャッター方式で撮像を行う
上記（１）から（７）までのいずれかに記載の撮像装置。
（１０）
前記撮像部は、前記画像内で水平ラインごとに撮像タイミングの異なるローリングシャッター方式で撮像を行う
上記（１）から（７）までのいずれかに記載の撮像装置。
（１１）
前記検出部により検出されるブレ角に基づいて、前記撮像部上の画像が動かない方向に、前記撮像部のセンサ面に被写体の像を結像する光学系が有するレンズを前記撮像部のセンサ面と略平行に駆動する駆動部
をさらに備え、
前記画像面上における前記画素の配置位置に依存しない部分を平行駆動により補正する
上記（１）から（１０）までのいずれかに記載の撮像装置。
（１２）
前記補正処理部は、前記瞳位置からフォーカスを合わせる被写体までの光学的な距離である被写体距離をさらに用い、前記補正量に対して追加的な補正を行う追加補正量を算出して、前記被写体距離に応じた手振れ補正処理を行う
上記（３）に記載の撮像装置。
（１３）
前記被写体距離に応じた手振れ補正処理を行う際の補正量は、上述した式（４０）および式（４１）で表される
但し、前記式（４０）または式（４１）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示し、ｒは、前記撮像部が振れた際の回転中心から前記センサ面の中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、前記撮像部の縦方向の一辺の画素数を示し、βは、前記撮像部の縦方向の最大画角を示し、Ｎｘは、前記撮像部の横方向の一辺の画素数を示し、γは、前記撮像部の横方向の最大画角を示す
上記（１２）に記載の撮像装置。
（１４）
前記補正処理部は、フォーカスを合わせる被写体までの前記被写体距離が、予め設定されている所定の閾値以下である場合に、前記被写体距離に応じた手振れ補正処理を行う
上記（１２）または（１３）に記載の撮像装置。
（１５）
前記光学系が有するフォーカス調整用のレンズを駆動して、所望の被写体にフォーカスを合わせるフォーカス駆動部と、
前記フォーカス駆動部による前記フォーカス調整用のレンズの駆動を制御する制御信号に基づいて、フォーカスを合わせる被写体までの前記被写体距離を推定する被写体距離推定部と
をさらに備える上記（１２）から（１４）までのいずれかに記載の撮像装置。
（１６）
前記検出部は、重力加速度の方向を検出して前記被写体距離推定部に供給し、
前記被写体距離推定部は、重力加速度の方向に従い、推定した前記被写体距離を補正する
上記（１５）に記載の撮像装置。
（１７）
被写体を撮像して画像を出力する撮像部と、
前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
を備える固体撮像素子。
（１８）
被写体を撮像して画像を出力する撮像部と、
前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
を備えるカメラモジュール。
（１９）
被写体を撮像して画像を出力する撮像部と、
前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
を備える電子機器。
（２０）
被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、
前記撮像部が画像を出力し、
前記検出部がブレ角を出力し、
前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する
ステップを含む撮像方法。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， １２ 光学系， １３ 記録媒体， １４ ディスプレイ， １５ カメラモジュール， ２１ 撮像素子， ２２ ジャイロセンサ， ２３ 信号同期部， ２４ パラメータ保持部， ２５ 手振れ補正処理部， ２６ 駆動部， ５１ 固体撮像素子， ５２ 画素アレイ， ５３ 行走査部， ５４ カラム処理部， ５５ 列走査部， ５６ 出力部， ５７ 制御部， ５８ ロジック回路

Claims (20)

1. 被写体を撮像して画像を出力する撮像部と、
   前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
   前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
   を備える撮像装置。
2. 前記補正処理部は、前記画像の略中心からの縦方向と横方向との距離に依存して異なる補正量を用いる
   請求項１に記載の撮像装置。
3. 前記補正処理部は、前記撮像部のセンサ面に被写体の像を結像する光学系の瞳位置から前記撮像部のセンサ面までの光学的な距離である瞳距離と、前記撮像部から供給される画像の所定の画素の配置位置と、この配置位置に対応する前記センサ面上の点に対する前記瞳位置からの仰角と、前記ブレ角とを用いて、前記画素ごとに、幾何光学的な計算式に従った演算を行って前記補正量を算出する
   請求項１に記載の撮像装置。
4. 前記補正量は、以下の式（１）および式（２）で表される
   

   

   

   但し、前記式（１）または式（２）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示す
   請求項３に記載の撮像装置。
5. 前記補正処理部は、前記補正量に従って補正された補正後の画像を構成する各画素の画素位置が、補正前の画像を構成する各画素の画素位置に一致するように、補正後の画像を構成する所定の前記画素の周辺にある所定数の前記画素より補間して、所定の前記画素の画素値を求める
   請求項１に記載の撮像装置。
6. 前記撮像部から出力される画像と、前記検出部から出力される前記ブレ角との同期をとって前記補正処理部に供給する同期部
   をさらに備える請求項１に記載の撮像装置。
7. 前記同期部は、前記撮像部から出力される画像の水平ラインごとに、前記検出部から出力される前記ブレ角との同期をとる
   請求項６に記載の撮像装置。
8. 前記補正処理部は、前記撮像部が振れることによって、
   前記画像が上下方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量に加え、前記画像が上下方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量を算出し、
   前記画像が左右方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量に加え、前記画像が左右方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量を算出する
   請求項１に記載の撮像装置。
9. 前記撮像部は、前記画像の全体が略同時に記録されるグローバルシャッター方式で撮像を行う
   請求項１に記載の撮像装置。
10. 前記撮像部は、前記画像内で水平ラインごとに撮像タイミングの異なるローリングシャッター方式で撮像を行う
    請求項１に記載の撮像装置。
11. 前記検出部により検出されるブレ角に基づいて、前記撮像部上の画像が動かない方向に、前記撮像部のセンサ面に被写体の像を結像する光学系が有するレンズを前記撮像部のセンサ面と略平行に駆動する駆動部
    をさらに備え、
    前記画像面上における前記画素の配置位置に依存しない部分を平行駆動により補正する
    請求項１に記載の撮像装置。
12. 前記補正処理部は、前記瞳位置からフォーカスを合わせる被写体までの光学的な距離である被写体距離をさらに用い、前記補正量に対して追加的な補正を行う追加補正量を算出して、前記被写体距離に応じた手振れ補正処理を行う
    請求項３に記載の撮像装置。
13. 前記被写体距離に応じた手振れ補正処理を行う際の補正量は、以下の式（３）および式（４）で表される
    

    

    

    但し、前記式（３）または式（４）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示し、ｒは、前記撮像部が振れた際の回転中心から前記センサ面の中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、前記撮像部の縦方向の一辺の画素数を示し、βは、前記撮像部の縦方向の最大画角を示し、Ｎｘは、前記撮像部の横方向の一辺の画素数を示し、γは、前記撮像部の横方向の最大画角を示す
    請求項１２に記載の撮像装置。
14. 前記補正処理部は、フォーカスを合わせる被写体までの前記被写体距離が、予め設定されている所定の閾値以下である場合に、前記被写体距離に応じた手振れ補正処理を行う
    請求項１２に記載の撮像装置。
15. 前記光学系が有するフォーカス調整用のレンズを駆動して、所望の被写体にフォーカスを合わせるフォーカス駆動部と、
    前記フォーカス駆動部による前記フォーカス調整用のレンズの駆動を制御する制御信号に基づいて、フォーカスを合わせる被写体までの前記被写体距離を推定する被写体距離推定部と
    をさらに備える請求項１２に記載の撮像装置。
16. 前記検出部は、重力加速度の方向を検出して前記被写体距離推定部に供給し、
    前記被写体距離推定部は、重力加速度の方向に従い、推定した前記被写体距離を補正する
    請求項１５に記載の撮像装置。
17. 被写体を撮像して画像を出力する撮像部と、
    前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    を備える固体撮像素子。
18. 被写体を撮像して画像を出力する撮像部と、
    前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    を備えるカメラモジュール。
19. 被写体を撮像して画像を出力する撮像部と、
    前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    を備える電子機器。
20. 被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、
    前記撮像部が画像を出力し、
    前記検出部がブレ角を出力し、
    前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する
    ステップを含む撮像方法。

Images