JP7387713B2 - 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 - Google Patents

撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 Download PDF

Info

Publication number
JP7387713B2
JP7387713B2 JP2021507148A JP2021507148A JP7387713B2 JP 7387713 B2 JP7387713 B2 JP 7387713B2 JP 2021507148 A JP2021507148 A JP 2021507148A JP 2021507148 A JP2021507148 A JP 2021507148A JP 7387713 B2 JP7387713 B2 JP 7387713B2
Authority
JP
Japan
Prior art keywords
image
position information
imaging unit
movement
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507148A
Other languages
English (en)
Other versions
JPWO2020189224A1 (ja
Inventor
宗市 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020189224A1 publication Critical patent/JPWO2020189224A1/ja
Application granted granted Critical
Publication of JP7387713B2 publication Critical patent/JP7387713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本開示は、撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関し、特に、動きにより画像が受ける影響を確実に補正することができるようにした撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関する。
従来、撮像装置において手振れを補正する技術として、光学式手振れ補正（OIS：Optical Image Stabilizer）または電子式手振れ補正（EIS：Electronic Image Stabilization）が利用されている。光学式手振れ補正では、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて、撮像素子上の画像の位置をずらすことによりブレを補正することができる。電子式手振れ補正では、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正することができる。
例えば、手振れには、撮像素子の回転の動きによるブレと撮像素子の平行移動によるブレとがあるが、特に、被写体までの距離が遠くなればなるほど、撮像素子の平行移動による影響は小さくなるため、撮像素子の回転の動きによるブレを止めることが重要であった。光学式手振れ補正技術においては、この回転の動きをレンズまたは撮像素子の平行移動で補正するため、周辺が変形してしまうという問題があった。同様に、電子式手振れ補正においても、切り出し位置を平行に移動させる補正であるため、周辺が変形してしまうという問題があった。
また、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのようなローリングシャッタを用いた撮像素子で発生する画素のラインごとの露光時間のズレによる一画面内での移動量の違いによる変形（フォーカルプレーン現象）に対する対応は行われていなかった。
そこで、特許文献１に開示されているように、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して手振れ補正を行うことができる撮像装置が提案されている。この手振れ補正を採用することで、中央から周辺まで非常に精度良く手振れを補正することができるのに加え、フォーカルプレーン現象による変形も補正することができる。
さらに、特許文献２には、特許文献１で開示されている技術に加えて、レンズ歪みを効果的に補正することができる手振れ補正についての技術が提案されている。
国際公開第２０１４／１５６７３１号パンフレット 国際公開第２０１７／０１４０７１号パンフレット
ところで、上述したように、特許文献１および２に開示されている手振れ補正により良好な効果を得ることができるが、例えば、平行振動などの影響をも抑制して、さらに手振れを効果的に補正することが求められている。
本開示は、このような状況に鑑みてなされたものであり、動きにより画像が受ける影響を確実に補正することができるようにするものである。
本開示の一側面の撮像装置は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部とを備え、前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである。
本開示の一側面の固体撮像素子は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記移動量情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部とを備え、前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである。
本開示の一側面のカメラモジュールは、被写体からの光を集光する光学系と、前記光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報、並びに、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに供給するロジック部とを備え、前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである。
本開示の一側面の駆動制御部は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆
動を制御し、その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報を、前記撮像部により撮像された画像に付加する処理を行い、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を供給し、前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである。
本開示の一側面の撮像方法は、撮像装置が、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御することと、その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施すこととを含み、前記光軸方向位置情報は、その制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである。
本開示の一側面においては、被写体からの光を集光する光学系を介して、被写体を撮像する撮像部の物理的に検出される動きに基づいて、光学系および撮像部の少なくとも一方を相対的に移動させて撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、光学系および撮像部の少なくとも一方の駆動が制御され、その制御に従って光軸方向に対して垂直な面方向に駆動された光学系または撮像部の位置が検出された垂直面方向位置情報、物理的に検出される撮像部の動きを表す動き情報、および、光学系と撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、画像上の座標ごとに同期させた垂直面方向位置情報、動き情報、および光軸方向位置情報を基に位置を変換する関数に従って、撮像部の動きが画像に与える影響を補正する信号処理が施される。そして、光軸方向位置情報は、その制御に従って被写体に対するオートフォーカスを行う際の光学系と撮像部との間の距離に基づくものとされる。
撮像装置に生じる手振れの方向について説明する図である。 回転振動が生じたときの手振れの影響について説明する図である。 平行移動によるシフト振動が生じたときの手振れの影響について説明する図である。 垂直移動によるシフト振動が生じたときの手振れの影響について説明する図である。 レンズ－撮像素子の距離と撮像対象の点－レンズの距離との関係について説明する図である。 シフトブレによる移動量について説明する図である。 回転ブレによる移動量について説明する図である。 出力画像上の点の補正について説明する図である。 本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。 手振れ補正処理を説明するフローチャートである。 通常の光学式手ブレ補正における補正可能な範囲の振動について説明する図である。 通常の光学式手ブレ補正における補正可能な範囲を超えた振動について説明する図である。 補正位置のリセットを行う光学式手ブレ補正およびOIS制御情報について説明する図である。 本技術を適用した撮像装置の第２の実施の形態の構成例を示すブロック図である。 OIS制御情報について説明する図である。 イメージセンサを使用する使用例を示す図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜回転ブレおよびシフトブレに対する補正＞
まず、図１乃至図７を参照して、回転ブレおよびシフトブレに対する補正を行う上での違いについて説明する。
本実施の形態では、図１に示すように、撮像装置１１に生じる手振れが６方向の移動に分類される。
即ち、撮像装置１１には、回転移動によるピッチ方向、ヨー方向、およびロール方向、並びに、平行移動によるＸ方向、Ｙ方向、およびＺ方向の手振れが発生する。Ｘ方向は、撮像装置１１の光軸方向に対して垂直な方向であり、かつ、撮像フレームの横方向に平行な方向であって、Ｘ方向を軸とした回転方向がピッチ方向となる。Ｙ方向は、撮像装置１１の光軸方向に対して垂直な方向であり、かつ、撮像フレームの縦方向に平行な方向であって、Ｙ方向を軸とした回転方向がヨー方向となる。Ｚ方向は、撮像装置１１の光軸方向に平行な方向であって、Ｚ方向を軸とした回転方向がロール方向となる。なお、図１に示す方向の名称は、これらに限定されるものではない。
図２を参照して、撮像装置１１が、ピッチ方向またはヨー方向に回転振動したときの手振れの影響について説明する。
図２には、回転振動が発生したときの回転ブレにより、レンズユニット１２からの距離が異なる物体上の２つの点Ａおよび点Ｂに対応する、イメージセンサ１３のセンサ面上における像Ａおよび像Ｂが、どのように動くかが示されている。
図示するように、イメージセンサ１３のセンサ面上で像Ａおよび像Ｂが重なっている場合、回転ブレが発生しても、イメージセンサ１３のセンサ面上において、それぞれ同じ位置に像Ａおよび像Ｂは移動し、像Ａおよび像Ｂは重なったままとなる。即ち、この場合、回転ブレが発生しても、イメージセンサ１３のセンサ面上における像の移動量は、撮像対象となる物体上の点までの距離に依存しないことを示している。
図３を参照して、撮像装置１１が、Ｘ方向またはＹ方向にシフト振動したときの手振れの影響について説明する。
図３には、光軸に対して直交する方向に移動する平行移動によってシフト振動が生じたときのシフトブレにより、レンズユニット１２からの距離が異なる物体上の２つの点Ａおよび点Ｂに対応する、イメージセンサ１３のセンサ面上における像Ａおよび像Ｂが、どのように動くかが示されている。
図示するように、イメージセンサ１３のセンサ面上で像Ａおよび像Ｂが重なっている場合、シフトブレが発生することにより、イメージセンサ１３のセンサ面上において、それぞれ異なる位置に像Ａおよび像Ｂが移動し、像Ａおよび像Ｂは重ならなくなる。即ち、この場合、シフトブレが発生することにより、イメージセンサ１３のセンサ面上における像の移動量は、撮像対象となる物体上の点までの距離に依存することを示しており、撮像対象が近いほど移動量は大きく、撮像対象が遠いほど移動量は小さくなる。
図４を参照して、撮像装置１１が、Ｚ方向にシフト振動したときの手振れの影響について説明する。
図４には、光軸に沿って移動する垂直移動によってシフト振動が生じたときのシフトブレにより、レンズユニット１２からの距離が異なる物体上の２つの点Ａおよび点Ｂに対応する、イメージセンサ１３のセンサ面上における像Ａおよび像Ｂが、どのように動くかが示されている。
図示するように、イメージセンサ１３のセンサ面上で像Ａおよび像Ｂが重なっている場合、シフトブレが発生することにより、光軸上の点以外では、イメージセンサ１３のセンサ面上において、それぞれ異なる位置に像Ａおよび像Ｂが移動し、像Ａおよび像Ｂは重ならなくなる。即ち、この場合、シフトブレが発生することにより、イメージセンサ１３のセンサ面上における像の移動量は、撮像対象となる物体上の点までの距離に依存することを示している。そして、この場合、撮影対象に近づくように移動した場合には像が拡大され、撮影対象から遠くなるように移動した場合には像が縮小される。また撮影対象まで距離が近いほど拡縮率は大きく、撮影対象まで距離が遠いほど拡縮率は小さくなる。
以上のように、回転ブレは、撮影対象までの距離に依存せず、ブレた角度に応じた量で補正することにより手振れを抑制することができる。これに対し、シフトブレは、撮影対象までの距離を把握しなければ、正しく補正することができない。また、シフトブレは、撮影対象までの距離に応じて移動量が異なるので、補正する対象距離を決めなければ補正することができない。
ところで、一般に、フォーカスを合わせているところに、一番撮影したい対象があると考えられる。従って、フォーカスの合っているところまでの距離を把握し、その距離に従って補正を行うことによって、一番撮影したいものに対して発生する手振れを補正することができる。もちろん、フォーカスからずれたところを補正したい場合は、補正量を計算する際、フォーカスからのずれを計算に加味することによって、フォーカスからずれたところで発生する手振れを補正することができる。
また、フォーカスしている撮影対象物までの距離を撮影タイミングの違い等も含めて像位置毎に取得するために、本実施の形態では、後述するように、レンズユニット１２およびイメージセンサ１３を相対的に移動させる。そして、AF位置情報を時系列（１フレームに数回～数十回、または、それ以上の一定周波数）で取得し、順次、後段の信号処理部に送り、処理に用いるようにしている。このAF位置情報は、光軸方向に沿ったレンズユニット１２およびイメージセンサ１３の相対的な位置情報であり、例えば、AFアクチュエータの制御に用いるHall素子の値等で知ることができる。
例えば、撮像装置１１のカメラモジュール組立時に、レンズユニット１２の焦点距離位置におけるレンズ位置を測定しておくことで、AF位置情報Ａoffsetを予め取得しておく。そして、レンズユニット１２からイメージセンサ１３までの距離Ｌ（μｍ）は、レンズユニット１２の焦点距離Ｆ（μｍ）、距離Ｌを知りたいときのAF位置情報Ａ、予め取得されたAF位置情報Ａoffset、および、AF位置情報をμmの単位に変換する係数Ｃ（μm/digit）を用いて、次の式（１）に示すように求められる。
Figure 0007387713000001
このとき、フォーカスの合っている撮影対象上の点からレンズユニット１２までの間の距離Ｂ（μｍ）は、距離Ｌ（μｍ）および焦点距離Ｆ（μｍ）を用いて、図５に示す数式によって求めることができる。
そして、レンズユニット１２およびイメージセンサ１３が、光軸方向に対して垂直方向にシフト移動量Δｄ（μｍ）でシフトブレした際、フォーカスの合っている撮影対象上の点に対応する像が、イメージセンサ１３のセンサ面上において移動する移動量Δｐ（μｍ）は、図６に示す数式によって求めることができる。
なお、レンズユニット１２およびイメージセンサ１３が、光軸方向に対して垂直方向にシフト移動量Δｄ（μｍ）でシフトブレすることは、レンズユニット１２およびイメージセンサ１３からみると、撮影対象物が逆方向にΔｄ（μｍ）シフトブレしたことと同義である。従って、図６では、撮影対象物が逆方向にΔｄ（μｍ）シフトブレしたような図示となっている。
従って、この移動量Δｐ（μｍ）から、シフト方向に補正すべき画素数を求め、シフトブレを補正することになるが、移動量Δｐ（μｍ）を求めるためにはシフト移動量Δｄを算出する必要がある。
そこで、本実施の形態では、シフト移動量Δｄを求めるために、モーションセンサから得られる角速度データ（図１のピッチ方向、ヨー方向、およびロール方向の３方向分）と、加速度データ（図１のＸ方向、Ｙ方向、およびＺ方向の３方向分）とを、AF位置情報と同様に、時系列（１フレームに数回～数十回、または、それ以上の一定周波数）で、順次取得し、後段の信号処理部に送り処理に用いるようにしている。
また、レンズユニット１２およびイメージセンサ１３が、光軸方向にシフト移動量Δｄでシフトブレし、フォーカスの合っている撮影対象上の点からレンズユニット１２までの間の距離Ｂ（μｍ）が変化（Ｂ＋Δｄ）した場合、像の大きさは、Ｂ／（Ｂ＋Δｄ）倍される。従って、イメージセンサ１３のセンサ面上における移動量Δｐ（μｍ）は、光軸中心を中心として座標（ｘ、ｙ）を設定すると、座標位置ごとに異なり、各画素のｘ座標およびｙ座標は、それぞれＢ／（Ｂ＋Δｄ）倍した位置に移動する。
また、シフト移動量Δｄは、シフト方向の加速度を２回積分することにより算出することができる。しかしながら、加速度センサからの出力は、一般的に、重力加速度を含んだものになっている。また、センサ自身の出力値は、加速度０の場合でも０とは限らず、一般的に、オフセット成分が載っている。さらに、重力加速度は、センサの傾きに応じて３方向にかかるので、ある瞬間におけるシフト移動量Δｄを算出するには、時系列で取得した加速度や角速度の出力値を元に、重力加速度のオフセット成分、静止時の重力加速度、および、時系列で取得した角速度情報等から求めたその瞬間におけるセンサの傾き等をも考慮して求めなければならない。
即ち、さまざまなセンサ固有値等を定数とすると、あるタイミングｔにおけるピッチ方向の角速度ωｐ（ｔ）、ヨー方向の角速度ωｙ（ｔ）、および、ロール方向の角速度ωｒ（ｔ）の関数により、そのタイミングｔでのピッチ方向の回転角θｐ（ｔ）、ヨー方向の回転角θｙ（ｔ）、および、ロール方向の回転角θｒ（ｔ）を表すことができる。
さらに、タイミングｔにおけるＸ方向の加速度ａｘ（ｔ）、Ｙ方向の加速度ａｙ（ｔ）、およびＺ方向の加速度ａｚ（ｔ）の積分結果や、回転角θｐ（ｔ）、回転角θｙ（ｔ）、および回転角θｒ（ｔ）などを用いて、イメージセンサ１３のＸ方向のシフト移動量ｓｘ（ｔ）、Ｙ方向のシフト移動量ｓｙ（ｔ）、およびＺ方向のシフト移動量ｓｚ（ｔ）を求めることができる。なお、以下適宜、タイミングｔを表す（ｔ）は省略する。
即ち、時系列で取得した角速度データおよび加速度データを用いることで、シフト移動量を算出することができ、イメージセンサ１３のシフト移動量を求める関数をＳとすると、シフト移動量（ｓｘ，ｓｙ，ｓｚ）＝Ｓ（ωｐ，ωｙ，ωｒ，ａｘ，ａｙ，ａｚ）と表すことができる。
さらに、イメージセンサ１３が、シフト方向にシフト移動量（ｓｘ，ｓｙ）で動いたとき、センサ面上の画像がどれだけ動くかは、図３および図５を参照して上述したように、撮像対象までの距離Ｂ、レンズユニット１２の焦点距離Ｆ、レンズユニット１２からイメージセンサ１３までの距離Ｌに依存する。そして、あるタイミングにおけるAF位置情報ａｆｐから、これらの距離Ｂおよび距離Ｌを求めることができ、この値を画素ピッチで割ると移動画素数が求められる。
例えば、画素ピッチは、イメージセンサ１３に固有の値であり、画素ピッチを定数と考えると、シフト移動量（ｓｘ，ｓｙ，ｓｚ）およびAF位置情報ａｆｐから、イメージセンサ１３のセンサ面上のシフト移動量を求める関数をＰとすると、シフト移動量（Δｘｓ，Δｙｓ）は、次の式（２）のように表すことができる。
Figure 0007387713000002
さらに、イメージセンサ１３のセンサ面上のシフト移動量（Δｘｓ，Δｙｓ）は、関数Ｐおよび関数Ｓの合成関数をＱｘｙとすると、次の式（３）のように表すことができる。
Figure 0007387713000003
なお、光軸方向へのシフトの影響も考える場合には、光軸方向にシフト移動量ｓｚで動いた時の影響は、イメージセンサ１３のセンサ面上の画素位置にも依存する。このため、イメージセンサ１３のセンサ面上の画素位置（ｘ、ｙ）でのシフト移動量（Δｘｓ，Δｙｓ）は、光軸方向ブレの影響も加えた場合の合成関数をＱｘｙｚとすると、次の式（４）のように表すことができる。
Figure 0007387713000004
また、回転ブレによる移動量Δｐに関しては、図７に示す数式のように、レンズユニット１２からイメージセンサ１３までの距離Ｌに依存する。
従って、回転ブレによる影響に関しては、後述する式（５）で示すように補正すべき回転角θｐ、回転角θｙ、および回転角θｒと、レンズユニット１２からイメージセンサ１３までの距離Ｌおよびイメージセンサ１３のセンサ面上の画素位置（ｘ、ｙ）とに依存する。そして、回転角θｐ、回転角θｙ、および回転角θｒは、角速度ωｐ、角速度ωｙ、および角速度ωｒを変数として求められ、距離Ｌは、AF位置情報ａｆｐを変数として求められるので、回転ブレによる影響は、角速度ωｐ、角速度ωｙ、角速度ωｒ、AF位置情報ａｆｐ、およびイメージセンサ１３のセンサ面上の画素位置（ｘ、ｙ）の関数として表すことができる。
本実施の形態では、これら時系列で取得するAF位置情報、加速度情報、角速度情報に加えて、OISの位置情報（図１のＸ方向およびＹ方向）も同じタイミングで取得し、後方の信号処理部に送り処理に用いるようにしている。さらに、これらの情報の取得タイミング情報も、後方の信号処理部に送り処理に用いるようにしている。
このタイミング情報を用いることで、イメージセンサ１３のセンサ面上のある座標に対して、その座標の撮影時のAF位置情報（光軸方向位置情報）、加速度情報、角速度情報、およびOISの位置情報（垂直面方向位置情報）を把握することができる。これにより、それらの値を用いて各座標に応じたフォーカスの合っている撮影対象までの距離、シフト移動量、および回転ブレ量を算出し、その値に応じて補正すべき量を算出することで、各画像の撮影時の振動状態に応じた手振れ補正を中央から周辺まですべての座標に対して行なうことができる。
なお、完全に振動を止める場合には、シフト移動量および回転ブレ量を全て補正する必要があるが、動きのある動画等を撮影する際は、必ずしも完全に振動を止めるのではなく、滑らかな動きになるように補正量に制限を加えることも当然可能である。
＜補正された出力画像を得るためのアルゴリズム＞
図８を参照して、補正された出力画像を得るためのアルゴリズムについて説明する。
なお、手振れ補正された出力画像からレンズ歪の影響を取り除きたいユースケースと、取り除きたくないユースケース（広角で撮影して、歪んだ状態のまま出力したい場合など）との両方があると想定される。そのため、以下では、レンズ歪の影響も補正した手振れ補正出力画像を得る場合とレンズ歪の影響を残した手振れ補正出力画像を得る場合の二通りの説明を行う。
まずレンズ歪の影響も補正した手振れ補正出力画像を得る場合について説明する。
例えば、光学式手振れ補正を動作させない場合、撮像装置１１が、ピッチ方向に-θｐで回転ブレを生じ、ヨー方向に-θｙで回転ブレを生じ、ロール方向に-θｒで回転ブレを生じているとしたとき点ｐ0(x0,y0)の像は、レンズ歪のない状態では点q（X0,Y0）に移動する。このとき、点q（X0,Y0）の座標値は、上述した特許文献１および２に開示されているように、次の式（５）で求められる。
Figure 0007387713000005
なお、この式（５）で用いられているＬは、レンズユニット１２からイメージセンサ１３までの距離Ｌ（例えば、図５乃至図７参照）を画素単位で表したものであり、前述したようにAF位置情報から各タイミングにおける値を計算可能である。この値は、計算を簡略化させるため固定値を使うこともあるが、本実施の形態においては、各タイミングにおけるAF位置情報を用いることで、各タイミングにおける値を得ることができるので、より正確に移動量を計算することができる。
さらに、撮像装置１１が、Ｘ方向に－ｓｘで動き、Ｙ方向に－ｓｙで動き、Ｚ方向にｓｚで動いた際、イメージセンサ１３のセンサ面上で点q（X0,Y0）が、移動量Δｓｘおよび移動量Δｓｙで点r(X1,Y1)に移動したとすると、その点r(X1,Y1)は、次の式（６）のように表される。
Figure 0007387713000006
なお、実際にはレンズ歪の影響を受けるので、レンズ歪による影響によって点r(X1,Y1)が点s(X2,Y2)に移動するとし、レンズ歪の影響を表す関数をD()とすると、その点s(X2,Y2)は、次の式（７）のように表される。
Figure 0007387713000007
そして、OISが用いられずに、EISのみが用いられる場合、この点s(X2,Y2)の画素値を点p0(x0,y0)の画素値として出力することにより、６軸の手振れ補正をした画像を得ることができる。
なお、レンズ歪の影響も正確には、レンズユニット１２からイメージセンサ１３までの距離Ｌに依存するので、AF位置情報から算出される各タイミングにおける距離Ｌの値の影響をレンズ歪の影響を表す関数D()で考慮することにより、より正確に歪の影響も計算することができる。
これらの計算を出力画面上のすべての画素について行って出力画素値を算出して出力画像を生成することにより、画面の中央から周辺まで、振動による位置的なズレ、周辺変形、フォーカルプレーン歪、およびレンズ歪の補正を施した画像を得ることができる。ただし露光ブレ（露光中の点像のブレであり、露光内ブレまたは露光時間内ブレとも称する）の影響は残ってしまう。
なお、点s（X2,Y2）が入力画像外の値を示す場合は、特定の値等で代用することになるが、そもそもそのような値が出ないように入力画像を出力画像より大きな範囲のものにしたり、補正範囲に制限を加え入力画像の外を参照しないようにしたりするなど、システムを構成する上で考慮する必要がある。
また、レンズ歪補正無しの出力が欲しい場合には、出力画像上の点p(x,y)の出力値として、p(x,y)にレンズ歪補正を施した位置p0(x0,y0)をもとに算出した点s（X2,Y2）の画素値を用いればよい。即ち、レンズ歪の影響関数D（）の逆関数であるレンズ歪補正関数D-1()を用いて、点p0(x0,y0)は、次の式（８）に示すように表される。
Figure 0007387713000008
なお、いずれの場合も、点s（X2,Y2）のＸ座標X2およびＹ座標Y2が整数になることは稀である。従って、周辺の画度値から補間処理で出力画素値を算出する、あるいは最近傍の画素の値で代用する等で出力画素値を求める。
さらに、OISによる補正が加わった場合は、OIS補正量ΔｘoisおよびΔｙoisを用いて、点s(X2,Y2)が点t（X,Y）に移動するとき、点t（X,Y）は、次の式（９）で表される。
Figure 0007387713000009
ここで、OIS補正量ΔｘoisおよびΔｙoisは、各タイミングにおけるOISのレンズ位置情報をもとに算出したレンズ移動量を画素単位にしたものである。従って、レンズ歪の影響も補正した出力を得る場合には点t（X,Y）の画素値を、点p0(x0,y0)の画素値として出力すれば、OISの画像に６軸の手振れ補正を施した画像を得ることができる。
この際、OISによる補正が、ピッチ方向およびヨー方向の２軸であれ、ピッチ方向およびヨー方向に加えてｘ方向およびｙ方向のシフトを含む４軸補正の場合も、点t（X,Y）の画素値を点p0(x0,y0)の画素値として出力すれば、EISのみで得られる６軸の手振れ補正結果に加えて露光ブレによる影響も補正された結果を得ることができる。ただし、OIS補正が、ピッチ方向およびヨー方向の２軸のみの場合は、シフトブレに関しては、露光ブレが残ることになる。
また、EISのみを用いる場合と同様に、レンズ歪補正無しの結果が欲しい場合は、出力画像上の点p(x,y)の出力値として、点p(x,y)にレンズ歪補正を施した位置p0(x0,y0)をもとに算出した点t（X,Y）の画素値を用いればよい。即ち、レンズ歪の影響関数D（）の逆関数であるレンズ歪補正関数D-1()を用いて、点p0(x0,y0)は、上述した式（８）で算出される。
これにより、出力画像上の点p(x,y)の出力値として点t（X,Y）の画素値を出力すれば、レンズ歪補正をしていない手振れ補正出力結果が得られる。
いずれの場合も、個々の固有値に加えて、出力画像の座標、各画素撮影時の角速度、加速度、OIS位置情報、およびAF位置情報を変数とした関数によって対応する入力画像中の座標値を求めることができ、その座標の画素値を用いることで、手振れ補正を施した出力画像を得ることができる。
また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他に、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
なお、本実施の形態では、図１のピッチ方向、ヨー方向、およびロール方向の回転ブレ、並びに、Ｘ方向、Ｙ方向、およびＺ方向のシフトブレを補正する例について説明したが、Ｚ方向のシフトブレを補正しない５軸補正やロール方向の回転ブレの補正を施さないなどのように、６軸以外の場合にも、当然有効である。
ただし、OISが、ピッチ方向およびヨー方向の回転ブレ、並びに、Ｘ方向およびＹ方向のシフトブレの４軸を補正しているときに、EISが、ピッチ方向、ヨー方向、およびロール方向の３軸の回転ブレのみ補正し、Ｘ方向およびＹ方向のシフトブレを補正しないような組合せにすると、せっかくOISが止めたシフト方向の振動をEISがキャンセルしてしまうことになるので注意が必要である。
＜本技術を適用した撮像装置の第１の構成例＞
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図９は、本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。
図９に示すように、撮像装置１１は、レンズユニット１２、イメージセンサ１３、モーションセンサ１４、光学系ドライバ１５、光学系アクチュエータ１６、信号処理部１７、ディスプレイ１８、および記録媒体１９を備えて構成される。
レンズユニット１２は、１枚または複数枚のレンズを有して構成され、被写体からの光を集光して、イメージセンサ１３が有する撮像部２１のセンサ面に被写体の像を結像する。
イメージセンサ１３は、撮像部２１が形成される半導体チップと、ロジック部２２が形成される半導体チップとが積層されて構成されており、光学系ドライバ１５からの出力を取り込むためのインタフェースが実装されている。
撮像部２１は、レンズユニット１２により被写体からの光が集光され、複数の画素が行列状に配置されたセンサ面に結像される被写体の像を撮像し、その撮像により取得される画像を出力する。
ロジック部２２は、撮像部２１により撮像される画像に、光学系ドライバ１５から出力されるレンズユニット１２の位置情報、角速度データ、および加速度データを、それらを画像上の座標と同期させるタイミングを示すタイミング情報とともに付加した画像データを、信号処理部１７に供給する。
具体的には、ロジック部２２は、光学系ドライバ１５から所定のサンプリング周波数（例えば、１ｋＨｚ）で、モーションセンサ１４により検出される角速度データおよび加速度データと、光学系アクチュエータ１６による駆動に従ったレンズユニット１２の位置情報（OIS駆動のレンズ位置、AF駆動のレンズ位置）を受け取る。そして、ロジック部２２は、レンズユニット１２の位置情報、角速度データ、および加速度データ、並びに、それらを受け取ったタイミングにおける画像データのＨラインカウンタの値を、画像データに付加して出力する。
もちろん、レンズユニット１２の位置情報、角速度データ、加速度データ、およびＨラインカウンタの値を画像に付加せずに、それらを個別に画像とともに出力してもよい。そして、Ｈラインカウンタの値により、画像データの水平方向の１ライン単位で、レンズユニット１２の位置情報、角速度データ、および加速度データが対応付けられることで、信号処理部１７において、角速度データ、加速度データ、および位置情報と、画像の垂直方向の位置との同期をとることができる。即ち、Ｈラインカウンタの値は、それらの同期を取るためのタイミング情報として利用される。
ここで、画像データのＨラインカウンタは、例えば、決められたタイミングでフレームごとにリセットし、水平方向の１ラインを読む時間ごとに１増えるようなカウンタであり、画像の垂直方向位置のタイミング合わせに利用される。なお、このＨラインカウンタは、画像を読み込んでいないブランク区間においてもカウントされる。また、タイミング情報としては、画像データのＨラインカウンタを利用する他、例えば、タイムスタンプなどの時刻情報を利用してもよい。なお、角速度データ、加速度データ、および位置情報と、画像の垂直方向の位置との同期を取る方法については、上述の特許文献２で詳細に説明されている。
なお、実際のイメージセンサ１３上の画像位置と、レンズユニット１２の位置情報、角速度データ、および加速度データとの対応関係は、各データを実際に取得したタイミングとＨラインカウンタ等のタイムスタンプを付加した時間とのディレイやイメージセンサ１３での露光時間の長さ等を考慮して調整する必要がある。
モーションセンサ１４は、撮像部２１の動きを物理的に（画像処理によるのではなく）検出して、その動きを表す情報を出力する。
例えば、モーションセンサ１４は、図１に示したようなピッチ方向、ヨー方向、およびロール方向の３軸方向の角速度を検出可能なジャイロセンサ、および、Ｘ方向、Ｙ方向、およびＺ方向の３軸方向の加速度を検出可能な加速度センサにより構成され、撮像装置１１の動きを表す情報として、それらの角速度により表される角速度データおよび加速度により表される加速度データを出力する。
なお、モーションセンサ１４としてOIS制御専用のものを用いる他、例えば、別の用途で装置に組み込まれたモーションセンサをOIS制御用と共用で用いたり、OIS制御用とは別に画像処理部に送る情報取得用モーションセンサを用いたりすることもできる。また、モーションセンサ１４は、３軸方向の角速度データに加え、加速度データを出力可能な６軸センサに限定することなく、ジャイロセンサと加速度センサを個別に接続したり、地磁気センサ等をさらに付加した６軸以上の多軸センサ、複合型センサを用いたりすることもできる。
光学系ドライバ１５は、モーションセンサ１４から出力される角速度データおよび加速度データに基づいて、撮像部２１により撮像される画像におけるブレの発生を、光学的に打ち消すようにレンズユニット１２を移動させる移動量を算出する。そして、光学系ドライバ１５は、算出した移動量を光学系アクチュエータ１６に供給し、移動量に従った所定位置にレンズユニット１２が配置されるように制御を行う。
また、光学系ドライバ１５は、図示しないAF制御部からの指示に従い、AF制御を行う。さらに、光学系ドライバ１５は、光学系アクチュエータ１６による駆動に従ったレンズユニット１２の位置情報を取得し、レンズユニット１２の位置情報、角速度データ、および加速度データを、イメージセンサ１３に出力する。
光学系アクチュエータ１６は、光学系ドライバ１５から指示される移動量に従って、レンズユニット１２を駆動することで、イメージセンサ１３により撮像される画像に発生する手振れを光学的に補正する。また、光学系アクチュエータ１６は、フォーカス位置も調整する。そして、光学系アクチュエータ１６は、その駆動に従ったレンズユニット１２の位置を検出し、レンズユニット１２の位置情報を光学系ドライバ１５に供給する。
信号処理部１７は、イメージセンサ１３から供給される画像データおよび画像データに付加されているレンズユニット１２の位置情報、角速度データ、加速度データ、およびタイミング情報に基づいて、画像上の座標ごとに同期させたレンズユニット１２の位置情報、角速度データ、および加速度データをもとに、先に述べたような補正を行なう関数に従って、撮像部２１の動きが画像に与える影響（例えば、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正する信号処理を施す。
ディスプレイ１８は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示部を有して構成され、信号処理部１７から出力される画像を表示する。
記録媒体１９は、撮像装置１１に内蔵型、または、撮像装置１１に着脱可能なリムーバブル型のメモリであり、信号処理部１７から出力される画像を記録する。
このように撮像装置１１は構成されており、光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理部１７において電子式手振れ補正による補正処理を施すことができる。これにより、撮像装置１１は、露光時間内ブレの発生を抑制して、かつ画像のブレ（手振れによって発生する位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正することができる。
なお、本実施の形態では、光学系アクチュエータ１６によりレンズユニット１２が駆動されるバレルシフト型の光学式手振れ補正について説明しているが、撮像装置１１は、光学系アクチュエータ１６によりイメージセンサ１３が駆動されるセンサシフト型の光学式手振れ補正を採用してもよい。この場合、光学系アクチュエータ１６は、レンズユニット１２の位置情報に替えて、イメージセンサ１３の位置情報を光学系ドライバ１５に供給する。
また、OISには、イメージセンサ１３を動かすセンサシフト型を用い、AFには、レンズユニットを動かすバレルシフト型を採用しても良い。
また、図９の撮像装置１１では、モーションセンサ１４から出力される角速度データおよび加速度データが光学系ドライバ１５を介してイメージセンサ１３に供給されるように構成されている。これに対し、撮像装置１１は、例えば、モーションセンサ１４が角速度データおよび加速度データの出力に用いられる出力ポートを２つ備え、モーションセンサ１４からイメージセンサ１３および光学系ドライバ１５それぞれに角速度データおよび加速度データが供給されるような構成としてもよい。この場合、光学系ドライバ１５からはイメージセンサ１３への角速度データおよび加速度データの供給は行われない。
または、例えば、撮像装置１１は、２つのモーションセンサ１４を備えて構成してもよく、この場合、２つのモーションセンサ１４からイメージセンサ１３および光学系ドライバ１５それぞれに角速度データおよび加速度データが供給されるような構成となる。また、この場合も、光学系ドライバ１５からはイメージセンサ１３への角速度データおよび加速度データの供給は行われない。
さらに、図９の撮像装置１１において、イメージセンサ１３および信号処理部１７は異なるブロックで示されているが、例えば、イメージセンサ１３の内部で、信号処理部１７による処理を行うような構成を採用してもよい。即ち、イメージセンサ１３は、信号処理部１７が形成される半導体チップが積層された積層構造とすることもできる。
＜撮像装置の手振れ補正処理＞
図１０のフローチャートを参照して、撮像装置１１による撮像方法において実行される手振れ補正処理の一例について説明する。
例えば、撮像装置１１では、撮像部２１により１フレームの撮像が開始されると手振れ補正処理が開始され、ステップＳ１１において、光学系ドライバ１５は、モーションセンサ１４から出力される角速度データおよび加速度データを取得する。
ステップＳ１２において、光学系ドライバ１５は、ステップＳ１１で取得した角速度データおよび加速度データに基づいて、レンズユニット１２を移動させる移動量を算出し、光学系アクチュエータ１６に供給する。
ステップＳ１３において、光学系アクチュエータ１６は、ステップＳ１２で光学系ドライバ１５から供給された移動量に従って、レンズユニット１２を駆動することにより、光学的な手振れ補正を行う。
ステップＳ１４において、光学系アクチュエータ１６は、ステップＳ１３で駆動したレンズユニット１２の位置を検出し、レンズユニット１２の位置情報を光学系ドライバ１５に供給する。そして、光学系ドライバ１５は、レンズユニット１２の位置情報と、ステップＳ１１で取得した角速度データおよび加速度データとを、イメージセンサ１３のロジック部２２に供給する。
ステップＳ１５において、ロジック部２２は、ステップＳ１４で光学系ドライバ１５から供給されたレンズユニット１２の位置情報、角速度データ、および加速度データを、それらを受け取ったタイミングに対応する画像データのＨラインカウンタの値とともに、撮像部２１から出力される画像データに付加して、信号処理部１７に供給する。
ステップＳ１６において、信号処理部１７は、ステップＳ１５で供給された画像データに対して、レンズユニット１２の位置情報、角速度データ、および加速度データを用いて、それらに同期した画像データの座標ごとに位置を変換する関数に従って、電子的な手振れ補正処理を行う。その後、処理は終了され、撮像部２１により次の１フレームの撮像が開始されるたびに、同様の処理が繰り返して行われる。なお、連続して手ぶれ補正を行う動画等の撮影やプレビュー画面、静止画の連続撮影などでは、補正処理は終了することなく連続して行われる。また、ステップＳ１１からステップＳ１４までの処理は、あらかじめ設定されたサンプリング周波数で連続して行われる。
以上のように、撮像装置１１は、光学系ドライバ１５の制御に従った光学的な手振れ補正によって露光時間内ブレの発生を抑制し、信号処理部１７による電子的な手振れ補正処理によって、手振れが画像に与える影響を抑制し、確実にブレを補正することができる。
＜光学式手ブレ補正の補正位置のリセット＞
図１１乃至図１３を参照して、フレーム間の非露光期間で光学式手ブレ補正の補正位置をリセットしながら、上述した手振れ補正処理を行うことについて説明する。このように、光学式手ブレ補正の補正位置をリセットすることにより、通常の光学式手ブレ補正では補正しきれない角度のブレやシフト量のブレに対しても露光内ブレを含めて、位置的なズレ、周辺変形、フォーカルプレーン歪み、レンズ歪の影響による位置ずれ量の差分等を補正することができる。
例えば、図１１に示すように、通常の光学式手ブレ補正では、振動が小さければ露光ブレが生じないように補正することができる。
これに対し、図１２に示すように、振動が激しくなると光学式手ブレ補正の補正可能範囲内で補正しきれないため、露光ブレが生じてしまう。
そこで、後述する図１４に示す撮像装置１１Ａでは、図１３に示すように、非露光期間に光学式手ブレ補正のレンズ位置とイメージセンサ位置の相対位置関係をリセット（センタ戻し処理）し、露光時には光学式手ブレ補正を効かせる制御を行うことでと、激しい振動状況でも露光ブレのない画像を撮影することができるようにしている。
この場合、光学式手ブレ補正の出力結果の上では、フレーム内での露光ブレは発生しないがフレーム間で画面上の像位置は動いてしまうが、このOIS出力画像に先に述べたEIS処理を施すことにより、フレーム間での像位置の移動も止めることができる。すなわち通常のOISでは露光ブレが生じてしまうような激しい振動でも、露光ブレなく位置ずれ、周辺変形、フォーカルプレーン変形、レンズ歪の影響を補正することができる。
特にOISで4軸補正する場合は、回転ブレとシフトブレの補正両方にOISの補正範囲を用いてしまうため、OISの補正範囲を超えやすくなるため、非露光期間にOISをリセットする方法は非常に有効である。
＜本技術を適用した撮像装置の第２の構成例＞
図１４は、本技術を適用した撮像装置の第２の実施の形態の構成例を示すブロック図である。なお、図１４に示す撮像装置１１Ａにおいて、図９の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図１４に示すように、撮像装置１１Ａは、図９の撮像装置１１と同様に、レンズユニット１２、モーションセンサ１４、光学系アクチュエータ１６、信号処理部１７、ディスプレイ１８、記録媒体１９、および撮像部２１を備えて構成される。
そして、撮像装置１１Ａは、イメージセンサ１３Ａのロジック部２２Ａと、光学系ドライバ１５Ａが、図９の撮像装置１１と異なる構成となっている。
ロジック部２２Ａは、図９のロジック部２２の機能に加え、撮像部２１が露光を行っている露光タイミングに従って、光学式手振れ補正の実行または停止を指示するOIS制御情報を生成して、光学系ドライバ１５Ａに供給する機能を有する。なお、撮像部２１の露光タイミングに従ったOIS制御情報を発生する処理は、イメージセンサ１３Ａの外部で行うようにしてもよい。しかしながら、この処理は、イメージセンサ１３Ａに内蔵されているロジック部２２Ａにおいて行うことが好適である。
例えば、ロジック部２２Ａは、撮像部２１の露光終了（読出し終了）タイミングと、次のフレームの露光開始タイミングとに基づいて、OIS制御情報を生成する。また、ロジック部２２Ａは、フレーム間の時間や、次のフレームの露光時間（自動露光機能などにより撮影条件で変化する）などの情報に基づいて、次のフレームの露光開始タイミングを特定することができる。これらのタイミングは、イメージセンサ１３Ａの内部で決定されて動作させているので、イメージセンサ１３Ａの外部でOIS制御情報を生成する構成と比較して、ロジック部２２ＡにおいてOIS制御情報を容易に生成することができる。
光学系ドライバ１５Ａは、図９の光学系ドライバ１５の機能に加え、ロジック部２２Ａから供給されるOIS制御情報に基づいて、OIS制御情報が光学式手振れ補正の停止を指示している場合には、レンズユニット１２をセンタ位置に引き戻す動作を行う機能を有する。
このように構成される撮像装置１１Ａは、ロジック部２２ＡがOIS制御情報を光学系ドライバ１５Ａに供給することで、フレーム間で、光学式手振れ補正のセンタ戻し処理を行うことができる。これにより、撮像装置１１Ａは、各フレームの間で、レンズ位置をリセットしながら光学式手振れ補正を行うことができるので、各フレームにおいて常に、光学式手振れ補正により補正可能な全範囲を用いた補正を行うことができる。
即ち、図９の撮像装置１１では、光学式手振れ補正により補正可能な範囲を超えた振幅の振動が発生した場合（図１２参照）、その超えた範囲の振動中において露光時間内ブレを抑制することができなかった。これに対し、撮像装置１１Ａは、光学式手振れ補正のセンタ戻し処理（図１３参照）を行うことで、大きな振幅の振動が発生しても、１フレーム内の振動が光学式手振れ補正の補正可能な角度以内であれば、露光時間内ブレの発生を抑制することができる。
図１５を参照して、ロジック部２２Ａが生成するOIS制御情報について説明する。
なお、図１５に示したグラフの横軸は時間であり、時間に伴った変化を示している。また、図中の平行四辺形は、CMOSイメージセンサで画像を撮影する際に、画像の上から下まで（撮影の設定によっては、下から上までになる場合がある）露光しながら画像データを読み出すまでの時間を模式的に表したものである。図示する例では、画像の上から順番に電子シャッタが開き、一定時間露光した後に上から順番に読み出しを行っている。
図１５のＡに示すように、画像の一番下の読み出しが終了してから、次のフレームの画像の一番上の電子シャッタが開くまでの間に、フレーム間で露光が重複しない時間（非露光期間）がある場合に、ロジック部２２Ａは、露光が行われている期間で、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力する。また、ロジック部２２Ａは、露光が行われていない期間で、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。例えば、ロジック部２２Ａは、露光終了から次の露光開始までの時間が、設定された所定時間以上である場合、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。
なお、実際の制御の遅延を考慮して、読出し終了タイミングや、露光開始タイミングから、おのおの設定されたオフセット時間分（図１５に示すオフセット１およびオフセット２）だけ、ロジック部２２Ａは、光学式手振れ補正の実行および停止を切り替えるタイミングをずらすことができる。
一方、図１５のＢに示すように、フレーム間で露光が重複しない期間が発生しない場合、または、フレーム間で露光が重複しない期間が設定した所定時間より短い場合、ロジック部２２Ａは、常に、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力する。即ち、フレーム間で露光が常に重複している場合には、光学式手振れ補正が連続的に行われ、光学式手振れ補正のセンタ戻し処理は行われない。
このように、フレーム間でレンズユニット１２をセンタ位置にリセットすることができる場合には、常に、光学式手振れ補正の補正範囲を広く確保することができる。このため図１３に示したように、通常の光学式手振れ補正では補正しきれずにブレてしまうような場合でも、補正可能になり、ブレの生じない画像を得ることができる。
また、非露光期間が、レンズユニット１２をセンタ位置にリセットするのに十分な時間より短い場合には、レンズをセンタ方向に途中まで戻し、露光開始とともにその位置から光学式手振れ補正を施すように制御することも可能である。この場合でも、フレームごとの光学式手振れ補正の補正範囲を多少なりとも広く確保することができる。なお、レンズをセンタ位置へ戻すリセット動作や光学式手振れ補正動作などの制御を行うのに必要となる閾値時間を制御系の性能に応じて設定し、その閾値時間以上の非露光期間がある場合にOIS制御情報（OIS disable）を出力するようにするのが望ましい。
なお、フレーム内の露光中に、光学式手振れ補正の補正可能な範囲を超えた振幅の振動が発生した場合には、露光時間内ブレを十分に抑制することができなくはなるが、その場合でも、電子式手振れ補正は有効に行うことができるので、画像のブレは補正することができ、画像に破綻をきたすことはない。
また、撮像装置１１Ａでは、画像上の座標ごとに、モーションセンサ１４から出力される角速度データおよび加速度データ、並びに、レンズユニット１２の位置情報に基づいて補正を行う信号処理が施される。このため、例えば、レンズユニット１２がセンタまで戻った場合、通常の光学式手振れ補正が適用されている場合、おｙび、レンズユニット１２が常にセンタ位置に固定されている場合（EISのみで補正する場合）のいずれであっても、信号処理部１７は、全て同じアルゴリズムで処理を施すことができる。
以上のように、撮像装置１１は、光学式手ブレ補正が、ピッチ方向およびヨー方向の回転ブレを補正する２軸に対して補正可能なものであっても、電子式手ブレ補正により、ピッチ方向およびヨー方向に加えてロール方向の回転ブレ、並びに、Ｘ方向、Ｙ方向、およびＺ方向の３軸のシフトブレも補正可能となる。さらに、ピッチ方向およびヨー方向の回転ブレを補正する２軸に対して露光内ブレもなく、位置的なズレもなく、画面内での周辺変形もなくフォーカルプレーン歪やレンズ歪の影響のない画像を得ることができる。
特に、撮像装置１１は、入力画像の画角に対して出力画像の画角を小さくすれば、その分電子式手ブレ補正の補正範囲を広くとれるので、光学式手ブレ補正では補正しきれないような移動に関しても位置的な補正が可能となる。
さらに、撮像装置１１は、光学式手ブレ補正としてピッチ方向およびヨー方向の２軸の回転ブレを補正するに加えて、Ｘ方向およびＹ方向の２軸のシフトブレも補正可能なものを用いた場合は、上記に加えシフト方向の２軸の露光内ブレも抑制された画像を得ることができる。
さらに、撮像装置１１Ａは、各フレーム間の非露光期間に、光学式手ブレ補正の移動をリセット（センター位置に戻す）することにより、１フレームの露光期間内における振動が、光学式手ブレ補正可能な範囲を超えないものであれば、露光内ブレを抑えることが可能となる。従って、このようなリセット（センター位置に戻す）を行わない場合と比較して、圧倒的に光学式手ブレ補正では補正できないケースが減少する。すなわち、４軸については、ほぼ常に露光ブレなく、かつ、位置的なズレも画面内での周辺変形もフォーカルプレーン歪やレンズ歪の影響もない画像を得ることができる。
＜イメージセンサの使用例＞
図１６は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備える撮像装置。
（２）
前記動き情報として、前記撮像部に生じた角速度を示す角速度情報、および、前記撮像部に生じた加速度を示す加速度情報が用いられる
上記（１）に記載の撮像装置。
（３）
前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
上記（１）または（２）に記載の撮像装置。
（４）
前記信号処理部は、前記画像上の座標ごとに、前記撮像部の動きの５軸または６軸について前記信号処理を施す
上記（１）から（３）までのいずれかに記載の撮像装置。
（５）
前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報、並びに、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
をさらに備える上記（１）から（４）までのいずれかに記載の撮像装置。
（６）
前記ロジック部は、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を、前記タイミング情報とともに前記画像に付加して出力する
上記（５）に記載の撮像装置。
（７）
前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の１ライン単位で前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に対応付けて出力する
上記（５）または（６）に記載の撮像装置。
（８）
前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記垂直面方向位置情報、前記動き情報、前記光軸方向位置情報、および前記タイミング情報が供給される
上記（５）から（７）までのいずれかに記載の撮像装置。
（９）
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を光軸方向に対して垂直な面方向に駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記垂直面方向位置情報を前記駆動制御部に供給するととともに、前記駆動制御部の制御に従って前記被写体に対するオートフォーカスを行う際に、前記光学系と前記撮像部との間の距離を光軸方向に沿って変位させる駆動を行い、その駆動に従った前記光学系または前記撮像部の位置を検出して前記光軸方向位置情報を前記駆動制御部に供給する駆動部
をさらに備える上記（１）から（８）までのいずれかに記載の撮像装置。
（１０）
前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部 をさらに備え、
前記駆動制御部から前記ロジック部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報が供給される
上記（５）から（９）までのいずれかに記載の撮像装置。
（１１）
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
上記（５）に記載の撮像装置。
（１２）
前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
上記（１１）に記載の撮像装置。
（１３）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報を、前記撮像部により撮像された画像に付加する処理を行い、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備える固体撮像素子。
（１４）
被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報、並びに、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備えるカメラモジュール。
（１５）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報を、前記撮像部により撮像された画像に付加する処理を行い、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を供給する
駆動制御部。
（１６）
撮像装置が、
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御することと、
その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施すことと
を含む撮像方法。
（１７）
前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うこと
をさらに含む上記（１６）に記載の撮像方法。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 撮像装置， １２ レンズユニット， １３ イメージセンサ， １４ モーションセンサ， １５ 光学系ドライバ， １６ 光学系アクチュエータ， １７ 信号処理部， １８ ディスプレイ， １９ 記録媒体， ２１ 撮像部， ２２ ロジック部

Claims (16)

  1. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
    前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
    を備え、
    前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
    撮像装置。
  2. 前記動き情報として、前記撮像部に生じた角速度を示す角速度情報、および、前記撮像部に生じた加速度を示す加速度情報が用いられる
    請求項１に記載の撮像装置。
  3. 前記信号処理部は、前記画像上の座標ごとに、前記撮像部の動きの５軸または６軸について前記信号処理を施す
    請求項１に記載の撮像装置。
  4. 前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報、並びに、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
    をさらに備える請求項１に記載の撮像装置。
  5. 前記ロジック部は、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を、前記タイミング情報とともに前記画像に付加して出力する
    請求項４に記載の撮像装置。
  6. 前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の１ライン単位で前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に対応付けて出力する
    請求項４に記載の撮像装置。
  7. 前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
    をさらに備え、
    前記イメージセンサから前記信号処理部に、前記画像とともに、前記垂直面方向位置情報、前記動き情報、前記光軸方向位置情報、および前記タイミング情報が供給される
    請求項４に記載の撮像装置。
  8. 前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を光軸方向に対して垂直な面方向に駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記垂直面方向位置情報を前記駆動制御部に供給するととともに、前記駆動制御部の制御に従って前記被写体に対するオートフォーカスを行う際に、前記光学系と前記撮像部との間の距離を光軸方向に沿って変位させる駆動を行い、その駆動に従った前記光学系または前記撮像部の位置を検出して前記光軸方向位置情報を前記駆動制御部に供給する駆動部
    をさらに備える請求項１に記載の撮像装置。
  9. 前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
    をさらに備え、
    前記駆動制御部から前記ロジック部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報が供給される
    請求項４に記載の撮像装置。
  10. 前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
    前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
    請求項４に記載の撮像装置。
  11. 前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
    請求項１０に記載の撮像装置。
  12. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報を、前記撮像部により撮像された画像に付加する処理を行い、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
    を備え、
    前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
    固体撮像素子。
  13. 被写体からの光を集光する光学系と、
    前記光学系を介して、前記被写体を撮像する撮像部と、
    物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
    前記駆動制御部による制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報、並びに、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに供給するロジック部と
    を備え、
    前記光軸方向位置情報は、前記駆動制御部による制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
    カメラモジュール。
  14. 被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
    その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報を、前記撮像部により撮像された画像に付加する処理を行い、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を供給し、
    前記光軸方向位置情報は、その制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
    駆動制御部。
  15. 撮像装置が、
    被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御することと、
    その制御に従って光軸方向に対して垂直な面方向に駆動された前記光学系または前記撮像部の位置が検出された垂直面方向位置情報、物理的に検出される前記撮像部の動きを表す動き情報、および、前記光学系と前記撮像部との間の光軸方向に沿った相対的な位置を示す光軸方向位置情報に基づいて、前記画像上の座標ごとに同期させた前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施すことと
    を含み、
    前記光軸方向位置情報は、その制御に従って前記被写体に対するオートフォーカスを行う際の前記光学系と前記撮像部との間の距離に基づくものである
    撮像方法。
  16. 前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を、前記垂直面方向位置情報、前記動き情報、および前記光軸方向位置情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うこと
    をさらに含む請求項１５に記載の撮像方法。
JP2021507148A 2019-03-15 2020-02-28 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 Active JP7387713B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019048840 2019-03-15
JP2019048840 2019-03-15
PCT/JP2020/008243 WO2020189224A1 (ja) 2019-03-15 2020-02-28 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2020189224A1 JPWO2020189224A1 (ja) 2020-09-24
JP7387713B2 true JP7387713B2 (ja) 2023-11-28

Family

ID=72520899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507148A Active JP7387713B2 (ja) 2019-03-15 2020-02-28 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Country Status (4)

Country Link
US (1) US20220159163A1 (ja)
JP (1) JP7387713B2 (ja)
CN (1) CN113396578A (ja)
WO (1) WO2020189224A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098832B2 (ja) * 2019-05-20 2022-07-11 富士フイルム株式会社 撮像装置、撮像方法及び撮像プログラム
JPWO2023002826A1 (ja) * 2021-07-21 2023-01-26

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135443A (ja) 2011-12-27 2013-07-08 Canon Inc 撮像装置及びその制御方法
WO2018025659A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124850A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 画像動き補正装置、レンズ装置および撮像装置
JP6080505B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 像振れ補正装置およびその制御方法
JP6327245B2 (ja) * 2013-03-29 2018-05-23 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP2020095069A (ja) * 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
DE102018107950A1 (de) * 2017-04-18 2018-10-18 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
JP2019106655A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135443A (ja) 2011-12-27 2013-07-08 Canon Inc 撮像装置及びその制御方法
WO2018025659A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Also Published As

Publication number Publication date
US20220159163A1 (en) 2022-05-19
JPWO2020189224A1 (ja) 2020-09-24
WO2020189224A1 (ja) 2020-09-24
CN113396578A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
KR102526794B1 (ko) 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
JP6960238B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
TWI655869B (zh) Imaging device, solid-state imaging device, camera module, electronic device, and imaging method
CN101594464B (zh) 成像设备和成像方法
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2013069292A1 (ja) 画ブレ補正装置
JP6128458B2 (ja) 撮像装置および画像処理方法
JP6432038B2 (ja) 撮像装置
WO2019151030A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN105009561A (zh) 摄像装置的异物信息检测装置以及异物信息检测方法
JP5393877B2 (ja) 撮像装置および集積回路
JP2006203504A (ja) 撮像装置
JP4064001B2 (ja) カメラ
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP4682010B2 (ja) 撮像装置
US20120033050A1 (en) Imaging apparatus
US20120033047A1 (en) Imaging device
JP2013128165A (ja) 撮像装置
JP5696192B1 (ja) 撮像装置、撮像方法並びにプログラム
US20130135436A1 (en) Imaging apparatus
JP2024010325A (ja) 評価方法、撮像装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R150 Certificate of patent or registration of utility model

Ref document number: 7387713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150