JP6702323B2 - カメラモジュール、固体撮像素子、電子機器、および撮像方法 - Google Patents

カメラモジュール、固体撮像素子、電子機器、および撮像方法 Download PDF

Info

Publication number
JP6702323B2
JP6702323B2 JP2017529549A JP2017529549A JP6702323B2 JP 6702323 B2 JP6702323 B2 JP 6702323B2 JP 2017529549 A JP2017529549 A JP 2017529549A JP 2017529549 A JP2017529549 A JP 2017529549A JP 6702323 B2 JP6702323 B2 JP 6702323B2
Authority
JP
Japan
Prior art keywords
image
unit
motion
output
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017529549A
Other languages
English (en)
Other versions
JPWO2017014071A1 (ja
Inventor
大輔 磯
大輔 磯
桑原　宗市
宗市 桑原
英史 山田
英史 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017014071A1 publication Critical patent/JPWO2017014071A1/ja
Application granted granted Critical
Publication of JP6702323B2 publication Critical patent/JP6702323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Description

本開示は、カメラモジュール、固体撮像素子、電子機器、および撮像方法に関し、特に、振れおよびレンズ歪みを効果的に補正することができるようにしたカメラモジュール、固体撮像素子、電子機器、および撮像方法に関する。
従来、撮像装置は、光学式手振れ補正（OIS：Optical Image Stabilizer）または電子式手振れ補正（EIS：Electronic Image Stabilization）を利用して、撮像装置の振れが画像に与える影響を抑制することができる。
例えば、従来の電子式手振れ補正では、画像から動き量を求める方法により手振れを補正するように画像処理が行われる。しかしながら、この方法では、計算処理が複雑であったり、低照度下での動き量の測定精度が低下したり、動被写体による手振れ量の推定誤差が発生したりするため、手振れ補正の精度が低下することがあった。
これに対し、ジャイロセンサや加速度センサなどにより検出されるモーションセンサ情報を用いる電子式手振れ補正が提案されている。ところが、モーションセンサ情報を用いる従来の電子式手振れ補正では、移動量に合わせて画像全体の位置を移動させるだけであり、画像面内での位置による移動量の違いに対応することは困難であった。特に、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのようなローリングシャッタを用いた撮像素子を用いた場合には、画素のラインごとの露光時間のズレによる一画面内での移動量の違い（フォーカルプレーン現象）に対する対応は行われていなかった。
そこで、本願出願人は、特許文献１に開示されているように、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して手振れ補正を行うことができる撮像装置を提案している。この手振れ補正を採用することで、中央から周辺まで非常に精度よく手振れを補正することができるのに加え、フォーカルプレーン現象による変形も抑制することができる。
また、一般的に、レンズ歪み補正処理について様々な手法が提案されており、例えば、パラメータを測定したいレンズを利用してチェッカーボードを撮像するZhangの手法が、よく利用されている。
国際公開第２０１４／１５６７３１号パンフレット
"Flexible Camera Calibration by Viewing a Plane from Unknown Orientations'', Zhengyou Zhang, ICCV99
ところで、上述したように、特許文献１に開示されている手振れ補正により良好な効果を得ることができるが、さらに手振れおよびレンズ歪みを効果的に補正することが求められている。
本開示は、このような状況に鑑みてなされたものであり、手振れおよびレンズ歪みを効果的に補正することができるようにするものである。
本開示の一側面のカメラモジュールは、光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを検出する動き検出部と、前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部と、前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子とを備え、前記固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される。
本開示の一側面の固体撮像素子は、光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、前記撮像部において少なくとも１フレーム分の前記画像が撮像される間の前記撮像部の動きを検出する動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部とを備え、前記撮像部および前記同期処理部を内蔵する構成となっていて、前記動き検出部の出力を取り込み、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像を出力する。
本開示の一側面の電子機器は、光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、前記撮像部において少なくとも１フレーム分の前記画像が撮像される間の前記撮像部の動きを検出する動き検出部と、前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部と、前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子とを備え、前記固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される。
本開示の一側面の撮像方法は、光学系を介して入射する被写体からの光を受光する撮像部により前記被写体を撮像し、前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを動き検出部により検出し、前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行い、前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期処理部により同期させ、前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される。
本開示の一側面においては、光学系を介して入射する被写体からの光を受光する撮像部により被写体が撮像され、撮像部において少なくとも１フレーム分の画像が撮像される間の撮像部の動きが動き検出部により検出され、動き検出部により検出された撮像部の動き、および、光学系の歪みを補正する補正係数に基づいて、撮像部により撮像された画像上の座標を、撮像部の振れおよび光学系の歪みの両方が画像に与える影響を抑制するように一括で変換する座標変換処理が行われる。そして、撮像部により撮像された１フレーム分の画像をライン単位で、動き検出部により検出された撮像部の動きと同期処理部により同期させ、撮像部および同期処理部を内蔵する構成の固体撮像素子に動き検出部の出力が取り込まれて、同期処理部によって動き検出部の出力が同期するように撮像部により撮像された画像に付加された動き出力付き画像が固体撮像素子から出力される。
本開示の一側面によれば、手振れおよびレンズ歪みを効果的に補正することができる。
本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。 第１の同期方式について説明する図である。 第２の同期方式について説明する図である。 第３の同期方式について説明する図である。 第４の同期方式について説明する図である。 第５の同期方式について説明する図である。 モーションセンサ出力の時間範囲について説明する図である。 一般的なレンズ歪み補正処理および手振れ補正処理を説明する図である。 ２段階で行われる座標変換について説明する図である。 一括で行われる座標変換について説明する図である。 レンズ歪みおよび手振れを補正する具体的な方法を説明する図である。 レンズ歪みおよび手振れを補正する具体的な方法を説明する図である。 制御画素を画像内に配置する配置例を示す図である。 制御画素を均等または非均等に配置する配置例を示す図である。 制御画素以外の画素の補間方法について説明する図である。 第１の補正結果出力方式を説明する図である。 第２の補正結果出力方式を説明する図である。 第３の補正結果出力方式を説明する図である。 第４の補正結果出力方式を説明する図である。 第５の補正結果出力方式を説明する図である。 水平方向に対する絶対角を算出する方法について説明する図である。 ピッチ角、ロール角、およびヨー角を定義する図である。 ホモグラフィー処理について説明する図である。 撮像方法を説明するフローチャートである。 本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜カメラモジュールの構成例＞
図１は、本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。
図１に示すように、カメラモジュール１１は、イメージセンサ１２、モーションセンサ１３、パラメータ記憶部１４、データ分離部１５、モーション信号処理部１６、座標変換処理部１７、および画像変形部１８を備えて構成される。
イメージセンサ１２は、撮像部２１および同期処理部２２を有しているとともに、モーションセンサ１３用のインタフェースが実装されており、そのインタフェースを経由してモーションセンサ１３から出力されるモーションセンサ出力を取り込む。そして、イメージセンサ１２は、撮像部２１から出力される画像データにモーションセンサ出力を付加したモーションセンサ出力付き画像データを出力する。
撮像部２１は、図示しない光学系により被写体からの光が集光され、複数の画素が行列状に配置された撮像面に結像される被写体の像を撮像し、その撮像により取得される画像データを出力する。
同期処理部２２は、撮像部２１から出力される画像データと、モーションセンサ１３から出力されるモーションセンサ出力との同期を取り、画像データおよびモーションセンサ出力を統合して出力する同期処理を行う。なお、同期処理部２２による同期処理の詳細については、図２乃至図６を参照して後述する。
モーションセンサ１３は、例えば、３軸方向の角速度を検出可能なジャイロセンサにより構成され、それらの角速度により表されるカメラモジュール１１の動きをモーションセンサ出力として出力する。なお、モーションセンサ１３としては、６軸または９軸方向の動き（角加速度や加速度など）を検出可能なものを使用してもよい。
パラメータ記憶部１４は、座標変換処理部１７が座標変換処理を行うのに用いる各種のパラメータ、例えば、レンズ歪み補正係数や制御画素座標などを記憶する。レンズ歪み補正係数は、イメージセンサ１２の撮像部２１を構成する画素の座標をパラメータとして、光学系が有するレンズの歪みを予め測定しておき、その歪みを補正するように事前に求められた係数である。制御画素座標は、後述する図１３および図１４に示すように、画像変換を正確に行う対象となる特定の制御画素を指定する座標である。
データ分離部１５は、イメージセンサ１２から供給されるモーションセンサ出力付き画像データを、画像データおよびモーションセンサ出力に分離する。そして、データ分離部１５は、モーション信号処理部１６にモーションセンサ出力を供給し、画像変形部１８に画像データを供給する。
モーション信号処理部１６は、データ分離部１５から供給されるモーションセンサ出力を、カメラモジュール１１の動きを表す動き情報に変換する信号処理を行い、カメラモジュール１１の動き情報を、座標変換処理部１７に供給する。例えば、モーション信号処理部１６は、モーションセンサ出力として３軸方向の角速度が供給される場合、それらの角速度を積分することにより、３軸方向の回転角（角度の変化量）に変換することができる。このとき、モーション信号処理部１６は、変換を行う際に発生する積分誤差などを補正することができる。
座標変換処理部１７は、パラメータ記憶部１４から読み出した制御画素座標（後述の図１３および図１４参照）ごとに、イメージセンサ１２の手振れおよび光学系のレンズ歪みの両方が、イメージセンサ１２により撮像された画像に与える影響を抑制するように、画像の座標を変換する座標変換処理を行う。このとき、座標変換処理部１７は、モーション信号処理部１６から供給されるカメラモジュール１１の動き情報に基づいた手振れ補正、および、パラメータ記憶部１４から読み出したレンズ歪み補正係数に基づいたレンズ歪み補正が一括で行われるように座標変換処理を行う。そして、座標変換処理部１７は、座標変換処理によって制御画素座標ごとに求めた補正制御点座標を、画像変形部１８に供給する。なお、座標変換処理部１７による座標変換処理の詳細については、図８乃至図１１を参照して後述する。
画像変形部１８は、座標変換処理部１７から供給される補正制御点座標に従って、データ分離部１５から供給される画像データに対して画像変形処理を行う。例えば、画像変形部１８は、補正前の画像データにおける制御点座標の画素値を、その制御点座標に対応する補正制御点座標の画素値として用いることで画像を変形する。また、画像変形部１８は、制御点座標以外の座標の画素については、制御点座標の画素に対する画像変形処理の結果を利用して補間する補間処理を行う。そして、画像変形部１８は、画像変形処理を行った結果得られる手振れおよびレンズ歪みが補正された補正結果画像を、出力画像として図示しない後段のブロックに出力する。
以上のようにカメラモジュール１１は構成されており、モーションセンサ１３から出力されるモーションセンサ出力が画像データに同期して統合されたモーションセンサ出力付き画像データがイメージセンサ１２から出力される。そして、座標変換処理部１７において、手振れおよびレンズ歪みの補正が一括で行われるような座標変換処理が行われ、画像変形部１８において補正制御点座標に基づいた画像変形処理が行われる。これにより、カメラモジュール１１は、手振れおよびレンズ歪みを効果的に補正することができる。
＜同期処理について＞
図２乃至図６を参照して、同期処理部２２が、画像データとモーションセンサ出力との同期を取る仕組みについて、第１乃至第５の同期方式を説明する。
まず、図２を参照し、第１の同期方式として、モーションセンサ１３からサンプルが出力されたときの、撮像部２１の画素行列のライン番号を記録する仕組みについて説明する。
例えば、CMOSイメージセンサによりローリングシャッタ方式で撮像が行われる場合、図２に示すように、撮像部２１のライン番号に従って順次、出力が行われる。図２では、ライン番号Ｌiは、撮像部２１に行列状に配置された画素のｉ番目のラインの番号を示しており、モーションセンササンプルＳｉは、フレームの撮像が開始されてからｉ番目に出力されたサンプル（モーションセンサ出力）を示している。
例えば、このようにローリングシャッタ方式で読み出されるとき、画像の先頭ラインから最後のラインまでの読み出しには、フレームレートに依存した読み出し時間Δｔiが必要となる。具体的には、イメージセンサ１２が60FPS（Frame Per Second）で動作する場合、読み出し時間Δｔiは、約16.7msec（=1000msec/60frame）となる。
一方、イメージセンサ１２が駆動している間、モーションセンサ１３も同様に動作しているため、モーションセンサ１３のサンプリングレートΔｔmに応じて、モーションセンサ１３のサンプルを取得することができる。例えば、モーションセンサ１３のサンプリングレートが１kHzの場合、１msecごとに１つのモーションセンササンプルを取得することができる。
このように、撮像部２１およびモーションセンサ１３は独立したサンプリングレートで動作している。また、画像に関してはフレーム単位よりもさらに細かい単位であるライン単位での制御（水平同期）を行うことができる。従って、あるラインを読み終えたタイミングでモーションセンサのサンプルが取得されていれば、そのライン番号とモーションセンササンプルを対応付けることが可能である。
これを利用して、カメラモジュール１１では、同期処理部２２が、あるフレーム内において、取得したすべてのモーションセンサのサンプルと、そのサンプルが取得できたタイミングのライン番号を紐付けるような同期処理を行う。このように、カメラモジュール１１は、フレーム内におけるモーションセンササンプルの位置の対応付けを行うことができる。
図２に示す例では、フレームｉにおける最初のモーションセンササンプルＳ1はライン番号Ｌ1を読み終えたタイミングで取得されており、同期処理部２２は、モーションセンササンプルＳ1とライン番号Ｌ1とを紐付けして記録しておく。同様に、同期処理部２２は、モーションセンササンプルＳ2とライン番号Ｌ2とを紐付けして記録しておき、それ以降のモーションセンササンプルとライン番号とをそれぞれ紐付けて記録しておく。そして、１フレーム分の読み出しが終わったタイミングで、その１フレームの読み出し中に取得した全てのモーションセンササンプルを画像データとともにイメージセンサ１２から出力する。以上により、同期処理部２２は、画像データとモーションセンサ出力の同期を取ることができる。
なお、実際にモーションセンササンプルを使用する際は、モーションセンサ１３から出力される時間遅れや、イメージセンサ１２の露光時間、画像データのフレーム内での位置などを考慮する必要がある。すなわち、モーションセンサ１３の中にはセンサ内部でローパスフィルタをかけているものがあり、ローパスフィルタをかけることによる遅延が生じてしまう。このため、同期処理部２２は、その遅延分だけずらしたモーションセンササンプルを、ライン番号に紐付ける必要がある。
また、イメージセンサ１２の露光時間に応じて補正をかけるべきタイミングが異なるものとなる。例えば、電子式手振れ補正では、露光時間の中間のタイミングで取得できたモーションセンサ出力を用いることが適切であるため、水平同期のタイミングが、そのラインの読み取り終わりのタイミングである場合には、タイミングをずらした方が良い。すなわち、露光時間が16msであれば、8ms前のタイミングのモーションセンサ出力を用いて補正を行うことが好ましい。
もちろん、処理に応じてタイミングをずらすことも可能である。また、あるラインの露光時間内すべての時間のモーションセンサ出力を平均した値を、そのラインの補正に用いてもよい。なお、サンプリングごとにライン番号が特定されることより、モーションセンサ出力のサンプリング周期に対応するライン数を容易に計算することができる。この関係から遅延量をライン数に換算し直すことで、画像内においてタイミングのずれを遅延量に応じてライン数だけずらすことで、つまりy座標方向にずらすことで、容易に調整することができる。
また、CMOSイメージセンサでは、垂直同期が出力されたタイミングから真の画像が読み出されるタイミングまでの間に、OPB（オプティカルブラック）の判定処理に要する時間や、他の処理に要する時間などが含まれる場合がある。この場合、上述したライン番号と真の画像とに差分が発生してしまうので、ライン番号と真の画像とを一致させるためには、この差分を考慮する必要がある。つまり、この差分による遅延量を、ライン数を単位として計算して、遅延量に応じてライン数をずらすことで、ライン番号と真の画像とを一致させることができる。
以上のように、同期処理部２２は、第１の同期方式により、モーションセンサ１３からサンプルが出力されるタイミングを基準として、撮像部２１の画素行列のライン番号を紐付けることで、画像データおよびモーションセンサ出力を同期させることができる。
次に、図３を参照して、第２の同期方式として、モーションセンサ１３から出力されたサンプルのサンプル番号を、撮像部２１の画素行列のライン番号に割り振る仕組みについて説明する。
例えば、第２の同期方式は、上述の図２に示した第１の同期方式における、イメージセンサ１２とモーションセンサ１３との関係を逆転させたものである。まず、第１の同期方式と同様に、モーションセンサ１３のサンプルは、サンプリングレートΔｔmに従って決まった時間間隔で取得することができる。
図３に示すモーションセンササンプルＳ0は、前のフレームの露光中に取得されたサンプルである。つまり、モーションセンササンプルＳ0は、ライン番号Ｌiを読み出したタイミングよりも前に取得された最後のサンプルである。このとき、同期処理部２２は、モーションセンササンプルＳ0を一意に特定することができる番号０をライン番号Ｌiに紐付けて、ライン番号Ｌiの画素値列（ｐLi,1，ｐLi,2，・・・，ｐLi,n）と共に記録する。
また同様に、図３に示すライン番号Ｌjを読みだしたタイミングよりも前に取得された最後のサンプルがモーションセンササンプルＳ1である場合、同期処理部２２は、モーションセンササンプルＳ1を一意に特定できる番号１をライン番号Ｌjの画素値列（ｐLj,1，ｐLj,2，・・・，ｐLj,n）と共に記録する。
このように、モーションセンササンプルを一意に特定できる番号をラインごとに付与することで、同期処理部２２は、イメージセンサ１２とモーションセンサ１３とをラインごとに同期させることができる。また、イメージセンサ１２の各ラインと、モーションセンササンプルが取得できたラインとの関係を特定することができるため、モーションセンササンプルが取得できなかったラインにおけるモーションセンササンプルの補間も容易に行うことが可能となる。
以上のように、同期処理部２２は、第２の同期方式により、撮像部２１からラインごとに出力されるタイミングを基準として、モーションセンサ１３から出力されたサンプルのサンプル番号をライン番号に紐付けることで、画像データおよびモーションセンサ出力を同期させることができる。
次に、図４を参照して、第３の同期方式として、イメージセンサ１２およびモーションセンサ１３それぞれのタイムスタンプを利用して同期を取る仕組みについて説明する。
まず、イメージセンサ１２およびモーションセンサ１３が、それぞれ独立して駆動している点は、上述の図２に示した第１の同期方式と同様である。そして、第３の同期方式では、イメージセンサ１２およびモーションセンサ１３が、それぞれタイムスタンプを発行できる仕組みを内部に備えているものとする。具体的には、イメージセンサ１２およびモーションセンサ１３それぞれに内蔵されるプロセッサのクロックに基づいて、タイムスタンプが発行される。
例えば、イメージセンサ１２は、水平同期を特定するタイムスタンプを発行し、モーションセンサ１３は、サンプルが取得できたタイミングを特定するタイムスタンプを発行する。これにより、水平同期とサンプル取得のタイミングとを合わせることができ、かつ、比例計算によりサブピクセル単位でのライン番号を推定することができる。
まず、モーションセンササンプルが取得された時刻ｔmの前後において、読み出し時刻ｔ1で座標ｙ1のラインが読み出され、読み出し時刻ｔ2で座標ｙ2のラインが読み出されたとする。このとき、モーションセンササンプルが取得された時刻ｔmに対応するサブピクセル単位のライン番号ｙmは、次の式（１）で表される。
Figure 0006702323
このように、タイムスタンプによって、モーションセンサ１３からモーションセンササンプルが取得された時刻、および、イメージセンサ１２からラインごとの読み出し時刻を取得することにより、同期処理部２２は、より正確に同期を取ることができる。なお、イメージセンサ１２およびモーションセンサ１３は任意の方法で同期を取り、イメージセンサ１２およびモーションセンサ１３のタイムスタンプを一致させておく必要がある。
以上のように、同期処理部２２は、第３の同期方式により、イメージセンサ１２およびモーションセンサ１３それぞれのタイムスタンプを利用して、モーションセンササンプルが取得された時刻に対応するサブピクセル単位のライン番号を推定することで、画像データおよびモーションセンサ出力を同期させることができる。
次に、図５を参照して、第４の同期方式として、イメージセンサ１２およびモーションセンサ１３で共通のタイムスタンプを使用することにより同期を取る仕組みについて説明する。
図５は、第４の同期方式を用いることができるカメラモジュール１１の構成例を示すブロック図であり、カメラモジュール１１を構成するブロックのうち、第４の同期方式の説明で不要なブロックの図示は省略されている。例えば、第４の同期方式では、イメージセンサ１２およびモーションセンサ１３が共通のコントローラに接続される構成となっており、このコントローラが、タイムスタンプを発行するタイムスタンプ発行器１９を有している。
タイムスタンプ発行器１９は、イメージセンサ１２およびモーションセンサ１３それぞれから送信されるタイムスタンプ発行リクエストを受信したタイミングで、それぞれに対してタイムスタンプを送信する。
まず、イメージセンサ１２は、最初の水平同期のタイミングで画像の先頭ラインを読み出す。そのタイミングで、イメージセンサ１２は、タイムスタンプ発行器１９に対してタイムスタンプ発行リクエストを送信する。タイムスタンプ発行器１９は、リクエストを受信した後、そのタイミングでのタイムスタンプをイメージセンサ１２に対して送信する。そして、イメージセンサ１２は、水平同期を特定するタイムスタンプを受信して画像のラインを統合し、タイムスタンプ付き画像データを出力する。以後の水平同期のタイミングで同様の動作を繰り返す。
また、モーションセンサ１３においても同様に、モーションセンサ出力を出力するたびにタイムスタンプ発行器１９に対してタイムスタンプ発行リクエストを行う。そして、モーションセンサ１３は、サンプルが取得できたタイミングを特定するタイムスタンプ付きモーションセンサ出力を出力する。
従って、同期処理部２２は、イメージセンサ１２から出力される画像データのタイムスタンプと、モーションセンサ１３から出力されるモーションセンサ出力のタイムスタンプとに基づいて、両者の時間的および空間的な位置関係の同期を取ることができる。
なお、このような第４の同期方式においても、上述の図４を参照して説明した第３の同期方式と同様に、サブピクセル単位のライン番号を推定することができる。
以上のように、同期処理部２２は、第４の同期方式により、共通のタイムスタンプを使用することで、画像データおよびモーションセンサ出力を同期させることができる。
次に、図６を参照して、第５の同期方式として、イメージセンサ１２の固定ライン数ごとにモーションセンサ１３のサンプルを取得する仕組みについて説明する。
例えば、モーションセンサ１３のサンプリングレートＮM（Hz）がイメージセンサのフレームレートＮI(frames/sec)で割り切れない場合、１フレームにおいて取得できるモーションセンサ１３のサンプル数はフレーム毎に異なるものとなる。
従って、この場合、図６のＡに示すように、フレームｉにおいてサンプルを取得できたラインと、その次のフレームｉ＋１においてサンプルを取得できたラインとは、一致しないことになる。例えば、モーションセンサ１３のサンプリングレートが1000(Hz)であり、フレームレートが60(frames/sec)である場合、それらの比率は、1000/60≒16.7となる。このことより、あるフレームにおいて取得できるモーションセンサ１３のサンプル数が１６個であるのに対し、サンプリングの都合上、他のフレームにおいて取得できるモーションセンサ１３のサンプル数が１７個になることがある。
しかしながら、フレームごとに取得できるサンプル数が固定されている方がシステム設計において都合の良いことの方が多い。このため、カメラモジュール１１では、イメージセンサ１２のフレームレートＮIで割り切れる数となるように、モーションセンサ１３のサンプリングレートＮMが設定される。これにより、イメージセンサ１２の特定のラインにおいて、常に、モーションセンサ１３のサンプルを取得することができる。
即ち、図６のＢに示すように、フレームｉにおいてサンプルを取得できたラインと、その次のフレームｉ＋１においてサンプルを取得できたラインとが一致することになる。つまり、特定の固定ライン数ごとにモーションセンサ１３のサンプルを取得することができる。例えば、フレームレートが60(frames/sec)である場合、モーションセンサ１３のサンプリングレートを1200Hzに設定することで、フレームごとに２０個のサンプルを必ず取得することができる。これにより、画像の総ライン数をＨとすると、Ｈ／２０ラインごとにモーションセンサ１３のサンプルを取得することができる。
以上のように、同期処理部２２は、第５の同期方式により、イメージセンサ１２の固定ライン数ごとにモーションセンサ１３のサンプルを取得することで、画像データおよびモーションセンサ出力を同期させることができる。
なお、同期処理部２２が、画像データおよびモーションセンサ出力の同期を取る同期方式としては、上述して説明したような仕組みに限定されることはなく、その他の様々な仕組みを用いることができる。
＜モーションセンサ出力について＞
図７を参照して、１枚のフレームと同時に出力されるモーションセンサ出力の時間範囲について説明する。
例えば、ある１枚のフレームを出力する際に、そのフレームを構成する各ラインの読み出し時に取得できるモーションセンサ出力だけでは、そのフレームを撮像している時間範囲の全ての動きを再現することはできない。即ち、あるフレームの最初のラインの露光中の動き情報は、そのフレームの前のフレームの読出し時に取得できるモーションセンサ出力が必要となる。また、フレームとフレームとの間の露光を行っていない時間（フレームブランキング）の動き情報は、それらのフレーム間の移動量を推定するのに有用である。
従って、カメラモジュール１１は、あるフレームの画像とともに、そのフレームの最初のラインの露光中に取得したモーションセンサ出力、および、そのフレームの露光が開始される前のフレームブランキング中に取得したモーションセンサ出力を出力する。
さらに、何かしらの理由でモーションセンサ１３とイメージセンサ１２との間に決まった長さの遅延が生じる場合がある。例えば、モーションセンサ１３およびイメージセンサ１２を接続する基板での処理の遅延などがこれに該当する。仮に、その遅延量が固定であれば、その固定の遅延分も考慮してモーションセンサ出力を含めて該当フレームとともに出力する。
なお、イメージセンサ１２およびモーションセンサ１３を同期させる同期方法においてライン番号を使用する場合、１フレーム前のモーションセンサ出力に割り当てるライン番号はマイナスの値（例えば、Ｌ-1）を付与すればよい。また、例えば、１フレーム後のモーションセンサ出力に割り当てる場合には、画像の総ライン数に次のフレームでのライン数を加算した値を使用すればよい。
以上のように、イメージセンサ１２は、ある１枚のフレームを出力する際に、そのフレームを構成する各ラインの読み出し時に取得できるモーションセンサ出力だけでなく、フレームブランキング中、露光中、および遅延分のモーションセンサ出力を関連付けて出力する。このように、同期処理部２２が、１フレーム分の画像が撮像される前または後の所定期間におけるモーションセンサ出力を、その１フレーム分に含めて出力することで、それらのモーションセンサ出力を用いて、より正確な手振れ補正を行うことができる。
＜レンズ歪みを考慮した電子手振れ補正について＞
図８乃至図１１を参照して、レンズ歪みを考慮した電子手振れ補正について説明する。
従来、一般的に、レンズ歪み補正処理および手振れ補正処理が、それぞれ全画素に対して行われ、それらの処理が行われるたびに画像が生成される方式が用いられている。
例えば、図８に示すように、まず、レンズ歪みと手振れを含む入力画像の全画素に対してレンズ歪み補正処理が行われ、歪み補正画像が生成される。次に、生成された歪み補正画像の全画素に対して手振れ補正処理が行われ、最終的な補正画像が出力される。しかしながら、この方式では最終的に利用されない歪み補正画像が中間画像として生成されるため、余計なメモリ帯域を使用することになっていた。
そこで、カメラモジュール１１では、余計な中間画像を生成せずにレンズ歪み補正および手振れ補正処理を一括して行う方法が採用される。
例えば、レンズ歪み補正用の座標変換関数Ｔd（ｘ，ｙ）、および、手振れ補正用の座標変換関数ＴS（ｘ，ｙ）は、どちらもバックワード方式（変換後の座標を渡すと、変換前の座標を返す方式）とする。ここで、図８に示したようなレンズ歪み補正処理および手振れ補正処理を順次行う変形は、図９に示すように、２段階で処理が行われる。
まず、図９のＡに示すように、レンズ歪み補正用の座標変換関数Ｔd（ｘ，ｙ）により、入力画像Ｉの座標が歪み補正画像Ｉdの座標に変換されるように歪み補正変換が行われ、中間画像としての歪み補正画像Ｉdが生成される。このバックワード方式の歪み補正変換式は、次の式（２）で表される。
Figure 0006702323
次に、図９のＢに示すように、手振れ補正用の座標変換関数ＴS（ｘ，ｙ）により、歪み補正画像Ｉdの座標が歪み補正および手振れ補正画像Ｉrの座標に変換されるように手振れ補正変換が行われ、最終的な変換結果である出力画像が出力される。このバックワード方式の手振れ補正変換式は、次の式（３）で表される。
Figure 0006702323
ところで、このような処理において実際は、１つの座標が連続で変換されるだけであるため、図９のＡおよび図９のＢに示す２つの変形を１つの変形にまとめても、同一の変換結果を得ることができる。
そこで、カメラモジュール１１では、図１０に示すような方式により一括で座標変換を行う。
図１０に示すように、レンズ歪み補正処理および手振れ補正処理を一括で行うのに用いられる座標変換関数Ｔd（ＴS（ｘ，ｙ））により、歪み補正画像Ｉdを生成することなく、入力画像Ｉの座標が歪み補正および手振れ補正画像Ｉsの座標に変換される。このバックワード方式の歪みおよび手振れ変換式は、次の式（４）で表される。
Figure 0006702323
この方式を採用すると、座標値のみが連続で変換処理されるだけで、入力画像Ｉから、最終的には用いられない中間画像（歪み補正画像Ｉd）を生成することが回避され、歪みと手振れを同時に補正した歪み補正および手振れ補正画像Ｉsを出力することができる。これにより、カメラモジュール１１は、メモリ量や計算量などを削減することができ、システム構成に対して大きなアドバンテージを得ることができる。
次に、図１１および図１２を参照して、レンズ歪みおよび手振れを補正する具体的な方法について説明する。
例えば、イメージセンサ１２が、ピッチ方向に回転角-θp（rad）で回転し、ヨー方向に回転角-θy（rad）で回転し、ロール方向に回転角-θr（rad）で回転したとする。このとき、図１１に示す、歪みのない画像座標系における座標（ｘu，ｙu）の点ｐuと、座標（Ｘu，Ｙu）の点Ｐuとの間には、上述した特許文献１に開示されている手振れ補正関係式、即ち、次の式（５）が成り立つ。
Figure 0006702323
なお、式（５）において、焦点距離Ｌはイメージセンサの光学中心位置での焦点距離を画素数に換算したものである。つまり、式（５）の手振れ補正関係式は、上述の図９および図１０を参照して説明した手振れ補正用の座標変換関数ＴS（ｘ，ｙ）を表している。ここで、任意のバックワード式レンズ歪み補正用の座標変換関数Ｔd（ｘ，ｙ）について、手振れ補正処理およびレンズ歪み補正処理では、次の式（６）に従った変換が行われる。
Figure 0006702323
式（６）に従った変換を行うことで、出力画像の座標系のある座標（ｘu，ｙu）に対する手振れ補正を行う前の座標（Ｘu，Ｙu）が算出され、さらにこの座標（Ｘu，Ｙu）に対するレンズ歪み補正を行う前の座標（Ｘd，Ｙd）が算出される。このように、出力画像の座標と入力画像の座標との対応関係が取れるため、中間画像を生成することなく、レンズ歪み補正および手振れ補正を同時に行うことが可能となる。
ところで、出力画像に敢えてレンズ歪みを加えたい場合は、上述した処理において出力される座標として、歪み補正された点ｐuの座標（ｘu，ｙu）ではなく、歪みを含む座標系における点ｐdの座標（ｘd，ｙd）を用いればよい。このような処理は、例えば、座標変換関数Ｔd（ｘ，ｙ）の逆関数として座標変換逆関数Ｔd -1（ｘ，ｙ）を用いればよく、次の式（７）に従って変換が行われる。
Figure 0006702323
ここで、カメラモジュール１１において実際に利用される２つのレンズ歪み処理方法について説明する。
まず、第１のレンズ歪み処理方法は、Brown-Conradyのレンズ歪みモデルに対応した補正方法である。このモデルでは、メリディオナル方向およびサジタル方向の両方の歪みが、歪み補正に用いるパラメータｋ1，ｋ2，ｋ3，ｐ1，ｐ2、並びに、歪み補正前後の光学中心を原点とした正規化座標（ｘd，ｙd）および（ｘu，ｙu）を用いて、次の式（８）のように表現される。
Figure 0006702323
但し、式（８）で用いられるパラメータは、レンズ固有の値であるため、予め測定しておく必要がある。このように、パラメータを事前に測定する測定操作をカメラキャリブレーションと称し、数々な手法が提案されている。その中でも、パラメータを測定したいレンズを用いてチェッカーボードを撮像するZhangの手法（上述の非特許文献１）が、一般的に、よく利用されている。
即ち、チェッカーボードの格子点の歪み具合を、式（８）にフィッティングすることで、パラメータが測定される。一旦パラメータを測定することにより、後はバックワード方式で、対象とする歪み補正後の座標（ｘu，ｙu）に対応した歪み補正前の座標（Ｘd，Ｙd）を計算し、その位置での取得した画素値を歪み補正後の座標の画素値とすればよい。また、パラメータが決まれば座標ごとの歪み補正量は一定となるため、各座標に対応した移動量を保持するテーブルを持つことも可能である。
次に、第２のレンズ歪み処理方法として、像高をキーとするテーブルに歪み量を入れておく補正方法について説明する。
レンズ歪みには、メリディオナル方向の成分およびサジタル方向の成分があるが、サジタル方向の成分はメリディオナル方向に比べて小さいため、メリディオナル方向、つまり像高のみの関数で近似することができる。よって、歪みのある光学系において距離ｒdの位置で結像した点が、歪みのない光学系において光学中心からの距離ｒuの位置で結像したとすると、光学中心からの距離の歪み比率関数Ｄを用いて、距離ｒdは、次の式（９）により表すことができる。
Figure 0006702323
この歪み比率関数Ｄをレンズ設計データや実測値に基づいて事前に測定することにより、レンズ歪みを考慮した手振れ補正処理を行うことができる。ここで、レンズ歪みを考慮した手振れ補正処理における手順について説明する。
まず、第１の手順において、歪みのない手振れ補正後画像（出力画像）の座標系における座標（ｘu，ｙu）が指定される。次に、第２の手順において、座標（ｘu，ｙu）を、イメージセンサ１２の回転角によって決まる手振れ補正関係式に当てはめて、歪みのない手振れ補正前画像における座標（Ｘu，Ｙu）が算出される。そして、第３の手順において、歪みによる歪み比率関数Ｄを用いて、歪みのある手振れ補正前画像における座標（Ｘd，Ｙd）が算出される。この演算は、次の式（１０）のように表すことができる。
Figure 0006702323
さらに、第４の手順で、座標（Ｘd，Ｙd）における画素値が取得され、これが出力画像の座標（ｘu，ｙu）における画素値とされる。
なお、歪み比率関数Ｄは、例えば、演算を簡単にするため距離の自乗（ｒ2）の関数としてもよい。また、出力画像に敢えてレンズ歪みを残したい場合は、前述した座標（ｘu，ｙu）に対して歪み比率関数を適用して座標変換を行って座標（ｘd，ｙd）を求め、その位置での画素値を、上述の第４の手順で取得したものにすればよい。
また、像面内のレンズ歪みを撮像し、手振れ補正式の焦点距離Ｌを像面位置に応じて変化させることで、単一の補正式を適用するだけでレンズ歪みと手振れを同時に補正することも可能である。つまり、画像の面内の位置に応じた手振れおよび歪みの影響の違いに対応して、画像を補正することができる。この方式について、以下で説明する。
上述した説明と同様に、イメージセンサがピッチ方向に回転角-θp（rad）で回転し、ヨー方向に回転角-θy（rad）で回転し、ロール方向に回転角-θr（rad）で回転したとすると、座標（ｘu，ｙu）の点ｐuと、座標（Ｘu，Ｙu）の点Ｐuとの間には、上述した特許文献１に開示されている手振れ補正関係式が成り立つ。この関係式は、次の式（１１）で表される。
Figure 0006702323
ここで、式（１１）において、手振れ補正関係式の焦点距離Ｌはイメージセンサの光学中心位置での焦点距離を画素数に換算したものである。
例えば、レンズ歪みのない理想レンズにおいて、この焦点距離は像面上の位置によらず一定であるが、実際のレンズでは歪みのため、像面上の位置によって焦点距離が異なっているとみなすことができる。そこで、像面位置におけるピッチ方向およびヨー方向の仮想的な焦点距離Ｌp（ｘu，ｙu）およびＬy（ｘu，ｙu）を事前に測定し、焦点距離Ｌp（ｘu，ｙu）およびＬy（ｘu，ｙu）を用いて上述した手振れ補正関係式を利用することで、歪みを考慮した座標変換を行うことができる。この関係式は、次の式（１２）で表される。
Figure 0006702323
図１２は、式（１２）を利用した変換方式について説明する図である。以下では、具体的な変換手順を説明する。
まず、第１の手順において、歪みのない手振れ補正後画像（出力画像）の座標系における座標（ｘu，ｙu）が指定される。次に、第２の手順において、座標（ｘu，ｙu）を、イメージセンサ１２の回転角とその像面位置における焦点距離とによって決まる手振れ補正関係式に当てはめて、歪みのある手振れ補正前画像における座標（Ｘd，Ｙd）が算出される。そして、第３の手順において、座標（Ｘd，Ｙd）における画素値が取得され、これが出力画像の座標（ｘu，ｙu）における画素値とされる。
なお、像面位置における仮想的な焦点距離Ｌ（ｘu，ｙu）の測定は、次に説明する２つの方法によって実現することができる。
まず、第１の方法では、モーションセンサデータと共に実際に画像を撮像し、モーションセンサによる手振れ補正処理と、オプティカルフローやブロックマッチングなどの画像処理による手振れ補正処理との両方が行われる。そして、両者を比較することによって、仮想的な焦点距離Ｌ（ｘu，ｙu）が求められる。この第１の方法では、歪みが全くない領域では両者の移動量は一致するのに対し、歪みのある領域では両者の移動量が異なることより、両者の差分がゼロとなるようにすることで、仮想的な焦点距離Ｌp（ｘu，ｙu）およびＬy（ｘu，ｙu）を求めることができる。
次に、第２の方法は、レンズ設計データを利用する方法である。即ち、レンズ設計データを利用することにより、全ての光学情報を再現することができるので、これを利用して仮想的な焦点距離Ｌ（ｘu，ｙu）を推定することができる。
このようにして求めた、焦点距離Ｌp（ｘu，ｙu）およびＬy（ｘu，ｙu）を用いた変換を行って、図１２に示すように、座標（ｘu，ｙu）の点ｐuを座標（Ｘd，Ｙd）の点Ｐdに変換することで、手振れおよび歪みを補正することができる。
ところで、出力画像に敢えてレンズ歪みを加えたい場合は、上述した処理において出力される座標として、歪み補正された点ｐuの座標（ｘu，ｙu）ではなく、歪みを含む座標系における点ｐdの座標（ｘd，ｙd）を用いればよい。この際、上述した仮想的な焦点距離ＬpおよびＬyを、レンズ歪みを含んだまま事前に求めておくことで、この処理を実現することができる。即ち、図１２に示すように、焦点距離Ｌp（ｘd，ｙd）およびＬy（ｘd，ｙd）を用いた変換を行って、座標（ｘd，ｙd）の点ｐdを座標（Ｘd，Ｙd）の点Ｐdに変換すればよい。
＜制御画素に対するレンズ歪み補正処理および手振れ補正処理について＞
図１３乃至図１５を参照して、制御画素に対するレンズ歪み補正処理および手振れ補正処理について説明する。
一般的に、レンズ歪み補正処理および手振れ補正処理は、発生する歪みおよび手振れの程度にもよるが、必ずしも全画素に対して正確に施す必要はない。例えば、一部の画素に対してのみ正確な補正処理を行い、その画素で囲まれた領域内については、補正処理が行われた画素を利用した単純な補間処理によって画質を維持したまま近似することができる。
そこで、カメラモジュール１１では、特定の制御画素に対してのみ正確なレンズ歪み補正処理および手振れ補正処理を行い、それらの制御画素を用いて、制御画素以外の画素に対して簡易的な補間処理を行うことで、最終的に画像全体の補正を行う方法を採用する。以下では、制御画素を用いた処理方法について説明する。
まず、図１３を参照して、制御画素を画像内に配置する配置例について説明する。
図１３では、制御画素が白丸（○）で表されている。例えば、図１３のＡでは、制御画素を格子状に配置した配置例が示されており、図１３のＢでは、制御画素を三角形状に配置した配置例が示されている。また、図１３のＣには、制御画素を全画素（全ての座標）に配置した配置例が示されており、左上一列目の一部の制御画素だけが図示されている。なお、図１３のＣに示す配置例は、一辺の長さを一画素分とした特別なケースでの格子状の配置とも言える。
このように、格子状または三角形で制御画素を配置するのは、コンピュータグラフィックス（ＣＧ：Computer Graphics）との相性を考慮したためである。例えば、ＣＧでは、ポリゴンによって物体形状を表現することが一般的であり、そのポリゴンの頂点にテクスチャ座標を割り当てることによって、物体をより実物のようにレンダリングしている。カメラモジュール１１では、計算の簡易化のみでなく、手振れ補正画像の出力時にＣＧのフレームワークを用いることができるように、このような制御画素の配置を採用している。
次に、図１４を参照して、制御画素の配置密度について説明する。
カメラモジュール１１では、図１４のＡに示すように制御画素を均等に配置する配置例、および、図１４のＢに示すように制御画素を非均等に配置する配置例のどちらを採用してもよい。例えば、図１４のＢに示すように制御画素を非均等に配置することによって、画像全体における制御画素の個数を変えることなく、密な画像変形にも対応することができる。
即ち、レンズ歪み形状が画像周辺で複雑に変化する場合、歪み方の変化が特に複雑な位置に制御画素を密に配置する一方、その他の位置では制御画素を疎に配置することで、制御画素の数を変えずにレンズ歪み補正処理の精度を維持することができる。また、モーションセンサ１３の検出に基づいた回転角の変化が大きな領域には制御画素を密に配置する一方、回転角の変化が小さい領域には疎に配置することで、制御画素の総個数を変えることなく手振れ補正の効果を向上させることができる。
なお、制御画素の個数はフレームごとに変更することも可能であり、例えば、動きの少ないフレームでは制御画素の総個数を削減したり、イメージセンサ１２の手振れによる変化が大きい領域にのみ制御画素を配置したりすることができる。このような制御画素の配置方法によって画像補正の効果を高めることが可能となり、同時に、計算効率も高めることができる。
例えば、カメラモジュール１１では、画像補正に必要な計算は制御画素に対してのみ行い、制御画素以外の画素については三角形または矩形の形状に基づいて補間処理を行う。つまり、制御画素数が少ないほど複雑な演算を行う画素数が減ることとなるため、制御画素の個数を最小限に抑制し、かつ、補正効果を向上させるためには、例えば、図１４のＢに示したような非均等配置を適切に採用することが重要となる。
次に、図１５を参照して、制御画素以外の画素の補間方法について説明する。
例えば、制御画素が矩形形状に配置された場合には、図１５のＡに示すようなバイリニア補間が適用される。また、制御画素が三角形に配置された場合には、図１５のＢに示すような重心座標補間が適用される。
図１５のＡに示すように、バイリニア補間では、矩形形状に配置された制御画素に基づいて、制御画素以外の画素が補間される。例えば、制御画素を頂点ｐ00、頂点ｐ10、頂点ｐ01、および頂点ｐ11とした矩形形状の内側において、比率（ｕ：ｖ）となる内分点ｐを変形する場合、バイリニア補間により、以下の式（１３）に示すように、変形後の内分点ｐ’の座標が算出される。即ち、変形後の制御画素の頂点ｐ00’、頂点ｐ10’、頂点ｐ01’、および頂点ｐ11’の座標に対する比率（ｕ：ｖ）に基づいて、内分点ｐに対応する内分点ｐ’の座標が算出される。
Figure 0006702323
そして、電子式手振れ補正（EIS）および歪み補正による変形後の座標を取得した後、この位置における画素値をサブサンプリングして取得する。例えば、リサンプリングは、ニアレストネイバーや、バイリニア、バイキュービック、異方性フィルタリングなどの一般的なリサンプリング手法を利用することができる。なお、この補間処理はＣＧにおけるテクスチャ補間処理を利用することができるため、ＧＰＵ（Graphics Processing Unit）を用いることにより、ハードウェアによる高速な処理を行うことができる。この軽量で高速な補間処理を行うことで、全ての画素に対してレンズ歪み補正処理および手振れ補正処理の計算を行うことなく、周囲の制御画素の座標に基づいて、制御画素以外の画素に対して効果を近似することができる。
また、図１５のＢに示すように、重心座標補間では、三角形状に配置された制御画素に基づいて、制御画素以外の画素が補間される。まず、重心座標補間では、変形前の三角形において、ある１つの内分点ｐによって決定される部分三角形の面積Ｓ1、面積Ｓ2、および面積Ｓ3を算出しておく。次に、電子式手振れ補正（EIS）および歪み補正による変形後の内分点ｐ’ の座標は、先に求めた部分三角形の面積Ｓ1、面積Ｓ2、および面積Ｓ3と、変形後の頂点ｐ1’、頂点ｐ2’、および頂点ｐ3’の座標を用いて、次の式（１４）に従って算出することができる。
Figure 0006702323
そして、内分点ｐ’の座標を算出した後、上述したバイリニア補間と同様に、元の画像の画素値を何かしらのリサンプリング手法によって取得する。
＜補正結果出力方式について＞
図１６乃至図２０を参照して、カメラモジュール１１において補正結果を出力する方式について説明する。なお、図１６乃至図２０では、図１に示したカメラモジュール１１を構成するブロックのうち、補正結果出力方式の説明に不要なブロックの図示は省略されている。例えば、カメラモジュール１１では、以下で説明するような５つの方式により補正結果が出力される。
図１６は、第１の補正結果出力方式を説明する図である。
図１６に示すように、第１の補正結果出力方式では、モーションセンサ出力がモーション信号処理部１６に入力され、座標変換処理部１７に制御画素座標およびレンズ歪み補正係数が入力され、画像変形部１８に入力画像が入力される。そして、モーション信号処理部１６は、モーションセンサ出力を、カメラモジュール１１の動きを表す動き情報に変換する信号処理を行う。このとき、モーション信号処理部１６は、上述したように積分誤差などを補正するような信号処理を行う。なお、図１６乃至図２０の説明において、このような補正が行われて座標変換処理部１７により求められるカメラモジュール１１の動きを表す動き情報を、補正モーションセンサ出力と称する。
また、座標変換処理部１７は、モーション信号処理部１６から供給される補正モーションセンサ出力に基づいて、手振れおよびレンズ歪みを補正するような座標変換処理を制御画素に対いて行い、その結果得られる補正制御点座標を画像変形部１８に供給する。そして、画像変形部１８は、補正制御点座標に基づいて入力画像を変形する画像変形処理を行い、その結果得られる補正結果画像を出力する。
このように、第１の補正結果出力方式においては、処理に必要な全ての情報がカメラモジュール１１に入力され、補正結果画像のみがカメラモジュール１１から出力される。従って、第１の補正結果出力方式により、手振れ補正システムをブラックボックスとして扱うことができる。
図１７は、第２の補正結果出力方式を説明する図である。
図１７に示すように、第２の補正結果出力方式では、モーションセンサ出力がモーション信号処理部１６に入力され、座標変換処理部１７に制御画素座標およびレンズ歪み補正係数が入力される。一方、入力画像は、そのままカメラモジュール１１をスルーして出力される。そして、モーション信号処理部１６は、モーションセンサ出力に対する信号処理を行って補正モーションセンサ出力を座標変換処理部１７に供給する。また、座標変換処理部１７は、モーション信号処理部１６から供給される補正モーションセンサ出力に基づいて、手振れおよびレンズ歪みを補正するような座標変換処理を制御画素に対いて行い、その結果得られる補正制御点座標を出力する。
このように、第２の補正結果出力方式においては、処理に必要な全ての情報がカメラモジュール１１に入力され、何も処理が行われていない入力画像と、補正制御画素座標とが、カメラモジュール１１から出力される。従って、第２の補正結果出力方式により、補正制御画素座標と入力画像を後段のシステムのＣＧ処理系へ入力し、いわゆるポリゴンへのテクスチャマッピング形式で画面提示を行うことで、より効率のよい結果画像提示を実現することができる。
また、カメラモジュール１１が、ライン単位処理のハードウェア回路によって実現されている場合、画像情報を保持するラインメモリの容量制限のため、ラインと垂直な方向の補正結果を画像に反映することは困難である。これに対し、第２の補正結果出力方式を採用した場合、画像そのものに対する処理は行わないためラインメモリの問題は回避され、また補正制御画素座標および入力画像をＣＧ処理系へ入力することで、テクスチャマッピングを利用した結果画像の表示も容易に行うことが可能となる。
図１８は、第３の補正結果出力方式を説明する図である。
図１８に示すように、第３の補正結果出力方式では、モーションセンサ出力がモーション信号処理部１６に入力される。一方、入力画像、制御画素座標、およびレンズ歪み補正係数は、そのままカメラモジュール１１をスルーして出力される。そして、モーション信号処理部１６は、モーションセンサ出力に対する信号処理を行って補正モーションセンサ出力を出力する。
このように、第３の補正結果出力方式においては、カメラモジュール１１において処理の対象となるのはモーションセンサ出力のみであり、その他の入力情報はそのまま出力される。例えば、第３の補正結果出力方式は、カメラモジュール１１におけるモーション信号処理のみを利用し、その他の処理は、カメラモジュール１１の後段に独自実装される構成において利用される。
モーション信号処理部１６による信号処理では、例えば、モーションセンサのドリフト補正や、ノイズ除去のためのフィルタリングが行われるが、これら信号処理は、モーションセンサ１３に対するノウハウが必要となる。このため、モーションセンサ出力を使いこなすのは決して簡単なわけではない。そのようなケースにおいて、カメラモジュール１１にてモーション信号処理部１６による信号処理を提供することで、カメラモジュール１１と接続する他のシステムは動きに関する責務を負う必要がなくなり、システム全体を効率よく構築することが可能となる。
図１９は、第４の補正結果出力方式を説明する図である。
図１９に示すように、第４の補正結果出力方式では、モーションセンサ出力がモーション信号処理部１６に入力される。一方、入力画像、制御画素座標、およびレンズ歪み補正係数は、そのままカメラモジュール１１をスルーして出力される。そして、モーション信号処理部１６は、モーションセンサ出力に対する信号処理を行って、カメラモジュール１１の動きを表す動き情報に変換するが、このとき、上述したような積分誤差などの補正は行われない。即ち、モーション信号処理部１６は、補正なしモーションセンサ出力を出力する。
このように、第４の補正結果出力方式においては、例えば、モーションセンサ１３から供給される角速度を単に積分して得られた角度だけを補正なしモーションセンサ出力として出力し、その他の入力情報がそのまま出力される。これは、複雑なモーション信号処理機能や画像変形処理などを、後段のシステムにて実装する場合に取りうる形態である。
図２０は、第５の補正結果出力方式を説明する図である。
図２０に示すように、第５の補正結果出力方式では、入力画像、制御画素座標、レンズ歪み補正係数、およびモーションセンサ出力は、そのままカメラモジュール１１をスルーして出力され、カメラモジュール１１における処理は行われない。
このように、第５の補正結果出力方式においては、カメラモジュール１１では何も処理を行わず入力された情報をスルーするだけである。これは、例えば、動画像の撮像時に手振れ補正機能をオフにした時を想定した形式となっており、カメラモジュール１１が実装される撮像装置では、必要に応じて、補正結果出力方式の切り替えを設定することができる。
以上のように、カメラモジュール１１は、上述したような第１乃至第５の補正結果出力方式を用いることが想定され、それぞれ必要に応じた補正結果が後段に出力される。例えば、カメラモジュール１１では、ユーザによる設定に従って、いずれかの補正結果出力方式に切り替えることができる。
＜加速度を利用した水平維持について＞
図２１を参照して、カメラモジュール１１において、３軸方向の加速度を利用して水平方向に対する絶対角を算出する方法について説明する。
図２１に示すように、モーション信号処理部１６は、水平絶対角算出部３１、カルマンフィルタ３２、および適応的LPF（ローパスフィルタ）３３を備えて構成される。そして、モーション信号処理部１６には、モーションセンサ１３から出力されるモーションセンサ出力として、３軸方向の加速度［αx，αy，αz］、ピッチ方向の角速度ωpitch、ロール方向の角速度ωroll、および、ヨー方向の角速度ωyawが供給される。
水平絶対角算出部３１は、次の式（１５）を演算することで、水平絶対角として、ピッチ角θpitchおよびロール角θrollの鉛直方向に対する傾きを算出する。
Figure 0006702323
但し、式（１５）において、パラメータμは、ゼロで割り算が行われることを回避するために任意の値が指定される。また、ピッチ角θpitch、ロール角θroll、およびヨー角θyawは、図２２に示すように定義される。
カルマンフィルタ３２は、水平絶対角算出部３１により算出された水平絶対角であるピッチ角θpitchおよびロール角θrollと、ピッチ方向の角速度ωpitchおよびロール方向の角速度ωrollとを用いて、カルマンフィルタによる誤差予測を行う。
例えば、加速度から求めた角度にはイメージセンサ１２の動きによる加速度の成分による瞬間的な誤差（高周波成分の誤差）が多く含まれている。また、角速度から求めた角度にはジャイロドリフトによるゆっくりと変化する成分の誤差（低周波成分の誤差）が多く含まれている。従って、カルマンフィルタ３２は、これらの誤差を取り除くために誤差予測を求め、手振れによる誤差およびジャイロドリフトによる誤差成分を取り除くとで、精度の高い水平絶対角であるピッチ角θ’pitchおよびロール角θ’rollを得ることができる。
適応的LPF３３は、回転量が小さな時の平均値を算出する。例えば、カルマンフィルタ３２により、重力加速度を利用するだけでは水平方向の回転（ヨー方向回転）の補正を行うことができない。そこで、適応的LPF３３が、ヨー方向の角度についてはジャイロから得られた角速度ωyawに対して適応的ローパスフィルタをかけることにより、ジャイロドリフトの除去を行う。なお、適応的LPF３３は、回転量が小さな時の平均値を算出することができればどのような手法を用いてもよい。
例えば、適応的LPF３３は、次の式（１６）を用いた加重平均手法により、適応的に重みωkを計算することで、加重平均を算出する。
Figure 0006702323
即ち、適応的LPF３３は、式（１６）に示すように、角速度の変化量である角加速度α（ｔ）を算出し、現在得られているオフセット量とジャイロ角速度との差分ｄ（ｔ）を算出し、加速度から得られた動き量ｍ（ｔ）を算出する。そして、適応的LPF３３は、角加速度α（ｔ）、差分ｄ（ｔ）、および動き量ｍ（ｔ）を用いて、適応的に重みωkを計算することができる。
このように、モーション信号処理部１６は、補正絶対角度［ピッチ角θ’pitchおよびロール角θ’roll］と、ジャイロドリフトが除去された補正角度［ヨー角θ’yaw］とを求めて、座標変換処理部１７に供給する。そして、座標変換処理部１７は、モーション信号処理部１６により求められた補正絶対角度および補正角度を用いて座標変換処理を行い、画像変形部１８は、入力画像Ｉに対する画像変形を行って補正画像Ｉ’を出力することができる。
このように、カメラモジュール１１は、加速度計を利用した水平維持機能付き手振れ補正を実行することができる。
なお、画像変形部１８は、例えば、上述した特許文献１に開示されている画像変形処理を行うことができる。また、画像変形部１８は、例えば、コンピュータビジョンで用いられるホモグラフィー処理を行ってもよい。
図２３は、ホモグラフィー処理について説明する図である。
ホモグラフィー処理では、３軸分の回転を表す回転行列Ｒと、射影変換行列Ｋとを用いて画像変換を行うことができる。ここで、回転行列Ｒ、射影変換行列Ｋ、および射影変換逆行列Ｋ-1は、次の式（１７）で表される。
Figure 0006702323
この式（１７）に示されている回転行列Ｒにおいて、ピッチ角θpitch、ロール角θroll、ヨー角θyawは、上述の図２２と同様に定義される。また、射影変換行列Ｋおよび射影変換逆行列Ｋ-1は、ｘ方法焦点距離ｆx、ｙ方向焦点距離ｆy、ｘ方向光学中心ｘc、およびｙ方向光学中心ｙcにより表される。
以上の一連の処理により、水平方向を常に維持する電子手振れ補正が可能となる。
＜撮像方法について＞
次に、図２４のフローチャートを参照して、カメラモジュール１１による撮像方法において実行される処理の一例について説明する。
例えば、カメラモジュール１１では、撮像部２１により１フレームの撮像が開始されると処理が開始される。ステップＳ１１において、同期処理部２２は、撮像部２１から出力される画像データと、モーションセンサ１３から出力されるモーションセンサ出力との同期を取る同期処理を行う。そして、同期処理部２２は、画像データとモーションセンサ出力とを統合したモーションセンサ出力付き画像データを、データ分離部１５に供給する。
ステップＳ１２において、データ分離部１５は、ステップＳ１１で同期処理部２２から供給されたモーションセンサ出力付き画像データを分離して、モーションセンサ出力をモーション信号処理部１６に供給し、画像データを画像変形部１８に供給する。
ステップＳ１３において、モーション信号処理部１６は、ステップＳ１２でデータ分離部１５から供給されたモーションセンサ出力を、カメラモジュール１１の動きを表す動き情報に変換して座標変換処理部１７に供給する。
ステップＳ１４において、座標変換処理部１７は、パラメータ記憶部１４からレンズ歪み係数および制御画素座標を読み出し、ステップＳ１３でモーション信号処理部１６から供給された動き情報に基づいた座標変換処理を行う。そして、座標変換処理部１７は、座標変換処理において、画像上の座標を、制御点座標ごとに手振れおよび歪みの両方が画像に与える影響を抑制するように一括で変換するための補正制御点座標を算出して、画像変形部１８に供給する。
ステップＳ１５において、画像変形部１８は、ステップＳ１２でデータ分離部１５から供給された画像データに対して、ステップＳ１４で座標変換処理部１７から供給された補正制御点座標に基づいた座標変換処理を施す。このように、画像変形部１８が画像データに座標変換処理を施すことによってレンズ歪み補正処理および手振れ補正処理が一括で行われ、これにより補正された画像が補正結果画像として出力されて、処理は終了される。その後、次の１フレームの撮像が開始されるタイミングまで待機し、同様の処理が繰り返して行われる。
このように、カメラモジュール１１では、レンズ歪み補正処理および手振れ補正処理が一括で行われることにより、画像を効果的に補正することができる。
以上のように、カメラモジュール１１では、上述の図２乃至図５を参照して説明したように、動き情報と画像情報の同期がとれているため、激しい動きに対しても正確に手振れ補正を行うことができる。
そして、カメラモジュール１１では、上述の図７を参照して説明したように、１フレームの画像の露光中の動き情報を全て、そのフレームに含めて用いることができるので、手振れだけでなく面内ブレ補正にも応用することができる。
また、カメラモジュール１１では、上述の図２１を参照して説明したような水平制御が行われるため、例えば、プレビューを見なくても水平に撮像することができ、適当に三脚においても水平に撮像することができる。
さらに、カメラモジュール１１では、レンズ歪みモデルに対応した補正方法、または、像高をキーとするテーブルに歪み量を入れておく補正方法により、画像周辺部でも電子手振れ補正による位置合わせ精度の低下を抑制することができ、より簡単な処理で歪み補正を実現することができる。
また、カメラモジュール１１では、上述の図１３乃至図１５を参照して説明したように、特定の制御画素を用いて処理が行われるため、補正精度の低下を防ぎながら処理の軽量化を図ることができる。
そして、カメラモジュール１１では、上述の図１６乃至図２０を参照して説明したように、様々な補正結果出力方式が用いられるので、それぞれの形式で処理結果を出力することができ、柔軟なシステム構成が可能である。
なお、カメラモジュール１１は、それぞれ異なるチップで構成されるイメージセンサ１２およびモーションセンサ１３を組み合わせて利用することができる。または、カメラモジュール１１は、イメージセンサ１２として、センサ基板とロジック基板が積層された積層型のCMOSイメージセンサを利用し、モーションセンサ１３をイメージセンサ１２に内蔵する構成としてもよい。このように、イメージセンサ１２およびモーションセンサ１３が積層型のCMOSイメージセンサにより構成される場合、それらの同期を容易に取ることができる。また、カメラモジュール１１を構成する全てのブロックが、積層型のCMOSイメージセンサに実装される構成を採用してもよい。
また、例えば、少なくとも１枚分の画像を記憶するフレームメモリとして利用可能なメモリチップが積層された構成の積層型の固体撮像素子では、画像変形部１８により、メモリチップに記憶されている画像に対する画像変形処理を行うことができる。即ち、本技術は、センサ基板とロジック基板とが積層され、ロジック基板において座標変換処理を行って補正結果画像を後段に出力する積層型のCMOSイメージセンサに適用することができる。
＜電子機器の構成例＞
なお、上述したような実施の形態のカメラモジュール１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
図２５は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
図２５に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
撮像素子１０３としては、上述した実施の形態のカメラモジュール１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
このように構成されている撮像装置１０１では、上述した実施の形態のカメラモジュール１１を適用することで、例えば、より正確に手振れおよびレンズ歪みが補正された画像を撮像することができる。
＜イメージセンサの使用例＞
図２６は、上述のイメージセンサを使用する使用例を示す図である。
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
なお、本技術は以下のような構成も取ることができる。
（１）
光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを検出する動き検出部と、
前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と
を備えるカメラモジュール。
（２）
前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部
をさらに備える上記（１）に記載のカメラモジュール。
（３）
前記同期処理部は、前記撮像部により撮像された１フレーム分の前記画像のラインごとに出力されるタイミング、および、前記動き検出部により前記撮像部の動きが検出されたタイミングのいずれか一方を基準として、他方が取得されたタイミングを紐付けることにより同期を取る
上記（２）に記載のカメラモジュール。
（４）
前記同期処理部は、前記撮像部により前記画像の撮像が行われる所定のタイミング、および、前記動き検出部により前記撮像部の動きが検出されたタイミングのそれぞれを特定するタイムスタンプを利用して同期を取る
上記（２）に記載のカメラモジュール。
（５）
前記同期処理部は、前記撮像部において１フレーム分の前記画像が撮像される前または後の所定期間において前記動き検出部により検出された前記撮像部の動きを、その１フレーム分に含めて出力する
上記（２）から（４）までのいずれかに記載のカメラモジュール。
（６）
前記動き検出部が前記撮像部の動きを検出して出力する出力信号に対する信号処理を行って、前記撮像部の動きを表す動き情報に変換するモーション信号処理部
をさらに備える上記（１）から（５）までのいずれかに記載のカメラモジュール。
（７）
前記モーション信号処理部は、前記動き検出部の出力信号を変換する際に発生する誤差を補正して、前記撮像部の動き情報を求める
上記（６）に記載のカメラモジュール。
（８）
前記座標変換部による変換済みの座標に基づいて、前記撮像部により撮像された前記画像を変形する画像変形処理部
をさらに備える上記（１）から（７）までのいずれかに記載のカメラモジュール。
（９）
前記座標変換部は、前記画像を構成する全画素のうちの、特定の制御画素に対して座標変換処理を行い、
前記画像変形処理部は、前記制御画素に対する変換済みの座標に基づいて画像変形処理を行うとともに、前記制御画素以外の画素については、前記制御画素に対する画像変形処理の結果を利用して補間する補間処理を行う
上記（８）に記載のカメラモジュール。
（１０）
前記制御画素は、前記画像に対して格子状または三角形状に配置される
上記（８）または（９）に記載のカメラモジュール。
（１１）
前記制御画素は、前記画像中に非均等に配置される
上記（８）から（１０）までのいずれかに記載のカメラモジュール。
（１２）
前記座標変換部は、前記画像の面内の位置に応じた前記撮像部の振れの影響の違いと、前記画像の面内の位置に応じた前記光学系の歪みの影響の違いとに対応して、前記画像を補正する座標変換処理を行う
上記（１）から（１１）までのいずれかに記載のカメラモジュール。
（１３）
前記座標変換部は、前記座標変換処理を行って出力する出力座標について、歪みのない前記光学系を用いた場合における座標に変換し、前記動き検出部により検出された前記撮像部の動きと前記画像の面内の座標位置に応じた補正量を算出した後、歪みのある前記光学系を用いた場合における像での座標を算出する
上記（１２）に記載のカメラモジュール。
（１４）
前記座標変換部は、前記座標変換処理を行って出力する出力座標について、前記動き検出部により検出された前記撮像部の動きと前記画像の面内の座標位置に応じた補正量を算出し、歪みのある前記光学系を用いた場合における像での座標を算出する
上記（１２）に記載のカメラモジュール。
（１５）
前記画像を構成する画素の座標をパラメータとする前記光学系の歪みモデル式の補正係数が事前に測定されており、
前記座標変換部は、前記光学系の歪みモデル式の補正係数を用いて、前記画像の面内の位置に応じて影響の異なる前記光学系の歪みに対応する補正を行う
上記（１２）から（１４）までのいずれかに記載のカメラモジュール。
（１６）
前記画像の面内の位置および前記撮像部の振れ方向に応じて変化する前記光学系の焦点距離が事前に測定されており、
前記座標変換部は、前記画像の面内の位置および前記撮像部の振れ方向に応じて異なる前記焦点距離を用いて、前記撮像部の振れを補正する
上記（１２）から（１４）までのいずれかに記載のカメラモジュール。
（１７）
前記撮像部により撮像された前記画像と、前記座標変換処理による変換済みの座標とを後段に出力する
上記（１）から（１６）までのいずれかに記載のカメラモジュール。
（１８）
光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
前記撮像部において少なくとも１フレーム分の前記画像が撮像される間の前記撮像部の動きを検出する動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と
を備える固体撮像素子。
（１９）
光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
前記撮像部において少なくとも１フレーム分の前記画像が撮像される間の前記撮像部の動きを検出する動き検出部と、
前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と
を備える電子機器。
（２０）
光学系を介して入射する被写体からの光を受光する撮像部により前記被写体を撮像し、
前記撮像部において少なくとも１フレーム分の前記画像が撮像される間の前記撮像部の動きを検出し、
検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う
撮像方法。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ カメラモジュール， １２ イメージセンサ， １３ モーションセンサ， １４ パラメータ記憶部， １５ データ分離部， １６ モーション信号処理部， １７ 座標変換処理部， １８ 画像変形部， １９ タイムスタンプ発行器， ２１ 撮像部， ２２ 同期処理部， ３１ 水平絶対角算出部， ３２ カルマンフィルタ， ３３ 適応的LPF

Claims (20)

  1. 光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
    前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを検出する動き検出部と、
    前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、
    前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部と、
    前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子と
    を備え、
    前記固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される
    カメラモジュール。
  2. 前記同期処理部は、前記撮像部により撮像された１フレーム分の前記画像のラインごとに出力されるタイミング、および、前記動き検出部により前記撮像部の動きが検出されたタイミングのいずれか一方を基準として、他方が取得されたタイミングを紐付けることにより同期を取る
    請求項１に記載のカメラモジュール。
  3. 前記同期処理部は、前記撮像部により前記画像の撮像が行われる所定のタイミング、および、前記動き検出部により前記撮像部の動きが検出されたタイミングのそれぞれを特定するタイムスタンプを利用して同期を取る
    請求項１に記載のカメラモジュール。
  4. 前記同期処理部は、前記撮像部において１フレーム分の前記画像が撮像される前または後の所定期間において前記動き検出部により検出された前記撮像部の動きを、その１フレーム分に含めて出力する
    請求項１に記載のカメラモジュール。
  5. 前記固体撮像素子から出力される１フレーム分の前記画像には、その１フレーム分の前記画像の露光中の動き情報の全てが含まれている
    請求項４に記載のカメラモジュール。
  6. 前記動き検出部が前記撮像部の動きを検出して出力する出力信号に対する信号処理を行って、前記撮像部の動きを表す動き情報に変換するモーション信号処理部
    をさらに備える請求項１に記載のカメラモジュール。
  7. 前記モーション信号処理部は、前記動き検出部の出力信号を変換する際に発生する誤差を補正して、前記撮像部の動き情報を求める
    請求項６に記載のカメラモジュール。
  8. 前記座標変換処理部による変換済みの座標に基づいて、前記撮像部により撮像された前記画像を変形する画像変形処理部
    をさらに備える請求項１に記載のカメラモジュール。
  9. 前記座標変換処理部は、前記画像を構成する全画素のうちの、特定の制御画素に対して座標変換処理を行い、
    前記画像変形処理部は、前記制御画素に対する変換済みの座標に基づいて画像変形処理を行うとともに、前記制御画素以外の画素については、前記制御画素に対する画像変形処理の結果を利用して補間する補間処理を行う
    請求項８に記載のカメラモジュール。
  10. 前記制御画素は、前記画像に対して格子状または三角形状に配置される
    請求項９に記載のカメラモジュール。
  11. 前記制御画素は、前記画像中に非均等に配置される
    請求項９に記載のカメラモジュール。
  12. 前記座標変換処理部は、前記画像の面内の位置に応じた前記撮像部の振れの影響の違いと、前記画像の面内の位置に応じた前記光学系の歪みの影響の違いとに対応して、前記画像を補正する座標変換処理を行う
    請求項１に記載のカメラモジュール。
  13. 前記座標変換処理部は、前記座標変換処理を行って出力する出力座標について、歪みのない前記光学系を用いた場合における座標に変換し、前記動き検出部により検出された前記撮像部の動きと前記画像の面内の座標位置に応じた補正量を算出した後、歪みのある前記光学系を用いた場合における像での座標を算出する
    請求項１２に記載のカメラモジュール。
  14. 前記座標変換処理部は、前記座標変換処理を行って出力する出力座標について、前記動き検出部により検出された前記撮像部の動きと前記画像の面内の座標位置に応じた補正量を算出し、歪みのある前記光学系を用いた場合における像での座標を算出する
    請求項１２に記載のカメラモジュール。
  15. 前記画像を構成する画素の座標をパラメータとする前記光学系の歪みモデル式の補正係数が事前に測定されており、
    前記座標変換処理部は、前記光学系の歪みモデル式の補正係数を用いて、前記画像の面内の位置に応じて影響の異なる前記光学系の歪みに対応する補正を行う
    請求項１２に記載のカメラモジュール。
  16. 前記画像の面内の位置および前記撮像部の振れ方向に応じて変化する前記光学系の焦点距離が事前に測定されており、
    前記座標変換処理部は、前記画像の面内の位置および前記撮像部の振れ方向に応じて異なる前記焦点距離を用いて、前記撮像部の振れを補正する
    請求項１２に記載のカメラモジュール。
  17. 前記撮像部により撮像された前記画像と、前記座標変換処理による変換済みの座標とを後段に出力する
    請求項１に記載のカメラモジュール。
  18. 光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
    前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを検出する動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、
    前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部と
    を備え、
    前記撮像部および前記同期処理部を内蔵する構成となっていて、
    前記動き検出部の出力を取り込み、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像を出力する
    固体撮像素子。
  19. 光学系を介して入射する被写体からの光を受光して、前記被写体を撮像する撮像部と、
    前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを検出する動き検出部と、
    前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行う座標変換処理部と、
    前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期させる同期処理部と、
    前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子と
    を備え、
    前記固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される
    電子機器
  20. 光学系を介して入射する被写体からの光を受光する撮像部により前記被写体を撮像し、
    前記撮像部において少なくとも１フレーム分の画像が撮像される間の前記撮像部の動きを動き検出部により検出し、
    前記動き検出部により検出された前記撮像部の動き、および、前記光学系の歪みを補正する補正係数に基づいて、前記撮像部により撮像された前記画像上の座標を、前記撮像部の振れおよび前記光学系の歪みの両方が前記画像に与える影響を抑制するように一括で変換する座標変換処理を行い、
    前記撮像部により撮像された１フレーム分の前記画像をライン単位で、前記動き検出部により検出された前記撮像部の動きと同期処理部により同期させ、
    前記撮像部および前記同期処理部を内蔵する構成の固体撮像素子に前記動き検出部の出力が取り込まれて、前記同期処理部によって前記動き検出部の出力が同期するように前記撮像部により撮像された画像に付加された動き出力付き画像が前記固体撮像素子から出力される
    撮像方法。
JP2017529549A 2015-07-22 2016-07-08 カメラモジュール、固体撮像素子、電子機器、および撮像方法 Active JP6702323B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015145335 2015-07-22
JP2015145335 2015-07-22
PCT/JP2016/070261 WO2017014071A1 (ja) 2015-07-22 2016-07-08 カメラモジュール、固体撮像素子、電子機器、および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2017014071A1 JPWO2017014071A1 (ja) 2018-06-07
JP6702323B2 true JP6702323B2 (ja) 2020-06-03

Family

ID=57834110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529549A Active JP6702323B2 (ja) 2015-07-22 2016-07-08 カメラモジュール、固体撮像素子、電子機器、および撮像方法

Country Status (5)

Country Link
US (1) US10498962B2 (ja)
JP (1) JP6702323B2 (ja)
KR (1) KR102526794B1 (ja)
CN (1) CN107852462B (ja)
WO (1) WO2017014071A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677098B2 (ja) * 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN108886573A (zh) * 2016-05-20 2018-11-23 深圳市大疆灵眸科技有限公司 用于数字视频增稳的***和方法
JP6674701B2 (ja) * 2016-09-28 2020-04-01 ルネサスエレクトロニクス株式会社 画像処理モジュール、および半導体システム
CN106780758B (zh) * 2016-12-07 2019-12-13 歌尔科技有限公司 用于虚拟现实设备的成像方法、装置及虚拟现实设备
JP6936034B2 (ja) * 2017-03-31 2021-09-15 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
JP7030442B2 (ja) * 2017-08-07 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107561723B (zh) * 2017-10-13 2020-05-05 京东方科技集团股份有限公司 显示面板和显示装置
CN109754425B (zh) * 2017-11-01 2023-07-28 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
CN108680196B (zh) * 2018-04-28 2021-01-19 远形时空科技（北京）有限公司 一种时延校正方法、***及计算机可读介质
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
CN108737735B (zh) * 2018-06-15 2019-09-17 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
JP2020031264A (ja) * 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
US11963658B2 (en) * 2018-08-22 2024-04-23 Intuitive Surgical Operations, Inc. Distortion correction of endoscopic images in computer-assisted tele-operated surgery
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109348125B (zh) * 2018-10-31 2020-02-04 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
US11741584B2 (en) 2018-11-13 2023-08-29 Genesys Logic, Inc. Method for correcting an image and device thereof
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
CN110049239B (zh) * 2019-03-26 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110072049B (zh) * 2019-03-26 2021-11-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112129317B (zh) * 2019-06-24 2022-09-02 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
KR20210092012A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
KR102267696B1 (ko) * 2020-06-16 2021-06-21 남서울대학교 산학협력단 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법
JPWO2022168501A1 (ja) * 2021-02-04 2022-08-11
CN115134505B (zh) * 2021-03-25 2024-06-21 北京小米移动软件有限公司 预览画面生成方法及装置、电子设备、存储介质
JP2022189113A (ja) * 2021-06-10 2022-12-22 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
EP4135311A4 (en) 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197261A (ja) * 1992-12-24 1994-07-15 Canon Inc 撮像装置
JP4310645B2 (ja) 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP5181603B2 (ja) * 2007-09-28 2013-04-10 カシオ計算機株式会社 撮像装置及びプログラム
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP2011160067A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 手振れ補正装置及び方法、並びにカメラモジュール、携帯電話機
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2013050537A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP5984574B2 (ja) * 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP6327245B2 (ja) 2013-03-29 2018-05-23 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP2014203400A (ja) * 2013-04-09 2014-10-27 株式会社デンソー 車外画像保存装置、及び撮像機能付き携帯端末
JP6198567B2 (ja) * 2013-10-21 2017-09-20 ソニーセミコンダクタソリューションズ株式会社 イメージセンサおよびその動作方法、並びに電子機器
JP5641127B2 (ja) * 2013-12-26 2014-12-17 ソニー株式会社 撮像装置と振れ補正方法
WO2015160967A1 (en) 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images

Also Published As

Publication number Publication date
WO2017014071A1 (ja) 2017-01-26
CN107852462A (zh) 2018-03-27
JPWO2017014071A1 (ja) 2018-06-07
KR102526794B1 (ko) 2023-04-28
US20180213153A1 (en) 2018-07-26
US10498962B2 (en) 2019-12-03
CN107852462B (zh) 2020-12-18
KR20180032529A (ko) 2018-03-30

Similar Documents

Publication Publication Date Title
JP6702323B2 (ja) カメラモジュール、固体撮像素子、電子機器、および撮像方法
JP6170395B2 (ja) 撮像装置およびその制御方法
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4770924B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4413261B2 (ja) 撮像装置及び光軸制御方法
JP4962460B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4618370B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6209002B2 (ja) 撮像装置およびその制御方法
JP2010136302A (ja) 撮像装置、撮像方法、およびプログラム
JP6253280B2 (ja) 撮像装置およびその制御方法
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP5393877B2 (ja) 撮像装置および集積回路
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2011055084A (ja) 撮像装置及び電子機器
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP5047912B2 (ja) 車載用画像処理装置及びその画像処理方法
WO2009088068A1 (ja) 撮像装置及び光軸制御方法
WO2022168501A1 (ja) カメラモジュール、撮影方法、及び、電子機器
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
JP6355421B2 (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R151 Written notification of patent or utility model registration

Ref document number: 6702323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151