JP2019106656A - 半導体装置および電子機器 - Google Patents

Abstract

【課題】補正レンズがメカ端に近傍に位置する場合でも、光学式手振れ補正を継続する。【解決手段】カメラモジュール３１の制御に用いられる光学式手振れ補正モジュール４０は、露光期間中に光学式手振れ補正を実行しながら、光学式手振れ補正に使用する補正レンズ５５等の位置調整を行う。補正レンズ５５の位置調整に伴う画像歪みは、たとえば、電子式手振れ補正モジュール６２によって補正可能である。【選択図】図１

Description

この開示は、半導体装置および電子機器に関し、たとえば、カメラの手振れ補正機能を制御する半導体装置および手振れ補正機能付きカメラを搭載した電子機器などに用いられるものである。

ビデオカメラおよびデジタルカメラなどにおける手振れ補正方式として、ＯＩＳ（Optical Image Stabilizer：光学式手振れ補正）とＥＩＳ（Electronic Image Stabilizer：電子式手振れ補正）とがある（たとえば、特開２００９−１５２７９３号公報（特許文献１）を参照）。

ＯＩＳとは、ジャイロセンサなどの振動センサによって撮像時の手振れ量を検知し、検知した手振れ量に基づいて画像の振れを小さくするように補正レンズまたは撮像素子などの位置を調整するものである。ＯＩＳは、高周波数域での手振れを精度良く補正することができ、モーションブラーの軽減効果が高いという特徴がある。

ＥＩＳは、撮影した画像を一旦バッファメモリに読み込み、複数の時点で撮影された画像を比較することにより、手振れによる移動量を計算して補正する方式である。撮影された領域をずらして補正するために、有効画素領域は撮像素子の最大画素領域よりも小さくなる。ＥＩＳは、台形・ひし形などの画像歪みの補正、光学収差補正、ローリングシャッター歪みの補正、レンズの光軸に対する回転方向の歪みの補正を精度良く行えるという特徴がある。

ＯＩＳとＥＩＳの各々が特徴とする補正効果を同時に得るために、最近のデジタルカメラおよびカメラ付きスマートフォンなどでは、ＯＩＳとＥＩＳとを組み合わせた補正方法が採用されている。

特開２００９−１５２７９３号公報

上記のようにＯＩＳでは、振動センサで検知した手振れ量に対応する移動方向および移動量に応じて補正レンズなどを移動させることによって手振れが補正される。このため、手振れ補正のために補正レンズの移動を繰り返していくと、やがて補正レンズが移動可能範囲の限界（以下、「メカ端」と称する）に到達してしまう。補正レンズがメカ端に到達すると撮影された画像は修復できないほど大きく歪む（以下、「メカ端歪み」と称する）。この理由は、高周波（たとえば３０Ｈｚ以上）の手振れ補正がＯＩＳによって補正されなくなるためであり、さらに、補正レンズがメカ端で跳ね返ったりすることにより意図しない歪み成分が画像信号中に残るためである。

上記の問題を解決するための方法として、動画撮影などにおいて補正レンズがメカ端に到達する可能性が高い場合には、フレームとフレームの間のブランキング期間に補正レンズの位置を可動範囲の中央に戻すことが考えられる。しかし、このように補正レンズを一度に大きく動かすと、大きなセトリング期間が必要になる。このため、セトリング期間を確保するためにフレームブランキング期間を長くとる必要がある。このことは、撮像素子のノイズ逓減のために露光時間を極力長く確保したいという要求と相反する。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施形態によるカメラモジュールの制御に用いられる半導体装置は、露光期間中に光学式手振れ補正を実行しながら、光学式手振れ補正に使用する補正レンズなどの位置調整を行う。補正レンズの位置調整に伴う画像歪みは、たとえば、電子式手振れ補正によって補正可能である。

上記の実施形態によれば、補正レンズがメカ端に近傍に位置する場合でも、光学式手振れ補正を継続することができる。

第１の実施形態による電子機器３０Ａの構成の一例を示すブロック図である。 光学系５１の構成の一例を模式的に示す図である。 ＥＩＳモジュールによる手振れ補正処理の手順を示すフローチャートである。 ＥＩＳによって補正可能な画像歪みの例を示す図である。 ローリングシャッター歪みについて説明するための図である。 図１のＯＩＳモジュールの動作について説明するための図である。 ＯＩＳの基本的な動作を説明するための図である。 比較例のＯＩＳモジュールによる手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。 本実施の形態における手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。 手振れ補正処理の模式的なタイミング図である。 第１の実施形態の場合の手振れ補正手順を示すフローチャートである。 図１１の手振れ補正手順の変形例を示すフローチャートである。 第２の実施形態の電子機器の構成の一例を示すブロック図である。 図１３のＥＩＳモジュールによる手振れ補正処理の手順を示すフローチャートである。 第２の実施形態の電子機器の他の構成例を示すブロック図である。 補正レンズの位置調整のためのバイアス値の決定方法について表形式で示す図である。 補正レンズの移動角度の最大積算値を示す図である。 第４の実施形態の一例として電子機器３０Ｄの構成を示すブロック図である。 第４の実施形態の他の例として電子機器３０Ｅの構成を示すブロック図である。 図１８の場合の手振れ補正手順を示すフローチャートである。 第５の実施形態の第１の構成例による電子機器３０Ｆの構成を示すブロック図である。 第５の実施形態の第２の構成例による電子機器３０Ｇの構成を示すブロック図である。

以下、各実施形態について図面を参照して詳しく説明する。なお、同一または相当する部分には同一の参照符号を付して、その説明を繰り返さない場合がある。

＜第１の実施形態＞
図１は、第１の実施形態による電子機器３０Ａの構成の一例を示すブロック図である。以下では、電子機器３０Ａとして、カメラモジュール付きのスマートフォンを想定して説明するが、その他のカメラモジュール付きの電子機器３０Ａにも本開示の技術は適用可能である。たとえば、電子機器３０Ａには監視カメラシステムも含まれる。

また、本開示では、ＯＩＳの方式として補正レンズを動かすレンズシフト方式の手振れ補正を例に挙げて説明するが、本開示の技術はその他の方式のＯＩＳにも適用可能である。たとえば、光学系全体を動かすことによって手振れ補正を行ってもよいし、光学系とイメージセンサとを含むユニット全体を動かすことによって手振れ補正を行ってもよい。もしくは、撮像素子を動かすことによって手振れ補正を行うイメージセンサシフト方式の手振れ補正にも本開示の技術を適用することができる。

本開示では、光学式手振れ補正を実現するために移動させる補正レンズ、光学系、および撮像素子などを総称して可動対象と称する。したがって、可動対象とは、光学系および撮像素子のうちの少なくとも一部である。

［電子機器の全体構成］
図１を参照して、電子機器３０Ａは、カメラに関係する構成として、カメラモジュール３１と、メインボード３２と、表示装置３３と、補助記憶装置３４とを備える。

（１．カメラモジュールの構成）
カメラモジュール３１は、補正レンズ５５を含む光学系５１と、撮像素子（「イメージセンサ」とも称する）５０と、振れ検出センサ４１と、アクチュエータ４６と、位置検出センサ４７と、ＯＩＳモジュール４０とを含む。振れ検出センサ４１、アクチュエータ４６、位置検出センサ４７、およびＯＩＳモジュール４０は、光学式手振れ補正（ＯＩＳ）のために用いられる。

図２は、光学系５１の構成の一例を模式的に示す図である。光学系５１は、光学レンズ５２，５３，５４と、補正レンズ５５と、絞り（不図示）とを含む。

被写体からの光線１００は光学レンズ５２，５３，５４に入射する。被写体は、光学レンズ５２，５３，５４によって撮像素子５０上に結像される。光学レンズ５２，５３，５４は、その光軸１０１が撮像素子５０の中心を通るように配置されている。

撮像素子５０は、被写体の光学像を電気信号に変換するデバイスであり、たとえば、ＣＭＯＳイメージセンサ（Complementary Metal-Oxide- Semiconductor Image Sensor、ＣＩＳとも称する）である。撮像素子５０では、１ラインから数ラインごとに順次露光して画像取り込みを行うローリングシャッター方式が用いられる。

補正レンズ５５は、光軸１０１にほぼ垂直な面内で移動可能なように、もしくは、光軸に対する角度の変更が可能なように構成され、手振れによる被写体の像の振れ（ブレ）を補正する。具体的に、補正レンズ５５は、手振れによる光学系５１の光軸１０１の振れの方向と逆方向に、光学系５１の振れ量に応じた量だけ移動することによって、撮像素子５０上の被写体の光学像の振れを小さくする。

なお、凹状の補正レンズの場合には、手振れによる光学系５１の光軸１０１の振れの方向と同方向に補正レンズが移動することによって、撮像素子５０上の被写体の光学像の振れを小さくすることができる。撮像素子５０を移動させるセンサシフト方式の場合には、手振れによる光学系５１の光軸１０１の振れの方向と逆方向に撮像素子５０をシフトさせることによって、撮像素子５０上の被写体の光学像の振れを小さくすることができる。このように補正光学系の構成もしくはＥＩＳの方式によって、手振れ方向に対する可動対象の動作方向は異なる。

以下、補正レンズ５５が初期位置（可動範囲の中心）にある場合において、光学系５１の光軸方向をｚ軸方向とし、ｚ軸と垂直な面内で撮像素子５０の横方向をｘ軸方向とし、撮像素子５０の縦方向をｙ軸方向とする。ｘ軸の回りの回転をピッチ（pitch）といい、ｙ軸の回りの回転をヨー（yaw）といい、ｚ軸の回りの回転をロール（roll）という。

再び図１を参照して、振れ検出センサ４１は、光学系５１を含むカメラモジュール３１全体の振れの方向と振れ量とを検出する。振れ検出センサ４１は、たとえば、ジャイロセンサ（角速度センサとも称する）または加速度センサである。ジャイロセンサは、カメラの光軸を基準にヨー方向およびピッチ方向（必要であれば、ロール方向）の角速度を検出する。加速度センサは、光軸に垂直なｘ軸方向およびｙ軸方向（必要であればｚ軸方向）の加速度を検出する。ジャイロセンサと加速度センサとの両方が設けられていてもよい。

アクチュエータ４６は、ＯＩＳモジュール４０からの制御信号に基づいて、光学系５１の光軸に垂直な面内で補正レンズ５５を移動させる。アクチュエータ４６は、たとえば、ボイスコイルモータ（ＶＣＭ：Voice Coil Motor）、ピエゾ素子、または形状記憶合金（ＳＭＡ：Shape Memory Alloy）アクチュエータなどである。

位置検出センサ４７は、補正レンズ５５の位置を検出する。位置検出センサ４７は、たとえば、ホールセンサである。ホールセンサは、補正レンズ５５のフレームに固定された永久磁石の位置を検出するためのホール素子によって構成される。

ＯＩＳモジュール４０は、振れ検出センサ４１によって検出された光学系５１の振れの方向および振れ量に基づいて、撮像素子５０上での光学像の振れが小さくなるように、アクチュエータ４６によって補正レンズ５５を駆動する。さらに、ＯＩＳモジュール４０は、補正レンズ５５がメカ端に近付いた場合に、補正レンズ５５がメカ端から離れるようにアクチュエータ４６によって補正レンズ５５を一定方向（概ね補正レンズ５５の可動範囲の中心（「メカニカルセンタ」と称する）の方向）に駆動する。これらの補正レンズ５５の位置制御は、位置検出センサ４７によって検出された補正レンズ５５の現在位置に基づいたフィードバック制御によって実行される。

ここで、本実施の形態のカメラモジュール３１では、上記の振れ検出センサ４１の検出値に基づく手振れ補正のための補正レンズ５５の移動と、補正レンズ５５をメカ端から離すための補正レンズ５５の移動とが、露光期間中に同時に行われる点に特徴がある。後者の補正レンズ５５の位置調整は、振れ検出センサ４１の検出値には基づいていない。メカ端から離れるように一定方向に補正レンズ５５を駆動することによって撮像素子５０によって撮影された画像には歪みが生じるが、この歪みはその後に実行されるＥＩＳによって除去することを想定している。また、メカ端から離すための補正レンズ５５の駆動は１フレームの期間をかけてゆっくりと行われるのでセトリング時間の問題は生じない。

（２．ＯＩＳモジュールの詳細な構成）
より詳細な構成として、ＯＩＳモジュール４０は、演算器４２と、バイアス成分生成器４５と、加算器４３と、補償器４４とを含む。なお、本開示では、演算器４２を第１の演算器と称し、バイアス成分生成器４５を第２の演算器と称し、ＥＩＳモジュール６２（または画像処理用プロセッサ９０など）を第３の演算器と称する場合がある。

演算器４２は、振れ検出センサ４１の検出値に基づいて補正レンズ５５の現在位置からの移動方向および移動量（具体的には、ｘ軸方向の移動量とｙ軸方向の移動量など、もしくはピッチ軸方向の移動量とヨー軸方向の移動量など）を算出する。以下の説明では、移動方向と移動量とを併せて手振れ補正成分ベクトルと称する。

上記の算出のために、演算器４２は、まず、振れ検出センサ４１の出力信号に対して高域通過フィルタ（ＨＰＦ：High Pass Filter）を適用することによってオフセット成分を除去し、低域通過フィルタ（ＬＰＦ：Low Pass Filter）を適用することによってノイズ成分を除去する。次に、演算器４２は、上記のフィルタ処理後の出力信号に対して積分処理を施すことによって各軸ごとの振れ量を算出する。

具体的に、振れ検出センサ４１がジャイロセンサによって構成されている場合には、ジャイロセンサによって検出されたヨー角およびピッチ角の角速度を積分することによって、ヨー角およびピッチ角の振れ量として角度ブレが得られる。振れ検出センサ４１が加速度センサによって構成されている場合には、加速度センサによって検出されたｘ軸方向およびｙ軸方向の加速度を積分することによってｘ軸方向およびｙ軸方向の速度が求まり、さらに速度を積分することによってｘ軸方向およびｙ軸方向の振れ量としてシフトブレが得られる。カメラから被写体までの距離に基づいてシフトブレを角度ブレに変換してもよい。

最終的に、演算器４２は、上記のようにして算出した各軸ごとの振れ量に係数を掛けることによって、手振れ補正のための補正レンズ５５の現在位置からの移動方向および移動量（すなわち、ｘ軸方向およびｙ軸方向の移動量など、もしくはピッチ軸方向およびヨー軸方向の移動量など）を算出し、算出結果を出力する。

なお、最終的に得られる手振れ補正量を、ｘ軸方向およびｙ軸方向の移動量として表現するか、ピッチ角およびヨー角として表現するかは、カメラモジュール３１に搭載されている光学式手振れ補正機構などに応じて便宜的に決めてよい。たとえば、イメージセンサシフト方式の場合には、手振れ補正量をｘ軸方向およびｙ軸方向の移動量として表現するのが望ましい。他の例として、マクロ撮影などの高撮影倍率時にｘ軸方向およびｙ軸方向の移動量が支配的になった場合には、ｘ軸方向およびｙ軸方向の移動量で表現する方が便宜となる場合が考えられる。

また、手振れ補正量が比較的小さい場合には、後述するように、画角とイメージセンサの大きさとの関係を利用して、直線的な移動量と移動角とを相互に変換することができる。したがって、以下の説明では、手振れ補正量を直線的な移動量として表現する場合もあるし、移動角として表現する場合もあるが、どちらかに限定することを意図していない。本開示の技術はどちらの表現方法の場合にも適用可能である。

バイアス成分生成器４５は、まず、位置検出センサ４７から出力された補正レンズ５５の位置情報８１に基づいて、補正レンズ５５の現在位置がメカ端の近傍（すなわち、メカ端から閾値距離の範囲内）にあるか否かを判定する。バイアス成分生成器４５は、補正レンズ５５がメカ端に近傍まで移動している場合、メカ端から離れるように補正レンズ５５の可動範囲の概ね中心位置に向かって補正レンズ５５を一定方向に徐々に動かすように、補正レンズ５５の移動方向および制御周期ごとの移動量を表す信号を出力する。補正レンズ５５の移動方向および制御周期ごとの移動量とは、たとえば、ｘ軸方向およびｙ軸方向の制御周期ごとの移動量、もしくはピッチ軸方向およびヨー軸方向の制御周期ごとの移動量である。以下、この場合の移動方向と移動量とを併せてバイアス成分ベクトルと称する。補正レンズ５５の位置調整のための移動量は一定値とあることが好ましい。

一方、補正レンズ５５が初期位置（通常は、メカニカルセンタ）からメカ端の近傍まで移動するまで、もしくは補正レンズ５５が可動範囲の中心付近に戻った後再びメカ端の近傍まで移動するまでは、バイアス成分生成器４５の出力は零である。

なお、本実施の形態では、撮像素子５０から出力された撮像タイミング信号（たとえば、垂直同期信号Ｖｓｙｎｃ）８０に基づいて、バイアス成分生成器４５は、補正レンズ５５の移動開始時刻と移動終了時刻とが露光期間と露光期間との間のフレームブランキング期間になるように調整している。すなわち、ＥＩＳでの補正が容易なように、補正レンズ５５の動き始めと動き終わりとが画像データに影響しないようにしている。詳しくは、図１０で説明する。

加算器４３は、演算器４２から出力された補正レンズ５５の移動方向と移動量（すなわち、補正成分ベクトル）と、バイアス成分生成器４５から出力された補正レンズ５５の移動方向と移動量（すなわち、バイアス成分ベクトル）とを合成することによって、補正レンズ５５の現在位置からの最終的な移動方向と移動量（すなわち、補正レンズ５５の目標位置）とを決定する。加算器４３は、位置検出センサ４７から出力された補正レンズ５５の現在位置からの目標位置までの偏差を表す信号を出力する。

補償器４４は、加算器４３から出力された偏差に基づいてアクチュエータ４６の制御信号を生成する。補償器４４は、たとえば、比例要素（Ｐ）、積分要素（Ｉ）、および微分要素（Ｄ）が並列に接続されたＰＩＤ制御器によって構成される。

（３．メインボードの構成）
電子機器３０Ａのメインボード３２には、複数のプロセッサ、メモリ、専用の制御回路などが実装されている。特に本願のカメラの制御に関係のある構成として、電子機器３０Ａは、イメージシグナルプロセッサ（ＩＳＰ：Image Signal Processor）６１と、ＥＩＳモジュール６２と、符号化処理モジュール６３と、画像表示コントローラ６４とを備える。

これらの構成要素は、ＳｏＣ（System on Chip）として少なくとも１つの専用回路で構成されていてもよいし、一部の機能を専用回路で実現し、残りの機能を汎用的なプロセッサでプログラムを実行することによって実現するように構成されていてもよい。この場合の汎用的なプロセッサは、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit）などを含む。

イメージシグナルプロセッサ６１は、撮像素子５０から出力された生の画像信号８２（ＲＡＷデータとも称する）に対して画像処理（イメージング処理とも称する）を行う。たとえば、イメージシグナルプロセッサ６１は、光学系の補正、欠陥画素の補正、ノイズ除去、および高画質化のために明るさ・色・エッジなどの補正を行う。

ＥＩＳモジュール６２は、隣接するフレーム間で撮影された画像を比較することにより、被写体が同じ画面の中に収まるように手振れによる移動量を計算して補正する。ＥＩＳモジュール６２の動作については図３および図４を参照して後述する。

符号化処理モジュール６３は、ＥＩＳによる補正後の画像を補助記憶装置３４に保存するために、画像信号のデータ形式を変換する。たとえば、動画データの圧縮符号化方式としてＨ．２６４（MPEG-4 Part 10 Advanced Video Coding）が標準的に用いられる。静止画像の圧縮符号化方式としてＪＰＥＧ（Joint Photographic Experts Group）が用いられる。補助記憶装置３４の種類は特に限定されないが、たとえば、メモリカード、ＵＳＢ（Universal Serial Bus）メモリなどが用いられる。

画像表示コントローラ６４は、ＥＩＳモジュール６２による補正後の画像信号を表示装置３３に表示するための集積回路である。画像表示コントローラ６４および表示装置３３は、撮影の構図を確認するためのプレビューのために用いられる。

具体的に、画像表示コントローラ６４は、ＥＩＳモジュール６２による補正後の画像信号を、表示装置３３に応じたＲＧＢ信号などの映像信号に変換する。さらに、画像表示コントローラ６４は、表示装置３３を駆動するためのドライバを含む。表示装置３３の種類は特に限定されないが、たとえば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）などが表示装置３３として用いられる。

［ＥＩＳについて］
以下、本実施の形態で用いられるＥＩＳモジュールの一般的な動作について説明する。

図３は、ＥＩＳモジュールによる手振れ補正処理の手順を示すフローチャートである。図３を参照して、最初のステップＳ９１において、ＥＩＳモジュール６２にはイメージシグナルプロセッサ６１によって画像処理が行われた後の画像信号が入力される。画像信号として現時点の画像の他、１つまたは複数の先読みされた画像（たとえば、１フレーム前の画像）が入力される。

次のステップＳ９２において、ＥＩＳモジュール６２は、複数の時点での画像を比較することによってカメラの動きの方向を検出する。

その次のステップＳ９３において、ＥＩＳモジュール６２は、検出されたカメラの動きに基づいて、画像に生じた歪み、たとえば、ＥＲＳ歪みに起因した輪郭の変形を補正する。

その次のステップＳ９４において、ＥＩＳモジュール６２は、検出されたカメラの移動によって構図が変化しないように、有効画像領域を変更する補正（言い替えると、撮影可能画素領域のうち一部を切り抜く補正）を行う。

本実施形態の場合、手振れによる画像の歪みはＯＩＳによってほぼ完全に補正される。したがって、ＥＩＳでは、撮像中に補正レンズ５５を移動したことによって生じた歪み（主としてローリングシャッター歪み）が補正される。すなわち、上記のカメラの動きの検出は、本実施形態の場合には補正レンズ５５の動きの検出に相当する。

図４は、ＥＩＳによって補正可能な画像歪みの例を示す図である。図４（Ａ）〜（Ｆ）では、歪みの無い場合の被写体の画像の輪郭線１３５（破線）と、歪みが生じた場合の被写体の画像の輪郭線１３６（実線）とが示されている。歪みの無い場合の被写体の輪郭線１３５を長方形とする。図４（Ａ）〜（Ｆ）に示すいずれの歪みも多くのＥＩＳによって補正可能である。

図４（Ａ）では、画像の輪郭が平行に移動または回転する歪みの例が示されている。
図４（Ｂ）では、画像の輪郭が拡大・縮小する歪み（すなわちズーミング）の例が示されている。

図４（Ｃ）および（Ｄ）では、画像の輪郭が水平あるいは垂直方向の台形の形状に歪む例（すなわち、台形歪み）を示す。

図４（Ｅ）および（Ｆ）では、ＣＭＯＳイメージセンサなどで見られる電子式ローリングシャッター（ＥＲＳ：Electrical Rolling Shutter）歪みの例が示されている。この歪みは、ローリングシャッター方式の撮像素子が１ライン（または複数ライン）ずつ順次読み出していくために生じる。図４（Ｅ）に示すように、カメラが被写体に対して相対的に横方向に移動した場合には、被写体の輪郭線は長方形から平行四辺形に変形する。一方、図４（Ｆ）に示すように、カメラが被写体に対して相対的に縦方向に移動した場合には、被写体の輪郭線は縦方向に伸長または収縮する。

本実施形態の場合には、主としてローリングシャッター方式の撮像素子が想定されている。この場合、補正レンズ５５をメカ端近傍から離すための一定方向の移動によって、図４（Ｅ）または（Ｆ）に示すローリングシャッター歪みが生じる。

図５は、ローリングシャッター歪みについて説明するための図である。図５では、画像素子の表面１３０上に被写体の光学像１３１が結像されている様子が示されている。撮像素子は、Ｌｉｎｅ＝１〜６の順番で順次ラインスキャン１３２を実行する。以下の説明では、図１で説明したバイアス成分生成器４５の出力に基づく補正レンズ５５の移動のみ考慮し、手振れ補正は考慮していない。

図５（Ａ）を参照して、補正レンズ５５が移動していない場合には、画像素子の表面１３０上の光学像１３１の位置は一定のままで動かない。したがって、出力画像に歪みは生じない。

図５（Ｂ）を参照して、露光期間中に補正レンズ５５が垂直方向（すなわち、ラインに対して垂直方向、スキャン方向と平行）に移動している場合には、画像素子の表面１３０上の光学像１３１の位置も垂直方向に移動する。したがって、出力画像には垂直方向の歪みが生じる。光学像の輪郭が長方形の場合には、図４（Ｆ）に示したようにその輪郭は垂直方向に伸長または収縮する。

図５（Ｃ）を参照して、露光期間中に補正レンズ５５が水平および垂直方向（すなわち、斜め方向）に移動する場合には、画像素子の表面１３０上の光学像１３１の位置も斜め方向に移動する。したがって、出力画像には斜め方向の歪み（ひし形歪み）が生じる。光学像の輪郭が長方形の場合には、図４（Ｆ）に示したようにその輪郭は平行四辺形に変形する。

［ＯＩＳモジュールの動作］
図６は、図１のＯＩＳモジュールの動作について説明するための図である。以下、図１および図６を参照して、本実施形態の電子機器３０ＡにおけるＯＩＳモジュール４０の動作についてさらに詳しく説明する。

本実施形態におけるＯＩＳモジュール４０では、光学式手振れ補正をメカ端による制限を受けずに継続させることを目的としている。この目的を達成するため、ＯＩＳモジュール４０は、手振れ補正を繰り返した結果として補正レンズ５５がメカ端の近傍（すなわち、メカ端から閾値距離の範囲内）に位置している場合には、補正レンズ５５をメカ端から離れるように一定方向に移動させながら、光学式手振れ補正を実行する。したがって、補正レンズ５５の駆動信号を生成する際には、手振れ補正成分と一定方向のバイアス成分とが合成される。この明細書では、この補正レンズ５５の一定方向の移動量をバイアス成分と称している。

具体的に図６のステップＳ８０において、ＯＩＳモジュール４０は、ジャイロセンサなどの振れ検出センサ４１から手振れ量の情報を取得する。次のステップＳ８１において、ＯＩＳモジュール４０の演算器４２は、取得した手振れ量に基づいて撮像素子５０上での光学像の振れをなくすように補正レンズ５５の座標軸ごとの補正量（すなわち、手振れ補正成分ベクトル）を演算する。

上記と並行してステップＳ８２において、ＯＩＳモジュール４０は、ホールセンサなどの位置検出センサ４７から補正レンズ５５の位置情報を取得する。次のステップＳ１００において、ＯＩＳモジュール４０のバイアス成分生成器４５は、補正レンズ５５の位置情報に基づいてメカ端との間に補正レンズ５５の移動余地が残っているか否かを判定する。閾値以上の移動余地がある場合（余地大）には、次のステップＳ１０１において、バイアス成分生成器４５は出力するバイアス成分を０にクリアする。一方、メカ端との間に補正レンズ５５の移動余地がほとんどない場合（余地小）には、次のステップＳ１０２において、バイアス成分生成器４５は移動方向および移動量（すなわち、バイアス成分ベクトル）を出力する。

ステップＳ８３において、ＯＩＳモジュール４０の加算器４３は、補正レンズ５５の位置のフィードバック制御のために、上記の手振れ補正成分ベクトルとバイアス成分ベクトルとを合成することによって補正レンズ５５の目標位置を決定する。加算器４３は、位置検出センサ４７によって検出された補正レンズ５５の現在位置から目標位置までの偏差を出力する。

次のステップＳ８４において、ＯＩＳモジュール４０の補償器４４は、この偏差に基づいてアクチュエータ４６を駆動するための駆動信号を生成する。

上記のように、補正レンズ５５を一定方向（具体的には、概ねメカニカルセンタ方向）に移動させながら手振れ補正を行えば、手振れによる画像の変形は解消する。しかしながら、補正レンズ５５を一定方向に移動させたことによる影響が残る。具体的に、撮像素子５０によって撮影される画像には、ローリングシャッター歪みなどの歪みが生じるとともに、撮影画像の中心（言い替えると、画角）が変化する。このような画像の変形は、次のステップＳ９０においてＥＩＳモジュール６２によって補正される。

以上をまとめると、ＯＩＳモジュール４０は、補正レンズ５５がメカ端の近傍に位置し、露光期間中にメカ端に達する可能性が高いとき、ＥＩＳによる補正処理を前提として、ＯＩＳによって補正された画像を意図的に歪ませ（画像変形させる）ながら、補正レンズ５５をメカニカルセンタ方向に移動させる。これによって、可動対象である補正レンズ５５の移動可能範囲からの逸脱を回避しつつ、最終的な出力画像の画質も確保することができる。

上記の手法を用いるには、補正レンズ５５の一定方向の移動によって生じた画像の歪みは、ＥＩＳによって補正可能なものでなければならない。このため、撮像素子５０は、ローリングシャッター方式であるのが望ましい。この場合、補正レンズ５５の一定方向（具体的には、メカニカルセンタ方向）への移動によってローリングシャッター歪みが生じ、ローリングシャッター歪みはＥＩＳによって補正することができる。

具体的に、露光期間中に補正レンズ５５を一定方向に一定速度で移動させた場合には、たとえば、図４（Ｅ）および図５（Ｃ）で説明したように、長方形の輪郭を有する被写体の光学像は、平行四辺形に変形する。このような形状の変化であれば、ＥＩＳによって容易に補正することができる。ただし、補正レンズ５５の移動によって画像に生じた歪みがＥＩＳによって補正できるか否かはＥＩＳモジュール６２の補正能力によるので、補正レンズ５５を必ずしも一定速度で移動させる必要はない。また、ＥＩＳによるローリングシャッター歪みの補正能力は、電子シャッター速度などの撮像素子５０の特性にも依存する。

［出力画像の変化について］
以下、補正レンズの位置がメカ端の近傍になっても、補正レンズの位置をメカニカルセンタに戻さない場合と比較しながら、本実施の形態の場合に出力画像がどのように変化するかについて説明する。

図７は、ＯＩＳの基本的な動作を説明するための図である。
図７（Ａ）は、手振れが生じたときのカメラの光軸１０１と被写体２９との関係を示す図である。図７（Ａ）に示すように、手振れによって光学系５１の光軸１０１の方向は、被写体２９に向かう方向１００から＋θの振れ量だけ移動する。この振れ量は、ジャイロセンサの検出値に基づいて求めることができる。

図７（Ｂ）は、図７（Ａ）の状態での補正レンズ５５の中心位置を模式的に示す。図７（Ｂ）を参照して、ＯＩＳ補正を行う前における補正レンズ５５の中心の位置１０６は、補正レンズ５５の中心の移動可能範囲１０５の中央（すなわち、メカニカルセンタ）である。ＯＩＳモジュール４０の演算器４２は、ジャイロセンサによって検出された手振れ量（＋θ）に基づいて補正レンズ５５の中心の目標位置１０７を算出する。

以下、簡単のために補正レンズ５５の中心位置を単に補正レンズ５５の位置と称し、補正レンズ５５の中心の移動可能範囲１０５を単に補正レンズ５５の移動可能範囲１０５と称する。

図７（Ｃ）は、図７（Ａ）に示す振れ量（＋θ）を補正するように、手振れ補正を行った状態を示す。図７（Ｃ）に示すように、ＯＩＳモジュール４０は、アクチュエータ４６を駆動することによって、検出された手振れ量（＋θ）と逆向きに補正レンズ５５を移動させる。これによって、光学式手振れ補正後の光学系５１の光軸１０２は、被写体２９の方向と一致する。

図７（Ｄ）は、図７（Ｃ）の状態での補正レンズ５５の位置を模式的に示す。図７（Ｄ）を参照して、光学式手振れ補正によって、補正レンズ５５の位置１０８は、図（Ｂ）の目標位置１０７まで変化する。すなわち、補正レンズ５５の位置１０８は、最初のメカニカルセンタよりも移動可能範囲１０５の端に近付く。なお、この光学式手振れ補正では、被写体２９が画面の中心になるように補正レンズ５５の位置を調整しているので、撮影の構図は不変である。

図８は、比較例のＯＩＳモジュールによる手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。図８では、移動可能範囲１０５内での補正レンズ５５の位置と、手振れ補正の結果として出力される画像とが示されている。時刻ｔ＝０、ｔ＝１，ｔ＝２，ｔ＝３，ｔ＝４の順に時間が経過する。比較例のＯＩＳモジュールでは、補正レンズ５５の位置がメカ端近傍になっても、補正レンズ５５の位置をメカニカルセンタに戻さないものとする。

時刻ｔ＝０において、補正レンズ５５は、ＯＩＳ補正を行う前の初期状態である。この場合、補正レンズ５５の現在位置１０６は補正レンズ５５の移動可能範囲１０５の中心（すなわち、メカニカルセンタ）にある。

時刻ｔ＝１において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器４２は、手振れ補正のための補正レンズ５５の移動方向および移動量（すなわち、手振れ補正ベクトル１３０）を算出する。この手振れ補正成分ベクトル１３０に基づいて、補正レンズ５５の目標位置１０７が決定される。

その後、補正レンズ５５は、アクチュエータ４６によって駆動されることによって、現在位置１０６から目標位置１０７まで移動する。この結果、撮影された画像１２０に変形は生じない。また、撮影された画像１２０は画面の中心にあり、画面の構図は変更されない。

時刻ｔ＝２において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器４２は、手振れ補正のための補正レンズ５５の移動方向および移動量（すなわち、手振れ補正成分ベクトル１３１）を算出する。この手振れ補正成分ベクトル１３１に基づいて、補正レンズ５５の目標位置１０９が決定される。その後、補正レンズ５５は、アクチュエータ４６によって駆動されることによって、現在位置１０８から目標位置１０９に移動する。

次の時刻ｔ＝３において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器４２は、手振れ補正のための補正レンズ５５の移動方向および移動量（すなわち、手振れ補正成分ベクトル１３２）を算出する。この手振れ補正成分ベクトル１３２に基づいて、補正レンズ５５の目標位置１１１が決定される。

その後、補正レンズ５５は、アクチュエータ４６によって駆動されることによって、現在位置１１０から目標位置１１１に向かって移動しようするが、その途中でメカ端に衝突する。したがって、補正レンズ５５は、時刻ｔ＝４に示すようにメカ端の位置１１２までしか移動できない。この場合、撮影された画像１２１の一部が変形し、この変形はＥＩＳによって補正することができない。

図９は、本実施の形態における手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。図９では、移動可能範囲１０５内のでの補正レンズ５５の位置と、手振れ補正の結果として出力される画像とが示されている。時刻ｔ＝０、ｔ＝１，ｔ＝２，ｔ＝３，ｔ＝４の順に時間が経過する。時刻ｔ＝１と時刻ｔ＝２との間の期間および時刻ｔ＝３と時刻ｔ＝４との間の期間がフレームブランキング期間に相当し、このタイミングで撮像素子５０は垂直同期信号Ｖｓｙｎｃを出力する。

時刻ｔ＝０および時刻ｔ＝１におけるＯＩＳモジュール４０の動作は、図８の場合と同じであるので説明を繰り返さない。

時刻ｔ＝１と時刻ｔ＝２との間のフレームブランキング時刻において、バイアス成分生成器４５は、補正レンズ５５が移動可能範囲１０５から逸脱する可能性が高いと判断し、図中で下向きの方向に一定速度での補正レンズ５５の移動（すなわち、バイアス成分ベクトル１３３方向の移動）を開始する。

時刻ｔ＝２において、ジャイロセンサによる手振れ量の検知結果に基づいて、演算器４２は、手振れ補正のための補正レンズ５５の移動方向および移動量（すなわち、手振れ補正成分ベクトル１３１）を算出する。この手振れ補正成分ベクトル１３１とバイアス成分ベクトル１３３とを合成することによって、現在位置１０８に対する補正レンズ５５の目標位置１１３が決定される。その後、補正レンズ５５は、アクチュエータ４６によって駆動されることによって、現在位置１０８から目標位置１１３に移動する。

次の時刻ｔ＝３において、ジャイロセンサによる手振れ量の検知結果に基づいて、演算器４２は、手振れ補正のための補正レンズ５５の移動方向および移動量（すなわち、手振れ補正成分ベクトル１３２）を算出する。この手振れ補正成分ベクトル１３２とバイアス成分ベクトル１３３とを合成することによって、現在位置１１４に対する補正レンズ５５の目標位置１１５が決定される。バイアス成分ベクトル１３３は時刻ｔ＝２の場合と同じであり、一定方向の一定速度の移動を表している。

その後、補正レンズ５５は、アクチュエータ４６によって駆動されることによって、現在位置１０８から目標位置１１３に移動する。この結果、手振れの影響は補正レンズ５５の手振れ補正成分ベクトル１３１，１３２方向への移動によって除去される。しかしながら、補正レンズ５５のバイアス成分ベクトル１３３方向の移動によって、撮影された画像１２２は、縦方向に縮小するとともに、その画面中での画像１２２の中心位置（すなわち、構図）が変化する。

時刻ｔ＝３と次の時刻ｔ＝４との間のフレームブランキング時刻において、バイアス成分生成器４５は、バイアス成分ベクトル１３３を零にリセットする。

時刻ｔ＝４において、バイアス成分ベクトル１３３方向の補正レンズ５５の移動によって生じた画像の縮小と構図の変化がＥＩＳによって補正される。この結果、ＥＩＳ補正後の画像１２３には変形がなく、画面の構図の変化もない。また、補正レンズ５５の位置１１６はメカ端から離れた、よりメカニカルセンタに近い位置にある。

以上のとおり、第１の実施形態において、補正レンズ５５の位置調整のために補正レンズ５５をメカニカルセンタの方向へ（すなわち、補正余裕が大きくなる方向へ）移動させた場合、それによって撮影構図が変化する。この撮影構図の変化はＯＩＳによって吸収されないが、ＥＩＳによって吸収される。ただし、ＥＩＳにも補正可能範囲が存在し、その補正可能範囲を逸脱する場合、もしくは、パンニングおよびチルティングなどのように撮影者の意図として撮影構図を変化させる場合がある。この場合には、ＥＩＳは撮影構図を変化させることを前提として制御を行う。

ここで、ＥＩＳにおいて撮影構図を変更する場合には、鑑賞者の違和感が少なくなるように構図をゆっくりと変化させるなどの制御を行うことがあり、これをパンチルト制御と称する。ＯＩＳとＥＩＳとの組み合わせシステムにおいてパンチルト制御を行う場合、最初にＯＩＳによる手振れ補正が行われるため、ＥＩＳモジュールが撮影構図の変化を検知するタイミングが遅れる場合があった。

これに対して、本実施の形態の場合には、補正レンズ５５の位置調整による構図の変化をＯＩＳが吸収しないことは問題とならない。むしろ、ＥＩＳモジュールが撮影構図の変化を検知するタイミングが早くなるため、パンチルト制御をより円滑に行うことができる。

［手振れ補正処理のタイミング図］
図１０は、手振れ補正処理の模式的なタイミング図である。図１０では上から順に、垂直同期信号Ｖｓｙｎｃの出力タイミング、ジャイロセンサから出力される手振れ情報の更新タイミング、ホールセンサから出力される補正レンズ５５の位置情報の更新タイミング、ＥＩＳによる画像補正の更新タイミングが示されている。図１０では、さらに、実際の手振れ量、補正レンズの目標位置、補正レンズの位置、ＥＩＳによる画面のオフセット量、撮影タイミング、ＥＩＳの処理手順が順に示されている。

図１および図１０を参照して、フレームブランキング期間内の時刻ｔ１，ｔ５，ｔ９に垂直同期信号Ｖｓｙｎｃが撮像素子５０から出力される。垂直同期信号Ｖｓｙｎｃの出力と同じ周期でＥＩＳによって画面位置（オフセット）が更新される。１秒当たりのフレーム数をたとえば３０ｆｐｓとする。そうすると、垂直同期信号の周波数すなわちＥＩＳによる補正の更新周波数は、たとえば、３０Ｈｚ（垂直同期周期は３３．３ｍｓｅｃ）である。３０ｆｐｓの場合の露光期間はたとえば約２５ｓｅｃであり、フレームブランキング期間は約８ｍｓｅｃである。上記の露光期間とは、最初のラインの露光が開始されてから最後のラインの露光が終了するまでの時間をいう。

ジャイロセンサなどの振れ検出センサ４１の出力信号の更新周波数は、たとえば、１ＫＨｚ（更新周期は、１ｍｓｅｃ）である。ホールセンサなどの位置検出センサ４７の出力信号の更新周波数は、たとえば、２０ＫＨｚ（更新周期は、５０μｓｅｃ）である。この明細書では、ホールセンサの出力の更新周期をホールフィードバック周期と称する。

フレームＡでは、時刻ｔ２から時刻ｔ３において第１ラインの露光が行われる。順次各ラインの露光が行われ、露光後に当該ラインのデータの読の出しが行われる。時刻ｔ４に全ラインのデータ読み出し（すなわち、画像の取り込み１４０）が終了する。時刻ｔ４から時刻ｔ６までがフレームブランキング期間である。

時刻ｔ４において、フレームＡの画像の取り込み１４０が終了すると、先読みしたフレームの画像データと比較することによって被写体の動き１４１を検出し、続いてＥＩＳ補正された画像の描画１４２および表示１４３が実行される。なお、ここで、表示される画像は、フレームＡの１つ前のフレームの画像である。

次のフレームＢでは、時刻ｔ６から時刻ｔ７において第１ラインの露光が行われ、露光後に当該ラインのデータの読の出しが行われる。順次各ラインの露光が行われ、時刻ｔ８に全ラインのデータ読み出し（すなわち、画像の取り込み１４５）が終了する。時刻ｔ８から時刻ｔ１０までがフレームブランキング期間である。

時刻ｔ８において、フレームＢの画像の取り込み１４５が終了すると、先読みしたフレームＡの画像データと比較することによって被写体の動き１４１を検出し、続いてＥＩＳ補正されたフレームＡの画像の描画１４２および表示１４３が実行される。

図１０の場合には、フレームブランキング期間中の時刻ｔ１からフレームブランキング期間中の時刻ｔ５の間で、補正レンズ５５がメカ端に衝突しないように、補正レンズ５５をメカニカルセンタ付近への移動が実行される。なお、手振れ補正性能の改善という目的から、補正レンズの移動に要する時間は、セトリング期間が問題とならない範囲で極力短いほうがいい。したがって、補正レンズの移動期間は、垂直同期信号の周期に等しいか同程度に設定される。また、露光期間中にバイアス成分が変化しないようにすることによりＥＩＳによる補正を容易にするために、手振れ補正成分に対するバイアス成分の生成および解除はフレームブランキング期間の始まりを表す信号（たとえば、垂直同期信号Ｖｓｙｎｃ）に基づいて行われる。

具体例として、ＯＩＳ用の補正レンズの移動範囲は、±１．５度の振れ角に対応するものとし、ＯＩＳ補正レンズの振れ角が＋１．０度以上または−１．０度以下になったとき、メカ端からメカニカルセンタに補正レンズを移動する制御を行うものとする。この場合、垂直同期周期（または露光期間）の間に１度の振れ角に相当する量だけ補正レンズを移動することになる。したがって、１ホールフィードバック周期ごとの移動角は、（全移動角：１．０度）×（ホールフィードバック周期）／（垂直同期周期）となる。言い替えると、ホールセンサの出力信号が更新されるホールフィードバック周期ごとに、バイアス成分に相当する上記の振れ角だけ補正レンズが移動する。

以下、光学系の仕様を仮定した上で、上記の１ホールフィードバック周期ごとの移動角が何ピクセルまたは何ＬＳＢ（Least Significant Bit、ここでは量子化単位として用いられる）に相当するかについて補足する。

光学系の画角を、たとえば７５度とする。この画角は、フィルム（撮像素子）の大きさ３５ｍｍで換算すると焦点距離２８ｍｍに相当する。撮像面での水平画角を６５度、垂直画角４８度を想定する。

撮像素子（ＣＭＯＳイメージセンサ）の画素数を、たとえば、１３Ｍピクセル（４２００×３１００ピクセル）とする。垂直水平画角１度で約６５ピクセル分に相当する。また、ホールセンサの読み出しを１２ビットのＡＤＣ（Analog-to-Digital Converter）で行うものとする。垂直水平画角１度は約１０００ＬＳＢに相当すると仮定する。

そうすると、補正レンズ５５の位置調整のために１ホールフィードバック周期ごとに移動するピクセル数は、（全移動角：１．０度）×６５［ピクセル］×（ホールフィードバック周期）／（垂直同期周期）となる。１ホールフィードバック周期ごとの移動量をＬＳＢで表すと、（全移動角：１．０度）×１０００［ＬＳＢ］×（ホールフィードバック周期）／（垂直同期周期）となる。上記の露光期間に代えて垂直同期信号Ｖｓｙｎｃの周期としてもよい。

［手振れ制御のフローチャート］
以下、これまでの説明を総括して、図１１、図１２のフローチャートを主として参照して、本実施形態のＯＩＳ、ＥＩＳによる手振れ制御手順についてまとめる。図１１および図１２では、図１のバイアス成分生成器４５および加算器４３の動作（すなわち、メカ端歪みを軽減するための制御）が特に詳しく示されている。

図１１は、第１の実施形態の場合の手振れ補正手順を示すフローチャートである。図１１に示す制御手順では、ホールセンサなどの位置検出センサ４７の出力信号が更新されるタイミングで（すなわち、ホールフィードバック周期ごとに）、補正レンズ５５の位置調整のためのバイアス値ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。

図１および図１１を参照して、ステップＳ２０１では、ＯＩＳモジュール４０は、ホールセンサなどの位置検出センサ４７からの出力情報の更新、またはジャイロセンサなどの振れ検出センサ４１からの出力情報の更新を待つ。

位置検出センサ４７からの出力の更新、すなわち、補正レンズ５５の位置情報が更新されたとする（ステップＳ２０２でＴｒｕｅ）。この場合、次のステップＳ２０３において、ＯＩＳモジュール４０は補正レンズの現在位置ｐｘ，ｐｙ［ｄｅｇ］を取得する。ここで、ｚ軸を光軸方向としたとき、ｐｘはｘ軸まわりの回転角であるピッチ角を表し、ｐｙはｙ軸まわりの回転角であるヨー角を表す。補正レンズ５５の移動範囲の中心において、ｐｘ＝０，ｐｙ＝０とする。

その次のステップＳ２０４において、ＯＩＳモジュール４０の加算器４３は、現在の補正レンズ５５の目標位置ｇｘ，ｇｙ［ｄｅｇ］に補正レンズ５５の位置調整分ｄｘ，ｄｙ［ｄｅｇ］を加算することによって新たな目標位置ｇｘ，ｇｙ［ｄｅｇ］を生成する。すなわち、図６のステップＳ８３で説明したバイアス成分の加算が実行される。なお、メカ端近傍からメカニカルセンタ付近に補正レンズ５５の位置を戻すための位置調整制御を行っていない場合には、補正レンズ５５の位置調整分ｄｘ，ｄｙ［ｄｅｇ］は０である。

その次のステップＳ２０５において、ＯＩＳモジュール４０の加算器４３は、現在の補正レンズの目標位置ｇｘ，ｇｙ［ｄｅｇ］から補正レンズ５５の現在位置ｐｘ，ｐｙ［ｄｅｇ］を減算することによって偏差Δｘ、Δｙ［ｄｅｇ］を演算し、得られた偏差を補償器４４に入力する。

一方、ジャイロセンサなどの振れ検出センサ４１からの出力の更新、すなわち、手振れ検出情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０６でＴｒｕｅ）。この場合、次のステップＳ２０７で、演算器４２は検出された手振れ量に応じた補正レンズ５５の補正量を演算することによって、補正レンズ５５の目標位置ｇｘ，ｇｙ［ｄｅｇ］を取得する。

次のステップＳ２０８において、ＯＩＳモジュール４０のバイアス成分生成器４５は、垂直同期信号Ｖｓｙｎｃなどの撮像タイミング信号８０の入力を受けたか否かに基づいて、ブランキング期間における最初の手振れ情報の更新であるか否かを判定する。ブランキング期間における最初の手振れ情報の更新でない場合（ステップＳ２０８でＦａｌｓｅ）、情報更新のイベント入力待ちの状態（ステップＳ２０１）に戻る。

一方、ブランキング期間における最初の手振れ情報の更新である場合（ステップＳ２０８でＴｒｕｅ）、ＯＩＳモジュール４０は、図６のステップＳ１００で説明した補正レンズ５５の移動余地の有無の判定を行い、その後、図６のステップＳ１０１，Ｓ１０２で説明したバイアス成分の生成または解除を行う。

具体的に、ｘ軸回りの回転角であるピッチ角ｐｘが、１．０［ｄｅｇ］以上の場合（ステップＳ２０９でＦａｌｓｅ）、次のステップＳ２１２において、バイアス成分生成器４５は、ｘ軸回りのピッチ角のバイアス値ｄｘ［ｄｅｇ］を設定する。ｄｘ＝（−１．０）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ピッチ角ｐｘを０度付近に戻すように負のバイアス成分ｄｘが設定される。ここで、垂直同期周期とは、垂直同期信号Ｖｓｙｎｃの周期であり、この明細書ではＶｓｙｎｃ周期とも称する。垂直同期周期に代えて露光期間であってもよい。

同様に、ｘ軸回りの回転角であるピッチ角ｐｘが、−１．０［ｄｅｇ］以下の場合（ステップＳ２１０でＦａｌｓｅ）、次のステップＳ２１３において、バイアス成分生成器４５は、ｘ軸回りのピッチ角のバイアス値ｄｘ［ｄｅｇ］を設定する。ｄｘ＝（＋１．０）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ピッチ角ｐｘを０度付近に戻すように正のバイアス成分ｄｘが設定される。

同様にｙ軸回りの回転角であるヨー角ｐｙが、１．０［ｄｅｇ］以上の場合（ステップＳ２１４でＦａｌｓｅ）、次のステップＳ２１７において、バイアス成分生成器４５は、ｙ軸回りのヨー角のバイアス値ｄｙ［ｄｅｇ］を設定する。ｄｙ＝（−１．０）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ヨー角ｄｙを０度付近に戻すように負のバイアス成分ｄｙが設定される。

同様に、ｙ軸回りの回転角であるヨー角ｐｙが、−１．０［ｄｅｇ］以下の場合（ステップＳ２１５でＦａｌｓｅ）、次のステップＳ２１８において、バイアス成分生成器４５は、ｙ軸回りのヨー角のバイアス値ｄｙ［ｄｅｇ］を設定する。ｄｙ＝（＋１．０）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ヨー角ｄｙを０度付近に戻すように正のバイアス成分ｄｙが設定される。

一方、ｘ軸回りの回転角であるピッチ角ｐｘが、１．０［ｄｅｇ］未満であり（ステップＳ２０９でＴｒｕｅ）、かつ、−１．０［ｄｅｇ］より大きい（ステップＳ２１０でＴｒｕｅ）場合、バイアス成分生成器４５は、ｘ軸に関するバイアス値ｄｘを０にクリアする（ステップＳ２１１）。

同様に、ｙ軸回りの回転角であるヨー角ｐｙが、１．０［ｄｅｇ］未満であり（ステップＳ２１４でＴｒｕｅ）、かつ、−１．０［ｄｅｇ］より大きい（ステップＳ２１５でＴｒｕｅ）場合、バイアス成分生成器４５は、ｙ軸に関するバイアス値ｄｙを０にクリアする（ステップＳ２１６）。

以上によって、図６のステップＳ１０１，Ｓ１０２で説明したバイアス成分の生成または解除が終了する。この後、手振れ補正処理はステップＳ２０１に戻る。

図１２は、図１１の手振れ補正手順の変形例を示すフローチャートである。図１２に示す制御手順では、ジャイロセンサなどの振れ検出センサ４１の出力信号が更新されるタイミングで（すなわち、ジャイロセンサの検出周期ごとに）、補正レンズ５５の位置調整のためのバイアス値ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。

具体的に、図１２の制御手順では、図１１のステップＳ２０４は、手振れ情報の更新イベント（ステップＳ２０６でＴｒｕｅ）が生じたときに実行される一連の処理の最後に、すなわち、ステップＳ２１２，Ｓ２１３，Ｓ２１６，Ｓ２１７，Ｓ２１８の後に実行される。図１２のその他の点は図１１の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。

なお、ジャイロセンサの検出周期のほうがホールフィードバック周期よりも長いので（１〜２ＫＨｚ対２０〜５０ＫＨｚ）、ジャイロセンサの検出周期ごとにバイアス値を演算したほうが、演算の頻度を減らすことができる。また、ジャイロセンサの出力信号を演算するためのプロセッサのほうが、有効桁数の大きな演算に適したプロセッサを用いていると想定される。したがって、本質的な違いではないが、図１１の制御手順よりも、図１２の制御手順を用いたほうが望ましい。

［第１の実施形態の効果］
上記のとおり、本実施形態によれば、露光期間中にＯＩＳによる手振れ補正を行いながら、同時に補正レンズの位置調整が行う。そして、補正レンズの位置調整に伴う画像歪みはＥＩＳによって除去される。これによって、補正レンズがメカ端に衝突することを避けて継続的にＯＩＳによる手振れ補正を実行することができる。

従来技術では、フレームブランキング期間のみに補正レンズを調整していたため、補正レンズの移動速度が大きくなり、結果としてスマートフォン向けＯＩＳでは一例として５ｍｓｅｃ程度のセトリング期間が必要となっていた。これは、撮像素子のノイズ低減のために露光期間を極力長く確保したいという要求と相反していた。なお、実際のセトリング期間は、レンズ質量、アクチュエータ特性、補償器設計などの諸条件に依存する。上記の５ｍｓｅｃ程度という数字は、あくまで、スマートフォン向けＯＩＳの場合の一例である。本実施形態によれば、上記のセトリング期間は不要になる。

補正レンズの位置調整のために、手振れ補正成分に一定値のバイアス成分が合成されることになるが、このバイアス成分の加算開始と加算終了はブランキング期間に行われるのが望ましい。これによって、補正レンズの位置調整に起因して、フレーム画像の一部分でなくフレーム画像全体が均一に歪むので、ＥＩＳによる画像歪みの修正が容易になり、高画質の画像を得ることができる。なお、ブランキング期間を検知するために、垂直同期信号などの撮像タイミング信号８０が撮像素子５０からＯＩＳモジュール４０に入力される。

また、１フレームの撮影期間の間だけ、上記のバイアス成分が加算されるのが望ましい。この理由は、上記したＥＩＳによる画像歪みの補正を容易にするという条件の下で、補正レンズの位置調整をできるだけ短期間で終了させるためである。

手振れ補正成分に合成されるバイアス成分は一定値であるのが望ましい。この一定のバイアス値は、補正レンズの中心位置がメカ端から閾値距離の範囲内なった場合に、次の露光期間で、メカニカルセンタに補正レンズの中心位置を戻すように定められる。具体的に、この補正レンズの移動量にホールフィードバック周期を掛けて垂直同期周期（または露光期間）で割った値にバイアス値が設定される。

［第１の実施形態の変形例］
以下、第１の実施形態に関するいくつかの変形例について説明する。

（１）本実施形態の撮像素子５０は、ローリングシャッター方式には限定されず、メカニカルシャッター方式であっても適用可能な場合がある。たとえば、先幕と後幕と呼ばれるシャッター幕が時間差を伴って降りることでスリットを発生させ、スリットが通過している間にを露光させる方式（フォーカルプレーンシャッターの一種）が挙げられる。この場合にも本実施形態の技術が適用可能である。スリットが十分に狭くなるようなシャッター速度で撮影する場合、ローリングシャッター歪みと同様の歪みが発生するからである。その他、撮像素子の特性として、撮影画面上で、時間差を伴って露光が部分的に進む場合、本実施形態の技術が適用できる可能性がある。

（２）バイアス成分生成器４５がバイアス値の出力する期間は、必ずしも、垂直同期信号に同期させる必要はなく、垂直同期周期に一致させる必要はない。画像変形がＥＩＳによって補正できればよいので、露光期間中に一定のバイアス値を出力できれば、その開始および終了タイミングは限定されるものではない。

（３）補正レンズの中心位置がメカ端の近傍にあるか否かは、メカ端からの閾値範囲内にあるか否かによって判定可能である。この場合の閾値は調整可能であり、補正レンズの可動範囲またはカメラのユースケースに応じて変更することができる。

（４）上記の手振れ補正技術は、ローリングシャッター歪みを補正可能なＥＩＳであれば、静止画撮影の場合にも適用することができる。

一般には、静止画撮影においては、１フレームのみの露光なので、露光開始時点（すなわち、シャッタを開く前に）、ＯＩＳもＥＩＳも最適位置（すなわち、補正可能範囲を最も広く確保できるメカニカルセンタ）に位置させておく手段がとり得る。ただし、主にスマートフォンまたはデジタルカメラにおいて、ＬＣＤを用いてプレビューを表示する場合（光学式ファインダを有さない場合）には、プレビュー状態においても手振れ補正が要求される場合が多い。この理由は、カメラを扱い慣れていないユーザでも被写体を狙い易くするためである。プレビュー状態から直ちに静止画撮影に進行する場合には、静止画撮影の直前に補正レンズの位置をメカニカルセンタに戻すことができない。この理由は、プレビューにおいてユーザが決定した撮影構図とは異なった構図で撮影されてしまうためである。

そこで、静止画撮影のための露光開始前のプレビュー状態で手振れ補正を行っている場合に、補正レンズがメカ端付近に位置する場合には、補正レンズの位置調整をＯＩＳ補正と同時に行うことによって、ＯＩＳ補正を継続的に行うようにするのが望ましい。

＜第２の実施形態＞
第２の実施形態の電子機器３０Ｂ，３０Ｃでは、バイアス成分生成器４５から出力されるバイアス値の情報がＥＩＳモジュール側に送信される点に特徴がある。以下、図面を参照して具体的に説明する。

［第１の構成例］
図１３は、第２の実施形態の電子機器の構成の一例を示すブロック図である。図１３では電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。

図１３に示す電子機器３０Ｂでは、ＯＩＳモジュール４０のバイアス成分生成器４５からＥＩＳモジュール６２に、バイアス値の情報８３（すなわち、補正レンズ５５の位置調整に関する情報）が伝送される点で図１の電子機器３０Ａと異なる。図１３の電子機器３０Ｂのその他の点は図１の電子機器３０Ａと同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。

図１４は、図１３のＥＩＳモジュールによる手振れ補正処理の手順を示すフローチャートである。図１４のフローチャートは第１の実施形態の図３に対応するものであり、同一または対応するステップには同一の参照符号が付されている。

図１３および図１４を参照して、バイアス成分生成器４５から出力されたバイアス値の情報８３は、ステップＳ９２において複数の画像データに基づいて補正レンズ５５の移動方向および移動量を検知する際に利用される。これによって、補正レンズ５５の位置調整に起因した画像の歪みをＥＩＳモジュール６２が確実に補正できるようにする。

第１の実施形態で説明したように、たとえば、１３Ｍピクセル（４２００×３１００）のＣＭＯＳイメージセンサの場合、垂直方向および水平方向の各々の画角１度あたり約６５ピクセルに相当する。したがって、画角１度に相当する振れに伴う画像の歪みは決して大きくない。バイアス成分生成器４５から出力されるバイアス値の大きさによっては、ＥＩＳモジュール６２が電子ローリングシャッター歪みの要否を誤って判定する可能性がある。第２の実施形態の電子機器３０Ｂでは、ＥＩＳモジュール６２にバイアス値の情報８３を与えることによって、上記の判定の誤りを排除することができる。

［第２の構成例］
図１５は、第２の実施形態の電子機器の他の構成例を示すブロック図である。図１５においても電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。

図１５に示す電子機器３０Ｃは、ＥＩＳモジュール６２に代えてＧＰＵ（Graphics Processing Unit）またはグラッフィクアクセラレータなどの画像処理用プロセッサ９０が用いられている点で、図１３の電子機器３０Ｂと異なる。

図１５に示す画像処理用プロセッサ９０は、プログラムに基づいたソフトウェア処理によって、図３および図１３のステップＳ９３に対応する変形処理９１とステップＳ９４に対応する切り抜き処理９２とを実行する。

具体的に、画像処理用プロセッサ９０は、変形処理９１において、補正レンズ５５の位置調整のためのバイアス値の情報８３に基づいて、ＥＲＳ歪みなどによって生じる画像の変形を補正する。さらに、画像処理用プロセッサ９０は、切り抜き処理９２において、補正レンズ５５の位置調整によって生じた構図の変化を補正するために、補正レンズ５５の移動量に基づいて有効画像領域を移動する補正（言い替えると、撮影可能画素領域のうち一部を切り抜く補正）を行う。補正レンズ５５の移動量は、第１の実施形態の場合には予め決められた値を用いてもよいし、もしくは、バイアス値にその印加時間を掛けることによって算出することができる。

［効果］
以上のとおり、第２の実施形態によれば、ＯＩＳ補正を継続的に実行するために露光期間に補正レンズ５５の位置調整を行った場合に、位置調整のための補正レンズ５５の移動量に関する情報（たとえば、バイアス値）がＥＩＳモジュール６２に伝達される。これによって、補正レンズ５５の位置調整によって生じた画像の歪みをＥＩＳによって確実に除去することができる。

また、位置調整のための補正レンズ５５の移動量に関する情報が与えられていれば、ＥＩＳモジュール６２に代えてより汎用性のあるＧＰＵなどの画像処理用プロセッサ９０を用いて、補正レンズ５５の位置調整に伴う画像歪みの除去を行うことができる。したがって、ＯＩＳのみを備えたカメラモジュールにおいても本開示の技術を適用することができるようになる。ＧＰＵなどの画像処理用プロセッサ９０は、カメラなどの画像処理装置においては必須の構成要素であるので追加のコストを抑制することができる。

＜第３の実施形態＞
第３の実施形態では、補正レンズの位置を調整する際のバイアス値の決定方法の変更例について説明する。たとえば、ユースケースに応じてバイアス値の決定方法を変更することができる。

図１６は、補正レンズの位置調整のためのバイアス値の決定方法について表形式で示す図である。以下、図１のブロック図と図１６の表に従って説明する。

［１．メカニカルセンタ回帰方式］
メカニカルセンタ回帰方式では、露光期間終了後の補正レンズの位置にかかわらず、次の垂直同期期間で補正レンズがメカニカルセンタまで移動するようにバイアス値を決定する。なお、補正レンズの移動目標をメカニカルセンタとしても、露光期間中に生じた手振れを補正するためにも補正レンズは移動するので、必ずしもメカニカルセンタに戻るとは限らない。したがって、次の露光期間においても、補正レンズの位置調整が必要になる。

この方式によれば、全ての露光期間開始時点において、補正可能範囲が最大となる。このため、比較的大きな手振れが想定される用途、たとえば、歩き撮りおよびスポーツ用などに適している。しかしながら、露光期間ごとのバイアス値は一定でないためその演算処理が必要になる。また、全てのフレームに対して補正レンズの位置調整とそれに伴うＥＩＳモジュールによる歪み補正を行うので、他方式と比較して画質が劣るというディメリットがある。

［２．バイアス値固定方式（補正可能範囲の１／６程度移動）］
露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の１／６程度（補正可能範囲が±１．５度であれば０．５度）だけ、補正レンズをメカニカルセンタ方向に移動させる。

この方式によれば、バイアス値が固定されているため、補正レンズの位置調整に伴う画像変形をＥＩＳによって復元する精度が高まることを期待できる。手振れが小さい場合には補正レンズの位置調整が行われないため高画質が期待できる。また、補正レンズの位置調整を行う場合でもバイアス値が小さいため、比較的高い画質が期待できる。バイアス値は定数のため算出不要であり、したがって、プロセッサの処理量は小さい。以上のメリットを考慮して、本方式は、たとえばポートレートの用途に向いている。

しかしながら、補正レンズの位置調整を行う場合のバイアス値を比較的小さく抑えているので、手振れ量が大きい場合は、補正レンズが補正可能範囲を逸脱する可能性が高い。

［３．バイアス値固定方式（補正可能範囲の１／３程度移動）］
上記の方式２と同じであるが、補正レンズの位置調整を行う場合の補正角が方式２の場合よりも大きい。具体的に、露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の１／３程度（補正可能範囲が±１．５度であれば１．０度）だけ、補正レンズをメカニカルセンタ方向に移動させる。この補正レンズの移動距離は第１の実施形態で説明したものである。

［上記の各方式の比較］
図１７は、補正レンズの移動角度の最大積算値を示す図である。図１７では、補正レンズの移動可能範囲を±１．５度とし、初期状態では補正レンズはメカニカルセンタに位置しているとする。

補正レンズの位置調整を行わない場合（図１７の一点鎖線：対策なし）、補正レンズの移動角度は、フレーム数にかかわらず１．５度が限度になる。

第３の実施形態のメカニカルセンタ回帰方式の場合（図１７の細い実線）、フレームごとに最大１．５度の補正が可能である。したがって、１０フレームでの補正レンズの移動角度の最大積算値は約１５度である。

第１の実施形態で説明したように、差し渡し補正角の１／３程度（補正可能範囲が±１．５度であれば１．０度）だけ、補正レンズをメカニカルセンタ方向に移動させる場合（図１７の太い実線）、各フレームごとに補正レンズの位置調整を行ったとしても、フレームごとの補正角は最大で１．０度である。したがって、１０フレームでの補正レンズの移動角度の最大積算値は約１０度である。

第３の実施形態で説明したように、差し渡し補正角の１／６程度（補正可能範囲が±１．５度であれば０．５度）だけ、補正レンズをメカニカルセンタ方向に移動させる場合（図１７の太い破線）、各フレームごとに補正レンズの位置調整を行ったとしても、フレームごとの補正角は最大で０．５度である。したがって、１０フレームでの補正レンズの移動角度の最大積算値は約５度である。

図１７では、さらに、第４の実施形態におけるバイアス値の決定方式の場合が、細い破線で示されている。これについては後で説明する。

［効果］
上記の第３の実施形態は、第１および第２の実施形態と組み合わせることができ、第１および第２の実施形態と同様の効果を奏する。さらに、第３の実施形態によれば、ユースケースに応じて、手振れ補正性能と画質とを選択できるようになる。手振れ補正性能と画質とはトレードオフの関係にある。

＜第４の実施形態＞
ＯＩＳモジュール４０は、スマートフォンなどの場合、カメラモジュール３１に組み込まれる例が多い。このため、ＯＩＳモジュール４０以外のカメラモジュール３１の構成を変更しない場合、ＯＩＳモジュール４０は、垂直同期信号Ｖｓｙｎｃなどの撮像タイミング信号８０を利用せずに補正レンズ５５の位置調整を実行する必要がある。

そこで、第４の実施形態では、撮像素子５０からＯＩＳモジュール４０のバイアス成分生成器４５への撮像タイミング信号８０（たとえば、垂直同期信号Ｖｓｙｎｃ）の伝達を不要として、撮像タイミングとは非同期に補正レンズ５５の位置調整を行う場合について説明する。

［電子機器の全体構成］
図１８は、第４の実施形態の一例として電子機器３０Ｄの構成を示すブロック図である。図１８のブロック図は第１の実施形態の図１に対応するものである。具体的に図１８の電子機器３０Ｄは、撮像素子５０からＯＩＳモジュール４０のバイアス成分生成器４５に撮像タイミング信号８０が伝達されない点で図１の電子機器３０Ａと異なる。したがって、ＯＩＳモジュール４０のバイアス成分生成器４５の動作が第１の実施形態の場合と異なる。図１８のその他の点は図１の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。

図１９は、第４の実施形態の他の例として電子機器３０Ｅの構成を示すブロック図である。図１９のブロック図は第２の実施形態の図１５に対応するものである。具体的に図１９の電子機器３０Ｅは、撮像素子５０からＯＩＳモジュール４０のバイアス成分生成器４５に撮像タイミング信号８０が伝達されない点で図１５の電子機器３０Ｃと異なる。したがって、ＯＩＳモジュール４０のバイアス成分生成器４５の動作が第３の実施形態の図１５の場合と異なる。図１８のその他の点は図１５の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。

［ＯＩＳモジュールの動作の概要］
図１８および図１９を参照して、補正レンズがメカ端に衝突した場合に大きく画質を損なう主な原因は、高周波（たとえば、３０Ｈｚ以上）の手振れ成分がＯＩＳによって解消されずにＥＩＳ（またはＧＰＵなど）に引き渡され、この高周波の手振れ成分はＥＩＳ（ＧＰＵなど）による補正が困難であるためである。さらに、メカ端による補正レンズの跳ね返りなどによって新たに触れ成分が発生し、これによって画像が歪むためである。したがって、補正レンズのメカ端への衝突はできるだけ回避しなければならない。

また、第１の実施形態において、バイアス成分生成器４５が撮像タイミング信号８０に基づいてブランキング期間内にバイアス成分の出力を開始し、次のブランキング期間内にバイアス成分の出力を停止する理由は、露光期間中にバイアス値が変更しないようにして、ＥＩＳによる画像補正を確実に行うためであった。しかしながら、バイアス値の大きさを制限するとともにバイアス値の印加頻度が多くなければ、撮像タイミング信号８０に同期せずにバイアス値の印加を行ってもある程度の画質を確保することができる。あるいは、必要な画質の程度と、手振れ特性（たとえば、振れの大きさおよび周波数成分など）に応じて補正レンズの位置調整条件を決定することができる。

また、補正レンズの位置調整条件は、ＣＭＯＳイメージセンサおよび光学系の仕様にも依存する。以下、数値例を挙げて具体的に説明する。

光学系の画角を、たとえば７５度とする。この画角は、フィルム（撮像素子）の大きさ３５ｍｍで換算すると焦点距離２８ｍｍに相当する。撮像面での水平画角を６５度、垂直画角４８度を想定する。

撮像素子（ＣＭＯＳイメージセンサ）の画素数を、たとえば、１３Ｍピクセル（４２００×３１００ピクセル）とする。垂直水平画角１度で約６５ピクセル分に相当する。また、ホールセンサの読み出しを１２ビットのＡＤＣ（Analog-to-Digital Converter）で行うものとする。垂直水平画角１度は約１０００ＬＳＢに相当すると仮定する。

１秒当たりのフレーム数をたとえば３０ｆｐｓとする。そうすると、垂直同期周期は３３．３ｍｓｅｃである。また、露光期間を２５ｍｓｅｃとする。

求められる画質として、１フレームで最大１０ピクセル（０．３２％）まで水平および垂直方向の歪みを許容するとする。この値は、補正レンズの位置調整の際の移動時間と画質に関係し、カメラの用途などに応じて選択あるいは調整される。水平および垂直方向の１度が６５ピクセルに相当する場合、この許容歪みを発生されるバイアス値は、１度×１０／６５＝０．１５３［ｄｅｇ］、１０００×１０／６５＝１５３［ＬＳＢ］である。補正レンズを１度移動させるのに要する時間は、約３３．３×６５／１０＝２１６［ｍｓｅｃ］である。

上記のようにして設定したバイアス値を用いて補正レンズの移動を継続する最低限の期間を、バイアス印加期間として設定する。バイアス印加期間は、上記の調整所要時間に基づいて任意に設定可能であるが、シャッター押下までのカメラの保持状態などの振れ量を考慮して、１０〜１５フレーム（３００〜５００ｍｓｅｃ）とする。

露光期間中にバイアス値が変化することによる画像劣化の頻度はそれほど大きくない。具体的に、垂直同期周期と露光期間との比（７５％）から、１０フレーム内の任意の時点で２回バイアス値の変化ポイントが発生するとすれば、この１０フレーム期間において画像が劣化したフレームが出現する確率は１５％となる。したがって、バイアス印加開始時点およびバイアス印加終了時点が露光期間に含まれるフレーム以外（約８５％）は、補正レンズの位置調整に伴う画像の歪み（たとえば、ローリングシャッター歪み）はＥＩＳによって補正可能である。

［ＯＩＳモジュールの動作の詳細］
以下、これまでの説明を総括して、図１８のブロック図および図２０のフローチャートを参照して、本実施形態のＯＩＳ、ＥＩＳによる手振れ制御手順についてまとめる。図２０では、図１８のバイアス成分生成器４５および加算器４３の動作（すなわち、メカ端歪みを軽減するための制御）が特に詳しく示されている。図１９の装置構成の場合も同様である。

図２０は、図１８の場合の手振れ補正手順を示すフローチャートである。図２０を参照して、ＯＩＳモジュール４０には不図示のホールドオフタイマ（hold-off timer）が設けられているとする。

ステップＳ３０１で、バイアス成分生成器４５は、ホールドオフタイマを初期設定する。たとえば、タイマ値は５００ｍｓｅｃに設定される。この場合、タイマのリセット後５００ｍｓｅｃ以上が経過し、かつ、補正レンズがメカ端近傍に位置している場合に、バイアス成分生成器４５は、バイアス値を設定する。

次のステップＳ３０２で、バイアス成分生成器４５は、ｘ軸、ｙ軸に関するバイアス値を０［ｄｅｇ］にクリアする。

ステップＳ３０３では、ＯＩＳモジュール４０は、ホールセンサなどの位置検出センサ４７からの出力情報の更新、またはジャイロセンサなどの振れ検出センサ４１からの出力情報の更新を待つ。

位置検出センサ４７からの出力の更新、すなわち、補正レンズ５５の位置情報が更新されたとする（ステップＳ３０４でＴｒｕｅ）。この場合、次のステップＳ３０５において、ＯＩＳモジュール４０は補正レンズの現在位置ｐｘ，ｐｙ［ｄｅｇ］を取得する。ここで、ｚ軸を光軸方向としたとき、ｐｘはｘ軸まわりの回転角であるピッチ角を表し、ｐｙはｙ軸まわりの回転角であるヨー角を表す。補正レンズ５５の移動範囲の中心において、ｐｘ＝０，ｐｙ＝０とする。

その次のステップＳ３０６において、ＯＩＳモジュール４０の加算器４３は、現在の補正レンズ５５の目標位置ｇｘ，ｇｙ［ｄｅｇ］に補正レンズ５５の位置調整分ｄｘ，ｄｙ［ｄｅｇ］を加算し、さらに、補正レンズ５５の現在位置ｐｘ，ｐｙ［ｄｅｇ］を減算することによって偏差Δｘ、Δｙ［ｄｅｇ］を演算する。加算器４３は、得られた偏差を補償器４４に入力する。これによって、図６のステップＳ８３で説明したバイアス成分の加算が実行される。

上記のステップＳ３０６において、メカ端近傍からメカニカルセンタ付近に補正レンズ５５の位置を戻すための位置調整制御を行っていない場合には、補正レンズ５５の位置調整分ｄｘ，ｄｙ［ｄｅｇ］は０である。

一方、ジャイロセンサなどの振れ検出センサ４１からの出力の更新、すなわち、手振れ検出情報が更新されたとする（ステップＳ３０４でＦａｌｓｅ、ステップＳ３０７でＴｒｕｅ）。この場合、次のステップＳ３０７で、演算器４２は検出された手振れ量に応じた補正レンズ５５の補正量を演算することによって、補正レンズ５５の目標位置ｇｘ，ｇｙ［ｄｅｇ］を取得する。

次のステップＳ３０９で、ホールドオフタイマをリセット後、５００ｍｓｅｃ以上経過したか否かが確認される。５００ｍｓｅｃ経過していない場合には（ステップＳ３０９でＦａｌｓｅ）、以下のステップＳ３１０からＳ３２０は実行されずに、情報更新のイベント入力待ちの状態（ステップＳ３０３）に戻る。

一方、ホールドオフタイマをリセット後、５００ｍｓｅｃ以上経過した場合（ステップＳ３０９でＴｒｕｅ）、ＯＩＳモジュール４０は、図６のステップＳ１００で説明した補正レンズ５５の移動余地の有無の判定を行い、その後、図６のステップＳ１０１，Ｓ１０２で説明したバイアス成分の生成または解除を行う。

具体的に、ｘ軸回りの回転角であるピッチ角ｐｘが、１．０［ｄｅｇ］以上の場合（ステップＳ３１０でＦａｌｓｅ）、次のステップＳ３１３において、バイアス成分生成器４５は、ｘ軸回りのピッチ角のバイアス値ｄｘ［ｄｅｇ］を設定する。ｄｘ＝（−０．１５３）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ピッチ角ｐｘを０度付近に戻すように負のバイアス成分ｄｘが設定される。ここで、垂直同期周期に代えて露光期間であってもよい。

同様に、ｘ軸回りの回転角であるピッチ角ｐｘが、−１．０［ｄｅｇ］以下の場合（ステップＳ３１１でＦａｌｓｅ）、次のステップＳ３１４において、バイアス成分生成器４５は、ｘ軸回りのピッチ角のバイアス値ｄｘ［ｄｅｇ］を設定する。ｄｘ＝（＋０．１５３）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ピッチ角ｐｘを０度付近に戻すように正のバイアス成分ｄｘが設定される。

同様にｙ軸回りの回転角であるヨー角ｐｙが、１．０［ｄｅｇ］以上の場合（ステップＳ３１５でＦａｌｓｅ）、次のステップＳ３１８において、バイアス成分生成器４５は、ｙ軸回りのヨー角のバイアス値ｄｙ［ｄｅｇ］を設定する。ｄｙ＝（−０．１５３）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ヨー角ｄｙを０度付近に戻すように負のバイアス成分ｄｙが設定される。

同様に、ｙ軸回りの回転角であるヨー角ｐｙが、−１．０［ｄｅｇ］以下の場合（ステップＳ３１６でＦａｌｓｅ）、次のステップＳ３１９において、バイアス成分生成器４５は、ｙ軸回りのヨー角のバイアス値ｄｙ［ｄｅｇ］を設定する。ｄｙ＝（＋０．１５３）×（ホールフィードバック周期）／（垂直同期周期）によって求められる。すなわち、ヨー角ｄｙを０度付近に戻すように正のバイアス成分ｄｙが設定される。

上記のバイアス値の設定（ステップＳ３１３，Ｓ３１４，Ｓ３１８，Ｓ３１９のいずれか）が実行された場合には、バイアス成分生成器４５は、ホールドオフタイマをリセットする。すなわち、ホールドオフタイマのタイマ値はクリアされ、新たなカウントアップが開始される。

一方、ｘ軸回りの回転角であるピッチ角ｐｘが、１．０［ｄｅｇ］未満であり（ステップＳ３１０でＴｒｕｅ）、かつ、−１．０［ｄｅｇ］より大きい（ステップＳ３１１でＴｒｕｅ）場合、バイアス成分生成器４５は、ｘ軸に関するバイアス値ｄｘを０にクリアする（ステップＳ３１２）。

同様に、ｙ軸回りの回転角であるヨー角ｐｙが、１．０［ｄｅｇ］未満であり（ステップＳ３１５でＴｒｕｅ）、かつ、−１．０［ｄｅｇ］より大きい（ステップＳ３１６でＴｒｕｅ）場合、バイアス成分生成器４５は、ｙ軸に関するバイアス値ｄｙを０にクリアする（ステップＳ３１７）。

以上によって、図６のステップＳ１０１，Ｓ１０２で説明したバイアス成分の生成または解除が終了する。この後、手振れ補正処理はステップＳ３０３に戻る。

なお、図１２で説明したように、ジャイロセンサなどの振れ検出センサ４１の出力信号が更新されるタイミングで（すなわち、ジャイロセンサの検出周期ごとに）、補正レンズ５５の位置調整のためのバイアス値ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算されるようにしてもよい。

［効果］
本実施形態は、第１〜第３の実施形態と組み合わせることができ、第１〜第３の実施形態と同様の効果を奏することができる。さらに、第４の実施形態によれば、ＯＩＳモジュール４０のソフトウェアを入れ替えるなどの最小限のシステム変更によって、ＯＩＳが継続できるように補正レンズの位置の最適化を行うことができる。図１９のシステム構成の場合には、ＥＩＳモジュール６２が必要でなくなるので、コストを抑えつつＯＩＳ補正性能を向上させることができる。

ただし、本実施形態の場合には、補正レンズの移動に要する時間が長くなるというディメリットがある。言い替えると、図１７の細い破線で示すように、補正レンズの移動量の最大積算値は、他のバイアス値の決定方式の場合に比べて小さくなる。このため、補正レンズがメカ端に達してしまい、その結果として画質を損なう可能性が高くなる。

＜第５の実施形態＞
第５の実施形態では、ハードウェア構成の変更例について説明する。

［第１の構成例］
図２１は、第５の実施形態の第１の構成例による電子機器３０Ｆの構成を示すブロック図である。図２１では、ＯＩＳモジュール４０およびＥＩＳモジュール６２の両方ともカメラモジュール３１に内蔵させた場合の構成が示されている。

図２１の電子機器３０Ｆは、ＥＩＳモジュール６２がメインボード３２上でなく、カメラモジュール３１に内蔵されている点で図１の電子機器３０Ａと異なる。図２１の場合、ＯＩＳモジュール４０、ＥＩＳモジュール６２、および撮像素子５０を併せてＣＩＳモジュール９４と称する。

図２１を参照して、撮像素子５０から出力された生の画像信号（すなわち、ＲＡＷデータ）は、ＥＩＳモジュール６２によって補正される。その補正後の画像信号８２は、ＭＩＰＩ（Mobile Industry Processor Interface Alliance）のＣＳＩ−２（Camera Serial Interface-2）などのカメラインタフェース３５を介してイメージシグナルプロセッサ６１に伝達される。イメージシグナルプロセッサ６１によって画像処理された信号は、符号化処理モジュール６３および画像表示コントローラ６４に伝達される。図２１のその他の構成は図１の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。

図２１の構成によれば、ＥＩＳとＯＩＳとは同じプロセッサで処理することが可能になる。従来、ＥＩＳとＯＩＳと間の通信はＩ２Ｃ（Inter-Integrated Circuit、たとえばＭＩＰＩのＣＳＩ−２のＣＣＩ（Camera Control Interface）もこれに含まれるものとする）などを利用することを想定していたが、同一プロセッサ上のタスク間通信での置き換えることが可能になる。したがって、カメラモジュール３１とメインボード３２との間のＩ２Ｃ通信のオーバヘッドを削減することができる。

また、垂直同期信号などの撮像タイミング信号８０も、同一プロセッサ上で通信されることになるので、システム構成を簡素化することができる。

また、手振れ調整は、スマートフォン用のプログラムとは無関係にカメラモジュール単体で実行することができる。従来、ＥＩＳモジュールをアプリケーションプロセッサと同じチップに組込む場合、ソフトウェアをハードウェアに最適化させるためにソフトウェアの開発工数が大きくなるという課題があった。これに対して、手振れ補正機構一切をカメラモジュールに内蔵することで、スマートフォンシステムの開発工数が削減でき、スマートフォン製品展開が容易になるというメリットがある。

なお、図１のハードウェア構成とするか、図２１のハードウェア構成とするかは、用途、必要な機能および性能、システムコストなどに応じて選択することができる。また、図２１のハードウェア構成を採用する場合には、ＣＩＳモジュール９４のシステムリソース（たとえば、メモリ容量）などに応じて、ＥＩＳの機能を縮小することができる。

［第２の構成例］
図２２は、第５の実施形態の第２の構成例による電子機器３０Ｇの構成を示すブロック図である。図２２では、ＯＩＳモジュール４０およびＥＩＳモジュール６２の両方ともメインボード３２に配置させた構成例が示されている。

具体的に図２２の電子機器３０Ｇでは、振れ検出センサ４１およびＯＩＳモジュール４０がメインボード３２上に配置される点で図１の電子機器３０Ａと異なる。図２２のその他の点は図１と同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。

ＯＩＳモジュールをアプリケーションプロセッサと同一のチップに組み込む場合、各種センサ（たとえば、ジャイロセンサ、磁気センサ、加速度センサ、気圧センサなど）の制御を集約したセンサハブ用のＣＰＵまたはＤＳＰに組み込むことが考えられる。

上記のようにメインボード３２にＯＩＳ処理を実装する背景として、近年のスマートフォン用のＳｏＣ（System on Chip）では、高性能大規模コアと小電量小規模コアとの組合せによる非対称プロセッサの密結合による多コアの例が挙げられる。したがって、ＯＩＳや音楽再生のように高レスポンスを要求されるが演算量が小さい処理も効率良く実装できるようになっている。

図２２の構成によれば、ＥＩＳをＣＩＳモジュール９４で実現する図２１の構成に比べて、ＥＩＳが使用可能となるシステムリソース（メモリ、ＣＰＵ、ＧＰＵなど）に比較的制約がない。したがって、高度なＥＩＳを実現できるというメリットがある。

第１の実施形態の場合のＯＩＳの実装例として、ホールセンサからのフィードバック周期を２０ＫＨｚ〜５０ＫＨｚ、ジャイロセンタの出力データの更新周期を１ＫＨｚ〜１０ＫＨｚ程度と想定していた。さらに、ＯＩＳからＥＩＳへの各情報の伝達は、Ｉ２Ｃなどが想定されていた。このため、データ転送におけるオーバヘッド（たとえば、通信遅延や通信に関わる処理）が大きくなりがちであった。これに対して、図２２の構成によれば、ＯＩＳモジュール４０とＥＩＳモジュール６２とが、メインボード３２の同一のチップ上に実装することができるので、ＯＩＳモジュール４０とＥＩＳモジュール６２との間の通信オーバヘッドの改善が見込める。

また、ＯＩＳモジュール４０およびＥＩＳモジュール６２は、イメージシグナルプロセッサ６１、符号化処理モジュール６３、画像表示コントローラ６４とともに、メインボード３２の共通のチップ上で実現できるので、カメラシステム全体の調整を集約的に行うことができ、カメラシステム開発や調整に便利である。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

２９ 被写体、３０Ａ〜３０Ｇ 電子機器、３１ カメラモジュール、３２ メインボード、３３ 表示装置、３４ 補助記憶装置、３５ カメラインタフェース、４０ ＯＩＳモジュール、４１ 振れ検出センサ、４２ 演算器、４３ 加算器、４４ 補償器、４５ バイアス成分生成器、４６ アクチュエータ、４７ 位置検出センサ、５０ 撮像素子、５１ 光学系、５２，５３，５４ 光学レンズ、５５ 補正レンズ、６１ イメージシグナルプロセッサ、６２ ＥＩＳモジュール、６３ 符号化処理モジュール、６４ 画像表示コントローラ、８０ 撮像タイミング信号、８１ 補正レンズの位置情報、８２ 画像信号、８３ バイアス値の情報、９０ 画像処理用プロセッサ、９４ ＣＩＳモジュール。

Claims (16)

1. カメラモジュールを制御するための半導体装置であって、
   前記カメラモジュールは、光学系および撮像素子のうちの少なくとも一部である可動対象の位置を、移動可能範囲内で移動させることによって手振れの影響を除去する光学式手振れ補正を実行可能であり、
   前記半導体装置は、
   振れ検出センサの検出値に基づいて、前記光学式手振れ補正のために前記可動対象の移動量を決定する第１の演算器と、
   前記移動可能範囲内での前記可動対象の位置を調整するために、前記可動対象の移動量を決定する第２の演算器と、
   前記第１の演算器によって決定された移動量と前記第２の演算器によって決定された移動量とを合成した値に基づいて、前記可動対象を駆動するためのアクチュエータを制御する補償器とを備える、半導体装置。
2. 前記第２の演算器は、前記撮像素子の露光期間内に前記移動可能範囲の中央方向に前記可動対象を移動するように、前記可動対象の移動量を決定する、請求項１に記載の半導体装置。
3. 前記第２の演算器は、前記撮像素子のブランキング期間内に前記可動対象が移動を開始し、次のブランキング期間内に前記可動対象が移動を終了するように、前記可動対象の移動量を変更する、請求項２に記載の半導体装置。
4. 前記第２の演算器は、前記撮像素子からの撮像タイミング信号に基づいて、前記可動対象の移動量を変更する、請求項３に記載の半導体装置。
5. 前記第２の演算器は、前記撮像素子のブランキング期間内に前記可動対象が前記移動可能範囲の端から閾値範囲内に位置するときに前記可動対象が前記移動可能範囲の中央方向に移動するように前記可動対象の移動量を設定し、
   前記第２の演算器は、前記撮像素子のブランキング期間内に前記可動対象が前記移動可能範囲の端から前記閾値範囲内に位置しないとき、前記可動対象の移動量を零に設定する、請求項３に記載の半導体装置。
6. 前記第２の演算器は、各露光期間の間に前記可動対象の位置が前記移動可能範囲の中央に戻るように、露光期間ごとの前記可動対象の移動量を設定する、請求項３に記載の半導体装置。
7. 前記第２の演算器は、前記撮像素子の露光期間中であっても前記可動対象が前記移動可能範囲の端から閾値範囲内に位置するときに、前記可動対象が前記移動可能範囲の中央方向に移動を開始するように、前記可動対象の移動量を変更する、請求項１に記載の半導体装置。
8. 前記可動対象の位置を調整することによって生じた画像の歪みは、電子式手振れ補正モジュールによって除去可能である、請求項１に記載の半導体装置。
9. 前記撮像素子は、ローリングシャッター方式によって撮影を行い、
   前記画像の歪みは、ローリングシャッター歪みである、請求項８に記載の半導体装置。
10. 前記第２の演算器は、決定した移動量に関する情報を前記電子式手振れ補正モジュールに出力する、請求項８に記載の半導体装置。
11. 前記可動対象の位置を調整することによって生じた画像の歪みは、画像処理用プロセッサによって除去可能である、請求項１に記載の半導体装置。
12. 前記第２の演算器は、決定した移動量に関する情報を前記画像処理用プロセッサに出力する、請求項１１に記載の半導体装置。
13. 前記補償器は、前記可動対象の現在位置を検出するための位置検出センサの出力に基づいたフィードバック制御によって、前記アクチュエータを制御する、請求項１に記載の半導体装置。
14. 前記フィードバック制御のための前記可動対象の目標位置は、前記位置検出センサの出力が更新される度に、前記第１の演算器によって決定された前記可動対象の移動量と前記第２の演算器によって決定された前記可動対象の移動量とに基づいて決定される、請求項１３に記載の半導体装置。
15. 前記フィードバック制御のための前記可動対象の目標位置は、前記振れ検出センサの出力が更新される度に、前記第１の演算器によって決定された前記可動対象の移動量と前記第２の演算器によって決定された前記可動対象の移動量とに基づいて決定される、請求項１３に記載の半導体装置。
16. 撮像素子と、
    前記撮像素子に被写体の光学像を結像させるための光学系と、
    手振れを検出するための振れ検出センサと、
    光学式手振れ補正を行うために、前記光学系および前記撮像素子のうちの少なくとも一部である可動対象の位置を、移動可能範囲内で移動させるアクチュエータと、
    前記振れ検出センサの検出値に基づいて、前記光学式手振れ補正のために前記可動対象の移動量を決定する第１の演算器と、
    前記移動可能範囲内での前記可動対象の位置を調整するために、前記可動対象の移動量を決定する第２の演算器と、
    前記第１の演算器によって決定された移動量と前記第２の演算器によって決定された移動量とを合成した値に基づいて、前記アクチュエータを制御する補償器と、
    前記可動対象の位置の調整することによって生じた画像の歪みを除去するための第３の演算器とを備える、電子機器。