JP2019106656A - 半導体装置および電子機器 - Google Patents
半導体装置および電子機器 Download PDFInfo
- Publication number
- JP2019106656A JP2019106656A JP2017239339A JP2017239339A JP2019106656A JP 2019106656 A JP2019106656 A JP 2019106656A JP 2017239339 A JP2017239339 A JP 2017239339A JP 2017239339 A JP2017239339 A JP 2017239339A JP 2019106656 A JP2019106656 A JP 2019106656A
- Authority
- JP
- Japan
- Prior art keywords
- movable object
- correction lens
- image
- correction
- shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2217/00—Details of cameras or camera bodies; Accessories therefor
- G03B2217/005—Blur detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
【課題】補正レンズがメカ端に近傍に位置する場合でも、光学式手振れ補正を継続する。【解決手段】カメラモジュール31の制御に用いられる光学式手振れ補正モジュール40は、露光期間中に光学式手振れ補正を実行しながら、光学式手振れ補正に使用する補正レンズ55等の位置調整を行う。補正レンズ55の位置調整に伴う画像歪みは、たとえば、電子式手振れ補正モジュール62によって補正可能である。【選択図】図1
Description
この開示は、半導体装置および電子機器に関し、たとえば、カメラの手振れ補正機能を制御する半導体装置および手振れ補正機能付きカメラを搭載した電子機器などに用いられるものである。
ビデオカメラおよびデジタルカメラなどにおける手振れ補正方式として、OIS(Optical Image Stabilizer:光学式手振れ補正)とEIS(Electronic Image Stabilizer:電子式手振れ補正)とがある(たとえば、特開2009−152793号公報(特許文献1)を参照)。
OISとは、ジャイロセンサなどの振動センサによって撮像時の手振れ量を検知し、検知した手振れ量に基づいて画像の振れを小さくするように補正レンズまたは撮像素子などの位置を調整するものである。OISは、高周波数域での手振れを精度良く補正することができ、モーションブラーの軽減効果が高いという特徴がある。
EISは、撮影した画像を一旦バッファメモリに読み込み、複数の時点で撮影された画像を比較することにより、手振れによる移動量を計算して補正する方式である。撮影された領域をずらして補正するために、有効画素領域は撮像素子の最大画素領域よりも小さくなる。EISは、台形・ひし形などの画像歪みの補正、光学収差補正、ローリングシャッター歪みの補正、レンズの光軸に対する回転方向の歪みの補正を精度良く行えるという特徴がある。
OISとEISの各々が特徴とする補正効果を同時に得るために、最近のデジタルカメラおよびカメラ付きスマートフォンなどでは、OISとEISとを組み合わせた補正方法が採用されている。
上記のようにOISでは、振動センサで検知した手振れ量に対応する移動方向および移動量に応じて補正レンズなどを移動させることによって手振れが補正される。このため、手振れ補正のために補正レンズの移動を繰り返していくと、やがて補正レンズが移動可能範囲の限界(以下、「メカ端」と称する)に到達してしまう。補正レンズがメカ端に到達すると撮影された画像は修復できないほど大きく歪む(以下、「メカ端歪み」と称する)。この理由は、高周波(たとえば30Hz以上)の手振れ補正がOISによって補正されなくなるためであり、さらに、補正レンズがメカ端で跳ね返ったりすることにより意図しない歪み成分が画像信号中に残るためである。
上記の問題を解決するための方法として、動画撮影などにおいて補正レンズがメカ端に到達する可能性が高い場合には、フレームとフレームの間のブランキング期間に補正レンズの位置を可動範囲の中央に戻すことが考えられる。しかし、このように補正レンズを一度に大きく動かすと、大きなセトリング期間が必要になる。このため、セトリング期間を確保するためにフレームブランキング期間を長くとる必要がある。このことは、撮像素子のノイズ逓減のために露光時間を極力長く確保したいという要求と相反する。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施形態によるカメラモジュールの制御に用いられる半導体装置は、露光期間中に光学式手振れ補正を実行しながら、光学式手振れ補正に使用する補正レンズなどの位置調整を行う。補正レンズの位置調整に伴う画像歪みは、たとえば、電子式手振れ補正によって補正可能である。
上記の実施形態によれば、補正レンズがメカ端に近傍に位置する場合でも、光学式手振れ補正を継続することができる。
以下、各実施形態について図面を参照して詳しく説明する。なお、同一または相当する部分には同一の参照符号を付して、その説明を繰り返さない場合がある。
<第1の実施形態>
図1は、第1の実施形態による電子機器30Aの構成の一例を示すブロック図である。以下では、電子機器30Aとして、カメラモジュール付きのスマートフォンを想定して説明するが、その他のカメラモジュール付きの電子機器30Aにも本開示の技術は適用可能である。たとえば、電子機器30Aには監視カメラシステムも含まれる。
図1は、第1の実施形態による電子機器30Aの構成の一例を示すブロック図である。以下では、電子機器30Aとして、カメラモジュール付きのスマートフォンを想定して説明するが、その他のカメラモジュール付きの電子機器30Aにも本開示の技術は適用可能である。たとえば、電子機器30Aには監視カメラシステムも含まれる。
また、本開示では、OISの方式として補正レンズを動かすレンズシフト方式の手振れ補正を例に挙げて説明するが、本開示の技術はその他の方式のOISにも適用可能である。たとえば、光学系全体を動かすことによって手振れ補正を行ってもよいし、光学系とイメージセンサとを含むユニット全体を動かすことによって手振れ補正を行ってもよい。もしくは、撮像素子を動かすことによって手振れ補正を行うイメージセンサシフト方式の手振れ補正にも本開示の技術を適用することができる。
本開示では、光学式手振れ補正を実現するために移動させる補正レンズ、光学系、および撮像素子などを総称して可動対象と称する。したがって、可動対象とは、光学系および撮像素子のうちの少なくとも一部である。
[電子機器の全体構成]
図1を参照して、電子機器30Aは、カメラに関係する構成として、カメラモジュール31と、メインボード32と、表示装置33と、補助記憶装置34とを備える。
図1を参照して、電子機器30Aは、カメラに関係する構成として、カメラモジュール31と、メインボード32と、表示装置33と、補助記憶装置34とを備える。
(1.カメラモジュールの構成)
カメラモジュール31は、補正レンズ55を含む光学系51と、撮像素子(「イメージセンサ」とも称する)50と、振れ検出センサ41と、アクチュエータ46と、位置検出センサ47と、OISモジュール40とを含む。振れ検出センサ41、アクチュエータ46、位置検出センサ47、およびOISモジュール40は、光学式手振れ補正(OIS)のために用いられる。
カメラモジュール31は、補正レンズ55を含む光学系51と、撮像素子(「イメージセンサ」とも称する)50と、振れ検出センサ41と、アクチュエータ46と、位置検出センサ47と、OISモジュール40とを含む。振れ検出センサ41、アクチュエータ46、位置検出センサ47、およびOISモジュール40は、光学式手振れ補正(OIS)のために用いられる。
図2は、光学系51の構成の一例を模式的に示す図である。光学系51は、光学レンズ52,53,54と、補正レンズ55と、絞り(不図示)とを含む。
被写体からの光線100は光学レンズ52,53,54に入射する。被写体は、光学レンズ52,53,54によって撮像素子50上に結像される。光学レンズ52,53,54は、その光軸101が撮像素子50の中心を通るように配置されている。
撮像素子50は、被写体の光学像を電気信号に変換するデバイスであり、たとえば、CMOSイメージセンサ(Complementary Metal-Oxide- Semiconductor Image Sensor、CISとも称する)である。撮像素子50では、1ラインから数ラインごとに順次露光して画像取り込みを行うローリングシャッター方式が用いられる。
補正レンズ55は、光軸101にほぼ垂直な面内で移動可能なように、もしくは、光軸に対する角度の変更が可能なように構成され、手振れによる被写体の像の振れ(ブレ)を補正する。具体的に、補正レンズ55は、手振れによる光学系51の光軸101の振れの方向と逆方向に、光学系51の振れ量に応じた量だけ移動することによって、撮像素子50上の被写体の光学像の振れを小さくする。
なお、凹状の補正レンズの場合には、手振れによる光学系51の光軸101の振れの方向と同方向に補正レンズが移動することによって、撮像素子50上の被写体の光学像の振れを小さくすることができる。撮像素子50を移動させるセンサシフト方式の場合には、手振れによる光学系51の光軸101の振れの方向と逆方向に撮像素子50をシフトさせることによって、撮像素子50上の被写体の光学像の振れを小さくすることができる。このように補正光学系の構成もしくはEISの方式によって、手振れ方向に対する可動対象の動作方向は異なる。
以下、補正レンズ55が初期位置(可動範囲の中心)にある場合において、光学系51の光軸方向をz軸方向とし、z軸と垂直な面内で撮像素子50の横方向をx軸方向とし、撮像素子50の縦方向をy軸方向とする。x軸の回りの回転をピッチ(pitch)といい、y軸の回りの回転をヨー(yaw)といい、z軸の回りの回転をロール(roll)という。
再び図1を参照して、振れ検出センサ41は、光学系51を含むカメラモジュール31全体の振れの方向と振れ量とを検出する。振れ検出センサ41は、たとえば、ジャイロセンサ(角速度センサとも称する)または加速度センサである。ジャイロセンサは、カメラの光軸を基準にヨー方向およびピッチ方向(必要であれば、ロール方向)の角速度を検出する。加速度センサは、光軸に垂直なx軸方向およびy軸方向(必要であればz軸方向)の加速度を検出する。ジャイロセンサと加速度センサとの両方が設けられていてもよい。
アクチュエータ46は、OISモジュール40からの制御信号に基づいて、光学系51の光軸に垂直な面内で補正レンズ55を移動させる。アクチュエータ46は、たとえば、ボイスコイルモータ(VCM:Voice Coil Motor)、ピエゾ素子、または形状記憶合金(SMA:Shape Memory Alloy)アクチュエータなどである。
位置検出センサ47は、補正レンズ55の位置を検出する。位置検出センサ47は、たとえば、ホールセンサである。ホールセンサは、補正レンズ55のフレームに固定された永久磁石の位置を検出するためのホール素子によって構成される。
OISモジュール40は、振れ検出センサ41によって検出された光学系51の振れの方向および振れ量に基づいて、撮像素子50上での光学像の振れが小さくなるように、アクチュエータ46によって補正レンズ55を駆動する。さらに、OISモジュール40は、補正レンズ55がメカ端に近付いた場合に、補正レンズ55がメカ端から離れるようにアクチュエータ46によって補正レンズ55を一定方向(概ね補正レンズ55の可動範囲の中心(「メカニカルセンタ」と称する)の方向)に駆動する。これらの補正レンズ55の位置制御は、位置検出センサ47によって検出された補正レンズ55の現在位置に基づいたフィードバック制御によって実行される。
ここで、本実施の形態のカメラモジュール31では、上記の振れ検出センサ41の検出値に基づく手振れ補正のための補正レンズ55の移動と、補正レンズ55をメカ端から離すための補正レンズ55の移動とが、露光期間中に同時に行われる点に特徴がある。後者の補正レンズ55の位置調整は、振れ検出センサ41の検出値には基づいていない。メカ端から離れるように一定方向に補正レンズ55を駆動することによって撮像素子50によって撮影された画像には歪みが生じるが、この歪みはその後に実行されるEISによって除去することを想定している。また、メカ端から離すための補正レンズ55の駆動は1フレームの期間をかけてゆっくりと行われるのでセトリング時間の問題は生じない。
(2.OISモジュールの詳細な構成)
より詳細な構成として、OISモジュール40は、演算器42と、バイアス成分生成器45と、加算器43と、補償器44とを含む。なお、本開示では、演算器42を第1の演算器と称し、バイアス成分生成器45を第2の演算器と称し、EISモジュール62(または画像処理用プロセッサ90など)を第3の演算器と称する場合がある。
より詳細な構成として、OISモジュール40は、演算器42と、バイアス成分生成器45と、加算器43と、補償器44とを含む。なお、本開示では、演算器42を第1の演算器と称し、バイアス成分生成器45を第2の演算器と称し、EISモジュール62(または画像処理用プロセッサ90など)を第3の演算器と称する場合がある。
演算器42は、振れ検出センサ41の検出値に基づいて補正レンズ55の現在位置からの移動方向および移動量(具体的には、x軸方向の移動量とy軸方向の移動量など、もしくはピッチ軸方向の移動量とヨー軸方向の移動量など)を算出する。以下の説明では、移動方向と移動量とを併せて手振れ補正成分ベクトルと称する。
上記の算出のために、演算器42は、まず、振れ検出センサ41の出力信号に対して高域通過フィルタ(HPF:High Pass Filter)を適用することによってオフセット成分を除去し、低域通過フィルタ(LPF:Low Pass Filter)を適用することによってノイズ成分を除去する。次に、演算器42は、上記のフィルタ処理後の出力信号に対して積分処理を施すことによって各軸ごとの振れ量を算出する。
具体的に、振れ検出センサ41がジャイロセンサによって構成されている場合には、ジャイロセンサによって検出されたヨー角およびピッチ角の角速度を積分することによって、ヨー角およびピッチ角の振れ量として角度ブレが得られる。振れ検出センサ41が加速度センサによって構成されている場合には、加速度センサによって検出されたx軸方向およびy軸方向の加速度を積分することによってx軸方向およびy軸方向の速度が求まり、さらに速度を積分することによってx軸方向およびy軸方向の振れ量としてシフトブレが得られる。カメラから被写体までの距離に基づいてシフトブレを角度ブレに変換してもよい。
最終的に、演算器42は、上記のようにして算出した各軸ごとの振れ量に係数を掛けることによって、手振れ補正のための補正レンズ55の現在位置からの移動方向および移動量(すなわち、x軸方向およびy軸方向の移動量など、もしくはピッチ軸方向およびヨー軸方向の移動量など)を算出し、算出結果を出力する。
なお、最終的に得られる手振れ補正量を、x軸方向およびy軸方向の移動量として表現するか、ピッチ角およびヨー角として表現するかは、カメラモジュール31に搭載されている光学式手振れ補正機構などに応じて便宜的に決めてよい。たとえば、イメージセンサシフト方式の場合には、手振れ補正量をx軸方向およびy軸方向の移動量として表現するのが望ましい。他の例として、マクロ撮影などの高撮影倍率時にx軸方向およびy軸方向の移動量が支配的になった場合には、x軸方向およびy軸方向の移動量で表現する方が便宜となる場合が考えられる。
また、手振れ補正量が比較的小さい場合には、後述するように、画角とイメージセンサの大きさとの関係を利用して、直線的な移動量と移動角とを相互に変換することができる。したがって、以下の説明では、手振れ補正量を直線的な移動量として表現する場合もあるし、移動角として表現する場合もあるが、どちらかに限定することを意図していない。本開示の技術はどちらの表現方法の場合にも適用可能である。
バイアス成分生成器45は、まず、位置検出センサ47から出力された補正レンズ55の位置情報81に基づいて、補正レンズ55の現在位置がメカ端の近傍(すなわち、メカ端から閾値距離の範囲内)にあるか否かを判定する。バイアス成分生成器45は、補正レンズ55がメカ端に近傍まで移動している場合、メカ端から離れるように補正レンズ55の可動範囲の概ね中心位置に向かって補正レンズ55を一定方向に徐々に動かすように、補正レンズ55の移動方向および制御周期ごとの移動量を表す信号を出力する。補正レンズ55の移動方向および制御周期ごとの移動量とは、たとえば、x軸方向およびy軸方向の制御周期ごとの移動量、もしくはピッチ軸方向およびヨー軸方向の制御周期ごとの移動量である。以下、この場合の移動方向と移動量とを併せてバイアス成分ベクトルと称する。補正レンズ55の位置調整のための移動量は一定値とあることが好ましい。
一方、補正レンズ55が初期位置(通常は、メカニカルセンタ)からメカ端の近傍まで移動するまで、もしくは補正レンズ55が可動範囲の中心付近に戻った後再びメカ端の近傍まで移動するまでは、バイアス成分生成器45の出力は零である。
なお、本実施の形態では、撮像素子50から出力された撮像タイミング信号(たとえば、垂直同期信号Vsync)80に基づいて、バイアス成分生成器45は、補正レンズ55の移動開始時刻と移動終了時刻とが露光期間と露光期間との間のフレームブランキング期間になるように調整している。すなわち、EISでの補正が容易なように、補正レンズ55の動き始めと動き終わりとが画像データに影響しないようにしている。詳しくは、図10で説明する。
加算器43は、演算器42から出力された補正レンズ55の移動方向と移動量(すなわち、補正成分ベクトル)と、バイアス成分生成器45から出力された補正レンズ55の移動方向と移動量(すなわち、バイアス成分ベクトル)とを合成することによって、補正レンズ55の現在位置からの最終的な移動方向と移動量(すなわち、補正レンズ55の目標位置)とを決定する。加算器43は、位置検出センサ47から出力された補正レンズ55の現在位置からの目標位置までの偏差を表す信号を出力する。
補償器44は、加算器43から出力された偏差に基づいてアクチュエータ46の制御信号を生成する。補償器44は、たとえば、比例要素(P)、積分要素(I)、および微分要素(D)が並列に接続されたPID制御器によって構成される。
(3.メインボードの構成)
電子機器30Aのメインボード32には、複数のプロセッサ、メモリ、専用の制御回路などが実装されている。特に本願のカメラの制御に関係のある構成として、電子機器30Aは、イメージシグナルプロセッサ(ISP:Image Signal Processor)61と、EISモジュール62と、符号化処理モジュール63と、画像表示コントローラ64とを備える。
電子機器30Aのメインボード32には、複数のプロセッサ、メモリ、専用の制御回路などが実装されている。特に本願のカメラの制御に関係のある構成として、電子機器30Aは、イメージシグナルプロセッサ(ISP:Image Signal Processor)61と、EISモジュール62と、符号化処理モジュール63と、画像表示コントローラ64とを備える。
これらの構成要素は、SoC(System on Chip)として少なくとも1つの専用回路で構成されていてもよいし、一部の機能を専用回路で実現し、残りの機能を汎用的なプロセッサでプログラムを実行することによって実現するように構成されていてもよい。この場合の汎用的なプロセッサは、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)などを含む。
イメージシグナルプロセッサ61は、撮像素子50から出力された生の画像信号82(RAWデータとも称する)に対して画像処理(イメージング処理とも称する)を行う。たとえば、イメージシグナルプロセッサ61は、光学系の補正、欠陥画素の補正、ノイズ除去、および高画質化のために明るさ・色・エッジなどの補正を行う。
EISモジュール62は、隣接するフレーム間で撮影された画像を比較することにより、被写体が同じ画面の中に収まるように手振れによる移動量を計算して補正する。EISモジュール62の動作については図3および図4を参照して後述する。
符号化処理モジュール63は、EISによる補正後の画像を補助記憶装置34に保存するために、画像信号のデータ形式を変換する。たとえば、動画データの圧縮符号化方式としてH.264(MPEG-4 Part 10 Advanced Video Coding)が標準的に用いられる。静止画像の圧縮符号化方式としてJPEG(Joint Photographic Experts Group)が用いられる。補助記憶装置34の種類は特に限定されないが、たとえば、メモリカード、USB(Universal Serial Bus)メモリなどが用いられる。
画像表示コントローラ64は、EISモジュール62による補正後の画像信号を表示装置33に表示するための集積回路である。画像表示コントローラ64および表示装置33は、撮影の構図を確認するためのプレビューのために用いられる。
具体的に、画像表示コントローラ64は、EISモジュール62による補正後の画像信号を、表示装置33に応じたRGB信号などの映像信号に変換する。さらに、画像表示コントローラ64は、表示装置33を駆動するためのドライバを含む。表示装置33の種類は特に限定されないが、たとえば、LCD(Liquid Crystal Display)、有機ELディスプレイ(Organic Electro-Luminescence Display)などが表示装置33として用いられる。
[EISについて]
以下、本実施の形態で用いられるEISモジュールの一般的な動作について説明する。
以下、本実施の形態で用いられるEISモジュールの一般的な動作について説明する。
図3は、EISモジュールによる手振れ補正処理の手順を示すフローチャートである。図3を参照して、最初のステップS91において、EISモジュール62にはイメージシグナルプロセッサ61によって画像処理が行われた後の画像信号が入力される。画像信号として現時点の画像の他、1つまたは複数の先読みされた画像(たとえば、1フレーム前の画像)が入力される。
次のステップS92において、EISモジュール62は、複数の時点での画像を比較することによってカメラの動きの方向を検出する。
その次のステップS93において、EISモジュール62は、検出されたカメラの動きに基づいて、画像に生じた歪み、たとえば、ERS歪みに起因した輪郭の変形を補正する。
その次のステップS94において、EISモジュール62は、検出されたカメラの移動によって構図が変化しないように、有効画像領域を変更する補正(言い替えると、撮影可能画素領域のうち一部を切り抜く補正)を行う。
本実施形態の場合、手振れによる画像の歪みはOISによってほぼ完全に補正される。したがって、EISでは、撮像中に補正レンズ55を移動したことによって生じた歪み(主としてローリングシャッター歪み)が補正される。すなわち、上記のカメラの動きの検出は、本実施形態の場合には補正レンズ55の動きの検出に相当する。
図4は、EISによって補正可能な画像歪みの例を示す図である。図4(A)〜(F)では、歪みの無い場合の被写体の画像の輪郭線135(破線)と、歪みが生じた場合の被写体の画像の輪郭線136(実線)とが示されている。歪みの無い場合の被写体の輪郭線135を長方形とする。図4(A)〜(F)に示すいずれの歪みも多くのEISによって補正可能である。
図4(A)では、画像の輪郭が平行に移動または回転する歪みの例が示されている。
図4(B)では、画像の輪郭が拡大・縮小する歪み(すなわちズーミング)の例が示されている。
図4(B)では、画像の輪郭が拡大・縮小する歪み(すなわちズーミング)の例が示されている。
図4(C)および(D)では、画像の輪郭が水平あるいは垂直方向の台形の形状に歪む例(すなわち、台形歪み)を示す。
図4(E)および(F)では、CMOSイメージセンサなどで見られる電子式ローリングシャッター(ERS:Electrical Rolling Shutter)歪みの例が示されている。この歪みは、ローリングシャッター方式の撮像素子が1ライン(または複数ライン)ずつ順次読み出していくために生じる。図4(E)に示すように、カメラが被写体に対して相対的に横方向に移動した場合には、被写体の輪郭線は長方形から平行四辺形に変形する。一方、図4(F)に示すように、カメラが被写体に対して相対的に縦方向に移動した場合には、被写体の輪郭線は縦方向に伸長または収縮する。
本実施形態の場合には、主としてローリングシャッター方式の撮像素子が想定されている。この場合、補正レンズ55をメカ端近傍から離すための一定方向の移動によって、図4(E)または(F)に示すローリングシャッター歪みが生じる。
図5は、ローリングシャッター歪みについて説明するための図である。図5では、画像素子の表面130上に被写体の光学像131が結像されている様子が示されている。撮像素子は、Line=1〜6の順番で順次ラインスキャン132を実行する。以下の説明では、図1で説明したバイアス成分生成器45の出力に基づく補正レンズ55の移動のみ考慮し、手振れ補正は考慮していない。
図5(A)を参照して、補正レンズ55が移動していない場合には、画像素子の表面130上の光学像131の位置は一定のままで動かない。したがって、出力画像に歪みは生じない。
図5(B)を参照して、露光期間中に補正レンズ55が垂直方向(すなわち、ラインに対して垂直方向、スキャン方向と平行)に移動している場合には、画像素子の表面130上の光学像131の位置も垂直方向に移動する。したがって、出力画像には垂直方向の歪みが生じる。光学像の輪郭が長方形の場合には、図4(F)に示したようにその輪郭は垂直方向に伸長または収縮する。
図5(C)を参照して、露光期間中に補正レンズ55が水平および垂直方向(すなわち、斜め方向)に移動する場合には、画像素子の表面130上の光学像131の位置も斜め方向に移動する。したがって、出力画像には斜め方向の歪み(ひし形歪み)が生じる。光学像の輪郭が長方形の場合には、図4(F)に示したようにその輪郭は平行四辺形に変形する。
[OISモジュールの動作]
図6は、図1のOISモジュールの動作について説明するための図である。以下、図1および図6を参照して、本実施形態の電子機器30AにおけるOISモジュール40の動作についてさらに詳しく説明する。
図6は、図1のOISモジュールの動作について説明するための図である。以下、図1および図6を参照して、本実施形態の電子機器30AにおけるOISモジュール40の動作についてさらに詳しく説明する。
本実施形態におけるOISモジュール40では、光学式手振れ補正をメカ端による制限を受けずに継続させることを目的としている。この目的を達成するため、OISモジュール40は、手振れ補正を繰り返した結果として補正レンズ55がメカ端の近傍(すなわち、メカ端から閾値距離の範囲内)に位置している場合には、補正レンズ55をメカ端から離れるように一定方向に移動させながら、光学式手振れ補正を実行する。したがって、補正レンズ55の駆動信号を生成する際には、手振れ補正成分と一定方向のバイアス成分とが合成される。この明細書では、この補正レンズ55の一定方向の移動量をバイアス成分と称している。
具体的に図6のステップS80において、OISモジュール40は、ジャイロセンサなどの振れ検出センサ41から手振れ量の情報を取得する。次のステップS81において、OISモジュール40の演算器42は、取得した手振れ量に基づいて撮像素子50上での光学像の振れをなくすように補正レンズ55の座標軸ごとの補正量(すなわち、手振れ補正成分ベクトル)を演算する。
上記と並行してステップS82において、OISモジュール40は、ホールセンサなどの位置検出センサ47から補正レンズ55の位置情報を取得する。次のステップS100において、OISモジュール40のバイアス成分生成器45は、補正レンズ55の位置情報に基づいてメカ端との間に補正レンズ55の移動余地が残っているか否かを判定する。閾値以上の移動余地がある場合(余地大)には、次のステップS101において、バイアス成分生成器45は出力するバイアス成分を0にクリアする。一方、メカ端との間に補正レンズ55の移動余地がほとんどない場合(余地小)には、次のステップS102において、バイアス成分生成器45は移動方向および移動量(すなわち、バイアス成分ベクトル)を出力する。
ステップS83において、OISモジュール40の加算器43は、補正レンズ55の位置のフィードバック制御のために、上記の手振れ補正成分ベクトルとバイアス成分ベクトルとを合成することによって補正レンズ55の目標位置を決定する。加算器43は、位置検出センサ47によって検出された補正レンズ55の現在位置から目標位置までの偏差を出力する。
次のステップS84において、OISモジュール40の補償器44は、この偏差に基づいてアクチュエータ46を駆動するための駆動信号を生成する。
上記のように、補正レンズ55を一定方向(具体的には、概ねメカニカルセンタ方向)に移動させながら手振れ補正を行えば、手振れによる画像の変形は解消する。しかしながら、補正レンズ55を一定方向に移動させたことによる影響が残る。具体的に、撮像素子50によって撮影される画像には、ローリングシャッター歪みなどの歪みが生じるとともに、撮影画像の中心(言い替えると、画角)が変化する。このような画像の変形は、次のステップS90においてEISモジュール62によって補正される。
以上をまとめると、OISモジュール40は、補正レンズ55がメカ端の近傍に位置し、露光期間中にメカ端に達する可能性が高いとき、EISによる補正処理を前提として、OISによって補正された画像を意図的に歪ませ(画像変形させる)ながら、補正レンズ55をメカニカルセンタ方向に移動させる。これによって、可動対象である補正レンズ55の移動可能範囲からの逸脱を回避しつつ、最終的な出力画像の画質も確保することができる。
上記の手法を用いるには、補正レンズ55の一定方向の移動によって生じた画像の歪みは、EISによって補正可能なものでなければならない。このため、撮像素子50は、ローリングシャッター方式であるのが望ましい。この場合、補正レンズ55の一定方向(具体的には、メカニカルセンタ方向)への移動によってローリングシャッター歪みが生じ、ローリングシャッター歪みはEISによって補正することができる。
具体的に、露光期間中に補正レンズ55を一定方向に一定速度で移動させた場合には、たとえば、図4(E)および図5(C)で説明したように、長方形の輪郭を有する被写体の光学像は、平行四辺形に変形する。このような形状の変化であれば、EISによって容易に補正することができる。ただし、補正レンズ55の移動によって画像に生じた歪みがEISによって補正できるか否かはEISモジュール62の補正能力によるので、補正レンズ55を必ずしも一定速度で移動させる必要はない。また、EISによるローリングシャッター歪みの補正能力は、電子シャッター速度などの撮像素子50の特性にも依存する。
[出力画像の変化について]
以下、補正レンズの位置がメカ端の近傍になっても、補正レンズの位置をメカニカルセンタに戻さない場合と比較しながら、本実施の形態の場合に出力画像がどのように変化するかについて説明する。
以下、補正レンズの位置がメカ端の近傍になっても、補正レンズの位置をメカニカルセンタに戻さない場合と比較しながら、本実施の形態の場合に出力画像がどのように変化するかについて説明する。
図7は、OISの基本的な動作を説明するための図である。
図7(A)は、手振れが生じたときのカメラの光軸101と被写体29との関係を示す図である。図7(A)に示すように、手振れによって光学系51の光軸101の方向は、被写体29に向かう方向100から+θの振れ量だけ移動する。この振れ量は、ジャイロセンサの検出値に基づいて求めることができる。
図7(A)は、手振れが生じたときのカメラの光軸101と被写体29との関係を示す図である。図7(A)に示すように、手振れによって光学系51の光軸101の方向は、被写体29に向かう方向100から+θの振れ量だけ移動する。この振れ量は、ジャイロセンサの検出値に基づいて求めることができる。
図7(B)は、図7(A)の状態での補正レンズ55の中心位置を模式的に示す。図7(B)を参照して、OIS補正を行う前における補正レンズ55の中心の位置106は、補正レンズ55の中心の移動可能範囲105の中央(すなわち、メカニカルセンタ)である。OISモジュール40の演算器42は、ジャイロセンサによって検出された手振れ量(+θ)に基づいて補正レンズ55の中心の目標位置107を算出する。
以下、簡単のために補正レンズ55の中心位置を単に補正レンズ55の位置と称し、補正レンズ55の中心の移動可能範囲105を単に補正レンズ55の移動可能範囲105と称する。
図7(C)は、図7(A)に示す振れ量(+θ)を補正するように、手振れ補正を行った状態を示す。図7(C)に示すように、OISモジュール40は、アクチュエータ46を駆動することによって、検出された手振れ量(+θ)と逆向きに補正レンズ55を移動させる。これによって、光学式手振れ補正後の光学系51の光軸102は、被写体29の方向と一致する。
図7(D)は、図7(C)の状態での補正レンズ55の位置を模式的に示す。図7(D)を参照して、光学式手振れ補正によって、補正レンズ55の位置108は、図(B)の目標位置107まで変化する。すなわち、補正レンズ55の位置108は、最初のメカニカルセンタよりも移動可能範囲105の端に近付く。なお、この光学式手振れ補正では、被写体29が画面の中心になるように補正レンズ55の位置を調整しているので、撮影の構図は不変である。
図8は、比較例のOISモジュールによる手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。図8では、移動可能範囲105内での補正レンズ55の位置と、手振れ補正の結果として出力される画像とが示されている。時刻t=0、t=1,t=2,t=3,t=4の順に時間が経過する。比較例のOISモジュールでは、補正レンズ55の位置がメカ端近傍になっても、補正レンズ55の位置をメカニカルセンタに戻さないものとする。
時刻t=0において、補正レンズ55は、OIS補正を行う前の初期状態である。この場合、補正レンズ55の現在位置106は補正レンズ55の移動可能範囲105の中心(すなわち、メカニカルセンタ)にある。
時刻t=1において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器42は、手振れ補正のための補正レンズ55の移動方向および移動量(すなわち、手振れ補正ベクトル130)を算出する。この手振れ補正成分ベクトル130に基づいて、補正レンズ55の目標位置107が決定される。
その後、補正レンズ55は、アクチュエータ46によって駆動されることによって、現在位置106から目標位置107まで移動する。この結果、撮影された画像120に変形は生じない。また、撮影された画像120は画面の中心にあり、画面の構図は変更されない。
時刻t=2において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器42は、手振れ補正のための補正レンズ55の移動方向および移動量(すなわち、手振れ補正成分ベクトル131)を算出する。この手振れ補正成分ベクトル131に基づいて、補正レンズ55の目標位置109が決定される。その後、補正レンズ55は、アクチュエータ46によって駆動されることによって、現在位置108から目標位置109に移動する。
次の時刻t=3において、ジャイロセンサによる手振れ量の検出結果に基づいて、演算器42は、手振れ補正のための補正レンズ55の移動方向および移動量(すなわち、手振れ補正成分ベクトル132)を算出する。この手振れ補正成分ベクトル132に基づいて、補正レンズ55の目標位置111が決定される。
その後、補正レンズ55は、アクチュエータ46によって駆動されることによって、現在位置110から目標位置111に向かって移動しようするが、その途中でメカ端に衝突する。したがって、補正レンズ55は、時刻t=4に示すようにメカ端の位置112までしか移動できない。この場合、撮影された画像121の一部が変形し、この変形はEISによって補正することができない。
図9は、本実施の形態における手振れ補正時の補正レンズの位置および画像の変化を模式的に示す図である。図9では、移動可能範囲105内のでの補正レンズ55の位置と、手振れ補正の結果として出力される画像とが示されている。時刻t=0、t=1,t=2,t=3,t=4の順に時間が経過する。時刻t=1と時刻t=2との間の期間および時刻t=3と時刻t=4との間の期間がフレームブランキング期間に相当し、このタイミングで撮像素子50は垂直同期信号Vsyncを出力する。
時刻t=0および時刻t=1におけるOISモジュール40の動作は、図8の場合と同じであるので説明を繰り返さない。
時刻t=1と時刻t=2との間のフレームブランキング時刻において、バイアス成分生成器45は、補正レンズ55が移動可能範囲105から逸脱する可能性が高いと判断し、図中で下向きの方向に一定速度での補正レンズ55の移動(すなわち、バイアス成分ベクトル133方向の移動)を開始する。
時刻t=2において、ジャイロセンサによる手振れ量の検知結果に基づいて、演算器42は、手振れ補正のための補正レンズ55の移動方向および移動量(すなわち、手振れ補正成分ベクトル131)を算出する。この手振れ補正成分ベクトル131とバイアス成分ベクトル133とを合成することによって、現在位置108に対する補正レンズ55の目標位置113が決定される。その後、補正レンズ55は、アクチュエータ46によって駆動されることによって、現在位置108から目標位置113に移動する。
次の時刻t=3において、ジャイロセンサによる手振れ量の検知結果に基づいて、演算器42は、手振れ補正のための補正レンズ55の移動方向および移動量(すなわち、手振れ補正成分ベクトル132)を算出する。この手振れ補正成分ベクトル132とバイアス成分ベクトル133とを合成することによって、現在位置114に対する補正レンズ55の目標位置115が決定される。バイアス成分ベクトル133は時刻t=2の場合と同じであり、一定方向の一定速度の移動を表している。
その後、補正レンズ55は、アクチュエータ46によって駆動されることによって、現在位置108から目標位置113に移動する。この結果、手振れの影響は補正レンズ55の手振れ補正成分ベクトル131,132方向への移動によって除去される。しかしながら、補正レンズ55のバイアス成分ベクトル133方向の移動によって、撮影された画像122は、縦方向に縮小するとともに、その画面中での画像122の中心位置(すなわち、構図)が変化する。
時刻t=3と次の時刻t=4との間のフレームブランキング時刻において、バイアス成分生成器45は、バイアス成分ベクトル133を零にリセットする。
時刻t=4において、バイアス成分ベクトル133方向の補正レンズ55の移動によって生じた画像の縮小と構図の変化がEISによって補正される。この結果、EIS補正後の画像123には変形がなく、画面の構図の変化もない。また、補正レンズ55の位置116はメカ端から離れた、よりメカニカルセンタに近い位置にある。
以上のとおり、第1の実施形態において、補正レンズ55の位置調整のために補正レンズ55をメカニカルセンタの方向へ(すなわち、補正余裕が大きくなる方向へ)移動させた場合、それによって撮影構図が変化する。この撮影構図の変化はOISによって吸収されないが、EISによって吸収される。ただし、EISにも補正可能範囲が存在し、その補正可能範囲を逸脱する場合、もしくは、パンニングおよびチルティングなどのように撮影者の意図として撮影構図を変化させる場合がある。この場合には、EISは撮影構図を変化させることを前提として制御を行う。
ここで、EISにおいて撮影構図を変更する場合には、鑑賞者の違和感が少なくなるように構図をゆっくりと変化させるなどの制御を行うことがあり、これをパンチルト制御と称する。OISとEISとの組み合わせシステムにおいてパンチルト制御を行う場合、最初にOISによる手振れ補正が行われるため、EISモジュールが撮影構図の変化を検知するタイミングが遅れる場合があった。
これに対して、本実施の形態の場合には、補正レンズ55の位置調整による構図の変化をOISが吸収しないことは問題とならない。むしろ、EISモジュールが撮影構図の変化を検知するタイミングが早くなるため、パンチルト制御をより円滑に行うことができる。
[手振れ補正処理のタイミング図]
図10は、手振れ補正処理の模式的なタイミング図である。図10では上から順に、垂直同期信号Vsyncの出力タイミング、ジャイロセンサから出力される手振れ情報の更新タイミング、ホールセンサから出力される補正レンズ55の位置情報の更新タイミング、EISによる画像補正の更新タイミングが示されている。図10では、さらに、実際の手振れ量、補正レンズの目標位置、補正レンズの位置、EISによる画面のオフセット量、撮影タイミング、EISの処理手順が順に示されている。
図10は、手振れ補正処理の模式的なタイミング図である。図10では上から順に、垂直同期信号Vsyncの出力タイミング、ジャイロセンサから出力される手振れ情報の更新タイミング、ホールセンサから出力される補正レンズ55の位置情報の更新タイミング、EISによる画像補正の更新タイミングが示されている。図10では、さらに、実際の手振れ量、補正レンズの目標位置、補正レンズの位置、EISによる画面のオフセット量、撮影タイミング、EISの処理手順が順に示されている。
図1および図10を参照して、フレームブランキング期間内の時刻t1,t5,t9に垂直同期信号Vsyncが撮像素子50から出力される。垂直同期信号Vsyncの出力と同じ周期でEISによって画面位置(オフセット)が更新される。1秒当たりのフレーム数をたとえば30fpsとする。そうすると、垂直同期信号の周波数すなわちEISによる補正の更新周波数は、たとえば、30Hz(垂直同期周期は33.3msec)である。30fpsの場合の露光期間はたとえば約25secであり、フレームブランキング期間は約8msecである。上記の露光期間とは、最初のラインの露光が開始されてから最後のラインの露光が終了するまでの時間をいう。
ジャイロセンサなどの振れ検出センサ41の出力信号の更新周波数は、たとえば、1KHz(更新周期は、1msec)である。ホールセンサなどの位置検出センサ47の出力信号の更新周波数は、たとえば、20KHz(更新周期は、50μsec)である。この明細書では、ホールセンサの出力の更新周期をホールフィードバック周期と称する。
フレームAでは、時刻t2から時刻t3において第1ラインの露光が行われる。順次各ラインの露光が行われ、露光後に当該ラインのデータの読の出しが行われる。時刻t4に全ラインのデータ読み出し(すなわち、画像の取り込み140)が終了する。時刻t4から時刻t6までがフレームブランキング期間である。
時刻t4において、フレームAの画像の取り込み140が終了すると、先読みしたフレームの画像データと比較することによって被写体の動き141を検出し、続いてEIS補正された画像の描画142および表示143が実行される。なお、ここで、表示される画像は、フレームAの1つ前のフレームの画像である。
次のフレームBでは、時刻t6から時刻t7において第1ラインの露光が行われ、露光後に当該ラインのデータの読の出しが行われる。順次各ラインの露光が行われ、時刻t8に全ラインのデータ読み出し(すなわち、画像の取り込み145)が終了する。時刻t8から時刻t10までがフレームブランキング期間である。
時刻t8において、フレームBの画像の取り込み145が終了すると、先読みしたフレームAの画像データと比較することによって被写体の動き141を検出し、続いてEIS補正されたフレームAの画像の描画142および表示143が実行される。
図10の場合には、フレームブランキング期間中の時刻t1からフレームブランキング期間中の時刻t5の間で、補正レンズ55がメカ端に衝突しないように、補正レンズ55をメカニカルセンタ付近への移動が実行される。なお、手振れ補正性能の改善という目的から、補正レンズの移動に要する時間は、セトリング期間が問題とならない範囲で極力短いほうがいい。したがって、補正レンズの移動期間は、垂直同期信号の周期に等しいか同程度に設定される。また、露光期間中にバイアス成分が変化しないようにすることによりEISによる補正を容易にするために、手振れ補正成分に対するバイアス成分の生成および解除はフレームブランキング期間の始まりを表す信号(たとえば、垂直同期信号Vsync)に基づいて行われる。
具体例として、OIS用の補正レンズの移動範囲は、±1.5度の振れ角に対応するものとし、OIS補正レンズの振れ角が+1.0度以上または−1.0度以下になったとき、メカ端からメカニカルセンタに補正レンズを移動する制御を行うものとする。この場合、垂直同期周期(または露光期間)の間に1度の振れ角に相当する量だけ補正レンズを移動することになる。したがって、1ホールフィードバック周期ごとの移動角は、(全移動角:1.0度)×(ホールフィードバック周期)/(垂直同期周期)となる。言い替えると、ホールセンサの出力信号が更新されるホールフィードバック周期ごとに、バイアス成分に相当する上記の振れ角だけ補正レンズが移動する。
以下、光学系の仕様を仮定した上で、上記の1ホールフィードバック周期ごとの移動角が何ピクセルまたは何LSB(Least Significant Bit、ここでは量子化単位として用いられる)に相当するかについて補足する。
光学系の画角を、たとえば75度とする。この画角は、フィルム(撮像素子)の大きさ35mmで換算すると焦点距離28mmに相当する。撮像面での水平画角を65度、垂直画角48度を想定する。
撮像素子(CMOSイメージセンサ)の画素数を、たとえば、13Mピクセル(4200×3100ピクセル)とする。垂直水平画角1度で約65ピクセル分に相当する。また、ホールセンサの読み出しを12ビットのADC(Analog-to-Digital Converter)で行うものとする。垂直水平画角1度は約1000LSBに相当すると仮定する。
そうすると、補正レンズ55の位置調整のために1ホールフィードバック周期ごとに移動するピクセル数は、(全移動角:1.0度)×65[ピクセル]×(ホールフィードバック周期)/(垂直同期周期)となる。1ホールフィードバック周期ごとの移動量をLSBで表すと、(全移動角:1.0度)×1000[LSB]×(ホールフィードバック周期)/(垂直同期周期)となる。上記の露光期間に代えて垂直同期信号Vsyncの周期としてもよい。
[手振れ制御のフローチャート]
以下、これまでの説明を総括して、図11、図12のフローチャートを主として参照して、本実施形態のOIS、EISによる手振れ制御手順についてまとめる。図11および図12では、図1のバイアス成分生成器45および加算器43の動作(すなわち、メカ端歪みを軽減するための制御)が特に詳しく示されている。
以下、これまでの説明を総括して、図11、図12のフローチャートを主として参照して、本実施形態のOIS、EISによる手振れ制御手順についてまとめる。図11および図12では、図1のバイアス成分生成器45および加算器43の動作(すなわち、メカ端歪みを軽減するための制御)が特に詳しく示されている。
図11は、第1の実施形態の場合の手振れ補正手順を示すフローチャートである。図11に示す制御手順では、ホールセンサなどの位置検出センサ47の出力信号が更新されるタイミングで(すなわち、ホールフィードバック周期ごとに)、補正レンズ55の位置調整のためのバイアス値dx,dyが補正レンズ55の目標位置gx,gyに加算される。
図1および図11を参照して、ステップS201では、OISモジュール40は、ホールセンサなどの位置検出センサ47からの出力情報の更新、またはジャイロセンサなどの振れ検出センサ41からの出力情報の更新を待つ。
位置検出センサ47からの出力の更新、すなわち、補正レンズ55の位置情報が更新されたとする(ステップS202でTrue)。この場合、次のステップS203において、OISモジュール40は補正レンズの現在位置px,py[deg]を取得する。ここで、z軸を光軸方向としたとき、pxはx軸まわりの回転角であるピッチ角を表し、pyはy軸まわりの回転角であるヨー角を表す。補正レンズ55の移動範囲の中心において、px=0,py=0とする。
その次のステップS204において、OISモジュール40の加算器43は、現在の補正レンズ55の目標位置gx,gy[deg]に補正レンズ55の位置調整分dx,dy[deg]を加算することによって新たな目標位置gx,gy[deg]を生成する。すなわち、図6のステップS83で説明したバイアス成分の加算が実行される。なお、メカ端近傍からメカニカルセンタ付近に補正レンズ55の位置を戻すための位置調整制御を行っていない場合には、補正レンズ55の位置調整分dx,dy[deg]は0である。
その次のステップS205において、OISモジュール40の加算器43は、現在の補正レンズの目標位置gx,gy[deg]から補正レンズ55の現在位置px,py[deg]を減算することによって偏差Δx、Δy[deg]を演算し、得られた偏差を補償器44に入力する。
一方、ジャイロセンサなどの振れ検出センサ41からの出力の更新、すなわち、手振れ検出情報が更新されたとする(ステップS202でFalse、ステップS206でTrue)。この場合、次のステップS207で、演算器42は検出された手振れ量に応じた補正レンズ55の補正量を演算することによって、補正レンズ55の目標位置gx,gy[deg]を取得する。
次のステップS208において、OISモジュール40のバイアス成分生成器45は、垂直同期信号Vsyncなどの撮像タイミング信号80の入力を受けたか否かに基づいて、ブランキング期間における最初の手振れ情報の更新であるか否かを判定する。ブランキング期間における最初の手振れ情報の更新でない場合(ステップS208でFalse)、情報更新のイベント入力待ちの状態(ステップS201)に戻る。
一方、ブランキング期間における最初の手振れ情報の更新である場合(ステップS208でTrue)、OISモジュール40は、図6のステップS100で説明した補正レンズ55の移動余地の有無の判定を行い、その後、図6のステップS101,S102で説明したバイアス成分の生成または解除を行う。
具体的に、x軸回りの回転角であるピッチ角pxが、1.0[deg]以上の場合(ステップS209でFalse)、次のステップS212において、バイアス成分生成器45は、x軸回りのピッチ角のバイアス値dx[deg]を設定する。dx=(−1.0)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ピッチ角pxを0度付近に戻すように負のバイアス成分dxが設定される。ここで、垂直同期周期とは、垂直同期信号Vsyncの周期であり、この明細書ではVsync周期とも称する。垂直同期周期に代えて露光期間であってもよい。
同様に、x軸回りの回転角であるピッチ角pxが、−1.0[deg]以下の場合(ステップS210でFalse)、次のステップS213において、バイアス成分生成器45は、x軸回りのピッチ角のバイアス値dx[deg]を設定する。dx=(+1.0)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ピッチ角pxを0度付近に戻すように正のバイアス成分dxが設定される。
同様にy軸回りの回転角であるヨー角pyが、1.0[deg]以上の場合(ステップS214でFalse)、次のステップS217において、バイアス成分生成器45は、y軸回りのヨー角のバイアス値dy[deg]を設定する。dy=(−1.0)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ヨー角dyを0度付近に戻すように負のバイアス成分dyが設定される。
同様に、y軸回りの回転角であるヨー角pyが、−1.0[deg]以下の場合(ステップS215でFalse)、次のステップS218において、バイアス成分生成器45は、y軸回りのヨー角のバイアス値dy[deg]を設定する。dy=(+1.0)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ヨー角dyを0度付近に戻すように正のバイアス成分dyが設定される。
一方、x軸回りの回転角であるピッチ角pxが、1.0[deg]未満であり(ステップS209でTrue)、かつ、−1.0[deg]より大きい(ステップS210でTrue)場合、バイアス成分生成器45は、x軸に関するバイアス値dxを0にクリアする(ステップS211)。
同様に、y軸回りの回転角であるヨー角pyが、1.0[deg]未満であり(ステップS214でTrue)、かつ、−1.0[deg]より大きい(ステップS215でTrue)場合、バイアス成分生成器45は、y軸に関するバイアス値dyを0にクリアする(ステップS216)。
以上によって、図6のステップS101,S102で説明したバイアス成分の生成または解除が終了する。この後、手振れ補正処理はステップS201に戻る。
図12は、図11の手振れ補正手順の変形例を示すフローチャートである。図12に示す制御手順では、ジャイロセンサなどの振れ検出センサ41の出力信号が更新されるタイミングで(すなわち、ジャイロセンサの検出周期ごとに)、補正レンズ55の位置調整のためのバイアス値dx,dyが補正レンズ55の目標位置gx,gyに加算される。
具体的に、図12の制御手順では、図11のステップS204は、手振れ情報の更新イベント(ステップS206でTrue)が生じたときに実行される一連の処理の最後に、すなわち、ステップS212,S213,S216,S217,S218の後に実行される。図12のその他の点は図11の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
なお、ジャイロセンサの検出周期のほうがホールフィードバック周期よりも長いので(1〜2KHz対20〜50KHz)、ジャイロセンサの検出周期ごとにバイアス値を演算したほうが、演算の頻度を減らすことができる。また、ジャイロセンサの出力信号を演算するためのプロセッサのほうが、有効桁数の大きな演算に適したプロセッサを用いていると想定される。したがって、本質的な違いではないが、図11の制御手順よりも、図12の制御手順を用いたほうが望ましい。
[第1の実施形態の効果]
上記のとおり、本実施形態によれば、露光期間中にOISによる手振れ補正を行いながら、同時に補正レンズの位置調整が行う。そして、補正レンズの位置調整に伴う画像歪みはEISによって除去される。これによって、補正レンズがメカ端に衝突することを避けて継続的にOISによる手振れ補正を実行することができる。
上記のとおり、本実施形態によれば、露光期間中にOISによる手振れ補正を行いながら、同時に補正レンズの位置調整が行う。そして、補正レンズの位置調整に伴う画像歪みはEISによって除去される。これによって、補正レンズがメカ端に衝突することを避けて継続的にOISによる手振れ補正を実行することができる。
従来技術では、フレームブランキング期間のみに補正レンズを調整していたため、補正レンズの移動速度が大きくなり、結果としてスマートフォン向けOISでは一例として5msec程度のセトリング期間が必要となっていた。これは、撮像素子のノイズ低減のために露光期間を極力長く確保したいという要求と相反していた。なお、実際のセトリング期間は、レンズ質量、アクチュエータ特性、補償器設計などの諸条件に依存する。上記の5msec程度という数字は、あくまで、スマートフォン向けOISの場合の一例である。本実施形態によれば、上記のセトリング期間は不要になる。
補正レンズの位置調整のために、手振れ補正成分に一定値のバイアス成分が合成されることになるが、このバイアス成分の加算開始と加算終了はブランキング期間に行われるのが望ましい。これによって、補正レンズの位置調整に起因して、フレーム画像の一部分でなくフレーム画像全体が均一に歪むので、EISによる画像歪みの修正が容易になり、高画質の画像を得ることができる。なお、ブランキング期間を検知するために、垂直同期信号などの撮像タイミング信号80が撮像素子50からOISモジュール40に入力される。
また、1フレームの撮影期間の間だけ、上記のバイアス成分が加算されるのが望ましい。この理由は、上記したEISによる画像歪みの補正を容易にするという条件の下で、補正レンズの位置調整をできるだけ短期間で終了させるためである。
手振れ補正成分に合成されるバイアス成分は一定値であるのが望ましい。この一定のバイアス値は、補正レンズの中心位置がメカ端から閾値距離の範囲内なった場合に、次の露光期間で、メカニカルセンタに補正レンズの中心位置を戻すように定められる。具体的に、この補正レンズの移動量にホールフィードバック周期を掛けて垂直同期周期(または露光期間)で割った値にバイアス値が設定される。
[第1の実施形態の変形例]
以下、第1の実施形態に関するいくつかの変形例について説明する。
以下、第1の実施形態に関するいくつかの変形例について説明する。
(1)本実施形態の撮像素子50は、ローリングシャッター方式には限定されず、メカニカルシャッター方式であっても適用可能な場合がある。たとえば、先幕と後幕と呼ばれるシャッター幕が時間差を伴って降りることでスリットを発生させ、スリットが通過している間にを露光させる方式(フォーカルプレーンシャッターの一種)が挙げられる。この場合にも本実施形態の技術が適用可能である。スリットが十分に狭くなるようなシャッター速度で撮影する場合、ローリングシャッター歪みと同様の歪みが発生するからである。その他、撮像素子の特性として、撮影画面上で、時間差を伴って露光が部分的に進む場合、本実施形態の技術が適用できる可能性がある。
(2)バイアス成分生成器45がバイアス値の出力する期間は、必ずしも、垂直同期信号に同期させる必要はなく、垂直同期周期に一致させる必要はない。画像変形がEISによって補正できればよいので、露光期間中に一定のバイアス値を出力できれば、その開始および終了タイミングは限定されるものではない。
(3)補正レンズの中心位置がメカ端の近傍にあるか否かは、メカ端からの閾値範囲内にあるか否かによって判定可能である。この場合の閾値は調整可能であり、補正レンズの可動範囲またはカメラのユースケースに応じて変更することができる。
(4)上記の手振れ補正技術は、ローリングシャッター歪みを補正可能なEISであれば、静止画撮影の場合にも適用することができる。
一般には、静止画撮影においては、1フレームのみの露光なので、露光開始時点(すなわち、シャッタを開く前に)、OISもEISも最適位置(すなわち、補正可能範囲を最も広く確保できるメカニカルセンタ)に位置させておく手段がとり得る。ただし、主にスマートフォンまたはデジタルカメラにおいて、LCDを用いてプレビューを表示する場合(光学式ファインダを有さない場合)には、プレビュー状態においても手振れ補正が要求される場合が多い。この理由は、カメラを扱い慣れていないユーザでも被写体を狙い易くするためである。プレビュー状態から直ちに静止画撮影に進行する場合には、静止画撮影の直前に補正レンズの位置をメカニカルセンタに戻すことができない。この理由は、プレビューにおいてユーザが決定した撮影構図とは異なった構図で撮影されてしまうためである。
そこで、静止画撮影のための露光開始前のプレビュー状態で手振れ補正を行っている場合に、補正レンズがメカ端付近に位置する場合には、補正レンズの位置調整をOIS補正と同時に行うことによって、OIS補正を継続的に行うようにするのが望ましい。
<第2の実施形態>
第2の実施形態の電子機器30B,30Cでは、バイアス成分生成器45から出力されるバイアス値の情報がEISモジュール側に送信される点に特徴がある。以下、図面を参照して具体的に説明する。
第2の実施形態の電子機器30B,30Cでは、バイアス成分生成器45から出力されるバイアス値の情報がEISモジュール側に送信される点に特徴がある。以下、図面を参照して具体的に説明する。
[第1の構成例]
図13は、第2の実施形態の電子機器の構成の一例を示すブロック図である。図13では電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。
図13は、第2の実施形態の電子機器の構成の一例を示すブロック図である。図13では電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。
図13に示す電子機器30Bでは、OISモジュール40のバイアス成分生成器45からEISモジュール62に、バイアス値の情報83(すなわち、補正レンズ55の位置調整に関する情報)が伝送される点で図1の電子機器30Aと異なる。図13の電子機器30Bのその他の点は図1の電子機器30Aと同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
図14は、図13のEISモジュールによる手振れ補正処理の手順を示すフローチャートである。図14のフローチャートは第1の実施形態の図3に対応するものであり、同一または対応するステップには同一の参照符号が付されている。
図13および図14を参照して、バイアス成分生成器45から出力されたバイアス値の情報83は、ステップS92において複数の画像データに基づいて補正レンズ55の移動方向および移動量を検知する際に利用される。これによって、補正レンズ55の位置調整に起因した画像の歪みをEISモジュール62が確実に補正できるようにする。
第1の実施形態で説明したように、たとえば、13Mピクセル(4200×3100)のCMOSイメージセンサの場合、垂直方向および水平方向の各々の画角1度あたり約65ピクセルに相当する。したがって、画角1度に相当する振れに伴う画像の歪みは決して大きくない。バイアス成分生成器45から出力されるバイアス値の大きさによっては、EISモジュール62が電子ローリングシャッター歪みの要否を誤って判定する可能性がある。第2の実施形態の電子機器30Bでは、EISモジュール62にバイアス値の情報83を与えることによって、上記の判定の誤りを排除することができる。
[第2の構成例]
図15は、第2の実施形態の電子機器の他の構成例を示すブロック図である。図15においても電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。
図15は、第2の実施形態の電子機器の他の構成例を示すブロック図である。図15においても電子機器の一例として、カメラモジュール付きのスマートフォンが想定されている。
図15に示す電子機器30Cは、EISモジュール62に代えてGPU(Graphics Processing Unit)またはグラッフィクアクセラレータなどの画像処理用プロセッサ90が用いられている点で、図13の電子機器30Bと異なる。
図15に示す画像処理用プロセッサ90は、プログラムに基づいたソフトウェア処理によって、図3および図13のステップS93に対応する変形処理91とステップS94に対応する切り抜き処理92とを実行する。
具体的に、画像処理用プロセッサ90は、変形処理91において、補正レンズ55の位置調整のためのバイアス値の情報83に基づいて、ERS歪みなどによって生じる画像の変形を補正する。さらに、画像処理用プロセッサ90は、切り抜き処理92において、補正レンズ55の位置調整によって生じた構図の変化を補正するために、補正レンズ55の移動量に基づいて有効画像領域を移動する補正(言い替えると、撮影可能画素領域のうち一部を切り抜く補正)を行う。補正レンズ55の移動量は、第1の実施形態の場合には予め決められた値を用いてもよいし、もしくは、バイアス値にその印加時間を掛けることによって算出することができる。
[効果]
以上のとおり、第2の実施形態によれば、OIS補正を継続的に実行するために露光期間に補正レンズ55の位置調整を行った場合に、位置調整のための補正レンズ55の移動量に関する情報(たとえば、バイアス値)がEISモジュール62に伝達される。これによって、補正レンズ55の位置調整によって生じた画像の歪みをEISによって確実に除去することができる。
以上のとおり、第2の実施形態によれば、OIS補正を継続的に実行するために露光期間に補正レンズ55の位置調整を行った場合に、位置調整のための補正レンズ55の移動量に関する情報(たとえば、バイアス値)がEISモジュール62に伝達される。これによって、補正レンズ55の位置調整によって生じた画像の歪みをEISによって確実に除去することができる。
また、位置調整のための補正レンズ55の移動量に関する情報が与えられていれば、EISモジュール62に代えてより汎用性のあるGPUなどの画像処理用プロセッサ90を用いて、補正レンズ55の位置調整に伴う画像歪みの除去を行うことができる。したがって、OISのみを備えたカメラモジュールにおいても本開示の技術を適用することができるようになる。GPUなどの画像処理用プロセッサ90は、カメラなどの画像処理装置においては必須の構成要素であるので追加のコストを抑制することができる。
<第3の実施形態>
第3の実施形態では、補正レンズの位置を調整する際のバイアス値の決定方法の変更例について説明する。たとえば、ユースケースに応じてバイアス値の決定方法を変更することができる。
第3の実施形態では、補正レンズの位置を調整する際のバイアス値の決定方法の変更例について説明する。たとえば、ユースケースに応じてバイアス値の決定方法を変更することができる。
図16は、補正レンズの位置調整のためのバイアス値の決定方法について表形式で示す図である。以下、図1のブロック図と図16の表に従って説明する。
[1.メカニカルセンタ回帰方式]
メカニカルセンタ回帰方式では、露光期間終了後の補正レンズの位置にかかわらず、次の垂直同期期間で補正レンズがメカニカルセンタまで移動するようにバイアス値を決定する。なお、補正レンズの移動目標をメカニカルセンタとしても、露光期間中に生じた手振れを補正するためにも補正レンズは移動するので、必ずしもメカニカルセンタに戻るとは限らない。したがって、次の露光期間においても、補正レンズの位置調整が必要になる。
メカニカルセンタ回帰方式では、露光期間終了後の補正レンズの位置にかかわらず、次の垂直同期期間で補正レンズがメカニカルセンタまで移動するようにバイアス値を決定する。なお、補正レンズの移動目標をメカニカルセンタとしても、露光期間中に生じた手振れを補正するためにも補正レンズは移動するので、必ずしもメカニカルセンタに戻るとは限らない。したがって、次の露光期間においても、補正レンズの位置調整が必要になる。
この方式によれば、全ての露光期間開始時点において、補正可能範囲が最大となる。このため、比較的大きな手振れが想定される用途、たとえば、歩き撮りおよびスポーツ用などに適している。しかしながら、露光期間ごとのバイアス値は一定でないためその演算処理が必要になる。また、全てのフレームに対して補正レンズの位置調整とそれに伴うEISモジュールによる歪み補正を行うので、他方式と比較して画質が劣るというディメリットがある。
[2.バイアス値固定方式(補正可能範囲の1/6程度移動)]
露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の1/6程度(補正可能範囲が±1.5度であれば0.5度)だけ、補正レンズをメカニカルセンタ方向に移動させる。
露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の1/6程度(補正可能範囲が±1.5度であれば0.5度)だけ、補正レンズをメカニカルセンタ方向に移動させる。
この方式によれば、バイアス値が固定されているため、補正レンズの位置調整に伴う画像変形をEISによって復元する精度が高まることを期待できる。手振れが小さい場合には補正レンズの位置調整が行われないため高画質が期待できる。また、補正レンズの位置調整を行う場合でもバイアス値が小さいため、比較的高い画質が期待できる。バイアス値は定数のため算出不要であり、したがって、プロセッサの処理量は小さい。以上のメリットを考慮して、本方式は、たとえばポートレートの用途に向いている。
しかしながら、補正レンズの位置調整を行う場合のバイアス値を比較的小さく抑えているので、手振れ量が大きい場合は、補正レンズが補正可能範囲を逸脱する可能性が高い。
[3.バイアス値固定方式(補正可能範囲の1/3程度移動)]
上記の方式2と同じであるが、補正レンズの位置調整を行う場合の補正角が方式2の場合よりも大きい。具体的に、露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の1/3程度(補正可能範囲が±1.5度であれば1.0度)だけ、補正レンズをメカニカルセンタ方向に移動させる。この補正レンズの移動距離は第1の実施形態で説明したものである。
上記の方式2と同じであるが、補正レンズの位置調整を行う場合の補正角が方式2の場合よりも大きい。具体的に、露光期間の終了後に補正レンズがメカ端の近傍に位置している場合に、次の垂直同期期間で差し渡し補正角の1/3程度(補正可能範囲が±1.5度であれば1.0度)だけ、補正レンズをメカニカルセンタ方向に移動させる。この補正レンズの移動距離は第1の実施形態で説明したものである。
[上記の各方式の比較]
図17は、補正レンズの移動角度の最大積算値を示す図である。図17では、補正レンズの移動可能範囲を±1.5度とし、初期状態では補正レンズはメカニカルセンタに位置しているとする。
図17は、補正レンズの移動角度の最大積算値を示す図である。図17では、補正レンズの移動可能範囲を±1.5度とし、初期状態では補正レンズはメカニカルセンタに位置しているとする。
補正レンズの位置調整を行わない場合(図17の一点鎖線:対策なし)、補正レンズの移動角度は、フレーム数にかかわらず1.5度が限度になる。
第3の実施形態のメカニカルセンタ回帰方式の場合(図17の細い実線)、フレームごとに最大1.5度の補正が可能である。したがって、10フレームでの補正レンズの移動角度の最大積算値は約15度である。
第1の実施形態で説明したように、差し渡し補正角の1/3程度(補正可能範囲が±1.5度であれば1.0度)だけ、補正レンズをメカニカルセンタ方向に移動させる場合(図17の太い実線)、各フレームごとに補正レンズの位置調整を行ったとしても、フレームごとの補正角は最大で1.0度である。したがって、10フレームでの補正レンズの移動角度の最大積算値は約10度である。
第3の実施形態で説明したように、差し渡し補正角の1/6程度(補正可能範囲が±1.5度であれば0.5度)だけ、補正レンズをメカニカルセンタ方向に移動させる場合(図17の太い破線)、各フレームごとに補正レンズの位置調整を行ったとしても、フレームごとの補正角は最大で0.5度である。したがって、10フレームでの補正レンズの移動角度の最大積算値は約5度である。
図17では、さらに、第4の実施形態におけるバイアス値の決定方式の場合が、細い破線で示されている。これについては後で説明する。
[効果]
上記の第3の実施形態は、第1および第2の実施形態と組み合わせることができ、第1および第2の実施形態と同様の効果を奏する。さらに、第3の実施形態によれば、ユースケースに応じて、手振れ補正性能と画質とを選択できるようになる。手振れ補正性能と画質とはトレードオフの関係にある。
上記の第3の実施形態は、第1および第2の実施形態と組み合わせることができ、第1および第2の実施形態と同様の効果を奏する。さらに、第3の実施形態によれば、ユースケースに応じて、手振れ補正性能と画質とを選択できるようになる。手振れ補正性能と画質とはトレードオフの関係にある。
<第4の実施形態>
OISモジュール40は、スマートフォンなどの場合、カメラモジュール31に組み込まれる例が多い。このため、OISモジュール40以外のカメラモジュール31の構成を変更しない場合、OISモジュール40は、垂直同期信号Vsyncなどの撮像タイミング信号80を利用せずに補正レンズ55の位置調整を実行する必要がある。
OISモジュール40は、スマートフォンなどの場合、カメラモジュール31に組み込まれる例が多い。このため、OISモジュール40以外のカメラモジュール31の構成を変更しない場合、OISモジュール40は、垂直同期信号Vsyncなどの撮像タイミング信号80を利用せずに補正レンズ55の位置調整を実行する必要がある。
そこで、第4の実施形態では、撮像素子50からOISモジュール40のバイアス成分生成器45への撮像タイミング信号80(たとえば、垂直同期信号Vsync)の伝達を不要として、撮像タイミングとは非同期に補正レンズ55の位置調整を行う場合について説明する。
[電子機器の全体構成]
図18は、第4の実施形態の一例として電子機器30Dの構成を示すブロック図である。図18のブロック図は第1の実施形態の図1に対応するものである。具体的に図18の電子機器30Dは、撮像素子50からOISモジュール40のバイアス成分生成器45に撮像タイミング信号80が伝達されない点で図1の電子機器30Aと異なる。したがって、OISモジュール40のバイアス成分生成器45の動作が第1の実施形態の場合と異なる。図18のその他の点は図1の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。
図18は、第4の実施形態の一例として電子機器30Dの構成を示すブロック図である。図18のブロック図は第1の実施形態の図1に対応するものである。具体的に図18の電子機器30Dは、撮像素子50からOISモジュール40のバイアス成分生成器45に撮像タイミング信号80が伝達されない点で図1の電子機器30Aと異なる。したがって、OISモジュール40のバイアス成分生成器45の動作が第1の実施形態の場合と異なる。図18のその他の点は図1の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。
図19は、第4の実施形態の他の例として電子機器30Eの構成を示すブロック図である。図19のブロック図は第2の実施形態の図15に対応するものである。具体的に図19の電子機器30Eは、撮像素子50からOISモジュール40のバイアス成分生成器45に撮像タイミング信号80が伝達されない点で図15の電子機器30Cと異なる。したがって、OISモジュール40のバイアス成分生成器45の動作が第3の実施形態の図15の場合と異なる。図18のその他の点は図15の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。
[OISモジュールの動作の概要]
図18および図19を参照して、補正レンズがメカ端に衝突した場合に大きく画質を損なう主な原因は、高周波(たとえば、30Hz以上)の手振れ成分がOISによって解消されずにEIS(またはGPUなど)に引き渡され、この高周波の手振れ成分はEIS(GPUなど)による補正が困難であるためである。さらに、メカ端による補正レンズの跳ね返りなどによって新たに触れ成分が発生し、これによって画像が歪むためである。したがって、補正レンズのメカ端への衝突はできるだけ回避しなければならない。
図18および図19を参照して、補正レンズがメカ端に衝突した場合に大きく画質を損なう主な原因は、高周波(たとえば、30Hz以上)の手振れ成分がOISによって解消されずにEIS(またはGPUなど)に引き渡され、この高周波の手振れ成分はEIS(GPUなど)による補正が困難であるためである。さらに、メカ端による補正レンズの跳ね返りなどによって新たに触れ成分が発生し、これによって画像が歪むためである。したがって、補正レンズのメカ端への衝突はできるだけ回避しなければならない。
また、第1の実施形態において、バイアス成分生成器45が撮像タイミング信号80に基づいてブランキング期間内にバイアス成分の出力を開始し、次のブランキング期間内にバイアス成分の出力を停止する理由は、露光期間中にバイアス値が変更しないようにして、EISによる画像補正を確実に行うためであった。しかしながら、バイアス値の大きさを制限するとともにバイアス値の印加頻度が多くなければ、撮像タイミング信号80に同期せずにバイアス値の印加を行ってもある程度の画質を確保することができる。あるいは、必要な画質の程度と、手振れ特性(たとえば、振れの大きさおよび周波数成分など)に応じて補正レンズの位置調整条件を決定することができる。
また、補正レンズの位置調整条件は、CMOSイメージセンサおよび光学系の仕様にも依存する。以下、数値例を挙げて具体的に説明する。
光学系の画角を、たとえば75度とする。この画角は、フィルム(撮像素子)の大きさ35mmで換算すると焦点距離28mmに相当する。撮像面での水平画角を65度、垂直画角48度を想定する。
撮像素子(CMOSイメージセンサ)の画素数を、たとえば、13Mピクセル(4200×3100ピクセル)とする。垂直水平画角1度で約65ピクセル分に相当する。また、ホールセンサの読み出しを12ビットのADC(Analog-to-Digital Converter)で行うものとする。垂直水平画角1度は約1000LSBに相当すると仮定する。
1秒当たりのフレーム数をたとえば30fpsとする。そうすると、垂直同期周期は33.3msecである。また、露光期間を25msecとする。
求められる画質として、1フレームで最大10ピクセル(0.32%)まで水平および垂直方向の歪みを許容するとする。この値は、補正レンズの位置調整の際の移動時間と画質に関係し、カメラの用途などに応じて選択あるいは調整される。水平および垂直方向の1度が65ピクセルに相当する場合、この許容歪みを発生されるバイアス値は、1度×10/65=0.153[deg]、1000×10/65=153[LSB]である。補正レンズを1度移動させるのに要する時間は、約33.3×65/10=216[msec]である。
上記のようにして設定したバイアス値を用いて補正レンズの移動を継続する最低限の期間を、バイアス印加期間として設定する。バイアス印加期間は、上記の調整所要時間に基づいて任意に設定可能であるが、シャッター押下までのカメラの保持状態などの振れ量を考慮して、10〜15フレーム(300〜500msec)とする。
露光期間中にバイアス値が変化することによる画像劣化の頻度はそれほど大きくない。具体的に、垂直同期周期と露光期間との比(75%)から、10フレーム内の任意の時点で2回バイアス値の変化ポイントが発生するとすれば、この10フレーム期間において画像が劣化したフレームが出現する確率は15%となる。したがって、バイアス印加開始時点およびバイアス印加終了時点が露光期間に含まれるフレーム以外(約85%)は、補正レンズの位置調整に伴う画像の歪み(たとえば、ローリングシャッター歪み)はEISによって補正可能である。
[OISモジュールの動作の詳細]
以下、これまでの説明を総括して、図18のブロック図および図20のフローチャートを参照して、本実施形態のOIS、EISによる手振れ制御手順についてまとめる。図20では、図18のバイアス成分生成器45および加算器43の動作(すなわち、メカ端歪みを軽減するための制御)が特に詳しく示されている。図19の装置構成の場合も同様である。
以下、これまでの説明を総括して、図18のブロック図および図20のフローチャートを参照して、本実施形態のOIS、EISによる手振れ制御手順についてまとめる。図20では、図18のバイアス成分生成器45および加算器43の動作(すなわち、メカ端歪みを軽減するための制御)が特に詳しく示されている。図19の装置構成の場合も同様である。
図20は、図18の場合の手振れ補正手順を示すフローチャートである。図20を参照して、OISモジュール40には不図示のホールドオフタイマ(hold-off timer)が設けられているとする。
ステップS301で、バイアス成分生成器45は、ホールドオフタイマを初期設定する。たとえば、タイマ値は500msecに設定される。この場合、タイマのリセット後500msec以上が経過し、かつ、補正レンズがメカ端近傍に位置している場合に、バイアス成分生成器45は、バイアス値を設定する。
次のステップS302で、バイアス成分生成器45は、x軸、y軸に関するバイアス値を0[deg]にクリアする。
ステップS303では、OISモジュール40は、ホールセンサなどの位置検出センサ47からの出力情報の更新、またはジャイロセンサなどの振れ検出センサ41からの出力情報の更新を待つ。
位置検出センサ47からの出力の更新、すなわち、補正レンズ55の位置情報が更新されたとする(ステップS304でTrue)。この場合、次のステップS305において、OISモジュール40は補正レンズの現在位置px,py[deg]を取得する。ここで、z軸を光軸方向としたとき、pxはx軸まわりの回転角であるピッチ角を表し、pyはy軸まわりの回転角であるヨー角を表す。補正レンズ55の移動範囲の中心において、px=0,py=0とする。
その次のステップS306において、OISモジュール40の加算器43は、現在の補正レンズ55の目標位置gx,gy[deg]に補正レンズ55の位置調整分dx,dy[deg]を加算し、さらに、補正レンズ55の現在位置px,py[deg]を減算することによって偏差Δx、Δy[deg]を演算する。加算器43は、得られた偏差を補償器44に入力する。これによって、図6のステップS83で説明したバイアス成分の加算が実行される。
上記のステップS306において、メカ端近傍からメカニカルセンタ付近に補正レンズ55の位置を戻すための位置調整制御を行っていない場合には、補正レンズ55の位置調整分dx,dy[deg]は0である。
一方、ジャイロセンサなどの振れ検出センサ41からの出力の更新、すなわち、手振れ検出情報が更新されたとする(ステップS304でFalse、ステップS307でTrue)。この場合、次のステップS307で、演算器42は検出された手振れ量に応じた補正レンズ55の補正量を演算することによって、補正レンズ55の目標位置gx,gy[deg]を取得する。
次のステップS309で、ホールドオフタイマをリセット後、500msec以上経過したか否かが確認される。500msec経過していない場合には(ステップS309でFalse)、以下のステップS310からS320は実行されずに、情報更新のイベント入力待ちの状態(ステップS303)に戻る。
一方、ホールドオフタイマをリセット後、500msec以上経過した場合(ステップS309でTrue)、OISモジュール40は、図6のステップS100で説明した補正レンズ55の移動余地の有無の判定を行い、その後、図6のステップS101,S102で説明したバイアス成分の生成または解除を行う。
具体的に、x軸回りの回転角であるピッチ角pxが、1.0[deg]以上の場合(ステップS310でFalse)、次のステップS313において、バイアス成分生成器45は、x軸回りのピッチ角のバイアス値dx[deg]を設定する。dx=(−0.153)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ピッチ角pxを0度付近に戻すように負のバイアス成分dxが設定される。ここで、垂直同期周期に代えて露光期間であってもよい。
同様に、x軸回りの回転角であるピッチ角pxが、−1.0[deg]以下の場合(ステップS311でFalse)、次のステップS314において、バイアス成分生成器45は、x軸回りのピッチ角のバイアス値dx[deg]を設定する。dx=(+0.153)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ピッチ角pxを0度付近に戻すように正のバイアス成分dxが設定される。
同様にy軸回りの回転角であるヨー角pyが、1.0[deg]以上の場合(ステップS315でFalse)、次のステップS318において、バイアス成分生成器45は、y軸回りのヨー角のバイアス値dy[deg]を設定する。dy=(−0.153)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ヨー角dyを0度付近に戻すように負のバイアス成分dyが設定される。
同様に、y軸回りの回転角であるヨー角pyが、−1.0[deg]以下の場合(ステップS316でFalse)、次のステップS319において、バイアス成分生成器45は、y軸回りのヨー角のバイアス値dy[deg]を設定する。dy=(+0.153)×(ホールフィードバック周期)/(垂直同期周期)によって求められる。すなわち、ヨー角dyを0度付近に戻すように正のバイアス成分dyが設定される。
上記のバイアス値の設定(ステップS313,S314,S318,S319のいずれか)が実行された場合には、バイアス成分生成器45は、ホールドオフタイマをリセットする。すなわち、ホールドオフタイマのタイマ値はクリアされ、新たなカウントアップが開始される。
一方、x軸回りの回転角であるピッチ角pxが、1.0[deg]未満であり(ステップS310でTrue)、かつ、−1.0[deg]より大きい(ステップS311でTrue)場合、バイアス成分生成器45は、x軸に関するバイアス値dxを0にクリアする(ステップS312)。
同様に、y軸回りの回転角であるヨー角pyが、1.0[deg]未満であり(ステップS315でTrue)、かつ、−1.0[deg]より大きい(ステップS316でTrue)場合、バイアス成分生成器45は、y軸に関するバイアス値dyを0にクリアする(ステップS317)。
以上によって、図6のステップS101,S102で説明したバイアス成分の生成または解除が終了する。この後、手振れ補正処理はステップS303に戻る。
なお、図12で説明したように、ジャイロセンサなどの振れ検出センサ41の出力信号が更新されるタイミングで(すなわち、ジャイロセンサの検出周期ごとに)、補正レンズ55の位置調整のためのバイアス値dx,dyが補正レンズ55の目標位置gx,gyに加算されるようにしてもよい。
[効果]
本実施形態は、第1〜第3の実施形態と組み合わせることができ、第1〜第3の実施形態と同様の効果を奏することができる。さらに、第4の実施形態によれば、OISモジュール40のソフトウェアを入れ替えるなどの最小限のシステム変更によって、OISが継続できるように補正レンズの位置の最適化を行うことができる。図19のシステム構成の場合には、EISモジュール62が必要でなくなるので、コストを抑えつつOIS補正性能を向上させることができる。
本実施形態は、第1〜第3の実施形態と組み合わせることができ、第1〜第3の実施形態と同様の効果を奏することができる。さらに、第4の実施形態によれば、OISモジュール40のソフトウェアを入れ替えるなどの最小限のシステム変更によって、OISが継続できるように補正レンズの位置の最適化を行うことができる。図19のシステム構成の場合には、EISモジュール62が必要でなくなるので、コストを抑えつつOIS補正性能を向上させることができる。
ただし、本実施形態の場合には、補正レンズの移動に要する時間が長くなるというディメリットがある。言い替えると、図17の細い破線で示すように、補正レンズの移動量の最大積算値は、他のバイアス値の決定方式の場合に比べて小さくなる。このため、補正レンズがメカ端に達してしまい、その結果として画質を損なう可能性が高くなる。
<第5の実施形態>
第5の実施形態では、ハードウェア構成の変更例について説明する。
第5の実施形態では、ハードウェア構成の変更例について説明する。
[第1の構成例]
図21は、第5の実施形態の第1の構成例による電子機器30Fの構成を示すブロック図である。図21では、OISモジュール40およびEISモジュール62の両方ともカメラモジュール31に内蔵させた場合の構成が示されている。
図21は、第5の実施形態の第1の構成例による電子機器30Fの構成を示すブロック図である。図21では、OISモジュール40およびEISモジュール62の両方ともカメラモジュール31に内蔵させた場合の構成が示されている。
図21の電子機器30Fは、EISモジュール62がメインボード32上でなく、カメラモジュール31に内蔵されている点で図1の電子機器30Aと異なる。図21の場合、OISモジュール40、EISモジュール62、および撮像素子50を併せてCISモジュール94と称する。
図21を参照して、撮像素子50から出力された生の画像信号(すなわち、RAWデータ)は、EISモジュール62によって補正される。その補正後の画像信号82は、MIPI(Mobile Industry Processor Interface Alliance)のCSI−2(Camera Serial Interface-2)などのカメラインタフェース35を介してイメージシグナルプロセッサ61に伝達される。イメージシグナルプロセッサ61によって画像処理された信号は、符号化処理モジュール63および画像表示コントローラ64に伝達される。図21のその他の構成は図1の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
図21の構成によれば、EISとOISとは同じプロセッサで処理することが可能になる。従来、EISとOISと間の通信はI2C(Inter-Integrated Circuit、たとえばMIPIのCSI−2のCCI(Camera Control Interface)もこれに含まれるものとする)などを利用することを想定していたが、同一プロセッサ上のタスク間通信での置き換えることが可能になる。したがって、カメラモジュール31とメインボード32との間のI2C通信のオーバヘッドを削減することができる。
また、垂直同期信号などの撮像タイミング信号80も、同一プロセッサ上で通信されることになるので、システム構成を簡素化することができる。
また、手振れ調整は、スマートフォン用のプログラムとは無関係にカメラモジュール単体で実行することができる。従来、EISモジュールをアプリケーションプロセッサと同じチップに組込む場合、ソフトウェアをハードウェアに最適化させるためにソフトウェアの開発工数が大きくなるという課題があった。これに対して、手振れ補正機構一切をカメラモジュールに内蔵することで、スマートフォンシステムの開発工数が削減でき、スマートフォン製品展開が容易になるというメリットがある。
なお、図1のハードウェア構成とするか、図21のハードウェア構成とするかは、用途、必要な機能および性能、システムコストなどに応じて選択することができる。また、図21のハードウェア構成を採用する場合には、CISモジュール94のシステムリソース(たとえば、メモリ容量)などに応じて、EISの機能を縮小することができる。
[第2の構成例]
図22は、第5の実施形態の第2の構成例による電子機器30Gの構成を示すブロック図である。図22では、OISモジュール40およびEISモジュール62の両方ともメインボード32に配置させた構成例が示されている。
図22は、第5の実施形態の第2の構成例による電子機器30Gの構成を示すブロック図である。図22では、OISモジュール40およびEISモジュール62の両方ともメインボード32に配置させた構成例が示されている。
具体的に図22の電子機器30Gでは、振れ検出センサ41およびOISモジュール40がメインボード32上に配置される点で図1の電子機器30Aと異なる。図22のその他の点は図1と同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
OISモジュールをアプリケーションプロセッサと同一のチップに組み込む場合、各種センサ(たとえば、ジャイロセンサ、磁気センサ、加速度センサ、気圧センサなど)の制御を集約したセンサハブ用のCPUまたはDSPに組み込むことが考えられる。
上記のようにメインボード32にOIS処理を実装する背景として、近年のスマートフォン用のSoC(System on Chip)では、高性能大規模コアと小電量小規模コアとの組合せによる非対称プロセッサの密結合による多コアの例が挙げられる。したがって、OISや音楽再生のように高レスポンスを要求されるが演算量が小さい処理も効率良く実装できるようになっている。
図22の構成によれば、EISをCISモジュール94で実現する図21の構成に比べて、EISが使用可能となるシステムリソース(メモリ、CPU、GPUなど)に比較的制約がない。したがって、高度なEISを実現できるというメリットがある。
第1の実施形態の場合のOISの実装例として、ホールセンサからのフィードバック周期を20KHz〜50KHz、ジャイロセンタの出力データの更新周期を1KHz〜10KHz程度と想定していた。さらに、OISからEISへの各情報の伝達は、I2Cなどが想定されていた。このため、データ転送におけるオーバヘッド(たとえば、通信遅延や通信に関わる処理)が大きくなりがちであった。これに対して、図22の構成によれば、OISモジュール40とEISモジュール62とが、メインボード32の同一のチップ上に実装することができるので、OISモジュール40とEISモジュール62との間の通信オーバヘッドの改善が見込める。
また、OISモジュール40およびEISモジュール62は、イメージシグナルプロセッサ61、符号化処理モジュール63、画像表示コントローラ64とともに、メインボード32の共通のチップ上で実現できるので、カメラシステム全体の調整を集約的に行うことができ、カメラシステム開発や調整に便利である。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
29 被写体、30A〜30G 電子機器、31 カメラモジュール、32 メインボード、33 表示装置、34 補助記憶装置、35 カメラインタフェース、40 OISモジュール、41 振れ検出センサ、42 演算器、43 加算器、44 補償器、45 バイアス成分生成器、46 アクチュエータ、47 位置検出センサ、50 撮像素子、51 光学系、52,53,54 光学レンズ、55 補正レンズ、61 イメージシグナルプロセッサ、62 EISモジュール、63 符号化処理モジュール、64 画像表示コントローラ、80 撮像タイミング信号、81 補正レンズの位置情報、82 画像信号、83 バイアス値の情報、90 画像処理用プロセッサ、94 CISモジュール。
Claims (16)
- カメラモジュールを制御するための半導体装置であって、
前記カメラモジュールは、光学系および撮像素子のうちの少なくとも一部である可動対象の位置を、移動可能範囲内で移動させることによって手振れの影響を除去する光学式手振れ補正を実行可能であり、
前記半導体装置は、
振れ検出センサの検出値に基づいて、前記光学式手振れ補正のために前記可動対象の移動量を決定する第1の演算器と、
前記移動可能範囲内での前記可動対象の位置を調整するために、前記可動対象の移動量を決定する第2の演算器と、
前記第1の演算器によって決定された移動量と前記第2の演算器によって決定された移動量とを合成した値に基づいて、前記可動対象を駆動するためのアクチュエータを制御する補償器とを備える、半導体装置。 - 前記第2の演算器は、前記撮像素子の露光期間内に前記移動可能範囲の中央方向に前記可動対象を移動するように、前記可動対象の移動量を決定する、請求項1に記載の半導体装置。
- 前記第2の演算器は、前記撮像素子のブランキング期間内に前記可動対象が移動を開始し、次のブランキング期間内に前記可動対象が移動を終了するように、前記可動対象の移動量を変更する、請求項2に記載の半導体装置。
- 前記第2の演算器は、前記撮像素子からの撮像タイミング信号に基づいて、前記可動対象の移動量を変更する、請求項3に記載の半導体装置。
- 前記第2の演算器は、前記撮像素子のブランキング期間内に前記可動対象が前記移動可能範囲の端から閾値範囲内に位置するときに前記可動対象が前記移動可能範囲の中央方向に移動するように前記可動対象の移動量を設定し、
前記第2の演算器は、前記撮像素子のブランキング期間内に前記可動対象が前記移動可能範囲の端から前記閾値範囲内に位置しないとき、前記可動対象の移動量を零に設定する、請求項3に記載の半導体装置。 - 前記第2の演算器は、各露光期間の間に前記可動対象の位置が前記移動可能範囲の中央に戻るように、露光期間ごとの前記可動対象の移動量を設定する、請求項3に記載の半導体装置。
- 前記第2の演算器は、前記撮像素子の露光期間中であっても前記可動対象が前記移動可能範囲の端から閾値範囲内に位置するときに、前記可動対象が前記移動可能範囲の中央方向に移動を開始するように、前記可動対象の移動量を変更する、請求項1に記載の半導体装置。
- 前記可動対象の位置を調整することによって生じた画像の歪みは、電子式手振れ補正モジュールによって除去可能である、請求項1に記載の半導体装置。
- 前記撮像素子は、ローリングシャッター方式によって撮影を行い、
前記画像の歪みは、ローリングシャッター歪みである、請求項8に記載の半導体装置。 - 前記第2の演算器は、決定した移動量に関する情報を前記電子式手振れ補正モジュールに出力する、請求項8に記載の半導体装置。
- 前記可動対象の位置を調整することによって生じた画像の歪みは、画像処理用プロセッサによって除去可能である、請求項1に記載の半導体装置。
- 前記第2の演算器は、決定した移動量に関する情報を前記画像処理用プロセッサに出力する、請求項11に記載の半導体装置。
- 前記補償器は、前記可動対象の現在位置を検出するための位置検出センサの出力に基づいたフィードバック制御によって、前記アクチュエータを制御する、請求項1に記載の半導体装置。
- 前記フィードバック制御のための前記可動対象の目標位置は、前記位置検出センサの出力が更新される度に、前記第1の演算器によって決定された前記可動対象の移動量と前記第2の演算器によって決定された前記可動対象の移動量とに基づいて決定される、請求項13に記載の半導体装置。
- 前記フィードバック制御のための前記可動対象の目標位置は、前記振れ検出センサの出力が更新される度に、前記第1の演算器によって決定された前記可動対象の移動量と前記第2の演算器によって決定された前記可動対象の移動量とに基づいて決定される、請求項13に記載の半導体装置。
- 撮像素子と、
前記撮像素子に被写体の光学像を結像させるための光学系と、
手振れを検出するための振れ検出センサと、
光学式手振れ補正を行うために、前記光学系および前記撮像素子のうちの少なくとも一部である可動対象の位置を、移動可能範囲内で移動させるアクチュエータと、
前記振れ検出センサの検出値に基づいて、前記光学式手振れ補正のために前記可動対象の移動量を決定する第1の演算器と、
前記移動可能範囲内での前記可動対象の位置を調整するために、前記可動対象の移動量を決定する第2の演算器と、
前記第1の演算器によって決定された移動量と前記第2の演算器によって決定された移動量とを合成した値に基づいて、前記アクチュエータを制御する補償器と、
前記可動対象の位置の調整することによって生じた画像の歪みを除去するための第3の演算器とを備える、電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239339A JP2019106656A (ja) | 2017-12-14 | 2017-12-14 | 半導体装置および電子機器 |
US16/173,710 US10848676B2 (en) | 2017-12-14 | 2018-10-29 | Semiconductor device and electronic device |
CN201811437201.2A CN110035222B (zh) | 2017-12-14 | 2018-11-28 | 半导体装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239339A JP2019106656A (ja) | 2017-12-14 | 2017-12-14 | 半導体装置および電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019106656A true JP2019106656A (ja) | 2019-06-27 |
Family
ID=66814856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017239339A Pending JP2019106656A (ja) | 2017-12-14 | 2017-12-14 | 半導体装置および電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10848676B2 (ja) |
JP (1) | JP2019106656A (ja) |
CN (1) | CN110035222B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021152595A (ja) * | 2020-03-24 | 2021-09-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 制御装置、撮像装置、制御方法、及びプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102452564B1 (ko) * | 2018-02-07 | 2022-10-11 | 삼성전자주식회사 | 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법 |
US10587807B2 (en) | 2018-05-18 | 2020-03-10 | Gopro, Inc. | Systems and methods for stabilizing videos |
JP2020031264A (ja) * | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
US10750092B2 (en) | 2018-09-19 | 2020-08-18 | Gopro, Inc. | Systems and methods for stabilizing videos |
WO2020111266A1 (ja) * | 2018-11-29 | 2020-06-04 | 富士フイルム株式会社 | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 |
CN116506717A (zh) * | 2019-06-25 | 2023-07-28 | 高通股份有限公司 | 组合的电子图像稳定和光学图像稳定 |
CN211826653U (zh) * | 2019-07-26 | 2020-10-30 | 台湾东电化股份有限公司 | 光学元件驱动机构以及光学*** |
US11852888B2 (en) * | 2019-07-26 | 2023-12-26 | Tdk Taiwan Corp. | Optical element driving mechanism |
WO2021035485A1 (zh) * | 2019-08-26 | 2021-03-04 | Oppo广东移动通信有限公司 | 拍摄防抖方法、装置、终端及存储介质 |
JP7222113B2 (ja) * | 2019-10-29 | 2023-02-14 | 富士フイルム株式会社 | 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム |
US11265469B1 (en) * | 2020-04-10 | 2022-03-01 | Amazon Technologies, Inc. | System to mitigate image jitter by an actuator driven camera |
CN112261311B (zh) * | 2020-10-27 | 2022-02-25 | 维沃移动通信有限公司 | 图像采集方法、装置及移动终端、存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5259172B2 (ja) | 2007-12-19 | 2013-08-07 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 手振れ補正制御回路およびそれを搭載した撮像装置 |
JP6151930B2 (ja) * | 2013-02-19 | 2017-06-21 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6074298B2 (ja) * | 2013-03-18 | 2017-02-01 | キヤノン株式会社 | 撮像装置、画像処理装置、及びそれらの制御方法 |
JP6214316B2 (ja) * | 2013-10-09 | 2017-10-18 | キヤノン株式会社 | 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体 |
KR20170068139A (ko) * | 2015-12-09 | 2017-06-19 | 삼성전기주식회사 | 광학식 이미지 안정화 모듈 및 카메라 모듈 |
JP6682360B2 (ja) * | 2016-05-27 | 2020-04-15 | キヤノン株式会社 | 防振制御装置、光学機器、防振制御方法および防振制御プログラム |
JP7166920B2 (ja) * | 2016-08-05 | 2022-11-08 | ソニーグループ株式会社 | 撮像装置、固体撮像素子、カメラモジュール、および撮像方法 |
-
2017
- 2017-12-14 JP JP2017239339A patent/JP2019106656A/ja active Pending
-
2018
- 2018-10-29 US US16/173,710 patent/US10848676B2/en active Active
- 2018-11-28 CN CN201811437201.2A patent/CN110035222B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021152595A (ja) * | 2020-03-24 | 2021-09-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 制御装置、撮像装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110035222A (zh) | 2019-07-19 |
US10848676B2 (en) | 2020-11-24 |
CN110035222B (zh) | 2022-04-15 |
US20190191090A1 (en) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110035222B (zh) | 半导体装置和电子设备 | |
CN110035223B (zh) | 半导体设备和电子设备 | |
US9019387B2 (en) | Imaging device and method of obtaining image | |
CN110012224B (zh) | 摄像头防抖***、方法、电子设备和计算机可读存储介质 | |
KR101528860B1 (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
US9225901B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP6135848B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
JP6500238B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP6128458B2 (ja) | 撮像装置および画像処理方法 | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP2006129175A (ja) | 撮像装置 | |
WO2019151030A1 (ja) | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
WO2017104102A1 (ja) | 撮像装置 | |
TW202044819A (zh) | 嚴格同步光學影像穩定化中之滾動補償及模糊減少 | |
WO2020132917A1 (en) | Imaging device, image stabilization device, imaging method and image stabilization method | |
JP6053422B2 (ja) | 撮像装置および撮像方法 | |
JP6188369B2 (ja) | 撮像装置 | |
WO2024048069A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2015118147A (ja) | 撮像装置およびその制御方法 | |
JP6257288B2 (ja) | 撮像装置およびその制御方法 | |
JP2017204666A (ja) | 撮像装置 | |
WO2020012961A1 (ja) | 撮像装置 | |
WO2020012960A1 (ja) | 撮像装置 | |
JP2021078053A (ja) | 撮像制御装置、撮像制御方法、撮像装置及びプログラム |