JP2007243579A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2007243579A JP2007243579A JP2006062901A JP2006062901A JP2007243579A JP 2007243579 A JP2007243579 A JP 2007243579A JP 2006062901 A JP2006062901 A JP 2006062901A JP 2006062901 A JP2006062901 A JP 2006062901A JP 2007243579 A JP2007243579 A JP 2007243579A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image blur
- unit
- information
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、像ぶれを補正する像ぶれ補正機能を有する撮像光学系を備えた小型且つ軽量な撮像装置に関する。 The present invention relates to a small and lightweight imaging device including an imaging optical system having an image blur correction function for correcting image blur.
近年、ディジタル方式のスチルカメラやビデオムービーなどの撮像装置の普及に伴い機器の小型・軽量化が進展している。さらに撮像装置の高画質化に伴い像ぶれ補正機能に対する要望が益々高まっている。 In recent years, with the widespread use of imaging devices such as digital still cameras and video movies, the size and weight of devices have been reduced. Furthermore, with the improvement in image quality of imaging devices, there is an increasing demand for an image blur correction function.
従来の像ぶれ補正機能を有する撮像装置の一例(特許文献1)としては、互いに異なる情報に基づいて撮像装置のぶれ量を検出する第1および第2の動き検出手段と、第1および第2の動き検出手段より出力された第1および第2の動き情報に基づき演算して第3の動き情報を出力する第3の動き検出手段と、第3の動き検出手段より出力された第3の動き情報に基づいてぶれ量を補正すべく光学系の位置を制御する補正手段とを備えた物が知られている。 As an example of a conventional imaging apparatus having an image blur correction function (Patent Document 1), first and second motion detection units that detect a blur amount of the imaging apparatus based on different information, and first and second A third motion detecting means for outputting third motion information by calculating based on the first and second motion information outputted from the first motion detecting means; and a third motion detecting means outputted from the third motion detecting means. 2. Description of the Related Art There is known a device including correction means for controlling the position of an optical system to correct a shake amount based on motion information.
同撮像装置においては、検出対象の異なる複数の動き情報(例えば、加速度、速度および変位等を検出するセンサ等の各種の外部センサによって検出されるカメラの動き情報)を、映像信号の画像処理により得られる画像の動きベクトルと比較演算する事によりぶれ補正信号の適正化が行われる。そのようにして、画像のパターンによる検出精度のばらつきや誤動作を防止して応答性および感度等の諸特性に優れたぶれ補正機能を備えた撮像装置を提供することが図られている。 In the imaging apparatus, a plurality of pieces of motion information (for example, camera motion information detected by various external sensors such as sensors for detecting acceleration, speed, displacement, etc.) with different detection targets are obtained by image processing of a video signal. The blur correction signal is optimized by performing a comparison operation with the motion vector of the obtained image. In this way, it is intended to provide an imaging apparatus having a shake correction function that is excellent in various characteristics such as responsiveness and sensitivity by preventing variation in detection accuracy and malfunction due to image patterns.
さらに、上述の従来の撮像装置は、撮像手段からの撮像信号に画像処理を施すことにより画像の動きベクトルを抽出する方式に基づいて、外部センサおよびビデオカメラの動き情報をそれぞれ抽出する手段と、画像の動きベクトルとビデオカメラの動き情報とを比較演算する手段とを備える。そして、演算結果に基づいてぶれ補正量を求めることにより、外部センサのみに基づいてぶれ補正量を求める他の従来の撮像装置に比較して高精度および高感度であると共に応答性も改善されている。 Further, the above-described conventional imaging apparatus extracts the motion information of the external sensor and the video camera based on a method of extracting the motion vector of the image by performing image processing on the imaging signal from the imaging unit, Means for comparing and calculating the motion vector of the image and the motion information of the video camera. Then, by obtaining the shake correction amount based on the calculation result, the responsiveness is improved with higher accuracy and higher sensitivity than other conventional imaging devices that obtain the shake correction amount based only on the external sensor. Yes.
なお、被写体とビデオカメラとの相対的な運動により生じた画像の動きは、被写体の動きに起因するものと、ビデオカメラの動きに起因するものとに分離できる。したがって、補正すべき画像の動きと補正すべきでない画像の動きとを識別することによりぶれ補正システムのエラーが大幅に低減できる。又、カメラの動きベクトルの大きさを判断することによりカメラが動いていないと判断される場合には、ぶれ補正システム動作を停止させ、被写体の動きによる誤動作の防止を図っている。
上述の如く、特許文献1に提案されている撮像装置は、外部センサにのみ基づいてぶれ補正量を求める他の従来の撮像装置に比較して、より高精度および高感度で応答性も改善されている。そして、当該撮像装置は像ぶれを被写体の動きに起因するものと、ビデオカメラの動きに起因するものとの識別を意図している。しかしながら、同撮像装置においては、ユーザが撮像目的とする被写体のぶれを補正できない場合が多い。具体的には、動いている被写体は、必ずしもユーザが真に撮像目的と意図する被写体とは限らないので、ユーザの意図しない、例えば通行している車や人など背景の動く被写体によって、ユーザが撮像対象として意図する被写体に対するぶれ補正に関して誤動作を招いてしまう。
上述の問題を鑑みて、本発明は、ユーザが撮影したい被写体の像ぶれを防止する像ぶれ補正制御機能を有する撮像装置を提供する。
As described above, the imaging apparatus proposed in
In view of the above problems, the present invention provides an imaging apparatus having an image blur correction control function that prevents image blur of a subject that a user wants to shoot.
被写体の電気的な画像信号を出力する撮像装置であって、 光軸に対して垂直に移動制御することで像ぶれを防止する像ぶれ防止レンズを含む複数のレンズ群により前記被写体の光学的な像を形成する撮像光学系と、
前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、
前記撮像素子の出力画像信号の表示および記憶を行う画像処理手段と、
前記像ぶれ防止レンズの移動制御を行う像ぶれ制御手段とを備え、
前記像ぶれ制御手段は、像ぶれ補正誤差を演算する像ぶれ補正誤差演算手段と、前記像ぶれ補正誤差に基づいて前記画像信号の切り出し位置を補正する画像補正手段とで構成されることを特徴とする撮像装置。
An imaging apparatus that outputs an electrical image signal of a subject, and includes a plurality of lens groups including an image blur prevention lens that prevents image blur by controlling movement perpendicular to the optical axis. An imaging optical system for forming an image;
An image sensor that captures an optical image of the subject and converts it into the electrical image signal;
Image processing means for displaying and storing the output image signal of the image sensor;
Image blur control means for controlling movement of the image blur prevention lens,
The image blur control unit includes an image blur correction error calculation unit that calculates an image blur correction error, and an image correction unit that corrects a cutout position of the image signal based on the image blur correction error. An imaging device.
本発明によれば、ユーザが撮影を意図する被写体の像ぶれを防止する像ぶれ補正制御を備えた撮像装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device provided with the image blur correction control which prevents the image blur of the subject which a user intends to image | photograph can be provided.
(第1の実施の形態)
図1を参照して、本発明の第1の実施の形態に係る撮像装置の構成について説明する。撮像装置ICD1は、レンズ鏡筒100、撮像光学系ICSa、操作部110、表示部111、メモリーカード112、およびシステムコントローラ120を含む。撮像光学系ICSaは、ズームレンズ系101、像ぶれ補正用レンズユニット102a(以降、「OISユニット102a」と称す)、およびフォーカスレンズユニット103を含む。
(First embodiment)
With reference to FIG. 1, the structure of the imaging device according to the first embodiment of the present invention will be described. The imaging device ICD1 includes a
ズームレンズ系101は、ズームレンズ群101aおよびズームレンズ群101bを含む。なお、OISとはOptical Image Stabilizerの頭文字から成る略称である。
The
レンズ鏡筒100は、撮像光学系ICSaを保持する。撮像光学系ICSaは、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ系101と、像ぶれ補正を行うために光軸に対して垂直に移動するOISユニット102aと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズユニット103とによって、撮像対象物の光学画像を生成する。
The
そして、システムコントローラ120は、OISユニット制御部104a、フォーカス駆動部105、撮像素子であるCCD106、画像処理部107、および合焦情報算出部109aを含む。
The system controller 120 includes an
CCD106は、撮像光学系ICSaが生成した光学画像を所定のタイミングで撮像し、電気的な画像信号Svに変換して出力する撮像素子である。画像処理部107は、CCD106から出力された画像信号Svにホワイトバランス補正やγ補正などの所定の画像処理を施すと共に、所定のアドレスで画像を切り出して画像信号を生成する。必要に応じて、CCD106および画像処理部107から出力される画像信号Svをそれぞれ、第1の画像信号Sv1および第2の画像信号Sv2と呼んで識別するものとする。また、画像処理部107は、ユーザにより着脱可能なメモリーカード112と双方向にアクセス可能である。
The
表示部111は、好ましくは液晶ディスプレイで構成され、システムコントローラ120から出力される指令Cmdに基づいて、画像処理部107から出力される第2の画像信号Sv2を可視画像としてユーザに表示する。メモリーカード112は、システムコントローラ120から出力される指令Cmdに基づき、画像処理部107から出力される第2の画像信号Sv2を格納する。メモリーカード112は、当該格納されている第2の画像信号Sv2を画像処理部107を介して表示部111に供給する。このように、第1の画像信号Sv1はCCD106による対象物の撮影画像を表す電気信号であり、第2の画像信号Sv2は表示部111などが第1の画像信号Sv1に基づいて撮影画像を実際に表示する表示画像を表す電気信号である。
The
操作部110は、撮像装置本体の外側に設けられて、ユーザによる操作に応答して、撮像装置ICD1の全体の動作を制御する。なお、操作部110は、電源スイッチやシャッターボタン等を含む。
The
以下に、フォーカス駆動部105の動作について説明する。操作部110のシャッターボタンが半押しされた場合に、システムコントローラ120はこの半押しされた状態を検知すると、CCD106から出力される第1の画像信号Sv1を画像処理部107を経由して合焦情報算出部109aに転送させる。
Hereinafter, the operation of the
合焦情報算出部109aは、転送された第1の画像信号Sv1に含まれるコントラスト情報Icと、フォーカス駆動部105から出力されるフォーカスレンズユニット103の位置情報Ipfとに基づいて、デフォーカス量Vdf(図示せず)を算出する。合焦情報算出部109aは、算出されたデフォーカス量Vdfに基づいて、フォーカスレンズユニット103の位置を制御するための制御信号Scを生成して、フォーカス駆動部105に出力する。
The focus
フォーカス駆動部105は、フォーカスレンズユニット103を駆動させたときの位置情報Ipを合焦状態算出部109aに出力する。また、フォーカス駆動部105はシステムコントローラ120からの指令Cmd(図示せず)に基づき、フォーカスレンズユニット103を光軸方向に駆動する駆動信号Sdrを出力する機能も有する。なお、フォーカス駆動部105は、ユーザによるズームレバー(図示せず)の操作に応じてズームレンズ系101を光軸方向に駆動させる機能を有しても良い。
The
次に、図2、図3、図4、および図5を参照して、OISユニット102aについて詳細に説明する。図2は組み立てられたOISユニット102aの状態を斜め上方からみた様子を示し、図3はOISユニット102aの要部を分解した状態を示し、図4はピッチング移動枠2の背面を示し、図5は図4におけるV−V断面を示している。
Next, the OIS
図2に示すように、固定枠5には、ヨーイング移動枠4が左右方向のシャフト(図示せず)を介して左右方向に移動自在に支持されている。そして、ヨーイング移動枠4には、上下方向のシャフト4aとガイド溝4bが設けられている。
As shown in FIG. 2, a
図3に示すように、ピッチング移動枠2の本体2aには、シャフト4aにスライド自在に嵌合するガイド部材3bと、ガイド溝4bにスライド自在に嵌合するシャフト3aが設けられている。これらにより、OISユニット102aの像ぶれ防止レンズ1を保持するピッチング移動枠2がヨーイング移動枠4に上下方向に移動自在に保持されている。このようにして、像ぶれ防止レンズ1(OISユニット102a)は、ピッチング移動枠2およびヨーイング移動枠4を介して、図2に示した固定枠5に対して上下方向および左右方向に移動自在に支持されている。
As shown in FIG. 3, the
ピッチング移動枠2の本体2aには、像ぶれ防止レンズ1(OISユニット102a)を駆動するヨーイング用コイルパターン7Aおよびピッチング用コイルパターン7Bが形成された複数層、例えば4層の積層基板6が取付けられている。積層基板6には、像ぶれ防止レンズ1(OISユニット102a)の位置を検出するための位置検出センサであるホール素子(磁気センサ)8Aおよび8Bが取付けられている。
A plurality of layers, for example, a four-layer
ホール素子8Aおよび8Bは高精度に位置決め固定するために、積層基板6の基準穴6cおよび6dと同時に金型で打ち抜き加工された位置決め穴6aおよび6bに嵌合されている。位置決め穴6aおよび6bは、ホール素子8Aおよび8B(図3)が軽圧入可能なようにホール素子8Aおよび8Bの外形より少し小さく形成されている。そして、ホール素子8Aおよび8Bをそれぞれ位置決め穴6aおよび6bに軽圧入することで、位置決め穴6aおよび6b内にホール素子8Aおよび8Bがガタつくこともなく高精度に位置決めされる。
The
図4に示すように、積層基板6には、結線パターン9dが形成されたフレキシブルプリント板9が設けられている。フレキシブルプリント板9は、固定部9aと、可動部9bと、端子部9cとで構成されている。なお、固定部9aは積層基板6の背面に取付けられており、可動部9bは固定部9aから導出されて固定枠5(図3および図5参照)側に接続され、端子部9cは可動部9bの端部に取付けられて固定枠5側の給電および信号送受に供される。
As shown in FIG. 4, the
さらに、フレキシブルプリント板9の固定部9aであって、上述の位置決め穴6aおよび6bに近接する部分には、センサ用のランド部13aおよび13bがそれぞれ設けられている。そして、位置決め穴6aおよび6bに、それぞれホール素子8Aおよび8Bを嵌合することによって、ホール素子8Aおよび8Bの端子辺8b(図5参照)がセンサ用ランド13aおよび13bに接触する。その結果、半田付けする際に、ホール素子8Aおよび8Bを加圧保持する必要がなく、作業が容易であるので生産性が良い。
Further,
また、積層基板6には、ピッチング用のコイルパターン7Aとヨーイング用のコイルパターン7Bにそれぞれ接続されるランド部6eおよび6fが形成されている。ランド部6eおよび6fは、フレキシブルプリント板9の固定部9aに対応して形成されたランド部14aおよび14bに半田付けにより接続されている。そして、ランド部6eおよび6fは、フレキシブルプリント板9の固定部9aと可動部9bとに形成された結線パターン9dによって、端子部9cを介してコネクタ15に接続されている。結果、固定枠5(図2参照)側のコネクタ15から可動側のヨーイング移動枠4(図2参照)に対して、ホール素子8Aおよび8Bに対する電気信号の送受信と、コイルパターン7Aおよび7Bへの電力供給とを行うことができる。
The
図3、図4、および図5に示すように、固定枠5には、コイルパターン7Aおよび7Bに対向するマグネット10Aおよび10Bがヨーク11Aおよび11Bに取り付けられている。そして、ホール素子8Aおよび8Bの移動範囲の中心位置と、2極着磁したマグネット10Aおよび10Bの境界とが一致するように精度良く位置決めするために、固定枠5には、マグネット10Aおよび10Bの上下位置の少なくとも一方と、左右位置の少なくとも一方に当接する位置決め用凸部(位置決め部)12aおよび12bが設けられている。マグネット10Aおよび10Bは、位置決用凸部12aおよび12bに当接して、位置規制される。
As shown in FIGS. 3, 4, and 5,
図1に戻って、OISユニット制御部104aの機能について説明する。OISユニット制御部104aの動作する条件は、主に以下に述べるケース1、ケース2、およびケース3の3通りが考えられる。
<ケース1>
操作部110のシャッターボタンが半押しされた場合に、システムコントローラ120がシャッターボタンが半押し状態であることを検知して、OISユニット制御部104aをモニタ画面像ぶれ補正モードに設定する。そして、シャッターボタンが全押しされた場合には、システムコントローラ120がシャッターボタンの全押し状態であることを検知して、OISユニット制御部104aをモニタ画面像ぶれ補正モードから撮像画面像ぶれ補正モードに切換える。さらに、システムコントローラ120は、CCD106に第1の画像信号Sv1を出力させ、当該第1の画像信号Sv1を画像処理部107を介して第2の画像信号Sv2としてメモリーカード112に格納させた後に、OISユニット制御部104aの動作を終了させる。
Returning to FIG. 1, the function of the
<
When the shutter button of the
<ケース2>
操作部110のシャッターボタンが全押しされた場合に、システムコントローラ120がシャッターバタンが全押しされた状態であることを検知して、CCD106から第1の画像信号Sv1が出力される直前に、OISユニット制御部104aを起動させる。そして、CCD106から第1の画像信号Sv1が出力された後に、システムコントローラ120が画像処理部107を介してメモリーカードに第2の画像信号Sv2を格納させた後に、OISユニット制御部104aの動作を終了させる。
<
When the shutter button of the
<ケース3>
操作部110の電源スイッチがONになり、撮像装置ICD1が撮影モードのときにシステムコントローラ120が撮像装置ICD1が撮影モードであることを検知して、OISユニット制御部104aを起動させる。そして、電源スイッチがOFFになったり、メモリーカード112に格納されている第2の画像信号Sv2が画像処理部107を介して表示部111に供給されて、表示部111で画像表示されたりするなどの撮影モード以外のときに、システムコントローラ120はOISユニット制御部104aの動作を終了させる。
<
When the power switch of the
上述のケース1、ケース2、およびケース3の3通りの条件をそれぞれ撮像装置ICD1の本体に取付けられたメニュー釦(図示せず)によって切換えるように構成しても良い。また、スチル画像を撮影する場合はケース1或いはケース2に、そして動画像を撮影する場合はケース3にというように撮影モードに応じて自動的に切換えるようにしても良い。
The three conditions of
図6を参照して、本実施の形態に係る像ぶれ補正機能について説明する。贈ぶれ補正機能は、OISユニット102aおよびOISユニット制御部104aによって実現される。OISユニット102aは、OISアクチュエータ31xおよび31yと位置検出センサ32xおよび32yを含む。OISアクチュエータ31xは像ぶれ防止レンズ1(OISユニット102a)と共に左右方向(ヨーイング方向)に移動するコイルパターン7Bと固定枠5に固定されたマグネット10Bおよびヨーク11Bで構成される。位置検出センサ32xはホール素子8Bで形成される。
With reference to FIG. 6, the image blur correction function according to the present embodiment will be described. The gift correction function is realized by the
そして、OISアクチュエータ31yは、像ぶれ防止レンズ1(OISユニット102a)と共に上下方向(ピッチング方向)に移動するコイルパターン7Aと固定枠5に固定されたマグネット10Aおよびヨーク11Aで構成される。位置検出センサ32yはホール素子8Aで構成される。
The
OISユニット制御部104aは、ゲイン補正部33xおよび33yと、角速度センサ34xおよび34yと、積分器35xおよび35yと、ゲイン補正部36xおよび36yと、比較部37xおよび37yと、OISユニット駆動部38xおよび38yと、画像シフト量演算部39xおよび39yとを含む。
The OIS
角速度センサ34xは、像ぶれ防止レンズ1(OISユニット102a)を左右方向(ヨーイング方向)に移動させるOISアクチュエータ31xに対応する方向の角速度Axを検出する。積分器35xは、角速度センサ34xから出力される角速度Axを積分して角度情報IAxを出力する。OISユニット駆動部38xは、コイルパターン7Bに電力を供給する。ゲイン補正部33xは、位置検出センサ32xから出力される可動部の位置情報IPxを所定のゲインK1で倍増させる。ゲイン補正部36xは、積分器35xから出力される角度情報IAxを所定のゲインK2で倍増させる。
The
比較部37xは、ゲイン補正部33xから出力される可動部の位置情報K1*IPxと、ゲイン補正部36xから出力される撮像装置本体の角度情報K2*IAxとを比較する。その比較結果は、比較部37xから、OISユニット駆動部38xおよび画像シフト量演算部39xに対する制御信号Scxとして出力される。つまり、当該制御信号Scxに基づいて、OISユニット駆動部38xはOISアクチュエータ31xの可動部の位置を制御する。また、画像シフト量演算部39xは、同制御信号Scx(つまり、ゲイン調整部33xから出力されるOISユニット102のx方向の位置情報であるK1・IPxとゲイン調整部36xから出力される撮像装置のx方向の角度振れ情報K2・IAxとの差K2・IAx−K1・IP)に基づいてx方向の画像シフト量ISx(以降、「x方向画像シフト量ISx」)を演算する。
The
同様に、角速度センサ34yは、像ぶれ防止レンズ1(OISユニット102a)を上下方向(ピッチング方向)に移動させるOISアクチュエータ31yに対応する方向の角速度Ayを検出する。積分器35yは、角速度センサ34yから出力される角速度Ayを積分して角度情報IAyを出力する。OISユニット駆動部38yは、コイルパターン7Aに電力を供給する。ゲイン補正部33yは、位置検出センサ32yから出力される可動部の位置情報IPyを所定のゲインK1で倍増する。ゲイン補正部36yは、積分器35yから出力される角度情報を所定のゲインK2で倍増する。
Similarly, the
比較部37yは、ゲイン補正部33yから出力される可動部の位置情報K1・IPyと、ゲイン補正部36xから出力される撮像装置本体の角度情報K2・IAyとを比較する。その比較結果は、比較部37xから、OISユニット駆動部38yおよび画像シフト量演算部39yに対する制御信号Scyとして出力される。つまり、当該制御信号Scyに基づいて、OISユニット駆動部38yはOISアクチュエータ31yの可動部の位置を制御する。また、画像シフト量演算部39yは、同制御信号Scy(つまり、ゲイン調整部33yから出力されるOISユニット102aのy方向の位置情報K1・IPyとゲイン調整部36yから出力される撮像装置のy方向の角度振れ情報K2・IAyとの差K2・IAy−K1・IPy)に基づいてy方向画像シフト量ISy(以降、「y方向画像シフト量ISy」)を演算する。
The
以降、必要に応じて、OISアクチュエータ31xおよび31yをOISアクチュエータ31と総称し、位置検出センサ32xおよび32yを位置検出センサ32と総称し、ゲイン補正部33xおよび33yをゲイン補正部33と総称し、角速度センサ34xおよび34yを角速度センサ34と総称し、積分器35xおよび35yを積分器35と総称し、ゲイン補正部36xおよび36yをゲイン補正部36と総称し、比較部37xおよび37yを比較部37と総称し、OISユニット駆動部38xおよび38yをOISユニット駆動部38と総称し、そして画像シフト量演算部39xおよび39yを画像シフト量演算部39と総称する。上述のように、OISアクチュエータ31、位置検出センサ32、ゲイン補正部33、比較部37、およびOISユニット駆動部38は制御ループゲインを構成している。
Hereinafter, as necessary, the
上述の如く構成された、OISユニット102aおよびOISユニット制御部104aにおいて、像ぶれ補正機能は以下の如く実現される。つまり、撮像装置ICD1の左右方向の振れに対して像ぶれを補正の元となるx方向の角度振れ情報K2・IAxは角速度センサ34xおよび積分器35xを通してゲイン補正部36xから出力される。左右方向の振れのない状態では、ゲイン補正部36xからは所定の基準電圧がx方向の角度振れ情報K2・IAxとして出力される。このx方向の角度振れ情報K2・IAxの基準電圧にあわせて、OISユニット駆動部38x、OISアクチュエータ31x、位置検出センサ32x、およびゲイン補正部33xによって像ぶれ防止レンズ1の位置が制御される。すなわち、この状態では比較部37xからOISユニット駆動部38xに出力される電圧はほぼ0となり、像ぶれ防止レンズ1の中心は像ぶれ防止レンズ1以外の撮像光学系ICSaのほぼ中心を通る垂直線に一致する。
In the
撮像装置ICD1に左右方向の振れが生じた状態では、ゲイン補正部36xからは撮像光学系ICSaのx方向の回転角度に基づく電圧が出力される。この電圧によって、像ぶれ防止レンズ1をこの左右方向の回転角度分だけ像ぶれを生じない方向に移動させる。したがって、ゲイン補正部33xとゲイン補正部36xとでは、像ぶれ防止レンズ1を位置検出センサ32xで検出した出力(x方向の角度振れ情報K2・IAx)に対して像ぶれを生じない位置に移動させるために必要な電力がOISユニット駆動部38xからOISアクチュエータ31xに出力されるように調整される。具体的には、撮像装置ICD1が工場より出荷される時点で調整される。
In a state in which the imaging apparatus ICD1 is shaken in the left-right direction, a voltage based on the rotation angle in the x direction of the imaging optical system ICSa is output from the
一方、撮像装置ICD1の上下(y)方向の振れに対する像ぶれを補正の元となるy方向の角度振れ情報K2・IAyは角速度センサ34yおよび積分器35yを通してゲイン補正部36yから出力される。上下方向の振れのない状態では、ゲイン補正部36yからは所定の基準電圧が制御指令信号として出力される。このy方向の角度振れ情報K2・IAyの基準電圧に一致するように、OISユニット駆動部38y、OISアクチュエータ31y、位置検出センサ32yおよびゲイン補正部33yによって像ぶれ防止レンズ1の位置が制御される。すなわち、この状態では比較部37yからOISユニット駆動部38yに出力される電圧はほぼ0となり、像ぶれ防止レンズ1の中心は像ぶれ防止レンズ1以外の撮像光学系ICSaのほぼ中心を通る水平線に一致する。
On the other hand, the angular shake information K2 · IAy in the y direction, which is the basis for correcting image blur due to the shake in the vertical (y) direction of the imaging device ICD1, is output from the
撮像装置ICD1に上下方向の振れを生じた状態では、ゲイン補正部36yからは撮像装置ICD1のy方向の回転角度に基づく電圧が出力される。この上下方向の回転角度に基づく電圧によって、この上下方向の回転角度分だけ像ぶれを生じない方向に像ぶれ防止レンズ1が移動させられる。したがって、ゲイン補正部33yとゲイン補正部36yとでは、位置検出センサ32yで検出した出力に対して像ぶれを生じない方向に像ぶれ防止レンズ1を移動させるために必要な電力がOISユニット駆動部38yからOISアクチュエータ31yに出力されるように調整される。具体的には、具体的には、撮像装置ICD1が工場より出荷される時点で調整される。
In a state where the imaging device ICD1 is shaken in the vertical direction, the
次に、図7を参照して、画像処理部107について説明する。画像処理部107は、画像読出部41、画像切出部42、画像合成部43、および画像メモリ44を含む。画像処理部107は、主に電子的な像ぶれ補正機能を有する。画像読出部41は、CCD106から出力される第1の画像信号Sv1から1フレーム分の画像データを読み出して第1の画像データDi1として合焦情報算出部109aおよび画像切出部42に対して出力する。合焦情報算出部109aは、第1の画像データDi1をフォーカスレンズユニット103を駆動して合焦させるための評価値として用いて、コントラスト情報を演算する。
Next, the
画像切出部42は、第1の画像データDi1および第1の画像データDi1に対応するx方向画像シフト量ISxとy方向画像シフト量ISyとに基づいて、OISアクチュエータ31によって補正しきれなかった像ぶれ分を補正するように第1の画像データDi1から第2の画像データDi2を切り出して、画像合成部43へ出力する。つまり、第1の画像データDi1は、OISアクチュエータ31で撮影前に光学的に像ぶれ防止された状態でのCCD106で撮像された撮影画像(第1の画像信号Sv1)の1フレーム画像データであり、画像データDi2は光学的に像ぶれ防止されて撮影された後にさらに電子的に像ぶれ補正された1フレーム画像データである。
The
すなわち、第1の画像データDi1は、前フレームから現フレームでの撮影に際して生じる撮像装置ICDの像ぶれ防止レンズ1(撮像光学系ICSa)の動きに起因して生じるであろう像ふれが光学的に防止されて撮像される画像データである。そして、第2の画像データDi2は、第1の画像データDi1において光学的な像ぶれ防止機能で防ぎ切れていない像ぶれを、画像処理(ピクセル単位の切り出しアドレスを調整)することで、さらに補正された画像データである。 That is, the first image data Di1 has an optical image blur that may be caused by the movement of the image blur prevention lens 1 (imaging optical system ICSa) of the imaging apparatus ICD that occurs during imaging from the previous frame to the current frame. The image data is captured while being prevented. The second image data Di2 is further corrected by performing image processing (adjusting the cutout address in pixel units) on image blurring that cannot be completely prevented by the optical image blurring prevention function in the first image data Di1. Image data.
この意味において、第1の画像データDi1および第2の画像データDi2をそれぞれ、必要に応じて、光学的像ぶれ防止撮影画像データおよび光学的像ぶれ防止撮影/電子的像ぶれ補正画像データと呼んで識別する。また、第1の画像データDi1および第2の画像データDi2、すなわち光学的像ぶれ防止撮影画像データDi1および光学的像ぶれ防止撮影/電子的像ぶれ補正画像データDi2が表す画像を、それぞれ、光学的像ぶれ防止撮影画像I1および光学的像ぶれ防止撮影/電子的像ぶれ補正画像I2と称する。 In this sense, the first image data Di1 and the second image data Di2 are referred to as optical image blurring prevention photographed image data and optical image blurring prevention photographing / electronic image blurring correction image data, respectively, as necessary. Identify with Further, the first image data Di1 and the second image data Di2, that is, the images represented by the optical image blurring prevention captured image data Di1 and the optical image blurring prevention photographing / electronic image blurring correction image data Di2, are respectively optically displayed. These are referred to as a target image blur prevention photographed image I1 and an optical image blur prevention photograph / electronic image blur correction image I2.
画像合成部43は、CCD106、画像読出部41および画像切出部42を介して入力された複数枚の撮影画像分の光学的像ぶれ防止撮影/電子的像ぶれ補正画像データDi2を画像メモリ44に記憶させる。画像合成部43は、撮像装置ICD像ぶれ防止レンズ1による撮像が終了した後に、画像メモリ44に記憶されている複数枚の電子的像ぶれ補正画像データDi2を加算平均して画像合成を行い、第3の画像データDi3を生成する。なお、第1の画像データDi1、第2の画像データDi2、および第3の画像データDi3を画像データDiと総称する。
The
そして、画像合成部43は、第3の画像データDi3を表示部111或いはメモリーカード112に転送する。なお、複数枚の画像データ(第2の画像データDi2)は、1枚の画像データを1フレーム単位として、システムコントローラ120から出力される同期信号(30〜120[Hz])のタイミングで1フレームずつ処理される。
Then, the
図8および図9を参照して、光学的像ぶれ防止撮影画像I1に対する電子的像ぶれ補正について説明する。図8は、光学的像ぶれ防止撮影画像I1(第1の画像データDi1)における画素配置の一例を示している。図9はCCD106によって撮影され光学的像ぶれ防止撮影画像I1(第1の画像データDi1)と、画像読出部41によって読み出される電子的像ぶれ補正画像I2(第2の画像データDi2)との位置関係を示している。
With reference to FIGS. 8 and 9, the electronic image blur correction for the optical image blur prevention captured image I1 will be described. FIG. 8 shows an example of the pixel arrangement in the optical image blur prevention captured image I1 (first image data Di1). FIG. 9 shows the positions of the optical image blur prevention photographed image I1 (first image data Di1) photographed by the
具体的には、図8において、r(0,0)、g(1,0)、b(1,1)などは、(m+1)×(n+1)個の画素数で表される画素単位を表している。つまり、( )内は、光学的像ぶれ防止撮影画像I1として表示される或いは、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2として切り出される矩形画像を構成する個々の画素の座標を示している。つまり、本例においては、光学的像ぶれ防止撮影画像I1は左から順に0からmまでのm+1列、上から順に0からnまでのn+1行の画素マトリックにおける二次元の位置情報からなる。例えば、500万画素のCCDではm=2559、n=1919、400万画素のCCDではm=2303、n=1727で表される。 Specifically, in FIG. 8, r (0,0), g (1,0), b (1,1), etc. are pixel units represented by the number of (m + 1) × (n + 1) pixels. Represents. In other words, () shows the coordinates of individual pixels constituting a rectangular image that is displayed as an optical image blur prevention photographed image I1 or cut out as an optical blur prevention photograph / electronic image blur correction image I2. Yes. In other words, in this example, the optical image blur prevention captured image I1 includes two-dimensional position information in a pixel matrix of m + 1 columns from 0 to m sequentially from the left and n + 1 rows from 0 to n sequentially from the top. For example, m = 2559 and n = 1919 for a CCD with 5 million pixels, and m = 2303 and n = 1727 for a CCD with 4 million pixels.
r(0,0)、g(1,0)、b(1,1)は、それぞれ、r(m,n)、g(m,n)、b(m,n)と一般化できる。つまり、1画素を256階調で表すと、r(m,n)は赤色の情報を256階調で表した数値が格納される。g(1,0)は緑色の情報を256階調で表した数値が格納される。b(1,1)は青色の情報を256階調で表した数値が格納される。つまり、図8において、光学的像ぶれ防止撮影画像I1の画素配置において、m座標が0とm、n座興が0とnで表される画素、つまり、r(0,0)、g(m,0)、b(m,n)、g(0,n)、r(0,0)の順で結んだ画素を含む外側の枠は、光学的像ぶれ防止撮影画像I1の輪郭を表している。
r (0,0), g (1,0) and b (1,1) can be generalized as r (m, n), g (m, n) and b (m, n), respectively. In other words, when one pixel is represented by 256 gradations, r (m, n) stores a numerical value representing red information in 256 gradations. g (1,0) stores a numerical value representing green information in 256 gradations. b (1,1) stores a numerical value representing blue information in 256 gradations. That is, in FIG. 8, in the pixel arrangement of the optical image blur prevention captured image I <b> 1, pixels represented by m
図9において、実線で表されている矩形Oi1(1)、Oi1(2)、Oi1(3)、およびOi1(4)は、CCD106によって生成された連続する4フレームの光学的像ぶれ防止撮影画像I1(1)、I1(2)、Ii(3)、およびIi(4)の輪郭を示している。本例においては、光学的像ぶれ防止撮影画像I1(1)、I1(2)、Ii(3)、およびIi(4)は、それぞれ、1番目、2番目、3番目、および4番目のフレームの光学的像ぶれ防止撮影画像を表している。光学的像ぶれ防止撮影画像I1(1)〜I1(4)において、符号Pは被写体を表している。また、一点鎖線で表されている矩形Oi2(1)、Oi2(2)、Oi2(3)、およびOi2(4)は、それぞれ、光学的像ぶれ防止撮影画像I1(1)、I1(2)、I1(3)、およびI1(4)から切り出される光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)、I2(2)、I2(3)、およびI2(4)の輪郭を示している。
In FIG. 9, rectangles Oi1 (1), Oi1 (2), Oi1 (3), and Oi1 (4) represented by solid lines are four consecutive frames of an optical image blur-captured photographed image generated by the
光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)、I2(2)、I2(3)、およびI2(4)のそれぞれは同一の大きさである。しかしながら、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)、I2(2)、I2(3)、およびI2(4)それぞれの光学的像ぶれ防止撮影画像I1(1)、I1(2)、Ii(3)、およびIi(4)における位置は異なる。 Each of the optical blur prevention photographing / electronic image blur correction images I2 (1), I2 (2), I2 (3), and I2 (4) has the same size. However, the optical image blur prevention captured / electronic image blur corrected images I2 (1), I2 (2), I2 (3), and I2 (4) are respectively optical image blur preventive captured images I1 (1), I1 ( 2) The positions in Ii (3) and Ii (4) are different.
つまり、光学的像ぶれ防止撮影画像I1における像ぶれが補正されるように、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2が光学的像ぶれ防止撮影画像I1から切り出される位置がx方向或いはy方向へシフトされる。同図において、丸の中にそれぞれ1、2、3、および4を附した符号(以降、符号1、符号2、符号3、および符号4と称す)は、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2のシフト量について説明するために、光学的像ぶれ防止撮影画像I1の輪郭Oi1に対する、被写体P1の特定の一部を表す位置変化を示す為に任意に選ばれた指標点を示している。
That is, the position where the optical image blur prevention / electronic image blur correction image I2 is cut out from the optical image blur prevention captured image I1 is set in the x direction or so that the image blur in the optical image blur prevention captured image I1 is corrected. Shifted in the y direction. In the figure, reference numerals with 1, 2, 3, and 4 in circles (hereinafter referred to as
以下に、上述の4枚の連続するフレームに関する光学的像ぶれ防止撮影画像I1(1)〜I1(4)と、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)〜I2(4)との画像例を参照して、露光期間内に像ぶれ防止レンズ1による光学的な像ぶれ補正処理で防止しきれなかった像ぶれを、OISユニット制御部104aから出力される像ぶれ補正誤差情報ISeを用いてさらに電子的に補正する電子的像ぶれ補正について述べる。
In the following, optical image blur prevention captured images I1 (1) to I1 (4) relating to the four consecutive frames described above, and optical blur prevention captured / electronic image blur correction images I2 (1) to I2 (4). ), An image blur correction error output from the OIS
<1番目フレーム>
CCD106から出力される1番目のフレームの光学的像ぶれ防止撮影画像I1(1)においては、被写体Pは光学的像ぶれ防止撮影画像I1(1)のほぼ中央に位置している。よって、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)は光学的像ぶれ防止撮影画像I1(1)に対してほぼ同心状に切り出される。このようにして、1番目フレームの第1の画像データDi1(1)から1番目フレームの第2の画像データDi2(1)が生成される。なお、光学的像ぶれ防止撮影画像I1(1)における被写体P1の指標点は初期位置である符号1の位置としている。
<First frame>
In the optical image blur prevention photographed image I1 (1) of the first frame output from the
<2番目フレーム>
2番目のフレームの光学的像ぶれ防止撮影画像I1(2)において、光学的像ぶれ防止撮影画像I1(1)の輪郭Oi1(1)および被写体Pが点線で表されている。光学的像ぶれ防止撮影画像I1(1)の場合に比べて、光学的像ぶれ防止撮影画像I1(2)においては被写体P1は左斜め方向に、つまり指標点が符号1の位置から符号2の位置に移動している。よって、被写体P1が光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(2)のほぼ中心に位置するように、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(2)が光学的像ぶれ防止撮影画像I1(2)から切り出される。
<Second frame>
In the optical image blur prevention photographed image I1 (2) of the second frame, the outline Oi1 (1) and the subject P of the optical image blur prevention photographed image I1 (1) are represented by dotted lines. Compared to the optical image blur prevention photographed image I1 (1), in the optical image blur prevention photographed image I1 (2), the subject P1 is tilted to the left, that is, the index point is from the position of
この際の処理について、以下に具体的に説明する。1番目フレームと2番目フレームとの間隔を1/120[秒]とした場合には、1/120[秒]の間に、指標点が符号1の位置から符号2の位置へ移動したことを示すベクトル値が像ぶれ補正誤差情報ISeとして出力される。像ぶれ補正誤差情報ISeは、図6に示した画像シフト量演算部39xで演算されるx方向画像シフト量ISxと、画像シフト量演算部39yで演算されるy方向画像シフト量ISyとで表現される。
The processing at this time will be specifically described below. When the interval between the first frame and the second frame is 1/120 [second], the index point has moved from the position of
つまり、x方向画像シフト量ISxは、ゲイン調整部33xから出力されるOISユニット102aのx方向の位置情報とゲイン調整部36xから出力される撮像装置ICD1のx方向の角度振れ情報との差(すなわち光学的な像ぶれ補正で補正しきれなかった像ぶれ)に基づいて、画像シフト量演算部39xによって演算される。そして、y方向画像シフト量ISyは、ゲイン調整部33yから出力されるOISユニット102aのy方向の位置情報とゲイン調整部36yから出力される撮像装置ICD1のy方向の角度振れ情報との差(すなわち光学的な像ぶれ補正で補正しきれなかった像ぶれ)に基づいて、画像シフト量演算部39yによって演算される。
That is, the x-direction image shift amount ISx is the difference between the position information in the x direction of the
<3番目フレーム>
3番目のフレームの光学的像ぶれ防止撮影画像I1(3)において、光学的像ぶれ防止撮影画像I1(2)の輪郭Oi1(2)および被写体Pが点線で表されている。つまり、光学的像ぶれ防止撮影画像I1(3)においては、光学的像ぶれ防止撮影画像I1(2)の場合に比べて、被写体P1は下方向に、つまり指標点が符号2の位置から符号3の位置に移動している。よって、被写体P1が光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(3)のほぼ中心に位置するように、像ぶれ補正誤差情報ISeに基づいて、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(3)が光学的像ぶれ防止撮影画像I1(3)から切り出される。
<3rd frame>
In the optical image blur prevention photographed image I1 (3) of the third frame, the outline Oi1 (2) and the subject P of the optical image blur prevention photographed image I1 (2) are represented by dotted lines. In other words, in the optical image blur prevention photographed image I1 (3), the subject P1 is in a lower direction than the case of the optical image blur prevention photographed image I1 (2). It has moved to
<4番目フレーム>
4番目のフレームの光学的像ぶれ防止撮影画像I1(4)において、光学的像ぶれ防止撮影画像I1(3)の輪郭Oi1(3)および被写体Pが点線で表されている。光学的像ぶれ防止撮影画像I1(4)においては、点線で示す光学的像ぶれ防止撮影画像I1(3)の場合に比べて、被写体P1は右方向に、つまり指標点が符号3の位置から符号4の位置に移動している。よって、被写体P1が光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(4)のほぼ中心に位置するように、像ぶれ補正誤差情報ISeに基づいて、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(4)が光学的像ぶれ防止撮影画像I1(4)から切り出される。
<4th frame>
In the optical image blur prevention photographed image I1 (4) of the fourth frame, the outline Oi1 (3) and the subject P of the optical image blur prevention photographed image I1 (3) are represented by dotted lines. In the optical image blur prevention photographed image I1 (4), the subject P1 is in the right direction, that is, from the position of the
上述のように、CCD106から画像データを切り出す範囲がシフトされて、第2の画像データDi2が生成される。(以降、「シフト切り出し」と称する)。このように、シフト切り出しされたフレーム分の第2の画像データDi2(1)〜Di2(4)が別々に画像メモリ44に格納される。
As described above, the range in which the image data is cut out from the
そして、1番目フレームの光学的像ぶれ防止撮影画像I1(1)から切り出された光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)の第2の画像データDi2(1)に対して、2番目フレームの光学的像ぶれ防止撮影画像I1(2)から切り出された光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(2)の第2の画像データDi2(2)、3番目フレームの光学的像ぶれ防止撮影画像I1(3)から切り出された光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(3)の第2の画像データDi2(3)、および4番目フレームの光学的像ぶれ防止撮影画像I1(4)から切り出された光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(4)の第2の画像データDi2(4)が重ね合わされる。つまり、4つのフレームにおける同一アドレス上の画素毎にデータの加算が行われ、加算された各画素データが1024階調で表される。 Then, with respect to the second image data Di2 (1) of the optical blur prevention photographing / electronic image blur correction image I2 (1) cut out from the optical image blur prevention photographing image I1 (1) of the first frame. Second image data Di2 (2) of the second image data Di2 (2) of the optical blur prevention photographed / electronic image blur correction image I2 (2) cut out from the second frame of the optical image blur prevention photographed image I1 (2), the third frame The second image data Di2 (3) of the optical image blur prevention photograph / electronic image blur correction image I2 (3) cut out from the optical image blur prevention photograph image I1 (3) of the first and the fourth frame optical The second image data Di2 (4) of the optical blur prevention photographing / electronic image blur correction image I2 (4) cut out from the image blur prevention photographing image I1 (4) is superimposed. That is, data is added for each pixel on the same address in the four frames, and each added pixel data is represented by 1024 gradations.
具体的には、1番目フレームの被写体P1の指標点の符号1の位置の座標をr(20,20)、g(21,20)、g(20,21)、およびb(21,21)で表す。2番目フレームの被写体P1の指標点の符号2の位置の座標をr(16,16)、g(17,16)、g(16,17)、およびb(17,17)で表す。3番目フレームの被写体P1の指標点の符号3の位置の座標をr(16,24)、g(17,24)、g(16,25)、およびb(17,25)で表す。そして、4番目フレームの被写体P1の指標点の符号4のの座標をr(24,24)、g(25,24)、g(24,25)、およびb(25,25)で表す。この場合、それぞれ次式(1)、(2)、(3)、および(4)で表されるR(20,20)、G(21,20)、G(20,21)、およびB(21,21)の1024階調で表される画像データが生成される。
Specifically, the coordinates of the position of
R(20,20)=r(20,20)+r(16,16)+r(16,24)
+r(24,24) ・・・・ (1)
G(21,20)=g(21,20)+g(17,16)+g(17,24)
+g(25,24) ・・・・ (2)
G(20,21)=g(20,21)+g(16,17)+g(16,25)
+g(24,25) ・・・・ (3)
B(21,21)=b(21,21)+b(17,17)+b(17,25)
+b(25,25) ・・・・ (4)
R (20,20) = r (20,20) + r (16,16) + r (16,24)
+ R (24, 24) (1)
G (21,20) = g (21,20) + g (17,16) + g (17,24)
+ G (25, 24) (2)
G (20,21) = g (20,21) + g (16,17) + g (16,25)
+ G (24, 25) (3)
B (21,21) = b (21,21) + b (17,17) + b (17,25)
+ B (25, 25) (4)
このように第2の画像データDi2(1)〜Di2(4)のすべての画素においても同様の計算を行い、例えばCCD106の画素数を500万画素として、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)を、r(8,8)、g(2551,8)、b(2551,1911)、g(8,1911)、r(8,8)の順番で結んだ輪郭Oi2(1)に含まれる画素エリアとして定義する。そして、1番目フレームと2番目フレーム、3番目フレーム、および4番目フレームの光学的ぶれ防止撮影/電子的像ぶれ補正画像I2(1)〜I2(4)の各画素を次式(5)、(6)、(7)、および(8)で表す様に順次加算して第3の画像データDi3を生成する。
In this way, the same calculation is performed for all the pixels of the second image data Di2 (1) to Di2 (4). For example, assuming that the number of pixels of the
R(8,8)=r(8,8)+r(4,4)+r(4,12)
+r(12,12) ・・・・(5)
G(9,8)=g(9,8)+g(5,4)+g(5,12)
+g(13,12) ・・・・(6)
G(2551,8)=g(2551,8)+g(2547,4)
+g(2547,12)+g(2555,12)・・・・(7)
B(2551,1911)=b(2551,1911)+b(2547,1907)
+b(2547,1915)+b(2555,1915)
・・・・(8)
R (8,8) = r (8,8) + r (4,4) + r (4,12)
+ R (12,12) (5)
G (9,8) = g (9,8) + g (5,4) + g (5,12)
+ G (13, 12) (6)
G (2551,8) = g (2551,8) + g (2547,4)
+ G (2547,12) + g (2555,12) (7)
B (2551, 1911) = b (2551, 1911) + b (2547, 1907)
+ B (2547, 1915) + b (2555, 1915)
.... (8)
上述の式に基づき算出された第3の画像データDi3に、ホワイトバランス補正やγ補正などの所定の画像処理を施して生成された第4の画像データDi4(図示せず)を表示部111へ転送して画像を表示させたり、メモリーカード112に転送したりする。なお、上記のようにホワイトバランス補正やγ補正が施された生成された画像データの変わりに、そのような処理が施される前の加算した状態の第3の画像データDi3を画像表示或いはメモリーカード112に転送しても良い。また、これらの第3の画像データDi3或いは第4の画像データDi4のそれぞれを4で除算して256階調の第5の画像データDi5(図示)せずとして転送しても良い。なお、上述の第3の画像データDi3、第4の画像データDi4、および画像データDi5のそれぞれに対応する画像信号を第3の画像信号Sv3、第4の画像信号Sv4、および第5の画像信号Sv5と識別するものとする。
The fourth image data Di4 (not shown) generated by performing predetermined image processing such as white balance correction and γ correction on the third image data Di3 calculated based on the above formula is displayed on the
次に、図10に示すフローチャートを参照して、システムコントローラ120によるOISユニット制御部104aの動作について説明する。簡単に言えば、システムコントローラ120は、操作部110のシャッターボタンが全押しされた状態を検知して、CCD106が第1の画像信号Sv1(第1の画像データDi1)を出力する直前にOISユニット制御部104aを起動させる。そして、システムコントローラ120は、CCD106から第1の画像信号Sv1を出力させて画像処理部107を介して、上述した電子的な像ぶれ補正を施した後に、上述の第3の画像データDi3、第4の画像データDi4、或いは画像データDi5に想到する画像信号Sv(Sv3、Sv4、或いはSv5)をメモリーカード112に格納させ、その後にOISユニット制御部104aの動作を終了する例について説明する。なお、操作部110のシャッターボタンが全押しされた状態が検知された時点で、本フローチャートに示す処理が開始される。
Next, the operation of the
先ず、ステップS101において、OISユニット制御部104aの動作が開始される。そして、先に述べた制御ループが機能して基準位置に、像ぶれ補正用レンズユニット(、OISユニット)102が保持されるとともに、角速度センサ34の出力が積分された撮像装置の振れ角度情報を指令として光学的な像ぶれ防止が機能する。そして、光学的像ぶれ防止撮影が行われる。
First, in step S101, the operation of the
ステップS102において、CCD106から1フレーム分の光学的像ぶれ防止撮影画像I1の第1の画像信号Sv1が画像処理部107へ出力される。
In step S <b> 102, the first image signal Sv <b> 1 of the optical image blurring prevention captured image I <b> 1 for one frame is output from the
ステップS103において、上述の像ぶれ補正用レンズユニット(OISユニット)102による光学的な像ぶれ補正処理で補正しきれなかった像ぶれが、OISユニット制御部104aから出力される像ぶれ補正誤差情報ISeに基づいて、x方向およびy方向画像シフト量として算出される。なお、500万画素CCDの場合、画像は2560×1920画素数で構成され、x方向の2560画素に対応する画角を50度とすると、51.2[画素/度]を係数として角度で表される補正誤差情報が画像シフト量に換算可能である。
In step S103, image blur correction error information ISe output from the OIS
ステップS104aにおいて、画像切出部42によって、x方向およびy方向のシフト量に基づき1フレーム分の光学的ぶれ防止撮影/電子的像ぶれ補正画像I2の第2の画像データDi2が切り出されて、画像メモリ44に記憶される。
In step S104a, the
ステップS105において、上述のように4フレーム分の第2の画像データDi2(1)、第2の画像データDi2(2)、第2の画像データDi2(3)、および第2の画像データDi2(4)の画像メモリ44への記憶が完了したか否かが判定される。つまり、ステップS104a迄の処理が1番目、2番目、および3番目フレームに対する場合には、本ステップにおいてNoと判断されて制御は上述のステップS102に戻る。そして、ステップS104a迄の処理が4番目フレームに対する場合に、本ステップにおいてYesと判断されて制御は次のステップS106に進む。
In step S105, the second image data Di2 (1), the second image data Di2 (2), the second image data Di2 (3), and the second image data Di2 (4) for four frames as described above. It is determined whether or not the storage in the
ステップS106において、上述のように、4フレーム分の第2の画像データDi2の加算処理が行われる。つまり、像ぶれ補正誤差情報ISeに基づいて、第2の画像データDi2の切り出しおよび加算処理を行うことによって、光学的な像ぶれ防止処理で取りきれなかった像ぶれに対して電子的な像ぶれ補正処理が施されて、画像合成が行われる。結果、第3の画像データDi3が生成される。 In step S106, as described above, the addition processing of the second image data Di2 for four frames is performed. In other words, by performing the cut-out and addition processing of the second image data Di2 based on the image blur correction error information ISe, an electronic image blur is obtained with respect to an image blur that cannot be completely removed by the optical image blur prevention process. Correction processing is performed, and image composition is performed. As a result, third image data Di3 is generated.
ステップS107において、表示部111或いはメモリーカード112に、ステップS106において合成された第3の画像データDi3が出力される。そして、撮影処理が終了される。なお、ステップS106における画像処理後に、上述のように第3の画像データDi3にさらに所定の画像処理を施して第4の画像データDi4、さらに画像データDi5を静止して、第3の画像データDi3と同様に出力しても良いことは言うまでもない。
In step S107, the third image data Di3 synthesized in step S106 is output to the
(第2の実施の形態)
以下に、図11、図12、および図13図を参照して、本発明の第2の実施の形態に係る撮像装置について説明する。本実施の形態に係る撮像装置ICD2は、図1に示した第1の実施の形態に係る撮像装置ICD1において、OISユニット102aがOISユニット102bに交換され、OISユニット制御部104aがOISユニット制御部104bに交換され、合焦情報算出部109aが合焦情報算出部109bに交換されると共に、特徴点抽出部122が新たに設けられている。よって、特に必要のない限り、撮像装置ICD2に固有の特徴について重点的に説明する。
(Second Embodiment)
Hereinafter, an imaging apparatus according to the second embodiment of the present invention will be described with reference to FIGS. 11, 12, and 13. The imaging device ICD2 according to the present embodiment is the same as the imaging device ICD1 according to the first embodiment shown in FIG. 1, except that the
特徴点抽出部122は、画像処理部107、OISユニット制御部104b、および合焦情報算出部109bに接続されている。特徴点抽出部122は画像処理部107から入力される第2の画像信号Sv2に含まれる第2の画像データDi2に基づいて、光学的ぶれ防止撮影/電子的像ぶれ補正画像I2にユーザの意図する参照すべき被写体P1があるか否かを判定すると共に、被写体P1の特徴点の位置を抽出する。特徴点抽出部122は抽出した特徴点の位置に基づいて、特徴点動きベクトル情報IVfを生成する。
The feature
OISユニット制御部104bは、OISユニット102bから入力される撮像装置ICD2の本体の振れ角度情報を含む像ぶれ補正誤差情報ISeおよび特徴点抽出部122から入力される特徴点動きベクトル情報IVfの何れかを選択する。そして、OISユニット制御部104bは、選択された情報に基づいて、ぶれ補正用レンズユニット(OISユニット)102を移動制御して光学的な像ぶれ防止撮影を行う。そして、光学的像ぶれ防止撮影画像I1において光学的に防止しきれなかった像ぶれ分を電子的に補正すべく、画像処理部107が像ぶれ補正誤差情報像ISeに基づいて画像シフト量を算出する。
The OIS
合焦情報算出部109bは、少なくとも、特徴点抽出部122を介して画像処理部107から入力される第2の画像信号Sv2に含まれるコントラスト情報と、フォーカス駆動部105から入力されるフォーカスレンズユニット103の位置情報とに基づいてデフォーカス量を算出してフォーカス駆動部105へ出力する機能を備えている。そして、合焦情報算出部109bは、特徴点抽出部122が被写体P1の特徴点の位置情報を抽出した場合には、この特徴点近傍のコントラスト情報を評価値として演算を行う。
The focusing
なお、特徴点が存在しなければ、合焦情報算出部109bは所定の範囲からコントラスト情報を評価値として演算を行う。また、ユーザが表示部111に表示される撮影画像に対してタッチパネル等の入力手段を利用して、特徴点を指定するように構成しても良い。
If there is no feature point, the focusing
次に、図12を参照して、特徴点抽出部122について詳述する。特徴点抽出部122は、画像分割部71、色情報算出部72、参照位置演算部73、参照色情報記憶部74、および評価値演算部75を含む。画像分割部71は、画像処理部107から出力される第2の画像信号Sv2に基づいて、第2の画像データDi2(光学的ぶれ防止撮影/電子的像ぶれ補正画像I2)を複数のエリアに分割する。例えば32×24分割や16×12分割する。
Next, the feature
色情報算出部72では、画像分割部71で分割された第2の画像データDi2毎に色情報を算出する。具体的には、以下に示すプログラムに従って色相Hを算出して、色相情報IHが生成される。なお、当該プログラムによる実行結果と同じ効果を得られるような回路を構成して、当該回路によって色相Hを求めても良い。
The color
V = max(r,g,b)
d = V − min(r,g,b)
S = d * 255 / V
if(S=0){H=0}
else{if(V=r) H = (g−b)*60/d
if(V=g) H = (b−r)*60/d + 120
if(V=b) H = (r−g)*60/d + 240}
if(H<0) {H = H + 360}
V = max (r, g, b)
d = V−min (r, g, b)
S = d * 255 / V
if (S = 0) {H = 0}
else {if (V = r) H = (g−b) * 60 / d
if (V = g) H = (br−r) * 60 / d + 120
if (V = b) H = (r−g) * 60 / d + 240}
if (H <0) {H = H + 360}
上述のプログラムにおけるr、g、およびbは、図8を参照して説明した各画素を256階調で表した数値である。また、r(0,0)、g(1,0)、g(0,1)、およびb(1,1)の4点で規定される正方形に含まれる画素単位で上記処理を行うようにしても良い。なお、g(1,0)とg(0,1)は大きい方を選択してgとしても良いし、平均値としても良い。以降、r(2,0)、g(3,0)、g(2,1)、およびb(3,1)の単位、r(4,0)、g(5,0)、g(4,1)、およびb(5,1)の単位・・・というように4点で規定される正方形に含まれる画素単位で上記処理を行うようにしても良い。また、2560×1920画素で構成される500万画素のCCDの場合には、画像分割部71で32×24分割された80画素単位でr、g、およびbの各平均値を演算して、色相Hを算出しても良い。
In the above program, r, g, and b are numerical values that represent each pixel described with reference to FIG. 8 in 256 gradations. Further, the above processing is performed in units of pixels included in a square defined by four points r (0,0), g (1,0), g (0,1), and b (1,1). May be. Note that g (1, 0) and g (0, 1) may be selected by selecting the larger one, or may be an average value. Hereinafter, units of r (2,0), g (3,0), g (2,1), and b (3,1), r (4,0), g (5,0), g (4 , 1), b (5, 1) units,..., The above processing may be performed in units of pixels included in a square defined by four points. Further, in the case of a 5 million pixel CCD composed of 2560 × 1920 pixels, the average values of r, g, and b are calculated in units of 80 pixels divided by 32 × 24 by the
参照色情報記憶部74では、色情報算出部72で算出された色相情報IHのうち表示部111で表示されたユーザの意図する被写体P1の特徴点(例えば図9に示した符号1、符号2、符号3、および符号4)での色情報が予め記憶させられる。具体例としては、表示部111で表示されている被写体P1で、ユーザが操作部110を操作して、ユーザが特徴点と意図する画像の上にカーソルを合わせて指示することにより、参照色情報記憶部74に色情報を記憶させることができる。
In the reference color
参照位置演算部73では、表示部111でモニタして撮影しようとしている画像情報に含まれる色情報と予め記憶させた色情報とを比較してユーザの意図する被写体の特徴点が存在するか否かを判定して、存在するのであればその位置情報IPを演算してOISユニット制御部104bと評価値演算部75へ出力する。 なお、予め記憶させておく色情報はデフォルトとして複数存在し、それらから選択するようにしても良い。
The reference
次に、図13を参照して、OISユニット102bについて説明する。OISユニット102bは、図6に示したOISユニット102aにおいて、動きベクトル検出部60xおよび60yと、ゲイン補正部61xおよび61xと、スイッチ62xおよび62yとが追加されている。なおスイッチ62xおよび62yは図面においては、紙面の都合上「SW」と標記されている。
Next, the OIS unit 102b will be described with reference to FIG. In the OIS unit 102b, motion
動きベクトル検出部60xは、参照位置演算部73において演算された特徴点のx方向の位置情報IPからx方向の動きベクトルVxを検出する。ゲイン補正部61xは、x方向の動きベクトルVxから振れ角度情報に対するゲインを換算する。例えば、500万画素CCDで2560×1920画素数で構成され、x方向の2560画素に対応する画角を50度とすると、1/51.2[度/画素]を係数K3として角度で表される情報に換算する。
The motion vector detection unit 60x detects the motion vector Vx in the x direction from the position information IP in the x direction of the feature points calculated by the reference
スイッチ62xは、ゲイン補正部36xおよびゲイン補正部61xに接続されている。そして、システムコントローラ130から入力されるx方向目標位置選択信号STxに基づいて、ゲイン補正部36xおよびゲイン補正部61xの何れかを選択して比較部37xに接続する。具体的には、既に参照色情報記憶部74に記憶されている色相情報IHとほぼ一致する色相情報IHが画像データ内に存在する場合にはゲイン補正部61xが選択され、一致する色相情報IHが画像データ内に存在しない場合にはゲイン補正部36xが選択される。
The
動きベクトル検出部60yは参照位置演算部73において演算された特徴点のy方向の位置情報IPからy方向の動きベクトルVyを検出する。ゲイン補正部61yは、y方向の動きベクトルVyから振れ角度情報に対するゲインを換算する。例えば、500万画素CCDで2560×1920画素数で構成され、y方向の1920画素に対応する画角を37.5度とすると、1/51.2[度/画素]を係数K3として角度で表される情報に換算する。
The motion
スイッチ62yは、ゲイン補正部36yおよびゲイン補正部61yに接続されている。そして、システムコントローラ130から入力されるy方向目標位置選択信号STyに基づいて、参照位置演算部73から出力される位置情報IPに基づいて、ゲイン補正部36yおよびゲイン補正部61yの何れかを選択して比較部37yに接続する。具体的には、既に参照色情報記憶部74に記憶されている色相情報IHとほぼ一致する色相情報IHが画像データ内に存在する場合にはゲイン補正部61yが選択され、一致する色相情報IHが画像データ内に存在しない場合にはゲイン補正部36yが選択される。
The
なお、ユーザの意図する被写体の特徴点が存在するか否かに基づいて、スイッチ62xおよびスイッチ62yの選択動作が行われる例について説明している。しかしながら、操作部110に備えるメニュー釦(図示せず)をユーザが操作することによって、スイッチ62xおよびスイッチ62yの選択動作を行うように設定しても良い。
Note that an example in which the selection operation of the
図14に、表示部111に表示される画面に対する空間上の2次元の静的な絶対座標を示す。例えば、原点(左上隅)をx方向0番およびy方向0番として、同図に示すエリアB0の座標は(11,8)というように静的な座標が定義される。
FIG. 14 shows two-dimensional static absolute coordinates in space with respect to the screen displayed on the
図15を参照して、像ぶれ補正機能について説明する。同図においては、CCD106から出力される第1の画像信号Sv1に基づいて、表示部111に表示される連続する4フレームの光学的像ぶれ防止撮影画像I1(1)〜I1(4)が図14に示した2次元の静的絶対座標上に例示されている。そして、被写体P1の頭部が特徴点として設定されると共にエリアB1(1)〜B1(4)として認識される。なお、光学的像ぶれ防止撮影画像I1(2)〜I1(4)における被写体P1の相対的に位置は、光学的像ぶれ防止撮影画像I1(1)における被写体P1の相対的な位置と同じである。
The image blur correction function will be described with reference to FIG. In the figure, based on the first image signal Sv1 output from the
1番目のフレームに関しては、光学的像ぶれ防止撮影画像I1(1)は、表示部111の画面の左下隅に位置している。そして、光学的像ぶれ防止撮影画像I1(1)の概ね左半分の領域に被写体P1が表示されている。なお、本フレームにおける被写体P1の特徴点であるエリアB1(1)の座標は(5,7)である。
Regarding the first frame, the optical image blur prevention captured image I 1 (1) is located at the lower left corner of the screen of the
2番目のフレームに関しては、光学的像ぶれ防止撮影画像I1(2)は、光学的像ぶれ防止撮影画像I1(1)に比べて、x方向およびy方向にそれぞれ+2座標および−1座標移動している。結果、エリアB1(2)の座標は(7,6)である。 For the second frame, the optical image blur prevention photographed image I1 (2) moves by +2 and −1 coordinates in the x and y directions, respectively, compared to the optical image blur prevention photographed image I1 (1). ing. As a result, the coordinates of area B1 (2) are (7, 6).
3番目のフレームに関しては、光学的像ぶれ防止撮影画像I1(3)は、光学的像ぶれ防止撮影画像I1(2)に比べて、x方向およびy方向にそれぞれ+2座標および−1座標移動している。結果、エリアB1(3)の座標は(9,5)である。 For the third frame, the optical image blur prevention captured image I1 (3) moves +2 coordinates and −1 coordinates in the x direction and the y direction, respectively, compared to the optical image blur prevention captured image I1 (2). ing. As a result, the coordinates of area B1 (3) are (9, 5).
4番目のフレームに関しては、光学的像ぶれ防止撮影画像I1(4)は、光学的像ぶれ防止撮影画像I1(3)に比べて、x方向およびy方向にそれぞれ+2座標および−1座標さらに移動している。結果、エリアB1(3)の座標は(11,4)である。つまり、1番目フレームから4番目フレームの間で、被写体P1は空間上の2次元の静的な座標上をx方向およびy方向にそれぞれ+6座標および−3座標移動している。これは、静止している被写体P1を撮影時に撮像装置ICDをx方向およびy方向にそれぞれ−6座標および+3座標に相当する方向に動かした状態でもある。 For the fourth frame, the optical image blur prevention photographed image I1 (4) moves further by +2 coordinates and −1 coordinates in the x direction and the y direction, respectively, compared to the optical image blur prevention photographed image I1 (3). is doing. As a result, the coordinates of area B1 (3) are (11, 4). That is, between the first frame and the fourth frame, the subject P1 moves on the two-dimensional static coordinates in space in the x and y directions in the +6 and -3 coordinates, respectively. This is also a state in which the imaging device ICD is moved in directions corresponding to −6 coordinates and +3 coordinates in the x direction and the y direction, respectively, when photographing the stationary subject P1.
特徴点抽出部122は、上述の如く、被写体P1の特徴点をエリアB1a、B1b、B1c、およびB1dで示すようにそれらの位置として検出するので、フレーム毎にx方向は+2座標分そしてy方向は−1座標分の特徴点の動きベクトルが検出される。この動きベクトルVを用いて像ぶれ防止レンズ1を移動制御して、光学的な像ぶれ防止撮影を行う。さらに、第1の実施の形態に関して説明したように、補正しきれなかった像ぶれ補正誤差情報ISeにより電子的な像ぶれ補正を行うことによって意図する被写体に対する追従性を向上させることができ、意図する被写体に対する像ぶれ補正の性能を向上させることができる。
As described above, the feature
次に、図16を参照して、本実施の形態に係る像ぶれ補正動作について説明する。なお、本実施の形態においては、同図に示す動作を撮像装置ICDに実行させるプログラムがシステムコントローラ130に格納されている。なお、本実施の形態においても、上述の第1の実施の形態におけるのと同様に、システムコントローラ130は、操作部110のシャッターボタンが全押しされている状態を検知して場合に、CCD106から画像信号を出力する直前にOISユニット制御部104bを起動させ、CCD106から第1の画像信号Sv1(光学的像ぶれ防止撮影画像I1)を出力させ、画像処理部107に第1の画像信号Sv1に対して電子的像ぶれ補正を行わせて第2の画像信号Sv2(光学的ぶれ防止撮影/電子的像ぶれ補正画像I2)を生成させ、当該第2の画像信号Sv2(第2の画像データDi2)をメモリーカード111に格納させた後に、OISユニット制御部104aの動作を終了する例をとり上げて説明する。
Next, with reference to FIG. 16, the image blur correction operation according to the present embodiment will be described. In the present embodiment, a program for causing the imaging apparatus ICD to execute the operation shown in FIG. Also in the present embodiment, as in the first embodiment described above, the system controller 130 detects from the
よって、ステップS201において、特徴点抽出部122によってCCD106から出力された第1の画像データDi1(第1の画像信号Sv1)に予め記憶している参照色情報(色相情報IH)に近い色情報(色相情報IH)を有するエリアが色情報の算出された画像分割部71にて分割された各エリアに存在するか否かが判定される。
Therefore, in step S201, the color information close to the reference color information (hue information IH) stored in advance in the first image data Di1 (first image signal Sv1) output from the
参照色情報に近い色情報を有するエリアが存在しない場合には、制御は上述のステップS101に進み、以降の処理は実施の形態1における図15を用いて説明したように撮影装置本体の振れ角に基づいた像ぶれ補正撮影処理が行われる。一方、参照色情報に近い色情報を有するエリアが存在する場合には、ステップS202の処理に進む。 If there is no area having color information close to the reference color information, the control proceeds to step S101 described above, and the subsequent processing is the deflection angle of the photographing apparatus main body as described with reference to FIG. 15 in the first embodiment. An image blur correction photographing process based on the above is performed. On the other hand, if there is an area having color information close to the reference color information, the process proceeds to step S202.
ステップS202において、システムコントローラ130からスイッチ62xおよびスイッチ62yにx方向目標位置選択信号STxおよびy方向目標位置選択信号STyが出力される。そして、制御は次のステップS203に進む。
In step S202, the x-direction target position selection signal STx and the y-direction target position selection signal STy are output from the system controller 130 to the
ステップS203において、動きベクトル検出部60から出力されるユーザの意図する被写体P1の特徴点に基づいた動きベクトルVが目標位置指令情報としてスイッチ62xおよびスイッチ62yから出力される。そして、制御は上述のステップS101に進み、以降の処理は目標位置指令情報に基づいて第1の実施の形態に関して説明した光学的な像ぶれ防止が行われ。そして、像ぶれ補正誤差情報ISeに基づいて、光学的な像ぶれ防止しきれかった像ぶれに対してさらに電子的な像ぶれ補正が行われる。このように発明においては、光学的像ぶれ防止撮影手段と電子的像ぶれ補正手段とによりユーザが撮影を意図する被写体の像ぶれを防止する像ぶれ補正手段を構成している。
In step S203, the motion vector V based on the feature point of the subject P1 intended by the user and output from the motion
以上、本発明の実施の形態において説明したようにユーザの撮影したい意図する被写体の像ぶれを防止する像ぶれ補正制御手段を実現することが可能である。特に、気軽に撮影するメリットのあるモバイルカメラなどの小型軽量の撮像装置においては、それゆえに歩きながらの撮影や片手撮りなどユーザの使用状況によって像ぶれを生じやすく、光学的な像ぶれ補正機能に加えて電子的な像ぶれ補正機能を有することで像ぶれ補正効果を大幅に改善できる。 As described above, as described in the embodiment of the present invention, it is possible to realize image blur correction control means for preventing image blur of a subject intended to be photographed by a user. In particular, in a small and lightweight imaging device such as a mobile camera that has the advantage of casual shooting, image blurring is likely to occur depending on the user's usage such as shooting while walking or one-handed shooting, and an optical image blur correction function is provided. In addition, by providing an electronic image blur correction function, the image blur correction effect can be greatly improved.
また、予め撮影したい被写体の特徴点を撮像装置本体に記憶させておき、記憶させた特徴点が存在する場合には、その特徴点がぶれないように動きベクトルを目標位置情報として光学的な像ぶれ補正を行うとともに、補正しきれなかった補正誤差をさらに電子的な像ぶれ補正を行うことでユーザの意図する被写体の像ぶれ補正効果を向上させることができる。 Also, feature points of a subject to be photographed in advance are stored in the imaging apparatus main body, and when the stored feature points exist, an optical image is obtained using the motion vector as target position information so that the feature points are not blurred. By performing blur correction and further performing electronic image blur correction on correction errors that could not be corrected, the image blur correction effect of the subject intended by the user can be improved.
なお、本実施の形態においては電子的な像ぶれ補正機能の構成は回路で実現しても良いし、マイコンなどで処理を行うソフトウエアで構成しても良い。なお、光学的な像ぶれ防止の後に光学的に防止しきれなかった補正誤差をさらに電子的に行う事例が具体的に説明されている。しかしながら、光学的な像ぶれ防止の前に電子的な補正を行うように構成できること、さらに、光学的像ぶれ防止と電子的補正を平行して行うように構成することも、当業者にとっては容易であると共に効果的であることは明白である。 In the present embodiment, the configuration of the electronic image blur correction function may be realized by a circuit, or may be configured by software that performs processing by a microcomputer or the like. An example in which correction errors that could not be optically prevented after optical image blur prevention are further electronically described is specifically described. However, it is easy for those skilled in the art to configure the electronic correction before the optical image blur prevention, and to perform the optical image blur prevention and the electronic correction in parallel. It is clear that it is both effective and effective.
本発明は、ディジタルスチルカメラ、ディジタルビデオカメラ等の撮像装置に好適である。 The present invention is suitable for an imaging apparatus such as a digital still camera and a digital video camera.
ICD1、ICD2 撮像装置
31、31x、31y OISアクチュエータ
32、32x、32y 位置検出センサ
33、33x、33y ゲイン補正部
34、34x、34y 角速度センサ
35、35x、35y 積分器
36、36x、36y ゲイン補正部
37、37x、37y 比較部
38、38x、38y ISユニット駆動部
39、39x、39y 画像シフト量演算部
71 画像分割部
72 色情報算出部
73 参照位置演算部
74 参照色情報記憶部
75 強化値演算部
100 レンズ鏡筒
101 ズームレンズ系
102a、102b OISユニット
103 フォーカスレンズユニット
104a、104b OISユニット制御部
105 フォーカス駆動部
106 CCD
107 画像処理部
109a、109b 合焦情報算出部
110 操作部
111 表示部
112 メモリーカード
120 システムコントローラ
122 特徴点抽出部
ICD1,
107
Claims (10)
光軸に対して垂直に移動制御することで像ぶれを防止する像ぶれ防止レンズを含む複数のレンズ群により前記被写体の光学的な像を形成する撮像光学系と、
前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、
前記撮像素子の出力画像信号の表示および記憶を行う画像処理手段と、
前記像ぶれ防止レンズの移動制御を行う像ぶれ制御手段とを備え、
前記像ぶれ制御手段は、像ぶれ補正誤差を演算する像ぶれ補正誤差演算手段と、前記像ぶれ補正誤差に基づいて前記画像信号の切り出し位置を補正する画像補正手段とで構成されることを特徴とする撮像装置。 An imaging device that outputs an electrical image signal of a subject,
An imaging optical system that forms an optical image of the subject by a plurality of lens groups including an image blur prevention lens that controls image blur by controlling movement perpendicular to the optical axis;
An image sensor that captures an optical image of the subject and converts it into the electrical image signal;
Image processing means for displaying and storing the output image signal of the image sensor;
Image blur control means for controlling movement of the image blur prevention lens,
The image blur control unit includes an image blur correction error calculation unit that calculates an image blur correction error, and an image correction unit that corrects a cutout position of the image signal based on the image blur correction error. An imaging device.
前記撮像光学系のぶれ情報を検出する揺動検出手段と、
前記ぶれ情報に基づいて像ぶれ防止レンズの移動制御を行い、前記像ぶれ防止レンズの位置情報を検出する位置検出手段とを含み、
前記ぶれ情報と前記位置情報との差を像ぶれ補正誤差として演算することを特徴とする請求項1記載の撮像装置。 The image blur correction error calculating means is
Swing detection means for detecting blur information of the imaging optical system;
Position control means for performing movement control of the image blur prevention lens based on the blur information and detecting position information of the image blur prevention lens,
The imaging apparatus according to claim 1, wherein a difference between the blur information and the position information is calculated as an image blur correction error.
画像信号から特徴点を抽出して前記特徴点の位置情報を演算する特徴点抽出手段と、
前記特徴点の位置情報に基づいて像ぶれ防止レンズの移動制御を行い、前記像ぶれ防止レンズの位置情報を検出する位置検出手段とを含み、
前記特徴点の位置情報と前記像ぶれ防止レンズの位置情報との差を像ぶれ補正誤差として演算することを特徴とする請求項1に記載の撮像装置。 The image blur correction error calculating means is
Feature point extraction means for extracting feature points from an image signal and calculating positional information of the feature points;
Position control means for performing movement control of the image blur prevention lens based on the position information of the feature point, and detecting position information of the image blur prevention lens,
The imaging apparatus according to claim 1, wherein a difference between the position information of the feature point and the position information of the image blur prevention lens is calculated as an image blur correction error.
画像信号を複数枚記憶するメモリと、
前記各画像信号を合成する合成手段を含んで構成されることを特徴とする請求項1に記載の撮像装置。 The image correcting means includes
A memory for storing a plurality of image signals;
The imaging apparatus according to claim 1, further comprising a combining unit that combines the image signals.
画像信号から色情報を算出する色情報算出手段と、
予め参照色情報を設定する参照色情報設定手段と、
前記参照色情報と前記算出された前記色情報とを比較して、その結果に基づいて、特徴点を抽出して前記特徴点の位置情報を演算することを特徴とする請求項3に記載の撮像装置。 The feature point extraction means includes:
Color information calculating means for calculating color information from the image signal;
Reference color information setting means for setting reference color information in advance;
4. The reference color information is compared with the calculated color information, and based on the result, feature points are extracted and position information of the feature points is calculated. Imaging device.
The image pickup apparatus according to claim 1, wherein the image blur control unit controls movement of the image blur prevention lens based on angular velocity information output from an angular velocity sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006062901A JP4911997B2 (en) | 2006-03-08 | 2006-03-08 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006062901A JP4911997B2 (en) | 2006-03-08 | 2006-03-08 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007243579A true JP2007243579A (en) | 2007-09-20 |
JP2007243579A5 JP2007243579A5 (en) | 2009-03-12 |
JP4911997B2 JP4911997B2 (en) | 2012-04-04 |
Family
ID=38588669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006062901A Expired - Fee Related JP4911997B2 (en) | 2006-03-08 | 2006-03-08 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4911997B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011160411A (en) * | 2010-01-05 | 2011-08-18 | Panasonic Corp | Imaging device |
JP2013003168A (en) * | 2011-06-10 | 2013-01-07 | Canon Inc | Vibration-proof control device, vibration-proof control method, imaging apparatus and control method thereof |
JP2016012811A (en) * | 2014-06-27 | 2016-01-21 | キヤノン株式会社 | Imaging apparatus, control method thereof, program and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164425A (en) * | 1996-11-26 | 1998-06-19 | Matsushita Electric Ind Co Ltd | Image motion correction device |
JP2004239962A (en) * | 2003-02-03 | 2004-08-26 | Nikon Corp | Shake correction camera system, shake correction camera, image recovering device and shake correction program |
-
2006
- 2006-03-08 JP JP2006062901A patent/JP4911997B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164425A (en) * | 1996-11-26 | 1998-06-19 | Matsushita Electric Ind Co Ltd | Image motion correction device |
JP2004239962A (en) * | 2003-02-03 | 2004-08-26 | Nikon Corp | Shake correction camera system, shake correction camera, image recovering device and shake correction program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011160411A (en) * | 2010-01-05 | 2011-08-18 | Panasonic Corp | Imaging device |
US8184965B2 (en) | 2010-01-05 | 2012-05-22 | Panasonic Corporation | Imaging device |
JP2013003168A (en) * | 2011-06-10 | 2013-01-07 | Canon Inc | Vibration-proof control device, vibration-proof control method, imaging apparatus and control method thereof |
JP2016012811A (en) * | 2014-06-27 | 2016-01-21 | キヤノン株式会社 | Imaging apparatus, control method thereof, program and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4911997B2 (en) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4976293B2 (en) | Imaging device | |
US10341567B2 (en) | Photographing apparatus | |
JP5223486B2 (en) | Electronic binoculars | |
JP6486656B2 (en) | Imaging device | |
JP6214316B2 (en) | Image blur correction device, lens device, imaging device, image blur correction device control method, program, and storage medium | |
US11394881B2 (en) | Image processing apparatus, image processing method, storage medium, system, and electronic apparatus | |
JP7484866B2 (en) | Image blur correction device, interchangeable lens, imaging device, and image blur correction method | |
JP2007114311A (en) | Image blur correction device and image blur correction method for imaging apparatus | |
US10122922B2 (en) | Image pickup apparatus and image stabilization method | |
WO2018180916A1 (en) | Blur correction device, replacement lens, and imaging device | |
CN109691085B (en) | Image pickup apparatus and image pickup control method | |
JP4724493B2 (en) | Optical apparatus, imaging apparatus, and attitude detection method of optical apparatus | |
US10412306B1 (en) | Optical image stabilization method and apparatus | |
JP2007017517A (en) | Image blur corrector | |
JP4125331B2 (en) | Imaging apparatus and control method thereof | |
JP4911997B2 (en) | Imaging device | |
JP2010109477A (en) | Imaging apparatus, control method thereof and program | |
JP2006295238A (en) | Image pickup device | |
US20180316840A1 (en) | Optical image stabilization devices and methods for gyroscope alignment | |
JP5393877B2 (en) | Imaging device and integrated circuit | |
JP5788197B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP5318078B2 (en) | Optical apparatus and control method thereof | |
WO2018180909A1 (en) | Interchangeable lens and camera body | |
US20230308613A1 (en) | Display device and method for controlling display device | |
JP2020095070A (en) | Image capturing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110531 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111227 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4911997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |