JP2017118346A - Image correction device, control method for image correction device, and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To make it possible to produce image data balanced in quantity of light as a whole.SOLUTION: An image correction device 100 according to the invention is an image correction device 100 that corrects a quantity of light for image data, comprises acquisition means that acquires photographic image data captured by imaging means 103 via an imaging optical system 117 having a correction lens 105 that corrects image blur by changing a position; and correction means for correcting a quantity of light in a correction method matching an amount of operation of the correction lens 105, for the photographic image data captured by the acquisition means.SELECTED DRAWING: Figure 3

Description

本発明は、画像補正装置、画像補正装置の制御方法、及び、プログラムに関する。   The present invention relates to an image correction apparatus, a control method for the image correction apparatus, and a program.

近年、撮影時に撮像装置が動くことで生じる被写体の像のぶれを補正することが可能なぶれ補正機能を有する撮像装置が使われている。ぶれ補正機能を有する撮像装置には、像のぶれを補正するために位置を変える補正レンズを備えるものがある。このような撮像装置に関連する技術として、特許文献１には、像振れ補正による結像レンズの光軸の移動を算出し、その結果に基づいて、周辺光量落ち補正の値を変え、光軸ずれの量にかかわらず良好な周辺光量落ち補正を行う撮像装置が開示されている。   2. Description of the Related Art In recent years, an imaging apparatus having a blur correction function that can correct blur of an image of a subject that occurs when the imaging apparatus moves during shooting has been used. Some imaging apparatuses having a blur correction function include a correction lens that changes a position in order to correct image blur. As a technique related to such an imaging apparatus, Patent Document 1 calculates the movement of the optical axis of the imaging lens by image blur correction, and changes the value of the peripheral light amount drop correction based on the result, thereby changing the optical axis. An imaging device that performs good peripheral light amount drop correction regardless of the amount of deviation is disclosed.

特開２００６−１６５７８４号公報JP 2006-165784 A

しかしながら、像のぶれを補正するための補正レンズの動作量が大きくなると、補正レンズの位置情報取得のタイミングと、撮影のタイミングとがずれる場合がある。この場合、撮像装置の光学系の光軸を、周辺光量落ち補正の補正中心に合わせることができなくなる。周辺光量落ち補正の補正中心が光学系の光軸から大きくずれると、画面周辺部での過補正や補正不足により撮像した画像データ全体の光量バランスが崩れ好ましくない画像となる。   However, when the amount of movement of the correction lens for correcting image blur increases, the timing for acquiring the position information of the correction lens may deviate from the shooting timing. In this case, the optical axis of the optical system of the imaging apparatus cannot be aligned with the correction center for the peripheral light amount drop correction. When the correction center of the peripheral light amount drop correction is greatly deviated from the optical axis of the optical system, the light amount balance of the entire imaged image is lost due to overcorrection or insufficient correction at the periphery of the screen, resulting in an undesirable image.

そこで本発明は、全体の光量バランスがとれた画像データを生成できるようにすることを目的とする。   Accordingly, an object of the present invention is to enable generation of image data in which the entire light amount balance is achieved.

本発明の画像補正装置は、画像データの光量の補正をする画像補正装置であって、位置を変えることで像のぶれを補正する補正レンズを有する撮像光学系を介して撮像手段によって撮像された撮像画像データを取得する取得手段と、前記取得手段で取得された前記撮像画像データに対して、前記補正レンズの動作量に応じた補正方法で光量の補正をする補正手段と、を備えることを特徴とする。   The image correction apparatus of the present invention is an image correction apparatus that corrects the amount of light of image data, and is imaged by an imaging unit via an imaging optical system having a correction lens that corrects image blurring by changing the position. Acquisition means for acquiring captured image data; and correction means for correcting the amount of light with respect to the captured image data acquired by the acquisition means by a correction method according to the operation amount of the correction lens. Features.

本発明によれば、全体の光量バランスがとれた画像データを生成できる。   According to the present invention, it is possible to generate image data in which the entire light amount balance is achieved.

デジタルカメラのブロック図である。It is a block diagram of a digital camera. 画像領域における光軸の動きを表す図である。It is a figure showing the motion of the optical axis in an image area | region. 画像領域における光軸及び候補点を表す図である。It is a figure showing the optical axis and candidate point in an image area | region. 一様な輝度の被写体についての周辺光量落ち補正を説明する第１の図であり、（ａ）は補正前の画像データの輝度を表す図であり、（ｂ）は周辺光量落ち補正の補正量を表す図であり、（ｃ）は補正後の画像データの輝度を表す図である。It is a 1st figure explaining the peripheral light amount fall correction | amendment about the object of uniform brightness | luminance, (a) is a figure showing the brightness | luminance of the image data before correction | amendment, (b) is the correction amount of peripheral light amount fall correction | amendment (C) is a figure showing the brightness | luminance of the image data after correction | amendment. 一様な輝度の被写体についての周辺光量落ち補正を説明する第２の図であり、（ａ）は補正前の画像データの輝度を表す図であり、（ｂ）は周辺光量落ち補正の補正量を表す図であり、（ｃ）は補正後の画像データの輝度を表す図である。It is a 2nd figure explaining the peripheral light amount fall correction | amendment about the object of uniform brightness | luminance, (a) is a figure showing the brightness | luminance of the image data before correction | amendment, (b) is the correction amount of peripheral light amount fall correction | amendment (C) is a figure showing the brightness | luminance of the image data after correction | amendment. 一様ではない輝度の被写体についての周辺光量落ち補正を説明する第１の図であり、（ａ）は補正前の画像データの輝度を表す図であり、（ｂ）は周辺光量落ち補正の補正量を表す図であり、（ｃ）は補正後の画像データの輝度を表す図である。It is a 1st figure explaining the peripheral light amount fall correction | amendment about the object of a non-uniform brightness, (a) is a figure showing the brightness | luminance of the image data before correction | amendment, (b) is correction | amendment of peripheral light amount fall correction | amendment. It is a figure showing quantity, (c) is a figure showing the brightness | luminance of the image data after correction | amendment. 一様ではない輝度の被写体についての周辺光量落ち補正を説明する第２の図であり、（ａ）は補正前の画像データの輝度を表す図であり、（ｂ）は周辺光量落ち補正の補正量を表す図であり、（ｃ）は補正後の画像データの輝度を表す図である。It is a 2nd figure explaining the peripheral light amount fall correction | amendment about the object of a non-uniform brightness, (a) is a figure showing the brightness | luminance of the image data before correction | amendment, (b) is correction | amendment of peripheral light amount fall correction | amendment. It is a figure showing quantity, (c) is a figure showing the brightness | luminance of the image data after correction | amendment.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
まず、図１を参照して、画像補正装置の一例であって撮像装置であるデジタルカメラ１００について説明する。図１はデジタルカメラ１００の機能構成例を示すブロック図である。
操作部１０１は、デジタルカメラ１００の操作者がデジタルカメラ１００に対して各種の指示を入力するために操作するスイッチやボタン等により構成される。操作部１０１の中には、シャッタースイッチも含まれており、シャッタースイッチが半押しされている場合には信号ＳＷ１が操作部１０１から制御部１０２に通知される。また、シャッタースイッチが全押しされている場合には信号ＳＷ２が操作部１０１から制御部１０２に通知される。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
First, a digital camera 100 which is an example of an image correction apparatus and is an imaging apparatus will be described with reference to FIG. FIG. 1 is a block diagram illustrating a functional configuration example of the digital camera 100.
The operation unit 101 includes switches, buttons, and the like that are operated by an operator of the digital camera 100 to input various instructions to the digital camera 100. The operation unit 101 includes a shutter switch. When the shutter switch is half-pressed, a signal SW1 is notified from the operation unit 101 to the control unit 102. When the shutter switch is fully pressed, the signal SW2 is notified from the operation unit 101 to the control unit 102.

制御部１０２は、図１に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。
撮像素子部１０３は、撮像光学系１１７及び露出機構１０６を介して入射される光を受け、入射される光量に基づいたアナログ画像信号を出力する。
撮像光学系１１７は、撮影レンズ１０４と、補正レンズ１０５とを備える光学系である。
撮影レンズ１０４は、１枚以上のレンズを備え、例えばフォーカスレンズを備える。
補正レンズ１０５は、位置を変えることで、デジタルカメラ１００の動きによる像のぶれを補正するレンズである。補正レンズ１０５は、装置動き検出部１０７によって検出されたデジタルカメラ１００の動きに基づいて制御部１０２によって計算されたレンズ位置補正量を補正レンズ制御部１０８より受けて動作して、デジタルカメラ１００の動きによる像のぶれを補正する。
露出機構１０６は、例えば絞りやシャッターを備える。
装置動き検出部１０７は、加速度センサ等のセンサを備え、デジタルカメラ１００の動きを検出する。
補正レンズ制御部１０８は、制御部１０２の制御に基づいて補正レンズ１０５の動きを制御する。
Ａ／Ｄ変換部１０９は、撮像素子部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号を出力する。なお、以下ではデジタル画像信号のことを画像データとも呼ぶ。 The control unit 102 controls the operation of each unit illustrated in FIG. 1, and controls each unit in response to an instruction from the operation unit 101.
The imaging element unit 103 receives incident light through the imaging optical system 117 and the exposure mechanism 106, and outputs an analog image signal based on the incident light amount.
The imaging optical system 117 is an optical system that includes the photographing lens 104 and the correction lens 105.
The photographing lens 104 includes one or more lenses, for example, a focus lens.
The correction lens 105 is a lens that corrects image blur due to movement of the digital camera 100 by changing the position. The correction lens 105 operates by receiving from the correction lens control unit 108 the lens position correction amount calculated by the control unit 102 based on the movement of the digital camera 100 detected by the apparatus motion detection unit 107. Correct image blur due to motion.
The exposure mechanism 106 includes, for example, a diaphragm and a shutter.
The device motion detection unit 107 includes a sensor such as an acceleration sensor, and detects the motion of the digital camera 100.
The correction lens control unit 108 controls the movement of the correction lens 105 based on the control of the control unit 102.
The A / D conversion unit 109 performs sampling, gain adjustment, A / D conversion, and the like on the analog image signal output from the image sensor unit 103, and outputs a digital image signal. Hereinafter, the digital image signal is also referred to as image data.

画像処理部１１０は、Ａ／Ｄ変換部１０９から出力された画像データを取得し、取得した画像データに対して各種の画像処理を行って、処理済みの画像データを出力する。画像処理部１１０は、例えば、Ａ／Ｄ変換部１０９から受けた画像データに、ホワイトバランスや光量の補正等の画像処理を行って出力する。光量の補正を行うとき、画像処理部１１０は、装置動き検出部１０７によって検出されたデジタルカメラ１００の動きに対応した補正レンズ１０５の動作量に応じて、補正方法を切り替えることができる。
ＥＶＦ（電子ビューファインダ）表示部１１１は、小型液晶画面等により構成されており、画像処理部１１０による処理済みの画像データに従った画像を表示する。
フォーマット変換部１１２は、画像処理部１１０から出力された画像データのフォーマットをＪＰＥＧ等のフォーマットに変換し、画像記録部１１３等に出力する。
画像記録部１１３は、フォーマット変換部１１２から受けたフォーマット変換済みの画像データを、デジタルカメラ１００内の不図示のメモリや、デジタルカメラ１００に挿入されている外部メモリ等に記録する。
外部接続部１１４は、デジタルカメラ１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースとして機能する。
ＡＦ（オートフォーカス）処理部１１５は、制御部１０２の制御に基づいて撮影レンズ１０４を制御する。
ＡＥ（自動露出）処理部１１６は、制御部１０２の制御に基づいて露出機構１０６を制御する。 The image processing unit 110 acquires the image data output from the A / D conversion unit 109, performs various types of image processing on the acquired image data, and outputs processed image data. For example, the image processing unit 110 performs image processing such as white balance and light amount correction on the image data received from the A / D conversion unit 109 and outputs the image data. When correcting the amount of light, the image processing unit 110 can switch the correction method according to the operation amount of the correction lens 105 corresponding to the movement of the digital camera 100 detected by the apparatus motion detection unit 107.
An EVF (electronic viewfinder) display unit 111 is configured by a small liquid crystal screen or the like, and displays an image according to the image data processed by the image processing unit 110.
The format conversion unit 112 converts the format of the image data output from the image processing unit 110 into a format such as JPEG, and outputs it to the image recording unit 113 or the like.
The image recording unit 113 records the format-converted image data received from the format conversion unit 112 in a memory (not shown) in the digital camera 100, an external memory inserted in the digital camera 100, or the like.
The external connection unit 114 functions as an interface for connecting the digital camera 100 to an external device such as a PC (personal computer) or a printer.
An AF (autofocus) processing unit 115 controls the photographing lens 104 based on the control of the control unit 102.
An AE (automatic exposure) processing unit 116 controls the exposure mechanism 106 based on the control of the control unit 102.

次に、デジタルカメラ１００を用いて撮像を行う場合の、デジタルカメラ１００の動作について説明する。
はじめに、デジタルカメラ１００の操作者が、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２はこれを検知し、デジタルカメラ１００を構成する各部に電源を供給する。そして、デジタルカメラ１００は次に説明する準備処理を行う。
まず、デジタルカメラ１００を構成する各部に電源が供給されるとシャッターが開き、撮像素子部１０３には、撮像光学系１１７及び露出機構１０６を介して外界からの光が入射する。そして、撮像素子部１０３を構成する光電変換素子には、入射した光の光量に応じた電荷が溜まる。
このとき、装置動き検出部１０７によって検出されたデジタルカメラ１００の動きに対応して制御部１０２によってレンズ位置補正量が計算される。補正レンズ１０５は、補正レンズ制御部１０８の制御下でレンズ位置補正量に従って動作する。これにより、補正レンズ１０５は、デジタルカメラ１００の動きによる像のぶれを補正する。 Next, the operation of the digital camera 100 when imaging is performed using the digital camera 100 will be described.
First, when an operator of the digital camera 100 turns on a power switch included in the operation unit 101, the control unit 102 detects this and supplies power to each unit constituting the digital camera 100. Then, the digital camera 100 performs a preparation process described below.
First, when power is supplied to each part of the digital camera 100, the shutter is opened, and light from the outside enters the image sensor unit 103 via the image pickup optical system 117 and the exposure mechanism 106. Then, charges corresponding to the amount of incident light accumulate in the photoelectric conversion elements that form the imaging element unit 103.
At this time, the lens position correction amount is calculated by the control unit 102 in accordance with the movement of the digital camera 100 detected by the apparatus motion detection unit 107. The correction lens 105 operates according to the lens position correction amount under the control of the correction lens control unit 108. Accordingly, the correction lens 105 corrects image blur due to the movement of the digital camera 100.

次に、制御部１０２が撮像素子部１０３を制御することで、撮像素子部１０３は、撮像素子部１０３に溜まった電荷を読み出して、Ａ／Ｄ変換部１０９にアナログ画像信号として出力する。
次に、Ａ／Ｄ変換部１０９は、撮像素子部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、画像データを生成して画像処理部１１０に出力する。
次に、画像処理部１１０は、Ａ／Ｄ変換部１０９から出力された画像データを取得し、取得した画像データに対してホワイトバランスや撮像光学系１１７の周辺光量落ち補正等の各種画像処理を行い、画像処理済みの画像データをＥＶＦ表示部１１１に出力する。ＥＶＦ表示部１１１は画像処理済みの画像データに従った画像を表示する。
次に、制御部１０２がＡＦ処理部１１５を制御することで、ＡＦ処理部１１５は、画像処理部１１０によって取得された画像データに基づいて、被写体にピントを合わせるべく撮影レンズ１０４を動作させる。また、制御部１０２がＡＥ処理部１１６を制御することで、ＡＥ処理部１１６は画面が最適な露出になるように露出機構１０６を制御する。
以上が準備処理であり、デジタルカメラ１００は、制御部１０２がシャッタースイッチから信号ＳＷ１の通知（すなわち、シャッタースイッチの半押しの通知）を受けるまで、準備処理を繰り返す。 Next, when the control unit 102 controls the image sensor unit 103, the image sensor unit 103 reads out the electric charge accumulated in the image sensor unit 103 and outputs it to the A / D converter 109 as an analog image signal.
Next, the A / D conversion unit 109 performs sampling, gain adjustment, A / D conversion, and the like on the analog image signal output from the image sensor unit 103, generates image data, and sends it to the image processing unit 110. Output.
Next, the image processing unit 110 acquires the image data output from the A / D conversion unit 109, and performs various types of image processing such as white balance and peripheral light loss correction of the imaging optical system 117 on the acquired image data. The image data that has undergone image processing is output to the EVF display unit 111. The EVF display unit 111 displays an image according to the image processed image data.
Next, the control unit 102 controls the AF processing unit 115 so that the AF processing unit 115 operates the photographic lens 104 to focus on the subject based on the image data acquired by the image processing unit 110. Further, the control unit 102 controls the AE processing unit 116 so that the AE processing unit 116 controls the exposure mechanism 106 so that the screen is exposed to an optimum exposure.
The above is the preparation process, and the digital camera 100 repeats the preparation process until the control unit 102 receives the notification of the signal SW1 from the shutter switch (that is, the notification that the shutter switch is half-pressed).

デジタルカメラ１００は、制御部１０２がシャッタースイッチから信号ＳＷ１の通知を受けると、次に説明する撮影前処理を行う。
まず、制御部１０２が信号ＳＷ１の通知を受けた時点の画像データを用いて、制御部１０２は撮影に最適なピント及び露出設定条件を取得する。
次に、制御部１０２は、シャッタースイッチから信号ＳＷ２の通知（すなわち、シャッタースイッチの全押しの通知）を受けるまで、上記の準備処理を繰り返す。
以上が撮影前処理である。 When the control unit 102 receives the signal SW1 from the shutter switch, the digital camera 100 performs pre-shooting processing described below.
First, using the image data at the time when the control unit 102 receives the notification of the signal SW1, the control unit 102 obtains the optimum focus and exposure setting conditions for photographing.
Next, the control unit 102 repeats the above preparation process until receiving a notification of the signal SW2 from the shutter switch (that is, notification of full pressing of the shutter switch).
The above is imaging pre-processing.

デジタルカメラ１００は、制御部１０２がシャッタースイッチから信号ＳＷ２の通知を受けると、次に説明する撮影本処理を行う。
まず、撮像素子部１０３には、撮像光学系１１７及び露出機構１０６を介して外界からの光が入射する。そして、撮像素子部１０３を構成する光電変換素子には、入射した光の光量に応じた電荷が溜まる。
次に、制御部１０２が撮像素子部１０３を制御することで、撮像素子部１０３は、撮像素子部１０３に溜まった電荷を読み出して、Ａ／Ｄ変換部１０９にアナログ画像信号として出力する。
次に、Ａ／Ｄ変換部１０９は、撮像素子部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、画像データを生成して画像処理部１１０に出力する。 When the control unit 102 receives the notification of the signal SW2 from the shutter switch, the digital camera 100 performs a main photographing process described below.
First, light from the outside enters the image sensor unit 103 via the imaging optical system 117 and the exposure mechanism 106. Then, charges corresponding to the amount of incident light accumulate in the photoelectric conversion elements that form the imaging element unit 103.
Next, when the control unit 102 controls the image sensor unit 103, the image sensor unit 103 reads out the electric charge accumulated in the image sensor unit 103 and outputs it to the A / D converter 109 as an analog image signal.
Next, the A / D conversion unit 109 performs sampling, gain adjustment, A / D conversion, and the like on the analog image signal output from the image sensor unit 103, generates image data, and sends it to the image processing unit 110. Output.

次に、画像処理部１１０は、Ａ／Ｄ変換部１０９から出力された画像データを取得し、取得した画像データに対して、撮影条件に対応した各種画像処理を行う。各種画像処理には、例えば、ホワイトバランスや光量の補正等の画像処理が含まれる。そして、画像処理部１１０は、画像処理済みの画像データをフォーマット変換部１１２に出力する。光量の補正を行うとき、画像処理部１１０は、装置動き検出部１０７によって検出されたデジタルカメラ１００の動きに対応した補正レンズ１０５の動作量に応じて、補正方法を切り替える。
次に、フォーマット変換部１１２は、画像処理部１１０から出力された画像データのフォーマットをＪＰＥＧ等のフォーマットに変換し、画像記録部１１３に出力する。
次に、画像記録部１１３は、フォーマット変換された画像データを所定のメモリ等に記録する。
以上が撮影本処理である。なお、撮影本処理が終了するとデジタルカメラ１００は準備処理を繰り返す処理に戻る。 Next, the image processing unit 110 acquires the image data output from the A / D conversion unit 109, and performs various types of image processing corresponding to the shooting conditions on the acquired image data. Various image processing includes image processing such as white balance and light amount correction. Then, the image processing unit 110 outputs the image processed image data to the format conversion unit 112. When correcting the amount of light, the image processing unit 110 switches the correction method according to the operation amount of the correction lens 105 corresponding to the movement of the digital camera 100 detected by the apparatus motion detection unit 107.
Next, the format conversion unit 112 converts the format of the image data output from the image processing unit 110 into a format such as JPEG, and outputs it to the image recording unit 113.
Next, the image recording unit 113 records the format-converted image data in a predetermined memory or the like.
This is the photographing main process. When the main photographing process is completed, the digital camera 100 returns to the process of repeating the preparation process.

以上のように、撮影本処理で光量の補正をするとき、画像処理部１１０は補正レンズ１０５の動作量に応じて補正方法を変える。したがって、デジタルカメラ１００は全体の光量バランスがとれた画像データを生成できる。
次に、補正レンズ１０５の動作量によって変えられる光量の補正方法について説明する。
まず、図２を参照して、画像領域２０１における光軸の位置の移動、補正レンズ１０５の位置情報取得のタイミング、及び、撮影のタイミングについて説明する。図２は画像領域２０１における光軸の動きを表す図である。
画像領域２０１は、入射光を受ける撮像素子部１０３の領域であって、撮像素子部１０３からＡ／Ｄ変換部１０９に出力されるアナログ画像信号の元になる電荷を溜める光電変換素子が配置される領域である。 As described above, when the light amount is corrected in the photographing main process, the image processing unit 110 changes the correction method according to the operation amount of the correction lens 105. Therefore, the digital camera 100 can generate image data in which the overall light amount balance is achieved.
Next, a method for correcting the amount of light that is changed depending on the operation amount of the correction lens 105 will be described.
First, with reference to FIG. 2, the movement of the position of the optical axis in the image area 201, the timing of acquiring the positional information of the correction lens 105, and the timing of shooting will be described. FIG. 2 is a diagram illustrating the movement of the optical axis in the image area 201.
The image area 201 is an area of the imaging element unit 103 that receives incident light, and a photoelectric conversion element that accumulates charges that are the basis of an analog image signal output from the imaging element unit 103 to the A / D conversion unit 109 is arranged. Area.

画像領域２０１における撮像光学系１１７の光軸２０２は、補正レンズ１０５の位置によって連続的に移動する。補正レンズ１０５は、上記の通り、デジタルカメラ１００の動きに対応して動くため、撮像光学系１１７の光軸２０２はデジタルカメラ１００の動きに対応して動くといえる。
制御部１０２が画像領域２０１における光軸２０２の位置情報を取得するタイミングは離散的である。したがって、図２に示すように、制御部１０２が取得する光軸２０２の位置２０３ａ〜２０３ｅは離散的な情報となる。撮影時の光軸２０２の位置２０４ａ、２０４ｂも、画像領域２０１で移動する光軸２０２のいずれかの位置である。 The optical axis 202 of the imaging optical system 117 in the image area 201 continuously moves according to the position of the correction lens 105. Since the correction lens 105 moves in accordance with the movement of the digital camera 100 as described above, it can be said that the optical axis 202 of the imaging optical system 117 moves in accordance with the movement of the digital camera 100.
The timing at which the control unit 102 acquires the position information of the optical axis 202 in the image region 201 is discrete. Therefore, as shown in FIG. 2, the positions 203a to 203e of the optical axis 202 acquired by the control unit 102 are discrete information. The positions 204 a and 204 b of the optical axis 202 at the time of shooting are also any position of the optical axis 202 that moves in the image area 201.

画像領域２０１には判定範囲２０５が設定される。判定範囲２０５は補正レンズ１０５の動作量の大きさを判定するために使われる領域であり、例えば、画像領域２０１の中心点を中心とする円状の領域である。撮像光学系１１７がズーム機能を有するときは、撮像光学系１１７の焦点距離により画像領域２０１での補正レンズ１０５の動作による光軸２０２の移動範囲が異なる。したがって、撮像光学系１１７の焦点距離に応じて補正レンズ１０５の動作量の大きさを判定する判定範囲２０５を変えることが望ましい。なお、判定範囲２０５は予め定められた領域でもよい。   A determination range 205 is set in the image area 201. The determination range 205 is an area used for determining the magnitude of the operation amount of the correction lens 105, and is, for example, a circular area centered on the center point of the image area 201. When the imaging optical system 117 has a zoom function, the moving range of the optical axis 202 due to the operation of the correction lens 105 in the image region 201 differs depending on the focal length of the imaging optical system 117. Therefore, it is desirable to change the determination range 205 for determining the magnitude of the operation amount of the correction lens 105 in accordance with the focal length of the imaging optical system 117. Note that the determination range 205 may be a predetermined area.

デジタルカメラ１００の動きが小さい場合には補正レンズ１０５の動作量は小さく、光軸２０２は画像領域２０１の中心付近にある。
一方、デジタルカメラ１００の動きが大きくなると補正レンズ１０５の動作量は大きくなり、光軸２０２が画像領域２０１の中心付近から離れることがある。補正レンズ１０５の動作量が大きくなり光軸２０２が画像領域２０１の中心付近から離れるようなときは、制御部１０２が連続で２回補正レンズ１０５の位置を取得するときの１回目と２回目とで、補正レンズ１０５の位置の位置が大きく異なることがある。例えば、制御部１０２が１回目に補正レンズ１０５の位置を取得したとき光軸２０２が位置２０３ｄであり、２回目に補正レンズ１０５の位置を取得したとき光軸２０２が位置２０３ｅであり、撮影時の光軸２０２が位置２０４ｂであることがある。位置２０３ｄ、２０３ｅ及び位置２０４ｂは図２に示すように大きく異なる。 When the movement of the digital camera 100 is small, the operation amount of the correction lens 105 is small, and the optical axis 202 is near the center of the image area 201.
On the other hand, when the movement of the digital camera 100 increases, the operation amount of the correction lens 105 increases, and the optical axis 202 may move away from the vicinity of the center of the image area 201. When the operation amount of the correction lens 105 becomes large and the optical axis 202 moves away from the vicinity of the center of the image area 201, the control unit 102 continuously acquires the position of the correction lens 105 twice, and the second time. Thus, the position of the correction lens 105 may be greatly different. For example, when the control unit 102 acquires the position of the correction lens 105 for the first time, the optical axis 202 is the position 203d, and when the position of the correction lens 105 is acquired for the second time, the optical axis 202 is the position 203e. The optical axis 202 may be at the position 204b. The positions 203d and 203e and the position 204b are greatly different as shown in FIG.

デジタルカメラ１００の動きが大きくなる場合には光軸２０２は画像領域２０１全体を広範囲に移動する。よって、あるタイミングのときに光軸２０２が画像領域２０１の中心付近にあっても、必ずしも補正レンズ１０５の動作量が小さいとはいえない。
そこで、制御部１０２は次のように補正レンズの動作量を判定する。
まず、制御部１０２は複数回光軸２０２の位置を取得する。
次に、制御部１０２は、連続して取得した複数の光軸２０２の位置が、全て判定範囲２０５内である場合、補正レンズの動作量が所定量以下であると判定する。また、制御部１０２は、連続して取得した複数の光軸２０２の位置の少なくとも１つが判定範囲２０５の外である場合、補正レンズ１０５の動作量が所定量より大きいと判定する。
また、制御部１０２は、再度複数回の光軸２０２の位置を取得し、連続して取得した複数の光軸２０２の位置が、全て判定範囲２０５内である場合、補正レンズの動作量が所定量以下であると判定する。
なお、補正レンズの動作量が所定量より大きいか否かの判定に使われる光軸２０２の位置の数は、例えばデジタルカメラ１００内の不図示のメモリに記録される等して予め定められている。 When the movement of the digital camera 100 increases, the optical axis 202 moves over the entire image area 201 over a wide range. Therefore, even if the optical axis 202 is near the center of the image area 201 at a certain timing, it cannot be said that the operation amount of the correction lens 105 is necessarily small.
Therefore, the control unit 102 determines the operation amount of the correction lens as follows.
First, the control unit 102 acquires the position of the optical axis 202 a plurality of times.
Next, the control unit 102 determines that the operation amount of the correction lens is equal to or less than a predetermined amount when all the positions of the plurality of optical axes 202 acquired continuously are within the determination range 205. In addition, the control unit 102 determines that the operation amount of the correction lens 105 is larger than the predetermined amount when at least one of the positions of the plurality of optical axes 202 acquired continuously is outside the determination range 205.
In addition, the control unit 102 acquires the position of the optical axis 202 a plurality of times again, and when the positions of the plurality of optical axes 202 acquired successively are all within the determination range 205, the operation amount of the correction lens is determined. It is determined that the amount is below the fixed amount.
Note that the number of positions of the optical axis 202 used for determining whether the operation amount of the correction lens is larger than a predetermined amount is determined in advance, for example, by being recorded in a memory (not shown) in the digital camera 100. Yes.

このように、デジタルカメラ１００は、光軸２０２の位置を複数取得し、いずれかの光軸２０２の位置が、判定範囲２０５の外になるか否かに応じて、補正レンズ１０５の動作量が所定量より大きいか否か判定する。したがって、デジタルカメラ１００は、複雑な処理をすることなく補正レンズ１０５の動作量の判定ができる。   In this way, the digital camera 100 acquires a plurality of positions of the optical axis 202, and the operation amount of the correction lens 105 depends on whether the position of any one of the optical axes 202 is outside the determination range 205. It is determined whether it is larger than a predetermined amount. Therefore, the digital camera 100 can determine the operation amount of the correction lens 105 without performing complicated processing.

なお、補正レンズ１０５の動作量の判定は、制御部１０２が画像領域２０１における光軸２０２の速度情報を得られるときは、画像領域２０１における光軸２０２の位置情報ではなく、光軸２０２の速度情報を使って行ってもよい。
このとき、制御部１０２は、画像領域２０１における光軸２０２の速度が所定速度より大きいときは補正レンズ１０５の動作量が所定量より大きいと判定する。制御部１０２は、画像領域２０１上での光軸２０２の速度が所定速度以下のときは補正レンズ１０５の動作量が所定量以下であると判定する。
デジタルカメラ１００の動きが速くなる場合には補正レンズ１０５の動作の速度が速くなり、上記のように、制御部１０２が取得する光軸２０２の位置２０３ｄ、２０３ｅと、撮影時の光軸２０２の位置２０４ｂとが大きく異なることがある。また、補正レンズ１０５の動作の速度が遅い場合には、制御部１０２が取得する光軸２０２の位置２０３ｂ、２０３ｃと撮影時の光軸の位置２０４ａとの差が小さくなる。
このように、補正レンズ１０５の動作量の判定に光軸２０２の速度情報を使うことで、正確な判定ができるようになる。 When the control unit 102 can obtain the speed information of the optical axis 202 in the image area 201, the determination of the operation amount of the correction lens 105 is not the position information of the optical axis 202 in the image area 201 but the speed of the optical axis 202. You can use information.
At this time, the control unit 102 determines that the operation amount of the correction lens 105 is larger than the predetermined amount when the speed of the optical axis 202 in the image region 201 is larger than the predetermined speed. When the speed of the optical axis 202 on the image area 201 is equal to or lower than a predetermined speed, the control unit 102 determines that the operation amount of the correction lens 105 is equal to or lower than the predetermined amount.
When the movement of the digital camera 100 becomes faster, the operation speed of the correction lens 105 becomes faster, and as described above, the positions 203d and 203e of the optical axis 202 acquired by the control unit 102 and the optical axis 202 at the time of shooting. The position 204b may be greatly different. When the operation speed of the correction lens 105 is slow, the difference between the optical axis positions 203b and 203c acquired by the control unit 102 and the optical axis position 204a at the time of photographing becomes small.
In this way, accurate determination can be made by using the speed information of the optical axis 202 for determining the operation amount of the correction lens 105.

次に、制御部１０２により補正レンズ１０５の動作量が所定量以下であると判定されたときに、デジタルカメラ１００が行う光量の補正について説明する。なお、以降では光量の補正の対象となる画像データを撮像画像データと呼ぶ。撮像画像データは、撮像素子部１０３で得られたアナログ画像信号に基づく画像データである。また、画像領域２０１における光軸２０２の位置に対応する画像データの位置を、画像データにおける光軸の位置という。
制御部１０２により補正レンズ１０５の動作量が所定量以下であると判定されたとき、画像処理部１１０は次のように光量の補正を行う。
まず、制御部１０２又は画像処理部１１０は、撮像画像データにおける光軸の位置を取得する。ここでの光軸は、撮像画像データの撮像の直前に制御部１０２が取得した撮像光学系１１７の光軸である。
次に、画像処理部１１０は、取得した撮像画像データにおける光軸の位置を周辺光量落ち補正の補正中心として、撮像画像データに対して周辺光量落ち補正を行う。
補正レンズ１０５の動作量が小さい場合には、撮像画像データにおける撮影直前に取得した光軸２０２の位置を周辺光量落ち補正の補正中心にすると、取得する光軸２０２の位置と、撮影時の光軸２０２の位置との差が小さい。したがって、周辺光量落ちの補正中心と、撮像画像データにおける撮影時の光軸とのずれも少なくなるために、補正された画像データの光量バランスの低下も少なくなる。図２の例では、撮影直前に取得した光軸２０２の位置が位置２０３ｂであり、撮影時の光軸２０２の位置２０４ａである。 Next, the light amount correction performed by the digital camera 100 when the control unit 102 determines that the operation amount of the correction lens 105 is equal to or less than a predetermined amount will be described. In the following, image data that is subject to light amount correction is referred to as captured image data. The captured image data is image data based on an analog image signal obtained by the image sensor unit 103. The position of the image data corresponding to the position of the optical axis 202 in the image area 201 is referred to as the position of the optical axis in the image data.
When the control unit 102 determines that the operation amount of the correction lens 105 is equal to or less than the predetermined amount, the image processing unit 110 corrects the light amount as follows.
First, the control unit 102 or the image processing unit 110 acquires the position of the optical axis in the captured image data. The optical axis here is the optical axis of the imaging optical system 117 acquired by the control unit 102 immediately before imaging of the captured image data.
Next, the image processing unit 110 performs peripheral light amount drop correction on the captured image data using the position of the optical axis in the acquired captured image data as the correction center of the peripheral light amount drop correction.
When the operation amount of the correction lens 105 is small, if the position of the optical axis 202 acquired immediately before shooting in the captured image data is set as the correction center of the peripheral light amount drop correction, the position of the optical axis 202 to be acquired and the light at the time of shooting The difference from the position of the shaft 202 is small. Accordingly, since the deviation between the correction center for the decrease in peripheral light amount and the optical axis at the time of shooting in the captured image data is reduced, the reduction in the light amount balance of the corrected image data is also reduced. In the example of FIG. 2, the position of the optical axis 202 acquired immediately before shooting is the position 203b, and the position 204a of the optical axis 202 at the time of shooting.

なお、補正レンズ１０５の動作量が大きくないため、補正中心の元になる光軸の位置は、撮像画像データの撮影直前に取得した光軸の位置ではなくてもよい。ただし、撮像画像データに対してすぐに周辺光量落ち補正をするためには、撮像画像データの撮像の前に取得した光軸の位置を用いることが好ましい。
また、制御部１０２により補正レンズ１０５の動作量が所定量以下であると判定されたとき、画像領域２０１の中心点に対応する撮像画像データの点を補正中心として撮像画像データに対して周辺光量落ち補正を行ってもよい。補正レンズ１０５の動作量が大きくないため、この方法でも一定の精度で全体の光量バランスがとれた画像データを生成できる。 Since the operation amount of the correction lens 105 is not large, the position of the optical axis that is the origin of the correction center may not be the position of the optical axis acquired immediately before the captured image data is captured. However, it is preferable to use the position of the optical axis acquired before capturing the captured image data in order to immediately correct the peripheral light amount drop for the captured image data.
In addition, when the control unit 102 determines that the operation amount of the correction lens 105 is equal to or less than the predetermined amount, the peripheral light amount with respect to the captured image data with the point of the captured image data corresponding to the center point of the image region 201 as the correction center Drop correction may be performed. Since the operation amount of the correction lens 105 is not large, even with this method, it is possible to generate image data in which the entire light amount balance is achieved with a certain accuracy.

次に、制御部１０２により補正レンズ１０５の動作量が所定量より大きいと判定されたときに、デジタルカメラ１００が行う光量の補正を、図３を参照して説明する。図３は、画像領域２０１における光軸及び候補点を表す図である。
まず、予め画像領域２０１に複数の候補点３０２（３０２ａ〜３０２ｅ）を定めておく。候補点３０２ａは画像領域２０１の中心点である。候補点３０２ｂ〜３０２ｅは候補点３０２ａから等しい距離にあり、画像領域２０１の中心点に対して対称な位置になるように定める。例えば、候補点３０２ｂ〜３０２ｅが正方形の頂点となるように定める。なお、候補点３０２の数や位置に制限はないが、補正レンズ１０５の動作量が大きいときは撮影時の画像領域２０１における光軸は判定範囲２０５を超えていることが多いので、判定範囲２０５の外側に多く候補点３０２を設定することが好ましい。
次に、画像処理部１１０は、それぞれの候補点３０２について、画像領域２０１における候補点３０２に対応する撮像画像データの点である補正候補点を取得する。なお、撮像画像データにおける補正候補点は、予めデジタルカメラ１００内のメモリ等に記録しておいてもよい。
次に、画像処理部１１０は、それぞれの候補点３０２に対応する補正候補点を周辺光量落ちの補正中心として、撮像画像データに対して周辺光量落ち補正を行い、変換画像データを作成する。このため、候補点３０２の数と同数の変換画像データが作成される。 Next, the light amount correction performed by the digital camera 100 when the control unit 102 determines that the operation amount of the correction lens 105 is larger than a predetermined amount will be described with reference to FIG. FIG. 3 is a diagram illustrating the optical axis and candidate points in the image region 201.
First, a plurality of candidate points 302 (302a to 302e) are determined in advance in the image area 201. Candidate point 302 a is the center point of image region 201. The candidate points 302b to 302e are determined to be at the same distance from the candidate point 302a and to be symmetric with respect to the center point of the image area 201. For example, the candidate points 302b to 302e are determined to be square vertices. Although the number and positions of the candidate points 302 are not limited, the optical axis in the image area 201 at the time of shooting often exceeds the determination range 205 when the operation amount of the correction lens 105 is large. It is preferable to set many candidate points 302 outside of.
Next, the image processing unit 110 acquires, for each candidate point 302, a correction candidate point that is a point of captured image data corresponding to the candidate point 302 in the image region 201. Note that the correction candidate points in the captured image data may be recorded in advance in a memory or the like in the digital camera 100.
Next, the image processing unit 110 performs the peripheral light amount drop correction on the captured image data with the correction candidate point corresponding to each candidate point 302 as the correction center of the peripheral light amount drop, and creates converted image data. Therefore, the same number of converted image data as the number of candidate points 302 is created.

次に、制御部１０２又は画像処理部１１０は、それぞれの変換画像データから明暗の差が最も少ない変換画像データを選択して、光量の補正がされた撮像画像データとする。
明暗の差が最も少ない変換画像データの選択は次のように行われる。
まず、制御部１０２又は画像処理部１１０は、それぞれの変換画像データについて、輝度の最大値及び最小値を求め、輝度の最大値及び最小値の差を算出する。このとき、制御部１０２又は画像処理部１１０は、変換画像データの全ての領域を探索して輝度の最大値及び最小値を求める。これにより、輝度の最大値及び最小値の差を最も精度よく算出できる。なお、制御部１０２又は画像処理部１１０は、変換画像データの中心部等、変換画像データの一部分を探索して輝度の最大値及び最小値を求めてもよい。これにより、輝度の最大値及び最小値の探索時間を短縮できる。
そして、制御部１０２又は画像処理部１１０は、輝度の最大値と最小値との差が最も小さい変換画像データを、明暗の差が最も少ない変換画像データとして選択する。 Next, the control unit 102 or the image processing unit 110 selects the converted image data having the smallest difference in brightness from the respective converted image data, and uses the converted image data as the corrected image data.
Selection of converted image data with the smallest difference in brightness is performed as follows.
First, the control unit 102 or the image processing unit 110 obtains the maximum value and the minimum value of the luminance for each converted image data, and calculates the difference between the maximum value and the minimum value of the luminance. At this time, the control unit 102 or the image processing unit 110 searches all areas of the converted image data to obtain the maximum value and the minimum value of the luminance. Thereby, the difference between the maximum value and the minimum value of luminance can be calculated with the highest accuracy. Note that the control unit 102 or the image processing unit 110 may search for a part of the converted image data such as the central portion of the converted image data to obtain the maximum value and the minimum value of the luminance. Thereby, the search time for the maximum value and the minimum value of luminance can be shortened.
Then, the control unit 102 or the image processing unit 110 selects the converted image data having the smallest difference between the maximum value and the minimum value as the converted image data having the smallest difference in brightness.

次に、制御部１０２により補正レンズ１０５の動作量が所定量より大きいと判定されたとき、以上のように光量の補正を行う理由について説明する。
まず、空や壁のような輝度が一様な被写体の場合について説明する。このような被写体は周辺光量落ちが目立つため、周辺光量落ちのバランスが崩れると好ましくない画像となる。
輝度が一様な被写体の撮像画像データに対して、周辺光量落ち補正の補正中心と、撮像画像データにおける撮影時の光軸とがずれると、変換画像データに過補正部と補正不足の部分が発生する。したがって、周辺光量落ち補正の補正中心と、撮像画像データ上の光軸とが一致した場合に比べて、変換画像データ内の輝度の最大値と最小値の差が大きくなる。 Next, the reason why the light amount is corrected as described above when the control unit 102 determines that the operation amount of the correction lens 105 is larger than the predetermined amount will be described.
First, the case of a subject with uniform brightness such as a sky or a wall will be described. Such a subject has a noticeable decrease in the amount of peripheral light, and if the balance of the decrease in the amount of peripheral light is lost, an unfavorable image is obtained.
If the correction center of the peripheral light amount drop correction and the optical axis at the time of shooting in the captured image data are misaligned with respect to the captured image data of the subject with uniform brightness, the converted image data has an overcorrected portion and an undercorrected portion. Occur. Therefore, the difference between the maximum value and the minimum value of the luminance in the converted image data is larger than when the correction center for the peripheral light amount drop correction matches the optical axis on the captured image data.

ここで、図４を参照して、輝度が均一な被写体の撮像画像データに対する、周辺光量落ち補正の補正中心と、撮像画像データにおける撮影時の光軸とがずれる場合の、周辺光量落ち補正の例を説明する。
図４（ａ）は、撮像画像データについての画像断面と光量との関係を示す図である。横軸は撮像画像データにおける撮影時の光軸を通る線の位置であり、縦軸は光量を示す。図４（ａ）に示すように、一様な輝度の被写体を撮影しても撮像光学系１１７により撮像画像データの周辺での光量は、撮像画像データの中心より低い。
図４（ｂ）は、撮像画像データにおける撮影時の光軸からずれた点を補正中心とするときの周辺光量落ち補正の補正量を示す図である。横軸は図４（ａ）と同様であり、縦軸は補正量を示す。 Here, referring to FIG. 4, the peripheral light amount drop correction is performed when the correction center of the peripheral light amount drop correction for the captured image data of the subject having a uniform brightness and the optical axis at the time of shooting in the captured image data are shifted. An example will be described.
FIG. 4A is a diagram illustrating the relationship between the image cross section and the amount of light for the captured image data. The horizontal axis represents the position of a line passing through the optical axis at the time of shooting in the captured image data, and the vertical axis represents the amount of light. As shown in FIG. 4A, the amount of light around the captured image data by the imaging optical system 117 is lower than the center of the captured image data even when a subject with uniform brightness is captured.
FIG. 4B is a diagram illustrating the correction amount of the peripheral light amount drop correction when a point shifted from the optical axis at the time of shooting in the captured image data is used as the correction center. The horizontal axis is the same as in FIG. 4A, and the vertical axis indicates the correction amount.

図４（ｃ）は、図４（ａ）に示す光量分布を持つ撮像画像データに対して、図４（ｂ）に示すような補正量の分布で周辺光量落ち補正を行ったときの変換画像データについての、画像断面と光量の関係を示す図である。横軸は変換画像データにおける撮影時の光軸を通る線の位置であり、縦軸は光量を示す。
図４（ｃ）に示すように、周辺光量落ち補正の補正中心と撮像画像データにおける撮影時の光軸とがずれると、過補正部分と補正不足が大きく生じて、変換画像データ内の輝度の最大値と最小値の差が大きくなる。 FIG. 4C shows a converted image when the peripheral light amount drop correction is performed on the captured image data having the light amount distribution shown in FIG. 4A with the correction amount distribution shown in FIG. It is a figure which shows the relationship between an image cross section and light quantity about data. The horizontal axis represents the position of a line passing through the optical axis at the time of shooting in the converted image data, and the vertical axis represents the amount of light.
As shown in FIG. 4C, when the correction center of the peripheral light amount drop correction is shifted from the optical axis at the time of shooting in the captured image data, the overcorrected portion and the undercorrection greatly occur, and the luminance in the converted image data is increased. The difference between the maximum and minimum values becomes large.

次に、図５を参照して、輝度が均一な被写体の撮像画像データに対する、周辺光量落ち補正の補正中心と、撮像画像データにおける撮影時の光軸とのずれが少ない場合の、周辺光量落ち補正の例を説明する。
図５（ａ）は、図４（ａ）と同じ図であり、撮像画像データについての画像断面と光量の関係を示す図である。
図５（ｂ）は、撮像画像データにおける撮影時の光軸からのずれが少ない点を補正中心とするときの周辺光量落ち補正の補正量を示す図である。横軸は図５（ａ）と同様であり、縦軸は補正量を示す。 Next, referring to FIG. 5, the peripheral light amount drop when there is little deviation between the correction center of the peripheral light amount drop correction for the captured image data of the subject with uniform brightness and the optical axis at the time of shooting in the captured image data. An example of correction will be described.
FIG. 5A is the same diagram as FIG. 4A and shows the relationship between the image cross section and the amount of light for the captured image data.
FIG. 5B is a diagram showing the correction amount of the peripheral light amount drop correction when the correction center is a point where the deviation from the optical axis at the time of shooting in the captured image data is small. The horizontal axis is the same as in FIG. 5A, and the vertical axis indicates the correction amount.

図５（ｃ）は、図５（ａ）に示す光量分布を持つ撮像画像データに対して、図５（ｂ）に示すような補正量の分布で周辺光量落ち補正を行ったときの変換画像データについての、画像断面と光量の関係を示す図である。横軸は変換画像データ上の光軸を通る線の位置であり、縦軸は光量を示す。
図５（ｃ）に示すように、周辺光量落ち補正の補正中心と撮像画像データにおける撮影時の光軸とのずれが少ないと、過補正部分と補正不足の量が少ないため、変換画像データ内の輝度の最大値と最小値の差が小さくなる。
以上のように、輝度が一様な被写体の撮像画像データについて、輝度の最大値と最小値との差が最も小さい変換画像データが、画像データの明暗差が少なくなり光量バランスが良くなる。したがって、輝度の最大値と最小値との差が最も小さい変換画像データを、明暗の差が最も少ない変換画像データとして選択することが好ましいといえる。 FIG. 5C shows a converted image obtained when the peripheral light amount drop correction is performed on the captured image data having the light amount distribution shown in FIG. 5A with the correction amount distribution shown in FIG. It is a figure which shows the relationship between an image cross section and light quantity about data. The horizontal axis represents the position of a line passing through the optical axis on the converted image data, and the vertical axis represents the amount of light.
As shown in FIG. 5C, if there is little deviation between the correction center of the peripheral light amount drop correction and the optical axis at the time of shooting in the captured image data, the amount of overcorrection and the amount of undercorrection are small. The difference between the maximum value and the minimum value of the brightness becomes small.
As described above, with respect to captured image data of a subject with uniform luminance, the converted image data having the smallest difference between the maximum value and the minimum value of the luminance has a smaller light / dark difference in the image data and the light quantity balance is improved. Therefore, it can be said that it is preferable to select the converted image data having the smallest difference between the maximum value and the minimum value as the converted image data having the smallest difference in brightness.

次に、輝度が均一ではない被写体の場合について説明する。
輝度が均一でない被写体において光軸と周辺光量落ち補正の補正中心がずれたときでも、変換画像データの輝度の最大値と最小値の差が少ない場合には、変換画像データの明暗差が少なくなり光量バランスが良くなる。 Next, the case of a subject whose luminance is not uniform will be described.
Even if the optical axis and the correction center of the peripheral light amount drop correction are shifted in a subject with non-uniform brightness, if the difference between the maximum value and minimum value of the converted image data is small, the difference in brightness of the converted image data will be small. The light intensity balance is improved.

まず、図６を参照して、輝度が均一ではない被写体の撮像画像データに対して、周辺光量落ち補正の補正中心と、撮像画像データにおける撮影時の光軸とがずれる場合の周辺光量落ち補正の例を説明する。
図６（ａ）は、撮像画像データについての画像断面と光量の関係を示す図である。横軸は撮像画像データにおける撮影時の光軸を通る線の位置であり、縦軸は光量を示す。
図６（ｂ）は、撮像画像データにおける撮影時の光軸からずれた点を補正中心とするときの周辺光量落ち補正の補正量を示す図である。横軸は図６（ａ）と同様であり、縦軸は補正量を示す。 First, referring to FIG. 6, with respect to captured image data of a subject whose luminance is not uniform, the peripheral light amount drop correction in the case where the correction center of the peripheral light amount drop correction is misaligned with the optical axis at the time of shooting in the captured image data. An example will be described.
FIG. 6A is a diagram illustrating the relationship between the image cross section and the amount of light for the captured image data. The horizontal axis represents the position of a line passing through the optical axis at the time of shooting in the captured image data, and the vertical axis represents the amount of light.
FIG. 6B is a diagram illustrating a correction amount of the peripheral light amount drop correction when a point shifted from the optical axis at the time of shooting in the captured image data is used as the correction center. The horizontal axis is the same as in FIG. 6A, and the vertical axis indicates the correction amount.

図６（ｃ）は、図６（ａ）に示す光量分布を持つ撮像画像データに対して、図６（ｂ）に示すような補正量の分布で周辺光量落ち補正を行ったときの変換画像データについての、画像断面と光量の関係を示す図である。横軸は変換画像データにおける撮影時の光軸を通る線の位置であり、縦軸は光量を示す。
図６（ｃ）に示すように、周辺光量落ち補正の補正中心と撮像画像データにおける撮影時の光軸とのずれが大きいと、過補正部分と補正不足が大きく生じて、変換画像データ内の輝度の最大値と最小値の差が小さくなる。 FIG. 6C shows a converted image obtained when the peripheral light amount drop correction is performed on the captured image data having the light amount distribution shown in FIG. 6A with the correction amount distribution shown in FIG. It is a figure which shows the relationship between an image cross section and light quantity about data. The horizontal axis represents the position of a line passing through the optical axis at the time of shooting in the converted image data, and the vertical axis represents the amount of light.
As shown in FIG. 6C, if the deviation between the correction center of the peripheral light amount drop correction and the optical axis at the time of shooting in the captured image data is large, the overcorrected portion and the undercorrection are greatly generated, and the converted image data The difference between the maximum value and the minimum value of luminance is reduced.

次に、図７を参照して、輝度が均一ではない被写体の撮像画像データに対する、周辺光量落ち補正の補正中心と撮像画像データにおける撮影時の光軸とのずれが少ない場合の、周辺光量落ち補正の例を説明する。
図７（ａ）は、図６（ａ）と同じ図であり、撮像画像データについての画像断面と光量の関係を示す図である。
図７（ｂ）は、撮像画像データにおける撮影時の光軸からのずれが少ない点を補正中心とするときの周辺光量落ち補正の補正量を示す図である。横軸は図７（ａ）と同様であり、縦軸は補正量を示す。 Next, referring to FIG. 7, the peripheral light amount drop when the deviation between the correction center of the peripheral light amount drop correction and the optical axis at the time of shooting in the picked-up image data is small for the captured image data of the subject whose luminance is not uniform. An example of correction will be described.
FIG. 7A is the same diagram as FIG. 6A, and shows the relationship between the image cross section and the amount of light for the captured image data.
FIG. 7B is a diagram illustrating the correction amount of the peripheral light amount drop correction when the correction center is a point where the deviation from the optical axis at the time of shooting in the captured image data is small. The horizontal axis is the same as in FIG. 7A, and the vertical axis indicates the correction amount.

図７（ｃ）は、図７（ａ）に示す光量分布を持つ撮像画像データに対して、図７（ｂ）に示すような補正量の分布で周辺光量落ち補正を行ったときの変換画像データについての、画像断面と光量の関係を示す図である。横軸は変換画像データにおける撮影時の光軸を通る線の位置であり、縦軸は光量を示す。
図７（ｃ）に示すように、周辺光量落ち補正の補正中心と撮像画像データにおける撮影時の光軸とのずれが少ないと、過補正部分と補正不足が生じず、変換画像データ内の輝度の最大値と最小値の差が大きくなる。
以上のように、輝度が一様ではない被写体の撮像画像データについても、輝度の最大値と最小値との差が最も小さい変換画像データが、画像データの明暗差が少なくなり光量バランスが良くなる。したがって、輝度の最大値と最小値との差が最も小さい変換画像データを、明暗の差が最も少ない変換画像データとして選択することが好ましいといえる。 FIG. 7C shows a converted image when the peripheral light amount drop correction is performed on the captured image data having the light amount distribution shown in FIG. 7A with the correction amount distribution shown in FIG. 7B. It is a figure which shows the relationship between an image cross section and light quantity about data. The horizontal axis represents the position of a line passing through the optical axis at the time of shooting in the converted image data, and the vertical axis represents the amount of light.
As shown in FIG. 7C, if there is little deviation between the correction center of the peripheral light amount drop correction and the optical axis at the time of shooting in the captured image data, the overcorrected portion and insufficient correction do not occur, and the luminance in the converted image data The difference between the maximum and minimum values of becomes large.
As described above, even for captured image data of a subject whose luminance is not uniform, the converted image data having the smallest difference between the maximum value and the minimum value of the luminance reduces the brightness difference between the image data and improves the light quantity balance. . Therefore, it can be said that it is preferable to select the converted image data having the smallest difference between the maximum value and the minimum value as the converted image data having the smallest difference in brightness.

以上説明したように、デジタルカメラ１００は、撮像画像データを、補正レンズ１０５の動作量に応じた方法で補正する。よって、補正レンズ１０５の動作量が大きくて撮影時の撮像光学系１１７の光軸の取得が困難であっても、デジタルカメラ１００は全体の光量バランスがとれた画像データを生成できる。   As described above, the digital camera 100 corrects the captured image data by a method according to the operation amount of the correction lens 105. Therefore, even if the operation amount of the correction lens 105 is large and it is difficult to acquire the optical axis of the imaging optical system 117 at the time of shooting, the digital camera 100 can generate image data in which the entire light amount balance is achieved.

なお、制御部１０２により補正レンズ１０５の動作量が所定量より大きいと判定されたときの光量の補正は次のように行ってもよい。
まず、制御部１０２又は画像処理部１１０は、撮像画像データに基づく補助画像データを生成する。補助画像データの第１例として、撮像画像データを複数の領域にブロック分割し、領域毎の輝度の積分値からなる画像データがある。また、補助画像データの第２例として、撮像画像データを縮小した画像データがある。
次に、制御部１０２又は画像処理部１１０は、補助画像データにおける複数の予め定められた補助候補点を補正中心として周辺光量落ち補正を行い、複数の変換補助画像データを生成する。
次に、制御部１０２又は画像処理部１１０は、複数の変換補助画像データから明暗の差が最も少ない変換補助画像データを選択する。この選択は例えば次のように行われる。まず、第１に、制御部１０２又は画像処理部１１０は、変換補助画像データのそれぞれについて、所定の領域の輝度の最大値及び最小値の差を算出する。所定の領域は、変換補助画像データの全ての領域としてもよい。これにより、輝度の最大値及び最小値の差を精度よく算出できる。また、所定の領域は、変換補助画像データの中心部等、変換補助画像データの一部分であってもよい。これにより、輝度の最大値及び最小値の探索時間を短縮できる。第２に、算出した最大値及び最小値の差が最も小さい変換補助画像データを、明暗の差が最も少ない変換補助画像データとして選択する。
次に、選択した変換補助画像データの作成に使用した補助候補点に対応する撮像画像データの点を補正中心として周辺光量落ち補正を行う。
これにより、周辺光量落ち補正の計算量を低減させて、計算の負荷を下げられる。 The light amount correction when the control unit 102 determines that the operation amount of the correction lens 105 is larger than a predetermined amount may be performed as follows.
First, the control unit 102 or the image processing unit 110 generates auxiliary image data based on the captured image data. As a first example of the auxiliary image data, there is image data that is obtained by dividing the captured image data into a plurality of regions and dividing the luminance values for each region. Further, as a second example of auxiliary image data, there is image data obtained by reducing captured image data.
Next, the control unit 102 or the image processing unit 110 performs peripheral light amount drop correction using a plurality of predetermined auxiliary candidate points in the auxiliary image data as correction centers, and generates a plurality of conversion auxiliary image data.
Next, the control unit 102 or the image processing unit 110 selects conversion auxiliary image data having the smallest difference in brightness from a plurality of conversion auxiliary image data. This selection is performed as follows, for example. First, the control unit 102 or the image processing unit 110 calculates the difference between the maximum value and the minimum value of the luminance in a predetermined area for each of the conversion auxiliary image data. The predetermined area may be all areas of the conversion auxiliary image data. Thereby, the difference between the maximum value and the minimum value of the luminance can be calculated with high accuracy. Further, the predetermined area may be a part of the conversion auxiliary image data, such as the central part of the conversion auxiliary image data. Thereby, the search time for the maximum value and the minimum value of luminance can be shortened. Secondly, the conversion auxiliary image data having the smallest difference between the calculated maximum value and minimum value is selected as the conversion auxiliary image data having the smallest difference in brightness.
Next, the peripheral light amount drop correction is performed with the point of the captured image data corresponding to the auxiliary candidate point used to create the selected conversion auxiliary image data as the correction center.
Thereby, the calculation amount of the peripheral light amount drop correction can be reduced, and the calculation load can be reduced.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Although the present invention has been described together with the embodiments, the above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention is interpreted in a limited manner by these. It must not be. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

１００ デジタルカメラ、１０２ 制御部、１０３ 撮像素子部、１１０ 画像処理部   100 Digital Camera, 102 Control Unit, 103 Image Sensor Unit, 110 Image Processing Unit

Claims (17)

画像データの光量の補正をする画像補正装置であって、
位置を変えることで像のぶれを補正する補正レンズを有する撮像光学系を介して撮像手段によって撮像された撮像画像データを取得する取得手段と、
前記取得手段で取得された前記撮像画像データに対して、前記補正レンズの動作量に応じた補正方法で光量の補正をする補正手段と、を備えることを特徴とする画像補正装置。 An image correction apparatus for correcting the amount of light of image data,
Acquisition means for acquiring captured image data captured by the imaging means via an imaging optical system having a correction lens that corrects image blurring by changing the position;
An image correction apparatus comprising: correction means for correcting the amount of light with respect to the captured image data acquired by the acquisition means by a correction method according to an operation amount of the correction lens. 前記補正手段は、前記補正レンズの動作量が所定量より大きいか否かに応じて、光量の補正方法を変えることを特徴とする請求項１に記載の画像補正装置。   The image correction apparatus according to claim 1, wherein the correction unit changes a light amount correction method according to whether or not the operation amount of the correction lens is larger than a predetermined amount. 前記補正手段は、前記補正レンズの動作量が前記所定量以下のとき、前記撮像画像データにおける所定の位置を補正中心として周辺光量落ち補正を行う補正方法で光量の補正をすることを特徴とする請求項２に記載の画像補正装置。   The correction unit corrects the light amount by a correction method that performs peripheral light amount drop correction with a predetermined position in the captured image data as a correction center when the operation amount of the correction lens is equal to or less than the predetermined amount. The image correction apparatus according to claim 2. 前記所定の位置は、前記撮像手段における前記撮像光学系の光軸の取得された位置に対応する位置であることを特徴とする請求項３に記載の画像補正装置。   The image correction apparatus according to claim 3, wherein the predetermined position is a position corresponding to an acquired position of an optical axis of the imaging optical system in the imaging unit. 前記所定の位置は、前記撮像画像データの元となる入射光を受ける前記撮像手段の領域の中心点に対応する位置であることを特徴とする請求項３に記載の画像補正装置。   The image correction apparatus according to claim 3, wherein the predetermined position is a position corresponding to a center point of a region of the imaging unit that receives incident light that is a source of the captured image data. 前記補正手段は、前記補正レンズの動作量が前記所定量より大きいとき、前記撮像画像データにおける複数の補正候補点を補正中心として周辺光量落ち補正を行って複数の変換画像データを得て、明暗の差が最も少ない前記変換画像データを光量の補正がされた前記撮像画像データとする補正方法で光量の補正をすることを特徴とする請求項２乃至５のいずれか１項に記載の画像補正装置。   The correction unit performs peripheral light amount drop correction using a plurality of correction candidate points in the captured image data as a correction center to obtain a plurality of converted image data when the operation amount of the correction lens is larger than the predetermined amount, 6. The image correction according to claim 2, wherein the light amount is corrected by a correction method in which the converted image data having the smallest difference is the captured image data in which the light amount is corrected. apparatus. 前記補正手段は、前記補正レンズの動作量が前記所定量より大きいとき、複数の前記変換画像データのそれぞれについて、所定の領域の輝度の最大値と最小値との差を算出し、前記差が最も小さい前記変換画像データを、明暗の差が最も少ない前記変換画像データとすることを特徴とする請求項６に記載の画像補正装置。   The correction unit calculates a difference between a maximum value and a minimum value of luminance in a predetermined region for each of the plurality of converted image data when the operation amount of the correction lens is larger than the predetermined amount. The image correction apparatus according to claim 6, wherein the smallest converted image data is the converted image data having the least difference in brightness. 前記補正手段は、前記補正レンズの動作量が前記所定量より大きいとき、前記撮像画像データに基づく補助画像データにおける複数の補助候補点を補正中心として周辺光量落ち補正を行って複数の変換補助画像データを作成し、複数の前記変換補助画像データから明暗の差が最も少ない前記変換補助画像データを選択し、選択した前記変換補助画像データの作成に使用した前記補助候補点に対応する前記撮像画像データの点を補正中心として周辺光量落ち補正を行うことを特徴とする請求項２乃至５のいずれか１項に記載の画像補正装置。   The correction unit performs peripheral light amount drop correction using a plurality of auxiliary candidate points in the auxiliary image data based on the captured image data as a correction center when a movement amount of the correction lens is larger than the predetermined amount, and a plurality of conversion auxiliary images. The captured image corresponding to the auxiliary candidate point used for creating the selected conversion auxiliary image data by creating data, selecting the conversion auxiliary image data having the smallest difference in brightness from a plurality of the conversion auxiliary image data The image correction apparatus according to claim 2, wherein the peripheral light amount drop correction is performed with the data point as a correction center. 前記補正手段は、前記補正レンズの動作量が前記所定量より大きいとき、複数の前記変換補助画像データのそれぞれについて、所定の領域の輝度の最大値と最小値との差を算出し、前記差が最も小さい前記変換補助画像データを、明暗の差が最も少ない前記変換補助画像データとすることを特徴とする請求項８に記載の画像補正装置。   The correction means calculates a difference between a maximum value and a minimum value of luminance in a predetermined area for each of the plurality of conversion auxiliary image data when the operation amount of the correction lens is larger than the predetermined amount, and the difference The image correction apparatus according to claim 8, wherein the conversion auxiliary image data having the smallest difference is the conversion auxiliary image data having the smallest difference in brightness. 前記補助画像データは、前記撮像画像データの複数の領域毎の輝度の積分値からなる画像データであることを特徴とする請求項８又は９に記載の画像補正装置。   The image correction apparatus according to claim 8, wherein the auxiliary image data is image data including an integral value of luminance for each of a plurality of regions of the captured image data. 前記補助画像データは、前記撮像画像データを縮小した画像データであることを特徴とする請求項８又は９に記載の画像補正装置。   The image correction apparatus according to claim 8, wherein the auxiliary image data is image data obtained by reducing the captured image data. 前記補正手段は、前記撮像手段における前記撮像光学系の光軸の位置に基づいて、前記補正レンズの動作量が前記所定量より大きいか否か判定することを特徴とする請求項２乃至１１のいずれか１項に記載の画像補正装置。   12. The correction unit according to claim 2, wherein the correction unit determines whether an operation amount of the correction lens is larger than the predetermined amount based on a position of an optical axis of the imaging optical system in the imaging unit. The image correction apparatus according to any one of the above. 前記補正手段は、前記撮像手段における前記撮像光学系の光軸の位置を複数取得し、いずれかの前記撮像光学系の光軸の位置が、前記撮像画像データの元となる入射光を受ける前記撮像手段の領域における中心点を含む判定範囲の外であるか否かに応じて、前記補正レンズの動作量が前記所定量より大きいか否か判定することを特徴とする請求項１２に記載の画像補正装置。   The correction unit acquires a plurality of positions of the optical axis of the imaging optical system in the imaging unit, and the position of the optical axis of any one of the imaging optical systems receives incident light that is a source of the captured image data. 13. The method according to claim 12, wherein whether or not the operation amount of the correction lens is greater than the predetermined amount is determined according to whether or not the determination range includes a center point in the region of the imaging unit. Image correction device. 前記判定範囲は、前記撮像光学系の焦点距離に基づいて変えられることを特徴とする請求項１３に記載の画像補正装置。   The image correction apparatus according to claim 13, wherein the determination range is changed based on a focal length of the imaging optical system. 前記補正手段は、前記撮像手段における前記撮像光学系の光軸の速度に基づいて、前記補正レンズの動作量が前記所定量より大きいか否か判定することを特徴とする請求項２乃至１１のいずれか１項に記載の画像補正装置。   12. The correction unit according to claim 2, wherein the correction unit determines whether an operation amount of the correction lens is larger than the predetermined amount based on a speed of an optical axis of the imaging optical system in the imaging unit. The image correction apparatus according to any one of the above. 画像データの光量の補正をする画像補正装置の制御方法であって、
位置を変えることで像のぶれを補正する補正レンズを有する撮像光学系を介して撮像手段によって撮像された撮像画像データを取得する取得ステップと、
前記取得ステップで取得された前記撮像画像データに対して、前記補正レンズの動作量に応じた補正方法で光量の補正をする補正ステップと、を備えることを特徴とする画像補正装置の制御方法。 A control method for an image correction apparatus for correcting the amount of light of image data,
An acquisition step of acquiring captured image data captured by the imaging unit via an imaging optical system having a correction lens that corrects image blur by changing the position;
A control method for an image correction apparatus, comprising: a correction step of correcting the amount of light with respect to the captured image data acquired in the acquisition step by a correction method according to an operation amount of the correction lens. 画像データの光量の補正をする画像補正装置を制御するためのプログラムであって、
位置を変えることで像のぶれを補正する補正レンズを有する撮像光学系を介して撮像手段によって撮像された撮像画像データを取得する取得ステップと、
前記取得ステップで取得された前記撮像画像データに対して、前記補正レンズの動作量に応じた補正方法で光量の補正をする補正ステップと、をコンピュータに実行させるためのプログラム。 A program for controlling an image correction apparatus that corrects the light amount of image data,
An acquisition step of acquiring captured image data captured by the imaging unit via an imaging optical system having a correction lens that corrects image blur by changing the position;
A program for causing a computer to execute a correction step of correcting the amount of light with respect to the captured image data acquired in the acquisition step by a correction method according to an operation amount of the correction lens.

Images