<カメラの説明>
図1は、一実施の形態による電子機器(例えば、カメラ1)の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、液晶モニタ36と、操作部材37と、不揮発性メモリ38と、記録部39と、発光装置40とを有する。
<Camera description>
FIG. 1 is a block diagram illustrating the configuration of an electronic device (for example, camera 1) according to an embodiment. In FIG. 1, the camera 1 includes an imaging optical system 31, an imaging unit 32, an image processing unit 33, a work memory 34, a control unit 35, a liquid crystal monitor 36, an operating member 37, and a non-volatile memory 38. , A recording unit 39, and a light emitting device 40.
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子100および駆動部32aを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子100における撮像面の全域において同じ条件で撮像したり、撮像素子100における撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32aは、撮像素子100に蓄積制御を行わせるために必要な駆動信号を生成する。撮像部32に対する電荷蓄積時間などの撮像指示は、制御部35から駆動部32aへ送信される。
The imaging optical system 31 guides the light flux from the field of view to the imaging unit 32. The image pickup unit 32 includes the image pickup element 100 and the drive unit 32a, and photoelectrically converts the image of the subject imaged by the image pickup optical system 31. The image pickup unit 32 can take an image under the same conditions over the entire area of the image pickup surface of the image pickup element 100, or can take an image under different conditions for each region of the image pickup surface of the image pickup element 100. The details of the imaging unit 32 will be described later. The drive unit 32a generates a drive signal necessary for causing the image sensor 100 to perform storage control. An imaging instruction such as a charge accumulation time for the imaging unit 32 is transmitted from the control unit 35 to the driving unit 32a.
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理には、例えば、輪郭強調処理、ガンマ補正、ホワイトバランス調整、表示輝度調整、彩度調整等が含まれる。画像処理部33は、後述するように、画像の全域に対して同じパラメータ等を適用して画像処理をしたり、画像の領域ごとに異なるパラメータ等を適用して画像処理をしたりすることができる。
The image processing unit 33 cooperates with the work memory 34 to perform image processing on the image data captured by the image capturing unit 32. Image processing includes, for example, contour enhancement processing, gamma correction, white balance adjustment, display luminance adjustment, saturation adjustment, and the like. As will be described later, the image processing unit 33 may apply the same parameters or the like to the entire area of the image to perform image processing, or apply different parameters or the like to each area of the image to perform image processing. it can.
ワークメモリ34は、画像処理前や後の画像データなどが一時的に記録されるメモリである。制御部35は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、撮像部32で取得された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子100の電荷蓄積時間(露光時間)、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32aへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。さらにまた、発光装置40の発光を許可する設定が行われている場合には、適正露出に必要な発光装置40の発光量を決定して発光装置40へ指示する。
The work memory 34 is a memory for temporarily recording image data before and after image processing. The control unit 35 is composed of, for example, a CPU, and controls the entire operation by the camera 1. For example, a predetermined exposure calculation is performed based on the image signal acquired by the image pickup unit 32, and the charge accumulation time (exposure time) of the image pickup element 100 required for proper exposure, the aperture value of the image pickup optical system 31, the ISO sensitivity, and the like are determined. The exposure condition is determined and instructed to the drive unit 32a. Further, the image processing conditions for adjusting the saturation, contrast, sharpness, etc. are determined according to the imaging scene mode set in the camera 1 and the type of the detected subject element, and are instructed to the image processing unit 33. The detection of the subject element will be described later. Furthermore, when the light emitting device 40 is set to allow light emission, the light emitting amount of the light emitting device 40 required for proper exposure is determined and instructed to the light emitting device 40.
制御部35には、物体検出部35aと、領域区分け部35bと、設定部35cと、撮像条件設定部35dと、撮像制御部35eと、AF演算部35fと、表示制御部35gとが含まれる。これらは、制御部35が不揮発性メモリ38に格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
The control unit 35 includes an object detection unit 35a, a region division unit 35b, a setting unit 35c, an imaging condition setting unit 35d, an imaging control unit 35e, an AF calculation unit 35f, and a display control unit 35g. .. These are realized by software when the control unit 35 executes a program stored in the non-volatile memory 38, but these may be configured by an ASIC or the like.
物体検出部35aは、公知の物体認識処理を行うことにより、撮像部32によって取得された画像から、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。
The object detection unit 35a performs a known object recognition process, and from the image acquired by the image pickup unit 32, the object detection unit 35a includes a person (human face), an animal such as a dog or a cat (animal face), a plant, a bicycle, or an automobile. Detects subject elements such as vehicles such as trains, structures, stationary objects, landscapes such as mountains and clouds, and specific predetermined objects.
領域区分け部35bは、撮像部32による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割(区分け)する。設定部35cは、領域区分け部35bによって区分けされた複数の領域に序列をつける。序列の付け方については後述する。
The area division unit 35b divides (divides) the image pickup screen by the image pickup unit 32 into a plurality of areas including the subject element detected as described above. The setting unit 35c ranks a plurality of areas divided by the area dividing unit 35b. How to rank them will be described later.
撮像条件設定部35dは、領域区分け部35bによって区分けされた複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
The imaging condition setting unit 35d sets imaging conditions for a plurality of regions divided by the region dividing unit 35b. The imaging conditions include the above exposure conditions (charge accumulation time, gain, ISO sensitivity, frame rate, etc.) and the above image processing conditions (for example, white balance adjustment parameters, gamma correction curve, display brightness adjustment parameters, saturation adjustment parameters, etc.). ) And. As for the imaging conditions, the same imaging conditions can be set for all of the plurality of regions, or different imaging conditions can be set for the plurality of regions.
撮像制御部35eは、撮像条件設定部35dによって上記領域ごとに設定された撮像条件を適用して撮像部32(撮像素子100)および画像処理部33を制御する。これにより、撮像部32に対しては、領域区分け部35bによって区分けされた複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、領域区分け部35bによって区分けされた複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。
The image pickup control unit 35e controls the image pickup unit 32 (image sensor 100) and the image processing unit 33 by applying the image pickup conditions set for each of the above regions by the image pickup condition setting unit 35d. As a result, it is possible for the image pickup unit 32 to perform imaging under different exposure conditions for each of a plurality of regions divided by the region division unit 35b, and for the image processing unit 33 to perform image capture under different exposure conditions. It is possible to perform image processing under different image processing conditions for each of a plurality of regions divided by 35b.
AF演算部35fは、撮像画面の所定の位置(フォーカスポイントと呼ぶ)で、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)演算を行う。AF演算部35fは、AF演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を送る。
なお、AF方式は、コントラスト検出方式でも、位相差検出方式でも構わない。
The AF calculation unit 35f performs an automatic focus adjustment (autofocus: AF) calculation for focusing on a corresponding subject at a predetermined position (called a focus point) on the imaging screen. The AF calculation unit 35f sends a drive signal for moving the focus lens of the imaging optical system 31 to the focusing position based on the AF calculation result.
The AF method may be either a contrast detection method or a phase difference detection method.
表示制御部35gは、液晶モニタ36に表示させる画像の表示を制御する。表示制御部35gは、例えば、液晶モニタ36の表示面に一つの画像を表示させたり、液晶モニタ36の表示面に複数の画像を並べて表示させたりする。また、表示制御部35gは、ユーザーの操作に応じて、液晶モニタ36の表示面に表示中の画像をスクロール表示させる。
The display control unit 35g controls the display of the image to be displayed on the liquid crystal monitor 36. The display control unit 35g may, for example, display one image on the display surface of the liquid crystal monitor 36, or display a plurality of images side by side on the display surface of the liquid crystal monitor 36. In addition, the display control unit 35g scrolls and displays the image being displayed on the display surface of the liquid crystal monitor 36 in response to the user's operation.
液晶モニタ36は、画像処理部33によって画像処理された画像や、記録部39によって読み出された画像を再生表示する。液晶モニタ36は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
The liquid crystal monitor 36 reproduces and displays an image processed by the image processing unit 33 and an image read by the recording unit 39. The liquid crystal monitor 36 also displays an operation menu screen, a setting screen for setting imaging conditions, and the like.
操作部材37は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材37は、各操作に対応する操作信号を制御部35へ送出する。操作部材37には、液晶モニタ36の表示面に設けられたタッチ操作部材も含まれる。
The operation member 37 is composed of various operation members such as a release button and a menu button. The operation member 37 sends an operation signal corresponding to each operation to the control unit 35. The operation member 37 also includes a touch operation member provided on the display surface of the liquid crystal monitor 36.
不揮発性メモリ38は、制御部35が実行するプログラム等を記録する。記録部39は、制御部35からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部39は、制御部35からの指示に応じて記録媒体に記録されている画像データを読み出す。
The non-volatile memory 38 records a program or the like executed by the control unit 35. The recording unit 39 records image data or the like on a recording medium composed of a memory card or the like (not shown) in response to an instruction from the control unit 35. Further, the recording unit 39 reads out the image data recorded on the recording medium in response to an instruction from the control unit 35.
発光装置40は被写体を照明する撮影補助光源である。発光装置40は、例えば発光許可設定されている場合において、制御部35からの発光指示に応じて制御部35から指示された光量で発光する。
The light emitting device 40 is a photographing auxiliary light source that illuminates the subject. For example, when the light emission permission is set, the light emitting device 40 emits light with the amount of light instructed by the control unit 35 in response to the light emission instruction from the control unit 35.
<積層型撮像素子の説明>
上述したカメラ1に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願し公開された国際公開WO13/164915号に記載されているものである。図2は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記録するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
<Explanation of stacked image sensor>
The stacked image sensor 100 provided in the camera 1 described above will be described. The stacked image sensor 100 is described in International Publication WO13 / 164915, which was previously filed and published by the applicant of the present application. FIG. 2 is a cross-sectional view of the stacked image sensor 100. The image sensor 100 includes a back-illuminated image pickup chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that records the pixel signal. The imaging chip 113, the signal processing chip 111, and the memory chip 112 are laminated and electrically connected to each other by a conductive bump 109 such as Cu.
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面(撮像面)と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, the incident light is mainly incident in the Z-axis plus direction indicated by the white arrow. In the present embodiment, in the image pickup chip 113, the surface on the side where the incident light is incident is referred to as a back surface (imaging surface). Further, as shown in the coordinate axes, the left direction of the paper surface orthogonal to the Z axis is defined as the X-axis plus direction, and the Z-axis and the front direction of the paper surface orthogonal to the X-axis are defined as the Y-axis plus direction. In some subsequent figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
An example of the image pickup chip 113 is a back-illuminated MOS image sensor. The PD layer 106 is arranged on the back surface side of the wiring layer 108. The PD layer 106 has a plurality of PDs (photodiodes) 104 arranged two-dimensionally and accumulating charges according to incident light, and a transistor 105 provided corresponding to the PD 104.
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
A color filter 102 is provided on the incident side of the incident light in the PD layer 106 via the passivation film 103. The color filter 102 has a plurality of types that transmit different wavelength regions from each other, and has a specific arrangement corresponding to each of the PD 104. The arrangement of the color filters 102 will be described later. A set of a color filter 102, a PD 104, and a transistor 105 forms one pixel.
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
A microlens 101 is provided on the incident side of the incident light in the color filter 102 corresponding to each pixel. The microlens 101 collects incident light toward the corresponding PD 104.
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
The wiring layer 108 has a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111. The wiring 107 may have multiple layers, and may be provided with passive elements and active elements.
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
A plurality of bumps 109 are arranged on the surface of the wiring layer 108. The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the facing surfaces of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are aligned by pressurization or the like. The bumps 109 are joined together and electrically connected.
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
Similarly, a plurality of bumps 109 are arranged on the surfaces of the signal processing chip 111 and the memory chip 112 facing each other. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized, so that the aligned bumps 109 are joined to each other and electrically connected.
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
The bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be adopted. Further, for example, about one bump 109 may be provided for one block described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. Further, in the peripheral region other than the pixel region in which the pixels are arranged, a bump larger than the bump 109 corresponding to the pixel region may be provided together.
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
The signal processing chip 111 has TSVs (Through Silicon Vias) 110 that connect circuits provided on the front and back surfaces to each other. The TSV 110 is preferably provided in the peripheral region. Further, the TSV 110 may also be provided in the peripheral area of the image pickup chip 113 and the memory chip 112.
図3は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。図3の例では、隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
FIG. 3 is a diagram for explaining the pixel arrangement and the unit area 131 of the image pickup chip 113. In particular, the state in which the imaging chip 113 is observed from the back surface (imaging surface) side is shown. For example, 20 million or more pixels are arranged in a matrix in the pixel area. In the example of FIG. 3, 16 pixels of adjacent 4 pixels × 4 pixels form one unit region 131. The grid lines in the figure show the concept that adjacent pixels are grouped to form a unit region 131. The number of pixels forming the unit region 131 is not limited to this, and may be about 1000, for example, 32 pixels × 64 pixels, more or less.
画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the unit region 131 of FIG. 3 includes four so-called Bayer arrays including four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R in the vertical and horizontal directions. The green pixels Gb and Gr are pixels having a green filter as the color filter 102, and receive light in the green wavelength band among the incident light. Similarly, the blue pixel B is a pixel having a blue filter as a color filter 102 and receives light in the blue wavelength band, and the red pixel R is a pixel having a red filter as the color filter 102 and has a red wavelength band. Receives light.
本実施形態において、1ブロックにつき単位領域131を少なくとも一つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ113のX軸方向)の間引きのみでなく、列方向(撮像チップ113のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so that each block includes at least one unit area 131, and each block can control the pixels included in each block with different control parameters. That is, it is possible to acquire an imaging signal having different imaging conditions between the pixel group included in a certain block and the pixel group included in another block. Examples of control parameters are frame rate, gain, thinning rate, number of rows or columns to be added to add pixel signals, charge accumulation time or number of times, digitization bits (word length), and the like. The image sensor 100 can freely thin out not only the row direction (X-axis direction of the image pickup chip 113) but also the column direction (Y-axis direction of the image pickup chip 113). Further, the control parameter may be a parameter in image processing after acquiring an image signal from a pixel.
図4は、単位領域131における回路を説明する図である。図4の例では、隣接する3画素×3画素の9画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域131の二次元的な位置を符号A〜Iにより示す。
FIG. 4 is a diagram illustrating a circuit in the unit region 131. In the example of FIG. 4, one unit region 131 is formed by 9 pixels of 3 adjacent pixels × 3 pixels. As described above, the number of pixels included in the unit region 131 is not limited to this, and may be less or more. The two-dimensional positions of the unit region 131 are indicated by reference numerals A to I.
単位領域131に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dから画素Iに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
The pixel reset transistor included in the unit region 131 is configured to be individually on / off for each pixel. In FIG. 4, a reset wiring 300 for turning on / off the reset transistor of the pixel A is provided, and a reset wiring 310 for turning on / off the reset transistor of the pixel B is provided separately from the reset wiring 300. Similarly, the reset wiring 320 for turning on / off the reset transistor of the pixel C is provided separately from the reset wirings 300 and 310. Dedicated reset wiring for turning on / off each reset transistor is also provided for the other pixels D to I.
単位領域131に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
The transfer transistors of the pixels included in the unit area 131 are also configured to be individually on / off for each pixel. In FIG. 4, a transfer wiring 302 for turning on / off the transfer transistor of pixel A, a transfer wiring 312 for turning on / off the transfer transistor of pixel B, and a transfer wiring 322 for turning on / off the transfer transistor of pixel C are separately provided. Dedicated transfer wiring for turning on / off each transfer transistor is also provided from the other pixel D to the pixel I.
さらに、単位領域131に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dから画素Iに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
Further, the pixel selection transistor included in the unit region 131 is also configured to be individually on / off for each pixel. In FIG. 4, the selection wiring 306 for turning on / off the selection transistor of pixel A, the selection wiring 316 for turning on / off the selection transistor of pixel B, and the selection wiring 326 for turning on / off the selection transistor of pixel C are separately provided. Dedicated selection wiring for turning on / off each selection transistor is also provided for the other pixels D to I.
なお、電源配線304は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Iで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ113側に設けられてもよいし、信号処理チップ111側に設けられてもよい。
The power supply wiring 304 is commonly connected by pixels A to pixels A included in the unit area 131. Similarly, the output wiring 308 is commonly connected by pixels A to pixels A included in the unit area 131. Further, the power supply wiring 304 is commonly connected between the plurality of unit areas, but the output wiring 308 is individually provided for each unit area 131. The load current source 309 supplies current to the output wiring 308. The load current source 309 may be provided on the imaging chip 113 side or the signal processing chip 111 side.
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Iに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Iの画素信号を共通の出力配線308を介して出力することができる。
By turning on / off the reset transistor and the transfer transistor of the unit region 131 individually, charge accumulation including charge accumulation start time, accumulation end time, and transfer timing is controlled for pixels A to I included in the unit region 131. can do. Further, by turning on and off the selection transistors of the unit region 131 individually, the pixel signal of the pixel I can be output from each pixel A via the common output wiring 308.
ここで、単位領域131に含まれる画素Aから画素Iについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCDEFGHI」の順序で画素信号が出力される。
Here, a so-called rolling shutter method is known in which charge accumulation is controlled in a regular order with respect to rows and columns for pixels A to I included in the unit region 131. If a pixel is selected for each row by the rolling shutter method and then a column is specified, pixel signals are output in the order of "ABCDEFGHI" in the example of FIG.
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ113において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休ませることにより、撮像チップ113の所定のブロックでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ113の異なるブロックで逐次撮像を行わせて、画素信号を出力させることもできる。
By configuring the circuit with the unit region 131 as a reference in this way, the charge accumulation time can be controlled for each unit region 131. In other words, pixel signals with different frame rates can be output between the unit regions 131. Further, in the imaging chip 113, the unit region 131 included in the other blocks is rested while the unit region 131 included in some blocks is charged (imaging), so that the unit region 131 included in the other blocks is rested in the predetermined block of the imaging chip 113. Only the image can be taken and the pixel signal can be output. Further, it is also possible to switch the block for accumulating charges (imaging) between frames (the target block for accumulating control), sequentially perform imaging with different blocks of the imaging chip 113, and output a pixel signal.
図5は、図4に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する9個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
FIG. 5 is a block diagram showing a functional configuration of the image sensor 100 corresponding to the circuit illustrated in FIG. The analog multiplexer 411 sequentially selects nine PD 104s forming the unit area 131, and outputs each pixel signal to the output wiring 308 provided corresponding to the unit area 131. The multiplexer 411 is formed on the imaging chip 113 together with the PD 104.
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
The pixel signal output via the multiplexer 411 is CDS and A / by a signal processing circuit 412 formed on the signal processing chip 111 that performs correlated double sampling (CDS) analog / digital (A / D) conversion. D conversion is performed. The A / D converted pixel signal is passed to the demultiplexer 413 and stored in the pixel memory 414 corresponding to each pixel. The demultiplexer 413 and the pixel memory 414 are formed on the memory chip 112.
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図5では一つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
The arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and hands it over to the image processing unit in the subsequent stage. The arithmetic circuit 415 may be provided on the signal processing chip 111 or the memory chip 112. In addition, although FIG. 5 shows the connection for one unit area 131, in reality, these exist for each unit area 131 and operate in parallel. However, the arithmetic circuit 415 does not have to exist for each unit area 131. For example, even if one arithmetic circuit 415 processes sequentially while referring to the value of the pixel memory 414 corresponding to each unit area 131 in order. Good.
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線308にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the output wiring 308 is provided corresponding to each of the unit regions 131. Since the image sensor 100 has an image pickup chip 113, a signal processing chip 111, and a memory chip 112 stacked on top of each other, by using an electrical connection between the chips using bumps 109 for these output wirings 308, each chip is placed in the plane direction. Wiring can be routed without making it large.
<領域ごとの撮像条件設定>
本実施形態では、撮像素子100(撮像チップ113)における複数のブロックごとに撮像条件を設定可能に構成する。制御部35は、領域区分け部35bによって区分けされた領域を上記ブロックに対応させて、領域ごとに設定した撮像条件で撮像を行わせる。
<Image capture condition setting for each area>
In the present embodiment, the imaging conditions can be set for each of a plurality of blocks in the image sensor 100 (imaging chip 113). The control unit 35 makes the region divided by the region division unit 35b correspond to the block, and causes the control unit 35 to perform imaging under the imaging conditions set for each region.
ユーザーは、例えば、液晶モニタ36の表示面に表示されるライブビュー画像を確認しながら、所望の領域に対して撮像条件を設定する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。
The user sets imaging conditions for a desired region while checking the live view image displayed on the display surface of the liquid crystal monitor 36, for example. The live view image is a monitor image that is repeatedly captured at a predetermined frame rate (for example, 60 fps).
ユーザーが、ある領域に対して撮像条件を設定(変更)すると、制御部35は、ライブビュー画像のうちのその領域に対して画像処理部33によって画像処理を行わせる。ここで行う画像処理は、撮像条件の変更による効果を確認するための画像処理である。例えば、輝度を高める変更がなされた場合は、液晶モニタ36へ表示する表示輝度を高める画像処理を行う。また、例えば発光装置40を発光させる変更がなされた場合は、所定の被写体要素(例えば人物)について、液晶モニタ36へ表示する表示輝度を高める画像処理を行う。さらにまた、例えば、彩度を高める変更がなされた場合は、液晶モニタ36へ表示する所定の被写体要素(例えば花)について、彩度を高める画像処理を行う。
このように、ユーザーは、撮像条件の変更による効果を本撮像の前に、画像処理されたライブビュー画像で確認することができる。このような領域ごとの撮像条件設定について、以下に詳しく説明する。
なお、ある領域に対して操作された撮像条件の変更による効果を確認するために画像処理を行い液晶モニタ36へ表示する方法に限らず、ある領域に対して操作された撮像条件の変更をその領域に対応する撮像素子へ反映し、設定(変更)された撮像条件のライブビュー画像を液晶モニタ36へ表示する方法を用いてもよい。
When the user sets (changes) the imaging conditions for a certain area, the control unit 35 causes the image processing unit 33 to perform image processing on the area of the live view image. The image processing performed here is an image processing for confirming the effect of changing the imaging conditions. For example, when a change is made to increase the brightness, image processing is performed to increase the display brightness displayed on the liquid crystal monitor 36. Further, for example, when the light emitting device 40 is changed to emit light, image processing is performed on a predetermined subject element (for example, a person) to increase the display brightness displayed on the liquid crystal monitor 36. Furthermore, for example, when a change for increasing the saturation is made, image processing for increasing the saturation is performed on a predetermined subject element (for example, a flower) to be displayed on the liquid crystal monitor 36.
In this way, the user can confirm the effect of changing the imaging conditions on the image-processed live view image before the main imaging. The imaging condition setting for each such region will be described in detail below.
It should be noted that the method is not limited to the method of performing image processing and displaying on the liquid crystal monitor 36 in order to confirm the effect of changing the image pickup condition operated on a certain area, and the change of the image pickup condition operated on a certain area is the same. A method may be used in which a live view image of the set (changed) imaging conditions is displayed on the liquid crystal monitor 36 by reflecting the image on the image sensor corresponding to the region.
図6は、カメラ1の撮像素子100に結像される被写体の像を模式的に示す図である。カメラ1は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。
FIG. 6 is a diagram schematically showing an image of a subject imaged on the image sensor 100 of the camera 1. The camera 1 obtains a live view image by photoelectrically converting the subject image before the imaging instruction is given.
制御部35は、初めに、撮像チップ113の全域(すなわち撮像面の全域)に同じ撮像条件を設定する。撮像条件のうち露出条件は、被写体輝度の測光値に応じて適正露出となるように算出した露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。撮像条件のうち画像処理条件は、標準的な画質となるようにあらかじめ用意された画像処理条件に決定する。以降、このように決定した撮像条件を基準条件と呼ぶ。また、基準条件を適用して取得した画像を基準画像と呼ぶ。
The control unit 35 first sets the same imaging conditions for the entire area of the imaging chip 113 (that is, the entire area of the imaging surface). Of the imaging conditions, the exposure condition is determined based on the exposure condition calculated so as to obtain an appropriate exposure according to the photometric value of the subject brightness, or the exposure condition manually set by the user. Of the imaging conditions, the image processing conditions are determined to be image processing conditions prepared in advance so as to obtain standard image quality. Hereinafter, the imaging conditions determined in this way will be referred to as reference conditions. Further, the image acquired by applying the reference condition is called a reference image.
基準条件を決定する一例を説明する。制御部35は、操作部材37を構成する露出モード切替スイッチからの操作信号に応じて、「プログラムオート」モード、「シャッター速度優先オート」モード、「絞り優先オート」モード、および「マニュアル」モードのうち一つを選択する。そして、制御部35は、選択した露出モードに応じた所定の露出演算を行うことによって上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)を算出する。
An example of determining the reference condition will be described. The control unit 35 is set to the "program auto" mode, the "shutter speed priority auto" mode, the "aperture priority auto" mode, and the "manual" mode according to the operation signal from the exposure mode changeover switch constituting the operation member 37. Select one of them. Then, the control unit 35 calculates the above exposure conditions (charge accumulation time, gain, ISO sensitivity, frame rate, etc.) by performing a predetermined exposure calculation according to the selected exposure mode.
具体的には、「プログラムオート」モードの場合、制御部35は、例えば画面内の平均的な輝度が適正となるように絞り値、シャッター速度(電荷蓄積時間)、ゲイン等を決定する。「シャッター速度優先オート」モードの場合、制御部35は、ユーザーが設定するシャッター速度(電荷蓄積時間)を用いて、例えば画面内の平均的な輝度が適正となるように絞り値、ゲイン等を決定する。「絞り優先オート」モードの場合、制御部35は、ユーザーが設定する絞り値を用いて、例えば画面内の平均的な輝度が適正となるようにシャッター速度(電荷蓄積時間)、ゲイン等を決定する。「マニュアル」モードの場合、制御部35は、ユーザーが設定する絞り値およびシャッター速度(電荷蓄積時間)に基づいて、適正露出との偏差を演算する。
Specifically, in the "program auto" mode, the control unit 35 determines, for example, the aperture value, shutter speed (charge accumulation time), gain, and the like so that the average brightness in the screen becomes appropriate. In the "shutter speed priority auto" mode, the control unit 35 uses the shutter speed (charge accumulation time) set by the user to set the aperture value, gain, etc. so that the average brightness in the screen becomes appropriate, for example. decide. In the "aperture priority auto" mode, the control unit 35 determines the shutter speed (charge accumulation time), gain, etc. using the aperture value set by the user, for example, so that the average brightness in the screen becomes appropriate. To do. In the "manual" mode, the control unit 35 calculates the deviation from the proper exposure based on the aperture value and the shutter speed (charge accumulation time) set by the user.
図6において、撮像チップ113の撮像面に、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65a、66aとを含む像が結像されている。人物61aは、バッグ63aを両手で抱えている。人物61aの右後方に、自動車62aが止まっている。
In FIG. 6, an image including a person 61a, an automobile 62a, a bag 63a, a mountain 64a, and clouds 65a and 66a is formed on the imaging surface of the imaging chip 113. The person 61a is holding the bag 63a with both hands. The car 62a is parked to the right rear of the person 61a.
<領域の区分け>
制御部35は、ライブビュー画像に基づき、以下のようにライブビュー画像として取得した画像を複数の領域に区分けする。先ず、物体検出部35aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図6の例では、物体検出部35aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。
<Area division>
Based on the live view image, the control unit 35 divides the image acquired as the live view image into a plurality of regions as follows. First, the object detection unit 35a detects the subject element from the live view image. A known subject recognition technique is used to detect the subject element. In the example of FIG. 6, the object detection unit 35a detects the person 61a, the automobile 62a, the bag 63a, the mountain 64a, the cloud 65a, and the cloud 66a as subject elements.
次に、領域区分け部35bによって、ライブビュー画像として取得した画像を上記検出手段に基づき、被写体要素を含む領域に区分けする。本例では、人物61aを含む領域を第1領域61とし、自動車62aを含む領域を第2領域62とし、バッグ63aを含む領域を第3領域63とし、山64aを含む領域を第4領域64とし、雲65aを含む領域を第5領域65とし、雲66aを含む領域を第6領域66として説明する。
Next, the area division unit 35b divides the image acquired as the live view image into the area including the subject element based on the detection means. In this example, the area including the person 61a is the first area 61, the area including the automobile 62a is the second area 62, the area including the bag 63a is the third area 63, and the area including the mountain 64a is the fourth area 64. The region including the cloud 65a will be referred to as the fifth region 65, and the region including the cloud 66a will be referred to as the sixth region 66.
設定部35cによって、領域区分け部35bが区分けした複数の領域に対して序列をつける。設定部35cは、領域区分け部35bによって区分けされた領域のうち、次の(1)から(4)の領域を検出した場合、撮像条件を領域区分け部35bによって区分けされた他の領域よりも優先的に変更する領域として設定する。
(1)撮像シーンモードに応じた特定の被写体が検出された領域
特定の被写体は、設定されたカメラ1の撮像シーンモードによって異なる。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されている場合に、設定部35cは、人物61aを含む第1領域61に対して、自動車62aを含む領域を第2領域62と、バッグ63aを含む領域を第3領域63と、山64aを含む領域を第4領域64と、雲65aを含む領域を第5領域65と、雲66aを含む領域を第6領域66よりも撮像条件を優先的に変更する領域として設定する。ポートレートモードの場合は、人物61aを含む第1領域61の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
The setting unit 35c ranks a plurality of areas divided by the area dividing unit 35b. When the setting unit 35c detects the following areas (1) to (4) among the areas divided by the area dividing unit 35b, the setting unit 35c gives priority to the imaging condition over the other areas divided by the area dividing unit 35b. Set as an area to be changed.
(1) Area in which a specific subject is detected according to the imaging scene mode The specific subject differs depending on the set imaging scene mode of the camera 1. For example, when the imaging scene mode setting of the camera 1 is set to the portrait mode, the setting unit 35c sets the region including the automobile 62a as the second region 62 with respect to the first region 61 including the person 61a. The region including the bag 63a is the third region 63, the region including the mountain 64a is the fourth region 64, the region including the cloud 65a is the fifth region 65, and the region including the cloud 66a is the imaging condition more than the sixth region 66. Is set as the area to be changed preferentially. In the case of the portrait mode, it is based on the idea that there is a high possibility that the imaging conditions of the first region 61 including the person 61a are set (changed).
例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として花が検出されている場合において、設定部35cは、花を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。クローズアップモードの場合は、花を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
For example, when the imaging scene mode setting of the camera 1 is set to the close-up mode and the object detection unit 35a detects a flower as a subject element, the setting unit 35c sets the area including the flower. , Set as an area where the imaging conditions are changed preferentially over other areas. In the close-up mode, it is based on the idea that there is a high possibility of setting (changing) the imaging conditions of the area including flowers.
例えば、カメラ1の撮像シーンモード設定が風景モードに設定されており、かつ、物体検出部35aにより被写体要素として山が検出されている場合において、設定部35cは、山を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。風景モードの場合は、山を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
For example, when the image pickup scene mode setting of the camera 1 is set to the landscape mode and the mountain is detected as a subject element by the object detection unit 35a, the setting unit 35c sets the area including the mountain. It is set as an area where the imaging conditions are changed preferentially over other areas. In the landscape mode, it is based on the idea that there is a high possibility of setting (changing) the imaging conditions for the area including mountains.
例えば、カメラ1の撮像シーンモード設定がビーチモードに設定されており、かつ、物体検出部35aにより被写体要素として海が検出されている場合において、設定部35cは、海を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。ビーチモードの場合は、海を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
For example, when the image pickup scene mode setting of the camera 1 is set to the beach mode and the sea is detected as a subject element by the object detection unit 35a, the setting unit 35c sets the area including the sea. It is set as an area where the imaging conditions are changed preferentially over other areas. In the case of beach mode, it is based on the idea that there is a high possibility of setting (changing) the imaging conditions of the area including the sea.
例えば、カメラ1の撮像シーンモード設定が夕焼けモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い空が検出されている場合において、設定部35cは、赤い空を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。夕焼けモードの場合は、赤い空を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
For example, when the imaging scene mode setting of the camera 1 is set to the sunset mode and the object detection unit 35a detects the red sky as a subject element, the setting unit 35c sets the area including the red sky. Therefore, it is set as an area in which the imaging conditions are preferentially changed over other areas. In the case of the sunset mode, it is based on the idea that there is a high possibility of setting (changing) the imaging conditions of the area including the red sky.
例えば、カメラ1の撮像シーンモード設定が料理モードに設定されており、かつ、物体検出部35aにより被写体要素として皿に盛られた料理が検出されている場合において、設定部35cは、皿および料理を含む領域に対して、他の領域よりも撮像条件を優先的に変更する領域として設定する。料理モードの場合は、皿に盛られた料理を含む領域の撮像条件を設定(変更)する可能性が高いという考え方に基づく。
For example, when the imaging scene mode setting of the camera 1 is set to the cooking mode, and the object detection unit 35a detects the food on the plate as the subject element, the setting unit 35c sets the plate and the food. The region including the above is set as an region in which the imaging conditions are preferentially changed over the other regions. In the cooking mode, it is based on the idea that there is a high possibility of setting (changing) the imaging conditions of the area including the dishes served on the plate.
上記カメラ1の撮像シーンモードの設定は、ユーザーが操作部材37を操作することで設定されてもよいし、ライブビュー画像の画面から検出された被写体要素に基づいて制御部37により設定されるようにしてもよい。
The setting of the imaging scene mode of the camera 1 may be set by the user operating the operation member 37, or may be set by the control unit 37 based on the subject element detected from the screen of the live view image. It may be.
(2)フォーカスが合っている被写体要素を含む領域
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、フォーカスが合っている被写体要素(すなわち、フォーカスポイントに対応する被写体要素)を含む領域に対して、フォーカスが合っていない被写体要素を含む領域よりも撮像条件を優先的に変更する領域として決定する。
なお、フォーカスが合っている被写体要素が存在しない場合には、フォーカスのずれ量が最も小さい被写体要素(すなわち、被写体要素の位置からフォーカスが合う位置までが最も近い被写体要素)を含む領域を、撮像条件を優先的に変更する領域として決定するようにしてもよい。
(2) Area including a subject element in focus When an AF operation for focusing on a subject corresponding to the focus point is performed, the setting unit 35c sets the subject element in focus (that is, the focus point). The region including the subject element corresponding to) is determined as an region in which the imaging condition is preferentially changed over the region including the subject element that is out of focus.
If there is no in-focus subject element, the area including the subject element with the smallest amount of focus shift (that is, the subject element closest from the position of the subject element to the in-focus position) is captured. The condition may be determined as an area to be changed preferentially.
(3)最小輝度または最大輝度である被写体要素を含む領域
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、明るさが最も暗い被写体要素、または最も明るい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。黒つぶれのような暗すぎる被写体要素や、白とびのような明るすぎる被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
(3) The area setting unit 35c including the subject element having the minimum brightness or the maximum brightness selects the subject element having the darkest brightness or the subject element having the brightest brightness among the plurality of subject elements detected by the object detection unit 35a. The region to be included is determined as a region in which the imaging conditions are preferentially changed over the other regions. It is based on the idea that there is a high possibility that imaging conditions will be set (changed) for areas that include too dark subject elements such as blackouts and too bright subject elements such as overexposure.
(4)特定の色成分の比率が高い被写体要素を含む領域
設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、上述した緑色画素Gb、Gr、または青色画素B、または赤色画素Rの色成分の比率が、他の色成分の比率に比べて高い被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として決定する。例えば空の青、海の青、山の緑、夕焼けの赤のような被写体要素を含む領域は、撮像条件を設定(変更)する可能性が高いという考え方に基づく。
(4) The area setting unit 35c including the subject element having a high ratio of the specific color component is the above-mentioned green pixel Gb, Gr, or blue pixel B among the plurality of subject elements detected by the object detection unit 35a. Alternatively, a region including a subject element in which the ratio of the color component of the red pixel R is higher than the ratio of the other color components is determined as a region in which the imaging conditions are preferentially changed over the other regions. For example, an area containing subject elements such as sky blue, sea blue, mountain green, and sunset red is based on the idea that there is a high possibility of setting (changing) imaging conditions.
(5)カメラ1に対して最も近い被写体要素を含む領域
設定部35cは、カメラ1に至近の被写体要素を含む領域に対して、撮像条件を遠方の被写体要素よりも優先的に変更する領域として決定する。例えば、制御部35は、カメラ1から区分けされた被写体要素までの距離情報を取得し、カメラ1に至近の被写体要素を含む領域を決定する。また、制御部35は、距離情報を得られない場合は、画面を占める割合が最大の被写体要素を含む領域をカメラ1に至近の被写体要素として決定するようにしてもよい。
(5) The area including the subject element closest to the camera 1 The setting unit 35c sets the imaging condition preferentially over the distant subject element with respect to the area including the subject element closest to the camera 1. decide. For example, the control unit 35 acquires the distance information from the camera 1 to the divided subject element, and determines the area including the subject element close to the camera 1. Further, when the distance information cannot be obtained, the control unit 35 may determine the area including the subject element having the largest proportion of the screen as the subject element closest to the camera 1.
設定部35cは、領域区分け部35bによって区分けされた領域のうち、次の(6)から(10)の領域を検出した場合、上述した(1)から(5)の領域よりも序列を低くして、撮像条件を変更する領域として決定する。
When the setting unit 35c detects the following areas (6) to (10) among the areas divided by the area dividing unit 35b, the order is lower than the above-mentioned areas (1) to (5). Therefore, it is determined as an area for changing the imaging conditions.
(6)フォーカスのずれ量が最も小さい被写体要素を含む領域
上記フォーカスポイントに対応する被写体にフォーカスを合わせるAF動作が行われた場合に、設定部35cは、物体検出部35aにより検出されている複数の被写体要素のうち、フォーカスが合っている被写体要素を含む領域以外の領域のうち最もフォーカスのずれ量が小さい被写体要素を含む領域を、他の領域よりも撮像条件を優先的に変更する領域として設定する。一般に、フォーカスのずれ量が小さいほど被写体要素の輪郭の尖鋭度が高くなるので、輪郭の尖鋭度が高い被写体要素はフォーカスのずれ量が小さいといえる。設定部35cは、輪郭の尖鋭度が高い被写体要素を含む領域を、撮像条件を輪郭の尖鋭度が低い領域よりも優先的に変更する領域として設定する。
(6) Area including a subject element having the smallest amount of focus shift When an AF operation for focusing on a subject corresponding to the focus point is performed, a plurality of setting units 35c are detected by the object detection unit 35a. Of the subject elements in the above, the region including the subject element having the smallest amount of focus shift among the regions other than the region including the subject element in focus is set as the region in which the imaging conditions are preferentially changed over the other regions. Set. In general, the smaller the amount of focus shift, the higher the sharpness of the outline of the subject element. Therefore, it can be said that the subject element having a high degree of contour sharpness has a smaller amount of focus shift. The setting unit 35c sets a region including a subject element having a high contour sharpness as a region in which the imaging condition is preferentially changed over a region having a low contour sharpness.
(例1)
例えば、図6において、AF演算部により第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている人物61aの位置から最も近い位置にあるバッグ63a)を含む第3領域63を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、バッグ63aを含む第3領域63の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(Example 1)
For example, in FIG. 6, it is assumed that the person 61a is in focus because the AF calculation unit performs the AF operation on the first region 61. The setting unit 35c is the subject element having the smallest amount of defocus among the automobile 62a, the bag 63a, the mountain 64a, the cloud 65a, and the cloud 66a (that is, the position of the person 61a in focus). The third region 63 including the bag 63a) located at a close position is set as an region in which the imaging conditions are preferentially changed next to the first region 61 including the person 61a. It is based on the idea that the imaging conditions of the third region 63 including the bag 63a are likely to be set (changed) next to the first region 61 including the person 61a.
(例2)
例えば、図6において、AF演算部により人物61aと自動車62aとの間にフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、フォーカスのずれ量が最も小さい被写体要素(すなわち、フォーカスが合っている位置から最も近い位置にある自動車62a)を含む第2領域62を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aを含む第1領域61に次いで、自動車62aを含む第2領域62の撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(Example 2)
For example, in FIG. 6, it is assumed that the AF calculation unit is in focus between the person 61a and the automobile 62a. The setting unit 35c moves the subject element (that is, the position closest to the in-focus position) having the smallest amount of defocus among the automobile 62a, the bag 63a, the mountain 64a, the cloud 65a, and the cloud 66a. The second region 62 including a certain automobile 62a) is set as an region in which the imaging conditions are preferentially changed next to the first region 61 including the person 61a. It is based on the idea that the imaging conditions of the second region 62 including the automobile 62a are likely to be set (changed) next to the first region 61 including the person 61a.
(7)距離差が小さい被写体要素を含む領域
設定部35cは、カメラ1から被写体要素までの距離の差に基づいて序列を設定する。例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。この場合、設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとのうち、カメラ1からの距離が、カメラ1から人物61aまでの距離に近い(距離差が小さい)被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
(7) The area setting unit 35c including the subject element having a small distance difference sets the order based on the difference in the distance from the camera 1 to the subject element. For example, in FIG. 6, it is assumed that the person 61a is in focus because the AF operation is performed on the first region 61. In this case, the setting unit 35c has a distance from the camera 1 of the automobile 62a, the bag 63a, the mountain 64a, the cloud 65a, and the cloud 66a close to the distance from the camera 1 to the person 61a (distance difference). The area containing the subject element (smaller) is set as an area in which the imaging conditions are preferentially changed.
(8)輝度差が大きい被写体要素を含む領域
例えば、図6において、第1領域61に対してAF動作が行われたことによって人物61aにフォーカスが合っている場合を想定する。設定部35cは、自動車62aと、バッグ63aと、山64aと、雲65aと、雲65aと、雲66aとのうち、人物61aとの間で輝度差が最も大きい被写体要素を含む領域を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。例えば、人物61aとの間で山64aの輝度差が最大である場合、設定部35cは、山64aを含む第4領域64を、人物61aを含む第1領域61に次いで撮像条件を優先的に変更する領域として設定する。人物61aとの間で輝度差が大きな被写体要素を含む領域は、撮像条件が設定(変更)される可能性が高いという考え方に基づく。
(8) Region Containing Subject Elements with Large Luminance Difference For example, in FIG. 6, it is assumed that the person 61a is in focus due to the AF operation performed on the first region 61. The setting unit 35c sets a region including a subject element having the largest brightness difference between the automobile 62a, the bag 63a, the mountain 64a, the cloud 65a, the cloud 65a, and the cloud 66a. It is set as a region in which the imaging conditions are preferentially changed next to the first region 61 including 61a. For example, when the brightness difference of the mountain 64a from the person 61a is the maximum, the setting unit 35c gives priority to the imaging condition in the fourth region 64 including the mountain 64a after the first region 61 including the person 61a. Set as the area to be changed. The region including the subject element having a large brightness difference with the person 61a is based on the idea that the imaging conditions are likely to be set (changed).
(9)大きい被写体要素を含む領域
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、他の被写体要素に比べて大きな被写体要素を含む領域、換言すると画面内の占有面積が大きい領域ほど、撮像条件を優先的に変更する領域として設定する。
(9) Area containing a large subject element When the magnitude relation of the difference in the amount of focus shift between the regions including the subject element is poor and the magnitude relation of the brightness difference between the regions is also poor, the setting unit 35c may be used for another subject. An area containing a subject element larger than the element, in other words, an area occupying a larger area in the screen is set as an area for preferentially changing the imaging conditions.
(10)画面の中央に近い被写体要素を含む領域
被写体要素を含む領域間のフォーカスのずれ量の差の大小関係が乏しく、領域間で輝度差の大小関係も乏しい場合には、設定部35cは、画面の中央に近い被写体要素を含む領域ほど、撮像条件を優先的に変更する領域として設定する。
(10) Area including a subject element near the center of the screen When the difference in the amount of focus shift between the areas including the subject element is poor and the difference in brightness between the areas is also poor, the setting unit 35c is used. , The area including the subject element closer to the center of the screen is set as the area for preferentially changing the imaging conditions.
本実施形態では、ユーザーが操作部材37を操作することによって、上記(6)から(10)のいずれか一つがあらかじめ選択されるようにしてもよい。また、上記(6)から(10)のうち複数を組み合わせるようにしてもよい。
In the present embodiment, any one of the above (6) to (10) may be selected in advance by the user operating the operation member 37. Further, a plurality of the above (6) to (10) may be combined.
以上の手順により、設定部35cが第2領域63〜第6領域66に対して序列をつける。例えば、大きな被写体要素である自動車62aを含む第2領域62を2位とし、バッグ63aを含む第3領域63を3位とし、山64aを含む第4領域64を4位とし、雲65aを含む第5領域65を5位とし、雲66aを含む第6領域66を6位とする。
By the above procedure, the setting unit 35c ranks the second region 63 to the sixth region 66. For example, the second region 62 including the automobile 62a, which is a large subject element, is ranked second, the third region 63 including the bag 63a is ranked third, the fourth region 64 including the mountain 64a is ranked fourth, and the cloud 65a is included. The fifth region 65 is the fifth place, and the sixth region 66 including the cloud 66a is the sixth place.
設定部35cは、上記(6)〜(10)による処理を経てもなお序列がつけられない領域については、同等の序列を有するものとして扱う。
The setting unit 35c treats the regions that cannot be ranked even after the processes according to (6) to (10) above as having the same rank.
<領域に対する撮像条件の設定>
制御部35は、領域区分け部35bによって画面が複数の領域に区分けされると、図7に例示するような設定画面を液晶モニタ36に表示させる。図7において、ライブビュー画像60aが表示され、ライブビュー画像60aに重ねてアイコン71およびアイコン72が表示されている。ライブビュー画像60aは、上述した基準条件を適用して取得した基準画像である。
<Setting of imaging conditions for the area>
When the screen is divided into a plurality of areas by the area dividing unit 35b, the control unit 35 causes the liquid crystal monitor 36 to display a setting screen as illustrated in FIG. 7. In FIG. 7, the live view image 60a is displayed, and the icon 71 and the icon 72 are displayed on the live view image 60a. The live view image 60a is a reference image acquired by applying the above-mentioned reference conditions.
アイコン71は、撮像条件の設定項目の一例として「輝度」を選択するための操作アイコンである。アイコン72は、撮像条件の設定項目の一例として「彩度」を選択するための操作アイコンである。撮像条件の設定項目を選択するための操作アイコンは、図7に例示した他にも適宜加えて構わない。また、撮像条件の設定項目は、撮影者が選択して決定してもよいが、検出された被写体像からカメラ1の制御部35により判断し決定されてもよい。
The icon 71 is an operation icon for selecting "brightness" as an example of setting items of imaging conditions. The icon 72 is an operation icon for selecting “saturation” as an example of setting items for imaging conditions. The operation icon for selecting the setting item of the imaging condition may be added as appropriate in addition to those illustrated in FIG. Further, the setting items of the imaging conditions may be selected and determined by the photographer, but may be determined and determined by the control unit 35 of the camera 1 from the detected subject image.
図7において、第1領域〜第6領域のうち輪郭を強調して表示(太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等)する領域は、撮像条件の設定(変更)の対象とする領域を示す。図7の例では、第1領域61の輪郭を強調したライブビュー画像60aが表示されているので、第1領域61が、撮像条件の設定(変更)の対象である。第1領域61の輪郭を強調したことにより、ユーザーに対して、撮像条件の設定(変更)の対象となっている領域を分かりやすく示すことができる。図7の設定画面において、最初に撮像条件の設定(変更)の対象にするのは、設定部35cによって付与された序列が1位の領域である。
In FIG. 7, of the 1st to 6th regions, the region to be displayed with the outline emphasized (thick display, bright display, display with different colors, display with broken line, blinking display, etc.) is set (changed) for imaging conditions. ) Indicates the target area. In the example of FIG. 7, since the live view image 60a in which the outline of the first region 61 is emphasized is displayed, the first region 61 is the target for setting (changing) the imaging conditions. By emphasizing the outline of the first region 61, it is possible to clearly indicate to the user the region for which the imaging condition is set (changed). In the setting screen of FIG. 7, the first target for setting (changing) the imaging condition is the region in which the order given by the setting unit 35c is the first.
例えば、タッチ操作が可能なカメラ1においては、ユーザーによってアイコン71がタップ操作されると、制御部35は、強調して表示されている領域(第1領域61)を対象に設定(変更)する撮像条件の設定項目として、輝度を選ぶ。
以後の説明では、カメラ1はタッチ操作を前提として説明を行うが、操作部材37を構成するボタン等の操作により、撮像条件の設定項目を選ぶようにしてもよい。
For example, in the camera 1 capable of touch operation, when the icon 71 is tapped by the user, the control unit 35 sets (changes) the highlighted area (first area 61). Select brightness as a setting item for imaging conditions.
In the following description, the camera 1 will be described on the premise of a touch operation, but the setting items of the imaging conditions may be selected by operating the buttons and the like constituting the operation member 37.
<輝度を変更する場合>
図7に例示した設定画面の場合において、撮像条件の設定項目として輝度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の輝度を、基準画像の輝度よりも高くする(または低くする)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の輝度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
<When changing the brightness>
In the case of the setting screen illustrated in FIG. 7, the control unit 35 that selects the brightness as the setting item of the imaging condition determines the brightness of the first region 61 that is the target of setting (changing) the imaging condition in the live view image. The imaging conditions corresponding to the first region 61 are determined so as to be higher (or lower) than the brightness of the reference image. For regions (regions other than the first region 61) that are not subject to setting (changing) of imaging conditions, the set imaging conditions are maintained so as to maintain the brightness of the reference image.
Of the regions that are not subject to the setting (change) of the imaging conditions, in the vicinity of the boundary with the first region 61, the balance of the entire image is taken into consideration so as to blur the discontinuity of the imaging conditions in the vicinity of the boundary. The imaging conditions may be changed.
第1領域61の輝度を高くする場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば電荷蓄積時間を上記基準条件の電荷蓄積時間に比べて長くしたり、ゲインを上記基準条件のゲインに比べて高くしたりすることにより、輝度を高くするための撮像条件を決定する。
When increasing the brightness of the first region 61, the imaging condition setting unit 35d may, for example, make the charge accumulation time longer than the charge accumulation time of the reference condition among the imaging conditions of the first region 61, or increase the gain. The imaging condition for increasing the brightness is determined by increasing the gain as compared with the gain of the reference condition.
また、第1領域61の輝度を低くする場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば電荷蓄積時間を上記基準条件の電荷蓄積時間に比べて短くしたり、ゲインを上記基準条件のゲインに比べて低くしたりすることにより、輝度を低くするための撮像条件を決定する。
Further, when the brightness of the first region 61 is lowered, the imaging condition setting unit 35d may shorten the charge accumulation time of the imaging conditions of the first region 61, for example, as compared with the charge accumulation time of the reference condition, or gain. Is lower than the gain of the above reference condition, so that the imaging condition for lowering the brightness is determined.
撮像条件設定部35dは、輝度を高く、または低くする撮像条件を決定する場合において、基準条件で得られている輝度に比べて輝度が徐々に異なるように多段階(例えば8段階)の撮像条件を決定する。ただし、輝度を高くする場合の上限は、ライブビュー画像の第1領域61の中の高輝度領域が飽和しない(いわゆる白飛びしない)値とする。また、輝度を低くする場合の下限は、ライブビュー画像の第1領域61の中の低輝度領域が暗すぎない(いわゆる黒潰れしない)値とする。
When determining the imaging conditions for increasing or decreasing the brightness, the imaging condition setting unit 35d determines the imaging conditions in multiple stages (for example, eight stages) so that the brightness is gradually different from the brightness obtained under the reference conditions. To determine. However, the upper limit when the brightness is increased is a value at which the high-luminance region in the first region 61 of the live view image is not saturated (so-called whiteout does not occur). Further, the lower limit when the brightness is lowered is set to a value at which the low brightness region in the first region 61 of the live view image is not too dark (so-called black crushing does not occur).
撮像条件設定部35dは、第1領域61について輝度を上下させるための多段階の撮像条件を上述したように決定し、輝度について決定した多段階の撮像条件を、画像処理部33に設定する。画像処理部33に設定する理由は、ライブビュー画像に対して画像処理を施すことによって、後述する多段階の候補画像を得るためである。
The image pickup condition setting unit 35d determines the multi-step imaging conditions for increasing or decreasing the brightness in the first region 61 as described above, and sets the multi-step imaging conditions determined for the brightness in the image processing unit 33. The reason for setting the image processing unit 33 is to obtain a multi-stage candidate image, which will be described later, by performing image processing on the live view image.
<彩度を変更する場合>
図7に例示した設定画面の場合において、撮像条件の設定項目として彩度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61の彩度を、基準画像の彩度よりも上げる(または下げる)ように、第1領域61に対応する撮像条件を決定する。撮像条件の設定(変更)の対象でない領域(第1領域61以外の他の領域)については、基準画像の彩度を保つように、設定されている撮像条件を維持する。
なお、撮像条件の設定(変更)の対象でない領域のうち、第1領域61との境界付近については、上記境界付近における撮像条件の不連続性をぼかすように、画像全体のバランスを考慮して撮像条件を変更してもよい。
<When changing the saturation>
In the case of the setting screen illustrated in FIG. 7, the control unit 35 that selects the saturation as the setting item of the imaging condition has the saturation of the first region 61 that is the target of setting (changing) the imaging condition in the live view image. The imaging condition corresponding to the first region 61 is determined so as to increase (or decrease) the saturation of the reference image. For regions that are not subject to setting (changing) of imaging conditions (regions other than the first region 61), the set imaging conditions are maintained so as to maintain the saturation of the reference image.
Of the regions that are not subject to the setting (change) of the imaging conditions, in the vicinity of the boundary with the first region 61, the balance of the entire image is taken into consideration so as to blur the discontinuity of the imaging conditions in the vicinity of the boundary. The imaging conditions may be changed.
第1領域61の彩度を上げる場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば緑色画素Gb、Gr、または青色画素B、または赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高めることにより、特定の色を鮮やかにするための撮像条件を決定する。
When increasing the saturation of the first region 61, the imaging condition setting unit 35d receives a signal read from, for example, the green pixel Gb, Gr, or the blue pixel B, or the red pixel R among the imaging conditions of the first region 61. By increasing the value of in relative to the signal values of other color components, the imaging conditions for making a specific color vivid are determined.
また、第1領域61の彩度を下げる場合、撮像条件設定部35dは、第1領域61の撮像条件のうち、例えば緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分の信号の値を相対的に低くすることにより、特定の色の鮮やかさを抑えるための撮像条件を決定する。
When reducing the saturation of the first region 61, the imaging condition setting unit 35d is read from, for example, green pixels Gb, Gr, blue pixels B, and red pixels R among the imaging conditions of the first region 61. By making the value of the signal of the color component that protrudes from the other color components of the signal relatively low, the imaging condition for suppressing the vividness of a specific color is determined.
撮像条件設定部35dは、彩度を上げたり下げたりする撮像条件を決定する場合において、基準条件で得られる彩度に比べて彩度が徐々に異なるように多段階(例えば8段階)の撮像条件を決定する。ただし、彩度を上げる場合の上限は、ライブビュー画像の第1領域61の中の高彩度(突出する色成分)の信号が飽和しない値とする。また、彩度を下げる場合の下限は、ライブビュー画像の第1領域61の中の色が無彩色になるまで鮮やかさを抑えない値とする。
When determining the imaging conditions for increasing or decreasing the saturation, the imaging condition setting unit 35d performs multi-step (for example, eight-step) imaging so that the saturation is gradually different from the saturation obtained under the reference condition. Determine the conditions. However, the upper limit when increasing the saturation is a value at which the high saturation (protruding color component) signal in the first region 61 of the live view image is not saturated. Further, the lower limit when the saturation is lowered is a value that does not suppress the vividness until the color in the first region 61 of the live view image becomes achromatic.
撮像条件設定部35dは、第1領域61について彩度を上下させるための多段階の撮像条件を上述したように決定し、彩度について決定した多段階の撮像条件を、画像処理部33に設定する。画像処理部33に設定する理由は、ライブビュー画像に対して画像処理を施すことによって、後述する多段階の候補画像を得るためである。
The image pickup condition setting unit 35d determines the multi-step imaging conditions for increasing or decreasing the saturation for the first region 61 as described above, and sets the multi-step imaging conditions determined for the saturation in the image processing unit 33. To do. The reason for setting the image processing unit 33 is to obtain a multi-stage candidate image, which will be described later, by performing image processing on the live view image.
例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されている場合において、撮像条件設定部35dは、人物61aを含む第1領域61に対して、人物の彩度を下げるように、第1領域61に対応する撮像条件を決定する。また、撮像条件設定部35dは、背景である山64aを含む領域を第4領域64に対して、山の彩度を上げる(例えば緑色画素Gr,Gbから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように、第4領域64に対応する撮像条件を決定する。ポートレートモードの場合は、背景を鮮やかにして人物61aを引き立たせる可能性が高いという考え方に基づく。
For example, when the imaging scene mode setting of the camera 1 is set to the portrait mode, the imaging condition setting unit 35d reduces the saturation of the person with respect to the first region 61 including the person 61a. The imaging conditions corresponding to one region 61 are determined. Further, the imaging condition setting unit 35d increases the saturation of the mountain with respect to the fourth area 64 in the area including the mountain 64a as the background (for example, the value of the signal read from the green pixels Gr and Gb is used as another value. The imaging conditions corresponding to the fourth region 64 are determined so as to be relatively higher than the signal values of the color components). In the case of portrait mode, it is based on the idea that there is a high possibility that the background will be vivid and the person 61a will be complemented.
例えば、カメラ1の撮像シーンモード設定が料理モードに設定されており、かつ、物体検出部35aにより被写体要素として皿に盛られた料理が検出されている場合において、撮像条件設定部35dは、皿および料理を含む領域に対して、彩度を上げるように撮像条件を決定する。
For example, when the imaging scene mode setting of the camera 1 is set to the cooking mode and the object detecting unit 35a detects the food placed on the plate as the subject element, the imaging condition setting unit 35d sets the plate. And the imaging conditions are determined so as to increase the saturation for the area including the dish.
例えば、カメラ1の撮像シーンモード設定が紅葉モードに設定されており、かつ、物体検出部35aにより被写体要素として赤い紅葉が検出されている場合において、撮像条件設定部35dは、赤い紅葉を含む領域に対して、彩度を上げる(例えば赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。カメラ1の撮像シーンモード設定が夕焼けモードの場合も同様である。
For example, when the imaging scene mode setting of the camera 1 is set to the autumn leaves mode and the object detection unit 35a detects the red autumn leaves as the subject element, the imaging condition setting unit 35d sets the region including the red autumn leaves. On the other hand, the imaging condition is determined so as to increase the saturation (for example, the value of the signal read from the red pixel R is relatively increased as compared with the value of the signal of another color component). The same applies when the imaging scene mode setting of the camera 1 is the sunset mode.
例えば、カメラ1の撮像シーンモード設定がビーチモードに設定されており、かつ、物体検出部35aにより被写体要素として海が検出されている場合において、撮像条件設定部35dは、海、空を含む領域に対して、それぞれ彩度を上げる(例えば青色画素Bから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。
For example, when the image pickup scene mode setting of the camera 1 is set to the beach mode and the sea is detected as a subject element by the object detection unit 35a, the image pickup condition setting unit 35d is an area including the sea and the sky. On the other hand, the imaging conditions are determined so as to increase the saturation (for example, the value of the signal read from the blue pixel B is relatively increased as compared with the value of the signal of another color component).
<他のライブビュー画像の場合>
図8は、ライブビュー画像60aとは別のライブビュー画像60bを表示する液晶モニタ36の設定画面を例示する図である。例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い花が検出されている場合において、設定部35cは、赤い花を含む領域に対する序列を1位にする。これにより、第1領域61bの輪郭が、撮像条件の設定(変更)の対象領域として強調して表示される。上述したように、クローズアップモードの場合は、花を含む領域の撮像条件を他の領域よりも優先的に設定(変更)する可能性が高いという考え方に基づく。
図8におけるアイコン71およびアイコン72については、図7に例示した設定画面の場合と同様であるので、説明を省略する。
<For other live view images>
FIG. 8 is a diagram illustrating a setting screen of the liquid crystal monitor 36 that displays a live view image 60b different from the live view image 60a. For example, when the imaging scene mode setting of the camera 1 is set to the close-up mode and the object detection unit 35a detects a red flower as a subject element, the setting unit 35c refers to the area including the red flower. Make the order first. As a result, the outline of the first region 61b is highlighted and displayed as a target region for setting (changing) the imaging conditions. As described above, in the close-up mode, it is based on the idea that there is a high possibility that the imaging conditions of the region including flowers are set (changed) with priority over other regions.
The icon 71 and the icon 72 in FIG. 8 are the same as in the case of the setting screen illustrated in FIG. 7, and thus the description thereof will be omitted.
図8に例示した設定画面の場合において、撮像条件の設定項目として彩度を選んだ制御部35は、ライブビュー画像のうち撮像条件の設定(変更)の対象である第1領域61bに対して、彩度を上げる(例えば赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高める)ように撮像条件を決定する。赤色画素Rから読み出された信号の値を他の色成分の信号の値に比べて相対的に高めることにより、赤い花の色を鮮やかにするための撮像条件を決定する。
In the case of the setting screen illustrated in FIG. 8, the control unit 35 that selects saturation as the setting item of the imaging condition relates to the first region 61b that is the target of setting (changing) the imaging condition in the live view image. , The imaging condition is determined so as to increase the saturation (for example, the value of the signal read from the red pixel R is relatively increased as compared with the value of the signal of another color component). By increasing the value of the signal read from the red pixel R relative to the value of the signal of another color component, the imaging conditions for making the color of the red flower vivid are determined.
以上例示したように、撮像条件設定部35dは、領域区分け部35bによって区分けされた領域における被写体要素の色ごとに緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分の信号の値を変更することによって、彩度を変化させた撮像条件を決定する。
As illustrated above, the imaging condition setting unit 35d receives signals read from the green pixels Gb, Gr, the blue pixel B, and the red pixel R for each color of the subject element in the area divided by the area dividing unit 35b. By changing the signal value of the color component that is more prominent than the other color components, the imaging conditions in which the saturation is changed are determined.
<候補画像の表示>
画像処理部33は、撮像制御部35eによって上述した輝度についての多段階の撮像条件が設定された場合において、上記基準条件を適用して取得された基準画像のうちの第1領域61の中の画像の輝度が多段階に異なる複数(上記8段階の場合は8枚)の画像を生成する。本実施形態では、このように生成された複数の画像を候補画像と呼ぶ。画像処理部33によって生成された複数の候補画像は、ワークメモリ34に一時的に記録される。
<Display of candidate images>
The image processing unit 33 is included in the first region 61 of the reference image acquired by applying the reference conditions when the multi-step imaging conditions for the above-mentioned brightness are set by the imaging control unit 35e. A plurality of images (8 images in the case of the above 8 steps) in which the brightness of the image is different in multiple steps are generated. In the present embodiment, the plurality of images thus generated are referred to as candidate images. The plurality of candidate images generated by the image processing unit 33 are temporarily recorded in the work memory 34.
また、画像処理部33は、撮像条件設定部35dによって上述した彩度についての多段階の撮像条件が設定された場合において、上記基準画像のうちの第1領域61bの中の画像の彩度が多段階に異なる複数(上記8段階の場合は8枚)の画像を生成する。これらの複数の画像も候補画像と呼ぶ。画像処理部33によって生成された複数の候補画像は、ワークメモリ34に一時的に記録される。
Further, in the image processing unit 33, when the multi-step imaging conditions for the saturation described above are set by the imaging condition setting unit 35d, the saturation of the image in the first region 61b of the reference image is changed. A plurality of images (8 images in the case of the above 8 stages) different in multiple stages are generated. These plurality of images are also called candidate images. The plurality of candidate images generated by the image processing unit 33 are temporarily recorded in the work memory 34.
表示制御部35gは、上述した複数の候補画像がワークメモリ34に記録された場合に、図9に示すように、液晶モニタ36の表示面に候補画像を並べて表示させる。図9〜図12は、それぞれ候補画像を並べて表示する液晶モニタ36の画面を例示する図である。
When the plurality of candidate images described above are recorded in the work memory 34, the display control unit 35g displays the candidate images side by side on the display surface of the liquid crystal monitor 36 as shown in FIG. 9 to 12 are diagrams illustrating a screen of the liquid crystal monitor 36, which displays candidate images side by side.
表示制御部35gは、上述した輝度を多段階に異ならせた候補画像がワークメモリ34に記録された場合には、液晶モニタ36の表示面に、これら輝度についての候補画像を並べて表示させる。また、表示制御部35gは、上述した彩度を多段階に異ならせた候補画像がワークメモリ34に記録された場合には、液晶モニタ36の表示面に、これら彩度についての候補画像を並べて表示させる。
When the above-mentioned candidate images having different brightnesses in multiple stages are recorded in the work memory 34, the display control unit 35g causes the display surface of the liquid crystal monitor 36 to display the candidate images having these brightnesses side by side. Further, when the above-mentioned candidate images having different saturations in multiple stages are recorded in the work memory 34, the display control unit 35g arranges the candidate images for these saturations on the display surface of the liquid crystal monitor 36. Display it.
図9において、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)が表示されている。候補画像60−2は、候補画像60−1に比べて輝度(または彩度)が一段階高い。候補画像60−3は、候補画像60−2に比べて輝度(または彩度)が一段階高い。候補画像60−4は、候補画像60−3に比べて輝度(または彩度)が一段階高い。
In FIG. 9, four candidate images (candidate images 60-1 to 60-4) out of the eight candidate images are displayed. The brightness (or saturation) of the candidate image 60-2 is one step higher than that of the candidate image 60-1. The brightness (or saturation) of the candidate image 60-3 is one step higher than that of the candidate image 60-2. The brightness (or saturation) of the candidate image 60-4 is one step higher than that of the candidate image 60-3.
候補画像60−1の左側位置には左アイコン73が表示されており、候補画像60−4の右位置には右アイコン74が表示されている。例えば、図9の表示画面上でユーザーが指80で右アイコン74をタップ操作した場合、表示制御部35gは、図10に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−2〜候補画像60−5)を表示させる。図10によれば、図9において表示されていた候補画像60−1が表示されなくなり、図9において表示されていなかった候補画像60−5が新しく表示される。候補画像60−5は、候補画像60−4に比べて輝度(または彩度)が一段階高い。
The left icon 73 is displayed at the left position of the candidate image 60-1, and the right icon 74 is displayed at the right position of the candidate image 60-4. For example, when the user taps the right icon 74 with the finger 80 on the display screen of FIG. 9, the display control unit 35g displays four candidate images (candidate images) out of the eight candidate images as illustrated in FIG. 60-2 to 60-5) of candidate images are displayed. According to FIG. 10, the candidate image 60-1 displayed in FIG. 9 is no longer displayed, and the candidate image 60-5 that was not displayed in FIG. 9 is newly displayed. The brightness (or saturation) of the candidate image 60-5 is one step higher than that of the candidate image 60-4.
図示を省略するが、例えば、図10の表示画面上でユーザーが指80で左アイコン73をタップ操作した場合、表示制御部35gは、図9に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)を表示させる。すなわち、図10において表示されていた候補画像60−5が表示されなくなり、図10において表示されていなかった候補画像60−1が新しく表示される。
Although not shown, for example, when the user taps the left icon 73 with the finger 80 on the display screen of FIG. 10, the display control unit 35g is 4 out of 8 candidate images as illustrated in FIG. Two candidate images (candidate images 60-1 to 60-4) are displayed. That is, the candidate image 60-5 displayed in FIG. 10 is no longer displayed, and the candidate image 60-1 not displayed in FIG. 10 is newly displayed.
図11は、8つの候補画像のうち4つの候補画像(候補画像60−3〜候補画像60−6)を表示させる液晶モニタ36の画面を例示する図である。候補画像60−6は、候補画像60−5に比べて輝度が一段階高い。
FIG. 11 is a diagram illustrating a screen of a liquid crystal monitor 36 for displaying four candidate images (candidate images 60-3 to 60-6) out of eight candidate images. The brightness of the candidate image 60-6 is one step higher than that of the candidate image 60-5.
例えば、図11の表示画面上でユーザーが指80で表示画面内を上から下へ矢印方向の向きへスライド操作した場合、表示制御部35gは、図12に例示するように、8つの候補画像のうち4つの候補画像(候補画像60−1〜候補画像60−4)を表示させる。図12によれば、図11において表示されていた候補画像60−4および候補画像60−5が表示されなくなり、図11において表示されていなかった候補画像60−1および候補画像60−2が新しく表示される。
For example, when the user slides the display screen from top to bottom in the direction of the arrow with the finger 80 on the display screen of FIG. 11, the display control unit 35g has eight candidate images as illustrated in FIG. Of these, four candidate images (candidate images 60-1 to 60-4) are displayed. According to FIG. 12, the candidate images 60-4 and 60-5 displayed in FIG. 11 are no longer displayed, and the candidate images 60-1 and 60-2 that were not displayed in FIG. 11 are newly replaced. Is displayed.
このように、ユーザーは、複数の候補画像を確認することができる。また、ユーザーは、左アイコン73または右アイコン74のタップ操作、あるいは指80によるスライド操作を行うことにより、液晶モニタ36に表示されていない他の候補画像を表示させて確認することができる。
In this way, the user can confirm a plurality of candidate images. Further, the user can display and confirm other candidate images that are not displayed on the liquid crystal monitor 36 by tapping the left icon 73 or the right icon 74 or sliding with the finger 80.
図13は、彩度が多段階に異なる候補画像を並べて表示する液晶モニタ36の画面を例示する図である。図13において、8つの候補画像のうち4つの候補画像(候補画像160−1〜候補画像160−4)が表示されている。候補画像160−2は、候補画像160−1に比べて彩度が一段階高い。候補画像160−3は、候補画像160−2に比べて彩度が一段階高い。候補画像160−4は、候補画像160−3に比べて彩度が一段階高い。左アイコン73および右アイコン74については、図9、図10に例示した場合と同様であるので、説明を省略する。
FIG. 13 is a diagram illustrating a screen of a liquid crystal monitor 36 that displays candidate images having different saturations in multiple stages side by side. In FIG. 13, four candidate images (candidate images 160-1 to 160-4) out of eight candidate images are displayed. The saturation of the candidate image 160-2 is one step higher than that of the candidate image 160-1. The saturation of the candidate image 160-3 is one step higher than that of the candidate image 160-2. The saturation of the candidate image 160-4 is one step higher than that of the candidate image 160-3. The left icon 73 and the right icon 74 are the same as those illustrated in FIGS. 9 and 10, and thus the description thereof will be omitted.
<選択操作>
ユーザーは、複数の候補画像のうち任意の候補画像を選択する。例えば、図9〜図12に例示した画面上でユーザーが複数の候補画像のうち任意の候補画像が表示されている位置を指80でダブルタップ操作すると、制御部35は、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件を以下のように決定し、図7に例示したような設定画面を液晶モニタ36に表示する状態へ戻る。
<Selection operation>
The user selects an arbitrary candidate image from a plurality of candidate images. For example, when the user double-tap the position where any candidate image is displayed among the plurality of candidate images on the screen illustrated in FIGS. 9 to 12 with the finger 80, the control unit 35 is then instructed to take an image. When this is performed, the imaging conditions to be applied to the first region 61 are determined as follows, and the process returns to the state of displaying the setting screen as illustrated in FIG. 7 on the liquid crystal monitor 36.
すなわち、制御部35(撮像制御部35e)は、ダブルタップ操作された候補画像の第1領域61に適用されている撮像条件を、撮像部32または画像処理部33に設定する。撮像部32に設定する理由は、次の撮像時において、輝度の変更を撮像素子100の露出条件の変更によって実現させるためである。また、画像処理部33に設定する理由は、次の撮像時において、彩度の変更を画像処理部33の画像処理条件の変更によって実現させるためである。
That is, the control unit 35 (imaging control unit 35e) sets the imaging conditions applied to the first region 61 of the candidate image that has been double-tapped to the imaging unit 32 or the image processing unit 33. The reason for setting the image pickup unit 32 is that the brightness can be changed by changing the exposure condition of the image pickup device 100 at the time of the next imaging. Further, the reason for setting the image processing unit 33 is that the saturation can be changed by changing the image processing conditions of the image processing unit 33 at the time of the next imaging.
具体的には、輝度についての複数の候補画像の一つがダブルタップ操作された場合には、撮像条件設定部35dは、ダブルタップされた候補画像に対応する輝度を得るための露出条件を第1領域61に対して適用する撮像条件(露出条件)として決定し、撮像制御部35eは、その条件を撮像部32に設定する。
Specifically, when one of the plurality of candidate images for brightness is double-tapped, the imaging condition setting unit 35d first sets the exposure condition for obtaining the brightness corresponding to the double-tapped candidate image. It is determined as an imaging condition (exposure condition) to be applied to the region 61, and the imaging control unit 35e sets the condition in the imaging unit 32.
また、図13に例示した画面上で彩度についての複数の候補画像の一つがダブルタップ操作された場合には、撮像条件設定部35dは、ダブルタップされた候補画像に対応する彩度を得るための画像処理条件を第1領域161に対して適用する撮像条件(画像処理条件)として決定し、撮像制御部35eは、その条件を画像処理部33に設定する。
Further, when one of the plurality of candidate images for saturation is double-tapped on the screen illustrated in FIG. 13, the imaging condition setting unit 35d obtains the saturation corresponding to the double-tapped candidate image. The image processing condition for this purpose is determined as an image processing condition (image processing condition) to be applied to the first region 161, and the imaging control unit 35e sets the condition in the image processing unit 33.
ユーザーは、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる。また、ユーザーは、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる。
The user can perform an operation of selecting an arbitrary candidate image from a plurality of candidate images related to brightness and then an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation. Further, the user can perform an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation and then an operation of selecting an arbitrary candidate image from a plurality of candidate images related to brightness.
さらに、ユーザーは、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して複数の候補画像のうち任意の候補画像を選択する操作を行うことができる。制御部35は、例えば図7に例示する設定画面を液晶モニタ36に表示させている状態で、ユーザーが指で第1領域61以外の領域をタップ操作した場合、第1領域61に代えて、タップ操作された領域を強調して表示させる。撮像条件設定部35dは、強調して表示された領域を、撮像条件を設定(変更)する対象とする。以降の設定操作は、上述した第1領域61の場合と同様である。
Further, the user selects an arbitrary candidate image from a plurality of candidate images in terms of brightness or saturation even in an area other than the first area 61, that is, an area in which the order given by the setting unit 35c is second or lower. It can be performed. When the user taps an area other than the first area 61 with a finger while the setting screen illustrated in FIG. 7 is displayed on the liquid crystal monitor 36, the control unit 35 replaces the first area 61 with the control unit 35. The tapped area is highlighted and displayed. The imaging condition setting unit 35d sets (changes) the imaging condition in the highlighted area. Subsequent setting operations are the same as in the case of the first region 61 described above.
なお、ユーザーが第1領域61以外の領域をタップ操作することなしに、制御部35が、設定部35cによって付与された序列が2位以下の領域を順番に、撮像条件の設定(変更)の対象となる領域として切り替えるようにしてもよい。
It should be noted that, without the user tapping an area other than the first area 61, the control unit 35 sets (changes) the imaging conditions in order for the areas in the second or lower rank given by the setting unit 35c. It may be switched as a target area.
本実施形態では、撮像条件の設定(変更)の対象となる領域(上記例では第1領域61)の輪郭を強調表示する例を説明したが、輪郭強調の代わりに、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種等の表示態様は、適宜変更して構わない。また、制御部35は、対象領域の近傍において矢印などで撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部35は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低めて表示させたりしてもよい。
In the present embodiment, an example of highlighting the outline of the region (first region 61 in the above example) for which the imaging condition is set (changed) has been described, but instead of highlighting the contour, the contrast of the entire target region is displayed. It may be raised and displayed, or the entire target area may be blinked. Further, the target area may be surrounded by a frame. The display of the frame surrounding the target area may be a double frame or a single frame, and the display mode such as the line type of the surrounding frame may be changed as appropriate. Further, the control unit 35 may display an arrow or the like in the vicinity of the target area to indicate the area to be set as the imaging condition. The control unit 35 may display the area other than the target area for which the imaging condition is set (changed) to be dark, or may display the area other than the target area with a low contrast.
以上説明した領域に対する撮像条件が設定された後に、操作部材37を構成する不図示のレリーズボタン、または撮像開始を指示する表示が操作されると、制御部35は、上記区分けされた領域の各々に対して設定された撮像条件で撮像を行い、画像処理した画像データを生成し、不図示のメモリカードなどで構成される記録媒体に記録させる。
After the imaging conditions for the regions described above are set, when the release button (not shown) constituting the operating member 37 or the display instructing the start of imaging is operated, the control unit 35 controls each of the divided regions. Imaging is performed under the imaging conditions set for the above, image processed image data is generated, and the image data is recorded on a recording medium composed of a memory card (not shown) or the like.
<フローチャートの説明>
図14は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部35は、図14に示す処理を実行するプログラムを起動させる。ステップS10において、制御部35は、液晶モニタ36にライブビュー表示を開始させて、ステップS20へ進む。
<Explanation of flowchart>
FIG. 14 is a flowchart illustrating a flow of processing in which imaging conditions are set for each region and imaging is performed. When the main switch of the camera 1 is turned on, the control unit 35 activates a program that executes the process shown in FIG. In step S10, the control unit 35 causes the liquid crystal monitor 36 to start the live view display, and proceeds to step S20.
具体的には、制御部35が撮像部32へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次液晶モニタ36に表示させる。上述したように、この時点では撮像チップ113の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部35(AF演算部35f)は、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部35(AF演算部35f)は、後にAF動作が指示された時点でAF動作を行う。
Specifically, the control unit 35 instructs the imaging unit 32 to start acquiring the live view image, and sequentially displays the acquired live view image on the liquid crystal monitor 36. As described above, at this time, the same imaging conditions are set for the entire area of the imaging chip 113, that is, the entire screen.
When the AF operation is set during the live view display, the control unit 35 (AF calculation unit 35f) controls the AF operation for focusing on the subject element corresponding to the predetermined focus point. If the AF operation is not set during the live view display, the control unit 35 (AF calculation unit 35f) performs the AF operation when the AF operation is later instructed.
ステップS20において、制御部35(物体検出部35a)は、ライブビュー画像から被写体要素を検出してステップS30へ進む。ステップS30において、制御部35(領域区分け部35b)は、ライブビュー画像の画面を、被写体要素を含む領域に区分けしてステップS40へ進む。
In step S20, the control unit 35 (object detection unit 35a) detects the subject element from the live view image and proceeds to step S30. In step S30, the control unit 35 (area dividing unit 35b) divides the screen of the live view image into an area including the subject element, and proceeds to step S40.
ステップS40において、制御部35は、カメラ1の設定状態または被写体の状態に基づいて上述した基準条件を決める。すなわち、画面の全域に同じ撮像条件を設定してステップS50へ進む。
In step S40, the control unit 35 determines the above-mentioned reference condition based on the setting state of the camera 1 or the state of the subject. That is, the same imaging conditions are set for the entire screen, and the process proceeds to step S50.
ステップS50において、制御部35は、基準条件を適用したライブビュー画像(基準画像)を取得してステップS60へ進む。ステップS60において、制御部35は、領域区分け部35bによって区分けされた領域のうち、撮像条件の設定(変更)の対象とする領域を選ぶ。制御部35は、例えば、設定部35cによって付与された序列が1位の領域から順番に選ぶ。
In step S50, the control unit 35 acquires a live view image (reference image) to which the reference condition is applied, and proceeds to step S60. In step S60, the control unit 35 selects an area to be set (changed) for imaging conditions from the areas divided by the area dividing unit 35b. For example, the control unit 35 selects in order from the region in which the order given by the setting unit 35c is the first.
ステップS70において、制御部35は、候補画像を表示させるための操作が行われたか否かを判定する。制御部35は、上述したように、ユーザーによって図7(または図8)のアイコン71または72がタップ操作された場合にステップS70を肯定判定してステップS80へ進み、アイコン71も72もタップ操作されない場合には、ステップS70を否定判定してステップS120へ進む。
In step S70, the control unit 35 determines whether or not an operation for displaying the candidate image has been performed. As described above, when the icon 71 or 72 of FIG. 7 (or FIG. 8) is tapped by the user, the control unit 35 positively determines step S70 and proceeds to step S80, and taps both the icons 71 and 72. If not, step S70 is negatively determined and the process proceeds to step S120.
ステップS80において、制御部35は、設定(変更)する撮像条件を決める。すなわち、制御部35は、ユーザーによってタップ操作されたアイコン71または72に対応する設定項目に決定し、ステップS90へ進む。
In step S80, the control unit 35 determines the imaging conditions to be set (changed). That is, the control unit 35 determines the setting item corresponding to the icon 71 or 72 tapped by the user, and proceeds to step S90.
ステップS90において、制御部35(撮像条件設定部35d)は、ステップS80で決定した設定項目に対して複数の候補画像を取得してステップS100へ進む。ステップS100において、制御部35は、液晶モニタ36の表示面に複数の候補画像を表示させてステップS110へ進む。
In step S90, the control unit 35 (imaging condition setting unit 35d) acquires a plurality of candidate images for the setting items determined in step S80 and proceeds to step S100. In step S100, the control unit 35 displays a plurality of candidate images on the display surface of the liquid crystal monitor 36 and proceeds to step S110.
ステップS110において、制御部35は、ユーザーにより上記選択操作(例えばダブルタップ)が行われた場合に、撮像条件の設定(変更)の対象となる領域に対し、ダブルタップされた候補画像に対応する撮像条件を決定し、その条件を撮像部32または画像処理部33に設定してステップS120へ進む。
なお、ステップS110におけるユーザー操作に応じた液晶モニタ36の表示遷移や撮像条件の設定については、上述したとおりである。
In step S110, when the above selection operation (for example, double tapping) is performed by the user, the control unit 35 corresponds to the double-tapped candidate image for the area to be set (changed) in the imaging condition. The image pickup condition is determined, the condition is set in the image pickup unit 32 or the image processing unit 33, and the process proceeds to step S120.
The display transition of the liquid crystal monitor 36 and the setting of the imaging conditions according to the user operation in step S110 are as described above.
ステップS120において、制御部35は、撮像指示の有無を判定する。制御部35は、操作部材37を構成する不図示のレリーズボタン、または撮像を指示する表示が操作された場合、ステップS120を肯定判定してステップS130へ進む。制御部35は、撮像指示が行われない場合には、ステップS120を否定判定してステップS70へ戻る。
In step S120, the control unit 35 determines the presence or absence of an imaging instruction. When the release button (not shown) constituting the operation member 37 or the display instructing the imaging is operated, the control unit 35 positively determines step S120 and proceeds to step S130. If the image pickup instruction is not given, the control unit 35 negatively determines step S120 and returns to step S70.
ステップS130において、制御部35は、所定の本撮像処理を行う。すなわち、撮像制御部35eが上記領域ごとに設定された撮像条件で撮像するように撮像部32を制御するとともに、撮像して得られた画像データに対して画像処理部33によって所定の画像処理を施す。そして、記録部39によって画像データを不図示の記録媒体に記録する。
In step S130, the control unit 35 performs a predetermined main imaging process. That is, the image pickup control unit 35e controls the image pickup unit 32 so as to take an image under the image pickup conditions set for each of the above regions, and the image processing unit 33 performs predetermined image processing on the image data obtained by the image pickup. Give. Then, the recording unit 39 records the image data on a recording medium (not shown).
ステップS140において、制御部35は、終了操作が行われたか否かを判断する。制御部35は、終了操作が行われた場合にステップS140を肯定判定して図14による処理を終了する。制御部35は、終了操作が行われない場合には、ステップS140を否定判定してステップS20へ戻る。ステップS20へ戻った場合、制御部35は、上述した処理を繰り返す。
In step S140, the control unit 35 determines whether or not the end operation has been performed. When the end operation is performed, the control unit 35 positively determines step S140 and ends the process according to FIG. If the end operation is not performed, the control unit 35 negatively determines step S140 and returns to step S20. When returning to step S20, the control unit 35 repeats the above-described process.
上述した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、撮像面の複数の領域の撮像条件を設定可能に構成された撮像素子100により被写体像を撮像する撮像部32と、領域ごとに撮像条件を変更する際のパラメータを、撮像されたライブビュー画像から検出された被写体要素に基づいて決定する制御部35とを備える。これにより、カメラ1が、領域ごとに撮像条件を変更するためのパラメータを自動的に決めてくれるので、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
According to the above-described embodiment, the following effects can be obtained.
(1) The camera 1 includes an image pickup unit 32 that captures a subject image by an image sensor 100 configured to be able to set imaging conditions for a plurality of regions on the imaging surface, and parameters for changing the imaging conditions for each region. It includes a control unit 35 that determines based on a subject element detected from the captured live view image. As a result, the camera 1 automatically determines the parameters for changing the imaging conditions for each region, so that the user can easily set the imaging conditions for each region.
(2)制御部35は、パラメータを、被写体要素と、設定されている撮像モードとに基づいて決定する。これにより、被写体要素の種類(例えば、人物、山、花など)や、撮像モード(例えば、ポートレートモード、風景モードなど)に応じて適切なパラメータが自動的に決定されるので、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
(2) The control unit 35 determines the parameters based on the subject element and the set imaging mode. As a result, appropriate parameters are automatically determined according to the type of subject element (for example, person, mountain, flower, etc.) and the imaging mode (for example, portrait mode, landscape mode, etc.), so that the user can use it. It becomes easier to set the imaging conditions for each area.
(3)カメラ1は、撮像されたライブビュー画像に対し、複数の領域のうちの少なくとも一つの領域で、制御部35により決定されたパラメータを用いて撮像条件を変更した候補画像を生成する画像処理部33を備える。これにより、ユーザーは、領域に対して撮像条件を変更した場合の効果を、本撮像する前に、ライブビュー画像に画像処理が施された候補画像によって確認することが可能になる。
(3) The camera 1 generates a candidate image in which the imaging conditions are changed by using the parameters determined by the control unit 35 in at least one region among the plurality of regions with respect to the captured live view image. A processing unit 33 is provided. As a result, the user can confirm the effect of changing the imaging conditions for the region by checking the candidate image in which the live view image is image-processed before the main imaging.
(4)制御部35は、パラメータを複数決定し、画像処理部33は、撮像されたライブビュー画像に対し、制御部35により決定された互いに異なる複数のパラメータを用いて撮像条件を段階的に変更した複数の候補画像を生成する。これにより、ユーザーは、撮像条件を変更した場合の効果について、撮像条件が段階的に異なる複数の候補画像で比べることが可能になる。
(4) The control unit 35 determines a plurality of parameters, and the image processing unit 33 steps the imaging conditions for the captured live view image using a plurality of parameters determined by the control unit 35 that are different from each other. Generate multiple modified candidate images. As a result, the user can compare the effect of changing the imaging conditions with a plurality of candidate images having different imaging conditions in stages.
(5)撮像条件は、輝度または彩度であり、画像処理部33は、輝度または彩度を段階的に変更した複数の候補画像を生成する。これにより、ユーザーは、輝度(または彩度)を変更した場合の効果について、輝度(または彩度)が段階的に異なる複数の候補画像で比べることが可能になる。
(5) The imaging condition is brightness or saturation, and the image processing unit 33 generates a plurality of candidate images whose brightness or saturation is changed stepwise. This allows the user to compare the effect of changing the brightness (or saturation) with a plurality of candidate images having stepwise differences in brightness (or saturation).
(6)画像処理部33は、撮像されたライブビュー画像を撮像条件を変更する前の基準画像として生成するとともに、撮像条件を変更した後の候補画像を生成する。これにより、ユーザーは、領域に対して撮像条件を変更した場合の効果について、撮像条件を変更する前と比べることが可能になる。
(6) The image processing unit 33 generates the captured live view image as a reference image before changing the imaging conditions, and also generates a candidate image after changing the imaging conditions. This allows the user to compare the effect of changing the imaging conditions for the area with that before changing the imaging conditions.
(7)画像処理部33は、基準画像と、基準画像に対して輝度が高い画像、および/または基準画像に対して輝度が低い画像とを生成する。これにより、ユーザーは、領域に対して輝度を変更した場合の効果について、輝度を変更する前と比べることが可能になる。
(7) The image processing unit 33 generates a reference image, an image having higher brightness than the reference image, and / or an image having lower brightness than the reference image. This allows the user to compare the effect of changing the brightness on the area with that before changing the brightness.
(8)画像処理部33は、基準画像と、基準画像に対して彩度が高い画像、および/または基準画像に対して彩度が低い画像とを生成する。これにより、ユーザーは、領域に対して彩度を変更した場合の効果について、彩度を変更する前と比べることが可能になる。
(8) The image processing unit 33 generates a reference image, an image having a high saturation with respect to the reference image, and / or an image having a low saturation with respect to the reference image. This allows the user to compare the effect of changing the saturation on the area with that before changing the saturation.
(9)画像処理部33によって生成された画像を表示する液晶モニタ36を備えるようにしたので、ユーザーは、領域に対して撮像条件を変更した場合の効果について、視覚的に比べることが可能になる。
(9) Since the liquid crystal monitor 36 for displaying the image generated by the image processing unit 33 is provided, the user can visually compare the effect of changing the imaging conditions with respect to the area. Become.
(10)液晶モニタ36に表示されている候補画像を選ぶ操作がなされた場合に、候補画像が生成された領域に対応する撮像部32の撮像面の領域に対し、候補画像の生成に用いられたパラメータに対応する撮像条件を設定する制御部35を備える。これにより、ユーザーにとって、領域ごとの撮像条件の設定が行いやすくなる。
(10) When the operation of selecting the candidate image displayed on the liquid crystal monitor 36 is performed, the candidate image is generated for the region of the imaging surface of the imaging unit 32 corresponding to the region where the candidate image is generated. A control unit 35 for setting imaging conditions corresponding to the above parameters is provided. This makes it easier for the user to set the imaging conditions for each area.
(11)複数の領域のうち、画像処理部33によって撮像条件を変更して生成された画像を表示する領域を、他の領域と異なる態様で液晶モニタ36に表示させる表示制御部35gを備える。これにより、ユーザーに対して、設定(変更)の対象である領域をわかりやすく示すことができる。
(11) Of the plurality of regions, the display control unit 35g is provided so that the region for displaying the image generated by changing the imaging conditions by the image processing unit 33 is displayed on the liquid crystal monitor 36 in a mode different from that of the other regions. As a result, it is possible to clearly indicate to the user the area to be set (changed).
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
The following modifications are also within the scope of the present invention, and one or more of the modifications can be combined with the above-described embodiment.
(変形例1)
上述した説明では、図9、図13に例示したように、表示制御部35gが液晶モニタ36の表示面に複数の候補画像を並べて表示させる例を説明した。この代わりに、液晶モニタ36の表示面に基準画像を表示させておき、基準画像のうちの撮像条件の設定(変更)の対象となる領域(上記例では第1領域61)内の画像のみを、他の候補画像における対応する領域の画像と置換して表示させるようにしてもよい。
(Modification example 1)
In the above description, as illustrated in FIGS. 9 and 13, an example in which the display control unit 35g displays a plurality of candidate images side by side on the display surface of the liquid crystal monitor 36 has been described. Instead, a reference image is displayed on the display surface of the liquid crystal monitor 36, and only the image in the region (first region 61 in the above example) of the reference image to be set (changed) in the imaging condition is displayed. , It may be displayed by replacing the image of the corresponding area in the other candidate image.
図15および図16は、変形例1による表示画面を例示する図である。変形例1において、表示制御部35gは、ワークメモリ34に上述した複数の候補画像が格納された場合に、図15に示すように、液晶モニタ36の表示面に基準条件の基準画像(基準画像60−1とする)を表示させる。このとき、第1領域61内の画像は、基準画像61−1である。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
15 and 16 are diagrams illustrating a display screen according to the first modification. In the first modification, when the plurality of candidate images described above are stored in the work memory 34, the display control unit 35g displays a reference image (reference image) under the reference conditions on the display surface of the liquid crystal monitor 36 as shown in FIG. 60-1) is displayed. At this time, the image in the first region 61 is the reference image 61-1.
Here, the point that the outline of the first region 61, which is the target of setting (changing) the imaging conditions, is highlighted is the same as in the case of the above embodiment.
図15において、第1領域61の左側位置に左アイコン73が表示されており、第1領域61の右側位置に右アイコン74が表示されている。例えば、図15の表示画面上でユーザーが指80で右アイコン74をタップ操作した場合、表示制御部35gは、図16に例示するように、第1領域61内の画像のみを候補画像61−2に置換した合成画像を表示させる。第1領域61以外の背景は、基準画像60−1のままである。
In FIG. 15, the left icon 73 is displayed at the left side position of the first area 61, and the right icon 74 is displayed at the right side position of the first area 61. For example, when the user taps the right icon 74 with the finger 80 on the display screen of FIG. 15, the display control unit 35g selects only the image in the first region 61 as the candidate image 61-as illustrated in FIG. The composite image replaced with 2 is displayed. The background other than the first region 61 remains the reference image 60-1.
候補画像61−2は、候補画像61−1より輝度(または彩度)が一段階高い画像である。このように、表示制御部35gは、ワークメモリ34に一時的に格納された8つの候補画像の中から、右アイコン74のタップ操作に応じて必要な候補画像60−2を読み出し、読み出した候補画像60−2のうちの第1領域61内の候補画像61−2のみを抽出し、図16に例示した合成表示に用いる。
The candidate image 61-2 is an image whose brightness (or saturation) is one step higher than that of the candidate image 61-1. In this way, the display control unit 35g reads out the necessary candidate images 60-2 from the eight candidate images temporarily stored in the work memory 34 in response to the tap operation of the right icon 74, and the read candidates. Only the candidate image 61-2 in the first region 61 of the images 60-2 is extracted and used for the composite display illustrated in FIG.
図示を省略するが、例えば、図16の表示画面上でユーザーが指80で左アイコン73をタップ操作した場合、表示制御部35gは、図15に例示するように、第1領域61内の画像を基準画像61−1に置換した合成画像を表示する。第1領域61以外の背景は、基準画像60−1のままである。
Although not shown, for example, when the user taps the left icon 73 with the finger 80 on the display screen of FIG. 16, the display control unit 35g is an image in the first region 61 as illustrated in FIG. Is replaced with the reference image 61-1 to display a composite image. The background other than the first region 61 remains the reference image 60-1.
変形例1によれば、ユーザーは、撮像条件の設定(変更)の対象となる第1領域61について、候補画像を確認することができる。また、ユーザーは、左アイコン73または右アイコン74のタップ操作を行うことにより、第1領域61内に他の候補画像を表示させて確認することができる。
According to the first modification, the user can confirm the candidate image for the first region 61 that is the target of setting (changing) the imaging condition. Further, the user can display and confirm another candidate image in the first area 61 by tapping the left icon 73 or the right icon 74.
変形例1において、ユーザーが、任意の候補画像が表示されている状態で画面内のいずれかの位置を指80でダブルタップ操作すると、制御部35(撮像条件設定部35d)は、その時点で第1領域61に表示されている候補画像61−n(nは1〜8の自然数)に適用されている撮像条件を、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件として決定し、図7に例示した設定画面を液晶モニタ36に表示する状態へ戻る。
In the first modification, when the user double-taps any position on the screen with the finger 80 while an arbitrary candidate image is displayed, the control unit 35 (imaging condition setting unit 35d) moves at that time. The imaging conditions applied to the candidate images 61-n (n is a natural number of 1 to 8) displayed in the first region 61 are applied to the first region 61 when an imaging instruction is next given. It is determined as the imaging condition to be performed, and the process returns to the state where the setting screen illustrated in FIG. 7 is displayed on the liquid crystal monitor 36.
なお、ユーザーが、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点、および、ユーザーが、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点は、上述した実施形態と同様である。
It should be noted that the user can perform an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation and then an operation of selecting an arbitrary candidate image among a plurality of candidate images related to saturation. The point that the user can select an arbitrary candidate image from a plurality of candidate images related to brightness after performing an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation is described above. It is the same as the said embodiment.
さらに、ユーザーが、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して撮像条件の設定(変更)を行うことができる点も、上述した実施形態と同様である。
Further, the user can set (change) the imaging conditions regarding the brightness or the saturation even in the area other than the first area 61, that is, the area in which the order given by the setting unit 35c is the second or lower. , The same as the above-described embodiment.
(変形例2)
図17および図18は、変形例2による表示画面を例示する図である。変形例2において、表示制御部35gは、ワークメモリ34に上述した複数の候補画像が格納された場合に、図17に示すように、液晶モニタ36の表示面の左側に基準条件の基準画像(基準画像60−1とする)を表示させるとともに、表示面の右側に候補画像60−2を表示させる。
ここで、撮像条件の設定(変更)の対象となる第1領域61の輪郭が強調表示される点は、上記実施形態の場合と同様である。
(Modification 2)
17 and 18 are diagrams illustrating a display screen according to the second modification. In the second modification, when the plurality of candidate images described above are stored in the work memory 34, the display control unit 35g displays a reference image of the reference condition on the left side of the display surface of the liquid crystal monitor 36 as shown in FIG. The reference image 60-1) is displayed, and the candidate image 60-2 is displayed on the right side of the display surface.
Here, the point that the outline of the first region 61, which is the target of setting (changing) the imaging conditions, is highlighted is the same as in the case of the above embodiment.
図17において、右側の候補画像60−2の上側位置に上アイコン75が表示されており、候補画像60−2の下側位置に下アイコン76が表示されている。例えば、図17の表示画面上でユーザーが指80で下アイコン76をタップ操作した場合、表示制御部35gは、図18に例示するように、右側の候補画像60−2に代えて候補画像60−3を表示させる。左側の基準画像60−1の表示はそのままである。
In FIG. 17, the upper icon 75 is displayed at the upper position of the candidate image 60-2 on the right side, and the lower icon 76 is displayed at the lower position of the candidate image 60-2. For example, when the user taps the lower icon 76 with the finger 80 on the display screen of FIG. 17, the display control unit 35g replaces the candidate image 60-2 on the right side with the candidate image 60 as illustrated in FIG. Display -3. The display of the reference image 60-1 on the left side remains unchanged.
候補画像60−3は、候補画像60−2より輝度(または彩度)が一段階高い画像である。このように、表示制御部35gは、ワークメモリ34に一時的に格納された8つの候補画像の中から、下アイコン76のタップ操作に応じて必要な候補画像60−3を読み出し、図18に例示した表示に用いる。
The candidate image 60-3 is an image whose brightness (or saturation) is one step higher than that of the candidate image 60-2. In this way, the display control unit 35g reads out the necessary candidate images 60-3 in response to the tap operation of the lower icon 76 from the eight candidate images temporarily stored in the work memory 34, and shows FIG. Used for the illustrated display.
図示を省略するが、例えば、図18の表示画面上でユーザーが指80で上アイコン75をタップ操作した場合、表示制御部35gは、図17に例示するように、右側の候補画像60−3に代えて候補画像60−2を表示させる。左側の基準画像60−1の表示はそのままである。
Although not shown, for example, when the user taps the upper icon 75 with the finger 80 on the display screen of FIG. 18, the display control unit 35g will perform the candidate image 60-3 on the right side as illustrated in FIG. The candidate image 60-2 is displayed instead of. The display of the reference image 60-1 on the left side remains unchanged.
変形例2によれば、ユーザーは、基準画像とともに候補画像を確認することができる。また、ユーザーは、上アイコン75または下アイコン76のタップ操作を行うことにより、液晶モニタ36に表示されていない他の候補画像を表示させて確認することができる。
According to the second modification, the user can confirm the candidate image together with the reference image. Further, the user can display and confirm another candidate image that is not displayed on the liquid crystal monitor 36 by tapping the upper icon 75 or the lower icon 76.
変形例2において、ユーザーが、任意の候補画像が表示されている状態で画面内のいずれかの位置を指80でダブルタップ操作すると、制御部35(撮像条件設定部35d)は、その時点で表示面の右側に表示されている候補画像60−n(nは1〜8の自然数)に適用されている撮像条件を、次に撮像指示が行われた場合に第1領域61に対して適用する撮像条件として決定し、図7に例示した設定画面を液晶モニタ36に表示する状態へ戻る。
In the second modification, when the user double-taps any position on the screen with the finger 80 while an arbitrary candidate image is displayed, the control unit 35 (imaging condition setting unit 35d) moves at that time. The imaging conditions applied to the candidate images 60-n (n is a natural number of 1 to 8) displayed on the right side of the display surface are applied to the first region 61 when an imaging instruction is next given. It is determined as the imaging condition to be performed, and the process returns to the state where the setting screen illustrated in FIG. 7 is displayed on the liquid crystal monitor 36.
なお、ユーザーが、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点、および、ユーザーが、彩度に関する複数の候補画像のうち任意の候補画像を選択する操作をした後に、輝度に関する複数の候補画像のうち任意の候補画像を選択する操作をすることができる点は、上述した実施形態と同様である。
It should be noted that the user can perform an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation and then an operation of selecting an arbitrary candidate image among a plurality of candidate images related to saturation. The point that the user can select an arbitrary candidate image from a plurality of candidate images related to brightness after performing an operation of selecting an arbitrary candidate image from a plurality of candidate images related to saturation is described above. It is the same as the said embodiment.
さらに、ユーザーが、第1領域61以外の領域、すなわち設定部35cによって付与された序列が2位以下の領域についても、輝度または彩度に関して撮像条件の設定(変更)を行うことができる点も、上述した実施形態と同様である。
Further, the user can set (change) the imaging conditions regarding the brightness or the saturation even in the area other than the first area 61, that is, the area in which the order given by the setting unit 35c is the second or lower. , The same as the above-described embodiment.
(変形例3)
上述した実施形態では、基準条件の決定の一例として、「プログラムオート」モード、「シャッター速度優先オート」モード、「絞り優先オート」モード、および「マニュアル」モードのうち一つを選択し、選択した露出モードに応じた所定の露出演算を行うことによって適正露出を決定するとともに、標準的な画質となるようにあらかじめ用意された画像処理条件に決定し、決定したこれらの露出条件および画像処理条件を基準条件とする例を説明した。これに代えて、以下のように基準条件を決めてもよい。
(Modification 3)
In the above-described embodiment, one of "program auto" mode, "shutter speed priority auto" mode, "aperture priority auto" mode, and "manual" mode is selected and selected as an example of determining the reference condition. Appropriate exposure is determined by performing a predetermined exposure calculation according to the exposure mode, and image processing conditions prepared in advance so as to obtain standard image quality are determined, and these determined exposure conditions and image processing conditions are determined. An example of using the reference condition has been described. Instead of this, the reference conditions may be determined as follows.
<輝度に関して基準条件を決める例>
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって適正露出の決め方を変え、それを基準条件(露出条件)とする。例えば、カメラ1の撮像シーンモード設定がポートレートモードに設定されており、かつ、物体検出部35aにより被写体要素として人物が検出されている場合において、制御部35は、人物を含む領域に対して人物の輝度が適正となるように露出条件を決定し、基準条件とする。
<Example of determining reference conditions for brightness>
In the third modification, the method of determining the appropriate exposure is changed depending on the imaging scene mode setting of the camera 1 and the subject element detected by the object detection unit 35a, and this is set as a reference condition (exposure condition). For example, when the imaging scene mode setting of the camera 1 is set to the portrait mode and a person is detected as a subject element by the object detection unit 35a, the control unit 35 determines the area including the person. The exposure condition is determined so that the brightness of the person is appropriate, and the reference condition is used.
例えば、カメラ1の撮像シーンモード設定が夜景ポートレートモードに設定されており、かつ、物体検出部35aにより被写体要素として人物が検出されている場合において、制御部35は、人物を含む領域に対しては人物の輝度を明るくするとともに、背景である夜景を含む領域に対しては夜景の輝度を加味して適正となるように露出条件を決定し、基準条件とする。さらに、発光装置40を発光させる場合には、人物および背景の双方の輝度のバランスをとるように適正露出を決定し、必要な発光装置40の発光量を算出する。
For example, when the imaging scene mode setting of the camera 1 is set to the night view portrait mode and a person is detected as a subject element by the object detection unit 35a, the control unit 35 determines the area including the person. In addition to brightening the brightness of the person, the exposure conditions are determined so as to be appropriate for the area including the night view, which is the background, in consideration of the brightness of the night view, and used as the reference condition. Further, when the light emitting device 40 emits light, the appropriate exposure is determined so as to balance the brightness of both the person and the background, and the required light emitting amount of the light emitting device 40 is calculated.
例えば、カメラ1の撮像シーンモード設定が風景モードに設定されており、かつ、撮影距離が所定距離より遠い(ほぼ無限遠)である場合において、制御部35は、被写体要素の色成分(緑色画素Gb、Gr、青色画素B、赤色画素R)の比率と、被写体要素の輝度とに基づいて、被写体要素(例えば、山)を含む領域に対して山の輝度が適正となるように露出条件を決定し、基準条件とする。
For example, when the imaging scene mode setting of the camera 1 is set to the landscape mode and the shooting distance is farther than a predetermined distance (almost infinity), the control unit 35 controls the color component (green pixel) of the subject element. Based on the ratio of Gb, Gr, blue pixel B, red pixel R) and the brightness of the subject element, the exposure condition is set so that the brightness of the mountain is appropriate for the region including the subject element (for example, the mountain). Determine and use as a reference condition.
<彩度に関して基準条件を決める例>
変形例3では、カメラ1の撮像シーンモード設定や、物体検出部35aにより検出された被写体要素によって、標準的な画質とは別に用意された画像処理条件を基準条件(画像処理条件)とする。
<Example of determining standard conditions for saturation>
In the third modification, an image processing condition prepared separately from the standard image quality is set as a reference condition (image processing condition) according to the imaging scene mode setting of the camera 1 and the subject element detected by the object detection unit 35a.
例えば、制御部35は、領域区分け部35bによって区分けされた領域において、緑色画素Gb、Gr、青色画素B、および赤色画素Rから読み出された信号のうち他の色成分に比べて突出している色成分を有する場合には、その領域に対して、画作りをしていない素の画像(フラット)を得る条件を決定し、このように決定した条件を基準条件とする。
For example, the control unit 35 protrudes from the signals read from the green pixels Gb, Gr, the blue pixel B, and the red pixel R in the area divided by the area dividing unit 35b as compared with other color components. When it has a color component, a condition for obtaining a plain image (flat) without image creation is determined for that region, and the condition determined in this way is used as a reference condition.
例えば、カメラ1の撮像シーンモード設定がクローズアップモードに設定されており、かつ、物体検出部35aにより被写体要素として赤い花が検出されている場合において、設定部35cは、赤い花を含む領域に対して、露出を下げて赤成分の飽和を下げた条件を決定し、このように決定した条件を基準条件とする。
For example, when the imaging scene mode setting of the camera 1 is set to the close-up mode and the object detection unit 35a detects a red flower as a subject element, the setting unit 35c is set to the area including the red flower. On the other hand, the condition for lowering the exposure and lowering the saturation of the red component is determined, and the condition determined in this way is used as the reference condition.
(変形例4)
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250や、タブレット端末などのモバイル機器によって構成してもよい。
(Modification example 4)
In the above description, the camera 1 has been described as an example, but it may be configured by a high-performance mobile phone 250 having a camera function such as a smartphone or a mobile device such as a tablet terminal.
(変形例5)
上述した実施の形態では、撮像部32と制御部35とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部35とを分離して設け、制御部35から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、撮像部32を備えた撮像装置1001を、制御部35を備えた制御装置1002から制御する例を説明する。
(Modification 5)
In the above-described embodiment, the camera 1 in which the imaging unit 32 and the control unit 35 are configured as a single electronic device has been described as an example. Instead, for example, an imaging system 1B may be configured in which the imaging unit 32 and the control unit 35 are separately provided and the control unit 35 controls the imaging unit 32 via communication.
Hereinafter, an example in which the imaging device 1001 provided with the imaging unit 32 is controlled by the control device 1002 provided with the control unit 35 will be described.
図19は、変形例5に係る撮像システム1Bの構成を例示するブロック図である。図19において、撮像システム1Bは、撮像装置1001と、表示装置1002とによって構成される。撮像装置1001は、上記実施の形態で説明した撮像光学系31と撮像部32とに加えて、第1通信部1003を備える。また、表示装置1002は、上記実施の形態で説明した画像処理部33、ワークメモリ34、制御部35、液晶モニタ36、操作部材37、不揮発性メモリ38、記録部39、および発光装置40に加えて、第2通信部1004を備える。
FIG. 19 is a block diagram illustrating the configuration of the imaging system 1B according to the modified example 5. In FIG. 19, the image pickup system 1B is composed of an image pickup device 1001 and a display device 1002. The image pickup apparatus 1001 includes a first communication section 1003 in addition to the image pickup optical system 31 and the image pickup section 32 described in the above embodiment. Further, the display device 1002 is added to the image processing unit 33, the work memory 34, the control unit 35, the liquid crystal monitor 36, the operation member 37, the non-volatile memory 38, the recording unit 39, and the light emitting device 40 described in the above embodiment. A second communication unit 1004 is provided.
第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向のデータ通信を行う構成にしてもよい。
The first communication unit 1003 and the second communication unit 1004 can perform bidirectional data communication by, for example, a well-known wireless communication technology or optical communication technology.
The image pickup device 1001 and the display device 1002 may be connected by wire with a wired cable, and the first communication unit 1003 and the second communication unit 1004 may perform bidirectional data communication.
撮像システム1Bは、制御部35が、第2通信部1004および第1通信部1003を介したデータ通信を行うことにより、撮像部32に対する制御を行う。例えば、撮像装置1001と表示装置1002との間で所定の制御データを送受信することにより、表示装置1002は、上述したように画像に基づいて、画面を複数の領域に区分けしたり、区分けされた領域に序列をつけたり、区分けした領域ごとに異なる撮像条件を設定したり、各々の領域で撮像された撮像信号を読み出したりする。
In the image pickup system 1B, the control unit 35 controls the image pickup unit 32 by performing data communication via the second communication unit 1004 and the first communication unit 1003. For example, by transmitting and receiving predetermined control data between the image pickup device 1001 and the display device 1002, the display device 1002 divides the screen into a plurality of regions or is divided based on the image as described above. The regions are ordered, different imaging conditions are set for each divided region, and the imaging signals captured in each region are read out.
変形例5によれば、撮像装置1001側で取得され、表示装置1002へ送信されたライブビュー画像が表示装置1002の液晶モニタ36に表示されるので、ユーザーは、撮像装置1001から離れた位置にある表示装置1002から、遠隔操作を行うことができる。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型撮像素子を備える電子機器によって構成することができる。
なお、表示装置1002の制御部35に物体検出部35aと、領域区分け部35bと、設定部35cと、撮像条件設定部35dと、撮像制御部35eと、AF演算部35fと、表示制御部35gとを設ける例を説明したが、物体検出部35a、領域区分け部35b、設定部35c、撮像条件設定部35d、撮像制御部35e、AF演算部35f、および表示制御部35gの一部について、撮像装置1001に設けるようにしてもよい。
According to the fifth modification, the live view image acquired on the image pickup device 1001 side and transmitted to the display device 1002 is displayed on the liquid crystal monitor 36 of the display device 1002, so that the user can move to a position away from the image pickup device 1001. Remote operation can be performed from a certain display device 1002.
The display device 1002 can be configured by, for example, a high-performance mobile phone 250 such as a smartphone. Further, the image pickup device 1001 can be configured by an electronic device including the above-mentioned stacked image pickup device.
The control unit 35 of the display device 1002 includes an object detection unit 35a, an area division unit 35b, a setting unit 35c, an imaging condition setting unit 35d, an imaging control unit 35e, an AF calculation unit 35f, and a display control unit 35g. Although the example of providing the above is described, the object detection unit 35a, the area division unit 35b, the setting unit 35c, the imaging condition setting unit 35d, the imaging control unit 35e, the AF calculation unit 35f, and a part of the display control unit 35g are imaged. It may be provided in the device 1001.
(変形例6)
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図20に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
(Modification 6)
The supply of the program to the mobile device such as the camera 1, the high-performance mobile phone 250, or the tablet terminal described above is performed by infrared communication or short-range wireless communication from the personal computer 205 storing the program, for example, as illustrated in FIG. It can be sent to mobile devices.
パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD−ROMなどの記録媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
The program may be supplied to the personal computer 205 by setting a recording medium 204 such as a CD-ROM in which the program is stored in the personal computer 205, or by using a communication line 201 such as a network to the personal computer 205. It may be loaded. When passing through the communication line 201, the program is stored in the storage device 203 or the like of the server 202 connected to the communication line.
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
Further, the program can be directly transmitted to the mobile device via the access point (not shown) of the wireless LAN connected to the communication line 201. Further, a recording medium 204B such as a memory card in which the program is stored may be set in the mobile device. As described above, the program can be supplied as various forms of computer program products such as those provided via a recording medium or a communication line.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.