JP6551533B2 - Imaging apparatus and image processing apparatus - Google Patents
Imaging apparatus and image processing apparatus Download PDFInfo
- Publication number
- JP6551533B2 JP6551533B2 JP2017543511A JP2017543511A JP6551533B2 JP 6551533 B2 JP6551533 B2 JP 6551533B2 JP 2017543511 A JP2017543511 A JP 2017543511A JP 2017543511 A JP2017543511 A JP 2017543511A JP 6551533 B2 JP6551533 B2 JP 6551533B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- pixel
- imaging condition
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 1310
- 238000012545 processing Methods 0.000 title claims description 544
- 238000006243 chemical reaction Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 125
- 238000000034 method Methods 0.000 description 77
- 230000008569 process Effects 0.000 description 67
- 238000004364 calculation method Methods 0.000 description 58
- 230000000875 corresponding effect Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 23
- 238000012986 modification Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 238000009825 accumulation Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 14
- 230000007547 defect Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 238000002360 preparation method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置および画像処理装置に関する。 The present invention relates to an imaging device and an image processing device.
画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている(特許文献1参照)。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを用いる場合において、撮像条件が同じ領域で生成された画像データを用いる場合と同様にすることができないという問題があった。 There is known an imaging apparatus equipped with an imaging element capable of setting different imaging conditions for each area of a screen (see Patent Document 1). However, in the case of using image data respectively generated in regions having different imaging conditions, there is a problem that it can not be the same as the case of using image data generated in the same region of imaging conditions.
本発明の第1の態様によると、撮像装置は、光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する、前記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち、前記第1画素が配置された第1領域の撮像条件と、前記撮像領域のうち、前記第2画素が配置された前記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素の補間に用いる画素を、前記設定部により前記第1撮像条件とは異なる第2撮像条件に設定された前記第2領域の前記第2画素と、前記設定部により前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域の前記第2画素と、のうちから選択する選択部と、前記設定部による撮像条件の設定を制御する制御部であって前記選択部により選択された前記第2画素から出力された信号により補間された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える。
本発明の第2の態様によると、撮像装置は、光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する前記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち、前記第1画素が配置された第1領域の撮像条件と、前記撮像領域のうち、前記第2画素が配置された前記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号の信号処理に用いる画素を、前記設定部により前記第1撮像条件とは異なる第2撮像条件に設定された前記第2領域の前記第2画素と、前記設定部により前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域の前記第2画素と、のうちから選択する選択部と、前記設定部による撮像条件の設定を制御する制御部であって前記選択部により選択された前記第2画素から出力された信号により信号処理された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える。
本発明の第3の態様によると、画像処理装置は、第1撮像条件に設定された、撮像素子の撮像領域のうち、第1領域に配置された第1画素の補間に用いる画素を、前記第1撮像条件とは異なる第2撮像条件に設定された、前記撮像領域のうち、第2領域に配置された第2画素と、前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域に配置された前記第2画素と、のうちから選択する選択部と、前記選択部により選択された前記第2画素から出力された信号により補間された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える。
本発明の第4の態様によると、画像処理装置は、第1撮像条件に設定された、撮像素子の撮像領域のうち、第1領域に配置された第1画素から出力された信号の信号処理に用いる画素を、前記第1撮像条件とは異なる第2撮像条件に設定された前記撮像領域のうち、第2領域に配置された第2画素と、前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域に配置された前記第2画素と、のうちから選択する選択部と、前記選択部により選択された前記第2画素から出力された信号により信号処理された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える。
本発明の第5の態様によると、撮像装置は、光学系の光軸方向に移動可能なレンズを介して、光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する、前記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち前記第1画素が配置された第1領域と、前記撮像領域のうち前記第2画素が配置された前記第1領域とは異なる第2領域と、に異なる撮像条件が設定可能な設定部と、前記設定部による撮像条件の設定を制御する制御部であって、前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素と、前記設定部により前記第1撮像条件とは異なる第2撮像条件が設定された前記第2領域の前記第2画素と、の出力により生成された画像信号のうちの前記第1画素の信号を、前記設定部により第3撮像条件に設定された前記第1領域の前記第1画素と、前記第3撮像条件に設定された前記第2領域の前記第2画素と、の出力により生成された画像信号の少なくとも一部を用いて補間した信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える。
According to the first aspect of the present invention, the imaging device includes a first pixel that outputs a signal generated by the photoelectrically converted charge, and a first pixel that outputs a signal generated by the photoelectrically converted charge. An imaging element having an imaging area for imaging an object, which is an area in which a second pixel different from the first pixel is arranged, and an imaging condition of a first area in which the first pixel is disposed in the imaging area; A setting unit that sets an imaging condition of a second region that is different from the first region in which the second pixel is arranged in the imaging region, and the first that is set as the first imaging condition by the setting unit The pixel used for the interpolation of the first pixel of one area is set by the setting unit to the second pixel of the second area set to the second imaging condition different from the first imaging condition by the setting unit In the third imaging condition different from the second imaging condition The second pixel selected by the selection unit, the selection unit selecting from among the second pixels of the second region determined, and the control unit for controlling the setting of the imaging condition by the setting unit The imaging condition set in the first area is set using the signal output from the first pixel in the first area set in the first imaging condition, interpolated by the signal output from A control unit for controlling.
According to the second aspect of the present invention, the imaging device includes a first pixel that outputs a signal generated by the photoelectrically converted charge, and a first pixel that outputs a signal generated by the photoelectrically converted charge. Is an area in which different second pixels are arranged, and an imaging element having an imaging area for imaging an object, an imaging condition of a first area in which the first pixel is arranged among the imaging areas, and A setting unit that sets an imaging condition of a second region that is different from the first region in which the second pixel is arranged in the imaging region, and the first that is set as the first imaging condition by the setting unit The pixel used for signal processing of the signal output from the first pixel in the area is the second pixel in the second area set to a second imaging condition different from the first imaging condition by the setting unit; The second imaging condition is set by the setting unit A selection unit that selects from among the second pixels in the second region set in the third imaging condition, and a control unit that controls setting of the imaging condition by the setting unit, which is selected by the selection unit The signal output from the first pixel in the first region set in the first imaging condition, which is signal-processed by the signal output from the second pixel, is set in the first region. And a control unit that controls the setting of the imaging conditions.
According to the third aspect of the present invention, the image processing apparatus uses the pixels used for interpolation of the first pixels arranged in the first area among the imaging areas of the image sensor set in the first imaging condition. Of the imaging areas set to a second imaging condition different from the first imaging conditions, the second pixel arranged in the second area and a third imaging condition different from the second imaging condition are set. The selection unit selected from among the second pixels arranged in the second region, and the first imaging condition interpolated by a signal output from the second pixel selected by the selection unit And a control unit configured to control setting of an imaging condition set in the first area using a signal output from the first pixel of the set first area.
According to the fourth aspect of the present invention, the image processing apparatus performs signal processing of a signal output from the first pixel arranged in the first area among the imaging areas of the imaging element set in the first imaging condition. Among the imaging regions set to the second imaging condition different from the first imaging condition, the pixel used for the second imaging is different from the second pixel arranged in the second region and the third imaging different from the second imaging condition The second pixel arranged in the second region set as a condition, a selection unit to select from, and the signal processed by the signal output from the second pixel selected by the selection unit, And a control unit configured to control setting of an imaging condition set in the first area using a signal output from the first pixel of the first area set in the first imaging condition.
According to the fifth aspect of the present invention, the imaging device is photoelectrically converted with the first pixel that outputs a signal generated by the photoelectrically converted charge via the lens movable in the optical axis direction of the optical system. An imaging element having an imaging area for imaging a subject, which is an area in which a second pixel different from the first pixel, which outputs a signal generated by an electric charge, is arranged; A setting unit capable of setting different imaging conditions in a first area in which one pixel is arranged and a second area different from the first area in which the second pixel is arranged in the imaging area; and the setting A control unit that controls setting of an imaging condition by the unit, wherein the first pixel of the first region set as the first imaging condition by the setting unit is different from the first imaging condition by the setting unit The second area in which a second imaging condition is set Of the first pixel of the image signal generated by the output of the second pixel, the first pixel of the first region set as a third imaging condition by the setting unit, Imaging set in the first region using a signal interpolated using at least part of an image signal generated by the output of the second pixel in the second region set in the third imaging condition And a control unit that controls the setting of the condition.
本実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ1(図1)は、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部33は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ1の詳細について、図面を参照して説明する。
A digital camera will be described by way of example as an example of the electronic apparatus equipped with the image processing apparatus according to the present embodiment. The camera 1 (FIG. 1) is configured to be able to capture images under different conditions for each region of the imaging surface of the
<カメラの説明>
図1は、一実施の形態によるカメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37とを有する。<Explanation of camera>
FIG. 1 is a block diagram illustrating the configuration of a
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、撮像素子32aおよび駆動部32bを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像面の全域において同じ条件で撮像したり、撮像素子32aにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32bは、撮像素子32aに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部32に対する電荷蓄積時間などの撮像指示は、制御部34から駆動部32bへ送信される。
The imaging
画像処理部33は、入力部33aと、処理部33bとを含む。入力部33aには、撮像部32によって取得された画像データが入力される。処理部33bは、異なる領域間において撮像条件を異ならせて本撮像を行った場合に、本画像データとは別に撮像された画像データを用いて、本画像データに対して所定の画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減(Noise reduction)処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。
The
制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部32で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子32aの電荷蓄積時間(露光時間)、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32bへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。
The
制御部34には、物体検出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
The
物体検出部34aは、公知の物体認識処理を行うことにより、撮像部32によって取得された画像から、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部34bは、撮像部32による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。
The
設定部34bはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
The setting
撮像制御部34cは、設定部34bによって領域ごとに設定された撮像条件を適用して撮像部32(撮像素子32a)、画像処理部33を制御する。これにより、撮像部32に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部33に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば1000画素でもよいし、1画素でもよい。また、領域間で画素の数が異なっていてもよい。
The
AF演算部34dは、撮像画面の所定の位置(フォーカスポイントと呼ぶ)において、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)動作を制御する。AF演算部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を送る。AF演算部34dが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
The
表示部35は、画像処理部33によって生成された画像や画像処理された画像、記録部37によって読み出された画像などを再生表示する。表示部35は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
The
操作部材36は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材36は、各操作に対応する操作信号を制御部34へ送出する。操作部材36には、表示部35の表示面に設けられたタッチ操作部材も含まれる。
The
記録部37は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部37は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
The
<積層型の撮像素子の説明>
上述した撮像素子32aの一例として積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプや電極である。撮像チップ111は、被写体からの光像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。<Description of stacked imaging device>
A
図2に示すように、入射光は、主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As shown in FIG. 2, the incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. Further, as indicated by the coordinate axes, the left direction in the drawing, which is orthogonal to the Z axis, is taken as the plus direction of the X axis, and the near direction in the drawing, which is orthogonal to the Z axis and the X axis, is taken as the plus direction. In the following several figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.
撮像チップ111は、例えば、CMOSイメージセンサである。撮像チップ111は、具体的には、裏面照射型のCMOSイメージセンサである。撮像チップ111は、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108を有する。撮像チップ111は、Z軸プラス方向に向かってマイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108の順に配置されている。
The
マイクロレンズ層101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部104に集光する。カラーフィルタ層102は、複数のカラーフィルタFを有する。カラーフィルタ層102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層103は、窒化膜や酸化膜で構成され、半導体層106を保護する。
The
半導体層106は、光電変換部104および読出回路105を有する。半導体層106は、光の入射面である第1面106aと第1面106aの反対側の第2面106bとの間に複数の光電変換部104を有する。半導体層106は、光電変換部104がX軸方向およびY軸方向に複数配列されている。光電変換部104は、光を電荷に変換する光電変換機能を有する。また、光電変換部104は、光電変換信号による電荷を蓄積する。光電変換部104は、例えば、フォトダイオードである。半導体層106は、光電変換部104よりも第2面106b側に読出回路105を有する。半導体層106は、読出回路105がX軸方向およびY軸方向に複数配列されている。読出回路105は、複数のトランジスタにより構成され、光電変換部104によって光電変換された電荷により生成される画像データを読み出して配線層108へ出力する。
The
配線層108は、複数の金属層を有する。金属層は、例えば、Al配線、Cu配線等である。配線層108は、読出回路105により読み出された画像データが出力される。画像データは、接続部109を介して配線層108から信号処理チップ112へ出力される。
The
なお、接続部109は、光電変換部104ごとに設けられていてもよい。また、接続部109は、複数の光電変換部104ごとに設けられていてもよい。接続部109が複数の光電変換部104ごとに設けられている場合、接続部109のピッチは、光電変換部104のピッチよりも大きくてもよい。また、接続部109は、光電変換部104が配置されている領域の周辺領域に設けられていてもよい。
Note that the
信号処理チップ112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路等である。信号処理回路は、光電変換部104ごとに設けられていてもよい。
The
また、信号処理回路は、複数の光電変換部104ごとに設けられていてもよい。信号処理チップ112は、複数の貫通電極110を有する。貫通電極110は、例えばシリコン貫通電極である。貫通電極110は、信号処理チップ112に設けられた回路を互いに接続する。貫通電極110は、撮像チップ111の周辺領域、メモリチップ113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ111に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ112に設けてもよい。
In addition, the signal processing circuit may be provided for each of the plurality of
メモリチップ113は、複数の記憶部を有する。記憶部は、信号処理チップ112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
The
図3は、撮像チップ111の画素配列と単位領域131を説明する図である。特に、撮像チップ111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。
FIG. 3 is a diagram for explaining the pixel array and the
画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the
本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so as to include at least one
図4は、単位領域131における回路を説明する図である。図4の例では、隣接する2画素×2画素の4画素により一つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域131の二次元的な位置を符号A〜Dにより示す。
FIG. 4 is a diagram for explaining a circuit in the
単位領域131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線330が設けられている。
The reset transistor (RST) of the pixel included in the
単位領域131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線332が設けられている。
The pixel transfer transistor (TX) included in the
さらに、単位領域131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線336が設けられている。
Furthermore, the select transistors (SELs) of the pixels included in the
なお、電源配線304は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ111側に設けられてもよいし、信号処理チップ112側に設けられてもよい。
The
単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を共通の出力配線308を介して出力することができる。
By individually turning on and off the reset transistor and the transfer transistor in the
ここで、単位領域131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCD」の順序で光電変換信号が出力される。
Here, a so-called rolling shutter system is known in which charge accumulation is controlled in a regular order with respect to rows and columns for the pixels A to D included in the
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ111において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休ませることにより、撮像チップ111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
Thus, by configuring the circuit with the
上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ111、信号処理チップ112およびメモリチップ113を積層しているので、これら出力配線308に接続部109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the
<撮像素子のブロック制御>
本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34(撮像制御部34c)は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。<Block control of image sensor>
In the present embodiment, an imaging condition can be set for each of a plurality of blocks in the
図5は、カメラ1の撮像素子32aに結像される被写体の像を模式的に示す図である。カメラ1は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート(例えば60fps)で繰り返し撮像するモニタ用画像のことをいう。
FIG. 5 is a diagram schematically showing an image of a subject formed on the
制御部34は、設定部34bにより領域を分割する前は、撮像チップ111の全域(すなわち撮像画面の全体)に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で0.3段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ111の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。
The
図5において、撮像チップ111の撮像面に、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65a、66aとを含む像が結像されている。人物61aは、バッグ63aを両手で抱えている。人物61aの右後方に、自動車62aが止まっている。
In FIG. 5, an image including a
<領域の分割>
制御部34は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部34aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図5の例では、物体検出部34aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。<Division of area>
Based on the live view image, the
次に、設定部34bによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物61aを含む領域を第1領域61とし、自動車62aを含む領域を第2領域62とし、バッグ63aを含む領域を第3領域63とし、山64aを含む領域を第4領域64とし、雲65aを含む第5領域を領域65とし、雲66aを含む領域を第6領域66として説明する。
Next, the setting
<ブロックごとの撮像条件の設定>
制御部34は、設定部34bによって画面を複数の領域に分割すると、図6に例示するような設定画面を表示部35に表示させる。図6において、ライブビュー画像60aが表示され、ライブビュー画像60aの右側に撮像条件の設定画面70が表示される。<Setting imaging conditions for each block>
When the
設定画面70には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード(TV)、ゲイン(ISO)が挙げられている。フレームレートは、1秒間に取得するライブビュー画像やカメラ1により録画される動画像のフレーム数である。ゲインは、ISO感度である。撮像条件の設定項目は、図6に例示した他にも適宜加えて構わない。全ての設定項目が設定画面70の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
In the
本実施の形態において、制御部34は、設定部34bによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定(変更)の対象にする。例えば、タッチ操作が可能なカメラ1において、ユーザーは、ライブビュー画像60aが表示されている表示部35の表示面上で、撮像条件を設定(変更)したい主要被写体の表示位置をタップ操作する。制御部34は、例えば人物61aの表示位置がタップ操作された場合に、ライブビュー画像60aにおいて人物61aを含む領域61を撮像条件の設定(変更)対象領域にするとともに、領域61の輪郭を強調して表示させる。
In the present embodiment, the
図6において、輪郭を強調して表示(太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等)する領域61は、撮像条件の設定(変更)の対象となる領域を示す。図6の例では、領域61の輪郭を強調したライブビュー画像60aが表示されているものとする。この場合は、領域61が、撮像条件の設定(変更)の対象である。例えば、タッチ操作が可能なカメラ1において、ユーザーによってシャッタースピード(TV)の表示71がタップ操作されると、制御部34は、強調して表示されている領域(領域61)に対するシャッタースピードの現設定値を画面内に表示させる(符号68)。
以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。In FIG. 6, an
In the following description, the
シャッタースピード(TV)の上アイコン71aまたは下アイコン71bがユーザーによってタップ操作されると、設定部34bは、シャッタースピードの表示68を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域(領域61)に対応する撮像素子32aの単位領域131(図3)の撮像条件を、上記タップ操作に応じて変更するように撮像部32(図1)へ指示を送る。決定アイコン72は、設定された撮像条件を確定させるための操作アイコンである。設定部34bは、フレームレートやゲイン(ISO)の設定(変更)についても、シャッタースピード(TV)の設定(変更)の場合と同様に行う。
When the upper icon 71a or the
なお、設定部34bは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部34bは、ユーザーの操作に基づかずに、制御部34の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体要素を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、制御部34の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域(領域61以外の他の領域)については、設定されている撮像条件が維持される。Although the
For the area that is not highlighted (the area other than the area 61), the set imaging conditions are maintained.
制御部34は、撮像条件の設定(変更)の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部34は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部34は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
Instead of highlighting the outline of the area for which the imaging condition is set (changed), the
以上説明したように、領域ごとの撮像条件が設定された後に、操作部材36を構成する不図示のレリーズボタン、または撮像開始を指示する表示(レリーズアイコン)が操作されると、制御部34が撮像部32を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像(本撮像)を行わせる。なお、以下の説明では、分割された領域をそれぞれ第1領域61〜第6領域66(図7(a)参照)とし、第1領域61〜第6領域66に第1撮像条件〜第6撮像条件が設定されるものとする。そして、画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。この画像データは、記録部37に記録される画像データであり、以後、本画像データと呼ぶ。なお、撮像部32は、本画像データを取得する際に、本画像データに対して画像処理を行ったり、本画像データの撮像のための各種の検出処理や設定処理を行う際に用いる画像データ(以下、処理用画像データと呼ぶ)を本画像データとは異なるタイミングで取得する。また、画像処理の詳細については説明を後述する。
As described above, when an image capturing condition for each region is set and a release button (not shown) constituting the
<処理用画像データ>
処理用画像データは、本画像データにおいて、ある領域(たとえば第1領域61)のうち他の領域と境界をなす境界付近の領域(以下、境界部と呼ぶ)に含まれる注目画素に対して画像処理を施す際に使用される。また、処理用画像データは、焦点検出処理、被写体検出処理、撮像条件設定処理の際に使用される。制御部34の設定部34bは、第1領域61をよりも広い領域を、第1領域61のための処理用画像データ(以後、第1処理用画像データと呼ぶ)を撮像するための領域(以下、処理用撮像領域と呼ぶ)として撮像素子32aに設定する。この場合、設定部34bは、たとえば撮像素子32aの撮像面の全領域を、処理用撮像領域として設定する。さらに、設定部34bは、第1処理用画像データの撮像条件として、第1領域61に設定された撮像条件である第1撮像条件を設定する。同様に、設定部34bは、第2〜第6処理用画像データのための処理用撮像領域を、それぞれ撮像素子32aの撮像面の全領域に設定する。設定部34bは、第2〜第6処理用画像データのそれぞれに対する撮像条件として、第2領域62〜第6領域66に設定された各撮像条件をそれぞれ設定する。
なお、処理用画像データを撮像するためのタイミングについては、説明を後述する。
以下、処理用画像データを、画像処理に用いる場合と、焦点検出処理に用いる場合と、被写体検出処理に用いる場合と、露出条件設定処理に用いる場合と、に分けて説明を行う。<Processing image data>
In the main image data, the processing image data is an image of a target pixel included in a region (hereinafter referred to as a boundary portion) in the vicinity of a boundary that forms a boundary with another region in a certain region (for example, the first region 61). It is used when processing. Further, the processing image data is used in focus detection processing, subject detection processing, and imaging condition setting processing. The setting
The timing for capturing the processing image data will be described later.
In the following, the processing image data will be described separately for the case where it is used for image processing, the case where it is used for focus detection processing, the case where it is used for subject detection processing, and the case where it is used for exposure condition setting processing.
1.画像処理に用いる場合
処理用画像データを画像処理に用いる場合について説明する。画像処理部33の処理部33bは、分割した領域間で異なる撮像条件を適用して取得された本画像データに対する画像処理が所定の画像処理である場合において、領域の境界部に位置する本画像データに対して処理用画像データを用いて画像処理を行う。所定の画像処理は、画像において処理対象とする注目位置のデータを、注目位置の周囲(以後、注目範囲と呼ぶ)の複数の参照位置のデータを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。1. When Used for Image Processing A case where processing image data is used for image processing will be described. The
画像処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に現れる違和感を緩和するために行われる。一般に、注目位置が、分割した領域の境界部に位置する場合、注目範囲の複数の参照位置には、注目位置のデータと同じ撮像条件が適用されたデータと、注目位置のデータと異なる撮像条件が適用されたデータとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置のデータをそのまま参照して注目位置のデータを算出するよりも、同じ撮像条件が適用された参照位置のデータを参照して注目位置のデータを算出する方が好ましいという考え方に基づき、以下のように画像処理を行う。 The image processing is performed to alleviate the uncomfortable feeling that appears in the image after the image processing due to the difference in imaging conditions between the divided areas. In general, when the target position is located at the boundary of the divided area, data in which the same imaging condition as the target position data is applied to a plurality of reference positions in the target range, and different imaging conditions from the target position data May be mixed with data to which. In the present embodiment, the reference position data to which the same imaging condition is applied is referred to as reference position data to which the same imaging condition is applied, and the reference position data to which the same imaging condition is applied is referred to as it is. Based on the idea that it is preferable to calculate data, image processing is performed as follows.
図7(a)は、ライブビュー画像60aにおける第1領域61と第1領域61が境界をなす第4領域64とを含む所定範囲80を例示する図である。本例では、少なくとも人物を含む第1領域61に第1撮像条件が設定され、山を含む第4領域64に第4撮像条件がそれぞれ設定されているものとする。図7(b)は、図7(a)の所定範囲80を拡大した図である。第1撮像条件が設定された第1領域61に対応する撮像素子32a上の画素からの画像データを白地で示し、第4撮像条件が設定された第4領域64に対応する撮像素子32a上の画素からの画像データを網掛けで示す。図7(b)では、第1領域61上であって、第1領域61と第4領域64との境界81の近傍部分、すなわち境界部に注目画素Pからの画像データが位置する。注目画素Pを中心とする注目範囲90(例えば3×3画素)に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素Prとする。図7(c)は、注目画素Pおよび参照画素Pr1〜Pr8の拡大図である。注目画素Pの位置が注目位置であり、注目画素Pを囲む参照画素Pr1〜Pr8の位置が参照位置である。なお、以下の説明では、参照画素を総称する場合には符号Prを付与する。
FIG. 7A is a view exemplifying a
画像処理部33の処理部33bは、参照画素Prの画像データをそのまま使用して画像処理を行う。すなわち、処理部33bは、注目画素Pの全ての参照画素Prの全てのデータを用いて補間等の画像処理等を行う。しかしながら、注目画素Pにおいて撮像時に適用された第1撮像条件と、注目画素Pの周囲の参照画素Prにおいて撮像時に適用された第4撮像条件とが異なる場合には、処理部33bは、本画像データ上の第4撮像条件の画像データを用いないようにする。図7(c)において、第1撮像条件が設定された注目画素Pおよび参照画素Pr1〜Pr6から出力される画像データを白地で示し、第4撮像条件が設定された参照画素Pr7およびPr8から出力される画像データを斜線で示す。本実施の形態では、処理部33bは、第4撮像条件の画像データ、すなわち斜線で示す参照画素Pr7、Pr8から出力された画像データを画像処理に用いないようにする。さらに、処理部33bは、第4撮像条件で撮像された本画像データの参照画素Pr7、Pr8の画像データに代えて、第1撮像条件が設定されて生成された第1処理用画像データの参照画素Pr7、Pr8の画像データを画像処理に用いる。
The
図7(d)は、第1処理用画像データのうち、図7(c)に示す本画像データの注目画素Pおよび参照画素Prと対応する画素、すなわち撮像素子32aの撮像面上での座標値が同一の画素からの画像データを示す。第1処理用画像データが第1撮像条件で撮像されているので、図7(d)では注目画素Pと参照画素Prから出力された画素データを白地で示す。処理部33bは、本画像データ中の参照画素Pr7、Pr8の画像データに代えて、第1処理用画像データ中の参照画素Pr7、Pr8の画像データを選択する。処理部33bは、本画像データ中の参照画素Pr1〜Pr6の画像データと、第1処理用画像データ中の参照画素Pr7、Pr8とを参照して、本画像データの注目画素Pの画像データを算出する。すなわち、処理部33bは、同一の撮像条件が設定されて撮像された異なる画像データを用いて、注目画素Pの画像データを算出する。
FIG. 7D is a pixel corresponding to the target pixel P and the reference pixel Pr of the main image data shown in FIG. 7C among the first processing image data, that is, the coordinates on the imaging surface of the
第1撮像条件と第4撮像条件とが異なる場合の例を以下に示す。
(例1)
第1撮像条件と第4撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で第4撮像条件のISO感度が800の場合を例に挙げる。本画像データのうち注目画素Pは第1撮像条件(ISO感度100)で取得されている。この場合、画像処理部33の処理部33bは、参照画素Prのうち第1撮像条件で取得された本画像データの参照画素Pr1〜Pr6の画像データと、ISO感度が100で取得された第1処理用画像データの参照画素Pr7、Pr8(図7(d))の画像データとを使用して画像処理を行う。処理部33bは、第1撮像条件で取得された参照画素Prのうち第4撮像条件(ISO感度800)で取得された参照画素Pr7、Pr8の画像データを使用しない。An example in which the first imaging condition and the fourth imaging condition are different will be shown below.
(Example 1)
Only the ISO sensitivity differs between the first imaging condition and the fourth imaging condition, and the case where the ISO sensitivity of the first imaging condition is 100 and the ISO sensitivity of the fourth imaging condition is 800 is taken as an example. Of the main image data, the target pixel P is acquired under the first imaging condition (ISO sensitivity 100). In this case, the
(例2)
第1撮像条件と第4撮像条件との間で、シャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第4撮像条件のシャッター速度が1/100秒の場合を例に挙げる。本画像データのうち注目画素Pは第1撮像条件(シャッター速度1/1000秒)で取得されている。この場合、画像処理部33の処理部33bは、参照画素Prのうちシャッター速度1/1000秒で取得された本画像データの参照画素Pr1〜Pr6の画像データと、シャッター速度が1/1000秒で取得された第1処理用画像データの参照画素Pr7、Pr8の画像データを使用して画像処理を行う。処理部33bは、第4撮像条件(シャッター速度1/100秒)で取得された本画像データの参照画素Pr7、Pr8の画像データを使用しない。(Example 2)
An example in which only the shutter speed is different between the first imaging condition and the fourth imaging condition, the shutter speed of the first imaging condition is 1/1000 second, and the shutter speed of the fourth imaging condition is 1/100 second. Listed. Of the main image data, the target pixel P is acquired under the first imaging condition (
(例3)
第1撮像条件と第4撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第4撮像条件のフレームレートが60fpsの場合を例に挙げる。本画像データのうち注目画素Pは第1撮像条件(30fps)で取得されている。この場合、画像処理部33の処理部33bは、参照画素Prのうち30fpsで取得された本画像データの参照画素Pr1〜Pr6の画像データと、30fpsで取得された第1処理用画像データの参照画素Pr7、Pr8の画像データを使用して画像処理を行う。処理部33bは、第4撮像条件(60fps)で取得された本画像データの参照画素Pr7、Pr8の画像データを使用しない。(Example 3)
An example in which only the frame rate is different between the first imaging condition and the fourth imaging condition (the charge accumulation time is the same), the frame rate of the first imaging condition is 30 fps, and the frame rate of the fourth imaging condition is 60 fps. To Of the main image data, the target pixel P is acquired under the first imaging condition (30 fps). In this case, the
一方、画像処理部33の処理部33bは、注目画素Pにおいて撮像時に適用された第1撮像条件と、注目画素Pの周囲の全参照画素Prにおいて適用された撮像条件とが同一である場合には、第1撮像条件で取得された参照画素Prのデータを画像処理に用いる。すなわち、処理部33bは、参照画素Prのデータをそのまま画像処理に用いる。
なお、上述したように、撮像条件に多少の差異があっても同一の撮像条件とみなす。On the other hand, the
As described above, even if there are some differences in the imaging conditions, the imaging conditions are regarded as the same.
なお、処理部33bは、第1撮像条件で取得された注目画素Pの画像データに対して、第1撮像条件で取得された参照画素Prの画像データと、第1撮像条件で取得された第1処理用画像データの参照画素Prの画像データとを用いて画像処理を行うものに限定されない。たとえば、処理部33bは、第1撮像条件で取得された注目画素Pの画像データに対して、本画像データの参照画素Pr1〜Pr8の画像データを用いず、第1処理用画像データの参照画素Pr1〜Pr8の画像データを用いて画像処理を行っても良い。すなわち、処理部33bは、注目画素Pが撮像された際に設定された撮像条件と同一の撮像条件にて撮像された参照画素Prの画像データを用いて、注目画素Pの画像データに対して画像処理を施せば良い。
Note that the
<画像処理の例示>
処理用画像データを用いて行われる画像処理について例示する。
(1)撮像画素欠陥補正処理
本実施の形態において、撮像画素欠陥補正処理は、撮像時に行う画像処理の1つである。一般に、固体撮像素子である撮像素子100は、製造過程や製造後において画素欠陥が生じ、異常なレベルのデータを出力する場合がある。そこで、画像処理部33の処理部33bは、画素欠陥が生じた撮像画素から出力された画像データに対して画像処理を施すことにより、画素欠陥が生じた撮像画素の位置における画像データを目立たないようにする。<Example of image processing>
An example of image processing performed using processing image data is illustrated.
(1) Imaging Pixel Defect Correction Process In the present embodiment, the imaging pixel defect correction process is one of image processes performed during imaging. In general, the
撮像画素欠陥補正処理の一例を説明する。画像処理部33の処理部33bの)は、例えば、本画像データにおいてあらかじめ不揮発性メモリ(不図示)に記録されている画素欠陥の位置の画素を注目画素P(処理対象画素)とし、注目画素Pを中心とする注目範囲90(例えば3×3画素)に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素Prとする。
An example of the imaging pixel defect correction process will be described. For example, the
画像処理部33の処理部33bは、参照画素Prにおける画像データの最大値、最小値を算出し、注目画素Pから出力された画像データがこれら最大値または最小値を超えるときは注目画素Pから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不揮発性メモリ(不図示)に位置情報が記録されている全ての画素欠陥が生じた撮像画素からの画像データに対して行う。
The
本実施の形態において、画像処理部33の処理部33bは、撮像時に注目画素Pに適用された撮像条件(図7の例では第1撮像条件)と異なる撮像条件が適用された画素が上記参照画素Pr(図7のPr7、Pr8)に含まれる場合に、第1処理用画像データの参照画素Pr(図7のPr7、Pr8)の画像データを選択する。その後、画像処理部33の生成部33cが、本画像データの参照画素Pr1〜Pr6の画像データと第1処理用画像データの参照画素Pr7、Pr8の画像データとを用いて上述したMax,Minフィルタ処理を行う。
In the present embodiment, the
(2)色補間処理
本実施の形態において、色補間処理は、撮像時に行う画像処理の1つである。図3に例示したように、撮像素子32aの撮像チップ111は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rがベイヤー配列されている。画像処理部33の処理部33bは、各画素位置において配置されたカラーフィルタFの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。(2) Color Interpolation Processing In the present embodiment, color interpolation processing is one of image processing performed at the time of imaging. As illustrated in FIG. 3, in the
色補間処理の一例を説明する。図8(a)は、撮像素子32aから出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってR、G、Bのいずれかの色成分を有する。
<G色補間>
G色補間を行う画像処理部33の処理部33bは、R色成分およびB色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の4つのG色成分の画像データを参照して注目位置におけるG色成分の画像データを生成する。例えば、図8(b)の太枠(2行目2列目)で示す注目位置においてG色成分の画像データを生成する場合、注目位置の近傍に位置する4つのG色成分の画像データG1〜G4を参照する。画像処理部33(生成部33c)は、例えば(aG1+bG2+cG3+dG4)/4を、注目位置におけるG色成分の画像データとする。なお、a〜dは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。An example of the color interpolation process will be described. FIG. 8A is a diagram illustrating the arrangement of image data output from the
<G color interpolation>
The
図8(a)〜図8(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第1撮像条件とは異なる撮像条件が適用されているものとする。画像処理部33の処理部33bは、図8(b)において斜線で示したG色成分の画像データG4に対応する参照位置に、注目位置に適用された第1撮像条件と異なる撮像条件が適用されているので、画像データG4については第1処理用画像データの参照画素Prの画像データを用いる。こうして、画像処理部33の処理部33bは全て第1撮像条件が適用された参照画素G1〜G4の画像データを用いて、注目位置におけるG色成分の画像データを算出する。
In FIGS. 8A to 8C, for example, the first imaging condition is applied to the left and upper areas with respect to the thick line, and the first imaging conditions are applied to the right and lower areas with respect to the thick line. Assume that different imaging conditions are applied. The
画像処理部33の処理部33bは、図8(a)におけるB色成分の位置およびR色成分の位置においてそれぞれG色成分の画像データを生成することにより、図8(c)に示すように、各画素位置においてG色成分の画像データを得ることができる。
As shown in FIG. 8C, the
<R色補間>
図9(a)は、図8(a)からR色成分の画像データを抽出した図である。画像処理部33の処理部33bは、図8(c)に示すG色成分の画像データと図9(a)に示すR色成分の画像データとに基づいて図9(b)に示す色差成分Crの画像データを算出する。<R color interpolation>
FIG. 9A is a diagram obtained by extracting R color component image data from FIG. The
画像処理部33の処理部33bは、例えば図9(b)の太枠(2行目2列目)で示す注目位置において色差成分Crの画像データを生成する場合、注目位置の近傍に位置する4つの色差成分の画像データCr1〜Cr4を参照する。画像処理部33(処理部33b)は、例えば(eCr1+fCr2+gCr3+hCr4)/4を、注目位置における色差成分Crの画像データとする。なお、e〜hは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
The
同様に、画像処理部33の処理部33bは、例えば図9(c)の太枠(2行目3列目)で示す注目位置において色差成分Crの画像データを生成する場合、注目位置の近傍に位置する4つの色差成分の画像データCr2、Cr4〜Cr6を参照する。画像処理部33の処理部33bは、例えば(qCr2+rCr4+sCr5+tCr6)/4を、注目位置における色差成分Crの画像データとする。なお、q〜tは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、全画素について色差成分Crの画像データが生成される。
Similarly, the
図9(a)〜図9(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第1撮像条件とは異なる撮像条件が適用されているものとする。図9(b)において斜線で示した色差成分Crの画像データCr2に対応する参照位置に、注目位置(2行目2列目)に適用された第1撮像条件と異なる撮像条件が適用されている。画像処理部33(処理部33b)は、画像データCr2については第1処理用画像データの参照画素Prの画像データを用いる。その後、画像処理部33の処理部33bが注目位置における色差成分Crの画像データを算出する。
また、図9(c)において斜線で示した色差成分Crの画像データCr4およびCr5に対応する参照位置に、注目位置(2行目3列目)に適用された撮像条件とは異なる第1撮像条件が適用されている。画像処理部33(処理部33b)は、画像データCr4およびCr5については、処理用画像データの参照画素Prの画像データを用いる。その後、画像処理部33の処理部33bが注目位置における色差成分Crの画像データを算出する。9A to 9C, for example, the first imaging condition is applied to the left and upper regions with respect to the thick line, and the first imaging condition is applied to the right and lower regions with respect to the thick line. It is assumed that different imaging conditions are applied. An imaging condition different from the first imaging condition applied to the target position (second row and second column) is applied to the reference position corresponding to the image data Cr2 of the color difference component Cr indicated by hatching in FIG. 9B. There is. The image processing unit 33 (
Further, the first imaging different from the imaging condition applied to the target position (second row and third column) at the reference position corresponding to the image data Cr4 and Cr5 of the color difference component Cr indicated by hatching in FIG. 9C. Conditions are applied. The image processing unit 33 (
画像処理部33の処理部33bは、各画素位置において色差成分Crの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてR色成分の画像データを得ることができる。
The
<B色補間>
図10(a)は、図8(a)からB色成分の画像データを抽出した図である。画像処理部33の処理部33bは、図8(c)に示すG色成分の画像データと図10(a)に示すB色成分の画像データとに基づいて図10(b)に示す色差成分Cbの画像データを算出する。<B color interpolation>
FIG. 10A is a diagram in which image data of the B color component is extracted from FIG. The
画像処理部33の処理部33bは、例えば図10(b)の太枠(3行目3列目)で示す注目位置において色差成分Cbの画像データを生成する場合、注目位置の近傍に位置する4つの色差成分の画像データCb1〜Cb4を参照する。画像処理部33の処理部33bは、例えば(uCb1+vCb2+wCb3+xCb4)/4を、注目位置における色差成分Cbの画像データとする。なお、u〜xは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
The
同様に、画像処理部33の処理部33bは、例えば図10(c)の太枠(3行目4列目)で示す注目位置において色差成分Cbの画像データを生成する場合、注目位置の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6を参照する。画像処理部33の処理部33bは、例えば(yCb2+zCb4+αCb5+βCb6)/4を、注目位置における色差成分Cbの画像データとする。なお、y、z、α、βは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、全画素について色差成分Cbの画像データが生成される。
Similarly, the
図10(a)〜図10(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第1撮像条件とは異なる撮像条件が適用されているものとする。画像処理部33の処理部33bは、図10(b)において斜線で示した色差成分Cbの画像データCb1およびCb3に対応する参照位置に、注目位置(3行目3列目)に適用された撮像条件と異なる第1撮像条件が適用されているので、データCb1およびCb3については、処理用画像データの参照画素Prの画像データを用いる。その後、画像処理部33の生成部33cが注目位置における色差成分Cbの画像データを算出する。
図10(c)において注目位置(3行目4列目)における色差成分Cbの画像データを算出する場合、注目位置の近傍に位置する4つの色差成分の画像データCb2、Cb4〜Cb6に対応する参照位置には、注目位置と同じ撮像条件が適用されている。画像処理部33の生成部33cは、注目位置における色差成分Cbの画像データを算出する。In FIGS. 10A to 10C, for example, the first imaging condition is applied to the left and upper areas with respect to the thick line, and the first imaging conditions are applied to the right and lower areas with respect to the thick line. It is assumed that different imaging conditions are applied. The
When calculating the image data of the chrominance component Cb at the target position (third row and fourth column) in FIG. 10C, it corresponds to the four chrominance component image data Cb2 and Cb4 to Cb6 located in the vicinity of the target position. The same imaging conditions as the target position are applied to the reference position. The generation unit 33c of the
画像処理部33の処理部33bは、各画素位置において色差成分Cbの画像データを得たのち、各画素位置に対応させて図8(c)に示すG色成分の画像データを加算することにより、各画素位置においてB色成分の画像データを得ることができる。
The
(3)輪郭強調処理
輪郭強調処理の一例を説明する。画像処理部33の処理部33bは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。(3) Outline Enhancement Process An example of the outline enhancement process will be described. The
The kernel size may be N × M pixels.
画像処理部33の処理部33bは、注目画素Pにおけるデータを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
The
本実施の形態において、画像処理部33の処理部33bは、注目画素Pに適用された第1撮像条件と異なる撮像条件が適用された画素が上記参照画素Prに含まれる場合に、第1撮像条件とは異なる撮像条件が適用された画素については第1処理用画像データの参照画素Prの画像データを用いる。その後、画像処理部33の生成部33cが上述した線型フィルタ処理を行う。
In the present embodiment, the
(4)ノイズ低減処理
ノイズ低減処理の一例を説明する。画像処理部33の処理部33bは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2−1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。(4) Noise Reduction Process An example of the noise reduction process will be described. The
The kernel size may be N × M pixels.
画像処理部33の処理部33bは、注目画素Pにおけるデータを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
The
本実施の形態において、画像処理部33の処理部33bは、撮像時に注目画素Pに適用された第1撮像条件と異なる撮像条件が適用された画素が上記参照画素Prに含まれる場合に、第1撮像条件とは異なる撮像条件が適用された画素については第1処理用画像データの参照画素Prの画像データを用いる。その後、画像処理部33の処理部33bが上述した線型フィルタ処理を行う。
In the present embodiment, the
なお、上記の説明では、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部34bは、撮像素子32aの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部34bは、本画像データの第1領域61に対応する領域を処理用撮像領域として設定し、第1撮像条件を適用する。この場合、設定部34bは、第1領域61とこの第1領域61の外周よりも例えば所定の画素数程度外側に広げた外側領域を処理用撮像領域として設定する。処理部33bは、第1領域61に対応する処理用撮像領域以外の領域については、第2領域62〜第6領域66のそれぞれに対応させて撮像素子32aの撮像面で領域を分割し、第2撮像条件〜第6撮像条件を適用する。換言すると、設定部34bは、第1撮像条件が設定された領域と他の撮像条件が設定された領域とを含む撮像面上の処理用撮像領域に第1撮像条件を適用し、処理用撮像領域以外の領域には第1撮像条件とは異なる撮像条件を適用する。
なお、第2〜第6処理用画像データのそれぞれについても、設定部34bは、同様に第2領域62〜第6領域66よりも広い領域として設定された処理用撮像領域を用いて撮像部32に撮像させる。In the above description, the
For each of the second to sixth processing image data, the
または、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、本画像データに設定された各領域とその各領域の上述の外側領域とに関する画像データを抽出して各処理用画像データとしても良い。たとえば、設定部34bは、第1撮像条件が設定され、撮像素子32aの撮像面の全領域を用いて撮像された画像データから、本画像データの第1領域61とその第1領域61の外側領域とから抽出した画像データを第1処理画像データとして生成する。第2処理用画像データ〜第6処理用画像データについても、設定部34bは、第2撮像条件〜第6撮像条件が適用されて撮像面の全領域を用いて撮像されたそれぞれの画像データから、第2領域62〜第6領域66に対応する領域からの画像データをそれぞれ抽出して処理用画像データとすれば良い。
Alternatively, the
また、設定部34bは、本画像データに設定された各領域に対応させて処理用撮像領域を設定するものに限定されない。撮像素子32aの撮像面の一部の領域に予め処理用撮像領域が設定されていても良い。たとえば、撮像素子32aの撮像面の中央部付近に処理用撮像領域が設定されている場合には、ポートレートのように人物を画面の中央に位置させて撮像する際に、主要な被写体が位置する可能性が高い領域で処理用画像データを生成させることができる。この場合、処理用撮像領域の大きさはユーザーの操作に基づいて変更可能としても良いし、予め設定された大きさで固定としても良い。
Further, the
2.焦点検出処理を行う場合
処理用画像データを焦点検出処理に用いる場合について説明する。設定部34bは、撮像素子32aの撮像面の全領域に同一の撮像条件が設定されて撮像された処理用画像データを用いて焦点検出処理を行う。AF動作のフォーカスポイント、すなわち焦点検出エリアが、撮像条件の異なる第1および第2領域に分断されている場合、AF演算部34dによる焦点検出処理の精度が低下する虞があるためである。例えば、画像において像ズレ量(位相差)を検出する焦点検出用の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて像ズレ量(位相差)の検出を行うよりも、撮像条件の相違による画像データ間の差異の無い画像データを用いて像ズレ量(位相差)の検出を行う方が好ましいという考え方に基づき、処理用画像データを用いた焦点検出処理を行う。2. When performing focus detection processing A case where processing image data is used for focus detection processing will be described. The
<焦点検出処理の例示>
本実施の形態のAF動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザーが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部34のAF演算部34dは、撮像光学系31の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を算出する。制御部34のAF演算部34dは、デフォーカス量をゼロ(許容値以下)にする位置、すなわち合焦位置へ、撮像光学系31のフォーカスレンズを移動させる。<Example of focus detection processing>
In the AF operation of the present embodiment, for example, the subject corresponding to the focus point selected by the user from a plurality of focus points on the imaging screen is focused. The
図11は、撮像素子32aの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ111のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図11の例では、15本の焦点検出画素ライン160が所定の間隔で設けられる。焦点検出画素ライン160を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ111において焦点検出画素ライン160以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。
FIG. 11 is a diagram illustrating the position of the focus detection pixel on the imaging surface of the
図12は、図11に示すフォーカスポイント80Aに対応する上記焦点検出画素ライン160の一部の領域を拡大した図である。図12において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素S1、および焦点検出用画素S2とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。
FIG. 12 is an enlarged view of a part of the focus
赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系31(図1)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの受光領域(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。The square area illustrated for the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B indicates a light receiving area of the imaging pixel. Each imaging pixel receives a light beam passing through the exit pupil of the imaging optical system 31 (FIG. 1). That is, the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B each have a square-shaped mask opening, and light passing through these mask openings reaches the light-receiving portion of the imaging pixel. .
In addition, the shape of the light receiving region (mask opening) of the red pixel R, the green pixel G (Gb, Gr), and the blue pixel B is not limited to a quadrangle, and may be, for example, a circle.
焦点検出用画素S1、および焦点検出用画素S2について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素S1は、図12において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S1の受光部に到達する。一方、焦点検出用画素S2は、図12において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素S2の受光部に到達する。このように、焦点検出用画素S1および焦点検出用画素S2は、撮像光学系31(図1)の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。 The semicircular region exemplified for the focus detection pixel S1 and the focus detection pixel S2 indicates a light receiving region of the focus detection pixel. That is, the focus detection pixel S1 has a semicircular mask opening on the left side of the pixel position in FIG. 12, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S1. On the other hand, the focus detection pixel S2 has a semicircular mask opening on the right side of the pixel position in FIG. 12, and the light passing through the mask opening reaches the light receiving portion of the focus detection pixel S2. As described above, the focus detection pixel S1 and the focus detection pixel S2 respectively receive a pair of light fluxes passing through different regions of the exit pupil of the imaging optical system 31 (FIG. 1).
なお、撮像チップ111における焦点検出画素ライン160の位置は、図11に例示した位置に限定されない。また、焦点検出画素ライン160の数についても、図11の例に限定されるものではない。さらに、焦点検出用画素S1および焦点検出用画素S2におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素R、撮像用画素G、撮像用画素Bにおける四角形状受光領域(マスク開口部)を横方向に分割した長方形状としてもよい。
Note that the position of the focus
また、撮像チップ111における焦点検出画素ライン160は、撮像チップ111のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものであってもよい。図12のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
Further, the focus
なお、図12の例では、焦点検出用画素S1、S2がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる1PD構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる2PD構造にしてもよい。2PD構造にすることにより、焦点検出用画素から得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。 In the example shown in FIG. 12, a configuration in which the focus detection pixels S1 and S2 each receive one of a pair of focus detection light beams, that is, a so-called 1 PD structure has been described. Instead of this, the focus detection pixels may be configured to receive both of a pair of light beams for focus detection, that is, a so-called 2PD structure. By using the 2PD structure, the photoelectric conversion signal obtained from the focus detection pixel can be used as a recording photoelectric conversion signal.
制御部34のAF演算部34dは、焦点検出用画素S1および焦点検出用画素S2から出力される焦点検出用の光電変換信号に基づいて、撮像光学系31(図1)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出する。そして、像ズレ量(位相差)に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
The
フォーカスポイント80A(図11)は、図7(a)に例示したライブビュー画像60aにおいて、第1領域61の所定範囲80に対応する位置に、ユーザーによって選ばれているものとする。図13は、フォーカスポイント80Aを拡大した図である。白地の画素は第1撮像条件が設定されていることを示し、網掛けの画素は第4撮像条件が設定されていることを示す。図13において枠170で囲む位置は、焦点検出画素ライン160(図11)に対応する。
It is assumed that the
制御部34のAF演算部34dは、通常、枠170で示す焦点検出用画素による画像データをそのまま用いて焦点検出処理を行う。しかしながら、枠170で囲む画像データに、第1撮像条件が適用された画像データと第4撮像条件が適用された画像データが混在する場合には、制御部34のAF演算部34dは、第1撮像条件が適用された第1処理用画像データを用いて焦点検出処理を行う。この場合、制御部34のAF演算部34dは、第1処理用画像データのうち、枠170に囲まれた範囲に対応する画像データを用いる。
The
第1撮像条件と第4撮像条件とが異なる場合の例を以下に示す。
(例1)
第1撮像条件と第4撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で第4撮像条件のISO感度が800の場合を例に挙げる。枠170で囲む画像データの一部は第1撮像条件(ISO感度100)で取得され、残りは第4撮像条件(ISO感度800)で取得されている。この場合、制御部34のAF演算部34dは、第1撮像条件が適用された第1処理用画像データのうちの枠170に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。An example in which the first imaging condition and the fourth imaging condition are different is shown below.
(Example 1)
Only the ISO sensitivity differs between the first imaging condition and the fourth imaging condition, and the case where the ISO sensitivity of the first imaging condition is 100 and the ISO sensitivity of the fourth imaging condition is 800 is taken as an example. Part of the image data surrounded by the
(例2)
第1撮像条件と第4撮像条件との間で、シャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第4撮像条件のシャッター速度が1/100秒の場合を例に挙げる。枠170で囲む画像データの一部は第1撮像条件(シャッター速度1/1000秒)で取得され、残りは第4撮像条件(シャッター速度1/100秒)で取得されている。この場合、制御部34のAF演算部34dは、第1撮像条件(シャッター速度1/1000秒)が適用された第1処理用画像データのうちの枠170に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。(Example 2)
Only the shutter speed is different between the first imaging condition and the fourth imaging condition, and the shutter speed of the first imaging condition is 1/1000 sec, and the shutter speed of the fourth imaging condition is 1/100 sec. To Part of the image data enclosed by the
(例3)
第1撮像条件と第4撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第4撮像条件のフレームレートが60fpsの場合を例に挙げる。枠170で囲む画像データの一部は第1撮像条件(30fps)で取得され、残りは第4撮像条件(60fps)で取得されている。この場合、制御部34のAF演算部34dは、第1撮像条件(30fps)が適用された第1処理用画像データのうちの枠170に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。(Example 3)
Only the frame rate differs between the first imaging condition and the fourth imaging condition (the charge accumulation time is the same), the frame rate of the first imaging condition is 30 fps, and the frame rate of the fourth imaging condition is 60 fps To Part of the image data surrounded by the
一方、制御部34のAF演算部34dは、枠170で囲む画像データにおいて適用された撮像条件が同一である場合には処理用画像データを用いなくて良い。つまり、制御部34のAF演算部34dは、枠170で示す焦点検出用画素による画像データをそのまま用いて焦点検出処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。On the other hand, the
As described above, even if there are some differences in the imaging conditions, the imaging conditions are regarded as the same.
以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。
In the above description, the focus detection process using the pupil division phase difference method is exemplified. However, in the case of the contrast detection method in which the focus lens of the imaging
コントラスト検出方式を用いる場合、制御部34は、撮像光学系31のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子32aの撮像用画素から出力された画像データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
When the contrast detection method is used, the
制御部34は、通常、フォーカスポイントに対応する撮像用画素から出力された画像データをそのまま用いて焦点評価値演算を行う。しかしながら、フォーカスポイントに対応する画像データに、第1撮像条件が適用された画像データと第1撮像条件とは異なる撮像条件が適用された画像データが混在する場合には、制御部34が、第1撮像条件が適用された第1処理用画像データを用いて、焦点評価値演算を行う。
The
なお、上記の説明では、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部34bは、撮像素子32aの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部34bは、枠170を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域や、撮像素子32aの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、枠170を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域を抽出して各処理用画像データとしても良い。In the above description, the setting
Alternatively, the
3.被写体検出処理を行う場合
図14(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図14(b)は、ライブビュー画像60(a)および探索範囲190を例示する図である。制御部34の物体検出部34aは、ライブビュー画像から対象物(例えば、図5の被写体要素の一つであるバッグ63a)を検出する。制御部34の物体検出部34aは、対象物を検出する範囲をライブビュー画像60aの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像60aの一部を探索範囲190としてもよい。3. FIG. 14A is a diagram illustrating a template image representing an object to be detected, and FIG. 14B illustrates a live view image 60 (a) and a
制御部34の物体検出部34aは、探索範囲190が撮像条件の異なる複数の領域で分断される場合、撮像素子32aの全領域に同一の撮像条件が設定されて撮像された処理用画像データを用いて被写体検出処理を行う。
一般に、被写体要素の検出に用いる探索範囲190が、2つの領域の境界を含む場合、探索範囲190の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、探索範囲190内に撮像条件の相違による画像データ間の差異が無い画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、処理用画像データを使用した被写体検出処理を行う。When the
In general, when the
図5に例示したライブビュー画像60aにおいて、人物61aの持ち物であるバッグ63aを検出する場合を説明する。制御部34の物体検出部34aは、人物61aを含む領域の近傍に探索範囲190を設定する。なお、人物61aを含む第1領域61を探索範囲に設定してもよい。なお、上述したように、第3領域63には第3撮像条件が設定されている。
A case will be described in which the
制御部34の物体検出部34aは、探索範囲190が撮像条件の異なる2つの領域によって分断されていない場合には、探索範囲190を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲190の画像データに、第1撮像条件が適用された画像データと第3撮像条件が適用された画像データが混在する場合には、制御部34の物体検出部34aは、処理用画像データを用いる。この場合、制御部34の被写体検出部34aは,バッグ63aに対応する第3領域63に適用された第3撮像条件にて撮像された第3処理用画像データを用いて被写体検出処理を行う。なお、設定された撮像条件は、焦点検出処理を行う場合として上述した(例1)〜(例3)と同様である。
When the
上述した探索範囲190の画像データを、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。
また、上述した探索範囲190の画像データに対してテンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。You may apply the image data of the
Further, not only the search range used for the pattern matching method using the template image for the image data of the
また、ライブビュー画像のように取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部34は、後から取得されたフレーム画像に設定する探索範囲において、異なる撮像条件が混在して適用された場合には、制御部34は処理用画像データのうちの探索範囲の画像データを用いて追尾処理を行う。
In addition, by performing a known template matching process using image data of a plurality of frames having different acquisition times such as a live view image, a region similar to the tracking target in the previously acquired frame image is acquired later. You may apply to the tracking process of the mobile body searched from the obtained frame image. In this case, when different imaging conditions are mixedly applied in the search range set for the frame image acquired later, the
さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部34は、画像データのうち、動きベクトルの検出に用いる検出領域において、異なる撮像条件が混在して適用された場合には、処理用画像データのうちの、動きベクトルの検出に用いる検出領域の画像データを用いて動きベクトルを検出する。
The same applies to the case where a known motion vector is detected using image data of a plurality of frames having different acquisition times. When different imaging conditions are applied in the detection region used for detecting the motion vector in the image data, the
なお、上記の説明では、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部34bは、撮像素子32aの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部34bは、探索範囲190を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲に対応する領域や、撮像素子32aの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、探索範囲190を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲を抽出して各処理用画像データを生成しても良い。In the above description, the setting
Alternatively, the
4.撮像条件を設定する場合
制御部34の設定部34bは、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、領域の境界付近に位置する画像データについては、処理用画像データを用いる。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、撮像条件の相違による画像データ間の差異が無い画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、処理用画像データを使用した露出演算処理を行う。4. When setting the imaging conditions When the
制御部34の設定部34bは、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第1撮像条件が適用された画像データと第4撮像条件が適用された画像データが混在する場合(たとえば図7の境界部80を含む領域)には、制御部34の設定部34bは、処理用画像データを用いる。この場合、制御部34の設定部34bは,第1領域61に適用された第1撮像条件にて撮像された第1処理用画像データを用いて露出演算処理を行う。なお、設定された撮像条件は、焦点検出処理を行う場合として上述した(例1)〜(例3)と同様である。
When the photometric range is not divided by a plurality of areas having different imaging conditions, the
上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光(測色)範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。 Not only the photometric range when performing the exposure calculation process described above, but also the photometric (colorimetric) range used when determining the white balance adjustment value and the necessity of emission of the auxiliary photographing light by the light source that emits the auxiliary photographing light are determined. The same applies to the photometric range performed at the time, and further to the photometric range performed at the time of determining the light emission amount of the photographing auxiliary light by the light source.
また、撮像画面を分割した領域間で、画像信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。 Further, in the case where the readout resolution of the image signal is different between the areas obtained by dividing the imaging screen, the area used for the determination of the imaging scene performed when determining the readout resolution for each area can be similarly handled. .
なお、上記の説明では、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部34bは、撮像素子32aの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部34bは、測光範囲を包含する範囲に対応する領域や、撮像素子32aの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部34bは、撮像素子32aの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、測光範囲を包含する範囲する範囲を抽出して各処理用画像データを生成しても良い。In the above description, the
Alternatively, the setting
上述した各種処理の際に使用される処理用画像データを生成するタイミングについて説明する。以下、画像処理に用いる処理用画像データを生成するタイミングと、焦点検出処理、被写体検出処理および露出条件設定処理(以下、検出・設定処理と呼ぶ)に用いる処理用画像データを生成するタイミングとに分けて、説明を行う。 The timing of generating the process image data used in the various processes described above will be described. Hereinafter, the timing for generating processing image data used for image processing and the timing for generating processing image data used for focus detection processing, subject detection processing, and exposure condition setting processing (hereinafter referred to as detection / setting processing). Separately, it explains.
<画像処理に用いる処理用画像データの生成>
撮像制御部34cは、撮像部32に本画像データを撮像させるタイミングとは異なるタイミングにて処理用画像データを撮像させる。本実施の形態では、撮像制御部34cは、ライブビュー画像の表示の際、または、操作部材36の操作の際に撮像部32に処理用画像データを撮像させる。さらに、撮像制御部34cは、処理用画像データの撮像を指示する際に、設定部34bによって処理用画像データに設定される撮像条件についての情報を出力する。以下、ライブビュー画像の表示の際での処理用画像データの撮像と、操作部材36の操作のときの処理用画像データの撮像とに分けて説明を行う。<Generation of image data for processing used in image processing>
The
(1)ライブビュー画像の表示時
撮像制御部34cは、ユーザーによりライブビュー画像の表示開始を指示する操作が行われた後、撮像部32に処理用画像データの撮像を行わせる。この場合、撮像制御部34cは、ライブビュー画像の表示中に、所定の周期ごとに、撮像部32に処理用画像データを撮像させる。たとえば、撮像制御部34cは、ライブビュー画像のフレームレートのうち、たとえば偶数フレームを撮像させるタイミングや、10フレームのライブビュー画像を撮像した次のタイミングでは、ライブビュー画像の撮像の指示に代えて、処理用画像データの撮像を指示する信号を撮像部32に出力する。
このとき、撮像制御部34cは、撮像部32に、設定部34bにより設定された撮像条件にて処理用画像データを撮像させる。(1) At the time of display of a live view image The
At this time, the
図15を用いて、ライブビュー画像のための画像データの撮像のタイミングと、処理用画像データの撮像のタイミングとの関係について例示する。図15(a)は、ライブビュー画像の撮像と、処理用画像データの撮像とを1フレームおきに交互に行う場合を示す。なお、ユーザーの操作により第1領域61〜第3領域63(図7(a))に対して第1撮像条件〜第3撮像条件が設定されたものとする。このとき、本画像データの第1領域61〜第3領域63のそれぞれに対する処理に用いるため、第1撮像条件が設定された第1処理用画像データD1と、第2撮像条件が設定された第2処理用画像データD2と、第3撮像条件が設定された第3処理用画像データD3とが撮像される。
FIG. 15 is used to illustrate the relationship between the timing of capturing image data for a live view image and the timing of capturing processing image data. FIG. 15A shows a case where imaging of a live view image and imaging of processing image data are alternately performed every other frame. It is assumed that the first imaging condition to the third imaging condition are set for the
撮像制御部34cは、撮像部32に第Nフレームのライブビュー画像LV1の撮像を指示し、制御部34は撮像により得られたライブビュー画像LV1を表示部35に表示させる。第N+1フレームの撮像のタイミングにおいては、撮像制御部34cは、撮像部32に第1撮像条件を適用した第1処理用画像データD1の撮像を指示する。撮像制御部34cは、撮像された第1処理用画像データD1を所定の記録媒体(不図示)に記録する。この場合、制御部34は、第N+1フレームのライブビュー画像として、第Nフレームの撮像のタイミングで撮像されたライブビュー画像LV1を表示部35に表示させる。すなわち、前フレームのライブビュー画像LV1の表示を継続させる。
The
第N+2フレームのライブビュー画像LV2の撮像のタイミングでは、撮像制御部34cは、撮像部32に第N+2フレームのライブビュー画像LV2の撮像を指示する。制御部34は、表示部35のライブビュー画像LV1の表示から、第N+2フレームの撮像により得られたライブビュー画像LV2の表示に切り替える。第N+3フレームの撮像のタイミングにおいては、撮像制御部34cは、撮像部32に第2撮像条件を適用した第2処理用画像データD2を撮像させ、撮像された第2処理用画像データD2を記録する。この場合も、制御部34は、第N+3フレームのライブビュー画像として、第N+2フレームの撮像のタイミングで撮像されたライブビュー画像LV2の表示部35への表示を継続させる。
At the timing of imaging of the live view image LV2 of the (N + 2) th frame, the
第N+4フレームでは、第N、第N+2フレームの場合と同様に、撮像制御部34cは、撮像部32にライブビュー画像LV3を撮像させ、制御部34は、撮像されたライブビュー画像LV3を表示部35に表示させる。第N+5フレームでは、撮像制御部34cは、撮像部32に第3撮像条件が適用された第3処理用画像データD3の撮像を行わせる。このとき制御部34は、同様に第N+4フレームでのライブビュー画像LV3の表示を表示部35上で継続させる。以後のフレームでは、制御部34は、第N〜第N+5フレームでの処理を繰り返し行わせる。
In the N + 4th frame, as in the case of the Nth and N + 2th frames, the
なお、設定部34bが、物体検出部34aの検出結果やAF演算部34dの演算結果に基づいて撮像条件を変更する場合には、撮像制御部34cは、処理用画像データを撮像させるタイミング(図15(a)の第N+1,N+3、N+5フレーム)で新たに設定された撮像条件を適用させて、撮像部32に撮像を行わせればよい。
When the
なお、撮像制御部34cは、ライブビュー画像の表示を開始する前に処理用画像データを撮像部32に撮像させても良い。たとえば、ユーザーによりカメラ1の電源がオンされたタイミングや、ライブビュー画像の表示開始を指示する操作が行われた場合に、撮像部32に処理用画像データの撮像を指示する信号を出力する。撮像制御部34cは、第1〜第3処理用画像データの撮像が終了すると、ライブビュー画像の撮像を撮像部32に指示する。
Note that the
たとえば、図15(b)に示すように、撮像制御部34cは、第1〜第3フレームを撮像するタイミングにて、第1撮像条件の第1処理用画像データD1、第2撮像条件の第2処理用画像データD2、第3撮像条件の第3処理用画像データD3をそれぞれ撮像させる。第4フレーム以降、撮像制御部34cは、ライブビュー画像LV1、LV2、LV3、…を撮像させ、制御部34は表示部35にライブビュー画像LV1、LV2、LV3、…を順次表示させる。
For example, as shown in FIG. 15B, the
また、撮像制御部34cは、ライブビュー画像の表示中にユーザーがライブビュー画像の表示を終了する操作を行ったタイミングで撮像部32に処理用画像データを撮像させても良い。すなわち、操作部材36からライブビュー画像の表示の終了を指示する操作に対応する操作信号を入力すると、撮像制御部34cが撮像部32にライブビュー画像の撮像終了を指示する信号を出力する。撮像部32がライブビュー画像の撮像を終了すると、撮像制御部32cは、処理用画像データの撮像を指示する信号を撮像部32に出力する。
In addition, the
たとえば、図15(c)に示すように、第Nフレームでライブビュー画像の表示を終了する操作が行われた場合、撮像制御部34cは、第N+1〜第N+3フレームにて第1撮像条件の第1処理用画像データD1、第2撮像条件の第2処理用画像データD2、第3撮像条件の第3処理用画像データD3をそれぞれ撮像させる。この場合、制御部34は、第N+1〜第N+3フレームの期間中、第Nフレームで撮像されたライブビュー画像LV1を表示部35に表示させても良いし、ライブビュー画像の表示を行わなくても良い。
For example, as illustrated in FIG. 15C, when an operation to end the display of the live view image is performed in the Nth frame, the
また、ライブビュー画像の全てのフレームについて、撮像制御部34cは、処理用画像データを撮像させても良い。この場合、設定部34bは、各フレームごとに異なる撮像条件を撮像素子32aの撮像面の全領域に設定する。制御部34は、生成された処理用画像データをライブビュー画像として表示部35に表示する。
Further, the
ライブビュー画像を表示中に、撮像中の画像の構図に変化が生じた場合に、撮像制御部34cは、処理用画像データを撮像させても良い。たとえば、制御部34の設定部34bがライブビュー画像に基づいて検出した被写体要素の位置が、前フレームで検出された被写体要素の位置と比較して所定の距離以上ずれている場合に、撮像制御部34cは、処理用画像データの撮像を指示すれば良い。
When a change occurs in the composition of the image being captured while the live view image is being displayed, the
(2)操作部材36の操作
処理用画像データを撮像させるための操作部材36の操作としては、ユーザーによるレリーズボタンの半押し、すなわち撮像の準備を指示する操作や、レリーズボタンの全押し操作、すなわち本撮像の指示をする操作などが挙げられる。(2) Operation of the
(2−1)レリーズボタンの半押し
ユーザーによりレリーズボタンの半押し操作、すなわち撮像の準備を指示する操作が行われると、操作部材36から操作信号が出力される。この操作信号は、ユーザーによりレリーズボタンが半押し操作されている期間中、操作部材36から出力される。制御部34の撮像制御部34cは、撮像の準備を指示する操作の開始に対応する操作信号を操作部材36から入力すると、撮像部32に処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーにより撮像の準備を指示する操作の開始に応じて、撮像部32は処理用画像データを撮像する。(2-1) Half-press of release button When the user performs a half-press operation of the release button, that is, an operation for instructing preparation for imaging, an operation signal is output from the
なお、撮像制御部34cは、ユーザーによるレリーズボタンの操作が、たとえば半押し操作から全押し操作に移行することにより終了したタイミングで撮像部32に処理用画像データを撮像させても良い。すなわち、操作部材36から撮像の準備を指示する操作に対応する操作信号を入力しなくなったタイミングにて、撮像制御部36cが撮像を指示する信号を撮像部32に出力しても良い。
Note that the
また、撮像制御部34cは、ユーザーによるレリーズボタンの半押し操作が行われている間、撮像部32に処理用画像データを撮像させても良い。この場合、撮像制御部34cは、所定の周期ごとに撮像を指示する信号を撮像部32に出力することができる。これにより、ユーザーによりレリーズボタンの半押し操作が行われている間は、処理用画像データを撮像することができる。または、撮像制御部34cは、ライブビュー画像を撮像するタイミングに合わせて撮像を指示する信号を撮像部32に出力しても良い。この場合、撮像制御部34cは、ライブビュー画像のフレームレートのうち、たとえば偶数フレームを撮像させるタイミングや、10フレームのライブビュー画像を撮像した次のタイミングでは処理用画像データの撮像を指示する信号を撮像部32に出力すれば良い。
また、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくても良い。Further, the
In addition, when the processing image data is captured during display of the live view image, it is not necessary to capture the processing image data based on the half-press operation of the release button.
(2−2)レリーズボタンの全押し操作
ユーザーによりレリーズボタンの全押し操作、すなわち本撮像を指示する操作が行われると、操作部材36から操作信号が出力される。制御部34の撮像制御部34cは、本撮像を指示する操作に対応する操作信号を操作部材36から入力すると、撮像部32に本撮像を指示する信号を出力する。本撮像により本画像データの撮像が行われた後、撮像制御部34cは、処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーにより撮像を指示する操作が行われた後、撮像部32は本撮像により本画像データの撮像を行ってから処理用画像データを撮像する。
なお、撮像制御部34cは、撮像部32に本画像データを撮像する前に処理用画像データを撮像させても良い。また、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくても良い。(2-2) Release button full-press operation When the user performs a full-press operation of the release button, that is, an operation for instructing main imaging, an operation signal is output from the
Note that the
なお、処理用画像データを撮像するための操作部材36の操作は、レリーズボタンの半押し操作や全押し操作に限定されない。たとえば、レリーズボタンの操作以外の撮像に関連する操作がユーザーにより行われた場合に、撮像制御部34cが処理用画像データの撮像を指示しても良い。撮像に関連する操作としては、たとえば、撮像倍率を変更する操作、絞りを変更する操作、焦点調節に関する操作(たとえばフォーカスポイントの選択)等がある。変更の操作が終了し新たな設定が確定すると、撮像制御部34cは、撮像部32に処理用画像データを撮像させる。これにより、新たな設定の下で本撮像を行う場合であっても、本撮像と同様な条件で撮像された処理用画像データを生成できる。
The operation of the
なお、メニュー画面上に対して操作が行われている場合に、撮像制御部34cは、処理用画像データを撮像させても良い。メニュー画面から撮像に関連する操作が行われている場合、本撮像のために新たな設定が行われる可能性が高いからである。この場合、メニュー画面が開かれている期間中、撮像部32は処理用画像データの撮像を行う。処理用画像データの撮像は、所定の周期ごとに行われても良いし、ライブビュー画像を撮像する際のフレームレートにて撮像されても良い。
Note that, when an operation is performed on the menu screen, the
撮像に関連しない操作、たとえば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合には、撮像制御部34cは、処理用画像データの撮像を指示する信号を出力しない。すなわち、撮像制御部34cは、撮像部32に処理用画像データの撮像を行わせない。これにより、本撮像のための新たな設定が行われる可能性が低い、もしくは本撮像が行われる可能性が低い場合に、処理用画像データを撮像しないようにすることができる。
When an operation not related to imaging, for example, an operation for reproducing and displaying an image, an operation during reproduction display, or an operation for clock adjustment is performed, the
また、操作部材36が処理用画像データの撮像を指示するための専用ボタンを有する場合には、ユーザーにより専用ボタンが操作されると、撮像制御部34cが撮像部32に処理用画像データの撮像を指示する。ユーザーが専用ボタンを操作している間は操作部材36が操作信号を出力し続ける構成を有する場合には、撮像制御部34cは、専用ボタンの操作が行われている期間中、所定の周期ごとに撮像部32に処理用画像データを撮像させても良いし、専用ボタンの操作が終了した時点で処理用画像データを撮像させても良い。これにより、ユーザーが所望するタイミングで処理用画像データを撮像することができる。
また、カメラ1の電源がオンされた場合に、撮像制御部34cが撮像部32に処理用画像データの撮像を指示しても良い。When the
Further, when the power of the
本実施の形態のカメラ1では、例示した各方式の全てを適用して処理用画像データを撮像しても良いし、少なくとも1つの方式を行っても良いし、各方式からユーザーにより選択された方式を行っても良い。ユーザーによる選択は、たとえば、表示部35に表示されたメニュー画面から行うことができる。
In the
<検出・設定処理に用いる処理用画像データの生成>
撮像制御部34cは、上述した画像処理に用いる処理用画像データを生成するタイミングと同様の各種のタイミングにて検出・設定処理に用いる処理用画像データを撮像させる。すなわち、同一の画像データを、検出・設定処理に用いる処理用画像データとしても、画像処理に用いる処理用画像データとしても用いることができる。以下、画像処理に用いる処理用画像データを生成するタイミングとは異なるタイミングにて、検出・設定処理にもちいる処理用画像データを生成する場合を説明する。<Generation of processing image data used for detection and setting processing>
The
ユーザーによりレリーズボタンの全押し操作が行われた場合には、撮像制御部34cは、撮像部32に本画像データの撮像を行わせる前に、処理用画像データの撮像を行わせる。この場合、本撮像の直前に撮像された最新の処理用画像データを用いて検出した結果や、設定した結果を本撮像に反映させることができる。
When the user performs the full-press operation on the release button, the
撮像に関連しない操作、たとえば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合であっても、撮像制御部34cは処理用画像データを撮像させる。この場合、撮像制御部34cは、1フレームの処理用画像データを生成させても良いし、複数フレームの処理用画像データを生成させても良い。
Even when an operation not related to imaging, for example, an operation for reproducing and displaying an image, an operation during reproduction display, or an operation for clock adjustment is performed, the
なお、以上の説明では、処理用画像データを、画像処理、焦点検出処理、被写体検出処理および露出設定処理に用いる場合を例に挙げたが、全ての処理に処理用画像データを用いるものに限定されず、上記の処理の少なくとも1つの処理に用いられるものは本実施の形態に含まれる。処理用画像データを何れの処理に用いるかは、ユーザーが表示部35に表示されるメニュー画面から選択、決定可能に構成されていれば良い。
In the above description, the case where the processing image data is used for the image processing, the focus detection processing, the subject detection processing, and the exposure setting processing is described as an example. However, the processing image data is limited to the processing image data used for all processing. What is used for at least one of the above processes is included in the present embodiment. Which process the image data for processing is used for may be configured so that the user can select and determine from the menu screen displayed on the
<フローチャートの説明>
図16は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部34は、図16に示す処理を実行するプログラムを起動させる。ステップS10において、制御部34は、表示部35にライブビュー表示を開始させて、ステップS20へ進む。<Description of flowchart>
FIG. 16 is a flowchart for explaining the flow of processing for setting an imaging condition for each area and imaging. When the main switch of the
具体的には、制御部34が撮像部32へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次表示部35に表示させる。上述したように、この時点では撮像チップ111の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部34のAF演算部34dは、焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。
また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部34のAF演算部34dは、後にAF動作が指示された時点でAF動作を行う。Specifically, the
Note that when the AF operation is set during live view display, the
In addition, when the setting for performing the AF operation is not made during live view display, the
ステップS20において、制御部34の物体検出部34aは、ライブビュー画像から被写体要素を検出してステップS30へ進む。ステップS30において、制御部34の設定部34bは、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップS40へ進む。
In step S20, the
ステップS40において、制御部34は表示部35に領域の表示を行う。制御部34は、図6に例示したように、分割された領域のうちの撮像条件の設定(変更)の対象となる領域を強調表示させる。また、制御部34は、撮像条件の設定画面70を表示部35に表示させてステップS50へ進む。
なお、制御部34は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。In step S40, the
Note that, when the display position of another main subject on the display screen is tapped with the user's finger, the
ステップS50において、制御部34は、AF動作が必要か否かを判定する。制御部34は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によってフォーカスポイントの位置が変更された場合、またはユーザー操作によってAF動作の実行が指示された場合に、ステップS50を肯定判定してステップS70へ進む。制御部34は、焦点調節状態が変化せず、ユーザー操作によりフォーカスポイントの位置が変更されず、ユーザー操作によってAF動作の実行も指示されない場合には、ステップS50を否定判定してステップ60へ進む。
In step S50, the
ステップS70において、制御部34は、AF動作を行わせてステップS40へ戻る。ステップS40へ戻った制御部34は、AF動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。
In step S70, the
ステップS60において、制御部34の設定部34bは、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップS80へ進む。すなわち、複数の領域ごとに撮像条件を設定する。なお、ステップS60におけるユーザー操作に応じた表示部35の表示遷移や撮像条件の設定については、上述したとおりである。
In step S60, the
ステップS80において、制御部34は、ライブビュー画像の表示中に処理用画像データの撮像を行うか否か判定する。ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされている場合には、ステップS80が肯定判定されてステップS90へ進む。ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされていない場合には、ステップS80が否定判定されて後述するステップS100へ進む。
In step S80, the
ステップS90では、制御部34の撮像制御部34cは、撮像部32にライブビュー画像の撮像中に、所定の周期にて、設定された撮像条件ごとに処理用画像データの撮像を行うように指示してステップS100へ進む。なお、このとき撮像された処理用画像データは、記憶媒体(不図示)に記憶される。ステップS100では、制御部34は、撮像指示の有無を判定する。制御部34は、操作部材36を構成するレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップS100を肯定判定してステップS110へ進む。制御部34は、撮像指示が行われない場合には、ステップS100を否定判定してステップS60へ戻る。
In step S90, the
ステップS110において、制御部34は、処理用画像データと本画像データとの撮像処理を行う。すなわち、撮像制御部34cは、ステップS60にて設定された異なる撮像条件ごとに処理用画像データを撮像させるとともに、ステップS60において上記領域ごとに設定された撮像条件で本撮像するように撮像素子32aを制御して本画像データを取得しステップS120へ進む。なお、検出・設定処理に用いる処理用画像データを撮像する場合には、本画像データの撮像の前に処理用画像データの撮像を行う。また、ステップS90にて処理用画像データが撮像されている場合には、ステップS110で処理用画像データの撮像を行わなくても良い。
In step S110, the
ステップS120において、制御部34の撮像制御部34cは画像処理部33へ指示を送り、上記撮像によって得られた本画像データに対してステップS90またはステップS110で得た処理用画像データを用いて所定の画像処理を行わせてステップS130へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
In step S120, the
ステップS130において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップS140へ進む。
ステップS140において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、終了操作が行われた場合にステップS140を肯定判定して図16による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS140を否定判定してステップS20へ戻る。ステップS20へ戻った場合、制御部34は、上述した処理を繰り返す。In step S130, the
In step S140, the
なお、上述した例は、ステップS60で設定した撮像条件で本撮像を行い、本画像データに対してステップS90またはS110で得られた処理用画像データを用いて処理を行うものであった。しかし、ライブビュー画像の撮像の際に各領域に異なる撮像条件を設定する場合には、焦点検出処理、被写体検出処理や撮像条件設定処理は、ステップS90にてライブビュー画像の表示中に得られた処理用画像データに基づいて行われる。 In the example described above, main imaging is performed under the imaging condition set in step S60, and processing is performed on the main image data using the processing image data obtained in step S90 or S110. However, when different imaging conditions are set in each area at the time of imaging a live view image, the focus detection process, the subject detection process, and the imaging condition setting process are obtained during display of the live view image in step S90. This is performed based on the processed image data.
以上の説明では、撮像素子32aとして積層型の撮像素子100を例示したが、撮像素子(撮像チップ111)における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。
In the above description, the
上述した一実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、入力部33aと設定部34bとを備える。入力部33aは撮像部32の第1領域に入射した被写体の光像を第1撮像条件で撮像するとともに、撮像部32の第2領域に入射した被写体の光像を第1撮像条件と異なる第2撮像条件で撮像した本画像データと、第1領域および第2領域に入射した被写体の光像を第3撮像条件で撮像した処理用画像データとを入力する。設定部34bは、処理用画像データに基づいて、第1撮像条件および第2撮像条件の少なくとも1つを設定する。これにより、カメラ1は、本画像データ上にて領域ごとに異なる撮像条件が設定されている場合であっても、同一の撮像条件が設定された処理用画像データを用いて本撮像用の撮像条件を設定できる。たとえば、領域ごとの撮像条件の違いによって、画像データ上に表れる不連続性等に起因する露出演算の精度の低下を抑制することができる。According to the embodiment described above, the following effects can be obtained.
(1) The
(2)物体検出部34bは、処理用画像データのうち、撮像素子32aの撮像面の一部の領域に対応する画像データを用いて撮像条件の設定を行う。これにより、領域ごとの撮像条件の違いに起因する露出演算の精度の低下を抑制することができる。
(2) The
(3)処理用画像データは、撮像素子32aの撮像面の一部の領域を用いて撮像して得られた画像データである。これにより、同一撮像条件が設定された画像データを処理用画像データとして取得できるので、領域ごとの撮像条件の違いに起因する露出演算の精度の低下を抑制することができる。
(3) The processing image data is image data obtained by imaging using a partial area of the imaging surface of the
(4)処理用画像データは、撮像素子32aに設定される少なくとも第1領域および第2領域の境界が一部の領域を分断する場合に、一部の領域を除いた第1領域に第1撮像条件を、一部の領域を除いた第2領域に第2撮像条件を、一部の領域に第3撮像条件を、それぞれ設定することにより撮像される。これにより、一部の領域について同一撮像条件が設定された画像データを取得できるので、領域ごとの撮像条件の違いに起因する露出演算の精度の低下を抑制することができる。
(4) The processing image data is first in the first region excluding the partial region when the boundary between at least the first region and the second region set in the
(5)撮像素子32aの撮像面の中央部、または指示された位置の領域が一部の領域である。これにより、領域ごとの撮像条件の違いに起因する露出演算の精度の低下を抑制することができる。
(5) The central portion of the imaging surface of the
(6)設定部34bは、本画像データにおける第1領域および第2領域の少なくとも一方に対する露出条件を設定する。これにより、領域ごとの撮像条件の違いの影響を受けることなく本撮像に用いる露出条件を設定できる。
(6) The
(7)設定部34bは、本画像データにおける第1領域および第2領域の少なくとも一方に対する光源による撮影補助光の発光量を設定する。これにより、領域ごとの撮像条件の違いの影響を受けることなく本撮像に適した発光量を設定できる。
(7) The
(8)撮像制御部34cは、撮像部32による本撮像を行うタイミングと処理用画像データの撮像を行うタイミングとを制御する。これにより、露出演算に用いる処理用画像データの取得が可能になる。
(8) The
(9)撮像制御部34cは、撮像部32に、ライブビュー画像の撮像のフレーム間に処理用画像データの撮像を行わせて、少なくとも1フレームの処理用画像データを撮像させる。ライブビュー画像の撮像中に処理用画像データを撮像しておくことにより、処理用画像データを用いた露出演算の結果に基づいて本画像データを撮像することが可能になる。
(9) The
(10)撮像制御部34cは、撮像準備状態において撮像部32にライブビュー画像の撮像を開始させる前、または、撮像部32にライブビュー画像の撮像を開始させた後でライブビュー画像の撮像を所定フレーム数行うごとに、処理用画像データの撮像を行わせて少なくとも1フレームの処理用画像データを撮像させる。ライブビュー画像の撮像中に処理用画像データを撮像しておくことにより、処理用画像データを用いた露出演算の結果に基づいて本画像データを撮像することが可能になる。
(10) The
(11)撮像制御部34cは、ライブビュー画像の表示中に本撮像を指示する操作があったとき、撮像部32が本撮像を行う前に、少なくとも1フレームの処理用画像データを撮像部32に撮像させる。ライブビュー画像の撮像から本撮像に移行する段階で撮像された処理用画像データを用いた露出演算の結果に基づいて本画像データを撮像することが可能になる。
(11) When there is an operation for instructing the main imaging during the display of the live view image, the
(12)撮像制御部34cは、ユーザーにより操作部材36が操作され、撮像倍率を変更する操作、絞りを変更する操作等の撮像光学系31に対する操作が行われると、操作が終了したときに、撮像部32に少なくとも1フレームの処理用画像データの撮像を行わせる。これにより、本撮像のために撮像条件が現状と変更される可能性が高い場合に、予め撮像された処理用画像データを用いて設定された露出演算の結果に基づいて本画像データを撮像することが可能になる。
(12) When the
(13)撮像制御部34cは、本撮像の準備を指示する操作が行われている間に、少なくとも1フレームの処理用画像データを撮像部32に撮像させる。これにより、本撮像の前に撮像された処理用画像データを用いて設定された露出演算の結果に基づいて本画像データを撮像することが可能になる。
(13) The
(14)撮像制御部34cは、本撮像を指示する操作があったとき、撮像部32が本撮像を行う前に、少なくとも1フレームの処理用画像データを撮像部32に撮像させる。これにより、本撮像の前に撮像された処理用画像データを用いて設定された露出演算の結果に基づいて本画像データを撮像することが可能になる。
(14) When there is an operation for instructing main imaging, the
(15)撮像制御部34cは、処理用画像データの撮像を指示する操作があったとき、撮像部32に少なくとも1フレームの処理用画像データを撮像させる。これにより、ユーザーが、撮像条件が変わる可能性が高いと判断した場合などのように、ユーザーが所望するタイミングにて専用ボタンを操作することにより、本撮像のための露出条件の設定に適した処理用画像データを撮像しておくことができる。
(15) When there is an operation for instructing imaging of the processing image data, the
(16)撮像部32は、処理用画像データの撮像を複数フレーム行う場合に、撮像条件を、複数フレームにおいて共通、または異ならせる。これにより、分割した複数の領域間で撮像条件が異なる場合であっても、それぞれ領域に用いる処理用画像データを撮像することができる。
(16) When the
(17)設定部34bは、撮像条件を処理用画像データの複数フレームにおいて異ならせる場合、複数フレームのうちの前フレームにおいて取得された処理用画像データに基づき次フレームの撮像条件を決定する。これにより、ライブビュー画像の表示中に撮像条件が変化する場合であっても、本撮像のための露出条件の設定に適した処理用画像データを撮像することができる。
(17) The
(18)設定部34bは、撮像条件を指定する操作があったときは、指定された撮像条件を設定して処理用画像データの撮像を行わせる。これにより、ユーザーが所望する露出条件を本撮像に適用させることができる。
(18) When an operation for designating the imaging condition is performed, the
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
図17(a)〜図17(c)は、撮像素子32aの撮像面における第1領域および第2領域の配置を例示する図である。図17(a)の例によれば、第1領域は偶数列によって構成され、第2領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(Modification 1)
FIG. 17A to FIG. 17C are diagrams illustrating the arrangement of the first region and the second region on the imaging surface of the
図17(b)の例によれば、第1領域は奇数行によって構成され、第2領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
図17(c)の例によれば、第1領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第2領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。第1領域には、第1撮像条件が設定され、第2領域には第1撮像条件とは異なる第2撮像条件が設定される。According to the example of FIG. 17B, the first region is configured by odd rows, and the second region is configured by even rows. That is, the imaging surface is divided into odd rows and even rows.
According to the example of FIG. 17C, the first region is configured by blocks of even rows in odd columns and blocks of odd rows in even columns. In addition, the second region is configured by even-numbered blocks in even columns and odd-numbered blocks in odd columns. That is, the imaging surface is divided into a checkered pattern. A first imaging condition is set in the first area, and a second imaging condition different from the first imaging condition is set in the second area.
図17(a)〜図17(c)のいずれの場合も、1フレームの撮像を行った撮像素子32aから読み出した光電変換信号によって、第1領域から読み出した光電変換信号に基づく第1画像および第2領域から読み出した光電変換信号に基づく第2画像がそれぞれ生成される。変形例1によれば、第1画像および第2画像は同じ画角で撮像され、共通の被写体像を含む。
In any of FIGS. 17A to 17C, the first image and the first image based on the photoelectric conversion signal read out from the first area by the photoelectric conversion signal read out from the
変形例1において、制御部34は、第1画像を表示用として用いるとともに、第2画像を処理用画像データとして用いる。具体的には、制御部34は、第1画像をライブビュー画像として表示部35に表示させる。また、制御部34は、第2画像を処理用画像データとして使用する。すなわち、処理部33bによって第2画像を用いて画像処理を行わせ、物体検出部34aによって第2画像を用いて被写体検出処理を行わせ、AF演算部34dによって第2画像を用いて焦点検出処理を行わせ、設定部34bによって第2画像を用いて露出演算処理を行わせる。
In the first modification, the
なお、第1画像を取得する領域と第2画像を取得する領域とをフレームごとに変更しても良い。たとえば、第Nフレームでは第1領域からの第1画像をライブビュー画像とし、第2領域からの第2画像を処理用画像データとして撮像し、第N+1フレームでは、第1画像を処理用画像データとし、第2画像をライブビュー画像として撮像し、以後のフレームではこの動作を繰り返しても良い。 The area for acquiring the first image and the area for acquiring the second image may be changed for each frame. For example, in the Nth frame, the first image from the first region is captured as a live view image, the second image from the second region is captured as processing image data, and in the N + 1th frame, the first image is processed as processing image data. The second image may be captured as a live view image, and this operation may be repeated in subsequent frames.
1.一例として、制御部34は、ライブビュー画像を第1撮像条件で撮像し、その第1撮像条件を、表示部35による表示に適した条件に設定する。第1撮像条件は、撮像画面の全体で同一にする。一方、制御部34は、処理用画像データを第2撮像条件で撮像し、その第2撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第2撮像条件も、撮像画面の全体で同一にする。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部34は、第2領域に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、1フレーム目の第2撮像条件を焦点検出処理に適した条件とし、2フレーム目の第2撮像条件を被写体検出処理に適した条件とし、3フレーム目の第2撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第2撮像条件は撮像画面の全体で同一にする。1. As an example, the
When the conditions suitable for the focus detection process, the subject detection process, and the exposure calculation process are different, the
2.他の一例として、制御部34は、第1撮像条件を撮像画面において異ならせてもよい。制御部34の設定部34bは、設定部34bが分割した被写体要素を含む領域ごとに異なる第1撮像条件を設定する。一方、制御部34は、第2撮像条件を撮像画面の全体で同一にする。制御部34は、第2撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第2領域に設定する撮像条件をフレームごとに異ならせてもよい。
2. As another example, the
3.また、他の一例として、制御部34は、第1撮像条件を撮像画面の全体で同一とする一方で、第2撮像条件を撮像画面において異ならせてもよい。例えば、設定部34bが分割した被写体要素を含む領域ごとに異なる第2撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第2領域に設定する撮像条件をフレームごとに異ならせてもよい。
3. Further, as another example, the
4.さらにまた、他の一例として、制御部34は、第1撮像条件を撮像画面において異ならせるとともに、第2撮像条件を撮像画面において異ならせる。例えば、設定部34bが分割した被写体要素を含む領域ごとに異なる第1撮像条件を設定しつつ、設定部34bが分割した被写体要素を含む領域ごとに異なる第2撮像条件を設定する。
4. Furthermore, as another example, the
図17(a)〜図17(c)において、第1領域と第2領域との面積比を異ならせてもよい。制御部34は、例えば、ユーザーによる操作または制御部34の判断に基づき、第1領域の比率を第2領域よりも高く設定したり、第1領域と第2領域の比率を図17(a)〜図17(c)に例示したように同等に設定したり、第1領域の比率を第2領域よりも低く設定したりする。第1領域と第2領域とで面積比を異ならせることにより、第1画像を第2画像に比べて高精細にしたり、第1画像および第2画像の解像度を同等にしたり、第2画像を第1画像に比べて高精細にしたりすることができる。
In FIG. 17A to FIG. 17C, the area ratio of the first region and the second region may be different. For example, the
たとえば図17(c)の太線で囲んだ領域Xにおいて、第2領域のブロックからの画像信号を加算平均することにより、第1画像を第2画像と比べて高精細にする。これにより、撮像条件の変化に伴い処理用撮像領域を拡大または縮小させた場合と同等の画像データを得ることができる。 For example, in the area X surrounded by the thick line in FIG. 17C, the first image is made higher in definition than the second image by averaging the image signals from the blocks in the second area. Thereby, it is possible to obtain image data equivalent to the case where the processing imaging area is enlarged or reduced in accordance with the change of the imaging conditions.
(変形例2)
上記実施の形態では、制御部34の設定部34bがライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例2において、制御部34は、撮像素子32aと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。(Modification 2)
In the above-described embodiment, the example in which the
図18は変形例2の要部構成を示すブロック図である。カメラ1は、図1に示す実施の形態における構成に加えて、測光用センサ38を備える。制御部34は、測光用センサ38からの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子32bによって取得されたライブビュー画像を、測光用センサ38からの出力信号から前景と判断した領域に対応する前景領域と、測光用センサ38からの出力信号から背景と判断した領域に対応する背景領域とに分割する。
FIG. 18 is a block diagram showing the main configuration of the second modification. The
制御部34はさらに、前景領域に対して、図17(a)〜図17(c)に例示したように、撮像素子32aの撮像面に第1領域および第2領域を配置する。一方、制御部34は、背景領域に対して、撮像素子32aの撮像面に第1領域のみを配置する。制御部34は、第1画像を表示用として用いるとともに、第2画像を検出用として用いる。
The
変形例2によれば、測光用センサ38からの出力信号を用いることにより、撮像素子32bによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第1画像と検出用の第2画像とを得ることができ、背景領域に対しては、表示用の第1画像のみを得ることができる。ライブビュー画像の表示中に被写体の撮像環境が変化した場合であっても、測光用センサ38からの出力を用いて領域分割を行うことにより前景領域と背景領域とを新たに設定し直すことができる。なお、測光用センサ38で被写体の撮像環境を検出する例に限定されず、たとえばカメラ1に加わる加速度を検出する加速度センサ等の出力に基づいて、被写体の撮像環境に応じた領域分割を行っても良い。
According to the second modification, by using the output signal from the
(変形例3)
変形例3においては、画像処理部33が、上述した画像処理(例えば、ノイズ低減処理)において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。(Modification 3)
In the third modification, the
そこで、画像処理部33の処理部33bは、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例3において、画像処理部33の処理部33bは、濃度変換(階調変換)曲線として、Sの字を描くようなカーブを設定する(いわゆるS字変換)。画像処理部33の処理部33bは、S字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい/暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。
変形例3によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。Therefore, the
According to the third modification, blurring of the boundary of the subject element can be compensated by clearing the contrast of the image.
(変形例4)
画像処理部33を複数備え、画像処理を並列処理してもよい。例えば、撮像部32の領域Aで撮像された画像データに対して画像処理をしながら、撮像部32の領域Bで撮像された画像データに対して画像処理を行う。複数の画像処理部33は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Aおよび領域Bの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Aおよび領域Bの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。(Modification 4)
A plurality of
画像処理部33の数を複数備える場合において、第1撮像条件が適用されたデータに対して一つの画像処理部によって画像処理を行い、第2撮像条件が適用されたデータに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記2つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例4によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。
In the case where a plurality of
(変形例5)
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250(図20)や、タブレット端末などのモバイル機器によって構成してもよい。(Modification 5)
In the above description, the
(変形例6)
上述した実施の形態では、撮像部32と制御部34とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部34とを分離して設け、制御部34から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、撮像部32を備えた撮像装置1001を、制御部34を備えた制御装置1002から制御する例を説明する。(Modification 6)
In the above-described embodiment, the
Hereinafter, an example in which the
図19は、変形例6に係る撮像システム1Bの構成を例示するブロック図である。図19において、撮像システム1Bは、撮像装置1001と、表示装置1002とによって構成される。撮像装置1001は、上記実施の形態で説明した撮像光学系31と撮像部32とに加えて、第1通信部1003を備える。また、表示装置1002は、上記実施の形態で説明した画像処理部33、制御部34、表示部35、操作部材36および記録部37に加えて、第2通信部1004を備える。
FIG. 19 is a block diagram illustrating the configuration of an
第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向の画像データ通信を行う構成にしてもよい。The
Note that the
撮像システム1Bは、制御部34が、第2通信部1004および第1通信部1003を介したデータ通信を行うことにより、撮像部32に対する制御を行う。例えば、撮像装置1001と表示装置1002との間で所定の制御データを送受信することにより、表示装置1002は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。
In the
変形例6によれば、撮像装置1001側で取得され、表示装置1002へ送信されたライブビュー画像が表示装置1002の表示部35に表示されるので、ユーザーは、撮像装置1001から離れた位置にある表示装置1002から、遠隔操作を行うことができる。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型の撮像素子100を備える電子機器によって構成することができる。
なお、表示装置1002の制御部34に物体検出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとを設ける例を説明したが、物体検出部34a、設定部34b、撮像制御部34c、およびAF演算部34dの一部について、撮像装置1001に設けるようにしてもよい。According to the modified example 6, since the live view image acquired on the
The
In addition, although the example which provides the
(変形例7)
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図20に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。(Modification 7)
The program is supplied to the above-described mobile device such as the
パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD−ROMなどの記録媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
The program may be supplied to the
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
In addition, the program can be directly transmitted to the mobile device via a wireless LAN access point (not shown) connected to the
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。 The present invention is not limited to the above embodiment as long as the features of the present invention are not impaired, and other embodiments considered within the scope of the technical idea of the present invention are also included in the scope of the present invention. .
上述した実施の形態および変形例は、以下のような撮像装置および画像処理装置も含む。
(1−1) 光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する、上記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域のうち、上記第1画素が配置された第1領域の撮像条件と、上記撮像領域のうち、上記第2画素が配置された上記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、上記設定部により第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記設定部により上記第1撮像条件とは異なる第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第2撮像条件とは異なる第3撮像条件に設定された上記第2領域の上記第2画素と、のうちから選択する選択部と、上記設定部による撮像条件の設定を制御する制御部であって上記選択部により選択された上記第2画素から出力された信号により補間された、上記第1撮像条件に設定された上記第1領域の上記第1画素から出力された信号を用いて上記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える撮像装置。
(1−2) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件との差と、上記第1撮像条件と上記第3撮像条件との差と、により、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2領域の上記第2画素と、のうちから選択する(1−1)に記載の撮像装置。
(1−3) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件と、上記第1撮像条件と上記第3撮像条件と、のうち、差が小さい撮像条件に設定された上記第2領域の上記第2画素を選択する(1−2)に記載の撮像装置。
(1−4) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件との相違と、上記第1撮像条件と上記第3撮像条件との相違と、により、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2領域の上記第2画素と、のうちから選択する(1−1)に記載の撮像装置。
(1−5) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件と、上記第1撮像条件と上記第3撮像条件と、のうち、相違が小さい撮像条件に設定された上記第2領域の上記第2画素を選択する(1−4)に記載の撮像装置。
(1−6) 上記第2画素から出力された信号を記憶する記憶部を備え、上記設定部は、上記第2領域に上記第2撮像条件を設定する前に、上記第2領域を上記第3撮像条件に設定し、上記記憶部は、上記設定部により上記第3撮像条件に設定された上記第2領域の上記第2画素から出力された信号を記憶する(1−1)から(1−5)のいずれかに記載の撮像装置。
(1−7) 上記設定部は、上記第2領域に上記第3撮像条件を設定した後に、上記第1領域に上記第1撮像条件を設定する(1−6)に記載の撮像装置。
(1−8) 上記第2画素から出力された信号を記憶する記憶部を備え、上記設定部は、上記第2領域に上記第2撮像条件を設定した後に、上記第2領域を上記第3撮像条件に設定し、上記記憶部は、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素から出力された信号を記憶する(1−1)から(1−5)のいずれかに記載の撮像装置。
(1−9) 上記設定部は、上記第2領域に上記第3撮像条件を設定する前に、上記第1領域に上記第1撮像条件を設定する(1−8)に記載の撮像装置。
(1−10) 上記第1画素は、第1分光特性のフィルタを介して入射した光を光電変換する第1光電変換部を有し、上記第2画素は、上記第1分光特性とは異なる第2分光特性のフィルタを介して入射した光を光電変換する第2光電変換部を有する(1−1)から(1−9)のいずれかに記載の撮像装置。
(1−11) 上記第1領域は、複数の上記第1画素が配置され、上記第2領域は、複数の上記第2画素が配置されている(1−1)から(1−10)のいずれかに記載の撮像装置。
(1−12) 上記第1領域は、単数の上記第1画素が配置され、上記第2領域は、単数の上記第2画素が配置されている(1−1)から(1−10)のいずれかに記載の撮像装置。
(1−13) 光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する、上記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する第1撮像領域を有する第1撮像素子と、光電変換された電荷により生成された信号を出力する第3画素が配置された領域であって被写体を撮像する第2撮像領域を有する、上記第1撮像素子とは異なる第2撮像素子と、上記第1画素の補間に用いる画素を、上記第2画素と上記第3画素とのうちから選択する選択部と、上記選択部により選択された画素から出力された信号により補間された、上記第1画素から出力された信号を用いて上記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える撮像装置。
(1−14) 上記第1撮像領域のうち、上記第1画素が配置された第1領域の撮像条件と、上記第1撮像領域のうち、上記第2画素が配置された、上記第1領域とは異なる第2領域の撮像条件と、上記第3画素が配置された上記第2撮像領域の撮像条件と、を設定する設定部を備える(1−13)に記載の撮像装置。
(1−15) 上記選択部は、上記設定部により第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記設定部により上記第1撮像条件とは異なる第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第2撮像条件とは異なる第3撮像条件に設定された上記第2撮像領域の上記第3画素と、のうちから選択する(1−14)に記載の撮像装置。
(1−16) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件との差と、上記第1撮像条件と上記第3撮像条件との差と、により、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2撮像領域の上記第3画素と、のうちから選択する(1−15)に記載の撮像装置。
(1−17) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件と、上記第1撮像条件と上記第3撮像条件と、のうち、差が小さい撮像条件に設定された、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2撮像領域の上記第3画素と、のうちから選択する(1−16)に記載の撮像装置。
(1−18) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件との相違と、上記第1撮像条件と上記第3撮像条件との相違と、により、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2撮像領域の上記第3画素と、のうちから選択する(1−15)に記載の撮像装置。
(1−19) 上記選択部は、上記設定部により上記第1撮像条件に設定された上記第1領域の上記第1画素の補間に用いる画素を、上記第1撮像条件と上記第2撮像条件と、上記第1撮像条件と上記第3撮像条件と、のうち、相違が小さい撮像条件に設定された、上記設定部により上記第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第3撮像条件に設定された上記第2撮像領域の上記第3画素と、のうちから選択する(1−18)に記載の撮像装置。
(1−20) 上記第1画素は、第1分光特性のフィルタを介して入射した光を光電変換する第1光電変換部を有し、上記第2画素及び上記第3画素は、上記第1分光特性とは異なる第2分光特性のフィルタを介して入射した光を光電変換する第2光電変換部を有する(1−13)から(1−19)のいずれかに記載の撮像装置。
(1−21) 上記第1領域は、複数の上記第1画素が配置され、上記第2領域は、複数の上記第2画素が配置されている(1−13)から(1−20)のいずれかに記載の撮像装置。
(1−22) 上記第1領域は、単数の上記第1画素が配置され、上記第2領域は、単数の上記第2画素が配置されている(1−13)から(1−20)のいずれかに記載の撮像装置。
(1−23) 光電変換された電荷により生成された信号を出力する第1画素と、光電変換された電荷により生成された信号を出力する上記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域のうち、上記第1画素が配置された第1領域の撮像条件と、上記撮像領域のうち、上記第2画素が配置された上記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、上記設定部により第1撮像条件に設定された上記第1領域の上記第1画素から出力された信号の信号処理に用いる画素を、上記設定部により上記第1撮像条件とは異なる第2撮像条件に設定された上記第2領域の上記第2画素と、上記設定部により上記第2撮像条件とは異なる第3撮像条件に設定された上記第2領域の上記第2画素と、のうちから選択する選択部と、上記設定部による撮像条件の設定を制御する制御部であって上記選択部により選択された上記第2画素から出力された信号により信号処理された、上記第1撮像条件に設定された上記第1領域の上記第1画素から出力された信号を用いて上記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える撮像装置。
(1−24) 光電変換された電荷により信号を生成する第1画素と、光電変換された電荷により信号を生成する、上記第1画素とは異なる第2画素と、が配置された領域であって被写体を撮像する第1撮像領域を有する第1撮像素子と、光電変換された電荷により信号を生成する第3画素が配置された領域であって被写体を撮像する第2撮像領域を有する、上記第1撮像素子とは異なる第2撮像素子と、上記第1画素から出力された信号の信号処理に用いる画素を、上記第2画素と上記第3画素とのうちから選択する選択部と、上記選択部により選択された画素から出力された信号により信号処理された、上記第1画素から出力された信号を用いて上記第1撮像領域に設定されている撮像条件の設定を制御する制御部と、を備える撮像装置。
(1−25) 第1撮像条件に設定された、撮像素子の撮像領域のうち、第1領域に配置された第1画素の補間に用いる画素を、上記第1撮像条件とは異なる第2撮像条件に設定された、上記撮像領域のうち、第2領域に配置された第2画素と、上記第2撮像条件とは異なる第3撮像条件に設定された上記第2領域に配置された上記第2画素と、のうちから選択する選択部と、上記選択部により選択された上記第2画素から出力された信号により補間された、上記第1撮像条件に設定された上記第1領域の上記第1画素から出力された信号を用いて上記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える画像処理装置。
(1−26) 第1撮像素子の第1撮像領域に配置された第1画素の補間に用いる画素を、上記第1撮像領域に配置された、上記第1画素とは異なる第2画素と、上記第1撮像素子とは異なる第2撮像素子の第2撮像領域に配置された第3画素と、のうちから選択する選択部と、上記選択部により選択された画素から出力された信号により補間された、上記第1画素から出力された信号を用いて上記第1撮像領域に設定されている撮像条件の設定を制御する制御部と、を備える画像処理装置。
(1−27) 第1撮像条件に設定された、撮像素子の撮像領域のうち、第1領域に配置された第1画素から出力された信号の信号処理に用いる画素を、上記第1撮像条件とは異なる第2撮像条件に設定された上記撮像領域のうち、第2領域に配置された第2画素と、上記第2撮像条件とは異なる第3撮像条件に設定された上記第2領域に配置された上記第2画素と、のうちから選択する選択部と、上記選択部により選択された上記第2画素から出力された信号により信号処理された、上記第1撮像条件に設定された上記第1領域の上記第1画素から出力された信号を用いて上記第1領域に設定されている撮像条件の設定を制御する制御部と、を備える画像処理装置。
(1−28) 第1撮像素子の第1撮像領域に配置された第1画素から出力された信号の信号処理に用いる画素を、上記第1撮像領域に配置された、上記第1画素とは異なる第2画素と、上記第1撮像素子とは異なる第2撮像素子の第2撮像領域に配置された第3画素と、のうちから選択する選択部と、上記選択部により選択された画素から出力された信号により信号処理された、上記第1画素から出力された信号を用いて上記第1撮像領域に設定されている撮像条件の設定を制御する制御部と、を備える画像処理装置。The above-described embodiments and modifications also include the following imaging device and image processing device.
(1-1) A first pixel outputting a signal generated by photoelectrically converted charge, and a second pixel different from the first pixel outputting a signal generated by photoelectrically converted charge An imaging element having an imaging area for imaging a subject, which is an arranged area, an imaging condition of a first area where the first pixel is disposed among the imaging areas, and the second of the imaging area among the imaging areas A setting unit for setting an imaging condition of a second region different from the first region in which the pixels are arranged, and interpolation of the first pixel of the first region set to the first imaging condition by the setting unit A second pixel in the second region set to a second imaging condition different from the first imaging condition by the setting unit, and a third pixel different from the second imaging condition by the setting unit; The second area of the second area set as the imaging condition A selection unit that selects from among two pixels, and a control unit that controls the setting of imaging conditions by the setting unit, and is interpolated by a signal output from the second pixel selected by the selection unit; An imaging apparatus comprising: a control unit that controls setting of the imaging condition set in the first area using a signal output from the first pixel in the first area set in the first imaging condition .
(1-2) The selection unit sets pixels used for interpolation of the first pixel in the first area set to the first imaging condition by the setting unit as the first imaging condition and the second imaging condition. And the difference between the first imaging condition and the third imaging condition, the second pixel in the second region set to the second imaging condition by the setting unit, and the setting unit The imaging device according to (1-1), wherein the second pixel in the second region set in the third imaging condition is selected from the first pixel and the second pixel.
(1-3) The selection unit uses the first imaging condition and the second imaging condition as pixels used for interpolation of the first pixel in the first area set by the setting unit as the first imaging condition. The imaging device according to (1-2), wherein the second pixel in the second region set to an imaging condition with a small difference between the first imaging condition and the third imaging condition is selected.
(1-4) The selection unit uses the first imaging condition and the second imaging condition as pixels used for interpolation of the first pixel in the first area set by the setting unit as the first imaging condition. And the difference between the first imaging condition and the third imaging condition, the second pixel in the second region set to the second imaging condition by the setting unit, and the setting unit The imaging device according to (1-1), wherein the second pixel in the second region set in the third imaging condition is selected from the first pixel and the second pixel.
(1-5) The selection unit sets the first imaging condition and the second imaging condition to use pixels used for interpolation of the first pixel of the first area set to the first imaging condition by the setting unit. The imaging device according to (1-4), wherein the second pixel of the second area set as an imaging condition with a small difference among the first imaging condition and the third imaging condition is selected.
(1-6) A storage unit that stores a signal output from the second pixel is provided, and the setting unit sets the second region to the second region before setting the second imaging condition in the second region. The imaging unit is set to three imaging conditions, and the storage unit stores the signal output from the second pixel in the second region set to the third imaging condition by the setting unit (1-1) to (1 The imaging device in any one of -5.
(1-7) The imaging apparatus according to (1-6), wherein the setting unit sets the first imaging condition in the first area after setting the third imaging condition in the second area.
(1-8) A storage unit that stores the signal output from the second pixel is provided, and the setting unit sets the second imaging condition to the third region after setting the second imaging condition in the second region. The imaging unit is set, and the storage unit stores the signal output from the second pixel in the second region set in the second imaging condition by the setting unit (1-1) to (1- The imaging device in any one of 5).
(1-9) The imaging device according to (1-8), wherein the setting unit sets the first imaging condition in the first area before setting the third imaging condition in the second area.
(1-10) The first pixel includes a first photoelectric conversion unit that photoelectrically converts light incident through the filter of the first spectral characteristic, and the second pixel is different from the first spectral characteristic. An imaging device given in either of (1-1) to (1-9) which has the 2nd photoelectric conversion part which carries out photoelectric conversion of the light which entered via the filter of the 2nd spectrum characteristic.
(1-11) A plurality of the first pixels are arranged in the first region, and a plurality of the second pixels are arranged in the second region (1-1) to (1-10) The imaging device according to any one of the above.
(1-12) A single first pixel is disposed in the first region, and a single second pixel is disposed in the second region (1-1) to (1-10) The imaging device according to any one of the above.
(1-13) A first pixel outputting a signal generated by photoelectrically converted charge, and a second pixel different from the first pixel outputting a signal generated by photoelectrically converted charge An area in which a first imaging element having a first imaging area for imaging a subject and a third pixel for outputting a signal generated by the photoelectrically converted charge is arranged, the area being an imaging area for imaging the subject A second imaging element having a second imaging area to be selected, the second imaging element different from the first imaging element, and a selection unit for selecting a pixel to be used for interpolation of the first pixel from the second pixel and the third pixel And a control unit configured to control the setting of the imaging condition set in the first area using the signal output from the first pixel interpolated by the signal output from the pixel selected by the selection unit. And an imaging device.
(1-14) The first area in which the second pixel is disposed in the imaging condition of the first area in which the first pixel is disposed in the first imaging area, and the second pixel in the first imaging area The imaging device according to (1-13), further comprising: a setting unit configured to set an imaging condition of a second region different from the imaging condition of the second region and an imaging condition of the second imaging region in which the third pixel is disposed.
(1-15) The selection unit differs from the first imaging condition by the setting unit in the pixel used for the interpolation of the first pixel of the first area set to the first imaging condition by the setting unit. The second pixel in the second area set as the second imaging condition, and the third pixel in the second imaging area set as the third imaging condition different from the second imaging condition by the setting unit; The imaging device according to (1-14), which is selected from
(1-16) The selection unit sets pixels used for interpolation of the first pixel of the first area set to the first imaging condition by the setting unit as the first imaging condition and the second imaging condition. And the second pixel of the second area set as the second imaging condition by the setting unit by the difference between the first imaging condition and the third imaging condition, and the setting unit The imaging device according to (1-15), which is selected from among the third pixels of the second imaging area set to the third imaging condition by the above.
(1-17) The selection unit sets the first imaging condition and the second imaging condition to use pixels used for interpolation of the first pixel of the first area set to the first imaging condition by the setting unit. And the second pixel of the second area set to the second imaging condition by the setting unit, which is set to the imaging condition having a small difference among the first imaging condition and the third imaging condition And the imaging device according to (1-16), which is selected from among the third pixels of the second imaging area set to the third imaging condition by the setting unit.
(1-18) The selection unit selects the pixel used for the interpolation of the first pixel of the first area set to the first imaging condition by the setting unit, the first imaging condition and the second imaging condition. And the second pixel in the second area set as the second imaging condition by the setting unit according to the difference between the first imaging condition and the third imaging condition, and the setting unit The imaging device according to (1-15), which is selected from among the third pixels of the second imaging area set to the third imaging condition by the above.
(1-19) The selection unit sets pixels used for interpolation of the first pixel of the first area set to the first imaging condition by the setting unit, the first imaging condition and the second imaging condition. And the second pixel of the second area set as the second imaging condition by the setting unit, which is set as the imaging condition having a small difference among the first imaging condition and the third imaging condition And the imaging device according to (1-18), which is selected from among the third pixels of the second imaging area set to the third imaging condition by the setting unit.
(1-20) The first pixel has a first photoelectric conversion unit that photoelectrically converts light incident through the filter of the first spectral characteristic, and the second pixel and the third pixel are the first pixel. The imaging device according to any one of (1-13) to (1-19), including a second photoelectric conversion unit configured to photoelectrically convert light incident through a filter having a second spectral characteristic different from the spectral characteristic.
(1-21) A plurality of the first pixels are arranged in the first region, and a plurality of the second pixels are arranged in the second region ((1-13) to (1-20) The imaging device according to any of the above.
(1-22) A single first pixel is disposed in the first region, and a single second pixel is disposed in the second region (1-13) to (1-20) The imaging device according to any of the above.
(1-23) A first pixel outputting a signal generated by the photoelectrically converted charge, and a second pixel different from the first pixel outputting the signal generated by the photoelectrically converted charge are arranged An imaging element having an imaging area for imaging a subject, an imaging condition of a first area in which the first pixel is arranged in the imaging area, and the second pixel in the imaging area Setting unit configured to set an imaging condition of a second region different from the first region in which the second image is arranged, and output from the first pixel of the first region set as the first imaging condition by the setting unit The second pixel of the second region set to a second imaging condition different from the first imaging condition by the setting unit, and the second imaging condition set by the setting unit Is set to a different third imaging condition A selection unit that selects from among the second pixels in the second region, and a control unit that controls the setting of the imaging condition by the setting unit, and outputs from the second pixels selected by the selection unit Control the setting of the imaging condition set in the first area using the signal output from the first pixel of the first area set as the first imaging condition which is signal-processed by the received signal An imaging device.
(1-24) A region in which a first pixel generating a signal by photoelectrically converted charge and a second pixel different from the first pixel generating a signal by photoelectrically converted charge are arranged A first imaging element having a first imaging area for imaging a subject, and a second imaging area for imaging a subject, which is an area in which a third pixel for generating a signal based on photoelectrically converted charges is disposed A second imaging element different from the first imaging element, a selection unit for selecting a pixel used for signal processing of a signal output from the first pixel, from the second pixel and the third pixel; A control unit configured to control setting of an imaging condition set in the first imaging region using a signal output from the first pixel, which is signal-processed by a signal output from the pixel selected by the selection unit; And an imaging device.
(1-25) Second imaging different from the first imaging condition among pixels used for interpolation of the first pixel arranged in the first region among imaging regions of the imaging element set as the first imaging condition In the imaging area set as the condition, the second pixel arranged in the second area and the second pixel arranged in the third imaging condition different from the second imaging condition A selection unit for selecting one of the two pixels, and the first area of the first area set as the first imaging condition interpolated by the signal output from the second pixel selected by the selection unit; An image processing apparatus comprising: a control unit configured to control setting of an imaging condition set in the first area using a signal output from one pixel.
(1-26) A pixel used for interpolation of the first pixel disposed in the first imaging region of the first imaging element is a second pixel disposed in the first imaging region, which is different from the first pixel, and The third pixel arranged in the second imaging area of the second imaging element different from the first imaging element, a selection unit to select from among them, and interpolation by the signal output from the pixel selected by the selection unit An image processing apparatus comprising: a control unit configured to control setting of an imaging condition set in the first imaging region using the signal output from the first pixel.
(1-27) Of the imaging area of the imaging device set as the first imaging condition, a pixel used for signal processing of the signal output from the first pixel arranged in the first area is the first imaging condition. In the second imaging condition set to a second imaging condition different from the second imaging device, a second pixel disposed in the second region and the second area set to a third imaging condition different from the second imaging condition The above-mentioned first imaging condition set to the above-mentioned first imaging condition which is signal-processed by a selection unit which selects from among the arranged second pixels, and a signal outputted from the second pixels selected by the selection unit An image processing apparatus, comprising: a control unit configured to control setting of an imaging condition set in the first area using a signal output from the first pixel of the first area.
(1-28) A pixel used for signal processing of a signal output from a first pixel arranged in a first imaging region of a first imaging device is the same as the first pixel arranged in the first imaging region A selection unit to select from among different second pixels and a third pixel arranged in a second imaging region of a second imaging device different from the first imaging device, and a pixel selected by the selection unit An image processing apparatus, comprising: a control unit configured to control setting of an imaging condition set in the first imaging region using a signal output from the first pixel that has been signal-processed by an output signal.
また、上述した実施の形態および変形例は、以下のような制御装置および撮像装置も含む。
(2−1) 撮像部の第1領域に入射した被写体の光像を第1撮像条件で撮像するとともに、上記撮像部の第2領域に入射した上記被写体の光像を上記第1撮像条件と異なる第2撮像条件で撮像した第1画像データと、上記第1領域および上記第2領域に入射した上記被写体の光像を第3撮像条件で撮像した第2画像データとを入力する入力部と、上記第2画像データに基づいて、上記第1撮像条件および上記第2撮像条件の少なくとも1つを設定する設定部と、を備える制御装置。
(2−2) (2−1)に記載の制御装置において、上記設定部は、上記第2画像データのうち、上記撮像部の一部の領域に対応する領域のデータに基づいて、上記第1撮像条件および上記第2撮像条件の少なくとも1つを設定する制御装置。
(2−3) (2−2)に記載の制御装置において、上記第2画像データは上記撮像部の一部の領域を用いて撮像された制御装置。
(2−4) (2−3)に記載の制御装置において、上記第2画像データは、上記撮像部に設定される少なくとも上記第1領域および第2領域の境界が上記一部の領域を分断する場合に、上記一部の領域を除いた上記第1領域に上記第1撮像条件を、上記一部の領域を除いた上記第2領域に上記第2撮像条件を、上記一部の領域に上記第3撮像条件を、それぞれ設定することにより撮像された制御装置。
(2−5) (2−2)乃至(2−4)の何れかに記載の制御装置において、上記一部の領域は、上記撮像部の中央部または指示された位置の領域である制御装置。
(2−6) (2−1)乃至(2−5)の何れかに記載の制御装置において、上記設定部は、上記第1領域および上記第2領域の少なくとも1つに対する露出条件を設定する制御装置。
(2−7) (2−1)乃至(2−5)の何れかに記載の制御装置において、撮像補助光を発する光源に対する発光制御部を更に備え、上記設定部は、上記第1領域および上記第2領域の少なくとも1つ対して、上記発光制御部が制御する上記光源の発光量を設定する制御装置。
(2−8) 撮像面の第1領域に第1撮像条件を設定するとともに、上記撮像面の第2領域に上記第1撮像条件と異なる第2撮像条件を設定することにより第1撮像を行って第1画像データを生成し、上記第1領域および上記第2領域に第3撮像条件を設定することにより第2撮像を行って第2画像データを生成する撮像部と、上記撮像部により生成された上記第2画像データに基づいて、上記第1撮像条件および上記第2撮像条件の少なくとも1つを設定する設定部と、を備える撮像装置。
(2−9) (2−8)に記載の撮像装置において、上記設定部は、上記第2画像データのうち、上記撮像面の一部の領域に対応する領域のデータに基づいて、上記第1撮像条件および上記第2撮像条件の少なくとも1つを設定する撮像装置。
(2−10) (2−9)に記載の撮像装置において、上記撮像部は、上記撮像面の一部の領域を用いて上記第2画像データを生成する撮像装置。
(2−11) (2−9)に記載の撮像装置において、上記撮像部は、上記撮像面に設定される少なくとも上記第1領域および第2領域の境界が上記一部の領域を分断する場合に、上記一部の領域を除いた上記第1領域に上記第1撮像条件を、上記一部の領域を除いた上記第2領域に上記第2撮像条件を、上記一部の領域に上記第3撮像条件を、それぞれ設定することにより上記第2画像データを生成する撮像装置。
(2−12) (2−9)乃至(2−11)の何れかに記載の撮像装置において、上記一部の領域は、上記撮像部の中央部または指示された位置の領域である撮像装置。
(2−13) (2−8)乃至(2−12)の何れかに記載の撮像装置において、上記設定部は、上記第1領域および上記第2領域の少なくとも1つに対する露出条件を設定する撮像装置。
(2−14) (2−8)乃至(2−12)の何れかに記載の撮像装置において、撮像補助光を発する光源に対する発光制御部を更に備え、上記設定部は、上記第1領域および上記第2領域の少なくとも1つ対して、上記発光制御部が制御する上記光源の発光量を設定する撮像装置。
(2−15) (2−8)乃至(2−14)の何れかに記載の撮像装置において、上記撮像部による上記第1撮像を行うタイミングと上記第2撮像を行うタイミングとを制御する制御部をさらに備える撮像装置。
(2−16) (2−15)に記載の撮像装置において、上記撮像部により生成された画像データに基づく画像を表示部に表示させる表示処理部をさらに備え、上記撮像部は、撮像準備状態において複数フレームの上記画像データを生成する第3撮像を行い、上記表示処理部は、上記第3撮像にて生成された上記複数フレームの画像を上記表示部に表示させる撮像装置。
(2−17) (2−16)に記載の撮像装置において、上記制御部は、上記撮像部に、上記第3撮像のフレーム間に上記第2撮像を行わせて、少なくとも1フレームの上記第2画像データを生成させる撮像装置。
(2−18) (2−17)に記載の撮像装置において、上記制御部は、上記撮像準備状態において上記撮像部に上記第3撮像を開始させる前、または、上記撮像部に上記第3撮像を開始させた後で上記第3撮像を所定フレーム数行うごとに、上記第2撮像を行わせて少なくとも1フレームの上記第2画像データを生成させる撮像装置。
(2−19) (2−17)に記載の撮像装置において、上記制御部は、上記第1撮像を指示する操作があったとき、上記撮像部が上記第1撮像を行う前に、少なくとも1フレームの上記第2画像データを上記撮像部に生成させる撮像装置。
(2−20) (2−17)乃至(2−19)の何れかに記載の撮像装置において、撮像光学系に対する操作部材を備え、上記制御部は、上記操作部材に対する操作が終了したとき、上記撮像部に上記第2撮像を行わせて少なくとも1フレームの上記第2画像データを生成させる撮像装置。
(2−21) (2−20)に記載の撮像装置において、上記制御部は、上記第1撮像の準備を指示する操作が行われている間に、少なくとも1フレームの上記第2画像データを上記撮像部に生成させる撮像装置。
(2−22) (2−21)に記載の撮像装置において、上記制御部は、上記第1撮像を指示する操作があったとき、上記撮像部が上記第1撮像を行う前に、少なくとも1フレームの上記第2画像データを上記撮像部に生成させる撮像装置。
(2−23) (2−15)乃至(2−22)の何れかに記載の撮像装置において、上記制御部は、上記第2撮像を指示する操作があったとき、上記撮像部に上記第2撮像を行わせて少なくとも1フレームの上記第2画像データを生成させる撮像装置。
(2−24) (2−8)乃至(2−23)の何れかに記載の撮像装置において、上記設定部は、上記第3撮像条件をさらに設定し、上記撮像部が上記第2撮像を複数フレーム行う場合に、上記第3撮像条件を上記複数フレームにおいて共通、または異ならせる撮像装置。
(2−25) (2−24)に記載の撮像装置において、上記設定部は、上記第3撮像条件を上記複数フレームにおいて異ならせる場合、上記複数フレームのうちの前フレームにおいて撮像された上記第2画像データに基づき次フレームの上記第3撮像条件を設定する撮像装置。
(2−26) (2−8)乃至(2−25)の何れかに記載の撮像装置において、上記設定部は、撮像条件を指定する操作があったときは、上記指定された撮像条件を上記第3撮像条件として設定する撮像装置。
(2−27) (2−8)乃至(2−25)の何れかに記載の撮像装置において、上記撮像部が被写体を撮像する際の環境の変化を検出する環境検出部を備え、上記設定部は、上記環境検出部により検出された変化後の上記撮像する被写体の環境に基づいて、上記第3撮像条件を設定する撮像装置。Further, the above-described embodiments and modifications also include the following control device and imaging device.
(2-1) An image of a subject incident on the first area of the imaging unit is captured under a first imaging condition, and a light image of the subject incident on the second area of the imaging unit is defined as the first imaging condition. An input unit for inputting first image data captured under different second imaging conditions, and second image data obtained by imaging a light image of the subject incident on the first region and the second region under a third imaging condition; And a setting unit configured to set at least one of the first imaging condition and the second imaging condition based on the second image data.
(2-2) In the control device described in (2-1), the setting unit is configured to set the second image data based on data of a region corresponding to a partial region of the imaging unit. A control device that sets at least one of one imaging condition and the second imaging condition.
(2-3) The control device according to (2-2), wherein the second image data is imaged using a partial region of the imaging unit.
(2-4) In the control device described in (2-3), in the second image data, at least the boundary of the first area and the second area set in the imaging unit divides the partial area The first imaging condition in the first area excluding the partial area, the second imaging condition in the second area excluding the partial area, and the partial area in the first area. The control apparatus imaged by setting the said 3rd imaging conditions, respectively.
(2-5) In the control device according to any one of (2-2) to (2-4), the partial region is a central portion of the imaging unit or a region of a designated position. .
(2-6) In the control device according to any one of (2-1) to (2-5), the setting unit sets an exposure condition for at least one of the first area and the second area. Control device.
(2-7) The control device according to any one of (2-1) to (2-5), further including a light emission control unit for a light source that emits imaging auxiliary light, the setting unit includes the first area and The control apparatus which sets the light emission amount of the said light source which the said light emission control part controls with respect to at least 1 of the said 2nd area | region.
(2-8) The first imaging is performed by setting the first imaging condition in the first area of the imaging surface and setting the second imaging condition different from the first imaging condition in the second area of the imaging surface Generating the first image data, setting the third imaging condition in the first area and the second area, performing the second imaging to generate the second image data, and generating by the imaging section An image pickup apparatus comprising: a setting unit that sets at least one of the first image pickup condition and the second image pickup condition based on the second image data.
(2-9) In the imaging device according to (2-8), the setting unit is configured to set the second image data based on data of a region corresponding to a partial region of the imaging surface. An imaging device for setting at least one of an imaging condition and the second imaging condition.
(2-10) The imaging device according to (2-9), wherein the imaging unit generates the second image data using a partial region of the imaging surface.
(2-11) In the imaging device according to (2-9), in the case where the boundary of at least the first area and the second area set on the imaging surface divides the partial area, the imaging unit divides the partial area In addition, the first imaging condition is excluded in the first area excluding the partial area, the second imaging condition in the second area excluding the partial area, and the second imaging condition in the partial area. An imaging device that generates the second image data by setting three imaging conditions.
(2-12) In the imaging device according to any one of (2-9) to (2-11), the partial region is a central portion of the imaging unit or a region at a designated position. .
(2-13) In the imaging device according to any one of (2-8) to (2-12), the setting unit sets an exposure condition for at least one of the first area and the second area. Imaging device.
(2-14) The imaging apparatus according to any one of (2-8) to (2-12), further including a light emission control unit for a light source that emits imaging auxiliary light, wherein the setting unit includes the first region and An imaging apparatus that sets a light emission amount of the light source controlled by the light emission control unit for at least one of the second regions.
(2-15) In the imaging device according to any one of (2-8) to (2-14), control for controlling timing for performing the first imaging and timing for performing the second imaging by the imaging unit. An imaging apparatus further comprising a unit.
(2-16) The imaging apparatus according to (2-15), further including a display processing unit that displays an image based on the image data generated by the imaging unit on the display unit, wherein the imaging unit is in an imaging preparation state. An imaging device configured to perform a third imaging that generates the image data of a plurality of frames, and causing the display unit to display the images of the plurality of frames generated by the third imaging.
(2-17) In the imaging device according to (2-16), the control unit causes the imaging unit to perform the second imaging between the frames of the third imaging, so that the first imaging of at least one frame is performed. 2 Imaging device that generates image data.
(2-18) In the imaging device according to (2-17), the control unit is configured to cause the imaging unit to start the third imaging in the imaging preparation state or the third imaging unit performs the third imaging. An imaging device that performs the second imaging and generates the second image data of at least one frame every time the third imaging is performed for a predetermined number of frames after starting the operation.
(2-19) In the imaging device according to (2-17), when the control unit performs an operation of instructing the first imaging, at least 1 before the imaging unit performs the first imaging. An imaging apparatus that causes the imaging unit to generate the second image data of a frame.
(2-20) The imaging apparatus according to any one of (2-17) to (2-19), further including an operation member for the imaging optical system, wherein the control unit finishes the operation on the operation member. An imaging apparatus that causes the imaging unit to perform the second imaging and generate the second image data of at least one frame.
(2-21) In the imaging device according to (2-20), the control unit performs at least one frame of the second image data while an operation for instructing preparation of the first imaging is performed. An imaging device generated by the imaging unit.
(2-22) In the imaging device according to (2-21), when the operation for instructing the first imaging is performed, the control unit at least 1 before the imaging unit performs the first imaging. An imaging apparatus that causes the imaging unit to generate the second image data of a frame.
(2-23) In the imaging device according to any one of (2-15) to (2-22), when there is an operation to instruct the second imaging, the control unit causes the imaging unit to perform the first operation. An imaging device that performs two imaging operations to generate the second image data of at least one frame.
(2-24) In the imaging device according to any one of (2-8) to (2-23), the setting unit further sets the third imaging condition, and the imaging unit performs the second imaging. An imaging apparatus that causes the third imaging condition to be common or different in the plurality of frames when performing a plurality of frames.
(2-25) In the imaging device according to (2-24), in the case where the setting unit makes the third imaging condition different in the plurality of frames, the setting unit captures the first image captured in the previous frame of the plurality of frames. The imaging device which sets the said 3rd imaging condition of the following flame | frame based on 2 image data.
(2-26) In the imaging apparatus according to any one of (2-8) to (2-25), when the setting unit performs an operation of designating an imaging condition, the setting of the designated imaging condition is performed. An imaging device set as the third imaging condition.
(2-27) In the imaging device according to any one of (2-8) to (2-25), the imaging unit includes an environment detection unit that detects a change in environment when the subject is imaged, and the setting is performed. The imaging device sets the third imaging condition based on the environment of the subject to be imaged after the change detected by the environment detection unit.
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2015年第195134号(2015年9月30日出願)The disclosure content of the following priority basic application is incorporated herein by reference.
Japanese Patent Application 2015-195134 (filed on September 30, 2015)
1 …カメラ
1B…撮像システム
32…撮像部
32a、100…撮像素子
33…画像処理部
33a…入力部
33b…処理部
34…制御部
34a…物体検出部
34b…設定部
34c…撮像制御部
34d…AF演算部
35…表示部
38…測光用センサ
90…注目範囲
100…積層型撮像素子
1001…撮像装置
1002…表示装置
P…注目画素
Pr…参照画素DESCRIPTION OF
Claims (18)
前記撮像領域のうち、前記第1画素が配置された第1領域の撮像条件と、前記撮像領域のうち、前記第2画素が配置された前記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、
前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素の補間に用いる画素を、前記設定部により前記第1撮像条件とは異なる第2撮像条件に設定された前記第2領域の前記第2画素と、前記設定部により前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域の前記第2画素と、のうちから選択する選択部と、
前記設定部による撮像条件の設定を制御する制御部であって前記選択部により選択された前記第2画素から出力された信号により補間された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、
を備える撮像装置。 In a region where a first pixel that outputs a signal generated by photoelectrically converted charge and a second pixel that outputs a signal generated by photoelectrically converted charge and that is different from the first pixel are arranged. An imaging device having an imaging area for imaging a subject;
An imaging condition of a first area in which the first pixel is arranged in the imaging area, and an imaging condition of a second area different from the first area in which the second pixel is arranged in the imaging area, A setting section for setting,
The pixels used for interpolation of the first pixels in the first region set as the first imaging condition by the setting unit are set to the second imaging condition different from the first imaging condition by the setting unit. A selection unit that selects between the second pixel in two regions and the second pixel in the second region set to a third imaging condition different from the second imaging condition by the setting unit;
The first region set to the first imaging condition, which is a control unit that controls setting of the imaging condition by the setting unit and is interpolated by a signal output from the second pixel selected by the selection unit A control unit that controls the setting of the imaging condition set in the first region using a signal output from the first pixel;
An imaging device comprising:
前記設定部は、前記第2領域に前記第2撮像条件を設定する前に、前記第2領域を前記第3撮像条件に設定し、
前記記憶部は、前記設定部により前記第3撮像条件に設定された前記第2領域の前記第2画素から出力された信号を記憶する請求項1から請求項5のいずれか一項に記載の撮像装置。 A storage unit for storing a signal output from the second pixel;
The setting unit sets the second area to the third imaging condition before setting the second imaging condition to the second area,
The said memory | storage part memorize | stores the signal output from the said 2nd pixel of the said 2nd area | region set to the said 3rd imaging condition by the said setting part. Imaging device.
前記設定部は、前記第2領域に前記第2撮像条件を設定した後に、前記第2領域を前記第3撮像条件に設定し、
前記記憶部は、前記設定部により前記第2撮像条件に設定された前記第2領域の前記第2画素から出力された信号を記憶する請求項1から請求項5のいずれか一項に記載の撮像装置。 A storage unit for storing a signal output from the second pixel;
The setting unit sets the second area to the third imaging condition after setting the second imaging condition to the second area,
The said memory | storage part memorize | stores the signal output from the said 2nd pixel of the said 2nd area | region set to the said 2nd imaging condition by the said setting part. Imaging device.
前記第2画素は、前記第1分光特性とは異なる第2分光特性のフィルタを介して入射した光を光電変換する第2光電変換部を有する請求項1から請求項9のいずれか一項に記載の撮像装置。 The first pixel includes a first photoelectric conversion unit that photoelectrically converts light incident through a filter having a first spectral characteristic;
The said 2nd pixel has a 2nd photoelectric conversion part which photoelectrically converts the light which injected through the filter of the 2nd spectral characteristic different from the said 1st spectral characteristic. The imaging device described.
前記第2領域は、複数の前記第2画素が配置されている請求項1から請求項10のいずれか一項に記載の撮像装置。 The first region includes a plurality of the first pixels,
The imaging device according to any one of claims 1 to 10, wherein a plurality of the second pixels are arranged in the second region.
前記第2領域は、単数の前記第2画素が配置されている請求項1から請求項10のいずれか一項に記載の撮像装置。 In the first region, a single first pixel is arranged,
The imaging device according to any one of claims 1 to 10, wherein a single second pixel is arranged in the second region.
前記撮像領域のうち、前記第1画素が配置された第1領域の撮像条件と、前記撮像領域のうち、前記第2画素が配置された前記第1領域とは異なる第2領域の撮像条件と、を設定する設定部と、
前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号の信号処理に用いる画素を、前記設定部により前記第1撮像条件とは異なる第2撮像条件に設定された前記第2領域の前記第2画素と、前記設定部により前記第2撮像条件とは異なる第3撮像条件に設定された前記第2領域の前記第2画素と、のうちから選択する選択部と、
前記設定部による撮像条件の設定を制御する制御部であって前記選択部により選択された前記第2画素から出力された信号により信号処理された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、
を備える撮像装置。 This is an area where a first pixel that outputs a signal generated by photoelectrically converted charges and a second pixel that is different from the first pixel that outputs a signal generated by photoelectrically converted charges are arranged. An imaging device having an imaging area for imaging a subject;
An imaging condition of a first area in which the first pixel is arranged in the imaging area, and an imaging condition of a second area different from the first area in which the second pixel is arranged in the imaging area, A setting section for setting,
The second imaging condition that is different from the first imaging condition by the setting unit is used for the signal processing of the signal output from the first pixel in the first region that is set by the setting unit as the first imaging condition. The second pixel of the second area set to 2 and the second pixel of the second area set to a third imaging condition different from the second imaging condition by the setting unit A selection section to
The first control unit configured to control the setting of the imaging condition by the setting unit, the signal being processed by the signal output from the second pixel selected by the selection unit, the first imaging condition set to the first imaging condition A control unit that controls setting of an imaging condition set in the first region using a signal output from the first pixel in the region;
An imaging device comprising:
前記選択部により選択された前記第2画素から出力された信号により補間された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、
を備える画像処理装置。 Of the imaging area of the imaging element set as the first imaging condition, the pixel used for interpolation of the first pixel arranged in the first area is set as the second imaging condition different from the first imaging condition A second pixel arranged in the second region of the imaging region, and a second pixel arranged in the second region set in a third imaging condition different from the second imaging condition. A selection section to choose from,
The first output using the signal output from the first pixel in the first region set in the first imaging condition, interpolated by the signal output from the second pixel selected by the selection unit. A control unit that controls setting of the imaging condition set in the area;
An image processing apparatus comprising:
前記選択部により選択された前記第2画素から出力された信号により信号処理された、前記第1撮像条件に設定された前記第1領域の前記第1画素から出力された信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、
を備える画像処理装置。 Among the imaging regions of the imaging device set in the first imaging condition, a pixel used for signal processing of a signal output from the first pixel arranged in the first region is different from the first imaging condition. Among the imaging areas set in the imaging condition, the second pixels arranged in the second area and the second pixel arranged in the second area set in the third imaging condition different from the second imaging condition. A selection unit to select from among two pixels;
Using the signal output from the first pixel in the first region set in the first imaging condition, which is signal-processed by the signal output from the second pixel selected by the selection unit, the first A control unit that controls setting of the imaging condition set in one area;
An image processing apparatus comprising:
前記撮像領域のうち前記第1画素が配置された第1領域と、前記撮像領域のうち前記第2画素が配置された前記第1領域とは異なる第2領域と、に異なる撮像条件が設定可能な設定部と、
前記設定部による撮像条件の設定を制御する制御部であって、前記設定部により第1撮像条件に設定された前記第1領域の前記第1画素と、前記設定部により前記第1撮像条件とは異なる第2撮像条件が設定された前記第2領域の前記第2画素と、の出力により生成された画像信号のうちの前記第1画素の信号を、前記設定部により第3撮像条件に設定された前記第1領域の前記第1画素と、前記第3撮像条件に設定された前記第2領域の前記第2画素と、の出力により生成された画像信号の少なくとも一部を用いて補間した信号を用いて前記第1領域に設定されている撮像条件の設定を制御する制御部と、
を備える撮像装置。 A first pixel that outputs a signal generated by the photoelectrically converted charge through a lens movable in the optical axis direction of the optical system; and a first pixel that outputs the signal generated by the photoelectrically converted charge. An imaging element having an imaging region in which a second pixel different from the pixel is arranged and imaging a subject;
Different imaging conditions can be set for the first area of the imaging area where the first pixel is arranged and the second area of the imaging area which is different from the first area where the second pixel is arranged. A setting section,
A control unit that controls setting of an imaging condition by the setting unit, the first pixel in the first region set as the first imaging condition by the setting unit; and the first imaging condition by the setting unit; The signal of the first pixel among the image signals generated by the output of the second pixel in the second region in which different second imaging conditions are set is set as the third imaging condition by the setting unit Interpolation is performed using at least a part of the image signal generated by the output of the first pixel of the first area and the second pixel of the second area set to the third imaging condition A control unit that controls setting of imaging conditions set in the first region using a signal;
An imaging device comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015195134 | 2015-09-30 | ||
JP2015195134 | 2015-09-30 | ||
PCT/JP2016/078686 WO2017057495A1 (en) | 2015-09-30 | 2016-09-28 | Imaging device and image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017057495A1 JPWO2017057495A1 (en) | 2018-07-12 |
JP6551533B2 true JP6551533B2 (en) | 2019-07-31 |
Family
ID=58427536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017543511A Active JP6551533B2 (en) | 2015-09-30 | 2016-09-28 | Imaging apparatus and image processing apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6551533B2 (en) |
WO (1) | WO2017057495A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5911252B2 (en) * | 2011-09-30 | 2016-04-27 | キヤノン株式会社 | Imaging apparatus and image processing method |
JP6343870B2 (en) * | 2013-03-15 | 2018-06-20 | 株式会社ニコン | Imaging device and imaging apparatus |
JP6547266B2 (en) * | 2013-10-01 | 2019-07-24 | 株式会社ニコン | Electronic device, control method of electronic device, and control program electronic device |
-
2016
- 2016-09-28 WO PCT/JP2016/078686 patent/WO2017057495A1/en active Application Filing
- 2016-09-28 JP JP2017543511A patent/JP6551533B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2017057495A1 (en) | 2018-07-12 |
WO2017057495A1 (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7363953B2 (en) | Imaging device | |
JP6516014B2 (en) | Imaging apparatus and image processing apparatus | |
WO2017057279A1 (en) | Imaging device, image processing device and display device | |
WO2017170716A1 (en) | Image pickup device, image processing device, and electronic apparatus | |
WO2017170717A1 (en) | Image pickup device, focusing device, and electronic apparatus | |
JP6516016B2 (en) | Imaging apparatus and image processing apparatus | |
JP2018160830A (en) | Imaging apparatus | |
JP2018056944A (en) | Imaging device and imaging element | |
JP6551533B2 (en) | Imaging apparatus and image processing apparatus | |
JP6516015B2 (en) | Imaging apparatus and image processing apparatus | |
JP6589988B2 (en) | Imaging device | |
JP6589989B2 (en) | Imaging device | |
JP6604385B2 (en) | Imaging device | |
JP2018056945A (en) | Imaging device and imaging element | |
JP6521085B2 (en) | Imaging device and control device | |
WO2017170719A1 (en) | Image pickup device and electronic apparatus | |
WO2017170718A1 (en) | Image pickup device, subject detection device, and electronic apparatus | |
WO2017057267A1 (en) | Imaging device and focus detection device | |
WO2017057280A1 (en) | Imaging device and subject detection device | |
JP2018056943A (en) | Imaging device and imaging element |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6551533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |