JP2018191223A - Imaging apparatus and control method for imaging device - Google Patents
Imaging apparatus and control method for imaging device Download PDFInfo
- Publication number
- JP2018191223A JP2018191223A JP2017094079A JP2017094079A JP2018191223A JP 2018191223 A JP2018191223 A JP 2018191223A JP 2017094079 A JP2017094079 A JP 2017094079A JP 2017094079 A JP2017094079 A JP 2017094079A JP 2018191223 A JP2018191223 A JP 2018191223A
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- exposure
- image
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び撮像素子の制御方法に関し、更に詳しくは、ダイナミックレンジ拡大と撮像面位相差ＡＦによる焦点検出とを行う撮像装置及び撮像素子の制御方法に関するものである。 The present invention relates to an imaging apparatus and an imaging element control method, and more particularly to an imaging apparatus and an imaging element control method for performing dynamic range expansion and focus detection by imaging plane phase difference AF.
従来より、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を用いたデジタルカメラやデジタルビデオカメラが広く用いられている。しかし、これらの撮像素子は、銀塩フィルムと比較してダイナミックレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。 Conventionally, digital cameras and digital video cameras using an image sensor such as a CCD image sensor or a CMOS image sensor have been widely used. However, these image sensors have a narrow dynamic range (latitude) compared to silver salt films. For this reason, when a high-contrast scene is imaged, it is easy to cause gradation deterioration (blackout) in a low luminance part and gradation deterioration (whiteout) in a high luminance part.
これに対し、特許文献１には、同一の被写体を異なる露光量で２枚撮影し、撮影した２枚の画像の画像データを合成することにより、ダイナミックレンジを拡大した画像データを生成する技術が開示されている。
On the other hand,
一方、撮像装置の焦点検出機能として、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、一対の瞳分割像を取得し、得られた一対の瞳分割像の位相差を求めて焦点検出を行う、いわゆる撮像面位相差方式の技術が知られている。例えば、特許文献２では、瞳分離した像により位相差を求めて焦点検出を行うと同時に、同一のマイクロレンズに対応した複数の光電変換部からの信号を全て加算して１つの画素の信号として取り扱うことで、従来の撮像素子配列と同じ信号を得るようにしている。そして、得られた信号を従来の信号処理技術により処理して画像データを作成することが開示されている。 On the other hand, as a focus detection function of the imaging apparatus, a pair of pupil divided images is acquired by an imaging element having a plurality of photoelectric conversion units for one microlens, and the phase difference between the obtained pair of pupil divided images is calculated. A so-called imaging plane phase difference technique for performing focus detection by obtaining is known. For example, in Patent Document 2, focus detection is performed by obtaining a phase difference from a pupil-separated image, and at the same time, all signals from a plurality of photoelectric conversion units corresponding to the same microlens are added to form one pixel signal. By handling it, the same signal as the conventional image sensor array is obtained. Then, it is disclosed that the obtained signal is processed by a conventional signal processing technique to generate image data.
更に、特許文献３では、このような撮像素子の次のような信号読み出し方法が開示されている。まず、第１の動作で、瞳分割された２つのフォトダイオードのうち第１画素信号を読み出し、第２の動作で、第１画素信号をリセットせずに第２画素信号を加算して読み出す。そして、加算信号から第１画素信号を減算して、第２画素信号を取得する。 Further, Patent Document 3 discloses the following signal readout method of such an image sensor. First, in the first operation, the first pixel signal is read out of the two photodiodes divided in the pupil, and in the second operation, the second pixel signal is added and read without resetting the first pixel signal. Then, the second pixel signal is obtained by subtracting the first pixel signal from the addition signal.
しかしながら、上述した従来技術の構成では、以下のような問題があった。まず、デジタルカメラやデジタルビデオカメラ等の撮像装置の高画質化・高フレームレート化に伴い、これらの装置内に搭載される集積回路が処理する画像データ量が増大している。こういった莫大な画像データを取り扱うためには、集積回路内のデータ転送容量の帯域を確保するために、一般に、幅の大きなデータバス、高い動作周波数、大容量の記録装置等、高価かつ大量の回路資源が必要となる。 However, the configuration of the conventional technique described above has the following problems. First, as the image quality of an imaging device such as a digital camera or digital video camera is improved and the frame rate is increased, the amount of image data processed by an integrated circuit mounted in these devices is increasing. In order to handle such enormous image data, in order to secure a bandwidth of data transfer capacity in the integrated circuit, generally, a large data bus, a high operating frequency, a large capacity recording device, etc. Circuit resources are required.
一方、ダイナミックレンジを拡大するための露出量の異なる２枚の画像の画像データに加えて、位相差検出用に各露出量で焦点検出用信号を読み出すと、単純に１枚の画像の画像データを読み出す場合に比べて、データ量が４倍になってしまう。そのため、限られた回路資源では、高画質化・高フレームレート化が実現できない可能性がある。 On the other hand, in addition to the image data of two images with different exposure amounts for expanding the dynamic range, when the focus detection signal is read at each exposure amount for phase difference detection, the image data of one image is simply obtained. Compared with the case of reading out, the amount of data becomes four times. Therefore, there is a possibility that high image quality and high frame rate cannot be realized with limited circuit resources.
本発明は上記問題点を鑑みてなされたものであり、ダイナミックレンジの拡大及び焦点検出の両方に必要な信号を、限られた回路資源を用いて、より高い動作周波数で取得できるようにすることを目的とする。 The present invention has been made in view of the above problems, and enables acquisition of signals necessary for both the expansion of dynamic range and focus detection at a higher operating frequency using limited circuit resources. With the goal.
上記目的を達成するために、本発明の撮像装置は、露出を制御する露出制御手段と、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子から、複数の異なる露出で複数の画像の画像信号を読み出すとともに、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号を読み出すように、前記撮像素子を制御する制御手段とを有する。 In order to achieve the above object, an imaging apparatus according to the present invention includes an exposure control unit that controls exposure, an imaging device that includes a plurality of photoelectric conversion units for each of a plurality of microlenses, and a plurality of imaging devices. Control means for reading the image signals of a plurality of images at different exposures and controlling the image sensor so that focus detection signals are read from a part of the plurality of photoelectric conversion units at any one of the plurality of exposures. And have.
以上説明したように、本発明によれば、ダイナミックレンジの拡大及び焦点検出の両方に必要な信号を、限られた回路資源を用いて、より高い動作周波数で取得できるようにすることができる。 As described above, according to the present invention, it is possible to acquire signals necessary for both the expansion of the dynamic range and the focus detection at a higher operating frequency by using limited circuit resources.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
図１は、本発明の実施形態における撮像装置の全体構成を示すブロック図である。図１において、光学系１０１は、ズームレンズ、フォーカスレンズ等の少なくとも１つ以上のレンズと、絞りを有する。光学系駆動部１０２は、ＡＦ制御部１１１から出力されるフォーカス情報や、システム制御部１１２の光学系駆動情報に応じて光学系１０１を制御する。
FIG. 1 is a block diagram illustrating an overall configuration of an imaging apparatus according to an embodiment of the present invention. In FIG. 1, an
撮像素子１０３は、被写体像を光電変換により電気信号に変換して出力する。ここで、撮像素子１０３の画素構成について説明する。
The
図２は、撮像素子１０３を構成する画素配列を説明する図である。本実施形態では、マイクロレンズアレイを形成する各マイクロレンズ２０１に対して、複数の光電変換部２０１Ａ，２０１Ｂが対応するように配置されている。図中（０，０）、（１，０）、（０，１）等で示される各領域は、撮像素子１０３における単位画素２０２を示し、各単位画素２０２は、１つのマイクロレンズ２０１と、複数の光電変換部２０１Ａ，２０１Ｂとから構成される。なお、本実施形態では単位画素２０２には２つの光電変換部２０１Ａ，２０１ＢがＸ軸方向に並べられた場合を示しているが、Ｙ軸方向に並べても、また、３つ以上の光電変換部を各マイクロレンズ２０１に対応するように構成しても良い。
FIG. 2 is a diagram for explaining a pixel arrangement constituting the
図３は、光学系１０１から射出された光が１つのマイクロレンズ２０１を通過して、２つの光電変換部２０１Ａ，２０１Ｂで受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。光学系１０１の射出瞳３００を通過した光は、光軸Ｚを中心として、単位画素２０２に入射する。図３に示すように瞳領域３０１を通過する光束はマイクロレンズ２０１を通して光電変換部２０１Ａで受光され、瞳領域３０２を通過する光束はマイクロレンズ２０１を通して光電変換部２０１Ｂで受光される。従って、光電変換部２０１Ａと２０１Ｂはそれぞれ光学系１０１の射出瞳の異なる領域を通過した光を受光している。
FIG. 3 shows a state in which light emitted from the
このように構成された、Ｘ軸方向に並ぶ複数の単位画素２０２のうち、瞳分割された光電変換部２０１Ａの焦点検出用信号群で構成した被写体像をＡ像、瞳分割された光電変換部２０１Ｂの焦点検出用信号信号群で構成した被写体像をＢ像とする。そして、Ａ像とＢ像に対して相関演算を実施することで、像のずれ量（位相差）を検出する。さらに、像のずれ量に対して焦点位置と光学系の特性に応じて決まる変換係数を乗じることで、画面内の任意の被写***置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基に、光学系１０１に含まれる不図示のフォーカスレンズを制御することで、撮像面位相差ＡＦが可能となる。
Of the plurality of
また、光電変換部２０１Ａの信号と光電変換部２０１Ｂの信号を加算して出力することで、単位画素２０２の画像信号を得ることができる。
Further, an image signal of the
撮像素子駆動部１０４は、システム制御部１１２からの撮像素子駆動指示情報に応じて、撮像素子１０３を制御する。撮像素子１０３は、撮像素子駆動部１０４から出力される制御信号によって、異なる複数の露出量で撮影した複数の画像の画像信号と、複数の露出量のいずれかを用いて位相差方式の焦点検出用信号の一方（複数の光電変換部の一部から読み出した信号）を出力する。
The image
図４は、各フレーム（予め決められた周期）で撮像素子１０３から読み出される画像信号及び焦点検出用信号の一例を示す図である。なお、以下の説明では、複数の露光量を２種類とし、各フレームで、２枚の画像の画像信号と、１つの焦点検出用信号を出力するものとする。また、図４では、測光を行って、その結果に基づいて予め決められた信号値の範囲内に画像信号が収まるように、いわゆる適正露出量で撮影された画像信号を「適」、適正露出量よりも少ない露出量で撮影された画像信号を「アンダー」と記載している。本実施形態では、画像合成によりダイナミックレンジを拡大できるように、露出アンダーの画像信号と適正露出の画像信号を読み出す一方、焦点検出用信号はフレーム毎に、露出アンダーと適正露出を切り替えて読み出す。上述した露出制御は、不図示の測光部による測光結果や、撮像して得られた画像信号の輝度に基づく測光結果に応じて、システム制御部１１２により行われる。
FIG. 4 is a diagram illustrating an example of an image signal and a focus detection signal read from the
焦点検出用信号の露出量は、撮像素子駆動部１０４から指示された制御信号によって切り替えを行っており、制御信号の基になる評価値の算出に関しては後述する。
The exposure amount of the focus detection signal is switched by a control signal instructed from the image
加算信号分離部１０５には、撮像素子１０３から２枚の画像の画像信号と、２種類の露出量のいずれかで得られた焦点検出用信号の一方が入力される。そして、焦点検出用信号と露出量が一致する画像信号から焦点検出用信号を減算することで、もう一方の焦点検出用信号を生成し、一対の焦点検出用信号を位相差検出部１１０及び飽和画素カウンタ１１３に出力する。この際に、加算信号分離部１０５は、システム制御部１１２により設定される焦点検出領域について、一対の焦点検出用信号を生成する。一方、２枚の画像の画像信号は、カメラ信号処理部１０６に出力する。
One of the image signals of the two images and the focus detection signal obtained by one of the two types of exposure amounts is input to the addition
カメラ信号処理部１０６は、加算信号分離部１０５から得られた２枚の画像それぞれの画像信号に対し、例えば、色変換、ホワイトバランス等の既知の画像処理を行って、得られた画像データを画像合成部１０７に出力する。以下、露出アンダーの画像データを「アンダー画像データ」、適正露出の画像データを「適正画像データ」と呼ぶ。画像合成部１０７は、アンダー画像データと適正画像データを合成して、ダイナミックレンジの広い１枚の画像の画像データを生成し、圧縮部１０８及び評価値算出部１１４に出力する。
The camera
合成された画像データは、圧縮部１０８にて圧縮符号化され、記録部１０９によって記録媒体に記録される。記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。
The synthesized image data is compression-encoded by the
一方、位相差検出部１１０では、加算信号分離部１０５から得られた一対の焦点検出信号の位相差を検出し、ＡＦ制御部１１１は、得られた位相差を基に、光学系１０１のフォーカスレンズの位置を制御するための焦点位置情報を算出する。
On the other hand, the phase
システム制御部１１２は、撮像装置全体を制御する。本実施形態では、システム制御部１１２が、撮影シーンや撮影モード、被写体検出等から得られる撮影情報や、焦点位置情報等に基づいて、ズームや絞り、フォーカス等の光学系１０１の駆動情報を光学系駆動部１０２に渡す。また、焦点検出用信号を、複数の露出量のうち、どの露出量を用いて取得するかの指示や、露光時間等の撮像素子１０３の駆動情報を撮像素子駆動部１０４に渡す。
The
飽和画素カウンタ１１３は、加算信号分離部１０５から得られた一対の焦点検出用信号それぞれについて飽和している画素（信号値）の数を数えて、得られたカウント値をシステム制御部１１２に出力する。なお、飽和している画素とは、具体的には、光電変換部２０１Ａ，２０１Ｂで受光した光量がある閾値以上の光量で、位相差検出に用いることができない画素のことである。閾値はシステム制御部１１２により設定され、ＩＳＯ感度、絞り等の撮影条件に応じて切り替える。ここで得られたカウント値は、次フレームにおいて、焦点検出用信号を複数の露出量のいずれで取得するかを判断するために用いられる。
The saturated pixel counter 113 counts the number of pixels (signal values) that are saturated for each of the pair of focus detection signals obtained from the addition
評価値算出部１１４は、次フレームにおいて、焦点検出用信号を複数の露出量のいずれを用いて取得するかを判断するための評価値を算出する。ここでは、露出の異なる複数の画像の画像データを用いて評価値を算出する。
The evaluation
図５は、評価値算出部１１４の構成を示す図である。ピーク値検出部１００１は、カメラ信号処理部１０６から出力されたアンダー画像データを用いて、ピーク値を求める。具体的には、まず、入力された画像データの入力画素値DIN（信号値）と、それまでの処理におけるピーク値DMAX（最大値）を比較する。入力画素値DINがピーク値DMAXよりも大きい場合には、ピーク値DMAXを入力画素値DINで置き換えて、SRAMなどの揮発性メモリに格納する。この処理をアンダー画像データの全ての画素に対して行うことで、アンダー画像データのピーク値DMAXを求め、求めたピーク値DMAXをピーク値閾値比較部１００３に出力する。なお、ピーク値検出部１００１におけるピーク値DMAXは、求めたピーク値DMAXがピーク値閾値比較部１００３に出力されると、リセット処理により「０」にリセットされる。
FIG. 5 is a diagram illustrating a configuration of the evaluation
ピーク値閾値比較部１００３では、ピーク値検出部１００１から出力されたピーク値DMAXと、システム制御部１１２から設定される閾値との比較を行う。ピーク値DMAXが閾値よりも大きい場合は、アンダー画像は明るいと判断され、次のフレームでは焦点検出用信号を露出アンダーで取得することを示す制御信号を、第１評価値としてシステム制御部１１２に出力する。一方、ピーク値DMAXが閾値以下の場合は、アンダー画像は暗いと判断され、次のフレームでは焦点検出用信号を適正露出で取得することを示す制御信号を、第１評価値としてシステム制御部１１２に出力する。
The peak value
ボトム値検出部１００２は、カメラ信号処理部１０６から出力された適正画像データを用いて、ボトム値を求める。具体的には、まず、入力された適正画像データの入力画素値DIN（信号値）と、それまでの処理におけるボトム値DMIN（最小値）を比較する。入力画素値DINがボトム値DMINよりも小さい場合には、ボトム値DMINを入力画素値DINで置き換えて、SRAMなどの揮発性メモリに格納する。この処理を画像データの全ての画素に対して行うことで、適正画像データのボトム値DMINを求め、求めたボトム値DMINをボトム値閾値比較部１００４に出力する。なお、ボトム値検出部１００２におけるボトム値DMINは、求めたボトム値DMINがボトム値閾値比較部１００４に出力されると、リセット処理により「０」にリセットされる。
The bottom
ボトム値閾値比較部１００４では、ボトム値検出部１００２から出力されるボトム値DMIN値と、システム制御部１１２から設定される閾値との比較を行う。ボトム値DMINが閾値よりも値が大きい場合は、適正画像は明る過ぎると判断され、次のフレームでは焦点検出用信号を露出アンダーで取得することを示す制御信号を、第２評価値としてシステム制御部１１２に出力する。一方、ボトム値DMINが閾値以下の場合は、適正画像の露出は適切であると判断され、次のフレームでは焦点検出用信号を適正露出で取得することを示す制御信号を、第２評価値としてシステム制御部１１２に出力する。
The bottom value
次に、次フレームにおいて、焦点検出用信号を取得するために用いる露出量を選択する処理について、図６のフローチャートを参照して説明する。この処理は、飽和画素カウンタ１１３から得られたカウント値と、評価値算出部１１４から得られた評価値に基づいて、システム制御部１１２で行われる。
Next, a process of selecting an exposure amount used for acquiring a focus detection signal in the next frame will be described with reference to the flowchart of FIG. This process is performed by the
まず、Ｓ１０１において、評価値算出部１１４から第１評価値と第２評価値を取得し、Ｓ１０２において、飽和画素カウンタ１１３から飽和している画素のカウント値を取得する。なお、Ｓ１０１とＳ１０２の順番は、逆であっても、同時に行っても良い。
First, in S101, the first evaluation value and the second evaluation value are acquired from the evaluation
Ｓ１０３において、カウント値を予め決められた閾値と比較し、予め決められた閾値よりも多い場合は、Ｓ１０５に進んで、次のフレームにおいて焦点検出用信号を露出アンダーで取得するように決定し、処理を終了する。一方、カウント値が閾値以下の場合は、Ｓ１０４に進む。なお、この場合のカウント値と比較する閾値も、上記と同様に、ＩＳＯ感度、絞り等の撮影条件に応じて切り替える。 In S103, the count value is compared with a predetermined threshold value.If the count value is larger than the predetermined threshold value, the process proceeds to S105, and it is determined to acquire the focus detection signal underexposed in the next frame. The process ends. On the other hand, if the count value is less than or equal to the threshold value, the process proceeds to S104. Note that the threshold value to be compared with the count value in this case is also switched according to imaging conditions such as ISO sensitivity and aperture, as described above.
Ｓ１０４では、第１評価値及び第２評価値の少なくとも一方が、焦点検出用信号を露出アンダーで取得することを示しているかどうかを判断する。第１評価値及び第２評価値のいずれか一方でも、焦点検出用信号を露出アンダーで取得することを示していれば、Ｓ１０５に進んで、次のフレームにおいて焦点検出用信号を露出アンダーで取得するように選択する。逆に、第１評価値及び第２評価値が共に焦点検出用信号を適正露出で取得することを示していれば、Ｓ１０６に進んで、次のフレームにおいて焦点検出用信号を適正露出で取得するように選択する。 In S104, it is determined whether or not at least one of the first evaluation value and the second evaluation value indicates that the focus detection signal is acquired underexposed. If any one of the first evaluation value and the second evaluation value indicates that the focus detection signal is acquired under exposure, the process proceeds to S105, and the focus detection signal is acquired under exposure in the next frame. Choose to do. On the other hand, if both the first evaluation value and the second evaluation value indicate that the focus detection signal is acquired with appropriate exposure, the process proceeds to S106, and the focus detection signal is acquired with appropriate exposure in the next frame. To choose.
そして、Ｓ１０７において、システム制御部１１２は、選択した露出量を撮像素子駆動部１０４に伝える。これにより、撮像素子駆動部１０４は次のフレームにおいて、焦点検出用信号を、システム制御部１１２により指示された露光量で取得する。
In step S <b> 107, the
次に、本実施形態の撮像装置における合成処理について説明する。図７は、本実施形態における、画像信号の取得から合成処理までの処理の流れを示すフローチャートであり、図８は、本実施形態における画像合成部１０７の詳細構成を示すブロック図である。
Next, a composition process in the imaging apparatus according to the present embodiment will be described. FIG. 7 is a flowchart showing a flow of processing from acquisition of an image signal to synthesis processing in the present embodiment, and FIG. 8 is a block diagram showing a detailed configuration of the
まず、Ｓ２０１において、撮像素子１０３を制御して、露出アンダーの画像及び適正露出の画像を撮像し、それぞれの画像信号に対してガンマ補正処理前までの画像処理を施す。
First, in step S201, the
Ｓ２０２において、画像合成部１０７のガンマ補正部４０１は、アンダー画像データ及び適正画像データそれぞれに対して、異なる特性のガンマ補正処理を施す。図８に示すように、ガンマ補正部４０１は、第１のガンマ補正部４０２と第２のガンマ補正部４０３とを備え、それぞれが異なる特性のガンマ補正処理を実行する。第１のガンマ補正部４０２は、アンダー画像データに対してガンマ補正処理を行い、第２のガンマ補正部４０３は、適正画像データに対してガンマ補正処理を行う。
In step S202, the
ここで、図９を参照しながら、本実施形態におけるガンマ補正処理について説明する。図９において、曲線９０１は、第１のガンマ補正部４０２がアンダー画像データに対して行うガンマ補正処理の特性を示し、以下、「第１のガンマカーブ」と呼ぶ。また、曲線９０２は、第２のガンマ補正部４０３が、適正画像データに対して行うガンマ補正処理で使用する通常の特性を示し、以下、「第２のガンマカーブ」と呼ぶ。第１のガンマカーブ９０１は、ガンマ補正後におけるアンダー画像データのＡＥ目標値が、第２のガンマカーブ９０２を用いたガンマ補正後における適正画像データのＡＥ目標値と一致するように設定されている。
Here, the gamma correction processing in the present embodiment will be described with reference to FIG. In FIG. 9, a
ところで、ガンマ補正前のアンダー画像データのＡＥ目標値を下げることでダイナミックレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、アンダー画像データが暗くなってしまう。そこで、本実施形態では、ダイナミックレンジの拡大量に応じて、アンダー画像データを明るくするようにガンマ補正を行うように第１のガンマカーブを決定する。これにより、アンダー画像データの明るさ（露出）を適正にしながら、ダイナミックレンジを拡大させることが可能となる。 By the way, the dynamic range can be expanded by lowering the AE target value of the under image data before gamma correction. However, if the AE target value is simply lowered, the under image data becomes dark. Therefore, in the present embodiment, the first gamma curve is determined so as to perform gamma correction so that the under image data is brightened according to the amount of expansion of the dynamic range. This makes it possible to expand the dynamic range while making the brightness (exposure) of the under image data appropriate.
なお、本実施形態では、ガンマ補正前のＡＥ目標値を下げたことによるアンダー画像データの輝度低下をガンマ補正により補正する構成について示したが、ルックアップテーブル等の別の手段を用いて同様の輝度補正を行っても良い。 In the present embodiment, the configuration in which the luminance reduction of the under image data due to the reduction of the AE target value before gamma correction is corrected by gamma correction is shown. However, the same means can be used by using another means such as a lookup table. Luminance correction may be performed.
また、ホワイトバランス補正のためのホワイトバランス係数のゲインと飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減等によりゲインダウンされた画像データをＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。 Further, the gain of the white balance coefficient for white balance correction and the clipping amount for determining the saturation signal amount may be controlled. In other words, after A / D conversion is performed on the image data gain-decreased by reducing the exposure amount or AFE gain, the signal processing circuit at the subsequent stage increases the gain, and the clipping amount is increased by the gain increase (saturated signal amount) The same effect can be obtained.
次に、Ｓ２０３において、色輝度変換回路４０４は、ガンマ補正後のアンダー画像データをＹＵＶ１に変換するとともに、ガンマ補正後の適正画像データをＹＵＶ２に変換する。
Next, in S203, the color
Ｓ２０４おいて、輝度合成比率算出部４０５は、ＹＵＶ２の各画像領域の輝度に基づいて、ＹＵＶ２の合成比率１を決定する。ここでは例えば、ｎ×ｎ画素の画像領域の平均輝度に基づいて合成比率１を決定する。図１０（ａ）に示すように、平均輝度が閾値Ｔｈ１よりも低い場合には、ＹＵＶ２のみを用い、平均輝度が閾値Ｔｈ１以上、閾値Ｔｈ２以下の場合には、平均輝度が高くなるほど、ＹＵＶ１の合成比率を高くするように合成比率１を決定する。また、平均輝度が閾値Ｔｈ２よりも高い場合には、ＹＵＶ１のみを用いるように合成比率１を決定する。平均輝度が高い画像領域ほど白飛びの可能性があるため、平均輝度の上昇に応じてＹＵＶ１の合成比率を上げていくことにより、白飛びを抑え、ダイナミックレンジを拡大することができる。
In S204, the luminance composition
Ｓ２０５では、移動体合成比率算出部４０６は、ＹＵＶ１及びＹＵＶ２に基づいて移動体領域を抽出して合成比率２を求める。移動体合成比率算出部４０６は、まず、ＹＵＶ１及びＹＵＶ２それぞれにおけるｍ×ｍ画素の画像領域の輝度差分及び色差分の平均（差分平均）を算出し、求めた差分平均に基づいて合成比率２を決定する。図１０（ｂ）に示すように、差分平均が閾値Ｔｈ１１よりも小さい場合には、ＹＵＶ１のみを用い、差分平均が閾値Ｔｈ１１以上、閾値Ｔｈ１２以下の場合には、差分平均が大きいほど、ＹＵＶ２の合成比率を高くするように合成比率２を決定する。また、差分平均が閾値Ｔｈ１２よりも大きい場合には、ＹＵＶ２のみを用いるように合成比率２を決定する。画像領域の輝度差分及び色差分が大きい場合には、その画像領域に移動体が存在するものとして、移動体合成比率算出部４０６は、当該画像領域についてＹＵＶ２の合成比率を高めるように合成比率２を決定する。
In S205, the mobile body composition
Ｓ２０６において、合成比率算出部４０７は、システム制御部１１２から出力される撮像装置の状態情報を取得し、当該状態情報に基づいて合成比率３を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態を示す情報である。これらの状態情報のうち、少なくとも１つを取得し、合成比率を決定しても良い。なお、これらの出力を検出する振れ検出部、ズームレンズ位置を取得し、ズームスピードを算出する算出部はシステム制御部１１２が担っている。
In step S <b> 206, the composition
光学ズーム時のズームスピート、パンニング量及び手ぶれ量等が大きい場合、ＹＵＶ１及びＹＵＶ２の合成処理が難しくなるため、所望の合成画像データが得られない。そのため、図１０（ｃ）に示すように、ズームスピード、パンニング量及び手ぶれ量が閾値Ｔｈ２１よりも低い場合には、ＹＵＶ１のみを用いるように合成比率３を決定する。そして、差分平均が閾値Ｔｈ２１以上、閾値Ｔｈ２２以下の場合には、ズームスピード、パンニング量及び手ぶれ量が大きいほど、ＹＵＶ２の合成比率を高くするように合成比率３を決定する。また、ズームスピード、パンニング量及び手ぶれ量が閾値Ｔｈ２２よりも大きい場合には、ＹＵＶ２のみを用いるように合成比率３を決定する。 When the zoom speed, panning amount, camera shake amount, and the like during optical zoom are large, it is difficult to combine YUV1 and YUV2, and thus desired composite image data cannot be obtained. Therefore, as shown in FIG. 10C, when the zoom speed, the panning amount, and the camera shake amount are lower than the threshold Th21, the composition ratio 3 is determined so that only YUV1 is used. When the average difference is not less than the threshold value Th21 and not more than the threshold value Th22, the composition ratio 3 is determined so that the composition ratio of YUV2 is increased as the zoom speed, the panning amount, and the camera shake amount are increased. When the zoom speed, the panning amount, and the camera shake amount are larger than the threshold value Th22, the composition ratio 3 is determined so that only YUV2 is used.
Ｓ２０７において、合成比率算出部４０７は、更に、合成比率１、合成比率２及び合成比率３に基づいて、最終合成比率αを算出する。例えば、合成比率算出部４０７は、合成比率１、合成比率２及び合成比率３のうちの最大値を最終合成比率αとして決定する。
In step S <b> 207, the synthesis
Ｓ２０８において、加重加算部４０８は、次の式（１）に示すように、ＹＵＶ１とＹＵＶ２とを最終合成比率αを用いて加重加算することで合成処理を行い、合成出力画像データを生成する。生成された合成出力画像データは、圧縮部１０８に出力される。
合成出力画像データ＝ＹＵＶ２×α＋ＹＵＶ１×（１−α） …（１）
In S208, the
Composite output image data = YUV2 × α + YUV1 × (1−α) (1)
本実施形態においては、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、動画撮影時に光学ズーム及びパンニング等のカメラワークを施した場合や手ぶれが生じた場合でも、最適なダイナミックレンジ拡大処理が可能となる。なお、静止画撮影時には、合成比率２及び合成比率３を求めなくても構わない。 In this embodiment, since the image data composition ratio is determined in consideration of the state information of the imaging device at the time of moving image shooting, camera shake such as optical zoom and panning occurs when moving image shooting occurs. Even in such a case, the optimum dynamic range expansion processing can be performed. Note that the composition ratio 2 and composition ratio 3 do not have to be obtained during still image shooting.
図１１は、焦点検出処理を示すフローチャートである。まず、Ｓ３０１でシステム制御部１１２は、ＡＦに使用する撮像パラメータ情報を取得し、Ｓ３０２へ処理を進める。撮影パラメータとは、光学系１０１内の絞り情報や、撮像素子１０３にかかっているセンサゲインなどをはじめとした情報であり、本実施形態の構成に依らず、カメラの構成に応じて必要な情報を適宜取得する。
FIG. 11 is a flowchart showing the focus detection process. First, in S301, the
次に、Ｓ３０２で、システム制御部１１２は、撮像画面の焦点検出範囲内から、焦点状態の検出を行う焦点検出領域の設定／配置を行う。この設定／配置の方法は、被写体検出が可能な構成であれば、例えば顔を検出した位置を焦点検出領域位置として設定してもよい。
In step S <b> 302, the
Ｓ３０３において、加算信号分離部１０５は、Ｓ３０２で設定した焦点検出領域に含まれる単位画素２０２から読み出した、同じ露出量の画像信号及び焦点検出用信号に基づいて、上述したようにして、位相差検出用に、一対の焦点検出用信号を生成する。
In S303, the addition
そして、Ｓ３０４において、位相差検出部１１０は、取得した一対の焦点検出用信号間の相関量を算出する。なお、相関量の算出は、Ｓ３０２で設定した焦点検出領域内の各走査ラインについてそれぞれ行い、以降のＳ３０５からＳ３０８までの処理も同様に焦点検出領域内の各走査ラインに対してそれぞれ行う。続いて、位相差検出部１１０は、Ｓ３０５においてＳ３０４で算出した相関量から相関変化量を算出し、Ｓ３０６で相関変化量から像ずれ量を算出し、Ｓ３０７で像ずれ量の信頼度を算出する。そして、Ｓ３０８でＡＦ制御部１１１は、Ｓ３０６で算出した、各走査ラインの像ずれ量のうち、信頼度が予め決められた信頼度よりも低い像ずれ量を除外する。そして、残った像ずれ量の平均に対して換算係数を掛けることでデフォーカス量に変換し、システム制御部１１２に出力する。システム制御部１１２を介して光学系駆動部１０２がデフォーカス量を受け取り、このデフォーカス量に基づいてフォーカスレンズを制御し、焦点状態検出処理を終了する。
In step S304, the phase
以上説明したように本実施形態によれば、アンダー画像データと適正画像データから得られる評価値、及び、焦点検出用信号から得られる評価値に基づいて、次のフレームにおいて焦点検出用画素をアンダー露出と適正露出のいずれで読み出すかを切り替える。これにより、限られたデータバス及び動作周波数において、ダイナミックレンジ拡大と焦点検出の両方を実現することができる。 As described above, according to the present embodiment, the focus detection pixel is set to the underframe in the next frame based on the evaluation value obtained from the under image data and the appropriate image data and the evaluation value obtained from the focus detection signal. Switch between exposure and proper exposure. As a result, both dynamic range expansion and focus detection can be realized with a limited data bus and operating frequency.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
例えば、上述した例では、図４で示すように、焦点検出用信号をすべての単位画素２０２から読み出すものとして説明したが、図１１のＳ３０２で設定された焦点検出領域を含む行についてのみ、読み出すように制御しても良い。このように焦点検出用信号を読み出す範囲を限定することで、焦点検出用信号を読み出さないラインでは、３種類の信号を読み出す場合と比較して、更に読み出しを早くすることができ、読み出し負荷や熱の発生の軽減をすることができる。
For example, in the above-described example, the focus detection signal is read from all the
１０３：撮像素子、１０４：撮像素子駆動部、１０５：加算信号分離部、１０６：カメラ信号処理部、１０７：画像合成部、１１０：位相差検出部、１１１：ＡＦ制御部、１１２：システム制御部、１１３：飽和画素カウンタ、１１４：評価値算出部、２０１：マイクロレンズ、２０１A，２０１Ｂ：光電変換部、２０２：単位画素、１００１：ピーク値検出部、１００２：ボトム値検出部、１００３：ピーク値閾値比較部、１００４：ボトム値閾値比較部 103: Image sensor 104: Image sensor drive unit 105: Addition signal separation unit 106: Camera signal processing unit 107: Image synthesis unit 110: Phase difference detection unit 111: AF control unit 112: System control unit , 113: saturation pixel counter, 114: evaluation value calculation unit, 201: microlens, 201A, 201B: photoelectric conversion unit, 202: unit pixel, 1001: peak value detection unit, 1002: bottom value detection unit, 1003: peak value Threshold comparison unit, 1004: Bottom value threshold comparison unit
Claims (10)
複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、
前記撮像素子から、複数の異なる露出で複数の画像の画像信号を読み出すとともに、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号を読み出すように、前記撮像素子を制御する制御手段と
を有することを特徴とする撮像装置。 Exposure control means for controlling exposure; and
An imaging device including a plurality of photoelectric conversion units for each of the plurality of microlenses;
The image sensor reads out image signals of a plurality of images at a plurality of different exposures, and reads out focus detection signals from a part of the plurality of photoelectric conversion units at any one of the plurality of exposures. An image pickup apparatus comprising: a control unit that controls the image pickup element.
前記決定手段は、前記一対の焦点検出用信号の信号値のうち、予め決められた第１の閾値より大きい信号値の数が、予め決められた第２の閾値よりも多い場合に、前記第２の露出を、前記焦点検出用信号を読み出す際の露出として決定することを特徴とする請求項３に記載の撮像装置。 The plurality of exposures includes a first exposure and a second exposure that is smaller than the first exposure;
The determining means is configured to detect the first value when the number of signal values greater than a predetermined first threshold value among the signal values of the pair of focus detection signals is greater than a predetermined second threshold value. The imaging apparatus according to claim 3, wherein the exposure of 2 is determined as an exposure when reading the focus detection signal.
前記複数の露出のうち、前記第１の露出で読み出した前記画像信号の最小値が予め決められた第３の閾値以下、且つ、前記第２の露出で読み出した前記画像信号の最大値が予め決められた第４の閾値以下である場合に、前記第１の露出を、次に前記焦点検出用信号を読み出す際の露出として決定し、
前記最小値が前記第３の閾値より大きいか、または、前記最大値が前記第４の閾値より大きい場合に、前記第２の露出を、次に前記焦点検出用信号を読み出す際の露出として決定することを特徴とする請求項４に記載の撮像装置。 When the number of signal values greater than a predetermined first threshold among the signal values of the pair of focus detection signals is equal to or less than a predetermined second threshold,
Among the plurality of exposures, the minimum value of the image signal read out at the first exposure is equal to or smaller than a predetermined third threshold value, and the maximum value of the image signal read out at the second exposure is set in advance. The first exposure is determined as the next exposure when the focus detection signal is read out when it is equal to or less than the determined fourth threshold;
When the minimum value is larger than the third threshold value or the maximum value is larger than the fourth threshold value, the second exposure is determined as an exposure when the focus detection signal is read next time. The imaging apparatus according to claim 4, wherein:
前記撮像素子から、複数の異なる露出で、前記複数の光電変換部の信号を各マイクロレンズごとに加算した、複数の画像の画像信号を読み出す工程と、
前記撮像素子から、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号を読み出す工程と
を有することを特徴とする制御方法。 A method for controlling an image sensor including a plurality of photoelectric conversion units for each of a plurality of microlenses,
A step of reading out image signals of a plurality of images obtained by adding the signals of the plurality of photoelectric conversion units for each microlens with a plurality of different exposures from the imaging device;
And a step of reading a focus detection signal from a part of the plurality of photoelectric conversion units from any one of the plurality of exposures from the image pickup device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017094079A JP6990988B2 (en) | 2017-05-10 | 2017-05-10 | Control method of image pickup device and image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017094079A JP6990988B2 (en) | 2017-05-10 | 2017-05-10 | Control method of image pickup device and image sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018191223A true JP2018191223A (en) | 2018-11-29 |
| JP6990988B2 JP6990988B2 (en) | 2022-01-12 |
Family
ID=64479126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017094079A Active JP6990988B2 (en) | 2017-05-10 | 2017-05-10 | Control method of image pickup device and image sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6990988B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7414538B2 (en) | 2020-01-14 | 2024-01-16 | キヤノン株式会社 | Imaging device and its control method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015087401A (en) * | 2013-10-28 | 2015-05-07 | キヤノン株式会社 | Imaging device |
| JP2015201834A (en) * | 2014-03-31 | 2015-11-12 | ソニー株式会社 | Solid-state imaging apparatus, drive control method and image processing method of the same, and electronic apparatus |
-
2017
- 2017-05-10 JP JP2017094079A patent/JP6990988B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015087401A (en) * | 2013-10-28 | 2015-05-07 | キヤノン株式会社 | Imaging device |
| JP2015201834A (en) * | 2014-03-31 | 2015-11-12 | ソニー株式会社 | Solid-state imaging apparatus, drive control method and image processing method of the same, and electronic apparatus |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7414538B2 (en) | 2020-01-14 | 2024-01-16 | キヤノン株式会社 | Imaging device and its control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6990988B2 (en) | 2022-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9160934B2 (en) | Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same | |
| US7301563B1 (en) | Image pickup apparatus | |
| JP6159105B2 (en) | Imaging apparatus and control method thereof | |
| US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
| JP6555863B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US20110109754A1 (en) | Image capture apparatus and image capturing method | |
| JP6672081B2 (en) | Imaging device | |
| JP2007060449A (en) | Imaging apparatus | |
| JP2007243759A (en) | Digital imaging apparatus | |
| JP2014014069A (en) | Imaging apparatus and control method of the same | |
| JP2010136224A (en) | Imaging apparatus and imaging method | |
| US20170318208A1 (en) | Imaging device, imaging method, and image display device | |
| JP2006245999A (en) | Imaging apparatus and program | |
| JP2009296434A (en) | Imaging device | |
| JP6242129B2 (en) | Imaging device, control method thereof, and control program | |
| JP6990988B2 (en) | Control method of image pickup device and image sensor | |
| JP5947625B2 (en) | Imaging apparatus and control method thereof | |
| JP2019144502A (en) | Focus detection device and focus detection method | |
| JP4871664B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2021027488A (en) | Imaging element, control method of the same, and imaging apparatus | |
| JP2017169026A (en) | Flash band determination device, control method therefor, and control program, and imaging device | |
| JP2010232909A (en) | Imaging apparatus, and drive control method thereof | |
| JP2020048135A (en) | Imaging apparatus and control method of the same | |
| JP2012199858A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200430 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6990988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |