JP2017108404A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2017108404A JP2017108404A JP2016236096A JP2016236096A JP2017108404A JP 2017108404 A JP2017108404 A JP 2017108404A JP 2016236096 A JP2016236096 A JP 2016236096A JP 2016236096 A JP2016236096 A JP 2016236096A JP 2017108404 A JP2017108404 A JP 2017108404A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image
- photoelectric conversion
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 143
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 230000004907 flux Effects 0.000 claims abstract description 29
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 100
- 210000001747 pupil Anatomy 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 24
- 238000010191 image analysis Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 108010076504 Protein Sorting Signals Proteins 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
像面位相差方式による焦点検出が可能な撮像素子が知られている（特許文献１参照）。非合焦領域に対応する画素では、画像がボケてしまうため、用途によっては適さない場合があった。 An image sensor capable of detecting a focus by an image plane phase difference method is known (see Patent Document 1). In the pixel corresponding to the out-of-focus area, the image is blurred, and therefore, it may not be suitable depending on the application.
請求項１に記載の撮像装置は、撮影光学系を通過する第１の光束を受光して第１の信号を生成する第１の光電変換部と、前記撮影光学系を通過する第２の光束を受光して第２の信号を生成する第２の光電変換部と、を有する画素が複数配置される撮像素子と、前記第１の信号により、画像信号に用いられる前記画素の信号を生成する信号生成部と、を備える。
請求項５に記載の撮像装置は、撮影光学系を通過した第１及び第２の光束を受光して第１及び第２の信号をそれぞれ生成する画素が配置される撮像素子と、予め定められた方向に配置された複数の前記画素から出力される複数の前記第１の信号及び複数の前記第２の信号のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する焦点検出部と、前記デフォーカス量に基づき、前記撮影画面を合焦領域と非合焦領域とに区分する区分部と、前記合焦領域の前記画素については前記第１の信号と前記第２の信号とを加算した画像信号を生成し、前記非合焦領域の前記画素については前記第１の信号と前記第２の信号との一方の信号により画像信号を生成する第１の画像信号生成部と、を備える。
請求項１２に記載の撮像装置は、撮影光学系を通過する第１及び第２の光束をそれぞれ受光して第１の色成分の第１の信号及び第２の信号をそれぞれ生成する第１の光電変換部及び第２の光電変換部を有する第１の画素と、前記撮影光学系を通過する前記第１及び第２の光束をそれぞれ受光して第２の色成分の第３の信号及び第４の信号をそれぞれ生成する第３の光電変換部及び第４の光電変換部を有する第２の画素と、をそれぞれ複数有する撮像素子と、前記第３の信号と前記第４の信号とを加算した信号により、前記第１の画素の位置における前記第２の色成分の信号を補間する第１の補間処理部と、前記第３の信号により、前記第１の画素の位置における前記第２の色成分の信号を補間する第２の補間処理部と、を備える。
The imaging apparatus according to
The image pickup apparatus according to
The image pickup apparatus according to claim 12, wherein the first and second light beams passing through the photographing optical system are respectively received to generate a first signal and a second signal of the first color component, respectively. A first pixel having a photoelectric conversion unit and a second photoelectric conversion unit, and the first and second light beams passing through the photographing optical system are respectively received, and a third signal and a second signal of a second color component are received. An image sensor having a plurality of third photoelectric conversion units that respectively generate four signals and a second pixel having a fourth photoelectric conversion unit, and adding the third signal and the fourth signal The first interpolation processing unit that interpolates the signal of the second color component at the position of the first pixel by the signal that has been processed, and the second at the position of the first pixel by the third signal. A second interpolation processing unit for interpolating the color component signal.
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本実施形態の撮像装置の一例であるレンズ交換式のデジタルカメラの構成を示す図である。デジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３から構成される。種々の交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a lens-interchangeable digital camera that is an example of an imaging apparatus according to the present embodiment. The
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備える。レンズ駆動制御装置２０６は、不図示のマイクロコンピュータ、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
The
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７などを備える。また、カメラボディ２０３には、メモリカード２１９が装着される。
The
ボディ駆動制御装置２１４は、マイクロコンピュータ、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と撮像素子２１２からの出力信号の読み出しと、該出力信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、該出力信号に基づく画像処理演算と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
The body
液晶表示素子２１６は電子ビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は、撮像素子２１２によるスルー画像を液晶表示素子２１６に表示する。撮影者は、接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
The liquid
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２の各画素で光電変換され、各画素の出力信号がボディ駆動制御装置２１４へ送られる。
A subject image is formed on the light receiving surface of the
ボディ駆動制御装置２１４は、撮像素子２１２の出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
The body
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
The
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
The lens
図２は、ボディ駆動制御装置２１４の構成を示すブロック図である。ボディ駆動制御装置２１４は、焦点検出部２３０、区分部２３１、第１の画像信号生成部２３２、第２の画像信号生成部２３３、画像解析部２３４、表示制御部２３５、記録制御部２３６、およびケラレ判定部２３７を機能的に備える。
FIG. 2 is a block diagram illustrating a configuration of the body
焦点検出部２３０は、撮像素子２１２の出力信号に基づいて後述する処理を行って、焦点検出を行う。区分部２３１は、撮影画面を略合焦領域と非合焦領域に区分し、或いは略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。第１の画像信号生成部２３２は、撮像素子２１２の出力信号に基づいて後述する処理を行って、画像解析用の画像信号を生成する。なお、画像解析用の画像信号は、画像として出力されることを目的として生成される複数の画素信号に限られない。画像解析用の画像信号は、撮像素子２１２の複数の画素における複数の光電変換部が出力する複数の出力信号の生データとして得られる複数の画素信号や、それらの生データをもとに、画像として出力されることなく画像解析用データとして生成される複数の画素信号であってもよい。第２の画像信号生成部２３３は、撮像素子２１２の出力信号に基づいて後述する処理を行って、表示用画像（スルー画像）や記録用画像を構成する複数の画素信号からなる画像信号を生成する。画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示する。記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像データを記録する。ケラレ判定部２３７は、交換レンズ２０２のレンズ情報（射出瞳位置の情報）に基づいて、ケラレの状況を判定する。なお、これらの各部について詳しくは後述する。
The
図３および図４は、撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２の一部を拡大して示した図である。図３は、画素３１１のレイアウトを示す図である。複数の画素３１１は、行方向（水平方向）および列方向（垂直方向）において二次元状に配列されている。各画素３１１は、マイクロレンズ（不図示）と一対の光電変換部１３、１４とを有する。図３において、一対の光電変換部１３、１４は水平方向に並んで配置されている。図４は、図３に示す画素３１１の配列における色フィルタの配列を示した図である。画素３１１には、ベイヤー配列の規則に従って色フィルタ（Ｒ：赤色フィルタ、Ｇ：緑色フィルタ、Ｂ：青色フィルタ）が配置されている。すなわち、画素３１１として、赤色成分に関する分光感度特性を有する（すなわち赤色フィルタが配置された）Ｒ画素と緑色成分に関する分光感度特性を有する（すなわち緑色フィルタが配置された）Ｇ画素と青色成分に関する分光感度特性を有する（すなわち青色フィルタが配置された）Ｂ画素とが設けられている。画素３１１は、撮影用画素と焦点検出用画素とを兼ねており、画素３１１が撮像素子２１２の全面に配置されている。したがって、撮影画面上の任意の位置で焦点検出を行うことが可能である。
3 and 4 are front views showing the detailed configuration of the
図５は、画素３１１の構成を示す断面図である。画素３１１において、一対の光電変換部１３、１４の前方にマイクロレンズ１０が配置される。一対の光電変換部１３、１４は半導体回路基板２９上に形成される。また、色フィルタ（不図示）はマイクロレンズ１０と一対の光電変換部１３、１４の中間に配置される。このような構成により一対の光電変換部１３，１４は、交換レンズ２０２の射出瞳の一対の測距瞳を通過する一対の光束をそれぞれ受光する。
FIG. 5 is a cross-sectional view illustrating a configuration of the
図６は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図６において、射出瞳９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズ１０から前方の距離ｄの位置に設定されている。図６には他に、交換レンズの光軸９１、マイクロレンズ１０、光電変換部１３、１４、画素３１１、光束７３、７４が示されている。
FIG. 6 shows a configuration of a pupil division type phase difference detection type focus detection optical system using a microlens. In FIG. 6, the
測距瞳９３，９４は、射出瞳９０のうちの互いに異なる部分領域であり、水平方向に並ぶとともに、光軸９１を通る垂直線に対して線対称な形状となっている。光電変換部１３は、測距瞳９３を通過して画素３１１のマイクロレンズ１０に向かう光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。また、光電変換部１４は、測距瞳９４を通過して画素３１１のマイクロレンズ１０に向う光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を生成して出力する。
The
図６では、光軸９１近傍の隣接する５つの画素３１１を模式的に例示しているが、画面周辺に配置された画素３１１においても、各光電変換部１３、１４は、それぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。マイクロレンズ１０により、一対の光電変換部１３、１４と上述した互いに異なる部分領域、すなわち一対の測距瞳９３、９４とが互いに共役関係になる。
In FIG. 6, five
所定の焦点検出エリアにおいて水平方向に配列した複数の画素３１１の光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とによって、測距瞳９３と測距瞳９４をそれぞれ通過する光束７３、７４が画素３１１の配列上に形成する一対の像の強度分布に関する情報が得られる。焦点検出部２３０は、光電変換部１３の出力信号の列と光電変換部１４の出力信号の列とのズレ量を公知の像ズレ検出演算処理（相関演算処理、位相差検出処理）によって検出することによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。焦点検出部２３０は、この像ズレ量に基づいて、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。
The
図７は、被写体にピントが合っている状態、すなわち合焦状態における模式的な光路図である。図７では、光軸９１近傍の隣接する５つの画素３１１１〜３１１５を模式的に例示している。図７において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１３の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１３の光電変換部１４に入射する。このように、合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ同じ画素３１１３の光電変換部１３、１４に入射する。
FIG. 7 is a schematic optical path diagram in a state where the subject is in focus, that is, in a focused state. In FIG. 7, five
図８は、被写体にピントが合っていない状態、すなわち非合焦状態における模式的な光路図である。図８は、被写体より前側にピントが合っている、いわゆる前ピンの状態を示している。また、図８では、光軸９１近傍の隣接する５つの画素３１１１〜３１１５を模式的に例示している。図８において被写体上の点Ｐから出射して、射出瞳９０上の点９５を通過した光７５は、画素３１１２の光電変換部１３に入射する。一方、被写体上の点Ｐから出射して、射出瞳９０上の点９６を通過した光７６は、画素３１１４の光電変換部１４に入射する。このように、非合焦状態では、同じ点Ｐから出射され、射出瞳９０上で異なる箇所を通過した光７５、７６がそれぞれ異なる画素３１１２、３１１４の光電変換部１３，１４に入射される。この点をふまえると、非合焦状態では、同じ画素３１１内の光電変換部１３、１４に、それぞれ被写体上の異なる点から出射された光が入射されることとなる。なお、被写体より後側にピントが合っている、いわゆる後ピンの状態でも同様である。
FIG. 8 is a schematic optical path diagram in a state where the subject is not in focus, that is, in an out-of-focus state. FIG. 8 shows a so-called front pin state in which the subject is in front of the subject. FIG. 8 schematically illustrates five
各画素３１１において光電変換部１３の出力信号と光電変換部１４の出力信号とを加算して画像信号を生成する場合、非合焦領域に対応する画素では、被写体上の異なる点から出射された出力信号が加算されることになるのでボケた画像となる。画像の解析処理を行う際にはできるだけボケの少ない画像の方が好ましい。そこで、本実施形態では、解析用の画像を生成する際、略合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号を加算して画像信号を生成し、非合焦領域に対応する画素３１１では光電変換部１３、１４の出力信号のいずれか一方を用いて画像信号を生成する。なお、スルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、撮影画面全体に対応する画素３１１について、光電変換部１３、１４の出力信号を加算して画像信号を生成する。このような画像信号の生成処理について、以下、詳細に説明する。
When the image signal is generated by adding the output signal of the
（解析用の画像信号の生成）
解析用の画像信号の生成処理について説明する。まず、焦点検出部２３０は、撮影画面を多数の領域に分割し、これらの領域に対応するデフォーカス量を上述した処理によって検出することで、撮影画面上の種々の位置におけるデフォーカス量を検出し、合焦状態の分布を示すデフォーカス量のマップを作成する。そして、区分部２３１は、このデフォーカス量のマップに基づき、撮影画面を略合焦領域と非合焦領域とに区分するか、または略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。なお、略合焦領域はデフォーカス量が所定閾値よりも小さい領域（小デフォーカス領域）であり、非合焦領域はデフォーカス量が所定閾値よりも大きい領域（大デフォーカス領域）である。
(Generation of image signal for analysis)
Processing for generating an image signal for analysis will be described. First, the
＜略合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された略合焦領域に対応する画素３１１については、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を画像信号として生成する。図９は、このようにして生成された略合焦領域に対応する画素３１１の画像信号の並びを例示する図である。画素３１１の画像信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の画像信号が不足する。第１の画像信号生成部２３２は、光電変換部１３、１４の出力信号を加算して生成した画像信号について、周辺の画素位置の画像信号を用いて不足する色成分の画像信号を生成する色補間処理（デモザイク）を行う。この色補間処理の際には、画像構造、例えばエッジや線状構造等のテクスチャの方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
<Generation of image signal in substantially in-focus area>
The first image
図９において、補間対象とする画素位置（以下注目位置と呼ぶ）（Ｉ，Ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、注目位置（Ｉ，Ｊ）に上下左右に隣接する４つの画素位置、（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）を用いて次式（１）〜（４）により方向判定を行う。なお、図９では上記４つの位置を丸印で示す。
In FIG. 9, pixel positions (I, J) to be interpolated (hereinafter referred to as attention positions) are indicated by hatching. The first image
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（１）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（２）
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・（３）
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・（４）
ただし、閾値th_1およびth_2は、所定値である。
| G (I-1, J) -G (I + 1, J) |> th_1 and | G (I, J-1) -G (I, J + 1) | <th_2 (1)
| G (I-1, J) -G (I + 1, J) | <th_1 and | G (I, J-1) -G (I, J + 1) |> th_2 (2)
| G (I-1, J) -G (I + 1, J) |> th_1 and | G (I, J-1) -G (I, J + 1) |> th_2 (3)
| G (I-1, J) -G (I + 1, J) | <th_1 and | G (I, J-1) -G (I, J + 1) | <th_2 (4)
However, the thresholds th_1 and th_2 are predetermined values.
第１の画像信号生成部２３２は、上記式（１）が成立する場合は、注目位置（Ｉ，Ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（２）が成立する場合は、注目位置（Ｉ，Ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（３）が成立する場合は、注目位置（Ｉ，Ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（４）が成立する場合は、注目位置（Ｉ，Ｊ）がエッジ上にないと判定する。
The first image
図１０は、Ｇ成分の補間処理を説明する図である。第１の画像信号生成部２３２は、上記方向判定において横（行）方向にエッジがあると判定した場合は、図１０（ａ）に示すように、注目位置（Ｉ，Ｊ）に縦方向に隣接する２つの画素位置（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ信号）に基づき、次式（５）を用いて、注目位置（Ｉ，Ｊ）のＧ信号を求める。
G(I,J)={G(I,J-1)+G(I,J+1)}/2 ・・・（５）
FIG. 10 is a diagram for explaining the G component interpolation processing. When the first image
G (I, J) = {G (I, J-1) + G (I, J + 1)} / 2 (5)
また、第１の画像信号生成部２３２は、上記方向判定において縦（列）方向にエッジがあると判定した場合は、図１０（ｂ）に示すように、太枠で示す注目位置（Ｉ，Ｊ）に横方向に隣接する２つの画素位置（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）の画像信号（Ｇ成分の信号）に基づき、次式（６）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)}/2 ・・・（６）
When the first image
G (I, J) = {G (I-1, J) + G (I + 1, J)} / 2 (6)
また、第１の画像信号生成部２３２は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合は、図１０（ｃ）に示すように、注目位置（Ｉ，Ｊ）に縦横方向に隣接する４つの画素位置（Ｉ−１，Ｊ）、（Ｉ＋１，Ｊ）、（Ｉ，Ｊ−１）、（Ｉ，Ｊ＋１）の画像信号（Ｇ成分の信号）に基づき、次式（７）を用いて、注目位置（Ｉ，Ｊ）のＧ成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・（７）
Further, when the first image
G (I, J) = {G (I-1, J) + G (I + 1, J) + G (I, J-1) + G (I, J + 1)} / 4 ( 7)
第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、略合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。
The first image
図１１は、Ｒ成分の補間処理を説明する図である。図１１（ａ）は、図９からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図９におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１１（ｂ）に示すように色差成分Ｃｒの信号を算出する。
FIG. 11 is a diagram for explaining the R component interpolation processing. FIG. 11A shows an R component signal extracted from FIG. The first image
そして、第１の画像信号生成部２３２は、図１１（ｂ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋１）において、斜め方向に隣接して位置する４つの画素位置（Ｉ，Ｊ）、（Ｉ＋２，Ｊ）、（Ｉ，Ｊ＋２）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（８）により、注目位置（Ｉ＋１，Ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J＋2)+Cr(I+2,J+2)}/4 ・・・（８）
Then, the first image
Cr (I + 1, J + 1) = {Cr (I, J) + Cr (I + 2, J) + Cr (I, J + 2) + Cr (I + 2, J + 2)} / 4・ (8)
また、第１の画像信号生成部２３２は、図１１（ｃ）の太枠で示す注目位置（Ｉ＋１，Ｊ＋２）において、上下左右に隣接して位置する４つの画素位置（Ｉ＋１，Ｊ＋１）、（Ｉ，Ｊ＋２）、（Ｉ＋１，Ｊ＋３）、（Ｉ＋２，Ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（９）により、注目位置（Ｉ＋１，Ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J＋3)+Cr(I+2,J+2)}/4 ・・・（９）
In addition, the first image
Cr (I + 1, J + 2) = {Cr (I + 1, J + 1) + Cr (I, J + 2) + Cr (I + 1, J + 3) + Cr (I + 2, J + 2) )} / 4 ・ ・ ・ (9)
第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。
The first image
また、第１の画像信号生成部２３２は、図９におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
Further, the first image
このようにして、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１について、ＲＧＢ成分の画像信号を得ることができる。
In this way, the first image
＜非合焦領域の画像信号の生成＞
第１の画像信号生成部２３２は、区分部２３１により区分または抽出された非合焦領域に対応する画素３１１については、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。なお、画像信号の生成に用いる光電変換部として、光電変換部１３、１４のどちらを選択してもよいが、連続する非合焦領域内において、選択する光電変換部は統一する。以下では、光電変換部１３の出力信号に基づき画像信号を生成する例を説明するが、光電変換部１４の出力信号に基づき画像信号を生成する場合も同様である。
<Generation of image signal in out-of-focus area>
For the
図１２は、非合焦領域に対応する画素３１１において、光電変換部１３、１４の出力信号の並びを例示する図である。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。ここでは、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１について、光電変換部１３の出力信号を画像信号とする。そのため第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。この色補間処理の際にも、画像構造の方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
FIG. 12 is a diagram illustrating the arrangement of output signals of the
図１２において、補間対象とする画素位置における光電変換部１３に対応する位置（以下注目位置と呼ぶ）（ｉ，ｊ）を斜線で示す。第１の画像信号生成部２３２は、注目位置（ｉ，ｊ）において、不足する色成分であるＧ成分に関して画像構造の方向判定を行う。第１の画像信号生成部２３２は、補間対象とする画素位置に上下左右に隣接する画素における光電変換部１３に対応する４つの位置、（ｉ−２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）の光電変換信号（Ｇ信号）を用いて次式（１０）〜（１３）により方向判定を行う。なお、図１２では上記４つの位置を丸印で示す。
In FIG. 12, a position corresponding to the photoelectric conversion unit 13 (hereinafter referred to as a target position) (i, j) at a pixel position to be interpolated is indicated by hatching. The first image
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１０）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１１）
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・（１２）
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・（１３）
ただし、閾値th_1およびth_2は、所定値である。
| G (i-2, j) -G (i + 2, j) |> th_1 and | G (i, j-1) -G (i, j + 1) | <th_2 (10)
| G (i-2, j) -G (i + 2, j) | <th_1 and | G (i, j-1) -G (i, j + 1) |> th_2 (11)
| G (i-2, j) -G (i + 2, j) |> th_1 and | G (i, j-1) -G (i, j + 1) |> th_2 (12)
| G (i-2, j) -G (i + 2, j) | <th_1 and | G (i, j-1) -G (i, j + 1) | <th_2 (13)
However, the thresholds th_1 and th_2 are predetermined values.
第１の画像信号生成部２３２は、上記式（１０）が成立する場合は、注目位置（ｉ，ｊ）に対して横（行）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１１）が成立する場合は、注目位置（ｉ，ｊ）に対して縦（列）方向にエッジがあると判定する。第１の画像信号生成部２３２は、上記式（１２）が成立する場合は、注目位置（ｉ，ｊ）に対してエッジの角があると判定する。第１の画像信号生成部２３２は、上記式（１３）が成立する場合は、注目位置（ｉ，ｊ）がエッジ上にないと判定する。
The first image
図１３は、Ｇ成分の補間処理を説明する図である。図１３（ａ）は、上記方向判定において横（行）方向にエッジがあると判定された場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ａ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ，ｊ−１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を次式（１４）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i,j-1)+G(i,j+1)}/2 ・・・（１４）
FIG. 13 is a diagram for explaining the G component interpolation processing. FIG. 13A is a diagram illustrating a case where it is determined in the direction determination that there is an edge in the horizontal (row) direction. In this case, the first image
G (i, j) = {G (i, j-1) + G (i, j + 1)} / 2 (14)
図１３（ｂ）は、上記方向判定において縦（列）方向にエッジがあると判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｂ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に横方向に隣接する画素の光電変換部１３に対応する２つの位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）の出力信号（Ｇ成分の信号）を次式（１５）のように単純平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)}/2 ・・・（１５）
FIG. 13B is a diagram illustrating a case where it is determined in the direction determination that there is an edge in the vertical (column) direction. In this case, the first image
G (i, j) = {G (i-2, j) + G (i + 2, j)} / 2 (15)
図１３（ｃ）は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合を説明する図である。この場合、第１の画像信号生成部２３２は、図１３（ｃ）において太枠で示す注目位置（ｉ，ｊ）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）の出力信号（Ｇ成分の信号）を、次式（１６）に示すように加重平均することにより、注目位置（ｉ，ｊ）のＧ成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 ・・・（１６）
FIG. 13C is a diagram illustrating a case where it is determined in the direction determination that there is an edge corner or no edge. In this case, the first image
G (i, j) = {G (i-2, j) + G (i + 2, j) + 2 * G (i, j-1) + 2 * G (i, j + 1)} / 6 ... (16)
式（１６）では、注目位置と上記４つの位置との間の距離に応じて重み付け係数を変えている。横方向に隣接する画素の光電変換部１３に対応する位置（ｉ−２，ｊ）、（ｉ＋２，ｊ）よりも、縦方向に隣接する画素の光電変換部１３に対応する位置（ｉ，ｊ−１）、（ｉ，ｊ＋１）の方が注目位置（ｉ，ｊ）との距離が近いので、Ｇ（ｉ−２，ｊ）、Ｇ（ｉ＋２，ｊ）よりもＧ（ｉ，ｊ−１）、（ｉ，ｊ＋１）に乗算する重み付け係数を大きくしている。
In Expression (16), the weighting coefficient is changed according to the distance between the target position and the four positions. Positions (i, j) corresponding to the
第１の画像信号生成部２３２は、Ｂ成分の位置およびＲ成分の位置においてそれぞれ上述したようにＧ成分の信号を補間する処理を行うことで、非合焦領域に対応する各画素３１１の位置においてＧ成分の信号を得ることができる。
The first image
図１４は、Ｒ成分の補間処理を説明する図である。図１４（ａ）は、図１２からＲ成分の信号を抽出した図である。第１の画像信号生成部２３２は、図１２におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ成分の信号を用いて注目位置におけるＲ成分の信号を補間処理によって生成する。Ｒ成分の信号の補間処理において、まず、第１の画像信号生成部２３２は、Ｇ成分の信号とＲ色成分の信号とに基づいて、図１４（ｂ）に示すように色差成分Ｃｒの信号を算出する。
FIG. 14 is a diagram for explaining R component interpolation processing. FIG. 14A is a diagram in which an R component signal is extracted from FIG. The first image
そして、第１の画像信号生成部２３２は、図１４（ｂ）の太枠で示す注目位置（ｉ＋２，ｊ＋１）に対応する画素に斜め方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ，ｊ）、（ｉ，ｊ＋２）、（ｉ＋４，ｊ）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１７）により、注目位置（ｉ＋２，ｊ＋１）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 ・・・（１７）
Then, the first image
Cr (i + 2, j + 1) = {Cr (i, j) + Cr (i, j + 2) + Cr (i + 4, j) + Cr (i + 4, j + 2)} / 4 ... (17)
また、第１の画像信号生成部２３２は、図１４（ｃ）の太枠で示す注目位置（ｉ＋２，ｊ＋２）に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置（ｉ＋２，ｊ＋１）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋３）、（ｉ＋４，ｊ＋２）の色差成分Ｃｒの信号に基づき、次式（１８）により、注目位置（ｉ＋２，ｊ＋２）における色差成分Ｃｒの信号を算出する。
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j＋3)+Cr(i+4,J+2)}/4 ・・・（１８）
Further, the first image
Cr (i + 2, j + 2) = {Cr (i + 2, j + 1) + Cr (i, j + 2) + Cr (i + 2, j + 3) + Cr (i + 4, J + 2 )} / 4 (18)
第１の画像信号生成部２３２は、このようにして各画素３１１の位置において色差成分Ｃｒの信号を得たのち、各画素３１１の位置に対応させてＧ成分の信号を加算することにより、各画素３１１の位置においてＲ成分の信号を得ることができる。
The first image
また、第１の画像信号生成部２３２は、図１２におけるＲ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＢ成分の信号を用いて注目位置におけるＢ成分の信号を補間処理によって生成する。Ｂ成分の信号の補間処理は、各画素３１１の位置において、色差Ｃｂの信号を得たのち、Ｇ成分の信号を加算することにより行う。これは、Ｒ成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
In addition, the first image
このようにして、第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１についても、ＲＧＢ成分の画像信号を得ることができる。
In this way, the first image
以上のように、第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１については、光電変換部１３、１４の出力信号を加算した加算信号に基づき画像信号を生成し、非合焦領域に対応する画素３１１については、光電変換部１３、１４のいずれか一方の出力信号に基づき画像信号を生成する。
As described above, the first image
＜ケラレの判定＞
上述では、非合焦領域に対応する画素３１１において、光電変換部１３の出力信号を用いて画像信号を生成する場合について説明したが、ケラレの状況に基づいて光電変換部１３、１４のいずれか一方を選択して画像信号を生成するようにしてもよい。
<Evaluation of vignetting>
In the above description, the case where the image signal is generated using the output signal of the
図１５は、交換レンズ２０２の射出瞳の位置とケラレとの関係を説明する図である。撮像素子２１２上の画素エリア１０１、１０２には一対の測距瞳９３、９４を通過する光束により一対の像が形成され、当該一対の像に対応する信号を各画素エリア１０１、１０２に配置された画素３１１が出力することになる。一対の測距瞳９３、９４は、交換レンズ２０２の射出瞳９０の測距瞳面に位置し、その測距瞳面は、交換レンズ２０２の予定結像面に配置されたマイクロレンズ１０の前方の距離ｄの位置に設定されている。距離ｄは、標準として設定した交換レンズ２０２における射出瞳９０からマイクロレンズ１０までの距離であり、以下、標準距離と呼ぶ。なお、カメラボディ２０３には種々の交換レンズ２０２が装着可能であり、装着する交換レンズ２０２によっては射出瞳９０がマイクロレンズ１０から標準距離ｄ以外の位置にある場合も想定される。
FIG. 15 is a diagram for explaining the relationship between the position of the exit pupil of the
測距瞳９３を通る光束２７２と測距瞳９４を通る光束２７３が、画素エリア１０１に一対の像を形成する。測距瞳９３を通る光束２８２と測距瞳９４を通る光束２８３が、画素エリア１０２に一対の像を形成する。交換レンズ２０２の射出瞳の位置が標準距離ｄの位置にある場合は、画素エリア１０１の光電変換部１３、１４が受光する光束２７２、２７３および画素エリア１０２の光電変換部１３、１４が受光する光束２８２、２８３は制限されない（すなわちケラレが生じない）。
A
光軸９１上にある画素エリア１０１に属する画素３１１については交換レンズ２０２の射出瞳の位置が標準距離ｄ以外の位置にあっても、光電変換部１３、１４が受光する光束２７２、２７３は光軸９１に対して対称に制限されるので、画像信号を生成する際、光電変換部１３、１４のどちらを選択してもよい。
For the
一方、光軸９１から離れた（撮影画面の周辺に位置する）画素エリア１０２に属する画素３１１については、交換レンズ２０２の射出瞳の位置によって光電変換部１３、１４が受光する光束２８２、２８３の制限のされ方が異なるので、より光束が制限されていない（ケラレが少ない、すなわち一様輝度における出力が大きい）方の光電変換部を選択して、画像信号を生成する。
On the other hand, for the
例えば交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合、光束２８３より光束２８２の方がケラレが少ないので、光束２８２を受光する光電変換部１３を選択して画像信号を生成する。
For example, when the exit pupil of the
また交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光束２８２より光束２８３の方がケラレが少ないので、光束２８３を受光する光電変換部１４を選択して画像信号を生成する。
In addition, when the exit pupil of the
なお、画素エリア１０２と光軸９１に対して反対側にある画素エリアに関しては、画素エリア１０２と一対の光束のケラレ方が逆になる。すなわち交換レンズ２０２の射出瞳が標準距離ｄより短い距離ｄ１の瞳面１０５にあった場合は光電変換部１４を選択し、交換レンズ２０２の射出瞳が標準距離ｄより長い距離ｄ２の瞳面１１０にあった場合、光電変換部１３を選択する。
Note that the vignetting of the
このようにケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に基づき、非合焦領域に対応する画素３１１の位置において、ケラレの状況、すなわちケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域に対応する画素３１１の位置において、ケラレ判定部２３７によって選択された光電変換部の出力信号に基づき画像信号を生成する。なお、光電変換部１３、１４が受光する一対の光束において、ケラレが同程度である場合、もしくは両方ともケラレが生じない場合には、光電変換部１３、１４のどちらを選択するようにしてもよい。
As described above, the
また、交換レンズ２０２の射出瞳の位置情報は、交換レンズ２０２のレンズ駆動制御装置２０６から電気接点２１３を介して通信により取得すればよい。また、ケラレ判定部２３７は、交換レンズ２０２の射出瞳の位置情報に加え、交換レンズ２０２の絞り値（Ｆ値）の情報を用いて、上記ケラレの状況を判定してもよい。
Further, the position information of the exit pupil of the
＜画像の解析＞
画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行う。上述したように当該画像信号は、非合焦領域について光電変換部１３、１４のいずれか一方の出力信号を用いていることにより、非合焦領域についてもボケの少ない画像となるので、被写体画像の解析処理を精度よく行うことができる。
<Image analysis>
The
画像解析部２３４は、被写体画像の解析処理として、たとえば、被写体画像からエッジを検出するエッジ検出処理、および被写体画像内の顔を認識する顔認識処理の少なくとも一方を行う。顔認識処理としては、たとえば、被写体画像内の顔を検出し、その顔が所定人物の顔であるか否かを識別する顔認証処理などを行う。顔認証処理では、被写体画像に含まれる顔の特徴量と、あらかじめカメラボディ２０３内の不図示の記憶部に登録されている登録ユーザーの顔の特徴量とを比較し、被写体画像に含まれる顔が登録ユーザーの顔であるか否かを識別する。エッジ検出処理および顔認識処理は、公知の技術であるため、詳細な説明は省略する。
The
（スルー画像および記録用の画像信号の生成）
第２の画像信号生成部２３３は、撮影画面全体に対応する画素３１１について、光電変換部１３の出力信号ａと光電変換部１４の出力信号ｂとを加算して平均した、（ａ＋ｂ）／２を、スルー画像または記録用の画像信号として生成する。この画像信号の生成処理は、上述した第１の画像信号生成部２３２において、略合焦領域に対応する画素の画像信号の生成処理と同様に行うため、詳細な説明を省略する。
(Generation of through image and image signal for recording)
The second image
表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、液晶表示素子２１６にスルー画像を表示させる。また、不図示のシャッターボタンが全押し操作された場合は、記録制御部２３６は、第２の画像信号生成部２３３により生成された画像信号に基づき、メモリカード２１９に画像を記録する。
The
このようにスルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、解析用の画像と異なり、非合焦領域においても光電変換部１３、１４の出力信号を加算して画像信号を生成する。
In this way, when a through image or a recording image is generated, the output signal of the
上述した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ２０１において、撮像素子２１２には、マイクロレンズ１０と交換レンズ２０２の瞳の一対の領域を通過した一対の光束をマイクロレンズ１０を介してそれぞれ受光して一対の出力信号をそれぞれ生成する一対の光電変換部１３、１４を有する画素３１１が二次元状に配置される。焦点検出部２３０は、横方向に配置された複数の画素３１１から出力される一対の出力信号の列のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する。区分部２３１は、デフォーカス量に基づき、前記撮影画面を略合焦領域と非合焦領域とに区分する。第１の画像信号生成部２３２は、略合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成し、非合焦領域の画素３１１については、光電変換部１３の出力信号と光電変換部１４の出力信号とのいずれか一方の出力信号によって画像信号を生成する。このような構成により、非合焦領域においてもボケの少ない画像、すなわち撮影画面全体が鮮明な画像を取得することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) In the
（２）デジタルカメラ２０１において、第２の画像信号生成部２３３は、撮影画面全体の画素３１１について、光電変換部１３の出力信号と光電変換部１４の出力信号とを加算した加算信号によって画像信号を生成する。このような構成により、非合焦領域のボケを生かした画像を取得することができる。
(2) In the
（３）デジタルカメラ２０１において、画像解析部２３４は、第１の画像信号生成部２３２により生成された画像信号に基づき、被写体画像の解析処理を行い、表示制御部２３５は、第２の画像信号生成部２３３により生成された画像信号に基づき、スルー画像を液晶表示素子２１６に表示させる。このような構成により、非合焦領域においてボケの少ない画像を用いて被写体画像の解析処理を行うので当該解析処理を精度よく行うことができ、スルー画像としては非合焦領域のボケを生かした画像を表示することができる。
(3) In the
（４）デジタルカメラ２０１において、ケラレ判定部２３７は、交換レンズ２０２の瞳位置の情報に基づきケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部１３、１４のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第１の画像信号生成部２３２は、非合焦領域の画素３１１について、ケラレ判定部２３７によって選択された光電変換部の出力信号によって画像信号を生成する。このような構成により、ケラレが少ない、すなわち一様輝度における出力が大きい方の光電変換部を用いて画像信号を生成することができる。
(4) In the
（５）デジタルカメラ２０１において、第１の画像信号生成部２３２は、非合焦領域の画素３１１について、光電変換部１３の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１３の出力信号に基づき色補間処理を行い、光電変換部１４の出力信号によって画像信号を生成する場合には、周辺の画素３１１における光電変換部１４の出力信号に基づき色補間処理を行う。このような構成により、色補間処理を精度よく行うことができる。
(5) In the
（６）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２には、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束７３、７４をそれぞれ受光して第１の出力信号を生成する第１の光電変換部１３と第２の出力信号を生成する第２の光電変換部１４とを有する画素が複数配置される。第１の画像信号生成部２３２は、第１の出力信号により、画像信号生成に用いられる画素３１１の信号を生成する。このような構成により、ボケの少ない鮮明な画像を取得することができる。
(6) The
（７）デジタルカメラ２０１は、撮像素子２１２と、第１の画像信号生成部２３２とを有する。撮像素子２１２は、第１の画素３１１とその周辺の第２の画素３１１とをそれぞれ複数有する。第１の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第１の色成分の第１の信号及び第２の信号をそれぞれ生成する第１の光電変換部１３及び第２の光電変換部１４を有する。第２の画素３１１は、交換レンズ２０２の射出瞳９０の一対の測距瞳９３および９４を通過した一対の光束である第１および第２の光束をそれぞれ受光して第２の色成分の第３の信号及び第４の信号をそれぞれ生成する第３の光電変換部１３及び第４の光電変換部１４を有する。第１の画像信号生成部２３２は、略合焦領域では、第３の信号と第４の信号とを加算して生成した画像信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。第１の画像信号生成部２３２は、非合焦領域では、第３の信号により、第１の画素３１１の位置における第２の色成分の信号を補間する。このような構成により、色補間処理を使い分けることができる。また、ボケを生かした画像とボケの少ない画像とを適宜作成することができる。
(7) The
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
ボディ駆動制御装置２１４は、第１の画像信号生成部２３２を、スルー画像または記録用画像生成のための画像信号の生成部としても用いることができる。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(Modification 1)
The body
その場合、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により画像を生成するモードと第２の画像信号生成部２３３により画像を生成するモードとをたとえばユーザー操作に応じて切り替えることによって、好適なスルー画像または記録用の画像を生成してもよい。これにより、非合焦領域においてもボケの少ない画像を撮影するか、ボケを生かした画像を撮影するかをユーザーの所望に応じて選択することができる。
In this case, the body
また、ボディ駆動制御装置２１４は、第１の画像信号生成部２３２により生成された画像信号により生成された画像信号を用いたスルー画像または記録用の画像を生成するとともに、第２の画像信号生成部２３３により生成された画像信号を用いたスルー画像または記録用の画像を生成することにより、２種類の画像を生成してもよい。これにより、１回の撮影において、２種類の画像、すなわち非合焦領域においてもボケの少ない画像とボケを生かした画像との両方を取得することができる。ユーザーは、これら２種類の画像を、所望に応じて適宜利用することができる。
In addition, the body
（変形例２）
第１の画像信号生成部２３２は、略合焦領域に対応する画素３１１及び非合焦領域に対応する画素３１１の両方について、光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成することとしてもよい。光電変換部１３、１４の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。そのため、第１の画像信号生成部２３２は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。
(Modification 2)
The first image
こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、解析用の画像信号が生成される。さらに、こうした第１の画像信号生成部２３２による画像信号生成処理と色補間処理とに基づき、スルー画像および記録用の画像信号が生成されることとしてもよい。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
Based on the image signal generation processing and the color interpolation processing by the first image
（変形例３）
撮影画面を略合焦領域と非合焦領域とに区分する区分部２３１を設けないこととしてもよい。この場合において、第１の画像信号生成部２３２は、撮影画面内の領域に対応する画素３１１の光電変換部１３、１４の出力信号を加算して画像信号を生成する。その際、第１の画像信号生成部２３２は、周辺の画素３１１の光電変換部１３、１４の出力信号を加算して不足する色成分の信号を生成する第１の補間処理を行う。こうして第１の画像信号生成部２３２により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
(Modification 3)
It is good also as not providing the
第２の画像信号生成部２３３は、撮影画面内の領域に対応する画素３１１の光電変換部１３の出力信号および光電変換部１４の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。その際、第２の画像信号生成部２３３は、光電変換部１３の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１３の出力信号を用いて不足する色成分の信号を生成し、光電変換部１４の出力信号を画像信号とするときは、周辺の画素３１１の光電変換部１４の出力信号を用いて不足する色成分の信号を生成する第２の補間処理を行う。こうして第２の画像信号生成部２３３により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
The second image
（変形例４）
色補間処理の方法は、上述した例に限らない。たとえば、図１３（ｃ）に示したＧ成分の補間処理において、注目位置に対応する画素に縦横方向に隣接する画素の光電変換部１３に対応する４つの位置の出力信号（Ｇ成分の信号）を単純平均することで、注目位置におけるＧ成分の信号を求めるようにしてもよい。
(Modification 4)
The color interpolation processing method is not limited to the above-described example. For example, in the G component interpolation processing shown in FIG. 13C, output signals (G component signals) at four positions corresponding to the
また、たとえば、Ｇ成分の補間処理において、横方向または縦方向にエッジがあると判定された場合も、注目位置に対応する画素に縦横方向に隣接する４つの画素の出力信号を加重平均することにより、注目位置のＧ成分の信号を求めるようにしてもよい。この場合、横方向にエッジがあると判定された場合は、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。一方、縦方向にエッジがあると判定された場合は、横方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を大きくし、縦方向に隣接する２つの画素の出力信号に乗算する重みづけ係数を小さくする。 Further, for example, in the G component interpolation processing, even when it is determined that there is an edge in the horizontal direction or the vertical direction, the weighted average of the output signals of four pixels adjacent in the vertical and horizontal directions to the pixel corresponding to the target position is performed. Thus, the G component signal at the target position may be obtained. In this case, when it is determined that there is an edge in the horizontal direction, the weighting coefficient for multiplying the output signals of two pixels adjacent in the vertical direction is increased, and the output signals of two pixels adjacent in the horizontal direction are multiplied. Reduce the weighting factor. On the other hand, when it is determined that there is an edge in the vertical direction, the weighting coefficient for multiplying the output signals of the two pixels adjacent in the horizontal direction is increased, and the output signal of the two pixels adjacent in the vertical direction is multiplied. Reduce the weighting factor.
（変形例５）
上述した実施の形態では、画素３１１の例として、１画素当たり２つの光電変換部を有する２ＰＤ構成を例に説明したが、複数の光電変換部の数は２つに限らず、４ＰＤでも１６ＰＤでも構わない。
(Modification 5)
In the embodiment described above, a 2PD configuration having two photoelectric conversion units per pixel has been described as an example of the
（変形例６）
上述した実施の形態では、撮像素子２１２の例として、撮像面の全域に焦点検出用の画素（一対の光電変換部を有する画素）が設けられる例について説明した。しかしながら、撮像素子２１２において、焦点検出エリアに対応する位置にのみ焦点検出用の画素が配置され、その他の位置には通常の画素（１つの光電変換部を有する画素）が配置されていてもよい。
(Modification 6)
In the above-described embodiment, an example in which pixels for focus detection (pixels having a pair of photoelectric conversion units) are provided over the entire imaging surface as an example of the
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
１０…マイクロレンズ、１３、１４…光電変換部、２０１…デジタルカメラ、２０２…交換レンズ、２０３…カメラボディ、２１２…撮像素子、２１４…ボディ駆動制御装置、２１６…液晶表示素子、２１９…メモリカード、２３０…焦点検出部、２３１…区分部、２３２…第１の画像信号生成部、２３３…第２の画像信号生成部、２３４…画像解析部、２３５…表示制御部、２３６…記録制御部、２３７…ケラレ判定部、３１１…画素
DESCRIPTION OF
Claims (12)
前記第１の信号により、画像信号生成に用いられる前記画素の信号を生成する信号生成部と、
を備える撮像装置。 A first photoelectric conversion unit that receives a first light flux that passes through the photographing optical system and generates a first signal; and a second photoelectric converter that receives the second light flux that passes through the photographing optical system and generates a second signal An image sensor in which a plurality of pixels having a second photoelectric conversion unit is disposed;
A signal generation unit configured to generate a signal of the pixel used for generating an image signal by the first signal;
An imaging apparatus comprising:
前記信号生成部は、複数の前記画素のうちの一部の画素について、前記第１の信号により、前記画像信号生成に用いられる前記画素の信号を生成する撮像装置。 The imaging device according to claim 1,
The signal generation unit is an imaging device that generates a signal of the pixel used for generating the image signal, based on the first signal, for a part of the plurality of pixels.
撮影画面内において、デフォーカス量が予め定められた閾値よりも大きい非合焦領域を、デフォーカス量に基づき区別する区分部をさらに備え、
前記一部の画素は、非合焦領域の画素である撮像装置。 The imaging device according to claim 2,
In the shooting screen, further comprising a classification unit for distinguishing a non-focused area where the defocus amount is larger than a predetermined threshold based on the defocus amount,
The imaging device, wherein the some pixels are pixels in an out-of-focus area.
前記一部の画素は、第１の色成分に対応する第１の画素と、第２の色成分に対応する第２の画素とを含み、
前記第１の画素が有する前記第１の光電変換部及び前記第２の光電変換部は、前記第１の色成分の前記第１の信号及び前記第１の色成分の前記第２の信号をそれぞれ生成し、
前記第２の画素が有する前記第１の光電変換部及び前記第２の光電変換部は、前記第２の色成分の前記第１の信号及び前記第２の色成分の前記第２の信号をそれぞれ生成し、
前記信号生成部は、前記第１の色成分の前記第１の信号により前記第２の色成分の前記第１の信号を補間する撮像装置。 The imaging device according to claim 3.
The some pixels include a first pixel corresponding to a first color component and a second pixel corresponding to a second color component,
The first photoelectric conversion unit and the second photoelectric conversion unit included in the first pixel receive the first signal of the first color component and the second signal of the first color component. Generate each
The first photoelectric conversion unit and the second photoelectric conversion unit included in the second pixel receive the first signal of the second color component and the second signal of the second color component. Generate each
The image generation device that interpolates the first signal of the second color component by the first signal of the first color component.
予め定められた方向に配置された複数の前記画素から出力される複数の前記第１の信号及び複数の前記第２の信号のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する焦点検出部と、
前記デフォーカス量に基づき、前記撮影画面を合焦領域と非合焦領域とに区分する区分部と、
前記合焦領域の前記画素については前記第１の信号と前記第２の信号とを加算した画像信号を生成し、前記非合焦領域の前記画素については前記第１の信号と前記第２の信号との一方の信号により画像信号を生成する第１の画像信号生成部と、
を備える撮像装置。 An image sensor in which pixels that receive the first and second light fluxes that have passed through the photographing optical system and generate the first and second signals are disposed;
Defocusing at various positions on the photographing screen by detecting deviation amounts of the plurality of first signals and the plurality of second signals output from the plurality of pixels arranged in a predetermined direction. A focus detection unit for detecting the amount;
Based on the defocus amount, a section that divides the shooting screen into a focus area and a non-focus area;
An image signal obtained by adding the first signal and the second signal is generated for the pixel in the in-focus region, and the first signal and the second signal are generated for the pixel in the non-focus region. A first image signal generation unit that generates an image signal from one of the signals,
An imaging apparatus comprising:
前記撮影画面全体の前記画素について、前記第１の信号と前記第２の信号とを加算した加算信号によって画像信号を生成する第２の画像信号生成部を更に備える撮像装置。 The imaging apparatus according to claim 5,
An imaging apparatus, further comprising: a second image signal generation unit configured to generate an image signal by using an addition signal obtained by adding the first signal and the second signal for the pixels of the entire photographing screen.
前記第１の画像信号生成部により生成された画像信号に基づき、被写体画像の解析処理を行う画像解析部と、
前記第２の画像信号生成部により生成された画像信号に基づき、スルー画像を表示部に表示させる表示制御部と、
を更に備える撮像装置。 The imaging device according to claim 6,
An image analysis unit that performs subject image analysis processing based on the image signal generated by the first image signal generation unit;
A display control unit that displays a through image on the display unit based on the image signal generated by the second image signal generation unit;
An imaging apparatus further comprising:
前記解析処理は、前記被写体画像からエッジを検出するエッジ検出処理および前記被写体画像内の顔を認識する顔認識処理の少なくとも一方である、撮像装置。 The imaging apparatus according to claim 7,
The imaging apparatus, wherein the analysis process is at least one of an edge detection process for detecting an edge from the subject image and a face recognition process for recognizing a face in the subject image.
前記画素は、マイクロレンズと前記撮影光学系を通過した前記第１及び第２の光束を前記マイクロレンズを介して受光して前記第１及び第２の信号をそれぞれ生成する第１及び第２の光電変換部を有し、
前記撮像装置は、前記撮影光学系の瞳位置の情報に基づきケラレが前記第１及び第２の光束のどちらに多く生じるかを判定し、前記第１及び第２の光電変換部のうち、前記ケラレの少ない方の光束を受光する光電変換部を選択するケラレ判定部をさらに備え、
前記第１の画像信号生成部は、前記非合焦領域の前記画素について、前記ケラレ判定部によって選択された光電変換部の信号によって画像信号を生成する、撮像装置。 In the imaging device according to any one of claims 5 to 8,
The pixel receives the first and second light fluxes that have passed through the microlens and the photographing optical system via the microlens and generates the first and second signals, respectively. Having a photoelectric conversion part,
The imaging device determines whether vignetting occurs more frequently in the first and second light fluxes based on information on a pupil position of the photographing optical system, and the first and second photoelectric conversion units include the first and second photoelectric conversion units. A vignetting determination unit that selects a photoelectric conversion unit that receives a light beam with less vignetting;
The imaging device, wherein the first image signal generation unit generates an image signal with respect to the pixels in the out-of-focus region based on a signal of a photoelectric conversion unit selected by the vignetting determination unit.
前記画素は、前記第１及び第２の光束の第１の色成分に関する分光感度特性を有する第１の画素と、前記第１及び第２の光束の前記第１の色成分と異なる第２の色成分に関する分光感度特性を有する第２の画素と、を含み、
前記第１の画像信号生成部は、前記第１の画素については、前記第２の色成分の画像信号を周辺の前記第２の画素の信号に基づき補間処理により生成し、前記第２の画素については、前記第１の色成分の画像信号を周辺の前記第１の画素の信号に基づき補間処理により生成し、
前記第１の画像信号生成部は、前記非合焦領域の前記画素について、前記第１の信号によって画像信号を生成する場合には、周辺の前記画素における前記第１の信号に基づき前記補間処理を行い、前記第２の信号によって画像信号を生成する場合には、周辺の前記画素における前記第２の信号に基づき前記補間処理を行う、撮像装置。 In the imaging device according to any one of claims 5 to 9,
The pixel includes a first pixel having spectral sensitivity characteristics related to a first color component of the first and second light fluxes, and a second different from the first color component of the first and second light fluxes. A second pixel having a spectral sensitivity characteristic with respect to a color component,
For the first pixel, the first image signal generation unit generates an image signal of the second color component based on a signal of the second pixel in the vicinity, and generates the second pixel. For, the image signal of the first color component is generated by interpolation processing based on the signal of the first pixel in the vicinity,
When the first image signal generation unit generates an image signal based on the first signal for the pixel in the out-of-focus region, the interpolation processing is performed based on the first signal in the surrounding pixels. When the image signal is generated by the second signal, the interpolation apparatus performs the interpolation processing based on the second signal in the surrounding pixels.
前記画素は、マイクロレンズと前記撮影光学系を通過した前記第１及び第２の信号を前記マイクロレンズを介して受光して前記第１及び第２の信号をそれぞれ生成する第１及び第２の光電変換部を有し、
前記第１の画像信号生成部は、前記非合焦領域の前記画素について、前記第１及び第２の光電変換部の並び方向に配置される画素の信号と、前記並び方向の直交方向に配置される画素の信号とに基づき前記補間処理を行う際、前記並び方向に配置される画素の信号に比べて前記直交方向に配置される画素の信号に乗算する重み付け係数を大きくする、撮像装置。 The imaging device according to claim 10.
The pixel receives the first and second signals that have passed through the microlens and the imaging optical system via the microlens and generates the first and second signals, respectively. Having a photoelectric conversion part,
The first image signal generation unit is arranged in a direction orthogonal to the arrangement direction of the pixel signals arranged in the arrangement direction of the first and second photoelectric conversion units for the pixels in the out-of-focus region. An image pickup apparatus that, when performing the interpolation processing based on a pixel signal, increases a weighting coefficient for multiplying a signal of a pixel arranged in the orthogonal direction as compared to a signal of a pixel arranged in the arrangement direction.
前記第３の信号と前記第４の信号とを加算した信号により、前記第１の画素の位置における前記第２の色成分の信号を補間する第１の補間処理部と、
前記第３の信号により、前記第１の画素の位置における前記第２の色成分の信号を補間する第２の補間処理部と、
を備える撮像装置。 A first photoelectric conversion unit and a second photoelectric conversion unit that receive the first and second light fluxes passing through the imaging optical system, respectively, and generate the first signal and the second signal of the first color component, respectively. And a third pixel that receives the first and second light fluxes passing through the photographing optical system and generates a third signal and a fourth signal of the second color component, respectively. An image sensor having a plurality of second pixels each having a photoelectric conversion unit and a fourth photoelectric conversion unit;
A first interpolation processing unit that interpolates the signal of the second color component at the position of the first pixel by a signal obtained by adding the third signal and the fourth signal;
A second interpolation processing unit for interpolating the signal of the second color component at the position of the first pixel by the third signal;
An imaging apparatus comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021089424A JP7235068B2 (en) | 2015-12-04 | 2021-05-27 | Imaging device |
| JP2023025815A JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015237632 | 2015-12-04 | ||
| JP2015237632 | 2015-12-04 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021089424A Division JP7235068B2 (en) | 2015-12-04 | 2021-05-27 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017108404A true JP2017108404A (en) | 2017-06-15 |
| JP6891470B2 JP6891470B2 (en) | 2021-06-18 |
Family
ID=59060965
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016236096A Active JP6891470B2 (en) | 2015-12-04 | 2016-12-05 | Imaging device |
| JP2021089424A Active JP7235068B2 (en) | 2015-12-04 | 2021-05-27 | Imaging device |
| JP2023025815A Active JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021089424A Active JP7235068B2 (en) | 2015-12-04 | 2021-05-27 | Imaging device |
| JP2023025815A Active JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6891470B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330769A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Image pickup device and its control method |
| WO2013147199A1 (en) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | Image sensor, imaging method, and imaging device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4812541B2 (en) | 2006-02-21 | 2011-11-09 | 京セラ株式会社 | Imaging device |
| JP5066851B2 (en) | 2006-07-05 | 2012-11-07 | 株式会社ニコン | Imaging device |
| JP5289105B2 (en) | 2009-03-05 | 2013-09-11 | キヤノン株式会社 | Image processing apparatus, control method therefor, and imaging apparatus |
| JP5421829B2 (en) | 2010-03-18 | 2014-02-19 | 富士フイルム株式会社 | Imaging device |
-
2016
- 2016-12-05 JP JP2016236096A patent/JP6891470B2/en active Active
-
2021
- 2021-05-27 JP JP2021089424A patent/JP7235068B2/en active Active
-
2023
- 2023-02-22 JP JP2023025815A patent/JP7501696B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330769A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Image pickup device and its control method |
| WO2013147199A1 (en) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | Image sensor, imaging method, and imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7501696B2 (en) | 2024-06-18 |
| JP2023075146A (en) | 2023-05-30 |
| JP7235068B2 (en) | 2023-03-08 |
| JP6891470B2 (en) | 2021-06-18 |
| JP2021145368A (en) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4973273B2 (en) | Digital camera | |
| JP5012495B2 (en) | IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE | |
| CN108462830B (en) | Image pickup apparatus and control method of image pickup apparatus | |
| JP5963606B2 (en) | Imaging apparatus and control method thereof | |
| US8902349B2 (en) | Image pickup apparatus | |
| JP2008268403A (en) | Focus detection device, focus detection method, and imaging apparatus | |
| JP5417827B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP7264192B2 (en) | Imaging element and imaging device | |
| JP5423111B2 (en) | Focus detection apparatus and imaging apparatus | |
| US9602716B2 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
| JP5338112B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP5407314B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP7235068B2 (en) | Imaging device | |
| JP5338113B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP5440585B2 (en) | Digital camera | |
| JP2009162845A (en) | Imaging device, focus detecting device and imaging apparatus | |
| JP5338119B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP5332384B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP5949893B2 (en) | Imaging device | |
| JP5338118B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP4968009B2 (en) | Correlation calculation method, correlation calculation device, focus detection device, and imaging device | |
| JP4968010B2 (en) | Correlation calculation method, correlation calculation device, focus detection device, and imaging device | |
| JP2019074634A (en) | Imaging apparatus | |
| JP6714434B2 (en) | Imaging device, control method thereof, program, and storage medium | |
| JP2013149043A (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201112 |
|
| TRDD | Decision of grant or rejection written | ||
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210423 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6891470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |