JP5338113B2 - Correlation calculation device, focus detection device, and imaging device - Google Patents

Correlation calculation device, focus detection device, and imaging device Download PDF

Info

Publication number
JP5338113B2
JP5338113B2 JP2008102674A JP2008102674A JP5338113B2 JP 5338113 B2 JP5338113 B2 JP 5338113B2 JP 2008102674 A JP2008102674 A JP 2008102674A JP 2008102674 A JP2008102674 A JP 2008102674A JP 5338113 B2 JP5338113 B2 JP 5338113B2
Authority
JP
Japan
Prior art keywords
signal data
electric signal
focus detection
correlation
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008102674A
Other languages
Japanese (ja)
Other versions
JP2009258144A (en
Inventor
洋介 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008102674A priority Critical patent/JP5338113B2/en
Publication of JP2009258144A publication Critical patent/JP2009258144A/en
Application granted granted Critical
Publication of JP5338113B2 publication Critical patent/JP5338113B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for calculating the correlation of a pair of data rows without coidentity. <P>SOLUTION: In each of a plurality of first data An and An+1 in a first data row An where a plurality of data A1, A2, to An are arranged one-dimensionally and a second data row Bn where a plurality of data B1, B2, to Bn are arranged one-dimensionally, correlation values of the plurality of first data and the plurality of second data are obtained by first arithmetic calculation (An&times;Bn+1+k-An+1&times;Bn+k) including a difference of products between the plurality of second data Bn+k and Bn+1+k corresponding to the plurality of first data An and An+1, and second arithmetic calculation (Sqrt(An<SP>2</SP>+An+1<SP>2</SP>)&times;Sqrt(Bn+K<SP>2</SP>+Bn+1+k<SP>2</SP>)) for normalizing the correlation values by the first arithmetic calculation by the plurality of first data An and An+1 and the plurality of second data Bn+k and Bn+1+k is performed. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は相関演算方法、相関演算装置、焦点検出装置および撮像装置に関する。   The present invention relates to a correlation calculation method, a correlation calculation device, a focus detection device, and an imaging device.

一対の信号データ列に相対的な歪みが生じて同一性が崩れている場合でも、一対の信号データ列の相関関係を演算可能にした相関演算方法が知られている（例えば、特許文献１参照）。   A correlation calculation method is known in which the correlation between a pair of signal data strings can be calculated even when relative distortion occurs in the pair of signal data strings and the identity is lost (see, for example, Patent Document 1). ).

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００７−３３３７２０号公報 Prior art documents related to the invention of this application include the following.
JP 2007-333720 A

しかしながら、従来の方法では、一対の信号データ列の内の一方の信号データ列の値と他方の信号データ列の値との差が大きいと相関演算結果の誤差が大きくなり、正確な相関関係を演算できないという問題がある。   However, in the conventional method, if the difference between the value of one signal data string of the pair of signal data strings and the value of the other signal data string is large, the error of the correlation calculation result increases, and an accurate correlation is obtained. There is a problem that it cannot be calculated.

請求項１の発明は、一次元上に配列された複数の第１電気信号データから構成される第１電気信号データ列と、一次元上に配列された複数の第２電気信号データから構成される第２電気信号データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１電気信号データ列と前記第２電気信号データ列との間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算装置であって、結像光学系を通過した光束による像を光電変換して、前記第１電気信号データ列を出力する第１の光電変換手段と、結像光学系を通過した光束による像を光電変換して、前記第２電気信号データ列を出力する第２の光電変換手段と、前記第１電気信号データ列の中の所定位置近傍の少なくとも２つの第１電気信号データと、前記２つの第１電気信号データに対応する前記第２電気信号データ列の中の２つの第２電気信号データとについて、前記２つの第１電気信号データの一方と前記２つの第２電気信号データの一方との積と、前記２つの第１電気信号データの他方と前記２つの第２電気信号データの他方との積との差を含む局所的相関量を演算する演算手段と、前記局所的相関量を、前記２つの第１電気信号データと前記２つの第２電気信号データとによって正規化する正規化手段と、前記所定位置を一次元上の所定区間に亘って移動させて前記正規化手段により正規化された局所的相関量を積算して積算値を、前記第１電気信号データ列と前記第２電気信号データ列との間の前記相関量として、算出する積算手段とを備えることを特徴とする。
請求項６の発明による焦点検出装置は、一次元上に配列された複数の第１電気信号データから構成される第１電気信号データ列と、一次元上に配列された複数の第２電気信号データから構成される第２電気信号データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１電気信号データ列と前記第２電気信号データ列との間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算装置であって、前記第１電気信号データ列の中の所定位置近傍の少なくとも２つの第１電気信号データと、前記２つの第１電気信号データに対応する前記第２電気信号データ列の中の２つの第２電気信号データとについて、前記２つの第１電気信号データの一方と前記２つの第２電気信号データの一方との積と、前記２つの第１電気信号データの他方と前記２つの第２電気信号データの他方との積との差を含む局所的相関量を演算する演算手段と、前記局所的相関量を、前記２つの第１電気信号データと前記２つの第２電気信号データとによって正規化する正規化手段と、前記所定位置を一次元上の所定区間に亘って移動させて前記正規化手段により正規化された局所的相関量を積算して積算値を、前記第１電気信号データ列と前記第２電気信号データ列との間の前記相関量として、算出する積算手段と、を有する相関演算装置と、結像光学系の瞳の一対の部分領域を通る一対の光束を受光して前記一対の光束による像にそれぞれ対応する前記第１及び第２の電気信号データ列を出力するデータ出力手段と、前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。 The invention according to claim 1 is composed of a first electric signal data string composed of a plurality of first electric signal data arranged in one dimension and a plurality of second electric signal data arranged in one dimension. The second electrical signal data sequence is relatively displaced while changing the displacement amount in one dimension, and a correlation amount between the first electrical signal data sequence and the second electrical signal data sequence is calculated. A correlation calculation device for obtaining the displacement amount from which an extreme value of the correlation amount is obtained , wherein a first electric signal data string is output by photoelectrically converting an image of a light beam that has passed through an imaging optical system. A photoelectric conversion means, a second photoelectric conversion means for photoelectrically converting an image of a light beam that has passed through the imaging optical system, and outputting the second electric signal data string; and a predetermined one of the first electric signal data strings At least two first electric signal data in the vicinity of the position; One of the two first electric signal data and one of the two second electric signal data with respect to two second electric signal data in the second electric signal data string corresponding to the first electric signal data And a computing means for computing a local correlation amount including a difference between the product of the other of the two first electric signal data and the other of the two second electric signal data, and the local correlation amount Is normalized by the two first electric signal data and the two second electric signal data, and the normalizing unit moves the predetermined position over a predetermined one-dimensional section. And an integration unit that integrates normalized local correlation amounts and calculates an integrated value as the correlation amount between the first electric signal data sequence and the second electric signal data sequence. And
According to a sixth aspect of the present invention, there is provided a focus detection apparatus comprising: a first electric signal data string composed of a plurality of first electric signal data arranged in one dimension; and a plurality of second electric signals arranged in a one dimension. The amount of correlation between the first electric signal data string and the second electric signal data string is obtained by relatively displacing the second electric signal data string composed of data while changing the amount of displacement in one dimension. Is a correlation calculation device for obtaining the displacement amount by which the extreme value of the correlation amount is obtained, wherein at least two first electric signal data in the vicinity of a predetermined position in the first electric signal data sequence, and With respect to two second electric signal data in the second electric signal data string corresponding to two first electric signal data, one of the two first electric signal data and two second electric signal data Product with one and the two second A computing means for computing a local correlation amount including a difference between the other of the electrical signal data and the other of the two second electrical signal data; and the local correlation amount as the two first electrical signal data. And normalizing means for normalizing with the two second electrical signal data, and integrating the local correlation amount normalized by the normalizing means by moving the predetermined position over a predetermined one-dimensional section A correlation calculation device having an integration means for calculating an integrated value as the correlation amount between the first electric signal data string and the second electric signal data string, and a pupil of the imaging optical system Data output means for receiving a pair of light beams passing through a pair of partial regions and outputting the first and second electric signal data sequences corresponding to images of the pair of light beams, respectively, and the connection based on the displacement amount; Check the focus adjustment status of the image optical system. Characterized in that it comprises a focus detection means for.

本発明によれば、同一性が崩れた一対のデータ列の相関関係を正確に演算することができる。   According to the present invention, it is possible to accurately calculate the correlation between a pair of data strings whose identity has been lost.

一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。   A lens interchangeable digital still camera will be described as an example as an imaging device and an imaging apparatus according to an embodiment. FIG. 1 is a cross-sectional view of a camera showing the configuration of the camera of one embodiment. A digital still camera 201 according to an embodiment includes an interchangeable lens 202 and a camera body 203, and the interchangeable lens 202 is attached to the camera body 203 via a mount unit 204. An interchangeable lens 202 having various photographing optical systems can be attached to the camera body 203 via a mount unit 204.

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。   The interchangeable lens 202 includes a lens 209, a zooming lens 208, a focusing lens 210, an aperture 211, a lens drive control device 206, and the like. The lens drive control device 206 includes a microcomputer (not shown), a memory, a drive control circuit, and the like, and performs drive control for adjusting the focus of the focusing lens 210 and adjusting the aperture diameter of the aperture 211, zooming lens 208, and focusing. In addition to detecting the state of the lens 210 and the aperture 211, the lens information is transmitted and the camera information is received through communication with a body drive control device 214 described later. The aperture 211 forms an aperture having a variable aperture diameter at the center of the optical axis in order to adjust the amount of light and the amount of blur.

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。   The camera body 203 includes an imaging element 212, a body drive control device 214, a liquid crystal display element drive circuit 215, a liquid crystal display element 216, an eyepiece lens 217, a memory card 219, and the like. In the imaging element 212, imaging pixels are two-dimensionally arranged, and focus detection pixels are incorporated in portions corresponding to focus detection positions. Details of the image sensor 212 will be described later.

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。   The body drive control device 214 includes a microcomputer, a memory, a drive control circuit, and the like, and controls the drive of the image sensor 212, reads out the image signal and the focus detection signal, performs the focus detection calculation based on the focus detection signal, and the focus of the interchangeable lens 202. The adjustment is repeated, and image signal processing and recording, camera operation control, and the like are performed. The body drive control device 214 communicates with the lens drive control device 206 via the electrical contact 213 to receive lens information and send camera information (defocus amount, aperture value, etc.).

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。   The liquid crystal display element 216 functions as an electric view finder (EVF). The liquid crystal display element driving circuit 215 displays a through image by the imaging element 212 on the liquid crystal display element 216, and the photographer can observe the through image through the eyepiece lens 217. The memory card 219 is an image storage that stores an image captured by the image sensor 212.

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。   A subject image is formed on the light receiving surface of the image sensor 212 by the light beam that has passed through the interchangeable lens 202. This subject image is photoelectrically converted by the image sensor 212, and an image signal and a focus detection signal are sent to the body drive control device 214.

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。   The body drive control device 214 calculates the defocus amount based on the focus detection signal from the focus detection pixel of the image sensor 212 and sends the defocus amount to the lens drive control device 206. The body drive control device 214 processes the image signal from the image sensor 212 to generate an image, stores the image in the memory card 219, and sends the through image signal from the image sensor 212 to the liquid crystal display element drive circuit 215. The through image is displayed on the liquid crystal display element 216. Further, the body drive control device 214 sends aperture control information to the lens drive control device 206 to control the aperture of the aperture 211.

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。   The lens drive controller 206 updates the lens information according to the focusing state, zooming state, aperture setting state, aperture opening F value, and the like. Specifically, the positions of the zooming lens 208 and the focusing lens 210 and the aperture value of the aperture 211 are detected, and lens information is calculated according to these lens positions and aperture values, or a lookup prepared in advance. Lens information corresponding to the lens position and aperture value is selected from the table.

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。   The lens drive control device 206 calculates a lens drive amount based on the received defocus amount, and drives the focusing lens 210 to the in-focus position according to the lens drive amount. Further, the lens drive control device 206 drives the diaphragm 211 in accordance with the received diaphragm value.

図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。   FIG. 2 is a diagram showing a focus detection position on the photographing screen of the interchangeable lens 202, and a region (focus detection) in which a focus detection pixel array on the image sensor 212 described later samples an image on the photographing screen when focus detection is performed. An example of an area and a focus detection position is shown. In this example, focus detection areas 101 to 103 are arranged at the center and three locations above and below the rectangular shooting screen 100. Focus detection pixels are linearly arranged in the longitudinal direction of the focus detection area indicated by a rectangle.

なお、詳細を後述するが、図２に示す焦点検出エリア１０１〜１０３おいて、画面周辺の焦点検出エリア１０２および１０３は画面中心から放射方向に沿って配置されており、画面中央の焦点検出エリア１０１に比べて焦点検出光束がケラレやすく、焦点検出エリア１０２、１０３で検出される一対の焦点検出信号データ列に相対的な歪みが生じて同一性が崩れる。しかし、この一実施の形態の相関演算方法によれば、このような一対の信号データ列に相対的な歪みが生じて同一性が崩れている場合でも、相関関係を正確に演算することができ、正確な焦点検出結果を得ることができる。   Although details will be described later, in the focus detection areas 101 to 103 shown in FIG. 2, the focus detection areas 102 and 103 around the screen are arranged along the radial direction from the center of the screen. Compared to 101, the focus detection light beam is easily vignetted, and a pair of focus detection signal data sequences detected in the focus detection areas 102 and 103 are relatively distorted and the identity is lost. However, according to the correlation calculation method of this embodiment, even when relative distortion occurs in such a pair of signal data strings and the identity is lost, the correlation can be accurately calculated. An accurate focus detection result can be obtained.

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。   FIG. 3 is a front view showing a detailed configuration of the image sensor 212, and shows an enlarged vicinity of the focus detection area 101 on the image sensor 212. Imaging pixels 310 are densely arranged in a two-dimensional square lattice pattern on the imaging element 212, and focus detection pixels 313 and 314 for focus detection are adjacent to each other on a vertical straight line at a position corresponding to the focus detection area 101. Are alternately arranged. Although not shown, the configuration in the vicinity of the focus detection areas 102 and 103 is the same as the configuration shown in FIG.

撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。   As illustrated in FIG. 4, the imaging pixel 310 includes a microlens 10, a photoelectric conversion unit 11, and a color filter (not shown). There are three types of color filters, red (R), green (G), and blue (B), and the respective spectral sensitivities have the characteristics shown in FIG. In the image pickup device 212, image pickup pixels 310 having respective color filters are arranged in a Bayer array.

焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。   As shown in FIG. 5A, the focus detection pixel 313 includes the microlens 10 and the photoelectric conversion unit 13, and the photoelectric conversion unit 13 has a semicircular shape. In addition, the focus detection pixel 314 includes the microlens 10 and the photoelectric conversion unit 14 as illustrated in FIG. 5B, and the photoelectric conversion unit 14 has a semicircular shape. When the focus detection pixel 313 and the focus detection pixel 314 are displayed with the microlens 10 superimposed, the photoelectric conversion units 13 and 14 are arranged in the vertical direction. The focus detection pixels 313 and the focus detection pixels 314 are alternately arranged in the vertical direction (alignment direction of the photoelectric conversion units 13 and 14) in the focus detection areas 101 to 103.

焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。   The focus detection pixels 313 and 314 are not provided with a color filter to increase the amount of light, and the spectral characteristics of the focus detection pixels 313 and 314 include the spectral sensitivity of a photodiode that performs photoelectric conversion and the spectral characteristics of an infrared cut filter (not shown). Spectral characteristics (see FIG. 7). That is, the spectral characteristics are obtained by adding the spectral characteristics of the green pixel, the red pixel, and the blue pixel shown in FIG. 6, and the light wavelength region of the sensitivity includes the light wavelength regions of the sensitivity of the green pixel, the red pixel, and the blue pixel. ing.

焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。   The focus detection pixels 313 and 314 for focus detection are arranged in a column where B and G of the imaging pixel 310 should be arranged. The focus detection pixels 313 and 314 for focus detection are arranged in a column in which the B and G of the imaging pixel 310 are to be arranged in view of human visual characteristics when an interpolation error occurs in the pixel interpolation processing. This is because the interpolation error of the blue pixel is less noticeable than the interpolation error of the red pixel.

撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。   The photoelectric conversion unit 11 of the imaging pixel 310 is designed so as to receive all the light beams that pass through the exit pupil diameter (for example, F1.0) of the brightest interchangeable lens by the microlens 10. In addition, the photoelectric conversion units 13 and 14 of the focus detection pixels 313 and 314 are designed to have a shape such that the microlens 10 receives all light beams passing through a predetermined region (for example, F2.8) of the exit pupil of the interchangeable lens. The

図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。   FIG. 8 is a cross-sectional view of the imaging pixel 310. In the imaging pixel 310, the microlens 10 is disposed in front of the photoelectric conversion unit 11 for imaging, and the shape of the photoelectric conversion unit 11 is projected forward by the microlens 10. The photoelectric conversion unit 11 is formed on the semiconductor circuit substrate 29. A color filter (not shown) is arranged between the microlens 10 and the photoelectric conversion unit 11.

図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。   FIG. 9A is a cross-sectional view of the focus detection pixel 313. In the focus detection pixel 313 disposed in the focus detection area 101 at the center of the screen, the microlens 10 is disposed in front of the photoelectric conversion unit 13, and the shape of the photoelectric conversion unit 13 is projected forward by the microlens 10. The photoelectric conversion unit 13 is formed on the semiconductor circuit substrate 29, and the microlens 10 is integrally and fixedly formed thereon by a semiconductor image sensor manufacturing process. Note that the cross-sectional structure of the focus detection pixels 313 arranged in the focus detection areas 102 and 103 at the top and bottom of the screen is the same as the cross-sectional structure shown in FIG.

図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。   FIG. 9B is a cross-sectional view of the focus detection pixel 314. In the focus detection pixel 314 disposed in the focus detection area 101 in the center of the screen, the microlens 10 is disposed in front of the photoelectric conversion unit 14, and the shape of the photoelectric conversion unit 14 is projected forward by the microlens 10. The photoelectric conversion unit 14 is formed on the semiconductor circuit substrate 29, and the microlens 10 is integrally and fixedly formed thereon by the manufacturing process of the semiconductor image sensor. Note that the cross-sectional structure of the focus detection pixels 314 arranged in the focus detection areas 102 and 103 at the top and bottom of the screen is the same as the cross-sectional structure shown in FIG.

図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。   FIG. 10 shows a configuration of a pupil division type phase difference detection type focus detection optical system using a microlens. The focus detection pixel portion is shown in an enlarged manner. In the figure, reference numeral 90 denotes an exit pupil set at a distance d forward from the microlens arranged on the planned imaging plane of the interchangeable lens 202 (see FIG. 1). This distance d is a distance determined according to the curvature and refractive index of the microlens, the distance between the microlens and the photoelectric conversion unit, and is referred to as a distance measuring pupil distance in this specification. 91 is an optical axis of the interchangeable lens, 10a to 10d are microlenses, 13a, 13b, 14a, and 14b are photoelectric conversion units, 313a, 313b, 314a, and 314b are focus detection pixels, and 73, 74, 83, and 84 are focus detection light fluxes. It is.

また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。   Reference numeral 93 denotes an area of the photoelectric conversion units 13a and 13b projected by the microlenses 10a and 10c, and is referred to as a distance measuring pupil in this specification. In FIG. 10, an elliptical region is shown for easy understanding, but the shape of the photoelectric conversion unit is actually an enlarged projection shape. Similarly, 94 is an area of the photoelectric conversion units 14a and 14b projected by the microlenses 10b and 10d, and is called a distance measuring pupil in this specification. In FIG. 10, an elliptical region is shown for easy understanding, but the shape of the photoelectric conversion unit is actually an enlarged projection shape.

図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。   In FIG. 10, four focus detection pixels 313a, 313b, 314a, and 314b adjacent to the photographing optical axis are schematically illustrated. However, other focus detection pixels in the focus detection area 101 also have a peripheral portion of the screen. Also in the focus detection pixels in the focus detection areas 102 and 103, the photoelectric conversion units are configured to receive the light beams coming from the corresponding distance measurement pupils 93 and 94 to the respective microlenses. The arrangement direction of the focus detection pixels is made to coincide with the arrangement direction of the pair of distance measuring pupils, that is, the arrangement direction of the pair of photoelectric conversion units.

マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。   The microlenses 10a to 10d are disposed in the vicinity of the planned imaging plane of the interchangeable lens 202 (see FIG. 1), and the shapes of the photoelectric conversion units 13a, 13b, 14a, and 14b disposed behind the microlenses 10a to 10d. Is projected onto the exit pupil 90 separated from the microlenses 10a to 10c by the distance measurement pupil distance d, and the projection shape forms distance measurement pupils 93 and 94. That is, the relative relationship between the microlens and the photoelectric conversion unit in each focus detection pixel is such that the projection shape (ranging pupils 93 and 94) of the photoelectric conversion unit of each focus detection pixel matches on the exit pupil 90 at the projection distance d. Thus, the projection position of the photoelectric conversion unit in each focus detection pixel is determined.

光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。   The photoelectric conversion unit 13a passes through the distance measuring pupil 93 and outputs a signal corresponding to the intensity of the image formed on the microlens 10a by the light beam 73 directed to the microlens 10a. Similarly, the photoelectric conversion unit 13b outputs a signal corresponding to the intensity of the image formed on the microlens 10c by the light beam 83 passing through the distance measuring pupil 93 and directed to the microlens 10c. Further, the photoelectric conversion unit 14a outputs a signal corresponding to the intensity of the image formed on the microlens 10b by the light beam 74 passing through the distance measuring pupil 94 and directed to the microlens 10b. Similarly, the photoelectric conversion unit 14b outputs a signal corresponding to the intensity of the image formed on the microlens 10d by the light beam 84 passing through the distance measuring pupil 94 and directed to the microlens 10d.

上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。   A large number of the two types of focus detection pixels described above are arranged in a straight line, and the output of the photoelectric conversion unit of each pixel is grouped into a distance measurement pupil 93 and an output group corresponding to the distance measurement pupil 94, thereby measuring the distance measurement pupil 93 and the measurement pupil 93. Information on the intensity distribution of the pair of images formed on the pixel array by the focus detection light beams that respectively pass through the distance pupil 94 is obtained. By applying an image shift detection calculation process (correlation calculation process, phase difference detection process), which will be described later, to this information, an image shift amount of a pair of images is detected by a so-called pupil division type phase difference detection method. Further, by performing a conversion operation according to the center-of-gravity interval of the pair of distance measuring pupils on the image shift amount, the current image plane relative to the planned image plane (the focus corresponding to the position of the microlens array on the planned image plane) The deviation (defocus amount) of the imaging plane at the detection position is calculated.

図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。   FIG. 11 is a flowchart illustrating an imaging operation of the digital still camera (imaging device) according to the embodiment. When the power of the camera is turned on in step 100, the body drive control device 214 starts the imaging operation after step 110. In step 110, the image pickup pixel data is thinned out and displayed on the electronic viewfinder. In subsequent step 120, a pair of image data corresponding to the pair of images is read from the focus detection pixel array. The focus detection area is assumed to be selected in advance by the photographer using one of the focus detection areas 101 to 103 using a focus detection area selection member (not shown).

ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。   In step 130, an image shift detection calculation process (correlation calculation process) described later is performed based on the read pair of image data, and the image shift amount is calculated and converted into a defocus amount. In step 140, it is checked whether or not the focus is close, that is, whether or not the absolute value of the calculated defocus amount is within a predetermined value. If it is determined that the lens is not in focus, the process proceeds to step 150, where the defocus amount is transmitted to the lens drive control device 206, and the focusing lens 210 of the interchangeable lens 202 is driven to the focus position. Then, it returns to step 110 and repeats the operation | movement mentioned above.

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。   Even when focus detection is impossible, the process branches to this step, a scan drive command is transmitted to the lens drive control device 206, and the focusing lens 210 of the interchangeable lens 202 is driven to scan from infinity to the nearest. Then, it returns to step 110 and repeats the operation | movement mentioned above.

ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。   If it is determined in step 140 that the focus is close to the in-focus state, the process proceeds to step 160, where it is determined whether or not a shutter release has been performed by operating a shutter button (not shown). If it is determined that the shutter release has not been performed, the process returns to step 110 to repeat the above-described operation. On the other hand, if it is determined that the shutter release has been performed, the process proceeds to step 170, where an aperture adjustment command is transmitted to the lens drive control device 206, and the aperture value of the interchangeable lens 202 is controlled to a control F value (F set by the photographer or automatically). Value). When the aperture control is finished, the image sensor 212 is caused to perform an imaging operation, and image data is read from the image pickup pixel 310 and all the focus detection pixels 313 and 314 of the image pickup element 212.

ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。   In step 180, pixel data of each pixel position in the focus detection pixel column is subjected to pixel interpolation based on data of imaging pixels around the focus detection pixel. In the subsequent step 190, image data composed of the imaged pixel data and the interpolated data is stored in the memory card 219, and the process returns to step 110 to repeat the above-described operation.

図１２は、図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャートである。ボディ駆動制御装置２１４は、ステップ２００からこの焦点検出演算処理（相関演算処理）を開始する。   FIG. 12 is a flowchart showing details of the focus detection calculation process in step 130 of FIG. The body drive control device 214 starts this focus detection calculation process (correlation calculation process) from step 200.

ステップ２１０において、 焦点検出画素列から出力される一対のデータ列（α1〜αM、β1〜βM：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１信号データ列（Ａ1〜ＡN）と第２信号データ列（Ｂ1〜ＢN）を生成する。これにより、信号データ列（以下、単にデータ列という）から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップ２１０の処理を省略することもできる。
Ａn＝αn＋２・αn+1＋αn+2，
Ｂn＝βn＋２・βn+1＋βn+2 ・・・（１）
（１）式において、ｎ＝１〜Ｎである。 In step 210, the pair of data strings (α1 to αM, β1 to βM, where M is the number of data) output from the focus detection pixel column is subjected to a high frequency cut filter process as shown in equation (1), A signal data string (A1 to AN) and a second signal data string (B1 to BN) are generated. As a result, noise components and high-frequency components that adversely affect correlation processing can be removed from a signal data sequence (hereinafter simply referred to as a data sequence). Note that the processing of step 210 can be omitted when shortening the calculation time or when it is already known that there is little high-frequency component since it has been greatly defocused.
An = αn + 2, αn + 1 + αn + 2,
Bn = βn + 2 · βn + 1 + βn + 2 (1)
In the formula (1), n = 1 to N.

データ列Ａn、Ｂnは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割方式の焦点検出画素で得られる一対のデータ列では、焦点検出光束のケラレ（口径蝕）により、同一性が崩れている。   The data strings An and Bn should ideally be the same data string relatively shifted, but in the pair of data strings obtained by the above-described pupil-division focus detection pixels, the focus detection light flux Identity is broken by vignetting.

図１３は、焦点検出光束のケラレ（口径蝕）を説明するための図である。図において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出画素が受光する光量のバランスは崩れない。   FIG. 13 is a diagram for explaining vignetting (vignetting) of the focus detection light beam. In the figure, a pair of focus detection pixels at a position x0 (image height 0) and a position x1 (image height h) are distance measurement pupil regions 93 and 94 on a distance measurement pupil plane 90 that is in front d of the planned focal plane 92, respectively. The pair of focus detection light fluxes 53, 54 and 63, 64 passing through the light is received. When there is an aperture stop 96 of the optical system on the front surface d1 (<d) 95 of the planned focal plane 92, a pair of focus detection light beams 53 received by the pair of focus detection pixels at the position x0 (image height 0). , 54 causes vignetting symmetrically with respect to the optical axis 91 due to the aperture 96, so that the balance of the amount of light received by the pair of focus detection pixels remains unchanged.

これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出画素が受光する光量のバランスは崩れてしまう。   On the other hand, the pair of focus detection light beams 63 and 64 received by the pair of focus detection pixels at the position x1 (image height h) cause vignetting asymmetrically by the aperture 96, and thus a pair of focus detection pixels. The balance of the amount of light received by the camera will be lost.

図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。   FIG. 14 is a diagram when the distance measuring pupil plane 90 is viewed from the planned focal plane 92 in the direction of the optical axis 91. It can be seen that the focus detection light beam 64 has a large vignetting due to the aperture opening 96, whereas the focus detection light beam 63 has less vignetting due to the aperture opening 96.

図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出光束の口径蝕のバランスが崩れている場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。   FIGS. 15A and 15B show a pair of images received by the focus detection pixel column in the vicinity of the position x0 (image height 0) and the vicinity of the position x1 (image height h) in the states of FIGS. 2 shows the intensity distribution of a pair of images received by the focus detection pixel array (the vertical axis indicates the amount of light, and the horizontal axis indicates the position on the photographing screen). When the vignetting balance of the focus detection light beam is balanced, as shown in FIG. 15A, the pair of image signals 400 and 401 are obtained by simply shifting the same image signal function in the horizontal direction. Yes. On the other hand, when the vignetting balance of the focus detection light beam is lost, as shown in FIG. 15B, the pair of image signals 402 and 403 are obtained by relatively shifting the same signal. Don't be.

このように、一対の信号データ列に相対的な歪みが生じて同一性が崩れている場合に、従来の相関演算方法では一対の信号データ列の相関関係を正確に演算することができない。特に従来の方法では、一対の信号データ列の内の一方の信号データ列の値が他方の信号データ列に比べて小さいほど、相関演算結果の誤差が大きくなり、正確な相関関係を演算できない。これについて以下に説明する。   Thus, when relative distortion occurs in the pair of signal data strings and the identity is lost, the conventional correlation calculation method cannot accurately calculate the correlation between the pair of signal data strings. In particular, in the conventional method, the smaller the value of one signal data string of a pair of signal data strings is, the larger the error of the correlation calculation result becomes, and the more accurate correlation cannot be calculated. This will be described below.

従来の相関演算方法においては、局所的な相関量を求める演算（Ａn・Ｂn+1+k−Ａn+1・Ｂn+k）の値は、二つのデータペア(Ａn,Ｂn+1)と(Ｂn+k,Ｂn+1+k)の間の相関が高いほど、０に近い値になるように設定されている。しかし、局所的相関量の値は演算に用いるデータＡn、Ｂn+1+k、Ｂn+k、Ａn+1の大きさに応じて変化する。   In the conventional correlation calculation method, the value of calculation (An · Bn + 1 + k−An + 1 · Bn + k) for obtaining the local correlation amount is two data pairs (An, Bn + 1) and ( Bn + k, Bn + 1 + k) is set to be closer to 0 as the correlation is higher. However, the value of the local correlation amount changes according to the size of the data An, Bn + 1 + k, Bn + k, An + 1 used for the calculation.

例えば、二つのデータペア(Ａn、Ａn+1)と(Ｂn+k,Ｂn+1+k)の間の局所的相関量の値と、二つのデータペア(Ａn,Ａn+1)と(Ｂn+k／２,Ｂn+1+k／２)の間の局所的相関量の値は、本来同程度になるはずであるが、これらのデータペアの局所的相関量の値は後者のデータペアの方が小さな値となり、前者のデータペアよりも相関度が高い結果になる。また、二つのデータペア(Ａn、Ａn+1)と(Ｂn+k,Ｂn+1+k)の内の一方が極端に小さな値の場合、例えば一方が画像の暗部分に対応する信号データ列の場合には、二つのデータペアどうしの局所的相関量も小さい値になり、高い相関があるという結果になる。   For example, a local correlation value between two data pairs (An, An + 1) and (Bn + k, Bn + 1 + k), two data pairs (An, An + 1), and (Bn + k / 2, Bn + 1 + k / 2), the local correlation value should be about the same, but the local correlation value of these data pairs is the latter data pair. Becomes a smaller value, and the degree of correlation is higher than that of the former data pair. If one of the two data pairs (An, An + 1) and (Bn + k, Bn + 1 + k) has an extremely small value, for example, one of the signal data strings corresponds to the dark part of the image. In this case, the local correlation amount between the two data pairs is also a small value, which results in a high correlation.

このため、相関量Ｃ(k)に基づいて算出した一対の信号データ列間の相対的な偏位量に誤差が生じたり、偽りの相関量Ｃ(k)の極小値に基づいて間違った相対的な偏位量を算出することになる。この一実施の形態は、このような従来の相関演算方法の問題を解決し、同一性が崩れている一対の信号データ列に対しても正確なシフト量を算出する。   For this reason, an error occurs in the relative deviation amount between the pair of signal data strings calculated based on the correlation amount C (k), or an incorrect relative value is generated based on the minimum value of the false correlation amount C (k). The amount of deviation is calculated. This embodiment solves such a problem of the conventional correlation calculation method, and calculates an accurate shift amount even for a pair of signal data strings whose identity is broken.

一実施の形態では、例えば焦点検出光束の口径蝕により同一性が崩れた一対の像信号に対応する一対の信号データ列（第１データ列、第２データ列）に対して以下の相関演算を行い、一対の像信号間の像ズレ量を検出する。図１２のステップ２２０において、まず、第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量を演算するにあたり、（２）式によりデータＡnおよびＢn+kの近傍のデータを用いてデータＡnおよびＢn+kの近傍の局所的相関量Ｐ(n)を演算する。
Ｐ(n)＝（Ａn・Ｂn+d+k−Ａn+d・Ｂn+k）／（Ｓqrt（Ａn２＋Ａn+d２）・Ｓqrt（Ｂn+k２＋Ｂn+d+k２）） ・・・（２）
（２）式において、ｄは整数定数（＝１，２，・・）であり、Ｓqrt()は平方根を表す。 In one embodiment, for example, the following correlation calculation is performed on a pair of signal data strings (first data string, second data string) corresponding to a pair of image signals whose identity has been lost due to vignetting of the focus detection light beam. And detecting an image shift amount between the pair of image signals. In step 220 of FIG. 12, first, when calculating the correlation amount by shifting the second data sequence (B1 to BN) relative to the first data sequence (A1 to AN) (shift amount k), ( 2) Using the data in the vicinity of the data An and Bn + k, the local correlation amount P (n) in the vicinity of the data An and Bn + k is calculated according to the equation (2).
P (n) = (An · Bn + d + k−An + d · Bn + k) / (Sqrt (An 2 + An + d 2 ) · Sqrt (Bn + k 2 + Bn + d + k 2 )) (2)
In the formula (2), d is an integer constant (= 1, 2,...), And Sqrt () represents a square root.

（２）式において、局所的相関量Ｐ(n)はデータＡn、Ａn+dを成分とした２次元ベクトルとデータＢn+k、Ｂn+d+kを成分とした２次元ベクトルとの外積を、各ベクトルの大きさで正規化した量となっており、２つのベクトルの方向の違いが少ないほど小さな値となり、ベクトルの大きさには依存しない量になっている。このような処理を行うことによって、ベクトルの大きさが小さい場合の相関演算による誤差を減少させることができる。なお、（２）式の分母が０になると（２）式が発散してしまうので、分母が０となる場合にはＰ(n)＝０とすることができる。   In equation (2), the local correlation amount P (n) is an outer product of a two-dimensional vector having data An and An + d as components and a two-dimensional vector having data Bn + k and Bn + d + k as components. The amount is normalized by the size of each vector. The smaller the difference between the directions of the two vectors, the smaller the value, and the amount does not depend on the size of the vector. By performing such processing, errors due to correlation calculation when the vector size is small can be reduced. Note that, when the denominator of the expression (2) becomes 0, the expression (2) diverges. Therefore, when the denominator becomes 0, P (n) = 0 can be set.

（２）式の局所的相関量Ｐ(n)の絶対値をとり、さらにデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（３）式に示す一対のデータ列間のシフト量ｋにおける相関量Ｃ(k)である。この相関量Ｃ(k)は、一対の像信号間の同一性が崩れている場合でも、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取る。
Ｃ(k)＝Σ｜Ｐ(n)｜＝Σ｜(Ａn・Ｂn+d+k−Ａn+d・Ｂn+k)／（Ｓqrt(Ａn２＋Ａn+d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２)）｜ ・・・（３） The absolute value of the local correlation amount P (n) in the equation (2) is taken and the data position n is integrated over a predetermined section (for example, n = p to q) is a pair shown in the equation (3). Is the correlation amount C (k) in the shift amount k between the data strings. This correlation amount C (k) takes a minimum value in the shift amount k that matches the image signals before the identity is lost, even when the identity between the pair of image signals is lost.
C (k) = Σ | P (n) | = Σ | (An · Bn + d + k−An + d · Bn + k) / (Sqrt (An 2 + An + d 2 ) · Sqrt (Bn + k 2) + Bn + d + k 2 )) | (3)

図１６に、ｄ＝１とした場合の上記相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を図式化して示す。   FIG. 16 schematically shows the relationship between the calculation of the correlation amount C (k) and a pair of data strings (A1 to AN, B1 to BN) when d = 1.

ステップ２３０において、（３）式の演算結果は、図１７(ａ)に示すように、一対のデータの相関が高いシフト量（図１７(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。（４）式〜（７）式による３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（４），
Ｃ(ｘ)＝ Ｃ（ｋj）−｜Ｄ｜ ・・・（５），
Ｄ＝｛Ｃ（ｋj-1）−Ｃ（ｋj+1）｝／２ ・・・（６），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj+1）−Ｃ（ｋj），Ｃ（ｋj-1）−Ｃ（ｋj）｝ ・・・（７） In step 230, as shown in FIG. 17 (a), the calculation result of the expression (3) indicates that the correlation amount C (( k) is the smallest (the smaller the value, the higher the degree of correlation). Using a three-point interpolation method according to equations (4) to (7), a shift amount x that gives a minimum value C (x) for a continuous correlation amount is obtained.
x = kj + D / SLOP (4),
C (x) = C (kj) − | D | (5),
D = {C (kj-1) -C (kj + 1)} / 2 (6),
SLOP = MAX {C (kj + 1) -C (kj), C (kj-1) -C (kj)} (7)

例えば図１８に示すような同一性の崩れたサイン波形の一対の像データ列Ｆ(ｘ)、Ｇ(ｘ)に対し、上述した従来の相関演算方法を適用した場合には、相関量Ｃ(k)が図１９に示すようなグラフとなり、（３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると図２０に示すようなグラフとなる。なお、図１９および図２０において、横軸がシフト量ｋ、縦軸が演算結果（相関量）である。   For example, when the above-described conventional correlation calculation method is applied to a pair of image data sequences F (x) and G (x) having a sine waveform whose identity is broken as shown in FIG. 19 is a graph as shown in FIG. 19, and when the correlation amount C (k) is obtained by applying the correlation calculation (d = 1) shown in the equation (3), a graph as shown in FIG. 20 is obtained. In FIGS. 19 and 20, the horizontal axis represents the shift amount k, and the vertical axis represents the calculation result (correlation amount).

上述したように、相関量Ｃ(k)の最小値および相関量Ｃ(k)の最小値を与えるシフト量ｋ、並びにその前後のシフト量における相関量に基づいて、データ間隔以下の精度でシフト量を内挿して求める。この際、相関グラフの傾きが最小相関量の左右で略等しいという仮定を用いて内挿しているため、（３）式に示す相関演算で求めた相関量Ｃ(k)のグラフ（図２０参照）のように、最小相関量の左右のグラフ形状が略等しくなるほうが内挿して求めたシフト量の精度が向上する。   As described above, based on the shift amount k that gives the minimum value of the correlation amount C (k) and the minimum value of the correlation amount C (k), and the correlation amounts in the shift amounts before and after the shift amount, the shift is performed with an accuracy less than the data interval. Interpolate the quantity. At this time, since interpolation is performed using the assumption that the slope of the correlation graph is substantially equal on the left and right of the minimum correlation amount, a graph of the correlation amount C (k) obtained by the correlation calculation shown in equation (3) (see FIG. 20). ), The accuracy of the shift amount obtained by interpolation is improved when the left and right graph shapes of the minimum correlation amount are substantially equal.

図２１は、図１８に示すサイン波形の一対の像データ列を±１画素の範囲において０．１画素単位で相対的にずらした場合に、横軸を像ズレ量、縦軸を像ズレ量の演算結果で示したグラフである。図において、＊が（３）式による結果、■が従来の相関演算（＝正規化なし）の結果である。誤差がない場合には、原点（０，０）を通り傾き１の直線になるはずである。また、図２２は横軸を像ズレ量、縦軸を誤差量（真の像ズレ量に対する誤差量）で示したグラフであり、＊が（３）式による誤差、■が従来の相関演算による誤差である。この図から明らかなように、一実施の形態の（３）式による相関演算のほうが高精度である。   FIG. 21 shows the image shift amount on the horizontal axis and the image shift amount on the vertical axis when the pair of image data strings having the sine waveform shown in FIG. 18 are relatively shifted in units of 0.1 pixels within a range of ± 1 pixel. It is the graph shown by the calculation result of. In the figure, * is the result of equation (3), and ■ is the result of conventional correlation calculation (= no normalization). If there is no error, it should be a straight line with an inclination of 1 through the origin (0, 0). FIG. 22 is a graph in which the horizontal axis indicates the image shift amount, and the vertical axis indicates the error amount (error amount with respect to the true image shift amount), where * indicates an error according to equation (3) and ■ indicates a conventional correlation calculation. It is an error. As is clear from this figure, the correlation calculation according to the expression (3) of the embodiment is more accurate.

ステップ２４０では、（４）式で求めたシフト量ｘを用いて被写体像面の予定結像面に対するデフォーカス量ＤＥＦを次式により求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（８）
（８）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。 In step 240, the defocus amount DEF of the subject image plane with respect to the planned image formation plane can be obtained by the following equation using the shift amount x obtained by equation (4).
DEF = KX · PY · x (8)
In equation (8), PY is a detection pitch, and KX is a conversion coefficient determined by the size of the opening angle of the center of gravity of the pair of distance measuring pupils.

算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図１７(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図１７(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。   Whether or not the calculated defocus amount DEF is reliable is determined as follows. As shown in FIG. 17B, when the degree of correlation between a pair of data is low, the value of the minimum value C (x) of the interpolated correlation amount is large. Therefore, it is determined that the reliability is low when C (x) is equal to or greater than a predetermined value. Alternatively, in order to normalize C (x) with the contrast of data, if the value obtained by dividing C (x) by SLOP that is proportional to the contrast is equal to or greater than a predetermined value, it is determined that the reliability is low. Alternatively, if SLOP that is proportional to the contrast is equal to or less than a predetermined value, it is determined that the subject has low contrast and the reliability of the calculated defocus amount DEF is low. As shown in FIG. 17C, when the correlation between the pair of data is low and there is no drop in the correlation amount C (k) between the shift ranges kmin to kmax, the minimum value C (x) is obtained. In such a case, it is determined that the focus cannot be detected. When focus detection is possible, the defocus amount is calculated by multiplying the calculated image shift amount by a predetermined conversion coefficient.

ステップ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップ１４０へリターンする。   In step 250, the focus detection calculation process (correlation calculation process) is terminated, and the process returns to step 140 in FIG.

《発明の他の一実施の形態》
上述した一実施の形態の相関演算式（２）式においては、一対のデータ列の内の一方のデータ列のデータＡn、Ａn+kを成分とした２次元ベクトルと、他方のデータ列のデータＢn+k、Ｂn+d+kを成分とした２次元ベクトルとの外積（第１演算）を、各ベクトルの大きさで正規化（第２演算）して局所的相関量Ｐ(n)を算出する例を示した。局所的相関量Ｐ(n)を求める第１演算と第２演算は上述した一実施の形態の相関演算方法に限定されるものではなく、以下に示す他の相関演算方法を用いてもよい。 << Another Embodiment of the Invention >>
In the correlation calculation formula (2) of the above-described embodiment, the two-dimensional vector including the data An and An + k of one data string of the pair of data strings and the data of the other data string are used. The outer product (first operation) with a two-dimensional vector having Bn + k and Bn + d + k as components is normalized by the magnitude of each vector (second operation) to obtain the local correlation amount P (n). An example of calculation is shown. The first calculation and the second calculation for obtaining the local correlation amount P (n) are not limited to the correlation calculation method of the embodiment described above, and other correlation calculation methods described below may be used.

局所的相関量Ｐ(n)を求めるのに使用される第１演算としては、一対のデータ列の内の一方のデータ列における複数のデータと、他方のデータ列における複数のデータとの間において相関を求める演算であればよく、少なくともデータ間の減算および乗算を含んでいる。   As the first calculation used to obtain the local correlation amount P (n), between a plurality of data in one data string and a plurality of data in the other data string of a pair of data strings Any calculation for obtaining a correlation may be used, and at least subtraction and multiplication between data are included.

《相関演算方法１》
（９）式は、データＡn、Ａn+d、Ａn+2dを成分とした３次元ベクトルと、データＢn+k、Ｂn+d+k、Ｂn+2d+kを成分とした３次元ベクトルとの外積で生成されるべクトルの大きさを第１演算とした相関演算方法である。
Ｐ(n)＝（(Ａn・Ｂn+d+k−Ａn+d・Ｂn+k)２＋(Ａn・Ｂn+2d+k−Ａn+2d・Ｂn+k)２＋(Ａn+2d・Ｂn+d+k−Ａn+d・Ｂn+2d+k)２）／（(Ａn２＋Ａn+d２＋Ａn+2d２）・(Ｂn+k２＋Ｂn+d+k２＋Ｂn+2d+k２)） ・・・（９） << Correlation calculation method 1 >>
Equation (9) is a three-dimensional vector having data An, An + d and An + 2d as components, and a three-dimensional vector having data Bn + k, Bn + d + k and Bn + 2d + k as components. This is a correlation calculation method in which the size of the vector generated by the outer product is the first calculation.
P (n) = ((An · Bn + d + k−An + d · Bn + k) 2 + (An · Bn + 2d + k−An + 2d · Bn + k) 2 + (An + 2d · Bn + d + k−An + d · Bn + 2d + k) 2 ) / ((An 2 + An + d 2 + An + 2d 2 ) · (Bn + k 2 + Bn + d + k 2 + Bn + 2d + k 2 ) (9)

《相関演算方法２》
（１０）式は、データＡn、Ａn+dの１階差分と、データＢn+k、Ｂn+d+kの１階差分の内積の符号を反転したものを第１演算とした相関演算方法である。
Ｐ(n)＝−（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k）／（Ｓqrt(Ａn２＋Ａn+d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２)） ・・・（１０） << Correlation calculation method 2 >>
Equation (10) is a correlation calculation method in which the first calculation is obtained by inverting the sign of the inner product of the first-order difference between data An and An + d and the first-order difference between data Bn + k and Bn + d + k. is there.
P (n) = - (An -An + d) · (Bn + k-Bn + d + k) / (Sqrt (An 2 + An + d 2) · Sqrt (Bn + k 2 + Bn + d + k 2) (10)

このように、第１演算としては、同一性が崩れた一対の像信号の像ズレ量の算出が可能な演算を適用することができる。例えば、データの２階差分を用いた内積演算などを適用することができる。   As described above, as the first calculation, an operation capable of calculating the image shift amount of a pair of image signals whose identity is lost can be applied. For example, an inner product calculation using a second-order difference of data can be applied.

一方、第２演算としては、第１演算に用いるデータを用いて第１演算の値を略正規化できる演算を適用することができる。   On the other hand, as the second operation, an operation that can substantially normalize the value of the first operation using data used for the first operation can be applied.

《相関演算方法３》
（１１）式は、２つのデータの内積演算を第２演算とした相関演算方法である。
Ｐ(n)＝（Ａn・Ｂn+d+k−Ａn+d・Ｂn+k）／（Ａn・Ｂn+k＋Ａn+d・Ｂn+d+k） ・・・（１１） << Correlation calculation method 3 >>
Expression (11) is a correlation calculation method in which the inner product calculation of two data is the second calculation.
P (n) = (An.Bn + d + k-An + d.Bn + k) / (An.Bn + k + An + d.Bn + d + k) (11)

《相関演算方法４》
（１２）式は、２つのデータの和の積を第２演算とした相関演算方法である。
Ｐ(n)＝（Ａn・Ｂn+d+k−Ａn+d・Ｂn+k）／｛（Ａn＋Ａn+d）・（Ｂn+k＋Ｂn+d+k）｝ ・・・（１２） << Correlation calculation method 4 >>
Expression (12) is a correlation calculation method in which the product of the sum of two data is the second calculation.
P (n) = (An.Bn + d + k-An + d.Bn + k) / {(An + An + d). (Bn + k + Bn + d + k)} (12)

《相関演算方法５》
（１３）式は、２つのデータの相乗平均を第２演算とした相関演算方法である。
Ｐ(n)＝（Ａn・Ｂn+d+k−Ａn+d・Ｂn+k）／｛Ｓqrt(Ａn・Ｂn+k)・Ｓqrt(Ａn+d・Ｂn+d+k)｝ ・・・（１３） << Correlation calculation method 5 >>
Expression (13) is a correlation calculation method using a geometric average of two data as a second calculation.
P (n) = (An * Bn + d + k-An + d * Bn + k) / {Sqrt (An * Bn + k) * Sqrt (An + d * Bn + d + k)} 13)

《相関演算方法６》
上述した相関演算方法では、一対の信号データ列における局所的なデータ間の相関を演算する（第１演算）とともに、この第１演算に用いたデータの大きさを演算してこの値で第１演算結果を正規化し（第２演算）、局所的相関量Ｐ(n)を算出する。そして、局所的相関量Ｐ(n)を所定のデータ区間に亘って積算することによって、一対の信号データ列間の相関量Ｃ(k)を算出している。しかしながら、正規化の手法は上述した方法に限定されるものではない。 << Correlation calculation method 6 >>
In the correlation calculation method described above, the correlation between the local data in the pair of signal data strings is calculated (first calculation), the magnitude of the data used for the first calculation is calculated, and this value is used as the first value. The calculation result is normalized (second calculation), and the local correlation amount P (n) is calculated. Then, the correlation amount C (k) between the pair of signal data strings is calculated by integrating the local correlation amount P (n) over a predetermined data section. However, the normalization method is not limited to the method described above.

例えば、一対の信号データ列における局所的なデータ間の相関演算（第１演算）により求めた値を局所的相関量Ｐ(n)とし、この局所的相関量Ｐ(n)を所定のデータ区間に亘って積算する。そして、この積算量を所定のデータ区間のデータの大きさ（データの総和など）で正規化することによって、正規化による効果（像歪みの影響を軽減する）を得ることができる。   For example, a value obtained by a correlation calculation (first calculation) between local data in a pair of signal data strings is a local correlation amount P (n), and this local correlation amount P (n) is defined as a predetermined data section. It accumulates over. Then, by normalizing this integrated amount with the data size (such as the total sum of data) in a predetermined data section, the effect of normalization (reducing the influence of image distortion) can be obtained.

具体的には、まず、第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量Ｃ(k)を演算するにあたり、（１４）式によりデータＡnおよびＢn+kの近傍のデータを使用してデータＡnおよびＢn+kの近傍の局所的相関量Ｐ(n)を演算する。
Ｐ(n)＝（Ａn・Ｂn+k+k−Ａn+d・Ｂn+k） ・・・（１４）
（１４）式において、ｄは整数定数（＝１，２，３，・・・）である。 Specifically, when calculating the correlation amount C (k) by first shifting the second data sequence (B1 to BN) relative to the first data sequence (A1 to AN) (shift amount k). , (14) is used to calculate the local correlation amount P (n) in the vicinity of the data An and Bn + k using the data in the vicinity of the data An and Bn + k.
P (n) = (An · Bn + k + k−An + d · Bn + k) (14)
In the formula (14), d is an integer constant (= 1, 2, 3,...).

（１４）式の局所的相関量Ｐ(n)の絶対値をとり、さらにデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものを、所定区間における第１データ列の総和と第２データ列の総和との積により正規化すると、（１５）式に示すように一対のデータ列間のシフト量ｋにおける相関量Ｃ(k)となり、この相関量は一対の像信号間の同一性が崩れていた場合においても、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝（Σ｜Ｐ(n)｜）／｛(ΣＡn)・(ΣＢn)｝ ・・・（１５） The absolute value of the local correlation amount P (n) of the equation (14) is taken, and the first data string in the predetermined section is obtained by integrating the data position n over a predetermined section (for example, n = p to q). Is normalized by the product of the sum of the second data string and the sum of the second data string, the correlation amount C (k) in the shift amount k between the pair of data strings as shown in the equation (15). Even when the identity between the signals is broken, the minimum value is taken in the shift amount k with which the image signals before the identity is matched.
C (k) = (Σ | P (n) |) / {(ΣAn) · (ΣBn)} (15)

（１５）式において、相関量Ｃ(k)は、局所的相関量Ｐ(n)の所定区間における総和を、所定区間における第１データ列と第２データ列の大きさで正規化した量となっており、一対のデータ列間に歪みが生じている場合においても、この歪みが相関量Ｃ(k)に与える影響が軽減されることになる。   In equation (15), the correlation amount C (k) is an amount obtained by normalizing the sum of the local correlation amount P (n) in a predetermined section with the sizes of the first data string and the second data string in the predetermined section. Thus, even when distortion occurs between the pair of data strings, the influence of the distortion on the correlation amount C (k) is reduced.

《相関演算方法７》
データＡn、Ａn+d、Ａn+2dを成分とした３次元ベクトルと、データＢn+k、Ｂn+d+k、Ｂn+2d+kを成分とした３次元ベクトルとの外積で生成されるべクトルの大きさを局所的相関量Ｐ(n)とし、所定区間に亘って局所的相関量Ｐ（ｎ）を積算した値を、所定区間における第１データ列のデータの２乗の総和の平方根と、第２データ列のデータの２乗の総和の平方根との積により正規化した値を相関量Ｃ(k)としてもよい。
Ｐ(n)＝(Ａn・Ｂn+d+k−Ａn+d・Ｂn+k)２＋(Ａn・Ｂn+2d+k−Ａn+2d・Ｂn+k)２＋(Ａn+2d・Ｂn+d+k−Ａn+d・Ｂn+2d+k)２・・・（１６）、
Ｃ(k)＝ΣＰ(n)／｛Ｓqrt(ΣＡn２)・Ｓqrt(ΣＢn２)｝・・・（１７） << Correlation calculation method 7 >>
A three-dimensional vector having data An, An + d, and An + 2d as components and a three-dimensional vector having data Bn + k, Bn + d + k, and Bn + 2d + k as components. A value obtained by accumulating the local correlation amount P (n) over a predetermined interval is a square root of the sum of the squares of the data of the first data string in the predetermined interval, where the size of the Couttle is the local correlation amount P (n). A value normalized by the product of the square sum of the sum of squares of the data in the second data string may be used as the correlation amount C (k).
P (n) = (An · Bn + d + k−An + d · Bn + k) 2 + (An · Bn + 2d + k−An + 2d · Bn + k) 2 + (An + 2d · Bn + d + k−An + d · Bn + 2d + k) 2 (16),
C (k) = ΣP (n) / {Sqrt (ΣAn 2 ) · Sqrt (ΣBn 2 )} (17)

《相関演算方法８》
データＡn、Ａn+dの１階差分とデータＢn+k、Ｂn+d+kの１階差分の内積の符号反転したものを局所的相関量Ｐ(n)とし、所定区間に亘って局所的相関量Ｐ(n)を積算した値を、所定区間における第１データ列の１階差分データの２乗の総和の平方根と、第２データ列の１階差分データの２乗の総和の平方根との積により正規化した値を相関量Ｃ(k)としてもよい。
Ｐ(n)＝−（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k） ・・・（１８）、
Ｃ(k)＝ΣＰ(n)／｛Ｓqrt(Σ(Ａn−Ａn+d)２)・Ｓqrt(Σ(Ｂn+k−Ｂn+d+k)２)｝ ・・・（１９） << Correlation calculation method 8 >>
The sign-inverted product of the inner product of the first-order difference between data An and An + d and the first-order difference between data Bn + k and Bn + d + k is defined as a local correlation amount P (n), and is local over a predetermined interval. The value obtained by integrating the correlation amount P (n) is set to the square root of the sum of the squares of the first-order difference data of the first data string and the square root of the sum of the squares of the first-order difference data of the second data string in a predetermined interval. The value normalized by the product of may be used as the correlation amount C (k).
P (n) =-(An-An + d). (Bn + k-Bn + d + k) (18),
C (k) = ΣP (n) / {Sqrt (Σ (An−An + d) 2 ) · Sqrt (Σ (Bn + k−Bn + d + k) 2 )} (19)

《一実施の形態の変形例》
なお、撮像素子における焦点検出エリアの配置は図２に示す配置に限定されず、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置してもよい。 << Modification of Embodiment >>
The arrangement of the focus detection areas in the image sensor is not limited to the arrangement shown in FIG. 2, and the focus detection areas may be arranged in the horizontal direction and the vertical direction in the diagonal direction and other positions.

図３に示す撮像素子において、焦点検出画素３１３、３１４はひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えてもよく、例えば図２３に示すような撮像素子２１２Ａとしてもよい。この撮像素子２１２Ａでは、各焦点検出画素３１１に一対の光電変換部を備えており、各焦点検出画素３１１が図３に示す一対の焦点検出画素３１３、３１４に相当する機能を果たす。   In the image sensor shown in FIG. 3, the focus detection pixels 313 and 314 are provided with one photoelectric conversion unit in one pixel, but may include a pair of photoelectric conversion units in one pixel. For example, an image sensor 212A as shown in FIG. 23 may be used. In the imaging element 212A, each focus detection pixel 311 includes a pair of photoelectric conversion units, and each focus detection pixel 311 performs a function corresponding to the pair of focus detection pixels 313 and 314 shown in FIG.

焦点検出画素３１１は、図２４に示すようにマイクロレンズ１０と一対の光電変換部１３，１４を備えている。焦点検出画素３１１には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した分光特性（図７参照）となり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。   The focus detection pixel 311 includes a microlens 10 and a pair of photoelectric conversion units 13 and 14 as shown in FIG. The focus detection pixel 311 is not provided with a color filter in order to increase the amount of light, and its spectral characteristics include spectral characteristics (total spectral characteristics of photodiodes that perform photoelectric conversion and spectral characteristics of infrared cut filters (not shown)). 7), and the spectral characteristics are obtained by adding the spectral characteristics of the green pixel, the red pixel, and the blue pixel shown in FIG. 6, and the light wavelength region of the sensitivity is the light wavelength of the sensitivity of the green pixel, the red pixel, and the blue pixel. Comprehensive area.

図２５は、図２３に示す撮像素子２１２Ａの焦点検出画素による瞳分割方式の焦点検出動作を説明するための図である。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、（５３，５４）、（６３，６４）は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。   FIG. 25 is a view for explaining a pupil division type focus detection operation by the focus detection pixels of the image sensor 212A shown in FIG. In the figure, reference numeral 90 denotes an exit pupil set at a distance d in front of the microlens arranged on the planned imaging plane of the interchangeable lens. Here, the distance d is a distance determined according to the curvature and refractive index of the microlens, the distance between the microlens and the photoelectric conversion unit, and is hereinafter referred to as a distance measuring pupil distance. 91 is an optical axis of the interchangeable lens, 50 and 60 are microlenses, (53, 54), (63, 64) are photoelectric conversion units of a pair of focus detection pixels, and 73, 74, 83, and 84 are focus detection light beams. is there.

さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、以下では測距瞳と呼ぶ。図２５では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４からなる）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４からなる）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。   Reference numeral 93 denotes an area of the photoelectric conversion units 53 and 63 projected by the microlenses 50 and 60, which will be referred to as a distance measuring pupil below. Similarly, 94 is an area of the photoelectric conversion units 54 and 64 projected by the microlenses 50 and 60, and is hereinafter referred to as a distance measuring pupil. In FIG. 25, a focus detection pixel (consisting of a microlens 50 and a pair of photoelectric conversion units 53 and 54) on the optical axis 91 and an adjacent focus detection pixel (a microlens 60 and a pair of photoelectric conversion units 63 and 64). In the focus detection pixels arranged in the periphery on the imaging surface, a pair of photoelectric conversion units arrive at each microlens from the pair of distance measuring pupils 93 and 94, respectively. Receives light flux. The arrangement direction of the focus detection pixels is made to coincide with the arrangement direction of the pair of distance measurement pupils.

マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。   The microlenses 50 and 60 are disposed in the vicinity of the planned imaging plane of the optical system, and the shape of the pair of photoelectric conversion units 53 and 54 disposed behind the microlens 50 disposed on the optical axis 91 is formed. Projection is performed on the exit pupil 90 separated from the microlenses 50 and 60 by the distance measurement pupil distance d, and the projection shape forms distance measurement pupils 93 and 94. Further, the microlens 60 disposed adjacent to the microlens 50 projects the shape of the pair of photoelectric conversion units 63 and 64 disposed behind the microlens 50 onto the exit pupil 90 separated by the distance measuring pupil distance d. The projection shape forms distance measuring pupils 93 and 94. That is, the positions of the microlens and the photoelectric conversion unit of each pixel so that the projection shapes (ranging pupils 93 and 94) of the photoelectric conversion unit of each focus detection pixel coincide on the exit pupil 90 at the distance measurement pupil distance d. The relationship has been determined.

光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。   The photoelectric conversion unit 53 outputs a signal corresponding to the intensity of the image formed on the microlens 50 by the focus detection light beam 73 passing through the distance measuring pupil 93 and traveling toward the microlens 50. In addition, the photoelectric conversion unit 54 outputs a signal corresponding to the intensity of the image formed on the microlens 50 by the focus detection light beam 74 that passes through the distance measuring pupil 94 and travels toward the microlens 50. Similarly, the photoelectric conversion unit 63 outputs a signal corresponding to the intensity of the image formed on the microlens 60 by the focus detection light beam 83 that passes through the distance measuring pupil 93 and travels toward the microlens 60. In addition, the photoelectric conversion unit 64 outputs a signal corresponding to the intensity of the image formed on the microlens 60 by the focus detection light beam 84 that passes through the distance measuring pupil 94 and travels toward the microlens 60.

このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。   A large number of such focus detection pixels are arranged in a straight line, and the output of the pair of photoelectric conversion units of each pixel is grouped into an output group corresponding to the distance measurement pupil 93 and the distance measurement pupil 94, whereby the distance measurement pupil 93 and Information on the intensity distribution of the pair of images formed on the focus detection pixel array by the focus detection light fluxes that pass through the distance measuring pupils 94 is obtained. By applying an image shift detection calculation process (correlation calculation process, phase difference detection process), which will be described later, to this information, an image shift amount of a pair of images is detected by a so-called pupil division method. Further, by applying a predetermined conversion process to the image shift amount, the deviation of the current imaging plane (imaging plane at the focus detection position corresponding to the position of the microlens array on the planned imaging plane) with respect to the planned imaging plane (Defocus amount) is calculated.

次に、図３に示す撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。   Next, in the image sensor 212 shown in FIG. 3, the example in which the imaging pixel 310 includes a Bayer color filter is shown. However, the configuration and arrangement of the color filter are not limited to this, and the complementary color filter (green: G, yellow: Ye, magenta: Mg, cyan: Cy) may be employed. Further, in the image pickup device 212 shown in FIG. 3, an example in which the focus detection pixels 313 and 314 are not provided with a color filter is shown. However, one of the color filters of the same color as the image pickup pixel 310 (for example, a green filter) is provided. Even in this case, the present invention can be applied.

また、上述した一実施の形態の図５、図２４に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。   In the focus detection pixels 311, 313, and 314 shown in FIGS. 5 and 24 of the embodiment described above, an example in which the shape of the photoelectric conversion unit is semicircular or rectangular is shown. The shape of the part is not limited to these, and may be other shapes. For example, the shape of the photoelectric conversion unit of the focus detection pixel can be an ellipse or a polygon.

さらに、図３に示す撮像素子２１２では、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。   Furthermore, in the imaging device 212 shown in FIG. 3, the example in which the imaging pixels and the focus detection pixels are arranged in a dense square lattice arrangement is shown, but a dense hexagonal lattice arrangement may be used.

上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。図２６により、再結像瞳分割方式の焦点検出動作を説明する。図２６において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。   In the above-described embodiment, the focus detection operation by the pupil division method using the microlens has been described. However, the present invention is not limited to such a focus detection method, but is used for focus detection by the re-imaging pupil division method. Is also applicable. The focus detection operation of the re-imaging pupil division method will be described with reference to FIG. In FIG. 26, 191 is the optical axis of the interchangeable lens, 110 and 120 are condenser lenses, 111 and 121 are aperture masks, 112, 113, 122 and 123 are aperture openings, 114, 115, 124 and 125 are re-imaging lenses, Reference numerals 116 and 126 denote image sensors (CCD) for focus detection.

また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、以下では測距瞳と呼ぶ。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割方位相差検出の焦点検出ユニットを構成する。   Reference numerals 132, 133, 142, and 143 denote focus detection light beams. Reference numeral 190 denotes an exit pupil set at a distance d5 in front of the planned imaging plane of the interchangeable lens. Here, the distance d5 is a distance determined according to the focal length of the condenser lenses 110 and 120 and the distance between the condenser lenses 110 and 120 and the aperture openings 112, 113, 122, and 123, and is measured below. This is called the pupillary distance. Reference numeral 192 denotes an area of the diaphragm apertures 112 and 122 projected by the condenser lenses 110 and 120, and hereinafter referred to as a distance measuring pupil. Similarly, 193 is a region of the aperture openings 113 and 123 projected by the condenser lenses 110 and 120, and is hereinafter referred to as a distance measuring pupil. The condenser lens 110, the diaphragm mask 111, the diaphragm apertures 112 and 113, the re-imaging lenses 114 and 115, and the image sensor 116 are a re-imaging pupil division method phase difference detection focus detection unit that performs focus detection at one position. Configure.

図２６においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。   In FIG. 26, a focus detection unit on the optical axis 191 and a focus detection unit outside the optical axis are schematically illustrated. By combining a plurality of focus detection units, it is possible to realize a focus detection apparatus that performs focus detection by pupil division phase difference detection of the re-imaging method at the three focus detection positions 101 to 103 shown in FIG.

コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１から構成される。   The focus detection unit including the condenser lens 110 is disposed between the condenser lens 110 disposed in the vicinity of the planned imaging plane of the interchangeable lens, the image sensor 116 disposed behind the condenser lens 110, and the condenser lens 110 and the image sensor 116. A pair of re-imaging lenses 114 and 115 for re-imaging the primary image formed in the vicinity of the planned imaging surface on the image sensor 116, and the vicinity of the pair of re-imaging lenses (front surface in the figure). The aperture mask 11 has a pair of aperture openings 112 and 113.

イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。   The image sensor 116 is a line sensor in which a plurality of photoelectric conversion units are densely arranged along a straight line, and the arrangement direction of the photoelectric conversion units is made to coincide with the dividing direction of the pair of distance measuring pupils (= aperture aperture arrangement direction). . Information corresponding to the intensity distribution of the pair of images re-imaged on the image sensor 116 is output from the image sensor 116, and image shift detection calculation processing (correlation processing, phase difference detection described later) is performed on this information. By performing the processing, an image shift amount of a pair of images is detected by a so-called pupil division type phase difference detection method (re-imaging method). Further, the deviation (defocus amount) of the current imaging plane with respect to the planned imaging plane is calculated by multiplying the image shift amount by a predetermined conversion coefficient.

イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。   The image sensor 116 is projected onto the planned imaging plane by the re-imaging lenses 114 and 115, and the detection accuracy of the defocus amount (image deviation amount) is determined by the detection pitch of the image deviation amount (in the case of the re-imaging method). This is determined by the arrangement pitch of the photoelectric conversion units projected on the planned imaging plane.

コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。   The condenser lens 110 projects the aperture openings 112 and 113 of the aperture mask 111 as areas 192 and 193 on the exit pupil 190. Regions 192 and 193 are called distance measurement pupils. That is, a pair of images re-imaged on the image sensor 116 is formed by a light beam passing through the pair of distance measuring pupils 192 and 193 on the exit pupil 190. The light beams 132 and 133 that pass through the pair of distance measuring pupils 192 and 193 on the exit pupil 190 are referred to as focus detection light beams.

このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。   Even in such a re-imaging pupil division method, the balance of the pair of images formed on the image sensor is lost due to vignetting of the distance measuring pupil, so the present invention is applied when processing the output signal of the image sensor. can do.

また、本発明は撮影光学系を通過する光束を瞳分割する方式の焦点検出に限定されず、外光三角測距方式による距離測定にも適用可能である。図２７により、外光三角測距方式の焦点検出動作を説明する。図２７において、レンズ３２０とその結像面に配置されたイメージセンサー３２６からなるユニットと、レンズ３３０とその結像面に配置されたイメージセンサー３３６からなるユニットとが基線長を隔てて配置される。これらの一対のユニットが測距装置３４７を構成する。   In addition, the present invention is not limited to focus detection using a method of dividing a light beam passing through a photographing optical system into pupils, and can also be applied to distance measurement using an external light triangulation method. The focus detection operation of the external light triangulation method will be described with reference to FIG. In FIG. 27, a unit made up of a lens 320 and an image sensor 326 arranged on its imaging plane and a unit made up of a lens 330 and an image sensor 336 arranged on its imaging plane are arranged with a baseline length therebetween. . These pair of units constitute a distance measuring device 347.

測距対象３５０の像が、レンズ３２０および３３０によりイメージセンサー３２６および３３６上に形成される。イメージセンサー３２６および３３６上に形成される像の位置関係は、測距装置３４７から測距対象３５０までの距離に応じて変化する。したがって、イメージセンサー３２６および３３６の信号データに対して本発明を適用した像ズレ検出を行うことによって、２像の相対的位置関係を検出し、この位置関係に基づいて測距対象３５０までの距離を測定することができる。   An image of the distance measuring object 350 is formed on the image sensors 326 and 336 by the lenses 320 and 330. The positional relationship between the images formed on the image sensors 326 and 336 changes according to the distance from the distance measuring device 347 to the distance measuring object 350. Therefore, by performing image shift detection to which the present invention is applied to the signal data of the image sensors 326 and 336, the relative positional relationship between the two images is detected, and the distance to the distance measuring object 350 is determined based on this positional relationship. Can be measured.

外光三角測距方式においては、レンズ３２０とレンズ３３０に汚れや雨滴が付着することによって、一対の信号にレベル差が生じたり歪みが生じたりすることが発生するので、本発明の適用は有効である。   In the external light triangulation method, dirt or raindrops are attached to the lens 320 and the lens 330, which may cause a level difference or distortion in a pair of signals. Therefore, the application of the present invention is effective. It is.

なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置などにも適用できる。   Note that the imaging apparatus is not limited to a digital still camera or a film still camera in which an interchangeable lens is mounted on the camera body as described above. For example, the present invention can be applied to a lens-integrated digital still camera, film still camera, or video camera. Furthermore, the present invention can be applied to a small camera module built in a mobile phone, a surveillance camera, a visual recognition device for a robot, and the like.

上述した一実施の形態では、撮像用画素の配列中に焦点検出用画素を配列し、焦点検出用画素で得られる信号に基づいて結像光学系の瞳の異なる領域を通る一対の光束に対応する一対の信号列を求め、上記相関演算により位相差検出方式の焦点検出を行う例を示したが、撮像用画素の出力に基づいて周知のコントラスト方式の焦点検出を行うとともに、焦点検出用画素の出力に基づいて位相差検出方式の焦点検出を行う、ハイブリッド方式の焦点検出装置としてもよい。   In the above-described embodiment, the focus detection pixels are arranged in the image pickup pixel array, and a pair of light beams passing through different regions of the pupil of the imaging optical system is supported based on signals obtained from the focus detection pixels. In the above example, the phase difference detection type focus detection is performed by the correlation calculation. However, a well-known contrast type focus detection is performed based on the output of the imaging pixel, and the focus detection pixel. It is also possible to use a hybrid focus detection device that performs phase difference detection focus detection based on the output of the above.

また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。   The present invention can also be applied to focus detection devices other than cameras, distance measuring devices, and stereo distance measuring devices. Furthermore, the present invention can also be applied to an apparatus that detects the movement of a subject image and camera shake by detecting the correlation between signals from image sensors having different times. Furthermore, the present invention can be applied to pattern matching between an image signal of an image sensor and a specific image signal.

さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。   Furthermore, the present invention is not limited to the one that detects the correlation between the image signal data, but can also be applied to the one that detects the correlation between the data related to sound and generally the correlation between two signals.

一実施の形態のカメラの構成を示すカメラの横断面図Cross-sectional view of the camera showing the configuration of the camera of one embodiment 交換レンズの撮影画面上における焦点検出位置を示す図The figure which shows the focus detection position on the photographing screen of the interchangeable lens 撮像素子の詳細な構成を示す正面図Front view showing detailed configuration of image sensor 撮像画素の構成を示す正面図Front view showing configuration of imaging pixel 焦点検出画素の構成を示す正面図Front view showing configuration of focus detection pixel 撮像画素の分光特性を示す図Diagram showing spectral characteristics of imaging pixels 焦点検出画素の分光特性を示す図Diagram showing spectral characteristics of focus detection pixels 撮像画素の断面図Cross section of imaging pixel 焦点検出画素の断面図Cross section of focus detection pixel マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図The figure which shows the structure of the focus detection optical system of the pupil division type phase difference detection method using a micro lens 一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートThe flowchart which shows the imaging operation of the digital still camera (imaging device) of one embodiment 図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャートThe flowchart which shows the detail of the focus detection calculation process in step 130 of FIG. 焦点検出光束のケラレ（口径蝕）を説明するための図A diagram for explaining vignetting of a focus detection light beam 予定焦点面から光軸の方向に測距瞳面を見た場合の図Figure when viewing the distance measuring pupil plane in the direction of the optical axis from the planned focal plane 図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示した図13 and 14, a pair of images received by the focus detection pixel row near the position x0 (image height 0) and a pair of images received by the focus detection pixel row near the position x1 (image height h). Of the intensity distribution (vertical axis is light intensity, horizontal axis is the position on the shooting screen) （３）式に示す相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を示す図The figure which shows the relationship between calculation of correlation amount C (k) shown to (3) Formula, and a pair of data sequence (A1-AN, B1-BN). 焦点検出演算（相関演算）結果の評価方法を説明する図The figure explaining the evaluation method of a focus detection calculation (correlation calculation) result 同一性の崩れたサイン波形の一対の像信号データ列を示す図The figure which shows a pair of image signal data sequence of the sine waveform which collapsed identity 図１８に示す一対の信号データ列に対し従来の相関演算を施した結果を示す図The figure which shows the result of having performed the conventional correlation calculation with respect to a pair of signal data sequence shown in FIG. 図１８に示す一対の信号データ列に対し一実施の形態の相関演算を施した結果を示す図The figure which shows the result of having performed the correlation calculation of one Embodiment with respect to a pair of signal data sequence shown in FIG. 図１８に示すサイン波形の一対の像データ列を±１画素の範囲において０．１画素単位で相対的にずらした場合に、横軸を像ズレ量、縦軸を像ズレ量の演算結果で示した図When the pair of image data strings having a sine waveform shown in FIG. 18 are relatively shifted in units of 0.1 pixels within a range of ± 1 pixel, the horizontal axis represents the image shift amount and the vertical axis represents the image shift amount calculation result. Illustration shown 相関演算結果を、横軸を像ズレ量、縦軸を誤差量で示した図Correlation calculation results, with the horizontal axis representing image misalignment and the vertical axis representing error 変形例の撮像素子の部分拡大図Partial enlarged view of image sensor of modification 図２３に示す変形例の撮像素子で用いる焦点検出画素の正面図The front view of the focus detection pixel used with the image pick-up element of the modification shown in FIG. 図２３に示す撮像素子の焦点検出画素による瞳分割方式の焦点検出動作を説明するための図The figure for demonstrating the focus detection operation | movement of a pupil division system by the focus detection pixel of the image pick-up element shown in FIG. 再結像瞳分割方式の焦点検出動作を説明するための図Diagram for explaining focus detection operation of re-imaging pupil division method 外光三角測距方式の焦点検出動作を説明するための図Diagram for explaining focus detection operation of external light triangulation

符号の説明Explanation of symbols

１０；マイクロレンズ、１１、１３、１４；光電変換部、２０１；カメラ、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４ ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素 DESCRIPTION OF SYMBOLS 10; Micro lens, 11, 13, 14; Photoelectric conversion part, 201; Camera, 202; Interchangeable lens, 212, 212A; Image pick-up element, 214 Body drive control apparatus, 310: Imaging pixel, 311, 313, 314; Pixel

Claims (9)

一次元上に配列された複数の第１電気信号データから構成される第１電気信号データ列と、一次元上に配列された複数の第２電気信号データから構成される第２電気信号データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１電気信号データ列と前記第２電気信号データ列との間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算装置であって、
結像光学系を通過した光束による像を光電変換して、前記第１電気信号データ列を出力する第１の光電変換手段と、
結像光学系を通過した光束による像を光電変換して、前記第２電気信号データ列を出力する第２の光電変換手段と、
前記第１電気信号データ列の中の所定位置近傍の少なくとも２つの第１電気信号データと、前記２つの第１電気信号データに対応する前記第２電気信号データ列の中の２つの第２電気信号データとについて、前記２つの第１電気信号データの一方と前記２つの第２電気信号データの一方との積と、前記２つの第１電気信号データの他方と前記２つの第２電気信号データの他方との積との差を含む局所的相関量を演算する演算手段と、
前記局所的相関量を、前記２つの第１電気信号データと前記２つの第２電気信号データとによって正規化する正規化手段と、
前記所定位置を一次元上の所定区間に亘って移動させて前記正規化手段により正規化された局所的相関量を積算して積算値を、前記第１電気信号データ列と前記第２電気信号データ列との間の前記相関量として、算出する積算手段とを備えることを特徴とする相関演算装置。 A first electric signal data string composed of a plurality of first electric signal data arranged in one dimension and a second electric signal data string composed of a plurality of second electric signal data arranged in one dimension Are relatively displaced while changing the amount of displacement in one dimension, the amount of correlation between the first electric signal data sequence and the second electric signal data sequence is calculated, and the extreme value of the amount of correlation is calculated. A correlation calculation device for obtaining the obtained displacement amount,
First photoelectric conversion means for photoelectrically converting an image of the light beam that has passed through the imaging optical system and outputting the first electric signal data string;
Second photoelectric conversion means for photoelectrically converting an image of a light beam that has passed through the imaging optical system and outputting the second electric signal data sequence;
At least two first electric signal data in the vicinity of a predetermined position in the first electric signal data string and two second electric signals in the second electric signal data string corresponding to the two first electric signal data. For signal data, the product of one of the two first electric signal data and one of the two second electric signal data, the other of the two first electric signal data, and the two second electric signal data Computing means for computing a local correlation amount including a difference between the product of the other and
Normalization means for normalizing the local correlation amount by the two first electric signal data and the two second electric signal data;
The predetermined position is moved over a predetermined one-dimensional section, and the local correlation amount normalized by the normalizing means is integrated, and the integrated value is obtained as the first electric signal data string and the second electric signal. A correlation calculation device comprising: a calculating unit that calculates the correlation amount with the data string. 請求項１に記載の相関演算装置において、
前記積算手段は、前記正規化された局所的相関量の絶対値を積算することを特徴とする相関演算装置。 The correlation calculation device according to claim 1,
The correlation calculation device characterized in that the integrating means integrates the absolute value of the normalized local correlation amount. 請求項１または請求項２に記載の相関演算装置において、
前記演算手段は、前記２つの第１電気信号データの差分データと、前記２つの第２電気信号データの差分データとの積を演算することを特徴とする相関演算装置。 In the correlation calculation device according to claim 1 or 2,
The correlation calculation device, wherein the calculation means calculates a product of difference data of the two first electric signal data and difference data of the two second electric signal data. 請求項１〜３のいずれか一項に記載の相関演算装置において、
前記正規化手段は、前記２つの第１電気信号データを成分とするベクトルの大きさと前記２つの第２電気信号データを成分とするベクトルの大きさとによって、前記局所的相関量を正規化することを特徴とする相関演算装置。 In the correlation calculation device according to any one of claims 1 to 3,
The normalizing means normalizes the local correlation amount based on the magnitude of a vector having the two first electric signal data as components and the magnitude of a vector having the two second electric signal data as components. A correlation calculation device characterized by the above. 請求項１〜４のいずれか一項に記載の相関演算装置において、
前記正規化手段は、前記２つの第１電気信号データおよび前記２つの第２電気信号データを平均した値によって前記局所的相関量を正規化することを特徴とする相関演算装置。 In the correlation calculation device according to any one of claims 1 to 4,
The normalization means normalizes the local correlation amount by a value obtained by averaging the two first electric signal data and the two second electric signal data. 一次元上に配列された複数の第１電気信号データから構成される第１電気信号データ列と、一次元上に配列された複数の第２電気信号データから構成される第２電気信号データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１電気信号データ列と前記第２電気信号データ列との間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算装置であって、
前記第１電気信号データ列の中の所定位置近傍の少なくとも２つの第１電気信号データと、前記２つの第１電気信号データに対応する前記第２電気信号データ列の中の２つの第２電気信号データとについて、前記２つの第１電気信号データの一方と前記２つの第２電気信号データの一方との積と、前記２つの第１電気信号データの他方と前記２つの第２電気信号データの他方との積との差を含む局所的相関量を演算する演算手段と、
前記局所的相関量を、前記２つの第１電気信号データと前記２つの第２電気信号データとによって正規化する正規化手段と、
前記所定位置を一次元上の所定区間に亘って移動させて前記正規化手段により正規化された局所的相関量を積算して積算値を、前記第１電気信号データ列と前記第２電気信号データ列との間の前記相関量として、算出する積算手段と、を有する相関演算装置と、
結像光学系の瞳の一対の部分領域を通る一対の光束を受光して前記一対の光束による像にそれぞれ対応する前記第１及び第２の電気信号データ列を出力するデータ出力手段と、
前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。 A first electric signal data string composed of a plurality of first electric signal data arranged in one dimension and a second electric signal data string composed of a plurality of second electric signal data arranged in one dimension Are relatively displaced while changing the amount of displacement in one dimension, the amount of correlation between the first electric signal data sequence and the second electric signal data sequence is calculated, and the extreme value of the amount of correlation is calculated. A correlation calculation device for obtaining the obtained displacement amount,
At least two first electric signal data in the vicinity of a predetermined position in the first electric signal data string and two second electric signals in the second electric signal data string corresponding to the two first electric signal data. For signal data, the product of one of the two first electric signal data and one of the two second electric signal data, the other of the two first electric signal data, and the two second electric signal data Computing means for computing a local correlation amount including a difference between the product of the other and
Normalization means for normalizing the local correlation amount by the two first electric signal data and the two second electric signal data;
The predetermined position is moved over a predetermined one-dimensional section, and the local correlation amount normalized by the normalizing means is integrated, and the integrated value is obtained as the first electric signal data string and the second electric signal. As a correlation amount between the data string, a correlation calculating device having a calculating means for calculating,
Data output means for receiving a pair of light beams passing through a pair of partial regions of the pupil of the imaging optical system and outputting the first and second electric signal data sequences corresponding respectively to the images of the pair of light beams;
A focus detection apparatus comprising: a focus detection unit configured to detect a focus adjustment state of the imaging optical system based on the displacement amount. 請求項６に記載の焦点検出装置と、
前記結像光学系からの光束をマイクロレンズを介して受光する光電変換部を有する撮像用画素の配列中に、前記結像光学系の瞳の異なる領域を通る一対の光束をマイクロレンズを介して受光する光電変換部を有する焦点検出用画素を配列した撮像素子とを備え、
前記データ出力手段は、前記焦点検出用画素で得られる信号に基づいて前記第１及び第２の電気信号データ列を出力することを特徴とする撮像装置。 A focus detection apparatus according to claim 6;
A pair of light fluxes passing through different regions of the pupil of the imaging optical system via the microlens in the array of imaging pixels having a photoelectric conversion unit that receives the light flux from the imaging optical system via the microlens. An image sensor in which focus detection pixels having a photoelectric conversion unit for receiving light are arranged;
The data output means outputs the first and second electric signal data strings based on a signal obtained from the focus detection pixels. 請求項７に記載の撮像装置において、
前記焦点検出用画素は、前記結像光学系の光軸に対応する前記撮像素子上の位置の周辺領域に配置され、
前記データ列出力手段は、前記周辺領域に配置された焦点検出用画素で得られる信号に基づいて前記第１及び第２の電気信号データ列を出力することを特徴とする撮像装置。 The imaging apparatus according to claim 7,
The focus detection pixels are arranged in a peripheral region of a position on the image sensor corresponding to the optical axis of the imaging optical system,
The imaging apparatus according to claim 1, wherein the data string output means outputs the first and second electrical signal data strings based on a signal obtained from focus detection pixels arranged in the peripheral region. 請求項８に記載の撮像装置において、
前記焦点検出用画素は、前記光軸に対応する前記撮像素子上の位置から放射方向に配列されていることを特徴とする撮像装置。
The imaging device according to claim 8,
The imaging apparatus, wherein the focus detection pixels are arranged in a radial direction from a position on the imaging device corresponding to the optical axis.
JP2008102674A 2008-03-28 2008-04-10 Correlation calculation device, focus detection device, and imaging device Expired - Fee Related JP5338113B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008102674A JP5338113B2 (en) 2008-03-28 2008-04-10 Correlation calculation device, focus detection device, and imaging device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008086318 2008-03-28
JP2008086318 2008-03-28
JP2008102674A JP5338113B2 (en) 2008-03-28 2008-04-10 Correlation calculation device, focus detection device, and imaging device

Publications (2)

Publication Number Publication Date
JP2009258144A JP2009258144A (en) 2009-11-05
JP5338113B2 true JP5338113B2 (en) 2013-11-13

Family

ID=41385701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008102674A Expired - Fee Related JP5338113B2 (en) 2008-03-28 2008-04-10 Correlation calculation device, focus detection device, and imaging device

Country Status (1)

Country Link
JP (1) JP5338113B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230388B2 (en) * 2008-12-10 2013-07-10 キヤノン株式会社 Focus detection apparatus and control method thereof
JP2013015559A (en) * 2011-06-30 2013-01-24 Nikon Corp Focus detector and imaging apparatus
JP6033038B2 (en) * 2012-10-26 2016-11-30 キヤノン株式会社 FOCUS DETECTION DEVICE, IMAGING DEVICE, IMAGING SYSTEM, AND FOCUS DETECTION METHOD

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0610694B2 (en) * 1985-04-12 1994-02-09 株式会社日立製作所 Automatic focusing method and device
JP2850336B2 (en) * 1988-11-01 1999-01-27 株式会社ニコン Focus detection device
JPH05227465A (en) * 1991-03-19 1993-09-03 Olympus Optical Co Ltd Automatic focusing device
JPH06281853A (en) * 1993-03-26 1994-10-07 Canon Inc Focusing information detecting device
JP3361619B2 (en) * 1994-06-16 2003-01-07 コニカ株式会社 Focusing position detection device for electronic camera
JP5066893B2 (en) * 2006-05-17 2012-11-07 株式会社ニコン Correlation calculation method, correlation calculation device, focus detection device, and imaging device
JP4858008B2 (en) * 2006-08-24 2012-01-18 株式会社ニコン FOCUS DETECTION DEVICE, FOCUS DETECTION METHOD, AND IMAGING DEVICE

Also Published As

Publication number Publication date
JP2009258144A (en) 2009-11-05

Similar Documents

Publication Publication Date Title
JP5458475B2 (en) Focus detection apparatus and imaging apparatus
JP5012495B2 (en) IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE
JP4858008B2 (en) FOCUS DETECTION DEVICE, FOCUS DETECTION METHOD, AND IMAGING DEVICE
JP4802993B2 (en) Correlation calculation method, correlation calculation device, focus detection device, and imaging device
US7586588B2 (en) Correlation operation method, correlation operation device, focus detection device and imaging device
JP5857547B2 (en) Focus detection device and focus adjustment device
JP5157084B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5423111B2 (en) Focus detection apparatus and imaging apparatus
JP5381472B2 (en) Imaging device
JP5338112B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5338113B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5804105B2 (en) Imaging device
JP5228777B2 (en) Focus detection apparatus and imaging apparatus
JP5338119B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5407314B2 (en) Focus detection apparatus and imaging apparatus
JP5332384B2 (en) Correlation calculation device, focus detection device, and imaging device
JP5338118B2 (en) Correlation calculation device, focus detection device, and imaging device
JP4968010B2 (en) Correlation calculation method, correlation calculation device, focus detection device, and imaging device
JP4968009B2 (en) Correlation calculation method, correlation calculation device, focus detection device, and imaging device
JP5614227B2 (en) Focus detection apparatus and imaging apparatus
JP2009162845A (en) Imaging device, focus detecting device and imaging apparatus
JP6610227B2 (en) Imaging device
JP5399627B2 (en) Focus detection device, focus adjustment device, and imaging device
JP5476702B2 (en) Imaging device and imaging apparatus
JP2016085465A (en) Focus detection device and imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120406

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R150 Certificate of patent or registration of utility model

Ref document number: 5338113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees