JP5714931B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5714931B2
JP5714931B2 JP2011029839A JP2011029839A JP5714931B2 JP 5714931 B2 JP5714931 B2 JP 5714931B2 JP 2011029839 A JP2011029839 A JP 2011029839A JP 2011029839 A JP2011029839 A JP 2011029839A JP 5714931 B2 JP5714931 B2 JP 5714931B2
Authority
JP
Japan
Prior art keywords
image
image sensor
focus detection
control unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011029839A
Other languages
Japanese (ja)
Other versions
JP2012168383A (en
Inventor
林太郎 西原
林太郎 西原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011029839A priority Critical patent/JP5714931B2/en
Publication of JP2012168383A publication Critical patent/JP2012168383A/en
Application granted granted Critical
Publication of JP5714931B2 publication Critical patent/JP5714931B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影用画素と焦点検出用画素とが形成された撮像素子を備えた撮像装置に関する。   The present invention relates to an image pickup apparatus including an image pickup element in which shooting pixels and focus detection pixels are formed.

カメラ等の撮像装置における焦点検出方法の一つとして位相差検出法が知られている。位相差検出法では、結像光学系において対称に分割された異なる瞳領域を通過した光束をそれぞれ異なる撮像素子で受光させることによって、各撮像素子で受光された像の位相差（２像間隔）を検出する。そして、このような位相差検出法では、検出された位相差から結像光学系の被写体に対するデフォーカス量を算出し、算出したデフォーカス量を無くすように結像光学系を駆動することによって、デジタルカメラ等の撮像装置におけるオートフォーカス（以下、ＡＦという）機能が実現されている。   A phase difference detection method is known as one of focus detection methods in an imaging apparatus such as a camera. In the phase difference detection method, light beams that have passed through different pupil regions divided symmetrically in the imaging optical system are received by different image sensors, so that the phase difference (two image intervals) of the images received by each image sensor. Is detected. In such a phase difference detection method, the defocus amount for the subject of the imaging optical system is calculated from the detected phase difference, and by driving the imaging optical system so as to eliminate the calculated defocus amount, An autofocus (hereinafter referred to as AF) function in an imaging apparatus such as a digital camera is realized.

上述のような従来の位相差検出法を用いたＡＦ（以下、位相差ＡＦという）においては、位相差を検出するための撮像素子が撮影用の撮像素子と別個に設けられている。これに対し、近年では、撮影用の撮像素子内に位相差を検出するための画素を形成した撮像装置も提案されている（例えば、特許文献１参照）。   In AF using the conventional phase difference detection method as described above (hereinafter referred to as phase difference AF), an image sensor for detecting a phase difference is provided separately from an image sensor for photographing. On the other hand, in recent years, there has also been proposed an imaging apparatus in which pixels for detecting a phase difference are formed in an imaging element for photographing (see, for example, Patent Document 1).

特許文献１に係る撮像装置は、撮影用の撮像素子の一部の画素対を、位相差の検出用として利用するものである。位相差検出用として利用される画素対は、結像光学系における所定の瞳領域を通過した光束を受光できるように離散的に配置されている。さらに、特許文献１に係る撮像装置では、結像光学系における所定の瞳領域を通過した光束が所定の画素で受光されるよう、撮像素子のそれぞれの画素に対応して、マイクロレンズあるいは遮光マスクが偏心して配置されている。   The imaging apparatus according to Patent Literature 1 uses a part of pixel pairs of an imaging element for imaging for detecting a phase difference. The pixel pairs used for detecting the phase difference are discretely arranged so as to receive a light beam that has passed through a predetermined pupil region in the imaging optical system. Furthermore, in the imaging apparatus according to Patent Document 1, a microlens or a light shielding mask is provided corresponding to each pixel of the imaging element so that a light beam that has passed through a predetermined pupil region in the imaging optical system is received by a predetermined pixel. Are arranged eccentrically.

このような撮像素子を用いることにより、撮影用の撮像素子とは別個に、焦点位置検出専用の撮像素子及び光学系を設ける必要がない。また、特許文献１の技術では、撮影画像の取得と焦点検出とを１つの撮像素子を用いて同時に行うことが可能である。   By using such an image sensor, it is not necessary to provide an image sensor and an optical system dedicated to focus position detection separately from the image sensor for photographing. Further, in the technique of Patent Document 1, it is possible to simultaneously acquire a captured image and detect a focus using a single image sensor.

特開２００９−２１７２５２号公報JP 2009-217252 A

撮影用の撮像素子上で位相差ＡＦを行う方式では、本来は撮影用の画素があるべき位置に焦点検出用の画素を形成している。ここで、焦点検出用の画素の離散度が高い場合、高周波成分が多くなる合焦点の近傍領域においてエイリアシングの影響で相関演算の誤差が大きくなって焦点検出精度が低下し易い。これに対し、合焦点の近傍領域での焦点検出精度を高めるためには、撮像素子上に焦点検出用画素を密に配置する手法や撮像素子の光入射面に光学ローパスフィルタ（ＬＰＦ）を配して高周波成分を除去したりする手法等が考えられる。しかしながら、何れの手法であっても撮影画像の画質には悪影響を与えてしまう。このように、従来の技術では焦点検出精度の向上と撮影画像の画質の向上とは両立させることが困難である。   In the method of performing phase difference AF on the imaging element for imaging, focus detection pixels are originally formed at positions where imaging pixels should be. Here, when the degree of discreteness of the focus detection pixels is high, the error in the correlation calculation becomes large due to the influence of aliasing in the vicinity of the in-focus point where the high-frequency component increases, and the focus detection accuracy tends to decrease. On the other hand, in order to improve the focus detection accuracy in the region near the in-focus point, a method for densely arranging focus detection pixels on the image sensor or an optical low-pass filter (LPF) on the light incident surface of the image sensor. Then, a method of removing high frequency components can be considered. However, any method has an adverse effect on the image quality of the captured image. As described above, it is difficult for the conventional technology to achieve both improvement in focus detection accuracy and improvement in the image quality of a captured image.

本発明は、上記の事情に鑑みてなされたもので、撮影用画素と焦点検出用画素とが１つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and in an imaging apparatus in which imaging pixels and focus detection pixels are formed on one imaging element, focus detection accuracy is ensured while ensuring the quality of a captured image. An object of the present invention is to provide an imaging apparatus capable of improving the image quality.

上記の目的を達成するために、本発明の一態様の撮像装置は、被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、前記焦点検出用画素対からそれぞれ出力された撮像信号から２像間隔を算出し、該算出した２像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、を具備することを特徴とする。 In order to achieve the above object, an imaging device of one embodiment of the present invention includes a plurality of pixels that output an imaging signal corresponding to a light flux from a subject, and each of the plurality of pixels is connected to a part of the plurality of pixels. A two-image interval is calculated from an imaging element in which a focus detection pixel pair for receiving a light beam that has passed through different pupil regions of the image optical system and an imaging signal output from each of the focus detection pixel pairs, and the calculation is performed. An arithmetic unit that calculates a defocus amount with respect to a subject of the imaging optical system from the two image intervals , and an imaging that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit An optical system drive control unit and an image sensor that removes a high-frequency component in an image signal output from the focus detection pixel pair by moving the image sensor during an exposure period in which the focus detection pixel pair receives the light flux Drive control Characterized by comprising the, the.

本発明によれば、撮影用画素と焦点検出用画素とが１つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することができる。   According to the present invention, there is provided an imaging device that can improve the focus detection accuracy while ensuring the image quality of a photographed image in an imaging device in which imaging pixels and focus detection pixels are formed on one imaging element. be able to.

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示す図である。1 is a diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to an embodiment of the present invention. 本発明の一実施形態における撮像素子の画素配列を示した図である。It is the figure which showed the pixel arrangement | sequence of the image pick-up element in one Embodiment of this invention. 撮像素子に形成された画素の詳細な構成を示す図である。It is a figure which shows the detailed structure of the pixel formed in the image pick-up element. 撮像素子駆動制御部の構成を示す図である。It is a figure which shows the structure of an image pick-up element drive control part. 本発明の一実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。It is a flowchart which shows the sequence of the imaging | photography operation | movement in the imaging device of one Embodiment of this invention. 位相差ＡＦ用駆動のみの場合の撮像素子の駆動の様子を示した図である。FIG. 6 is a diagram illustrating a state of driving of an image sensor when only phase difference AF driving is performed. 図６のようにして撮像素子を駆動させた場合の撮像素子の様子を光軸方向から拡大して示した図である。It is the figure which expanded and showed the mode of the image pick-up element at the time of driving an image pick-up element like FIG. 手ぶれ補正用駆動と位相差ＡＦ用駆動とを併用した場合について説明するためのグラフである。It is a graph for demonstrating the case where the camera shake correction drive and the phase difference AF drive are used in combination.

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラという）の構成を示す図である。図１に示すカメラは、レンズ交換式のカメラを例示しており、交換レンズ１００と、カメラ本体２００とを有している。交換レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。交換レンズ１００がカメラ本体２００に装着されることにより、交換レンズ１００とカメラ本体２００とが通信自在に接続される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a digital camera (hereinafter simply referred to as a camera) as an example of an imaging apparatus according to an embodiment of the present invention. The camera shown in FIG. 1 illustrates an interchangeable lens camera, and includes an interchangeable lens 100 and a camera body 200. The interchangeable lens 100 is configured to be detachable from the camera body 200. When the interchangeable lens 100 is attached to the camera body 200, the interchangeable lens 100 and the camera body 200 are connected to be able to communicate.

交換レンズ１００は、レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズ制御部１０４と、レンズ情報記憶部１０５と、通信部１０６とを有している。
レンズ１０１は、フォーカスレンズを含む複数のレンズから構成されており、図示しない被写体からの光束を撮像素子２０２に結像させる結像光学系である。このレンズ１０１は、フォーカスレンズをその光軸方向に沿って駆動させることにより、焦点位置を調節可能に構成されている。絞り１０２は、撮像素子２０２に結像される被写体からの光束の光量を調節する。 The interchangeable lens 100 includes a lens 101, a diaphragm 102, a driver 103, a lens control unit 104, a lens information storage unit 105, and a communication unit 106.
The lens 101 is composed of a plurality of lenses including a focus lens, and is an image forming optical system that forms an image on the image sensor 202 with a light beam from a subject (not shown). The lens 101 is configured such that the focus position can be adjusted by driving the focus lens along the optical axis direction. The diaphragm 102 adjusts the amount of light flux from the subject imaged on the image sensor 202.

ドライバ１０３は、モータ等を有して構成されている。ドライバ１０３は、レンズ制御部１０４の制御の下、レンズ１０１が有するフォーカスレンズをその光軸方向に駆動させる。また、ドライバ１０３は、レンズ制御部１０４の制御の下、絞り１０２を開閉させる。   The driver 103 includes a motor and the like. The driver 103 drives the focus lens included in the lens 101 in the optical axis direction under the control of the lens control unit 104. The driver 103 opens and closes the diaphragm 102 under the control of the lens control unit 104.

レンズ制御部１０４は、カメラ本体２００の制御部２０９の制御に従って、交換レンズ１００の動作を制御する。また、レンズ制御部１０４は、レンズ情報記憶部１０５に記憶されているレンズ情報を制御部２０９に送信することも行う。レンズ情報記憶部１０５は、レンズ１０１の収差や焦点距離等の交換レンズ１００の各種動作に必要な情報を記憶している。通信部１０６は、レンズ制御部１０４がカメラ本体２００の制御部２０９と通信するためのインターフェイスを備えている。   The lens control unit 104 controls the operation of the interchangeable lens 100 according to the control of the control unit 209 of the camera body 200. The lens control unit 104 also transmits the lens information stored in the lens information storage unit 105 to the control unit 209. The lens information storage unit 105 stores information necessary for various operations of the interchangeable lens 100 such as aberration and focal length of the lens 101. The communication unit 106 includes an interface for the lens control unit 104 to communicate with the control unit 209 of the camera body 200.

カメラ本体２００は、シャッタ２０１と、撮像素子２０２と、アクチュエータ２０３と、読み出し部２０４と、記憶部２０５と、画像処理部２０６と、表示部２０７と、記録媒体２０８と、制御部２０９と、操作部２１０と、動き検出部２１１とを有している。   The camera body 200 includes a shutter 201, an image sensor 202, an actuator 203, a reading unit 204, a storage unit 205, an image processing unit 206, a display unit 207, a recording medium 208, a control unit 209, and an operation. Unit 210 and motion detection unit 211.

シャッタ２０１は、撮像素子２０２の撮像面を遮光状態又は露出状態とすることで撮像素子２０２の露光時間を調節する機械的機構である。
撮像素子２０２は、レンズ１０１を介して結像された被写体からの光束（被写体像）を、光束の光量に応じた電気信号（以下、撮像信号という）に変換するための撮像面を有している。撮像面は、複数の画素が２次元状に配置されて構成されている。また、撮像面の光入射側には、例えば原色系ベイヤ配列のカラーフィルタが設けられている。この撮像素子２０２は、レンズ１０１を介して集光された被写体像を撮像し、被写体像を電気信号として出力する。ここで、撮像素子２０２は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子２０２の露光時間を電子的に制御する機能である。 The shutter 201 is a mechanical mechanism that adjusts the exposure time of the image sensor 202 by setting the imaging surface of the image sensor 202 in a light-shielded state or an exposed state.
The imaging element 202 has an imaging surface for converting a light beam (subject image) from a subject imaged through the lens 101 into an electrical signal (hereinafter referred to as an imaging signal) corresponding to the light amount of the light beam. Yes. The imaging surface is configured by two-dimensionally arranging a plurality of pixels. Further, for example, a primary color Bayer array color filter is provided on the light incident side of the imaging surface. The image sensor 202 captures a subject image collected through the lens 101 and outputs the subject image as an electrical signal. Here, it is desirable that the image sensor 202 has an electronic shutter function. The electronic shutter function is a function for electronically controlling the exposure time of the image sensor 202.

図２は、本実施形態における撮像素子２０２の画素配列を示した図である。図２に示すように、本実施形態における撮像素子２０２には、撮影用画素２０２１と、焦点検出用画素列２０２２とが形成されている。
撮影用画素２０２１は、記録媒体２０８に記録される撮影画像を取得するため等に用いられる画素であって、図２に示すようにして２次元状に形成されている。ここで、図２は、画素配列が原色系のベイヤ配列であり、赤色の感度を有する画素をＲ画素、緑色の感度を有する画素をＧ画素、青色の感度を有する画素をＢ画素として示している。しかしながら、カラーフィルタの配列は必ずしもベイヤ配列とする必要はない。 FIG. 2 is a diagram illustrating a pixel array of the image sensor 202 in the present embodiment. As illustrated in FIG. 2, the imaging element 202 in the present embodiment includes a shooting pixel 2021 and a focus detection pixel row 2022.
The imaging pixel 2021 is a pixel used for acquiring a captured image recorded on the recording medium 208, and is formed in a two-dimensional shape as shown in FIG. Here, FIG. 2 shows a Bayer array in which the pixel arrangement is a primary color system, a pixel having red sensitivity is indicated as an R pixel, a pixel having green sensitivity is indicated as a G pixel, and a pixel having blue sensitivity is indicated as a B pixel. Yes. However, the color filter array need not necessarily be a Bayer array.

焦点検出用画素列２０２２は、位相差ＡＦのために用いられる画素であって、撮像素子２０２の撮像面の一部の領域中に形成されている。図２では、焦点検出用画素列２０２２を撮像素子２０２の水平方向に沿って形成している。本実施形態では、カメラを正位置で構えたときに地面に対して水平となる撮像素子２０２の方向を撮像素子２０２の水平方向とする。このような焦点検出用画素列２０２２内のＧ画素の位置には、複数の焦点検出用画素対が形成されている。各焦点検出用画素対は、所定間隔（図２では１画素）だけ離間して配置された焦点検出用画素２０２２ｌと、焦点検出用画素２０２２ｒとを有している。さらに、画素列同士で見た場合、焦点検出用画素２０２２ｌ同士及び焦点検出用画素２０２２ｒ同士はそれぞれ所定間隔（以下、離散度という）だけ離間して配置されている。図２は、離散度が８画素の例である。   The focus detection pixel column 2022 is a pixel used for phase difference AF, and is formed in a partial region of the imaging surface of the imaging element 202. In FIG. 2, the focus detection pixel row 2022 is formed along the horizontal direction of the image sensor 202. In this embodiment, the direction of the image sensor 202 that is horizontal with respect to the ground when the camera is held at the normal position is the horizontal direction of the image sensor 202. A plurality of focus detection pixel pairs are formed at the position of the G pixel in the focus detection pixel row 2022. Each focus detection pixel pair includes a focus detection pixel 2022l and a focus detection pixel 2022r that are arranged at a predetermined interval (one pixel in FIG. 2). Further, when viewed from the pixel rows, the focus detection pixels 2022l and the focus detection pixels 2022r are arranged apart from each other by a predetermined interval (hereinafter referred to as discreteness). FIG. 2 is an example in which the discreteness is 8 pixels.

図３は、撮像素子２０２に形成された画素の詳細な構成を示す図である。ここで、図３（ａ）は、撮影用画素２０２１の構成を示す。また、図３（ｂ）は、焦点検出用画素２０２２ｌの構成を示し、図３（ｃ）は、焦点検出用画素２０２２ｒの構成を示している。   FIG. 3 is a diagram illustrating a detailed configuration of pixels formed in the image sensor 202. Here, FIG. 3A shows a configuration of the imaging pixel 2021. FIG. 3B shows the configuration of the focus detection pixel 2022l, and FIG. 3C shows the configuration of the focus detection pixel 2022r.

図３（ａ）に示すように、撮影用画素２０２１は、マイクロレンズ３０１と、光電変換素子３０２とを有している。
マイクロレンズ３０１は、レンズ１０１の対称に分割された異なる瞳領域を通過した光束を光電変換素子３０２に結像させるように設計されたレンズである。光電変換素子３０２は、例えばフォトダイオードであり、マイクロレンズ３０１を介して結像された光束を電気信号に変換して出力する。 As shown in FIG. 3A, the imaging pixel 2021 includes a microlens 301 and a photoelectric conversion element 302.
The microlens 301 is a lens designed to form an image on the photoelectric conversion element 302 with light beams that have passed through different pupil regions divided symmetrically of the lens 101. The photoelectric conversion element 302 is, for example, a photodiode, and converts the light beam imaged through the microlens 301 into an electric signal and outputs it.

図３（ｂ）及び図３（ｃ）に示すように、焦点検出用画素２０２２ｌは、マイクロレンズ３０１と、光電変換素子３０２と、遮光部材３０３とを有している。
マイクロレンズ３０１と光電変換素子３０２とは、撮影用画素２０２１と同様のものである。
焦点検出用画素２０２２ｌの遮光部材３０３は、図２に示すように、マイクロレンズ３０１の右側領域を遮光するように形成されており、マイクロレンズ３０１の左側領域から入射した光束Ｌｌを光電変換素子３０２に結像させる。焦点検出用画素２０２２ｒの遮光部材３０３は、図２に示すように、マイクロレンズ３０１の左側領域を遮光するように形成されており、マイクロレンズ３０１の右側領域から入射した光束Ｌｒを光電変換素子３０２に結像させる。 As shown in FIGS. 3B and 3C, the focus detection pixel 2022l includes a microlens 301, a photoelectric conversion element 302, and a light shielding member 303.
The microlens 301 and the photoelectric conversion element 302 are the same as the imaging pixel 2021.
As shown in FIG. 2, the light shielding member 303 of the focus detection pixel 2022l is formed so as to shield the right region of the microlens 301. To form an image. As shown in FIG. 2, the light shielding member 303 of the focus detection pixel 2022r is formed so as to shield the left side region of the microlens 301. To form an image.

ここで、本実施形態では、遮光部材を用いる方式で瞳分割を行っているが、マイクロレンズを偏芯させる方式や、１つの光電変換素子３０２を分割する方式等で瞳分割を行っても良い。
ここで、図１の説明に戻る。アクチュエータ２０３は、レンズ１０１の光軸に垂直な平面内で撮像素子２０２を物理的に駆動させるための機械機構である。このアクチュエータ２０３は、モータ等の駆動部と、撮像素子２０２の移動機構とを有している。アクチュエータ２０３は、撮像素子駆動制御部２１２からの駆動制御信号に従って撮像素子２０２の駆動を実行する。 Here, in this embodiment, pupil division is performed by a method using a light shielding member. However, pupil division may be performed by a method of decentering a microlens, a method of dividing one photoelectric conversion element 302, or the like. .
Here, the description returns to FIG. The actuator 203 is a mechanical mechanism for physically driving the image sensor 202 in a plane perpendicular to the optical axis of the lens 101. The actuator 203 has a drive unit such as a motor and a moving mechanism for the image sensor 202. The actuator 203 drives the image sensor 202 in accordance with the drive control signal from the image sensor drive control unit 212.

読み出し部２０４は、撮像素子２０２で得られた撮像信号を読み出して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。また、読み出し部２０４は、アナログの撮像信号をデジタル信号（以下、画像データと言う）に変換することも行う。   The reading unit 204 reads an image signal obtained by the image sensor 202 and performs various analog processes. Examples of the analog processing include reset noise reduction processing, waveform shaping processing, and gain control processing. The reading unit 204 also converts an analog imaging signal into a digital signal (hereinafter referred to as image data).

記憶部２０５は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する記憶部である。
画像処理部２０６は、記憶部２０５に記憶された画像データを読み出し、画素欠陥補正処理や、焦点検出用画素の補間処理、歪み補正処理、デモザイキング処理、画像圧縮処理等の画像処理を施す。 The storage unit 205 is a storage unit that operates as a work memory for temporarily storing various data generated inside the camera body 200.
The image processing unit 206 reads the image data stored in the storage unit 205 and performs image processing such as pixel defect correction processing, focus detection pixel interpolation processing, distortion correction processing, demosaicing processing, and image compression processing.

画素欠陥補正処理は、撮像素子２０２に欠陥画素がある場合に、その欠陥画素位置の撮影用の画像データを補間により得る処理である。焦点検出用画素の補間処理は、焦点検出用画素の位置に対応した撮影用の画像データを補間により得る処理である。歪み補正処理は、レンズ１０１の収差等に起因して撮影用の画像データに発生している歪みを補正する処理である。デモザイキング処理は、１画素が１つの色成分に対応している画像データを、１画素が３つの色成分に対応している画像データに変換する処理である。画像圧縮処理は、各種の画像処理が施された撮影用の画像データに対してＪＰＥＧ方式等の所定の方式を用いて圧縮する処理である。   The pixel defect correction process is a process for obtaining image data for photographing at a defective pixel position by interpolation when the image sensor 202 has a defective pixel. The focus detection pixel interpolation process is a process for obtaining image data for photographing corresponding to the position of the focus detection pixel by interpolation. The distortion correction process is a process for correcting distortion generated in image data for photographing due to aberrations of the lens 101 and the like. The demosaicing process is a process for converting image data in which one pixel corresponds to one color component into image data in which one pixel corresponds to three color components. The image compression process is a process of compressing image data for photographing subjected to various image processes using a predetermined method such as a JPEG method.

表示部２０７は、例えば液晶ディスプレイ（ＬＣＤ）であり、画像処理部２０６によって処理された画像データに基づく画像等の各種の画像を表示する。記録媒体２０８は、例えばカメラ本体２００に着脱自在になされたメモリカードであって、画像処理部２０６によって圧縮された画像データを含む画像ファイル等が記録される。   The display unit 207 is a liquid crystal display (LCD), for example, and displays various images such as an image based on the image data processed by the image processing unit 206. The recording medium 208 is, for example, a memory card that is detachably attached to the camera body 200, and records an image file including image data compressed by the image processing unit 206.

制御部２０９は、シャッタ２０１、撮像素子２０２、撮像素子駆動制御部２１２の動作制御等のカメラ本体２００の各種シーケンスを統括的に制御する。また、位相差ＡＦの実行時において、制御部２０９は、ＡＦ演算部２１３で演算されたデフォーカス量や撮影者によって設定された撮影モード等に応じてレンズ１０１を合焦させるために必要なフォーカスレンズの駆動量や駆動速度を算出し、それらをレンズ制御信号としてレンズ制御部１０４に出力する。このように、制御部２０９とレンズ制御部１０４とにより、結像光学系駆動制御部が構成されている。   The control unit 209 comprehensively controls various sequences of the camera body 200 such as operation control of the shutter 201, the image sensor 202, and the image sensor drive control unit 212. In addition, when executing phase difference AF, the control unit 209 focuses necessary for focusing the lens 101 according to the defocus amount calculated by the AF calculation unit 213, the shooting mode set by the photographer, and the like. The lens driving amount and driving speed are calculated and output to the lens control unit 104 as lens control signals. As described above, the control unit 209 and the lens control unit 104 constitute an imaging optical system drive control unit.

操作部２１０は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。撮影者により操作部２１０の操作がなされると、制御部２０９は、その操作に対応したシーケンスを実行する。
動き検出部２１１は、例えば３軸の加速度センサであり、カメラ本体２００の動き量を検出する。 The operation unit 210 is an operation member such as a power button, a shutter button, a playback button, and various input keys. When the operation unit 210 is operated by the photographer, the control unit 209 executes a sequence corresponding to the operation.
The motion detection unit 211 is a triaxial acceleration sensor, for example, and detects the amount of motion of the camera body 200.

撮像素子駆動制御部２１２は、制御部２０９からの手ぶれ補正指示又は位相差ＡＦ指示に従ってアクチュエータ２０３を駆動するための駆動制御信号を生成し、生成した駆動制御信号をアクチュエータ２０３に入力する。
図４は、撮像素子駆動制御部２１２の構成を示す図である。図４に示すように、撮像素子駆動制御部２１２は、位相差ＡＦ用制御部２１２１と、手ぶれ補正用制御部２１２２と、重畳部２１２３と、撮像素子ドライバ２１２４とを有している。 The image sensor drive control unit 212 generates a drive control signal for driving the actuator 203 in accordance with the camera shake correction instruction or the phase difference AF instruction from the control unit 209, and inputs the generated drive control signal to the actuator 203.
FIG. 4 is a diagram illustrating a configuration of the image sensor drive control unit 212. As illustrated in FIG. 4, the image sensor drive control unit 212 includes a phase difference AF control unit 2121, a camera shake correction control unit 2122, a superimposing unit 2123, and an image sensor driver 2124.

位相差ＡＦ用制御部２１２１は、制御部２０９から、位相差ＡＦ指示としての撮像素子２０２内の焦点検出用画素の露光時間等の情報を受け取り、焦点検出用画素の露光時間に応じた駆動制御信号を生成して重畳部２１２３に出力する。手ぶれ補正用制御部２１２２は、制御部２０９から手ぶれ補正指示としてのカメラ本体２００の動き量の情報を受け取り、撮影時におけるカメラ本体２００の揺れによる影響が軽減するように駆動制御信号を生成して重畳部２１２３に出力する。重畳部２１２３は、手ぶれ補正用制御部２１２２からの駆動制御信号に位相差ＡＦ用制御部２１２１からの駆動制御信号を重畳して撮像素子ドライバ２１２４に出力する。撮像素子ドライバ２１２４は、重畳部２１２３から受け取った駆動制御信号を元にアクチュエータ２０３の駆動電流を生成し、生成した駆動電流をアクチュエータ２０３に出力する。   The phase difference AF control unit 2121 receives information such as the exposure time of the focus detection pixels in the image sensor 202 as a phase difference AF instruction from the control unit 209, and performs drive control according to the exposure time of the focus detection pixels. A signal is generated and output to the superimposing unit 2123. The camera shake correction control unit 2122 receives information on the amount of movement of the camera body 200 as a camera shake correction instruction from the control unit 209, and generates a drive control signal so as to reduce the influence of shaking of the camera body 200 during shooting. The data is output to the superimposing unit 2123. The superimposing unit 2123 superimposes the drive control signal from the phase difference AF control unit 2121 on the drive control signal from the camera shake correction control unit 2122 and outputs the superimposed signal to the image sensor driver 2124. The image sensor driver 2124 generates a drive current for the actuator 203 based on the drive control signal received from the superimposing unit 2123, and outputs the generated drive current to the actuator 203.

ここで、図１の説明に戻る。ＡＦ演算部２１３は、焦点検出用画素２０２２ｌ、２０２２ｒからそれぞれ得られた画像データを用いた相関演算によってレンズ１０１のデフォーカス量を算出する。例えば、焦点検出用画素列２０２２の配列方向が撮像素子２０２の水平方向である場合、被写体のある点からの光束Ｌｌは、レンズ１０１の左側の瞳領域を通過して焦点検出用画素２０２２ｌで受光される。また、この点と同一の点からの光束Ｌｒは、レンズ１０１の右側の瞳領域を通過して焦点検出用画素２０２２ｒで受光される。ここで、レンズ１０１が合焦状態に近い場合、被写体の同一の点から出射された光束Ｌｌの受光位置と光束Ｌｒの受光位置との間隔である２像間隔が狭くなる。そして、レンズ１０１が合焦状態から外れるにつれて２像間隔が広くなる。このように、レンズ１０１の合焦状態と２像間隔とは線形関係を有しているので、２像間隔を検出することにより、レンズ１０１のデフォーカス量を算出することが可能である。この２像間隔を検出するための演算が相関演算である。相関演算の詳細な演算手法については従来周知の手法を用いれば良いので説明を省略する。   Here, the description returns to FIG. The AF calculation unit 213 calculates the defocus amount of the lens 101 by correlation calculation using image data obtained from the focus detection pixels 2022l and 2022r, respectively. For example, when the arrangement direction of the focus detection pixel row 2022 is the horizontal direction of the image sensor 202, the light beam Ll from a certain point of the subject passes through the pupil region on the left side of the lens 101 and is received by the focus detection pixel 2022l. Is done. Further, the light beam Lr from the same point as this point passes through the right pupil region of the lens 101 and is received by the focus detection pixel 2022r. Here, when the lens 101 is close to the in-focus state, the interval between the two images, which is the distance between the light receiving position of the light beam Ll emitted from the same point of the subject and the light receiving position of the light beam Lr, is narrowed. Then, the distance between the two images becomes wider as the lens 101 moves out of focus. As described above, since the in-focus state of the lens 101 and the two-image interval have a linear relationship, the defocus amount of the lens 101 can be calculated by detecting the two-image interval. A calculation for detecting the interval between the two images is a correlation calculation. The detailed calculation method of the correlation calculation may be a conventionally known method, and thus description thereof is omitted.

次に、図５のフローチャートを参照して、本発明の一実施形態に係る撮像装置の動作について説明する。図５は、本実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。撮影者の操作部２１０の電源ボタンの操作により、カメラ本体２００の電源がオンとなると図５の動作が開始される。カメラ本体２００の電源がオンされると、制御部２０９は、スルー画表示を実行する。スルー画表示において、制御部２０９は、撮像素子２０２の動作を開始させ、撮像素子２０２を介して得られる画像データに基づく画像を表示部２０７にリアルタイム表示させる。   Next, the operation of the imaging apparatus according to the embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 5 is a flowchart showing a sequence of shooting operations in the imaging apparatus of the present embodiment. When the camera body 200 is turned on by operating the power button of the operation unit 210 of the photographer, the operation of FIG. 5 is started. When the power source of the camera body 200 is turned on, the control unit 209 executes through image display. In the through image display, the control unit 209 starts the operation of the image sensor 202 and causes the display unit 207 to display an image based on image data obtained via the image sensor 202 in real time.

その後、制御部２０９は、撮像素子２０２の手ぶれ補正用駆動を実行する（ステップＳ１０１）。この手ぶれ補正用駆動において、制御部２０９は、動き検出部２１１によって検出されたカメラ本体２００の動き量を、撮像素子駆動制御部２１２の手ぶれ補正用制御部２１２２に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部２１２２は、入力されたカメラ本体２００の動き量が相殺されるような撮像素子２０２の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部２１２３に出力する。重畳部２１２３は、手ぶれ補正用制御部２１２２からの駆動制御信号を撮像素子ドライバ２１２４に出力する。撮像素子ドライバ２１２４は、受け取った駆動制御信号に応じてアクチュエータ２０３を駆動させる。この第２の駆動としての手ぶれ補正用駆動により、撮像素子２０２を介して得られる画像データにおける画像ぶれが軽減される。このような手ぶれ補正用駆動を行うのは、表示部２０７にスルー画を表示する際に撮影者が構図をスムーズに確認できるようにするためである。   After that, the control unit 209 executes a camera shake correction drive for the image sensor 202 (step S101). In this camera shake correction drive, the control unit 209 outputs the amount of movement of the camera body 200 detected by the motion detection unit 211 to the camera shake correction control unit 2122 of the image sensor drive control unit 212 to instruct camera shake correction. . In response to this instruction, the camera shake correction control unit 2122 generates a drive control signal indicating the drive amount of the image sensor 202 such that the input movement amount of the camera body 200 is canceled, and the generated drive control signal is generated. The data is output to the superimposing unit 2123. The superimposing unit 2123 outputs a drive control signal from the camera shake correction control unit 2122 to the image sensor driver 2124. The image sensor driver 2124 drives the actuator 203 in accordance with the received drive control signal. Image blurring in the image data obtained via the image sensor 202 is reduced by the camera shake correction driving as the second driving. The reason for performing the camera shake correction drive is to enable the photographer to check the composition smoothly when displaying the through image on the display unit 207.

手ぶれ補正用駆動の実行後、制御部２０９は、操作部２１０のシャッタボタンが押されたかどうかを判定する（ステップＳ１０２）。シャッタボタンが押されるまでは制御部２０９は、ステップＳ１０１の処理を繰り返す。この場合、手ぶれ補正を伴うスルー画表示が継続される。   After executing the camera shake correction drive, the control unit 209 determines whether the shutter button of the operation unit 210 has been pressed (step S102). Until the shutter button is pressed, the control unit 209 repeats the process of step S101. In this case, the through image display with camera shake correction is continued.

また、シャッタボタンが押された場合、制御部２０９は、撮像素子２０２の位相差ＡＦ駆動を実行する（ステップＳ１０３）。この第１の駆動としての位相差ＡＦ駆動において、制御部２０９は、動き検出部２１１によって検出されたカメラ本体２００の動き量を、手ぶれ補正用制御部２１２２に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部２１２２は、入力されたカメラ本体２００の動き量を相殺するような撮像素子２０２の駆動量に応じた駆動制御信号を生成し、生成した駆動制御信号を重畳部２１２３に出力する。また、制御部２０９は、焦点検出用画素の露光時間等の位相差ＡＦ駆動に必要な情報を、位相差ＡＦ用制御部２１２１に出力して位相差ＡＦ駆動を指示する。この指示を受けて、位相差ＡＦ用制御部２１２１は、入力された露光時間に応じた撮像素子２０２の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部２１２３に出力する。重畳部２１２３は、手ぶれ補正用の駆動制御信号に位相差ＡＦ駆動用の駆動制御信号を重畳し、これにより得られた駆動制御信号を撮像素子ドライバ２１２４に出力する。撮像素子ドライバ２１２４は、受け取った駆動制御信号に応じてアクチュエータ２０３を駆動させる。このような位相差ＡＦ駆動の詳細については後述する。   If the shutter button is pressed, the control unit 209 executes phase difference AF driving of the image sensor 202 (step S103). In the phase difference AF driving as the first driving, the control unit 209 outputs the amount of motion of the camera body 200 detected by the motion detection unit 211 to the camera shake correction control unit 2122 to instruct camera shake correction. In response to this instruction, the camera shake correction control unit 2122 generates a drive control signal according to the drive amount of the image sensor 202 that cancels the input movement amount of the camera body 200, and uses the generated drive control signal. The data is output to the superimposing unit 2123. Further, the control unit 209 outputs information necessary for the phase difference AF driving such as the exposure time of the focus detection pixel to the phase difference AF control unit 2121 to instruct the phase difference AF driving. In response to this instruction, the phase difference AF control unit 2121 generates a drive control signal indicating the drive amount of the image sensor 202 according to the input exposure time, and outputs the generated drive control signal to the superimposing unit 2123. . The superimposing unit 2123 superimposes the driving control signal for phase difference AF driving on the driving control signal for camera shake correction, and outputs the driving control signal obtained thereby to the image sensor driver 2124. The image sensor driver 2124 drives the actuator 203 in accordance with the received drive control signal. Details of such phase difference AF driving will be described later.

位相差ＡＦ駆動の実行後、制御部２０９は、位相差ＡＦ用の画像データの読み出しを指示する（ステップＳ１０４）。これを受けて、読み出し部２０４は、撮像素子２０２の焦点検出用画素列２０２２から画像データを読み出し、読み出した画像データを記憶部２０５に記憶させる。画像データの読み出し後、制御部２０９は、ＡＦ演算部２１３にデフォーカス量の算出を指示する（ステップＳ１０５）。これを受けてＡＦ演算部２１３は、記憶部２０５から画像データを読み出し、読み出した画像データから、光束Ｌｌの受光位置と光束Ｌｒの受光位置との間隔である２像間隔を検出し、検出した２像間隔からレンズ１０１のデフォーカス量を算出する（ステップＳ１０５）。ＡＦ演算部２１３は、算出したデフォーカス量を制御部２０９に出力する。   After executing the phase difference AF driving, the control unit 209 instructs reading of the image data for phase difference AF (step S104). In response to this, the reading unit 204 reads image data from the focus detection pixel array 2022 of the image sensor 202 and causes the storage unit 205 to store the read image data. After reading the image data, the control unit 209 instructs the AF calculation unit 213 to calculate the defocus amount (step S105). In response to this, the AF calculation unit 213 reads the image data from the storage unit 205, detects the two-image interval, which is the interval between the light receiving position of the light beam Ll and the light receiving position of the light beam Lr, from the read image data. The defocus amount of the lens 101 is calculated from the two image intervals (step S105). The AF calculation unit 213 outputs the calculated defocus amount to the control unit 209.

その後、制御部２０９は、入力されたデフォーカス量が予め定めた合焦範囲内であるかどうかを判定する（ステップＳ１０６）。ここで、合焦範囲とは、レンズ１０１の焦点深度に応じて設定されるものであり、レンズ１０１が合焦していると判断できる範囲のことである。デフォーカス量が合焦範囲外である場合、制御部２０９は、デフォーカス量に応じたレンズ駆動を実行する（ステップＳ１０７）。このレンズ駆動において、制御部２０９は、デフォーカス量が相殺されるようなフォーカスレンズの駆動量を示すレンズ駆動制御信号を生成し、生成したレンズ駆動制御信号をレンズ制御部１０４に出力する。レンズ制御部１０４は受け取ったレンズ駆動制御信号をドライバ１０３に出力する。ドライバ１０３は、受け取ったレンズ駆動制御信号に応じてレンズ１０１のフォーカスレンズを駆動させる。このようなレンズ駆動により、レンズ１０１のデフォーカス量が小さくなる。このレンズ駆動の後、制御部２０９は、処理をステップＳ１０４に戻す。   Thereafter, the control unit 209 determines whether or not the input defocus amount is within a predetermined focusing range (step S106). Here, the in-focus range is set according to the focal depth of the lens 101, and is a range in which it can be determined that the lens 101 is in focus. When the defocus amount is out of the focus range, the control unit 209 performs lens driving according to the defocus amount (step S107). In this lens drive, the control unit 209 generates a lens drive control signal indicating the drive amount of the focus lens so that the defocus amount is canceled, and outputs the generated lens drive control signal to the lens control unit 104. The lens control unit 104 outputs the received lens drive control signal to the driver 103. The driver 103 drives the focus lens of the lens 101 according to the received lens drive control signal. By such lens driving, the defocus amount of the lens 101 is reduced. After this lens driving, the control unit 209 returns the process to step S104.

ステップＳ１０６において、デフォーカス量が合焦範囲内である場合、制御部２０９は、手ぶれ補正用駆動を再び実行する（ステップＳ１０８）。その後、制御部２０９は、撮像素子２０２の本撮像を実行する（ステップＳ１０９）。本撮像においては、撮像素子２０２の露光量を所定の適正値とするように、絞り１０２の絞り量や撮像素子２０２の露光時間（シャッタ２０１の開放量）を設定しつつ、撮像素子２０２による露光を実行する。   In step S106, when the defocus amount is within the in-focus range, the control unit 209 executes the camera shake correction drive again (step S108). Thereafter, the control unit 209 performs main imaging of the image sensor 202 (step S109). In actual imaging, the exposure by the image sensor 202 is set while setting the aperture amount of the diaphragm 102 and the exposure time of the image sensor 202 (the opening amount of the shutter 201) so that the exposure amount of the image sensor 202 is a predetermined appropriate value. Execute.

本撮像の後、制御部２０９は、撮影用の画像データの読み出しを指示する（ステップＳ１１０）。これを受けて、読み出し部２０４は、撮像素子２０２の全画素から画像データを読み出し、読み出した画像データを記憶部２０５に記憶させる。画像データの読み出し後、制御部２０９は、画像処理部２０６に画像処理の実行を指示する（ステップＳ１１１）。これを受けて画像処理部２０６は、記憶部２０５から画像データを読み出し、読み出した画像データを用いて画素補間処理を施す。画素補間処理は、種々の手法を用いることができる。例えば、焦点検出用画素２０２２ｌ、２０２２ｒの周囲の同色画素（図２の例ではＧ画素）の画像データの平均値を用いて焦点検出用画素２０２２ｌ、２０２２ｒの位置の画像データを補間することができる。この他、画素補間処理の代わりに焦点検出用画素２０２２ｌ、２０２２ｒの画像データをそのまま用いるようにしても良い。画素補間処理の後、画像処理部２０６は、画素欠陥補正処理、歪み補正処理、デモザイキング処理、画像圧縮処理等のその他の画像処理を施し、画像処理後の画像データを記憶部２０５に記憶させる。その後、制御部２０９は、記憶部２０５から画像処理後の画像データを読み出し、読み出した画像データに所定のヘッダ情報を付与して画像ファイルを作成し、作成した画像ファイルを記録媒体２０８に記録させる（ステップＳ１１２）。その後、制御部２０９は、ステップ１０２へ処理を戻す。このようにして一連の撮影動作が行われる。   After the main imaging, the control unit 209 instructs reading of image data for shooting (step S110). In response to this, the reading unit 204 reads image data from all the pixels of the image sensor 202 and stores the read image data in the storage unit 205. After reading the image data, the control unit 209 instructs the image processing unit 206 to execute image processing (step S111). In response to this, the image processing unit 206 reads image data from the storage unit 205 and performs pixel interpolation processing using the read image data. Various methods can be used for pixel interpolation processing. For example, the image data at the positions of the focus detection pixels 2022l and 2022r can be interpolated using the average value of the image data of the same color pixels (G pixels in the example of FIG. 2) around the focus detection pixels 2022l and 2022r. . In addition, the image data of the focus detection pixels 2022l and 2022r may be used as they are instead of the pixel interpolation processing. After the pixel interpolation processing, the image processing unit 206 performs other image processing such as pixel defect correction processing, distortion correction processing, demosaicing processing, and image compression processing, and stores the image data after the image processing in the storage unit 205. . Thereafter, the control unit 209 reads out the image data after image processing from the storage unit 205, adds predetermined header information to the read image data, creates an image file, and records the created image file in the recording medium 208. (Step S112). Thereafter, the control unit 209 returns the process to step 102. In this way, a series of shooting operations are performed.

次に、位相差ＡＦ駆動について詳しく説明する。
まず、基本的な動きを説明するために手ぶれ補正用駆動が行われない場合を例に説明する。即ち、手ぶれ補正用制御部２１２２が駆動制御信号を出力せずに位相差ＡＦ用制御部２１２１のみが駆動制御信号を出力し、撮像素子ドライバ２１２４が位相差ＡＦ用制御部２１２１からの駆動制御信号に従ってアクチュエータ２０３を駆動させる例である。この時の撮像素子２０２の駆動の様子を示したのが図６である。 Next, phase difference AF driving will be described in detail.
First, in order to explain the basic movement, a case will be described as an example where the image stabilization drive is not performed. That is, the camera shake correction control unit 2122 does not output a drive control signal, but only the phase difference AF control unit 2121 outputs a drive control signal, and the image sensor driver 2124 outputs a drive control signal from the phase difference AF control unit 2121. This is an example of driving the actuator 203 according to the above. FIG. 6 shows how the image sensor 202 is driven at this time.

本実施形態では、焦点検出用画素対の配列方向と平行になるように撮像素子２０２を駆動させる。図２の例では、水平方向に撮像素子２０２を駆動させる。ここで、図６の縦軸は、撮像素子２０２の変位量を示しており、右方向を正方向としている。また、図６の縦軸で示す１ＥＬは、離散度を示している。離散度は、焦点検出用画素のサンプリングピッチに対応した量であって、図６の例では１ＥＬ＝８画素である。また、図６の横軸は経過時間を示している。図６に示すように、焦点検出用画素の露光は、垂直同期信号ＶＤに同期して行われる。図６の例では、ＶＤ信号の間隔を２０ｍｓとし、４回連続で露光を行っている。ここで、図６の例では、４回の露光動作を行う例を示しているが露光回数は、４回に限定されるものではない。   In the present embodiment, the image sensor 202 is driven so as to be parallel to the arrangement direction of the focus detection pixel pairs. In the example of FIG. 2, the image sensor 202 is driven in the horizontal direction. Here, the vertical axis in FIG. 6 indicates the amount of displacement of the image sensor 202, and the right direction is the positive direction. Moreover, 1EL shown by the vertical axis | shaft of FIG. 6 has shown discreteness. The discreteness is an amount corresponding to the sampling pitch of the focus detection pixels, and in the example of FIG. 6, 1EL = 8 pixels. Further, the horizontal axis in FIG. 6 indicates the elapsed time. As shown in FIG. 6, the focus detection pixels are exposed in synchronization with the vertical synchronization signal VD. In the example of FIG. 6, the interval between VD signals is 20 ms, and exposure is performed four times in succession. Here, the example of FIG. 6 shows an example in which the exposure operation is performed four times, but the number of exposures is not limited to four.

図６に示すように、本実施形態では、１回の露光期間中に水平方向に１ＥＬだけ動くように撮像素子２０２を駆動させる。また、１回の露光期間毎に撮像素子２０２の移動方向を反転させるように撮像素子２０２を駆動させる。この場合、撮像素子２０２は水平方向に沿って振動するように移動する。図６の例の場合には、振動周期は４０ｍｓとなり、振動周波数は２５Ｈｚとなる。   As shown in FIG. 6, in this embodiment, the image sensor 202 is driven so as to move by 1 EL in the horizontal direction during one exposure period. Further, the image sensor 202 is driven so as to reverse the moving direction of the image sensor 202 for each exposure period. In this case, the image sensor 202 moves so as to vibrate along the horizontal direction. In the example of FIG. 6, the vibration period is 40 ms and the vibration frequency is 25 Hz.

図６のようにして撮像素子２０２を駆動させた場合の撮像素子２０２の様子を光軸方向から拡大して示したものが図７である。図７において、白抜きの丸で示す画素が撮影用画素２０２１を示し、ハッチングを施した画素が焦点検出用画素を示している。そして、Ｌは焦点検出用画素２０２２ｌであり、Ｒは焦点検出用画素２０２２ｒである。さらに、図７において括弧書きで示した番号は、図６の時間軸に沿って括弧書きで示した番号とそれぞれ対応しており、時間の経過とともに撮像素子２０２がどのように動くかを示している。   FIG. 7 is an enlarged view of the state of the image sensor 202 when the image sensor 202 is driven as shown in FIG. 6 from the optical axis direction. In FIG. 7, a pixel indicated by a white circle indicates a photographing pixel 2021, and a hatched pixel indicates a focus detection pixel. L is a focus detection pixel 2022l, and R is a focus detection pixel 2022r. Further, the numbers shown in parentheses in FIG. 7 correspond to the numbers shown in parentheses along the time axis in FIG. 6, and indicate how the image sensor 202 moves with the passage of time. Yes.

露光開始の時点では（１）の状態である。この後、撮像素子２０２の露光開始に伴って右方向への撮像素子２０２の移動が開始される。露光開始から１０ｍｓが経過すると（２）の状態となる。このとき、焦点検出用画素２０２２ｌ、２０２２ｒの位置が初期の位置から１/２ＥＬ（＝４画素）だけずれる。さらに、露光開始から１０ｍｓが経過すると１回分の露光が終了して（３）の状態となる。このとき、焦点検出用画素２０２２ｌ、２０２２ｒの位置が初期の位置から１ＥＬ（＝８画素）だけずれる。この後、画像データの読み出しが行われて１回の露光動作が終了する。この１回の露光動作により、１つの焦点検出用画素を用いて、８画素分の範囲の光束を２．５ｍｓずつの露光時間でサンプリングすることが可能である。   At the start of exposure, the state is (1). Thereafter, the movement of the image sensor 202 in the right direction is started with the start of exposure of the image sensor 202. When 10 ms elapses from the start of exposure, the state (2) is obtained. At this time, the positions of the focus detection pixels 2022l and 2022r are deviated by 1/2 EL (= 4 pixels) from the initial position. Further, when 10 ms elapses from the start of exposure, one exposure is completed and the state (3) is obtained. At this time, the positions of the focus detection pixels 2022l and 2022r are deviated by 1 EL (= 8 pixels) from the initial position. Thereafter, the image data is read and one exposure operation is completed. With this single exposure operation, it is possible to sample a luminous flux in a range of 8 pixels with an exposure time of 2.5 ms using one focus detection pixel.

２回目の露光開始から１０ｍｓが経過すると（４）の状態となる。（４）の状態は（２）と同一である。さらに、１０ｍｓが経過すると（５）の状態となる。（５）の状態は（１）と同一であり、これにより撮像素子２０２の位置が初期状態に復帰する。以後、３回目の露光時には１回目の露光時と同様に撮像素子２０２が駆動され、４回目の露光時には２回目の露光時と同様に撮像素子２０２が駆動される。なお、位相差ＡＦに用いる画像データは、例えば４回の露光の平均値を用いる。   When 10 ms elapses from the start of the second exposure, the state (4) is obtained. The state of (4) is the same as (2). Further, when 10 ms elapses, the state (5) is obtained. The state of (5) is the same as (1), whereby the position of the image sensor 202 is returned to the initial state. Thereafter, in the third exposure, the image sensor 202 is driven as in the first exposure, and in the fourth exposure, the image sensor 202 is driven as in the second exposure. For example, an average value of four exposures is used as the image data used for the phase difference AF.

次に、手ぶれ補正用駆動が行われる場合の動作について説明を行う。
図８は、手ぶれ補正用駆動と位相差ＡＦ用駆動とを併用した場合について説明するためのグラフである。ここで、図８においては、撮像素子２０２の変位を縦軸に、時間変化を横軸に示している。ここでは簡略化のために水平方向のみの変位を図示しているが、実際には垂直方向にも駆動させているものとする。図８の領域ＡはステップＳ１０１の期間に対応している。同様に図８の領域ＢはステップＳ１０３の期間に対応し、領域ＣはステップＳ１０８の期間に対応している。さらに、点Ｓのタイミングで本撮像を行っている。 Next, the operation when the camera shake correction drive is performed will be described.
FIG. 8 is a graph for explaining the case where the camera shake correction drive and the phase difference AF drive are used in combination. Here, in FIG. 8, the displacement of the image sensor 202 is shown on the vertical axis, and the time change is shown on the horizontal axis. Here, for the sake of simplification, only the displacement in the horizontal direction is illustrated, but it is assumed that the displacement is actually also driven in the vertical direction. Region A in FIG. 8 corresponds to the period of step S101. Similarly, region B in FIG. 8 corresponds to the period of step S103, and region C corresponds to the period of step S108. Further, the main imaging is performed at the timing of the point S.

上述したように、領域Ａ、Ｃの期間では、手ぶれ補正用の撮像素子２０２の駆動のみが行われる。即ち、カメラ本体２００の動きによる画像のぶれを補正する方向にのみ撮像素子２０２を駆動する。この手ぶれ補正用駆動によって、撮影者の意図しない手ぶれによる画像ぶれの影響を軽減できる。なお、一般に人の手ぶれは、およそ数Ｈｚ〜十数Ｈｚ程の振動であるので撮像素子２０２の駆動周期もそれと同程度となる。   As described above, during the period of the regions A and C, only the image pickup device 202 for camera shake correction is driven. That is, the image sensor 202 is driven only in a direction in which image blur due to the movement of the camera body 200 is corrected. This camera shake correction drive can reduce the influence of image blur caused by camera shake not intended by the photographer. In general, human hand shake is a vibration of about several Hz to several tens of Hz, so that the driving cycle of the image sensor 202 is approximately the same.

一方、領域Ｂでは、手ぶれ補正用駆動に位相差ＡＦ用駆動を重畳して撮像素子２０２を駆動する。両駆動の重畳の仕方は、手ぶれ補正用駆動量に応じて異ならせる。例えば、手ぶれ補正用の駆動量が位相差ＡＦ用駆動量よりも小さい場合には、図８の破線で示す手ぶれ補正用駆動量に対してさらに位相差ＡＦ用の駆動量分だけ撮像素子２０２を能動的に動かす。一方、手ぶれ補正用の駆動量が位相差ＡＦ用の駆動量よりも大きい場合には、手ぶれ補正用駆動のみ行う。この時、完全に手ぶれを補正してしまうと位相差ＡＦ用駆動の効果がなくなってしまうので、位相差ＡＦ用の駆動に必要な駆動量だけ撮像素子２０２が動くようにする。   On the other hand, in the region B, the imaging element 202 is driven by superimposing the phase difference AF driving on the camera shake correction driving. The method of superimposing both the drives is made different according to the camera shake correction drive amount. For example, when the driving amount for camera shake correction is smaller than the driving amount for phase difference AF, the image sensor 202 is further increased by the driving amount for phase difference AF with respect to the driving amount for camera shake correction shown by the broken line in FIG. Move actively. On the other hand, when the driving amount for camera shake correction is larger than the driving amount for phase difference AF, only the camera shake correction drive is performed. At this time, if the camera shake is completely corrected, the effect of the phase difference AF driving is lost, so that the image sensor 202 is moved by the driving amount necessary for the phase difference AF driving.

以上説明したように本実施形態では、位相差ＡＦ時に撮像素子２０２を能動的に駆動させることで、焦点検出用画素をその配列方向に沿ってスキャンさせることが可能である。これにより、焦点検出用画素の離散度を大きくしても、撮像面上に結像している光束を広範囲でサンプリングできる。また、このような位相差ＡＦ駆動では、実質的にローパスフィルタを用いたのと同様の効果が得られる。即ち、撮像信号における高周波成分が除去されるので、エイリアシングの影響によって相関演算の誤差が大きくなる合焦点の近傍付近でも精度良く、デフォーカス量算出を行うことができる。   As described above, in the present embodiment, it is possible to scan the focus detection pixels along the arrangement direction by actively driving the image sensor 202 during the phase difference AF. Thereby, even if the discreteness of the focus detection pixels is increased, the light flux formed on the imaging surface can be sampled over a wide range. Further, in such phase difference AF driving, substantially the same effect as using a low-pass filter can be obtained. That is, since the high-frequency component in the image pickup signal is removed, the defocus amount can be calculated with high accuracy even in the vicinity of the focal point where the error of the correlation calculation becomes large due to the influence of aliasing.

また、位相差ＡＦ用の撮像素子２０２の駆動と手ぶれ補正用の撮像素子２０２の駆動とを併用することにより、画像ぶれの低減と位相差ＡＦの検出精度の向上とを両立させることが可能である。さらに、手ぶれ補正用の駆動機構と位相差ＡＦ用の駆動機構とを別個に設ける必要もない。なお、上述の例では、位相差ＡＦ用の撮像素子２０２の駆動と手ぶれ補正用の撮像素子２０２の駆動とを並列して行うようにしているが、位相差ＡＦ用の撮像素子２０２の駆動と手ぶれ補正用の撮像素子２０２の駆動とは適宜切り替えて行うようにしても良い。   Further, by combining the driving of the image sensor 202 for phase difference AF and the driving of the image sensor 202 for correcting camera shake, it is possible to achieve both reduction in image blur and improvement in detection accuracy of phase difference AF. is there. Further, it is not necessary to separately provide a camera shake correction drive mechanism and a phase difference AF drive mechanism. In the above-described example, the driving of the image sensor 202 for phase difference AF and the driving of the image sensor 202 for camera shake correction are performed in parallel. The driving of the image pickup device 202 for camera shake correction may be switched as appropriate.

また、図６の例では、焦点検出用画素の配列方向が撮像素子２０２の水平方向であるため、位相差ＡＦ駆動時の撮像素子２０２の駆動方向が水平方向となっている。しかしながら、焦点検出用画素の配列方向は必ずしも水平方向とする必要はなく、垂直方向や斜め方向に配置することもできる。また、焦点検出用画素列を複数列配置するようにしても良い。また、１回の露光期間中の撮像素子２０２の駆動量を１ＥＬ（図２の例では８画素）分としているが、０ＥＬより大きく、１ＥＬ以内の距離であれば良い。   In the example of FIG. 6, since the array direction of the focus detection pixels is the horizontal direction of the image sensor 202, the drive direction of the image sensor 202 during phase difference AF driving is the horizontal direction. However, the arrangement direction of the focus detection pixels does not necessarily have to be a horizontal direction, and can be arranged in a vertical direction or an oblique direction. Further, a plurality of focus detection pixel columns may be arranged. Further, although the driving amount of the image sensor 202 during one exposure period is 1 EL (8 pixels in the example of FIG. 2), the distance may be larger than 0 EL and within 1 EL.

さらに、上述した例では撮像装置の例としてレンズ交換式カメラを示しているが、必ずしもレンズ交換式とする必要はない。本実施形態の技術は、撮影用の撮像素子上で位相差ＡＦを行う各種の撮像装置に適用可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Further, in the above-described example, an interchangeable lens camera is shown as an example of the imaging apparatus, but it is not necessarily required to be a interchangeable lens. The technique of the present embodiment can be applied to various imaging apparatuses that perform phase difference AF on an imaging element for photographing.
Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。   Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.

１００…交換レンズ、１０１…レンズ、１０３…ドライバ、１０４…レンズ制御部、１０５…レンズ情報記憶部、１０６…通信部、２００…カメラ本体、２０１…シャッタ、２０２…撮像素子、２０３…アクチュエータ、２０５…記憶部、２０６…画像処理部、２０７…表示部、２０８…記録媒体、２０９…制御部、２１０…操作部、２１１…動き検出部、２１２…撮像素子駆動制御部、２１３…ＡＦ演算部、３０１…マイクロレンズ、３０２…光電変換素子、３０３…遮光部材、２０２１…撮影用画素、２０２２…焦点検出用画素列、２１２１…位相差ＡＦ用制御部、２１２２…手ぶれ補正用制御部、２１２３…重畳部、２１２４…撮像素子ドライバ   DESCRIPTION OF SYMBOLS 100 ... Interchangeable lens, 101 ... Lens, 103 ... Driver, 104 ... Lens control part, 105 ... Lens information storage part, 106 ... Communication part, 200 ... Camera body, 201 ... Shutter, 202 ... Imaging element, 203 ... Actuator, 205 DESCRIPTION OF SYMBOLS ... Memory | storage part, 206 ... Image processing part, 207 ... Display part, 208 ... Recording medium, 209 ... Control part, 210 ... Operation part, 211 ... Motion detection part, 212 ... Image sensor drive control part, 213 ... AF calculating part, DESCRIPTION OF SYMBOLS 301 ... Micro lens, 302 ... Photoelectric conversion element, 303 ... Light-shielding member, 2021 ... Shooting pixel, 2022 ... Focus detection pixel row, 2121 ... Phase difference AF control unit, 2122 ... Camera shake correction control unit, 2123 ... Superimposition , 2124 ... Image sensor driver

Claims (4)

被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、
前記焦点検出用画素対からそれぞれ出力された撮像信号から２像間隔を算出し、該算出した２像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、
前記演算部により算出されたデフォーカス量に基づき前記結像光学系を合焦範囲内に駆動する結像光学系駆動制御部と、
前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、
を具備することを特徴とする撮像装置。 A focus detection pixel pair having a plurality of pixels that output an imaging signal corresponding to a light beam from a subject, and receiving a light beam that has passed through a different pupil region of the imaging optical system in a part of the plurality of pixels. An imaging element formed with,
A calculation unit that calculates a two-image interval from the imaging signals respectively output from the focus detection pixel pairs, and calculates a defocus amount for the subject of the imaging optical system from the calculated two-image interval;
An imaging optical system drive control unit that drives the imaging optical system within a focusing range based on the defocus amount calculated by the arithmetic unit;
An image sensor driving control unit that moves the image sensor during an exposure period in which the focus detection pixel pair receives the luminous flux and removes a high-frequency component in an image signal output from the focus detection pixel pair;
An imaging apparatus comprising: 前記焦点検出用画素対は、複数対形成されており、
前記撮像素子駆動制御部は、前記露光期間中に、互いに隣接する焦点検出用画素対の間の距離以内の距離だけ前記撮像素子を移動させることを特徴とする請求項１に記載の撮像装置。 A plurality of pairs of focus detection pixels are formed,
The image pickup apparatus according to claim 1, wherein the image pickup device drive control unit moves the image pickup device by a distance within a distance between adjacent focus detection pixel pairs during the exposure period. 前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第１の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第２の駆動と、を重畳させて前記撮像素子を移動させることを特徴とする請求項１に記載の撮像装置。   The image sensor drive control unit performs a first drive for moving the image sensor to remove a high frequency component in an image signal output from the focus detection pixel pair, and a camera shake correction of the image pickup apparatus. The image pickup apparatus according to claim 1, wherein the image pickup device is moved by superimposing a second drive for moving the image pickup device. 前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第１の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第２の駆動と、を切り替えて前記撮像素子を移動させることを特徴とする請求項１に記載の撮像装置。   The image sensor drive control unit performs a first drive for moving the image sensor to remove a high frequency component in an image signal output from the focus detection pixel pair, and a camera shake correction of the image pickup apparatus. The image pickup apparatus according to claim 1, wherein the image pickup device is moved by switching between a second drive for moving the image pickup device.
JP2011029839A 2011-02-15 2011-02-15 Imaging device Expired - Fee Related JP5714931B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011029839A JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011029839A JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Publications (2)

Publication Number Publication Date
JP2012168383A JP2012168383A (en) 2012-09-06
JP5714931B2 true JP5714931B2 (en) 2015-05-07

Family

ID=46972595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011029839A Expired - Fee Related JP5714931B2 (en) 2011-02-15 2011-02-15 Imaging device

Country Status (1)

Country Link
JP (1) JP5714931B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584727B2 (en) 2013-05-17 2017-02-28 Ricoh Imaging Company, Ltd. Photographing apparatus and photographing control system
JP6525498B2 (en) * 2013-12-12 2019-06-05 キヤノン株式会社 Image pickup apparatus, control method thereof and control program
KR102128467B1 (en) 2014-01-09 2020-07-09 삼성전자주식회사 Image sensor and image photograph apparatus including image sensor
JP6892087B2 (en) 2015-06-12 2021-06-18 ソニー・オリンパスメディカルソリューションズ株式会社 Medical image acquisition system and medical imaging device
JP2018031877A (en) 2016-08-24 2018-03-01 オリンパス株式会社 Image pickup device and focus adjusting method
JP7374667B2 (en) * 2019-08-29 2023-11-07 キヤノン株式会社 Imaging device and its control method
JP7397626B2 (en) 2019-10-30 2023-12-13 キヤノン株式会社 Imaging device and its control method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354336A (en) * 2001-05-28 2002-12-06 Canon Inc Lens device and digital camera system
JP2004109864A (en) * 2002-09-20 2004-04-08 Canon Inc Imaging apparatus and imaging system provided with it
JP2008193195A (en) * 2007-02-01 2008-08-21 Nikon Corp Digital camera
JP5012495B2 (en) * 2007-12-26 2012-08-29 株式会社ニコン IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE
JP5219865B2 (en) * 2008-02-13 2013-06-26 キヤノン株式会社 Imaging apparatus and focus control method
WO2009133960A1 (en) * 2008-04-30 2009-11-05 Canon Kabushiki Kaisha Image sensing apparatus
JP2010087850A (en) * 2008-09-30 2010-04-15 Fujitsu Frontech Ltd Imaging apparatus for reading information
JP5478677B2 (en) * 2012-07-19 2014-04-23 オリンパスイメージング株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Also Published As

Publication number Publication date
JP2012168383A (en) 2012-09-06

Similar Documents

Publication Publication Date Title
JP5714931B2 (en) Imaging device
JP6476065B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4908067B2 (en) Solid-state imaging device and imaging device system using the same
JP5126261B2 (en) camera
JP4529840B2 (en) Imaging apparatus, image processing method, and program
WO2015190156A1 (en) Image processing device, imaging device equipped with same, image processing method, and image processing program
JP2012226213A (en) Imaging apparatus and control method therefor
JP2018042060A (en) Imaging apparatus
JP5572700B2 (en) Imaging apparatus and imaging method
JP6021622B2 (en) Image processing apparatus and image processing method
JP5826901B2 (en) Imaging apparatus and optical axis position calculation method
KR101817655B1 (en) Photographing apparatus and method for three dimensional image
JP2019106634A (en) Imaging element and imaging device
JP5769773B2 (en) Camera system and focus detection pixel correction method
JP5701942B2 (en) Imaging apparatus, camera system, and image processing method
JP2012231262A (en) Imaging apparatus, blur correction method, control program, and recording medium for recording control program
JP6600458B2 (en) Image sensor, focus detection apparatus, and focus detection method
JP5775918B2 (en) Imaging apparatus, image processing method, and image processing program
JP2018101110A (en) Focus detection device
JP2021157069A (en) Image tremor correction control device, imaging device and imaging device control method
JP5510094B2 (en) Image processing apparatus and image processing program
JP5683135B2 (en) Imaging apparatus and control method thereof
JP6547742B2 (en) Imaging control apparatus, imaging apparatus and imaging control method
JP2016057402A (en) Imaging device and method for controlling the same
JP5726502B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150312

R151 Written notification of patent or utility model registration

Ref document number: 5714931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees