JP5911291B2 - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP5911291B2
JP5911291B2 JP2011276580A JP2011276580A JP5911291B2 JP 5911291 B2 JP5911291 B2 JP 5911291B2 JP 2011276580 A JP2011276580 A JP 2011276580A JP 2011276580 A JP2011276580 A JP 2011276580A JP 5911291 B2 JP5911291 B2 JP 5911291B2
Authority
JP
Japan
Prior art keywords
image data
light receiving
receiving element
imaging device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011276580A
Other languages
Japanese (ja)
Other versions
JP2013127532A (en
Inventor
典央 根岸
典央 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011276580A priority Critical patent/JP5911291B2/en
Publication of JP2013127532A publication Critical patent/JP2013127532A/en
Application granted granted Critical
Publication of JP5911291B2 publication Critical patent/JP5911291B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、マイクロレンズ毎に複数の光電変換素子を有する撮像素子を備えた撮像装置とその制御方法に関する。   The present invention relates to an imaging device including an imaging device having a plurality of photoelectric conversion elements for each microlens and a control method thereof.

近年、立体視表示あるいは３Ｄ表示可能な画像（以下、３Ｄ画像という）を撮影する技術が知られている。３Ｄ画像は３Ｄ静止画像および３Ｄ動画像を含む。３Ｄ画像の取得には、主被写体と前景および背景との視差データを必要とする。ここで言う視差とは相対視差を示す。図７にて、主被写体と右目、左目の両視点との成す角度をθ１とし、背景と両視点の成す角度をθ２とするとき、θ１、θ２を絶対視差と言い、θ１とθ２の差（θ１―θ２）を相対視差と言う。以下、視差とは相対視差を意味するものとする。   2. Description of the Related Art In recent years, a technique for capturing an image that can be stereoscopically displayed or displayed in 3D (hereinafter referred to as a 3D image) is known. The 3D image includes a 3D still image and a 3D moving image. To obtain a 3D image, parallax data between the main subject and the foreground and the background is required. The parallax here refers to relative parallax. In FIG. 7, when the angle formed between the main subject and the right and left eye viewpoints is θ1, and the angle between the background and both viewpoints is θ2, θ1 and θ2 are referred to as absolute parallax, and the difference between θ1 and θ2 ( θ1-θ2) is called relative parallax. Hereinafter, parallax shall mean relative parallax.

視差データの取得方法としては、下記に示すようにこれまで様々な方法が提案されてきた。
・複数の視点から同一の被写体を撮影することで主被写体と背景との視差データを取得する方法
・１台の撮像装置を所定距離だけ移動させながら複数の視点で撮影する方法
・所定距離だけ離間して配置した２つの撮影用レンズを備えた撮像装置を用いて撮影する方法
・２台の撮像装置を所定距離だけ離間させた状態に固定して撮影する方法。 Various methods have been proposed for acquiring parallax data as described below.
A method for acquiring parallax data between the main subject and the background by shooting the same subject from a plurality of viewpoints. A method for shooting from a plurality of viewpoints while moving a single imaging device by a predetermined distance. A method of photographing using an imaging device having two photographing lenses arranged in a fixed manner. • A method of photographing with two imaging devices fixed in a state where they are separated by a predetermined distance.

これらの技術を用いて３Ｄ表示による演出効果の高い画像を得るには、３Ｄ表示に向いたシーンか否かを判定し、３Ｄ表示に向いたシーンのみで撮影を行う必要がある。特許文献１に開示の装置では、被写体状況判定部が３Ｄ表示に向いたシーンであるか否かを判定する。被写体と撮像装置との距離情報から３Ｄ表示に向いたシーンであると判定された場合のみ、複数の視点で３Ｄ画像の撮影が行われる。   In order to obtain an image with a high rendering effect by 3D display using these techniques, it is necessary to determine whether or not the scene is suitable for 3D display and to perform shooting only with the scene suitable for 3D display. In the apparatus disclosed in Patent Literature 1, the subject situation determination unit determines whether the scene is suitable for 3D display. Only when it is determined from the distance information between the subject and the imaging device that the scene is suitable for 3D display, 3D images are captured from a plurality of viewpoints.

しかしながら、複数の視点から同一の被写体を撮影することで３Ｄ画像を取得する方法は、複数の撮像装置や撮影用レンズが必要であるため、装置が大きくなり、コンパクト化に不向きである。そこで、１つの視点から被写体を撮影し、被写体像を撮像素子内で左右２つの像に分けて取得することで、３Ｄ画像データを得る方法が提案されている。つまり、１つのマイクロレンズ内に複数の受光素子を有する撮像素子を使用し、マイクロレンズに複数の異なる方向から光線が入射する場合には、複数の受光素子にそれぞれ異なる方向からの光線が入射する。よって視差の異なる複数の画像データが得られるので、１つの撮影用レンズと１つの撮像素子で３Ｄ画像撮影が可能な撮像装置を構成できる。この方法は撮像装置のコンパクト化に有利であり、また、２つの別々の視点に設置された撮像装置で得た画像から３Ｄ画像を作る訳ではないため、違和感のない自然な３Ｄ画像が得られる。   However, the method of acquiring a 3D image by photographing the same subject from a plurality of viewpoints requires a plurality of imaging devices and photographing lenses, so that the device becomes large and is not suitable for downsizing. Therefore, a method has been proposed in which 3D image data is obtained by photographing a subject from one viewpoint and separately obtaining the subject image into two left and right images in the image sensor. That is, when an image sensor having a plurality of light receiving elements is used in one microlens and light rays are incident on the microlens from a plurality of different directions, light beams from different directions are incident on the plurality of light receiving elements. . Accordingly, since a plurality of image data having different parallaxes can be obtained, it is possible to configure an imaging apparatus capable of capturing 3D images with one imaging lens and one imaging element. This method is advantageous for downsizing the imaging apparatus, and because a 3D image is not created from images obtained by imaging apparatuses installed at two different viewpoints, a natural 3D image without a sense of incongruity can be obtained. .

特開２０１０−２５２０４６号公報JP 2010-252046 A

しかしながら、撮像素子のマイクロレンズに複数の異なる方向から光線が入射する光学条件でなければ、３Ｄ画像データを取得できない。この光学条件は、具体的には、（１）絞り値が所定値以上に絞られていないこと、そして（２）主被写体から撮像装置までの距離が所定値以内であること、である。以下、これらの条件について説明する。
前記条件（１）の状態では、被写体からの光線束のうち、レンズ面に垂直な光線しか絞りを通り抜けることができない。そのため、同様に垂直な光線としてレンズに入射する背景と間の視差が得られない。また、前記条件（２）の場合、主被写体が遠方にあると、主被写体からの光が背景と同様にマイクロレンズに垂直に入射してしまうため、背景と主被写体との間の視差が得られない。 However, 3D image data cannot be acquired unless the optical conditions allow light rays to enter the microlens of the image sensor from a plurality of different directions. Specifically, the optical conditions are (1) the aperture value is not set to a predetermined value or more, and (2) the distance from the main subject to the imaging device is within the predetermined value. Hereinafter, these conditions will be described.
In the state of the condition (1), only the light beam perpendicular to the lens surface can pass through the stop in the light beam from the subject. Therefore, the parallax between the background incident on the lens as a vertical light beam cannot be obtained. In the case of the condition (2), when the main subject is far away, light from the main subject enters the microlens perpendicularly in the same manner as the background, so that a parallax between the background and the main subject is obtained. I can't.

このように、Ｆ値が閾値を超える場合や主被写体から撮像装置までの距離が閾値を超える場合には、十分な立体視効果のある画像が得られなくなる。そのため、３Ｄ画像を取得できるシーンが限られてしまうので、コンパクトカメラ等への適用において、ユーザは３Ｄ撮影が可能シーンであるか否かを自ら判断し、３Ｄ画像を撮影できるシーンを選んで撮影しなければならない。
本発明の目的は、ユーザが３Ｄ撮影可能なシーンの選択に煩わされずに、３Ｄ画像データを取得できる撮像装置およびその制御方法を提供することである。 Thus, when the F value exceeds the threshold or when the distance from the main subject to the imaging device exceeds the threshold, an image having a sufficient stereoscopic effect cannot be obtained. Therefore, since the scenes from which 3D images can be acquired are limited, in application to a compact camera or the like, the user himself / herself determines whether or not 3D shooting is possible and selects a scene that can shoot 3D images. Must.
An object of the present invention is to provide an imaging apparatus capable of acquiring 3D image data and a control method thereof without being bothered by selection of a scene capable of 3D shooting by a user.

上記課題を解決するために、本発明に係る装置は、レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、前記レンズを駆動するレンズ駆動手段と、前記絞りを駆動する絞り駆動手段と、前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備える。前記制御手段は、前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得し、前記第１の画像データと前記第２の画像データから立体視表示用の画像データを出力し、前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力する制御を行う。
In order to solve the above problems, an apparatus according to the present invention includes an imaging optical system having a lens and a diaphragm, a microlens, and an imaging element having at least a first light receiving element and a second light receiving element for each microlens. An imaging device capable of acquiring a plurality of image data having parallax from an output of the imaging device, the lens driving means for driving the lens, the diaphragm driving means for driving the diaphragm, the lens driving means, Control means for controlling the aperture driving means to perform focus adjustment control and exposure control, and control means for controlling the driving of the image sensor. When the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information satisfy a predetermined condition, the control means performs a first operation based on a signal corresponding to the charge generated in the first light receiving element. First image data and second image data having a parallax with respect to the first image data based on a signal corresponding to the charge generated in the second light receiving element, and acquiring the first image data When image data for stereoscopic display is output from the image data and the second image data, and the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information do not satisfy a predetermined condition, Third image data is acquired based on a signal corresponding to a charge obtained by adding the charge generated in the first light receiving element and the charge generated in the second light receiving element, and the third image data is acquired. To generate a plurality of image data with parallax from, it performs control of outputting the image data for stereoscopic display.

本発明によれば、ユーザが３Ｄ撮影可能なシーンの選択に煩わされずに、３Ｄ画像データを取得可能である。   According to the present invention, 3D image data can be acquired without bothering the user to select a scene that can be captured in 3D.

本発明の実施形態に係る撮像装置の制御例を説明するフローチャートである。It is a flowchart explaining the example of control of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮像装置のシステム構成例を示す図である。1 is a diagram illustrating a system configuration example of an imaging apparatus according to an embodiment of the present invention. 撮像装置に用いる撮像素子の概略を示す図（Ａ）、および撮像素子内の画素回路の回路図（Ｂ）である。FIG. 2A is a diagram illustrating an outline of an image sensor used in an image pickup apparatus, and FIG. 3B is a circuit diagram of a pixel circuit in the image sensor. 図３（Ａ）の撮像素子で使用する色フィルタアレイの一部を示す図である。It is a figure which shows a part of color filter array used with the image pick-up element of FIG. 3 (A). 図３（Ｂ）内の共有画素の構成を示す図（Ａ）、および共有画素の斜視図（Ｂ）である。4A is a diagram illustrating a configuration of a shared pixel in FIG. 3B, and FIG. 5B is a perspective view of the shared pixel. 撮像信号処理回路内の３Ｄ変換回路および３Ｄ強調回路を示すブロック図である。It is a block diagram which shows the 3D conversion circuit and 3D emphasis circuit in an imaging signal processing circuit. 絶対視差と相対視差の関係を説明する図である。It is a figure explaining the relationship between absolute parallax and relative parallax.

以下、本発明の実施形態について、図１乃至６を用いて説明する。なお、本実施形態では、X-Yアドレス型の走査方法を採用した撮像素子により構成したカメラを例示する。図１に示す処理を説明するに先立ち、実施形態に係る撮像装置の構成を説明する。
図２は、撮像装置のシステム概要を例示したブロック図である。
レンズ部（図にはレンズと表記）６０１は、レンズ駆動部６０２によって駆動制御される可動レンズ（ズームレンズやフォーカスレンズ等）を有する。メカニカルシャッタ（図にはメカシャッタと表記）６０３と、後段の絞り６０５は、シャッタ・絞り駆動部６０４によってそれぞれ駆動される。撮像素子６０６は、レンズ部６０１等を通して結像する被写体からの光を光電変換する。なお、撮像素子６０６の構成については図３を参照して後述する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS. In the present embodiment, a camera configured by an image sensor that employs an XY address type scanning method is illustrated. Prior to describing the processing illustrated in FIG. 1, the configuration of the imaging apparatus according to the embodiment will be described.
FIG. 2 is a block diagram illustrating a system overview of the imaging apparatus.
A lens unit (denoted as a lens in the drawing) 601 includes a movable lens (such as a zoom lens or a focus lens) that is driven and controlled by a lens driving unit 602. A mechanical shutter (denoted as mechanical shutter in the figure) 603 and a subsequent aperture 605 are driven by a shutter / aperture driving unit 604, respectively. The image sensor 606 photoelectrically converts light from a subject that forms an image through the lens unit 601 or the like. The configuration of the image sensor 606 will be described later with reference to FIG.

撮像素子６０６の出力信号を処理する回路（ＣＤＳ・Ａ／Ｄと表記）６０７は、相関２重サンプリングやゲイン調整、アナログ信号からデジタル信号へのＡ／Ｄ変換を行い、処理後の信号を撮像信号処理回路６０８に出力する。撮像信号処理回路６０８には、第１メモリ６１０（メモリ部Ｉ参照）、第２メモリ６１６（メモリ部II参照）、表示部６１３が接続されている。この他、外部インターフェース（以下、Ｉ/Ｆと略記）部６１５、記録媒体制御Ｉ/Ｆ部６１２、全体制御演算部６１１が撮像信号処理回路６０８に接続されている。記録媒体制御Ｉ/Ｆ部６１２は記録媒体６１４へのデータの書き込みおよび読出しを制御する。   A circuit (noted as CDS / A / D) 607 for processing an output signal of the image sensor 606 performs correlated double sampling, gain adjustment, A / D conversion from an analog signal to a digital signal, and images the processed signal. The signal is output to the signal processing circuit 608. A first memory 610 (refer to the memory unit I), a second memory 616 (refer to the memory unit II), and a display unit 613 are connected to the imaging signal processing circuit 608. In addition, an external interface (hereinafter abbreviated as I / F) unit 615, a recording medium control I / F unit 612, and an overall control calculation unit 611 are connected to the imaging signal processing circuit 608. A recording medium control I / F unit 612 controls writing and reading of data to and from the recording medium 614.

撮像装置の制御および各種演算を行う全体制御演算部６１１は、ＣＰＵ（中央演算処理装置）等を備えており、所定のプログラムを実行して各部を制御する。例えば全体制御演算部６１１は、タイミング発生部６０９を制御し、撮像素子６０６および撮像信号処理回路６０８の動作制御を行う。操作部６１７はユーザが使用し、操作指示信号を全体制御演算部６１１に送信する。操作部６１７は、電源スイッチやシャッタレリーズスイッチ等を含む。シャッタレリーズスイッチは、押し込み量に応じて第１スイッチ(以下、ＳＷ１と記す)及び第２スイッチ（以下、ＳＷ２と記す）が順にオン状態となる。ユーザがシャッタレリーズボタンを半押しで操作した場合にＳＷ１がオン状態となり、更にシャッタレリーズボタンを最後まで深く押し込む操作を行った場合にＳＷ２がオン状態となる。ＳＷ１、ＳＷ２のオン・オフ信号は全体制御演算部６１１に送信される。   The overall control calculation unit 611 that controls the imaging apparatus and performs various calculations includes a CPU (Central Processing Unit) and the like, and executes a predetermined program to control each unit. For example, the overall control calculation unit 611 controls the timing generation unit 609 and controls the operation of the imaging element 606 and the imaging signal processing circuit 608. The operation unit 617 is used by the user and transmits an operation instruction signal to the overall control calculation unit 611. The operation unit 617 includes a power switch, a shutter release switch, and the like. In the shutter release switch, a first switch (hereinafter referred to as SW1) and a second switch (hereinafter referred to as SW2) are sequentially turned on in accordance with the push amount. When the user operates the shutter release button halfway, SW1 is turned on, and when the user further pushes the shutter release button deeply to the end, SW2 is turned on. The ON / OFF signals of SW1 and SW2 are transmitted to the overall control calculation unit 611.

次に、図３（Ａ）を参照して撮像素子６０６の概略構成を説明する。撮像素子６０６はマイクロレンズ毎に複数の受光素子を有する。なお、図３（Ａ）には、２次元配置とされた多数の画素回路２０１のうち、４行×４列のみを代表して示す。
画素回路２０１にはそれぞれ信号線２０２が接続されている。後述するＭＯＳ（金属酸化膜半導体）アンプの負荷となる定電流源２０３が各信号線２０２に接続され、読出し回路２０６に繋がっている。水平走査回路２０７は、各信号線２０２に対応する選択スイッチ素子２０４を用いて、読出し回路２０６に接続されており、選択スイッチ素子２０４に接続した出力アンプ２０８から撮像信号が得られる。垂直走査回路２０５は、複数の制御線（第ｎ乃至ｎ＋３ライン参照）を介して画素回路２０１に接続されている。 Next, a schematic configuration of the image sensor 606 will be described with reference to FIG. The imaging element 606 has a plurality of light receiving elements for each microlens. In FIG. 3A, only 4 rows × 4 columns are shown as representatives among the many pixel circuits 201 in a two-dimensional arrangement.
A signal line 202 is connected to each pixel circuit 201. A constant current source 203 serving as a load of a MOS (metal oxide semiconductor) amplifier, which will be described later, is connected to each signal line 202 and connected to a readout circuit 206. The horizontal scanning circuit 207 is connected to the readout circuit 206 using a selection switch element 204 corresponding to each signal line 202, and an imaging signal is obtained from an output amplifier 208 connected to the selection switch element 204. The vertical scanning circuit 205 is connected to the pixel circuit 201 via a plurality of control lines (see the nth to n + 3 lines).

画素回路２０１の詳細を図３（Ｂ）に示す。本例では４画素を共有する撮像素子の画素回路を例示する。フォトダイオード（以下、ＰＤと略記する）３０１a、３０１ｂ、３０１ｃ、３０１ｄは、各カソードが、転送スイッチ素子３０２a、３０２ｂ、３０２ｃ、３０２ｄにそれぞれ接続されており、撮像光学系を通った光を個別に受光する。なお、記号ａ乃至ｄはＰＤと転送スイッチ素子との対応関係を表す。リセットスイッチ素子３０３の一端には所定の電源電圧（ＶDD参照）が印加され、他端はフローティングデフュージョン（以下、ＦＤと略記する）３０４とＭＯＳアンプ３０５の制御端子に接続されている。ソースフォロアのＭＯＳアンプ３０５は、その非制御端子の一方に電源電圧ＶDDが印加され、他端には選択スイッチ素子３０６が接続されている。ＦＤ３０４は４つのＰＤ３０１ａ−ｄで共有され、ＦＤ３０４、ＭＯＳアンプ３０５、及び定電流源２０３（図３（Ａ）参照）により、フローティングディフュージョンアンプが構成されている。ＦＤ３０４に蓄積された電荷の除去については、図３（Ａ）に示すリセットパルスφＲＥＳにより、リセットスイッチ素子３０３で行われる。また転送スイッチ素子３０２ａ−d、選択スイッチ素子３０６、リセットスイッチ素子３０３は、図３（Ａ）の垂直走査回路２０５により選択される。   Details of the pixel circuit 201 are illustrated in FIG. In this example, a pixel circuit of an image sensor that shares four pixels is illustrated. Each of the photodiodes (hereinafter abbreviated as PD) 301a, 301b, 301c, and 301d has a cathode connected to each of the transfer switch elements 302a, 302b, 302c, and 302d, and individually transmits light passing through the imaging optical system. Receive light. Symbols a to d represent the correspondence between the PD and the transfer switch element. A predetermined power supply voltage (see VDD) is applied to one end of the reset switch element 303, and the other end is connected to a floating diffusion (hereinafter abbreviated as FD) 304 and a control terminal of the MOS amplifier 305. The source follower MOS amplifier 305 has a power supply voltage VDD applied to one of its non-control terminals, and a selection switch element 306 connected to the other end. The FD 304 is shared by the four PDs 301a-d, and the FD 304, the MOS amplifier 305, and the constant current source 203 (see FIG. 3A) form a floating diffusion amplifier. The charge accumulated in the FD 304 is removed by the reset switch element 303 by a reset pulse φRES shown in FIG. Further, the transfer switch elements 302a to 302d, the selection switch element 306, and the reset switch element 303 are selected by the vertical scanning circuit 205 in FIG.

図４は、撮像素子６０６に使用する色フィルタアレイの一部を例示する。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列の中でも、特にベイヤ配列と呼ばれるものであり、高い解像度と優れた色再現性を有する。例えば、第１乃至第３行および第１乃至第３列にてＧが千鳥格子配置とされ、第２行ではＧの両側にＲがそれぞれ位置し、第２列ではＧの上下にＢがそれぞれ位置する。   FIG. 4 illustrates a part of the color filter array used for the image sensor 606. A case is shown in which the first color filter is red (R), the second color filter is green (G), the third color filter is green (G), and the fourth color filter is blue (B). . This array of color filter arrays is called a Bayer array among primary color filter arrays, and has high resolution and excellent color reproducibility. For example, G is arranged in a staggered pattern in the first to third rows and the first to third columns, R is located on both sides of G in the second row, and B is above and below G in the second column. Each is located.

図５（Ａ）は、図３（Ａ）の画素回路２０１の構成例を示す。色フィルタ５０１が設けられ、ＰＤ３０１ａ−ｄは、それらの中心位置が正方形の頂点位置にそれぞれ位置した格子配置である。マイクロレンズ５０２を円形枠で示す。ＰＤ３０１ａ−ｄの４つで１つの色フィルタ５０１とマイクロレンズ５０２を共有する構成を示す。図５（Ｂ）はマイクロレンズ５０２を通してＰＤ３０１ａ−ｄにそれぞれ入射する光線７０３ａ−ｄを示している。マイクロレンズ５０２に複数の異なる方向から光線が入射する場合、マイクロレンズ５０２の直下にある４つのＰＤ３０１ａ−ｄには、それぞれ異なる方向からの光線７０３ａ−ｄが入射する。例えば、ＰＤ３０１ａの中心とＰＤ３０１ｂの中心を通る軸方向を撮像装置の水平方向とし、ＰＤ３０１ｂおよび３０１ｄに入射する光を被写体の右側からの光成分とする。この場合、ＰＤ３０１ａおよび３０１ｃには、被写体の左側からの光線が入射することになる。そのため、ＰＤ３０１ｂおよび３０１ｄの出力から得られる画像信号と、ＰＤ３０１ａおよび３０１ｃの出力から得られる画像信号を別々に取得することで、互い視差のある画像を取得可能である。従って、視差をもった複数の画像データから３Ｄ画像の表示用データを生成して再現することができる。   FIG. 5A illustrates a configuration example of the pixel circuit 201 in FIG. A color filter 501 is provided, and the PDs 301a-d have a lattice arrangement in which the center positions thereof are respectively located at the apexes of a square. The microlens 502 is indicated by a circular frame. A configuration in which one of the PDs 301a-d shares one color filter 501 and a microlens 502 is shown. FIG. 5B shows light rays 703a-d incident on the PDs 301a-d through the microlenses 502, respectively. When light rays enter the microlens 502 from a plurality of different directions, light rays 703a-d from different directions are incident on the four PDs 301a-d immediately below the microlens 502. For example, the axial direction passing through the center of the PD 301a and the center of the PD 301b is the horizontal direction of the imaging apparatus, and light incident on the PDs 301b and 301d is a light component from the right side of the subject. In this case, light rays from the left side of the subject are incident on the PDs 301a and 301c. Therefore, it is possible to acquire images having parallax with each other by separately acquiring the image signals obtained from the outputs of the PDs 301b and 301d and the image signals obtained from the outputs of the PDs 301a and 301c. Therefore, it is possible to generate and reproduce 3D image display data from a plurality of image data having parallax.

次に、図２に示す撮像装置の動作を説明する。
レンズ部６０１を通った被写体からの光は絞り６０５にて適切な光量に調整され、撮像素子６０６に結像して光電変換を受ける。撮像素子６０６の出力は、（ＣＤＳ・Ａ／Ｄ）回路６０７にて相関２重サンプリング、ゲイン調整、Ａ／Ｄ変換の処理が行われ、Ｒ、２つのＧ（Ｇ１およびＧ２）、Ｂ（図４参照）の原色信号として取り込まれ、撮像信号処理回路６０８に送られる。撮像信号処理回路６０８は、ノイズを低減するローパスフィルタ処理やシェーディング処理、ＷＢ（白バランス）処理等の各種の画像信号処理を行い、さらには各種の補正や画像データの圧縮処理等を行う。 Next, the operation of the imaging apparatus shown in FIG. 2 will be described.
The light from the subject that has passed through the lens unit 601 is adjusted to an appropriate amount of light by the diaphragm 605, forms an image on the image sensor 606, and undergoes photoelectric conversion. The output of the image sensor 606 is subjected to correlated double sampling, gain adjustment, and A / D conversion in a (CDS / A / D) circuit 607, and R, two G (G1 and G2), B (FIG. 4) and is sent to the imaging signal processing circuit 608. The imaging signal processing circuit 608 performs various image signal processing such as low-pass filter processing, shading processing, and WB (white balance) processing for reducing noise, and further performs various corrections and image data compression processing.

レンズ部６０１では、全体制御演算部６１１の制御指令に従ってレンズ駆動部６０２により、ズームレンズやフォーカスレンズ等が駆動され、変倍制御や焦点調節制御が行われる。メカニカルシャッタ６０３は、例えば一眼レフカメラに使用されるフォーカルプレーン型シャッタの後幕に相当する幕のみを有するシャッタ機構である。メカニカルシャッタ６０３と絞り６０５は、全体制御演算部６１１の制御指令に従ってシャッタ・絞り駆動部６０４により駆動制御され、測光結果に基づいて自動露出制御が行われる。タイミング発生部６０９は、撮像素子６０６や撮像信号処理回路６０８等に各種タイミング信号を出力する。   In the lens unit 601, a zoom lens, a focus lens, and the like are driven by a lens driving unit 602 in accordance with a control command from the overall control calculation unit 611, and zooming control and focus adjustment control are performed. The mechanical shutter 603 is a shutter mechanism having only a curtain corresponding to the rear curtain of a focal plane type shutter used in, for example, a single-lens reflex camera. The mechanical shutter 603 and the aperture 605 are driven and controlled by the shutter / aperture driving unit 604 in accordance with a control command from the overall control calculation unit 611, and automatic exposure control is performed based on the photometric result. The timing generator 609 outputs various timing signals to the image sensor 606, the image signal processing circuit 608, and the like.

撮像信号処理回路６０８の出力信号に係る画像データは第１メモリ６１０にて一時的に記憶される。画像データの記録再生時に記録媒体制御Ｉ／Ｆ部６１２は、記録媒体６１４への画像データの記録処理や記録媒体６１４からの読み出し処理を制御する。記録媒体６１４は半導体メモリ等の着脱可能な記録媒体である。また、表示部６１３は撮像信号処理回路６０８の出力信号に従って画像データの表示処理を行う。外部Ｉ／Ｆ部６１５は、不図示の外部機器（コンピュータ等）と通信を行うための回路部である。第２メモリ６１６は全体制御演算部６１１の演算結果を記憶する。操作部６１７を用いてユーザが設定した撮像装置の駆動条件に関する情報の指示信号は全体制御演算部６１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。   Image data related to the output signal of the imaging signal processing circuit 608 is temporarily stored in the first memory 610. When recording / reproducing image data, the recording medium control I / F unit 612 controls recording processing of image data on the recording medium 614 and reading processing from the recording medium 614. The recording medium 614 is a detachable recording medium such as a semiconductor memory. The display unit 613 performs image data display processing in accordance with the output signal of the imaging signal processing circuit 608. The external I / F unit 615 is a circuit unit for communicating with an external device (computer or the like) (not shown). The second memory 616 stores the calculation result of the overall control calculation unit 611. An instruction signal of information related to the driving conditions of the imaging device set by the user using the operation unit 617 is sent to the overall control calculation unit 611, and the overall imaging device is controlled based on the information.

以下に、図１のフローチャートを用いて撮像シーケンスを説明する。本実施形態では３Ｄ画像のみを出力するモード（３Ｄ画像モード）での駆動例を示す。
操作部６１７から撮像装置の電源投入信号が入力されると、Ｓ１０１で全体制御演算部６１１は、フラグや制御変数等を初期化し、撮像信号処理回路６０８にて必要な初期設定を行う。Ｓ１０２では電源スイッチのオン・オフ状態が判定される。電源スイッチがＯＦＦである場合、全体制御演算部６１１は、レンズ部６０１、メカニカルシャッタ６０３を所定の位置に戻し、また撮像信号処理回路６０８や全体制御演算部６１１内の各種データを第１メモリ６１０、第２メモリ６１６へ保存し、処理を終了する。電源スイッチがＯＮである場合、Ｓ１０３へ処理を進める。 The imaging sequence will be described below using the flowchart of FIG. In this embodiment, an example of driving in a mode (3D image mode) in which only a 3D image is output is shown.
When a power-on signal of the imaging apparatus is input from the operation unit 617, the overall control calculation unit 611 initializes a flag, a control variable, and the like in S101, and the imaging signal processing circuit 608 performs necessary initial settings. In S102, the on / off state of the power switch is determined. When the power switch is OFF, the overall control calculation unit 611 returns the lens unit 601 and the mechanical shutter 603 to predetermined positions, and also stores various data in the imaging signal processing circuit 608 and the overall control calculation unit 611 in the first memory 610. , The second memory 616 is saved, and the process is terminated. If the power switch is ON, the process proceeds to S103.

Ｓ１０３は、第１スイッチＳＷ１がＯＮであるか否かの判定処理であり、ＳＷ１がＯＦＦの場合、この判定処理が繰り返され、ＳＷ１がＯＮである場合、Ｓ１０４に進む。全体制御演算部６１１は、被写体に対して所定の焦点状態検出ポイント、例えば第（ｎ＋１）ポイント（ｎは自然数変数）で自動焦点調節（ＡＦ）処理を行う。全体制御演算部６１１は、主被写体までの距離情報（以下、距離ＬＭと記す）、主被写体以外の複数の前景および背景までの距離情報（以下、Ｌ１乃至Ｌｎと記す）を算出する。なお、撮像装置から被写体や前景、背景までの距離情報に代えて、焦点状態検出情報を使用することもできる。つまり、撮像装置の焦点状態検出部によって検出される自動焦点調節用情報は合焦状態およびデフォーカス量の情報を含むので、撮像対象のどの位置にピントが合うかに応じて距離の違いを判別できる。全体制御演算部６１１は、算出した距離ＬＭに基づいてレンズ駆動部６０２を制御し、レンズ部６０１の焦点調節によって焦点を被写体に合わせる。また、全体制御演算部６１１は、自動露出（ＡＥ）処理を行い、被写体に適したシャッタ速度（以下、Ｔｖと記す）と、絞り値（以下、Ｆと記す）を算出する。得られた距離ＬＭと距離Ｌ１乃至Ｌｎ（または焦点状態検出情報）、シャッタ速度Ｔｖ、絞り値Ｆのデータは第２メモリ６１６に保存される。Ｓ１０５で全体制御演算部６１１は、第２メモリ６１６から距離ＬＭを読出して閾値（Ｄｆと記す）と比較する。その結果、「ＬＭ＞Ｄｆ」であれば、全体制御演算部６１１は、現時点の被写体について３Ｄ画像の撮影に適さないシーンであると判断し、Ｓ１１１に処理を進める。表示部６１３の画面上には、現時点のシーンが３Ｄ画像の撮影に適さない旨の表示として、例えば、「３Ｄ撮影できません」等のメッセージが表示された後、Ｓ１０３へ戻る。また、Ｓ１０５での判定結果が「ＬＭ≦Ｄｆ」であれば、現時点の被写体について３Ｄ画像の撮影に適したシーンであると判定され、Ｓ１０６へ処理を進める。Ｓ１０６は第２スイッチＳＷ２がＯＮであるか否かの判定処理であり、ＳＷ２がＯＦＦである場合、Ｓ１０３へ戻る。また、Ｓ１０６でＳＷ２がＯＮである場合、Ｓ１０７へ処理を進める。 S103 is a process for determining whether or not the first switch SW1 is ON. If SW1 is OFF, this determination process is repeated. If SW1 is ON, the process proceeds to S104. The overall control calculation unit 611 performs automatic focus adjustment (AF) processing on a subject at a predetermined focus state detection point, for example, the (n + 1) th point (n is a natural number variable). Total control calculation unit 611, distance information to the main subject (hereinafter, referred to as a distance L M), the distance information to a plurality of the foreground and background other than the main subject (hereinafter, referred to as L 1 to L n) to calculate the . Note that focus state detection information can also be used instead of distance information from the imaging device to the subject, foreground, and background. In other words, since the information for automatic focus adjustment detected by the focus state detection unit of the imaging device includes information on the in-focus state and the defocus amount, the difference in distance is determined according to which position of the imaging target is in focus. it can. Total control calculation unit 611, based on the calculated distance L M controls the lens driving unit 602, focus on the subject by the focusing of the lens unit 601. Further, the overall control calculation unit 611 performs automatic exposure (AE) processing, and calculates a shutter speed (hereinafter referred to as Tv) suitable for the subject and an aperture value (hereinafter referred to as F). Distance obtained L M and the distance L 1 through L n (or focus state detection information), the shutter speed Tv, the data of the aperture value F is stored in the second memory 616. Total control calculation unit 611 in step S105, is compared with a threshold value from the second memory 616 the distance L M is read (denoted as Df). As a result, if “L M > Df”, the overall control calculation unit 611 determines that the current subject is a scene that is not suitable for capturing a 3D image, and advances the process to S111. On the screen of the display unit 613, as a display indicating that the current scene is not suitable for 3D image shooting, for example, a message such as “3D shooting is not possible” is displayed, and then the process returns to S103. If the determination result in S105 is “L M ≦ Df”, it is determined that the current subject is a scene suitable for capturing a 3D image, and the process proceeds to S106. S106 is a process for determining whether or not the second switch SW2 is ON. If SW2 is OFF, the process returns to S103. If SW2 is ON in S106, the process proceeds to S107.

Ｓ１０７は、距離情報または絞り値がそれぞれの閾値以下であるか否かの判定処理である。全体制御演算部６１１は第２メモリ６１６から距離ＬＭと絞り値Ｆのデータを読出し、それぞれの閾値（Ｄｎ、Ｆｈと記す）と比較する。その結果、「ＬＭ≦ＤｎまたはＦ≦Ｆｈ」の場合、Ｓ１０８に進み、「ＬＭ＞ＤｎかつＦ＞Ｆｈ」の場合、Ｓ１１２へ進む。Ｓ１０８で全体制御演算部６１１は、第１駆動モード（以下、３Ｄ駆動モードという）で撮像素子６０６の駆動制御を行い、撮像した画像データを取得する。なお、３Ｄ駆動モードの詳細については後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が実行される。演算結果は第２メモリ６１６に格納され、また、取得した画像データは第１メモリ６１０へ格納される。その後、Ｓ１０９へ進み、撮影後に絞り値および距離情報がそれぞれの閾値以下であるか否かについて判定される。全体制御演算部６１１は、再び第２メモリ６１６から距離ＬＭと絞り値Ｆのデータを読出し、それぞれの閾値Ｄｎ、Ｆｈと比較する。その結果、「ＬＭ≦ＤｎかつＦ≦Ｆｈ」であればＳ１１０に処理を進め、「ＬＭ＞ＤｎまたはＦ＞Ｆｈ」であれば、Ｓ１１４へ処理を進める。Ｓ１１４では、Ｓ１０８にて取得した画像の３Ｄ感（立体視効果）を強調する処理（以下、３Ｄ強調処理という）が実行され、その後Ｓ１１０へ進む。 S107 is a determination process of whether or not the distance information or the aperture value is equal to or less than each threshold value. The whole control arithmetic unit 611 reads the data of the distance L M and the aperture value F from the second memory 616 is compared with respective threshold (Dn, referred to Fh). As a result, if “L M ≦ Dn or F ≦ Fh”, the process proceeds to S108, and if “L M > Dn and F> Fh”, the process proceeds to S112. In step S108, the overall control calculation unit 611 performs drive control of the image sensor 606 in the first drive mode (hereinafter referred to as 3D drive mode), and acquires captured image data. Details of the 3D drive mode will be described later. Further, shading correction processing, point scratch correction processing, white balance integration calculation processing, and optical black integration calculation processing are executed. The calculation result is stored in the second memory 616, and the acquired image data is stored in the first memory 610. Thereafter, the process proceeds to S109, and it is determined whether or not the aperture value and the distance information are equal to or less than the respective threshold values after shooting. Total control calculation unit 611, again the second read data from the memory 616 a distance L M and aperture F, compares each threshold Dn, and Fh. As a result, if “L M ≦ Dn and F ≦ Fh”, the process proceeds to S110, and if “L M > Dn or F> Fh”, the process proceeds to S114. In S114, a process of enhancing the 3D feeling (stereoscopic effect) of the image acquired in S108 (hereinafter referred to as 3D enhancement process) is executed, and then the process proceeds to S110.

一方、Ｓ１０７からＳ１１２に進んだ場合、全体制御演算部６１１は第２駆動モード（以下、２Ｄ駆動モードという）で撮像素子６０６の駆動制御を行い、撮像した画像データを取得する。なお、２Ｄ駆動モードの詳細について後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が行われ、演算結果は第２メモリ６１６に格納される。取得した画像データは第１メモリ６１０へ格納される。その後、Ｓ１１３へ進む。Ｓ１１３では、Ｓ１１２で取得した２Ｄ画像データを３Ｄ画像データへ変換する変換処理（以下、３Ｄ化処理という）が実行された後、Ｓ１１０へ処理を進める。   On the other hand, when the process proceeds from S107 to S112, the overall control calculation unit 611 performs drive control of the image sensor 606 in the second drive mode (hereinafter referred to as 2D drive mode), and acquires captured image data. Details of the 2D drive mode will be described later. Further, shading correction processing, point scratch correction processing, white balance integration calculation processing, and optical black integration calculation processing are performed, and the calculation result is stored in the second memory 616. The acquired image data is stored in the first memory 610. Thereafter, the process proceeds to S113. In S113, after the conversion process (hereinafter referred to as 3D process) for converting the 2D image data acquired in S112 into 3D image data is executed, the process proceeds to S110.

Ｓ１１０で全体制御演算部６１１は、第１メモリ６１０に書き込まれた画像データを読出し、現像処理と圧縮・伸張処理を行い、記録媒体６１４へデータを書き込む記録処理を行う。あるいは、立体視表示用の画像データまたは２Ｄ画像データに従って表示部６１３の画面に画像を表示する処理が行われる。そしてＳ１０３に戻って処理を続行する。   In step S <b> 110, the overall control calculation unit 611 reads the image data written in the first memory 610, performs development processing and compression / decompression processing, and performs recording processing for writing data to the recording medium 614. Or the process which displays an image on the screen of the display part 613 according to the image data for stereoscopic vision display or 2D image data is performed. Then, the process returns to S103 to continue the processing.

次に図３（Ａ）および（Ｂ）、図５（Ｂ）を用いて２Ｄ駆動モードおよび３Ｄ駆動モードについて説明する。
まず、２Ｄ駆動モードで撮像素子６０６を駆動する場合、図３（Ｂ）の全ＰＤ３０１ａ−ｄに発生した電荷は、転送スイッチ素子３０２ａ−ｄの全てに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。つまり、ＦＤ３０４にて４画素の信号が加算されて蓄積される。その後、選択パルスφＳＥＬによって選択スイッチ素子３０６で選択された画素の信号電荷は電圧に変換され、信号線２０２を経て読出し回路２０６に出力される。さらに水平走査回路２０７で駆動された選択スイッチ素子２０４により、出力信号が選択され、該信号は出力アンプ２０８を経て撮像素子６０６の外部に出力される。 Next, the 2D drive mode and the 3D drive mode will be described with reference to FIGS. 3 (A), 3 (B), and 5 (B).
First, when the image sensor 606 is driven in the 2D drive mode, the charges generated in all the PDs 301a-d in FIG. Is read out. That is, the signals of the four pixels are added and accumulated in the FD 304. Thereafter, the signal charge of the pixel selected by the selection switch element 306 by the selection pulse φSEL is converted into a voltage and output to the readout circuit 206 through the signal line 202. Further, an output signal is selected by the selection switch element 204 driven by the horizontal scanning circuit 207, and the signal is output to the outside of the image sensor 606 through the output amplifier 208.

他方、３Ｄ駆動モードで撮像素子を駆動する場合、まず、第１の組ＰＤ３０１ａ、ＰＤ３０１ｃに発生した電荷は、転送スイッチ素子３０２ａ、３０２ｃに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。ＦＤ３０４にて２画素の信号が加算されて蓄積される。その後、２Ｄ駆動モードと同様に信号線２０２、読出し回路２０６、出力アンプ２０８を経て撮像素子６０６の外部に第１の画像データに相当する信号が出力される。次に、第２の組ＰＤ３０１ｂ、ＰＤ３０１ｄに発生した電荷は、転送スイッチ素子３０２ｂ、３０２ｄに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。ＦＤ３０４にて２画素の信号が加算されて蓄積される。その後、信号線２０２、読出し回路２０６、出力アンプ２０８を経て撮像素子６０６の外部に第２の画像データに相当する信号が出力される。   On the other hand, when driving the image sensor in the 3D drive mode, first, the charges generated in the first sets PD301a and PD301c are transferred by applying a transfer pulse φTX to the transfer switch elements 302a and 302c and read out to the FD304. . Two-pixel signals are added and accumulated in the FD 304. Thereafter, similarly to the 2D driving mode, a signal corresponding to the first image data is output to the outside of the image sensor 606 through the signal line 202, the readout circuit 206, and the output amplifier 208. Next, the charges generated in the second set PD301b and PD301d are transferred by applying a transfer pulse φTX to the transfer switch elements 302b and 302d and read out to the FD304. Two-pixel signals are added and accumulated in the FD 304. Thereafter, a signal corresponding to the second image data is output to the outside of the image sensor 606 through the signal line 202, the readout circuit 206, and the output amplifier 208.

次に、図６を用いて３Ｄ強調処理、３Ｄ化処理について説明する。撮像信号処理回路６０８は３Ｄ強調回路６０８ａ、３Ｄ変換回路６０８ｂを備え、これらは切替スイッチ素子６０８ｃによって選択的に使用される。
２Ｄ駆動モードでの撮影の場合、切替スイッチ素子６０８ｃは第２接点８０２に切り替わり、３Ｄ変換回路６０８ｂに接続される。３Ｄ変換回路６０８ｂは、取得した２Ｄ画像データについて画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また、３Ｄ変換回路６０８ｂは第２メモリ６１６から距離ＬＭ、距離Ｌ１乃至Ｌｎを読出して、主被写体までの距離ＬＭと主被写体以外の前景および背景までの距離Ｌ１乃至Ｌｎとの差を算出する。算出結果に基づき、３Ｄ変換回路６０８ｂは、３Ｄ感が得られる視差となるように前景および背景のデータを移動させた２枚の画像を作成して画像データを出力する。 Next, 3D emphasis processing and 3D conversion processing will be described with reference to FIG. The imaging signal processing circuit 608 includes a 3D enhancement circuit 608a and a 3D conversion circuit 608b, which are selectively used by the changeover switch element 608c.
In the case of shooting in the 2D drive mode, the changeover switch element 608c is switched to the second contact 802 and connected to the 3D conversion circuit 608b. The 3D conversion circuit 608b performs image recognition processing on the acquired 2D image data, and separates the main subject and foreground and background image data. Also, 3D conversion circuit 608b a distance L M from the second memory 616, a distance L 1 to L n are read, and the distance L 1 through L n to the foreground and background other than the distance L M and the main object to the main object Calculate the difference. Based on the calculation result, the 3D conversion circuit 608b creates two images in which the foreground and background data are moved so as to obtain a parallax that provides a 3D feeling, and outputs the image data.

３Ｄ駆動モードの場合には、以下の２通りの処理が実行される。
十分に３Ｄ感が得られる条件下での撮影の場合、切替スイッチ素子６０８ｃは第３接点８０３に切り替わり、取得した画像データはそのまま出力されて後処理が行われ、立体視表示用の画像データが生成される。 In the case of the 3D drive mode, the following two processes are executed.
In the case of shooting under a condition where a sufficient 3D feeling can be obtained, the changeover switch element 608c is switched to the third contact 803, and the acquired image data is output as it is and subjected to post-processing, and the image data for stereoscopic display is displayed. Generated.

また、十分に３Ｄ感が得られない条件下での撮影の場合（図１のＳ１０９参照）、切替スイッチ素子６０８ｃは第１接点８０１に切り替わって３Ｄ強調回路６０８ａに接続される。３Ｄ強調回路６０８ａは、取得した２枚の３Ｄ画像について画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また３Ｄ強調回路６０８ａは第２メモリ６１６から距離ＬＭ、距離Ｌ１乃至Ｌｎのデータを読出し、主被写体までの距離ＬＭと主被写体以外の前景および背景までの距離Ｌ１乃至Ｌｎとの差を算出する。３Ｄ強調回路６０８ａは、３Ｄ感が得られる視差となるようにそれぞれの画像の前景および背景のデータを移動させた２枚の画像を作成して画像データを出力する。 Further, in the case of shooting under a condition where sufficient 3D feeling cannot be obtained (see S109 in FIG. 1), the changeover switch element 608c is switched to the first contact 801 and connected to the 3D enhancement circuit 608a. The 3D enhancement circuit 608a performs image recognition processing on the two acquired 3D images, and separates the main subject and the foreground and background image data. Further, the 3D enhancement circuit 608a reads the data of the distance L M and the distances L 1 to L n from the second memory 616, the distance L M to the main subject, and the distances L 1 to L n to the foreground and background other than the main subject, Calculate the difference. The 3D enhancement circuit 608a creates two images in which the foreground and background data of each image are moved so as to obtain a parallax that provides a 3D feeling, and outputs the image data.

本実施形態によれば、各マイクロレンズに対して複数のＰＤを有する撮像素子を使用した撮像装置において、撮影シーンに応じて撮像素子の駆動制御および画像処理が行われる。つまり、撮影条件から３Ｄ撮影に適しているか否かが判定され、３Ｄ撮影に適した条件下では３Ｄ駆動モードでの撮影動作が行われ、また、３Ｄ撮影に適さない条件下では２Ｄ駆動モードでの撮影が行われる。これにより、多くのシーンで高画質な３Ｄ画像を取得でき、ユーザは３Ｄ撮影可能なシーンの選択についての判断に煩わされないので、利便性が向上する。   According to this embodiment, in an imaging apparatus that uses an imaging device having a plurality of PDs for each microlens, drive control and image processing of the imaging device are performed according to the shooting scene. That is, it is determined whether or not it is suitable for 3D shooting based on the shooting conditions, and shooting operation is performed in the 3D driving mode under conditions suitable for 3D shooting, and in the 2D driving mode under conditions not suitable for 3D shooting. Is taken. As a result, high-quality 3D images can be acquired in many scenes, and the user is not bothered by the determination regarding the selection of scenes that can be captured in 3D, which improves convenience.

２０１ 画素回路
３０１ａ−ｄ フォトダイオード
５０２ マイクロレンズ
６０１ レンズ部
６０２ レンズ駆動部
６０４ シャッタ・絞り駆動部
６０５ 絞り
６０６ 撮像素子
６０８ 撮像信号処理回路
６１１ 全体制御演算部 201 pixel circuit 301a-d photodiode 502 microlens 601 lens unit 602 lens driving unit 604 shutter / diaphragm driving unit 605 aperture 606 imaging element 608 imaging signal processing circuit 611 overall control calculation unit

Claims (5)

レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、
前記レンズを駆動するレンズ駆動手段と、
前記絞りを駆動する絞り駆動手段と、
前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備え、
前記制御手段は、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得し、前記第１の画像データと前記第２の画像データから立体視表示用の画像データを出力し、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力する制御を行うことを特徴とする撮像装置。 An image pickup optical system having a lens and a diaphragm, a microlens and an image pickup element having at least a first light receiving element and a second light receiving element for each microlens, and a plurality of image data having parallax from an output of the image pickup element An imaging device capable of acquiring
Lens driving means for driving the lens;
Diaphragm driving means for driving the diaphragm;
Controlling the lens driving means and the diaphragm driving means to perform focus adjustment control and exposure control, and control means for controlling the driving of the image sensor,
The control means includes
When the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information satisfy a predetermined condition , the first image data based on a signal corresponding to the electric charge generated in the first light receiving element; Second image data having a parallax with respect to the first image data is acquired based on a signal corresponding to the electric charge generated in the second light receiving element, and the first image data and the first image data are acquired . The image data for stereoscopic display is output from the image data of 2 ,
The charge generated in the first light receiving element and the charge generated in the second light receiving element when the aperture value of the diaphragm and the distance information from the imaging device to the subject or the focus state detection information do not satisfy a predetermined condition To obtain third image data based on a signal corresponding to the electric charge obtained by adding, generate a plurality of image data having parallax from the third image data, and output image data for stereoscopic display An imaging device characterized by performing control to perform. 前記予め定めた条件は、前記絞り値が第１の閾値以下であること、および、撮像装置から被写体までの距離情報もしくは焦点状態検出情報が第２の閾値以下であることの、少なくともいずれかを満たすことであることを特徴とする請求項１記載の撮像装置。 The predetermined condition is that at least one of the aperture value being equal to or smaller than a first threshold and the distance information from the imaging device to the subject or the focus state detection information being equal to or smaller than a second threshold. imaging device according to claim 1, wherein a is to meet. 前記制御手段は、前記絞り値が第１の閾値以下であること、または、撮像装置から被写体までの距離情報もしくは焦点状態検出情報が第２の閾値以下であることの、いずれかのみを満たす場合、前記複数の画像データに対して立体視効果を強調する処理を行うことを特徴とする請求項２記載の撮像装置。 The control unit satisfies only one of the case where the aperture value is equal to or less than a first threshold, or the distance information from the imaging device to the subject or the focus state detection information is equal to or less than a second threshold. The imaging apparatus according to claim 2, wherein processing for enhancing a stereoscopic effect is performed on the plurality of image data. 前記撮像素子は、前記マイクロレンズ毎に前記第１の受光素子と前記第２の受光素子の他に複数の受光素子を有しており、
前記第１の画像データは、前記第１の受光素子と第３の受光素子を含む第１の組の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく画像データであり、前記第２の画像データは、前記第２の受光素子と第４の受光素子を含む第２の組の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく画像データであることを特徴とする請求項１から３のいずれか１項記載の撮像装置。 The imaging element has a plurality of light receiving elements in addition to the first light receiving element and the second light receiving element for each microlens,
The first image data is image data based on a signal corresponding to a charge obtained by adding charges generated in a first set of light receiving elements including the first light receiving element and the third light receiving element. The second image data is image data based on a signal corresponding to a charge obtained by adding charges generated in a second set of light receiving elements including the second light receiving element and the fourth light receiving element. imaging device according to any one of claims 1, wherein 3 that there. レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置にて実行される制御方法であって、
前記レンズを駆動するレンズ駆動手段および前記絞りを駆動する絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報を予め定めた条件と比較するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が前記予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得して立体視表示用の画像データを出力するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が前記予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力するステップを有することを特徴とする撮像装置の制御方法。
An image pickup optical system having a lens and a diaphragm, a microlens and an image pickup element having at least a first light receiving element and a second light receiving element for each microlens, and a plurality of image data having parallax from an output of the image pickup element A control method executed by an imaging apparatus capable of acquiring
Controlling lens driving means for driving the lens and diaphragm driving means for driving the diaphragm to perform focus adjustment control and exposure control, and control driving of the imaging device;
Comparing the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information with a predetermined condition ;
First image data based on a signal corresponding to the electric charge generated in the first light receiving element when the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information satisfy the predetermined condition And obtaining second image data having a parallax with respect to the first image data based on a signal corresponding to the electric charge generated in the second light receiving element, and obtaining image data for stereoscopic display. Output step ;
When the aperture value of the aperture and the distance information from the imaging device to the subject or the focus state detection information do not satisfy the predetermined condition, the charge generated in the first light receiving element and the second light receiving element are generated. Acquiring third image data based on a signal corresponding to the electric charge obtained by adding the electric charge, generating a plurality of image data having parallax from the third image data, and generating image data for stereoscopic display; An image pickup apparatus control method comprising: an output step .
JP2011276580A 2011-12-19 2011-12-19 Imaging apparatus and control method thereof Expired - Fee Related JP5911291B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011276580A JP5911291B2 (en) 2011-12-19 2011-12-19 Imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011276580A JP5911291B2 (en) 2011-12-19 2011-12-19 Imaging apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2013127532A JP2013127532A (en) 2013-06-27
JP5911291B2 true JP5911291B2 (en) 2016-04-27

Family

ID=48778104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011276580A Expired - Fee Related JP5911291B2 (en) 2011-12-19 2011-12-19 Imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5911291B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7314114B2 (en) 2013-09-24 2023-07-25 東芝ライフスタイル株式会社 refrigerator

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167310A (en) * 2003-11-28 2005-06-23 Sharp Corp Photographing apparatus
JP5157128B2 (en) * 2006-11-02 2013-03-06 株式会社ニコン Focus detection apparatus and imaging apparatus
JP2010154422A (en) * 2008-12-26 2010-07-08 Casio Computer Co Ltd Image processor
JP5499778B2 (en) * 2010-03-03 2014-05-21 株式会社ニコン Imaging device
JP5368350B2 (en) * 2010-03-18 2013-12-18 富士フイルム株式会社 Stereo imaging device
JP2011211381A (en) * 2010-03-29 2011-10-20 Fujifilm Corp Stereoscopic imaging apparatus
JP5304714B2 (en) * 2010-04-09 2013-10-02 株式会社Ｊｖｃケンウッド Pseudo stereoscopic image generation apparatus and camera
JP2012015819A (en) * 2010-06-30 2012-01-19 Fujifilm Corp Stereoscopic image imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7314114B2 (en) 2013-09-24 2023-07-25 東芝ライフスタイル株式会社 refrigerator

Also Published As

Publication number Publication date
JP2013127532A (en) 2013-06-27

Similar Documents

Publication Publication Date Title
JP6848941B2 (en) Image sensor and image sensor
JP5245370B2 (en) Solid-state imaging device, electronic camera
WO2013042518A1 (en) Digital camera
US9832360B2 (en) Image capturing apparatus and method of controlling the same
JP6442362B2 (en) Image pickup apparatus and image pickup element control method
JP5680797B2 (en) Imaging apparatus, image processing apparatus, and image processing method
US8902294B2 (en) Image capturing device and image capturing method
JP2010154310A (en) Compound-eye camera, and photographing method
WO2020017642A1 (en) Focal point detection device, image capture device, and replacement lens
JP7095774B2 (en) Image sensor and image sensor
JP5932363B2 (en) Imaging apparatus and control method thereof
JP5911291B2 (en) Imaging apparatus and control method thereof
JP5871535B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JPWO2019189892A1 (en) Image sensor and image sensor
JP6594048B2 (en) Imaging apparatus and control method thereof
JP6733159B2 (en) Imaging device and imaging device
US10863088B2 (en) Image capturing apparatus and control method for capturing still images without interrupting video recordings
JP2014232899A (en) Solid-state image pickup device and digital camera
JP6289515B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2016225848A (en) Imaging device and control method for image pickup device
JP2014222268A (en) Imaging device and imaging device control method
JP2018019357A (en) Image processing apparatus, image processing method, and program
JP2015052662A (en) Image-capturing device and method for controlling image-capturing device
JP2014095874A (en) Image capturing device and control method therefor
JP2014215526A (en) Imaging element and camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

R151 Written notification of patent or utility model registration

Ref document number: 5911291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees