JP2017073687A

JP2017073687A - Imaging apparatus and imaging method

Info

Publication number: JP2017073687A
Application number: JP2015200082A
Authority: JP
Inventors: 峰雄内田; Mineo Uchida
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-08
Filing date: 2015-10-08
Publication date: 2017-04-13

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of suppressing increase in a data amount and an imaging method.SOLUTION: The imaging apparatus includes: a pixel array containing a plurality of unit pixels each containing a first photoelectric conversion part and a second photoelectric conversion part; and signal generation means for generating a first signal of a first bit number on the basis of a signal from the first photoelectric conversion part and generating a second signal of a second bit number different from the first bit number on the basis of signals from the first photoelectric conversion part and the second photoelectric conversion part.SELECTED DRAWING: Figure 5

Description

本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.

近年、ＣＭＯＳセンサ等の撮像素子によって得られた信号を用いて焦点検出等を行う撮像装置が提案されている。
特許文献１では、撮像素子から得られた信号を用いて瞳分割方式の焦点検出を行う技術が提案されている。特許文献１では、撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードとが設けられており、それぞれのフォトダイオードは、撮影レンズの互いに異なる瞳領域を通過した光を受光する。引用文献１では、２つのフォトダイオードからの出力信号を比較することによって焦点検出が行われ、２つのフォトダイオードからの出力信号を加算することによって撮像画像の生成が行われる。 In recent years, there has been proposed an imaging apparatus that performs focus detection or the like using a signal obtained by an imaging element such as a CMOS sensor.
Patent Document 1 proposes a technique for performing pupil-division focus detection using a signal obtained from an image sensor. In Patent Document 1, one microlens and two photodiodes are provided for each pixel of the image sensor, and each photodiode receives light that has passed through different pupil regions of the photographing lens. In Cited Document 1, focus detection is performed by comparing output signals from two photodiodes, and a captured image is generated by adding output signals from the two photodiodes.

特開２００１−１２４９８４号公報JP 2001-124984 A

しかしながら、特許文献１に記載された技術では、２つのフォトダイオードからの信号を読み出すことになるため、データ量が増加し、データの読み出し時間が長くなり、ひいてはフレームレートの低下を招く。フレームレートを高く維持するためには、データ伝送レート等を向上させる必要があり、回路規模や消費電力の増大等を招くこととなる。
本発明の目的は、データ量の増加を抑制し得る撮像装置及び撮像方法を提供することにある。 However, in the technique described in Patent Document 1, since signals from two photodiodes are read, the amount of data increases, the data read time becomes long, and consequently the frame rate decreases. In order to keep the frame rate high, it is necessary to improve the data transmission rate and the like, leading to an increase in circuit scale and power consumption.
An object of the present invention is to provide an imaging apparatus and an imaging method that can suppress an increase in the amount of data.

本発明の一態様によれば、第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイと、前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成し、前記第１の光電変換部と前記第２光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成する信号生成手段とを有することを特徴とする撮像装置が提供される。 According to one embodiment of the present invention, a pixel array including a plurality of unit pixels each including a first photoelectric conversion unit and a second photoelectric conversion unit, and a signal based on a signal from the first photoelectric conversion unit. A first signal having a number of bits of 1, and a second number of bits having a second number of bits different from the first number of bits based on signals from the first photoelectric conversion unit and the second photoelectric conversion unit. There is provided an imaging apparatus comprising a signal generation means for generating the second signal.

本発明によれば、データ量の増加を抑制し得る撮像装置及び撮像方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device and imaging method which can suppress the increase in data amount can be provided.

本発明の第１実施形態による撮像装置を示すブロック図である。1 is a block diagram illustrating an imaging apparatus according to a first embodiment of the present invention. 撮像素子の画素配置を示す平面図である。It is a top view which shows pixel arrangement | positioning of an image pick-up element. 撮影光学系の射出瞳を通過する光束と単位画素との関係を示す模式図である。It is a schematic diagram which shows the relationship between the light beam which passes the exit pupil of an imaging optical system, and a unit pixel. 副画素ａ，ｂから得られる像信号の波形を示す模式図である。It is a schematic diagram which shows the waveform of the image signal obtained from subpixel a, b. 撮像素子の全体的な構成を示すブロック図である。It is a block diagram which shows the whole structure of an image pick-up element. 撮像素子の単位画素を示す回路図である。It is a circuit diagram which shows the unit pixel of an image pick-up element. 本発明の第１実施形態による撮像装置の動作を示すタイミングチャートである。3 is a timing chart illustrating an operation of the imaging apparatus according to the first embodiment of the present invention. 本発明の第１実施形態による撮像装置において行われるビット数削減処理を示す模式図である。It is a schematic diagram which shows the bit number reduction process performed in the imaging device by 1st Embodiment of this invention. パラレル／シリアル変換のフォーマットを示す模式図である。It is a schematic diagram which shows the format of parallel / serial conversion. 本発明の第１実施形態による撮像装置における撮像素子のコード付加部から出力される１ライン分のデータを示す模式図である。It is a schematic diagram which shows the data for 1 line output from the code addition part of the image pick-up element in the imaging device by 1st Embodiment of this invention. 本発明の第２実施形態による撮像装置における撮像素子のコード付加部から出力される１ライン分のデータを示す模式図である。It is a schematic diagram which shows the data for 1 line output from the code addition part of the image pick-up element in the imaging device by 2nd Embodiment of this invention. 本発明の第３実施形態による撮像装置の動作を示すタイミングチャートである。It is a timing chart which shows operation of an imaging device by a 3rd embodiment of the present invention.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.

［第１実施形態］
第１実施形態による撮像装置及び撮像方法について図１乃至図１０を用いて説明する。図１は、本実施形態による撮像装置１００を示すブロック図である。
図１に示すように、撮像光学系１０７の先端部には、第１のレンズ群１０１が配され、第１のレンズ群１０１は光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することによって撮影時の光量調節を行う。第２のレンズ群１０３は、第１のレンズ群１０１の進退動作と連動することによって、変倍動作、即ち、ズーム動作を行う。第３のレンズ群１０４は、光軸方向の進退によって焦点調節を行う。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。これらのレンズ群１０１，１０３，１０４と絞り１０２とマイクロレンズ２０２（図３参照）とによって撮像光学系１０７が構成されている。本実施形態では、撮像光学系１０７の一部を含むレンズ装置１２０と撮像装置１００の本体とが一体的に構成されている場合を例に説明するが、これに限定されるものではない。撮像光学系１０７の一部を含むレンズ装置１２０は、撮像装置１００本体から着脱可能であってもよい。 [First Embodiment]
The imaging apparatus and imaging method according to the first embodiment will be described with reference to FIGS. FIG. 1 is a block diagram illustrating an imaging apparatus 100 according to the present embodiment.
As shown in FIG. 1, a first lens group 101 is disposed at the distal end of the imaging optical system 107, and the first lens group 101 is held so as to be able to advance and retreat in the optical axis direction. The diaphragm 102 adjusts the amount of light at the time of photographing by adjusting the aperture diameter. The second lens group 103 performs a zooming operation, that is, a zooming operation in conjunction with the advance / retreat operation of the first lens group 101. The third lens group 104 performs focus adjustment by moving back and forth in the optical axis direction. The optical low-pass filter 105 is an optical element for reducing false colors and moire in the captured image. The lens group 101, 103, 104, the diaphragm 102, and the microlens 202 (see FIG. 3) constitute an imaging optical system 107. In the present embodiment, a case where the lens device 120 including a part of the imaging optical system 107 and the main body of the imaging device 100 are integrally configured will be described as an example, but the present invention is not limited to this. The lens device 120 including a part of the imaging optical system 107 may be detachable from the imaging device 100 main body.

撮像素子１０６は、撮像光学系１０７によって撮像素子１０６の撮像面に結像された被写体像（光学像）を光電変換する。撮像素子１０６としては、例えば、ベイヤー配列のＣＭＯＳイメージセンサが用いられる。撮像素子１０６からは、デジタル値の画像信号がデジタルフロントエンド１０８（ＤＦＥ：ＤｉｇｉｔａｌＦｒｏｎｔＥｎｄ）に出力される。デジタルフロントエンド１０８は、撮像素子１０６からの画像信号に対して、所定の演算処理を行う。 The image sensor 106 photoelectrically converts a subject image (optical image) formed on the imaging surface of the image sensor 106 by the imaging optical system 107. As the image sensor 106, for example, a Bayer array CMOS image sensor is used. The image sensor 106 outputs a digital value image signal to a digital front end 108 (DFE: Digital Front End). The digital front end 108 performs predetermined arithmetic processing on the image signal from the image sensor 106.

デジタルシグナルプロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｅｒ）１０９は、デジタルフロントエンド１０８から出力されるデジタル値の画像信号に対して、補正処理や現像処理等を行う。また、ＤＳＰ１０９は、デジタル値の画像信号に基づいて、焦点ずれ量を算出するとともに、ＡＦ（オートフォーカス）演算を行う。 A digital signal processor (DSP) 109 performs correction processing, development processing, and the like on a digital image signal output from the digital front end 108. The DSP 109 calculates the amount of defocus based on the digital image signal and performs AF (autofocus) calculation.

記録媒体１１０は、画像データを記録するものであり、ＤＳＰ１０９に接続されている。表示部１１１は、撮影画像や各種のメニュー画面等を表示するためのものであり、液晶ディスプレイ（ＬＣＤ）等が用いられており、ＤＳＰ１０９に接続されている。ＲＡＭ１１２は、画像データ等を一時的に記憶するものであり、ＤＳＰ１０９に接続されている。タイミングジェネレータ（ＴＧ）１１３は、撮像素子１０６に駆動信号を供給する。 The recording medium 110 records image data and is connected to the DSP 109. The display unit 111 is for displaying a photographed image, various menu screens, and the like, and a liquid crystal display (LCD) or the like is used, and is connected to the DSP 109. The RAM 112 temporarily stores image data and the like, and is connected to the DSP 109. A timing generator (TG) 113 supplies a drive signal to the image sensor 106.

ＣＰＵ１１４は、デジタルフロントエンド１０８、ＤＳＰ１０９、タイミングジェネレータ１１３、及び、絞り駆動部（絞り駆動回路）１１５の制御を行う。また、ＣＰＵ１１４は、ＤＳＰ１０９のＡＦ演算結果に基づいて、フォーカス駆動部（フォーカス駆動回路）１１６を制御する。絞り駆動部１１５は、絞りアクチュエータ１１７を制御することによって、絞り１０２を調整する。フォーカス駆動部１１６は、フォーカスアクチュエータ１１８を制御することによって、第３のレンズ群１０４を光軸方向に進退させ、即ち、第３のレンズ群１０４を駆動させ、これにより焦点調節を行う。ＲＯＭ１１９は、各種の補正データ等を記憶するものであり、ＤＳＰ１０９に接続されている。 The CPU 114 controls the digital front end 108, the DSP 109, the timing generator 113, and the aperture driving unit (aperture driving circuit) 115. Further, the CPU 114 controls the focus driving unit (focus driving circuit) 116 based on the AF calculation result of the DSP 109. The aperture driver 115 adjusts the aperture 102 by controlling the aperture actuator 117. The focus driving unit 116 controls the focus actuator 118 to advance and retract the third lens group 104 in the optical axis direction, that is, drive the third lens group 104, thereby performing focus adjustment. The ROM 119 stores various correction data and the like, and is connected to the DSP 109.

次に、本実施形態における撮像素子１０６の画素配置について図２を用いて説明する。図２は、撮像素子１０６の画素配置を示す平面図である。
図２に示すように、撮像素子１０６には、複数の単位画素３００が２次元状（行列状）に配列されており、各々の単位画素３００上には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列で配置されている。単位画素３００は、１つの画素を構成している。また、各々の単位画素３００内には、副画素ａと、副画素ｂとがそれぞれ配置されている。副画素ａ、ｂには、フォトダイオード（光電変換部）４０１ａ，４０１ｂがそれぞれ設けられている。副画素ａ、ｂの各々の出力信号は、焦点検出に用いられる。また、副画素ａ、ｂの出力信号を加算することにより得られる信号は、撮像画像の生成に用いられる。なお、副画素ｂの出力信号の値は、例えば、副画素ａ，ｂの出力信号の加算値から副画素ａの出力信号の値を減算することによって算出される。 Next, the pixel arrangement of the image sensor 106 in this embodiment will be described with reference to FIG. FIG. 2 is a plan view showing the pixel arrangement of the image sensor 106.
As shown in FIG. 2, a plurality of unit pixels 300 are arranged two-dimensionally (in a matrix) on the image sensor 106, and R (Red) and G (Green) are placed on each unit pixel 300. , B (Blue) color filters are arranged in a Bayer array. The unit pixel 300 constitutes one pixel. In each unit pixel 300, a sub pixel a and a sub pixel b are arranged. The sub-pixels a and b are provided with photodiodes (photoelectric conversion units) 401a and 401b, respectively. The output signals of the sub-pixels a and b are used for focus detection. A signal obtained by adding the output signals of the sub-pixels a and b is used for generating a captured image. Note that the value of the output signal of the sub-pixel b is calculated, for example, by subtracting the value of the output signal of the sub-pixel a from the added value of the output signals of the sub-pixels a and b.

次に、撮像光学系１０７と単位画素３００との関係について図３を用いて説明する。図３は、撮像光学系１０７の射出瞳２０３を通過する光束と単位画素３００との関係を示す模式図である。
図３に示すように、カラーフィルタ２０１及びマイクロレンズ２０２が、単位画素３００上、即ち、フォトダイオード４０１ａ、４０１ｂ上にそれぞれ形成されている。撮像光学系１０７の射出瞳２０３を通過する光束の中心と光軸２０４とが一致している。射出瞳２０３を通過した光束は、光軸２０４を中心として単位画素３００に入射する。 Next, the relationship between the imaging optical system 107 and the unit pixel 300 will be described with reference to FIG. FIG. 3 is a schematic diagram showing the relationship between the light beam passing through the exit pupil 203 of the imaging optical system 107 and the unit pixel 300.
As shown in FIG. 3, the color filter 201 and the microlens 202 are formed on the unit pixel 300, that is, on the photodiodes 401a and 401b, respectively. The center of the light beam passing through the exit pupil 203 of the imaging optical system 107 is coincident with the optical axis 204. The light beam that has passed through the exit pupil 203 enters the unit pixel 300 with the optical axis 204 as the center.

撮像光学系１０７の射出瞳２０３には、互いに異なる瞳領域２０５、２０６が位置している。図３に示すように、瞳領域２０５を通過する光束は、マイクロレンズ２０２を介して、副画素ａ、即ち、フォトダイオード４０１ａによって受光される。一方、瞳領域２０６を通過する光束は、マイクロレンズ２０２を介して、副画素ｂ、即ち、フォトダイオード４０１ｂによって受光される。このように、副画素ａ、ｂは、撮像光学系１０７の射出瞳２０３の別個の瞳領域２０５，２０６からの光をそれぞれ受光する。このため、副画素ａ、ｂの出力信号を比較することによって、位相差方式の焦点検出が可能となる。 Different pupil regions 205 and 206 are located on the exit pupil 203 of the imaging optical system 107. As shown in FIG. 3, the light beam passing through the pupil region 205 is received by the sub-pixel a, that is, the photodiode 401a via the microlens 202. On the other hand, the light beam passing through the pupil region 206 is received by the subpixel b, that is, the photodiode 401b, through the microlens 202. Thus, the subpixels a and b receive light from the separate pupil regions 205 and 206 of the exit pupil 203 of the imaging optical system 107, respectively. Therefore, the phase difference type focus detection can be performed by comparing the output signals of the sub-pixels a and b.

次に、撮像素子１０６の副画素ａ、ｂから得られる像信号の波形について図４を用いて説明する。図４は、副画素ａ、ｂから得られる像信号の波形を示す模式図である。図４（ａ）は、合焦状態から外れている場合、即ち、非合焦状態を示している。図４（ｂ）は、合焦状態、より具体的には、略合焦状態を示している。図４（ａ）及び図４（ｂ）において、縦軸は信号の大きさを示しており、横軸は、単位画素３００の位置、即ち、水平方向における単位画素３００の位置を示している。 Next, the waveform of the image signal obtained from the sub-pixels a and b of the image sensor 106 will be described with reference to FIG. FIG. 4 is a schematic diagram showing a waveform of an image signal obtained from the sub-pixels a and b. FIG. 4A shows a case where the lens is out of focus, that is, a non-focused state. FIG. 4B shows a focused state, more specifically, a substantially focused state. 4A and 4B, the vertical axis indicates the signal magnitude, and the horizontal axis indicates the position of the unit pixel 300, that is, the position of the unit pixel 300 in the horizontal direction.

図４（ａ）に示すように、合焦状態から外れている場合、即ち、非合焦状態の場合には、副画素ａ、ｂからそれぞれ得られる像信号の波形（副画素ａ信号、副画素ｂ信号）は互いに一致せず、互いに大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図４（ｂ）に示すように、副画素ａ、ｂからそれぞれ得られる像信号の波形のずれは小さくなる。そして、合焦状態においては、副画素ａから得られる像信号の波形と、副画素ｂから得られる像信号の波形とが、互いに重なる。このように、副画素ａ、ｂからそれぞれ得られる像信号の波形のずれ量から焦点のずれ量、即ち、デフォーカス量を検出することによって、焦点調節を行うことが可能となる。 As shown in FIG. 4A, when out of focus, that is, in the out-of-focus state, the waveform of the image signal obtained from each of the sub-pixels a and b (sub-pixel a signal and sub-pixel). Pixel b signals) do not coincide with each other and are greatly deviated from each other. When approaching the in-focus state from the out-of-focus state, as shown in FIG. In the in-focus state, the waveform of the image signal obtained from the sub-pixel a and the waveform of the image signal obtained from the sub-pixel b overlap each other. As described above, the focus adjustment can be performed by detecting the focus shift amount, that is, the defocus amount, from the shift amount of the waveform of the image signal obtained from each of the sub-pixels a and b.

次に、撮像素子１０６の全体的な構成について図５を用いて説明する。図５は、撮像素子１０６の全体的な構成を示すブロック図である。
図５に示すように、撮像素子１０６の画素領域（画素アレイ）ＰＡには、単位画素３００が２次元状（行列状）に配置されている。図５においては、各々の単位画素３００に符号ｐ１１，・・・，ｐｋｎが付されている。ｋは当該単位画素３００が何列目に位置しているかを示しており、ｎは当該単位画素３００が何行目に位置しているかを示している。 Next, the overall configuration of the image sensor 106 will be described with reference to FIG. FIG. 5 is a block diagram showing the overall configuration of the image sensor 106.
As shown in FIG. 5, unit pixels 300 are arranged in a two-dimensional shape (matrix shape) in the pixel region (pixel array) PA of the image sensor 106. In FIG. 5, each unit pixel 300 is denoted by reference signs p <b> 11,. k indicates in which column the unit pixel 300 is located, and n indicates in which row the unit pixel 300 is located.

ここで、１つの単位画素（画素）３００の回路構成について図６を用いて説明する。図６は、撮像素子１０６の単位画素３００を示す回路図である。
副画素ａ、ｂにそれぞれ設けられたフォトダイオード４０１ａ、４０１ｂは、入射される光（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送スイッチ４０２ａ、４０２ｂのゲートに印加される信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、フォトダイオード４０１ａ、４０１ｂに蓄積されているそれぞれの電荷がフローティングディフュージョン部４０３に転送される。フローティングディフュージョン部４０３は、増幅トランジスタ４０４のゲートに接続されており、増幅トランジスタ４０４のゲートの電位は、フォトダイオード４０１ａ、４０１ｂから転送された電荷量に応じた電位となる。増幅トランジスタ４０４のドレインは、電源電位Ｖｄｄに接続されている。増幅トランジスタ４０４の出力は、垂直出力線３０２（図５参照）を介して電流源３０４（図５参照）に接続されている。増幅トランジスタ４０４と電流源３０４とによって、ソースフォロワ回路が構成されている。 Here, a circuit configuration of one unit pixel (pixel) 300 will be described with reference to FIG. FIG. 6 is a circuit diagram showing the unit pixel 300 of the image sensor 106.
Photodiodes 401a and 401b provided in the sub-pixels a and b, respectively, photoelectrically convert incident light (optical image) and accumulate charges corresponding to the exposure amount. By setting the signals txa and txb applied to the gates of the transfer switches 402a and 402b to a high level, the respective charges accumulated in the photodiodes 401a and 401b are transferred to the floating diffusion unit 403. The floating diffusion portion 403 is connected to the gate of the amplification transistor 404, and the potential of the gate of the amplification transistor 404 becomes a potential corresponding to the amount of charge transferred from the photodiodes 401a and 401b. The drain of the amplification transistor 404 is connected to the power supply potential Vdd. The output of the amplification transistor 404 is connected to a current source 304 (see FIG. 5) via a vertical output line 302 (see FIG. 5). The amplification transistor 404 and the current source 304 constitute a source follower circuit.

フローティングディフュージョン部４０３をリセットするためのリセットスイッチ（リセットトランジスタ）４０５のドレインは、電源電位Ｖｄｄに接続されている。リセットスイッチ４０５のゲートに印加される信号ｒｅｓをＨｉｇｈレベルに設定することにより、フローティングディフュージョン部４０３がリセットされる。フォトダイオード４０１ａ、４０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルに設定することにより、転送スイッチ（転送ゲート）４０２ａ、４０２ｂとリセットスイッチ４０５の両方をオンにする。そして、フローティングディフュージョン部４０３を経由して、フォトダイオード４０１ａ、４０１ｂのリセットを行う。選択スイッチ（選択トランジスタ）４０６のゲートに印加される信号ｓｅｌをＨｉｇｈレベルに設定することにより、増幅トランジスタ４０４のゲートの電位に応じた画素信号が単位画素３００の出力ｖｏｕｔに出力される。 The drain of a reset switch (reset transistor) 405 for resetting the floating diffusion portion 403 is connected to the power supply potential Vdd. By setting the signal res applied to the gate of the reset switch 405 to a high level, the floating diffusion unit 403 is reset. When resetting the charges of the photodiodes 401a and 401b, both the transfer switches (transfer gates) 402a and 402b and the reset switch 405 are turned on by simultaneously setting the signal res and the signals txa and txb to the high level. To do. Then, the photodiodes 401 a and 401 b are reset via the floating diffusion portion 403. By setting the signal sel applied to the gate of the selection switch (selection transistor) 406 to a high level, a pixel signal corresponding to the potential of the gate of the amplification transistor 404 is output to the output vout of the unit pixel 300.

垂直走査回路３０１（図５参照）は、上述した信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌ、即ち、駆動信号を、単位画素３００に供給する。これらの駆動信号は、画素アレイＰＡの行ごとに共通となっている。各単位画素３００の出力ｖｏｕｔは、垂直出力線３０２を介して列共通読み出し回路（ＣＬＭ）３０３に接続される。垂直出力線３０２は、列ごとに共通となっている。列共通読み出し回路３０３内では、ＣＤＳ（相関二重サンプリング）動作によるノイズ除去やカラムアンプによる信号増幅等が行われる。 The vertical scanning circuit 301 (see FIG. 5) supplies the above-described signals res, txa, txb, sel, that is, drive signals to the unit pixel 300. These drive signals are common to each row of the pixel array PA. The output vout of each unit pixel 300 is connected to a column common readout circuit (CLM) 303 via a vertical output line 302. The vertical output line 302 is common to each column. In the column common readout circuit 303, noise removal by a CDS (correlated double sampling) operation, signal amplification by a column amplifier, and the like are performed.

列共通読み出し回路３０３の出力は、アナログ−デジタル変換器（ＡＤＣ：Ａｎａｌｏｇｔｏｄｉｇｉｔａｌｃｏｎｖｅｒｔｅｒ）３０５に接続されている。アナログ−デジタル変換器（アナログデジタル変換部）３０５は、例えばランプ方式等のＡ／Ｄ変換方法によって、アナログ値の信号である画素信号やノイズ信号をデジタル値の信号に変換する。アナログ−デジタル変換器３０５によってアナログ−デジタル変換を行うことによって得られたデータ、即ち、変換結果は、ラインメモリ（ＭＥＭ）３０６に格納される。アナログ−デジタル変換器３０５と後述するビット数調整部３０９とが相俟って、後述する１２ビットの像信号Ａと後述する１６ビットの像信号ＡＢとを生成する信号生成手段の一部として機能する。 The output of the column common readout circuit 303 is connected to an analog-to-digital converter (ADC) 305. An analog-digital converter (analog-digital conversion unit) 305 converts a pixel signal or noise signal, which is an analog value signal, into a digital value signal by an A / D conversion method such as a ramp method. Data obtained by performing analog-digital conversion by the analog-digital converter 305, that is, a conversion result is stored in a line memory (MEM) 306. The analog-digital converter 305 and a bit number adjusting unit 309 described later function together as a part of a signal generating unit that generates a 12-bit image signal A described later and a 16-bit image signal AB described later. To do.

水平出力回路３０７からの制御によって、ラインメモリ３０６に格納されたデータが出力される。この際、後述するノイズ信号Ｎと、画素信号Ｓａ又は画素信号Ｓａｂとがラインメモリ３０６から同時に出力され、Ｓ−Ｎ処理部（Ｓ−Ｎ回路）３０８に入力される。Ｓ−Ｎ処理部３０８は、画素信号Ｓａ又は画素信号Ｓａｂからノイズ信号Ｎを減算する回路である。Ｓ−Ｎ処理部３０８によって、画素信号Ｓａ又は画素信号Ｓａｂからノイズ信号Ｎが減算され、これによって信号成分が得られる。 The data stored in the line memory 306 is output under the control of the horizontal output circuit 307. At this time, a noise signal N, which will be described later, and a pixel signal Sa or a pixel signal Sab are simultaneously output from the line memory 306 and input to an SN processing unit (SN circuit) 308. The SN processing unit 308 is a circuit that subtracts the noise signal N from the pixel signal Sa or the pixel signal Sab. The S-N processing unit 308 subtracts the noise signal N from the pixel signal Sa or the pixel signal Sab, thereby obtaining a signal component.

ビット数調整部（ビット数調整回路）３０９は、後述する像信号Ａのビット数を調整する。第１のパラレル／シリアル変換部（第１のパラレル／シリアル変換回路）３１０Ａは、ビット数調整部３０９でビット数が調整された像信号Ａに対してパラレル／シリアル変換処理を行う。第２のパラレル／シリアル変換部（第２のパラレル／シリアル変換回路）３１０Ｂは、後述する像信号ＡＢに対してパラレル／シリアル（Ｐ／Ｓ）変換処理を行う。セレクタ３１１は、第１のパラレル／シリアル変換部３１０Ａの出力と第２のパラレル／シリアル変換部３１０Ｂの出力とのうちいずれかを選択してコード（Ｃｏｄｅ）付加部（コード付加回路）３１２に出力する。具体的には、セレクタ３１１は、像信号Ａの出力期間においては、第１のパラレル／シリアル変換部３１０Ａから出力されるデータを選択するように動作し、像信号ＡＢの出力期間においては、パラレル／シリアル変換部３１０Ｂから出力されるデータを選択する。 A bit number adjusting unit (bit number adjusting circuit) 309 adjusts the number of bits of the image signal A described later. The first parallel / serial conversion unit (first parallel / serial conversion circuit) 310 </ b> A performs parallel / serial conversion processing on the image signal A whose bit number is adjusted by the bit number adjustment unit 309. The second parallel / serial conversion unit (second parallel / serial conversion circuit) 310B performs parallel / serial (P / S) conversion processing on an image signal AB described later. The selector 311 selects one of the output of the first parallel / serial conversion unit 310 </ b> A and the output of the second parallel / serial conversion unit 310 </ b> B and outputs the selected one to the code addition unit (code addition circuit) 312. To do. Specifically, the selector 311 operates to select data output from the first parallel / serial converter 310A during the output period of the image signal A, and parallel during the output period of the image signal AB. / Selects data output from the serial conversion unit 310B.

コード付加部３１２は、各ラインの出力データの境界を示す同期コードと、後続のデータが像信号Ａであるか像信号ＡＢであるかを示す識別コードとを、像信号Ａや像信号ＡＢの出力データに適宜付加する。コード付加部３１２は、像信号Ａの出力データと像信号ＡＢの出力データとにそれぞれ識別コードを付加する識別コード付加手段として機能する。また、コード付加部３１２は、像信号Ａの出力データと像信号ＡＢの出力データとにそれぞれ同期コード付加する同期コード付加手段として機能する。コード付加部３１２によって同期コードと識別コードとが付加された信号は、ＬＶＤＳ出力部（ＬＶＤＳ出力回路）３１３に入力される。ＬＶＤＳ出力部３１３では、入力された信号を低電圧差動伝送（ＬＶＤＳ：ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｃｅｓｉｇｎａｌ）の伝送形態に沿って、撮像素子１０６の外部に出力する（ＯＵＴ）。このように、ＬＤＶＳ３１３は、像信号Ａを含む出力データと像信号ＡＢを含む出力データとを時分割で共通の信号線に出力する出力手段として機能する。
なお、セレクタ３１１及びコード付加部３１２は、像信号Ａと像信号ＡＢとのうちのいずれを出力するかを、水平出力回路３０７からの情報に基づいて識別して動作する。 The code adding unit 312 generates a synchronization code indicating the boundary of output data of each line and an identification code indicating whether the subsequent data is the image signal A or the image signal AB. Appropriately added to output data. The code adding unit 312 functions as an identification code adding unit that adds an identification code to the output data of the image signal A and the output data of the image signal AB. The code addition unit 312 functions as a synchronization code adding unit that adds a synchronization code to the output data of the image signal A and the output data of the image signal AB. The signal to which the synchronization code and the identification code are added by the code adding unit 312 is input to the LVDS output unit (LVDS output circuit) 313. The LVDS output unit 313 outputs the input signal to the outside of the image sensor 106 in accordance with a transmission form of low voltage differential transmission (LVDS) (OUT). As described above, the LDVS 313 functions as an output unit that outputs the output data including the image signal A and the output data including the image signal AB to a common signal line in a time division manner.
The selector 311 and the code adding unit 312 operate by identifying which one of the image signal A and the image signal AB is output based on information from the horizontal output circuit 307.

次に、本実施形態による撮像装置１００における読出し動作について図７を用いて説明する。図７は、本実施形態による撮像装置１００の動作を示すタイミングチャートである。具体的には、図７は、撮像素子１０６の読み出し動作を示している。ここでは、ｉ行目の読み出しを例として説明する。 Next, the reading operation in the imaging apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 7 is a timing chart showing the operation of the imaging apparatus 100 according to the present embodiment. Specifically, FIG. 7 shows a read operation of the image sensor 106. Here, reading of the i-th row will be described as an example.

まず、信号ｓｅｌをＨｉｇｈレベルに設定することにより、単位画素３００の選択スイッチ４０６をオン状態にする。この後、信号ｒｅｓをＬｏｗレベルに設定することにより、リセットスイッチ４０５をオフ状態に設定し、フローティングディフュージョン部４０３のリセットを解除する。アナログ−デジタル変換器３０５は、この際にアナログ−デジタル変換器３０５に入力された信号、即ち、フローティングディフュージョン部４０３のリセットが解除された直後の信号を、ノイズ信号ＮとしてＡ／Ｄ変換する（Ｎ変換）。 First, the selection switch 406 of the unit pixel 300 is turned on by setting the signal sel to a high level. Thereafter, by setting the signal res to the low level, the reset switch 405 is set to the off state, and the reset of the floating diffusion unit 403 is released. The analog-to-digital converter 305 performs A / D conversion on the signal input to the analog-to-digital converter 305 at this time, that is, the signal immediately after the reset of the floating diffusion unit 403 is canceled as a noise signal N ( N conversion).

次に、信号ｔｘａをＨｉｇｈレベルに設定することにより、転送スイッチ（転送トランジスタ）４０２ａをオン状態にする。これにより、副画素ａのフォトダイオード４０１ａに蓄積されていた電荷がフローティングディフュージョン部４０３に転送される。フォトダイオード４０１ａに蓄積されていた電荷に応じた信号が、選択スイッチ４０６を介して、垂直出力線３０２へ出力される。アナログ−デジタル変換器３０５は、この際にアナログ−デジタル変換器３０５に入力された信号を画素信号ＳａとしてＡ／Ｄ変換する（Ｓａ変換）。 Next, the transfer switch (transfer transistor) 402a is turned on by setting the signal txa to the high level. As a result, the charge accumulated in the photodiode 401 a of the sub-pixel “a” is transferred to the floating diffusion portion 403. A signal corresponding to the charge accumulated in the photodiode 401 a is output to the vertical output line 302 via the selection switch 406. The analog-digital converter 305 performs A / D conversion on the signal input to the analog-digital converter 305 at this time as a pixel signal Sa (Sa conversion).

Ｓａ変換が終了すると、ラインメモリ３０６に格納されている画素信号Ｓａとノイズ信号Ｎとが、水平出力回路３０７からの制御によって、ラインメモリ３０６からＳ−Ｎ処理部３０８に出力される。Ｓ−Ｎ処理部３０８は、Ｓａ信号からＮ信号を減算する処理を行うことにより、像信号Ａを生成する。像信号Ａが出力されている期間においては、第１のパラレル／シリアル変換部３１０Ａの出力がセレクタ３１１によって選択される。このため、像信号Ａは、ビット数調整部３０９、第１のパラレル／シリアル変換部３１０Ａ、セレクタ３１１、コード付加部３１２及びＬＶＤＳ出力部３１３を経由して撮像素子１０６の外部に出力される。像信号Ａの先頭には、同期コード及び識別コードが、コード付加部３１２によって付加される。なお、ビット数調整部３０９とコード付加部３１２の動作については、後述することとする。 When the Sa conversion is completed, the pixel signal Sa and the noise signal N stored in the line memory 306 are output from the line memory 306 to the SN processing unit 308 under the control of the horizontal output circuit 307. The SN processing unit 308 generates the image signal A by performing a process of subtracting the N signal from the Sa signal. During the period in which the image signal A is output, the output of the first parallel / serial conversion unit 310A is selected by the selector 311. Therefore, the image signal A is output to the outside of the image sensor 106 via the bit number adjustment unit 309, the first parallel / serial conversion unit 310A, the selector 311, the code addition unit 312 and the LVDS output unit 313. The code adding unit 312 adds a synchronization code and an identification code to the head of the image signal A. The operations of the bit number adjusting unit 309 and the code adding unit 312 will be described later.

像信号Ａの出力と並行して、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、転送スイッチ４０２ａ、４０２ｂをオン状態にする。これにより、副画素ｂのフォトダイオード４０１ｂに蓄積されていた電荷がフローティングディフュージョン部４０３に転送される。そして、副画素ａのフォトダイオード４０１ａに蓄積されていた電荷と副画素ｂのフォトダイオード４０１ｂに蓄積されていた電荷の総和に応じた信号、即ち、加算信号が、選択スイッチ４０６を介して、垂直出力線３０２へ出力される。アナログ−デジタル変換器３０５は、この際の信号を画素信号ＳａｂとしてＡ／Ｄ変換する（Ｓａｂ変換）。 In parallel with the output of the image signal A, the transfer switches 402a and 402b are turned on by setting the signals txa and txb to the high level. As a result, the charge accumulated in the photodiode 401 b of the subpixel b is transferred to the floating diffusion portion 403. Then, a signal corresponding to the sum of the charges accumulated in the photodiode 401 a of the subpixel a and the charges accumulated in the photodiode 401 b of the subpixel b, that is, an addition signal is transmitted vertically via the selection switch 406. It is output to the output line 302. The analog-digital converter 305 performs A / D conversion on the signal at this time as a pixel signal Sab (Sab conversion).

Ｓａｂ変換が終了した後、像信号Ａの出力が完了するまで待つ。Ｓａｂ変換が終了した後、像信号Ａの出力が完了するまでの間に、信号ｒｅｓをＨｉｇｈレベルに設定することによりリセットスイッチ４０５をオン状態にし、フローティングディフュージョン部４０３をリセットしてもよい。 After the Sab conversion is completed, the process waits until the output of the image signal A is completed. After the Sab conversion is completed and before the output of the image signal A is completed, the reset switch 405 may be turned on by setting the signal res to the high level, and the floating diffusion unit 403 may be reset.

像信号Ａの出力が完了すると、ラインメモリ３０６に格納されている画素信号Ｓａｂとノイズ信号Ｎとが、水平出力回路３０７からの制御によって、水平出力回路３０７からＳ−Ｎ処理部３０８に出力される。Ｓ−Ｎ処理部３０８は、Ｓａｂ信号からＮ信号を減算する処理を行うことにより、像信号ＡＢを生成する。像信号ＡＢが出力されている期間においては、第２のパラレル／シリアル変換部３１０Ｂの出力がセレクタ３１１によって選択される。このため、像信号ＡＢは、第２のパラレル／シリアル変換部３１０Ｂ、セレクタ３１１、コード付加部３１２及びＬＶＤＳ出力部３１３を介して撮像素子１０６の外部に出力される。ＬＶＤＳ出力部３１３から出力される像信号のデータは、画素アレイＰＡの１ラインに対する読み出し期間内において、像信号Ａのデータから像信号ＡＢのデータに切り替わる。像信号ＡＢの先頭には、同期コード及び識別コードが、コード付加部３１２によって付加される。像信号ＡＢの識別コードは、上述した像信号Ａの識別コードとは異なっている。このため、撮像素子１０６から出力される信号を受信するデジタルフロントエンド（受信部）１０８は、受信した信号が像信号Ａであるのか像信号ＡＢであるのかを判別することができる。また、デジタルフロントエンド１０８から出力される信号を受信するＤＳＰ（受信部）１０９は、受信した信号が像信号Ａであるのか像信号ＡＢであるのかを判別することができる。 When the output of the image signal A is completed, the pixel signal Sab and the noise signal N stored in the line memory 306 are output from the horizontal output circuit 307 to the SN processing unit 308 under the control of the horizontal output circuit 307. The The S-N processing unit 308 generates the image signal AB by performing a process of subtracting the N signal from the Sab signal. During the period in which the image signal AB is output, the output of the second parallel / serial converter 310B is selected by the selector 311. Therefore, the image signal AB is output to the outside of the image sensor 106 via the second parallel / serial conversion unit 310B, the selector 311, the code addition unit 312 and the LVDS output unit 313. The image signal data output from the LVDS output unit 313 is switched from the image signal A data to the image signal AB data in the readout period for one line of the pixel array PA. The code adding unit 312 adds a synchronization code and an identification code to the head of the image signal AB. The identification code of the image signal AB is different from the identification code of the image signal A described above. For this reason, the digital front end (reception unit) 108 that receives the signal output from the image sensor 106 can determine whether the received signal is the image signal A or the image signal AB. A DSP (reception unit) 109 that receives a signal output from the digital front end 108 can determine whether the received signal is the image signal A or the image signal AB.

像信号ＡＢが出力されている期間中に、垂直走査回路３０１は、次の行（ｉ＋１行目）についての信号ｓｅｌ及び信号ｒｅｓを制御し、ｉ＋１行目の信号の読み出し動作を開始する。
こうして、撮像素子１０６の各行について読み出しが順次行われる。 During the period in which the image signal AB is being output, the vertical scanning circuit 301 controls the signal sel and the signal res for the next row (i + 1th row), and starts the signal reading operation for the i + 1th row.
In this way, readout is sequentially performed for each row of the image sensor 106.

次に、本実施形態による撮像装置において行われるビット数削減処理について図８を用いて説明する。図８は、本実施形態による撮像装置において行われるビット数削減処理を示す模式図である。ビット数削減処理は、入力されるデータに対してビット（ｂｉｔ）数を削減する処理を行うビット数調整部３０９によって行われる。ここでは、Ｓ−Ｎ処理部３０８から出力されるデータが１画素あたり１６ビットのパラレルデータであり、ビット数調整部３０９から出力されるデータが１画素あたり１２ビットのパラレルデータである場合を例に説明する。 Next, the bit number reduction process performed in the imaging apparatus according to the present embodiment will be described with reference to FIG. FIG. 8 is a schematic diagram showing a bit number reduction process performed in the imaging apparatus according to the present embodiment. The bit number reduction process is performed by a bit number adjustment unit 309 that performs a process of reducing the number of bits for input data. In this example, data output from the SN processing unit 308 is 16-bit parallel data per pixel, and data output from the bit number adjustment unit 309 is 12-bit parallel data per pixel. Explained.

図８（ａ）は、常に、１６ビットの入力データのうちの例えば下位４ビットを削って１２ｂｉｔにして出力する例を示している。ＡＦ演算用のデータは、分解能が比較的低い場合であっても、十分な焦点調節精度を得られることが多い。これは、ＡＦ演算においては、補間処理等が行われるためである。このため、図８（ａ）では、ＡＦ演算にしか使用されない像信号である像信号Ａを、画像データにも使用される像信号である像信号ＡＢに比べて分解能を落として出力する。 FIG. 8A shows an example in which the lower 4 bits, for example, of the 16-bit input data are always deleted and output as 12 bits. In many cases, AF calculation data can provide sufficient focus adjustment accuracy even when the resolution is relatively low. This is because interpolation processing or the like is performed in the AF calculation. For this reason, in FIG. 8A, the image signal A, which is an image signal used only for AF calculation, is output with a lower resolution than the image signal AB, which is an image signal also used for image data.

図８（ｂ）は、被写体の輝度に応じた態様で像信号Ａのビット数の削減処理を行う例を示している。図８（ｂ）のうちの左側の図は、被写体が高輝度である場合を示している。被写体が高輝度である場合には、下位ビット側の分解能は不要であるため、図８（ａ）と同様に、例えば下位４ビットを削る。図８（ｂ）のうちの中央の図は、被写体が低輝度である場合を示している。被写体が低輝度である場合には、下位ビット側の分解能が重要である。一方、被写体が低輝度である場合には、上位ビットには有効な情報が存在しない。このため、被写体が低輝度である場合には、例えば上位４ビットを削る。図８（ｂ）のうちの右側の図は、被写体が中間輝度である場合を示している。被写体が中間輝度である場合においては、例えば、上位２ビットと下位２ビットとを削るようにする。被写体の輝度は、例えば、直前のフレームにおける被写体の輝度に基づいて設定することができる。また、撮像素子１０６とは別個のセンサを用いて被写体の輝度を検出し、検出された被写体の輝度についての情報を、ＣＰＵ１１４が撮像素子１０６に送信するようにしてもよい。なお、上位ビットを削る場合には、クリップ機能、即ち、上位ビットの一部に有効な情報が存在している場合には、当該有効な情報が存在しているビットについては削除しないような機能を設けることが好ましい。 FIG. 8B shows an example in which the number of bits of the image signal A is reduced in a manner corresponding to the luminance of the subject. The left diagram in FIG. 8B shows a case where the subject has high luminance. When the subject has high brightness, the lower bit side resolution is not necessary, and therefore, for example, the lower 4 bits are deleted as in FIG. The middle diagram in FIG. 8B shows a case where the subject has low luminance. When the subject has low luminance, the resolution on the lower bit side is important. On the other hand, when the subject has low luminance, there is no valid information in the upper bits. For this reason, when the subject has low luminance, for example, the upper 4 bits are deleted. The diagram on the right side of FIG. 8B shows a case where the subject has intermediate luminance. When the subject has intermediate luminance, for example, the upper 2 bits and the lower 2 bits are trimmed. The luminance of the subject can be set based on the luminance of the subject in the immediately preceding frame, for example. Alternatively, the brightness of the subject may be detected using a sensor separate from the image sensor 106, and the CPU 114 may transmit information about the detected brightness of the subject to the image sensor 106. It should be noted that when the upper bits are deleted, a clipping function, that is, a function that does not delete bits for which valid information exists when valid information exists in a part of the upper bits. Is preferably provided.

次に、パラレル／シリアル変換のフォーマットについて図９を用いて説明する。図９は、パラレル／シリアル変換のフォーマットを示す図である。
図９（ａ）は、第１のパラレル／シリアル変換部３１０Ａにおける像信号Ａのシリアル／パラレル変換を示している。上述したように、ビット数調整部３０９から出力されるデータは、１画素あたり１２ビットのパラレルデータである。このため、第１のパラレル／シリアル変換部３０１Ａには、１２ビットのパラレルデータが入力される。図９（ａ）においては、１２ビットのパラレルデータが、ｂ０〜ｂ１１で示されている。第１のパラレル／シリアル変換部３０１Ａは、１２ビットのパラレルデータを、６ビットずつのシリアルデータにする。そして、第１のパラレル／シリアル変換部３０１Ａは、ｂ０〜ｂ５の６ビットのシリアルデータを、第１のレーンＬａｎｅ１を用いて出力し、ｂ６〜ｂ１１の６ビットのシリアルデータを第２のレーンＬａｎｅ２を用いて出力する。 Next, the parallel / serial conversion format will be described with reference to FIG. FIG. 9 is a diagram showing a format of parallel / serial conversion.
FIG. 9A shows serial / parallel conversion of the image signal A in the first parallel / serial conversion unit 310A. As described above, the data output from the bit number adjustment unit 309 is parallel data of 12 bits per pixel. Therefore, 12-bit parallel data is input to the first parallel / serial converter 301A. In FIG. 9A, 12-bit parallel data is indicated by b0 to b11. The first parallel / serial converter 301A converts 12-bit parallel data into 6-bit serial data. Then, the first parallel / serial conversion unit 301A outputs the 6-bit serial data of b0 to b5 using the first lane Lane1, and the 6-bit serial data of b6 to b11 is output to the second lane Lane2. Use to output.

図９（ｂ）は、第２のパラレル／シリアル変換部３１０Ｂにおける像信号ＡＢのパラレル／シリアル変換を示している。上述したように、Ｓ−Ｎ処理部３０８から出力されるデータは、１画素あたり１６ビットのパラレルデータである。このため、第２のパラレル／シリアル変換部３１０Ｂには、１６ビットのパラレルデータが入力される。図９（ｂ）においては、１６ビットのパラレルデータが、ｂ０〜ｂ１５を用いて示されている。第２のパラレル／シリアル変換部３０１Ｂは、１６ビットのパラレルデータを、８ビットずつのシリアルデータにする。そして、第２のパラレル／シリアル変換部３０１Ｂは、ｂ０〜ｂ７の８ビットのシリアルデータを、第１のレーンＬａｎｅ１を用いて出力し、ｂ９〜ｂ１５の８ビットのシリアルデータを、第２のレーンＬａｎｅ２を用いて出力する。 FIG. 9B shows parallel / serial conversion of the image signal AB in the second parallel / serial conversion unit 310B. As described above, the data output from the SN processing unit 308 is 16-bit parallel data per pixel. For this reason, 16-bit parallel data is input to the second parallel / serial converter 310B. In FIG. 9B, 16-bit parallel data is shown using b0 to b15. The second parallel / serial conversion unit 301B converts the 16-bit parallel data into 8-bit serial data. Then, the second parallel / serial conversion unit 301B outputs the 8-bit serial data of b0 to b7 using the first lane Lane1, and the 8-bit serial data of b9 to b15 to the second lane. Output using Lane2.

このように、像信号ＡＢは１６ビットであるのに対し、像信号Ａは１２ビットとなる。即ち、像信号Ａのデータ量は、像信号ＡＢの３／４倍となる。像信号Ａと像信号ＡＢを合わせたデータの総量は、像信号Ａのビット数の調整を行わなかった場合と比較して、７／８倍となる。このように、本実施形態によれば、１６ビットの像信号Ａと１６ビットの像信号Ａとを単に読み出す場合と比較して、読み出されるデータ量を削減することができる。データ量を削減することができるため、本実施形態によれば、データの読み出し時間を短縮することができ、ひいてはフレームレートを向上させることができる。また、フレームレートを高く維持するために、データ伝送レートを向上させることを要せず、回路規模や消費電力の増大等を防止することができる。 Thus, the image signal AB is 16 bits while the image signal A is 12 bits. That is, the data amount of the image signal A is 3/4 times that of the image signal AB. The total amount of data combining the image signal A and the image signal AB is 7/8 times that in the case where the number of bits of the image signal A is not adjusted. As described above, according to the present embodiment, the amount of data to be read can be reduced as compared with the case of simply reading the 16-bit image signal A and the 16-bit image signal A. Since the amount of data can be reduced, according to the present embodiment, the data read time can be shortened, and consequently the frame rate can be improved. In addition, in order to maintain a high frame rate, it is not necessary to improve the data transmission rate, and an increase in circuit scale and power consumption can be prevented.

図１０は、コード付加部３１２から出力される１ライン分のデータ、即ち、出力データを示す模式図である。図１０における「１２ｂ」は、１画素分のデータが１２ビットであることを示している。また、図１０における「１６ｂ」は、１画素分のデータが１６ビットであることを示している。 FIG. 10 is a schematic diagram showing data for one line output from the code adding unit 312, that is, output data. “12b” in FIG. 10 indicates that the data for one pixel is 12 bits. Further, “16b” in FIG. 10 indicates that the data for one pixel is 16 bits.

コード付加部３１２は、データの先頭部分に同期コードを付加する。同期コードとしては、例えば所定の値が用いられ、同期コードのビット数は適宜設定することができる。デジタルフロントエンド１０８やＤＳＰ１０９は、同期コードに基づいて一連のデータの先頭を認識し、同期コードに続くデータのデコードを行う。像信号Ａの先頭に付加される同期コードと、像信号ＡＢの先頭に付加される同期コードとは、同一の値であってもよいし、異なった値であってよい。但し、像信号Ａの先頭に付加される同期コードのビット数と、像信号ＡＢの先頭に付加される同期コードのビット数とは、同一とすることが好ましい。 The code adding unit 312 adds a synchronization code to the head portion of the data. For example, a predetermined value is used as the synchronization code, and the number of bits of the synchronization code can be set as appropriate. The digital front end 108 and the DSP 109 recognize the head of a series of data based on the synchronization code, and decode the data following the synchronization code. The synchronization code added to the head of the image signal A and the synchronization code added to the head of the image signal AB may be the same value or different values. However, it is preferable that the number of bits of the synchronization code added to the head of the image signal A and the number of bits of the synchronization code added to the head of the image signal AB are the same.

コード付加部３１２は、同期コードの後に識別コードを付加する。識別コードは、当該データが、像信号Ａについてのデータであるのか、像信号ＡＢについてのデータであるのかを、デジタルフロントエンド１０８やＤＳＰ１０９が識別することを可能とするためのものである。上述したように、像信号Ａの１画素あたりのビット数は１２ビットであり、像信号ＡＢの１画素あたりのビット数は１６ビットである。即ち、像信号Ａのフォーマットと像信号ＡＢのフォーマットとは互いに異なっている。このため、デジタルフロントエンド１０８やＤＳＰ１０９は、当該像信号が像信号Ａと像信号ＡＢのいずれであるのかを識別コードに基づいて適宜認識し、デコードフォーマットを適宜切り替え、デコードを行う。このため、像信号Ａの識別コードと像信号ＡＢの識別コードとには、それぞれ異なった値が用いられている。また、像信号Ａの識別コードのビット数と像信号ＡＢのビット数とは、例えば等しく設定されている。ここでは、像信号Ａの識別コードのビット数と像信号ＡＢのビット数とをいずれも１６ビットに設定している。また、識別コードは、同期コードと隣接していることが好ましい。このように、コード付加部３１２は、第１のパラレル／シリアル変換部３１０Ａや第２のパラレル／シリアル変換部３１０Ｂと相俟って、出力データ生成手段として機能する。 The code adding unit 312 adds an identification code after the synchronization code. The identification code is used to enable the digital front end 108 and the DSP 109 to identify whether the data is data for the image signal A or data for the image signal AB. As described above, the number of bits per pixel of the image signal A is 12 bits, and the number of bits per pixel of the image signal AB is 16 bits. That is, the format of the image signal A and the format of the image signal AB are different from each other. For this reason, the digital front end 108 and the DSP 109 appropriately recognize whether the image signal is the image signal A or the image signal AB based on the identification code, and perform decoding by appropriately switching the decoding format. For this reason, different values are used for the identification code of the image signal A and the identification code of the image signal AB. The number of bits of the identification code of the image signal A and the number of bits of the image signal AB are set to be equal, for example. Here, the number of bits of the identification code of the image signal A and the number of bits of the image signal AB are both set to 16 bits. The identification code is preferably adjacent to the synchronization code. As described above, the code adding unit 312 functions as an output data generating unit in combination with the first parallel / serial conversion unit 310A and the second parallel / serial conversion unit 310B.

このように、本実施形態によれば、１６ビットの像信号Ａと１６ビットの像信号Ａとを単に読み出す場合と比較して、データ量を削減することができる。データ量を削減することができるため、本実施形態によれば、データの読み出し時間を短縮することができ、ひいてはフレームレートを向上させることができる。また、フレームレートを高く維持するために、データ伝送レートを向上させることを要せず、回路規模や消費電力の増大等を防止することができる。 Thus, according to the present embodiment, the amount of data can be reduced as compared with the case where the 16-bit image signal A and the 16-bit image signal A are simply read. Since the amount of data can be reduced, according to the present embodiment, the data read time can be shortened, and consequently the frame rate can be improved. In addition, in order to maintain a high frame rate, it is not necessary to improve the data transmission rate, and an increase in circuit scale and power consumption can be prevented.

なお、本実施形態では、像信号Ａのビット数を１２ビットとし、像信号ＡＢのビット数を１６ビットとする場合を例に説明したが、像信号Ａと像信号ＡＢの各々のビット数は、これに限定されるものではない。 In this embodiment, the case where the number of bits of the image signal A is 12 bits and the number of bits of the image signal AB is 16 bits has been described as an example. However, the number of bits of each of the image signal A and the image signal AB is However, the present invention is not limited to this.

また、本実施形態では、像信号Ａのビット数の調整を撮像素子１０６内で行う場合を例に説明したが、これに限定されるものではない。例えば、撮像素子１０６とＤＳＰ１０９との中間に位置するデバイス（中継デバイス）、即ち、本実施形態の場合には、デジタルフロントエンド１０８において、像信号Ａのビット数の調整を行うようにしてもよい。但し、この場合には、撮像素子１０６においては、読み出し時間の短縮等の効果は得られず、ＤＦＥ（中継デバイス）１０８とＤＳＰ１０９との間におけるデータ量の増加が抑制されるに留まる。 In this embodiment, the case where the number of bits of the image signal A is adjusted in the image sensor 106 is described as an example. However, the present invention is not limited to this. For example, the number of bits of the image signal A may be adjusted by a device (relay device) positioned between the image sensor 106 and the DSP 109, that is, in the case of this embodiment, the digital front end 108. . However, in this case, the image sensor 106 does not provide an effect such as shortening the readout time, and the increase in the amount of data between the DFE (relay device) 108 and the DSP 109 is suppressed.

［第２実施形態］
第２実施形態による撮像装置及び撮像方法について図１１を用いて説明する。図１乃至図１０に示す第１実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。 [Second Embodiment]
An imaging apparatus and an imaging method according to the second embodiment will be described with reference to FIG. The same components as those of the imaging apparatus and imaging method according to the first embodiment shown in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof will be omitted or simplified.

第１実施形態においては、像信号Ａを焦点検出処理にのみ用いる場合を例に説明した。しかしながら、撮影モードによっては、像信号Ａを焦点検出処理以外の用途で用いる場合、例えば、像信号Ａを画像に用いる場合も考えられる。
例えば、像信号Ａと像信号ＡＢとを取得しておき、後から焦点位置を調整することによって、所望の焦点位置の画像を生成する処理、即ち、リフォーカスと称される処理を行う場合が、これに該当する。例えば、像信号ＡＢから像信号Ａを減算することによって、副画素ｂの信号に相当する像信号Ｂが生成される。そして、像信号Ａと像信号Ｂとを空間的な位置をシフトしつつ加算することによって、所望の位置で合焦した画像を生成することができる。 In the first embodiment, the case where the image signal A is used only for focus detection processing has been described as an example. However, depending on the shooting mode, when the image signal A is used for purposes other than the focus detection process, for example, the image signal A may be used for an image.
For example, the image signal A and the image signal AB are acquired, and a process for generating an image at a desired focal position by adjusting the focal position later, that is, a process called refocusing is performed. This is the case. For example, the image signal B corresponding to the signal of the sub-pixel b is generated by subtracting the image signal A from the image signal AB. Then, by adding the image signal A and the image signal B while shifting the spatial position, an image focused at a desired position can be generated.

本実施形態による撮像装置は、このようなモードでの撮影も可能である。即ち、本実施形態による撮像装置では、像信号Ａを画像に用いないモードである第１の撮影モードと、像信号Ａを画像に用いるモードである第２の撮影モードとのうちのいずれかを選択し得る。いずれの撮影モードで撮影を行うかは、不図示の操作部材等をユーザが操作することによって設定される。ＣＰＵ１１４は、ユーザによって行われる設定に基づいて、タイミングジェネレータ１１３を介して撮像素子１０６を駆動する。第１の撮影モードにおける動作は、第１実施形態において説明した通りであるため、ここでは説明を省略する。 The imaging apparatus according to the present embodiment can also shoot in such a mode. That is, in the imaging apparatus according to the present embodiment, one of the first shooting mode in which the image signal A is not used for an image and the second shooting mode in which the image signal A is used for an image is selected. You can choose. Which shooting mode is used for shooting is set by the user operating an operation member (not shown) or the like. The CPU 114 drives the image sensor 106 via the timing generator 113 based on settings made by the user. Since the operation in the first shooting mode is as described in the first embodiment, the description thereof is omitted here.

本実施形態では、第２の撮影モードにおいては、像信号Ａと像信号ＡＢのいずれについても、１画素あたりのビット数を１６ビットとする。即ち、本実施形態では、第２の撮影モードにおいては、１６ビットの像信号Ａと１６ビットの像信号ＡＢとが撮像素子１０６から出力される。 In the present embodiment, in the second imaging mode, the number of bits per pixel is 16 bits for both the image signal A and the image signal AB. That is, in the present embodiment, in the second shooting mode, the 16-bit image signal A and the 16-bit image signal AB are output from the image sensor 106.

図１１は、コード付加部３１２から出力される１ライン分のデータ、即ち、１ライン分の出力データを示す模式図である。図１１（ａ）は、第１の撮影モードの場合を示しており、図１０を用いて上述した第１実施形態の場合と同様である。図１１（ｂ）は、第２の撮影モードの場合を示しており、像信号Ａの１画素あたりのビット数も１６ビットとなっている。このように、本実施形態では、第２の撮影モードで動作させる場合には、データ量を低減しない。 FIG. 11 is a schematic diagram showing data for one line output from the code adding unit 312, that is, output data for one line. FIG. 11A shows the case of the first shooting mode, which is the same as that of the first embodiment described above with reference to FIG. FIG. 11B shows the case of the second shooting mode, and the number of bits per pixel of the image signal A is also 16 bits. Thus, in the present embodiment, the amount of data is not reduced when operating in the second shooting mode.

第２の撮影モードにおいては、デジタルフロントエンド１０８やＤＳＰ１０９は、像信号Ａと像信号ＡＢとでデコードフォーマットを切り替える必要はない。このため、デコードを行うという観点においては、像信号Ａの識別コードと像信号ＡＢの識別コードとを異ならせる必要はない。しかし、その他の画像処理等において識別コードは有用であるため、ここでは像信号Ａの識別コードと像信号ＡＢの識別コードとを異ならせている。 In the second shooting mode, the digital front end 108 and the DSP 109 do not need to switch the decoding format between the image signal A and the image signal AB. For this reason, from the viewpoint of decoding, it is not necessary to make the identification code of the image signal A different from the identification code of the image signal AB. However, since the identification code is useful in other image processing and the like, the identification code of the image signal A is different from the identification code of the image signal AB here.

第２の撮影モードにおいては、１６ビットの像信号Ａを出力するため、セレクタ３１１は、像信号Ａが出力される期間においても像信号ＡＢが出力される期間においても、第２のパラレル／シリアル変換部３１０Ｂから出力されるデータを選択する。従って、第２の撮影モードにおいては、水平出力回路３０７はセレクタ３１１に対する制御信号を切替えない。 In the second shooting mode, since the 16-bit image signal A is output, the selector 311 outputs the second parallel / serial signal in both the period in which the image signal A is output and the period in which the image signal AB is output. Data output from the conversion unit 310B is selected. Therefore, in the second shooting mode, the horizontal output circuit 307 does not switch the control signal for the selector 311.

このように、本実施形態によれば、像信号Ａのビット数を削減して出力する第１の撮影モードと、像信号Ａのビット数を削減することなく出力する第２の撮影モードとを備えた撮像装置が提供される。
なお、本実施形態では、第２の撮影モードにおける像信号Ａのビット数を、像信号ＡＢのビット数と同一の１６ビットとする場合を例に説明したが、これに限定されるものではない。加算信号である像信号ＡＢの大きさに対して、像信号Ａの大きさは小さいはずである。このため、例えば、像信号Ａの上位１ビットを削って１５ビットにするようにしてもよい。 As described above, according to the present embodiment, the first shooting mode for outputting the image signal A with the bit number reduced and the second shooting mode for outputting the image signal A without reducing the bit number are provided. An imaging apparatus is provided.
In this embodiment, the case where the number of bits of the image signal A in the second shooting mode is 16 bits, which is the same as the number of bits of the image signal AB, is described as an example. However, the present invention is not limited to this. . The magnitude of the image signal A should be smaller than the magnitude of the image signal AB which is the addition signal. For this reason, for example, the upper 1 bit of the image signal A may be trimmed to 15 bits.

［第３実施形態］
第３実施形態による撮像装置及び撮像方法を図１２用いて説明する。図１乃至図１１に示す第１又は第２実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。 [Third Embodiment]
An imaging apparatus and an imaging method according to the third embodiment will be described with reference to FIG. The same components as those of the imaging apparatus and imaging method according to the first or second embodiment shown in FIGS. 1 to 11 are denoted by the same reference numerals, and description thereof will be omitted or simplified.

上記実施形態では、像信号Ａのビット数の削減がビット数調整部３０９によって行われる場合を例に説明した。また、上記実施形態では、アナログ−デジタル変換器３０５が画素信号Ｓａと画素信号Ｓａｂとを同一のビット数のデータにＡ／Ｄ変換していた。
これに対し、本実施形態による撮像装置は、画素信号Ｓａをアナログ−デジタル変換器３０５によってＡ／Ｄ変換する段階で、像信号Ａのビット数を像信号ＡＢのビット数よりも小さく設定する。 In the above embodiment, the case where the bit number of the image signal A is reduced by the bit number adjustment unit 309 has been described as an example. In the above embodiment, the analog-digital converter 305 A / D converts the pixel signal Sa and the pixel signal Sab into data having the same number of bits.
In contrast, the image pickup apparatus according to the present embodiment sets the number of bits of the image signal A to be smaller than the number of bits of the image signal AB when the pixel signal Sa is A / D converted by the analog-digital converter 305.

図１２は、本実施形態による撮像装置における読み出し動作を示すタイミングチャートである。
図１２において“Ｒａｍｐ”は、ランプ方式のＡ／Ｄ変換を行うアナログ−デジタル変換器３０５におけるランプ信号を示している。ランプ信号は、アナログ−デジタル変換器３０５内で発生される。アナログ−デジタル変換器３０５内に配された各列のコンパレータが、各々の列の画素信号（又はノイズ信号）とランプ信号とを比較し、コンパレータの出力が反転するまでの時間がカウンタ（図示せず）によってカウントされる。カウンタによってカウントされた時間に対応するランプ信号の大きさ（電圧）が、画素信号（又はノイズ信号）の大きさである。従って、カウンタによってカウントされた時間に基づいて、画素信号の大きさを求めることができる。こうして、Ａ／Ｄ変換が行われる。 FIG. 12 is a timing chart showing a read operation in the imaging apparatus according to the present embodiment.
In FIG. 12, “Ramp” indicates a ramp signal in the analog-to-digital converter 305 that performs A / D conversion of the ramp system. The ramp signal is generated in the analog-to-digital converter 305. The comparator of each column arranged in the analog-digital converter 305 compares the pixel signal (or noise signal) of each column with the ramp signal, and the time until the output of the comparator is inverted is a counter (not shown). )). The magnitude (voltage) of the ramp signal corresponding to the time counted by the counter is the magnitude of the pixel signal (or noise signal). Therefore, the magnitude of the pixel signal can be obtained based on the time counted by the counter. In this way, A / D conversion is performed.

画素信号ＳａをＡ／Ｄ変換する際、即ち、Ｓａ変換の際においては、ランプ信号の傾き、即ち、単位時間あたりのランプ信号の電圧の変化量を大きくし、ランプ信号を急峻に変化させる。そうすると、Ａ／Ｄ変換における実効的な分解能が低下する。本実施形態では、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの例えば１６倍とする。ランプ信号の傾きを１６倍にした場合には、ランプ信号の傾きが通常通りである場合と比較して、コンパレータが反転するまでの時間が１／１６となる。このため、ランプ信号の傾きを１６倍にした場合における像信号Ａの値は、ランプ信号の傾きを１６倍にしなかった場合における像信号Ａの値の１／１６となる。像信号Ａの値が１／１６となるため、像信号Ａのビット数を例えば４ビット削減することができる。 When A / D converting the pixel signal Sa, that is, when performing Sa conversion, the slope of the ramp signal, that is, the amount of change in the voltage of the ramp signal per unit time is increased to change the ramp signal sharply. If it does so, the effective resolution in A / D conversion will fall. In this embodiment, the slope of the ramp signal when the pixel signal Sa is A / D converted is, for example, 16 times the slope of the ramp signal when the pixel signal Sab is A / D converted. When the slope of the ramp signal is increased 16 times, the time until the comparator is inverted is 1/16 compared to the case where the slope of the ramp signal is normal. For this reason, the value of the image signal A when the slope of the ramp signal is 16 times is 1/16 of the value of the image signal A when the slope of the ramp signal is not 16 times. Since the value of the image signal A is 1/16, the number of bits of the image signal A can be reduced by, for example, 4 bits.

ノイズ信号Ｎの分解能は、画素信号Ｓａｂの分解能と同じに設定されている。このため、Ｓ−Ｎ処理部３０８が画素信号Ｓａからノイズ信号Ｎを減算する際には、ノイズ信号Ｎを１／１６倍し、１／１６倍したノイズ信号Ｎを画素信号Ｓａから減算する。 The resolution of the noise signal N is set to be the same as the resolution of the pixel signal Sab. For this reason, when the SN processing unit 308 subtracts the noise signal N from the pixel signal Sa, the noise signal N is multiplied by 1/16, and the noise signal N multiplied by 1/16 is subtracted from the pixel signal Sa.

ビット数調整部３０９は、像信号Ａに対してビットの削減を行うことなく、入力された像信号Ａをそのまま出力すればよい。従って、本実施形態では、ビット数調整部３０９を省略することも可能である。 The bit number adjusting unit 309 may output the input image signal A as it is without reducing the bits of the image signal A. Therefore, in this embodiment, the bit number adjustment unit 309 can be omitted.

本実施形態では、画素信号ＳａをＡ／Ｄ変換する際の分解能を低下させるため、画素信号ＳａをＡ／Ｄ変換する際に要する時間をも短縮することができる。このため、本実施形態によれば、撮像素子１０６の読み出し時間を更に短縮することができる。 In this embodiment, since the resolution at the time of A / D conversion of the pixel signal Sa is reduced, the time required for A / D conversion of the pixel signal Sa can also be shortened. Therefore, according to the present embodiment, the readout time of the image sensor 106 can be further shortened.

なお、像信号ＡＢから像信号Ａを減算することにより像信号Ｂを算出する際には、像信号ＡＢを１／１６倍し、１／１６倍した像信号ＡＢから像信号Ａを減算することにより、像信号Ｂを得るようにしてもよい。また、像信号Ａを１６倍し、像信号ＡＢから１６倍した像信号Ａを減算することにより、像信号Ｂを得るようにしてもよい。 When the image signal B is calculated by subtracting the image signal A from the image signal AB, the image signal AB is multiplied by 1/16, and the image signal A is subtracted from the image signal AB multiplied by 1/16. Thus, the image signal B may be obtained. Alternatively, the image signal B may be obtained by multiplying the image signal A by 16 and subtracting the image signal A multiplied by 16 from the image signal AB.

上記の例においては、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの１６倍とし、カウント時間を、ランプ信号の傾きが通常通りである場合の１／１６としている。画素信号ＳａをＡ／Ｄ変換する際のランプ信号の振幅は、画素信号ＳａｂをＡ／Ｄ変換する際の振幅と同じである。このため、こうして得られた像信号Ａは、像信号ＡＢに対し、下位４ビットが削減されたことと等価となる。しかし、上記のような例に限定されるものではない。例えば、上位ビット側と下位ビット側の両方が削減されたことと等価になるようにしてもよい。例えば、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの８倍とする一方、カウント時間については、ランプ信号の傾きが通常通りである場合の１／１６とするようにしてもよい。この場合には、像信号Ａは、像信号ＡＢに対し、上位１ビットが削減され、下位３ビットが削減されたことと等価となる。このようにした場合にも、像信号Ａのデータ量を、像信号ＡＢのデータ量よりも小さくすることができる。 In the above example, the slope of the ramp signal when A / D converting the pixel signal Sa is 16 times the slope of the ramp signal when A / D converting the pixel signal Sab, and the count time is The inclination is 1/16 of the normal case. The amplitude of the ramp signal when the pixel signal Sa is A / D converted is the same as the amplitude when the pixel signal Sab is A / D converted. For this reason, the image signal A thus obtained is equivalent to the fact that the lower 4 bits are reduced with respect to the image signal AB. However, it is not limited to the above examples. For example, it may be equivalent to reducing both the upper bit side and the lower bit side. For example, the slope of the ramp signal when the pixel signal Sa is A / D converted is set to eight times the slope of the ramp signal when the pixel signal Sab is A / D converted, and the count time is the slope of the ramp signal. May be set to 1/16 of the normal value. In this case, the image signal A is equivalent to the fact that the upper 1 bit is reduced and the lower 3 bits are reduced with respect to the image signal AB. Even in this case, the data amount of the image signal A can be made smaller than the data amount of the image signal AB.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

上記実施形態では、同じ画素数分の像信号Ａと像信号ＡＢとを取得する場合を例に説明したが、これに限定されるものではない。例えば、一部の領域についてのみ像信号Ａを取得するようにしたり、加算平均合成した像信号Ａを取得するようにしたりすることによって、像信号Ａが出力される画素数を削減するようにしてもよい。これにより、データ量の増加を更に抑制することができる。 In the above embodiment, the case where the image signal A and the image signal AB corresponding to the same number of pixels are acquired has been described as an example. However, the present invention is not limited to this. For example, the number of pixels from which the image signal A is output can be reduced by acquiring the image signal A only for a part of the region, or by acquiring the image signal A obtained by addition-average synthesis. Also good. Thereby, an increase in the data amount can be further suppressed.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００…撮像装置
１０６…撮像素子
１０８…デジタルフロントエンド
１０９…デジタルシグナルプロセッサ
３０５…アナログ−デジタル変換器
３０６…ラインメモリ
３０７…水平走査回路
３０９…ビット数調整部
３１０Ａ…パラレル／シリアル変換部
３１０Ｂ…パラレル／シリアル変換部
３１１…セレクタ
３１２…コード付加部 DESCRIPTION OF SYMBOLS 100 ... Imaging device 106 ... Imaging device 108 ... Digital front end 109 ... Digital signal processor 305 ... Analog-digital converter 306 ... Line memory 307 ... Horizontal scanning circuit 309 ... Bit number adjustment part 310A ... Parallel / serial conversion part 310B ... Parallel / Serial conversion unit 311 ... selector 312 ... code addition unit

Claims

第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイと、
前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成する信号生成手段と
を有することを特徴とする撮像装置。 A pixel array including a plurality of unit pixels each including a first photoelectric conversion unit and a second photoelectric conversion unit;
A first signal having a first number of bits is generated based on a signal from the first photoelectric conversion unit, and the first signal is generated based on signals from the first photoelectric conversion unit and the second photoelectric conversion unit. An image pickup apparatus comprising: a signal generation unit configured to generate a second signal having a second bit number different from the first bit number.

前記第１の信号のビット数は、前記第２の信号のビット数より小さい
ことを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the number of bits of the first signal is smaller than the number of bits of the second signal.

前記信号生成手段は、前記第１の光電変換部からの信号に基づいて前記第２のビット数の前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号とに基づいて前記第２のビット数の前記第２の信号を生成するアナログ−デジタル変換部と、前記アナログ−デジタル変換部により生成された前記第２のビット数の前記第１の信号に基づいて前記第１のビット数の前記第１の信号を生成するビット数調整部とを含む
ことを特徴とする請求項１又は２に記載の撮像装置。 The signal generation means generates the first signal of the second number of bits based on a signal from the first photoelectric conversion unit, and the first photoelectric conversion unit and the second photoelectric conversion unit And an analog-to-digital converter that generates the second signal of the second number of bits based on the signal from the first and second of the second number of bits generated by the analog-to-digital converter The imaging apparatus according to claim 1, further comprising: a bit number adjusting unit that generates the first signal having the first number of bits based on the first signal.

前記ビット数調整部は、第１の撮影モードにおいては、前記第１のビット数の前記第１の信号を出力し、前記第１の撮影モードと異なる第２の撮影モードにおいては、前記第２のビット数の前記第１の信号を出力する
ことを特徴とする請求項３に記載の撮像装置。 The bit number adjusting unit outputs the first signal having the first bit number in the first shooting mode, and the second signal in the second shooting mode different from the first shooting mode. The imaging apparatus according to claim 3, wherein the first signal having the number of bits is output.

前記信号生成手段は、前記第１の光電変換部からの信号に基づいて前記第１のビット数の前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号とに基づいて前記第２のビット数の前記第２の信号を生成するアナログ−デジタル変換部を含む
ことを特徴とする請求項１又は２に記載の撮像装置。 The signal generation unit generates the first signal of the first number of bits based on a signal from the first photoelectric conversion unit, and the first photoelectric conversion unit and the second photoelectric conversion unit The imaging apparatus according to claim 1, further comprising: an analog-to-digital conversion unit that generates the second signal having the second number of bits based on a signal from the signal.

前記アナログ−デジタル変換部は、前記第１の光電変換部からの信号と、単位時間あたりの電圧の変化量が第１の変化量である第１のランプ信号とを、コンパレータにより比較し、前記コンパレータの出力が反転するまでの時間に基づいて前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号と、単位時間あたりの電圧の変化量が前記第１の変化量よりも小さい第２の変化量である第２のランプ信号とを、前記コンパレータにより比較し、前記コンパレータの出力が反転するまでの時間に基づいて前記第２の信号を生成する
ことを特徴とする請求項５に記載の撮像装置。 The analog-to-digital conversion unit compares the signal from the first photoelectric conversion unit with a first ramp signal whose voltage change amount per unit time is a first change amount by a comparator, and Based on the time until the output of the comparator is inverted, the first signal is generated, the signal from the first photoelectric conversion unit and the second photoelectric conversion unit, and the amount of change in voltage per unit time Is compared with a second ramp signal that is a second change amount smaller than the first change amount by the comparator, and the second signal is determined based on the time until the output of the comparator is inverted. The imaging device according to claim 5, wherein the imaging device is generated.

前記信号生成手段によって生成された前記第１の信号を第１のフォーマットで配列にすることにより第１の出力データを生成し、前記信号生成手段によって生成された前記第２の信号を第２のフォーマットで配列することにより第２の出力データを生成する出力データ生成手段と、前記第１の出力データと前記第２の出力データとを時分割で共通の信号線に出力する出力手段とを更に有する
ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。 The first signal generated by the signal generator is arranged in a first format to generate first output data, and the second signal generated by the signal generator is a second Output data generating means for generating second output data by arranging in a format; and output means for outputting the first output data and the second output data to a common signal line in a time division manner The imaging apparatus according to any one of claims 1 to 6, wherein the imaging apparatus is provided.

前記画素アレイの１ラインに対する読み出し期間内に、前記出力手段からの出力を、前記第１の出力データから前記第２の出力データに切り替える
ことを特徴とする請求項７に記載の撮像装置。 The imaging apparatus according to claim 7, wherein an output from the output unit is switched from the first output data to the second output data within a readout period for one line of the pixel array.

前記第１の出力データに基づいて焦点検出を行う焦点検出手段を更に有する
ことを特徴とする請求項７又は８に記載の撮像装置。 The imaging apparatus according to claim 7, further comprising a focus detection unit that performs focus detection based on the first output data.

前記第１の出力データと前記第２の出力データとにそれぞれ異なる値の識別コードを付加する識別コード付加手段を更に有する
ことを特徴とする請求項７から９のいずれか１項に記載の撮像装置。 The imaging according to any one of claims 7 to 9, further comprising identification code adding means for adding identification codes having different values to the first output data and the second output data, respectively. apparatus.

前記第１の出力データに付加される前記識別コードのビット数と、前記第２の出力データに付加される前記識別コードのビット数とが、等しい
ことを特徴とする請求項１０に記載の撮像装置。 11. The imaging according to claim 10, wherein the number of bits of the identification code added to the first output data is equal to the number of bits of the identification code added to the second output data. apparatus.

前記第１の出力データと前記第２の出力データとを受信する受信部であって、前記第１の出力データをデコードする際のフォーマットと、前記第２の出力データをデコードする際のフォーマットとを、前記識別コードに基づいて切り替える受信部を更に有する
ことを特徴とする請求項１０又は１１に記載の撮像装置。 A receiving unit for receiving the first output data and the second output data, the format for decoding the first output data, and the format for decoding the second output data; The imaging apparatus according to claim 10, further comprising: a receiving unit that switches a signal based on the identification code.

前記第１の出力データの先頭と前記第２の出力データの先頭とをそれぞれ示す同期コードを、前記第１の出力データと前記第２の出力データとにそれぞれ付加する同期コード付加手段を更に有する
ことを特徴とする請求項７から１２のいずれか１項に記載の撮像装置。 Synchronization code adding means for adding a synchronization code indicating the head of the first output data and the head of the second output data to the first output data and the second output data, respectively. The image pickup apparatus according to claim 7, wherein the image pickup apparatus is an image pickup apparatus.

前記第１の出力データの前記同期コードの値と、前記第２の出力データの前記同期コードの値とが、等しい
ことを特徴とする請求項１３に記載の撮像装置。 The imaging device according to claim 13, wherein the value of the synchronization code of the first output data is equal to the value of the synchronization code of the second output data.

前記信号生成手段は、被写体の輝度に応じた態様で前記第１の信号を生成する
ことを特徴とする請求項１から１４のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 14, wherein the signal generation unit generates the first signal in a manner corresponding to a luminance of a subject.

第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイの前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成するステップと、
前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成するステップと
を有することを特徴とする撮像方法。 Based on a signal from the first photoelectric conversion unit of a pixel array including a plurality of unit pixels each including a first photoelectric conversion unit and a second photoelectric conversion unit, a first signal having a first number of bits. Generating step;
Generating a second signal having a second bit number different from the first bit number based on signals from the first photoelectric conversion unit and the second photoelectric conversion unit. A characteristic imaging method.

コンピュータに、
第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイの前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成するステップと、
前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成するステップと
を実行させるためのプログラム。 On the computer,
Based on a signal from the first photoelectric conversion unit of a pixel array including a plurality of unit pixels each including a first photoelectric conversion unit and a second photoelectric conversion unit, a first signal having a first number of bits. Generating step;
Generating a second signal having a second bit number different from the first bit number based on signals from the first photoelectric conversion unit and the second photoelectric conversion unit. Program.