WO2017203752A1 - 撮像装置、および制御方法 - Google Patents

撮像装置、および制御方法 Download PDF

Info

Publication number
WO2017203752A1
WO2017203752A1 PCT/JP2017/004905 JP2017004905W WO2017203752A1 WO 2017203752 A1 WO2017203752 A1 WO 2017203752A1 JP 2017004905 W JP2017004905 W JP 2017004905W WO 2017203752 A1 WO2017203752 A1 WO 2017203752A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
conversion unit
imaging
conversion
gain
Prior art date
Application number
PCT/JP2017/004905
Other languages
English (en)
French (fr)
Inventor
鷹本 勝
成貴 工藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/301,103 priority Critical patent/US20190191119A1/en
Publication of WO2017203752A1 publication Critical patent/WO2017203752A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present disclosure relates to an imaging apparatus and a control method.
  • This disclosure proposes a new and improved imaging device and control method capable of improving the image quality of a captured image obtained by imaging.
  • an imaging unit having a plurality of pixel circuits that perform photoelectric conversion, a first conversion unit that converts an analog signal output from the pixel circuit that constitutes the imaging unit into a digital signal, A second conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal, and the first conversion unit and the second conversion unit include analog- The same reference signal used for digital conversion is supplied, and the first conversion unit and the second conversion unit digitally convert the analog signal output from the same pixel circuit constituting the imaging unit.
  • An imaging device is provided that converts the signal into a signal, and one or both of the first converter and the second converter can adjust the gain of the analog signal to be converted into a digital signal.
  • an imaging unit having a plurality of pixel circuits that perform photoelectric conversion, and a first conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal;
  • a second conversion unit that converts an analog signal output from the pixel circuit that constitutes the imaging unit into a digital signal, and is electrically connected between the imaging unit and the first conversion unit,
  • a first switching unit that switches the pixel circuit electrically connected to the first conversion unit, and an electrical connection between the imaging unit and the second conversion unit, and the second conversion unit.
  • a signal is provided, the first converter and the second The conversion unit converts the analog signal output from the same pixel circuit configuring the imaging unit or the analog signal output from a different pixel circuit configuring the imaging unit into a digital signal.
  • One or both of the first conversion unit and the second conversion unit is a control method executed in the imaging apparatus that can adjust the gain of the analog signal to be converted into a digital signal, Control of the gain in the first conversion unit capable of adjusting the gain based on an operation signal according to an operation of a user of the imaging device or a state of the imaging device, and the first capable of adjusting the gain.
  • Imaging device According to first embodiment 2. Imaging device according to the second embodiment. 3. Application example of imaging apparatus according to this embodiment Program according to this embodiment
  • FIG. 1 is a block diagram illustrating an example of the configuration of the imaging apparatus 100 according to the first embodiment.
  • FIG. 1 for convenience of illustration and the like, a part of hardware configuring the imaging device 100 is illustrated.
  • the imaging apparatus 100 includes, for example, an imaging unit 102, a first conversion unit 104A, a second conversion unit 104B, a generation unit 106, a control unit 108, and a processing unit 110.
  • the imaging device 100 is driven by power supplied from an internal power source such as a battery or power supplied from an external power source.
  • Imaging unit 102 includes a plurality of pixel circuits P that perform photoelectric conversion.
  • the pixel circuit P constituting the imaging unit 102 outputs an analog signal corresponding to incident light (hereinafter simply referred to as “analog signal”).
  • FIG. 2 is an explanatory diagram for explaining an example of the hardware configuration of the imaging unit 102 included in the imaging device 100 according to the first embodiment, and illustrates a part of the hardware configuration of the imaging unit 102.
  • the imaging unit 102 includes, for example, an optical lens (not shown), an imaging element (not shown), a pixel array 154 corresponding to the imaging element (not shown), and a driver 156.
  • Examples of the imaging device (not shown) according to the present embodiment include a CMOS (Complementary Metal Oxide Semiconductor) and a CCD (Charge Coupled Device).
  • the imaging device (not shown) according to the present embodiment may be a stack type imaging device configured by stacking other components such as a CCD on a CMOS. That is, it is possible to apply the global shutter method and the rolling shutter method to the imaging apparatus according to the present embodiment including the imaging unit 102.
  • a plurality of pixel circuits P are arranged in a matrix, and each pixel circuit P is electrically connected to a driver 156 via a signal line.
  • the pixel circuit P includes, for example, a light receiving element such as a photodiode, a transistor, a capacitor element, and the like.
  • accumulation of signal charges according to incident light, initialization of the pixel circuit P, and the like are performed by a control signal transmitted from the driver 156 via a signal line.
  • Examples of the above-mentioned transistors constituting the pixel circuit P include bipolar transistors and FETs (Field-Effect Transistors) such as TFTs (Thin Film Transistors) and MOSFETs (Metal-Oxide-Semiconductor-Field Effect Transistors).
  • Examples of the capacitor element that constitutes the pixel circuit P include a capacitor. Note that the capacitive element constituting the pixel circuit P may include parasitic capacitance such as wiring.
  • the driver 156 drives the pixel circuit P by transmitting a control signal to the pixel circuit P.
  • an analog signal by photoelectric conversion in the pixel circuit P is output from the imaging unit 102.
  • the configuration of the imaging unit 102 is not limited to the configuration described with reference to FIG. 2.
  • First conversion unit 104A, second conversion unit 104B The first conversion unit 104A converts an analog signal output from the pixel circuit P constituting the imaging unit 102 into a digital signal.
  • the first conversion unit 104A includes a conversion circuit 150 that converts an analog signal into a digital signal.
  • the conversion circuit 150 converts the analog signal output from the pixel circuit P into a digital signal.
  • Examples of the conversion circuit 150 constituting the first conversion unit 104A include an analog-digital conversion circuit in which the gain of an analog signal to be converted into a digital signal is fixed.
  • Examples of the analog-digital conversion circuit include any type of analog-digital conversion circuit such as a successive approximation type analog-digital conversion circuit.
  • the conversion circuit 150 constituting the first conversion unit 104A may be configured to adjust the gain of an analog signal to be converted into a digital signal (configuration capable of switching the gain of the analog signal). Good.
  • the conversion circuit 150 capable of adjusting the gain according to the present embodiment includes a comparator.
  • the capacitance ratio of the capacitors connected to the terminal to which the reference signal is applied in the comparator and the terminal electrically connected to the pixel circuit P is switched. As a result, the gain is adjusted.
  • An example of the configuration of the conversion circuit 150 capable of adjusting the gain according to the present embodiment will be described later.
  • the second conversion unit 104B converts an analog signal output from the pixel circuit P constituting the imaging unit 102 into a digital signal.
  • the second conversion unit 104B includes a conversion circuit 150 that converts an analog signal into a digital signal.
  • the conversion circuit 150 converts the analog signal output from the pixel circuit P into a digital signal.
  • Examples of the conversion circuit 150 constituting the second conversion unit 104B include an analog-digital conversion circuit in which the gain of an analog signal to be converted into a digital signal is fixed.
  • Examples of the analog-digital conversion circuit include any type of analog-digital conversion circuit such as a successive approximation type analog-digital conversion circuit.
  • the conversion circuit 150 configuring the second conversion unit 104B may be configured to be able to adjust the gain of an analog signal converted into a digital signal.
  • the conversion circuit 150 that can adjust the gain according to the present embodiment includes a comparator, and the gain is adjusted by switching the capacitance ratio of the capacitors connected to the terminals of the comparator. An example of the configuration of the conversion circuit 150 capable of adjusting the gain according to the present embodiment will be described later.
  • the first conversion unit 104A and the second conversion unit 104B have the following features (a) to (c), for example.
  • the first conversion unit 104A and the second conversion unit 104B can convert an analog signal output from the same pixel circuit P constituting the imaging unit 102 into a digital signal. It is.
  • the first conversion unit 104A includes the same number of conversion circuits 150 as the number of columns in the pixel array 154 of the imaging unit 102, and the conversion that configures the first conversion unit 104A.
  • the circuit 150 is electrically connected to the pixel circuit P in the corresponding column in the pixel array 154 via a signal line.
  • the second conversion unit 104B includes the same number of conversion circuits 150 as the number of columns in the pixel array 154 of the imaging unit 102, and configures the second conversion unit 104B.
  • the conversion circuit 150 is electrically connected to the pixel circuit P in the corresponding column in the pixel array 154 via a signal line.
  • the first conversion unit 104A and the second conversion unit 104B have the configuration as illustrated in FIG. 1, so that the imaging apparatus 100 can be configured as “the first conversion unit 104A and the second conversion unit 104B are The analog signal output from the same pixel circuit P constituting the imaging unit 102 is converted into a digital signal ”.
  • (B) Second feature The same reference signal (voltage signal) is supplied to the first conversion unit 104A and the second conversion unit 104B.
  • each of the conversion circuits 150 configuring the first conversion unit 104 ⁇ / b> A is electrically connected to the reference signal generator 152 configuring the generation unit 106 via a signal line.
  • each of the conversion circuits 150 configuring the second conversion unit 104B is electrically connected to the reference signal generator 152 configuring the generation unit 106 via a signal line.
  • each of the conversion circuits 150 constituting the first conversion unit 104A and the second conversion unit 104B includes The same reference signal used for analog-digital conversion is supplied from the reference signal generator 152.
  • the layout of the first conversion unit 104A, the second conversion unit 104B, and the reference signal generator 152 has symmetry.
  • “a position where the reference signal generator 152 is provided with respect to the first converter 104A and a wiring connecting the reference signal generator 152 and the first converter 104A” and “second The position where the reference signal generator 152 is provided with respect to the conversion unit 104B and the wiring connecting the reference signal generator 152 and the second conversion unit 154B have symmetry.
  • the reference signal generator 152 may be a device external to the imaging apparatus 100.
  • the conversion circuit 150 included in the first conversion unit 104A includes The difference between the supplied reference signal and the reference signal supplied to the conversion circuit 150 included in the second conversion unit 104B connected to the same pixel circuit P as the conversion circuit 150 is reduced. Can do. Therefore, as described above, when the first conversion unit 104A, the second conversion unit 104B, and the reference signal generator 152 have a symmetrical layout, the image quality of the captured image obtained by imaging is improved. More can be planned.
  • wiring connecting the reference signal generator 152 and the first conversion unit 104A and the wiring connecting the reference signal generator 152 and the second conversion unit 154B are not limited to having symmetry, and the imaging apparatus 100
  • wiring connected to both the first conversion unit 104A and the second conversion unit 154B, such as a ground line and a power supply line, may have symmetry.
  • the first conversion unit 104A, the second conversion unit 104B, and the reference signal generator 152 can have a configuration without a strict symmetry layout. Needless to say.
  • (C) Third Feature One or both of the first conversion unit 104A and the second conversion unit 104B have a configuration capable of adjusting the gain of an analog signal to be converted into a digital signal.
  • the same reference signal is supplied to the first conversion unit 104A and the second conversion unit 104B. That is, the imaging apparatus 100 according to the first embodiment is not configured to convert an analog signal into a digital signal using different reference signals as in the technique described in Patent Document 1, for example.
  • the conversion circuit 150 included in the first conversion unit 104A capable of adjusting the gain and the conversion circuit 150 included in the second conversion unit 104B capable of adjusting the gain include a comparator and are connected to the terminals of the comparator. The gain is adjusted by switching the capacity ratio of the connected capacitors.
  • FIG. 3 is an explanatory diagram for explaining the conversion circuit 150 capable of adjusting the gain according to the present embodiment.
  • the configuration related to gain adjustment that is, the configuration of the conversion circuit 150 is illustrated. Some of them are shown.
  • the conversion circuit 150 capable of adjusting the gain includes a comparator Comp.
  • the non-inverting input terminal (+) of the comparator Comp is electrically connected to the reference signal generator 152 and applied with a reference signal.
  • the inverting input terminal ( ⁇ ) of the comparator Comp is electrically connected to the pixel circuit P, and an analog signal is applied thereto.
  • the conversion circuit 150 capable of adjusting the gain includes a counter circuit (not shown) in the subsequent stage of the comparator Comp, for example.
  • a counter circuit (not shown) included in the conversion circuit 150 capable of adjusting the gain performs a counting operation, for example, given a counter clock and a count direction by a control signal transmitted from the control unit 108 described later.
  • a counter circuit (not shown) included in the conversion circuit 150 capable of adjusting the gain is reset by a control signal transmitted from the control unit 108 described later.
  • a counter circuit (not shown) outputs a digital signal corresponding to the signal level of the analog signal input to the comparator Comp.
  • the conversion circuit 150 capable of adjusting the gain can convert an analog signal into a digital signal.
  • the configuration of the conversion circuit 150 capable of adjusting the gain is not limited to the example shown above.
  • the conversion circuit 150 capable of adjusting the gain may be configured to include a buffer in the subsequent stage of the counter circuit (not shown).
  • the non-inverting input terminal (+) of the comparator Comp has a plurality of capacitive elements C1, C2, C3, C4 and switching circuits SW1, SW2 for changing the capacitance connected to the non-inverting input terminal (+) of the comparator Comp. , SW3, SW4 are connected. Note that the number of capacitors and switching circuits connected to the non-inverting input terminal (+) of the comparator Comp is not limited to the example shown in FIG.
  • Capacitance elements C1, C2, C3, and C4 include, for example, capacitors. Further, the capacitances of the capacitive elements C1, C2, C3, and C4 may be the same or at least partially different.
  • Each of the switching circuits SW1, SW2, SW3, SW4 is turned on by, for example, corresponding control signals GAINRAMP ⁇ 0>, GAINRAMP ⁇ 1>, GAINRAMP ⁇ 2>, GAINRAMP ⁇ 3> transmitted from the control unit 108 described later. State (conducting state) or off state (non-conducting state).
  • State conducting state
  • non-conducting state the capacitive element connected to the switching circuit that is turned on among the capacitive elements C1, C2, C3, and C4 is The comparator Comp is electrically connected to the non-inverting input terminal (+).
  • Examples of the switching circuits SW1, SW2, SW3, and SW4 include switching transistors.
  • Examples of the switching transistor include bipolar transistors and FETs such as TFTs and MOSFETs.
  • FIG. 4 is an explanatory diagram illustrating an example of a switching circuit according to the present embodiment, and illustrates an example of a switching circuit including a plurality of elements.
  • the inverting input terminal ( ⁇ ) of the comparator Comp has a plurality of capacitive elements C5, C6, C7, C8 and switching circuits SW5, SW6, SW7 for changing the capacitance connected to the inverting input terminal ( ⁇ ) of the comparator Comp. , SW8 are connected. Note that the number of capacitive elements and switching circuits connected to the inverting input terminal ( ⁇ ) of the comparator Comp is not limited to the example shown in FIG.
  • Capacitance elements C5, C6, C7, and C8 include, for example, capacitors. Further, the capacitances of the capacitive elements C5, C6, C7, and C8 may be the same or at least partially different. Further, the capacitive elements C1, C2, C3, and C4 and the capacitive elements C5, C6, C7, and C8 may be the same or at least partially different.
  • Each of the switching circuits SW5, SW6, SW7, and SW8 is turned on by, for example, corresponding control signals GAINVSL ⁇ 0>, GAINVSL ⁇ 1>, GAINVSL ⁇ 2>, and GAINVSL ⁇ 3> transmitted from the control unit 108 described later. State or off state.
  • the switching circuits SW5, SW6, SW7, and SW8 are turned on, the capacitive element connected to the switching circuit that is turned on among the capacitive elements C5, C6, C7, and C8 is The state is electrically connected to the inverting input terminal ( ⁇ ) of the comparator Comp.
  • switching circuits SW5, SW6, SW7, and SW8 include switching transistors.
  • the switching circuits SW5, SW6, SW7, and SW8 may be any elements that can be switched between the on state and the off state, or a circuit that includes a plurality of elements as shown in FIG. .
  • the conversion circuit 150 capable of adjusting the gain has a configuration as shown in FIG. 3, for example, so that the reference signal applied to the comparator Comp (non-inverting input terminal (+)), the pixel circuit P, and the electrical circuit The capacitance ratio of the capacitor connected to the terminal (inverting input terminal ( ⁇ )) connected to is switched.
  • 5 and 6 are explanatory diagrams for explaining the conversion circuit 150 capable of adjusting the gain according to the present embodiment, and show an example of gain adjustment in the conversion circuit 150 capable of adjusting the gain.
  • 5 and 6 are examples in which the capacitive elements C1, C2, C3, and C4 and the capacitive elements C5, C6, C7, and C8 included in the conversion circuit 150 capable of adjusting the gain are 96.74 [fF]. Is shown.
  • the gain is adjusted by switching the capacitance ratio of the capacitors connected to the terminals of the comparator Comp (the non-inverting input terminal (+) and the inverting input terminal ( ⁇ )).
  • the first conversion unit 104A and the second conversion unit 104B have, for example, the characteristics (a) to (c) described above. Since the first conversion unit 104A and the second conversion unit 104B have the characteristics (a) to (c) described above, the imaging apparatus 100 can achieve high image quality as described below. An effect is produced. -Analog signals obtained from the same pixel circuit P can be simultaneously read out with the same gain or different gains. -When read with the same gain, noise can be reduced, so that high image quality can be achieved. In the case of reading with different gains, the pseudo-bit expansion process (pseudo multi-bit process) or HDR is performed by the processing unit 110 or an external processing circuit, which will be described later, to improve the image quality.
  • the pseudo-bit expansion process prseudo multi-bit process
  • HDR is performed by the processing unit 110 or an external processing circuit, which will be described later, to improve the image quality.
  • a conversion circuit 150 included in the first conversion unit 104 ⁇ / b> A connected to the same pixel circuit P and the second conversion is used.
  • One of the conversion circuits 150 included in the unit 104B reads with a low gain (eg, 0 [dB]) so that the saturation signal amount of the analog signal is increased, and the other conversion circuit 150
  • a high gain for example, 6 [dB], 12 [dB], 24 [dB], etc.
  • the output of the digital signal output from the first converter 104A (hereinafter sometimes referred to as “first output signal”) is controlled by a driver (not shown) corresponding to the first converter 104A.
  • a digital signal output from the second conversion unit 104B (hereinafter sometimes referred to as “second output signal”) is output by a driver (not shown) corresponding to the second conversion unit 104B. Be controlled.
  • a driver (not shown) corresponding to the first conversion unit 104A and a driver (not shown) corresponding to the second conversion unit 104B are, for example, a timing controller included in the control unit 108 or the imaging apparatus 100. (Not shown).
  • a driver (not shown) corresponding to the first conversion unit 104A and a driver (not shown) corresponding to the second conversion unit 104B are, for example, a first output signal and a second output.
  • the output is controlled so that the signal is alternately output for each row in the pixel array 154 of the imaging unit 102.
  • the content of the output signal is identified.
  • the output example of the first output signal and the second output signal is not limited to the example shown above.
  • digital clamping is performed individually in the first conversion unit 104A and the second conversion unit 104B.
  • the generation unit 106 includes a reference signal generator 152, and generates and outputs a reference signal.
  • the reference signal generator 152 may be any hardware that functions as a signal source for the reference signal.
  • the imaging apparatus 100 may not include the generation unit 106. That is, the reference signal generator 152 illustrated in FIG. 1 may be a signal source included in the imaging apparatus 100 or a signal source external to the imaging apparatus 100.
  • Control unit 108 is configured by one or two or more processors configured by an arithmetic circuit such as an MPU (Micro Processing Unit), various processing circuits, and the like, and serves to control the entire imaging apparatus 100.
  • MPU Micro Processing Unit
  • various processing circuits and the like, and serves to control the entire imaging apparatus 100.
  • control unit 108 performs gain control in the first conversion unit 104A capable of adjusting the gain and gain control in the second conversion unit 104B capable of adjusting the gain.
  • the control of the gain in the first conversion unit 104A capable of adjusting the gain includes transmitting a control signal to the conversion circuit 150 capable of adjusting the gain constituting the first conversion unit 104A. Further, the gain control in the second conversion unit 104B capable of adjusting the gain includes transmitting a control signal to the conversion circuit 150 capable of adjusting the gain constituting the second conversion unit 104B. It is done.
  • the control signals transmitted to the conversion circuit 150 for example, the control signals GAINRAMP ⁇ 0>, GAINRAMP ⁇ 1>, GAINRAMP ⁇ 2>, GAINRAMP ⁇ 3> shown in FIG. 3 and the control signal GAINVSL ⁇ 3 shown in FIG. 0>, GAINVSL ⁇ 1>, GAINVSL ⁇ 2>, GAINVSL ⁇ 3>.
  • An example of processing in the control unit 108 An example of processing related to the control method according to the first embodiment
  • the control unit 108 performs gain based on, for example, an operation signal according to a user operation on the operation device. Control.
  • an operation device according to the present embodiment for example, an operation device provided in the imaging apparatus 100 such as a button, or an external operation device such as a remote controller (or an external device that functions as a remote controller) can be cited. .
  • the control unit 108 controls the gain corresponding to the operation signal, for example, by referring to a table (or database) in which the ID indicating the operation and the control content of the gain are associated with each other.
  • the table in which the ID indicating the operation and the gain control content are associated with each other is stored in, for example, a recording medium included in the imaging apparatus 100 or an external recording medium connected to the imaging apparatus 100 ( The same applies to other tables described later.)
  • gain control in the control unit 108 is not limited to the example shown above.
  • control unit 108 may perform gain control based on the state of the imaging apparatus 100.
  • the state of the imaging device 100 include the state of an application executed in a processor or the like that constitutes the control unit 108 in the imaging device 100, the state of processing in the processing unit 110 described later, or a combination thereof. It is done.
  • gain control based on the detection result of the state of the imaging apparatus 100
  • dynamic gain control based on the state of the imaging apparatus 100 is realized.
  • the control unit 108 controls the dynamic gain by referring to a table (or database) in which the state of the imaging apparatus 100 such as an application state is associated with the gain control content, for example. .
  • Processing unit 110 includes various processing circuits and processes the first output signal and the second output signal. Note that the processing circuit constituting the processing unit 110 may be a processing circuit constituting the control unit 108.
  • the processing in the processing unit 110 includes processing for combining the first output signal and the second output signal.
  • the processing unit 110 outputs the first output signal. And the second output signal are combined for each corresponding pixel. Therefore, reduction of noise that can be included in the captured image is realized.
  • Pseudo bit extension processing For example, processing to increase the number of bits in a pseudo manner by bit-shifting a low-gain signal and interpolating lower bits with a high-gain signal. For example, a process for synthesizing a low gain part on the high illuminance side of the captured image and a high gain part on the low illuminance side of the captured image.
  • Pseudo bit expansion process (pseudo multi-bit process) and HDR
  • processing in the processing unit 110 is not limited to the example shown above.
  • the digital signal synthesized by the processing unit 110 is indicated as “output signal”.
  • the output signal output from the processing unit 110 is stored in, for example, a recording medium included in the imaging apparatus 100 or an external recording medium connected to the imaging apparatus 100.
  • the output signal output from the processing unit 110 may be transmitted to an external device by a communication device of an arbitrary communication method included in the imaging device 100 or an external communication device connected to the imaging device 100, for example. Good.
  • the external device to which the output signal is transmitted include an arbitrary device such as a display device capable of displaying a captured image on a display screen or a computer such as a PC (Personal Computer) or a server.
  • the imaging apparatus 100 has a configuration shown in FIG.
  • the imaging apparatus 100 includes a first conversion unit 104A and a second conversion unit 104B having the characteristics (a) to (c). Therefore, the imaging apparatus 100 can improve the image quality of a captured image obtained by imaging.
  • the configuration of the imaging apparatus according to the first embodiment is not limited to the example shown in FIG.
  • the imaging apparatus when a reference signal generated in an external reference signal generator is used, the imaging apparatus according to the first embodiment may not include the generation unit 106 illustrated in FIG.
  • the imaging apparatus When gain control is performed by an external device (or an external processor or the like) having the same function as that of the control unit 108, the imaging apparatus according to the first embodiment includes the control unit 108 illustrated in FIG. It does not have to be.
  • the first embodiment when processing based on the first output signal and the second output signal is performed by an external device (or an external processing circuit or the like) having the same function as the processing unit 110, the first embodiment is concerned.
  • the imaging apparatus may not include the processing unit 110 illustrated in FIG.
  • the configuration of the imaging apparatus according to the present embodiment is not limited to the imaging apparatus (including modifications) according to the first embodiment shown in FIG.
  • an imaging apparatus according to the second embodiment will be described as another configuration example of the imaging apparatus according to the present embodiment.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the imaging apparatus 200 according to the second embodiment.
  • FIG. 7 as in FIG. 1, a part of hardware configuring the imaging device 200 is illustrated for convenience of illustration and the like.
  • the imaging apparatus 100 includes, for example, the imaging unit 102, the first conversion unit 104A, the second conversion unit 104B, the generation unit 106, the processing unit 110, the first switching unit 202A, and the second switching. Part 202B and control part 204.
  • the imaging device 200 is driven by power supplied from an internal power source such as a battery or power supplied from an external power source.
  • Imaging unit 102, first conversion unit 104A, second conversion unit 104B, generation unit 106, processing unit 110 The configurations and functions of the imaging unit 102, the first conversion unit 104A, the second conversion unit 104B, the generation unit 106, and the processing unit 110 according to the second embodiment illustrated in FIG. 7 are illustrated with reference to FIG. Further, the imaging unit 102, the first conversion unit 104A, the second conversion unit 104B, the generation unit 106, and the processing unit 110 according to the first embodiment are the same. Therefore, description of the imaging unit 102, the first conversion unit 104A, the second conversion unit 104B, the generation unit 106, and the processing unit 110 according to the second embodiment illustrated in FIG. 7 is omitted.
  • First switching unit 202A, second switching unit 202B The first switching unit 202A is electrically connected between the imaging unit 102 and the first conversion unit 104A, and switches the pixel circuit P that is electrically connected to the first conversion unit 104A.
  • the first switching unit 202A includes, for example, a multiplexer 250 corresponding to the conversion circuit 150 constituting the first conversion unit 104A.
  • the output of the multiplexer 250 is switched, so that the pixel circuit P electrically connected to the first conversion unit 104A is switched.
  • FIG. 7 shows an example in which the multiplexer 250 is a two-input one-output multiplexer, it goes without saying that the number of inputs of the multiplexer 250 may be three or more.
  • the output switching in the multiplexer 250 is performed, for example, by a control signal transmitted from the control unit 204 described later.
  • the second switching unit 202B includes, for example, a multiplexer 250 corresponding to the conversion circuit 150 constituting the second conversion unit 104B.
  • the output from the multiplexer 250 is switched, so that the pixel circuit P electrically connected to the second switching unit 202B is switched.
  • FIG. 7 shows an example in which the multiplexer 250 is a two-input one-output multiplexer, it goes without saying that the number of inputs of the multiplexer 250 may be three or more.
  • the first conversion unit 104A and the second conversion unit 104B are “the same pixel circuit that configures the imaging unit 102”.
  • An “analog signal output from P” or an “analog signal output from different pixel circuits P constituting the imaging unit 102” is converted into a digital signal.
  • the first conversion unit 104A and the second conversion unit 104B according to the second embodiment include the “imaging unit” in addition to the characteristics shown in (a) above. It is possible to convert an analog signal output from a different pixel circuit P constituting 102 into a digital signal.
  • Control unit 204 is configured by one or two or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and serves to control the entire imaging apparatus 200, for example.
  • control unit 204 controls the gain in the first conversion unit 104A capable of adjusting the gain, controls the gain in the second conversion unit 104B capable of adjusting the gain, and controls the first switching unit 202A and the second switching unit 202A. The switching of the connection in the switching unit 202B is controlled.
  • the gain control in the first conversion unit 104A capable of adjusting the gain the gain constituting the first conversion unit 104A is adjusted to the conversion circuit 150 capable of adjusting the gain, as in the gain control according to the first embodiment. In contrast, a control signal is transmitted. Further, as the gain control in the second conversion unit 104B capable of adjusting the gain, as in the gain control according to the first embodiment, a conversion circuit capable of adjusting the gain constituting the second conversion unit 104B. Communicating a control signal to 150 may be mentioned.
  • the connection switching control in the first switching unit 202A includes, for example, transmitting a control signal to the multiplexer 250 that configures the first switching unit 202A.
  • control of connection switching in the second switching unit 202B for example, transmitting a control signal to the multiplexer 250 configuring the second switching unit 202B can be mentioned.
  • the control signal transmitted to the multiplexer 250 corresponds to a signal for selecting which signal from among a plurality of input signals is output.
  • control unit 204 An example of processing related to the control method according to the second embodiment
  • the control unit 204 for example, gains based on an operation signal corresponding to a user operation on the operation device. And control of connection switching.
  • control unit 204 refers to a table (or database) in which an ID indicating an operation, a gain control content, and a connection switching content are associated with each other, thereby controlling the gain corresponding to the operation signal and the operation. Controls switching of connections corresponding to signals.
  • control unit 204 examples of gain control and connection switching control in the control unit 204 are not limited to the examples described above.
  • the control unit 204 may perform gain control and connection switching control based on the state of the imaging apparatus 200.
  • the state of the imaging apparatus 200 for example, consumption detected based on a value of power consumed in the imaging apparatus 200 (for example, a value of maximum power consumption or an average value of power consumption in a set period).
  • the state of power, the state of an application executed in a processor or the like constituting the control unit 204 in the imaging apparatus 100, the state of processing in the processing unit 110 described later, or a combination of two or more of these may be mentioned .
  • gain control and connection switching control based on the detection result of the state of the imaging apparatus 200, dynamic gain control and dynamic connection switching control based on the state of the imaging apparatus 200 are performed. Realized.
  • control unit 108 refers to a table (or database) in which the state of the imaging apparatus 200 such as the state of the application, the gain control content, and the connection switching content are associated with each other. And control of dynamic connection switching.
  • the imaging apparatus 200 realizes mode switching as shown in, for example, the following (A) to (C). It goes without saying that the mode switching examples realized in the imaging apparatus 200 according to the second embodiment are not limited to the examples shown in the following (A) to (C).
  • the first conversion unit 104A and the second conversion unit 104B convert an analog signal output from the same pixel circuit P constituting the imaging unit 102 into a digital signal. Therefore, in the high image quality mode, processing in the processing unit 110 increases the dynamic range by HDR, bit expansion by pseudo bit expansion processing (pseudo multi-bit processing), white gain adjustment, noise reduction, and the like. Image quality is improved.
  • the first conversion unit 104A and the second conversion unit 104B convert analog signals output from different pixel circuits P constituting the imaging unit 102 into digital signals. Therefore, in the mode in which high-speed imaging is performed, double-speed imaging is possible as compared with the high-quality mode, and thus higher-speed imaging is possible.
  • the mode for performing high-speed imaging can be applied to, for example, slow motion imaging.
  • the power mode is switched.
  • the first conversion unit 104A and the second conversion unit 104B are output from the same pixel circuit P constituting the imaging unit 102, as in the first example shown in (A) above.
  • An analog signal is converted into a digital signal. Therefore, in the high image quality mode, the image quality of the captured image is improved.
  • the conversion circuit 150 constituting one of the first conversion unit 104A and the second conversion unit 104B connected to the same pixel circuit P operates and is output from the pixel circuit P. Convert analog signals to digital signals. At this time, the conversion circuit 150 constituting the other of the first conversion unit 104A and the second conversion unit 104B connected to the same pixel circuit P does not operate. Therefore, in the low power consumption mode, the number of conversion circuits 150 operating in the imaging apparatus 200 is reduced, so that power consumption is reduced. Further, when the imaging apparatus 200 is driven by an internal power source such as a battery, it is possible to extend the time during which imaging can be performed in the low power consumption mode as compared to the high image quality mode.
  • a third example of mode switching a first mode in which an analog signal is converted into a digital signal with a set first resolution, The second mode for acquiring a digital signal with a resolution higher than the resolution of the first mode is switched.
  • the first conversion unit 104A and the second conversion unit 104B convert analog signals output from different pixel circuits P constituting the imaging unit 102 into digital signals.
  • the first conversion unit 104A and the second conversion unit 104B convert an analog signal output from the same pixel circuit P constituting the imaging unit 102 into a digital signal. Therefore, in the second mode, a digital signal having a resolution higher than the first resolution in the first mode is acquired by the bit extension by the pseudo bit extension process (pseudo multi-bit process) in the processing unit 110.
  • the second mode can be applied to, for example, an application for imaging an object to be inspected based on a captured image.
  • the data formats of the first output signal and the second output signal are the same in the first mode and the second mode, it is possible to switch the mode during imaging.
  • the imaging apparatus 200 according to the second embodiment has a configuration shown in FIG.
  • the imaging apparatus 200 includes a first conversion unit 104A and a second conversion unit 104B having the characteristics (a) to (c) described above. Prepare. Therefore, the imaging device 200 can improve the image quality of a captured image obtained by imaging, as with the imaging device 100 according to the first embodiment.
  • the imaging apparatus 200 includes the first switching unit 202A and the second switching unit 202B, whereby the pixel circuit P electrically connected to the first conversion unit 104A and the second switching unit 202B. And a pixel circuit P electrically connected to the pixel circuit P can be switched. Therefore, in the imaging apparatus 200, for example, it is possible to realize the mode switching as shown in the above (A) to (C), so that an effect according to the set mode is achieved.
  • the configuration of the imaging apparatus according to the second embodiment is not limited to the example shown in FIG.
  • the imaging apparatus may not include the generation unit 106 illustrated in FIG.
  • the imaging device When gain control is performed by an external device (or an external processor or the like) having the same function as the control unit 204, the imaging device according to the second embodiment includes the control unit 204 shown in FIG. It does not have to be.
  • the second embodiment when processing based on the first output signal and the second output signal is performed by an external device (or an external processing circuit or the like) having the same function as the processing unit 110, the second embodiment is concerned.
  • the imaging device may not include the processing unit 110 illustrated in FIG.
  • the imaging apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • This embodiment is, for example, an industrial camera used in a factory or a distribution system, a camera used in ITS (Intelligent Transport Systems), a security camera, a camera provided in a moving body such as an automobile, a camera for a consumer, etc.
  • the present invention can be applied to cameras (digital still cameras and digital video cameras) used for various purposes.
  • the present embodiment can be applied to various devices that can include an imaging device, such as a computer such as a PC, a communication device such as a smartphone, a tablet device, and a game machine.
  • the imaging apparatus according to the present embodiment can be applied to an arbitrary moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, and the like. It is.
  • FIG. 8 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 9 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 9 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present embodiment can be applied to, for example, the imaging unit 12031 in the vehicle control system.
  • a program for causing a computer to function as the control unit 108 included in the imaging apparatus 100 according to the first embodiment (for example, a program for causing a computer to execute processing related to the control method according to the first embodiment)
  • the gain control in the imaging apparatus 100 according to the first embodiment is realized by being executed by the processor in FIG. Therefore, a program for causing a computer to function as the control unit 108 included in the imaging apparatus 100 according to the first embodiment is executed by a processor or the like in the computer, thereby improving the image quality of a captured image obtained by imaging. Can be planned.
  • a control method according to the first embodiment described above is executed by causing a computer to execute a program for causing the computer to function as the control unit 108 included in the imaging apparatus 100 according to the first embodiment.
  • the effect produced by the processing according to the above can be produced.
  • a program for causing a computer to function as the control unit 204 included in the imaging apparatus 200 according to the second embodiment (for example, a program for causing a computer to execute processing related to the control method according to the second embodiment).
  • a program for causing a computer to function as the control unit 204 included in the imaging apparatus 200 according to the second embodiment is executed by a processor or the like in the computer, thereby improving the image quality of a captured image obtained by imaging. Can be planned.
  • a control method according to the second embodiment described above is executed by causing a computer to execute a program for causing the computer to function as the control unit 204 included in the imaging apparatus 200 according to the second embodiment.
  • the effect produced by the processing according to the above can be produced.
  • a program for causing a computer to function as the control unit 108 included in the imaging device 100 according to the first embodiment is provided.
  • a recording medium storing the program can also be provided.
  • a program for causing a computer to function as the control unit 204 included in the imaging apparatus 200 according to the second embodiment.
  • the present embodiment can also provide a recording medium storing the program.
  • An imaging unit having a plurality of pixel circuits for performing photoelectric conversion; A first conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal; A second conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal; With The first conversion unit and the second conversion unit are supplied with the same reference signal used for analog-digital conversion, The first conversion unit and the second conversion unit convert the analog signal output from the same pixel circuit constituting the imaging unit into a digital signal, One or both of the first conversion unit and the second conversion unit can adjust the gain of the analog signal to be converted into a digital signal.
  • the reference signal is generated by a reference signal generator; The position where the reference signal generator is provided for the first conversion unit, the wiring connecting the reference signal generator and the first conversion unit, and the reference signal for the second conversion unit.
  • a first switching unit that is electrically connected between the imaging unit and the first conversion unit and switches the pixel circuit that is electrically connected to the first conversion unit;
  • a second switching unit that is electrically connected between the imaging unit and the second conversion unit and switches the pixel circuit that is electrically connected to the second conversion unit; Further comprising
  • the first conversion unit and the second conversion unit are output from the analog signal output from the same pixel circuit constituting the imaging unit or from the different pixel circuit constituting the imaging unit.
  • the imaging apparatus further including a control unit that controls connection switching in the unit.
  • the control unit performs the gain control and the connection switching control based on an operation signal corresponding to an operation of a user of the imaging device or a state of the imaging device, according to (4).
  • Imaging device (6) The imaging apparatus according to any one of (1) to (5), wherein the first conversion unit includes a conversion circuit that converts the analog signal into a digital signal.
  • the conversion circuit included in the first conversion unit capable of adjusting the gain includes a comparator, and is connected to a terminal to which the reference signal is applied in the comparator and a terminal electrically connected to the pixel circuit.
  • the imaging apparatus according to any one of (1) to (7), wherein the second conversion unit includes a conversion circuit that converts the analog signal into a digital signal.
  • the conversion circuit included in the second conversion unit capable of adjusting the gain includes a comparator, and is connected to a terminal to which the reference signal is applied in the comparator and a terminal electrically connected to the pixel circuit.
  • An imaging unit having a plurality of pixel circuits for performing photoelectric conversion; A first conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal; A second conversion unit that converts an analog signal output from the pixel circuit constituting the imaging unit into a digital signal; A first switching unit that is electrically connected between the imaging unit and the first conversion unit and switches the pixel circuit that is electrically connected to the first conversion unit; A second switching unit that is electrically connected between the imaging unit and the second conversion unit and switches the pixel circuit that is electrically connected to the second conversion unit; With The first conversion unit and the second conversion unit are supplied with the same reference signal used for analog-digital conversion, The first conversion unit and the second conversion unit are output from the analog signal output from the same pixel circuit constituting the imaging unit or from the different pixel circuit constituting the imaging unit.
  • One or both of the first conversion unit and the second conversion unit is a control method executed in an imaging apparatus capable of adjusting a gain of the analog signal to be converted into a digital signal, Based on an operation signal according to an operation of a user of the imaging device or a state of the imaging device, control of the gain in the first conversion unit that can adjust the gain, and the first that can adjust the gain.
  • a control method comprising a step of performing one or more of control of the gain in two conversion units and control of connection switching in the first switching unit and the second switching unit.
  • Imaging device 100, 200 Imaging device 102 Imaging unit 104A First conversion unit 104B Second conversion unit 106 Generation unit 108, 204 Control unit 110 Processing unit 150 Conversion circuit 152 Reference signal generator 202A First switching unit 202B Second switching Part 250 Multiplexer Comp Comparator P Pixel Circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Mechanical Engineering (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

光電変換を行う複数の画素回路を有する撮像部と、撮像部を構成する画素回路から出力されるアナログ信号をデジタル信号に変換する第1の変換部と、撮像部を構成する画素回路から出力されるアナログ信号をデジタル信号に変換する第2の変換部と、を備え、第1の変換部と第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、第1の変換部と第2の変換部とは、撮像部を構成する同一の画素回路から出力されるアナログ信号をデジタル信号に変換し、第1の変換部と第2の変換部との一方または双方は、デジタル信号に変換するアナログ信号のゲインを調整可能である、撮像装置が、提供される。

Description

撮像装置、および制御方法
 本開示は、撮像装置、および制御方法に関する。
 固体撮像装置の回路規模の低減を図る技術が開発されている。互いに異なる参照信号によりアナログ画素信号をデジタル信号に変換する、2つのアナログ-デジタル変換部を備えることにより、回路規模の低減を図る固体撮像装置に関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2013-207433号公報
 例えば特許文献1に記載の技術が用いられる撮像装置では、2つのアナログ-デジタル変換部において、光電変換を行う画素から出力されるアナログ信号が、互いに異なる参照信号によりデジタル信号に変換される。また、特許文献1に記載の技術が用いられる撮像装置では、2つのアナログ-デジタル変換部において変換されたデジタル信号が合成される。よって、特許文献1に記載の技術が用いられる場合には、ハイダイナミックレンジ合成(以下、「HDR」(High Dynamic Range imaging)と示す。)により、ダイナミックレンジがより広いデジタル信号を得ることができるので、撮像により得られる撮像画像の高画質化を図ることができる。
 しかしながら、例えば特許文献1に記載の技術が用いられる場合には、アナログ信号をデジタル信号に変換する際に、互いに異なる2つの参照信号が必要となる。
 本開示では、撮像により得られる撮像画像の高画質化を図ることが可能な、新規かつ改良された撮像装置、および制御方法を提案する。
 本開示によれば、光電変換を行う複数の画素回路を有する撮像部と、上記撮像部を構成する上記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、上記撮像部を構成する上記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、を備え、上記第1の変換部と上記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、上記第1の変換部と上記第2の変換部とは、上記撮像部を構成する同一の上記画素回路から出力される上記アナログ信号を、デジタル信号に変換し、上記第1の変換部と上記第2の変換部との一方または双方は、デジタル信号に変換する上記アナログ信号のゲインを調整可能である、撮像装置が、提供される。
 また、本開示によれば、光電変換を行う複数の画素回路を有する撮像部と、上記撮像部を構成する上記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、上記撮像部を構成する上記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、上記撮像部と上記第1の変換部との間に電気的に接続され、上記第1の変換部と電気的に接続される上記画素回路を切り替える第1の切替部と、上記撮像部と上記第2の変換部との間に電気的に接続され、上記第2の変換部と電気的に接続される上記画素回路を切り替える第2の切替部と、を備え、上記第1の変換部と上記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、上記第1の変換部と上記第2の変換部とは、上記撮像部を構成する同一の上記画素回路から出力される上記アナログ信号、または、上記撮像部を構成する異なる上記画素回路から出力される上記アナログ信号を、デジタル信号に変換し、上記第1の変換部と上記第2の変換部との一方または双方は、デジタル信号に変換する上記アナログ信号のゲインを調整可能である、撮像装置において実行される、制御方法であって、上記撮像装置のユーザの操作に応じた操作信号、または、上記撮像装置の状態に基づいて、上記ゲインを調整可能な上記第1の変換部における上記ゲインの制御、上記ゲインを調整可能な上記第2の変換部における上記ゲインの制御、および上記第1の切替部および上記第2の切替部における接続の切り替えの制御のうちの1または2以上を行うステップを有する、制御方法が、提供される。
 本開示によれば、撮像により得られる撮像画像の高画質化を図ることができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
第1の実施形態に係る撮像装置の構成の一例を示すブロック図である。 第1の実施形態に係る撮像装置が備える撮像部のハードウェア構成の一例を説明するための説明図である。 本実施形態に係るゲインを調整可能な変換回路を説明するための説明図である。 本実施形態に係るスイッチング回路の一例を示す説明図である。 本実施形態に係るゲインを調整可能な変換回路を説明するための説明図である。 本実施形態に係るゲインを調整可能な変換回路を説明するための説明図である。 第2の実施形態に係る撮像装置の構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.第1の実施形態に係る撮像装置
  2.第2の実施形態に係る撮像装置
  3.本実施形態に係る撮像装置の適用例
  4.本実施形態に係るプログラム
(第1の実施形態に係る撮像装置)
 図1は、第1の実施形態に係る撮像装置100の構成の一例を示すブロック図である。図1では、図示などの便宜上、撮像装置100を構成するハードウェアの一部を図示している。
 撮像装置100は、例えば、撮像部102と、第1の変換部104Aと、第2の変換部104Bと、生成部106と、制御部108と、処理部110とを有する。撮像装置100は、バッテリなどの内部電源から供給される電力、または、外部電源から供給される電力によって、駆動する。
[1]撮像部102
 撮像部102は、光電変換を行う複数の画素回路Pを有する。撮像部102を構成する画素回路Pは、入射される光に応じたアナログ信号(以下、単に「アナログ信号」と示す。)を出力する。
 図2は、第1の実施形態に係る撮像装置100が備える撮像部102のハードウェア構成の一例を説明するための説明図であり、撮像部102のハードウェア構成の一部を示している。
 撮像部102は、例えば、光学系のレンズ(図示せず)と、撮像素子(図示せず)と、撮像素子(図示せず)に対応する画素アレイ154と、ドライバ156とを有する。
 本実施形態に係る撮像素子(図示せず)としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)が挙げられる。また、本実施形態に係る撮像素子(図示せず)は、CMOSにCCDなどの他の構成要素が積層されて構成される、スタック型の撮像素子であってもよい。つまり、撮像部102を備える本実施形態に係る撮像装置には、グローバルシャッター方式とローリングシャッター方式とを適用することが可能である。
 画素アレイ154は、複数の画素回路Pが行列状に配置され、画素回路Pそれぞれは、信号線を介してドライバ156と電気的に接続される。画素回路Pは、例えば、フォトダイオードなどの受光素子やトランジスタ、容量素子などで構成される。画素回路Pでは、ドライバ156から信号線を介して伝達される制御信号によって、入射される光に応じた信号電荷の蓄電や、画素回路Pの初期化などが行われる。
 画素回路Pを構成する上記トランジスタとしては、例えば、バイポーラトランジスタや、TFT(Thin Film Transistor)やMOSFET(Metal-Oxide-Semiconductor Field Effect Transistor)などのFET(Field-Effect Transistor)などが、挙げられる。また、画素回路Pを構成する上記容量素子としては、例えばキャパシタが挙げられる。なお、画素回路Pを構成する上記容量素子には、配線などの寄生容量が含まれていてもよい。
 ドライバ156は、画素回路Pに対して制御信号を伝達することによって、画素回路Pを駆動させる。
 例えば図2を参照して説明した構成を有することにより、撮像部102からは、画素回路Pにおける光電変換によるアナログ信号が、出力される。なお、撮像部102の構成が、図2を参照して説明した構成に限られないことは、言うまでもない。
[2]第1の変換部104A、第2の変換部104B
 第1の変換部104Aは、撮像部102を構成する画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。第1の変換部104Aは、アナログ信号をデジタル信号に変換する変換回路150を有し、変換回路150によって、画素回路Pから出力されるアナログ信号をデジタル信号に変換する。
 第1の変換部104Aを構成する変換回路150としては、例えば、デジタル信号に変換するアナログ信号のゲインが固定されている、アナログ-デジタル変換回路が挙げられる。上記アナログ-デジタル変換回路としては、例えば逐次比較型のアナログ-デジタル変換回路などの、任意の型のアナログ-デジタル変換回路が、挙げられる。
 また、第1の変換部104Aを構成する変換回路150は、デジタル信号に変換するアナログ信号のゲインを調整することが可能な構成(アナログ信号のゲインを切り替えることが可能な構成)であってもよい。
 本実施形態に係るゲインを調整可能な変換回路150は、コンパレータを含む。そして、本実施形態に係るゲインを調整可能な変換回路150では、コンパレータにおける参照信号が印加される端子と、画素回路Pと電気的に接続される端子とに接続される容量の容量比が切り替えられることにより、ゲインが調整される。本実施形態に係るゲインを調整可能な変換回路150の構成の一例については、後述する。
 第2の変換部104Bは、撮像部102を構成する画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。第2の変換部104Bは、アナログ信号をデジタル信号に変換する変換回路150を有し、変換回路150によって、画素回路Pから出力されるアナログ信号をデジタル信号に変換する。
 第2の変換部104Bを構成する変換回路150としては、例えば、デジタル信号に変換するアナログ信号のゲインが固定されている、アナログ-デジタル変換回路が挙げられる。上記アナログ-デジタル変換回路としては、例えば逐次比較型のアナログ-デジタル変換回路などの、任意の型のアナログ-デジタル変換回路が、挙げられる。
 また、第2の変換部104Bを構成する変換回路150は、デジタル信号に変換するアナログ信号のゲインを調整することが可能な構成であってもよい。上記のように、本実施形態に係るゲインを調整可能な変換回路150は、コンパレータを含み、コンパレータの端子に接続される容量の容量比が切り替えられることによりゲインが調整される。本実施形態に係るゲインを調整可能な変換回路150の構成の一例については、後述する。
 第1の変換部104Aおよび第2の変換部104Bは、例えば下記の(a)~(c)の特徴を有する。
(a)第1の特徴
 第1の変換部104Aと第2の変換部104Bとは、撮像部102を構成する同一の画素回路Pから出力されるアナログ信号をデジタル信号に変換することが、可能である。
 例えば図1に示す撮像装置100では、第1の変換部104Aは、撮像部102の画素アレイ154における列数と同数の変換回路150を有しており、第1の変換部104Aを構成する変換回路150は、画素アレイ154における対応する列の画素回路Pと信号線を介して電気的に接続される。また、例えば図1に示す撮像装置100では、第2の変換部104Bは、撮像部102の画素アレイ154における列数と同数の変換回路150を有しており、第2の変換部104Bを構成する変換回路150は、画素アレイ154における対応する列の画素回路Pと信号線を介して電気的に接続される。
 第1の変換部104Aと第2の変換部104Bとが、図1に示すような構成を有することによって、撮像装置100は、“第1の変換部104Aと第2の変換部104Bとが、撮像部102を構成する同一の画素回路Pから出力されるアナログ信号を、デジタル信号に変換する構成”を有する。
(b)第2の特徴
 第1の変換部104Aと第2の変換部104Bとには、同一の参照信号(電圧信号)が供給される。
 例えば図1に示す撮像装置100では、第1の変換部104Aを構成する変換回路150それぞれは、生成部106を構成する参照信号生成器152と、信号線を介して電気的に接続される。また、例えば図1に示す撮像装置100では、第2の変換部104Bを構成する変換回路150それぞれは、生成部106を構成する参照信号生成器152と、信号線を介して電気的に接続される。
 第1の変換部104Aと第2の変換部104Bとが、図1に示すような構成を有することによって、第1の変換部104Aおよび第2の変換部104Bを構成する変換回路150それぞれには、アナログ-デジタル変換に用いられる同一の参照信号が、参照信号生成器152から供給される。
 ここで、例えば、第1の変換部104A、第2の変換部104B、および参照信号生成器152のレイアウトは、対称性を有する。具体的には、例えば、“第1の変換部104Aに対して参照信号生成器152が設けられる位置、および参照信号生成器152と第1の変換部104Aとを結ぶ配線”と、“第2の変換部104Bに対して参照信号生成器152が設けられる位置、および参照信号生成器152と第2の変換部154Bとを結ぶ配線”とは、対称性を有する。なお、後述するように、参照信号生成器152は、撮像装置100の外部のデバイスであってもよい。
 上記のように、第1の変換部104A、第2の変換部104B、および参照信号生成器152が対称性を有するレイアウトである場合には、“第1の変換部104Aが有する変換回路150に供給される参照信号と、当該変換回路150と同一の画素回路Pに接続されている、第2の変換部104Bが有する変換回路150に供給される参照信号とのずれ”を、より小さくすることができる。よって、上記のように、第1の変換部104A、第2の変換部104B、および参照信号生成器152が対称性を有するレイアウトである場合には、撮像により得られる撮像画像の高画質化をより図ることができる。
 また、参照信号生成器152と第1の変換部104Aとを結ぶ配線と参照信号生成器152と第2の変換部154Bとを結ぶ配線とが対称性を有することに限られず、撮像装置100では、例えば、グランド線や電源線などの、第1の変換部104Aと第2の変換部154Bとの双方に接続される配線についても、対称性を有していてもよい。
 なお、撮像装置100では、第1の変換部104A、第2の変換部104B、および参照信号生成器152が厳密な対称性を有するレイアウトを有さない構成をとることが可能であることは、言うまでもない。
(c)第3の特徴
 第1の変換部104Aと第2の変換部104Bとの一方または双方は、デジタル信号に変換するアナログ信号のゲインを調整可能な構成を有する。
 ここで、上記(b)に示すように、第1の変換部104Aと第2の変換部104Bとには、同一の参照信号が供給される。つまり、第1の実施形態に係る撮像装置100は、例えば特許文献1に記載の技術のように、互いに異なる参照信号によりアナログ信号をデジタル信号に変換する構成ではない。
 上述したように、ゲインを調整可能な第1の変換部104Aが有する変換回路150と、ゲインを調整可能な第2の変換部104Bが有する変換回路150とは、コンパレータを含み、コンパレータの端子に接続される容量の容量比が切り替えられることによりゲインが調整される。
 図3は、本実施形態に係るゲインを調整可能な変換回路150を説明するための説明図であり、変換回路150の構成のうちのゲインの調整に係る構成、すなわち、変換回路150の構成のうちの一部を、示している。
 ゲインを調整可能な変換回路150は、コンパレータCompを含む。コンパレータCompの非反転入力端子(+)は、参照信号生成器152と電気的に接続され、参照信号が印加される。また、コンパレータCompの反転入力端子(-)は、画素回路Pと電気的に接続され、アナログ信号が印加される。
 また、ゲインを調整可能な変換回路150は、例えば、コンパレータCompの後段に、カウンタ回路(図示せず)を備える。ゲインを調整可能な変換回路150が備えるカウンタ回路(図示せず)は、例えば、後述する制御部108から伝達される制御信号により、カウンタクロック、およびカウント方向が与えられ、カウント動作を行う。また、ゲインを調整可能な変換回路150が備えるカウンタ回路(図示せず)は、後述する制御部108から伝達される制御信号により、カウントがリセットされる。カウンタ回路(図示せず)は、コンパレータCompに入力されるアナログ信号の信号レベルに応じたデジタル信号を出力する。
 よって、ゲインを調整可能な変換回路150は、アナログ信号をデジタル信号に変換することができる。
 なお、ゲインを調整可能な変換回路150の構成は、上記に示す例に限られない。例えば、ゲインを調整可能な変換回路150は、カウンタ回路(図示せず)の後段に、バッファを備える構成であってもよい。
 以下、図3を参照しつつ、変換回路150の構成のうちのゲインの調整に係る構成の一例について、説明する。
 コンパレータCompの非反転入力端子(+)には、複数の容量素子C1、C2、C3、C4と、コンパレータCompの非反転入力端子(+)に接続される容量を変えるためのスイッチング回路SW1、SW2、SW3、SW4とが、接続される。なお、コンパレータCompの非反転入力端子(+)に接続される容量素子とスイッチング回路との数は、図3に示す例に限られない。
 容量素子C1、C2、C3、C4としては、例えばキャパシタが挙げられる。また、容量素子C1、C2、C3、C4の容量は、同一であってもよいし、少なくとも一部が異なっていてもよい。
 スイッチング回路SW1、SW2、SW3、SW4それぞれは、例えば、後述する制御部108から伝達される、対応する制御信号GAINRAMP<0>、GAINRAMP<1>、GAINRAMP<2>、GAINRAMP<3>によって、オン状態(導通状態)またはオフ状態(非導通状態)となる。スイッチング回路SW1、SW2、SW3、SW4の1または2以上がオン状態となった場合、容量素子C1、C2、C3、C4のうちのオン状態となったスイッチング回路に接続されている容量素子は、コンパレータCompの非反転入力端子(+)に電気的に接続された状態となる。
 スイッチング回路SW1、SW2、SW3、SW4としては、例えば、スイッチングトランジスタが挙げられる。スイッチングトランジスタとしては、例えば、バイポーラトランジスタや、TFTやMOSFETなどのFETが挙げられる。
 なお、スイッチング回路SW1、SW2、SW3、SW4は、オン状態とオフ状態とを切り替えることが可能な任意の素子、または、複数の素子で構成される回路であってもよい。図4は、本実施形態に係るスイッチング回路の一例を示す説明図であり、複数の素子で構成されるスイッチング回路の一例を示している。
 再度図3を参照して、変換回路150の構成のうちのゲインの調整に係る構成について、説明する。コンパレータCompの反転入力端子(-)には、複数の容量素子C5、C6、C7、C8と、コンパレータCompの反転入力端子(-)に接続される容量を変えるためのスイッチング回路SW5、SW6、SW7、SW8とが、接続される。なお、コンパレータCompの反転入力端子(-)に接続される容量素子とスイッチング回路との数は、図3に示す例に限られない。
 容量素子C5、C6、C7、C8としては、例えばキャパシタが挙げられる。また、容量素子C5、C6、C7、C8の容量は、同一であってもよいし、少なくとも一部が異なっていてもよい。また、容量素子C1、C2、C3、C4と、容量素子C5、C6、C7、C8とは、同一であってもよいし、少なくとも一部が異なっていてもよい。
 スイッチング回路SW5、SW6、SW7、SW8それぞれは、例えば、後述する制御部108から伝達される、対応する制御信号GAINVSL<0>、GAINVSL<1>、GAINVSL<2>、GAINVSL<3>によって、オン状態またはオフ状態となる。スイッチング回路SW5、SW6、SW7、SW8の1または2以上がオン状態となった場合、容量素子C5、C6、C7、C8のうちのオン状態となったスイッチング回路に接続されている容量素子は、コンパレータCompの反転入力端子(-)に電気的に接続された状態となる。
 スイッチング回路SW5、SW6、SW7、SW8としては、例えば、スイッチングトランジスタが挙げられる。また、スイッチング回路SW5、SW6、SW7、SW8は、オン状態とオフ状態とを切り替えることが可能な任意の素子、または、図4に示すような複数の素子で構成される回路であってもよい。
 ゲインを調整可能な変換回路150は、例えば図3に示すような構成を有することによって、コンパレータCompにおける参照信号が印加される端子(非反転入力端子(+))と、画素回路Pと電気的に接続される端子(反転入力端子(-))とに接続される容量の容量比が切り替えられる。
 図5、図6は、本実施形態に係るゲインを調整可能な変換回路150を説明するための説明図であり、ゲインを調整可能な変換回路150におけるゲインの調整の一例を示している。図5、図6は、ゲインを調整可能な変換回路150を構成する容量素子C1、C2、C3、C4と、容量素子C5、C6、C7、C8とが、96.74[fF]である例を示している。
 ゲインを調整可能な変換回路150では、コンパレータCompの端子(非反転入力端子(+)および反転入力端子(-))に接続される容量の容量比が切り替えられることによりゲインが調整される。
 第1の変換部104Aと第2の変換部104Bとは、例えば上記(a)~(c)の特徴を有する。第1の変換部104Aと第2の変換部104Bとが上記(a)~(c)の特徴を有することによって、撮像装置100は、下記に示すような、高画質化を図ることができるという効果が奏される。
  ・同一の画素回路Pから得られるアナログ信号を、同時に、同一のゲインまたは異なるゲインで読み出すことができる。
  ・同一のゲインで読み出される場合には、ノイズを低減することができるので、高画質化を図ることができる。
  ・異なるゲインで読み出される場合には、後述する処理部110または外部の処理回路によって、擬似ビット拡張処理(疑似多ビット化処理)やHDRが行われることにより、高画質化を図ることができる。同一の画素回路Pから得られるアナログ信号を、異なるゲインで読み出す一例としては、例えば、“同一の画素回路Pと接続されている、第1の変換部104Aが備える変換回路150と第2の変換部104Bが備える変換回路150とのうちの、一方の変換回路150が、アナログ信号の飽和信号量が大きくなるように低いゲイン(例えば、0[dB]など)で読み出し、他方の変換回路150が、ノイズが小さくなるように高いゲイン(例えば、6[dB]や12[dB]、24[dB]など)で読み出す例”が、挙げられる。
 第1の変換部104Aから出力されるデジタル信号(以下、「第1出力信号」と示す場合がある。)は、第1の変換部104Aに対応するドライバ(図示せず)により出力が制御される。また、第2の変換部104Bから出力されるデジタル信号(以下、「第2出力信号」と示す場合がある。)は、第2の変換部104Bに対応するドライバ(図示せず)により出力が制御される。第1の変換部104Aに対応するドライバ(図示せず)と、第2の変換部104Bに対応するドライバ(図示せず)とは、例えば、制御部108、または、撮像装置100が備えるタイミングコントローラ(図示せず)により制御される。
 一例を挙げると、第1の変換部104Aに対応するドライバ(図示せず)と、第2の変換部104Bに対応するドライバ(図示せず)とは、例えば、第1出力信号と第2出力信号とが、撮像部102の画素アレイ154における1行ごとに交互に出力されるように、出力を制御する。第1出力信号と第2出力信号とが、撮像部102の画素アレイ154における1行ごとに交互に出力されるように出力される場合、例えば、ヘッダ部分に、交互に出力されることを示すデータが格納されることによって、出力されている信号の内容が識別される。なお、第1出力信号と第2出力信号との出力の例が、上記に示す例に限られないことは、言うまでもない。
 また、撮像装置100では、例えば、第1の変換部104Aと第2の変換部104Bとにおいて、デジタルクランプが個別に行われる。
[3]生成部106
 生成部106は、参照信号生成器152を有し、参照信号を生成して出力する。参照信号生成器152としては、参照信号の信号源として機能する、任意のハードウェアが挙げられる。
 なお、撮像装置100が、外部の参照信号生成器において生成される参照信号を用いる場合には、撮像装置100は、生成部106を備えていなくてもよい。つまり、図1に示す参照信号生成器152は、撮像装置100が備える信号源であってもよいし、撮像装置100の外部の信号源であってもよい。
[4]制御部108
 制御部108は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、撮像装置100全体を制御する役目を果たす。
 また、制御部108は、ゲインを調整可能な第1の変換部104Aにおけるゲインの制御と、ゲインを調整可能な第2の変換部104Bにおけるゲインの制御とを行う。
 ゲインを調整可能な第1の変換部104Aにおけるゲインの制御としては、第1の変換部104Aを構成するゲインを調整可能な変換回路150に対して、制御信号を伝達することが、挙げられる。また、ゲインを調整可能な第2の変換部104Bにおけるゲインの制御としては、第2の変換部104Bを構成するゲインを調整可能な変換回路150に対して、制御信号を伝達することが、挙げられる。変換回路150に対して伝達する制御信号としては、例えば、図3に示す制御信号GAINRAMP<0>、GAINRAMP<1>、GAINRAMP<2>、GAINRAMP<3>、および図3に示す制御信号GAINVSL<0>、GAINVSL<1>、GAINVSL<2>、GAINVSL<3>が、挙げられる。
[4-1]制御部108における処理の一例:第1の実施形態に係る制御方法に係る処理の一例
 制御部108は、例えば、操作デバイスに対するユーザの操作に応じた操作信号に基づいて、ゲインの制御を行う。本実施形態に係る操作デバイスとしては、例えば、ボタンなどの撮像装置100が備える操作デバイス、または、リモート・コントローラ(またはリモート・コントローラとして機能する外部装置)などの、外部の操作デバイスが、挙げられる。
 制御部108は、例えば、操作を示すIDとゲインの制御内容とが対応付けられているテーブル(またはデータベース)を参照することによって、操作信号に対応するゲインの制御を行う。上記操作を示すIDとゲインの制御内容とが対応付けられているテーブルは、例えば、撮像装置100が備える記録媒体、または、撮像装置100に接続されている外部の記録媒体などに記憶される(なお、後述する他のテーブルについても同様である。)。
 なお、制御部108におけるゲインの制御の例は、上記に示す例に限られない。
 例えば、制御部108は、撮像装置100の状態に基づいて、ゲインの制御を行ってもよい。撮像装置100の状態としては、例えば、撮像装置100において制御部108を構成するプロセッサなどにおいて実行されているアプリケーションの状態、後述する処理部110における処理の状態、あるいは、これらの組み合わせなどが、挙げられる。撮像装置100の状態の検出結果に基づきゲインの制御が行われることによって、撮像装置100の状態に基づく動的なゲインの制御が、実現される。
 制御部108は、例えば、アプリケーションの状態などの撮像装置100の状態と、ゲインの制御内容とが対応付けられているテーブル(またはデータベース)を参照することによって、上記動的なゲインの制御を行う。
[5]処理部110
 処理部110は、各種処理回路などで構成され、第1出力信号と第2出力信号とを処理する。なお、処理部110を構成する処理回路は、制御部108を構成する処理回路であってもよい。
 処理部110における処理としては、第1出力信号と第2出力信号とを合成する処理が挙げられる。
 例えば、第1の変換部104Aと第2の変換部104Bとにより同一の画素回路Pから得られるアナログ信号が、同時に、同一のゲインで読み出される場合には、処理部110は、第1出力信号と第2出力信号とを対応する画素ごとに合成する。よって、撮像画像に含まれうるノイズの低減が、実現される。
 また、例えば、第1の変換部104Aと第2の変換部104Bとにより同一の画素回路Pから得られるアナログ信号が、同時に、異なるゲインで読み出される場合には、処理部110は、下記に示すような処理を行う。
  ・擬似ビット拡張処理(擬似多ビット化処理):例えば、低ゲイン側の信号をビットシフトし、下位ビットを高ゲイン側の信号で補間することにより、擬似的にビット数を増やす処理
  ・HDR:例えば、撮像画像の高照度側の低ゲイン部分と、撮像画像の低照度側の高ゲイン部分とを合成する処理
  ・擬似ビット拡張処理(擬似多ビット化処理)およびHDR
 なお、処理部110における処理が、上記に示す例に限られないことは、言うまでもない。
 図1では、処理部110により合成されたデジタル信号を、「出力信号」と示している。処理部110から出力される出力信号は、例えば、撮像装置100が備える記録媒体、または、撮像装置100に接続される外部の記録媒体に記憶される。また、処理部110から出力される出力信号は、例えば、撮像装置100が備える任意の通信方式の通信デバイス、または、撮像装置100に接続される外部の通信デバイスによって、外部装置に送信されてもよい。出力信号が送信される外部装置としては、例えば、撮像画像を表示画面に表示することが可能な表示装置や、PC(Personal Computer)やサーバなどのコンピュータなどの、任意の装置が、挙げられる。
 第1の実施形態に係る撮像装置100は、例えば図1に示す構成を有する。
 撮像装置100は、上記(a)~(c)の特徴を有する第1の変換部104Aと第2の変換部104Bとを備える。したがって、撮像装置100は、撮像により得られる撮像画像の高画質化を図ることができる。
 なお、第1の実施形態に係る撮像装置の構成は、図1に示す例に限られない。
 例えば、外部の参照信号生成器において生成される参照信号が用いられる場合には、第1の実施形態に係る撮像装置は、図1示す生成部106を備えていなくてもよい。
 また、制御部108と同様の機能を有する外部装置(または外部のプロセッサなど)によりゲインの制御が行われる場合には、第1の実施形態に係る撮像装置は、図1示す制御部108を備えていなくてもよい。
 また、処理部110と同様の機能を有する外部装置(または外部の処理回路など)により、第1出力信号と第2出力信号とに基づく処理が行われる場合には、第1の実施形態に係る撮像装置は、図1示す処理部110を備えていなくてもよい。
 なお、本実施形態に係る撮像装置の構成は、図1に示す第1の実施形態に係る撮像装置(変形例も含む。)に限られない。次に、本実施形態に係る撮像装置の他の構成例として、第2の実施形態に係る撮像装置を説明する。
(第2の実施形態に係る撮像装置)
 図7は、第2の実施形態に係る撮像装置200の構成の一例を示すブロック図である。図7では、図1と同様に、図示などの便宜上、撮像装置200を構成するハードウェアの一部を図示している。
 撮像装置100は、例えば、撮像部102と、第1の変換部104Aと、第2の変換部104Bと、生成部106と、処理部110と、第1の切替部202Aと、第2の切替部202Bと、制御部204とを有する。撮像装置200は、バッテリなどの内部電源から供給される電力、または、外部電源から供給される電力によって、駆動する。
[I]撮像部102、第1の変換部104A、第2の変換部104B、生成部106、処理部110
 図7に示す第2の実施形態に係る撮像部102、第1の変換部104A、第2の変換部104B、生成部106、処理部110それぞれの構成、機能は、図1を参照して示した第1の実施形態に係る撮像部102、第1の変換部104A、第2の変換部104B、生成部106、処理部110と同様である。よって、図7に示す第2の実施形態に係る撮像部102、第1の変換部104A、第2の変換部104B、生成部106、処理部110については、説明を省略する。
[II]第1の切替部202A、第2の切替部202B
 第1の切替部202Aは、撮像部102と第1の変換部104Aとの間に電気的に接続され、第1の変換部104Aと電気的に接続される画素回路Pを切り替える。
 第1の切替部202Aは、例えば、第1の変換部104Aを構成する変換回路150に対応するマルチプレクサ250を備える。第1の切替部202Aでは、マルチプレクサ250における出力が切り替えられることによって、第1の変換部104Aと電気的に接続される画素回路Pが切り替えられる。なお、図7では、マルチプレクサ250が2入力1出力のマルチプレクサである例を示しているが、マルチプレクサ250の入力数が3以上であってもよいことは、言うまでもない。
 マルチプレクサ250における出力の切り替えは、例えば、後述する制御部204から伝達される制御信号により行われる。
 第2の切替部202Bは、例えば、第2の変換部104Bを構成する変換回路150に対応するマルチプレクサ250を備える。第2の切替部202Bでは、マルチプレクサ250における出力が切り替えられることによって、第2の切替部202Bと電気的に接続される画素回路Pが切り替えられる。なお、図7では、マルチプレクサ250が2入力1出力のマルチプレクサである例を示しているが、マルチプレクサ250の入力数が3以上であってもよいことは、言うまでもない。
 第1の切替部202Aおよび第2の切替部202Bを備えることによって、撮像装置200では、第1の変換部104Aと第2の変換部104Bとは、“撮像部102を構成する同一の画素回路Pから出力されるアナログ信号”または“撮像部102を構成する異なる画素回路Pから出力されるアナログ信号”が、デジタル信号に変換される。つまり、第2の実施形態に係る撮像装置200では、第2の実施形態に係る第1の変換部104Aと第2の変換部104Bは、上記(a)に示す特徴に加えて、“撮像部102を構成する異なる画素回路Pから出力されるアナログ信号をデジタル信号に変換することが、可能である”という特徴を有することとなる。
[III]制御部204
 制御部204は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、撮像装置200全体を制御する役目を果たす。
 また、制御部204は、ゲインを調整可能な第1の変換部104Aにおけるゲインの制御、ゲインを調整可能な第2の変換部104Bにおけるゲインの制御、および第1の切替部202Aおよび第2の切替部202Bにおける接続の切り替えの制御を行う。
 ゲインを調整可能な第1の変換部104Aにおけるゲインの制御としては、第1の実施形態に係るゲインの制御と同様に、第1の変換部104Aを構成するゲインを調整可能な変換回路150に対して制御信号を伝達することが、挙げられる。また、ゲインを調整可能な第2の変換部104Bにおけるゲインの制御としては、第1の実施形態に係るゲインの制御と同様に、第2の変換部104Bを構成するゲインを調整可能な変換回路150に対して制御信号を伝達することが、挙げられる。
 第1の切替部202Aにおける接続の切り替えの制御としては、例えば、第1の切替部202Aを構成するマルチプレクサ250に対して制御信号を伝達することが、挙げられる。第2の切替部202Bにおける接続の切り替えの制御としては、例えば、第2の切替部202Bを構成するマルチプレクサ250に対して制御信号を伝達することが、挙げられる。マルチプレクサ250に対して伝達される制御信号は、複数入力される信号のうちのどの信号を出力するかを選択する信号に該当する。
[III-1]制御部204における処理の一例:第2の実施形態に係る制御方法に係る処理の一例
 制御部204は、例えば、操作デバイスに対するユーザの操作に応じた操作信号に基づいて、ゲインの制御と接続の切り替えの制御とを行う。
 制御部204は、例えば、操作を示すID、ゲインの制御内容、および接続の切り替え内容が対応付けられているテーブル(またはデータベース)を参照することによって、操作信号に対応するゲインの制御と、操作信号に対応する接続の切り替えの制御とを行う。
 なお、制御部204におけるゲインの制御と接続の切り替えの制御との例は、上記に示す例に限られない。
 例えば、制御部204は、撮像装置200の状態に基づいて、ゲインの制御と接続の切り替えの制御とを行ってもよい。撮像装置200の状態としては、例えば、撮像装置200において消費されている電力の値(例えば、最大消費電力の値や、設定されている期間における消費電力の平均値など)に基づき検出される消費電力の状態、撮像装置100において制御部204を構成するプロセッサなどにおいて実行されているアプリケーションの状態、後述する処理部110における処理の状態、あるいは、これらのうちの2以上の組み合わせなどが、挙げられる。撮像装置200の状態の検出結果に基づきゲインの制御と接続の切り替えの制御とが行われることによって、撮像装置200の状態に基づく、動的なゲインの制御および動的な接続の切り替えの制御が、実現される。
 制御部108は、例えば、アプリケーションの状態などの撮像装置200の状態、ゲインの制御内容、および接続の切り替え内容が対応付けられているテーブル(またはデータベース)を参照することによって、上記動的なゲインの制御と上記動的な接続の切り替えの制御とを行う。
 制御部204においてゲインの制御と接続の切り替えの制御とが行われることによって、撮像装置200では、例えば下記の(A)~(C)に示すようなモードの切り替えが実現される。なお、第2の実施形態に係る撮像装置200において実現されるモードの切り替え例が、下記の(A)~(C)に示す例に限られないことは、言うまでもない。
(A)モードの切り替えの第1の例:撮像速度の切り替え
 モードの切り替えの第1の例では、高画質な撮像画像を取得する高画質モードと、高速な撮像を行うモード(高速読み出しを行うモード)とが切り替えられる。
 高画質モードでは、第1の変換部104Aと第2の変換部104Bとは、撮像部102を構成する同一の画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。よって、高画質モードでは、処理部110における処理によって、HDRによるダイナミックレンジの拡大、擬似ビット拡張処理(擬似多ビット化処理)によるビット拡張、ホワイトゲインの調整、ノイズ低減などによって、撮像画像の高画質化が図られる。
 また、高速な撮像を行うモードでは、第1の変換部104Aと第2の変換部104Bとは、撮像部102を構成する異なる画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。よって、高速な撮像を行うモードでは、高画質モードと比較して倍速撮像が可能となるので、より高速な撮像が可能となる。高速な撮像を行うモードは、例えば、スローモーション撮像用途に適用されうる。
(B)モードの切り替えの第2の例:撮像装置200の消費電力の切り替え
 モードの切り替えの第2の例では、高画質な撮像画像を取得する高画質モードと、消費電力を低減させる低消費電力モードとが切り替えられる。
 高画質モードでは、第1の変換部104Aと第2の変換部104Bとは、上記(A)に示す第1の例と同様に、撮像部102を構成する同一の画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。よって、高画質モードでは、撮像画像の高画質化が図られる。
 低消費電力モードでは、同一の画素回路Pに接続される、第1の変換部104Aと第2の変換部104Bとの一方を構成する変換回路150のみが動作し、画素回路Pから出力されるアナログ信号をデジタル信号に変換する。このとき、同一の画素回路Pに接続される、第1の変換部104Aと第2の変換部104Bとの他方を構成する変換回路150は、動作しない。よって、低消費電力モードでは、撮像装置200において動作する変換回路150の数が減ることから、消費電力が低減される。また、撮像装置200がバッテリなどの内部電源により駆動する場合、低消費電力モードでは、高画質モードよりも撮像可能な時間を延ばすことが可能となる。
(C)モードの切り替えの第3の例:撮像品質の切り替え
 モードの切り替えの第3の例では、設定されている第1の分解能でアナログ信号をデジタル信号に変換する第1モードと、第1の分解能よりも高い分解能のデジタル信号を取得する第2モードとが切り替えられる。
 第1モードでは、第1の変換部104Aと第2の変換部104Bとは、撮像部102を構成する異なる画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。
 また、第2モードでは、第1の変換部104Aと第2の変換部104Bとは、撮像部102を構成する同一の画素回路Pから出力されるアナログ信号を、デジタル信号に変換する。よって、第2モードでは、処理部110における擬似ビット拡張処理(擬似多ビット化処理)によるビット拡張によって、第1モードにおける第1の分解能よりも高い分解能のデジタル信号が、取得される。第2モードは、例えば、撮像画像に基づく検査の対象の物体を撮像する用途に適用されうる。また、第1モードと第2モードとにおいて、第1出力信号と第2出力信号とのデータフォーマットは同じであるため、撮像途中でモードを切り替えることが可能である。
 第2の実施形態に係る撮像装置200は、例えば図7に示す構成を有する。
 撮像装置200は、図1に示す第1の実施形態に係る撮像装置100と同様に、上記(a)~(c)の特徴を有する第1の変換部104Aと第2の変換部104Bとを備える。したがって、撮像装置200は、第1の実施形態に係る撮像装置100と同様に、撮像により得られる撮像画像の高画質化を図ることができる。
 また、撮像装置200は、第1の切替部202Aと第2の切替部202Bとを備えることによって、第1の変換部104Aと電気的に接続される画素回路Pと、第2の切替部202Bと電気的に接続される画素回路Pとを切り替えることができる。よって、撮像装置200では、例えば上記(A)~(C)に示すようなモードの切り替えを実現することが可能であるので、設定されるモードに応じた効果が奏される。
 なお、第2の実施形態に係る撮像装置の構成は、図7に示す例に限られない。
 例えば、外部の参照信号生成器において生成される参照信号が用いられる場合には、第2の実施形態に係る撮像装置は、図7示す生成部106を備えていなくてもよい。
 また、制御部204と同様の機能を有する外部装置(または外部のプロセッサなど)によりゲインの制御が行われる場合には、第2の実施形態に係る撮像装置は、図7示す制御部204を備えていなくてもよい。
 また、処理部110と同様の機能を有する外部装置(または外部の処理回路など)により、第1出力信号と第2出力信号とに基づく処理が行われる場合には、第2の実施形態に係る撮像装置は、図7示す処理部110を備えていなくてもよい。
(本実施形態に係る撮像装置の適用例)
 以上、本実施形態として、撮像装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、工場や物流システムなどで利用される産業用カメラ、ITS(Intelligent Transport Systems)において利用されるカメラ、防犯カメラ、自動車などの移動体に設けられるカメラ、コンシューマ向けのカメラなどの、様々な用途に利用されるカメラ(デジタルスチルカメラ、デジタルビデオカメラ)に適用することができる。また、本実施形態は、PCなどのコンピュータ、スマートフォンなどの通信装置、タブレット型の装置、ゲーム機など、撮像デバイスを備えることが可能な、様々な機器に適用することができる。
 さらに、本実施形態に係る撮像装置は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなどの、任意の移動体に適用することが可能である。
 以下、本実施形態に係る技術が移動体に適用される場合の一例を説明する。
 図8は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図8に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図8の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図9は、撮像部12031の設置位置の例を示す図である。
 図9では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図9には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本実施形態に係る技術が移動体に適用される場合における車両制御システムの一例について説明した。本実施形態に係る技術は、例えば、上記車両制御システムにおける撮像部12031に適用されうる。
(本実施形態に係るプログラム)
 コンピュータを、第1の実施形態に係る撮像装置100が備える制御部108として機能させるためのプログラム(例えば、第1の実施形態に係る制御方法に係る処理を、コンピュータに実行させるプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、第1の実施形態に係る撮像装置100におけるゲインの制御が実現される。よって、コンピュータを、第1の実施形態に係る撮像装置100が備える制御部108として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、撮像により得られる撮像画像の高画質化を図ることができる。また、コンピュータを、第1の実施形態に係る撮像装置100が備える制御部108として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第1の実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
 また、コンピュータを、第2の実施形態に係る撮像装置200が備える制御部204として機能させるためのプログラム(例えば、第2の実施形態に係る制御方法に係る処理を、コンピュータに実行させるプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、第2の実施形態に係る撮像装置200におけるゲインの制御と接続の切り替えの制御とが実現される。よって、コンピュータを、第2の実施形態に係る撮像装置200が備える制御部204として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、撮像により得られる撮像画像の高画質化を図ることができる。また、コンピュータを、第2の実施形態に係る撮像装置200が備える制御部204として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第2の実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、第1の実施形態に係る撮像装置100が備える制御部108として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができるまた、上記では、例えば、コンピュータを、第2の実施形態に係る撮像装置200が備える制御部204として機能させるためのプログラム(コンピュータプログラム)とが提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 光電変換を行う複数の画素回路を有する撮像部と、
 前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、
 前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、
 を備え、
 前記第1の変換部と前記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、
 前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号を、デジタル信号に変換し、
 前記第1の変換部と前記第2の変換部との一方または双方は、デジタル信号に変換する前記アナログ信号のゲインを調整可能である、撮像装置。
(2)
 前記参照信号は、参照信号生成器により生成され、
 前記第1の変換部に対して前記参照信号生成器が設けられる位置、および前記参照信号生成器と前記第1の変換部とを結ぶ配線と、前記第2の変換部に対して前記参照信号生成器が設けられる位置、および前記参照信号生成器と前記第2の変換部とを結ぶ配線とは、対称性を有する、(1)に記載の撮像装置。
(3)
 前記撮像部と前記第1の変換部との間に電気的に接続され、前記第1の変換部と電気的に接続される前記画素回路を切り替える第1の切替部と、
 前記撮像部と前記第2の変換部との間に電気的に接続され、前記第2の変換部と電気的に接続される前記画素回路を切り替える第2の切替部と、
 をさらに備え、
 前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号、または、前記撮像部を構成する異なる前記画素回路から出力される前記アナログ信号を、デジタル信号に変換する、(1)、または(2)に記載の撮像装置。
(4)
 前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御と、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御と、前記第1の切替部および前記第2の切替部における接続の切り替えの制御とを行う制御部を、さらに備える、(3)に記載の撮像装置。
(5)
 前記制御部は、前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインの制御と、前記接続の切り替えの制御とを行う、(4)に記載の撮像装置。
(6)
 前記第1の変換部は、前記アナログ信号をデジタル信号に変換する変換回路を有する、(1)~(5)のいずれか1つに記載の撮像装置。
(7)
 前記ゲインを調整可能な前記第1の変換部が有する前記変換回路は、コンパレータを含み、前記コンパレータにおける前記参照信号が印加される端子と、前記画素回路と電気的に接続される端子とに接続される容量の容量比が切り替えられることにより、前記ゲインが調整される、(6)に記載の撮像装置。
(8)
 前記第2の変換部は、前記アナログ信号をデジタル信号に変換する変換回路を有する、(1)~(7)のいずれか1つに記載の撮像装置。
(9)
 前記ゲインを調整可能な前記第2の変換部が有する前記変換回路は、コンパレータを含み、前記コンパレータにおける前記参照信号が印加される端子と、前記画素回路と電気的に接続される端子とに接続される容量の容量比が切り替えられることにより、前記ゲインが調整される、(8)に記載の撮像装置。
(10)
 前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御と、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御とを行う制御部を、さらに備える、(1)、(2)、(6)~(9)のいずれか1つに記載の撮像装置。
(11)
 前記制御部は、前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインの制御を行う、(10)に記載の撮像装置。
(12)
 光電変換を行う複数の画素回路を有する撮像部と、
 前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、
 前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、
 前記撮像部と前記第1の変換部との間に電気的に接続され、前記第1の変換部と電気的に接続される前記画素回路を切り替える第1の切替部と、
 前記撮像部と前記第2の変換部との間に電気的に接続され、前記第2の変換部と電気的に接続される前記画素回路を切り替える第2の切替部と、
 を備え、
 前記第1の変換部と前記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、
 前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号、または、前記撮像部を構成する異なる前記画素回路から出力される前記アナログ信号を、デジタル信号に変換し、
 前記第1の変換部と前記第2の変換部との一方または双方は、デジタル信号に変換する前記アナログ信号のゲインを調整可能である、撮像装置において実行される、制御方法であって、
 前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御、および前記第1の切替部および前記第2の切替部における接続の切り替えの制御のうちの1または2以上を行うステップを有する、制御方法。
 100、200  撮像装置
 102  撮像部
 104A  第1の変換部
 104B  第2の変換部
 106  生成部
 108、204  制御部
 110  処理部
 150  変換回路
 152  参照信号生成器
 202A  第1の切替部
 202B  第2の切替部
 250  マルチプレクサ
 Comp  コンパレータ
 P  画素回路

Claims (12)

  1.  光電変換を行う複数の画素回路を有する撮像部と、
     前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、
     前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、
     を備え、
     前記第1の変換部と前記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、
     前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号を、デジタル信号に変換し、
     前記第1の変換部と前記第2の変換部との一方または双方は、デジタル信号に変換する前記アナログ信号のゲインを調整可能である、撮像装置。
  2.  前記参照信号は、参照信号生成器により生成され、
     前記第1の変換部に対して前記参照信号生成器が設けられる位置、および前記参照信号生成器と前記第1の変換部とを結ぶ配線と、前記第2の変換部に対して前記参照信号生成器が設けられる位置、および前記参照信号生成器と前記第2の変換部とを結ぶ配線とは、対称性を有する、請求項1に記載の撮像装置。
  3.  前記撮像部と前記第1の変換部との間に電気的に接続され、前記第1の変換部と電気的に接続される前記画素回路を切り替える第1の切替部と、
     前記撮像部と前記第2の変換部との間に電気的に接続され、前記第2の変換部と電気的に接続される前記画素回路を切り替える第2の切替部と、
     をさらに備え、
     前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号、または、前記撮像部を構成する異なる前記画素回路から出力される前記アナログ信号を、デジタル信号に変換する、請求項1に記載の撮像装置。
  4.  前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御と、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御と、前記第1の切替部および前記第2の切替部における接続の切り替えの制御とを行う制御部を、さらに備える、請求項3に記載の撮像装置。
  5.  前記制御部は、前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインの制御と、前記接続の切り替えの制御とを行う、請求項4に記載の撮像装置。
  6.  前記第1の変換部は、前記アナログ信号をデジタル信号に変換する変換回路を有する、請求項1に記載の撮像装置。
  7.  前記ゲインを調整可能な前記第1の変換部が有する前記変換回路は、コンパレータを含み、前記コンパレータにおける前記参照信号が印加される端子と、前記画素回路と電気的に接続される端子とに接続される容量の容量比が切り替えられることにより、前記ゲインが調整される、請求項6に記載の撮像装置。
  8.  前記第2の変換部は、前記アナログ信号をデジタル信号に変換する変換回路を有する、請求項1に記載の撮像装置。
  9.  前記ゲインを調整可能な前記第2の変換部が有する前記変換回路は、コンパレータを含み、前記コンパレータにおける前記参照信号が印加される端子と、前記画素回路と電気的に接続される端子とに接続される容量の容量比が切り替えられることにより、前記ゲインが調整される、請求項8に記載の撮像装置。
  10.  前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御と、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御とを行う制御部を、さらに備える、請求項1に記載の撮像装置。
  11.  前記制御部は、前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインの制御を行う、請求項10に記載の撮像装置。
  12.  光電変換を行う複数の画素回路を有する撮像部と、
     前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第1の変換部と、
     前記撮像部を構成する前記画素回路から出力されるアナログ信号を、デジタル信号に変換する第2の変換部と、
     前記撮像部と前記第1の変換部との間に電気的に接続され、前記第1の変換部と電気的に接続される前記画素回路を切り替える第1の切替部と、
     前記撮像部と前記第2の変換部との間に電気的に接続され、前記第2の変換部と電気的に接続される前記画素回路を切り替える第2の切替部と、
     を備え、
     前記第1の変換部と前記第2の変換部とには、アナログ-デジタル変換に用いられる同一の参照信号が供給され、
     前記第1の変換部と前記第2の変換部とは、前記撮像部を構成する同一の前記画素回路から出力される前記アナログ信号、または、前記撮像部を構成する異なる前記画素回路から出力される前記アナログ信号を、デジタル信号に変換し、
     前記第1の変換部と前記第2の変換部との一方または双方は、デジタル信号に変換する前記アナログ信号のゲインを調整可能である、撮像装置において実行される、制御方法であって、
     前記撮像装置のユーザの操作に応じた操作信号、または、前記撮像装置の状態に基づいて、前記ゲインを調整可能な前記第1の変換部における前記ゲインの制御、前記ゲインを調整可能な前記第2の変換部における前記ゲインの制御、および前記第1の切替部および前記第2の切替部における接続の切り替えの制御のうちの1または2以上を行うステップを有する、制御方法。
PCT/JP2017/004905 2016-05-25 2017-02-10 撮像装置、および制御方法 WO2017203752A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/301,103 US20190191119A1 (en) 2016-05-25 2017-02-10 Imaging device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-103856 2016-05-25
JP2016103856A JP2017212564A (ja) 2016-05-25 2016-05-25 撮像装置、および制御方法

Publications (1)

Publication Number Publication Date
WO2017203752A1 true WO2017203752A1 (ja) 2017-11-30

Family

ID=60411273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004905 WO2017203752A1 (ja) 2016-05-25 2017-02-10 撮像装置、および制御方法

Country Status (3)

Country Link
US (1) US20190191119A1 (ja)
JP (1) JP2017212564A (ja)
WO (1) WO2017203752A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508427A (zh) * 2019-01-30 2020-08-07 夏普株式会社 显示装置
US20230247324A1 (en) * 2020-06-08 2023-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging element

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207433A (ja) * 2012-03-28 2013-10-07 Sony Corp 固体撮像装置、撮像信号出力方法および電子機器
JP2014007527A (ja) * 2012-06-22 2014-01-16 Canon Inc 固体撮像装置
JP2016025427A (ja) * 2014-07-17 2016-02-08 ルネサスエレクトロニクス株式会社 半導体装置、ランプ信号の制御方法、画像データ生成方法及びカメラシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012124729A (ja) * 2010-12-09 2012-06-28 Sony Corp 撮像素子および撮像装置
JP2012253624A (ja) * 2011-06-03 2012-12-20 Sony Corp 固体撮像装置およびカメラシステム
FR3006500B1 (fr) * 2013-06-04 2016-10-28 Centre Nat De La Rech Scient - Cnrs - Capteur cmos a photosites standard
JP6037947B2 (ja) * 2013-06-11 2016-12-07 ルネサスエレクトロニクス株式会社 固体撮像装置および半導体装置
CN110233978B (zh) * 2014-02-07 2022-03-11 拉姆伯斯公司 馈通补偿图像传感器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207433A (ja) * 2012-03-28 2013-10-07 Sony Corp 固体撮像装置、撮像信号出力方法および電子機器
JP2014007527A (ja) * 2012-06-22 2014-01-16 Canon Inc 固体撮像装置
JP2016025427A (ja) * 2014-07-17 2016-02-08 ルネサスエレクトロニクス株式会社 半導体装置、ランプ信号の制御方法、画像データ生成方法及びカメラシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508427A (zh) * 2019-01-30 2020-08-07 夏普株式会社 显示装置
US20230247324A1 (en) * 2020-06-08 2023-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging element

Also Published As

Publication number Publication date
US20190191119A1 (en) 2019-06-20
JP2017212564A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
WO2020110679A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020072317A (ja) センサ及び制御方法
US20220201204A1 (en) Data processing device, data processing method, and program
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088480A (ja) 固体撮像素子、および、撮像装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US20240163588A1 (en) Solid-state imaging element and imaging device
JP2020099015A (ja) センサ及び制御方法
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2019092999A1 (ja) 半導体集積回路、および、撮像装置
WO2017203752A1 (ja) 撮像装置、および制御方法
JP2021170691A (ja) 撮像素子、制御方法、および電子機器
WO2017212722A1 (ja) 制御装置及び制御方法
WO2022196079A1 (ja) 固体撮像素子及び撮像装置
WO2022172586A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021095560A1 (ja) イベント検出装置
WO2021220682A1 (ja) 撮像装置
WO2020179288A1 (ja) 光検出装置
US20220224846A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
JP7129983B2 (ja) 撮像装置
WO2020090311A1 (ja) 固体撮像素子
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802354

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802354

Country of ref document: EP

Kind code of ref document: A1