WO2021229983A1 - 撮像装置及びプログラム - Google Patents

撮像装置及びプログラム Download PDF

Info

Publication number
WO2021229983A1
WO2021229983A1 PCT/JP2021/015371 JP2021015371W WO2021229983A1 WO 2021229983 A1 WO2021229983 A1 WO 2021229983A1 JP 2021015371 W JP2021015371 W JP 2021015371W WO 2021229983 A1 WO2021229983 A1 WO 2021229983A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
detection unit
flicker
vehicle
Prior art date
Application number
PCT/JP2021/015371
Other languages
English (en)
French (fr)
Inventor
大祐 片岡
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021229983A1 publication Critical patent/WO2021229983A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • This disclosure relates to an imaging device and a program.
  • An image sensor having a plurality of pixels having different sensitivities can generate an HDR (High Dynamic Range) image by synthesizing a plurality of pixel values.
  • HDR High Dynamic Range
  • LED flicker due to the composition of pixels affected by LED (Light Emitting Diode) blinking of a traffic light and pixels not affected by blinking may become a problem.
  • the exposure time is controlled to be sufficiently long for all pixels, for example, about 11 msec with respect to 50 Hz, blurring of moving objects due to long-time exposure becomes a problem.
  • the present disclosure provides an imaging device that appropriately detects the state of the signal acquired in the pixel.
  • the image pickup apparatus includes a first pixel, a second pixel, and a detection unit.
  • the first pixel has the first sensitivity.
  • the second pixel has a second sensitivity that is lower than the first sensitivity.
  • the detection unit is based on the brightness information and saturation information of the first pixel signal output from the first pixel and the brightness information and saturation information of the second pixel signal output from the second pixel. Detect the state.
  • the image pickup apparatus may further include a control unit that controls shooting by the first pixel and the second pixel.
  • the control unit may control the exposure time of the second pixel longer than the exposure time of the first pixel.
  • the detection unit may detect the pixel in which the flicker is photographed based on the information of the first pixel signal and the second pixel signal.
  • the detection unit may detect that the flicker is a photographed pixel when the brightness of the first pixel signal is lower than the brightness of the pixel of the second pixel signal.
  • the detection unit may further detect that the pixel is a flicker photographed when the saturation of the first pixel signal is lower than the saturation of the second pixel signal.
  • the detection unit may detect the area where the LED is used as the subject based on the pixel in which the flicker is photographed.
  • the detection unit may detect the area where the LED is used as the area of the traffic light.
  • the image pickup apparatus may further include a signal processing unit that restores the pixel values of the pixels in which the detection unit has detected flicker from the pixel values of the pixels in which the detection unit has not detected flicker.
  • the signal processing unit may restore the pixel value of the pixel in which the flicker is detected based on the ratio of the luminance value of the first pixel signal and the luminance value of the second pixel signal.
  • the signal processing unit may emphasize the saturation of the pixel in which the flicker is detected and restore the pixel value of the pixel in which the flicker is detected.
  • the signal processing unit may execute signal processing on the pixel in which flicker is detected by using the restored pixel value.
  • the signal processing unit may execute signal processing using the restored pixel value as the pixel value of the first pixel signal.
  • the signal processing unit may execute HDR (High Dynamic Range) synthesis based on the restored pixel values.
  • HDR High Dynamic Range
  • the detection unit may detect that the pixel value is saturated in the first pixel when the saturation of the first pixel signal is lower than the saturation of the second pixel signal.
  • the control unit may control the exposure time of the first pixel based on the state in which saturation occurs.
  • FIG. 1 is a block diagram schematically showing an image pickup apparatus according to an embodiment.
  • the image pickup apparatus 1 includes at least a pixel 10, a detection unit 12, a state detection unit 14, a signal processing unit 16, an object detection unit 18, and a control unit 20.
  • the image pickup apparatus 1 appropriately includes a storage unit for storing data, an output unit for outputting a reconstructed image based on a signal acquired from a pixel, and the like, as appropriate.
  • Pixel 10 is a sensor unit that receives light in the image pickup device 1.
  • the pixel 10 is configured to include, for example, a photoelectric conversion element such as a photodiode, and acquires the intensity of the received light as an analog signal.
  • a photoelectric conversion element such as a photodiode
  • an A / D conversion unit (not shown) that converts an analog signal into a digital signal may be connected to the pixel 10, and a digital signal appropriately converted by the A / D conversion unit or the like is a pixel signal. Is output as.
  • FIG. 2 is a diagram showing an arrangement of pixels 10 according to an embodiment.
  • the pixel 10 may be provided, for example, in two dimensions or more as shown in the figure, and may form a pixel array 100.
  • the arrangement and shape of the pixels are not limited to the case shown in FIG. 2, and may be any configuration as long as the image of the subject can be appropriately acquired.
  • the shape of the pixel 10 is not limited to a square, but may be an arbitrary rectangle, or may be a hexagon, an octagon, or the like.
  • the size of the pixel 10 does not have to be the same over the pixel array 100, and the pixels 10 having different sizes may be mixed in the pixel array 100. Further, the arrangement does not have to be in the form of an array of approximately 90 degrees.
  • the shape of the pixels may be hexagonal, and the pixel array 100 may be provided with the pixels in a honeycomb shape.
  • pixel 10 includes a first pixel 10A and a second pixel 10B. These first pixel 10A and second pixel 10B may have different imaging characteristics. For example, as shown below, each pixel may have different sensitivities.
  • the first pixel 10A is a pixel having a first sensitivity which is higher sensitivity than the second pixel 10B.
  • the first pixel 10A has a higher sensitivity than, for example, the second pixel 10B, but has a shorter exposure time to perform shooting.
  • the first pixel 10A can acquire a higher luminance value than the second pixel 10B in a state where a filter or the like of the same color is provided. As a result, the first pixel 10A may be able to obtain a higher saturation value than the second pixel 10B.
  • the first pixel 10A outputs the first pixel signal.
  • This first pixel signal contains at least luminance information.
  • a signal having a saturation in which a color is mixed with the surrounding first pixel signal may be included.
  • the saturation may be output as a signal received through a monochromatic filter.
  • the second pixel 10B is a pixel having a second sensitivity, which is lower than the first sensitivity.
  • the second pixel 10B has a lower sensitivity than the first pixel 10A, while the exposure time is longer than the first pixel 10A, so that a good signal can be obtained even in a region where the first pixel 10A is saturated. Can be obtained.
  • the second pixel 10B outputs the second pixel signal.
  • This second pixel signal basically includes a signal of the same type as the first pixel signal. That is, the second pixel signal may be a signal including the luminance information and the saturation information acquired by the second pixel 10B.
  • the detection unit 12 detects the pixel signal output from the pixel 10.
  • the detection unit 12 acquires, for example, a luminance value and a saturation value from the first pixel signal and the second pixel signal output from each pixel, and performs detection.
  • the detection is, for example, a process of comparing the luminance value and the saturation value of the pixel signal with a predetermined threshold value to determine whether these signal values are high or low.
  • the detection unit 12 may include a first detection unit 12A and a second detection unit 12B.
  • the first detection unit 12A executes detection of the first image signal output from the first pixel 10A
  • the second detection unit 12B executes detection of the second image signal output from the second pixel 10B.
  • the determination result of the detection unit 12 is output to the state detection unit 14 and the control unit 20.
  • the state detection unit 14 detects the state of the pixel 10 provided with the first pixel 10A and the second pixel 10B based on the detection result acquired from the detection unit 12.
  • the state detection unit 14 determines, for example, whether or not the information of the subject in which the flicker has occurred in each pixel 10 is acquired based on the outputs from the first detection unit 12A and the second detection unit 12B. Further, the state detection unit 14 detects, for example, whether or not the amount of light received by the first pixel 10A is saturated in each pixel 10.
  • the signal processing unit 16 executes appropriate processing for the output from the pixel 10 based on the output of the state detection unit 14.
  • the signal processing unit 16 may generate HDR-combined signal values based on, for example, the first image signal and the second image signal. This composition may be performed pixel by pixel or may be performed over the entire image.
  • the signal processing unit 16 may further correct the luminance value or saturation value of the first pixel 10A based on the output of the state detection unit 14.
  • the signal processing unit 16 may perform HDR synthesis using the first pixel signal, which is a high-sensitivity signal, and the second pixel signal, which is a low-sensitivity signal, as in general processing. .. Further, the signal processing unit 16 can also correct the first pixel signal based on the relationship between the first pixel signal and the second pixel signal before performing HDR composition.
  • the signal processing unit 16 acquires the first pixel signal and the second pixel signal via the state detection unit 14, and generates an image based on the signal and the result detected by the state detection unit 14. May be good. In this way, the signal processing unit 16 may perform a process of generating an image from the pixel signal. As another form, the image itself may be generated by an image generation unit (not shown), and the signal processing unit 16 may synthesize, for example, a value corrected with a luminance value or a saturation value with the generated image.
  • the object detection unit 18 detects an object based on the image signal processed by the signal processing unit 16.
  • the object detection unit 18 may detect, for example, a region in the image where LED flicker is generated based on the result of processing by the signal processing unit 16. More specifically, this area may be detected as an area where LEDs may be used.
  • the area where the LED flicker is generated may be detected as, for example, the illumination area of the traffic signal. For example, these detections may be performed by the state detection unit 14.
  • the control unit 20 executes control on the pixel 10, that is, the first pixel 10A and the second pixel 10B.
  • the control of the pixel 10 is, for example, an image pickup process, for example, the pixel 10 receives light and outputs a pixel signal based on the exposure time and frame rate controlled by the control unit 20.
  • the control unit 20 may execute this control using, for example, the detection result output by the detection unit 12. Further, as another example, control may be executed using the data output by the state detection unit 14, the signal processing unit 16, or the object detection unit 18.
  • the control unit 20 controls, for example, to take a picture with the exposure time of the second pixel 10B longer than that of the first pixel 10A.
  • FIG. 3 is a diagram schematically showing the pixel 10 according to the embodiment. For example, nine pixels 10 are shown, and the pixel array 100 is provided with a combination of pixels as shown in FIG. 3 in an array. The area surrounded by the solid line indicates one pixel 10, and the dotted line indicates the boundary between the first pixel 10A and the second pixel 10B.
  • G is a pixel that receives green light
  • R is a pixel that receives red light
  • B is a pixel that receives blue light.
  • the color to be received may be determined by the color filter, or the color of the light acquired by the photoelectric conversion element may be selectively determined by the organic photoelectric conversion film or the like.
  • the color arrangement is assumed to be a Bayer array as an example, but it is not limited to the Bayer array, and if information such as brightness and saturation can be appropriately acquired, it may be another array such as RGB-W. It doesn't matter.
  • one pixel 10 includes, for example, a substantially regular octagonal first pixel 10A and a substantially square second pixel 10B. Each pixel 10 may include the first pixel 10A and the second pixel 10B.
  • the first pixel 10A has a wider light receiving area than the second pixel 10B.
  • the first pixel 10A can function as a pixel with higher sensitivity than the second pixel 10B.
  • the sensitivity of the second pixel 10B is inferior to that of the first pixel 10A, it does not saturate even if it is exposed for a long time so that the first pixel 10A is saturated, and it has a wider luminance region than the first pixel 10A. It can function as a pixel to have.
  • HDR composition can be performed by the pixels having the first pixel 10A and the second pixel 10B provided at substantially the same position.
  • FIG. 4 is a diagram showing another example schematically showing the pixel 10. Similar to FIG. 3, the area shown by the solid line indicates one pixel 10, and the dotted line indicates the boundary between the first pixel 10A and the second pixel 10B. Further, the meaning and arrangement of RGB are the same as those in FIG.
  • the arrangement of the second pixel 10B is alternately arranged in the opposite direction with respect to the first pixel 10A. May be.
  • the present invention is not limited to this, and any arrangement may be used as long as the first pixel 10A and the second pixel 10B are appropriately arranged.
  • the first pixel 10A cannot receive light
  • the second pixel 10B can receive light, such as the LED lighting outside the exposure time of the first pixel 10A. That is, in a subject in which such flicker occurs, a luminance reversal phenomenon occurs in which the luminance and saturation acquired by the second pixel 10B are higher than the luminance and saturation acquired by the first pixel 10A.
  • the first pixel brightness low
  • the second pixel brightness high
  • the first pixel saturation low
  • the second pixel saturation high.
  • the light cannot be received in the first pixel 10A, but in the second pixel 10B. May be determined to be able to receive light. That is, in such a case, it may be determined that flicker has occurred.
  • the state detection unit 14 may determine that flicker may have occurred if at least (luminance of the first pixel signal) ⁇ (luminance of the second pixel signal). Further, as described above, the state detection unit 14 may further confirm that (saturation of the first pixel signal) ⁇ (saturation of the second pixel signal) and detect flicker.
  • the state detection unit 14 may determine that the pixel 10 has taken a flicker as a subject.
  • the state detection unit 14 acquires such a case from the detection unit 12, it determines that the LED in which the flicker is generated is the subject in the pixel, and detects that the flicker has occurred.
  • the signal processing unit 16 that has received this determination may correct the luminance value of the first pixel signal and perform signal processing, for example, HDR synthesis using the corrected luminance value and saturation value.
  • the signal processing unit 16 may add a flag to the first pixel signal that the pixel has flicker and output the signal.
  • the signal processing unit 16 may output with emphasis on saturation instead of correcting the luminance value of the first pixel signal.
  • FIG. 6 is a diagram showing an example of acquisition of the luminance of the first pixel 10A and the second pixel 10B. Using this figure, some examples of correction of the first pixel signal will be described.
  • the luminance value of the first pixel signal and the luminance value of the second pixel signal are higher than the luminance value of the first pixel signal based on the sensitivity.
  • the luminance value of the first pixel signal may be lower than the luminance value of the second pixel signal depending on the exposure timing.
  • the signal processing unit 16 may correct the luminance value of the first pixel signal by using the ratio ⁇ of the luminance value of the first pixel signal and the luminance value of the second pixel signal when there is no flicker. good. That is, when it is detected that flicker has occurred, the signal processing unit 16 may multiply the luminance value of the second pixel signal by ⁇ to correct the luminance value of the first pixel signal.
  • the present invention is not limited to this, and for example, the signal value may be corrected based on the signal value of the pixel 10 around the pixel 10 of interest.
  • the signal processing unit 16 may perform correction using the signal values of the pixels 10 of the lines before and after the images taken at different timings.
  • other correction methods using the surrounding pixel values can also be applied.
  • the signal processing unit 16 extracts the pixel 10 that does not detect flicker or the pixel 10 that is unlikely to have flicker from the output of the detection unit 12 of the surrounding pixels 10, and the signal value thereof. May be used to make corrections.
  • the signal processing unit 16 may correct the signal value by emphasizing the saturation instead of the luminance value of the first pixel signal. For example, as in the case of ⁇ described above, the ratio ⁇ of the saturation values of the first pixel signal and the second pixel signal in the case of no flicker is used, and the saturation of the second pixel signal is multiplied by ⁇ to obtain the first pixel signal. It may be adopted as the saturation of.
  • the signal processing unit 16 may perform correction based on the signal value of the pixel 10 of interest, or may further perform correction based on the signal value of the peripheral pixel 10.
  • the image pickup apparatus 1 may determine that the area including the pixel is, for example, the area where the illumination of the traffic signal is present.
  • the control unit 20 may determine that the exposure time of the first pixel 10A is long and control to shorten the exposure time of the first pixel 10A. ..
  • the signal processing unit 16 may correct the signal value of the pixel 10 by using the signal values of the surrounding pixels 10, for example, assuming that the detection result of the pixel contains noise.
  • the exposure time may be set for each pixel, but the cost may be high. Therefore, for example, in the pixel 10 existing in the pixel array 100, in an environment where the number of pixels 10 in which the first pixel 10A is saturated is a predetermined number or more, the control unit 20 sets the exposure time of the first pixel 10A. It may be controlled short. Further, after the control in this way, if the luminance value of the first pixel signal does not become higher than the predetermined value in the predetermined period, the control unit 20 again lengthens the exposure time of the first pixel 10A. You may. By controlling in this way, for example, even when moving to a bright place or moving to a dark place, it is possible to appropriately receive light in the first pixel 10A.
  • LED detection information useful for ADAS Advanced Driver-Assistance System
  • object detection processing of automatic driving etc.
  • the accuracy of the can be improved.
  • LED flicker can be detected by comparing the brightness between the first pixel and the second pixel with different sensitivities
  • LED detection is possible with a simple circuit, and it is possible to realize an image sensor with an LED detection function in the pixel. Become. Furthermore, by setting different exposure times for each pixel, the dynamic range in HDR can be further expanded.
  • the above processing may be implemented by an analog circuit or a digital circuit at an appropriate place. Further, when information processing by software is specifically realized by hardware resources, an appropriate program may be stored in a storage unit, and this program may be executed by a processor or the like. A part or all of it may be executed by a program, or it may be realized by appropriately separating the processing from a specialized analog circuit or digital circuit.
  • all the mountings may be realized by a first board including the pixel array 100 and a circuit formed on the second board laminated on the first board.
  • These substrates may be semiconductor devices (image sensors) laminated by the method of CoC, CoW, or WoW. Further, as another example, a semiconductor device in which these functions are formed as one chip may be used.
  • the technology related to this disclosure can be applied to various products.
  • the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
  • FIG. 7 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670,
  • the vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 8 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 8 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 can be obtained.
  • the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives the detection information from the connected vehicle outside information detection unit 7420.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 for detecting the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
  • -Definition Link and other wired connections may be established.
  • the in-vehicle device 7760 includes, for example, at least one of a passenger's mobile device or wearable device, or an information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device for searching a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 may be a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the image pickup apparatus 1 is a part of the image pickup unit 7410 of the application example shown in FIG. 7, or an outside information detection unit. It can be applied to a part of 7420.
  • the image pickup unit 7410 includes the image pickup device 1 shown in FIG. 1, the output thereof is processed by the vehicle outside information detection unit 7420, and the signal transmission / reception from the power supply device 22 is transmitted / received by the microcomputer 7610 or the like of the integrated control unit 7600. You may go.
  • the image pickup device 1 of the present embodiment can be used as the positioning device in the moving body.
  • the first pixel with the first sensitivity and A second pixel having a second sensitivity lower than the first sensitivity The pixel state is determined based on the brightness information and saturation information of the first pixel signal output from the first pixel and the brightness information and saturation information of the second pixel signal output from the second pixel.
  • the detector to detect and An image pickup device equipped with.
  • the control unit controls the exposure time of the second pixel longer than the exposure time of the first pixel.
  • the detection unit detects the pixel in which the flicker is photographed based on the information of the first pixel signal and the second pixel signal.
  • the detection unit detects that the flicker is a photographed pixel.
  • the imaging device according to (4).
  • the detection unit further detects that the pixel is a pixel in which the flicker is photographed when the saturation of the first pixel signal is lower than the saturation of the second pixel signal.
  • the detection unit detects an area where the LED is used as a subject based on the pixel in which the flicker is photographed.
  • the image pickup apparatus according to any one of (4) to (6).
  • the detection unit detects the area where the LED is used as the area of the traffic light.
  • the imaging device according to (7).
  • the signal processing unit restores the pixel value of the pixel in which flicker is detected based on the ratio of the luminance value of the first pixel signal and the luminance value of the second pixel signal.
  • the imaging device according to (9).
  • the signal processing unit emphasizes the saturation of the pixel in which the flicker is detected, and restores the pixel value of the pixel in which the flicker is detected.
  • the imaging device according to (9).
  • the signal processing unit executes signal processing on the pixel in which flicker is detected by using the restored pixel value.
  • the image pickup apparatus according to any one of (9) to (11).
  • the signal processing unit executes signal processing using the restored pixel value as the pixel value of the first pixel signal.
  • the signal processing unit executes HDR (High Dynamic Range) synthesis based on the restored pixel values.
  • HDR High Dynamic Range
  • the detection unit detects that the pixel value is saturated in the first pixel when the saturation of the first pixel signal is lower than the saturation of the second pixel signal.
  • the image pickup apparatus according to any one of (3) to (14).
  • the control unit controls the exposure time of the first pixel based on the state in which saturation occurs.
  • the imaging device according to (15).
  • the aspect of the present disclosure is not limited to the above-mentioned embodiment, but also includes various possible modifications, and the effect of the present disclosure is not limited to the above-mentioned contents.
  • the components in each embodiment may be applied in appropriate combinations. That is, various additions, changes and partial deletions are possible without departing from the conceptual idea and purpose of the present disclosure derived from the contents specified in the claims and their equivalents.
  • Imaging device 10: Pixel, 10A: 1st pixel, 10B: 2nd pixel, 100: Pixel array, 12: Detection section, 12A: 1st detection section, 12B: 2nd detection section, 14: Status detector, 16: Signal processing unit, 18: Object detector, 20: Control unit,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

画素において取得された信号の状態を適切に検出する。撮像装置は、第1画素と、第2画素と、検出部と、を備える。前記第1画素は、第1感度を有する。前記第2画素は、前記第1感度よりも低い第2感度を有する。前記検出部は、前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する。

Description

撮像装置及びプログラム
　本開示は、撮像装置及びプログラムに関する。
　異なる感度を有する複数の画素を備えたイメージセンサは、複数画素値の合成によりHDR（High Dynamic Range）画像を生成することが可能である。このような複数の画素値の合成を行う場合、信号機等のLED（Light Emitting Diode）点滅の影響がある画素とない画素との合成によるLEDフリッカが問題となることがある。LEDフリッカを抑制するために、全ての画素において露光時間を十分長く、例えば、50Hzに対して11 msec程度になるように制御すると、長時間の露光による動体のブレ等が問題となる。
特開2004-208000号公報
　そこで、本開示では、画素において取得された信号の状態を適切に検出する撮像装置を提供する。
　一実施形態によれば、撮像装置は、第1画素と、第2画素と、検出部と、を備える。第1画素は、第1感度を有する。第2画素は、第1感度よりも低い第2感度を有する。検出部は、第1画素から出力される第1画素信号の輝度情報及び彩度情報と、第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する。
　撮像装置は、第1画素及び第2画素による撮影の制御をする制御部、をさらに備えてもよい。
　制御部は、第1画素の露光時間よりも第2画素の露光時間を長く制御してもよい。
　検出部は、第1画素信号及び第2画素信号の情報に基づいて、フリッカを撮影した画素を検出してもよい。
　検出部は、第1画素信号の輝度が第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出してもよい。
　検出部はさらに、第1画素信号の彩度が第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出してもよい。
　検出部は、フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出してもよい。
　検出部は、LEDが使用されている領域を信号機の領域として検出してもよい。
　撮像装置は、検出部がフリッカを検出しなかった画素の画素値から、検出部がフリッカを検出した画素の画素値を復元する、信号処理部をさらに備えてもよい。
　信号処理部は、第1画素信号の輝度値と、第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元してもよい。
　信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元してもよい。
　信号処理部は、フリッカが検出された画素について、復元された画素値を用いて信号処理を実行してもよい。
　信号処理部は、復元された画素値を第1画素信号の画素値として信号処理を実行してもよい。
　信号処理部は、復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行してもよい。
　検出部は、第1画素信号の彩度が第2画素信号の彩度よりも低い場合に、第1画素において画素値が飽和していることを検出してもよい。
　制御部は、飽和の発生している状態に基づいて、第1画素の露光時間を制御してもよい。
一実施形態に係る撮像装置を模式的に示すブロック図。 一実施形態に係る撮像装置の画素アレイを模式的に示す図。 一実施形態に係る画素の一例を模式的に示す図。 一実施形態に係る画素の一例を模式的に示す図。 一実施形態に係る画素の輝度と彩度による検出の一例を示す図。 一実施形態に係る画素の輝度の様子を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図１は、一実施形態に係る撮像装置を模式的に示すブロック図である。撮像装置1は、画素10と、検波部12と、状態検出部14と、信号処理部16と、物体検出部18と、制御部20と、を少なくとも備える。この他、撮像装置1は、適切に、データを記憶するための記憶部、画素から取得された信号に基づいて再構成された画像を出力する出力部等を、適宜必要な処理系を備える。
　画素10は、撮像装置1における受光を行うセンサ部である。この画素10は、例えば、フォトダイオード等の光電変換素子を備えて構成され、受光した光の強度をアナログ信号として取得する。画素10には、例えば、アナログ信号をデジタル信号へと変換するA/D変換部等（図示しない）が接続されてもよく、A/D変換部等により適切に変換されたデジタル信号が画素信号として出力される。
　図２は、一実施形態に係る画素10の配置を示す図である。画素10は、例えば、図に示すような2次元のあれ以上に備えられ、画素アレイ100を構成してもよい。画素の配置及び形状は、図２のような場合に限られず、適切に被写体の画像を取得できる構成であればよい。例えば、画素10の形状は、正方形に限られず、任意の矩形であってもよいし、六角形、八角形等の形状であってもよい。
　また、画素10の大きさは、画素アレイ100に亘り同じ大きさではなくともよく、異なる大きさの画素10が画素アレイ100内に混在していてもよい。また、配置も、ほぼ90度のアレイ状出なくともよく、例えば、画素の形状が六角形であり、画素アレイ100には、画素がハニカム状に備えられるものであってもよい。
　図１に戻り、画素10は、第1画素10Aと、第2画素10Bと、を備える。これらの第1画素10Aと第2画素10B異なる撮像特性を有していてもよい。例えば、以下に示すように、各画素は、異なる感度を備えてもよい。
　第1画素10Aは、第2画素10Bよりも高い感度である第1感度を有する画素である。第1画素10Aは、例えば、第2画素10Bよりも高い感度を有する一方で、露光時間を短く撮影を実行する。第1画素10Aは、同じ色のフィルタ等が備えられる状態においては、第2画素10Bよりも高い輝度値を取得することが可能である。この結果、さらに、第1画素10Aは、第2画素10Bよりも高い彩度値を取得できる場合もある。
　第1画素10Aは、第1画素信号を出力する。この第1画素信号は、少なくとも輝度の情報を含む。また、第1画素信号として、周囲の第1画素信号と色を混合した彩度の信号を含んでもよい。また、単色のフィルタを介して受光した信号として彩度を出力してもよい。
　第2画素10Bは、第1感度よりも低い感度である第2感度を有する画素である。第2画素10Bは、例えば、第1画素10Aよりも低い感度を有する一方で、露光時間を第1画素10Aよりも長くとることにより、第1画素10Aが飽和するような領域でも良好な信号を取得することができる。
　第2画素10Bは、第2画素信号を出力する。この第2画素信号は、基本的には、第1画素信号と同じ種類の信号を含む。すなわち、第2画素信号は、第2画素10Bにより取得された輝度情報と、彩度情報と、を含む信号であってもよい。
　検波部12は、画素10から出力された画素信号について、検波を実行する。検波部12は、例えば、それぞれの画素から出力された第1画素信号及び第2画素信号から輝度値、彩度値を取得して検波を行う。ここで、検波とは、例えば、画素信号の輝度値、彩度値と、所定の閾値とを比較して、これらの信号値が高いか、低いか、を判定する処理である。
　検波部12は、第1検波部12Aと、第2検波部12Bと、を備えていてもよい。第1検波部12Aは、第1画素10Aから出力された第1画像信号について検波を実行し、第2検波部12Bは、第2画素10Bから出力された第2画像信号について検波を実行する。検波部12の判定結果は、状態検出部14と、制御部20へと出力される。
　状態検出部14は、検波部12から取得した検波結果に基づいて、第1画素10A及び第2画素10Bが備えられる画素10の状態を検出する。状態検出部14は、例えば、第1検波部12A及び第2検波部12Bからの出力に基づいて、それぞれの画素10においてフリッカが発生した被写体の情報を取得したか否かを判定する。また、状態検出部14は、例えば、それぞれの画素10において、特に、第1画素10Aが受光した光量が飽和しているか否かを検出する。
　信号処理部16は、状態検出部14の出力に基づいて、画素10からの出力に適切な処理を実行する。信号処理部16は、例えば、第1画像信号及び第2画像信号に基づいて、HDR合成した信号値を生成してもよい。この合成は、画素ごとに行ってもよいし、画像全体に亘って行ってもよい。信号処理部16はさらに、状態検出部14の出力に基づいて、第1画素10Aの輝度値又は彩度値を補正してもよい。
　すなわち、信号処理部16は、一般的な処理と同様に、高感度の信号である第1画素信号と、低感度の信号である第2画素信号とを用いて、HDR合成をしてもよい。さらに、信号処理部16は、第1画素信号と第2画素信号との関係に基づいて、HDR合成をする前に、第1画素信号を補正することもできる。
　また、信号処理部16は、状態検出部14を介して第1画素信号及び第2画素信号を取得し、この信号、及び、状態検出部14が検出した結果に基づいて、画像を生成してもよい。このように、信号処理部16において、画素信号から画像を生成する処理を行ってもよい。別の形態として、画像自体は、図示しない画像生成部で生成し、信号処理部16は、生成された画像に、例えば、輝度値又は彩度値を補正した値を合成してもよい。
　物体検出部18は、信号処理部16が処理した画像信号に基づいて、物体の検出を実行する。本実施形態においては、物体検出部18は、例えば、画像中におけるLEDフリッカが発生している領域を信号処理部16が処理した結果に基づいて検出してもよい。より具体的には、この領域をLEDが使用されている可能性がある領域として検出してもよい。LEDフリッカが発生している領域は、例えば、交通信号機の照明領域として検出してもよい。例えば、これらの検出は、状態検出部14で検出を行ってもよい。
　物体検出部18は、例えば、交通信号機の照明領域を検出した場合、この領域を画像情報と合わせて出力してもよい。撮像装置1に接続される処理装置は、例えば、この物体検出部18の出力に基づいて適切な処理を行ってもよい。例えば、自動車に撮像装置1及び処理装置が搭載され、撮像装置1により交通信号機の照明領域を抽出した後に、処理装置により交通信号機の色の判断をして、運転手に提示したり、自動運転をしたりしてもよい。
　制御部20は、画素10、すなわち、第1画素10A及び第2画素10Bについての制御を実行する。画素10についての制御とは、例えば、撮像する処理であり、例えば、制御部20の制御する露光時間、フレームレートに基づいて、画素10が光を受光し、画素信号を出力する。制御部20は、例えば、検波部12が出力した検波結果を用いてこの制御を実行してもよい。また、別の例として、状態検出部14、信号処理部16、又は、物体検出部18が出力したデータを用いて制御を実行してもよい。制御部20は、例えば、第1画素10Aよりも第2画素10Bの露光時間を長くして撮影するように制御する。
　次に、画素10内における第1画素10A及び第2画素10Bの配置等について説明する。
　図３は、一実施形態に係る画素10を模式的に示す図である。例えば、9つの画素10が示されているが、画素アレイ100には、この図３に示すような組み合わせの画素がアレイ状に備えられる。実線で囲まれた領域が1つの画素10を示し、点線が、第1画素10Aと第2画素10Bとの境界を示す。
　図面中、Gは、緑の受光をする画素、Rは、赤の受光をする画素、Bは、青の受光をする画素とする。これらの色は、カラーフィルタにより受光する色が決定されてもよいし、有機光電変換膜等により、選択的に光電変換素子が取得する光の色が決定されてもよい。なお、色の並び方は、一例としてベイヤ配列であるとするが、ベイヤ配列に限られることなく、適切に輝度、彩度等の情報を取得できるのであれば、RGB-Wといった他の配列であってもかまわない。
　上述したように、1つの画素10は、例えば、略正八角形状の第1画素10Aと、略正方形の第2画素10Bと、を備える。それぞれの画素10が、この第1画素10Aと、第2画素10Bを備えていてもよい。
　第1画素10Aは、第2画素10Bよりも広い受光領域を有する。この結果、第1画素10Aは、第2画素10Bよりも高感度の画素として機能することができる。一方で、第2画素10Bは、第1画素10Aよりも感度は劣るものの、第1画素10Aが飽和するような長時間露光を行っても飽和せず、第1画素10Aよりも広い輝度領域を有する画素として機能することができる。
　このように、略同じ位置に備えられる第1画素10Aと第2画素10Bを備える画素により、HDR合成をすることが可能となる。
　図４は、画素10を模式的に示す別の例を示す図である。図３と同様に、実線で示された領域が1つの画素10を示し、点線が、第1画素10Aと第2画素10Bとの境界を示す。また、RGBの意味及び配列等についても、図３と同様である。
　この図４に示すように、図３の第1画素10Aと第2画素10Bの組み合わせに対して、第1画素10Aに対して第2画素10Bの配置が交互に逆方向となるように配置されていてもよい。
　本実施形態においては、2通りの態様を示したが、これには限られず、適切に第1画素10A及び第2画素10Bが配置される配列であればどのような配列であってもよい。
　図５は、検波部12の出力に基づいた状態検出部14の検出の一例を示す表である。
　LEDフリッカが発生した被写体の領域を取得した画素について考える。例えば、第1画素10Aの露光時間外においてLEDが点灯する等、第1画素10Aでは受光できない一方で、第2画素10Bにおいては受光できている可能性が高い。すなわち、このようなフリッカが発生する被写体においては、第1画素10Aの取得した輝度、彩度よりも、第2画素10Bが取得した輝度、彩度の方が高くなる輝度の逆転現象が発生することがある。表において、第1画素輝度：低、第2画素輝度：高、第1画素彩度：低、第2画素彩度：高に対応する箇所である。
　逆に、第1信号の輝度、彩度と、第2信号の輝度、彩度がこのような状態になっている場合には、第1画素10Aにおいては受光できていないが第2画素10Bにおいては受光できていると判断してもよい。すなわち、このような場合には、フリッカが発生していると判断してもよい。
　状態検出部14は、少なくとも、(第1画素信号の輝度) < (第2画素信号の輝度)となっている場合には、フリッカが発生している可能性があると判断してもよい。さらに、上記のように、状態検出部14は、さらに(第1画素信号の彩度) < (第2画素信号の彩度)であることを確認し、フリッカの検出をしてもよい。
　このような第1画素信号、第2画素信号の状態である場合に、状態検出部14は、当該画素10は、被写体としてフリッカを撮影したと判定してもよい。状態検出部14は、検波部12からこのような場合を取得すると、当該画素においては、フリッカが発生しているLEDを被写体としたと判定し、フリッカが発生したことを検出する。
　この判定を受けた信号処理部16は、第1画素信号の輝度値を補正して、補正された輝度値、彩度値を用いて信号処理、例えば、HDR合成をしてもよい。別の例として、信号処理部16は、第1画素信号にフリッカが発生した画素であることのフラグを付与して出力してもよい。さらに別の例として、信号処理部16は、第1画素信号の輝度値を補正するのではなく、彩度を強調して出力してもよい。
　図６は、第1画素10Aと、第2画素10Bの輝度の取得について一例を示す図である。この図を用いて、第1画素信号の補正の例についていくつか説明する。
　フリッカがない場合には、第1画素信号の輝度値と第2画素信号の輝度値は、その感度に基づいて、第1画素信号の輝度値の方がより高い値となる。一方で、フリッカが発生している場合には、その露光タイミングにより、第1画素信号の輝度値の方が第2画素信号の輝度値よりも低くなる可能性がある。
　このような場合、信号処理部16は、フリッカがない場合の第1画素信号の輝度値と第2画素信号の輝度値の比αを用いて、第1画素信号の輝度値を補正してもよい。すなわち、フリッカが発生していると検出された場合には、信号処理部16は、第2画素信号の輝度値をα倍して、第1画素信号の輝度値を補正してもよい。
　また、これには限られず、例えば、着目している画素10の周辺の画素10の信号値に基づいて、信号値を補正してもよい。例えば、ローリングシャッタを用いている場合には、信号処理部16は、異なるタイミングで撮像された前後のラインの画素10の信号値を用いて補正を行ってもよい。もちろん、周囲の画素値を用いた他の補正方法も適用可能である。例えば、信号処理部16は、周囲の画素10の検波部12の出力から、フリッカを検出していない画素10、又は、フリッカが発生している可能性が低い画素10を抽出し、その信号値を用いて補正を行ってもよい。
　また、上述したように、信号処理部16は、第1画素信号の輝度値ではなく、彩度を強調することにより、信号値の補正をしてもよい。例えば、上述のαと同様に、フリッカなしの場合の第1画素信号と第2画素信号の彩度値の比βを用い、第2画素信号における彩度をβ倍したものを第1画素信号の彩度として採用してもよい。
　このように、信号処理部16は、着目している画素10における信号値に基づいて補正を行ってもよいし、さらに、周辺の画素10の信号値に基づいて補正を行ってもよい。
　そして、この検出結果に基づいた画像又はデータ等を出力することにより、撮像装置1は、当該画素が含まれる領域が、例えば、交通信号機の照明がある領域であると判定してもよい。
　図５に戻り、一方で、第1画素信号の輝度が高い場合であり、かつ、第1画素信号の彩度が第2画素信号の彩度よりも低い場合には、第1画素の飽和が発生していると判定してもよい。制御部20は、検波部12がこのような挙動をしている場合には、第1画素10Aの露光時間が長いと判断し、第1画素10Aの露光時間を短くする制御をしてもよい。
　また、第1画素信号の輝度値、第2画素信号の輝度値がともに低く、第1画素信号の彩度が低く、第2画素信号の彩度が高い場合には、ノイズである可能性が高い。このような場合には、信号処理部16は、当該画素の検出結果にノイズを含むものとして、例えば、周囲の画素10の信号値を用いて当該画素10の信号値を補正してもよい。
　上記のように、画素ごとに露光時間を設定してもよいが、コストが高い場合がある。そこで、例えば、画素アレイ100に存在している画素10において、第1画素10Aが飽和を起こしている画素10が所定数以上である環境において、制御部20は、第1画素10Aの露光時間を短く制御してもよい。また、このように制御した後、第1画素信号の輝度値が所定期間において所定値よりも高くなることがなかった場合には、制御部20は、第1画素10Aの露光時間を再度長くしてもよい。このように制御することにより、例えば、明るい場所に移動したり、暗い場所に移動したりした場合にも、適切に第1画素10Aにおいて受光を行うことが可能となる。
　以上のように、本実施形態によれば、ADAS（Advanced Driver-Assistance System）、自動運転の物体検出処理等に有用なLEDの検出情報を出力画像に付加することが可能となり、その後の物体検出の精度を向上することができる。感度の異なる第1画素及び第2画素間の輝度の比較でLEDフリッカを検出できるため、簡易な回路でLED検出が可能となり、画素内にLED検出機能を有するイメージセンサを実現することが可能となる。さらに、画素ごとに異なる露光時間を設定することにより、HDRにおけるダイナミックレンジをさらに拡大することができる。これは、上述したように、第2画素信号の輝度値から、第1画素信号の（飽和性能以上の）画素値の推定が可能であるためである。これらのことにより、画素ごとに露光時間を変えた場合にも、感度の異なる画素を用いることにより、問題なくLEDフリッカの抑制をすることが可能となる。
　上記の処理は、適切な箇所において、アナログ回路又はデジタル回路により実装されてもよい。また、ソフトウェアによる情報処理がハードウェア資源により具体的に実現される場合、記憶部に適切なプログラムを記憶しておき、プロセッサ等によりこのプログラムが実行されてもよい。一部、又は、全部をプログラムで実行してもよいし、専門のアナログ回路、デジタル回路と適切に処理を切り分けて実現されるものであってもよい。
　また、全ての実装は、画素アレイ100を備える第1基板と、第1基板に積層される第2基板上に形成された回路により実現されてもよい。これらの基板は、CoC、CoW、又は、WoWの手法により積層された半導体装置（イメージセンサ）であってもよい。また、別の例として、1チップとしてこれらの機能が形成された半導体装置であってもよい。
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダー装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダー装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダー装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、図１から図５を用いて説明した本実施形態に係る撮像装置１は、図７に示した応用例の撮像部７４１０の一部、又は、車外情報検出部７４２０の一部に適用することができる。例えば、撮像部７４１０において、図１に示した撮像装置１を備え、その出力を車外情報検出部７４２０において処理し、統合制御ユニット７６００のマイクロコンピュータ７６１０等において、給電装置２２からの信号の送受信を行ってもよい。このように実装することにより、移動体における測位装置として、本実施形態の撮像装置１を用いることができる。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　第1感度を有する第1画素と、
　前記第1感度よりも低い第2感度を有する第2画素と、
　前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する検出部と、
　を備える撮像装置。
(2)
　前記第1画素及び前記第2画素による撮影の制御をする制御部、
　をさらに備える(1)に記載の撮像装置。
(3)
　前記制御部は、前記第1画素の露光時間よりも前記第2画素の露光時間を長く制御する、
　(2)に記載の撮像装置。
(4)
　前記検出部は、前記第1画素信号及び前記第2画素信号の情報に基づいて、フリッカを撮影した画素を検出する、
　(3)記載の撮像装置。
(5)
　前記検出部は、前記第1画素信号の輝度が前記第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出する、
　(4)に記載の撮像装置。
(6)
　前記検出部はさらに、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出する、
　(5)に記載の撮像装置。
(7)
　前記検出部は、前記フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出する、
　(4)から(6)のいずれかに記載の撮像装置。
(8)
　前記検出部は、前記LEDが使用されている領域を信号機の領域として検出する、
　(7)に記載の撮像装置。
(9)
　前記検出部がフリッカを検出しなかった画素の画素値から、前記検出部がフリッカを検出した画素の画素値を復元する、信号処理部、
　をさらに備える、(4)から(8)のいずれかに記載の撮像装置。
(10)
　前記信号処理部は、前記第1画素信号の輝度値と、前記第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元する、
　(9)に記載の撮像装置。
(11)
　前記信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元する、
　(9)に記載の撮像装置。
(12)
　前記信号処理部は、フリッカが検出された画素について、前記復元された画素値を用いて信号処理を実行する、
　(9)から(11)のいずれかに記載の撮像装置。
(13)
　前記信号処理部は、前記復元された画素値を前記第1画素信号の画素値として信号処理を実行する、
　(12)に記載の撮像装置。
(14)
　前記信号処理部は、前記復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行する、
　(9)又は(10)に記載の撮像装置。
(15)
　前記検出部は、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、前記第1画素において画素値が飽和していることを検出する、
　(3)から(14)のいずれかに記載の撮像装置。
(16)
　前記制御部は、飽和の発生している状態に基づいて、前記第1画素の露光時間を制御する、
　(15)に記載の撮像装置。
(17)
　(1)から(15)における検出処理を処理回路で実行させるためのプログラム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1：撮像装置、
10：画素、10A：第1画素、10B：第2画素、
100：画素アレイ、
12：検波部、12A：第1検波部、12B：第2検波部、
14：状態検出部、
16：信号処理部、
18：物体検出部、
20：制御部、

Claims (17)

  1. 　第1感度を有する第1画素と、
    　前記第1感度よりも低い第2感度を有する第2画素と、
    　前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出する検出部と、
    　を備える撮像装置。
  2. 　前記第1画素及び前記第2画素による撮影の制御をする制御部、
    　をさらに備える請求項１に記載の撮像装置。
  3. 　前記制御部は、前記第1画素の露光時間よりも前記第2画素の露光時間を長く制御する、
    　請求項２に記載の撮像装置。
  4. 　前記検出部は、前記第1画素信号及び前記第2画素信号の情報に基づいて、フリッカを撮影した画素を検出する、
    　請求項３記載の撮像装置。
  5. 　前記検出部は、前記第1画素信号の輝度が前記第2画素信号の画素の輝度よりも低い場合に、フリッカを撮影した画素であると検出する、
    　請求項４に記載の撮像装置。
  6. 　前記検出部はさらに、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、フリッカを撮影した画素であると検出する、
    　請求項５に記載の撮像装置。
  7. 　前記検出部は、前記フリッカを撮影した画素に基づいて、被写体としてLEDが使用されている領域を検出する、
    　請求項４に記載の撮像装置。
  8. 　前記検出部は、前記LEDが使用されている領域を信号機の領域として検出する、
    　請求項７に記載の撮像装置。
  9. 　前記検出部がフリッカを検出しなかった画素の画素値から、前記検出部がフリッカを検出した画素の画素値を復元する、信号処理部、
    　をさらに備える、請求項４に記載の撮像装置。
  10. 　前記信号処理部は、前記第1画素信号の輝度値と、前記第2画素信号の輝度値と、の比に基づいて、フリッカを検出した画素の画素値を復元する、
    　請求項９に記載の撮像装置。
  11. 　前記信号処理部は、フリッカを検出した画素の彩度を強調し、フリッカを検出した画素の画素値を復元する、
    　請求項９に記載の撮像装置。
  12. 　前記信号処理部は、フリッカが検出された画素について、前記復元された画素値を用いて信号処理を実行する、
    　請求項９に記載の撮像装置。
  13. 　前記信号処理部は、前記復元された画素値を前記第1画素信号の画素値として信号処理を実行する、
    　請求項１２に記載の撮像装置。
  14. 　前記信号処理部は、前記復元された画素値に基づいて、HDR（High Dynamic Range）合成を実行する、
    　請求項９に記載の撮像装置。
  15. 　前記検出部は、前記第1画素信号の彩度が前記第2画素信号の彩度よりも低い場合に、前記第1画素において画素値が飽和していることを検出する、
    　請求項３に記載の撮像装置。
  16. 　前記制御部は、飽和の発生している状態に基づいて、前記第1画素の露光時間を制御する、
    　請求項１５に記載の撮像装置。
  17. 　第1感度を有する第1画素と、
    　前記第1感度よりも低い第2感度を有する第2画素と、
    　を備える撮像装置において、
    　処理回路に、
    　前記第1画素から出力される第1画素信号の輝度情報及び彩度情報と、前記第2画素から出力される第2画素信号の輝度情報及び彩度情報と、に基づいて、画素の状態を検出すること、
    　を実行させるプログラム。
PCT/JP2021/015371 2020-05-15 2021-04-14 撮像装置及びプログラム WO2021229983A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020086148A JP2021180459A (ja) 2020-05-15 2020-05-15 撮像装置及びプログラム
JP2020-086148 2020-05-15

Publications (1)

Publication Number Publication Date
WO2021229983A1 true WO2021229983A1 (ja) 2021-11-18

Family

ID=78510558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015371 WO2021229983A1 (ja) 2020-05-15 2021-04-14 撮像装置及びプログラム

Country Status (2)

Country Link
JP (1) JP2021180459A (ja)
WO (1) WO2021229983A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113248A (ja) * 2010-11-26 2012-06-14 Canon Inc 撮像装置
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2016213740A (ja) * 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム
US20170251153A1 (en) * 2016-02-26 2017-08-31 Stmicroelectronics (Grenoble 2) Sas Image sensor adapted to blinking sources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113248A (ja) * 2010-11-26 2012-06-14 Canon Inc 撮像装置
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2016213740A (ja) * 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム
US20170251153A1 (en) * 2016-02-26 2017-08-31 Stmicroelectronics (Grenoble 2) Sas Image sensor adapted to blinking sources

Also Published As

Publication number Publication date
JP2021180459A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
JP6977722B2 (ja) 撮像装置、および画像処理システム
US20190335079A1 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US10704957B2 (en) Imaging device and imaging method
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
WO2018034209A1 (ja) 撮像装置と撮像方法
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
US11585898B2 (en) Signal processing device, signal processing method, and program
JP2018064007A (ja) 固体撮像素子、および電子装置
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2018034157A1 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
US10791287B2 (en) Imaging control apparatus and method, and vehicle
WO2018135208A1 (ja) 撮像装置と撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803383

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21803383

Country of ref document: EP

Kind code of ref document: A1