WO2018056070A1 - 信号処理装置、撮影装置、及び、信号処理方法 - Google Patents

信号処理装置、撮影装置、及び、信号処理方法 Download PDF

Info

Publication number
WO2018056070A1
WO2018056070A1 PCT/JP2017/032393 JP2017032393W WO2018056070A1 WO 2018056070 A1 WO2018056070 A1 WO 2018056070A1 JP 2017032393 W JP2017032393 W JP 2017032393W WO 2018056070 A1 WO2018056070 A1 WO 2018056070A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
addition
unit
synthesis
Prior art date
Application number
PCT/JP2017/032393
Other languages
English (en)
French (fr)
Inventor
小泉　誠
昌勝 藤本
一高 岡本
大輝 山崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP17852847.7A priority Critical patent/EP3518524A4/en
Priority to US16/328,506 priority patent/US20210281732A1/en
Priority to KR1020197007316A priority patent/KR102317752B1/ko
Priority to JP2018540959A priority patent/JP7030703B2/ja
Publication of WO2018056070A1 publication Critical patent/WO2018056070A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G1/00—Hand manipulated computing devices
    • G06G1/16—Hand manipulated computing devices in which a straight or curved line has to be drawn through related points on one or more families of curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present technology relates to a signal processing device, an imaging device, and a signal processing method.
  • the present invention reliably recognizes a blinking object and accurately recognizes an obstacle.
  • the present invention relates to a signal processing device, an imaging device, and a signal processing method that can be used.
  • Patent Document 1 a technique disclosed in Patent Document 1 is known.
  • the present technology has been made in view of such a situation, and in a scene with a very large luminance difference, it is possible to surely recognize a blinking object and accurately recognize an obstacle. Is.
  • a signal processing device combines an adder that adds signals of a plurality of images shot at different exposure times using different saturation signal amounts, and a signal of the plurality of images obtained as a result of the addition.
  • a signal processing device including a combining unit.
  • An imaging device includes an image generation unit that generates a plurality of images captured at different exposure times, an addition unit that adds signals of the plurality of images using different saturation signal amounts, and an addition And a combining unit that combines signals of a plurality of images obtained as a result of the above.
  • the signal processing method includes a step of adding signals of a plurality of images captured at different exposure times using different saturation signal amounts, and combining the signals of the plurality of images obtained as a result of the addition. It is a signal processing method including.
  • signals of a plurality of images captured at different exposure times are added using different saturation signal amounts, and a plurality obtained as a result of the addition
  • the image signals are synthesized.
  • the signal processing device and the photographing device may be independent devices, or may be internal blocks constituting one device.
  • in-vehicle cameras are increasingly installed in automobiles for the purpose of realizing advanced driving control such as automatic driving.
  • advanced driving control such as automatic driving.
  • in-vehicle cameras are required to ensure visibility even under extremely large brightness differences, such as tunnel exits, in order to ensure safety. This situation is necessary.
  • FIG. 1 is a diagram illustrating an example of shooting of a shooting target with a very large luminance difference.
  • FIG. 1 shows an example of photographing a tunnel exit, operation control for ensuring safety cannot be performed if the situation at the tunnel exit cannot be recognized.
  • FIG. 2 is a diagram illustrating an example of shooting of a flashing shooting target.
  • a traffic light whose blue (left end) is lit is shown, but the third frame (Frame 3) and the fourth frame (Frame 4).
  • the traffic light in the off state is shown.
  • the traffic light when the traffic light is turned off, it is a cause of hindrance to video (image) evidence when used in a drive recorder, for example.
  • the traffic light when the traffic light is turned off, when the image is used for, for example, automatic driving of a car, it causes troubles in driving control such as stopping the car.
  • Example of vehicle front recognition Further, when realizing automatic driving, a technique for recognizing an obstacle (target object) such as a preceding vehicle existing in the traveling direction of a car or a pedestrian crossing a road is essential. For example, if the detection of an obstacle in front of an automobile is delayed, the operation of the automatic brake may be delayed.
  • an obstacle target object
  • the operation of the automatic brake may be delayed.
  • FIG. 3 is a diagram illustrating an example of recognition in front of the vehicle.
  • two vehicles traveling in front of the car, the state of the road surface, and the like are recognized, and automatic driving is controlled according to the recognition result.
  • Patent Document 1 proposes a method of suppressing an overexposure by combining images taken with a plurality of different exposure amounts and expanding an apparent dynamic range.
  • this method as shown in FIG. 4, the brightness value of a long exposure image (long accumulation image) having a long exposure time is referred to, and if the brightness falls below a predetermined threshold, the long exposure image (long accumulation image) If it exceeds, a short-exposure image (short accumulation image) is output, so that an image having a wide dynamic range can be generated.
  • FIG. 2 when a high-brightness subject such as an LED traffic light is blinking, the long exposure image (long accumulation image) and the short exposure image (short accumulation image) are combined. By doing so, the light-off state may be recorded although the light-on state of the traffic light should be recorded.
  • FIG. 5 shows an example of the case where the light-off state is recorded even though the light-on state of the traffic light should be recorded.
  • FIG. 6 shows an example in which photographing is performed with an exposure time that exceeds the extinguishing period of the blinking light source.
  • the extinguishing period of 4 ms 4 ms ⁇ exposure time.
  • FIG. 7 and 8 are diagrams for explaining a technique of the current technology.
  • a plurality of captured images (long storage images, short storage images) taken at different exposure times (T1, T2) are combined to expand the dynamic range and simultaneously capture a plurality of captured images (The added value of the long accumulation image and the short accumulation image is always used. Therefore, even in a situation where the lighting state of the LED is recorded in only one of the plurality of captured images exposed at different exposure timings, the image signal of the captured image including the lighting state of the LED is obtained. Effective use can suppress the occurrence of LED extinction.
  • the knee point Kp1 can be said to be a signal amount in which the long accumulation (P1) is saturated and the slope of the addition signal Plo changes.
  • g1 represents an exposure ratio (exposure time of long accumulation (T1) / exposure time of short accumulation (T2)).
  • a linear signal (P) that is a linearly restored signal is obtained for each of the first region and the second region with the knee point Kp1 as a boundary.
  • the second region that is, the region of Kp1 ⁇ Plo is a saturated region
  • the value of long accumulation (P1) that is saturated and constant is estimated from the value of short accumulation (P2)
  • P1 long accumulation
  • P2 short accumulation
  • the first term on the right side represents the start offset of the second region
  • the second term on the right side represents the signal amount of short accumulation
  • the third term on the right side represents the short accumulation. It becomes the signal amount of long accumulation estimated.
  • Patent Document 3 proposes a method of acquiring a vertical histogram of an image ahead of an automobile obtained from a photographing apparatus and detecting the position of an obstacle (target object) from the peak position.
  • this method as shown in FIG. 9, a histogram of pixel values is acquired in a strip-shaped region A1 along the traveling direction with respect to a captured image in front of the automobile.
  • FIG. 9A since there are no obstacles in the traveling direction, the road surface histogram is flat.
  • B of FIG. 9 another vehicle is traveling in front of the automobile, and there are obstacles in the traveling direction. Therefore, a peak appears at a specific position on the flat road surface histogram. ing.
  • the position of the obstacle can be detected by specifying coordinates corresponding to the luminance level of the peak.
  • the calculation formula changes sharply with the knee point Kp1 as the boundary. Therefore, the image noise distribution is asymmetric. Therefore, for example, in a road surface situation where the sun is present in the direction of travel of the automobile and the brightness changes smoothly, when a histogram of the road surface is acquired, the histogram includes pseudo spikes (histogram spikes). Will occur.
  • FIG. 10 shows an example of histogram spikes.
  • FIG. 10 shows an example of a histogram obtained as a result of synthesizing a signal having a smooth luminance change using the above-described current technique. As shown in a frame A2 in the figure, a histogram spike is shown. Has occurred.
  • the occurrence position of the spike in the histogram shown in FIG. 10 corresponds to the position of the result of synthesis using the current technology of C in FIG.
  • the synthesis result of C in FIG. 11 is obtained by synthesizing the value of long accumulation (P1) of A in FIG. 11 and the value of short accumulation (P2) of B in FIG.
  • a pseudo spike may occur in the histogram. Further, even when there is an obstacle in front of the car, in addition to the peak (present peak) indicating the presence of the obstacle shown in the frame A4 in the figure, as shown in the frame A3 in the figure, the histogram shows There is a possibility that a pseudo spike (pseudo peak) occurs.
  • the pseudo peak and the presence or absence of the obstacle May not be distinguished from the main peak for detecting, and an erroneous detection of an obstacle may occur.
  • this technology has the ability to correctly output the lighting status of fast-flashing subjects such as LED traffic lights as well as suppressing whiteout and blackout in scenes with very large brightness differences. This is possible, and by suppressing spikes in the histogram, it is possible to accurately detect an obstacle without erroneous detection.
  • FIG. 13 is a block diagram illustrating a configuration example of an embodiment of a camera unit as a photographing apparatus to which the present technology is applied.
  • the camera unit 10 includes a lens 101, an image sensor 102, a delay line 103, a signal processing unit 104, an output unit 105, and a timing control unit 106.
  • the lens 101 collects light from the subject and makes it incident on the image sensor 102 to form an image.
  • the image sensor 102 is, for example, a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor.
  • the image sensor 102 receives incident light from the lens 101 and performs photoelectric conversion to capture a captured image (image data) corresponding to the incident light.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the image sensor 102 functions as an imaging unit that performs imaging at an imaging timing specified by the timing control unit 106, and performs N imaging during the frame rate period of the output image output by the output unit 105. N shot images obtained by N times of shooting are sequentially output.
  • the delay line 103 sequentially stores N captured images sequentially output by the image sensor 102 and supplies the N captured images to the signal processing unit 104 at the same time.
  • the signal processing unit 104 processes N photographed images from the delay line 103 and generates an output image of one frame (sheet). At that time, the signal processing unit 104 has N systems for performing linearization after calculating an addition value of pixel values of the same coordinates of N photographed images, and blends the processing results to generate an output image. To do.
  • the signal processing unit 104 performs processing such as noise removal and WB (white balance) adjustment on the output image, and supplies the output image to the output unit 105. Further, the signal processing unit 104 detects (detects) the exposure level from the brightness of the N captured images from the delay line 103 and supplies the detected level to the timing control unit 106.
  • the output unit 105 outputs an output image (video data) from the signal processing unit 104.
  • the timing control unit 106 controls the shooting timing of the image sensor 102. That is, the timing control unit 106 adjusts the exposure time of the image sensor 102 based on the exposure level detected by the signal processing unit 104. At that time, the timing control unit 106 performs shutter control so that the exposure timings of the N captured images are as close as possible.
  • the camera unit 10 is configured as described above.
  • the image sensor 102 acquires shooting data of N shot images having different exposure times.
  • the timing control unit 106 performs control to make the exposure periods as close as possible to extend the effective exposure time and to easily cover the blinking cycle of the fast blinking subject such as an LED.
  • T1, T2, and T3 indicate respective exposure timings when performing photographing three times within one frame.
  • the timing control unit 106 controls the exposure timing so that the exposure of T2 is started as soon as the exposure of T1 is completed, and the exposure of T3 is started as soon as the exposure of T2 is completed. That is, the interval between the end of exposure at T1 and the start of exposure at T2 and the interval between the end of exposure at T2 and the start of exposure at T3 are minimized.
  • the lighting period of the fast flashing subject can easily overlap with any one of the exposure periods T1, T2, and T3, and the probability that an image of the lighting period can be captured can be increased.
  • the lighting period is short when the exposure timings T1, T2, and T3 are set apart as shown in FIG. 15A.
  • the exposure timing and the light emission timing do not overlap.
  • the timing control unit 106 performs control to bring the exposure timings of T1, T2, and T3 close to each other according to the turn-off period. be able to.
  • FIG. 16 is a diagram illustrating a configuration example of the signal processing unit 104 in FIG. 13.
  • image data of N photographed images acquired by the image sensor 102 is processed and synthesized into one frame (sheet) output image.
  • the signal processing unit 104 always performs synthesis between the image data of N photographed images so that total N-1 synthesis processes are performed.
  • T1 and T2 indicate photographed images corresponding to the respective exposure times when photographing twice within one frame.
  • the captured images corresponding to T1 and T2 are also described as an image signal T1 and an image signal T2, respectively.
  • the signal processing unit 104 includes a first addition processing unit 121, a first linearization processing unit 122, a second addition processing unit 123, a second linearization processing unit 124, a synthesis coefficient calculation unit 125, and a motion detection unit 126. , A synthesis coefficient modulation unit 127, and a synthesis processing unit 128.
  • the first addition processing unit 121 performs a first addition process of adding the image signal T1 and the image signal T2 input thereto to generate an addition signal SUM1.
  • the first addition processing unit 121 supplies the addition signal SUM1 obtained by the first addition processing to the first linearization processing unit 122.
  • the resulting signal is added. Is called.
  • the clip values of the image signal T1 and the image signal T2 in the first addition process are set.
  • the clip value (upper limit clip value) can be said to be a saturation value (saturation signal amount) or a limit value.
  • saturation value saturation signal amount
  • limit value a limit value
  • Equation (6) a function that is MIN (a, b) means that the upper limit value (saturation value, limit value) of b is a.
  • the meaning of this function is the same in formulas described later.
  • the first linearization processing unit 122 refers to the addition signal SUM1 from the first addition processing unit 121, performs a first linearization process, and generates a linear signal LIN1 that is linear with respect to brightness.
  • the first linearization processing unit 122 supplies the linear signal LIN1 obtained by the first linearization processing to the motion detection unit 126 and the synthesis processing unit 128.
  • KP1_1 CLIP_T1_1 ⁇ (1 + 1 / G1) ... (7)
  • the linear signal LIN1 is obtained by the following equation (8) or equation (9) according to the region of the addition signal SUM1 and the knee point Kp (KP1_1).
  • the second addition processing unit 123 performs a second addition process of adding the image signal T1 and the image signal T2 input thereto to generate an addition signal SUM2.
  • the second addition processing unit 123 supplies the addition signal SUM2 obtained by the second addition processing to the second linearization processing unit 124.
  • the upper limit clipping process is performed on the values of the image signal T1 and the image signal T2 using values different from the first addition process described above, and then the result is obtained.
  • Signal addition is performed.
  • the clip values of the image signal T1 and the image signal T2 in the second addition process are set.
  • the clip value of the image signal T1 is CLIP_T1_2
  • the clip value of the image signal T2 is CLIP_T2_2
  • the following equation (10) is calculated in the second addition process, and the addition signal SUM2 is obtained.
  • the second linearization processing unit 124 refers to the addition signal SUM2 from the second addition processing unit 123, performs a second linearization process, and generates a linear signal LIN2 that is linear with respect to brightness.
  • the second linearization processing unit 124 supplies the linear signal LIN2 obtained by the second linearization processing to the motion detection unit 126 and the synthesis processing unit 128.
  • KP1_2 CLIP_T1_2 ⁇ (1 + 1 / G1) ... (11)
  • the linear signal LIN2 is obtained by the following equation (12) or equation (13) according to the region of the addition signal SUM2 and the knee point Kp (KP1_2).
  • the synthesis coefficient calculation unit 125 calculates a synthesis coefficient for synthesizing the linear signal LIN1 and the linear signal LIN2 with reference to the image signal T1.
  • the synthesis coefficient calculation unit 125 supplies the calculated synthesis coefficient to the synthesis coefficient modulation unit 127.
  • the threshold for starting the synthesis (blending) of the linear signal LIN2 is BLD_TH_LOW
  • the synthesis ratio (blend rate) is 1.0
  • the threshold at which the linear signal LIN2 is 100% is Assuming that BLD_TH_HIGH, the synthesis coefficient is obtained by the following equation (14). However, here, the signal is clipped in the range of 0 to 1.0.
  • the motion detection unit 126 performs motion determination by defining a difference between the linear signal LIN1 from the first linearization processing unit 122 and the linear signal LIN2 from the second linearization processing unit 124 as a motion amount. At that time, the motion detection unit 126 calculates a motion coefficient by comparing the amount of motion with the amount of noise assumed from the sensor characteristics in order to distinguish between the noise of the signal and the blinking of a fast blinking body such as an LED. The motion detection unit 126 supplies the calculated motion coefficient to the synthesis coefficient modulation unit 127.
  • the motion coefficient is It is calculated by (15). However, here, the signal is clipped in the range of 0 to 1.0.
  • ABS () means a function that returns an absolute value. The meaning of this function is the same in formulas described later.
  • the synthesis coefficient modulation unit 127 performs modulation on the synthesis coefficient from the synthesis coefficient calculation unit 125 in consideration of the motion coefficient from the motion detection unit 126, and calculates a post-motion compensation synthesis coefficient.
  • the synthesis coefficient modulation unit 127 supplies the calculated post-motion compensation synthesis coefficient to the synthesis processing unit 128.
  • the post-motion compensation synthesis coefficient is obtained by the following equation (16). However, here, the signal is clipped in the range of 0 to 1.0.
  • composition coefficient after motion compensation composition coefficient-motion coefficient ⁇ ⁇ ⁇
  • the synthesis processing unit 128 synthesizes the linear signal LIN1 from the first linearization processing unit 122 and the linear signal LIN2 from the second linearization processing unit 124 with the motion-compensated synthesis coefficient from the synthesis coefficient modulation unit 127 ( (Alpha blending), and the resultant image signal is output as an HDR (High Dynamic Range) synthesized signal obtained as a result.
  • HDR High Dynamic Range
  • the combined image signal is obtained by the following equation (17).
  • Post-synthesis image signal (LIN2-LIN1) x Motion-compensated synthesis coefficient + LIN1 ⁇ ⁇ ⁇ (17)
  • the signal processing unit 104 is configured as described above.
  • step S11 the first addition processing unit 121 performs upper limit clip processing on the values of the image signal T1 and the image signal T2 using predetermined clip values (CLIP_T1_1, CLIP_T2_1).
  • step S12 the first addition processing unit 121 calculates the above equation (6), thereby adding the image signal T1 and the image signal T2 after the upper limit clipping process in step S11 to generate the addition signal SUM1. .
  • step S13 the second addition processing unit 123 uses the clip values (CLIP_T1_2, CLIP_T2_2) different from the first addition processing (S11, S12) for the values of the image signal T1 and the image signal T2, and performs the upper limit clip processing. Do.
  • step S14 the second addition processing unit 123 adds the image signal T1 and the image signal T2 after the upper limit clipping process obtained in the process of step S13 by calculating the above equation (10), and adds the added signal. Generate SUM2.
  • step S15 the first linearization processing unit 122 calculates the above equations (7) to (9) to linearize the addition signal SUM1 obtained in the processing of step S12, and generates a linear signal LIN1. .
  • step S16 the second linearization processing unit 124 linearizes the addition signal SUM2 obtained in the process of step S14 by calculating the above equations (11) to (13), and generates a linear signal LIN2. .
  • step S17 the synthesis coefficient calculation unit 125 calculates the synthesis coefficient by calculating the above equation (14) with reference to the image signal T1.
  • step S18 the motion detection unit 126 detects motion using the linear signal LIN1 obtained by the process of step S15 and the linear signal LIN2 obtained by the process of step S16, and calculates the above equation (15). Calculate the motion coefficient.
  • step S19 the synthesis coefficient modulation unit 127 calculates the above equation (16) to subtract the motion coefficient obtained in the process of step S18 from the synthesis coefficient obtained in the process of step S17. A composite coefficient is calculated.
  • step S20 the synthesis processing unit 128 refers to the post-motion-compensated synthesis coefficient obtained in step S19 and calculates the above-described equation (17), thereby obtaining the linear signal LIN1 obtained in step S15.
  • the linear signal LIN2 obtained by the processing in step S16 is synthesized to generate a synthesized image signal.
  • the spikes of the histogram are obtained by performing synthesis in accordance with the synthesis coefficient after motion compensation.
  • the linear signal LIN1 and the linear signal LIN2 are combined while avoiding the vicinity of the knee point Kp at which the above occurs. That is, the position of the histogram spike is shifted, and before the long accumulation is saturated (before the histogram spike occurs), the linear signal LIN1 side is smoothly switched to the linear signal LIN2 side having a different knee point Kp. By doing so, spikes in the histogram can be suppressed.
  • step S21 the synthesis processing unit 128 outputs the synthesized image signal obtained by the process in step S20.
  • FIG. 18 shows an example of signal processing results.
  • FIG. 18A shows a processing result when using the above-described technique according to the current technique, and compares it with a processing result when using the technique according to the present technique shown in FIG. 18B. .
  • FIG. 19 and FIG. 20 show examples of actual captured images. That is, FIG. 19 and FIG. 20 show the results of signal processing when the current technique is used. In the signal processing for these captured images, a histogram in the direction along the road is obtained in a backlight scene with the sun in front, but in FIG. 20, it can be seen where the spikes are occurring in the captured image. The pixel position corresponding to the luminance level of the spike in the histogram is highlighted (for example, in the frame A6 in the figure). In FIG. 20, when there is a bright light source such as the sun in front of the traveling direction, there is a region where spikes are generated in an annular shape.
  • FIG. 21 is a diagram illustrating a configuration example of the signal processing unit 104 when three sheets are combined.
  • T1, T2, and T3 indicate photographed images corresponding to respective exposure times when photographing is performed three times within one frame.
  • the exposure ratio gain for adjusting the brightness of T2 to T1 is defined as G1
  • the exposure ratio gain for adjusting the brightness of T3 to T2 is defined as G2.
  • the captured images corresponding to T1, T2, and T3 are also described as image signal T1, image signal T2, and image signal T3, respectively.
  • the signal processing unit 104 includes a first addition processing unit 141, a first linearization processing unit 142, a second addition processing unit 143, a second linearization processing unit 144, a third addition processing unit 145, and a third linearity.
  • first synthesis coefficient calculation unit 147 first motion detection unit 148, first synthesis coefficient modulation unit 149, first synthesis processing unit 150, second synthesis coefficient calculation unit 151, second motion detection unit 152, A second synthesis coefficient modulation unit 153 and a second synthesis processing unit 154 are included.
  • the first addition processing unit 141 performs a first addition process of adding the image signal T1, the image signal T2, and the image signal T3 input thereto to generate an addition signal SUM1.
  • the first addition processing unit 141 supplies the addition signal SUM1 obtained by the first addition processing to the first linearization processing unit 142.
  • the resulting signals are added. Is called.
  • the clip values of the image signals T1, T2, and T3 in the first addition process are set.
  • the clip value of the image signal T1 is CLIP_T1_1
  • the clip value of the image signal T2 is CLIP_T2_1
  • the clip value of the image signal T3 is CLIP_T3_1
  • the following equation (18) is obtained in the first addition process:
  • the sum signal SUM1 is obtained by calculation.
  • the first linearization processing unit 142 refers to the addition signal SUM1 from the first addition processing unit 141, performs a first linearization process, and generates a linear signal LIN1 that is linear with respect to brightness.
  • the first linearization processing unit 142 supplies the linear signal LIN1 obtained by the first linearization processing to the first motion detection unit 148 and the first synthesis processing unit 150.
  • the linear signal LIN1 is obtained by the following equations (21) to (23) according to the region of the addition signal SUM1 and the knee point Kp (KP1_1, KP2_1).
  • KP2_1 ⁇ SUM1, LIN1 KP2_1 + (KP2_1-KP1_1) ⁇ (1 + G1 ⁇ G2 / (1 + G2)) + (SUM1-KP2_1) ⁇ (1 + G2 + G1 ⁇ G2) (23)
  • the second addition processing unit 143 performs a second addition process of adding the image signal T1, the image signal T2, and the image signal T3 input thereto to generate an addition signal SUM2.
  • the second addition processing unit 143 supplies the addition signal SUM2 obtained by the second addition processing to the second linearization processing unit 144.
  • the second addition process after the upper limit clipping process is performed on the values of the image signals T1, T2, and T3 using predetermined values, the resulting signals are added. Is called.
  • the clip values of the image signals T1, T2, and T3 in the second addition process are set.
  • the clip value of the image signal T1 is CLIP_T1_2
  • the clip value of the image signal T2 is CLIP_T2_2
  • the clip value of the image signal T3 is CLIP_T3_2
  • the following equation (24) is obtained in the second addition process: Calculation is performed to obtain an addition signal SUM2.
  • the second linearization processing unit 144 refers to the addition signal SUM2 from the second addition processing unit 143, performs a second linearization process, and generates a linear signal LIN2 that is linear with respect to brightness.
  • the second linearization processing unit 144 supplies the linear signal LIN2 obtained by the second linearization processing to the first motion detection unit 148, the first synthesis processing unit 150, and the second motion detection unit 152.
  • the linear signal LIN2 is obtained by the following equations (27) to (29) according to the region of the addition signal SUM2 and the knee point Kp (KP1_2, KP2_2).
  • the third addition processing unit 145 performs a third addition process of adding the image signal T1, the image signal T2, and the image signal T3 input thereto to generate an addition signal SUM3.
  • the third addition processing unit 145 supplies the addition signal SUM3 obtained by the third addition processing to the third linearization processing unit 146.
  • the resulting signal is added. Is called.
  • the clip values of the image signals T1, T2, and T3 in the third addition process are set.
  • the clip value of the image signal T1 is CLIP_T1_3
  • the clip value of the image signal T2 is CLIP_T2_3
  • the clip value of the image signal T3 is CLIP_T3_3
  • the following equation (30) is used in the third addition process: Calculation is performed to obtain the addition signal SUM3.
  • the third linearization processing unit 146 performs the third linearization processing with reference to the addition signal SUM3 from the third addition processing unit 145, and generates a linear signal LIN3 that is linear with respect to brightness.
  • the third linearization processing unit 146 supplies the linear signal LIN3 obtained by the third linearization processing to the second motion detection unit 152 and the second synthesis processing unit 154.
  • KP1_3 CLIP_T1_3 ⁇ (1 + 1 / G1 + 1 / (G1 ⁇ G2)) (31)
  • KP2_3 CLIP_T1_3 + CLIP_T2_3 ⁇ (1 + 1 / G2) (32)
  • the linear signal LIN3 is obtained by the following equations (33) to (35) according to the region of the addition signal SUM3 and the knee point Kp (KP1_3, KP2_3).
  • KP2_3 ⁇ SUM3, LIN3 KP2_3 + (KP2_3-KP1_3) ⁇ (1 + G1 ⁇ G2 / (1 + G2)) + (SUM3-KP2_3) ⁇ (1 + G2 + G1 ⁇ G2) (35)
  • the first synthesis coefficient calculation unit 147 calculates a first synthesis coefficient for synthesizing the linear signal LIN1 and the linear signal LIN2 with reference to the image signal T1.
  • the first synthesis coefficient calculation unit 147 supplies the calculated first synthesis coefficient to the first synthesis coefficient modulation unit 149.
  • the threshold for starting the synthesis (blending) of the linear signal LIN2 is BLD_TH_L_LOW
  • the synthesis ratio (blend rate) is 1.0
  • the threshold at which the linear signal LIN2 is 100% is Assuming BLD_TH_L_HIGH, the first synthesis coefficient is obtained by the following equation (36). However, here, the signal is clipped in the range of 0 to 1.0.
  • the first motion detection unit 148 performs motion determination by defining a difference between the linear signal LIN1 from the first linearization processing unit 142 and the linear signal LIN2 from the second linearization processing unit 144 as a motion amount. At this time, the first motion detection unit 148 calculates the first motion coefficient by comparing the amount of motion with the amount of noise assumed from the sensor characteristics in order to distinguish between the noise of the signal and the blinking of the fast blinking body such as an LED. To do. The first motion detection unit 148 supplies the calculated first motion coefficient to the first synthesis coefficient modulation unit 149.
  • the first motion coefficient is (37).
  • the signal is clipped in the range of 0 to 1.0.
  • the first synthesis coefficient modulation unit 149 performs modulation on the first synthesis coefficient from the first synthesis coefficient calculation unit 147 in consideration of the first motion coefficient from the first motion detection unit 148, and after the first motion compensation A composite coefficient is calculated.
  • the first synthesis coefficient modulation unit 149 supplies the calculated first motion-compensated synthesis coefficient to the first synthesis processing unit 150.
  • the first motion-compensated synthesis coefficient is obtained by the following equation (38). However, here, the signal is clipped in the range of 0 to 1.0.
  • the first synthesis processing unit 150 uses the linear signal LIN1 from the first linearization processing unit 142 and the linear signal LIN2 from the second linearization processing unit 144 as the first motion compensation from the first synthesis coefficient modulation unit 149. Composite (alpha blend) with post-combination coefficient.
  • the first synthesis processing unit 150 supplies the synthesis signal BLD1 obtained as a result of the synthesis to the second synthesis processing unit 154.
  • the composite signal BLD1 is obtained by the following equation (39).
  • Composite signal BLD1 (LIN2-LIN1) x First motion compensated composite coefficient + LIN1 ⁇ ⁇ ⁇ (39)
  • the second synthesis coefficient calculation unit 151 calculates a second synthesis coefficient for synthesizing the synthesis signal BLD1 and the linear signal LIN3 with reference to the image signal T2.
  • the second synthesis coefficient calculation unit 151 supplies the calculated second synthesis coefficient to the second synthesis coefficient modulation unit 153.
  • the threshold for starting synthesis (blending) of the linear signal LIN3 is BLD_TH_H_LOW
  • the synthesis ratio (blend rate) is 1.0
  • the threshold at which the linear signal LIN3 is 100% is Assuming BLD_TH_H_HIGH, the second synthesis coefficient is obtained by the following equation (40).
  • the signal is clipped in the range of 0 to 1.0.
  • the second motion detection unit 152 defines a difference between the linear signal LIN2 from the second linearization processing unit 144 and the linear signal LIN3 from the third linearization processing unit 146 as a motion amount, and performs motion determination. At this time, the second motion detection unit 152 calculates the second motion coefficient by comparing the amount of motion with the amount of noise assumed from the sensor characteristics in order to distinguish between the noise of the signal and the blinking of the fast blinking body such as the LED. To do. The second motion detection unit 152 supplies the calculated second motion coefficient to the second synthesis coefficient modulation unit 153.
  • the second motion coefficient is (41).
  • the signal is clipped in the range of 0 to 1.0.
  • Second motion coefficient ⁇ ABS (LIN2-LIN3) ⁇ Normalized gain-MDET_TH_LOW ⁇ ⁇ (MDET_TH_HIGH-MDET_TH_LOW) (41)
  • the second synthesis coefficient modulation unit 153 performs modulation on the second synthesis coefficient from the second synthesis coefficient calculation unit 151 in consideration of the second motion coefficient from the second motion detection unit 152, and after the second motion compensation A composite coefficient is calculated.
  • the second synthesis coefficient modulation unit 153 supplies the calculated second motion-compensated synthesis coefficient to the second synthesis processing unit 154.
  • the second motion-compensated synthesis coefficient is obtained by the following equation (43).
  • the signal is clipped in the range of 0 to 1.0.
  • Second motion compensation composite coefficient Second composite coefficient-Second motion coefficient ⁇ ⁇ ⁇ (43)
  • the second synthesis processing unit 154 receives the synthesized signal BLD1 from the first synthesis processing unit 150 and the linear signal LIN3 from the third linearization processing unit 146 after the second motion compensation from the second synthesis coefficient modulation unit 153.
  • the synthesized image signal is output as an HDR synthesized signal obtained by synthesizing with the synthesis coefficient (alpha blend).
  • the combined image signal is obtained by the following equation (44).
  • Post-synthesis image signal (LIN3-BLD1) x Second motion compensated synthesis coefficient + BLD1
  • step S51 the first addition processing unit 141 performs upper limit clip processing on the values of the image signal T1, the image signal T2, and the image signal T3 using predetermined clip values (CLIP_T1_1, CLIP_T2_1, CLIP_T3_1).
  • step S52 the first addition processing unit 141 adds the image signal T1, the image signal T2, and the image signal T3 after the upper limit clipping process obtained in the process of step S51 by calculating the above equation (18).
  • the addition signal SUM1 is generated.
  • step S53 the second addition processing unit 143 performs upper limit clipping processing using clip values (CLIP_T1_2, CLIP_T2_2, CLIP_T3_2) different from the first addition processing (S51, S52) for at least the value of the image signal T1. .
  • step S54 the second addition processing unit 143 calculates the above equation (24) to add the image signal T1, the image signal T2, and the image signal T3 after the upper limit clipping process obtained in the process of step S53.
  • the addition signal SUM2 is generated.
  • step S55 the third addition processing unit 145 uses the clip values (CLIP_T1_3, CLIP_T2_3, CLIP_T3_3) different from the second addition processing (S53, S54) for at least the value of the image signal T2, and performs the upper limit clip processing. .
  • step S56 the third addition processing unit 145 adds the image signal T1, the image signal T2, and the image signal T3 after the upper limit clipping process obtained by the process of step S55 by calculating the above equation (30).
  • the addition signal SUM3 is generated.
  • the clip value (CLIP_T1_2) used in the second addition process (S53, S54) is changed to the first addition process (S51).
  • S52) can be made lower than the clip value (CLIP_T1_1) used.
  • the clip value (CLIP_T2_3) used in the third addition process (S55, S56) is used as the second addition process (S53).
  • S54) can be made lower than the clip value (CLIP_T2_2) used.
  • step S57 the first linearization processing unit 142 calculates the above equations (19) to (23), thereby linearizing the addition signal SUM1 obtained in the processing of step S52 and generating a linear signal LIN1. .
  • step S58 the second linearization processing unit 144 linearizes the addition signal SUM2 obtained in the process of step S54 by calculating the above equations (25) to (29), and generates a linear signal LIN2. .
  • step S59 the third linearization processing unit 146 calculates the above equations (31) to (35) to linearize the addition signal SUM3 obtained by the processing in step S56, and generates a linear signal LIN3. .
  • step S60 the first synthesis coefficient calculation unit 147 calculates the first synthesis coefficient by calculating the above equation (36) with reference to the image signal T1.
  • step S61 the first motion detection unit 148 detects motion using the linear signal LIN1 obtained by the process of step S57 and the linear signal LIN2 obtained by the process of step S58, and calculates the above equation (37). Thus, the first motion coefficient is calculated.
  • step S62 the first synthesis coefficient modulation unit 149 calculates the first motion coefficient obtained by the process of step S61 from the first synthesis coefficient obtained by the process of step S60 by calculating the above equation (38). Subtraction is performed to calculate the first motion-compensated synthesis coefficient.
  • step S63 the first synthesis processing unit 150 refers to the first motion-compensated synthesis coefficient obtained by the process of step S62, and calculates the above equation (39), thereby obtaining the process of step S57.
  • the linear signal LIN1 and the linear signal LIN2 obtained in step S58 are combined to generate a combined signal BLD1.
  • the histogram is obtained by performing synthesis according to the first motion-compensated synthesis coefficient.
  • the linear signal LIN1 and the linear signal LIN2 are synthesized while avoiding the vicinity of the knee point Kp where the spike is generated.
  • step S64 the second synthesis coefficient calculation unit 151 calculates the second synthesis coefficient by calculating the above equation (40) with reference to the image signal T2.
  • step S65 the second motion detection unit 152 detects motion using the linear signal LIN2 obtained by the process of step S58 and the linear signal LIN3 obtained by the process of step S59, and the above equations (41) and ( 42) is calculated to calculate the second motion coefficient.
  • step S66 the second synthesis coefficient modulation unit 153 calculates the second motion coefficient obtained in the process of step S65 from the second synthesis coefficient obtained in the process of step S64 by calculating the above equation (43). Subtraction is performed to calculate the second motion-compensated synthesis coefficient.
  • step S67 the second synthesis processing unit 154 refers to the second motion-compensated synthesis coefficient obtained in the process of step S66, calculates the above equation (44), and is obtained in the process of step S63.
  • the synthesized signal BLD1 and the linear signal LIN3 obtained by the process of step S59 are synthesized to generate a synthesized image signal.
  • the histogram is obtained by performing synthesis according to the second motion-compensated synthesis coefficient.
  • the synthesized signal BLD1 and the linear signal LIN3 are synthesized while avoiding the vicinity of the knee point Kp where the spike is generated.
  • step S68 the second synthesis processing unit 154 outputs the synthesized image signal obtained by the process in step S67.
  • FIG. 24 is a diagram for explaining the details of the first addition processing by the first addition processing unit 141 and the first linearization processing by the first linearization processing unit 142.
  • clip processing using predetermined clip values is performed, and clip values CLIP_T1_1, CLIP_T2_1, and CLIP_T3_1 are set for the image signals T1, T2, and T3, respectively.
  • the clip value of the image signal T1 is CLIP_T1_1.
  • the clip value of the image signal T2 is CLIP_T2_1
  • the clip value of the image signal T3 is CLIP_T3_1.
  • the long accumulation, intermediate accumulation, and short accumulation image signals T1, T2, and T3 are clipped by independent clip values (CLIP_T1_1, CLIP_T2_1, CLIP_T3_1) according to the above equation (18). Then, the addition signal SUM1 is obtained by addition.
  • the position of the knee point Kp (KP1_1, KP2_1 in FIG. 24) is obtained by the above equations (19) and (20) as the point where the slope of the addition signal SUM1 changes. .
  • a linear signal that is linear with respect to brightness (a signal restored linearly) is referred to for each of the first to third regions by referring to the value of the addition signal SUM1.
  • the first region (SUM1 ⁇ KP1_1) that is below the level at which the image signal T1 (long accumulation) is saturated is the image signal T1 (long accumulation) and the image signal T2 (intermediate accumulation).
  • the image signal T3 (short accumulation) are regions in which the signal amount changes linearly with respect to the amount of light.
  • the addition signal SUM1 is used as the linear signal LIN1. That is, in this first region, the linear signal LIN1 is obtained by the above equation (21).
  • the image signal T2 (intermediate storage) is below the saturation level
  • the image signal T1 long storage
  • the image signal T3 (short storage) are regions in which the signal amount changes linearly with respect to the amount of light.
  • the third region (KP2_1 ⁇ SUM1) exceeding the level at which the image signal T2 (intermediate storage) is saturated is clipped with both the image signal T1 (long storage) and the image signal T2 (intermediate storage).
  • the signal amount does not change even if the light amount changes, but the image signal T3 (short accumulation) is a region where the signal amount changes linearly with respect to the light amount.
  • the linear signal LIN1 is obtained by the above equation (23).
  • the linear signal LIN1 that is a signal linear with respect to brightness is generated with reference to the addition signal SUM1 obtained in the first addition process.
  • FIG. 25 is a diagram for explaining the details of the second addition processing by the second addition processing unit 143 and the second linearization processing by the second linearization processing unit 144.
  • clip processing using predetermined clip values is performed, and clip values CLIP_T1_2, CLIP_T2_2, and CLIP_T3_2 are set for the image signals T1, T2, and T3, respectively.
  • the clip value of the image signal T1 is CLIP_T1_2.
  • the clip value of the image signal T2 is CLIP_T2_2
  • the clip value of the image signal T3 is CLIP_T3_2.
  • the clip values set for each image signal are the same as the clip values CLIP_T2_2 and CLIP_T3_2 for the image signals T2 and T3 and the clip values CLIP_T2_1 and CLIP_T3_1 compared to the clip values of FIG.
  • the clip value CLIP_T1_2 and the clip value CLIP_T1_1 are different from each other.
  • the clip value CLIP_T1_2 that is lower than the clip value CLIP_T1_1 as the clip value for the image signal T1 (long accumulation). Is set.
  • the same value is set as the clip value of the image signal T2 (intermediate storage) and the image signal T3 (short storage).
  • the long accumulation, intermediate accumulation, and short accumulation image signals T1, T2, and T3 are clipped with independent clip values (CLIP_T1_2, CLIP_T2_2, CLIP_T3_2) according to the above equation (24). Then, the addition signal SUM2 is obtained by addition.
  • the first region (SUM2 ⁇ KP1_2) where the image signal T1 (long accumulation) is below the saturation level is the image signal T1 (long accumulation), image signal T2 (intermediate accumulation).
  • the image signal T3 (short accumulation) are regions in which the signal amount changes linearly with respect to the amount of light.
  • the addition signal SUM2 is used as the linear signal LIN2. That is, in this first region, the linear signal LIN2 is obtained by the above equation (27).
  • the image signal T1 (long storage) is clipped and the amount of light changes.
  • the signal amount does not change, but the image signal T2 (intermediate storage) and the image signal T3 (short storage) are regions in which the signal amount changes linearly with respect to the amount of light.
  • the third region (KP2_2 ⁇ SUM2) exceeding the level at which the image signal T2 (intermediate storage) is saturated is clipped with both the image signal T1 (long storage) and the image signal T2 (intermediate storage).
  • the signal amount does not change even if the light amount changes, but the image signal T3 (short accumulation) is a region where the signal amount changes linearly with respect to the light amount.
  • the linear signal LIN2 that is a signal linear with respect to brightness is generated with reference to the addition signal SUM2 obtained by the second addition processing.
  • the above expression (30) is calculated as in the first addition process and the second addition process.
  • An addition signal SUM3 is obtained.
  • the knee point is obtained by the above equations (31) and (32) as in the first linearization process and the second linearization process.
  • Kp (KP1_3, KP2_3) is obtained, and the linear signal LIN3 is generated for each of the first to third regions by the above equations (33) to (35).
  • FIG. 26 is a diagram illustrating details of suppression of histogram spikes according to the present technology.
  • the horizontal axis in the figure represents brightness, and the change of the linear signal LIN1, the linear signal LIN2, and the combined signal BLD1 of these linear signals (LIN1, LIN2) is shown.
  • the position of the signal at which the histogram spike occurs depends on the clip position of the signal before the addition signal SUM is generated (and the knee point Kp obtained therefrom). Therefore, in the present technology, in the second addition process, by setting a clip value different from the clip value used in the first addition process, the linear signal LIN1 and the linear signal LIN2 in which the histogram spike generation position is shifted are generated. To be.
  • the clip value (CLIP_T1_1 and CLIP_T1_2) set for the image signal T1 (long accumulation) is different between the linear signal LIN1 shown in FIG. 24 and the linear signal LIN2 shown in FIG. Therefore, the spike occurrence position (“SP1” of LIN1 and “SP2” of LIN2) is shifted.
  • a signal (linear signal LIN2) in which the position of the knee point Kp is lowered is prepared in parallel, and changes according to the clip value.
  • the linear signal LIN1 side (dotted line A1 in the figure) to the linear signal LIN2 side (in the figure) so as to avoid the vicinity of the knee point Kp ("SP1" of LIN1 and "SP2" of LIN2) To the dotted line A3).
  • the synthesized signal BLD1 has a composition ratio of the linear signal LIN2 in the synthesized signal BLD1 obtained by synthesizing the linear signal LIN1 and the linear signal LIN2 within the range of dotted lines B1 to B2.
  • the synthesis ratio of the linear signal LIN1 is 100% to 0%
  • the synthesis ratio is determined by the first synthesis coefficient (the first motion-compensated synthesis coefficient).
  • FIG. 27 shows details of such a synthesis coefficient.
  • FIG. 27 is a diagram illustrating details of the synthesis coefficient used in the present technology.
  • the linear signal LIN1 since the histogram spike does not occur until the image signal T1 (long accumulation) is clipped by the clip value CLIP_T1_1, the linear signal LIN1 is linear by looking at the level of the image signal T1 (long accumulation). A synthesis ratio (first synthesis coefficient) between the signal LIN1 and the linear signal LIN2 is set.
  • the first synthesis coefficient (BLD_TH_L_LOW, BLD_TH_L_HIGH) is set. However, what value is set for the width of the synthesis area is arbitrary.
  • the linear signal LIN2 side must already satisfy the condition that the histogram spike does not occur in the BLD_TH_L_LOW region where the synthesis (blending) of the linear signal LIN1 and the linear signal LIN2 is started. Therefore, in the present technology, a value obtained by reducing only the noise amount of the image signal T2 (intermediate storage) and the image signal T3 (short accumulation) in the vicinity thereof from BLD_TH_L_LOW is set as the clip value CLIP_T1_2.
  • a value lower than the clip value (CLIP_T1_1) used in the first addition process is set as the clip value (CLIP_T1_2) of the image signal T1 used in the second addition process. Therefore, in the linear signal LIN2, the signal amount of the image signal T1 (long accumulation) is clipped rather than in the linear signal LIN1.
  • the reduced signal amount is estimated using the image signal T2 (intermediate storage) and the image signal T3 (short storage), but in the image signal T1 (long storage)
  • a moving object or the like that appears only brighter may be darker than the linear signal LIN1 in which a higher clip value is set.
  • motion determination is performed between the linear signal LIN1 and the linear signal LIN2, and if there is motion, the synthesis ratio on the safer (more reliable) linear signal LIN1 side is increased.
  • the first synthesis coefficient is controlled (modulated). Then, by using the first motion-compensated synthesis coefficient obtained in this way and synthesizing the linear signal LIN1 and the linear signal LIN2, it is possible to suppress, for example, darkening of a moving object or the like. It becomes possible.
  • the image signal T1 (long accumulation) is used in the first addition process while the image signal T1 of the image signal T1 (long accumulation) is not used in the second addition process is assumed.
  • more reliable information is not the linear signal LIN2 but the linear signal LIN1.
  • the first synthesis coefficient is controlled so that the synthesis ratio on the linear signal LIN1 side is increased.
  • the linear signal LIN1 is compared with the linear signal LIN2, and if the difference is large, the linear signal LIN1 may be used. That is, when the linear signal LIN1 and the linear signal LIN2 are combined, the first combining coefficient is modulated so that the combining ratio of the signal with higher information reliability is increased.
  • first synthesis coefficient for synthesizing the linear signal LIN1 and the linear signal LIN2 and the first motion-compensated synthesis coefficient have been described here, the first synthesis coefficient for synthesizing the synthesis signal BLD1 and the linear signal LIN3 is described.
  • the two synthesis coefficients and the second motion-compensated synthesis coefficient can be similarly controlled.
  • N integer greater than or equal to 1
  • the image signal T1 corresponds to a long accumulation image.
  • the image signal T2 corresponds to a medium accumulation image
  • the image signal T3 corresponds to a short accumulation image.
  • the exposure time of the image signal T1 is S1
  • the exposure time of the image signal T2 is S2
  • the exposure time of the image signal T3 is S3. If the exposure time is similarly specified for the image signal T4 and thereafter, the exposure time of the image signal TN is SN.
  • the clip value of the image signal T1 is CLIP_T1
  • the clip value of the image signal T2 is CLIP_T2
  • the clip value of the image signal T3 is CLIP_T3. If the clip value is designated in the same manner for the image signal T4 and thereafter, the clip value of the image signal TN is CLIP_TN.
  • the knee point Kp the point where the inclination of the addition signal SUM first changes when the image signal T1 is saturated is referred to as KP_1, and then the point where the inclination of the addition signal SUM changes when the image signal T2 is saturated is changed to KP_2.
  • KP_1 the point where the inclination of the addition signal SUM changes when the image signal T2 is saturated is changed to KP_2.
  • the points where the image signal T3,..., TN is saturated and the inclination of the addition signal SUM is changed to KP_3,.
  • the linear signal LIN after linearization is the linear signal in the region of SUM ⁇ KP_1, LIN_1, the linear signal in the region of KP_1 ⁇ SUM ⁇ KP_2 is LIN_2, and the linear signal in the region of KP_2 ⁇ SUM ⁇ KP_3. LIN_3. If there is a similar relationship thereafter, the linear signal in the region of KP_N ⁇ 1 ⁇ SUM is LIN_N.
  • Such a relationship can be illustrated as shown in FIG. 28, for example.
  • clip values CLIP_T1, CLIP_T2, and CLIP_T3 are set for the image signals T1, T2, and T3 to be added.
  • the addition signal SUM of the image signals T1, T2, and T3 changes its inclination at the knee point KP_1 corresponding to the clip value CLIP_T1 of the image signal T1 (first change in C1 in the figure), and the image The inclination further changes at the knee point KP_2 corresponding to the clip value CLIP_T2 of the signal T2 (the second change in C2 in the figure).
  • the addition signal SUM of the image signals T1, T2, and T3 is linearized, but the linear signal LIN_1 is restored in the first region where SUM ⁇ KP_1.
  • the linear signal LIN_2 is restored in the second region of KP_1P ⁇ SUM ⁇ KP_2, and the linear signal LIN_3 is restored in the third region of KP_2 ⁇ SUM.
  • FIG. 28 for simplification of explanation, three image signals T1, T2, and T3, that is, a case of combining three images are shown as image signals to be subjected to addition processing.
  • the image signal is similarly processed, and a linear signal is restored from the addition signal SUM in accordance with the knee point Kp.
  • the calculation formula for converting the addition signal SUM into the linear signal LIN can be expressed as the following formula (45) and formula (46).
  • the following formula (45) is a calculation formula for obtaining the addition signal SUM.
  • LIN_m is expressed by the following equation (46) for 1 ⁇ m ⁇ N. ).
  • the position of KP_m can be expressed as in the following equation (47) for 1 ⁇ m ⁇ N.
  • the amount of long accumulation signal amount is estimated from intermediate accumulation and short accumulation, so moving objects that appear bright only in long accumulation, There is a possibility that it will be darker than in the case of simple addition. Therefore, in the present technology, motion correction processing is performed together.
  • the present technology can be applied to all photographing apparatuses such as in-vehicle cameras and surveillance cameras.
  • the subject to be photographed is not limited to the LED traffic light or the LED speed regulation sign, and the subject to be photographed can be a subject having a very large luminance difference or a blinking subject (for example, a light-emitting body that blinks rapidly).
  • the present technology is particularly useful in a photographing apparatus that detects an obstacle using a histogram.
  • the camera unit 10 shown in FIG. 13 can be configured as a stacked solid-state imaging device such as a back-illuminated CMOS image sensor.
  • a semiconductor substrate 200A in which the pixel region 201 is formed and a semiconductor substrate 200B in which the signal processing circuit region 202 is formed can be stacked.
  • the semiconductor substrate 200A and the semiconductor substrate 200B are electrically connected by, for example, a through via or a metal bond.
  • FIG. 30 shows a detailed configuration of the pixel area 201 and the signal processing circuit area 202 of FIG. 30, the signal processing circuit area 202 includes a camera signal processing unit 211, signal processing units 212 to 214 that perform various signal processing, and the like.
  • the camera signal processing unit 211 can be configured to include the above-described signal processing unit 104 (FIG. 13). That is, the camera signal processing unit 211 can perform the signal processing shown in the flowcharts of FIGS. 17 and 22 to 23.
  • the camera signal processing unit 211 may include the delay line 103, the timing control unit 106, and the like.
  • the pixel area 201 includes a pixel array portion of the image sensor 102 and the like.
  • a semiconductor substrate 200C in which a memory region 203 is formed is laminated between a semiconductor substrate 200A in which a pixel region 201 is formed and a semiconductor substrate 200B in which a signal processing circuit region 202 is formed. You may be made to do.
  • the signal processing circuit area 202 includes a camera signal processing unit 311 and signal processing units 312 to 314 that perform various signal processing.
  • the memory area 203 includes memory units 321 to 322.
  • the camera signal processing unit 311 includes the signal processing unit 104 (FIG. 13) and the like, similar to the camera signal processing unit 211 of FIG.
  • the delay line 103 is included in the memory area 203 so that the delay line 103 sequentially stores image data from the pixel area 201 (imaging device 102), and the camera signal processing unit 311 (signal processing unit) is appropriately stored. 104).
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 33 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded on a removable recording medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable recording medium 1011 to the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008.
  • the program can be installed in the ROM 1002 or the recording unit 1008 in advance.
  • the program executed by the computer 1000 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • processing steps for describing a program for causing the computer 1000 to perform various processes do not necessarily have to be processed in chronological order according to the order described in the flowchart, but in parallel or individually. (For example, parallel processing or object processing).
  • the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 34 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 as a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 35 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 35 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the camera unit 10 according to the present embodiment described with reference to FIG. 13 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the camera unit 10 can be applied to the integrated control unit 7600 of the application example illustrated in FIG.
  • the signal processing unit 104 and the timing control unit 106 of the camera unit 10 correspond to the microcomputer 7610 of the integrated control unit 7600.
  • the integrated control unit 7600 provides different clip values for long accumulation and short accumulation in order to suppress histogram spikes, blinking is performed in a scene with a very large luminance difference such as a tunnel exit. It is possible to reliably recognize LED traffic lights and road signs with high response speed, and to accurately recognize obstacles such as preceding vehicles and pedestrians.
  • the components of the camera unit 10 described with reference to FIG. 13 is realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 illustrated in FIG. May be.
  • the camera unit 10 described with reference to FIG. 13 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG.
  • this technique can take the following structures.
  • a signal processing apparatus comprising: a combining unit that combines a plurality of image signals obtained as a result of the addition.
  • the combining unit is a signal amount of an image signal obtained as a result of addition, and a plurality of images obtained as a result of linearization in a region different from the periphery of the signal amount when the inclination of the signal amount with respect to the light amount changes.
  • the signal processing device according to (1).
  • the synthesis coefficient calculation unit uses a first image signal obtained as a result of addition and linearization using the first saturation signal amount and a second saturation signal amount lower than the first saturation signal amount.
  • the signal of the second image obtained as a result of the addition and the linearization is synthesized, the signal of the first image according to the level of the signal of the setting image in which the amount of the first saturation signal is set.
  • the signal processing apparatus according to (6), wherein the synthesis coefficient for synthesizing the signal and the signal of the second image is calculated.
  • the synthesis coefficient calculation unit synthesizes the signal of the first image and the signal of the second image until the level of the signal of the set image reaches the first saturation signal amount.
  • the signal processing apparatus according to (7), wherein the synthesis coefficient is calculated so that a synthesis ratio of the signal of the second image in an obtained synthesized image signal is 100%.
  • the signal processing apparatus according to (8), wherein when the level of the signal of the set image becomes the first saturation signal amount, the inclination of the image signal obtained as a result of addition changes.
  • (10) Further comprising a synthesis coefficient modulation section for modulating the synthesis coefficient based on a motion detection result between the signals of the plurality of images;
  • the signal processing apparatus according to (6), wherein the combining unit combines the signals of the plurality of images based on a combined coefficient after motion compensation obtained as a result of modulation.
  • the synthesis coefficient modulation unit When a motion is detected between the signals of the plurality of images, the synthesis coefficient modulation unit is configured so that a synthesis ratio of a signal of an image with high information reliability among the signals of the plurality of images is increased.
  • the signal processing device according to (10), wherein the synthesis coefficient is modulated.
  • the synthesis coefficient modulator uses a first image signal obtained as a result of addition and linearization using the first saturation signal amount, and a second saturation signal amount lower than the first saturation signal amount.
  • the synthesis coefficient for synthesizing the signal of the first image and the signal of the second image is modulated so that the synthesis ratio of the signal of the first image in the signal of is increased.
  • the plurality of images include a first exposure image having a first exposure time and a second exposure image having a second exposure time different from the first exposure time,
  • the control unit performs control so as to capture the second exposure image following the first exposure image, and sets the end of exposure of the first exposure image and the start of exposure of the second exposure image.
  • the signal processing device according to any one of (1) to (12), wherein the interval is minimized.
  • An imaging device comprising: a combining unit that combines signals of a plurality of images obtained as a result of addition.
  • a signal processing method including a step of combining signals of a plurality of images obtained as a result of addition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができるようにする信号処理装置、撮影装置、及び、信号処理方法に関する。 異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、その加算の結果得られる複数の画像の信号を合成することで、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができる。本技術は、例えば、画像を撮影するカメラユニット等に適用することができる。

Description

信号処理装置、撮影装置、及び、信号処理方法
　本技術は、信号処理装置、撮影装置、及び、信号処理方法に関し、特に、例えば、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができるようにした信号処理装置、撮影装置、及び、信号処理方法に関する。
　近年、自動運転など高度な運転制御を実現することを目的として自動車に車載カメラが搭載されるケースが増えている。
　しかしながら、車載カメラでは安全性を確保するため、トンネルの出口など輝度差が非常に大きい条件においても視認性を担保することが求められており、画像の白飛びを抑えて広ダイナミックレンジ化するための技術が必要な状況である。このような白飛びの対策としては、例えば、特許文献１に開示されている技術が知られている。
　また、近年、信号機や、電子的な道路標識の光源が、白熱電球等からLED(Light Emitting Diode)に置き換わりつつある。
　LEDは、白熱電球に比較して、明滅の応答速度が高速であるため、例えば、自動車等に搭載される車載カメラ等で、LEDの信号機や道路標識を撮影すると、フリッカが発生し、信号機や道路標識が消灯した状態で撮影される。このようなフリッカの対策としては、例えば、特許文献２に開示されている技術が知られている。
　また、自動運転を実現する際には、自動車の進行方向に存在する先行車両や、道路を横断中の歩行者などの障害物を認識するための技術が必須となる。このような障害物を認識するための技術としては、例えば、特許文献３に開示されている技術が知られている。
特開平５－６４０７５号公報 特開２００７－１６１１８９号公報 特開２００５－２６７０３０号公報
　ところで、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識するための技術は確立されておらず、そのような技術が求められていた。
　本技術はこのような状況に鑑みてなされたものであり、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができるようにするものである。
　本技術の一側面の信号処理装置は、異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、加算の結果得られる複数の画像の信号を合成する合成部とを備える信号処理装置である。
　本技術の一側面の撮影装置は、異なる露光時間で撮影された複数の画像を生成する画像生成部と、前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、加算の結果得られる複数の画像の信号を合成する合成部とを備える撮影装置である。
　本技術の一側面の信号処理方法は、異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、加算の結果得られる複数の画像の信号を合成するステップを含む信号処理方法である。
　本技術の一側面の信号処理装置、撮影装置、及び信号処理方法においては、異なる露光時間で撮影された複数の画像の信号が、異なる飽和信号量を用いて加算され、加算の結果得られる複数の画像の信号が合成される。
　信号処理装置や撮影装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
　本技術の一側面によれば、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
輝度差が非常に大きい撮影対象の撮影の例を説明する図である。 点滅する撮影対象の撮影の例を説明する図である。 車両前方の認識の例を説明する図である。 輝度差が非常に大きい撮影対象に対する対処方法を説明する図である。 信号機の点灯状態が記録されるべきであるにも関わらず、消灯状態が記録されてしまう場合の例を示す図である。 点滅光源の消灯期間を上回る露光時間で撮影を行う場合の例を示す図である。 現状の技術の手法を説明するための図である。 現状の技術の手法を説明するための図である。 ヒストグラムのピーク位置を用いた障害物検出の手法を説明するための図である。 ヒストグラムのスパイクの例を示す図である。 現状の技術の合成結果の例を示す図である。 現状の技術を用いた合成で、ヒストグラムに発生する擬似的なスパイクの例を示す図である。 本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。 タイミング制御部によるシャッタ制御の例を示す図である。 タイミング制御部によるシャッタ制御の例を示す図である。 信号処理部の構成例を示す図である。 2枚合成を行う場合の信号処理を説明するフローチャートである。 信号処理の処理結果の例を示す図である。 実際の撮影画像の例を示す図である。 実際の撮影画像の例を示す図である。 3枚合成を行う場合の信号処理部の構成例を示す図である。 3枚合成を行う場合の信号処理を説明するフローチャートである。 3枚合成を行う場合の信号処理を説明するフローチャートである。 第１加算処理と第１線形化処理の詳細を説明する図である。 第２加算処理と第２線形化処理の詳細を説明する図である。 本技術によるヒストグラムのスパイクの抑制の詳細を説明する図である。 本技術で用いられる合成係数の詳細を説明する図である。 N枚合成を説明する図である。 積層型の固体撮像装置の構成例を示す図である。 画素領域と信号処理回路領域の詳細な構成例を示す図である。 積層型の固体撮像装置の他の構成例を示す図である。 画素領域と信号処理回路領域とメモリ領域の詳細な構成例を示す図である。 コンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の概要
２．本技術の実施の形態
３．本技術の実施の形態の変形例
４．本技術の信号処理の詳細な内容
５．N枚合成の計算式
６．固体撮像装置の構成例
７．コンピュータの構成例
８．応用例
＜１．本技術の概要＞
（輝度差が非常に大きい撮影対象の撮影の例）
　近年、自動運転など高度な運転制御を実現することを目的として自動車に車載カメラが搭載されるケースが増えている。しかしながら、車載カメラでは安全性を確保するため、トンネルの出口など輝度差が非常に大きい条件においても視認性を担保することが求められており、画像の白飛びを抑えて広ダイナミックレンジ化するための技術が必要な状況である。
　図１は、輝度差が非常に大きい撮影対象の撮影の例を説明する図である。図１においては、トンネルの出口の撮影の例を示しているが、トンネルの出口の状況が認識できないと、安全を確保するための運転制御を行うことができない。
（点滅する撮影対象の撮影の例）
　また、近年において、信号機や標識の光源が電球からLEDに置き換わりつつある。しかしながらLEDは明滅の応答速度が従来式の電球に比べて高速であるため、撮影装置でLEDの信号機や標識を撮影するとフリッカが発生し消灯して見えてしまうという問題があり、ドライブレコーダの証拠能力の担保や自動車の運転自動化に向けて大きな課題となっている。
　図２は、点滅する撮影対象の撮影の例を説明する図である。図２において、第１フレーム（Frame1）と第２フレーム（Frame2）の画像では、青（左端）が点灯している信号機が映っているが、第３フレーム（Frame3）と第４フレーム（Frame4）の画像では、消灯している状態の信号機が映っている。
　このように、信号機が消灯した状態で映ることは、例えば、ドライブレコーダに利用されている場合に、映像（画像）の証拠能力に支障をきたす原因になる。また、信号機が消灯した状態で映ることは、その画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
（車両前方の認識の例）
　また、自動運転を実現する際に、自動車の進行方向に存在する先行車両や、道路を横断中の歩行者等の障害物（対象物）を認識するための技術が必須となる。例えば、自動車の前方の障害物の検出が遅れると、自動ブレーキの動作が遅れてしまう可能性がある。
　図３は、車両前方の認識の例を説明する図である。図３においては、自動車の前方を走行する2台の車両や路面の状態等が認識され、その認識結果に応じた自動運転の制御が行われる。
（輝度差が非常に大きいシーンにおいて、点滅する撮影対象に対する対処方法）
　ここで、上述した特許文献１には、複数の異なる露光量で撮影された画像を合成することで白飛びを抑制し、見かけのダイナミックレンジを拡大する手法が提案されている。この手法においては、図４に示すように、露光時間の長い長時間露光画像（長蓄画像）の輝度値を参照し、明るさが所定の閾値を下回れば長時間露光画像（長蓄画像）、上回れば短時間露光画像（短蓄画像）を出力することで、広いダイナミックレンジを持つ画像を生成することが可能となる。
　一方で、図２に示したように、LED信号機など高輝度な被写体が点滅をしている場合に、長時間露光画像（長蓄画像）と短時間露光画像（短蓄画像）との合成を行うことで、本来信号機の点灯状態が記録されるべきであるにも関わらず消灯状態が記録されてしまう場合がある。図５には、信号機の点灯状態が記録されるべきであるにも関わらず、消灯状態が記録されてしまう場合の例を示している。
　図５の例においては、長蓄画像にのみ、LED点灯状態が映っている場合に、光源が明るいため、信号が飽和して閾値を上回っている。そのため、長蓄画像から短蓄画像への置き換えが生じることになるが、短蓄画像には、LED点灯状態が映っていないため、消灯状態が発生してしまう。また、図５の例においては、短蓄画像にのみ、LED点灯状態が映っている場合に、長蓄画像の明るさが、閾値を下回っているため、長蓄画像から短蓄画像への置き換えは発生しない。その結果、長蓄画像にはLEDの点灯状態が映っていないため、消灯状態が発生してしまう。
　また、図２に示したLEDのフリッカに対しては、点滅光源の消灯期間を上回る露光時間で撮影を行うことで、発光期間の撮り逃しを防ぐ手法がある。例えば、光源の点滅周波数が100Hz、発光Duty比が60%であれば消灯期間4msを露光時間の下限値とし、常にそれ以上の露光時間を確保することで光源の点灯状態を撮影し続けることができる（上述した特許文献２参照）。図６には、点滅光源の消灯期間を上回る露光時間で撮影を行う場合の例を示している。図６の例では、消灯期間4msの場合において、4ms < 露光時間となっている。
　しかしながら、車載カメラなどレンズF値を固定で使用しなければならないシステムの場合、晴天時の屋外など照度の高い状況下では、露光時間を光源の消灯期間よりも短くできないため、露光過多となり、被写体の視認性が低下してしまう。そのため、図１に示した画像の白飛びが発生するような輝度差の大きいシーンにおいては、画像のダイナミックレンジを拡大する効果は得られない。
（現状の技術の手法）
　図１に示した画像の白飛びと、図２に示したLEDのフリッカを同時に解決するための手法として、異なる露光時間で撮影した複数の撮影画像の加算信号を用いて、ダイナミックレンジの拡大された信号を生成する手法（以下、現状の技術の手法という）がある。
　図７及び図８は、現状の技術の手法を説明するための図である。
　この現状の技術の手法では、異なる露光時間（T1，T2）で撮影した複数の撮影画像（長蓄画像、短蓄画像）を合成することにより、ダイナミックレンジを拡大すると同時に、複数の撮影画像（長蓄画像、短蓄画像）の加算値を常に用いている。そのため、異なる露光タイミングで露光された複数の撮影画像のうち、いずれかの撮影画像にしか、LEDの点灯状態が記録されていない状況においても、そのLEDの点灯状態を含む撮影画像の画像信号を有効に活用して、LEDの消灯状態の発生を抑制することができる。
　具体的には、現状の技術の手法では、次のような処理が行われる。すなわち、現状の技術の手法では、まず、長蓄（P1）と短蓄（P2）とを加算して得られる加算信号Plo（Plo = P1 + P2）の傾きが変化するポイント（ニーポイントKp1）を求める。ニーポイントKp1は、長蓄（P1）が飽和し、加算信号Ploの傾きが変わる信号量であると言える。
　ここで、飽和信号量を、FULLSCALEとしたとき、飽和するポイントでは、下記の式（１）及び式（２）が成立する。
　P1 = FULLSCALE 　　　・・・（１）
　P2 = FULLSCALE × 1 / g1 　　　・・・（２）
　ただし、式（２）において、g1は、露光比（長蓄の露光時間（T1） / 短蓄の露光時間（T2））を表している。
　したがって、ニーポイントKp1は、下記の式（３）により求められる。
　Kp1 = 飽和するポイントのPlo = P1 + P2 = FULLSCALE × (1 + 1 / g1) 　　　・・・（３）
　また、図８においては、ニーポイントKp1を境界にして、第１領域と第２領域の領域ごとに、線形に復元された信号である線形信号（P）が求められる。
　ここで、第１領域、すなわち、Plo < Kp1の領域は、非飽和領域であるため、加算信号（Plo）を、そのまま線形信号（P）とすることができる。したがって、Plo < Kp1の領域では、P = Ploとなる。
　一方で、第２領域、すなわち、Kp1 ≦ Ploの領域は、飽和領域であるため、飽和して一定の値となっている長蓄（P1）の値を、短蓄（P2）の値から推測する必要がある。Kp1 ≦ Ploの領域では、Kp1からPloの増加分を、ΔPloとした場合、ΔPlo = ΔP2 = (Plo - Kp1) となる。このときのΔP1の値は、ΔP1 = ΔP2 × g1（P2の値の露光比倍）となる。
　したがって、Kp1 ≦ Ploの領域のPは、P = Kp1 + (Plo - Kp1) + (Plo - Kp1) × g1 となる。なお、このPの算出式において、右辺の第１項は、第２領域の開始オフセットを表し、右辺の第２項は、短蓄の信号量を表し、右辺の第３項は、短蓄から推測した長蓄の信号量となる。
　以上をまとめると、下記の式（４）及び式（５）のように表すことができる。
　(i) Plo < Kp1の領域（第１領域）の場合、
　　P = Plo 　　　・・・（４）
　(ii) Kp1 ≦ Ploの領域（第２領域）の場合、
　　P = Kp1 + (Plo - Kp1) × (1 + g1) 　　　・・・（５）
　ここで、上述した特許文献３には、撮影装置から得られる自動車前方の画像の垂直方向のヒストグラムを取得し、そのピーク位置から障害物（対象物）の位置を検出する手法が提案されている。この手法においては、図９に示すように、自動車の前方の撮影画像に対して進行方向に沿った短冊状の領域Ａ１で、画素値のヒストグラムを取得する。
　図９のＡにおいては、進行方向に障害物が存在しないため、路面のヒストグラムは、平坦となる。一方で、図９のＢにおいては、自動車の前方に他車が走行しており、進行方向に障害物が存在しているため、平坦な路面のヒストグラムに対し、特定の位置にピークが出現している。そして、このピークの輝度レベルに相当する座標を特定することで、障害物の位置を検出することが可能となる。
　しかしながら、上述した現状の技術では、加算信号（Plo = P1 + P2）を、ダイナミックレンジの拡張された線形信号（P）に変換する際に、ニーポイントKp1を境目として、急峻に演算式が変化するため、画像のノイズの分布が非対称になるという特徴がある。そのため、例えば、自動車の進行方向に太陽が存在し、輝度が滑らかに変化しているような路面の状況において、当該路面のヒストグラムを取得すると、ヒストグラムには、擬似的なスパイク（ヒストグラムのスパイク）が発生することになる。
　図１０には、ヒストグラムのスパイクの例を示している。図１０においては、輝度変化が滑らかな信号に対し、上述した現状の技術を用いて合成した結果得られるヒストグラムの例を示しているが、図中の枠Ａ２内に示すように、ヒストグラムのスパイクが発生している。
　なお、図１０に示したヒストグラムのスパイクの発生位置は、図１１のＣの現状の技術を用いた合成結果の位置に対応している。ただし、図１１のＣの合成結果は、図１１のＡの長蓄（P1）の値と、図１１のＢの短蓄（P2）の値とを合成することで得られる。
　すなわち、図１２に示すように、上述した現状の技術を用いた合成を行うと、自動車の前方に、障害物がない場合に、実際には障害物が存在しないにも関わらず、図中の枠Ａ３内に示すように、ヒストグラムに擬似的なスパイク（擬似ピーク）が発生してしまうことがある。また、自動車の前方に、障害物がある場合でも、図中の枠Ａ４内に示す障害物の存在を示すピーク（本ピーク）のほかに、図中の枠Ａ３内に示すように、ヒストグラムに擬似的なスパイク（擬似ピーク）が発生する可能性がある。
　そして、現状の技術を用いた合成で、ヒストグラムに擬似的なスパイクが発生してしまうと、ヒストグラムのピーク位置を用いた障害物検出の手法を適用する際に、擬似ピークと、障害物の有無を検出するための本ピークとの区別がつかず、障害物の誤検出が発生してしまう可能性がある。
　以上のように、図１に示した画像の白飛びが発生するような輝度差の大きいシーンにおいて、画像のダイナミックレンジを拡大することと、図２に示したLEDのフリッカの対策と、図９に示したヒストグラムのピーク位置を用いた障害物検出に支障を来さない画像を生成することを両立が可能な技術は、まだ確立されていない。本技術では、これらを両立させるために、特に、以下の3つの技術的特徴を有する点をポイントとしている。
（１）ヒストグラムのスパイクを抑制するために、長蓄や短蓄等の異なる露光時間で撮影された複数の画像の信号に対し、異なるクリップ値を設けるようにする。
（２）また、例えば、複数の画像の信号のうち、長蓄画像の信号だけ、クリップ値を下げて、加算信号の傾きが変化するポイントであるニーポイントKpの位置を引き下げた信号を並列に用意し、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて信号の乗り換えを行うことで、ニーポイントKpにおける急峻な特性の変化を抑制する。
（３）その際に、動き補正処理をあわせて行うことにより、ニーポイントKpの位置を引き下げることで発生する懸念のある高速点滅被写体の減光を抑制する。
　本技術では、このような技術的特徴を有することで、輝度差が非常に大きいシーンにおいて、白飛びや黒潰れを抑制すると同時に、LED信号機等の高速点滅被写体の点灯状態を正しく出力することが可能であり、かつヒストグラムのスパイクを抑制することで、誤検出することなく、正確に障害物を検出することができる。
　以下、このような本技術の技術的特徴を、具体的な実施の形態を参照しながら説明する。
＜２．本技術の実施の形態＞
（カメラユニットの構成例）
　図１３は、本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。
　図１３において、カメラユニット１０は、レンズ１０１、撮像素子１０２、ディレイライン１０３、信号処理部１０４、出力部１０５、及びタイミング制御部１０６から構成される。
　レンズ１０１は、被写体からの光を集光し、撮像素子１０２に入射させて結像させる。
　撮像素子１０２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子１０２は、レンズ１０１からの入射光を受光し、光電変換を行うことにより、入射光に対応する撮影画像（の画像データ）を撮影する。
　すなわち、撮像素子１０２は、タイミング制御部１０６から指定される撮影タイミングで撮影を行う撮影部として機能し、出力部１０５が出力する出力画像のフレームレートの期間に、N回の撮影を行い、そのN回の撮影により得られるN枚の撮影画像を、順次出力する。
　ディレイライン１０３は、撮像素子１０２が順次出力するN枚の撮影画像を順次記憶し、そのN枚の撮影画像を、同時に、信号処理部１０４に供給する。
　信号処理部１０４は、ディレイライン１０３からのN枚の撮影画像を処理し、１フレーム（枚）の出力画像を生成する。その際、信号処理部１０４は、N枚の撮影画像の同一座標の画素値の加算値を算出した後に線形化を行う処理をN系統持ち、それらの処理結果をブレンドして、出力画像を生成する。
　さらに、信号処理部１０４は、出力画像に対して、例えば、ノイズの除去や、WB（ホワイトバランス）の調整等の処理を行い、出力部１０５に供給する。また、信号処理部１０４は、ディレイライン１０３からのN枚の撮影画像の明るさから露光レベルを検出（検波）し、タイミング制御部１０６に供給する。
　出力部１０５は、信号処理部１０４からの出力画像（映像データ）を出力する。
　タイミング制御部１０６は、撮像素子１０２の撮影タイミングを制御する。すなわち、タイミング制御部１０６は、信号処理部１０４で検出された露光レベルに基づいて、撮像素子１０２の露光時間の調整を行う。その際に、タイミング制御部１０６は、N枚の撮影画像の露光タイミングを可能な限り近接させるようにシャッタ制御を行う。
　カメラユニット１０は、以上のように構成される。
（タイミング制御部のシャッタ制御の例）
　次に、図１４及び図１５を参照して、図１３のタイミング制御部１０６によるシャッタ制御について説明する。
　図１３のカメラユニット１０において、撮像素子１０２は、露光時間の異なるN枚の撮影画像の撮影データを取得する。その際、タイミング制御部１０６は、それらの撮影期間を可能な限り近接させることで実効的な露光時間を伸ばし、LED等の高速点滅被写体の点滅周期をカバーしやすくするための制御を行う。
　ここでは、図１４を参照しながら、その具体例として3枚の撮影画像を取得する際の露光タイミングについて説明する。図１４において、T1，T2，T3は、1フレーム以内で3回撮影を行う際のそれぞれの露光タイミングを示している。それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2：T3 = 4：2：1の比率とすることができる。
　この際、タイミング制御部１０６は、T1の露光が完了次第、すぐにT2の露光を開始し、T2の露光が完了次第、すぐにT3の露光を開始するように露光タイミングの制御を行う。すなわち、T1の露光終了とT2の露光開始との間隔、及びT2の露光終了とT3の露光開始との間隔が極小化されている。このような露光タイミング制御を行うことで、高速点滅被写体の点灯期間がT1，T2，T3のいずれかの露光期間とオーバーラップしやすくなり、点灯期間の画像を捕捉できる確率を上げることができる。
　また、N枚の撮影画像の撮影期間を近接させることで、次のような効果が得られる。すなわち、図１５のＡと図１５のＢを比較して説明すれば、図１５のＡに示すように、T1，T2，T3の露光タイミングを離して設定する場合には、点灯期間が短い（発光Duty比が小さい）点滅光源の場合に、露光タイミングと発光タイミングがオーバーラップしない可能性がある。
　一方で、図１５のＢに示すように、T1，T2，T3の露光タイミングを近接させる場合には、実効的な露光時間が伸びるため、点灯期間が短い点滅光源に対して露光タイミングと発光タイミングがオーバーラップする可能性を向上させることができる。なお、例えば、LED信号機の消灯期間は、典型的には3ms前後が想定されるので、タイミング制御部１０６は、この消灯期間に応じて、T1，T2，T3の露光タイミングを近接させる制御を行うことができる。
（信号処理部の構成例）
　図１６は、図１３の信号処理部１０４の構成例を示す図である。
　図１６の信号処理部１０４においては、撮像素子１０２で取得されたN枚の撮影画像の画像データを処理し、1フレーム（枚）の出力画像に合成している。その際に、信号処理部１０４は、常にN枚の撮影画像の画像データ間で合成を行い、トータルN-1回の合成処理が行われるようにする。
　図１６においては、その最も単純な例として、2枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明する。
　なお、図１６においては、T1，T2は、1フレーム以内で2回撮影を行った際のそれぞれの露光時間に対応する撮影画像を示している。また、図１６において、それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2 = 16：1の比率であると仮定する。T2の明るさをT1に合わせるための露光比ゲインを、G1と定義すると、G1 = T1の露光時間 / T2の露光時間 = 16[倍]となる。以下、このT1，T2に対応する撮影画像をそれぞれ、画像信号T1，画像信号T2とも記述する。
　図１６において、信号処理部１０４は、第１加算処理部１２１、第１線形化処理部１２２、第２加算処理部１２３、第２線形化処理部１２４、合成係数算出部１２５、動き検出部１２６、合成係数変調部１２７、及び合成処理部１２８から構成される。
　第１加算処理部１２１は、そこに入力される画像信号T1と画像信号T2とを加算する第１加算処理を行い、加算信号SUM1を生成する。第１加算処理部１２１は、第１加算処理で得られる加算信号SUM1を、第１線形化処理部１２２に供給する。
　具体的には、この第１加算処理では、画像信号T1と画像信号T2の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。
　ここで、上限クリップ処理では、第１加算処理における、画像信号T1と画像信号T2のクリップ値が設定される。なお、クリップ値（上限クリップ値）は、飽和値（飽和信号量）又は制限値であるとも言える。例えば、画像信号T1のクリップ値を、CLIP_T1_1とし、画像信号T2のクリップ値を、CLIP_T2_1とした場合、第１加算処理では、下記の式（６）が演算され、加算信号SUM1が得られる。
　SUM1 = MIN(CLIP_T1_1, T1) + MIN(CLIP_T2_1, T2) 　　　・・・（６）
　ただし、式（６）において、MIN(a, b)である関数は、bの上限値（飽和値、制限値）がaであることを意味する。なお、この関数の意味は、後述する式でも同様とされる。
　第１線形化処理部１２２は、第１加算処理部１２１からの加算信号SUM1を参照して、第１線形化処理を行い、明るさに対して線形な線形信号LIN1を生成する。第１線形化処理部１２２は、第１線形化処理で得られる線形信号LIN1を、動き検出部１２６及び合成処理部１２８に供給する。
　具体的には、この第１線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間とした場合に、ニーポイントKpの位置が、下記の式（７）により求められる。
　KP1_1 = CLIP_T1_1 × (1 + 1 / G1) 　　　・・・（７）
　そして、第１線形化処理では、加算信号SUM1とニーポイントKp（KP1_1）の領域に応じて、下記の式（８）又は式（９）により、線形信号LIN1が求められる。
　(i) SUM1 < KP1_1の領域の場合、
　　LIN1 = SUM1 　　　・・・（８）
　(ii) KP1_1 ≦ SUM1の領域の場合、
　　LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1) 　　　・・・（９）
　第２加算処理部１２３は、そこに入力される画像信号T1と画像信号T2とを加算する第２加算処理を行い、加算信号SUM2を生成する。第２加算処理部１２３は、第２加算処理で得られる加算信号SUM2を、第２線形化処理部１２４に供給する。
　具体的には、この第２加算処理では、画像信号T1と画像信号T2の値に対し、上述の第１の加算処理とは異なる値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。
　ここで、上限クリップ処理では、第２加算処理における、画像信号T1と画像信号T2のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_2とし、画像信号T2のクリップ値を、CLIP_T2_2とした場合、第２加算処理では、下記の式（１０）が演算され、加算信号SUM2が得られる。
　SUM2 = MIN(CLIP_T1_2, T1) + MIN(CLIP_T2_2, T2) 　　　・・・（１０）
　第２線形化処理部１２４は、第２加算処理部１２３からの加算信号SUM2を参照して、第２線形化処理を行い、明るさに対して線形な線形信号LIN2を生成する。第２線形化処理部１２４は、第２線形化処理で得られる線形信号LIN2を、動き検出部１２６及び合成処理部１２８に供給する。
　具体的には、この第２線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間とした場合に、ニーポイントKpの位置が、下記の式（１１）により求められる。
　KP1_2 = CLIP_T1_2 × (1 + 1 / G1) 　　　・・・（１１）
　そして、第２線形化処理では、加算信号SUM2とニーポイントKp（KP1_2）の領域に応じて、下記の式（１２）又は式（１３）により、線形信号LIN2が求められる。
　(i) SUM2 < KP1_2の領域の場合
　　LIN2 = SUM2 　　　・・・（１２）
　(ii) KP1_2 ≦ SUM2の領域の場合
　　LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1) 　　　・・・（１３）
　合成係数算出部１２５は、画像信号T1を参照して、線形信号LIN1と線形信号LIN2とを合成するための合成係数を算出する。合成係数算出部１２５は、算出した合成係数を、合成係数変調部１２７に供給する。
　具体的には、線形信号LIN1に対して、線形信号LIN2の合成（ブレンド）を開始する閾値を、BLD_TH_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN2が100％になる閾値を、BLD_TH_HIGHとすると、合成係数は、下記の式（１４）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　合成係数 = (T1 - BLD_TH_LOW)÷(BLD_TH_HIGH - BLD_TH_LOW) 　　　・・・（１４）
　動き検出部１２６は、第１線形化処理部１２２からの線形信号LIN1と、第２線形化処理部１２４からの線形信号LIN2との差分を動き量と定義して、動き判定を行う。その際、動き検出部１２６は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して動き係数を算出する。動き検出部１２６は、算出した動き係数を、合成係数変調部１２７に供給する。
　具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、動き係数は、下記の式（１５）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　動き係数 = (ABS(LIN1 - LIN2) - MDET_TH_LOW)÷(MDET_TH_HIGH - MDET_TH_LOW) 　　　・・・（１５）
　ただし、式（１５）において、ABS()は、絶対値を返す関数を意味する。なお、この関数の意味は、後述する式でも同様とされる。
　合成係数変調部１２７は、合成係数算出部１２５からの合成係数に対して、動き検出部１２６からの動き係数を加味した変調を行い、動き補償後合成係数を算出する。合成係数変調部１２７は、算出した動き補償後合成係数を、合成処理部１２８に供給する。
　具体的には、動き補償後合成係数は、下記の式（１６）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　動き補償後合成係数 = 合成係数 - 動き係数 　　　・・・（１６）
　合成処理部１２８は、第１線形化処理部１２２からの線形信号LIN1と、第２線形化処理部１２４からの線形信号LIN2とを、合成係数変調部１２７からの動き補償後合成係数で合成（アルファブレンド）して、その結果得られるHDR(High Dynamic Range)合成後信号としての合成後画像信号を出力する。
　具体的には、合成後画像信号は、下記の式（１７）により求められる。
　合成後画像信号 = (LIN2 - LIN1) × 動き補償後合成係数 + LIN1 　　　・・・（１７）
　信号処理部１０４は、以上のように構成される。
（2枚合成を行う場合の信号処理）
　次に、図１７のフローチャートを参照して、図１６の信号処理部１０４により実行される、2枚合成を行う場合の信号処理の流れを説明する。
　ステップＳ１１において、第１加算処理部１２１は、画像信号T1と画像信号T2の値に対し、あらかじめ定められたクリップ値（CLIP_T1_1，CLIP_T2_1）を用い、上限クリップ処理を行う。
　ステップＳ１２において、第１加算処理部１２１は、上記の式（６）を演算することで、ステップＳ１１の上限クリップ処理後の画像信号T1と画像信号T2を加算して、加算信号SUM1を生成する。
　ステップＳ１３において、第２加算処理部１２３は、画像信号T1と画像信号T2の値に対し、第１加算処理（Ｓ１１，Ｓ１２）とは異なるクリップ値（CLIP_T1_2，CLIP_T2_2）を用い、上限クリップ処理を行う。
　ステップＳ１４において、第２加算処理部１２３は、上記の式（１０）を演算することで、ステップＳ１３の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2を加算して、加算信号SUM2を生成する。
　なお、T1とT2の露光時間の比率は、例えば、T1：T2 = 16：1の比率とすることができる。したがって、画像信号T1は、長時間露光画像（長蓄画像）である一方で、画像信号T2は、短時間露光画像（短蓄画像）であるとも言える。また、例えば、長蓄画像である画像信号T1に対して設定されるクリップ値としては、第２の加算処理（Ｓ１３，Ｓ１４）で用いられるクリップ値（CLIP_T1_2）を、第１の加算処理（Ｓ１１，Ｓ１２）で用いられるクリップ値（CLIP_T1_1）よりも低くすることができる。
　ステップＳ１５において、第１線形化処理部１２２は、上記の式（７）乃至式（９）を演算することで、ステップＳ１２の処理で得られる加算信号SUM1を線形化し、線形信号LIN1を生成する。
　ステップＳ１６において、第２線形化処理部１２４は、上記の式（１１）乃至式（１３）を演算することで、ステップＳ１４の処理で得られる加算信号SUM2を線形化し、線形信号LIN2を生成する。
　ステップＳ１７において、合成係数算出部１２５は、画像信号T1を参照して、上記の式（１４）を演算することで、合成係数を算出する。
　ステップＳ１８において、動き検出部１２６は、ステップＳ１５の処理で得られる線形信号LIN1と、ステップＳ１６の処理で得られる線形信号LIN2で動きを検出して、上記の式（１５）を演算することで、動き係数を算出する。
　ステップＳ１９において、合成係数変調部１２７は、上記の式（１６）を演算することで、ステップＳ１７の処理で得られる合成係数から、ステップＳ１８の処理で得られる動き係数を減算し、動き補償後合成係数を算出する。
　ステップＳ２０において、合成処理部１２８は、ステップＳ１９の処理で得られる動き補償後合成係数を参照して、上述の式（１７）を演算することで、ステップＳ１５の処理で得られる線形信号LIN1と、ステップＳ１６の処理で得られる線形信号LIN2とを合成し、合成後画像信号を生成する。
　なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、線形信号LIN1と線形信号LIN2とが合成されることになる。すなわち、ヒストグラムのスパイクの発生位置をずらし、長蓄が飽和するまでに（ヒストグラムのスパイクが発生する前に）、線形信号LIN1側から、異なるニーポイントKpを持つ線形信号LIN2側に、滑らかに乗り換えるようにすることで、ヒストグラムのスパイクを抑制することができる。
　ステップＳ２１において、合成処理部１２８は、ステップＳ２０の処理で得られる合成後画像信号を出力する。
　以上、2枚合成を行う場合の信号処理の流れを説明した。
（信号処理部の処理結果の例）
　次に、図１８乃至図２０を参照して、図１６の信号処理部１０４による信号処理（図１７）の処理結果について説明する。
　図１８には、信号処理の処理結果の例を示している。なお、ここでは、図１８のＡに、上述した現状の技術の手法を用いた場合の処理結果を示して、図１８のＢの本技術の手法を用いた場合の処理結果と比較している。
　図１８のＡの現状の技術の手法の場合、図中の枠Ａ５内に示すように、長蓄が飽和する境界付近の明るさで、処理が急峻に変化するため、ヒストグラムの擬似的なスパイク（擬似ピーク）が発生してしまっている。その結果として、実際には障害物がないにも関わらず、障害物があると誤検出されることに繋がるのは、先に述べた通りである。
　一方で、図１８のＢの本技術の手法の場合、異なるクリップ値を設定して、線形信号LINごとに、ヒストグラムのスパイクの発生位置をずらし、長蓄が飽和するまでに（ヒストグラムのスパイクが発生する前に）、線形信号LIN1側から、異なるニーポイントKpを持つ線形信号LIN2側に、滑らかに乗り換えるようにしている。そのため、図１８のＢでは、擬似的なスパイク（擬似ピーク）が発生しておらず、実際には障害物がないにも関わらず、障害物があると誤検出されることを抑制することができる。
　なお、図１９及び図２０には、実際の撮影画像の例を示している。すなわち、図１９と図２０は、現状の技術の手法を用いた場合の信号処理の結果を表している。これらの撮影画像に対する信号処理では、正面に太陽がある逆光シーンで道路に沿った方向のヒストグラムを取得しているが、図２０では、スパイクが撮影画像のどこで発生しているのかがわかるように、ヒストグラム中のスパイクの輝度レベルに相当する画素の位置を強調して表示している（例えば、図中の枠Ａ６内など）。図２０においては、進行方向正面に太陽等の明るい光源がある場合に、円環状にスパイクが発生する領域が存在している。
＜３．本技術の実施の形態の変形例＞
（3枚合成を行う場合の信号処理部の構成例）
　図２１は、3枚合成を行う場合の信号処理部１０４の構成例を示す図である。
　すなわち、上述した説明では、最も単純な例として、2枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明したが、図２１においては、3枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明する。
　なお、図２１においては、T1，T2，T3は、1フレーム以内で3回撮影を行った際のそれぞれの露光時間に対応する撮影画像を示している。また、図２１において、それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2：T3 = 4：2：1の比率であると仮定する。T2の明るさをT1に合わせるための露光比ゲインをG1、T3の明るさをT2に合わせるための露光比ゲインをG2と定義する。上記の例では、G1 = 2，G2 = 2となる。以下、このT1，T2，T3に対応する撮影画像をそれぞれ、画像信号T1，画像信号T2，画像信号T3とも記述する。
　図２１において、信号処理部１０４は、第１加算処理部１４１、第１線形化処理部１４２、第２加算処理部１４３、第２線形化処理部１４４、第３加算処理部１４５、第３線形化処理部１４６、第１合成係数算出部１４７、第１動き検出部１４８、第１合成係数変調部１４９、第１合成処理部１５０、第２合成係数算出部１５１、第２動き検出部１５２、第２合成係数変調部１５３、及び第２合成処理部１５４から構成される。
　第１加算処理部１４１は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第１加算処理を行い、加算信号SUM1を生成する。第１加算処理部１４１は、第１加算処理で得られる加算信号SUM1を、第１線形化処理部１４２に供給する。
　具体的には、この第１加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。
　ここで、上限クリップ処理では、第１加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_1とし、画像信号T2のクリップ値を、CLIP_T2_1とし、画像信号T3のクリップ値を、CLIP_T3_1とした場合、第１加算処理では、下記の式（１８）が演算され、加算信号SUM1が得られる。
　SUM1 = MIN(CLIP_T1_1, T1) + MIN(CLIP_T2_1, T2) + MIN(CLIP_T3_1, T3) 　　　・・・（１８）
　第１線形化処理部１４２は、第１加算処理部１４１からの加算信号SUM1を参照して、第１線形化処理を行い、明るさに対して線形な線形信号LIN1を生成する。第１線形化処理部１４２は、第１線形化処理で得られる線形信号LIN1を、第１動き検出部１４８及び第１合成処理部１５０に供給する。
　具体的には、この第１線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_1，KP2_1）の位置が、下記の式（１９）又は式（２０）により求められる。
　KP1_1 = CLIP_T1_1 × (1 + 1 / G1 + 1 / (G1 × G2)) 　　　・・・（１９）
　KP2_1 = CLIP_T1_1 + CLIP_T2_1 × (1 + 1 / G2) 　　　・・・（２０）
　そして、第１線形化処理では、加算信号SUM1とニーポイントKp（KP1_1，KP2_1）の領域に応じて、下記の式（２１）乃至式（２３）により、線形信号LIN1が求められる。
　(i) SUM1 < KP1_1の領域の場合、
　　LIN1 = SUM1 　　　・・・（２１）
　(ii) KP1_1 ≦ SUM1 < KP2_1の領域の場合、
　　LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) 　　　・・・（２２）
　(iii) KP2_1 ≦ SUM1の領域の場合、
　　LIN1 = KP2_1 + (KP2_1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) + (SUM1 - KP2_1) × (1 + G2 + G1 × G2) 　　　・・・（２３）
　第２加算処理部１４３は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第２加算処理を行い、加算信号SUM2を生成する。第２加算処理部１４３は、第２加算処理で得られる加算信号SUM2を、第２線形化処理部１４４に供給する。
　具体的には、この第２加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。
　ここで、上限クリップ処理では、第２加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_2とし、画像信号T2のクリップ値を、CLIP_T2_2とし、画像信号T3のクリップ値を、CLIP_T3_2とした場合、第２加算処理では、下記の式（２４）が演算され、加算信号SUM2が得られる。
　SUM2 = MIN(CLIP_T1_2, T1) + MIN(CLIP_T2_2, T2) + MIN(CLIP_T3_2, T3) 　　　・・・（２４）
　第２線形化処理部１４４は、第２加算処理部１４３からの加算信号SUM2を参照して、第２線形化処理を行い、明るさに対して線形な線形信号LIN2を生成する。第２線形化処理部１４４は、第２線形化処理で得られる線形信号LIN2を、第１動き検出部１４８、第１合成処理部１５０、及び第２動き検出部１５２に供給する。
　具体的には、この第２線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_2，KP2_2）の位置が、下記の式（２５）又は式（２６）により求められる。
　KP1_2 = CLIP_T1_2 × (1 + 1 / G1 + 1 / (G1 × G2)） 　　　・・・（２５）
　KP2_2 = CLIP_T1_2 + CLIP_T2_2 × (1 + 1 / G2) 　　　・・・（２６）
　そして、第２線形化処理では、加算信号SUM2とニーポイントKp（KP1_2，KP2_2）の領域に応じて、下記の式（２７）乃至式（２９）により、線形信号LIN2が求められる。
　(i) SUM2 < KP1_2の場合、
　　LIN2 = SUM2 　　　・・・（２７）
　(ii) KP1_2 ≦ SUM2 < KP2_2の領域の場合、
　　LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1 × G2 / (1 + G2)) 　　　・・・（２８）
　(iii) KP2_2 ≦ SUM2の領域の場合、
　　LIN2 = KP2_2 + (KP2_2 - KP1_2 ) × (1 + G1 × G2 / (1 + G2)) + (SUM2 - KP2_2) × (1 + G2 + G1 × G2) 　　　・・・（２９）
　第３加算処理部１４５は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第３加算処理を行い、加算信号SUM3を生成する。第３加算処理部１４５は、第３加算処理で得られる加算信号SUM3を、第３線形化処理部１４６に供給する。
　具体的には、この第３加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。
　ここで、上限クリップ処理では、第３加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_3とし、画像信号T2のクリップ値を、CLIP_T2_3とし、画像信号T3のクリップ値を、CLIP_T3_3とした場合、第３加算処理では、下記の式（３０）が演算され、加算信号SUM3が得られる。
　SUM3 = MIN(CLIP_T1_3, T1) + MIN(CLIP_T2_3, T2) + MIN(CLIP_T3_3, T3) 　　　・・・（３０）
　第３線形化処理部１４６は、第３加算処理部１４５からの加算信号SUM3を参照して、第３線形化処理を行い、明るさに対して線形な線形信号LIN3を生成する。第３線形化処理部１４６は、第３線形化処理で得られる線形信号LIN3を、第２動き検出部１５２、及び第２合成処理部１５４に供給する。
　具体的には、この第３線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_3，KP2_3）の位置が、下記の式（３１）又は式（３２）により求められる。
　KP1_3 = CLIP_T1_3 × (1 + 1 / G1 + 1 / (G1 × G2)） 　　　・・・（３１）
　KP2_3 = CLIP_T1_3 + CLIP_T2_3 × (1 + 1 / G2) 　　　・・・（３２）
　そして、第３線形化処理では、加算信号SUM3とニーポイントKp（KP1_3，KP2_3）の領域に応じて、下記の式（３３）乃至式（３５）により、線形信号LIN3が求められる。
　(i) SUM3 < KP1_3の領域の場合、
　　LIN3 = SUM3 　　　・・・（３３）
　(ii) KP1_3 ≦ SUM3 < KP2_3の領域の場合、
　　LIN3 = KP1_3 + (SUM3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) 　　　・・・（３４）
　(iii) KP2_3 ≦ SUM3の領域の場合、
　　LIN3 = KP2_3 + (KP2_3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) + (SUM3 - KP2_3) × (1 + G2 + G1 × G2) 　　　・・・（３５）
　第１合成係数算出部１４７は、画像信号T1を参照して、線形信号LIN1と線形信号LIN2とを合成するための第１合成係数を算出する。第１合成係数算出部１４７は、算出した第１合成係数を、第１合成係数変調部１４９に供給する。
　具体的には、線形信号LIN1に対して、線形信号LIN2の合成（ブレンド）を開始する閾値を、BLD_TH_L_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN2が100％になる閾値を、BLD_TH_L_HIGHとすると、第１合成係数は、下記の式（３６）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第１合成係数 = (T1 - BLD_TH_L_LOW) ÷ (BLD_TH_L_HIGH - BLD_TH_L_LOW) 　　　・・・（３６）
　第１動き検出部１４８は、第１線形化処理部１４２からの線形信号LIN1と、第２線形化処理部１４４からの線形信号LIN2との差分を動き量と定義して、動き判定を行う。その際、第１動き検出部１４８は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して第１動き係数を算出する。第１動き検出部１４８は、算出した第１動き係数を、第１合成係数変調部１４９に供給する。
　具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、第１動き係数は、下記の式（３７）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第１動き係数 = (ABS(LIN1 - LIN2) - MDET_TH_LOW) ÷ (MDET_TH_HIGH - MDET_TH_LOW) 　　　・・・（３７）
　第１合成係数変調部１４９は、第１合成係数算出部１４７からの第１合成係数に対して、第１動き検出部１４８からの第１動き係数を加味した変調を行い、第１動き補償後合成係数を算出する。第１合成係数変調部１４９は、算出した第１動き補償後合成係数を、第１合成処理部１５０に供給する。
　具体的には、第１動き補償後合成係数は、下記の式（３８）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第１動き補償後合成係数 = 第１合成係数 - 第１動き係数 　　　・・・（３８）
　第１合成処理部１５０は、第１線形化処理部１４２からの線形信号LIN1と、第２線形化処理部１４４からの線形信号LIN2とを、第１合成係数変調部１４９からの第１動き補償後合成係数で合成（アルファブレンド）する。第１合成処理部１５０は、合成の結果得られる合成信号BLD1を、第２合成処理部１５４に供給する。
　具体的には、合成信号BLD1は、下記の式（３９）により求められる。
　合成信号BLD1 = (LIN2 - LIN1) × 第１動き補償後合成係数 + LIN1 　　　・・・（３９）
　第２合成係数算出部１５１は、画像信号T2を参照して、合成信号BLD1と線形信号LIN3とを合成するための第２合成係数を算出する。第２合成係数算出部１５１は、算出した第２合成係数を、第２合成係数変調部１５３に供給する。
　具体的には、合成信号BLD1に対して、線形信号LIN3の合成（ブレンド）を開始する閾値を、BLD_TH_H_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN3が100％になる閾値を、BLD_TH_H_HIGHとすると、第２合成係数は、下記の式（４０）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第２合成係数 = (T2 - BLD_TH_H_LOW) ÷ (BLD_TH_H_HIGH - BLD_TH_H_LOW) 　　　・・・（４０）
　第２動き検出部１５２は、第２線形化処理部１４４からの線形信号LIN2と、第３線形化処理部１４６からの線形信号LIN3との差分を動き量と定義して、動き判定を行う。その際、第２動き検出部１５２は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して第２動き係数を算出する。第２動き検出部１５２は、算出した第２動き係数を、第２合成係数変調部１５３に供給する。
　具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、第２動き係数は、下記の式（４１）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第２動き係数 = {ABS(LIN2 - LIN3) ÷ 正規化ゲイン - MDET_TH_LOW} ÷ (MDET_TH_HIGH - MDET_TH_LOW) 　　　・・・（４１）
　ただし、式（４１）の正規化ゲインは、下記の式（４２）により求められる。
　正規化ゲイン = 1 + {G1 × G2 ÷ (1 + G2)} 　　　・・・（４２）
　第２合成係数変調部１５３は、第２合成係数算出部１５１からの第２合成係数に対して、第２動き検出部１５２からの第２動き係数を加味した変調を行い、第２動き補償後合成係数を算出する。第２合成係数変調部１５３は、算出した第２動き補償後合成係数を、第２合成処理部１５４に供給する。
　具体的には、第２動き補償後合成係数は、下記の式（４３）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。
　第２動き補償後合成係数 = 第２合成係数 - 第２動き係数 　　　・・・（４３）
　第２合成処理部１５４は、第１合成処理部１５０からの合成信号BLD1と、第３線形化処理部１４６からの線形信号LIN3とを、第２合成係数変調部１５３からの第２動き補償後合成係数で合成（アルファブレンド）して、その結果得られるHDR合成後信号としての合成後画像信号を出力する。
　具体的には、合成後画像信号は、下記の式（４４）により求められる。
　合成後画像信号 = (LIN3 - BLD1) × 第２動き補償後合成係数 + BLD1 　　　・・・（４４）
　図２１の信号処理部１０４は、以上のように構成される。
（3枚合成を行う場合の信号処理）
　次に、図２２及び図２３のフローチャートを参照して、図２１の信号処理部１０４により実行される、3枚合成を行う場合の信号処理の流れを説明する。
　ステップＳ５１において、第１加算処理部１４１は、画像信号T1と画像信号T2と画像信号T3の値に対し、あらかじめ定められたクリップ値（CLIP_T1_1，CLIP_T2_1，CLIP_T3_1）を用い、上限クリップ処理を行う。
　ステップＳ５２において、第１加算処理部１４１は、上記の式（１８）を演算することで、ステップＳ５１の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM1を生成する。
　ステップＳ５３において、第２加算処理部１４３は、少なくとも画像信号T1の値に対し、第１加算処理（Ｓ５１，Ｓ５２）とは異なるクリップ値（CLIP_T1_2，CLIP_T2_2，CLIP_T3_2）を用い、上限クリップ処理を行う。
　ステップＳ５４において、第２加算処理部１４３は、上記の式（２４）を演算することで、ステップＳ５３の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM2を生成する。
　ステップＳ５５において、第３加算処理部１４５は、少なくとも画像信号T2の値に対し、第２加算処理（Ｓ５３，Ｓ５４）とは異なるクリップ値（CLIP_T1_3，CLIP_T2_3，CLIP_T3_3）を用い、上限クリップ処理を行う。
　ステップＳ５６において、第３加算処理部１４５は、上記の式（３０）を演算することで、ステップＳ５５の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM3を生成する。
　なお、T1とT2とT3の露光時間の比率は、例えば、T1：T2：T3 = 4：2：1の比率とすることができる。したがって、画像信号T1は、長時間露光画像（長蓄画像）であり、画像信号T2は、中間時間露光画像（中蓄画像）であり、画像信号T3は、短時間露光画像（短蓄画像）であるとも言える。
　また、例えば、長蓄画像である画像信号T1に対して設定されるクリップ値としては、第２の加算処理（Ｓ５３，Ｓ５４）で用いられるクリップ値（CLIP_T1_2）を、第１の加算処理（Ｓ５１，Ｓ５２）で用いられるクリップ値（CLIP_T1_1）よりも低くすることができる。また、例えば、中蓄画像である画像信号T2に対して設定されるクリップ値としては、第３の加算処理（Ｓ５５，Ｓ５６）で用いられるクリップ値（CLIP_T2_3）を、第２の加算処理（Ｓ５３，Ｓ５４）で用いられるクリップ値（CLIP_T2_2）よりも低くすることができる。
　ステップＳ５７において、第１線形化処理部１４２は、上記の式（１９）乃至式（２３）を演算することで、ステップＳ５２の処理で得られる加算信号SUM1を線形化し、線形信号LIN1を生成する。
　ステップＳ５８において、第２線形化処理部１４４は、上記の式（２５）乃至式（２９）を演算することで、ステップＳ５４の処理で得られる加算信号SUM2を線形化し、線形信号LIN2を生成する。
　ステップＳ５９において、第３線形化処理部１４６は、上記の式（３１）乃至式（３５）を演算することで、ステップＳ５６の処理で得られる加算信号SUM3を線形化し、線形信号LIN3を生成する。
　ステップＳ６０において、第１合成係数算出部１４７は、画像信号T1を参照して、上記の式（３６）を演算することで、第１合成係数を算出する。
　ステップＳ６１において、第１動き検出部１４８は、ステップＳ５７の処理で得られる線形信号LIN1と、ステップＳ５８の処理で得られる線形信号LIN2で動きを検出して、上記の式（３７）を演算することで、第１動き係数を算出する。
　ステップＳ６２において、第１合成係数変調部１４９は、上記の式（３８）を演算することで、ステップＳ６０の処理で得られる第１合成係数から、ステップＳ６１の処理で得られる第１動き係数を減算し、第１動き補償後合成係数を算出する。
　ステップＳ６３において、第１合成処理部１５０は、ステップＳ６２の処理で得られる第１動き補償後合成係数を参照して、上記の式（３９）を演算することで、ステップＳ５７の処理で得られる線形信号LIN1と、ステップＳ５８の処理で得られる線形信号LIN2とを合成し、合成信号BLD1を生成する。
　なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、第１動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、線形信号LIN1と線形信号LIN2とが合成されることになる。
　ステップＳ６４において、第２合成係数算出部１５１は、画像信号T2を参照して、上記の式（４０）を演算することで、第２合成係数を算出する。
　ステップＳ６５において、第２動き検出部１５２は、ステップＳ５８の処理で得られる線形信号LIN2と、ステップＳ５９の処理で得られる線形信号LIN3で動きを検出して、上記の式（４１）及び式（４２）を演算することで、第２動き係数を算出する。
　ステップＳ６６において、第２合成係数変調部１５３は、上記の式（４３）を演算することで、ステップＳ６４の処理で得られる第２合成係数から、ステップＳ６５の処理で得られる第２動き係数を減算し、第２動き補償後合成係数を算出する。
　ステップＳ６７において、第２合成処理部１５４は、ステップＳ６６の処理で得られる第２動き補償後合成係数を参照して、上記の式（４４）を演算することで、ステップＳ６３の処理で得られる合成信号BLD1と、ステップＳ５９の処理で得られる線形信号LIN3とを合成し、合成後画像信号を生成する。
　なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、第２動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、合成信号BLD1と線形信号LIN3とが合成されることになる。
　ステップＳ６８において、第２合成処理部１５４は、ステップＳ６７の処理で得られる合成後画像信号を出力する。
　以上、3枚合成を行う場合の信号処理の流れを説明した。
＜４．本技術の信号処理の詳細な内容＞
　次に、図２４乃至図２７を参照して、信号処理部１０４により行われる信号処理の詳細な内容について説明する。なお、ここでは、図２１の信号処理部１０４により実行される、3枚合成を行う場合の信号処理を一例に説明する。
（第１加算処理と第１線形化処理）
　図２４は、第１加算処理部１４１による第１加算処理と、第１線形化処理部１４２による第１線形化処理の詳細を説明する図である。
　第１加算処理では、あらかじめ定められたクリップ値を用いたクリップ処理が行われ、画像信号T1，T2，T3に対して、クリップ値CLIP_T1_1，CLIP_T2_1，CLIP_T3_1がそれぞれ設定される。図２４においては、画像信号T1のクリップ値が、CLIP_T1_1となる。また、画像信号T2のクリップ値が、CLIP_T2_1となり、画像信号T3のクリップ値が、CLIP_T3_1となる。
　そして、第１加算処理では、上記の式（１８）により、長蓄、中蓄、及び短蓄のそれぞれの画像信号T1，T2，T3を、独立なクリップ値（CLIP_T1_1，CLIP_T2_1，CLIP_T3_1）でクリップした後に加算することで、加算信号SUM1が得られる。
　次に、第１線形化処理では、加算信号SUM1の傾きが変化する点として、ニーポイントKp（図２４のKP1_1，KP2_1）の位置が、上記の式（１９）及び式（２０）により求められる。そして、第１線形化処理では、第１領域乃至第３領域の領域ごとに、加算信号SUM1の値を参照して、明るさに対して線形な信号（線形に復元された信号）である線形信号LIN1を生成する。
　具体的には、図２４に示すように、画像信号T1（長蓄）が飽和するレベル以下となる第１領域（SUM1 < KP1_1）は、画像信号T1（長蓄）、画像信号T2（中蓄）、及び画像信号T3（短蓄）ともに信号量が光量に対して線形に変化する領域である。
　そのため、第１線形化処理では、線形信号LIN1として、加算信号SUM1を使用する。すなわち、この第１領域では、上記の式（２１）により、線形信号LIN1が求められる。
　また、図２４に示すように、画像信号T2（中蓄）が飽和するレベル以下となる第２領域（KP1_1 ≦ SUM1 < KP2_1）は、画像信号T1（長蓄）がクリップされ、光量が変化しても信号量は変化しないが、画像信号T2（中蓄）と画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。
　そのため、第１線形化処理では、画像信号T2（中蓄）と画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）の値を加算した値を、線形信号LIN1として使用する。すなわち、この第２領域では、上記の式（２２）により、線形信号LIN1が求められる。
　さらに、図２４に示すように、画像信号T2（中蓄）が飽和するレベルを超える第３領域（KP2_1 ≦ SUM1）は、画像信号T1（長蓄）、画像信号T2（中蓄）ともにクリップされ、光量が変化しても信号量が変化しないが、画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。
　そのため、第１線形化処理では、画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）と画像信号T2（中蓄）の値を加算した値を、線形信号LIN1として使用する。すなわち、この第３領域では、上記の式（２３）により、線形信号LIN1が求められる。
　以上のようにして、第１線形化処理では、第１加算処理で得られる加算信号SUM1を参照して、明るさに対して線形な信号である線形信号LIN1が生成される。
（第２加算処理と第２線形化処理）
　図２５は、第２加算処理部１４３による第２加算処理と、第２線形化処理部１４４による第２線形化処理の詳細を説明する図である。
　第２加算処理では、あらかじめ定められたクリップ値を用いたクリップ処理が行われ、画像信号T1，T2，T3に対して、クリップ値CLIP_T1_2，CLIP_T2_2，CLIP_T3_2がそれぞれ設定される。図２５においては、画像信号T1のクリップ値が、CLIP_T1_2となる。また、画像信号T2のクリップ値が、CLIP_T2_2となり、画像信号T3のクリップ値が、CLIP_T3_2となる。
　なお、図２５において、各画像信号に設定されるクリップ値は、上述した図２４のクリップ値と比べて、画像信号T2，T3に対するクリップ値CLIP_T2_2，CLIP_T3_2と、クリップ値CLIP_T2_1，CLIP_T3_1は、同一の値となるが、クリップ値CLIP_T1_2とクリップ値CLIP_T1_1の値は異なっている。
　すなわち、第２の加算処理（図２５）を、第１の加算処理（図２４）と比べれば、画像信号T1（長蓄）に対するクリップ値として、クリップ値CLIP_T1_1よりも低い値となるクリップ値CLIP_T1_2を設定している。一方で、第１の加算処理と第２の加算処理において、画像信号T2（中蓄）と画像信号T3（短蓄）のクリップ値には、同一の値を設定している。
　そして、第２加算処理では、上記の式（２４）により、長蓄、中蓄、及び短蓄のそれぞれの画像信号T1，T2，T3を、独立なクリップ値（CLIP_T1_2，CLIP_T2_2，CLIP_T3_2）でクリップした後に加算することで、加算信号SUM2が得られる。
　次に、第２線形化処理では、加算信号SUM2の傾きが変化する点として、ニーポイントKp（図２５のKP1_2，KP2_2）の位置が、上記の式（２５）及び式（２６）により求められる。そして、第２線形化処理では、第１領域乃至第３領域の領域ごとに、加算信号SUM2の値を参照して、明るさに対して線形な信号（線形に復元された信号）である線形信号LIN2を生成する。
　具体的には、図２５に示すように、画像信号T1（長蓄）が飽和するレベル以下となる第１領域（SUM2 < KP1_2）は、画像信号T1（長蓄）、画像信号T2（中蓄）、及び画像信号T3（短蓄）ともに信号量が光量に対して線形に変化する領域である。
　そのため、第２線形化処理では、線形信号LIN2として、加算信号SUM2を使用する。すなわち、この第１領域では、上記の式（２７）により、線形信号LIN2が求められる。
　また、図２５に示すように、画像信号T2（中蓄）が飽和するレベル以下となる第２領域（KP1_2 ≦ SUM2 < KP2_2）は、画像信号T1（長蓄）がクリップされ、光量が変化しても信号量は変化しないが、画像信号T2（中蓄）と画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。
　そのため、第２線形化処理では、画像信号T2（中蓄）と画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）の値を加算した値を、線形信号LIN2として使用する。すなわち、この第２領域では、上記の式（２８）により、線形信号LIN2が求められる。
　さらに、図２５に示すように、画像信号T2（中蓄）が飽和するレベルを超える第３領域（KP2_2 ≦ SUM2）は、画像信号T1（長蓄）、画像信号T2（中蓄）ともにクリップされ、光量が変化しても信号量が変化しないが、画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。
　そのため、第２線形化処理では、画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）と画像信号T2（中蓄）の値を加算した値を、線形信号LIN2として使用する。すなわち、この第３領域では、上記の式（２９）により、線形信号LIN2が求められる。
　以上のようにして、第２線形化処理では、第２加算処理で得られる加算信号SUM2を参照して、明るさに対して線形な信号である線形信号LIN2が生成される。
　なお、図示はしていないが、第３加算処理部１４５による第３加算処理においても、第１の加算処理及び第２の加算処理と同様に、上記の式（３０）が演算されることで、加算信号SUM3が得られる。また、第３線形化処理部１４６による第３線形化処理においても、第１の線形化処理及び第２の線形化処理と同様に、上記の式（３１）及び式（３２）により、ニーポイントKp（KP1_3，KP2_3）が求められ、上記の式（３３）乃至式（３５）により、第１領域乃至第３領域の領域ごとに、線形信号LIN3が生成される。
（ヒストグラムスパイクの抑制）
　図２６は、本技術によるヒストグラムのスパイクの抑制の詳細を説明する図である。
　図２６においては、図中の横軸を明るさとして、線形信号LIN1と、線形信号LIN2と、それらの線形信号（LIN1，LIN2）の合成信号BLD1の変化の様子を表している。
　図２６において、ヒストグラムのスパイクが発生する信号の位置は、加算信号SUMを生成する前の信号のクリップ位置（とそこから求まるニーポイントKp）に依存している。そこで、本技術では、第２加算処理において、第１加算処理で用いられるクリップ値とは異なるクリップ値を設定することで、ヒストグラムのスパイクの発生位置をずらした線形信号LIN1と線形信号LIN2が生成されるようにしている。
　図２６の例では、図２４に示した線形信号LIN1と、図２５に示した線形信号LIN2とでは、画像信号T1（長蓄）に対して設定されたクリップ値（CLIP_T1_1とCLIP_T1_2）が異なっているため、ヒストグラムのスパイクの発生位置（LIN1の「ＳＰ１」と、LIN2の「ＳＰ２」）がずれている。
　そして、本技術では、図２６の点線Ａ１乃至Ａ３の流れで示すように、線形信号LIN1において、ヒストグラムのスパイク（LIN1の「ＳＰ１」）が発生する前に、クリップ値を下げることで、はやめにニーポイントKpを通過した線形信号LIN2側に乗り換えることで（図中の点線Ａ２）、ヒストグラムのスパイクの発生を抑制した合成信号BLD1（ブレンド信号）が生成されるようにしている。
　すなわち、図２６においては、画像信号T1（長蓄）だけクリップ値を下げることで、ニーポイントKpの位置を引き下げた信号（線形信号LIN2）を並列に用意して、クリップ値に応じて変化するニーポイントKp（LIN1の「ＳＰ１」と、LIN2の「ＳＰ２」）の周辺を避けるように（周辺と異なる領域で）、線形信号LIN1側（図中の点線Ａ１）から線形信号LIN2側（図中の点線Ａ３）への乗り換えを行うようにしている。
　これにより、上述した図１８のＢに示したように、ニーポイントKpにおける急峻な特性の変化が抑制されることになる。その結果として、線形信号LIN1と線形信号LIN2とを合成して得られる合成信号BLD1では、ヒストグラムのスパイクの発生を抑制することが可能となる。
　また、図２６には図示していないが、合成信号BLD1と線形信号LIN3との合成の際には、線形信号LIN1と線形信号LIN2との合成時の関係と同様に、ニーポイントKpの周辺を避けるように、合成信号BLD1側から線形信号LIN3側に乗り換えることで、全信号域に渡って、ヒストグラムのスパイクを抑制することが可能となる。
　なお、図２６において、合成信号BLD1は、点線Ｂ１乃至Ｂ２の範囲で、線形信号LIN1と線形信号LIN2とを合成して得られる合成信号BLD1における、線形信号LIN2の合成割合が0%から100%（線形信号LIN1の合成割合が100%から0%）になるが、その合成割合は、第１合成係数（第１動き補償後合成係数）により定められる。図２７には、このような合成係数の詳細を示している。
（合成係数の詳細）
　図２７は、本技術で用いられる合成係数の詳細を説明する図である。
　図２７においては、図中の横軸を明るさとして、線形信号LIN1の画像信号T1（長蓄）の画素値と、線形信号LIN1に対する線形信号LIN2の合成割合（第１合成係数）と、線形信号LIN2の画像信号T1（長蓄）の画素値の変化の様子を表している。
　ここで、線形信号LIN1においては、画像信号T1（長蓄）が、クリップ値CLIP_T1_1でクリップされるまでは、ヒストグラムのスパイクは発生しないので、画像信号T1（長蓄）のレベルを見て、線形信号LIN1と線形信号LIN2との合成割合（第１合成係数）を設定する。
　また、画像信号T1（長蓄）が、クリップ値CLIP_T1_1となるときには、既に、線形信号LIN1側から線形信号LIN2側に、完全に切り替わっているように（線形信号LIN2の合成割合が100％となるように）、第１合成係数（BLD_TH_L_LOW，BLD_TH_L_HIGH）を設定する。ただし、この合成領域の幅を、どのような値に設定するかは任意である。
　一方で、線形信号LIN2側は、線形信号LIN1と線形信号LIN2との合成（ブレンド）が開始されるBLD_TH_L_LOWの領域では、既に、ヒストグラムのスパイクが発生しないという条件を満たしている必要がある。そのため、本技術では、BLD_TH_L_LOWから、その付近の画像信号T2（中蓄）と画像信号T3（短蓄）のノイズ量だけを引き下げた値が、クリップ値CLIP_T1_2に設定されるようにしている。
（動き補償後合成係数の詳細）
　次に、本技術で用いられる動き補償後合成係数の詳細について説明する。
　上述した図２４乃至図２７の例においては、第２加算処理で用いられる画像信号T1のクリップ値（CLIP_T1_2）として、第１加算処理で用いられるクリップ値（CLIP_T1_1）よりも、低い値を設定しているため、線形信号LIN2では、線形信号LIN1よりも、画像信号T1（長蓄）の信号量が、はやめにクリップされる。
　その際に、線形信号LIN2では、減った分の信号量を、画像信号T2（中蓄）と画像信号T3（短蓄）を用いて推測することになるが、画像信号T1（長蓄）にのみ明るく映った動体などは、より高いクリップ値が設定されている線形信号LIN1よりも暗くなってしまう可能性がある。
　そこで、本技術では、線形信号LIN1と線形信号LIN2との間で動き判定を行い、動きがある場合には、より安全な（より信頼性の高い）線形信号LIN1側の合成割合を上げるように、第１合成係数の制御（変調）を行う。そして、このようにして得られる第１動き補償後合成係数を用い、線形信号LIN1と線形信号LIN2との合成が行われるようにすることで、例えば、動体などが暗くなることを抑制することが可能となる。
　なお、例えば、第１の加算処理で、画像信号T1（長蓄）を使用する一方で、第２加算処理では、画像信号T1（長蓄）の画像信号T1を使用しないモードも想定されるが、このようなモードの場合、より信頼性の高い情報は、線形信号LIN2ではなく、線形信号LIN1の方となる。この場合においても、線形信号LIN1側の合成割合が上がるように、第１合成係数の制御が行われる。
　ここでは、例えば、線形信号LIN1と線形信号LIN2とを比較して、その差分が大きければ、線形信号LIN1の方を使用すればよい。すなわち、線形信号LIN1と線形信号LIN2との合成の際には、情報の信頼性の高い方の信号の合成割合が増加されるように、第１合成係数を変調することになる。
　なお、ここでは、線形信号LIN1と線形信号LIN2とを合成するための第１合成係数とその第１動き補償後合成係数について述べたが、合成信号BLD1と線形信号LIN3とを合成するための第２合成係数とその第２動き補償後合成係数についても、同様に制御することができる。
＜５．N枚合成の計算式＞
　上述した説明では、2枚合成を行う場合と3枚合成を行う場合の信号処理を説明したが、それらの合成の枚数は一例であり、4枚以上の合成を行うこともできる。すなわち、信号処理部１０４に入力されるN枚（N：1以上の整数）の撮影画像に対して、本技術を適用した信号処理を行うことができる。
　ここで、信号処理部１０４に、N枚の撮影画像が入力される場合に、感度の高い画像信号から順に、T1，T2，T3，・・・，TNとする。例えば、3枚合成が行われる場合には、画像信号T1が長蓄画像に相当する。また、画像信号T2が中蓄画像に相当し、画像信号T3が短蓄画像に相当することになる。
　また、露光時間として、画像信号T1の露光時間をS1とし、画像信号T2の露光時間をS2とし、画像信号T3の露光時間をS3とする。画像信号T4以降についても同様に露光時間を指定すれば、画像信号TNの露光時間は、SNとなる。
　また、加算処理前のクリップ値の値として、画像信号T1のクリップ値をCLIP_T1とし、画像信号T2のクリップ値をCLIP_T2とし、画像信号T3のクリップ値をCLIP_T3とする。画像信号T4以降についても同様にクリップ値を指定すれば、画像信号TNのクリップ値は、CLIP_TNとなる。
　また、ニーポイントKpとして、画像信号T1が飽和して最初に加算信号SUMの傾きが変わる点を、KP_1とし、次に、画像信号T2が飽和して加算信号SUMの傾きが変わる点を、KP_2とする。画像信号T3以降についても同様に、画像信号T3，・・・，TNが飽和して加算信号SUMの傾きが変わる点を、順次、KP_3，・・・，KP_Nとする。
　また、線形化後の線形信号LINとして、SUM < KP_1の領域の線形信号を、LIN_1とし、KP_1 ≦ SUM < KP_2の領域の線形信号を、LIN_2とし、KP_2 ≦ SUM < KP_3の領域の線形信号を、LIN_3とする。それ以降についても同様の関係を有するとすれば、KP_N-1 < SUMの領域の線形信号は、LIN_Nとなる。
　このような関係を図示すると、例えば、図２８のように表すことができる。
　図２８においては、加算処理が行われる画像信号T1，T2，T3に対し、クリップ値CLIP_T1，CLIP_T2，CLIP_T3がそれぞれ設定されている。ここで、画像信号T1，T2，T3の加算信号SUMであるが、画像信号T1のクリップ値CLIP_T1に応じたニーポイントKP_1でその傾きが変化（図中のＣ１内の最初の変化）し、画像信号T2のクリップ値CLIP_T2に応じたニーポイントKP_2でその傾きがさらに変化（図中のＣ２内の2回目の変化）している。
　この場合において、図中のＬで示すように、画像信号T1，T2，T3の加算信号SUMを線形化（Linearization）することになるが、SUM < KP_1の第１領域では、線形信号LIN_1が復元され、KP_1 ≦ SUM < KP_2の第２領域では、線形信号LIN_2が復元され、KP_2 ≦ SUMの第３領域では、線形信号LIN_3が復元される。
　なお、図２８においては、説明の簡略化のため、加算処理が行われる画像信号として、3つの画像信号T1，T2，T3、すなわち、3枚合成の場合を示しているが、画像信号T4以降の画像信号についても同様に処理され、ニーポイントKpに応じて、加算信号SUMから線形信号が復元される。
　このような関係を有する場合において、加算信号SUMを、線形信号LINに変換する計算式は、下記の式（４５）及び式（４６）のように表すことができる。なお、下記の式（４５）は、加算信号SUMを求める計算式である。
Figure JPOXMLDOC01-appb-M000001
 　　　・・・（４５）
　例えば、N = 2，すなわち、2枚合成の場合、上記の式（６）や式（１０）に示したように、画像信号T1をクリップ値CLIP_T1によりクリップした信号と、画像信号T2をクリップ値CLIP_T2によりクリップした信号との加算値が、加算信号SUMとされる。
　そして、上述したように、線形信号LINとして、KP_m-1 ≦ SUM < KP_mの領域の線形信号LINを、LIN_mと定義すれば、LIN_mは、1 ≦ m < Nに対して、下記の式（４６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
 　　　・・・（４６）
　ただし、式（４６）において、SUMは、上記の式（４５）に相当している。また、式（４６）においては、クリップ値CLIP_T0 = 0とされる。
　また、ニーポイントKpの一般解として、KP_mの位置は、1 ≦ m < Nに対して、下記の式（４７）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
 　　　・・・（４７）
　ただし、式（４７）においては、ニーポイントKP_0 = 0とされ、クリップ値CLIP_T0 = 0とされる。
　以上のように、本技術によれば、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識することができる。
　なお、本技術では、上述したヒストグラムのスパイクの抑制を行う際に、長蓄の信号量が減った分を、中蓄と短蓄から推測するため、長蓄にのみ明るく映った動体などは、単純加算した場合と比べて、暗くなってしまう可能性がある。そこで、本技術では、動き補正処理があわせて行われるようにしている。
　また、本技術は、車載カメラや監視カメラなどの撮影装置全般に適用することができる。また、撮影対象としては、LED信号機やLED速度規制標識に限らず、輝度差が非常に大きいものや、点滅するもの（例えば高速に点滅する発光体）などを撮影対象とすることができる。また、本技術は、特に、ヒストグラムを使用して障害物の検出を行う撮影装置において有用な技術である。
＜６．固体撮像装置の構成例＞
　図１３に示したカメラユニット１０は、例えば、裏面照射型のCMOSイメージセンサなど、積層型の固体撮像装置として構成することができる。
　具体的には、図２９に示すように、画素領域２０１が形成された半導体基板２００Ａと、信号処理回路領域２０２が形成された半導体基板２００Ｂとが積層された構成とすることができる。なお、図２９において、半導体基板２００Ａと半導体基板２００Ｂとは、例えば貫通ビアや金属結合等により電気的に接続される。
　図３０には、図２９の画素領域２０１と信号処理回路領域２０２の詳細な構成を示している。図３０において、信号処理回路領域２０２は、カメラ信号処理部２１１や、各種の信号処理を行う信号処理部２１２乃至２１４などから構成される。
　ここで、カメラ信号処理部２１１は、上述の信号処理部１０４（図１３）を含んで構成することができる。すなわち、カメラ信号処理部２１１は、図１７や図２２乃至図２３のフローチャートに示した信号処理を行うことができる。なお、カメラ信号処理部２１１には、ディレイライン１０３やタイミング制御部１０６などを含めるようにしてもよい。また、画素領域２０１には、撮像素子１０２の画素アレイ部などが含まれる。
　また、図３１に示すように、画素領域２０１が形成された半導体基板２００Ａと、信号処理回路領域２０２が形成された半導体基板２００Ｂとの間に、メモリ領域２０３が形成された半導体基板２００Ｃが積層されるようにしてもよい。
　図３２には、図３１の画素領域２０１と、信号処理回路領域２０２と、メモリ領域２０３の詳細な構成を示している。図３２において、信号処理回路領域２０２は、カメラ信号処理部３１１や、各種の信号処理を行う信号処理部３１２乃至３１４などから構成される。また、メモリ領域２０３は、メモリ部３２１乃至３２２などから構成される。
　ここで、カメラ信号処理部３１１は、図３０のカメラ信号処理部２１１と同様に、信号処理部１０４（図１３）等を含んで構成される。なお、メモリ領域２０３に、ディレイライン１０３を含めるようにして、当該ディレイライン１０３が、画素領域２０１（撮像素子１０２）からの画像データを順次記憶し、適宜、カメラ信号処理部３１１（信号処理部１０４）に供給するようにしてもよい。
＜７．コンピュータの構成例＞
　上述した一連の処理（例えば、図１７や図２２乃至図２３に示した信号処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　ここで、本明細書において、コンピュータ１０００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
　また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
＜８．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図３４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１３を用いて説明した本実施形態に係るカメラユニット１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１３を用いて説明した本実施形態に係るカメラユニット１０は、図３４に示した応用例の統合制御ユニット７６００に適用することができる。例えば、カメラユニット１０の信号処理部１０４及びタイミング制御部１０６は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。例えば、統合制御ユニット７６００が、ヒストグラムのスパイクを抑制するために、長蓄と短蓄とで、異なるクリップ値を設けるようにすることで、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識することができる。
　また、図１３を用いて説明したカメラユニット１０の少なくとも一部の構成要素は、図３４に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１３を用いて説明したカメラユニット１０が、図３４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
　加算の結果得られる複数の画像の信号を合成する合成部と
　を備える信号処理装置。
（２）
　加算の結果得られる画像の信号を線形化する線形化部をさらに備え、
　前記合成部は、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する
　前記（１）に記載の信号処理装置。
（３）
　前記傾きが変化するときの信号量は、前記飽和信号量に応じて変化する
　前記（２）に記載の信号処理装置。
（４）
　加算の対象となる複数の画像の信号ごとに、少なくとも１つの画像の信号に対する飽和信号量が異なるように設定される
　前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
　前記複数の画像の信号のうち、より長い露光時間を有する画像の信号は、前記飽和信号量が異なるように設定される
　前記（４）に記載の信号処理装置。
（６）
　前記複数の画像の信号のうち、基準の画像の信号に基づいて、線形化の結果得られる複数の画像の信号の合成割合を示す合成係数を算出する合成係数算出部をさらに備え、
　前記合成部は、前記合成係数に基づいて、前記複数の画像の信号を合成する
　前記（２）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記合成係数算出部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号とを合成する際に、前記第１の飽和信号量が設定された設定画像の信号のレベルに応じて、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を算出する
　前記（６）に記載の信号処理装置。
（８）
　前記合成係数算出部は、前記設定画像の信号のレベルが、前記第１の飽和信号量のとなるときまでに、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第２の画像の信号の合成割合が100％になるように、前記合成係数を算出する
　前記（７）に記載の信号処理装置。
（９）
　前記設定画像の信号のレベルが、前記第１の飽和信号量となるとき、加算の結果得られる画像の信号における前記傾きが変化する
　前記（８）に記載の信号処理装置。
（１０）
　前記複数の画像の信号間の動き検出結果に基づいて、前記合成係数を変調する合成係数変調部をさらに備え、
　前記合成部は、変調の結果得られる動き補償後の合成係数に基づいて、前記複数の画像の信号を合成する
　前記（６）に記載の信号処理装置。
（１１）
　前記合成係数変調部は、前記複数の画像の信号間で動きが検出された場合、前記複数の画像の信号のうち、情報の信頼性の高い画像の信号の合成割合が増加されるように、前記合成係数を変調する
　前記（１０）に記載の信号処理装置。
（１２）
　前記合成係数変調部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号との間で動きが検出された場合、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第１の画像の信号の合成割合が増加されるように、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を変調する
　前記（１１）に記載の信号処理装置。
（１３）
　前記複数の画像の露光時間を制御する制御部をさらに備え、
　前記複数の画像は、第１の露光時間を有する第１の露光画像と、前記第１の露光時間とは異なる第２の露光時間を有する第２の露光画像とを含み、
　前記制御部は、前記第１の露光画像に続いて前記第２の露光画像を撮影するように制御するとともに、前記第１の露光画像の露光終了と前記第２の露光画像の露光開始との間隔を極小化する
　前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
　異なる露光時間で撮影された複数の画像を生成する画像生成部と、
　前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
　加算の結果得られる複数の画像の信号を合成する合成部と
　を備える撮影装置。
（１５）
　異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、
　加算の結果得られる複数の画像の信号を合成する
　ステップを含む信号処理方法。
　１０　カメラユニット，　１０１　レンズ，　１０２　撮像素子，　１０３　ディレイライン，　１０４　信号処理部，　１０５　出力部，　１０６　タイミング制御部，　１２１　第１加算処理部，　１２２　第１線形化処理部，　１２３　第２加算処理部，　１２４　第２線形化処理部，　１２５　合成係数算出部，　１２６　動き検出部，　１２７　合成係数変調部，　１２８　合成処理部，　１４１　第１加算処理部，　１４２　第１線形化処理部，　１４３　第２加算処理部，　１４４　第２線形化処理部，　１４５　第３加算処理部，　１４６　第３線形化処理部，　１４７　第１合成係数算出部，　１４８　第１動き検出部，　１４９　第１合成係数変調部，　１５０　第１合成処理部，　１５１　第２合成係数算出部，　１５２　第２動き検出部，　１５３　第２合成係数変調部，　１５４　第２合成処理部，　２０１　画素領域，　２０２　信号処理回路領域，　２０３　メモリ領域，　２１１　カメラ信号処理部，　３１１　カメラ信号処理部，　１０００　コンピュータ，　１００１　CPU，　７０００　車両制御システム，　７６００　統合制御ユニット，　７６１０　マイクロコンピュータ

Claims (15)

  1. 　異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
    　加算の結果得られる複数の画像の信号を合成する合成部と
    　を備える信号処理装置。
  2. 　加算の結果得られる画像の信号を線形化する線形化部をさらに備え、
    　前記合成部は、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する
    　請求項１に記載の信号処理装置。
  3. 　前記傾きが変化するときの信号量は、前記飽和信号量に応じて変化する
    　請求項２に記載の信号処理装置。
  4. 　加算の対象となる複数の画像の信号ごとに、少なくとも１つの画像の信号に対する飽和信号量が異なるように設定される
    　請求項２に記載の信号処理装置。
  5. 　前記複数の画像の信号のうち、より長い露光時間を有する画像の信号は、前記飽和信号量が異なるように設定される
    　請求項４に記載の信号処理装置。
  6. 　前記複数の画像の信号のうち、基準の画像の信号に基づいて、線形化の結果得られる複数の画像の信号の合成割合を示す合成係数を算出する合成係数算出部をさらに備え、
    　前記合成部は、前記合成係数に基づいて、前記複数の画像の信号を合成する
    　請求項２に記載の信号処理装置。
  7. 　前記合成係数算出部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号とを合成する際に、前記第１の飽和信号量が設定された設定画像の信号のレベルに応じて、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を算出する
    　請求項６に記載の信号処理装置。
  8. 　前記合成係数算出部は、前記設定画像の信号のレベルが、前記第１の飽和信号量のとなるときまでに、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第２の画像の信号の合成割合が100％になるように、前記合成係数を算出する
    　請求項７に記載の信号処理装置。
  9. 　前記設定画像の信号のレベルが、前記第１の飽和信号量となるとき、加算の結果得られる画像の信号における前記傾きが変化する
    　請求項８に記載の信号処理装置。
  10. 　前記複数の画像の信号間の動き検出結果に基づいて、前記合成係数を変調する合成係数変調部をさらに備え、
    　前記合成部は、変調の結果得られる動き補償後の合成係数に基づいて、前記複数の画像の信号を合成する
    　請求項６に記載の信号処理装置。
  11. 　前記合成係数変調部は、前記複数の画像の信号間で動きが検出された場合、前記複数の画像の信号のうち、情報の信頼性の高い画像の信号の合成割合が増加されるように、前記合成係数を変調する
    　請求項１０に記載の信号処理装置。
  12. 　前記合成係数変調部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号との間で動きが検出された場合、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第１の画像の信号の合成割合が増加されるように、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を変調する
    　請求項１１に記載の信号処理装置。
  13. 　前記複数の画像の露光時間を制御する制御部をさらに備え、
    　前記複数の画像は、第１の露光時間を有する第１の露光画像と、前記第１の露光時間とは異なる第２の露光時間を有する第２の露光画像とを含み、
    　前記制御部は、前記第１の露光画像に続いて前記第２の露光画像を撮影するように制御するとともに、前記第１の露光画像の露光終了と前記第２の露光画像の露光開始との間隔を極小化する
    　請求項１に記載の信号処理装置。
  14. 　異なる露光時間で撮影された複数の画像を生成する画像生成部と、
    　前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
    　加算の結果得られる複数の画像の信号を合成する合成部と
    　を備える撮影装置。
  15. 　異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、
    　加算の結果得られる複数の画像の信号を合成する
    　ステップを含む信号処理方法。
PCT/JP2017/032393 2016-09-23 2017-09-08 信号処理装置、撮影装置、及び、信号処理方法 WO2018056070A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17852847.7A EP3518524A4 (en) 2016-09-23 2017-09-08 SIGNAL PROCESSING DEVICE, IMAGE CAPTURE DEVICE, AND SIGNAL PROCESSING METHOD
US16/328,506 US20210281732A1 (en) 2016-09-23 2017-09-08 Signal processing device, imaging device, and signal processing method
KR1020197007316A KR102317752B1 (ko) 2016-09-23 2017-09-08 신호 처리 장치, 촬영 장치 및 신호 처리 방법
JP2018540959A JP7030703B2 (ja) 2016-09-23 2017-09-08 信号処理装置、撮影装置、及び、信号処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016185872 2016-09-23
JP2016-185872 2016-09-23
JP2016-236016 2016-12-05
JP2016236016 2016-12-05

Publications (1)

Publication Number Publication Date
WO2018056070A1 true WO2018056070A1 (ja) 2018-03-29

Family

ID=61690341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032393 WO2018056070A1 (ja) 2016-09-23 2017-09-08 信号処理装置、撮影装置、及び、信号処理方法

Country Status (5)

Country Link
US (1) US20210281732A1 (ja)
EP (1) EP3518524A4 (ja)
JP (1) JP7030703B2 (ja)
KR (1) KR102317752B1 (ja)
WO (1) WO2018056070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490023B2 (en) 2020-10-30 2022-11-01 Ford Global Technologies, Llc Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172142B2 (en) * 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207581A (ja) * 1990-11-30 1992-07-29 Canon Inc 撮像装置
JP2002135787A (ja) * 2000-10-18 2002-05-10 Hitachi Ltd 撮像装置
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP2008022485A (ja) * 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
JP2009152669A (ja) * 2007-12-18 2009-07-09 Sony Corp 撮像装置、撮像処理方法及び撮像制御プログラム
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3082971B2 (ja) 1991-08-30 2000-09-04 富士写真フイルム株式会社 ビデオ・カメラ，それを用いた撮影方法およびその動作方法，ならびに画像処理装置および方法
JP2004179953A (ja) 2002-11-27 2004-06-24 Matsushita Electric Ind Co Ltd 画像サーバと画像サーバシステム、カメラ画像のネットワーク伝送及び表示方法
JP2005267030A (ja) * 2004-03-17 2005-09-29 Daihatsu Motor Co Ltd 歩行者輪郭抽出方法及び歩行者輪郭抽出装置
JP4979933B2 (ja) 2005-12-16 2012-07-18 株式会社オートネットワーク技術研究所 車載カメラ及びドライブレコーダ
US8704943B2 (en) * 2011-01-21 2014-04-22 Aptina Imaging Corporation Systems for multi-exposure imaging
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6412364B2 (ja) * 2014-08-04 2018-10-24 日本放送協会 撮像装置および撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207581A (ja) * 1990-11-30 1992-07-29 Canon Inc 撮像装置
JP2002135787A (ja) * 2000-10-18 2002-05-10 Hitachi Ltd 撮像装置
JP2003189174A (ja) * 2001-12-20 2003-07-04 Acutelogic Corp 撮影装置及び撮影方法
JP2008022485A (ja) * 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
JP2009152669A (ja) * 2007-12-18 2009-07-09 Sony Corp 撮像装置、撮像処理方法及び撮像制御プログラム
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3518524A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490023B2 (en) 2020-10-30 2022-11-01 Ford Global Technologies, Llc Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle

Also Published As

Publication number Publication date
EP3518524A4 (en) 2019-09-25
JP7030703B2 (ja) 2022-03-07
EP3518524A1 (en) 2019-07-31
US20210281732A1 (en) 2021-09-09
JPWO2018056070A1 (ja) 2019-07-04
KR20190054069A (ko) 2019-05-21
KR102317752B1 (ko) 2021-10-25

Similar Documents

Publication Publication Date Title
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
WO2018092379A1 (ja) 画像処理装置と画像処理方法
US10704957B2 (en) Imaging device and imaging method
EP3474534B1 (en) Image processing apparatus, imaging apparatus, and image processing system
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP6816768B2 (ja) 画像処理装置と画像処理方法
WO2018016151A1 (ja) 画像処理装置と画像処理方法
JP7030703B2 (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2018012317A1 (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2021229983A1 (ja) 撮像装置及びプログラム
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法
WO2018135208A1 (ja) 撮像装置と撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17852847

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018540959

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197007316

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017852847

Country of ref document: EP

Effective date: 20190423