WO2017169274A1 - 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 - Google Patents

撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 Download PDF

Info

Publication number
WO2017169274A1
WO2017169274A1 PCT/JP2017/006035 JP2017006035W WO2017169274A1 WO 2017169274 A1 WO2017169274 A1 WO 2017169274A1 JP 2017006035 W JP2017006035 W JP 2017006035W WO 2017169274 A1 WO2017169274 A1 WO 2017169274A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure
exposure time
unit
ratio
Prior art date
Application number
PCT/JP2017/006035
Other languages
English (en)
French (fr)
Inventor
文仁 安間
亮 広野
慶太 佐々木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/088,212 priority Critical patent/US11025828B2/en
Publication of WO2017169274A1 publication Critical patent/WO2017169274A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging control device, an imaging control method, a computer program, and an electronic device.
  • HDR High Dynamic Range
  • the present disclosure proposes a new and improved imaging control apparatus, imaging control method, computer program, and electronic device that can generate a natural HDR image even when a moving object is included in a subject. .
  • a first image is generated by exposing a pixel by first exposure with a first exposure time, and a pixel is exposed by second exposure with a second exposure time following the first image.
  • the control unit switches the image selected as the selected image by the combining unit based on an exposure ratio that is a ratio of an exposure time of the combined image and an exposure time of the selected image.
  • An imaging control device for determining a first exposure time and the second exposure time is provided.
  • the first image is generated by exposing the pixel by the first exposure with the first exposure time, and the pixel is exposed by the second exposure by the second exposure time following the first image.
  • the first exposure time and the second exposure time are determined so that the image selected as the selected image is switched based on an exposure ratio that is a ratio of an exposure time of the composite image and an exposure time of the selected image.
  • the computer generates a first image by exposing the pixel by the first exposure according to the first exposure time, and then the pixel is performed by the second exposure by the second exposure time following the first image.
  • the first exposure time and the second exposure so that the image selected as the selected image is switched based on an exposure ratio that is a ratio between the exposure time of the composite image and the exposure time of the selected image.
  • a computer program is provided for determining and executing time.
  • an electronic apparatus including the imaging control device is provided.
  • a novel and improved imaging control device, imaging control method, computer program, and computer program capable of generating a natural HDR image even when a moving object is included in a subject, Electronic equipment can be provided.
  • FIG. 2 is an explanatory diagram illustrating a configuration example of a sensor module 100 included in an imaging unit 11.
  • FIG. It is explanatory drawing which shows the function structural example of the sensor module 100 which concerns on embodiment of this indication.
  • 5 is a flowchart illustrating an operation example of the sensor module 100 according to an embodiment of the present disclosure. It is explanatory drawing which shows the example of selection of the short accumulation image by exposure ratio. It is explanatory drawing which shows the example which exposes two flame
  • HDR high dynamic range
  • 1 and 2 are explanatory diagrams for describing an existing HDR image capturing technique.
  • 1 and 2 show an example in which an HDR image is generated by capturing two images with different or the same exposure time. Also, in FIGS. 1 and 2, by adding two frames, an image by long exposure (long accumulation image) is generated, and any one of the frames that are the basis of the long accumulation image is converted by an image by short exposure ( An example in the case of (short accumulation image) is shown.
  • the longer exposure time among the exposure times set for each of the two images is referred to as the long exposure time, and the shorter exposure time is referred to as the short exposure time. This is called exposure time.
  • one image obtained by exposure with a long exposure time is a long exposure image
  • one image obtained by exposure with a short exposure time is a short exposure image
  • a pixel signal obtained by exposure with a long exposure time A pixel signal obtained by exposure with a long exposure signal and a short exposure time is also referred to as a short exposure signal.
  • FIG. 1 exemplifies the relationship between the exposure ratio and the exposure timing when the short accumulation image is fixed to the second frame.
  • an image sensor such as a CMOS image sensor is composed of pixels of H rows in the vertical direction
  • data can be read sequentially from the first row to the H row, but the last H row data has been read. Otherwise, reading from the first line of the next frame cannot be started.
  • the exposure time of the second frame is 6 .6 milliseconds can be used.
  • the exposure ratio is set to 5 or more so that both subjects can be appropriately displayed in the captured image
  • the exposure time of the second frame is set to 6. It should be shorter than 6 milliseconds.
  • the exposure time of the first frame cannot be longer than 26.7 milliseconds due to the above-described readout limitation. Accordingly, when the short accumulation image is fixed to the second frame, if the exposure ratio is set to 5 or more, blanks are generated in the first frame and the second frame. If a blank occurs in the first frame and the second frame, if the subject includes a moving object, the moving subject becomes unnatural when the HDR image is generated.
  • FIG. 2 exemplifies the relationship between the exposure ratio and the exposure timing when the short accumulation image is fixed to the first frame.
  • the exposure time of the second frame is set to 6.6. It only has to be milliseconds.
  • the exposure time of the second frame is reduced. It may be shorter than 6.6 milliseconds.
  • the exposure time of the first frame cannot be longer than 26.7 milliseconds due to the above-described readout limitation.
  • the exposure ratio is set to 1.25 or less, blanks are generated in the first frame and the second frame. If a blank occurs in the first frame and the second frame, if the subject includes a moving object, the moving subject becomes unnatural when the HDR image is generated.
  • the present disclosure has intensively studied a technique capable of generating an HDR image so that a subject does not become an unnatural image when generating an HDR image by an exposure ratio.
  • the present disclosure has devised a technique capable of generating an HDR image so that the subject does not become an unnatural image when generating the HDR image by the exposure ratio, as will be described below.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of the electronic device 10 according to the embodiment of the present disclosure.
  • a functional configuration example of the electronic apparatus 10 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the electronic device 10 includes an imaging unit 11, an image processing unit 12, a display unit 13, a control unit 14, a storage unit 15, and an operation unit 16. And comprising.
  • the imaging unit 11 includes a lens, a sensor module, and the like, and accumulates electrons for a predetermined period according to an image formed on the light receiving surface of the sensor module through the lens.
  • the imaging unit 11 performs predetermined signal processing on a signal corresponding to the accumulated electrons. Then, the imaging unit 11 outputs the signal after the signal processing to the image processing unit 12.
  • the configuration of the sensor module included in the imaging unit 11 will be described in detail later.
  • the imaging unit 11 includes, as the predetermined signal processing, camera shake correction processing using an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, and the like. Signal processing may be performed.
  • the image processing unit 12 is configured by an application processor (AP), for example, and executes image processing using a signal output from the imaging unit 11.
  • the image processing executed by the image processing unit 12 includes, for example, demosaic processing using a signal output from the imaging unit 11, display processing of the demosaiced image on the display unit 13, storage processing in the storage unit 15, and the like. There is.
  • the display unit 13 is a display device configured by, for example, a liquid crystal display, an organic EL display, or the like. Display contents of the display unit 13 are controlled by the control unit 14. For example, the display unit 13 displays an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12 based on the control of the control unit 14.
  • the control unit 14 includes a processor such as a CPU (Central Processing Unit), ROM, RAM, and the like, and controls the operation of each unit of the electronic device 10.
  • a processor such as a CPU (Central Processing Unit), ROM, RAM, and the like, and controls the operation of each unit of the electronic device 10.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the like controls the operation of each unit of the electronic device 10.
  • the storage unit 15 is configured by a storage medium such as a flash memory or other nonvolatile memory.
  • the storage unit 15 stores an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12.
  • the image stored in the storage unit 15 can be displayed on the display unit 13 in accordance with the operation of the user of the electronic device 10.
  • the operation unit 16 is a device for operating the electronic device 10 and includes, for example, buttons and a touch panel.
  • the touch panel is provided on the display surface of the display unit 13.
  • the user of the electronic device 10 wants to record the image captured by the imaging unit 11 in the electronic device 10, the user triggers a shutter trigger by operating a predetermined button of the operation unit 16.
  • the imaging unit 11 and the image processing unit 12 detect the occurrence of the shutter trigger, the imaging unit 11 and the image processing unit 12 execute a process for recording an image on the electronic device 10 according to the generation of the shutter trigger.
  • the electronic device 10 shown in FIG. 3 is not limited to a specific device, and can take various forms such as a digital camera, a smartphone, a tablet portable terminal, a portable music player, and a game machine.
  • FIG. 4 is an explanatory diagram illustrating a configuration example of the sensor module 100 included in the imaging unit 11.
  • the sensor module 100 according to the embodiment of the present disclosure is an example of the image processing apparatus of the present disclosure, and is configured by stacking three substrates as illustrated in FIG.
  • the sensor module 100 according to the embodiment of the present disclosure has a configuration in which a pixel substrate 110, a memory substrate 120, and a signal processing substrate 130 are stacked in this order.
  • the pixel substrate 110 is a substrate having an image sensor composed of pixel regions in which unit pixels are formed in an array. Each unit pixel receives light from a subject, photoelectrically converts the incident light, accumulates charges, and outputs the charges as pixel signals at a predetermined timing. Pixel signals output from the pixel substrate 110 are stored in the memory substrate 120, and signal processing is performed in the signal processing substrate 130.
  • the pixel substrate 110 includes an AD converter that converts an analog signal into a digital signal. That is, the pixel signal output from the pixel substrate 110 is a digital signal.
  • the memory substrate 120 is a substrate having a memory such as a DRAM (Dynamic Random Access Memory) that temporarily stores pixel signals output from the pixel substrate 110.
  • the memory substrate 120 has a capacity capable of temporarily storing pixel signals of a plurality of frames, for example, enough frames that can execute the camera shake correction process by the electronic camera shake correction method in the signal processing board 130.
  • the pixel signal stored in the memory substrate 120 is read based on a read command from the signal processing substrate 130.
  • the signal processing board 130 performs various signal processing on the pixel signals stored in the memory board 120.
  • the signal processing executed by the signal processing board 130 is signal processing related to image quality with respect to the pixel signals stored in the memory board 120. For example, camera shake correction processing by an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion Signal processing such as correction processing, defect correction processing, noise reduction processing, and high dynamic range synthesis processing can be executed.
  • the present disclosure is not limited to such an example.
  • the sensor module 100 may have a configuration in which a pixel substrate 110, a signal processing substrate 130, and a memory substrate 120 are stacked in this order.
  • the configuration example of the sensor module 100 has been described above with reference to FIG. Subsequently, a functional configuration example of the sensor module 100 will be described.
  • FIG. 5 is an explanatory diagram illustrating a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure.
  • a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the pixel substrate 110 includes an image sensor 111 having a pixel region in which unit pixels are formed in an array, and a control unit 112 that supplies a predetermined clock signal and timing signal to the image sensor 111.
  • a pixel signal output from the image sensor 111 in response to a signal from the control unit 112 is once sent to the signal processing board 130 and then sent to the memory board 120.
  • control unit 112 supplies a timing signal to the image sensor 111 so that two exposure signals are output from the image sensor 111 so that no blank is generated between frames when an HDR image is captured. . Then, the control unit 112 supplies a timing signal to the image sensor 111 so that the exposure ratio is set when the HDR image is captured.
  • the memory board 120 includes an image storage unit 121 configured by DRAM (Dynamic Random Access Memory) or the like.
  • the image storage unit 121 temporarily stores pixel signals output from the image sensor 111.
  • the image storage unit 121 has a capacity capable of temporarily storing pixel signals of a plurality of frames.
  • the pixel signal stored in the image storage unit 121 is read based on a read command from the signal processing board 130.
  • the signal processing board 130 includes a pre-processing unit 131 and a post-processing unit 132.
  • the pre-processing unit 131 performs signal processing on the pixel signal output from the image sensor 111.
  • the preprocessing unit 131 stores the pixel signal after the signal processing in the image storage unit 121.
  • the signal processing executed by the preprocessing unit 131 can include, for example, gain adjustment processing, clamping processing, pixel addition processing, and the like.
  • the post-processing unit 132 performs signal processing on the pixel signal stored in the image storage unit 121.
  • the post-processing unit 132 outputs the pixel signal after the signal processing to the image processing unit 12.
  • the signal processing executed by the post-processing unit 132 can include, for example, automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, and the like. Further, the post-processing unit 132 can execute a composition process of images captured in a plurality of frames.
  • the post-processing unit 132 when generating the HDR image, uses, as the long accumulation image, a frame composition of the long exposure image and the short exposure image output from the image sensor 111. Then, the post-processing unit 132 determines whether to use the image based on the exposure signal of the first frame or the image based on the exposure signal of the second frame, as the short accumulation image, according to the exposure ratio. Accordingly, the post-processing unit 132 can function as an example of the control unit and the synthesis unit of the present disclosure.
  • the sensor module 100 has such a configuration, and can generate an HDR image so that the subject does not become an unnatural image when the HDR image is generated according to the exposure ratio.
  • FIG. 6 is a flowchart illustrating an operation example of the sensor module 100 according to the embodiment of the present disclosure.
  • FIG. 6 is a flowchart of the sensor module 100 according to the embodiment of the present disclosure when generating an HDR image.
  • an operation example of the sensor module 100 according to the embodiment of the present disclosure according to the embodiment of the present disclosure will be described using FIG. 6.
  • the sensor module 100 determines whether the exposure ratio between the long accumulation image and the short accumulation image that is the basis of the HDR image is greater than 2 (step S101). ). For example, the control unit 112 executes the determination process in step S101.
  • step S101 when the exposure ratio between the long accumulation image and the short accumulation image that is the basis of the HDR image is larger than 2 (step S101, Yes), the sensor module 100 then performs the exposure signal of the first frame The exposure times of the first frame and the second frame are determined so as to be a short accumulation image (step S102).
  • the determination process in step S102 is executed by, for example, the control unit 112.
  • step S101 when the exposure ratio between the long accumulation image and the short accumulation image that is the basis of the HDR image is 2 or less (No in step S101), the sensor module 100 then proceeds to the second frame.
  • the exposure times of the first frame and the second frame are determined so that the exposure signal is a short accumulation image (step S103).
  • the determination process in step S103 is executed by, for example, the control unit 112.
  • the sensor module 100 After determining the exposure time of the first frame and the second frame, the sensor module 100 subsequently exposes the image sensor 111 with the exposure time determined in step S102 or step S103, and receives the exposure signal of the first frame from the image sensor 111. Read (step S104).
  • the process in step S ⁇ b> 104 is performed, for example, when the control unit 112 supplies a signal for reading an exposure signal to the image sensor 111.
  • the sensor module 100 When reading the exposure signal of the first frame from the image sensor 111, the sensor module 100 then temporarily stores the read exposure signal of the first frame in the image storage unit 121 (step S105). When the exposure ratio is larger than 2, the exposure signal of the first frame becomes a short accumulation image.
  • step S106 When the read exposure signal of the first frame is temporarily stored in the image storage unit 121, the sensor module 100 subsequently exposes the image sensor 111 with the exposure time determined in step S102 or step S103, and the image sensor 111 transmits the second frame.
  • the exposure signal is read out (step S106).
  • the process of step S ⁇ b> 106 is performed, for example, when the control unit 112 supplies a signal for reading an exposure signal to the image sensor 111.
  • the sensor module 100 When the second frame exposure signal is read from the image sensor 111, the sensor module 100 then temporarily stores the read second frame exposure signal in the image storage unit 121 (step S107).
  • the exposure ratio is 2 or less, the exposure signal of the second frame is a short accumulation image.
  • the sensor module 100 When the readout exposure signal of the second frame is temporarily stored in the image storage unit 121, the sensor module 100 subsequently acquires the exposure signal of the first frame and the exposure signal of the second frame stored in the image storage unit 121. Then, an addition signal is generated by adding the obtained exposure signal of the first frame and the exposure signal of the second frame (step S108).
  • the post-processing unit 132 executes the addition signal generation processing in step S105, for example.
  • the sensor module 100 When the sensor module 100 generates the addition signal, the sensor module 100 temporarily stores the generated addition signal in the image storage unit 121.
  • the sensor module 100 When the addition signal is generated, the sensor module 100 then generates an HDR image by combining the long accumulation image and the short accumulation image with the addition signal generated in step S108 as a long accumulation image (step S109). For example, the post-processing unit 132 executes the HDR image generation processing in step S109.
  • the sensor module 100 can generate an HDR image by performing such an operation so that the subject does not become an unnatural image when generating the HDR image according to the exposure ratio.
  • step S106 of the series of processes the processing is divided depending on whether or not the exposure ratio between the long accumulation image and the short accumulation image is larger than 2 in step S106 of the series of processes.
  • FIG. 7 is an explanatory diagram illustrating an example of selecting a short accumulation image based on an exposure ratio when an HDR image is generated by the sensor module 100 according to the embodiment of the present disclosure. In the example shown in FIG. 7, exposure is performed so that there is no free time between the first frame and the second frame.
  • the sensor module 100 selects the exposure signal of the second frame as the short accumulation image. On the other hand, when the exposure ratio exceeds 2, the sensor module 100 selects the exposure signal of the first frame as the short accumulation image.
  • the sensor module 100 switches the frame to be selected as the short accumulation image between the case where the exposure ratio is 2 or less and the case where it exceeds 2, so that the first frame and the second frame are generated when the long accumulation image is generated. It is possible to prevent blanks from occurring in the frame. That is, the sensor module 100 according to the embodiment of the present disclosure generates an HDR image according to an exposure ratio by switching a frame to be selected as a short accumulation image depending on whether the exposure ratio is 2 or less and exceeds 2. Sometimes an HDR image can be generated so that the subject does not become an unnatural image.
  • the sensor module 100 switches the frame to be selected for the short accumulation image depending on whether the exposure ratio is 2 or less and exceeds 2.
  • the sensor module 100 switches the frame to be selected for the short accumulation image.
  • the exposure ratio is not limited to such an example.
  • the sensor module 100 switches the frame to be selected as the short accumulation image depending on whether the exposure ratio is 2 or less and exceeds 2, but the exposure ratio is around 2 depending on the brightness of the subject. In such a situation, the frame selected for the short accumulation image is frequently switched.
  • the direction of blurring of the subject is frequently switched when the generated HDR image includes a moving subject.
  • the sensor module 100 has hysteresis in switching of the frame selected for the short accumulation image in the vicinity of the exposure ratio at which the frame selected for the short accumulation image is switched. May be provided. For example, when the exposure ratio changes in the direction in which the exposure ratio increases, the sensor module 100 determines to use the exposure signal of the first frame as the short accumulation image when the exposure ratio becomes 2.1 times instead of 2 times, for example. However, when the exposure ratio changes in a decreasing direction, the exposure signal of the second frame may be determined to be a short accumulation image when the exposure ratio becomes 1.9 times instead of doubling.
  • the sensor module 100 frequently switches the frame to be selected for the short accumulation image by providing hysteresis in the switching of the frame to be selected for the short accumulation image in the vicinity of the exposure ratio at which the frame to be selected for the short accumulation image is switched. You can avoid that.
  • FIG. 8 is an explanatory diagram showing an example in which exposure of two frames is performed in an extremely short time. For example, when the exposure ratio is high, the sensor module 100 sets the first frame as a short accumulation image. However, if a blank occurs between the first frame and the second frame as shown in FIG. If a moving subject is included in the image used as the subject, the subject becomes unnatural.
  • the sensor module 100 does not combine the long accumulation image and the short accumulation image, but only the short accumulation image. It may be output.
  • the sensor module 100 does not combine the long accumulation image and the short accumulation image depending on the condition of the exposure time, so that the subject does not become unnatural even when capturing a moving subject. Such an image can be generated.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 9 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 10 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detection of a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 10 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • a natural HDR image can be generated even when a moving object is included in the subject.
  • a frame to be used as a short accumulation image is selected according to the exposure ratio.
  • a sensor module 100 is provided.
  • the sensor module 100 generates a first image by exposing pixels to the first exposure based on the first exposure time, and then performs the second exposure based on the second exposure time following the first image.
  • a second image is generated by exposing the pixel.
  • the sensor module 100 according to the embodiment of the present disclosure synthesizes a synthesized image obtained by synthesizing the first image and the second image and a selection image selected from either the first image or the second image.
  • the image to be selected as the selected image is switched at the time point when the relationship between the first exposure time and the second exposure time satisfies a predetermined condition.
  • the sensor module 100 has such a configuration, and when generating an HDR image, by selecting a frame to be used as a short accumulation image according to an exposure ratio, a moving subject Even when an image is picked up, an HDR image can be generated so that the subject does not become unnatural.
  • each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
  • each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • a first image is generated by exposing pixels to the first exposure with the first exposure time
  • a second image is generated by exposing pixels to the second exposure with the second exposure time following the first image.
  • An imaging control apparatus that determines a second exposure time.
  • the imaging control apparatus causes the pixel to be exposed under a condition that no empty time is provided between the first exposure and the second exposure.
  • An output unit that outputs at least one of the image synthesized by the synthesis unit or the selected image;
  • the imaging control apparatus according to (1) or (2), wherein the output unit outputs only the selected image when the lead time of the first exposure and the second exposure time overlap in time.
  • the imaging control apparatus according to claim 1, wherein the first exposure time is equal to or shorter than the second exposure time.
  • the imaging control device according to any one of (1) to (3). (5) When the exposure ratio is larger than 2, the first image is selected as the selected image, and when the exposure ratio is smaller than 2, the second image is selected as the selected image. The imaging control device described.
  • the control unit determines the first exposure time and the second exposure time so that hysteresis is generated when an image selected as the selection image by the synthesis unit is switched.
  • An imaging control device according to claim 1.
  • It is configured by stacking three semiconductor substrates consisting of a first semiconductor substrate, a second semiconductor substrate, and a third semiconductor substrate, The first semiconductor substrate includes at least the pixel.
  • a storage unit for storing the first image and the second image is formed on the second semiconductor substrate,
  • the image processing apparatus according to any one of (1) to (6), wherein at least the control unit is formed on the third semiconductor substrate.
  • a first image is generated by exposing pixels to the first exposure with the first exposure time
  • a second image is generated by exposing pixels to the second exposure with the second exposure time following the first image.
  • Synthesizing a synthesized image obtained by synthesizing the first image and the second image, and a selection image selected from either the first image or the second image; Determining the first exposure time and the second exposure time based on an exposure ratio which is a ratio of an exposure time of the composite image and an exposure time of the selected image so that an image selected as the selected image is switched; When, An imaging control method.
  • a first image is generated by exposing pixels to the first exposure with the first exposure time
  • a second image is generated by exposing pixels to the second exposure with the second exposure time following the first image.
  • Synthesizing a synthesized image obtained by synthesizing the first image and the second image, and a selection image selected from either the first image or the second image; Determining the first exposure time and the second exposure time based on an exposure ratio which is a ratio of an exposure time of the composite image and an exposure time of the selected image so that an image selected as the selected image is switched;
  • a computer program that executes (12) An electronic apparatus comprising the imaging control device according to any one of (1) to (10).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な撮像制御装置を提供する。 【解決手段】第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、を備え、前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置が提供される。

Description

撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
　本開示は、撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器に関する。
　ＣＣＤイメージセンサやＣＭＯＳイメージセンサを備えたデジタルカメラには、ダイナミックレンジの幅を広げるＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）という機能が備えられているものがある。ＨＤＲ画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてＨＤＲ画像を生成する方法がある（例えば、特許文献１参照）。
特開２０１１－４３５３号公報
　長時間露光で撮像された画像と短時間露光で撮像された画像とを合成してＨＤＲ画像を生成する場合、露光時間の比率によっては画像の撮像間でブランクが生じる。被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。
　そこで、本開示では、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な、新規かつ改良された撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器を提案する。
　本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、を備え、前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置が提供される。
　また本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、を含む、撮像制御方法が提供される。
　また本開示によれば、コンピュータに、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、を実行させる、コンピュータプログラムが提供される。
　また本開示によれば、上記撮像制御装置を備える、電子機器が提供される。
　以上説明したように本開示によれば、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な、新規かつ改良された撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器を提供することが出来る。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
既存のＨＤＲ画像の撮像技術を説明するための説明図である。 既存のＨＤＲ画像の撮像技術を説明するための説明図である。 本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。 撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。 本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。 本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。 露光比による短蓄画像の選択例を示す説明図である。 極めて短い時間で２つのフレームの露光を行う例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．概要
　　１．２．撮像装置の機能構成例
　　１．３．センサモジュールの構成例
　　１．４．動作例
　２．移動体への応用例
　３．まとめ
　［１．１．概要］
　本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
　上述したように、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを備えたデジタルカメラには、ダイナミックレンジの幅を広げるＨＤＲという機能が備えられているものがある。ＨＤＲ画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてＨＤＲ画像を生成する方法がある。
　以下では、既存のＨＤＲ画像の撮像技術を説明する。図１及び図２は、既存のＨＤＲ画像の撮像技術を説明するための説明図である。図１及び図２では、２枚の画像を互いに異なる、または同じ露光時間で撮像することでＨＤＲ画像を生成する例が示されている。また図１及び図２では、２つのフレームを加算することで長時間露光による画像（長蓄画像）を生成し、長蓄画像の基となるフレームのいずれか１つを短時間露光による画像（短蓄画像）とする場合の例が示されている。
　なお、以下の実施の形態の説明では、ＨＤＲ画像の生成に際し、２枚の画像それぞれにおいて設定される露光時間のうち、長い方の露光時間を長露光時間と称し、短い方の露光時間を短露光時間と称する。また、長露光時間で露光して得られる１枚の画像を長露光画像、短露光時間で露光して得られる１枚の画像を短露光画像、長露光時間で露光して得られる画素信号を長露光信号、短露光時間で露光して得られる画素信号を短露光信号とも称する。
　図１は、短蓄画像を２番目のフレームに固定した場合の、露光比と露光タイミングとの関係を例示したものである。ここで露光比とは、短蓄画像の露光時間を１とした場合の長蓄画像の露光時間を現している。すなわち、露光比２とは、長蓄画像の露光時間：短蓄画像の露光時間＝２：１であることを示している。
　ＣＭＯＳイメージセンサなどの撮像素子からは、例えば垂直方向にＨ行の画素からなる場合、１行目からＨ行目まで順次データを読み出すことが出来るが、最後のＨ行目のデータを読み出し終えてからでないと、次のフレームの１行目からの読み出しを開始することができない。
　そのため、イメージセンサからの画像の出力フレームレートが３０ｆｐｓ（１フレームあたりの時間がおよそ３３．３ミリ秒）の場合に、露光比をおよそ５としようとすると、２番目のフレームの露光時間を６．６ミリ秒とすればよい。そして、明るい被写体と暗い被写体が混在するような場合に、撮像された画像においてどちらの被写体も適切に表示できるよう、露光比を５以上にしようとすると、２番目のフレームの露光時間を６．６ミリ秒より短くすれば良い。しかし、１番目のフレームの露光時間は、上述の読み出しの制限から、２６．７ミリ秒より長くすることができない。従って、短蓄画像を２番目のフレームに固定した場合、露光比を５以上にしようとすると、１番目のフレームと２番目のフレームにブランクが生じてしまう。１番目のフレームと２番目のフレームにブランクが生じると、被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。
　図２は、短蓄画像を１番目のフレームに固定した場合の、露光比と露光タイミングとの関係を例示したものである。
　短蓄画像を１番目のフレームに固定すると、イメージセンサからの画像の出力フレームレートが３０ｆｐｓの場合に、露光比をおよそ１．２５としようとすると、２番目のフレームの露光時間を６．６ミリ秒とすればよい。そして、明るい被写体と暗い被写体が混在するような場合に、撮像された画像においてどちらの被写体も適切に表示できるよう、露光比を１．２５以下にしようとすると、２番目のフレームの露光時間を６．６ミリ秒より短くすれば良い。しかし、１番目のフレームの露光時間は、上述の読み出しの制限から、２６．７ミリ秒より長くすることができない。従って、短蓄画像を１番目のフレームに固定した場合、露光比を１．２５以下にしようとすると、１番目のフレームと２番目のフレームにブランクが生じてしまう。１番目のフレームと２番目のフレームにブランクが生じると、被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。
　そこで本件開示者は、上述した内容に鑑み、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成出来る技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成出来る技術を考案するに至った。
　以上、本開示の実施の形態の概要について説明した。
　［１．２．機能構成例］
　続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図３は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図３を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。
　図３に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。
　撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。
　撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
　画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。
　表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。
　制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。
　記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。
　操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。
　図３に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。
　以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。
　［１．３．センサモジュールの構成例］
　図４は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図４に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。
　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。
　メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレーム、例えば、信号処理基板１３０において電子式手振れ補正方式による手振れ補正処理を実行することが出来るだけのフレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
　信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
　なお、図４にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。
　以上、図４を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。
　図５は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。
　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。
　本実施形態では、制御部１１２は、ＨＤＲ画像の撮像の際に、フレーム間でブランクが生じないように２つの露光信号が撮像素子１１１から出力されるよう、タイミング信号を撮像素子１１１に供給する。そして制御部１１２は、ＨＤＲ画像の撮像の際に設定される露光比となるようにタイミング信号を撮像素子１１１に供給する。
　メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
　信号処理基板１３０は、前処理部１３１と、後処理部１３２と、を含んで構成される。
　前処理部１３１は、撮像素子１１１が出力する画素信号に対する信号処理を施す。前処理部１３１は、信号処理を施した後の画素信号を画像記憶部１２１に記憶させる。前処理部１３１が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。
　後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行する。後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部１２へ出力する。後処理部１３２が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などが含まれうる。また後処理部１３２は、複数フレームで撮像された画像の合成処理を実行しうる。
　本実施形態では、後処理部１３２は、ＨＤＲ画像を生成する際に、長蓄画像として、撮像素子１１１から出力された長時間露光と短露光画像とをフレーム合成したものを使用する。そして後処理部１３２は、短蓄画像として、露光比に応じて、１番目のフレームの露光信号による画像を使用するか、２番目のフレームの露光信号による画像を使用するか、を決定する。従って、後処理部１３２は、本開示の制御部及び合成部の一例として機能しうる。
　本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。
　以上、本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明した。
　［１．４．動作例］
　続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図６は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図６に示したのは、ＨＤＲ画像を生成する際の、本開示の実施の形態に係るセンサモジュール１００の流れ図である。以下、図６を用いて本開示の実施の形態に係る本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。
　本開示の実施の形態に係るセンサモジュール１００は、ＨＤＲ画像を生成する際に、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２より大きいかどうかを判定する（ステップＳ１０１）。ステップＳ１０１の判定処理は、例えば制御部１１２が実行する。
　ステップＳ１０１の判定の結果、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２より大きい場合は（ステップＳ１０１、Ｙｅｓ）、続いてセンサモジュール１００は、第１フレームの露光信号を短蓄画像とするよう、第１フレーム及び第２フレームの露光時間を決定する（ステップＳ１０２）。ステップＳ１０２の決定処理は、例えば制御部１１２が実行する。
　一方、ステップＳ１０１の判定の結果、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２以下の場合は（ステップＳ１０１、Ｎｏ）、続いてセンサモジュール１００は、第２フレームの露光信号を短蓄画像とするよう、第１フレーム及び第２フレームの露光時間を決定する（ステップＳ１０３）。ステップＳ１０３の決定処理は、例えば制御部１１２が実行する。
　第１フレーム及び第２フレームの露光時間を決定すると、続いてセンサモジュール１００は、ステップＳ１０２またはステップＳ１０３で決定した露光時間で撮像素子１１１を露光し、撮像素子１１１から第１フレームの露光信号を読み出す（ステップＳ１０４）。ステップＳ１０４の処理は、例えば制御部１１２が撮像素子１１１に対して露光信号を読み出すための信号を供給することによって行われる。
　撮像素子１１１から第１フレームの露光信号を読み出すと、続いてセンサモジュール１００は、読み出した第１フレームの露光信号を画像記憶部１２１に一時記憶する（ステップＳ１０５）。露光比が２より大きい場合は、この第１フレームの露光信号が短蓄画像となる。
　読み出した第１フレームの露光信号を画像記憶部１２１に一時記憶すると、続いてセンサモジュール１００は、ステップＳ１０２またはステップＳ１０３で決定した露光時間で撮像素子１１１を露光し、撮像素子１１１から第２フレームの露光信号を読み出す（ステップＳ１０６）。ステップＳ１０６の処理は、例えば制御部１１２が撮像素子１１１に対して露光信号を読み出すための信号を供給することによって行われる。
　撮像素子１１１から第２フレームの露光信号を読み出すと、続いてセンサモジュール１００は、読み出した第２フレームの露光信号を画像記憶部１２１に一時記憶する（ステップＳ１０７）。露光比が２以下の場合は、この第２フレームの露光信号が短蓄画像となる。
　読み出した第２フレームの露光信号を画像記憶部１２１に一時記憶すると、続いてセンサモジュール１００は、画像記憶部１２１に記憶されている第１フレームの露光信号及び第２フレームの露光信号を取得し、取得した第１フレームの露光信号及び第２フレームの露光信号を加算した加算信号を生成する（ステップＳ１０８）。ステップＳ１０５の加算信号の生成処理は、例えば後処理部１３２が実行する。センサモジュール１００は、加算信号を生成すると、生成した加算信号を画像記憶部１２１に一時記憶する。
　加算信号を生成すると、続いてセンサモジュール１００は、ステップＳ１０８で生成した加算信号を長蓄画像として、長蓄画像と短蓄画像と合成することでＨＤＲ画像を生成する（ステップＳ１０９）。ステップＳ１０９のＨＤＲ画像の生成処理は、例えば後処理部１３２が実行する。
　本開示の実施の形態に係るセンサモジュール１００は、係る動作を実行することで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。
　ここで、上記一連の処理のステップＳ１０６で、長蓄画像と短蓄画像との露光比が２より大きいかどうかで処理を分けていることを説明する。
　図７は、本開示の実施の形態に係るセンサモジュール１００によるＨＤＲ画像の生成時の、露光比による短蓄画像の選択例を示す説明図である。図７に示した例では、いずれも、第１フレームと第２フレームとの間に空き時間が無いように露光を行っている。
　センサモジュール１００は、露光比が２以下の場合は、第２フレームの露光信号を短蓄画像に選択する。一方、センサモジュール１００は、露光比が２を超える場合は、第１フレームの露光信号を短蓄画像に選択する。
　このようにセンサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えることで、長蓄画像の生成時に１番目のフレームと２番目のフレームにブランクが生じることを防ぐことが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えることで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。
　なお、上述した例では、センサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えていたが、短蓄画像に選択するフレームを切り替える露光比は、係る例に限定されるものではない。
　また上述した例では、センサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えていたが、被写体の明るさによって露光比が２前後となるような状況では、短蓄画像に選択するフレームが頻繁に切り替わってしまう。短蓄画像に選択するフレームが頻繁に切り替わると、生成するＨＤＲ画像に動く被写体が含まれている場合、被写体のブレの方向が頻繁に切り替わる。
　そこで、センサモジュール１００は、短蓄画像に選択するフレームが頻繁に切り替わることを回避するため、短蓄画像に選択するフレームが切り替わる露光比の近辺で、短蓄画像に選択するフレームの切り替わりにヒステリシスを設けても良い。例えば、センサモジュール１００は、露光比が大きくなる方向に変わっていく場合は、露光比が２倍ではなく例えば２．１倍となったところで第１フレームの露光信号を短蓄画像とするよう決定し、露光比が小さくなる方向に変わっていく場合は、露光比が２倍ではなく例えば１．９倍となったところで第２フレームの露光信号を短蓄画像とするよう決定してもよい。
　このように短蓄画像に選択するフレームが切り替わる露光比の近辺で、短蓄画像に選択するフレームの切り替わりにヒステリシスを設けることで、センサモジュール１００は、短蓄画像に選択するフレームが頻繁に切り替わることを回避することができる。
　露光時間の条件によっては、極めて短い時間で露光しなければ被写体が白飛びしてしまう場合もありうる。そして露光時間の条件によっては、第１フレームと第２フレームとの間にブランクが生じてしまう場合もあり得る。例えば、第１フレームのリード時間と第２フレームの露光時間とが重なる場合である。図８は、極めて短い時間で２つのフレームの露光を行う例を示す説明図である。例えば、センサモジュール１００は、露光比が高い場合では第１フレームを短蓄画像とするが、図８のように第１フレームと第２フレームとの間にブランクが生じてしまうと、長蓄画像として使用する画像に動きのある被写体が含まれていれば、その被写体が不自然なものとなる。
　そこでセンサモジュール１００は、露光時間の条件によっては、第１フレームと第２フレームとの間にブランクが生じてしまう場合、長蓄画像と短蓄画像との合成を行わず、短蓄画像だけを出力しても良い。センサモジュール１００は、露光時間の条件によっては長蓄画像と短蓄画像との合成を行わないようにすることで、動きのある被写体を撮像する場合であっても被写体が不自然なものとならないような画像を生成することが出来る。
　＜２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１０は、撮像部１２０３１の設置位置の例を示す図である。
　図１０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術が適用されることで、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することができる。
　＜３．まとめ＞
　以上説明したように本開示の実施の形態によれば、複数の画像を合成することでダイナミックレンジを拡張したＨＤＲ画像を生成する際に、露光比に応じて短蓄画像として使用するフレームを選択するセンサモジュール１００が提供される。
　本開示の実施の形態に係るセンサモジュール１００は、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する。本開示の実施の形態に係るセンサモジュール１００は、第１画像及び第２画像を合成した合成画像と、第１画像または第２画像のいずれかから選択される選択画像と、を合成する際に、選択画像として選択する画像を、第１露光時間と第２露光時間との関係が所定の条件を満たした時点を境に切り替える。
　本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、ＨＤＲ画像を生成する際に、露光比に応じて短蓄画像として使用するフレームを選択することで、動きのある被写体を撮像する場合であっても被写体が不自然なものとならないようなＨＤＲ画像を生成することが出来る。
　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、
を備え、
　前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置。
（２）
　前記制御部は、前記第１露光と前記第２露光との間に空き時間を入れない条件で前記画素へ露光させる、前記（１）に記載の撮像制御装置。
（３）
　前記合成部で合成された画像もしくは前記選択画像の少なくともいずれか一方を出力する出力部をさらに備え、
　前記出力部は、前記第１露光のリード時間と前記第２露光時間とが時間的に重なる場合では、前記選択画像のみを出力する、前記（１）または（２）に記載の撮像制御装置。
（４）
　前記第１露光時間は、前記第２露光時間以下である、請求項１に記載の撮像制御装置。
前記（１）～（３）のいずれかに記載の撮像制御装置。
（５）
　前記露光比が２より大きい場合は、前記選択画像として前記第１画像が選択され、前記露光比が２より小さい場合は、前記選択画像として前記第２画像が選択される、前記（４）に記載の撮像制御装置。
（６）
　前記制御部は、前記合成部で前記選択画像として選択される画像が切り替わる際にヒステリシスが生じるよう前記第１露光時間及び前記第２露光時間を決定する、前記（１）～（５）のいずれかに記載の撮像制御装置。
（７）
　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
　前記第１半導体基板には、前記画素が少なくとも形成され、
　前記第２半導体基板には、前記第１画像及び前記第２画像を記憶する記憶部が形成され、
　前記第３半導体基板には、前記制御部が少なくとも形成されている、前記（１）～（６）のいずれかに記載の画像処理装置。
（８）
　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（７）に記載の画像処理装置。
（９）
　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（７）に記載の画像処理装置。
（１０）
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
を含む、撮像制御方法。
（１１）
　コンピュータに、
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
を実行させる、コンピュータプログラム。
（１２）
　前記（１）～（１０）のいずれかに記載の撮像制御装置を備える、電子機器。
　１０　　　電子機器
　１００　　センサモジュール

Claims (12)

  1. 　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、
    　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、
    を備え、
    　前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置。
  2. 　前記制御部は、前記第１露光と前記第２露光との間に空き時間を入れない条件で前記画素へ露光させる、請求項１に記載の撮像制御装置。
  3. 　前記合成部で合成された画像もしくは前記選択画像の少なくともいずれか一方を出力する出力部をさらに備え、
    　前記出力部は、前記第１露光のリード時間と前記第２露光時間とが時間的に重なる場合では、前記選択画像のみを出力する、請求項１に記載の撮像制御装置。
  4. 　前記第１露光時間は、前記第２露光時間以下である、請求項１に記載の撮像制御装置。
  5. 　前記露光比が２より大きい場合は、前記選択画像として前記第１画像が選択され、前記露光比が２より小さい場合は、前記選択画像として前記第２画像が選択される、請求項４に記載の撮像制御装置。
  6. 　前記制御部は、前記合成部で前記選択画像として選択される画像が切り替わる際にヒステリシスが生じるよう前記第１露光時間及び前記第２露光時間を決定する、請求項１に記載の撮像制御装置。
  7. 　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
    　前記第１半導体基板には、前記画素が少なくとも形成され、
    　前記第２半導体基板には、前記第１画像及び前記第２画像を記憶する記憶部が形成され、
    　前記第３半導体基板には、前記制御部が少なくとも形成されている、請求項１に記載の画像処理装置。
  8. 　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項７に記載の画像処理装置。
  9. 　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項７に記載の画像処理装置。
  10. 　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
    　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
    を含む、撮像制御方法。
  11. 　コンピュータに、
    　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
    　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
    を実行させる、コンピュータプログラム。
  12. 　請求項１に記載の撮像制御装置を備える、電子機器。
PCT/JP2017/006035 2016-03-31 2017-02-20 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 WO2017169274A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/088,212 US11025828B2 (en) 2016-03-31 2017-02-20 Imaging control apparatus, imaging control method, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016070597A JP2017184094A (ja) 2016-03-31 2016-03-31 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
JP2016-070597 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017169274A1 true WO2017169274A1 (ja) 2017-10-05

Family

ID=59964237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006035 WO2017169274A1 (ja) 2016-03-31 2017-02-20 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器

Country Status (3)

Country Link
US (1) US11025828B2 (ja)
JP (1) JP2017184094A (ja)
WO (1) WO2017169274A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207258A1 (zh) * 2019-04-09 2020-10-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147199B2 (ja) * 2018-03-16 2022-10-05 ソニーグループ株式会社 信号処理装置及び信号処理方法
CN110971835A (zh) * 2019-12-24 2020-04-07 重庆紫光华山智安科技有限公司 一种基于双相曝光的监控方法及装置
CN113240614B (zh) * 2021-04-07 2023-02-10 华南理工大学 一种适用于k-tig焊超强弧光场景的高动态图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027328A (ja) * 2000-07-07 2002-01-25 Matsushita Electric Ind Co Ltd 固体撮像素子の駆動方法および固体撮像装置
JP2010178164A (ja) * 2009-01-30 2010-08-12 Ricoh Co Ltd 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
JP5296193B2 (ja) * 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027328A (ja) * 2000-07-07 2002-01-25 Matsushita Electric Ind Co Ltd 固体撮像素子の駆動方法および固体撮像装置
JP2010178164A (ja) * 2009-01-30 2010-08-12 Ricoh Co Ltd 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207258A1 (zh) * 2019-04-09 2020-10-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US11025828B2 (en) 2021-06-01
JP2017184094A (ja) 2017-10-05
US20200304698A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP2020061755A (ja) 撮像装置、及び、電子機器
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP2019134271A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
WO2020230636A1 (ja) 画像認識装置および画像認識方法
US20210297589A1 (en) Imaging device and method of controlling imaging device
US20220368867A1 (en) Imaging device
US11375136B2 (en) Imaging device for high-speed read out, method of driving the same, and electronic instrument
TWI775808B (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2017212722A1 (ja) 制御装置及び制御方法
WO2017203752A1 (ja) 撮像装置、および制御方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
TWI842952B (zh) 攝像裝置
CN113661700B (zh) 成像装置与成像方法
JP2018195975A (ja) 信号処理装置および方法、撮像素子、並びに、電子機器
WO2020137503A1 (ja) 画像処理装置
WO2018207665A1 (ja) 固体撮像装置、駆動方法、及び電子機器
CN113661700A (zh) 成像装置与成像方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773822

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17773822

Country of ref document: EP

Kind code of ref document: A1