WO2017169233A1 - 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 - Google Patents
撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 Download PDFInfo
- Publication number
- WO2017169233A1 WO2017169233A1 PCT/JP2017/005575 JP2017005575W WO2017169233A1 WO 2017169233 A1 WO2017169233 A1 WO 2017169233A1 JP 2017005575 W JP2017005575 W JP 2017005575W WO 2017169233 A1 WO2017169233 A1 WO 2017169233A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- exposure
- imaging processing
- processing apparatus
- exposure time
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000003384 imaging method Methods 0.000 title claims abstract description 125
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000000758 substrate Substances 0.000 claims description 68
- 239000004065 semiconductor Substances 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000010030 laminating Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 abstract description 7
- 239000002131 composite material Substances 0.000 abstract description 5
- 230000007423 decrease Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 17
- 238000009825 accumulation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Definitions
- the present disclosure relates to an imaging processing device, an imaging processing method, a computer program, and an electronic device.
- the digital still camera has a function of setting a plurality of frames in advance and imaging a plurality of consecutive frames while automatically changing the setting one by one from a predetermined imaging trigger as a starting point.
- AEB Automatic Exposure Bracketing
- the existing AEB was capturing multiple frames at the same frame rate. Therefore, when the exposure time is short, a large interval is generated between the frames. Blur (subject blurring) becomes noticeable when captured images with large intervals between frames are combined. On the other hand, blurring can be suppressed by narrowing the readout interval, but on the other hand, the upper limit of the maximum exposure time is shortened, and the settable range of exposure time is narrowed.
- an imaging processing apparatus when performing imaging in a plurality of frames with a single shutter trigger, it is possible to simultaneously realize suppression of blurring of a composite image and widening of a settable range of exposure time.
- An imaging processing apparatus, an imaging processing method, a computer program, and an electronic device are proposed.
- a first image is generated by exposing a pixel by first exposure with a first exposure time, and a pixel is exposed by second exposure with a second exposure time following the first image.
- An imaging processing apparatus comprising: a control unit that generates a second image, wherein the control unit minimizes an interval between a read start of the first exposure and a shutter start of the second exposure in a predetermined row of the pixels.
- the first image is generated by exposing the pixel by the first exposure with the first exposure time, and the pixel is exposed by the second exposure by the second exposure time following the first image.
- Providing an imaging processing method including: generating a second image; and minimizing an interval between the read start of the first exposure and the shutter start of the second exposure in a predetermined row of the pixels. Is done.
- the computer generates a first image by exposing the pixel by the first exposure according to the first exposure time, and then the pixel is performed by the second exposure by the second exposure time following the first image.
- a computer that generates a second image by exposure and minimizes the interval between the read start of the first exposure and the shutter start of the second exposure in a predetermined row of the pixels.
- a program is provided.
- an electronic apparatus including the imaging processing device is provided.
- a new and improved imaging processing apparatus, imaging processing method, computer program, and electronic apparatus can be provided.
- FIG. 2 is an explanatory diagram illustrating a configuration example of a sensor module 100 included in an imaging unit 11.
- FIG. It is explanatory drawing which shows the function structural example of the sensor module 100 which concerns on the same embodiment. It is a flowchart which shows the operation example of the sensor module 100 which concerns on the same embodiment.
- FIG. It is explanatory drawing which shows an example of the mode of the AEB function which the sensor module 100 concerning the embodiment performs. It is explanatory drawing which shows the example of an effect of the sensor module 100 which concerns on the same embodiment.
- 5 is an explanatory diagram illustrating an example of a pixel reset period in the sensor module 100 according to the embodiment.
- FIG. It is explanatory drawing which shows an example of the mode of the AEB function which the sensor module 100 which concerns on embodiment of the same execution performs. It is explanatory drawing which shows the example of the conversion process of the frame rate by the sensor module 100 concerning the embodiment. It is explanatory drawing which shows the example when the sensor module 100 which concerns on the same embodiment speeds up the time concerning the shutter and lead with respect to a pixel.
- Embodiment of the present disclosure [1.1. Overview] Before describing the embodiments of the present disclosure in detail, an outline of the embodiments of the present disclosure will be described first.
- the digital still camera has a setting for a plurality of frames in advance, and images a plurality of continuous frames while automatically changing the settings one by one starting from a predetermined imaging trigger.
- Some are equipped with.
- a function for imaging while changing exposure system settings such as exposure time, gain, flash, and high sensitivity mode is referred to as AEB.
- FIG. 1 is an explanatory diagram illustrating a conventional AEB function, and is an explanatory diagram illustrating a conventional AEB function for imaging a plurality of frames at the same frame rate.
- the solid line in FIG. 1 indicates the shutter timing for the image sensor, and the broken line indicates the read timing for reading data from the image sensor.
- the readout interval of data from the pixels is a steady interval as shown in FIG. Therefore, it is necessary to match the shutter timing of the pixel with the timing of reading data from the pixel. Therefore, as shown in FIG. 1, depending on the exposure time, a large blank may occur in the data read timing of the previous frame and the shutter timing of the next frame.
- FIG. 2 is an explanatory diagram for explaining a conventional AEB function for generating an image with a plurality of continuous frames by reading data from a pixel at the timing of a vertical synchronization signal (V synchronization signal).
- FIG. 2 shows a state in which images with different exposure times are generated in four consecutive frames from frames f1 to f4. Note that at least a reset period for resetting the pixels is required between the lead and the shutter. Therefore, the exposure interval includes this pixel reset period. In this way, when an image is generated with a plurality of continuous frames by reading data from the pixel at the timing of the vertical synchronization signal, the exposure interval becomes longer depending on the exposure time.
- FIG. 3 is an explanatory diagram for explaining a conventional AEB function for generating an image with a plurality of continuous frames by reading data from a pixel at the timing of a vertical synchronization signal (V synchronization signal).
- FIG. 3 shows a state in which images having different exposure times are generated in four consecutive frames from frames f1 to f4, as in FIG.
- the exposure time is shorter than the interval of the vertical synchronization signal, the exposure interval between the data read of the previous frame and the shutter of the next frame becomes longer.
- blurring of a subject may occur when the plurality of images are combined.
- FIG. 4 is an explanatory diagram showing an example of combining a plurality of images with an exposure interval opened.
- FIG. 4 shows an example in which imaging with a long exposure time and imaging with a short exposure time are repeated, and an image captured with a long exposure time and an image captured with a short exposure time are combined.
- imaging with a long exposure time is also referred to as “long accumulation”
- imaging with a short exposure time is also referred to as “short accumulation”.
- an image by long accumulation and an image by short accumulation are synthesized.
- the data of the previous frame is read.
- the exposure interval between the shutter of the next frame becomes longer. Therefore, when a moving subject is continuously imaged and an image with long accumulation and an image with short accumulation are combined, blurring of the combined image increases as shown in FIG.
- the data reading interval from the pixel that is, the interval of the vertical synchronization signal may be narrowed.
- the upper limit of the maximum exposure time is shortened, and the settable range of the exposure time is narrowed.
- the settable range of the exposure time it becomes impossible to generate an image based on long accumulation as shown in FIG.
- the present disclosure has intensively studied a technique capable of simultaneously realizing blur suppression and widening of a settable range of exposure time.
- the present inventor has devised a technology that can simultaneously realize blur suppression and widening of a settable range of exposure time by minimizing the data reading interval from the pixel. It came to do.
- FIG. 5 is an explanatory diagram illustrating a functional configuration example of the electronic device 10 according to the embodiment of the present disclosure.
- a functional configuration example of the electronic device 10 according to the embodiment of the present disclosure will be described with reference to FIG.
- the electronic device 10 includes an imaging unit 11, an image processing unit 12, a display unit 13, a control unit 14, a storage unit 15, and an operation unit 16. And comprising.
- the imaging unit 11 includes a lens, a sensor module, and the like, and accumulates electrons for a predetermined period according to an image formed on the light receiving surface of the sensor module through the lens.
- the imaging unit 11 performs predetermined signal processing on a signal corresponding to the accumulated electrons. Then, the imaging unit 11 outputs the signal after the signal processing to the image processing unit 12.
- the configuration of the sensor module included in the imaging unit 11 will be described in detail later.
- the imaging unit 11 includes, as the predetermined signal processing, camera shake correction processing using an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, and the like. Signal processing may be performed.
- the image processing unit 12 is configured by an application processor (AP), for example, and executes image processing using a signal output from the imaging unit 11.
- the image processing executed by the image processing unit 12 includes, for example, demosaic processing using a signal output from the imaging unit 11, display processing of the demosaiced image on the display unit 13, storage processing in the storage unit 15, and the like. There is.
- the display unit 13 is a display device configured by, for example, a liquid crystal display, an organic EL display, or the like. Display contents of the display unit 13 are controlled by the control unit 14. For example, the display unit 13 displays an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12 based on the control of the control unit 14.
- the control unit 14 includes a processor such as a CPU (Central Processing Unit), ROM, RAM, and the like, and controls the operation of each unit of the electronic device 10.
- a processor such as a CPU (Central Processing Unit), ROM, RAM, and the like, and controls the operation of each unit of the electronic device 10.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the like controls the operation of each unit of the electronic device 10.
- the storage unit 15 is configured by a storage medium such as a flash memory or other nonvolatile memory.
- the storage unit 15 stores an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12.
- the image stored in the storage unit 15 can be displayed on the display unit 13 in accordance with the operation of the user of the electronic device 10.
- the operation unit 16 is a device for operating the electronic device 10 and includes, for example, buttons and a touch panel.
- the touch panel is provided on the display surface of the display unit 13.
- the user of the electronic device 10 wants to record the image captured by the imaging unit 11 in the electronic device 10, the user triggers a shutter trigger by operating a predetermined button of the operation unit 16.
- the imaging unit 11 and the image processing unit 12 detect the occurrence of the shutter trigger, the imaging unit 11 and the image processing unit 12 execute a process for recording an image on the electronic device 10 according to the generation of the shutter trigger.
- the electronic device 10 shown in FIG. 5 is not limited to a specific device, and can take various forms such as a digital camera, a smartphone, a tablet portable terminal, a portable music player, and a game machine.
- FIG. 6 is an explanatory diagram illustrating a configuration example of the sensor module 100 included in the imaging unit 11.
- the sensor module 100 according to the embodiment of the present disclosure is an example of the image processing apparatus of the present disclosure, and is configured by stacking three substrates as illustrated in FIG. 6.
- the sensor module 100 according to the embodiment of the present disclosure has a configuration in which a pixel substrate 110, a memory substrate 120, and a signal processing substrate 130 are stacked in this order.
- the pixel substrate 110 is a substrate having an image sensor composed of pixel regions in which unit pixels are formed in an array. Each unit pixel receives light from a subject, photoelectrically converts the incident light, accumulates charges, and outputs the charges as pixel signals at a predetermined timing. Pixel signals output from the pixel substrate 110 are stored in the memory substrate 120, and signal processing is performed in the signal processing substrate 130.
- the pixel substrate 110 includes an AD converter that converts an analog signal into a digital signal. That is, the pixel signal output from the pixel substrate 110 is a digital signal.
- the memory substrate 120 is a substrate having a memory such as a DRAM (Dynamic Random Access Memory) that temporarily stores pixel signals output from the pixel substrate 110.
- the memory substrate 120 has a capacity capable of temporarily storing pixel signals of a plurality of frames.
- the pixel signal stored in the memory substrate 120 is read based on a read command from the signal processing substrate 130.
- the signal processing board 130 performs various signal processing on the pixel signals stored in the memory board 120.
- the signal processing executed by the signal processing board 130 is signal processing related to image quality with respect to the pixel signals stored in the memory board 120.
- camera shake correction processing by an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion Signal processing such as correction processing, defect correction processing, noise reduction processing, and high dynamic range synthesis processing can be executed.
- the signal processing board 130 can execute a synthesis process of images captured in a plurality of frames.
- the present disclosure is not limited to such an example.
- the sensor module 100 may have a configuration in which a pixel substrate 110, a signal processing substrate 130, and a memory substrate 120 are stacked in this order.
- the configuration example of the sensor module 100 has been described above with reference to FIG. Subsequently, a functional configuration example of the sensor module 100 will be described.
- FIG. 7 is an explanatory diagram illustrating a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure.
- a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure will be described with reference to FIG.
- the pixel substrate 110 includes an image sensor 111 having a pixel region in which unit pixels are formed in an array, and a control unit 112 that supplies a predetermined clock signal and timing signal to the image sensor 111.
- a pixel signal output from the image sensor 111 in response to a signal from the control unit 112 is once sent to the signal processing board 130 and then sent to the memory board 120.
- a CMOS image sensor is used as the image sensor 111, and a pixel signal generated by exposure is read out by a rolling shutter system.
- the control unit 112 sets an interval between the read start of exposure (first exposure) in a certain frame and the shutter start of exposure (second exposure) in the next frame.
- a timing signal is supplied to the image sensor 111 so as to minimize it. In this way, the control unit 112 supplies the timing signal to the image sensor 111, so that the sensor module 100 according to the embodiment of the present disclosure simultaneously realizes suppression of blur and widening of a settable range of exposure time. be able to.
- the memory board 120 includes an image storage unit 121 configured by DRAM (Dynamic Random Access Memory) or the like.
- the image storage unit 121 temporarily stores pixel signals output from the image sensor 111.
- the image storage unit 121 has a capacity capable of temporarily storing pixel signals of a plurality of frames.
- the pixel signal stored in the image storage unit 121 is read based on a read command from the signal processing board 130.
- the signal processing board 130 includes a pre-processing unit 131 and a post-processing unit 132.
- the pre-processing unit 131 performs signal processing on the pixel signal output from the image sensor 111.
- the preprocessing unit 131 stores the pixel signal after the signal processing in the image storage unit 121.
- the signal processing executed by the preprocessing unit 131 can include, for example, gain adjustment processing, clamping processing, pixel addition processing, and the like.
- the post-processing unit 132 performs signal processing on the pixel signal stored in the image storage unit 121.
- the post-processing unit 132 outputs the pixel signal after the signal processing to the image processing unit 12.
- the signal processing executed by the post-processing unit 132 can include, for example, automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, and the like. Further, the post-processing unit 132 can execute a composition process of images captured in a plurality of frames.
- the functional configuration example of the sensor module 100 according to the embodiment of the present disclosure has been described above.
- the sensor module 100 according to the embodiment of the present disclosure has such a configuration, so that blurring of composite images and exposure are performed when performing imaging in a plurality of frames with a single shutter trigger, like the AEB function. It is possible to simultaneously realize a wide setting range of time.
- FIG. 8 is a flowchart illustrating an operation example of the sensor module 100 according to the embodiment of the present disclosure.
- FIG. 8 illustrates an operation example of the sensor module 100 according to the embodiment of the present disclosure when a plurality of images are continuously captured with a single shutter trigger as in the AEB function.
- FIG. 8 illustrates an operation example of the sensor module 100 according to the embodiment of the present disclosure when a plurality of images are continuously captured with a single shutter trigger as in the AEB function.
- the sensor module 100 determines the N + 1th image from the read time of the Nth image (N is an integer of 1 or more and less than M) of consecutive images. It is determined whether the exposure time is longer (step S101).
- the determination in step S101 can be executed by the control unit 112, for example.
- Whether or not the exposure time of the (N + 1) th sheet is longer than the read time of the Nth sheet of consecutive images means that the (N + 1) th sheet is longer than the reading time from the first line to the last line of the image sensor 111 for the Nth sheet. This means whether the exposure time is long.
- step S101 If the exposure time of the (N + 1) th sheet is longer than the read time of the Nth sheet of consecutive images (step S101, Yes), the sensor module 100 performs the Nth sheet for a row with pixels provided in the image sensor 111. The interval between the start of reading and the start of the (N + 1) th shutter is minimized (step S102).
- the control in step S102 can be executed by the control unit 112, for example.
- FIG. 9 is an explanatory diagram illustrating an example of a state of the AEB function executed by the sensor module 100 according to the embodiment of the present disclosure.
- FIG. 9 shows a state in which images having different exposure times are generated in four consecutive frames from frames f1 to f4.
- the sensor module 100 minimizes the distance between the lead and the shutter.
- the interval between the lead and the shutter is narrowed to an interval corresponding to a reset period for resetting pixels provided in the image sensor 111. That is, in this embodiment, as shown in FIG. 9, the interval of the vertical synchronization signal is not constant.
- the interval between the vertical synchronization signal for reading the signal from the pixel in frame f1 and the vertical synchronization signal for reading the signal from the pixel in frame f2 corresponds to the exposure time of the image in frame f2 plus the reset period. To do.
- FIG. 10 is an explanatory diagram showing an effect example of the sensor module 100 according to the present embodiment.
- the sensor module 100 according to the present embodiment minimizes the interval between the lead and the shutter, thereby blurring the synthesized image in the case where the image by the long accumulation and the image by the short accumulation are alternately captured and synthesized. It can be kept small.
- the post-processing unit 132 executes this synthesis process. This is because the amount of movement of the subject can be minimized by minimizing the distance between the lead and the shutter.
- FIG. 11 is an explanatory diagram illustrating an example of a pixel reset period in the sensor module 100 according to the present embodiment.
- a vertical synchronization signal and a horizontal synchronization signal are supplied to the pixel.
- one access unit of the image sensor 111 is 32 lines. This one access unit means that eight lines are read simultaneously, and AD conversion for converting the read analog data into digital data is performed four times.
- the interval from the lead to the shutter is set with the period required for the four AD conversions as a reset period. Note that the amount of one access unit varies depending on the image sensor. Accordingly, the reset period also varies depending on the image sensor.
- the factors affecting the reset period are organized, there are two types: the number of AD conversions during one horizontal period and the number of lines that can be read simultaneously.
- the interval between the lead and the shutter is narrowed to the interval corresponding to the reset period determined by these two elements.
- step S101 the sensor module 100 determines the N-th sheet for a row with pixels provided in the image sensor 111.
- the interval between the N-th read start and the N + 1-th shutter start is minimized so that the N + 1th lead and the (N + 1) th lead do not overlap (step S103).
- the control in step S103 can be executed by the control unit 112, for example.
- the N-th lead time and the (N + 1) -th lead time may overlap when the interval between the N-th lead start and the (N + 1) th shutter start is too short.
- FIG. 12 is an explanatory diagram illustrating an example of a state of the AEB function executed by the sensor module 100 according to the embodiment of the present disclosure.
- FIG. 12 shows a state in which images with different exposure times are generated in four consecutive frames from frames f1 to f4.
- the read period of frame f1 (read period 1) and the read period of frame f2 (read period 2) overlap.
- the read period 2 the read period of the frame f3 (read period 3), the read period 3 and the read period of the frame f4 (read period 4) overlap each other.
- the sensor module 100 when imaging is performed under an exposure time condition in which the lead period overlaps between the preceding and following frames, the sensor module 100 outputs the image of the later frame to the outside (for example, the image processing unit 12) as it is. I can't do it.
- the sensor module 100 may adjust the shutter start timing so that the lead period does not overlap between the preceding and following frames. That is, the sensor module 100 may increase the interval between the lead between the frame and the shutter from the time corresponding to the reset period.
- the sensor module 100 can output an image to the outside (for example, the image processing unit 12) even if a frame with a short exposure time occurs. I can do it.
- the sensor module 100 according to the present embodiment includes an image storage unit 121. Therefore, the sensor module 100 according to the present embodiment stores the data read from the image sensor 111 once in the image storage unit 121 after minimizing the interval between the lead and the shutter between frames to a time corresponding to the reset period. Then, it may be output to the outside (for example, the image processing unit 12).
- FIG. 13 is an explanatory diagram showing an example of frame rate conversion processing by the sensor module 100 according to the present embodiment.
- FIG. 13 shows a state in which the sensor module 100 according to the present embodiment stores an image read from the image sensor 111 once in the image storage unit 121 and outputs the image.
- the image read from the image sensor 111 is stored once in the image storage unit 121, and the images stored in the image storage unit 121 are sequentially read, so that the sensor module 100 according to the present embodiment can perform the read period. Even when the frames overlap in the preceding and following frames, the interval between the lead and the shutter between the frames can be minimized to a time corresponding to the reset period.
- the sensor module 100 according to the present embodiment can also speed up the time required for shutter and reading for the pixels.
- FIG. 14 is an explanatory diagram illustrating an example in which the sensor module 100 according to the present embodiment speeds up the time required for shutter and reading for a pixel. As described above, the sensor module 100 can speed up the time required for the shutter and the lead for the pixel so that the lead period does not overlap between the previous and next frames.
- the sensor module 100 stores an image read from the image sensor 111 in the image storage unit 121 once, and the image stored in the image storage unit 121 is converted into a frame rate. May be converted and output to the outside (for example, the image processing unit 12).
- the sensor module 100 can be read from the image sensor 111.
- the read image may be stored once in the image storage unit 121, and the image stored in the image storage unit 121 may be converted to, for example, 30 fps and output to the outside.
- FIG. 15 is an explanatory diagram showing the frame rate conversion processing by the sensor module 100 via the image storage unit 121 in more detail.
- the sensor module 100 When reading from the image sensor 111, the sensor module 100 is faster than the frame rate for outputting an image from the sensor module 100 (for example, the frame rate for outputting an image is 30 fps, and the frame rate for reading from the image sensor 111 is 120 fps to Read out at a speed of about 240 fps), and the image is stored in the image storage unit 121 once.
- the sensor module 100 outputs an image to the outside, the sensor module 100 executes a predetermined subsequent process at a rate limited to the interface band of the external output and outputs the image.
- the sensor module 100 can convert the reading speed from the image sensor 111 and the output speed from the sensor module 100.
- the sensor module 100 may capture all images with the same exposure time when capturing a plurality of images with a single shutter trigger. And the sensor module 100 can output the image which suppressed noise by performing the 3D noise reduction (3DNR) process which synthesize
- 3DNR 3D noise reduction
- each pixel signal is stored once in the image storage unit 121, and then the pixel signal stored in the image storage unit 121 by the post-processing unit 132. Is read out and the composition processing is performed.
- the sensor module 100 according to the present embodiment can narrow the search range because there is less subject blur in 3DNR by minimizing the period between the lead and the shutter between the front and rear frames. Therefore, the sensor module 100 according to this embodiment can reduce the circuit for performing 3DNR by minimizing the period between the lead and the shutter between the front and rear frames.
- the sensor module 100 synthesizes a predetermined number of images, for example, six images, with a single shutter trigger when combining the above-described image with long accumulation and the image with short accumulation or when performing 3DNR processing. Images may be taken, or a predetermined number or more, for example, 7 or more images may be taken. When the sensor module 100 according to the present embodiment captures more than a predetermined number of images, the sensor module 100 selects a predetermined number from the images and synthesizes an image based on long accumulation and an image based on short accumulation, or 3DNR. Processing may be performed.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
- FIG. 16 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
- the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
- the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
- the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
- the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
- the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
- the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
- the vehicle interior information detection unit 12040 detects vehicle interior information.
- a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
- the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
- the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
- the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
- the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
- the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
- FIG. 17 is a diagram illustrating an example of an installation position of the imaging unit 12031.
- the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
- the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
- the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
- the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
- the forward images acquired by the imaging units 12101 and 12105 are mainly used for detection of a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 17 shows an example of the shooting range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
- the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
- the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
- a predetermined speed for example, 0 km / h or more
- the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
- automatic brake control including follow-up stop control
- automatic acceleration control including follow-up start control
- cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
- the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
- the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
- the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
- the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
- the display unit 12062 is controlled so as to be superimposed and displayed.
- voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
- the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
- the period between the lead and the shutter can be minimized between the previous and subsequent frames when a plurality of images are captured with a single shutter trigger.
- the sensor module 100 that minimizes the period between the lead and the shutter between the previous and next frames when a plurality of images are captured with a single shutter trigger.
- the sensor module 100 minimizes the period between the lead and the shutter between the front and rear frames, thereby simultaneously realizing the suppression of blur and the wide setting range of the exposure time. Can do.
- each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
- each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
- the sensor module 100 having a configuration in which the pixel substrate 110, the memory substrate 120, and the signal processing substrate 130 are stacked in this order is shown, but the present disclosure is limited to such an example. It is not something.
- the sensor module 100 may have a structure in which two substrates of a pixel substrate 110 and a signal processing substrate 130 are stacked. In this case, the sensor module 100 has a structure in which the pixel substrate 110 is stacked on the signal processing substrate 130.
- a first image is generated by exposing pixels to the first exposure with the first exposure time
- a second image is generated by exposing pixels to the second exposure with the second exposure time following the first image.
- the control unit is an imaging processing apparatus that minimizes an interval between a read start of the first exposure and a shutter start of the second exposure in a predetermined row of the pixels.
- the imaging processing apparatus When the second exposure time is less than the lead time of the first exposure, the lead of the first exposure in a predetermined row of the pixel under the condition that the lead period of the first exposure and the lead period of the second exposure do not overlap.
- the imaging processing apparatus according to any one of (1) to (5), wherein an interval between the start and the shutter start of the second exposure is minimized.
- the imaging processing apparatus according to any one of (1) to (6), further including an image processing unit that synthesizes the first image and the second image.
- the speed at which the first image and the second image are stored in the storage unit from the control unit and read from the storage unit is lower than the speed at which the first image and the second image are directly read from the pixels.
- Imaging processing apparatus (10) The imaging processing apparatus according to (8) or (9), wherein the control unit is configured to change a speed at which the first image and the second image are read from the storage unit. (11) It is configured by laminating two semiconductor substrates consisting of a first semiconductor substrate and a second semiconductor substrate, The first semiconductor substrate includes at least the pixel and the control unit, The image processing apparatus according to any one of (1) to (7), wherein image processing is performed on the first image and the second image on the second semiconductor substrate.
- (12) It is configured by stacking three semiconductor substrates consisting of a first semiconductor substrate, a second semiconductor substrate, and a third semiconductor substrate,
- the first semiconductor substrate includes at least the pixel and the control unit,
- the third semiconductor substrate is formed with at least the storage unit,
- the imaging processing apparatus according to any one of (8) to (10), wherein image processing is performed on the first image and the second image on the second semiconductor substrate.
- the third semiconductor substrate is provided between the first semiconductor substrate and the second semiconductor substrate.
- the control unit further generates a sixth image from the third image by exposing the pixels from the third exposure time to the sixth exposure time through the third exposure time to the sixth exposure time, respectively, following the second image.
- the imaging processing apparatus according to any one of (1) to (14).
- (16) A storage unit for storing at least the sixth image from the first image by the control unit;
- the imaging processing apparatus according to (15), wherein the control unit reads the sixth image from the first image from the storage unit after storing the sixth image from the first image in the storage unit.
- the control unit further generates a seventh image by exposing the pixels by the seventh exposure with at least a seventh exposure time following the sixth image, and selects six images from the generated series of images.
- the imaging processing apparatus according to (16).
- a first image is generated by exposing pixels to the first exposure with the first exposure time
- a second image is generated by exposing pixels to the second exposure with the second exposure time following the first image. And Minimizing the interval between the read start of the first exposure and the shutter start of the second exposure in a predetermined row of the pixels;
- a computer program that executes (23) An electronic apparatus comprising the imaging processing device according to any one of (1) to (20).
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な撮像処理装置を提供する。 【解決手段】第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
Description
本開示は、撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器に関する。
デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、１枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをＡＥＢ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ Ｂｒａｃｋｅｔｉｎｇ）と呼ぶ（例えば特許文献１参照）。
既存のＡＥＢは、複数フレームを同じフレームレートで撮像していた。従って、露光時間が短いと、フレーム間に大きな間隔が生じる。フレーム間に大きな間隔が生じた撮像画像を合成するとブラー（被写体ぶれ）が目立つ。一方で、読出し間隔を狭めればブラーを抑制できるが、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。
そこで、本開示では、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提案する。
本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
また本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、を含む、撮像処理方法が提供される。
また本開示によれば、コンピュータに、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、を実行させる、コンピュータプログラムが提供される。
また本開示によれば、上記撮像処理装置を備える電子機器が提供される。
以上説明したように本開示によれば、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．機能構成例
１．３．センサモジュールの構成例
１．４．動作例
２．移動体への応用例
３．まとめ
１．本開示の実施の形態
１．１．概要
１．２．機能構成例
１．３．センサモジュールの構成例
１．４．動作例
２．移動体への応用例
３．まとめ
＜１．本開示の実施の形態＞
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
上述のように、デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、１枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをＡＥＢと称する。
従来のＡＥＢ機能は、所定の撮像トリガを起点として、複数フレームを同じフレームレートで撮像していた。図１は、従来のＡＥＢ機能を説明する説明図であり、複数フレームを同じフレームレートで撮像する従来のＡＥＢ機能について説明する説明図である。図１の実線は撮像素子に対するシャッタタイミングを示し、破線は撮像素子からデータを読み出すリードタイミングを示している。
複数フレームを同じフレームレートで撮像する場合、画素からのデータの読出し間隔は、図１に示したように定常間隔となる。従って、画素のシャッタタイミングは、画素からのデータの読出しタイミングに合わせる必要がある。そのため、図１に示したように、露光時間次第では、前のフレームのデータの読出しタイミングと、次のフレームのシャッタタイミングに大きなブランクが生じうる。
図２は、垂直同期信号（Ｖ同期信号）のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のＡＥＢ機能を説明する説明図である。図２には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。なお、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。従って、露光間隔は、この画素のリセット期間が含まれている。このように垂直同期信号のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する場合、露光時間次第では露光間隔が長くなる。
図３は、垂直同期信号（Ｖ同期信号）のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のＡＥＢ機能を説明する説明図である。図３には、図２と同様にフレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。このように露光時間が垂直同期信号の間隔に比べて短くなるような場合、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。
このように、露光間隔が開いた複数の画像が生成される場合、その複数の画像を合成すると被写体ぶれ（ブラー）が発生しうる。
図４は、露光間隔が開いた複数の画像を合成する例を示す説明図である。図４では、長い露光時間での撮像と、短い露光時間での撮像を繰り返し、長い露光時間で撮像された画像と、短い露光時間で撮像された画像とを合成する例が示されている。なお、以下の説明では、長い露光時間での撮像を「長蓄」、短い露光時間での撮像を「短蓄」とも称する。
図４に示した例では、長蓄による画像と短蓄による画像とを合成しているが、上述したように、垂直同期信号のタイミングで画素からデータを読み出すと、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。従って、動きのある被写体を連続して撮像して、長蓄による画像と短蓄による画像とを合成すると、図４に示したように合成画像のブラーが大きくなってしまう。
垂直同期信号のタイミングで画素からデータを読み出しつつ、合成画像のブラーを抑えるためには、画素からのデータの読出し間隔、すなわち垂直同期信号の間隔を狭めればよい。しかし、垂直同期信号の間隔を狭めると、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。露光時間の設定可能範囲が狭まると、図４に示したような長蓄による画像を生成することが出来なくなってしまう。
そこで本件開示者は、上述した点に鑑みて、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、画素からのデータの読出し間隔を極小化することでブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術を考案するに至った。
以上、本開示の実施の形態の概要を説明した。
［１．２．機能構成例］
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図５は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図５は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。
図５に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。
撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。
撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。
表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。
制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。
記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。
操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。
図５に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。
以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。
［１．３．センサモジュールの構成例］
図６は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図６に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。
図６は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図６に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。
画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。
メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。また信号処理基板１３０は、複数フレームで撮像された画像の合成処理を実行しうる。
なお、図６にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。
以上、図６を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。
図７は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図７を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。
画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。
本実施形態では、撮像素子１１１は、ＣＭＯＳイメージセンサが用いられ、露光によって生成される画素信号がローリングシャッタ方式により読み出される。制御部１１２は、後述するように、ＡＥＢ機能を実行する場合には、あるフレームにおける露光（第１露光）のリード開始と、次のフレームにおける露光（第２露光）のシャッタ開始との間隔を極小化するように、タイミング信号を撮像素子１１１に供給する。このように制御部１１２がタイミング信号を撮像素子１１１に供給することで、本開示の実施の形態に係るセンサモジュール１００は、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。
メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、例えば、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
信号処理基板１３０は、前処理部１３１と、後処理部１３２と、を含んで構成される。
前処理部１３１は、撮像素子１１１が出力する画素信号に対する信号処理を施す。前処理部１３１は、信号処理を施した後の画素信号を画像記憶部１２１に記憶させる。前処理部１３１が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。
後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行する。後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部１２へ出力する。後処理部１３２が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などが含まれうる。また後処理部１３２は、複数フレームで撮像された画像の合成処理を実行しうる。
以上、本開示の実施の形態に係るセンサモジュール１００の機能構成例を説明した。本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、ＡＥＢ機能のように、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することが可能となる。
［１．４．動作例］
続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図８は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図８に示したのは、ＡＥＢ機能のように、一度のシャッタトリガで連続して複数の画像を撮像する際の本開示の実施の形態に係るセンサモジュール１００の動作例である。以下、図８を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。
続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図８は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図８に示したのは、ＡＥＢ機能のように、一度のシャッタトリガで連続して複数の画像を撮像する際の本開示の実施の形態に係るセンサモジュール１００の動作例である。以下、図８を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。
一度のシャッタトリガで連続して複数のＭ枚の画像を撮像する場合、センサモジュール１００は、連続する画像のＮ枚目（Ｎは１以上Ｍ未満の整数）のリード時間より、Ｎ＋１枚目の露光時間の方が長いかどうか判断する（ステップＳ１０１）。ステップＳ１０１の判断は、例えば制御部１１２が実行しうる。
連続する画像のＮ枚目のリード時間より、Ｎ＋１枚目の露光時間の方が長いかどうかとは、Ｎ枚目について撮像素子１１１の先頭の行から最後の行まで読み込む時間より、Ｎ＋１枚目の露光時間が長いかどうか、を意味する。
連続する画像のＮ枚目のリード時間より、Ｎ＋１枚目の露光時間の方が長ければ（ステップＳ１０１、Ｙｅｓ）、センサモジュール１００は、撮像素子１１１に設けられる画素のある行についてＮ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を極小化する（ステップＳ１０２）。ステップＳ１０２の制御は、例えば制御部１１２が実行しうる。
図９は、本開示の実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。図９には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。
上述したように、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。このリセット期間は、例えば後述するように、画素における所定回のＡＤ変換に要する期間に相当する期間である。本実施形態では、センサモジュール１００は、リードとシャッタとの間隔を極小化する。センサモジュール１００は、例えば、撮像素子１１１に設けられる画素をリセットするリセット期間に相当する間隔にまでリードとシャッタとの間隔を狭めている。すなわち、本実施形態では、図９に示したように、垂直同期信号の間隔が一定ではない。フレームｆ１で信号を画素から読み出すための垂直同期信号から、フレームｆ２で信号を画素から読み出すための垂直同期信号との間隔は、フレームｆ２の画像の露光時間に、リセット期間を加えた時間に相当する。
図１０は、本実施形態に係るセンサモジュール１００の効果例を示す説明図である。本実施形態に係るセンサモジュール１００は、リードとシャッタとの間隔を極小化することで、長蓄による画像と短蓄による画像とを交互に撮像して合成するような場合における合成画像のブラーを小さく抑えることができる。この合成処理は例えば後処理部１３２が実行する。これは、リードとシャッタとの間隔を極小化することで、被写体の移動量も極小化することができるからである。
ここで本実施形態に係るセンサモジュール１００における画素のリセット期間の一例を説明する。図１１は、本実施形態に係るセンサモジュール１００における画素のリセット期間の一例を示す説明図である。画素には、垂直同期信号と水平同期信号とが供給される。
本実施形態では、撮像素子１１１の１アクセス単位を３２ラインとしている。この１アクセス単位は、８本のラインを同時に読み出して、読み出したアナログのデータをデジタルのデータに変換するＡＤ変換を４回行うことを意味している。
１アクセス単位の画素に対しては、リードアクセスとシャッタアクセスを同時には出来ない。従って、リードからシャッタまでは、この４回分のＡＤ変換に要する期間をリセット期間とした間隔を空ける。なお、１アクセス単位の量はイメージセンサによって異なる。従ってリセット期間もイメージセンサによって異なる。
リセット期間に影響する要素を整理すると、１水平期間中のＡＤ変換の回数と、同時に読み出すことが出来るライン数と、の２つがある。本実施形態に係るセンサモジュール１００は、この２つの要素で決定されるリセット期間に相当する間隔まで、リードとシャッタとの間隔を狭めていることになる。
一方、連続する画像のＮ枚目のリード時間が、Ｎ＋１枚目の露光時間未満であれば（ステップＳ１０１、Ｎｏ）、センサモジュール１００は、撮像素子１１１に設けられる画素のある行についてＮ枚目のリードとＮ＋１枚目のリードとが重ならないように、Ｎ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を極小化する（ステップＳ１０３）。ステップＳ１０３の制御は、例えば制御部１１２が実行しうる。
露光時間が短くなると、Ｎ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を詰めすぎた場合に、Ｎ枚目のリード時間とＮ＋１枚目のリード時間とが重なる場合が生じうる。
図１２は、本開示の実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。図１２には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。
図１２に示した例では、フレームｆ１のリード期間（リード期間１）と、フレームｆ２のリード期間（リード期間２）とが重複している。同様に、リード期間２と、フレームｆ３のリード期間（リード期間３）とが、リード期間３と、フレームｆ４のリード期間（リード期間４）とが、それぞれ重複している。
このようにリード期間が前後のフレームで重複してしまうような露光時間の条件で撮像される場合、このままではセンサモジュール１００は後の方のフレームの画像を外部（例えば画像処理部１２）に出力することが出来ない。
そこで本実施形態では、センサモジュール１００は、リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整してもよい。すなわちセンサモジュール１００は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間から長くしてもよい。リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整することで、センサモジュール１００は、露光時間が短いフレームが発生しても画像を外部（例えば画像処理部１２）に出力することが出来る。
また本実施形態に係るセンサモジュール１００は、画像記憶部１２１を備えている。従って本実施形態に係るセンサモジュール１００は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化した上で、撮像素子１１１から読み出したデータを画像記憶部１２１に一度記憶させてから、外部（例えば画像処理部１２）に出力してもよい。
図１３は、本実施形態に係るセンサモジュール１００によるフレームレートの変換処理の例を示す説明図である。図１３は、本実施形態に係るセンサモジュール１００が、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させてから出力する様子を示している。このように、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を順次読み出すことで、本実施形態に係るセンサモジュール１００は、リード期間が前後のフレームで重複する場合であっても、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化することができる。
本実施形態に係るセンサモジュール１００は、画素に対するシャッタやリードに掛かる時間を高速化することも出来る。図１４は、本実施形態に係るセンサモジュール１００が、画素に対するシャッタやリードに掛かる時間を高速化した場合の例を示す説明図である。このようにセンサモジュール１００は、画素に対するシャッタやリードに掛かる時間を高速化することで、リード期間が前後のフレームで重複しないようにすることが出来る。
なお、画素に対するシャッタやリードに掛かる時間を高速化すると、センサモジュール１００から外部へ出力するためのインタフェース帯域が足りなくなる場合がありうる。そのような場合を考慮し、本実施形態に係るセンサモジュール１００は、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を、フレームレートを変換して外部（例えば画像処理部１２）に出力してもよい。例えば、撮像素子１１１からは高速に（例えば１２０ｆｐｓ～２４０ｆｐｓ程度の速度で）読み出すことが出来るが、センサモジュール１００からはその速度で出力することが出来ない場合、センサモジュール１００は、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を、例えば３０ｆｐｓに変換して外部に出力しても良い。
図１５は、センサモジュール１００による、画像記憶部１２１を介したフレームレートの変換処理をより詳細に示す説明図である。センサモジュール１００は、撮像素子１１１から読み出す際には、センサモジュール１００から画像を出力するフレームレートよりも高速に（例えば画像を出力するフレームレートが３０ｆｐｓで、撮像素子１１１から読み出すフレームレートは１２０ｆｐｓ～２４０ｆｐｓ程度の速度で）読み出し、画像を画像記憶部１２１に一度記憶させておく。そしてセンサモジュール１００は、画像を外部に出力する際には、外部出力のインタフェース帯域に律速した速度で、所定の後段処理を実行して、画像を出力する。
このように画像記憶部１２１を介することで、本実施形態に係るセンサモジュール１００は、撮像素子１１１からの読み出し速度と、センサモジュール１００からの出力速度とを変換することが可能になる。
本実施形態に係るセンサモジュール１００は、一度のシャッタトリガで複数の画像を撮像する際に、全ての画像について同じ露光時間による撮像を行っても良い。そしてセンサモジュール１００は、同じ露光時間による複数の画像を合成する３Ｄノイズリダクション（３ＤＮＲ）処理を実行することで、ノイズを抑えた画像を出力できる。もちろん、センサモジュール１００は、同じ露光時間で複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化する。本実施形態に係るセンサモジュール１００は、３ＤＮＲ処理を実行する際に、それぞれの画素信号を画像記憶部１２１に一度記憶させてから、後処理部１３２で、画像記憶部１２１に記憶された画素信号を読み出して、合成処理を行う。
本実施形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、３ＤＮＲの際に、被写体のブラーが少ないために探索範囲を狭めることが出来る。従って、本実施形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、３ＤＮＲを行う回路を軽量化することが出来る。
本実施形態に係るセンサモジュール１００は、上述の長蓄による画像と短蓄による画像とを合成したり、３ＤＮＲ処理を行ったりする際には、一度のシャッタトリガで所定の枚数、例えば６枚の画像を撮像してもよく、所定の枚数以上、例えば７枚以上の枚数の画像を撮像しても良い。本実施形態に係るセンサモジュール１００は、所定の枚数を超える枚数の画像を撮像する際に、その中から所定の枚数を選択して長蓄による画像と短蓄による画像とを合成したり、３ＤＮＲ処理を行ったりしてもよい。
＜２．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１７は、撮像部１２０３１の設置位置の例を示す図である。
図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術が適用されることで、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化することができる。
＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化するセンサモジュール１００が提供される。
以上説明したように本開示の実施の形態によれば、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化するセンサモジュール１００が提供される。
本開示の実施の形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有しているセンサモジュール１００を示したが、本開示は係る例に限定されるものではない。センサモジュール１００は、画素基板１１０と、信号処理基板１３０と、の２枚の基盤が積層された構造を有していても良い。この場合、センサモジュール１００は、信号処理基板１３０の上に画素基板１１０が積層された構造を有することになる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置。
（２）
前記第１露光のリード期間と前記第２露光のリード期間とは重ならない、前記（１）に記載の撮像処理装置。
（３）
前記第１露光される画素と前記第２露光される画素とは同一である、前記（１）または（２）に記載の撮像処理装置。
（４）
前記制御部は、前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、前記（１）～（３）のいずれかに記載の撮像処理装置。
（５）
前記リセット期間は、前記画素から読み出したデータの所定回のＡＤ変換に要する期間に相当する期間である、前記（４）に記載の撮像処理装置。
（６）
前記制御部は、前記第２露光時間が前記第１露光のリード時間より長い場合、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化し、
前記第２露光時間が前記第１露光のリード時間未満の場合、前記第１露光のリード期間と前記第２露光のリード期間とが重ならない条件で前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、前記（１）～（５）のいずれに記載の撮像処理装置。
（７）
前記第１画像と前記第２画像とを合成する画像処理部をさらに備える、前記（１）～（６）のいずれかに記載の撮像処理装置。
（８）
前記制御部により前記第１画像と前記第２画像とが記憶される記憶部をさらに備える、前記（１）～（７）のいずれかに記載の撮像処理装置。
（９）
前記第１画像及び前記第２画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、前記（８）に記載の撮像処理装置。
（１０）
前記制御部は、前記記憶部から前記第１画像及び前記第２画像を読み出す速度を可変とする、前記（８）または（９）に記載の撮像処理装置。
（１１）
第１半導体基板、及び第２半導体基板からなる２枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（１）～（７）のいずれかに記載の画像処理装置。
（１２）
第１半導体基板、第２半導体基板、及び第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第３半導体基板には、前記記憶部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（８）～（１０）のいずれかに記載の撮像処理装置。
（１３）
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１４）
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１５）
前記制御部は、さらに、前記第２画像に続いて、第３露光時間から第６露光時間による第３露光から第６露光でそれぞれ画素へ露光することで第３画像から第６画像を生成する、前記（１）～（１４）のいずれかに記載の撮像処理装置。
（１６）
前記制御部により前記第１画像から前記第６画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第１画像から前記第６画像を前記記憶部に記憶させた後に前記第１画像から前記第６画像を前記記憶部から読み出す、前記（１５）に記載の撮像処理装置。
（１７）
前記制御部は、さらに、前記第６画像に続いて、少なくとも第７露光時間による第７露光で画素へ露光することで第７画像を生成し、生成した一連の画像から６つの画像を選択する、前記（１６）に記載の撮像処理装置。
（１８）
前記第１露光時間は、前記第２露光時間よりも長い、前記（１）～（１７）のいずれかに記載の撮像処理装置。
（１９）
前記第１画像及び前記第２画像は、前記画素からローリングシャッタにより読み出される、前記（１）～（１８）のいずれかに記載の撮像処理装置。
（２０）
前記第１露光時間と前記第２露光時間とは等しい、前記（１）～（１７）のいずれかに記載の撮像処理装置。
（２１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。
（２２）
コンピュータに、
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。
（２３）
前記（１）～（２０）のいずれかに記載の撮像処理装置を備える、電子機器。
（１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置。
（２）
前記第１露光のリード期間と前記第２露光のリード期間とは重ならない、前記（１）に記載の撮像処理装置。
（３）
前記第１露光される画素と前記第２露光される画素とは同一である、前記（１）または（２）に記載の撮像処理装置。
（４）
前記制御部は、前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、前記（１）～（３）のいずれかに記載の撮像処理装置。
（５）
前記リセット期間は、前記画素から読み出したデータの所定回のＡＤ変換に要する期間に相当する期間である、前記（４）に記載の撮像処理装置。
（６）
前記制御部は、前記第２露光時間が前記第１露光のリード時間より長い場合、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化し、
前記第２露光時間が前記第１露光のリード時間未満の場合、前記第１露光のリード期間と前記第２露光のリード期間とが重ならない条件で前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、前記（１）～（５）のいずれに記載の撮像処理装置。
（７）
前記第１画像と前記第２画像とを合成する画像処理部をさらに備える、前記（１）～（６）のいずれかに記載の撮像処理装置。
（８）
前記制御部により前記第１画像と前記第２画像とが記憶される記憶部をさらに備える、前記（１）～（７）のいずれかに記載の撮像処理装置。
（９）
前記第１画像及び前記第２画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、前記（８）に記載の撮像処理装置。
（１０）
前記制御部は、前記記憶部から前記第１画像及び前記第２画像を読み出す速度を可変とする、前記（８）または（９）に記載の撮像処理装置。
（１１）
第１半導体基板、及び第２半導体基板からなる２枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（１）～（７）のいずれかに記載の画像処理装置。
（１２）
第１半導体基板、第２半導体基板、及び第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第３半導体基板には、前記記憶部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（８）～（１０）のいずれかに記載の撮像処理装置。
（１３）
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１４）
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１５）
前記制御部は、さらに、前記第２画像に続いて、第３露光時間から第６露光時間による第３露光から第６露光でそれぞれ画素へ露光することで第３画像から第６画像を生成する、前記（１）～（１４）のいずれかに記載の撮像処理装置。
（１６）
前記制御部により前記第１画像から前記第６画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第１画像から前記第６画像を前記記憶部に記憶させた後に前記第１画像から前記第６画像を前記記憶部から読み出す、前記（１５）に記載の撮像処理装置。
（１７）
前記制御部は、さらに、前記第６画像に続いて、少なくとも第７露光時間による第７露光で画素へ露光することで第７画像を生成し、生成した一連の画像から６つの画像を選択する、前記（１６）に記載の撮像処理装置。
（１８）
前記第１露光時間は、前記第２露光時間よりも長い、前記（１）～（１７）のいずれかに記載の撮像処理装置。
（１９）
前記第１画像及び前記第２画像は、前記画素からローリングシャッタにより読み出される、前記（１）～（１８）のいずれかに記載の撮像処理装置。
（２０）
前記第１露光時間と前記第２露光時間とは等しい、前記（１）～（１７）のいずれかに記載の撮像処理装置。
（２１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。
（２２）
コンピュータに、
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。
（２３）
前記（１）～（２０）のいずれかに記載の撮像処理装置を備える、電子機器。
１０ 電子機器
１００ センサモジュール
１００ センサモジュール
Claims (23)
- 第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置。 - 前記第１露光のリード期間と前記第２露光のリード期間とは重ならない、請求項１に記載の撮像処理装置。
- 前記第１露光される画素と前記第２露光される画素とは同一である、請求項１に記載の撮像処理装置。
- 前記制御部は、前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、請求項１に記載の撮像処理装置。
- 前記リセット期間は、前記画素から読み出したデータの所定回のＡＤ変換に要する期間に相当する期間である、請求項４に記載の撮像処理装置。
- 前記制御部は、前記第２露光時間が前記第１露光のリード時間より長い場合、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化し、
前記第２露光時間が前記第１露光のリード時間未満の場合、前記第１露光のリード期間と前記第２露光のリード期間とが重ならない条件で前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、請求項１に記載の撮像処理装置。 - 前記第１画像と前記第２画像とを合成する画像処理部をさらに備える、請求項１に記載の撮像処理装置。
- 前記制御部により前記第１画像と前記第２画像とが記憶される記憶部をさらに備える、請求項１に記載の撮像処理装置。
- 前記第１画像及び前記第２画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、請求項８に記載の撮像処理装置。
- 前記制御部は、前記記憶部から前記第１画像及び前記第２画像を読み出す速度を可変とする、請求項８に記載の撮像処理装置。
- 第１半導体基板、及び第２半導体基板からなる２枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、請求項１に記載の撮像処理装置。 - 第１半導体基板、第２半導体基板、及び第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第３半導体基板には、前記記憶部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、請求項８に記載の撮像処理装置。 - 前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項１２に記載の撮像処理装置。
- 前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項１２に記載の撮像処理装置。
- 前記制御部は、さらに、前記第２画像に続いて、第３露光時間から第６露光時間による第３露光から第６露光でそれぞれ画素へ露光することで第３画像から第６画像を生成する、請求項１に記載の撮像処理装置。
- 前記制御部により前記第１画像から前記第６画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第１画像から前記第６画像を前記記憶部に記憶させた後に前記第１画像から前記第６画像を前記記憶部から読み出す、請求項１５に記載の撮像処理装置。 - 前記制御部は、さらに、前記第６画像に続いて、少なくとも第７露光時間による第７露光で画素へ露光することで第７画像を生成し、生成した一連の画像から６つの画像を選択する、請求項１６に記載の撮像処理装置。
- 前記第１露光時間は、前記第２露光時間よりも長い、請求項１に記載の撮像処理装置。
- 前記第１画像及び前記第２画像は、前記画素からローリングシャッタにより読み出される、請求項１に記載の撮像処理装置。
- 前記第１露光時間と前記第２露光時間とは等しい、請求項１に記載の撮像処理装置。
- 第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。 - コンピュータに、
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。 - 請求項１に記載の撮像処理装置を備える、電子機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016065220A JP2017183870A (ja) | 2016-03-29 | 2016-03-29 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
| JP2016-065220 | 2016-03-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017169233A1 true WO2017169233A1 (ja) | 2017-10-05 |
Family
ID=59963931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/005575 WO2017169233A1 (ja) | 2016-03-29 | 2017-02-15 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2017183870A (ja) |
| WO (1) | WO2017169233A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| CN113395482A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种颜色相关的智能二维视频装置及其二维视频播放方法 |
| CN113906729A (zh) * | 2019-06-13 | 2022-01-07 | 索尼集团公司 | 成像设备、成像控制方法和程序 |
| US11575842B2 (en) | 2018-08-03 | 2023-02-07 | Canon Kabushiki Kaisha | Imaging apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137665A1 (ja) | 2018-12-27 | 2020-07-02 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135501A (ja) * | 2004-11-04 | 2006-05-25 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2010078635A (ja) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | ブレ補正装置及び撮像装置 |
| JP2010182888A (ja) * | 2009-02-05 | 2010-08-19 | Sony Corp | 固体撮像装置、固体撮像装置の製造方法、固体撮像装置の駆動方法、及び電子機器 |
| JP2013255201A (ja) * | 2012-06-08 | 2013-12-19 | Canon Inc | 撮像装置、及びその制御方法 |
| JP2015126043A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 電子デバイス |
-
2016
- 2016-03-29 JP JP2016065220A patent/JP2017183870A/ja active Pending
-
2017
- 2017-02-15 WO PCT/JP2017/005575 patent/WO2017169233A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135501A (ja) * | 2004-11-04 | 2006-05-25 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2010078635A (ja) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | ブレ補正装置及び撮像装置 |
| JP2010182888A (ja) * | 2009-02-05 | 2010-08-19 | Sony Corp | 固体撮像装置、固体撮像装置の製造方法、固体撮像装置の駆動方法、及び電子機器 |
| JP2013255201A (ja) * | 2012-06-08 | 2013-12-19 | Canon Inc | 撮像装置、及びその制御方法 |
| JP2015126043A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 電子デバイス |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11575842B2 (en) | 2018-08-03 | 2023-02-07 | Canon Kabushiki Kaisha | Imaging apparatus |
| CN113906729A (zh) * | 2019-06-13 | 2022-01-07 | 索尼集团公司 | 成像设备、成像控制方法和程序 |
| WO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| JPWO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | ||
| JP7384204B2 (ja) | 2019-07-16 | 2023-11-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| CN113395482A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种颜色相关的智能二维视频装置及其二维视频播放方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017183870A (ja) | 2017-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017169233A1 (ja) | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 | |
| WO2017175492A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
| US11394913B2 (en) | Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element | |
| JP2019191118A (ja) | 測距処理装置、測距モジュール、測距処理方法、およびプログラム | |
| WO2018012051A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| WO2017169274A1 (ja) | 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 | |
| WO2018110002A1 (ja) | 撮像装置、および、撮像装置の制御方法 | |
| JPWO2019003675A1 (ja) | 撮像装置とフリッカー補正方法およびプログラム | |
| TWI775808B (zh) | 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 | |
| WO2018207664A1 (ja) | 撮像装置、撮像方法、並びにプログラム | |
| WO2018207666A1 (ja) | 撮像素子及びその駆動方法、並びに、電子機器 | |
| CN114270798A (zh) | 摄像装置 | |
| WO2017149964A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
| JP2018093392A (ja) | 固体撮像装置、駆動方法、および電子機器 | |
| JP7144926B2 (ja) | 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 | |
| WO2017203752A1 (ja) | 撮像装置、および制御方法 | |
| WO2017212722A1 (ja) | 制御装置及び制御方法 | |
| US11889207B2 (en) | Solid-state imaging element, imaging device, and method for controlling solid-state imaging element | |
| WO2020021826A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| WO2018211986A1 (ja) | 信号処理装置および方法、撮像素子、並びに、電子機器 | |
| CN113661700B (zh) | 成像装置与成像方法 | |
| WO2018207665A1 (ja) | 固体撮像装置、駆動方法、及び電子機器 | |
| WO2023105916A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
| WO2020166284A1 (ja) | 撮像装置 | |
| WO2020100399A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17773781 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17773781 Country of ref document: EP Kind code of ref document: A1 |