WO2017175492A1 - 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 - Google Patents

画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 Download PDF

Info

Publication number
WO2017175492A1
WO2017175492A1 PCT/JP2017/006042 JP2017006042W WO2017175492A1 WO 2017175492 A1 WO2017175492 A1 WO 2017175492A1 JP 2017006042 W JP2017006042 W JP 2017006042W WO 2017175492 A1 WO2017175492 A1 WO 2017175492A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
unit
signal processing
signal
detection
Prior art date
Application number
PCT/JP2017/006042
Other languages
English (en)
French (fr)
Inventor
真生 全
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017175492A1 publication Critical patent/WO2017175492A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present disclosure relates to an image processing device, an image processing method, a computer program, and an electronic device.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the detection process can be executed at high speed.
  • An improved image processing apparatus, image processing method, computer program, and electronic device are also proposed.
  • a storage unit that stores a pixel signal output from an image sensor, a signal processing unit that performs signal processing on the pixel signal stored in the storage unit, and signal processing performed by the signal processing unit
  • an image processing apparatus comprising: a detection unit that completes detection processing on the pixel signal in the same frame before completion.
  • the signal processing is performed so that the detection processing for the pixel signal output from the image sensor is completed, and the signal processing for the pixel signal in the same frame is completed after the detection processing is completed. Performing an image processing method.
  • the computer executes detection processing on the pixel signal output from the image sensor, and the signal processing on the pixel signal in the same frame is completed after the detection processing is completed.
  • a computer program is provided for performing signal processing.
  • an electronic apparatus including the image processing apparatus is provided.
  • the detection processing is executed at high speed. It is possible to provide a new and improved image processing apparatus, an image processing method, a computer program, and an electronic apparatus that can perform the above-described processing.
  • FIG. 2 is an explanatory diagram illustrating a configuration example of a sensor module 100 included in an imaging unit 11.
  • FIG. It is explanatory drawing which shows the function structural example of the sensor module 100 which concerns on the same embodiment.
  • Embodiment of the present disclosure [1.1. Overview] Before describing the embodiments of the present disclosure in detail, an outline of the embodiments of the present disclosure will be described first.
  • CMOS image sensor As described above, there is a technology that applies feedback to signal processing on a pixel signal output from the image sensor by detecting a pixel signal output from the image sensor such as a CMOS image sensor or a CCD image sensor.
  • Signal processing for pixel signals includes automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, and high dynamic range synthesis processing.
  • the detection processing for pixel signals includes, for example, calculation of statistical information such as peaks and average values, calculation of motion amount, flicker detection, face detection, and the like.
  • the processor (application processor) provided in the subsequent stage of the image sensor acquires the signal after the signal processing and the detection result from the image sensor. Then, the processor analyzes the detection result and applies feedback to the signal processing for the pixel signal in the image sensor or the processor. For example, the processor can perform feedback control such as changing the content of signal processing based on statistical information, or changing the content of signal processing depending on the presence or absence of face detection.
  • the detection result generation rate for each frame depends on the signal processing bandwidth inside the image sensor, the processor interface bandwidth, and the signal processing bandwidth. This limits the speed of the internal processing of the image sensor. That is, when the signal processing and the detection processing are executed in parallel inside the image sensor, the signal processing and the detection processing must be moved at the same time, and the detection data of the image is read until the reading of one image is completed. Since it is not completed, it takes time to complete detection.
  • FIG. 1 is an explanatory diagram for explaining processing times of signal processing and detection processing when signal processing and detection processing are executed in parallel inside the image sensor.
  • FIG. 1 shows processing times for signal processing and detection processing in two frames f1 and f2.
  • signal processing and detection processing are completed simultaneously. In other words, the detection process cannot be completed until the signal processing for all the vertical lines is completed. Therefore, as shown in FIG. 1, the detection information is completed after the signal processing for the vertical line is completed and the image data is generated. This means that the detection information of the frame f1 can be used only for the image data after the frame f2, not the image data of the frame f1.
  • FIG. 2 is an explanatory diagram illustrating signal processing and detection processing when signal processing and detection processing are executed in parallel inside the image sensor.
  • a case is considered in which one piece of image data is divided in the horizontal direction and the vertical direction as indicated by broken lines, and the detection processing is executed in units of areas surrounded by the broken lines.
  • the detection process is started from the upper left area of the screen, the detection process is performed in the horizontal direction and the vertical direction, and finally, when the detection process of the lower right area is completed, one piece of image data
  • the detection process for will end. That is, if all the image data of one sheet is not prepared, the detection data of the image is not prepared.
  • the present disclosure when performing signal processing on the pixel signal output from the image sensor and detection of the pixel signal output from the image sensor inside the image sensor, We intensively studied the technology that can be implemented. As a result, the present disclosure, as will be described below, performs detection processing when performing signal processing on the pixel signal output from the image sensor and detection of the pixel signal output from the image sensor inside the image sensor. Has come up with a technology that can be executed at high speed.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of the electronic device 10 according to the embodiment of the present disclosure.
  • a functional configuration example of the electronic apparatus 10 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the electronic device 10 includes an imaging unit 11, an image processing unit 12, a display unit 13, a control unit 14, a storage unit 15, and an operation unit 16. And comprising.
  • the imaging unit 11 includes a lens, a sensor module, and the like, and accumulates electrons for a predetermined period according to an image formed on the light receiving surface of the sensor module through the lens.
  • the imaging unit 11 performs predetermined signal processing on a signal corresponding to the accumulated electrons. Then, the imaging unit 11 outputs the signal after the signal processing to the image processing unit 12.
  • the configuration of the sensor module included in the imaging unit 11 will be described in detail later.
  • the imaging unit 11 includes, as the predetermined signal processing, camera shake correction processing using an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, and the like. Signal processing may be performed.
  • the image processing unit 12 is configured by an application processor (AP), for example, and executes image processing using a signal output from the imaging unit 11.
  • the image processing executed by the image processing unit 12 includes, for example, demosaic processing using a signal output from the imaging unit 11, display processing of the demosaiced image on the display unit 13, storage processing in the storage unit 15, and the like. There is.
  • the display unit 13 is a display device configured by, for example, a liquid crystal display, an organic EL display, or the like. Display contents of the display unit 13 are controlled by the control unit 14. For example, the display unit 13 displays an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12 based on the control of the control unit 14.
  • the control unit 14 includes, for example, a processor such as a CPU (Central Processing Unit), a ROM, a RAM, and the like, and controls the operation of each unit of the electronic device 10.
  • a processor such as a CPU (Central Processing Unit), a ROM, a RAM, and the like, and controls the operation of each unit of the electronic device 10.
  • the storage unit 15 is configured by a storage medium such as a flash memory or other nonvolatile memory.
  • the storage unit 15 stores an image captured by the imaging unit 11 and subjected to image processing by the image processing unit 12.
  • the image stored in the storage unit 15 can be displayed on the display unit 13 in accordance with the operation of the user of the electronic device 10.
  • the operation unit 16 is a device for operating the electronic device 10 and includes, for example, buttons and a touch panel.
  • the touch panel is provided on the display surface of the display unit 13.
  • the user of the electronic device 10 wants to record the image captured by the imaging unit 11 in the electronic device 10, the user triggers a shutter trigger by operating a predetermined button of the operation unit 16.
  • the imaging unit 11 and the image processing unit 12 detect the occurrence of the shutter trigger, the imaging unit 11 and the image processing unit 12 execute a process for recording an image on the electronic device 10 according to the generation of the shutter trigger.
  • the electronic device 10 shown in FIG. 3 is not limited to a specific device, and can take various forms such as a digital camera, a smartphone, a tablet portable terminal, a portable music player, and a game machine.
  • FIG. 4 is an explanatory diagram illustrating a configuration example of the sensor module 100 included in the imaging unit 11.
  • the sensor module 100 according to the embodiment of the present disclosure is an example of the image processing apparatus of the present disclosure, and is configured by stacking three substrates as illustrated in FIG.
  • the sensor module 100 according to the embodiment of the present disclosure has a configuration in which a pixel substrate 110, a memory substrate 120, and a signal processing substrate 130 are stacked in this order.
  • the pixel substrate 110 is a substrate having an image sensor composed of pixel regions in which unit pixels are formed in an array. Each unit pixel receives light from a subject, photoelectrically converts the incident light, accumulates charges, and outputs the charges as pixel signals at a predetermined timing. Pixel signals output from the pixel substrate 110 are stored in the memory substrate 120, and signal processing is performed in the signal processing substrate 130.
  • the pixel substrate 110 includes an AD converter that converts an analog signal into a digital signal. That is, the pixel signal output from the pixel substrate 110 is a digital signal.
  • the memory substrate 120 is a substrate having a memory such as a DRAM (Dynamic Random Access Memory) that temporarily stores pixel signals output from the pixel substrate 110.
  • the memory substrate 120 has a capacity capable of temporarily storing pixel signals of a plurality of frames, for example, enough frames that can execute the camera shake correction process by the electronic camera shake correction method in the signal processing board 130.
  • the pixel signal stored in the memory substrate 120 is read based on a read command from the signal processing substrate 130.
  • the signal processing board 130 performs various signal processing on the pixel signals stored in the memory board 120.
  • the signal processing executed by the signal processing board 130 is signal processing related to image quality with respect to the pixel signals stored in the memory board 120. For example, camera shake correction processing by an electronic camera shake correction method, automatic white balance processing, automatic exposure processing, distortion Signal processing such as correction processing, defect correction processing, noise reduction processing, and high dynamic range synthesis processing can be executed.
  • the present disclosure is not limited to such an example.
  • the sensor module 100 may have a configuration in which a pixel substrate 110, a signal processing substrate 130, and a memory substrate 120 are stacked in this order.
  • the configuration example of the sensor module 100 has been described above with reference to FIG. Subsequently, a functional configuration example of the sensor module 100 will be described.
  • FIG. 5 is an explanatory diagram illustrating a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure.
  • a functional configuration example of the sensor module 100 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the pixel substrate 110 includes an image sensor 111 having a pixel region in which unit pixels are formed in an array, and a control unit 112 that supplies a predetermined clock signal and timing signal to the image sensor 111.
  • a pixel signal output from the image sensor 111 in response to a signal from the control unit 112 is once sent to the signal processing board 130 and then sent to the memory board 120.
  • the memory substrate 120 includes an image storage unit 121 configured by DRAM (Dynamic Random Access Memory) or the like.
  • the image storage unit 121 temporarily stores pixel signals output from the image sensor 111.
  • the image storage unit 121 has a capacity capable of temporarily storing pixel signals of a plurality of frames.
  • the pixel signal stored in the image storage unit 121 is read based on a read command from the signal processing board 130.
  • the signal processing board 130 includes a detection unit 131, an analysis unit 132, and a signal processing unit 133.
  • the detection unit 131 executes detection processing for the pixel signal output from the image sensor 111 for each frame.
  • the detection unit 131 executes, for example, calculation of statistical information such as a peak and an average value, calculation of motion amount, flicker detection, face detection, and the like as detection processing.
  • the detection unit 131 executes detection processing on the pixel signal, the detection unit 131 outputs detection information for each frame to the subsequent image processing unit 12 and also to the analysis unit 132.
  • the analysis unit 132 analyzes the detection information by obtaining detection information from the detection unit 131 every frame, every several frames, or irregularly. For example, the analysis unit 132 analyzes the detection information and controls the signal processing unit 133 to perform signal processing control on the frame signal or the pixel signal after the frame.
  • the analysis unit 132 detects, for example, the amount of motion of the image from the detection information, and based on the amount of motion, the image stabilization processing by the electronic camera shake correction method or noise by superimposing a plurality of images.
  • the signal processing unit 133 may perform control of the image cutout position in the process of removing the image.
  • the analysis unit 132 may instruct the signal processing unit 133 to perform processing for reducing the flicker.
  • the analysis unit 132 detects the presence of the predetermined object by not outputting the image signal until the presence of a predetermined object such as a face, a human body, a vehicle, or other moving object is detected from the detection information. Then, the signal processing unit 133 may be instructed to output an image signal from the frame or a predetermined time back from the frame.
  • the analysis unit 132 may control the operation of the control unit 112 based on the detection information. For example, the analysis unit 132 may detect the exposure of the image from the detection information, and may control the control unit 112 to adjust the exposure time. The analysis unit 132 may perform control for adjusting the position of the focus lens based on the detection information. The analysis unit 132 may perform control for adjusting the image height position by detecting phase difference information from detection information and adjusting the position of the focus lens, for example.
  • the signal processing unit 133 performs signal processing on the pixel signal stored in the image storage unit 121.
  • the signal processing unit 133 performs automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, camera shake correction processing using an electronic camera shake correction method, as signal processing for pixel signals. Perform flicker reduction processing.
  • the signal processing unit 133 can execute the above-described signal processing under the control of the analysis unit 132 when performing signal processing on the pixel signal.
  • the signal processing unit 133 outputs the processed signal to the image processing unit 12 as an image signal.
  • the sensor module 100 has such a configuration, and executes signal processing on the pixel signal output from the image sensor and detection of the pixel signal output from the image sensor inside the image sensor.
  • the detection process can be executed at high speed. That is, the sensor module 100 according to the embodiment of the present disclosure can apply the detection result of the pixel signal of the same frame to the signal processing in the same frame by completing the detection process first.
  • FIG. 6 is an explanatory diagram illustrating a functional configuration example of the image processing unit 12 according to the embodiment of the present disclosure.
  • a functional configuration example of the image processing unit 12 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the image processing unit 12 includes an analysis unit 201, a signal processing unit 202, and a buffer unit 203.
  • the analysis unit 201 acquires detection information for each frame from the sensor module 100, and executes analysis processing for the detection information. For example, the analysis unit 201 analyzes the detection information, and controls the signal processing unit 133 to perform signal processing control on the frame signal or a pixel signal after the frame.
  • the signal processing unit 202 acquires an image signal for each frame from the sensor module 100, and executes signal processing on the acquired image signal.
  • the signal processing unit 202 performs automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, high dynamic range synthesis processing, camera shake correction processing using an electronic camera shake correction method, as signal processing for pixel signals. Perform flicker reduction processing.
  • the signal processing unit 202 can execute the signal processing described above under the control of the analysis unit 201 when performing signal processing on the pixel signal.
  • the signal processing unit 202 temporarily stores the processed signal in the buffer unit 203 or displays the signal on the display unit 13.
  • the buffer unit 203 is composed of a RAM or the like, and temporarily stores the image signal subjected to signal processing by the signal processing unit 202.
  • FIG. 7 is a flowchart illustrating an operation example of the sensor module 100 according to the embodiment of the present disclosure.
  • FIG. 7 shows an operation example of the sensor module 100 when detecting processing and signal processing are internally executed on the pixel signal output from the image sensor 111.
  • an operation example of the sensor module 100 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the sensor module 100 performs detection processing for each frame on the pixel signal output from the image sensor 111 (step S101). For example, the detection unit 131 executes the detection processing in step S101. The sensor module 100 completes the detection processing in step S101 before the signal processing for the pixel signal for each frame is completed.
  • step S101 when the detection process is executed on the pixel signal for each frame, the sensor module 100 subsequently analyzes the detection result (step S102).
  • the analysis processing in step S102 is executed by the analysis unit 132, for example.
  • the sensor module 100 may execute the analysis process of step S102 every frame, every few frames, or may be executed collectively for several frames.
  • the sensor module 100 When the detection result is analyzed in step S102, the sensor module 100 subsequently performs signal processing on the pixel signal based on the analysis result (step S103). For example, the signal processing unit 133 performs the signal processing in step S ⁇ b> 103 on the pixel signal stored in the image storage unit 121.
  • the sensor module 100 performs signal processing on a pixel signal output from the image sensor and detection of the pixel signal output from the image sensor by executing such an operation inside the image sensor.
  • the detection process can be executed at high speed. That is, the sensor module 100 according to the embodiment of the present disclosure can apply the detection result of the pixel signal of the same frame to the signal processing in the same frame by completing the detection process first.
  • FIG. 8 is a diagram for explaining the effects of the sensor module 100 according to the embodiment of the present disclosure.
  • the sensor module 100 according to the embodiment of the present disclosure independently performs signal processing and detection processing internally. It is explanatory drawing for demonstrating the processing time of a signal process and a detection process in the case of performing.
  • FIG. 8 shows processing times of signal processing and detection processing in two frames f1 and f2.
  • the sensor module 100 according to the embodiment of the present disclosure completes the detection processing prior to the signal processing, and thus can perform image processing using detection information for the same frame. It becomes. Therefore, the sensor module 100 according to the embodiment of the present disclosure can realize real-time image processing. In addition, the sensor module 100 according to the embodiment of the present disclosure can easily perform feedback control inside the sensor module 100 without using the image processing unit 12 at the subsequent stage, and thus the processing load on the image processing unit 12 is reduced. It can be reduced.
  • FIG. 9 is a diagram for explaining the effect of the sensor module 100 according to the embodiment of the present disclosure.
  • the sensor module 100 according to the embodiment of the present disclosure independently performs signal processing and detection processing internally. It is explanatory drawing for demonstrating the processing time of a signal process and a detection process in the case of performing.
  • FIG. 9 shows processing times of signal processing and detection processing in two frames f1 and f2.
  • the sensor module 100 stores the pixel signal in the image storage unit 121 once. Therefore, in the sensor module 100 according to the embodiment of the present disclosure, the sensor module 100 and the image processing unit 12 can determine whether or not the accumulated pixel signal is necessary based on the detection information.
  • the sensor module 100 can repeatedly execute detection processing in the signal processing period of each frame.
  • the output frame rate of the pixel signal from the image sensor 111 and the output frame rate of the image signal from the sensor module 100 may be different.
  • the output frame rate of the image signal from the sensor module 100 may be 30 fps
  • the output frame rate of the pixel signal from the image sensor 111 may be 120 fps or 240 fps. Therefore, if detection is performed at 120 fps or 240 fps, which is faster than detection at 30 fps, the amount of motion between frames is reduced, for example, so that the amount of detection processing can be reduced.
  • the sensor module 100 and the image processing unit 12 subsequent to the sensor module 100 perform signal processing on the presence / absence of signal processing on the pixel signals accumulated in the image storage unit 121 based on the detection information.
  • the unit 133 can be instructed.
  • the analysis unit 132 or the analysis unit 201 analyzes the detection information and instructs the signal processing unit 133 to perform signal processing on the pixel signal stored in the image storage unit 121 if a predetermined condition is satisfied. I can do it.
  • the analysis unit 132 or the analysis unit 201 may instruct the signal processing unit 133 to perform signal processing from a location that is several frames back rather than from a frame that satisfies a predetermined condition.
  • the sensor module 100 according to the embodiment of the present disclosure can perform detection processing on pixel signals without performing image processing by operating only detection processing. That is, the sensor module 100 according to the embodiment of the present disclosure enables image sensing with power saving.
  • the sensor module 100 that operates detection processing and signal processing independently uses detection information for automatic exposure processing, autofocus processing, and auto white balance processing. High speed can be realized.
  • the sensor module 100 may control the exposure time based on detection information.
  • the analysis unit 132 may detect the exposure of the image from the detection information, and may control the control unit 112 to adjust the exposure time.
  • the sensor module 100 according to the embodiment of the present disclosure may perform control to adjust the position of the focus lens based on detection information.
  • the analysis unit 132 may perform control for adjusting the image height position by detecting phase difference information from detection information and adjusting the position of the focus lens, for example.
  • the sensor module 100 may adjust the gamma curve based on the detection information.
  • the sensor module 100 according to the embodiment of the present disclosure may internally detect detection information to detect color temperature information, and perform gamma curve adjustment during image processing based on the color temperature information. .
  • the sensor module 100 that operates the detection processing and the signal processing independently can control the camera shake correction processing by the electronic camera shake correction method based on the detection information.
  • the sensor module 100 according to the embodiment of the present disclosure analyzes detection information and detects a motion amount between frames. And the sensor module 100 according to the embodiment of the present disclosure can quickly determine a range for extracting a pixel signal for each frame based on the amount of motion between frames obtained by analysis of detection information.
  • the sensor module 100 that operates detection processing and signal processing independently can control noise reduction processing by combining a plurality of images based on detection information.
  • noise reduction processing by combining a plurality of images
  • the sensor module 100 according to the embodiment of the present disclosure analyzes detection information and detects a motion amount between frames.
  • the sensor module 100 according to the embodiment of the present disclosure synthesizes a plurality of images based on the amount of motion between frames obtained by analysis of detection information, thereby reducing the processing time from the shutter timing to the completion of the synthesis process. It can be shortened.
  • the sensor module 100 that operates detection processing and signal processing independently, and when flicker is included in a captured moving image, processing for quickly reducing flicker based on detection information Can be executed.
  • the sensor module 100 according to the embodiment of the present disclosure analyzes detection information and detects the presence of flicker.
  • the sensor module 100 according to the embodiment of the present disclosure performs signal processing on the pixel signal so as to cancel flicker based on the presence of flicker obtained by analysis of detection information. Thereby, the sensor module 100 according to the embodiment of the present disclosure can quickly reduce flicker by detecting the detection information internally.
  • the sensor module 100 that operates detection processing and signal processing independently does not output an image signal to the image processing unit 12 unless a moving object is captured in the image to be captured. If it is obtained from analysis of detection information that a moving object is shown in the image to be displayed, an image signal may be output to the image processing unit 12 in accordance with the recognition of the moving object. Note that the sensor module 100 according to the embodiment of the present disclosure may output an image signal to the image processing unit 12 from a moving object recognition time, and an image signal from a time point several frames back from the moving object recognition time You may output to the process part 12.
  • the sensor module 100 may output an image signal to the image processing unit 12 only when a captured image satisfies other predetermined conditions. For example, the sensor module 100 does not output an image signal to the image processing unit 12 if the captured image does not include a human smile, and outputs an image signal if the captured image includes a human smile. You may output to the image process part 12. Also in this case, the sensor module 100 may output the image signal to the image processing unit 12 from the recognition time point of smile, and output the image signal to the image processing unit 12 from the time point several frames back from the recognition time point of smile. May be.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 10 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 11 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 11 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the detection processing is performed when the signal processing for the signal output by the imaging device and the detection of the signal output by the imaging device are executed inside the image sensor. Can be executed at high speed.
  • a sensor module 100 is provided that can be implemented.
  • the sensor module 100 When the sensor module 100 according to the embodiment of the present disclosure internally performs signal processing on the pixel signal output from the image sensor and detection of the pixel signal output from the image sensor, detection processing is performed before the signal processing is started. Works to complete. The sensor module 100 operates so that the detection process is completed before the start of the signal processing, so that the signal processing for the pixel signal of the same frame as the detection information can be controlled using the detection information.
  • the sensor module 100 operates independently the signal processing on the pixel signal output from the image sensor and the detection of the pixel signal output from the image sensor.
  • the sensor module 100 according to the embodiment of the present disclosure operates the signal processing and the detection processing independently to operate only the detection processing until the detection information satisfies a predetermined condition. When the condition is satisfied, signal processing can be operated in addition to detection processing. That is, the sensor module 100 according to the embodiment of the present disclosure can operate only the detection process with power saving.
  • each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
  • each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • a storage unit for storing pixel signals output from the image sensor; A signal processing unit that performs signal processing on the pixel signal stored in the storage unit; A detection unit for completing detection processing for the pixel signal in the same frame before completion of signal processing by the signal processing unit;
  • An image processing apparatus comprising: (2) The image processing apparatus according to (1), wherein the signal processing unit starts signal processing on the pixel signal in the same frame after detection processing in the detection unit is completed. (3) The image processing apparatus according to (1) or (2), further including an analysis unit that analyzes a result of detection processing in the detection unit.
  • the image processing device according to any one of (1) to (6), wherein the detection processing in the detection unit and the signal processing in the signal processing unit are performed in a time division manner within one frame.
  • the signal processing for the pixel signal executed by the signal processing unit is at least one of automatic white balance processing, automatic exposure processing, distortion correction processing, defect correction processing, noise reduction processing, and high dynamic range synthesis processing.
  • the image processing apparatus according to any one of (1) to (7).
  • (9) It is configured by stacking three semiconductor substrates consisting of a first semiconductor substrate, a second semiconductor substrate, and a third semiconductor substrate, At least the imaging element is formed on the first semiconductor substrate, In the second semiconductor substrate, at least the storage unit is formed, The image processing apparatus according to any one of (1) to (8), wherein at least the signal processing unit and the detection unit are formed on the third semiconductor substrate. (10) The image processing apparatus according to (9), wherein the second semiconductor substrate is provided between the first semiconductor substrate and the third semiconductor substrate. (11) The image processing apparatus according to (9), wherein the third semiconductor substrate is provided between the first semiconductor substrate and the second semiconductor substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行する画像処理装置を提供する。 【解決手段】撮像素子から出力された画素信号を記憶する記憶部と、前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、を備える、画像処理装置が提供される。

Description

画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
　本開示は、画像処理装置、画像処理方法、コンピュータプログラム及び電子機器に関する。
　ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ、ＣＣＤ（Charge　Coupled　Device）イメージセンサなどの撮像素子が出力する画素信号を検波することで、撮像素子が出力する画素信号に対する信号処理へフィードバックを掛ける技術が開示されている（例えば特許文献１等参照）。
特開２０１６－６９３０号公報
　撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが求められる。
　そこで、本開示では、撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提案する。
　本開示によれば、撮像素子から出力された画素信号を記憶する記憶部と、前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、を備える、画像処理装置が提供される。
　また本開示によれば、撮像素子から出力された画素信号に対する検波処理を実行することと、前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、を含む、画像処理方法が提供される。
　また本開示によれば、コンピュータに、撮像素子から出力された画素信号に対する検波処理を実行することと、前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、を実行させる、コンピュータプログラムが提供される。
　また本開示によれば、上記画像処理装置を備える、電子機器が提供される。
　以上説明したように本開示によれば、撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。 信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とを説明する説明図である。 本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。 撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。 同実施の形態に係る画像処理部１２の機能構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。 同実施の形態に係るセンサモジュール１００による効果を説明するための説明図である。 同実施の形態に係るセンサモジュール１００による効果を説明するための説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．概要
　　１．２．撮像装置の機能構成例
　　１．３．センサモジュールの構成例
　　１．４．動作例
　２．移動体への応用例
　３．まとめ
　＜１．本開示の実施の形態＞
　［１．１．概要］
　本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
　上述したように、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの撮像素子が出力する画素信号を検波することで、撮像素子が出力する画素信号に対する信号処理へフィードバックを掛ける技術がある。
　撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合を考える。まず、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合を考えることにする。
　撮像素子が出力する画素信号に対し、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合、信号処理が施された後の信号と、検波結果とがそれぞれ独立してイメージセンサから出力されることになる。画素信号に対する信号処理には、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などがある。また画素信号に対する検波処理には、例えば、ピークや平均値などの統計情報の算出、動き量の算出、フリッカの検出、顔検出などがある。
　イメージセンサの後段に設けられるプロセッサ（アプリケーションプロセッサ）は、信号処理が施された後の信号と、検波結果とを、それぞれイメージセンサから取得する。そしてプロセッサは、検波結果の解析を行って、イメージセンサやプロセッサにおける、画素信号に対する信号処理へフィードバックを掛ける。例えばプロセッサは、統計情報に基づいて信号処理の内容を変化させたり、顔の検出の有無に応じて信号処理の内容を変化させたりするといったフィードバック制御を実行することができる。
　このように撮像素子が出力する画素信号に対し、信号処理と検波処理とをイメージセンサの内部で実行することで、画素信号に対する信号処理へのフィードバック制御が可能になる。その一方で、信号処理と検波処理とをイメージセンサの内部で並列に実行すると、１フレームごとの検波結果の生成速度は、イメージセンサの内部の信号処理帯域や、プロセッサのインターフェース帯域、信号処理帯域によりイメージセンサの内部処理の速度に律速してしまう。すなわち、信号処理と検波処理とをイメージセンサの内部で並列に実行すると、信号処理と検波処理とを同時に動かさなければならず、１枚の画像の読み出しが完了するまで、その画像の検波データは完成しないので、検波の完了までに時間が掛かる。
　図１は、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図１には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。信号処理と検波処理とをイメージセンサの内部で並列に実行すると、信号処理と検波処理とが同時に完了することになる。言い換えれば、全ての垂直ラインに対する信号処理が完了するまで検波処理を完了させることができない。従って図１に示したように、垂直ラインに対する信号処理が完了して画像データが出来た後に検波情報が出来上がることになる。これは、フレームｆ１の検波情報は、フレームｆ１の画像データではなくフレームｆ２以降の画像データに対してしか活用出来ないことを意味している。
　信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とについてより詳細に説明する。図２は、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とを説明する説明図である。
　例えば図２に示したように、１枚の画像データを破線のように水平方向及び垂直方向に分割して、破線で囲まれたエリアを単位として検波処理を実行する場合を考える。この場合では、画面の最も左上のエリアから検波処理が開始され、水平方向及び垂直方向に検波処理が行われ、最終的に右下のエリアの検波処理が完了した時点で、１枚の画像データについての検波処理が終わることになる。すなわち、１枚の画像データが全て揃わないと、その画像の検波データも揃わないことになる。
　撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来れば、様々な効果が期待できる。
　そこで本件開示者は、上述した内容に鑑みて、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る技術を考案するに至った。
　以上、本開示の実施の形態の概要について説明した。
　［１．２．機能構成例］
　続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図３は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図３を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。
　図３に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。
　撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。
　撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
　画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。
　表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。
　制御部１４は、例えばＣＰＵ（Central　Processing　Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。
　記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。
　操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。
　図３に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。
　以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。
　［１．３．センサモジュールの構成例］
　図４は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図４に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。
　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。
　メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic　Random　Access　Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレーム、例えば、信号処理基板１３０において電子式手振れ補正方式による手振れ補正処理を実行することが出来るだけのフレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
　信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
　なお、図４にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。
　以上、図４を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。
　図５は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。
　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。
　メモリ基板１２０は、ＤＲＡＭ（Dynamic　Random　Access　Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
　信号処理基板１３０は、検波部１３１と、解析部１３２と、信号処理部１３３と、を含んで構成される。
　検波部１３１は、撮像素子１１１が出力する画素信号に対する検波処理をフレーム毎に実行する。検波部１３１は、検波処理として、例えばピークや平均値などの統計情報の算出、動き量の算出、フリッカの検出、顔検出などを実行する。検波部１３１は、画素信号に対する検波処理を実行すると、フレーム毎に検波情報を後段の画像処理部１２に出力するとともに、解析部１３２に出力する。
　解析部１３２は、検波部１３１からフレーム毎に、または数フレームおきに、または不定期に検波情報を取得して、検波情報の解析を行う。解析部１３２は、例えば、検波情報を解析して、そのフレーム、またはそのフレーム以後の画素信号に対する信号処理の制御を信号処理部１３３に対して行う。
　より具体的には、解析部１３２は、例えば検波情報から画像の動き量を検出し、その動き量に基づいて電子式手振れ補正方式による手振れ補正処理や、複数枚の画像を重ね合わせることでノイズを除去する処理の際の画像の切り出し位置の制御を信号処理部１３３に対して行っても良い。
　また解析部１３２は、例えば検波情報からフリッカの存在を検出すると、そのフリッカを低減させる処理を行うよう信号処理部１３３に指示しても良い。
　また解析部１３２は、例えば検波情報から所定の物体、例えば顔、人体、車両その他の動体などの存在を検出するまでは、画像信号の出力を行わないようにして、所定の物体の存在を検出すると、当該フレームから、また当該フレームから所定時間遡って画像信号を出力するよう信号処理部１３３に指示しても良い。
　また解析部１３２は、検波情報に基づいて制御部１１２の動作を制御しても良い。解析部１３２は、例えば検波情報から画像の露出を検出し、制御部１１２に対して露光時間を調整する制御を行っても良い。また解析部１３２は、検波情報に基づいてフォーカスレンズの位置を調整する制御を行っても良い。解析部１３２は、例えば検波情報から位相差情報などを検出し、フォーカスレンズの位置を調整することで像高位置を調整する制御を行っても良い。
　信号処理部１３３は、画像記憶部１２１に記憶されている画素信号に対する信号処理を実行する。信号処理部１３３は、画素信号に対する信号処理として、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理、電子式手振れ補正方式による手振れ補正処理、フリッカ軽減処理などを実行する。信号処理部１３３は、画素信号に対する信号処理を実行する際に、解析部１３２からの制御によって上述の信号処理を実行しうる。そして信号処理部１３３は、画像記憶部１２１に記憶されている画素信号に対する信号処理を実行すると、処理後の信号を画像信号として画像処理部１２に出力する。
　本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、先に検波処理を完了させることで、同一のフレームにおける信号処理に、同じフレームの画素信号の検波結果を適用することができる。
　以上、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明した。続いて、本開示の実施の形態に係る画像処理部１２の機能構成例について説明する。
　図６は、本開示の実施の形態に係る画像処理部１２の機能構成例を示す説明図である。以下、図６を用いて本開示の実施の形態に係る画像処理部１２の機能構成例について説明する。
　図６に示したように、本開示の実施の形態に係る画像処理部１２は、解析部２０１と、信号処理部２０２と、バッファ部２０３と、を含んで構成される。
　解析部２０１は、センサモジュール１００からフレーム毎に検波情報を取得し、その検波情報の解析処理を実行する。解析部２０１は、例えば、検波情報を解析して、そのフレーム、またはそのフレーム以後の画素信号に対する信号処理の制御を信号処理部１３３に対して行う。
　信号処理部２０２は、センサモジュール１００からフレーム毎に画像信号を取得し、取得した画像信号に対する信号処理を実行する。信号処理部２０２は、画素信号に対する信号処理として、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理、電子式手振れ補正方式による手振れ補正処理、フリッカ軽減処理などを実行する。信号処理部２０２は、画素信号に対する信号処理を実行する際に、解析部２０１からの制御によって上述の信号処理を実行しうる。そして信号処理部２０２は、画像信号に対する信号処理を実行すると、処理後の信号をバッファ部２０３に一時的に記憶させたり、表示部１３に表示させたりする。
　バッファ部２０３は、ＲＡＭなどで構成され、信号処理部２０２によって信号処理が施された画像信号を一時的に記憶する。
　以上、図６を用いて本開示の実施の形態に係る画像処理部１２の機能構成例について説明した。
　［１．４．動作例］
　続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図７は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図７に示したのは、撮像素子１１１が出力する画素信号に対して検波処理及び信号処理を内部で実行する際の、センサモジュール１００の動作例である。以下、図７を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。
　センサモジュール１００は、撮像素子１１１が出力する画素信号に対し、フレーム毎に検波処理を実行する（ステップＳ１０１）。ステップＳ１０１の検波処理は、例えば検波部１３１が実行する。センサモジュール１００は、このステップＳ１０１の検波処理を、フレーム毎の画素信号に対する信号処理が完了する前に完了させる。
　上記ステップＳ１０１で、画素信号に対し、フレーム毎に検波処理を実行すると、続いてセンサモジュール１００は、その検波結果を解析する（ステップＳ１０２）。ステップＳ１０２の解析処理は、例えば解析部１３２が実行する。センサモジュール１００は、このステップＳ１０２の解析処理を、毎フレーム実行しても良く、数フレーム毎に実行しても良く、数フレーム分まとめて実行しても良い。
　上記ステップＳ１０２で、検波結果を解析すると、続いてセンサモジュール１００は、解析結果に基づいて、画素信号に対する信号処理を実行する（ステップＳ１０３）。ステップＳ１０３の信号処理は、例えば信号処理部１３３が、画像記憶部１２１に記憶されている画素信号に対して実行する。
　本開示の実施の形態に係るセンサモジュール１００は、係る動作を実行することで、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、先に検波処理を完了させることで、同一のフレームにおける信号処理に、同じフレームの画素信号の検波結果を適用することができる。
　本開示の実施の形態に係るセンサモジュール１００による効果を説明する。図８は、本開示の実施の形態に係るセンサモジュール１００による効果を説明するための図であり、本開示の実施の形態に係るセンサモジュール１００が信号処理と検波処理とを内部で独立的に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図８には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。
　図１に示したように、イメージセンサの内部で信号処理と検波処理とを並列に動作させると、画像データが出力された後に検波情報が出力されるので、次のフレーム以降についての検波情報を用いた画像処理は可能になるが、同じフレームについて検波情報を用いた画像処理は非常に困難である。
　これに対して、本開示の実施の形態に係るセンサモジュール１００は、図８に示したように、信号処理より先に検波処理が完了するので、同じフレームについて検波情報を用いた画像処理が可能となる。従って本開示の実施の形態に係るセンサモジュール１００は、リアルタイム性のある画像処理を実現することが出来る。また本開示の実施の形態に係るセンサモジュール１００は、後段の画像処理部１２を用いることなく、センサモジュール１００の内部で簡易的にフィードバック制御が実現できるので、画像処理部１２での処理負担を軽減させることが出来る。
　図９は、本開示の実施の形態に係るセンサモジュール１００による効果を説明するための図であり、本開示の実施の形態に係るセンサモジュール１００が信号処理と検波処理とを内部で独立的に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図９には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。
　本開示の実施の形態に係るセンサモジュール１００は、画素信号を画像記憶部１２１に一度溜め込んでいる。従って、本開示の実施の形態に係るセンサモジュール１００は、検波情報を基に、溜め込んだ画素信号が必要かどうかを、センサモジュール１００や画像処理部１２が判断することが出来る。
　また、本開示の実施の形態に係るセンサモジュール１００は、図９に示すように、各フレームの信号処理の期間において繰り返し検波処理を実行することもできる。撮像素子１１１からの画素信号の出力フレームレートと、センサモジュール１００からの画像信号の出力フレームレートとは異なりうる。例えば、センサモジュール１００からの画像信号の出力フレームレートが３０ｆｐｓで、撮像素子１１１からの画素信号の出力フレームレートが１２０ｆｐｓ、または２４０ｆｐｓという場合がありうる。従って、３０ｆｐｓで検波するよりも、これより早い１２０ｆｐｓ、または２４０ｆｐｓで検波すると、例えばフレーム間の動きの量が少なくなるので、検波処理の処理量を軽くすることができる。
　そして、本開示の実施の形態に係るセンサモジュール１００や、センサモジュール１００の後段の画像処理部１２は、検波情報に基づいて、画像記憶部１２１に溜め込んだ画素信号に対する信号処理の有無を信号処理部１３３に指示することが出来る。例えば、解析部１３２、または解析部２０１は、検波情報を解析し、所定の条件を満たしていれば画像記憶部１２１に溜め込んだ画素信号に対する信号処理を行うよう、信号処理部１３３に指示することが出来る。なお、解析部１３２、または解析部２０１は、所定の条件を満たしたフレームからではなく、数フレーム遡ったところから信号処理を行うよう、信号処理部１３３に指示してもよい。
　このように、本開示の実施の形態に係るセンサモジュール１００は、検波処理だけを動作させることで、画像処理を行わずに画素信号に対する検波処理が可能になる。すなわち、本開示の実施の形態に係るセンサモジュール１００は、省電力での画像のセンシングを可能にする。
　検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、自動露出処理、オートフォーカス処理、オートホワイトバランス処理に検波情報を用いることで、これらの処理の高速化を実現できる。
　例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて露光時間を制御しても良い。解析部１３２は、例えば検波情報から画像の露出を検出し、制御部１１２に対して露光時間を調整する制御を行っても良い。また例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいてフォーカスレンズの位置を調整する制御を行っても良い。解析部１３２は、例えば検波情報から位相差情報などを検出し、フォーカスレンズの位置を調整することで像高位置を調整する制御を行っても良い。
　また例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいてガンマカーブの調整を行っても良い。本開示の実施の形態に係るセンサモジュール１００は、内部で検波情報を解析して色温度情報を検出し、その色温度情報に基づいて、画像処理の際のガンマカーブの調整を行っても良い。
　検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて電子式手振れ補正方式による手振れ補正処理を制御できる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フレーム間の動き量を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフレーム間の動き量に基づいて、画素信号を切り出す範囲をフレーム毎に迅速に決定することが出来る、
　検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて複数の画像の合成によるノイズ低減処理を制御できる。複数の画像の合成によるノイズ低減処理では、位置を合わせて画像を合成する必要がある。従って、フレーム間の動き量の情報が速やかに合成処理に反映できれば、シャッタタイミングから合成処理の完了までの処理時間の短縮に繋がる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フレーム間の動き量を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフレーム間の動き量に基づいて複数の画像を合成することで、ャッタタイミングから合成処理の完了までの処理時間を短縮させることが出来る。
　検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、撮像される動画像にフリッカが含まれる場合、検波情報に基づいて速やかにフリッカを低減させる処理を実行できる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フリッカの存在を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフリッカの存在に基づいてフリッカを打ち消すような信号処理を画素信号に対して行う。これにより本開示の実施の形態に係るセンサモジュール１００は、検波情報を内部で検波することでフリッカの低減を速やかに実行することが出来る。
　検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、撮像される画像に動体が写っていなければ画像信号を画像処理部１２に出力せず、撮像される画像に動体が写っていることが検波情報の解析から得られれば、その動体の認識に応じて画像信号を画像処理部１２に出力してもよい。なお、本開示の実施の形態に係るセンサモジュール１００は、動体の認識時点から画像信号を画像処理部１２に出力してもよく、動体の認識時点から数フレーム遡った時点からの画像信号を画像処理部１２に出力してもよい。
　また本開示の実施の形態に係るセンサモジュール１００は、撮像される画像が他にも所定の条件を満たしていた場合に限り、画像信号を画像処理部１２に出力してもよい。例えば、センサモジュール１００は、撮像される画像に人間の笑顔が含まれていなければ画像信号を画像処理部１２に出力せず、撮像される画像に人間の笑顔が含まれていれば画像信号を画像処理部１２に出力してもよい。この場合も、センサモジュール１００は、笑顔の認識時点から画像信号を画像処理部１２に出力してもよく、笑顔の認識時点から数フレーム遡った時点からの画像信号を画像処理部１２に出力してもよい。
　＜２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１１は、撮像部１２０３１の設置位置の例を示す図である。
　図１１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術が適用されることで、撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することができる。
　＜３．まとめ＞
　以上説明したように本開示の実施の形態によれば、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを内部で実行する場合に、検波処理を高速に実行することが出来るセンサモジュール１００が提供される。
　本開示の実施の形態に係るセンサモジュール１００は、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを内部で実行する際、信号処理の開始前に検波処理が完了するよう動作する。センサモジュール１００は、信号処理の開始前に検波処理が完了するよう動作することで、検波情報を用いて、その検波情報と同一のフレームの画素信号に対する信号処理を制御することが出来る。
　本開示の実施の形態に係るセンサモジュール１００は、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを独立して動作させる。本開示の実施の形態に係るセンサモジュール１００は、信号処理と検波処理とを独立して動作させることで、検波情報が所定の条件を満たすまでは検波処理だけを動作させ、検波情報が所定の条件を満たすと検波処理に加えて信号処理を動作させることができる。すなわち本開示の実施の形態に係るセンサモジュール１００は、省電力で検波処理だけを動作させることが可能となる。
　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像素子から出力された画素信号を記憶する記憶部と、
　前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、
　前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、
を備える、画像処理装置。
（２）
　前記信号処理部は、前記検波部での検波処理が完了してから同一のフレームにおける前記画素信号に対する信号処理を開始する、前記（１）に記載の画像処理装置。
（３）
　前記検波部での検波処理の結果を解析する解析部をさらに備える、前記（１）または（２）に記載の画像処理装置。
（４）
　前記解析部は、解析の結果に応じて前記記憶部に記憶されている前記画素信号に対する、前記信号処理部の信号処理を制御する、前記（３）に記載の画像処理装置。
（５）
　前記解析部は、解析の結果から所定の条件を満たした場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、前記（４）に記載の画像処理装置。
（６）
　前記解析部は、前記所定の条件として解析の結果から前記画素信号の中に動体を検出した場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、前記（５）に記載の画像処理装置。
（７）
　前記検波部での検波処理と、前記信号処理部での信号処理とは、１フレーム内で時分割的に行われる、前記（１）～（６）のいずれかに記載の画像処理装置。
（８）
　前記信号処理部が実行する前記画素信号に対する信号処理は、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理の少なくともいずれか１つである、前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
　前記第１半導体基板には、前記撮像素子が少なくとも形成され、
　前記第２半導体基板には、前記記憶部が少なくとも形成され、
　前記第３半導体基板には、前記信号処理部及び前記検波部が少なくとも形成されている、前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）
　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（９）に記載の画像処理装置。
（１１）
　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（９）に記載の画像処理装置。
（１２）
　撮像素子から出力された画素信号に対する検波処理を実行することと、
　前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を含む、画像処理方法。
（１３）
　コンピュータに、
　撮像素子から出力された画素信号に対する検波処理を実行することと、
　前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を実行させる、コンピュータプログラム。
（１４）
　前記（１）～（１１）に記載の画像処理装置を備える、電子機器。
　１０　　電子機器
　１００　　センサモジュール

Claims (14)

  1. 　撮像素子から出力された画素信号を記憶する記憶部と、
    　前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、
    　前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、
    を備える、画像処理装置。
  2. 　前記信号処理部は、前記検波部での検波処理が完了してから同一のフレームにおける前記画素信号に対する信号処理を開始する、請求項１に記載の画像処理装置。
  3. 　前記検波部での検波処理の結果を解析する解析部をさらに備える、請求項１に記載の画像処理装置。
  4. 　前記解析部は、解析の結果に応じて前記記憶部に記憶されている前記画素信号に対する、前記信号処理部の信号処理を制御する、請求項３に記載の画像処理装置。
  5. 　前記解析部は、解析の結果から所定の条件を満たした場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、請求項４に記載の画像処理装置。
  6. 　前記解析部は、前記所定の条件として解析の結果から前記画素信号の中に動体を検出した場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、請求項５に記載の画像処理装置。
  7. 　前記検波部での検波処理と、前記信号処理部での信号処理とは、１フレーム内で時分割的に行われる、請求項１に記載の画像処理装置。
  8. 　前記信号処理部が実行する前記画素信号に対する信号処理は、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理の少なくともいずれか１つである、請求項１に記載の画像処理装置。
  9. 　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
    　前記第１半導体基板には、前記撮像素子が少なくとも形成され、
    　前記第２半導体基板には、前記記憶部が少なくとも形成され、
    　前記第３半導体基板には、前記信号処理部及び前記検波部が少なくとも形成されている、請求項１に記載の画像処理装置。
  10. 　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項９に記載の画像処理装置。
  11. 　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項９に記載の画像処理装置。
  12. 　撮像素子から出力された画素信号に対する検波処理を実行することと、
    　前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
    を含む、画像処理方法。
  13. 　コンピュータに、
    　撮像素子から出力された画素信号に対する検波処理を実行することと、
    　前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
    を実行させる、コンピュータプログラム。
  14. 　請求項１に記載の画像処理装置を備える、電子機器。
PCT/JP2017/006042 2016-04-05 2017-02-20 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 WO2017175492A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-075565 2016-04-05
JP2016075565A JP2017188760A (ja) 2016-04-05 2016-04-05 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器

Publications (1)

Publication Number Publication Date
WO2017175492A1 true WO2017175492A1 (ja) 2017-10-12

Family

ID=60000746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006042 WO2017175492A1 (ja) 2016-04-05 2017-02-20 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器

Country Status (2)

Country Link
JP (1) JP2017188760A (ja)
WO (1) WO2017175492A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287295A (zh) * 2018-12-26 2021-08-20 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及程序
CN113661700A (zh) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 成像装置与成像方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6913830B2 (ja) 2018-08-31 2021-08-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2020066186A1 (ja) 2018-09-27 2020-04-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム
CN112771847A (zh) 2018-09-27 2021-05-07 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
JP7004853B2 (ja) * 2018-12-26 2022-01-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7023412B2 (ja) 2019-04-26 2022-02-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120205A (ja) * 2002-09-25 2004-04-15 Sony Corp 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2015126043A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 電子デバイス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120205A (ja) * 2002-09-25 2004-04-15 Sony Corp 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2015126043A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 電子デバイス

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287295A (zh) * 2018-12-26 2021-08-20 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及程序
CN113287295B (zh) * 2018-12-26 2023-07-25 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及存储介质
CN113661700A (zh) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 成像装置与成像方法

Also Published As

Publication number Publication date
JP2017188760A (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
WO2019150786A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US10880509B2 (en) Solid-state imaging element, electronic device, and method for correcting uneven luminance
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
WO2018110002A1 (ja) 撮像装置、および、撮像装置の制御方法
WO2021060118A1 (ja) 撮像装置
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2017212722A1 (ja) 制御装置及び制御方法
WO2017203752A1 (ja) 撮像装置、および制御方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
TWI842952B (zh) 攝像裝置
WO2020166284A1 (ja) 撮像装置
WO2020137503A1 (ja) 画像処理装置
WO2018207665A1 (ja) 固体撮像装置、駆動方法、及び電子機器
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN113661700A (zh) 成像装置与成像方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17778871

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17778871

Country of ref document: EP

Kind code of ref document: A1