WO2022019049A1 - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- WO2022019049A1 WO2022019049A1 PCT/JP2021/024181 JP2021024181W WO2022019049A1 WO 2022019049 A1 WO2022019049 A1 WO 2022019049A1 JP 2021024181 W JP2021024181 W JP 2021024181W WO 2022019049 A1 WO2022019049 A1 WO 2022019049A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- area
- reliability
- pixel
- reading
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
Definitions
- This disclosure relates to information processing devices, information processing systems, information processing methods, and information processing programs.
- the number of lines and the width of lines may be changed depending on the recognition target. Therefore, with the conventional reliability, the accuracy may decrease.
- One aspect of the present disclosure provides an information processing device, an information processing system, an information processing method, and an information processing program capable of suppressing a decrease in reliability accuracy even when recognition processing is performed using a partial area of image data. do.
- a read unit is set as a part of a pixel area in which a plurality of pixels are arranged in a two-dimensional array, and a pixel signal is read from the pixels included in the pixel area.
- the reading unit that controls The reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- the reliability calculation unit to calculate and An information processing device is provided.
- the reliability calculation unit calculates the correction value of the reliability for each of the plurality of pixels based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image.
- a reliability map generator that generates a reliability map in which the correction values are arranged in a two-dimensional array. You may also have more.
- the reliability calculation unit includes a correction unit that corrects the reliability based on the correction value of the reliability. You may also have more.
- the correction unit may correct the reliability according to the representative value of the correction value based on the predetermined area.
- the reading unit may read the pixels included in the pixel area as line-shaped image data.
- the reading unit may read the pixels included in the pixel area as grid-shaped or checkered-shaped sampled image data.
- a recognition processing execution unit that recognizes an object in the predetermined area, You may also prepare further.
- the correction unit may calculate a representative value of the correction value based on the receptive field in which the feature amount in the predetermined region is calculated.
- the reliability map generator generates at least two types of reliability maps based on at least two pieces of information such as area, number of times read, dynamic range, and exposure information.
- a compositing unit that synthesizes at least two types of reliability maps, You may also prepare further.
- the predetermined area in the pixel area may be a label associated with each pixel by semantic segmentation or an area based on at least one of the categories.
- one aspect of the present disclosure is a sensor unit in which a plurality of pixels are arranged in a two-dimensional array.
- An information processing system equipped with a recognition processing unit.
- the recognition processing unit A reading unit that sets a reading unit as a part of the pixel area of the sensor unit and controls reading of a pixel signal from the pixels included in the pixel area.
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- a recognition processing unit having a reliability calculation unit for calculating, and a recognition processing unit having An information processing system having the above is provided.
- a read unit is set as a part of a pixel region in which a plurality of pixels are arranged in a two-dimensional array, and pixels from pixels included in the pixel region are set.
- the reading process that controls the reading of the signal and
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- the reliability calculation process to be calculated and An information processing method is provided.
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- the block diagram which shows the structure of an example of the image pickup apparatus applicable to each embodiment of this disclosure.
- the schematic diagram which shows the example of the hardware composition of the image pickup apparatus which concerns on each embodiment.
- the schematic diagram which shows the example of the hardware composition of the image pickup apparatus which concerns on each embodiment.
- the block diagram which shows the structure of an example of the sensor part applicable to each embodiment. It is a schematic diagram for demonstrating the rolling shutter system.
- the schematic diagram for demonstrating the rolling shutter system The schematic diagram for demonstrating the rolling shutter system.
- the schematic diagram for demonstrating the line thinning in a rolling shutter system The schematic diagram for demonstrating the line thinning in a rolling shutter system.
- the schematic diagram for demonstrating the line thinning in a rolling shutter system The figure which shows typically the example of the other image pickup method in the rolling shutter system.
- the figure which shows typically the example of the other image pickup method in the rolling shutter system The schematic diagram for demonstrating the global shutter system.
- the schematic diagram for demonstrating the global shutter system The schematic diagram for demonstrating the global shutter system.
- the schematic diagram for demonstrating the global shutter system The figure which shows typically the example of the sampling pattern which can be realized in a global shutter system.
- the figure for demonstrating the image recognition processing by CNN The schematic diagram for demonstrating the image recognition processing by CNN.
- the figure which shows the example which the read position of a line data was adaptively changed according to the recognition result of a recognition process execution part.
- the schematic diagram which shows the example of the processing in a recognition processing part in more detail.
- the block diagram of the reliability map generation part which concerns on 4th Embodiment The figure which shows typically the relationship with the dynamic range of line data.
- the block diagram of the reliability map generation part which concerns on 5th Embodiment It is a figure which shows the 1st Embodiment and each modification
- an information processing device an information processing system, an information processing method, and an embodiment of an information processing program will be described with reference to the drawings.
- the main components of the information processing device, information processing system, information processing method, and information processing program will be mainly described, but the information processing device, information processing system, information processing method, and information processing program are illustrated. Or there may be components or functions that are not described. The following description does not exclude components or functions not shown or described.
- FIG. 1 is a block diagram showing a configuration of an example of the information processing system 1.
- the information processing system 1 includes a sensor unit 10, a sensor control unit 11, a recognition processing unit 12, a memory 13, a visual recognition processing unit 14, and an output control unit 15.
- Each of these parts is a CMOS image sensor (CIS) integrally formed using, for example, CMOS (Complementary Metal Oxide Seminometer).
- CMOS Complementary Metal Oxide Seminometer
- the information processing system 1 is not limited to this example, and may be another type of optical sensor such as an infrared light sensor that performs imaging with infrared light.
- the sensor control unit 11, the recognition processing unit 12, the memory 13, the visual recognition processing unit 14, and the output control unit 15 constitute an information processing device 2.
- the sensor unit 10 outputs a pixel signal corresponding to the light radiated to the light receiving surface via the optical unit 30. More specifically, the sensor unit 10 has a pixel array in which pixels including at least one photoelectric conversion element are arranged in a matrix. A light receiving surface is formed by each pixel arranged in a matrix in a pixel array. Further, the sensor unit 10 further performs a drive circuit for driving each pixel included in the pixel array and a signal that performs predetermined signal processing on the signal read from each pixel and outputs the signal as a pixel signal of each pixel. Includes processing circuits. The sensor unit 10 outputs the pixel signal of each pixel included in the pixel area as digital image data.
- the area in which the pixels effective for generating the pixel signal are arranged is referred to as a frame.
- Frame image data is formed by pixel data based on each pixel signal output from each pixel included in the frame.
- each line in the pixel array of the sensor unit 10 is called a line, and line image data is formed by pixel data based on a pixel signal output from each pixel included in the line.
- imaging an operation in which the sensor unit 10 outputs a pixel signal corresponding to the light applied to the light receiving surface.
- the sensor unit 10 controls the exposure at the time of imaging and the gain (analog gain) with respect to the pixel signal according to the image pickup control signal supplied from the sensor control unit 11 described later.
- the sensor control unit 11 is configured by, for example, a microprocessor, controls the reading of pixel data from the sensor unit 10, and outputs pixel data based on each pixel signal read from each pixel included in the frame.
- the pixel data output from the sensor control unit 11 is supplied to the recognition processing unit 12 and the visual recognition processing unit 14.
- the sensor control unit 11 generates an image pickup control signal for controlling the image pickup in the sensor unit 10.
- the sensor control unit 11 generates an image pickup control signal according to instructions from the recognition processing unit 12 and the visual recognition processing unit 14, which will be described later, for example.
- the image pickup control signal includes the above-mentioned information indicating the exposure and analog gain at the time of image pickup in the sensor unit 10.
- the image pickup control signal further includes a control signal (vertical synchronization signal, horizontal synchronization signal, etc.) used by the sensor unit 10 to perform an image pickup operation.
- the sensor control unit 11 supplies the generated image pickup control signal to the sensor unit 10.
- the optical unit 30 is for irradiating the light receiving surface of the sensor unit 10 with light from the subject, and is arranged at a position corresponding to, for example, the sensor unit 10.
- the optical unit 30 includes, for example, a plurality of lenses, a diaphragm mechanism for adjusting the size of the aperture with respect to the incident light, and a focus mechanism for adjusting the focus of the light applied to the light receiving surface.
- the optical unit 30 may further include a shutter mechanism (mechanical shutter) that adjusts the time for irradiating the light receiving surface with light.
- the aperture mechanism, focus mechanism, and shutter mechanism of the optical unit 30 can be controlled by, for example, the sensor control unit 11. Not limited to this, the aperture and focus in the optical unit 30 can be controlled from the outside of the information processing system 1. It is also possible to integrally configure the optical unit 30 with the information processing system 1.
- the recognition processing unit 12 performs recognition processing of an object included in the image based on the pixel data based on the pixel data supplied from the sensor control unit 11.
- a DSP Digital Signal Processor
- DNN Deep Natural Network
- a recognition processing unit 12 as a machine learning unit is configured.
- the recognition processing unit 12 can instruct the sensor control unit 11 to read the pixel data required for the recognition processing from the sensor unit 10.
- the recognition result by the recognition processing unit 12 is supplied to the output control unit 15.
- the visual recognition processing unit 14 executes processing for obtaining an image suitable for human recognition with respect to the pixel data supplied from the sensor control unit 11, and outputs, for example, image data consisting of a set of pixel data. do.
- the visual recognition processing unit 14 is configured by reading and executing a program stored in advance in a memory (not shown) in which an ISP (Image Signal Processor) is not shown.
- ISP Image Signal Processor
- the visual recognition processing unit 14 when the visual recognition processing unit 14 is provided with a color filter for each pixel included in the sensor unit 10 and the pixel data has R (red), G (green), and B (blue) color information, demosaic. Processing, white balance processing, etc. can be executed. Further, the visual recognition processing unit 14 can instruct the sensor control unit 11 to read the pixel data required for the visual recognition processing from the sensor unit 10. The image data whose pixel data has been image-processed by the visual recognition processing unit 14 is supplied to the output control unit 15.
- the output control unit 15 is configured by, for example, a microprocessor, and processes one or both of the recognition result supplied from the recognition processing unit 12 and the image data supplied as the visual recognition processing result from the visual recognition processing unit 14. Output to the outside of system 1.
- the output control unit 15 can output image data to, for example, a display unit 31 having a display device. As a result, the user can visually recognize the image data displayed by the display unit 31.
- the display unit 31 may be built in the information processing system 1 or may have an external configuration of the information processing system 1.
- FIG. 2A and 2B are schematic views showing an example of the hardware configuration of the information processing system 1 according to each embodiment.
- the sensor unit 10, the sensor control unit 11, the recognition processing unit 12, the memory 13, the visual recognition processing unit 14, and the output control unit 15 are mounted on one chip 2 in the configuration shown in FIG. This is an example.
- the memory 13 and the output control unit 15 are omitted in order to avoid complication.
- the recognition result by the recognition processing unit 12 is output to the outside of the chip 2 via an output control unit 15 (not shown). Further, in the configuration of FIG. 2A, the recognition processing unit 12 can acquire pixel data for use in recognition from the sensor control unit 11 via the internal interface of the chip 2.
- the sensor unit 10, the sensor control unit 11, the visual recognition processing unit 14, and the output control unit 15 are mounted on one chip 2 in the configuration shown in FIG. 1, and the recognition processing unit 12 and the memory 13 ( (Not shown) is an example placed outside the chip 2. Also in FIG. 2B, the memory 13 and the output control unit 15 are omitted in order to avoid complication, as in FIG. 2A described above.
- the recognition processing unit 12 acquires pixel data to be used for recognition via an interface for communicating between chips. Further, in FIG. 2B, the recognition result by the recognition processing unit 12 is shown to be directly output to the outside from the recognition processing unit 12, but this is not limited to this example. That is, in the configuration of FIG. 2B, the recognition processing unit 12 may return the recognition result to the chip 2 and output it from the output control unit 15 (not shown) mounted on the chip 2.
- the recognition processing unit 12 is mounted on the chip 2 together with the sensor control unit 11, and communication between the recognition processing unit 12 and the sensor control unit 11 can be executed at high speed by the internal interface of the chip 2. ..
- the recognition processing unit 12 cannot be replaced, and it is difficult to change the recognition processing.
- the recognition processing unit 12 since the recognition processing unit 12 is provided outside the chip 2, communication between the recognition processing unit 12 and the sensor control unit 11 is performed via the interface between the chips. There is a need. Therefore, the communication between the recognition processing unit 12 and the sensor control unit 11 is slower than that of the configuration of FIG. 2A, and there is a possibility that a delay may occur in the control.
- the recognition processing unit 12 can be easily replaced, and various recognition processes can be realized.
- one chip 2 in FIG. 2A has a sensor unit 10, a sensor control unit 11, a recognition processing unit 12, a memory 13, a visual recognition processing unit 14, and an output control unit 15.
- the installed configuration shall be adopted.
- the information processing system 1 can be formed on one substrate.
- the information processing system 1 may be a laminated CIS in which a plurality of semiconductor chips are laminated and integrally formed.
- the information processing system 1 can be formed by a two-layer structure in which semiconductor chips are laminated in two layers.
- FIG. 3A is a diagram showing an example in which the information processing system 1 according to each embodiment is formed by a laminated CIS having a two-layer structure.
- the pixel portion 20a is formed on the semiconductor chip of the first layer
- the memory + logic portion 20b is formed on the semiconductor chip of the second layer.
- the pixel unit 20a includes at least the pixel array in the sensor unit 10.
- the memory + logic unit 20b includes, for example, a sensor control unit 11, a recognition processing unit 12, a memory 13, a visual recognition processing unit 14, and an output control unit 15, and an interface for communicating between the information processing system 1 and the outside. include.
- the memory + logic unit 20b further includes a part or all of the drive circuit for driving the pixel array in the sensor unit 10. Further, although not shown, the memory + logic unit 20b can further include, for example, a memory used by the visual recognition processing unit 14 for processing image data.
- the information processing system 1 is configured as one solid-state image sensor by bonding the semiconductor chip of the first layer and the semiconductor chip of the second layer while electrically contacting each other. ..
- the information processing system 1 can be formed by a three-layer structure in which semiconductor chips are laminated in three layers.
- FIG. 3B is a diagram showing an example in which the information processing system 1 according to each embodiment is formed by a laminated CIS having a three-layer structure.
- the pixel portion 20a is formed on the semiconductor chip of the first layer
- the memory portion 20c is formed on the semiconductor chip of the second layer
- the logic portion 20b is formed on the semiconductor chip of the third layer.
- the logic unit 20b includes, for example, a sensor control unit 11, a recognition processing unit 12, a visual recognition processing unit 14, an output control unit 15, and an interface for communicating between the information processing system 1 and the outside.
- the memory unit 20c can include a memory 13 and a memory used by, for example, the visual recognition processing unit 14 for processing image data.
- the memory 13 may be included in the logic unit 20b.
- the information processing system 1 is formed by bonding the semiconductor chip of the first layer, the semiconductor chip of the second layer, and the semiconductor chip of the third layer while electrically contacting each other. It is configured as one solid-state image sensor.
- FIG. 4 is a block diagram showing a configuration of an example of the sensor unit 10 applicable to each embodiment.
- the sensor unit 10 includes a pixel array unit 101, a vertical scanning unit 102, an AD (Analog to Digital) conversion unit 103, a pixel signal line 106, a vertical signal line VSL, a control unit 1100, and a signal.
- the processing unit 1101 and the like are included.
- the control unit 1100 and the signal processing unit 1101 may be included in the sensor control unit 11 shown in FIG. 1, for example.
- the pixel array unit 101 includes a plurality of pixel circuits 100 including, for example, a photoelectric conversion element using a photodiode and a circuit for reading out charges from the photoelectric conversion element, each of which performs photoelectric conversion with respect to the received light.
- the plurality of pixel circuits 100 are arranged in a matrix arrangement in the horizontal direction (row direction) and the vertical direction (column direction).
- the arrangement in the row direction of the pixel circuit 100 is called a line.
- the pixel array unit 101 includes at least 1080 lines including at least 1920 pixel circuits 100.
- An image (image data) of one frame is formed by a pixel signal read from a pixel circuit 100 included in the frame.
- the pixel signal line 106 is connected to each row and column of each pixel circuit 100, and the vertical signal line VSL is connected to each column.
- the end portion of the pixel signal line 106 that is not connected to the pixel array portion 101 is connected to the vertical scanning portion 102.
- the vertical scanning unit 102 transmits a control signal such as a drive pulse when reading a pixel signal from a pixel to the pixel array unit 101 via the pixel signal line 106 according to the control of the control unit 1100 described later.
- the end portion of the vertical signal line VSL that is not connected to the pixel array unit 101 is connected to the AD conversion unit 103.
- the pixel signal read from the pixels is transmitted to the AD conversion unit 103 via the vertical signal line VSL.
- the control of reading out the pixel signal from the pixel circuit 100 will be schematically described.
- the reading of the pixel signal from the pixel circuit 100 is performed by transferring the charge accumulated in the photoelectric conversion element due to exposure to the floating diffusion layer (FD) and converting the transferred charge in the floating diffusion layer into a voltage. conduct.
- the voltage at which the charge is converted in the floating diffusion layer is output to the vertical signal line VSL via an amplifier.
- the floating diffusion layer and the vertical signal line VSL are connected according to the selection signal supplied via the pixel signal line 106. Further, the floating diffusion layer is connected to the supply line of the power supply voltage VDD or the black level voltage in a short period of time according to the reset pulse supplied via the pixel signal line 106 to reset the floating diffusion layer. A voltage (referred to as voltage A) at the reset level of the stray diffusion layer is output to the vertical signal line VSL.
- the transfer pulse supplied via the pixel signal line 106 puts the photoelectric conversion element and the floating diffusion layer in an on (closed) state, and transfers the electric charge accumulated in the photoelectric conversion element to the floating diffusion layer.
- a voltage (referred to as voltage B) corresponding to the amount of electric charge of the floating diffusion layer is output to the vertical signal line VSL.
- the AD conversion unit 103 includes an AD converter 107 provided for each vertical signal line VSL, a reference signal generation unit 104, and a horizontal scanning unit 105.
- the AD converter 107 is a column AD converter that performs AD conversion processing on each column of the pixel array unit 101.
- the AD converter 107 performs AD conversion processing on a pixel signal supplied from a pixel circuit 100 via a vertical signal line VSL, and is used for correlated double sampling (CDS: Digital Double Sampling) processing for noise reduction. Generates two digital values (values corresponding to voltage A and voltage B, respectively).
- CDS Digital Double Sampling
- the AD converter 107 supplies the two generated digital values to the signal processing unit 1101.
- the signal processing unit 1101 performs CDS processing based on the two digital values supplied from the AD converter 107, and generates a pixel signal (pixel data) based on the digital signal.
- the pixel data generated by the signal processing unit 1101 is output to the outside of the sensor unit 10.
- the reference signal generation unit 104 generates a lamp signal as a reference signal, which is used by each AD converter 107 to convert the pixel signal into two digital values, based on the control signal input from the control unit 1100.
- the lamp signal is a signal whose level (voltage value) decreases with a constant slope with respect to time, or a signal whose level decreases stepwise.
- the reference signal generation unit 104 supplies the generated lamp signal to each AD converter 107.
- the reference signal generation unit 104 is configured by using, for example, a DAC (Digital to Analog Converter) or the like.
- the counter starts counting according to the clock signal.
- the comparator compares the voltage of the pixel signal supplied from the vertical signal line VSL with the voltage of the lamp signal, and stops the counting by the counter at the timing when the voltage of the lamp signal crosses the voltage of the pixel signal.
- the AD converter 107 converts the pixel signal of the analog signal into a digital value by outputting a value corresponding to the count value of the time when the count is stopped.
- the AD converter 107 supplies the two generated digital values to the signal processing unit 1101.
- the signal processing unit 1101 performs CDS processing based on the two digital values supplied from the AD converter 107, and generates a pixel signal (pixel data) based on the digital signal.
- the pixel signal generated by the digital signal generated by the signal processing unit 1101 is output to the outside of the sensor unit 10.
- the horizontal scanning unit 105 Under the control of the control unit 1100, the horizontal scanning unit 105 performs selective scanning in which the AD converters 107 are selected in a predetermined order to temporarily hold each digital value of the AD converters 107. It is sequentially output to the signal processing unit 1101.
- the horizontal scanning unit 105 is configured by using, for example, a shift register, an address decoder, or the like.
- the control unit 1100 performs drive control of the vertical scanning unit 102, the AD conversion unit 103, the reference signal generation unit 104, the horizontal scanning unit 105, and the like according to the image pickup control signal supplied from the sensor control unit 11.
- the control unit 1100 generates various drive signals that serve as a reference for the operation of the vertical scanning unit 102, the AD conversion unit 103, the reference signal generation unit 104, and the horizontal scanning unit 105.
- the control unit 1100 is for supplying the vertical scanning unit 102 to each pixel circuit 100 via the pixel signal line 106, for example, based on the vertical synchronization signal or the external trigger signal included in the image pickup control signal and the horizontal synchronization signal. Generate a control signal.
- the control unit 1100 supplies the generated control signal to the vertical scanning unit 102.
- control unit 1100 outputs, for example, information indicating an analog gain included in the image pickup control signal supplied from the sensor control unit 11 to the AD conversion unit 103.
- the AD conversion unit 103 controls the gain of the pixel signal input to each AD converter 107 included in the AD conversion unit 103 via the vertical signal line VSL according to the information indicating the analog gain.
- the vertical scanning unit 102 Based on the control signal supplied from the control unit 1100, the vertical scanning unit 102 transmits various signals including a drive pulse to the pixel signal line 106 of the selected pixel row of the pixel array unit 101 to each pixel circuit 100 for each line. It is supplied, and the pixel signal is output from each pixel circuit 100 to the vertical signal line VSL.
- the vertical scanning unit 102 is configured by using, for example, a shift register or an address decoder. Further, the vertical scanning unit 102 controls the exposure in each pixel circuit 100 according to the information indicating the exposure supplied from the control unit 1100.
- the sensor unit 10 configured in this way is a column AD type CMOS (Complementary Metal Oxide Sensor) image sensor in which an AD converter 107 is arranged for each column.
- CMOS Complementary Metal Oxide Sensor
- a rolling shutter (RS) method and a global shutter (GS) method are known as an image pickup method when an image is taken by the pixel array unit 101.
- RS rolling shutter
- GS global shutter
- 5A, 5B and 5C are schematic views for explaining the rolling shutter method.
- imaging is performed in order from line 201 at the upper end of the frame 200, for example, in line units.
- imaging is described as referring to an operation in which the sensor unit 10 outputs a pixel signal according to the light applied to the light receiving surface. More specifically, “imaging” refers to a series of operations from exposing a pixel to transferring a pixel signal based on the charge accumulated by the exposure to the photoelectric conversion element included in the pixel to the sensor control unit 11. And. Further, as described above, the frame refers to a region in the pixel array unit 101 in which a pixel circuit 100 effective for generating a pixel signal is arranged.
- FIG. 5B schematically shows an example of the relationship between imaging and time in the rolling shutter method.
- the vertical axis represents the line position and the horizontal axis represents time.
- the exposure in each line is performed in sequence, so that the timing of exposure in each line shifts in order according to the position of the line, as shown in FIG. 5B. Therefore, for example, when the horizontal positional relationship between the information processing system 1 and the subject changes at high speed, the captured image of the frame 200 is distorted as illustrated in FIG. 5C.
- the image 202 corresponding to the frame 200 is an image tilted at an angle corresponding to the speed and direction of change in the horizontal positional relationship between the information processing system 1 and the subject.
- FIG. 6A is schematic views for explaining line thinning in the rolling shutter method.
- image pickup is performed line by line from the line 201 at the upper end of the frame 200 toward the lower end of the frame 200.
- imaging is performed while skipping lines at predetermined numbers.
- imaging is performed every other line by thinning out one line. That is, after the imaging of the nth line, the imaging of the (n + 2) line is performed. At this time, it is assumed that the time from the imaging of the nth line to the imaging of the (n + 2) line is equal to the time from the imaging of the nth line to the imaging of the (n + 1) line when the thinning is not performed.
- FIG. 6B schematically shows an example of the relationship between imaging and time when one line is thinned out in the rolling shutter method.
- the vertical axis represents the line position and the horizontal axis represents time.
- the exposure A corresponds to the exposure of FIG. 5B without thinning
- the exposure B shows the exposure when one line is thinned.
- image 203 in FIG. 6C the distortion in the tilt direction generated in the image of the captured frame 200 is smaller than that in the case where the line thinning shown in FIG. 5C is not performed.
- the resolution of the image is lower than when line thinning is not performed.
- 7A and 7B are diagrams schematically showing an example of another imaging method in the rolling shutter method.
- line-sequential imaging can be performed from the lower end to the upper end of the frame 200.
- the horizontal direction of the distortion of the image 202 is opposite to that in the case where the images are sequentially imaged in lines from the upper end to the lower end of the frame 200.
- FIG. 7B schematically shows an example in which a rectangular region 205 whose width and height are less than the width and height of the frame 200 is used as the imaging range. In the example of FIG. 7B, imaging is performed from the line 204 at the upper end of the region 205 toward the lower end of the region 205 in a line-sequential manner.
- GS global shutter
- the first and second switches are opened, respectively, and at the end of the exposure, the first switch is opened and closed, and the photoelectric conversion element is used as a capacitor. Transfer the charge to.
- the capacitor is regarded as a photoelectric conversion element, and the electric charge is read from the capacitor in the same sequence as the read operation described in the rolling shutter method. This enables simultaneous exposure in the all-pixel circuit 100 included in the frame 200.
- FIG. 8B schematically shows an example of the relationship between imaging and time in the global shutter method.
- the vertical axis represents the line position and the horizontal axis represents time.
- the global shutter method exposure is performed simultaneously in all the pixel circuits 100 included in the frame 200, so that the exposure timing in each line can be the same as shown in FIG. 8B. Therefore, for example, even when the horizontal positional relationship between the information processing system 1 and the subject changes at high speed, as illustrated in FIG. 8C, the captured image 206 of the frame 200 shows the change. No corresponding distortion occurs.
- the simultaneity of the exposure timing in the all-pixel circuit 100 included in the frame 200 can be ensured. Therefore, by controlling the timing of each pulse supplied by the pixel signal line 106 of each line and the timing of transfer by each vertical signal line VSL, sampling (reading of the pixel signal) in various patterns can be realized.
- FIG. 9A and 9B are diagrams schematically showing an example of a sampling pattern that can be realized in the global shutter method.
- FIG. 9A is an example in which a sample 208 for reading a pixel signal is extracted in a checkered pattern from each of the pixel circuits 100 arranged in a matrix, which is included in the frame 200.
- FIG. 9B is an example of extracting a sample 208 for reading a pixel signal from each pixel circuit 100 in a grid pattern.
- image pickup can be performed in line sequence.
- DNN Deep Neural Network
- CNN Convolutional Neural Network
- RNN Recurrent Neural Network
- CNN (2-3-1. Overview of CNN)
- the image recognition process is performed based on the image information by the pixels arranged in a matrix.
- FIG. 10 is a diagram for schematically explaining the image recognition process by CNN.
- the entire pixel information 51 of the image 50'drawing the number "8", which is the object to be recognized, is processed by the predeterminedly learned CNN 52.
- the number "8" is recognized as the recognition result 53.
- FIG. 11 is a diagram for schematically explaining an image recognition process for obtaining a recognition result from a part of the image to be recognized.
- the image 50' is a partial acquisition of the number "8", which is an object to be recognized, in line units.
- the pixel information 54a, 54b, and 54c for each line forming the pixel information 51'of the image 50' are sequentially processed by the predeterminedly learned CNN 52'.
- the valid recognition result means, for example, a recognition result in which the score indicating the reliability of the recognized result is a predetermined value or higher.
- the reliability means an evaluation value indicating how much the recognition result [T] output by the DNN can be trusted.
- the reliability range is in the range of 0.0 to 1.0, and the closer the value is to 1.0, the less other competitors have a score similar to the recognition result [T]. .. On the other hand, the closer to 0, the more other competing candidates having a score similar to the recognition result [T] appeared.
- the pixel information 54b of the second line is recognized by the CNN 52'where the internal state update 55 has been performed by the previous recognition result 53a.
- a recognition result 53b indicating that the number to be recognized is either “8” or “9” is obtained.
- the internal information of CNN 52' is updated 55.
- the pixel information 54c of the third line is recognized by the CNN 52'where the internal state update 55 has been performed by the previous recognition result 53b. As a result, in FIG. 11, the number to be recognized is narrowed down to “8” out of “8” or “9”.
- the recognition process shown in FIG. 11 updates the internal state of the CNN using the result of the previous recognition process, and the CNN whose internal state is updated is adjacent to the line where the previous recognition process was performed.
- the recognition process is performed using the pixel information of the line to be used. That is, the recognition process shown in FIG. 11 is executed while sequentially updating the internal state of the CNN with respect to the image based on the previous recognition result. Therefore, the recognition process shown in FIG. 11 is a process that is recursively executed in line sequence, and can be considered to have a structure corresponding to RNN.
- FIG. 12A and 12B are diagrams schematically showing an example of identification processing (recognition processing) by DNN when time-series information is not used.
- identification processing recognition processing
- the input processing is performed on the input image, and the identification result is output.
- FIG. 12B is a diagram for explaining the process of FIG. 12A in more detail.
- the DNN performs a feature extraction process and an identification process.
- the feature amount is extracted from the input image by the feature extraction process.
- the identification process is executed on the extracted feature amount, and the identification result is obtained.
- FIGS. 13A and 13B are diagrams schematically showing a first example of identification processing by DNN when time-series information is used.
- the identification process by DNN is performed using a fixed number of past information on the time series.
- the image of the time T [T] the image of the time T-1 before the time T [T-1]
- the identification process is executed for each of the input images [T], [T-1] and [T-2], and the identification result [T] at the time T is obtained. Reliability is given to the identification result [T].
- FIG. 13B is a diagram for explaining the process of FIG. 13A in more detail.
- DNN for each of the input images [T], [T-1] and [T-2], a pair of feature extraction processes described with reference to FIG. 12B described above is performed. 1 is executed, and the feature quantities corresponding to the images [T], [T-1] and [T-2] are extracted.
- each feature amount obtained based on these images [T], [T-1] and [T-2] is integrated, an identification process is executed for the integrated feature amount, and identification at time T is performed. The result [T] is obtained. Reliability is given to the identification result [T].
- FIG. 14A and 14B are diagrams schematically showing a second example of identification processing by DNN when time-series information is used.
- the image [T] of the time T is input to the DNN whose internal state is updated to the state of the time T-1, and the identification result [T] at the time T is obtained. Reliability is given to the identification result [T].
- FIG. 14B is a diagram for explaining the process of FIG. 14A in more detail.
- the feature extraction process described with reference to FIG. 12B described above is executed on the input time T image [T], and the feature amount corresponding to the image [T] is obtained. Extract.
- the internal state is updated by the image before the time T, and the feature amount related to the updated internal state is stored.
- the feature amount related to the stored internal information and the feature amount in the image [T] are integrated, and the identification process is executed for the integrated feature amount.
- the identification process shown in FIGS. 14A and 14B is executed using, for example, a DNN whose internal state has been updated using the immediately preceding identification result, and is a recursive process.
- a DNN that performs recursive processing in this way is called an RNN (Recurrent Neural Network).
- the identification process by RNN is generally used for moving image recognition or the like, and it is possible to improve the identification accuracy by sequentially updating the internal state of the DNN by, for example, a frame image updated in time series. ..
- RNN is applied to the rolling shutter type structure. That is, in the rolling shutter method, the pixel signal is read out in line sequence. Therefore, the pixel signals read out in this line sequence are applied to the RNN as information on the time series. This makes it possible to execute the identification process based on a plurality of lines with a smaller configuration than when CNN is used (see FIG. 13B). Not limited to this, RNN can also be applied to the structure of the global shutter system. In this case, for example, it is conceivable to regard adjacent lines as information on a time series.
- FIG. 15A is a diagram showing an example of reading out all the lines in the image.
- the resolution of the image to be the recognition process is horizontal 640 pixels ⁇ vertical 480 pixels (480 lines).
- the resolution of the image to be the recognition process is horizontal 640 pixels ⁇ vertical 480 pixels (480 lines).
- the resolution of the image to be the recognition process is horizontal 640 pixels ⁇ vertical 480 pixels (480 lines).
- by driving at a drive speed of 14400 [lines / sec] it is possible to output at 30 [fps (frame per second)].
- the read pixel signal When reading out an image line, whether to not thin out, to thin out and increase the drive speed, or to make the drive speed by thinning out the same as when thinning out is performed, for example, the read pixel signal. It can be selected according to the purpose of the recognition process based on.
- FIG. 16 is a schematic diagram for schematically explaining the recognition process according to the present embodiment of the present disclosure.
- the information processing system 1 (see FIG. 1) according to the present embodiment starts imaging the target image to be recognized.
- the target image is, for example, an image in which the number "8" is drawn by hand.
- a learning model learned so that numbers can be identified by predetermined teacher data is stored in advance as a program, and the recognition processing unit 12 reads this program from the memory 13 and executes it. It is assumed that the numbers contained in the image can be identified.
- the information processing system 1 shall perform imaging by the rolling shutter method. Even when the information processing system 1 performs imaging by the global shutter method, the following processing can be applied in the same manner as in the case of the rolling shutter method.
- the information processing system 1 sequentially reads out the frames in line units from the upper end side to the lower end side of the frame in step S2.
- the recognition processing unit 12 identifies the number “8” or “9” from the image of the read line (step S3). For example, since the numbers “8” and “9” include a feature portion common to the upper half portion, when the line is read out in order from the top and the feature portion is recognized, the recognized object is the number "8". It can be identified as any of "9” and "9".
- step S4a the whole picture of the recognized object appears by reading up to the line at the lower end of the frame or the line near the lower end, and as either the number "8" or "9" in step S2. It is determined that the identified object is the number "8".
- steps S4b and S4c are processes related to the present disclosure.
- step S4b the line is further read from the line position read in step S3, and the recognized object is identified as the number "8" even while reaching the lower end of the number "8". It is possible. For example, the lower half of the number "8" and the lower half of the number "9" have different characteristics. By reading the line up to the part where the difference in the characteristics becomes clear, it becomes possible to identify whether the object recognized in step S3 is the number "8" or "9". In the example of FIG. 16, in step S4b, the object is determined to be the number "8".
- step S4c by further reading from the line position of step S3 in the state of step S3, it is possible to determine whether the object identified in step S3 is the number "8" or "9". It is also possible to jump to a line position that is likely to be recognizable. By reading out the line of the jump destination, it is possible to determine whether the object identified in step S3 is the number "8" or "9".
- the line position of the jump destination can be determined based on a learning model learned in advance based on predetermined teacher data.
- the information processing system 1 can end the recognition process. This makes it possible to shorten the recognition process and save power in the information processing system 1.
- the teacher data is data that holds a plurality of combinations of input signals and output signals for each read unit.
- data for each read unit (line data, subsampled data, etc.) is applied as an input signal, and data indicating a "correct number" is applied as an output signal. Can be done.
- data for each read unit (line data, subsampled data, etc.) is applied as an input signal, and an object class (human body / vehicle / non-object) or an object class (human body / vehicle / non-object) is applied as an output signal.
- the coordinates of the object (x, y, h, w) and the like can be applied.
- the output signal may be generated only from the input signal by using self-supervised learning.
- FIG. 17 is a functional block diagram of an example for explaining the functions of the sensor control unit 11 and the recognition processing unit 12 according to the present embodiment.
- the sensor control unit 11 has a reading unit 110.
- the recognition processing unit 12 includes a feature amount calculation unit 120, a feature amount accumulation control unit 121, a read area determination unit 123, a recognition processing execution unit 124, and a reliability calculation unit 125. Further, the reliability calculation unit 125 has a reliability map generation unit 126 and a score correction unit 127.
- the reading unit 110 sets the reading pixels as a part of the pixel array unit 101 (see FIG. 4) in which a plurality of pixels are arranged in a two-dimensional array, and from the pixels included in the pixel area. Controls the reading of the pixel signal of. More specifically, the reading unit 110 receives the reading area information indicating the reading area to be read by the recognition processing unit 12 from the reading area determination unit 123 of the recognition processing unit 12.
- the read area information is, for example, a line number of one or a plurality of lines. Not limited to this, the read area information may be information indicating a pixel position in one line.
- the read area information by combining one or more line numbers and information indicating the pixel positions of one or more pixels in the line as the read area information, it is possible to specify various patterns of read areas.
- the read area is equivalent to the read unit. Not limited to this, the read area and the read unit may be different.
- the reading unit 110 can receive information indicating exposure and analog gain from the recognition processing unit 12 or the visual field processing unit 14 (see FIG. 1).
- the reading unit 110 outputs the input information indicating the exposure and analog gain, the reading area information, and the like to the reliability calculation unit 125.
- the reading unit 110 reads the pixel data from the sensor unit 10 according to the reading area information input from the recognition processing unit 12. For example, the reading unit 110 obtains the line number indicating the line to be read and the pixel position information indicating the position of the pixel to be read in the line based on the reading area information, and obtains the obtained line number and the pixel position information. Is output to the sensor unit 10. The reading unit 110 outputs each pixel data acquired from the sensor unit 10 to the reliability calculation unit 125 together with the reading area information.
- the reading unit 110 sets the exposure and analog gain (AG) for the sensor unit 10 according to the information indicating the supplied exposure and analog gain. Further, the reading unit 110 can generate a vertical synchronization signal and a horizontal synchronization signal and supply them to the sensor unit 10.
- the read area determination unit 123 receives read information indicating the read area to be read next from the feature amount accumulation control unit 121.
- the read area determination unit 123 generates read area information based on the received read information and outputs the read area information to the read unit 110.
- the read area determination unit 123 may use, for example, information in which the read position information for reading the pixel data of the read unit is added to a predetermined read unit as the read area shown in the read area information.
- the read unit is a set of one or more pixels, and is a unit of processing by the recognition processing unit 12 and the visual recognition processing unit 14. As an example, if the read unit is a line, a line number [L # x] indicating the position of the line is added as the read position information. If the reading unit is a rectangular region including a plurality of pixels, information indicating the position of the rectangular region in the pixel array unit 101, for example, information indicating the position of the pixel in the upper left corner is added as the reading position information.
- the read area determination unit 123 specifies in advance the read unit to be applied. Further, in the global shutter method, the read area determination unit 123 can include the position information of the subpixel in the read area when reading the subpixel. Not limited to this, the read area determination unit 123 can also determine the read unit, for example, in response to an instruction from the outside of the read area determination unit 123. Therefore, the read area determination unit 123 functions as a read unit control unit that controls the read unit.
- the read area determination unit 123 may determine a read area to be read next based on the recognition information supplied from the recognition process execution unit 124, which will be described later, and generate read area information indicating the determined read area. can.
- the feature amount calculation unit 120 calculates the feature amount in the area shown in the read area information based on the pixel data and the read area information supplied from the read unit 110.
- the feature amount calculation unit 120 outputs the calculated feature amount to the feature amount accumulation control unit 121.
- the feature amount calculation unit 120 may calculate the feature amount based on the pixel data supplied from the reading unit 110 and the past feature amount supplied from the feature amount accumulation control unit 121. Not limited to this, the feature amount calculation unit 120 may acquire information for setting exposure and analog gain from, for example, the reading unit 110, and may further use the acquired information to calculate the feature amount.
- the feature amount accumulation control unit 121 stores the feature amount supplied from the feature amount calculation unit 120 in the feature amount storage unit 122. Further, when the feature amount is supplied from the feature amount calculation unit 120, the feature amount accumulation control unit 121 generates read information indicating a read area for the next read and outputs the read information to the read area determination unit 123.
- the feature amount accumulation control unit 121 can integrate and accumulate the already accumulated feature amount and the newly supplied feature amount. Further, the feature amount storage control unit 121 can delete unnecessary feature amounts from the feature amounts stored in the feature amount storage unit 122.
- the unnecessary feature amount may be, for example, a feature amount related to the previous frame, a feature amount calculated based on a frame image of a scene different from the frame image in which the new feature amount is calculated, and an already accumulated feature amount. Further, the feature amount storage control unit 121 can also delete and initialize all the feature amounts stored in the feature amount storage unit 122 as needed.
- the feature amount accumulation control unit 121 is used by the recognition processing execution unit 124 for recognition processing based on the feature amount supplied from the feature amount calculation unit 120 and the feature amount accumulated in the feature amount storage unit 122. Generate features.
- the feature amount accumulation control unit 121 outputs the generated feature amount to the recognition processing execution unit 124.
- the recognition process execution unit 124 executes the recognition process based on the feature amount supplied from the feature amount accumulation control unit 121.
- the recognition processing execution unit 124 performs object detection, face detection, and the like by recognition processing.
- the recognition processing execution unit 124 outputs the recognition result obtained by the recognition processing to the output control unit 15 and the reliability calculation unit 125.
- the recognition result includes information on the detection score.
- the detection score according to this embodiment corresponds to the reliability.
- the recognition process execution unit 124 can also output the recognition information including the recognition result generated by the recognition process to the read area determination unit 123.
- the recognition process execution unit 124 can receive the feature amount from the feature amount accumulation control unit 121 and execute the recognition process based on the trigger generated by the trigger generation unit (not shown), for example.
- FIG. 18A is a block diagram showing the configuration of the reliability map generation unit 126.
- the reliability map generation unit 126 generates a reliability correction value for each pixel.
- the reliability map generation unit 126 includes a read count accumulation unit 126a, a read count acquisition unit 126b, an integration time setting unit 126c, and a read area map generation unit 126e.
- a two-dimensional layout diagram of the correction value of the reliability for each pixel is referred to as a reliability map.
- the representative value of the correction value in the recognition rectangle and the multiplication value of the reliability in the recognition rectangle are set as the final reliability.
- the read count storage unit 126a stores the read count for each pixel in the storage unit 126b together with the read time.
- the read count storage unit 126a can integrate the read count for each pixel already stored in the storage unit 126b and the read count for each newly supplied pixel to obtain the read count for each pixel.
- FIG. 18B is a diagram schematically showing that the number of times of reading line data differs depending on the section (time) to be integrated.
- the horizontal axis indicates time, and an example of line reading in a quarter period section (time) is schematically shown.
- the line data in one cycle section (time) is the range of all image data.
- the number of line data in 1/4 cycle is 1/4 of 1 cycle.
- the integration time is one-fourth of one cycle
- the number of line data is, for example, two lines in FIG. 18B.
- the integration time is two-quarters of one cycle
- the number of line data is, for example, four lines in FIG.
- the integration time setting unit 126c supplies a signal including information on the section (time) to be integrated to the read count acquisition unit 126d.
- FIG. 18C is a diagram showing an example in which the read position of the line data is adaptively changed according to the recognition result of the recognition processing execution unit 124 shown in FIG.
- line data is sequentially read out while thinning out.
- “8" or "0” is found in the middle, as shown in the right figure, "8" or "0” is read back only where it is likely to be distinguished.
- the concept of period does not exist. Even when such a cycle does not exist, the number of times the line data is read differs depending on the section (time) to be integrated. Therefore, the integration time setting unit 126c supplies a signal including information on the section (time) to be integrated to the read count acquisition unit 126d.
- the read count acquisition unit 126d acquires the read count for each pixel in each acquisition section from the read count storage unit 126a.
- the read count acquisition unit 126d supplies the integrated time (integrated section) supplied from the integrated time setting unit 126c and the read count for each pixel in each acquired section to the read area map generation unit 126e.
- the read count acquisition unit 126d reads the read count for each pixel from the read count storage unit 126a according to the trigger generated by the trigger generation unit (not shown), reads it together with the integration time, and reads out the read area map generation unit 126e. Can be supplied.
- the read area map generation unit 126e generates a correction value of reliability for each pixel based on the number of reads for each pixel for each acquisition section and the integration time. The details of the read area map generation unit 126e will be described later.
- the score correction unit 127 calculates, for example, the multiplication value of the representative value of the correction value in the recognition rectangle and the reliability in the recognition rectangle as the final reliability.
- a two-dimensional layout diagram of the correction value of the reliability for each pixel is referred to as a reliability map.
- the score correction unit 127 outputs the corrected reliability to the output control unit 15 (see FIG. 1).
- FIG. 19 is a schematic diagram showing in more detail an example of processing in the recognition processing unit 12 according to the present embodiment.
- the read area is a line
- the read unit 110 reads pixel data in line units from the upper end to the lower end of the frame of the image 60.
- FIG. 20 is a schematic diagram for explaining the reading process of the reading unit 110.
- the reading unit is a line, and pixel data is read out in line order with respect to the frame Fr (x).
- the lines L # 2, L # 3, ... And the lines are read out sequentially from the line L # 1 at the upper end of the frame Fr (m).
- the lines are similarly read out in order from the uppermost line L # 1.
- the line L # 1 is the first line from the top
- the line L # 2 line L # 2 is the fourth line from the top
- the line L is the line data.
- Line data may be read out every 3 lines such as the 8th line from the top of # 3.
- line data is read out every three lines, such as line L # 1 as the first line from the top, line L # 2 as the fourth line from the top, and line L # 3 as the eighth line from the top. May be good.
- the line L # 1 is the first line from the top
- the line L # 2 line L # 2 is the third line from the top
- Line data may be read out every other line such as the fifth line from the top of L # 3.
- the line image data (line data) of the line L # x read in line units is input to the reading unit 110 to the feature amount calculation unit 120. Further, the information of the line L # x read in line units, that is, the read area information is supplied to the reliability map generation unit 126.
- the feature amount extraction process 1200 and the integrated process 1202 are executed.
- the feature amount calculation unit 120 performs the feature amount extraction process 1200 on the input line data, and extracts the feature amount 1201 from the line data.
- the feature amount extraction process 1200 extracts the feature amount 1201 from the line data based on the parameters obtained by learning in advance.
- the feature amount 1201 extracted by the feature amount extraction process 1200 is integrated with the feature amount 1212 processed by the feature amount accumulation control unit 121 by the integrated process 1202.
- the integrated feature amount 1210 is passed to the feature amount accumulation control unit 121.
- the feature amount accumulation control unit 121 executes the internal state update process 1211.
- the feature amount 1210 passed to the feature amount accumulation control unit 121 is passed to the recognition processing execution unit 124 and is subjected to the internal state update processing 1211.
- the internal state update process 1211 reduces the feature amount 1210 based on the parameters learned in advance, updates the internal state of the DNN, and generates the feature amount 1212 related to the updated internal state.
- the feature amount 1212 is integrated with the feature amount 1201 by the integration process 1202.
- the processing by the feature amount accumulation control unit 121 corresponds to the processing using the RNN.
- the recognition process execution unit 124 executes the recognition process 1240 based on the parameters learned in advance using, for example, predetermined teacher data for the feature amount 1210 passed from the feature amount accumulation control unit 121, and executes the recognition process 1240, and recognizes the recognition area and the reliability. Outputs the recognition result including the degree information.
- the feature amount extraction processing 1200, the integrated processing 1202, the internal state update processing 1211, and the recognition processing 1240 are processed based on the parameters learned in advance. Is executed. Parameter learning is performed using, for example, teacher data based on an assumed recognition target.
- the reliability map generation unit 126 of the reliability calculation unit 125 uses, for example, the information of the line L # x read in line units based on the read area information and the integrated time information, and corrects the reliability for each pixel. Is calculated.
- FIG. 21 is a diagram showing areas L20a and L20b (effective areas) read out in line units and areas L22a and L22b (invalid areas) not read out.
- the area where the image information is read is referred to as an effective area, and the area where the image information is not read is referred to as an invalid area.
- the read area map generation unit 126e of the reliability map generation unit 126 generates the ratio of the effective area to the entire image area as a screen average.
- FIG. 21A shows a case where the area of the region L20a read out in line units by a quarter cycle is one quarter of the entire image.
- FIG. 21B shows a case where the area of the region L20b read out in line units by a quarter cycle is one half of the entire image.
- the area map generation unit 126e generates a quarter of the effective area with respect to the entire image area as the screen average for FIG. 21A.
- the readout area map generation unit 126e generates half of the effective area with respect to the entire image area as the screen average for FIG. 21B.
- the read area map generation unit 126e can calculate the screen average by using the information of the effective area and the information of the invalid area.
- the read area map generation unit 126e can also calculate the screen average by filtering processing.
- the value of the pixel in the area L20a is set to 1
- the value of the pixel in the area L22a is set to 0, and the smoothing calculation process is performed on the pixel values in the entire area of the image.
- this smoothing calculation process is a filtering process for reducing high frequency components.
- the vertical size of the filter is set to the vertical length of the effective area + the vertical length of the invalid area.
- the vertical length of the invalid region is 12 pixels and the vertical length of the effective region is 3 pixels.
- the vertical size of the filter is a length corresponding to 16 pixels. In the vertical size of this filter, the result of the filtering process is calculated as a quarter of the screen average regardless of the horizontal size.
- the vertical length of the effective region is 3 pixels and the vertical length of the invalid region is 3 pixels.
- the vertical size of the filter is a length corresponding to 6 pixels. In the vertical size of this filter, the result of the filtering process is calculated as one half of the screen average regardless of the horizontal size.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A20a for the recognition area A20a based on the representative value of the correction value in the recognition area A20a.
- the representative value it is possible to use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the recognition area A20a.
- the representative value is set to 1/4 which is the average value of the correction values in the recognition area A20a. In this way, the score correction unit 127 can use the screen average of the read screen for the calculation of the reliability.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A20b for the recognition area A20b based on the representative value of the correction value in the recognition area A20b. For example, the average value of the correction values in the recognition area A20b is halved. As a result, the reliability corresponding to the recognition area A20a is corrected based on a quarter, and the reliability corresponding to the recognition area A20a is corrected based on a half. In the present embodiment, the value obtained by multiplying the representative value of the correction value in the recognition area A20b by the reliability corresponding to A20b is used as the final reliability. It should be noted that a function having a non-linear input / output relationship may be used, and the output value after performing a function operation using a representative value as an input may be multiplied by the reliability.
- the read areas L20a and L20b and the unread areas L22a and L22b are generated by the sensor control. Therefore, it is different from the general recognition process of reading out pixels in the entire area. As a result, if the regions L20a and L20b in which the general reliability is read out and the regions L22a and L22b in which the general reliability is not read out are generated, the accuracy of the reliability may decrease.
- the correction values for each pixel corresponding to the areas L20a and L20b / (read areas L20a and L20b + unread areas L22a and L22b) read by the reliability map generation unit 126 are averaged on the screen. Calculate as. Then, the score correction unit 127 corrects the reliability based on the correction value, so that more accurate reliability can be calculated.
- the functions of the feature amount calculation unit 120, the feature amount accumulation control unit 121, the read area determination unit 123, the recognition processing execution unit 124, and the reliability calculation unit 125 are, for example, the memory 13 included in the information processing system 1. It is realized by loading and executing the program stored in.
- the line reading is performed from the upper end side to the lower end side of the frame, but this is not limited to this example. For example, it may be performed from the left end side to the right end side. Alternatively, it may be performed from the right end side to the left end side.
- FIG. 22 is a diagram showing areas L21a and L21b read out in line units and areas L23a and L23b not read out from the left end side to the right end side.
- FIG. 22A shows a case where the area of the region L21a read out in line units is one-fourth of the entire image.
- FIG. 22B shows a case where the area of the region L21b read out in line units is half of the entire image.
- the read area map generation unit 126e of the reliability map generation unit 126 generates a quarter of the ratio of the effective area to the entire image area as the screen average with respect to FIG. 22A. Similarly, the area map generation unit 126e generates half of the ratio of the effective area to the entire image area as the screen average for FIG. 21B.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A21a for the recognition area A21a based on the representative value of the correction value in the recognition area A21a. For example, it is set to 1/4 which is the average value of the correction values in the recognition area A21a.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A21b for the recognition area A21b based on the representative value of the correction value in the recognition area A21b. For example, the average value of the correction values in the recognition area A21b is halved.
- FIG. 23 is a diagram schematically showing an example of reading in line units from the left end side to the right end side.
- the above figure shows the area read out and the area not read out.
- the area ratio where the line data exists is one-fourth
- the area ratio where the line data exists is one-half. That is, this is an example in which the line data read area is adaptively changed by the recognition processing execution unit 124.
- the figure below is a reliability map generated by the read area map generation unit 126e.
- the read area map is a diagram showing a two-dimensional distribution of reliability correction values based on the read data area.
- the correction value is indicated by the shade value.
- the readout area map generation unit 126e allocates 1 to the effective area and 0 to the image invalid area as described above. Then, the readout area map generation unit 126e performs, for example, smoothing calculation processing on the entire image for each for example, a rectangular range centered on the pixel, and generates an area map.
- the rectangular range is a range of 5 ⁇ 5 pixels. Due to such processing, in FIG.
- the correction value of each pixel becomes about 1/4 in the area where the area ratio is 1/4.
- the correction value of each pixel is about halved, although there is a variation depending on the pixel position.
- the predetermined range is not limited to a rectangle, and may be, for example, an ellipse or a circle. Further, in the present embodiment, a predetermined value is allocated to the effective area and the invalid area, and the image obtained by the smoothing calculation process is referred to as an area map.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A21b for the recognition area A23a based on the representative value of the correction value in the recognition area A21b.
- the representative value is set to 1/4 which is the average value of the correction values in the recognition area A23ab.
- the reliability corresponding to the recognition area A21b is corrected based on the representative value of the correction value in the recognition area A23b.
- the representative value is halved, which is the average value of the correction values in the recognition area A23b.
- FIG. 24 is a diagram schematically showing the value of the reliability map when the read area changes in the recognition area A24.
- the value of the reliability map also changes in the recognition area A24.
- the score correction unit 127 weights the value of the most frequent value in the recognition area A24, the value of the center of the recognition area A24, and the distance from the center of the recognition area A24 as representative values in the recognition area A24. It may be an integrated value with a mark.
- FIG. 25 is a diagram schematically showing an example in which the read range of line data is limited. As shown in FIG. 25, the read range of the line data may be changed for each read timing. In this case as well, the read area map generation unit 126e can generate a reliability map by the same method as described above.
- FIG. 26 is a diagram schematically showing an example of identification processing (recognition processing) by DNN when time-series information is not used.
- identification processing recognition processing
- one image is subsampled and input to DNN.
- the input processing is performed on the input image, and the identification result is output.
- FIG. 27A is a diagram showing an example in which one image is subsampled in a grid pattern. Even when the entire image is subsampled in this way, the readout area map generation unit 126e can generate a reliability map by using the ratio of the number of sampled pixels to the total number of pixels. In this case, the score correction unit 127 corrects the recognition area A26 with respect to the reliability corresponding to the recognition area A26 based on the representative value of the correction value in the recognition area A26.
- FIG. 27B is a diagram showing an example in which one image is subsampled in a checkered pattern. Even when the entire image is subsampled in this way, the readout area map generation unit 126e can generate a reliability map by using the ratio of the number of sampled pixels to the total number of pixels. In this case, the score correction unit 127 corrects the recognition area A27 with the reliability corresponding to the recognition area A27 based on the representative value of the correction value in the recognition area A27.
- FIG. 28 is a diagram schematically showing the case where the reliability map is used for a transportation system, for example, a moving body.
- the figure is a figure which shows the average value of the read area by shading. The density indicated by "0" has an average value of read acquaintance of 0, and the density indicated by "1/2" has an average value of read acquaintance of 1/2.
- Figures (b) and (c) are examples of using a readout area map as a reliability map.
- the correction value in the right region of the figure is lower than the correction value in the right region of the figure (c).
- the reliability map when using the reliability map, the area on the right side of the camera has a low correction value and low reliability, so change the course to the right side of the camera in consideration of the possibility that an object is on the right side of the camera. You can stop on the spot without doing it.
- the reliability detection score (original reliability) x correction value based on the read area. If the urgency is low (for example, if there is no immediate possibility of collision), the reliability (corrected value based on the read area) is low, even if the detection score is high. , It becomes possible to judge that there is no object there. If the urgency is high (for example, if there is a possibility of an immediate collision), the high detection score means that the reliability (corrected value based on the read area) is low. However, it is possible to determine that there is an object there. In this way, by using the reliability map, it is possible to control moving objects such as cars more safely.
- FIG. 29 is a flowchart showing the processing flow of the reliability calculation unit 125.
- a processing example in the case of line data will be described.
- the read count storage unit 126a acquires the read area information including the read line number information from the read unit 110 (step S100), and stores the read pixel and time information in the storage unit 126b for each pixel. (Step S102).
- the read count acquisition unit 126d determines whether or not the map generation trigger signal has been input (step S104). If it is not input (No in step S104), the process from step S100 is repeated. On the other hand, when input (Yes in step S104), the read count acquisition unit 126d acquires the read count of each pixel within the time corresponding to the integration time, for example, a quarter cycle, from the read count storage unit 126a. (Step S106).
- the number of times each pixel is read out within the time corresponding to the quarter cycle is set to one. For example, the pixel may be read out several times within the time corresponding to the quarter cycle, and this case will be described later.
- the read area map generation unit 126e generates a correction value indicating the ratio of the read area for each pixel (step S108). Subsequently, the read area map generation unit 126e outputs the arrangement data of the two-dimensional correction values to the output control unit 15 as a reliability map.
- the score correction unit 127 acquires the detection score for the rectangular region (for example, the recognition region A20a of Zu 21), that is, the reliability from the recognition processing execution unit 124 (step S110).
- the score correction unit 127 acquires a representative value of the correction value in the rectangular area (for example, the recognition area A20a of Zu 21) (step S112).
- the representative value it is possible to use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the recognition area A20a.
- the score correction unit 127 updates the detection score based on the detection score and the representative value (step S114), outputs it as the final reliability, and ends the whole process.
- the regions L20a and L20b / (read regions L20a and L20b + non-read regions L22a and L22b) read by the reliability map generation unit 126 (FIG. 21) are supported. Calculate the correction value of the reliability for each pixel. Then, the score correction unit 127 corrects the reliability based on the correction value, so that more accurate reliability can be calculated. As a result, even when the read areas L20a and L20b and the unread areas L22a and L22b are generated by the sensor control, the corrected reliability value can be uniformly processed, so that the recognition process can be performed. The recognition accuracy can be further improved.
- the information processing system 1 according to the first embodiment is capable of calculating the range for calculating the correction value of the reliability based on the receptive field of the feature amount. Is different from. Hereinafter, the differences from the information processing system 1 according to the first embodiment will be described.
- FIG. 30 is a schematic diagram showing the relationship between the feature amount and the receptive field.
- the receptive field refers to the range of the input image referred to when calculating one feature, in other words, the range of the input image seen by one feature.
- the receptive field R30 in the image A312 corresponding to the feature amount region AF30 in the recognition region A30 in the image A312 and the receptive field R32 in the image A312 corresponding to the feature amount region AF32 in the recognition region A32 are shown.
- the feature amount of the feature amount region AF30 is used as the feature amount corresponding to the recognition area A30.
- the range in the image A312 used for calculating the feature amount corresponding to the recognition area A30 is referred to as a receptive field R30.
- the range in the image A312 used to calculate the feature quantity corresponding to the knowledge area A32 corresponds to the receptive field R32.
- FIG. 31 is a diagram schematically showing the recognition regions A30 and A32 and the receptive fields R30 and R32 in the reliability map.
- the score correction unit 127 according to the first modification is different from the score correction unit 127 according to the first embodiment in that it is possible to calculate a representative value of the correction value using the information of the receptive fields R30 and R32.
- the average value of the read areas may be different. In order to more accurately reflect the influence of the read region, it is desirable to use the range of the receptive field R30 used for calculating the feature quantity.
- the score correction unit 127 corrects, for example, the detection score of the recognition region A30 by using the representative value of the correction value in the receptive field R30.
- the score correction unit 127 can use a statistical value such as the mode of the correction value in the receptive field R30 as a representative value. Then, the score correction unit 127 multiplies the representative value in the receptive field R30 by, for example, the detection score of the recognition region A30, and updates the detection score. The detected score after this update is used as the final reliability.
- the score correction unit 127 can use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the receptive field R32 as representative values. Then, the score correction unit 127 multiplies the detection score in the recognition area A30 by, for example, the representative value in the receptive field R32, and updates the detection score.
- the reliability of the recognition area A30 is updated to be higher than the reliability of the recognition area A32.
- the reliability of the updated recognition area A30 and the recognition after the update is the same. In this way, by considering the range of the receptive fields R30 and R3, the reliability may be updated with higher accuracy.
- FIG. 32 is a diagram schematically showing the degree of contribution to the feature amount in the recognition area A30.
- the shading in the receptive field R30 in the right figure indicates a weighted value that reflects the contribution of the feature amount in the recognition region A30 (see FIG. 31) to the recognition processing. The higher the concentration, the higher the contribution.
- the score correction unit 127 may use such a weighted value to integrate the correction values in the receptive field R30 and use them as representative values. Since the degree of contribution to the feature amount is reflected, the accuracy of the reliability of the recognition area A30 after the update is further improved.
- the information processing system 1 according to the second modification of the first embodiment is a case where semantic segmentation is performed as a recognition task.
- Semantic segmentation is a recognition method that associates (assigns, sets, and classifies) labels and categories for every pixel in an image according to the characteristics of that pixel and surrounding pixels, for example. It is performed by deep learning using a neural network. Because semantic segmentation allows you to recognize a collection of pixels that form the same label or category based on the labels and categories associated with each pixel, and to divide the image into multiple areas at the pixel level. , It is possible to detect an object with an irregular shape by clearly distinguishing it from the surrounding objects.
- performing a semantic segmentation task on a typical roadway landscape will include vehicles, pedestrians, signs, roadways, sidewalks, traffic lights, skies, roadside trees, guardrails, and other objects in their respective categories in the image. It can be classified and recognized by each.
- the labels of this classification, the types of categories, and the number of categories can be changed according to the data set used for training and individual settings. For example, it may vary depending on the purpose and device performance, such as when it is executed with only two labels or categories of people and background, or when it is executed with multiple labels and categories as described above.
- the differences from the information processing system 1 according to the first embodiment will be described.
- FIG. 33 is a schematic diagram in which an image is subjected to recognition processing by general semantic segmentation.
- a semantic segmentation process is executed for the entire image, so that the corresponding label or category is set for each pixel, and the image is pixel-level by the set of pixels that form the same label or category. It is divided into multiple areas.
- the reliability of the set label or category is generally output for each pixel.
- the average value of the reliability of each set of pixels is calculated, and that is used as the reliability of the set of pixels for each set of pixels.
- One reliability may be calculated.
- the median value may be used.
- the score correction unit 127 corrects the reliability with respect to the reliability calculated by the processing of general semantic segmentation. That is, correction based on the read area (screen average) occupied in the image, correction based on the representative value of the correction value in the recognition area, reliability map (map integration unit 126j, read area map generation unit 126e, read frequency map generation unit 126f, Correction by the multiple exposure map generation unit 126g and the dynamic range map generation unit 126h) and correction using the receiving field are performed.
- the reliability is calculated with higher accuracy by calculating the corrected reliability by applying the present invention to the recognition process by semantic segmentation. It can be performed.
- the information processing system 1 according to the second embodiment is different from the information processing system 1 according to the first embodiment in that the correction value of the reliability can be calculated based on the reading frequency of the pixels.
- the differences from the information processing system 1 according to the first embodiment will be described.
- FIG. 34 is a block diagram of the reliability map generation unit 126 according to the second embodiment. As shown in FIG. 34, the reliability map generation unit 126 further includes a read frequency map generation unit 126f.
- FIG. 35 is a diagram schematically showing the relationship between the recognition area A36 and the line data L36a.
- the upper figure shows the line data L36a and the non-reading area L36b, and the lower figure shows the reliability map.
- it is a read frequency map.
- the figure (a) shows the number of times of reading the line data L36a once
- the figure (b) shows the number of times of reading twice
- the figure (c) shows the number of times of reading three times
- the figure (d) shows the number of times of reading four times. ..
- the read frequency map generation unit 126f performs smoothing calculation processing of the appearance frequency of pixels in the entire area of the image. For example, this smoothing calculation process is a filtering process for reducing high frequency components.
- smoothing calculation processing is performed on the entire image for each for example, a rectangular range centered on a pixel.
- the rectangular range is a range of 5 ⁇ 5 pixels.
- the correction value of each pixel is about half, although there is a variation depending on the pixel position.
- FIG. 35 (b) shows once in the area where the line data L36a is read
- FIG. 35 (c) shows 3/2 times in the area where the line data L36a is read.
- two times are shown in the area where the line data L36a is read.
- the reading frequency is 0.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A36 for the recognition area A36 based on the representative value of the correction value in the recognition area A36.
- the representative value it is possible to use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the recognition area A36.
- the reliability map generation unit 126 performs a smoothing calculation process of the appearance frequency of pixels within a predetermined range centered on the pixels on the entire image area, and all the images. Calculate the correction value of the reliability for each pixel in the area. Then, since the score correction unit 127 corrects the reliability based on the correction value, it is possible to calculate the reliability with higher accuracy reflecting the reading frequency of the pixels. As a result, even when there is a difference in the pixel readout frequency, the corrected reliability value can be processed in a unified manner, so that the recognition accuracy of the recognition process can be further improved.
- the information processing system 1 according to the third embodiment is different from the information processing system 1 according to the first embodiment in that the correction value of the reliability can be calculated based on the number of exposures of the pixels.
- the differences from the information processing system 1 according to the first embodiment will be described.
- FIG. 36 is a block diagram of the reliability map generation unit 126 according to the third embodiment. As shown in FIG. 36, the reliability map generation unit 126 further includes a multiple exposure map generation unit 126g.
- FIG. 37 is a diagram schematically showing the relationship with the exposure frequency of the line data L36a.
- the upper figure shows the line data L36a and the non-reading area L36b, and the lower figure shows the reliability map. Here, it is a multiple exposure map.
- the figure (a) shows the number of exposures of the line data L36a twice
- the figure (b) shows the number of exposures four times
- the figure (c) shows the number of exposures six times.
- the readout frequency map generation unit 126f performs a smoothing calculation process for the number of exposures of pixels within a predetermined range centered on the pixel for the entire image area, and calculates a correction value for the reliability of each pixel in the entire image area. ..
- this smoothing calculation process is a filtering process for reducing high frequency components.
- a predetermined range for performing smoothing calculation processing is a rectangular range corresponding to a 5 ⁇ 5 pixel range.
- the correction value of each pixel is about half, although there is a variation depending on the pixel position.
- the number of exposures is one in the region where the line data L36a is read
- the number of exposures is shown in the region where the line data L36a is read. It shows 3/2 times
- the reading frequency is 0.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A36 for the recognition area A36 based on the representative value of the correction value in the recognition area A36.
- the representative value it is possible to use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the recognition area A36.
- the reliability map generation unit 126 performs smoothing calculation processing of the number of exposures of pixels within a predetermined range centered on the pixels for all image areas. Calculate the correction value of the reliability for each pixel in the area. Then, since the score correction unit 127 corrects the reliability based on the correction value, it is possible to calculate the reliability with higher accuracy reflecting the number of exposures of the pixels. As a result, even when there is a difference in the number of pixel exposures, the corrected reliability value can be processed in a unified manner, so that the recognition accuracy of the recognition process can be further improved.
- the information processing system 1 according to the fourth embodiment is different from the information processing system 1 according to the first embodiment in that the correction value of the reliability can be calculated based on the dynamic range of the pixels.
- the differences from the information processing system 1 according to the first embodiment will be described.
- FIG. 38 is a block diagram of the reliability map generation unit 126 according to the fourth embodiment. As shown in FIG. 38, the reliability map generation unit 126 further includes a dynamic range map generation unit 126h.
- FIG. 39 is a diagram schematically showing the relationship between the line data L36a and the dynamic range.
- the upper figure shows the line data L36a and the non-reading area L36b, and the lower figure shows the reliability map.
- it is a dynamic range map.
- the figure (a) has a dynamic range of 40db in the line data L36a
- the figure (b) has a dynamic range of 80db
- the figure (c) has a dynamic range of 120db.
- the dynamic range map generation unit 126h performs a pixel dynamic range smoothing calculation process for the entire image area within a predetermined range centered on the pixel, and calculates a correction value for the reliability of each pixel in the entire image area. ..
- this smoothing calculation process is a filtering process for reducing high frequency components.
- a predetermined range for performing smoothing calculation processing is a rectangular range corresponding to a 5 ⁇ 5 pixel range.
- the correction value of each pixel is about 20 although there is a variation depending on the pixel position.
- the number of exposures is 40 in the region where the line data L36a is read
- 80 is shown in the region where the line data L36a is read.
- the reading frequency is 0.
- the dynamic range map generation unit 126h normalizes the value of the correction value, for example, in the range of 0.0 to 1.0.
- the score correction unit 127 corrects the reliability corresponding to the recognition area A36 for the recognition area A36 based on the representative value of the correction value in the recognition area A36.
- the representative value it is possible to use statistical values such as an average value, an intermediate value, and a mode value of the correction values in the recognition area A36.
- the reliability map generation unit 126 performs smoothing calculation processing of the dynamic range of the pixels within a predetermined range centered on the pixels for all the images. Calculate the correction value of the reliability for each pixel in the area. Then, since the score correction unit 127 corrects the reliability based on the correction value, it is possible to calculate the reliability with higher accuracy reflecting the dynamic range of the pixel. As a result, even when a difference occurs in the dynamic range of the pixels, the corrected reliability value can be processed in a unified manner, so that the recognition accuracy of the recognition process can be further improved.
- the information processing system 1 according to the fifth embodiment is different from the information processing system 1 according to the first embodiment in that it has a map integration unit that integrates correction values of various reliabilitys.
- a map integration unit that integrates correction values of various reliabilitys.
- FIG. 40 is a block diagram of the reliability map generation unit 126 according to the fifth embodiment. As shown in FIG. 40, the reliability map generation unit 126 further includes a map integration unit 126j. The map integration unit 126j can integrate the output values of the readout area map generation unit 126e, the readout frequency map generation unit 126f, the multiple exposure map generation unit 126g, and the dynamic range map generation unit 126h.
- the map integration unit 126j multiplies each correction value for each pixel and integrates the correction values as shown in the equation (1).
- rel_map1 indicates a correction value of each pixel output by the readout area map generation unit 126e
- rel_map2 indicates a correction value of each pixel output by the readout frequency map generation unit 126f
- rel_map3 indicates a correction value of each pixel output by the multiple exposure map generation unit 126g.
- the correction value of each output pixel is shown
- rel_map4 shows the correction value of each pixel output by the dynamic range map generation unit 126h. In the case of multiplication, if any of the correction values is 0, the integrated correction value rel_map becomes 0, and the recognition process swayed to the safer side becomes possible.
- the map integration unit 126j weights and adds each correction value for each pixel, and integrates the correction values as shown in the equation (2).
- coef1, coef2, coef3, and coef4 indicate weighting coefficients.
- the correction value is weighted and added, it is possible to obtain the integrated correction value rel_map according to the contribution of each correction value.
- the correction value based on the value of a different type of sensor such as a depth sensor may be integrated into the value of rel_map.
- the map integration unit 126j is the output value of the read area map generation unit 126e, the read frequency map generation unit 126f, the multiple exposure map generation unit 126g, and the dynamic range map generation unit 126h.
- the map integration unit 126j is the output value of the read area map generation unit 126e, the read frequency map generation unit 126f, the multiple exposure map generation unit 126g, and the dynamic range map generation unit 126h.
- the map integration unit 126j is the output value of the read area map generation unit 126e, the read frequency map generation unit 126f, the multiple exposure map generation unit 126g, and the dynamic range map generation unit 126h.
- the map integration unit 126j is the output value of the read area map generation unit 126e, the read frequency map generation unit 126f, the multiple exposure map generation unit 126g, and the dynamic range map generation unit 126h.
- FIG. 41 is a diagram showing a usage example using the information processing apparatus 2 according to the first to fifth embodiments. In the following, when it is not necessary to make a distinction, the information processing apparatus 2 will be used as a representative for the description.
- the information processing device 2 described above can be used in various cases where, for example, as shown below, light such as visible light, infrared light, ultraviolet light, and X-ray is sensed and recognition processing is performed based on the sensing result. can.
- -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
- in-vehicle sensors that photograph the front, rear, surroundings, inside of the vehicle, etc., monitoring cameras that monitor traveling vehicles and roads, inter-vehicle distance, etc.
- a device used for traffic such as a distance measuring sensor that measures the distance.
- -A device used for home appliances such as TVs, refrigerators, and air conditioners in order to take a picture of a user's gesture and operate the device according to the gesture.
- -Devices used for medical treatment and healthcare such as endoscopes and devices that perform angiography by receiving infrared light.
- -Devices used for security such as surveillance cameras for crime prevention and cameras for person authentication.
- -Apparatus used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
- -Devices used for sports such as action cameras and wearable cameras for sports applications.
- -Agricultural equipment such as cameras for monitoring the condition of fields and crops.
- the technology according to the present disclosure (6-2. Application example to mobile body)
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
- FIG. 42 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
- the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 has a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
- the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
- the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
- the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
- the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
- the out-of-vehicle information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
- the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
- the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects the in-vehicle information.
- a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
- the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether or not the driver has fallen asleep.
- the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
- a control command can be output to 12010.
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
- the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
- the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
- FIG. 43 is a diagram showing an example of the installation position of the image pickup unit 12031.
- the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, and 12105 as image pickup units 12031.
- the image pickup units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
- the image pickup unit 12101 provided in the front nose and the image pickup section 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
- the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
- the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
- the images in front acquired by the image pickup units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 43 shows an example of the shooting range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- the imaging range 12114 indicates the imaging range.
- the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
- At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
- the microcomputer 12051 has a distance to each three-dimensional object within the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
- At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
- pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
- the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
- the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
- the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
- the technique according to the present disclosure can be applied to the image pickup unit 12031 and the vehicle exterior information detection unit 12030 among the configurations described above.
- the sensor unit 10 of the information processing device 1 is applied to the image pickup unit 12031
- the recognition processing unit 12 is applied to the vehicle exterior information detection unit 12030.
- the recognition result output from the recognition processing unit 12 is passed to the integrated control unit 12050 via, for example, the communication network 12001.
- the technique according to the present disclosure to the image pickup unit 12031 and the vehicle exterior information detection unit 12030, it is possible to recognize a short-distance object and a long-distance object, respectively, and at a short distance. Since it is possible to recognize the target object at a high degree of simultaneousness, more reliable driving support is possible.
- a reading unit that sets a reading unit as a part of a pixel area in which a plurality of pixels are arranged in a two-dimensional array and controls reading of a pixel signal from the pixels included in the pixel area.
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- the reliability calculation unit to calculate and An information processing device equipped with.
- the reliability calculation unit determines the correction value of the reliability for each of the plurality of pixels based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image.
- a reliability map generator that generates a reliability map in which the correction values are arranged in a two-dimensional array.
- the reliability calculation unit is a correction unit that corrects the reliability based on the correction value of the reliability.
- a recognition processing execution unit that recognizes an object in the predetermined area.
- the reliability map generation unit generates at least two types of reliability maps based on at least two of the area, the number of times of reading, the dynamic range, and the exposure information.
- a compositing unit that synthesizes at least two types of reliability maps, The information processing apparatus according to (2), further comprising.
- the recognition processing unit A reading unit that sets a reading pixel as a part of the pixel area of the sensor unit and controls reading of a pixel signal from a pixel included in the pixel area.
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- Degree calculation process and Information processing method The reliability of calculating the reliability of a predetermined area in the pixel area based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as and read out as.
- the recognition processing unit executes A reading step of setting a reading unit as a part of a pixel area in which a plurality of pixels are arranged in a two-dimensional array and controlling reading of a pixel signal from the pixels included in the pixel area.
- the reliability of a predetermined area in the pixel area is determined based on at least one of the area, the number of times of reading, the dynamic range, and the exposure information of the area of the captured image set as the reading unit and read.
- the reliability calculation process to be calculated and A program that causes a computer to run.
- 1 Information processing system
- 2 Information processing device
- 10 Sensor unit
- 12 Recognition processing unit
- 110 Reading unit
- 124 Recognition processing execution unit
- 125 Reliability calculation unit
- 126 Reliability map generation unit
- 127 Score correction unit.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
[課題]画像像データの部分領域を用いて認識処理を行う場合にも信頼度の精度低下を抑制可能な撮像装置、撮像システム、撮像方法、及び撮像プログラムを提供する。 [解決手段]情報処理装置は、複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、を備える。
Description
本開示は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機(スマートフォン)などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。また、1フレーム内の画像データの部分領域を用いて、認識処理の高速化が進められている。さらにまた、認識処理では、認識精度の評価値として信頼度が一般に付与される。
ところが、部分領域、例えばライン画像データを用いるなどの新たな認識方法では、認識対象に応じてライン数や、ラインの幅が変更される場合がある。このため、従来の信頼度では、精度が低下してしまう恐れがある。
本開示の一態様は、画像像データの部分領域を用いて認識処理を行う場合にも信頼度の精度低下を抑制可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。
上記の課題を解決するために、本開示では、複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を備える、情報処理装置が提供される。
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を備える、情報処理装置が提供される。
前記信頼度算出部は、撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記信頼度の補正値を前記複数の画素毎に演算し、前記補正値が2次元アレイ状に配列された信頼度マップを生成する信頼度マップ生成部を、
更に有してもよい。
更に有してもよい。
前記前記信頼度算出部は、前記信頼度の補正値に基づき、前記信頼度を補正する補正部を、
更に有してもよい。
更に有してもよい。
前記補正部は、前記所定領域に基づく、前記補正値の代表値に応じて、前記信頼度を補正してもよい。
前記読出部は、前記画素領域に含まれる画素をライン状の画像データとして読み出してもよい。
前記読出部は、前記画素領域に含まれる画素を格子状又は市松状のサンプリング画像データとして読み出してもよい。
前記所定領域内の対象物を認識する認識処理実行部を、
更に備えてもよい。
更に備えてもよい。
前記補正部は、前記所定領域内の特徴量を演算した受容野に基づき、前記補正値の代表値を演算してもよい。
前記信頼度マップ生成部は、面積、読み出された回数、ダイナミックレンジ、及び露光情報のうちの少なくとも2つの情報それぞれに基づく、信頼度マップを少なくとも2種類以上生成し、
前記少なくとも2種類以上の信頼度マップを合成する合成部を、
更に備えてもよい。
前記少なくとも2種類以上の信頼度マップを合成する合成部を、
更に備えてもよい。
前記画素領域内における所定領域は、セマンティックセグメンテーションにより画素ごとに関連付けられたラベルや、及びカテゴリの少なくとも一つに基づく領域であってもよい。
上記の課題を解決するために、本開示の一態様は、複数の画素が2次元アレイ状に配列されたセンサ部と、
認識処理部と、を備える情報処理システムであって、
前記認識処理部は、
前記センサ部の画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、を有する認識処理部と、
を有する情報処理システムが提供される。
認識処理部と、を備える情報処理システムであって、
前記認識処理部は、
前記センサ部の画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、を有する認識処理部と、
を有する情報処理システムが提供される。
上記の課題を解決するために、本開示の一態様は、複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
を備える、情報処理方法が提供される。
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
を備える、情報処理方法が提供される。
上記の課題を解決するために、本開示の一態様は、認識処理部が実行する、
複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
をコンピュータに実行させるプログラムが提供される。
複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
をコンピュータに実行させるプログラムが提供される。
以下、図面を参照して、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムの実施形態について説明する。以下では、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムの主要な構成部分を中心に説明するが情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
[1.本開示の各実施形態に係る構成例]
各実施形態に係る情報処理システムの全体構成例について、概略的に説明する。図1は、情報処理システム1の一例の構成を示すブロック図である。図1において、情報処理システム1は、センサ部10と、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15とを備える。これら各部は、例えばCMOS(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたCMOSイメージセンサ(CIS)である。なお、情報処理システム1は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。また、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15は、情報処理装置2を構成する。
各実施形態に係る情報処理システムの全体構成例について、概略的に説明する。図1は、情報処理システム1の一例の構成を示すブロック図である。図1において、情報処理システム1は、センサ部10と、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15とを備える。これら各部は、例えばCMOS(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたCMOSイメージセンサ(CIS)である。なお、情報処理システム1は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。また、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15は、情報処理装置2を構成する。
センサ部10は、光学部30を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部10は、少なくとも1つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部10は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部10は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
以下、センサ部10が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと称する。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部10の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部10が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部10は、後述するセンサ制御部11から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン(アナログゲイン)を制御される。
センサ制御部11は、例えばマイクロプロセッサにより構成され、センサ部10からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部11から出力された画素データは、認識処理部12および視認処理部14に供給される。
また、センサ制御部11は、センサ部10における撮像を制御するための撮像制御信号を生成する。センサ制御部11は、例えば、後述する認識処理部12および視認処理部14からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部10における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部10が撮像動作を行うために用いる制御信号(垂直同期信号、水平同期信号、など)を含む。センサ制御部11は、生成した撮像制御信号をセンサ部10に供給する。
光学部30は、被写体からの光をセンサ部10の受光面に照射させるためのもので、例えばセンサ部10に対応する位置に配置される。光学部30は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部30は、受光面に光が照射される時間を調整するシャッタ機構(メカニカルシャッタ)をさらに含んでもよい。光学部30が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部11により制御するようにできる。これに限らず、光学部30における絞りやフォーカスは、情報処理システム1の外部から制御するようにもできる。また、光学部30を情報処理システム1と一体的に構成することも可能である。
認識処理部12は、センサ制御部11から供給された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、DSP(Digital Signal Processor)が、教師データにより予め学習されメモリ13に学習モデルとして記憶されるプログラムを読み出して実行することで、DNN(Deep Neural Network)を用いた認識処理を行う、機械学習部としての認識処理部12が構成される。認識処理部12は、認識処理に必要な画素データをセンサ部10から読み出すように、センサ制御部11に対して指示することができる。認識処理部12による認識結果は、出力制御部15に供給される。
視認処理部14は、センサ制御部11から供給された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ISP(Image Signal Processor)が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部14が構成される。
例えば、視認処理部14は、センサ部10に含まれる各画素にカラーフィルタが設けられ、画素データがR(赤色)、G(緑色)、B(青色)の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部14は、視認処理に必要な画素データをセンサ部10から読み出すように、センサ制御部11に対して指示することができる。視認処理部14により画素データが画像処理された画像データは、出力制御部15に供給される。
出力制御部15は、例えばマイクロプロセッサにより構成され、認識処理部12から供給された認識結果と、視認処理部14から視認処理結果として供給された画像データと、のうち一方または両方を、情報処理システム1の外部に出力する。出力制御部15は、画像データを、例えば表示デバイスを有する表示部31に出力することができる。これにより、ユーザは、表示部31により表示された画像データを視認することができる。なお、表示部31は、情報処理システム1に内蔵されるものでもよいし、情報処理システム1の外部の構成であってもよい。
図2Aおよび図2Bは、各実施形態に係る情報処理システム1のハードウェア構成の例を示す模式図である。図2Aは、1つのチップ2に対して、図1に示した構成のうちセンサ部10、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15が搭載される例である。なお、図2Aにおいて、メモリ13および出力制御部15は、煩雑さを避けるため省略されている。
図2Aに示す構成では、認識処理部12による認識結果は、図示されない出力制御部15を介してチップ2の外部に出力される。また、図2Aの構成においては、認識処理部12は、認識に用いるための画素データを、センサ制御部11から、チップ2の内部のインタフェースを介して取得できる。
図2Bは、1つのチップ2に対して、図1に示した構成のうちセンサ部10、センサ制御部11、視認処理部14および出力制御部15が搭載され、認識処理部12およびメモリ13(図示しない)がチップ2の外部に置かれた例である。図2Bにおいても、上述した図2Aと同様に、メモリ13および出力制御部15は、煩雑さを避けるため省略されている。
この図2Bの構成においては、認識処理部12は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図2Bでは、認識処理部12による認識結果が、認識処理部12から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図2Bの構成において、認識処理部12は、認識結果をチップ2に戻し、チップ2に搭載される不図示の出力制御部15から出力させるようにしてもよい。
図2Aに示す構成は、認識処理部12がセンサ制御部11と共にチップ2に搭載され、認識処理部12とセンサ制御部11との間の通信を、チップ2の内部のインタフェースにより高速に実行できる。その一方で、図2Aに示す構成では認識処理部12の差し替えができず、認識処理の変更が難しい。これに対して、図2Bに示す構成は、認識処理部12がチップ2の外部に設けられるため、認識処理部12とセンサ制御部11との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部12とセンサ制御部11との間の通信は、図2Aの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部12の差し替えが容易であり、多様な認識処理の実現が可能である。
以下、特に記載の無い限り、情報処理システム1は、図2Aの、1つのチップ2にセンサ部10、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15が搭載される構成を採用するものとする。
上述した図2Aに示す構成において、情報処理システム1は、1つの基板上に形成することができる。これに限らず、情報処理システム1を、複数の半導体チップが積層され一体的に形成された積層型CISとしてもよい。
一例として、情報処理システム1を、半導体チップを2層に積層した2層構造により形成することができる。図3Aは、各実施形態に係る情報処理システム1を2層構造の積層型CISにより形成した例を示す図である。図3Aの構造では、第1層の半導体チップに画素部20aを形成し、第2層の半導体チップにメモリ+ロジック部20bを形成している。画素部20aは、少なくともセンサ部10における画素アレイを含む。メモリ+ロジック部20bは、例えば、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15と、情報処理システム1と外部との通信を行うためのインタフェースと、を含む。メモリ+ロジック部20bは、さらに、センサ部10における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ+ロジック部20bは、例えば視認処理部14が画像データの処理のために用いるメモリをさらに含むことができる。
図3Aの右側に示されるように、第1層の半導体チップと、第2層の半導体チップとを電気的に接触させつつ貼り合わせることで、情報処理システム1を1つの固体撮像素子として構成する。
別の例として、情報処理システム1を、半導体チップを3層に積層した3層構造により形成することができる。図3Bは、各実施形態に係る情報処理システム1を3層構造の積層型CISにより形成した例を示す図である。図3Bの構造では、第1層の半導体チップに画素部20aを形成し、第2層の半導体チップにメモリ部20cを形成し、第3層の半導体チップにロジック部20bを形成している。この場合、ロジック部20bは、例えば、センサ制御部11、認識処理部12、視認処理部14および出力制御部15と、情報処理システム1と外部との通信を行うためのインタフェースと、を含む。また、メモリ部20cは、メモリ13と、例えば視認処理部14が画像データの処理のために用いるメモリを含むことができる。メモリ13は、ロジック部20bに含めてもよい。
図3Bの右側に示されるように、第1層の半導体チップと、第2層の半導体チップと、第3層の半導体チップとを電気的に接触させつつ貼り合わせることで、情報処理システム1を1つの固体撮像素子として構成する。
図4は、各実施形態に適用可能なセンサ部10の一例の構成を示すブロック図である。図4において、センサ部10は、画素アレイ部101と、垂直走査部102と、AD(Analog to Digital)変換部103と、画素信号線106と、垂直信号線VSLと、制御部1100と、信号処理部1101と、を含む。なお、図4において、制御部1100および信号処理部1101は、例えば図1に示したセンサ制御部11に含まれるものとすることもできる。
画素アレイ部101は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路100を含む。画素アレイ部101において、複数の画素回路100は、水平方向(行方向)および垂直方向(列方向)に行列状の配列で配置される。画素アレイ部101において、画素回路100の行方向の並びをラインと呼ぶ。例えば、1920画素×1080ラインで1フレームの画像が形成される場合、画素アレイ部101は、少なくとも1920個の画素回路100が含まれるラインを、少なくとも1080ライン、含む。フレームに含まれる画素回路100から読み出された画素信号により、1フレームの画像(画像データ)が形成される。
以下、センサ部10においてフレームに含まれる各画素回路100から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路100から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
また、画素アレイ部101には、各画素回路100の行および列に対し、行毎に画素信号線106が接続され、列毎に垂直信号線VSLが接続される。画素信号線106の画素アレイ部101と接続されない端部は、垂直走査部102に接続される。垂直走査部102は、後述する制御部1100の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線106を介して画素アレイ部101へ伝送する。垂直信号線VSLの画素アレイ部101と接続されない端部は、AD変換部103に接続される。画素から読み出された画素信号は、垂直信号線VSLを介してAD変換部103に伝送される。
画素回路100からの画素信号の読み出し制御について、概略的に説明する。画素回路100からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層(FD;Floating Diffusion)に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線VSLに出力される。
より具体的には、画素回路100において、露出中は、光電変換素子と浮遊拡散層との間をオフ(開)状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線106を介して供給される選択信号に応じて浮遊拡散層と垂直信号線VSLとを接続する。さらに、画素信号線106を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧VDDまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線VSLには、浮遊拡散層のリセットレベルの電圧(電圧Aとする)が出力される。その後、画素信号線106を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン(閉)状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線VSLに対して、浮遊拡散層の電荷量に応じた電圧(電圧Bとする)が出力される。
AD変換部103は、垂直信号線VSL毎に設けられたAD変換器107と、参照信号生成部104と、水平走査部105と、を含む。AD変換器107は、画素アレイ部101の各列(カラム)に対してAD変換処理を行うカラムAD変換器である。AD変換器107は、垂直信号線VSLを介して画素回路100から供給された画素信号に対してAD変換処理を施し、ノイズ低減を行う相関二重サンプリング(CDS:Correlated Double Sampling)処理のための2つのデジタル値(電圧Aおよび電圧Bにそれぞれ対応する値)を生成する。
AD変換器107は、生成した2つのデジタル値を信号処理部1101に供給する。信号処理部1101は、AD変換器107から供給される2つのデジタル値に基づきCDS処理を行い、デジタル信号による画素信号(画素データ)を生成する。信号処理部1101により生成された画素データは、センサ部10の外部に出力される。
参照信号生成部104は、制御部1100から入力される制御信号に基づき、各AD変換器107が画素信号を2つのデジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル(電圧値)が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部104は、生成したランプ信号を、各AD変換器107に供給する。参照信号生成部104は、例えばDAC(Digital to Analog Converter)などを用いて構成される。
参照信号生成部104から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線VSLから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。AD変換器107は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
AD変換器107は、生成した2つのデジタル値を信号処理部1101に供給する。信号処理部1101は、AD変換器107から供給される2つのデジタル値に基づきCDS処理を行い、デジタル信号による画素信号(画素データ)を生成する。信号処理部1101により生成されたデジタル信号による画素信号は、センサ部10の外部に出力される。
水平走査部105は、制御部1100の制御の下、各AD変換器107を所定の順番で選択する選択走査を行うことによって、各AD変換器107が一時的に保持している各デジタル値を信号処理部1101へ順次出力させる。水平走査部105は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
制御部1100は、センサ制御部11から供給される撮像制御信号に従い、垂直走査部102、AD変換部103、参照信号生成部104および水平走査部105などの駆動制御を行う。制御部1100は、垂直走査部102、AD変換部103、参照信号生成部104および水平走査部105の動作の基準となる各種の駆動信号を生成する。制御部1100は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部102が画素信号線106を介して各画素回路100に供給するための制御信号を生成する。制御部1100は、生成した制御信号を垂直走査部102に供給する。
また、制御部1100は、例えば、センサ制御部11から供給される撮像制御信号に含まれる、アナログゲインを示す情報をAD変換部103に出力する。AD変換部103は、このアナログゲインを示す情報に応じて、AD変換部103に含まれる各AD変換器107に垂直信号線VSLを介して入力される画素信号のゲインを制御する。
垂直走査部102は、制御部1100から供給される制御信号に基づき、画素アレイ部101の選択された画素行の画素信号線106に駆動パルスを含む各種信号を、ライン毎に各画素回路100に供給し、各画素回路100から、画素信号を垂直信号線VSLに出力させる。垂直走査部102は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部102は、制御部1100から供給される露出を示す情報に応じて、各画素回路100における露出を制御する。
このように構成されたセンサ部10は、AD変換器107が列毎に配置されたカラムAD方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
[2.本開示に適用可能な既存技術の例]
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
(2-1.ローリングシャッタの概要)
画素アレイ部101による撮像を行う際の撮像方式として、ローリングシャッタ(RS)方式と、グローバルシャッタ(GS)方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図5A、図5Bおよび図5Cは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図5Aに示されるように、フレーム200の例えば上端のライン201からライン単位で順に撮像を行う。
画素アレイ部101による撮像を行う際の撮像方式として、ローリングシャッタ(RS)方式と、グローバルシャッタ(GS)方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図5A、図5Bおよび図5Cは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図5Aに示されるように、フレーム200の例えば上端のライン201からライン単位で順に撮像を行う。
なお、上述では、「撮像」を、センサ部10が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部11に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部101において、画素信号を生成するために有効な画素回路100が配置される領域を指す。
例えば、図4の構成において、1つのラインに含まれる各画素回路100において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路100において一斉に、各画素回路100に対応する各垂直信号線VSLを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
図5Bは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図5Bにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図5Bに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば情報処理システム1と被写体との水平方向の位置関係が高速に変化する場合、図5Cに例示されるように、撮像されたフレーム200の画像に歪みが生じる。図5Cの例では、フレーム200に対応する画像202が、情報処理システム1と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図6A、図6Bおよび図6Cは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図6Aに示されるように、上述した図5Aの例と同様に、フレーム200の上端のライン201からフレーム200の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
ここでは、説明のため、1ライン間引きにより1ラインおきに撮像を行うものとする。すなわち第nラインの撮像の次は第(n+2)ラインの撮像を行う。このとき、第nラインの撮像から第(n+2)ラインの撮像までの時間が、間引きを行わない場合の、第nラインの撮像から第(n+1)ラインの撮像までの時間と等しいものとする。
図6Bは、ローリングシャッタ方式において1ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図6Bにおいて、縦軸はライン位置、横軸は時間を示す。図6Bにおいて、露出Aは、間引きを行わない図5Bの露出と対応し、露出Bは、1ライン間引きを行った場合の露出を示している。露出Bに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図6Cに画像203として例示されるように、撮像されたフレーム200の画像に生ずる傾き方向の歪が、図5Cに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
上述では、ローリングシャッタ方式においてフレーム200の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図7Aおよび図7Bは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図7Aに示されるように、ローリングシャッタ方式において、フレーム200の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム200の上端から下端に向けてライン順次に撮像した場合に比べ、画像202の歪の水平方向の向きが逆となる。
また、例えば画素信号を転送する垂直信号線VSLの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線VSLと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム200の上端および下端以外とすることも可能である。図7Bは、幅および高さがフレーム200の幅および高さにそれぞれ満たない矩形の領域205を撮像の範囲とした例を模式的に示している。図7Bの例では、領域205の上端のライン204からライン順次で領域205の下端に向けて撮像を行っている。
(2-2.グローバルシャッタの概要)
次に、画素アレイ部101による撮像を行う際の撮像方式として、グローバルシャッタ(GS)方式について、概略的に説明する。図8A、図8Bおよび図8Cは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図8Aに示されるように、フレーム200に含まれる全画素回路100で同時に露出を行う。
次に、画素アレイ部101による撮像を行う際の撮像方式として、グローバルシャッタ(GS)方式について、概略的に説明する。図8A、図8Bおよび図8Cは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図8Aに示されるように、フレーム200に含まれる全画素回路100で同時に露出を行う。
図4の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路100において光電変換素子とFDとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第1のスイッチを、当該キャパシタと浮遊拡散層との間に第2のスイッチをそれぞれ設け、これら第1および第2のスイッチそれぞれの開閉を、画素信号線106を介して供給されるパルスにより制御する構成とする。
このような構成において、露出期間中は、フレーム200に含まれる全画素回路100において、第1および第2のスイッチをそれぞれ開、露出終了で第1のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム200に含まれる全画素回路100において同時の露出が可能となる。
図8Bは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図8Bにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム200に含まれる全画素回路100において同時に露出が行われるため、図8Bに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば情報処理システム1と被写体との水平方向の位置関係が高速に変化する場合であっても、図8Cに例示されるように、撮像されたフレーム200の画像206には、当該変化に応じた歪が生じない。
グローバルシャッタ方式では、フレーム200に含まれる全画素回路100における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線106により供給する各パルスのタイミングと、各垂直信号線VSLによる転送のタイミングとを制御することで、様々なパターンでのサンプリング(画素信号の読み出し)を実現できる。
図9Aおよび図9Bは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図9Aは、フレーム200に含まれる、行列状に配列された各画素回路100から、画素信号を読み出すサンプル208を市松模様状に抽出する例である。また、図9Bは、当該各画素回路100から、画素信号を読み出すサンプル208を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
(2-3.DNNについて)
次に、各実施形態に適用可能なDNN(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、DNNのうち、CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
次に、各実施形態に適用可能なDNN(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、DNNのうち、CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
(2-3-1.CNNの概要)
先ず、CNNについて、概略的に説明する。CNNによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図10は、CNNによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「8」を描画した画像50’の全体の画素情報51に対して、所定に学習されたCNN52による処理を施す。これにより、認識結果53として数字の「8」が認識される。
先ず、CNNについて、概略的に説明する。CNNによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図10は、CNNによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「8」を描画した画像50’の全体の画素情報51に対して、所定に学習されたCNN52による処理を施す。これにより、認識結果53として数字の「8」が認識される。
これに対して、ライン毎の画像に基づきCNNによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図11は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図11において、画像50’は、認識対象のオブジェクトである数字の「8」を、ライン単位で部分的に取得したものである。この画像50’の画素情報51’を形成する例えばライン毎の画素情報54a、54bおよび54cに対して順次、所定に学習されたCNN52’による処理を施す。
例えば、第1ライン目の画素情報54aに対するCNN52’による認識処理で得られた認識結果53aは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。
なお、本実施形態に係る信頼度は、DNNが出力する認識結果[T]をどれだけ信頼してよいかを表す評価値を意味する。例えば、信頼度の範囲は、0.0~1.0の範囲であり、数値が1.0に近いほど認識結果[T]に似たスコアを有する他の競合候補がほとんど無かったことを示す。一方で、0に近づくほど、認識結果[T]に似たスコアを有する他の競合候補が多く出現していたことを示す。
なお、本実施形態に係る信頼度は、DNNが出力する認識結果[T]をどれだけ信頼してよいかを表す評価値を意味する。例えば、信頼度の範囲は、0.0~1.0の範囲であり、数値が1.0に近いほど認識結果[T]に似たスコアを有する他の競合候補がほとんど無かったことを示す。一方で、0に近づくほど、認識結果[T]に似たスコアを有する他の競合候補が多く出現していたことを示す。
CNN52’は、この認識結果53aに基づき内部状態の更新55を行う。次に、第2ライン目の画素情報54bに対して、前回の認識結果53aにより内部状態の更新55が行われたCNN52’により認識処理が行われる。図11では、その結果、認識対象の数字が「8」または「9」の何れかであることを示す認識結果53bが得られている。さらに、この認識結果53bに基づき、CNN52’の内部情報の更新55を行う。次に、第3ライン目の画素情報54cに対して、前回の認識結果53bにより内部状態の更新55が行われたCNN52’により認識処理が行われる。図11では、その結果、認識対象の数字が、「8」または「9」のうち「8」に絞り込まれる。
ここで、この図11に示した認識処理は、前回の認識処理の結果を用いてCNNの内部状態を更新し、この内部状態が更新されたCNNにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図11に示した認識処理は、画像に対してライン順次に、CNNの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図11に示す認識処理は、ライン順次に再帰的に実行される処理であり、RNNに相当する構造を有していると考えることができる。
(2-3-2.RNNの概要)
次に、RNNについて、概略的に説明する。図12Aおよび図12Bは、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図12Aに示されるように、1つの画像をDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
次に、RNNについて、概略的に説明する。図12Aおよび図12Bは、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図12Aに示されるように、1つの画像をDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
図12Bは、図12Aの処理をより詳細に説明するための図である。図12Bに示されるように、DNNは、特徴抽出処理と、識別処理とを実行する。DNNにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、DNNにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。
図13Aおよび図13Bは、時系列の情報を用いた場合の、DNNによる識別処理の第1の例を概略的に示す図である。この図13Aおよび図13Bの例では、時系列上の、固定数の過去情報を用いて、DNNによる識別処理を行う。図13Aの例では、時間Tの画像[T]と、時間Tより前の時間T-1の画像[T-1]と、時間T-1より前の時間T-2の画像[T-2]と、をDNNに入力する。DNNにおいて、入力された各画像[T]、[T-1]および[T-2]に対して識別処理を実行し、時間Tにおける識別結果[T]を得る。識別結果[T]には信頼度が付与される。
図13Bは、図13Aの処理をより詳細に説明するための図である。図13Bに示されるように、DNNにおいて、入力された画像[T]、[T-1]および[T-2]それぞれに対して、上述の図12Bを用いて説明した特徴抽出処理を1対1に実行し、画像[T]、[T-1]および[T-2]にそれぞれ対応する特徴量を抽出する。DNNでは、これら画像[T]、[T-1]および[T-2]に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Tにおける識別結果[T]を得る。識別結果[T]には信頼度が付与される。
この図13Aおよび図13Bの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、DNNの構成が大規模になってしまうおそれがある。
図14Aおよび図14Bは、時系列の情報を用いた場合の、DNNによる識別処理の第2の例を概略的に示す図である。図14Aの例では、内部状態が時間T-1の状態に更新されたDNNに対して時間Tの画像[T]を入力し、時間Tにおける識別結果[T]を得ている。識別結果[T]には信頼度が付与される。
図14Bは、図14Aの処理をより詳細に説明するための図である。図14Bに示されるように、DNNにおいて、入力された時間Tの画像[T]に対して上述の図12Bを用いて説明した特徴抽出処理を実行し、画像[T]に対応する特徴量を抽出する。DNNにおいて、時間Tより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像[T]における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。
この図14Aおよび図14Bに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたDNNを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うDNNをRNN(Recurrent Neural Network)と呼ぶ。RNNによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりDNNの内部状態を順次に更新することで、識別精度を向上させることが可能である。
本開示では、RNNをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、RNNに適用させる。これにより、CNNを用いた場合(図13B参照)と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、RNNをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。
(2-4.駆動速度について)
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図15Aおよび図15Bを用いて説明する。図15Aは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平640画素×垂直480画素(480ライン)であるものとする。この場合、14400[ライン/秒]の駆動速度で駆動することで、30[fps(frame per second)]での出力が可能となる。
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図15Aおよび図15Bを用いて説明する。図15Aは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平640画素×垂直480画素(480ライン)であるものとする。この場合、14400[ライン/秒]の駆動速度で駆動することで、30[fps(frame per second)]での出力が可能となる。
次に、ラインを間引いて撮像を行うことを考える。例えば、図15Bに示すように、1ラインずつ読み飛ばして撮像を行う、1/2間引き読み出しにて撮像を行うものとする。1/2間引きの第1の例として、上述と同様に14400[ライン/秒]の駆動速度で駆動する場合、画像から読み出すライン数が1/2になるため、解像度は低下するが、間引きを行わない場合の倍の速度の60[fps]での出力が可能となり、フレームレートを向上できる。1/2間引きの第2の例として、駆動速度を第1の例の半分の7200[fps]として駆動する場合、フレームレートは間引かない場合と同様に30[fps]となるが、省電力化が可能となる。
画像のラインを読み出す際に、間引きを行わないか、間引きを行い、駆動速度を上げるか、間引により駆動速度を、間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
(第1実施形態)
図16は、本開示の本実施形態に係る認識処理を概略的に説明するための模式図である。図16において、ステップS1で、本実施形態に係る情報処理システム1(図1参照)により、認識対象となる対象画像の撮像を開始する。
図16は、本開示の本実施形態に係る認識処理を概略的に説明するための模式図である。図16において、ステップS1で、本実施形態に係る情報処理システム1(図1参照)により、認識対象となる対象画像の撮像を開始する。
なお、対象画像は、例えば手書きで数字の「8」を描画した画像であるものとする。また、メモリ13には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部12は、メモリ13からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、情報処理システム1は、ローリングシャッタ方式により撮像を行うものとする。なお、情報処理システム1がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。
撮像が開始されると、情報処理システム1は、ステップS2で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部12により、読み出されたラインによる画像から、「8」または「9」の数字が識別される(ステップS3)。例えば、数字「8」および「9」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「8」および「9」の何れかであると識別できる。
ここで、ステップS4aに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップS2で数字の「8」または「9」の何れかとして識別されたオブジェクトが数字の「8」であることが確定される。
一方、ステップS4bおよびステップS4cは、本開示に関連する処理となる。
ステップS4bに示されるように、ステップS3で読み出しを行ったライン位置からさらにラインを読み進め、数字「8」の下端に達する途中でも、認識されたオブジェクトが数字の「8」であると識別することが可能である。例えば、数字「8」の下半分と、数字「9」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップS3で認識されたオブジェクトが数字の「8」および「9」の何れであるかが識別可能となる。図16の例では、ステップS4bにおいて、当該オブジェクトが数字の「8」であると確定されている。
また、ステップS4cに示されるように、ステップS3のライン位置から、ステップS3の状態においてさらに読み出すことで、ステップS3で識別されたオブジェクトが数字の「8」または「9」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップS3で識別されたオブジェクトが数字の「8」または「9」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。
ここで、上述したステップS4bまたはステップS4cでオブジェクトが確定された場合、情報処理システム1は、認識処理を終了させることができる。これにより、情報処理システム1における認識処理の短時間化および省電力化を実現することが可能となる。
なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ(ラインデータ、サブサンプルされたデータなど)を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ(ラインデータ、サブサンプルされたデータなど)を適用し、出力信号として物体クラス(人体/車両/非物体)や物体の座標(x、y、h、w)などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。
図17は、本実施形態に係るセンサ制御部11、及び認識処理部12の機能を説明するための一例の機能ブロック図である。
図17において、センサ制御部11は、読出部110を有する。認識処理部12は、特徴量計算部120と、特徴量蓄積制御部121と、読出領域決定部123と、認識処理実行部124と、信頼度算出部125とを有する。また、信頼度算出部125は、信頼度マップ生成部126と、スコア補正部127と、を有する。
図17において、センサ制御部11は、読出部110を有する。認識処理部12は、特徴量計算部120と、特徴量蓄積制御部121と、読出領域決定部123と、認識処理実行部124と、信頼度算出部125とを有する。また、信頼度算出部125は、信頼度マップ生成部126と、スコア補正部127と、を有する。
センサ制御部11において、読出部110は、複数の画素が2次元アレイ状に配列された画素アレイ部101(図4を参照)の一部として読出画素を設定し、画素領域に含まれる画素からの画素信号の読み出しを制御する。より具体的には、読出部110は、認識処理部12の読出領域決定部123から、認識処理部12において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、1または複数のラインのライン番号である。これに限らず、読出領域情報は、1つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、1以上のライン番号と、ライン内の1以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。
また、読出部110は、認識処理部12、あるいは、視野処理部14(図1参照)から露出やアナログゲインを示す情報を受け取ることができる。読出部110は、入力された露出やアナログゲインを示す情報、読出領域情報などを信頼度算出部125に出力する。
読出部110は、認識処理部12から入力された読出領域情報に従い、センサ部10からの画素データの読み出しを行う。例えば、読出部110は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部10に出力する。読出部110は、センサ部10から取得した各画素データを、読出領域情報と共に、信頼度算出部125に出力する。
また、読出部110は、供給された露出やアナログゲインを示す情報に従い、センサ部10に対して露出やアナログゲイン(AG)を設定する。さらに、読出部110は、垂直同期信号および水平同期信号を生成し、センサ部10に供給することができる。
認識処理部12において、読出領域決定部123は、特徴量蓄積制御部121から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出領域決定部123は、受け取った読出情報に基づき読出領域情報を生成し、読出部110に出力する。
ここで、読出領域決定部123は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、1つ以上の画素の集合であり、認識処理部12や視認処理部14による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号[L#x]が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、矩形領域の画素アレイ部101における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出領域決定部123は、適用される読出単位が予め指定される。また、読出領域決定部123は、グローバルシャッタ方式において、サブピクセルを読み出す場合には、サブピクセルの位置情報を読出領域に含めることが可能である。これに限らず、読出領域決定部123は、例えば読出領域決定部123の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出領域決定部123は、読出単位を制御する読出単位制御部として機能する。
なお、読出領域決定部123は、後述する認識処理実行部124から供給される認識情報に基づき次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。
認識処理部12において、特徴量計算部120は、読出部110から供給された画素データおよび読出領域情報に基づき、読出領域情報に示される領域における特徴量を算出する。特徴量計算部120は、算出した特徴量を、特徴量蓄積制御部121に出力する。
特徴量計算部120は、読出部110から供給された画素データと、特徴量蓄積制御部121から供給された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部120は、例えば読出部110から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。
認識処理部12において、特徴量蓄積制御部121は、特徴量計算部120から供給された特徴量を、特徴量蓄積部122に蓄積する。また、特徴量蓄積制御部121は、特徴量計算部120から特徴量が供給されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出領域決定部123に出力する。
ここで、特徴量蓄積制御部121は、既に蓄積された特徴量と、新たに供給された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部121は、特徴量蓄積部122に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部121は、必要に応じて特徴量蓄積部122に蓄積された全ての特徴量を削除して初期化することもできる。
また、特徴量蓄積制御部121は、特徴量計算部120から供給された特徴量と、特徴量蓄積部122に蓄積される特徴量と、に基づき認識処理実行部124が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部121は、生成した特徴量を認識処理実行部124に出力する。
認識処理実行部124は、特徴量蓄積制御部121から供給された特徴量に基づき認識処理を実行する。認識処理実行部124は、認識処理により物体検出、顔検出などを行う。認識処理実行部124は、認識処理により得られた認識結果を出力制御部15及び信頼度算出部125に出力する。認識結果には、検出スコアの情報が含まれる。なお、本実施形態に係る検出スコアが信頼度に対応する。
認識処理実行部124は、認識処理により生成される認識結果を含む認識情報を読出領域決定部123に出力することもできる。なお、認識処理実行部124は、例えばトリガ生成部(不図示)により生成されたトリガに基づき、特徴量蓄積制御部121から特徴量を受け取って認識処理を実行することができる。
図18Aは、信頼度マップ生成部126の構成を示すブロック図である。信頼度マップ生成部126は、信頼度の補正値を画素毎に生成する。この信頼度マップ生成部126は、読み出し回数蓄積部126aと、読み出し回数取得部126bと、積算時間設定部126cと、読み出し面積マップ生成部126eを有する。なお、本実施形態では、画素毎の信頼度の補正値の二次元状の配置図を信頼度マップと称する。また、例えば、認識矩形内の補正値の代表値と、その認識矩形における信頼度の乗算値を最終的な信頼度とする。
読み出し回数蓄積部126aは、画素毎の読み出し回数を読み出し時刻とともに蓄積部126bに蓄積する。この読み出し回数蓄積部126aは、蓄積部126bに既に蓄積された画素毎の読み出し回数と、新たに供給された画素毎の読み出し回数とを統合して画素毎の読み出し回数とすることができる。
図18Bは、積算する区間(時間)によって、ラインデータの読み出し回数が異なることを模式的に示す図である。横軸が時間を示し、1/4周期の区間(時間)でのライン読み出しの例を模式的に示している。1周期の区間(時間)でのラインデータは、全画像データの範囲となる。一方で、周期読み出しを考慮すると、1/4周期でのラインデータ数は、1周期の4分の1となる。このように、積算する時間が1周期の4分の1であれば、ラインデータ数は、例えば、図18Bでは2ラインとなる。一方で、積算する時間が1周期の4分の2であれば、ラインデータ数は、例えば、図18Bでは4ラインとなり、積算する時間が1周期の4分の3であれば、ラインデータ数は、例えば、図18Bでは6ラインとなり、積算する時間が1周期であれば、ラインデータ数は、例えば、図18Bでは8ライン、すなわち全画素となる。このため、積算時間設定部126cは、積算する区間(時間)の情報を含む信号を、読み出し回数取得部126dに供給する。
図18Cは、図16で示した認識処理実行部124の認識結果に応じて、ラインデータの読み出し位置が適応的に変更された例を示す図である。このような場合、左図では、間引きながら順次ラインデータを読み出す。次に、中図に示すよう、途中で「8」か「0」がわかると、右図に示すように、「8」か「0」かを、見分けられそうなところだけを戻って読む。このような場合には、周期の概念は存在しない。このような周期が存在しない場合にも、積算する区間(時間)によってラインデータの読み出し回数が異なる。このため、積算時間設定部126cは、積算する区間(時間)の情報を含む信号を、読み出し回数取得部126dに供給する。
読み出し回数取得部126dは、取得区画毎の画素毎の読み出し回数を読み出し回数蓄積部126aから取得する。読み出し回数取得部126dは、積算時間設定部126cから供給された積算時間(積算する区画)と、取得区画毎の画素毎の読み出し回数とを、読み出し面積マップ生成部126eに供給する。例えば読み出し回数取得部126dは、トリガ生成部(不図示)により生成されたトリガに応じて、読み出し回数蓄積部126aから画素毎の読み出し回数を読み出し、積算時間とともに読み出して、読み出し面積マップ生成部126eの供給することができる。
読み出し面積マップ生成部126eは、取得区画毎の画素毎の読み出し回数と、積算時間と、に基づき、信頼度の補正値を画素毎に生成する。読み出し面積マップ生成部126eの詳細は後述する。
再び、図17に戻り、スコア補正部127は、例えば、認識矩形内の補正値の代表値と、その認識矩形における信頼度の乗算値を最終的な信頼度として演算する。なお、本実施形態では、画素毎の信頼度の補正値の二次元状の配置図を信頼度マップと称する。スコア補正部127は、補正後の信頼度を出力制御部15(図1参照)に出力する。
図19は、本実施形態に係る認識処理部12における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部110が、画像60のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。
図20は、読出部110の読み出し処理を説明するための模式図である。例えば、読出単位がラインとされ、フレームFr(x)に対してライン順次で画素データの読み出しが行われる。図20の例では、第mのフレームFr(m)において、フレームFr(m)の上端のラインL#1からライン順次でラインL#2、L#3、…とラインの読み出しが行われる。フレームFr(m)におけるライン読み出しが完了すると、次の第(m+1)のフレームFr(m+1)において、同様にして上端のラインL#1からライン順次でラインの読み出しが行われる。
また、後述の図21(a)に示すように、読出部110の読み出し処理では、ラインL#1を上から1ライン目、ラインL#2ラインL#2を上から4ライン目、ラインL#3を上から8ライン目のように3ライン置きにラインデータを読み出してもよい。同様にラインL#1を上から1ライン目、ラインL#2ラインL#2を上から4ライン目、ラインL#3を上から8ライン目のように3ライン置きにラインデータを読み出してもよい。
同様に、後述の図21(b)に示すように、読出部110の読み出し処理では、ラインL#1を上から1ライン目、ラインL#2ラインL#2を上から3ライン目、ラインL#3を上から5ライン目のように1ライン置きにラインデータを読み出してもよい。
読出部110にライン単位で読み出されたラインL#xのライン画像データ(ラインデータ)が特徴量計算部120に入力される。また、ライン単位で読み出されたラインL#xの情報、すなわち読出領域情報が信頼度マップ生成部126に供給される。
特徴量計算部120では、特徴量抽出処理1200と、統合処理1202とが実行される。特徴量計算部120は、入力されたラインデータに対して特徴量抽出処理1200を施して、ラインデータから特徴量1201を抽出する。ここで、特徴量抽出処理1200は、予め学習により求めたパラメータに基づき、ラインデータから特徴量1201を抽出する。特徴量抽出処理1200により抽出された特徴量1201は、統合処理1202により、特徴量蓄積制御部121により処理された特徴量1212と統合される。統合された特徴量1210は、特徴量蓄積制御部121に渡される。
特徴量蓄積制御部121では、内部状態更新処理1211が実行される。特徴量蓄積制御部121に渡された特徴量1210は、認識処理実行部124に渡される共に、内部状態更新処理1211を施される。内部状態更新処理1211は、予め学習されたパラメータに基づき特徴量1210を削減してDNNの内部状態を更新し、更新された内部状態に係る特徴量1212を生成する。この特徴量1212が統合処理1202により特徴量1201と統合される。この特徴量蓄積制御部121による処理が、RNNを利用した処理に相当する。
認識処理実行部124は、特徴量蓄積制御部121から渡された特徴量1210に対して、例えば所定の教師データを用いて予め学習されたパラメータに基づき認識処理1240を実行し、認識領域及び信頼度の情報を含む認識結果を出力する。
上述したように、本実施形態に係る認識処理部12では、特徴量抽出処理1200と、統合処理1202と、内部状態更新処理1211と、認識処理1240と、において、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される認識対象に基づく教師データを用いて行われる。
信頼度算出部125の信頼度マップ生成部126は、読出領域情報及び積算時間情報に基づき、例えばライン単位で読み出されたラインL#xの情報を用いて、画素毎の信頼度の補正値を演算する。
図21は、ライン単位で読み出された領域L20a、L20b(有効領域)と読み出されなかった領域L22a、L22b(無効領域)とを示す図である。なお、本実施形態では、画像情報の読み出された領域を有効領域と称し、画像情報の読み出されていない領域を無効領域と称することとする。
図21は、ライン単位で読み出された領域L20a、L20b(有効領域)と読み出されなかった領域L22a、L22b(無効領域)とを示す図である。なお、本実施形態では、画像情報の読み出された領域を有効領域と称し、画像情報の読み出されていない領域を無効領域と称することとする。
信頼度マップ生成部126の読み出し面積マップ生成部126eは、有効領域の画像全体領域に対する割合を画面平均として生成する。
図21(a)は、4分の1周期によりライン単位で読み出された領域L20aの面積が画像全体の4分の1の場合を示す。一方で、図21(b)は、4分の1周期によりライン単位で読み出された領域L20bの面積が画像全体の2分の1の場合を示す。
図21(a)は、4分の1周期によりライン単位で読み出された領域L20aの面積が画像全体の4分の1の場合を示す。一方で、図21(b)は、4分の1周期によりライン単位で読み出された領域L20bの面積が画像全体の2分の1の場合を示す。
このような場合、面積マップ生成部126eは、図21(a)に対しては、有効領域の画像全体領域に対する割合である4分の1を画面平均として生成する。同様に、読み出し面積マップ生成部126eは、図21(b)に対しては、有効領域の画像全体領域に対する割合である2分の1を画面平均として生成する。このように、読み出し面積マップ生成部126eは、有効領域の情報と無効領域の情報を用いて画面平均を演算可能である。
また、読み出し面積マップ生成部126eは、フィルタリング処理により画面平均を演算することも可能である。例えば、領域L20aの画素の値を1、領域L22aの画素の値を0とし、画像の全領域における画素値に対する平滑化演算処理を行う。例えば、この平滑化演算処理は高周波成分を低減するフィルタリング処理である。この場合、例えばフィルタの縦方向サイズを有効領域の縦方向長さ+無効領域の縦方向長さとする。図21(a)では、例えば、無効領域の縦方向の長さが12画素分であり、有効領域の縦方向の長さが3画素分であるとする。この場合、例えばフィルタの縦方向サイズは16画素分に相当する長さとなる。このフィルタの縦方向サイズでは、横方向のサイズにかかわらず、フィルタリング処理の結果は、画面平均である4分の1として演算される。
同様に、図21(b)では、例えば、有効領域の縦方向の長さが3画素分であり、無効領域の縦方向の長さが3画素分であるとする。この場合、例えばフィルタの縦方向サイズは6画素分に相当する長さとなる。このフィルタの縦方向サイズでは、横方向のサイズにかかわらず、フィルタリング処理の結果は、画面平均である2分の1として演算される。
スコア補正部127は、認識領域A20aに対しては、認識領域A20aに対応する信頼度を認識領域A20a内の補正値の代表値に基づき補正する。例えば、代表値は、認識領域A20a内の補正値の平均値、中間値、最頻値などの統計値を用いることが可能である。例えば、代表値を認識領域A20a内の補正値の平均値である4分の1とする。このように、スコア補正部127は、読み出された画面の画面平均を信頼度の演算に用いることが可能である。
一方で、スコア補正部127は、認識領域A20bに対しては、認識領域A20bに対応する信頼度を認識領域A20b内の補正値の代表値に基づき補正する。例えば、認識領域A20b内の補正値の平均値である2分の1とする。これにより、認識領域A20aに対応する信頼度は、4分の1に基づき補正され、認識領域A20aに対応する信頼度は、2分の1に基づき補正される。本実施形態では、認識領域A20b内の補正値の代表値をA20bに対応する信頼度に乗算して得られた値を最終的な信頼度とする。なお、非線形な入出力関係を有する関数を用いて、代表値を入力として関数演算した後の出力値を信頼度に乗算してもよい。
このように、センサ制御により、読み出した領域L20a、L20bと、読み出していない領域L22a、L22bとが発生する。このため、一般的な全領域の画素を読み出す認識処理と異なる。これにより、一通般的な信頼度を読み出した領域L20a、L20bと、読み出していない領域L22a、L22bとが発生する場合に用いると、信頼度の精度が低下してしまう恐れがある。これに対して、本実施形態では、信頼度マップ生成部126が読み出した領域L20a、L20b/(読み出した領域L20a、L20b+読み出していない領域L22a、L22b)に応じた画素毎の補正値を画面平均として演算する。そして、スコア補正部127が、その補正値に基づき、信頼度を補正するので、より精度の高い信頼度を演算可能となる。
なお、上述した特徴量計算部120、特徴量蓄積制御部121、読出領域決定部123、認識処理実行部124、および信頼度算出部125の機能は、例えば、情報処理システム1が備えるメモリ13などに記憶されるプログラムが読み込まれて実行されることで実現される。
上述では、ライン読み出しをフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、左端側から右端側に向けて行ってもよい。或いは、右端側から左端側に向けて行ってもよい。
図22は、左端側から右端側に向けてライン単位で読み出された領域L21a、L21bと読み出されなかった領域L23a、L23bを示す図である。図22(a)は、ライン単位で読み出された領域L21aの面積が画像全体の4分の1の場合を示す。一方で、図22(b)は、ライン単位で読み出された領域L21bの面積が画像全体の2分の1の場合を示す。
この場合、信頼度マップ生成部126の読み出し面積マップ生成部126eは、図22(a)に対しては、画像全体領域に対する有効領域の割合である4分の1を画面平均として生成する。同様に、面積マップ生成部126eは、図21(b)に対しては、画像全体領域に対する有効領域の割合である2分の1を画面平均として生成する。
スコア補正部127は、認識領域A21aに対しては、認識領域A21aに対応する信頼度を認識領域A21a内の補正値の代表値に基づき補正する。例えば、認識領域A21a内の補正値の平均値である4分の1とする。
一方で、スコア補正部127は、認識領域A21bに対しては、認識領域A21bに対応する信頼度を認識領域A21b内の補正値の代表値に基づき補正する。例えば、認識領域A21b内の補正値の平均値である2分の1とする。
図23は、左端側から右端側に向けてライン単位で読み出す例を模式的に示している図である。上図が読み出している領域と、読み出していない領域と、を示している。認識領域A23aが存在する領域は、ラインデータの存在する面積割合が4分の1であり、認識領域A23bが存在する領域は、ラインデータの存在する面積割合が2分の1である。つまり、認識処理実行部124により、ラインデータの読み出し領域が適応的に変更された例である。
下図は、読み出し面積マップ生成部126eが生成した信頼度マップである。ここでは、読み出し面積マップにおける二次元分布を示す図である。上述のように、読み出し面積マップは、読み出されたデータ面積に基づく、信頼度補正値の二次元分布を示す図である。濃淡値で補正値を示している。例えば、読み出し面積マップ生成部126eは、上述のように有効領域に1を割振り、画像無効領域に0を割振る。そして、読み出し面積マップ生成部126eは、例えば、平滑演算処理を、画素を中心とした例えば矩形範囲毎に画像全体に対して行い、面積マップを生成する。例えば、矩形範囲は5×5画素の範囲とする。このような処理により、図23では、画素位置による変動はあるが、面積割合が4分の1の領域では、各画素の補正値はおよそ4分の1となる。一方で、面積割合が2分の1の領域では、画素位置による変動はあるが、各画素の補正値はおよそ2分の1となる。なお、所定の範囲は矩形に限定されず、例えば楕円、円などでもよい。また、本実施形態では、有効領域、及び無効領域に所定値を割振り、平滑演算処理により得られた画像を面積マップと称する。
スコア補正部127は、認識領域A23aに対しては、認識領域A21bに対応する信頼度を認識領域A21b内の補正値の代表値に基づき補正する。例えば、代表値を認識領域A23ab内の補正値の平均値である4分の1とする。一方で、認識領域A23bに対しては、認識領域A21bに対応する信頼度を認識領域A23b内の補正値の代表値に基づき補正する。例えば、代表値を認識領域A23b内の補正値の平均値である2分の1とする。このように、信頼度マップを表示することにより、画像領域内における認識領域の信頼度を全体的に、短時間で把握することが可能となる。
図24は、認識領域A24内で読み出し面積が変化する場合の信頼度マップの値を模式的に示す図である。図24に示すように、認識領域A24内で読み出し面積が変化すると、頼度マップの値も認識領域A24内で変化する。この場合、スコア補正部127は、認識領域A24内の代表値として、認識領域A24内の最頻値の値、認識領域A24の中心の値、認識領域A24の中心からの距離を重みとした重み付き積算値などとしてもよい。
図25は、ラインデータの読み出し範囲を限定した例を模式的に示す図である。図25に示すように、ラインデータの読み出し範囲を、読み出しタイミング毎に変更してもよい。この場合も、読み出し面積マップ生成部126eは、上述と同様の方法により、信頼度マップを生成することが可能である。
図26は、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図26に示されるように、1つの画像をサブサンプリングしてDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
図27Aは、1つの画像を格子状にサブサンプリングした例を示す図である。このように画像全体をサブサンプリングした場合にも、サンプリングした画素数と全体の画素数の比率を用いることにより、読み出し面積マップ生成部126eは、信頼度マップを生成することが可能である。この場合、スコア補正部127は、認識領域A26に対しては、認識領域A26に対応する信頼度を認識領域A26内の補正値の代表値に基づき補正する。
図27Bは、1つの画像を市松状にサブサンプリングした例を示す図である。このように画像全体をサブサンプリングした場合にも、サンプリングした画素数と全体の画素数の比率を用いることにより、読み出し面積マップ生成部126eは、信頼度マップを生成することが可能である。この場合、スコア補正部127は、認識領域A27に対しては、認識領域A27に対応する信頼度を認識領域A27内の補正値の代表値に基づき補正する。
図28は、信頼度マップを交通システム、例えば移動体に用いる場合を模式的に示す図である。(a)図は、読み出し面積の平均値を濃淡で示す図である。「0」で示す濃度は読み出し面識の平均値が0であり、「1/2」で示す濃度は読み出し面識の平均値が1/2である。
(b)、(c)図は、信頼度マップとして読み出し面積マップを用いた例である。(b)図の右領域の補正値は(c)図の右領域の補正値よりも低くなっている。これにより、例えば、(b)図のような状況下では、信頼度マップを使用しない場合に、カメラの右側に物体がいる可能性があるにもかかわらず、カメラの右側に進路を変更してしまう。一方で、信頼度マップを使うと、カメラの右側の領域は、補正値が低く、信頼度が低くなるため、カメラの右側に物体がいる可能性を考慮して、カメラの右側に進路を変更せずに、その場で停止することができる。
一方で、(c)図のように、カメラの右側の領域の補正値が高くなったときに、信頼度が高くなるため、カメラの右側に物体がいないと判断してカメラの右側に進路を変更することができる。
例えば、検出スコアが高かったとしても、信頼度が低い場合(読み出された面積に基づく補正値が低い場合)は、物体がいない可能性も考慮する必要がある。信頼度の更新例として、上述のように、信頼度=検出スコア(元の信頼度)x読み出された面積に基づく補正値として演算可能である。緊急度が低い場合は(例えば、すぐに衝突する可能性がない場合)、検出スコアが高かったとしても、信頼度(読み出された面積に基づく補正値での補正後の値)が低ければ、そこに物体がないと判断することが可能となる。緊急度が高い場合には、(例えばすぐに衝突する可能性がある場合)、検出スコアが高ければ、信頼度(読み出された面積に基づく補正値での補正後の値)が低かったとしても、そこに物体がいると判断することが可能となる。こように、信頼度マップを使うことにより、より安全に車などの移動体の制御が可能となる。
図29は信頼度算出部125の処理の流れを示すフローチャートである。ここでは、ラインデータの場合の処理例を説明する。
まず、読み出し回数蓄積部126aは、読み出しライン番号の情報を含む読出領域情報を読出部110から取得し(ステップS100)、読み出された画素と時刻の情報を蓄積部126bに画素ごとの読み出し回数の情報として蓄積する(ステップS102)。
次に、読み出し回数取得部126dは、マップ生成のトリガ信号が入力されたか否かを判定する(ステップS104)。入力されていない場合(ステップS104のNo)、ステップS100からの処理を繰り返す。一方で、入力された場合(ステップS104のYes)、読み出し回数取得部126dは、積算時間、例えば4分の1周期に対応する時間内の各画素の読み出し回数を読み出し回数蓄積部126aから取得する(ステップS106)。ここでは、4分の1周期に対応する時間内の各画素の読み出し回数を1回とする。例えば、4分の1周期に対応する時間内に画素が数回読み出される場合もあるが、この場合については後述する。
次に、読み出し面積マップ生成部126eは、画素毎に読み出し面積の割合を示す補正値を生成する(ステップS108)。続けて、読み出し面積マップ生成部126eは、二次元の補正値の配置データを、信頼度マップとして、出力制御部15に出力する。
次に、スコア補正部127は、矩形領域(例えばず21の認識領域A20a)に対する検出スコア、すなわち信頼度を認識処理実行部124から取得する(ステップS110)。
次に、スコア補正部127は、矩形領域(例えばず21の認識領域A20a)内の補正値の代表値を取得する(ステップS112)。例えば、代表値は、認識領域A20a内の補正値の平均値、中間値、最頻値などの統計値を用いることが可能である。
そして、スコア補正部127は、検出スコアと、代表値とに基づき、検出スコアを更新し(ステップS114)、最終的な信頼度として出力して、全体処理を終了する。
以上説明したように、本実施形態によれば、信頼度マップ生成部126が読み出した領域L20a、L20b/(読み出した領域L20a、L20b+読み出していない領域L22a、L22b)(図21)に応じた、画素毎の信頼度の補正値を演算する。そして、スコア補正部127が、その補正値に基づき、信頼度を補正するので、より精度の高い信頼度を演算可能となる。これにより、センサ制御により、読み出した領域L20a、L20bと、読み出していない領域L22a、L22bとが発生するような場合にも、補正後の信頼度の値を統一的に処理できるので、認識処理の認識精度をより向上させることができる。
(第1実施形態の変形例1)
第1実施形態の変形例1に係る情報処理システム1は、信頼度の補正値を演算する範囲を特徴量の受容野に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
第1実施形態の変形例1に係る情報処理システム1は、信頼度の補正値を演算する範囲を特徴量の受容野に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図30は、特徴量と受容野の関係を示す模式図である。受容野とは、1つの特徴量を計算するときに参照される入力画像の範囲、言い換えれば、1つの特徴量が見ている入力画像の範囲を指す。画像A312内の認識領域A30内の特徴量領域AF30に対応する画像A312内の受容野R30と、認識領域A32内の特徴量領域AF32に対応する画像A312内の受容野R32を示す。図31に示すように認識領域A30に対応する特徴量として特徴量領域AF30の特徴量が用いられる。この認識領域A30に対応する特徴量を演算するために用いた画像A312内の範囲を本実施形態では受容野R30と称する。同様に、識領域A32に対応する特徴量を演算するために用いた画像A312内の範囲が受容野R32に対応する。
図31は、信頼度マップ中の認識領域A30、A32と受容野R30、R32を模式的に示した図である。本変形例1に係るスコア補正部127は、受容野R30、R32の情報を用いて補正値の代表値を演算することも可能である点で第1実施形態に係るスコア補正部127と相違する例えば受容野R30と認識領域A30は、画像312内における領域の位置と大きさが異なるため、読み出し面積の平均値が異なる場合がある。より正確に読み出し領域の影響を反映するには、特徴量を演算するために用いられる受容野R30の範囲を用いるのが望ましい。
そこで、スコア補正部127は、例えば認識領域A30の検出スコアを受容野R30内の補正値の代表値を用いて補正する。スコア補正部127は、例えば受容野R30内の補正値の最頻値などの統計値を代表値とすることが可能である。そして、スコア補正部127は、受容野R30内の代表値を、認識領域A30の検出スコアに、例えば乗算し、検出スコアを更新する。この更新後の検出スコアを最終的な信頼度とする。同様に、スコア補正部127は、受容野R32内の補正値の平均値、中間値、最頻値などの統計値を代表値とすることが可能である。そして、スコア補正部127は、受容野R32内の代表値を認識領域A30の検出スコアに、例えば乗算し、検出スコアを更新する。
図31に示すように、認識領域A30、A32を用いて検出スコアを更新すると、認識領域A30の信頼度が認識領域A32の信頼度より高くなるよう更新される。一方で、受容野R30、R32を用いて検出スコアを更新する場合、例えば、代表値を受容野R30、R32の最頻値とすれば、更新後の認識領域A30の信頼度と更新後の認識領域A32の信頼度との比率は同等となる。このように、受容野R30、R3の範囲まで考量することにより、より高精度に信頼度が更新される場合がある。
図32は、認識領域A30内の特徴量に対する寄与度を模式的に示す図である。右図の受容野R30内の濃淡は、認識領域A30(図31参照)内における特徴量の認識処理に対する寄与度を反映した重みづけ値を示しいている。濃度が濃くなるに従い寄与度が高いことを示す。
スコア補正部127は、このような重みづけ値を用いて、受容野R30内の補正値を積算し、代表値としてもよい。特徴量への寄与度が反映されるため、更新後の認識領域A30の信頼度の精度がより向上する。
(第1実施形態の変形例2)
第1実施形態の変形例2に係る情報処理システム1は、認識タスクとしてセマンティックセグメンテーションを行う場合である。セマンティックセグメンテーションは、画像内の全てのピクセルに対して、そのピクセルごとに、そのピクセルや周辺のピクセルの特徴に応じてラベルやカテゴリを関連付ける(付与、設定、分類する)認識手法であり、例えば、ニューラルネットワークを用いたディープラーニングによって実行される。セマンティックセグメンテーションによって、ピクセルごとに関連付けられたラベルやカテゴリに基づいて、同一のラベルやカテゴリを形成するピクセルの集合を認識することができ、画像内を画素レベルで複数の領域に分けることができるため、不規則な形状の対象物体をその周囲の物体と明瞭に区別して検出することができる。例えば、一般的な車道風景に対してセマンティックセグメンテーションのタスクを実行すると、車両、歩行者、標識、車道、歩道、信号、空、街路樹、ガードレール、その他の物体を、画像内において、それぞれのカテゴリごとに分類して認識することができる。この分類のラベルやカテゴリの種類、その数は学習のために用いたデータセットや個々の設定により変化させることができる。例えば、人と背景の2つのラベルやカテゴリのみで実行される場合や、前述のように複数、詳細なラベル、カテゴリによる場合など、目的や装置性能によってさまざまに変わりうる。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
第1実施形態の変形例2に係る情報処理システム1は、認識タスクとしてセマンティックセグメンテーションを行う場合である。セマンティックセグメンテーションは、画像内の全てのピクセルに対して、そのピクセルごとに、そのピクセルや周辺のピクセルの特徴に応じてラベルやカテゴリを関連付ける(付与、設定、分類する)認識手法であり、例えば、ニューラルネットワークを用いたディープラーニングによって実行される。セマンティックセグメンテーションによって、ピクセルごとに関連付けられたラベルやカテゴリに基づいて、同一のラベルやカテゴリを形成するピクセルの集合を認識することができ、画像内を画素レベルで複数の領域に分けることができるため、不規則な形状の対象物体をその周囲の物体と明瞭に区別して検出することができる。例えば、一般的な車道風景に対してセマンティックセグメンテーションのタスクを実行すると、車両、歩行者、標識、車道、歩道、信号、空、街路樹、ガードレール、その他の物体を、画像内において、それぞれのカテゴリごとに分類して認識することができる。この分類のラベルやカテゴリの種類、その数は学習のために用いたデータセットや個々の設定により変化させることができる。例えば、人と背景の2つのラベルやカテゴリのみで実行される場合や、前述のように複数、詳細なラベル、カテゴリによる場合など、目的や装置性能によってさまざまに変わりうる。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図33は、画像に対して、一般的なセマンティックセグメンテーションによる認識処理を施した模式図である。この処理においては、画像全体に対してセマンティックセグメンテーションの処理が実行されることで、ピクセルごとに対応するラベルやカテゴリが設定され、同一のラベルやカテゴリを形成するピクセルの集合によって、画像がピクセルレベルで複数の領域に分けられている。そして、セマンティックセグメンテーションでは一般的には、ピクセルごとにその設定されたラベルやカテゴリの信頼度が出力される。また、同一のラベルやカテゴリを形成するピクセルの集合に対して、それぞれのピクセルの集合の信頼度の平均値を算出し、それをそのピクセルの集合の信頼度として、ピクセルの集合に対してそれぞれ一つの信頼度を算出するようにしてもよい。また、平均値以外にも、中央値などによってもよい。
第1実施形態の変形例2においては、一般的なセマンティックセグメンテーションの処理によって算出された信頼度に対して、スコア補正部127は、信頼度の補正を行う。すなわち、画像内に占める読み出し面積(画面平均)による補正、認識領域の補正値の代表値に基づく補正、信頼度マップ(マップ統合部126j、読み出し面積マップ生成部126e、読み出し頻度マップ生成部126f、多重露光マップ生成部126g、及びダイナミックレンジマップ生成部126h)による補正、受容野を用いた補正を行う。このように、第1実施形態の変形例2においては、セマンティックセグメンテーションによる認識処理に対して本発明を適用することによって、補正された信頼度の算出を行うことで、より高精度に信頼度算出を行うことができる。
(第2実施形態)
第2実施形態に係る情報処理システム1は、信頼度の補正値を画素の読み出し頻度に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
第2実施形態に係る情報処理システム1は、信頼度の補正値を画素の読み出し頻度に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図34は、第2実施形態に係る信頼度マップ生成部126のブロック図である。図34に示すように、信頼度マップ生成部126は、読み出し頻度マップ生成部126fを更に備える。
図35は、認識領域A36とラインデータL36aの関係を模式的に示す図である。上側の図がラインデータL36aと不読み出し領域L36bを示し、下側の図が信頼度マップを示す。ここでは、読み出し頻度マップである。(a)図は、ラインデータL36aの読み出し回数が1回、 (b)図は読み出し回数が2回、(c)図は読み出し回数が3回、(d)図は読み出し回数が4回を示す。
読み出し頻度マップ生成部126fは、画像の全領域における画素の出現頻度の平滑化演算処理を行う。例えば、この平滑化演算処理は高周波成分を低減するフィルタリング処理である。
図35に示すように、本実施形態では、例えば、平滑演算処理を画像全体に対し、画素を中心とした例えば矩形範囲毎に行う。例えば、矩形範囲は5×5画素の範囲とする。このような処理により、図35(a)では、画素位置による変動はあるが、各画素の補正値はおよそ2分の1となる。一方で、図35(b)では、ラインデータL36aが読み出された領域では、1回を示し、図35(c)では、ラインデータL36aが読み出された領域では、3/2回を示し、図35(d)では、ラインデータL36aが読み出された領域では、2回を示す。また、データが読み出されていない領域では、読み出し頻度は0となる。
スコア補正部127は、認識領域A36に対しては、認識領域A36に対応する信頼度を認識領域A36内の補正値の代表値に基づき補正する。例えば、代表値は、認識領域A36内の補正値の平均値、中間値、最頻値などの統計値を用いることが可能である。
以上説明したように、本実施形態によれば、信頼度マップ生成部126が、画素を中心とする所定範囲内の画素の出現頻度の平滑化演算処理を全画像領域に対して行ない、全画像領域における画素毎の信頼度の補正値を演算する。そして、スコア補正部127が、その補正値に基づき、信頼度を補正するので、画素の読み出し頻度を反映したより精度の高い信頼度を演算可能となる。これにより、画素の読み出し頻度に差が発生するような場合にも、補正後の信頼度の値を統一的に処理できるので、認識処理の認識精度をより向上させることができる。
(第3実施形態)
第3実施形態に係る情報処理システム1は、信頼度の補正値を画素の露光回数に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
(第3実施形態)
第3実施形態に係る情報処理システム1は、信頼度の補正値を画素の露光回数に基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図36は、第3実施形態3に係る信頼度マップ生成部126のブロック図である。図36に示すように、信頼度マップ生成部126は、多重露光マップ生成部126gを更に備える。
図37は、ラインデータL36aの露光頻度との関係を模式的に示す図である。上側の図がラインデータL36aと不読み出し領域L36bを示し、下側の図が信頼度マップを示す。ここでは、多重露光マップである。(a)図は、ラインデータL36aの露光回数が2回、(b)図は露光回数が4回、(c)図は露光回数が6回を示す。
読み出し頻度マップ生成部126fは、画素を中心とする所定範囲内の画素の露光回数の平滑化演算処理を全画像領域に対して行ない、全画像領域における画素毎の信頼度の補正値を演算する。例えば、この平滑化演算処理は高周波成分を低減するフィルタリング処理である。
図37に示すように、本実施形態では、例えば、平滑演算処理を行う所定範囲を5×5画素範囲に対応する矩形範囲とする。このような処理により、図37(a)では、画素位置による変動はあるが、各画素の補正値はおよそ2分の1となる。一方で、図37(b)では、ラインデータL36aが読み出された領域では、露光回数が1回を示し、図37(c)では、ラインデータL36aが読み出された領域では、露光回数が3/2回を示し、図37(d)では、ラインデータL36aが読み出された領域では、2回を示す。また、データが読み出されていない領域では、読み出し頻度は0となる。
スコア補正部127は、認識領域A36に対しては、認識領域A36に対応する信頼度を認識領域A36内の補正値の代表値に基づき補正する。例えば、代表値は、認識領域A36内の補正値の平均値、中間値、最頻値などの統計値を用いることが可能である。
以上説明したように、本実施形態によれば、信頼度マップ生成部126が、画素を中心とする所定範囲内における画素の露光回数の平滑化演算処理を全画像領域に対して行ない、全画像領域における画素毎の信頼度の補正値を演算する。そして、スコア補正部127が、その補正値に基づき、信頼度を補正するので、画素の露光回数を反映したより精度の高い信頼度を演算可能となる。これにより、画素の露光回数に差が発生するような場合にも、補正後の信頼度の値を統一的に処理できるので、認識処理の認識精度をより向上させることができる。
(第4実施形態)
第4実施形態に係る情報処理システム1は、信頼度の補正値を画素のダイナミックレンジに基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
第4実施形態に係る情報処理システム1は、信頼度の補正値を画素のダイナミックレンジに基づき演算可能である点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図38は、第4実施形態に係る信頼度マップ生成部126のブロック図である。図38に示すように、信頼度マップ生成部126は、ダイナミックレンジマップ生成部126hを更に備える。
図39は、ラインデータL36aのダイナミックレンジとの関係を模式的に示す図である。上側の図がラインデータL36aと不読み出し領域L36bを示し、下側の図が信頼度マップを示す。ここでは、ダイナミックレンジマップである。(a)図は、ラインデータL36aのダイナミックレンジが40dbであり、(b)図はダイナミックレンジが80dbであり、(c)図はダイナミックレンジが120dbである。
ダイナミックレンジマップ生成部126hは、画素を中心とする所定範囲内における画素のダイナミックレンジの平滑化演算処理を全画像領域に対して行ない、全画像領域における画素毎の信頼度の補正値を演算する。例えば、この平滑化演算処理は高周波成分を低減するフィルタリング処理である。
図39に示すように、本実施形態では、例えば、平滑演算処理を行う所定範囲を5×5画素範囲に対応する矩形範囲とする。このような処理により、図35(a)では、画素位置による変動はあるが、各画素の補正値はおよそ20となる。一方で、図35(b)では、ラインデータL36aが読み出された領域では、露光回数が40を示し、図35(c)では、ラインデータL36aが読み出された領域では、80を示す。また、データが読み出されていない領域では、読み出し頻度は0となる。なお、ダイナミックレンジマップ生成部126hは、補正値の値を正規化し、例えば0.0から1.0の範囲とする。
スコア補正部127は、認識領域A36に対しては、認識領域A36に対応する信頼度を認識領域A36内の補正値の代表値に基づき補正する。例えば、代表値は、認識領域A36内の補正値の平均値、中間値、最頻値などの統計値を用いることが可能である。
以上説明したように、本実施形態によれば、信頼度マップ生成部126が、画素を中心とする所定範囲内における画素のダイナミックレンジの平滑化演算処理を全画像領域に対して行ない、全画像領域における画素毎の信頼度の補正値を演算する。そして、スコア補正部127が、その補正値に基づき、信頼度を補正するので、画素のダイナミックレンジを反映したより精度の高い信頼度を演算可能となる。これにより、画素のダイナミックレンジに差が発生するような場合にも、補正後の信頼度の値を統一的に処理できるので、認識処理の認識精度をより向上させることができる。
(第5実施形態)
第5実施形態に係る情報処理システム1は、各種の信頼度の補正値を統合するマップ統合部を有する点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
第5実施形態に係る情報処理システム1は、各種の信頼度の補正値を統合するマップ統合部を有する点で、第1実施形態に係る情報処理システム1と相違する。以下では、第1実施形態に係る情報処理システム1と相違する点に関して説明する。
図40は、第5実施形態に係る信頼度マップ生成部126のブロック図である。図40に示すように、信頼度マップ生成部126は、マップ統合部126jを更に備える。
マップ統合部126jは、読み出し面積マップ生成部126e、読み出し頻度マップ生成部126f、多重露光マップ生成部126g、及びダイナミックレンジマップ生成部126hの出力値を統合可能である。
マップ統合部126jは、読み出し面積マップ生成部126e、読み出し頻度マップ生成部126f、多重露光マップ生成部126g、及びダイナミックレンジマップ生成部126hの出力値を統合可能である。
マップ統合部126jは、画素毎の各補正値を乗算して、(1)式に示すように補正値を統合する。
ここで、rel_map1が、読み出し面積マップ生成部126e出力した各画素の補正値、rel_map2が、読み出し頻度マップ生成部126fが出力した各画素の補正値を示し、rel_map3が、多重露光マップ生成部126gが出力した各画素の補正値を示し、rel_map4が、ダイナミックレンジマップ生成部126hが出力した各画素の補正値を示す。乗算の場合、いずれかの補正値が0であれば、統合補正値rel_mapは0となり、より安全な側に振った認識処理が可能となる。
マップ統合部126jは、画素毎の各補正値を重み付け加算して、(2)式に示すように補正値を統合する。
ここで、coef1、coef2、coef3、coef4は重み係数を示す。補正値を重み付け加算の場合、各補正値の寄与に応じて統合補正値rel_mapを得ることが可能となる。なお、rel_mapの値に、デプスセンサなどの異種センサの値に基づく補正値を統合してもよい。
以上説明したように、本実施形態によれば、マップ統合部126jは、読み出し面積マップ生成部126e、読み出し頻度マップ生成部126f、多重露光マップ生成部126g、及びダイナミックレンジマップ生成部126hの出力値を統合することとした。これにより、各補正値の値を考慮した補正値を生成可能となり、補正後の信頼度の値を統一的に処理できるので、認識処理の認識精度をより向上させることができる。
(第6実施形態)
(6-1.本開示の技術の適用例)
次に、第6の実施形態として、本開示に係る、第1乃至第5実施形態に係る情報処理装置2の適用例について説明する。図41は、第1乃至第5実施形態に係る情報処理装置2を使用する使用例を示す図である。なお、以下では、特に区別する必要のない場合、情報処理装置2で代表させて説明を行う。
次に、第6の実施形態として、本開示に係る、第1乃至第5実施形態に係る情報処理装置2の適用例について説明する。図41は、第1乃至第5実施形態に係る情報処理装置2を使用する使用例を示す図である。なお、以下では、特に区別する必要のない場合、情報処理装置2で代表させて説明を行う。
上述した情報処理装置2は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングしセンシング結果に基づき認識処理を行う様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
(6-2.移動体への適用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図42は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図42に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図36の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図43は、撮像部12031の設置位置の例を示す図である。
図43では、車両12100は、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図43には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112、12113は、それぞれサイドミラーに設けられた撮像部12102、12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031および車外情報検出ユニット12030に適用され得る。具体的には、例えば、情報処理装置1のセンサ部10を撮像部12031に適用し、認識処理部12を車外情報検出ユニット12030に適用する。認識処理部12から出力された認識結果は、例えば通信ネットワーク12001を介して統合制御ユニット12050に渡される。
このように、本開示に係る技術を撮像部12031および車外情報検出ユニット12030に適用することで、近距離の対象物の認識と、遠距離の対象物の認識とをそれぞれ実行できると共に、近距離の対象物の認識を高い同時性で行うことが可能となるため、より確実な運転支援が可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成を取ることができる。
(1)複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を備える、情報処理装置。
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を備える、情報処理装置。
(2)前記信頼度算出部は、撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記信頼度の補正値を前記複数の画素毎に演算し、前記補正値が2次元アレイ状に配列された信頼度マップを生成する信頼度マップ生成部を、
更に有する、(1)に記載の情報処理装置。
更に有する、(1)に記載の情報処理装置。
(3)前記信頼度算出部は、前記信頼度の補正値に基づき、前記信頼度を補正する補正部を、
更に有する、(1)又は(2)に記載の情報処理装置。
更に有する、(1)又は(2)に記載の情報処理装置。
(4)前記補正部は、前記所定領域に基づく、前記補正値の代表値に応じて、前記信頼度を補正する、(3)に記載の情報処理装置。
(5)前記読出部は、前記画素領域に含まれる画素をライン状の画像データとして読み出す、(1)に記載の電子機器。
(6)前記読出部は、前記画素領域に含まれる画素を格子状又は市松状のサンプリング画像データとして読み出す、(1)に記載の情報処理装置。
(7)前記所定領域内の対象物を認識する認識処理実行部を、
更に備える、(1)に記載の情報処理装置。
更に備える、(1)に記載の情報処理装置。
(8)前記補正部は、前記所定領域内の特徴量を演算した受容野に基づき、前記補正値の代表値を演算する、(4)に記載の情報処理装置。
(9)前記信頼度マップ生成部は、面積、読み出された回数、ダイナミックレンジ、及び露光情報のうちの少なくとも2つの情報それぞれに基づく、信頼度マップを少なくとも2種類以上生成し、
前記少なくとも2種類以上の信頼度マップを合成する合成部を、
更に備える、(2)に記載の情報処理装置。
前記少なくとも2種類以上の信頼度マップを合成する合成部を、
更に備える、(2)に記載の情報処理装置。
(10)前記画素領域内における所定領域は、セマンティックセグメンテーションにより画素ごとに関連付けられたラベル、及びカテゴリの少なくとも一つに領域である、(1)に記載の情報処理装置。
(11)複数の画素が2次元アレイ状に配列されたセンサ部と、
認識処理部と、を備える情報処理システムであって、
前記認識処理部は、
前記センサ部の画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、を有する認識処理部と、
を有する、情報処理システム。
認識処理部と、を備える情報処理システムであって、
前記認識処理部は、
前記センサ部の画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、を有する認識処理部と、
を有する、情報処理システム。
(12)複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、 前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
を備える、情報処理方法。
を備える、情報処理方法。
(13)認識処理部が実行する、
複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
をコンピュータに実行させるプログラム。
複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
をコンピュータに実行させるプログラム。
1:情報処理システム、2:情報処理装置、10:センサ部、12:認識処理部、110:読出部、124:認識処理実行部、125:信頼度算出部、126:信頼度マップ生成部、127:スコア補正部。
Claims (13)
- 複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を備える、情報処理装置。 - 前記信頼度算出部は、撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記信頼度の補正値を前記複数の画素毎に演算し、前記補正値が2次元アレイ状に配列された信頼度マップを生成する信頼度マップ生成部を、
更に有する、請求項1に記載の情報処理装置。 - 前記信頼度算出部は、前記信頼度の補正値に基づき、前記信頼度を補正する補正部を、 更に有する、請求項1に記載の情報処理装置。
- 前記補正部は、前記所定領域に基づく、前記補正値の代表値に応じて、前記信頼度を補正する、請求項3に記載の情報処理装置。
- 前記読出部は、前記画素領域に含まれる画素をライン状の画像データとして読み出す、請求項1に記載の情報処理装置。
- 前記読出部は、前記画素領域に含まれる画素を格子状又は市松状のサンプリング画像データとして読み出す、請求項1に記載の情報処理装置。
- 前記所定領域内の対象物を認識する認識処理実行部を、
更に備える、請求項1に記載の情報処理装置。 - 前記補正部は、前記所定領域内の特徴量を演算した受容野に基づき、前記補正値の代表値を演算する、請求項4に記載の情報処理装置。
- 前記信頼度マップ生成部は、面積、読み出された回数、ダイナミックレンジ、及び露光情報のうちの少なくとも2つの情報それぞれに基づく、信頼度マップを少なくとも2種類以上生成し、
前記少なくとも2種類以上の信頼度マップを合成する合成部を、
更に備える、請求項2に記載の情報処理装置。 - 前記画素領域内における所定領域は、セマンティックセグメンテーションにより画素ごとに関連付けられたラベル、及びカテゴリの少なくとも一つに基づく領域である、請求項1に記載の情報処理装置。
- 複数の画素が2次元アレイ状に配列されたセンサ部と、
認識処理部と、を備える情報処理システムであって、
前記認識処理部は、
前記センサ部の画素領域の一部として読出単位を設定し、前記読出単位に含まれる画素からの画素信号の読み出しを制御する読出部と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出部と、
を有する、情報処理システム。 - 複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
を備える、情報処理方法。 - 認識処理部が実行する、
複数の画素が2次元アレイ状に配列された画素領域の一部として読出単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
前記読出単位として設定されて読み出された撮像画像の領域の、面積、読み出された回数、ダイナミックレンジ、及び露光情報の少なくともいずれかに基づいて、前記画素領域内における所定領域の信頼度を算出する信頼度算出工程と、
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022538657A JPWO2022019049A1 (ja) | 2020-07-20 | 2021-06-25 | |
DE112021003845.1T DE112021003845T5 (de) | 2020-07-20 | 2021-06-25 | Datenverarbeitungsvorrichtung, Datenverarbeitungssystem, Datenverarbeitungsverfahren und Datenverarbeitungsprogramm technisches Gebiet |
US18/003,923 US20230308779A1 (en) | 2020-07-20 | 2021-06-25 | Information processing device, information processing system, information processing method, and information processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123647 | 2020-07-20 | ||
JP2020-123647 | 2020-07-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022019049A1 true WO2022019049A1 (ja) | 2022-01-27 |
Family
ID=79729409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/024181 WO2022019049A1 (ja) | 2020-07-20 | 2021-06-25 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230308779A1 (ja) |
JP (1) | JPWO2022019049A1 (ja) |
DE (1) | DE112021003845T5 (ja) |
WO (1) | WO2022019049A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114026436B (zh) * | 2019-06-25 | 2024-05-24 | 索尼集团公司 | 图像处理装置、图像处理方法和程序 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155257A (ja) * | 1998-11-19 | 2000-06-06 | Fuji Photo Film Co Ltd | 自動焦点調節装置および方法 |
JP2013235304A (ja) * | 2012-05-02 | 2013-11-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2019012426A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11201500910RA (en) * | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
US20140125861A1 (en) * | 2012-11-07 | 2014-05-08 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
JP2017112409A (ja) | 2015-12-14 | 2017-06-22 | ソニー株式会社 | 撮像装置および方法 |
US10812711B2 (en) * | 2018-05-18 | 2020-10-20 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
-
2021
- 2021-06-25 WO PCT/JP2021/024181 patent/WO2022019049A1/ja active Application Filing
- 2021-06-25 US US18/003,923 patent/US20230308779A1/en active Pending
- 2021-06-25 JP JP2022538657A patent/JPWO2022019049A1/ja active Pending
- 2021-06-25 DE DE112021003845.1T patent/DE112021003845T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155257A (ja) * | 1998-11-19 | 2000-06-06 | Fuji Photo Film Co Ltd | 自動焦点調節装置および方法 |
JP2013235304A (ja) * | 2012-05-02 | 2013-11-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2019012426A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112021003845T5 (de) | 2023-05-04 |
US20230308779A1 (en) | 2023-09-28 |
JPWO2022019049A1 (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7380180B2 (ja) | 固体撮像素子、撮像装置、撮像方法および撮像プログラム | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2022019049A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2022019025A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
US20240078803A1 (en) | Information processing apparatus, information processing method, computer program, and sensor apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21846151 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022538657 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21846151 Country of ref document: EP Kind code of ref document: A1 |