WO2020170835A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- WO2020170835A1 WO2020170835A1 PCT/JP2020/004542 JP2020004542W WO2020170835A1 WO 2020170835 A1 WO2020170835 A1 WO 2020170835A1 JP 2020004542 W JP2020004542 W JP 2020004542W WO 2020170835 A1 WO2020170835 A1 WO 2020170835A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information processing
- unit
- captured
- processing apparatus
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 235
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000002834 transmittance Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 67
- 238000000034 method Methods 0.000 description 62
- 238000001514 detection method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 46
- 230000006866 deterioration Effects 0.000 description 37
- 230000007613 environmental effect Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 34
- 238000004458 analytical method Methods 0.000 description 21
- 230000001133 acceleration Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000005259 measurement Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 230000010391 action planning Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present disclosure relates to an information processing device, an information processing method, and an information processing program. Specifically, the present invention relates to image processing used for automatic driving of a moving body.
- ADAS Advanced Driver Assistance System
- Patent Document 1 a technique of performing matching based on a geographical feature amount in order to measure a position where a vehicle performing automatic driving is traveling.
- Patent Document 2 a technique of controlling whether to perform automatic driving or to execute notification of a manual driving preparation request, based on the correlation with pseudo road surface information.
- the conventional technology it is possible to improve the safety of the automatic driving by estimating the self-position during the automatic driving based on the data such as the geographical feature amount acquired in advance.
- the conventional technology has room for improvement. For example, even if you try to estimate your own position based on various data, if the current environment (weather, illuminance, etc.) is significantly different from the past, it is not possible to respond to changes in the situation, and those information are automatically driven. There are cases where it cannot be used effectively.
- the present disclosure proposes an information processing device, an information processing method, and an information processing program that can obtain an image in which image quality deterioration due to a change in environment is reduced.
- an information processing apparatus captures images at a timing next to the first image based on a comparison result between the first image and a plurality of images captured in the past.
- An estimating unit that estimates a third image that is an image captured in the past at a position corresponding to the second image, and the second image based on the third image when the second image is acquired.
- a generation unit that generates a fourth image that is a corrected image.
- Embodiment 1-1 Example of information processing according to the embodiment 1-2. Configuration of information processing apparatus according to embodiment 1-3. Information processing procedure according to embodiment 1-4. Modification of the embodiment 1-4-1. Use of map data 1-4-2. Application to cases other than autonomous driving 2. Other Embodiments 2-1. Configuration of moving body 2-2. Other 3. Effect of information processing apparatus according to the present disclosure 4. Hardware configuration
- FIG. 1 is a diagram illustrating an example of information processing according to an embodiment of the present disclosure. Specifically, FIG. 1 shows a block diagram showing a flow of information processing according to the present disclosure.
- the information processing according to the embodiment of the present disclosure is applied, for example, when a predetermined moving body that performs automatic driving determines an appropriate traveling position or recognizes a surrounding object to prevent a collision or the like. To be done.
- a predetermined moving body that performs automatic driving determines an appropriate traveling position or recognizes a surrounding object to prevent a collision or the like.
- an automobile is taken as an example of the predetermined moving body.
- the information processing according to the embodiment is executed by the information processing device 100 (not shown in FIG. 1) mounted on the automobile.
- the information processing device 100 observes the surrounding situation by the sensor and recognizes the surrounding objects based on the observation result.
- the information processing apparatus 100 uses a camera equipped with an image sensor to photograph the surroundings and acquire an image. Then, the information processing apparatus 100 obtains information for performing automatic driving by performing image recognition processing on the acquired image.
- a moving car cannot always take an image that can appropriately perform image recognition.
- an image taken by a moving car is easily affected by the environment.
- the influence of the environment may be a reduction in contrast due to backlight or haze (fog or haze), or an obstruction of visibility due to weather such as rain or snow or dirt on the camera lens.
- the influence of the environment includes a shortage of light amount that occurs at the time of shooting at night or while driving in a tunnel. That is, an image taken by a moving car is strongly affected by the shooting environment.
- the information processing apparatus 100 solves the above problem by the processing described below. Specifically, the information processing apparatus 100 corrects an image by performing a process called environmental deterioration compensation on an image including noise such as an image affected by the environment. For example, in environmental degradation compensation, pixel information of an image in which the same target is captured and less degraded is used to correct an image degraded by the environment to generate an image from which noise is removed.
- environmental degradation compensation pixel information of an image in which the same target is captured and less degraded is used to correct an image degraded by the environment to generate an image from which noise is removed.
- a matching image an image obtained by shooting an image substantially the same as the image to be corrected (substantially the same) Images taken at the shooting position, the angle, and the angle of view), which are less deteriorated.
- the information processing apparatus 100 based on the collation result of a predetermined image captured during automatic driving and a plurality of images captured in the past accumulated in advance, the next timing in the automatic driving.
- An image that is an image that was previously captured at a position corresponding to the image that was captured in is estimated as a collation image. Then, when the image is actually captured at the next timing, the information processing apparatus 100 corrects the captured image based on the collation image and generates a new image with little deterioration.
- the information processing apparatus 100 performs image recognition processing for automatic driving while correcting the image captured at the present time based on the image with little deterioration accumulated during the past travel. Therefore, the information processing apparatus 100 can perform the image recognition process based on the image in which the influence of noise is eliminated, not the past data but the image at the present time, so that the stable automatic operation that is not affected by the change in the environment can be performed. Driving can be realized.
- the information processing device 100 does not necessarily need to be photographed by the information processing device 100 itself, and may perform the above processing by acquiring an image photographed by an external photographing device or the like, for example.
- the information processing device 100 is installed in a vehicle that is a moving body, or that the vehicle itself functions as the information processing device 100. That is, in the following description, the information processing device 100 can also be read as an automobile (moving body).
- the information processing apparatus 100 has a plurality of past images (accumulated image sets) captured and acquired when traveling in the past. It should be noted that the accumulated image set may be read as a series of moving images captured during past traveling. For example, in the example of FIG. 1, it is assumed that the information processing apparatus 100 travels on the same road on a regular basis every day and acquires the accumulated image set in the process.
- the information processing apparatus 100 captures an image by taking a picture of the surroundings with a camera while traveling by automatic driving (step S1).
- the image thus photographed during actual traveling is referred to as an “input image”.
- the information processing apparatus 100 acquires the image P01 as the input image.
- the image P01 is an image that has been deteriorated due to the influence of fog, for example.
- the deteriorated image is, for example, an image that is not clear due to its low transmittance or blurring as compared with a normal image.
- the deteriorated image refers to an image having an extremely high altitude in part due to the influence of backlight, or an image in which the brightness of the entire image cannot be secured due to the influence of being photographed at night.
- the deteriorated image is used for automatic driving, the accuracy of recognition of the target object, etc. decreases, and the risk of accidents and the like in automatic driving increases.
- the information processing apparatus 100 performs a process for correcting the deteriorated image P01. Specifically, the information processing apparatus 100 sends the image P01 acquired in step S1 to the image deterioration compensation processing unit (step S2). Further, the information processing apparatus 100 specifies the image P02 which is the collation image corresponding to the image P01 from the accumulated image set and sends it to the image deterioration compensation processing unit (step S3). The details of the process of identifying the image P02 will be described later.
- the image P02 is an image taken at substantially the same shooting position, angle, and angle of view as the image P01, and is an image with less deterioration than the image P01.
- the information processing apparatus 100 performs environmental degradation compensation processing on the image P01 based on the pixel information included in the image P02 (step S4). Detailed processing of environmental deterioration compensation will be described later.
- the information processing apparatus 100 performs environmental deterioration compensation and generates an image P03 which is an image (hereinafter referred to as a “restored image”) obtained by removing the influence of the environment such as fog from the image P01.
- the information processing apparatus 100 sends the image P03 which is the restored image to the matching processing unit (step S5).
- the information processing apparatus 100 also controls the automatic driving by using the image P03 (step S6).
- the information processing apparatus 100 can perform automatic driving control with higher safety.
- the information processing apparatus 100 collates the image acquired by the information processing apparatus 100 with the accumulated image set at the next timing based on the image P03 acquired in step S05 (step S7).
- the image acquired by the information processing device 100 at the next timing is an image captured while the information processing device 100 is running.
- the image acquired by the information processing device 100 at the next timing is an image acquired by the information processing device 100 after the image P01.
- the next timing at which the image is acquired is determined by the specifications of the camera of the information processing device 100, for example.
- the next timing when an image is acquired is determined based on the frame rate or the like in moving image shooting. For example, when the frame rate is 30 fps (frame per second), the next timing of image acquisition is 1/30 second later.
- the information processing apparatus 100 selects, from the accumulated image set, an image (hereinafter referred to as a “candidate image”) that can be a candidate for a collation image for the image acquired next to the image P01 based on the information collated in step S7. Estimate (step S8). For example, when the frame rate is 30 fps, the information processing apparatus 100 estimates, in the accumulated image set including the image P02, an image captured after 1/30 second of the image P02 as a candidate image.
- FIG. 2 is a diagram (1) illustrating information processing according to the embodiment of the present disclosure.
- FIG. 2 conceptually shows how the accumulated image set and the image captured by the information processing apparatus 100 are collated.
- the accumulated image set is a series of moving images acquired and accumulated before the captured images are obtained.
- the captured image is a moving image that is continuously acquired when the information processing device 100 travels. That is, the accumulated image set and the captured image are moving images obtained at different timings by the information processing device 100 traveling on the same road.
- the information processing apparatus 100 has verified that the image P11 and the image P15 are a corresponding pair by the processing shown in FIG. After that, the information processing apparatus 100 acquires the image P12 as the captured image, but before that, estimates the image P16 predicted to correspond to the image P12.
- the information processing apparatus 100 is a candidate corresponding to the image P12 predicted to be captured next time based on the traveling speed when the accumulated image set is obtained and the traveling speed when the image P11 is acquired. Estimate the image. Specifically, when the traveling speed when the accumulated image set is obtained and the traveling speed when the image P11 is acquired are the same, the information processing apparatus 100 acquires the next image when the image P12 is obtained. Image P16 is estimated as a candidate image corresponding to the image P12 predicted to be captured next to the image P11. Alternatively, when the traveling speed when the accumulated image set is obtained is different from the traveling speed when the image P11 is acquired, the information processing apparatus 100 corresponds to the image P12 a candidate image that is deviated by a different speed. Estimate as an image.
- the information processing apparatus 100 associates the image P12 with the image P16 and then an image that is an image acquired at the next timing.
- the candidate image corresponding to P13 is estimated.
- the information processing apparatus 100 estimates the image P17 as an image corresponding to the image P13.
- the information processing apparatus 100 sequentially associates a plurality of images captured in the past with the images captured at the current time.
- the information processing apparatus 100 sequentially performs environmental deterioration compensation using the pair of corresponding images.
- FIG. 3 is a diagram (2) illustrating information processing according to the embodiment of the present disclosure.
- FIG. 3 is a block diagram showing a situation in which environmental deterioration compensation and collation processing are repeatedly performed.
- the information processing apparatus 100 acquires the captured image P21 at a certain time (t). Since the captured image P21 is an image acquired at time (t), it is also represented as a captured image (t).
- the information processing apparatus 100 performs environmental deterioration compensation on the captured image (t) if possible (step S11). Note that when the captured image (t) is the earliest image in the information processing of the present disclosure, there is no collation image for performing environmental deterioration compensation, and thus the information processing apparatus 100 skips step S11.
- the information processing apparatus 100 collates the captured image (t) with the candidate image (t) that is an image corresponding to the captured image (t) (step S12).
- the information processing apparatus 100 assigns identification information (matching ID(t)) to the information related to this matching (for example, the candidate image (t) and information related to images near the candidate image (t)), and the next processing unit Send to.
- the information processing apparatus 100 estimates a candidate image to be collated with the image captured next time (t+1) (step S13).
- the information processing apparatus 100 acquires self-motion data such as position information such as traveling speed and which road the vehicle is traveling on, and estimates the next candidate image based on the acquired data.
- the information processing apparatus 100 issues an estimated ID (t+1) indicating information related to this estimation (for example, identification information for identifying the candidate image (t+1)) and makes an inquiry to the storage unit 120.
- the information processing apparatus 100 extracts the candidate image (t+1) from the storage unit 120. Then, the information processing apparatus 100 performs environmental deterioration compensation on the captured image P22 obtained at time (t+1) based on the candidate image (t+1) (step S14). Further, the information processing apparatus 100 performs the matching process on the image generated after the environmental deterioration compensation (step S15). The information processing device 100 issues the collation ID (t+1) and repeats the processing from step S13.
- the information processing apparatus 100 can continue automatic driving by using an image that is captured at the time of traveling at the present time and that has little environmental degradation, and thus performs highly safe automatic driving control. You can
- FIG. 4 is a diagram (3) illustrating information processing according to the embodiment of the present disclosure.
- FIG. 4 is a block diagram showing the overall flow of information processing including automatic driving control.
- the information processing apparatus 100 acquires the captured image P21 during automatic driving. At this time, the information processing apparatus 100 may acquire not only the visible image but also the depth data as the captured image P21 using a depth sensor or the like. The information processing apparatus 100 performs environmental deterioration compensation on the acquired captured image P21 as described with reference to FIGS. 1 to 3 (step S21). The information processing apparatus 100 may use the self-motion data in the estimation process of the matching image corresponding to the captured image P21.
- the information processing apparatus 100 sends the restored image generated through the environmental deterioration compensation to the matching process (step S22).
- the information processing apparatus 100 may acquire GPS (Global Positioning System) data and use it for the matching process.
- the information processing apparatus 100 may compare the restored image and the collation image, select a clearer image, and update the accumulated image (step S23).
- the information processing apparatus 100 accumulates the selected images and prepares for environmental degradation compensation of the next captured image.
- the information processing apparatus 100 sends the restored image generated through the environmental deterioration compensation to the processing unit that performs abnormality detection.
- the information processing apparatus 100 performs an image recognition process on the restored image and detects an abnormality (step S24).
- the information processing apparatus 100 sends the restored image to the processing unit that performs obstacle detection, and performs obstacle detection (step S25).
- the information processing apparatus 100 refers to the storage unit in which the traveling data such as the past traveling position is stored and acquires the past traveling position (step S26). For example, the information processing apparatus 100 acquires a past driving history such as a traveling position and a traveling speed adopted in the past on a road currently traveling. Then, the information processing apparatus 100 determines the traveling position in the automatic driving based on the information regarding the obstacle detection in step S25 and the information such as the past traveling position (step S27).
- the information processing apparatus 100 updates the recommended traveling position based on this information (step S28).
- the information processing apparatus 100 stores the updated information in the storage unit and prepares for future automatic driving.
- the information processing apparatus 100 performs image processing for correcting the environmental influence by using an image captured in a path that has passed in the past with little deterioration. As a result, the information processing apparatus 100 enables stable automatic driving that is not affected by changes in the environment.
- FIG. 5 is a diagram illustrating a configuration example of the information processing device 100 according to the embodiment of the present disclosure.
- the information processing device 100 includes a communication unit 110, a storage unit 120, a control unit 130, a detection unit 140, an input unit 150, and an output unit 160.
- the configuration shown in FIG. 5 is a functional configuration, and the hardware configuration may be different from this. Further, the functions of the information processing device 100 may be distributed and implemented in a plurality of physically separated devices.
- the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
- the communication unit 110 may be a USB (Universal Serial Bus) host controller, a USB interface including a USB port, or the like.
- the communication unit 110 may be a wired interface or a wireless interface.
- the communication unit 110 may be a wireless communication interface of a wireless LAN system or a cellular communication system.
- the communication unit 110 functions as a communication unit or a transmission unit of the information processing device 100.
- the communication unit 110 is connected to a network N (Internet or the like) by wire or wirelessly, and transmits/receives information to/from another information processing terminal or the like via the network N.
- a network N Internet or the like
- the storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
- the storage unit 120 stores various data.
- the storage unit 120 stores a learning device (image recognition model) that has learned an object to be detected, data regarding the detected object, and the like for image recognition processing in automatic driving.
- the storage unit 120 may store map data or the like for executing automatic driving.
- the storage unit 120 may store information regarding the vehicle controlled by the automatic driving by the information processing device 100.
- the storage unit 120 stores information such as the size, weight, and vehicle type of the vehicle body.
- the storage unit 120 also has an image data table 121 which is a data table for accumulating images taken when the vehicle traveled in the past.
- FIG. 6 shows an example of the image data table 121 according to the embodiment.
- FIG. 6 is a diagram showing an example of the image data table 121 according to the embodiment of the present disclosure.
- the image data table 121 has items such as “image ID”, “image data”, “GPS data”, “travel speed”, “update date”, “weather”, and “parameter”. ..
- Image ID indicates identification information for identifying an image.
- Image data indicates pixel data that forms an image. Note that in the example of FIG. 6, the image data is shown by a concept such as “A31”, but actually, the items of the image data include the number of pixels (pixels) forming the image and the color information for each pixel. Specific information such as is stored.
- GPS data indicates GPS data indicating the position of the information processing device 100 (vehicle) when the image was acquired.
- the “traveling speed” indicates the traveling speed of the information processing device 100 (automobile) when the image is acquired.
- the “update date and time” indicates the update date and time of the latest image at the position where the image was captured.
- “Weather” indicates the weather when the image was acquired.
- Parameter indicates various parameters when the image was acquired.
- the parameters include, for example, the exposure time when the image was taken, whether or not a filtering process for removing rain etc. was performed, or each numerical value or setting value such as the intensity of the NR (Noise Reduction) process. Be done.
- the image with the image ID “P31” has the image data “A31”, the GPS data when the image was captured is “B31”, and the traveling speed is It is indicated that "30 km/h”, the update date and time is "D31”, the weather is "rain”, and the parameter is "E31".
- the detection unit 140 detects various types of information regarding the information processing device 100. Specifically, the detection unit 140 detects the environment around the information processing device 100, the position information of the information processing device 100, the information about the device connected to the information processing device 100, and the like. The detection unit 140 may be read as a sensor that detects various kinds of information.
- the detection unit 140 according to the embodiment includes an imaging unit 141 and a measurement unit 142.
- the image capturing unit 141 is a sensor having a function of capturing an image of the surroundings of the information processing apparatus 100, and is a so-called camera.
- the imaging unit 141 is realized by a stereo camera, a monocular camera, a lensless camera, or the like.
- the measurement unit 142 is a sensor that measures information of the information processing device 100 and the vehicle in which the information processing device 100 is mounted.
- the measurement unit 142 detects the behavior of the information processing device 100 and the vehicle in which the information processing device 100 is mounted.
- the measuring unit 142 is an acceleration sensor that detects the acceleration of the vehicle, a gyro sensor that detects the behavior, an IMU (Inertial Measurement Unit), or the like.
- the measurement unit 142 may measure the behavior of the vehicle in which the information processing apparatus 100 is mounted.
- the measuring unit 142 measures the operation amounts of the brake, accelerator, and steering of the automobile.
- the measuring unit 142 measures the amount according to the force (pressure or the like) applied to the brake or the accelerator by using sensors or the like mounted on each of the brake, the accelerator, and the steering of the automobile.
- the measuring unit 142 may measure the speed and acceleration of the automobile, the amount of acceleration and deceleration, the yaw rate information, and the like.
- the measurement unit 142 may measure the information regarding the behavior of the vehicle by various known techniques, not limited to the above-described sensors and the like.
- the measurement unit 142 may also include a sensor for measuring the distance to an object around the information processing device 100.
- the measurement unit 142 may be LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) that reads the three-dimensional structure of the surrounding environment of the information processing apparatus 100. LiDAR detects a distance to a surrounding object or a relative speed by irradiating a surrounding object with a laser beam such as an infrared laser and measuring a time until the object is reflected and returned.
- the measuring unit 142 may be a distance measuring system using a millimeter wave radar.
- the measurement unit 142 may also include a depth sensor for acquiring depth data.
- the measurement unit 142 also includes a microphone that collects sounds around the information processing apparatus 100, an illuminance sensor that detects illuminance around the information processing apparatus 100, and a humidity sensor that detects humidity around the information processing apparatus 100. Also, a geomagnetic sensor for detecting a magnetic field at the location of the information processing device 100 may be included.
- the input unit 150 is a processing unit that receives various operations from a user who uses the information processing apparatus 100.
- the input unit 150 receives input of various information via, for example, a keyboard or a touch panel.
- the output unit 160 is a processing unit for outputting various information.
- the output unit 160 is, for example, a display or a speaker.
- the output unit 160 displays the image captured by the image capturing unit 141, or displays the object detected in the image as a rectangle.
- the control unit 130 is a program (for example, an information processing program according to the present disclosure) stored in the information processing apparatus 100 by, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), or the like. ) Is executed by using RAM (Random Access Memory) etc. as a work area.
- the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
- control unit 130 includes an acquisition unit 131, an estimation unit 132, a generation unit 133, and an automatic operation unit 134, and realizes or executes the functions and actions of information processing described below. To do.
- the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 5, and may be another configuration as long as it is a configuration for performing information processing described later.
- the acquisition unit 131 acquires various types of information. For example, the acquisition unit 131 acquires an image captured by the sensor (imaging unit 141) included in the moving body in which the information processing device 100 is mounted.
- the acquisition unit 131 acquires an image captured by a stereo camera as a sensor.
- the acquisition unit 131 acquires the distance to the object measured by, for example, stereo distance measurement.
- the acquisition unit 131 may acquire an image captured by a monocular camera as a sensor.
- the acquisition unit 131 acquires the distance to the object measured by the distance measurement sensor (measurement unit 142) using, for example, a laser. That is, the acquisition unit 131 may acquire not only a visible image but also image data including depth data as a captured image.
- the acquisition unit 131 appropriately stores the acquired information in the storage unit 120. In addition, the acquisition unit 131 may appropriately acquire information required for processing from the storage unit 120. In addition, the acquisition unit 131 may acquire information required for processing via the detection unit 140 or the input unit 150, or may acquire information from an external device via the network N. That is, the acquisition unit 131 does not necessarily acquire the image captured by the information processing device 100, but may acquire the image captured by the external device, the image stored in the storage unit 120 in advance, or the like.
- the estimation unit 132 takes a past image at a position corresponding to the image taken at the next timing of the taken image, based on the matching result between the taken image obtained by the obtaining unit 131 and a plurality of images taken in the past. An image (matching image) that is the generated image is estimated.
- the estimation unit 132 further collates the restoration image with a plurality of images captured in the past, and is captured at the timing next to the restoration image. Estimate an image captured in the past at a position corresponding to the image. That is, the estimation unit 132 repeatedly collates the restored image and the image captured in the past while the automatic operation continues, and sequentially estimates the collation images for compensating the environmental deterioration.
- the estimation unit 132 estimates a collation image corresponding to an image captured by a moving body including a sensor. That is, the estimation unit 132 estimates the collation image for each of the images continuously captured according to the movement of the moving body.
- the estimation unit 132 estimates a collation image from a plurality of images captured in the past based on the traveling speed of the moving body that captured the captured image. For example, as shown in FIG. 2, the estimation unit 132 determines, based on the relationship between the traveling speed at which a moving image was captured in the past and the traveling speed at the present time, a matching image corresponding to an image to be captured next. presume.
- the estimation unit 132 may estimate a collation image that is an image captured in the past at a position corresponding to a newly captured image, based on the position information of the moving body. For example, the estimation unit 132 compares the GPS data when the image was captured in the past with the GPS data at the current time, and collates the image captured in the past at the position where the moving body is expected to capture the image next time. Estimate as an image.
- the estimation unit 132 does not necessarily have to estimate only one image as a matching image, but may estimate a plurality of images as matching image candidate images. For example, when the estimation unit 132 estimates the matching image based on the traveling speed and the position information, it may be difficult to estimate only one image as the matching image depending on the accuracy of the traveling speed and the position information. In this case, the estimation unit 132 may extract a plurality of candidate images based on the traveling speed and the position information and estimate the candidate images from the extracted images. Alternatively, the generation unit 133, which will be described later, further extracts the image that most corresponds to the newly captured image from the plurality of extracted candidate images at the timing of compensating for environmental degradation, and extracts the extracted one image. Environmental degradation compensation may be performed based on
- FIG. 7 is a diagram (1) illustrating the matching process according to the embodiment of the present disclosure.
- the estimation unit 132 acquires the restored image (environmental deterioration compensation image) generated by the generation unit 133 as the current frame.
- the estimation unit 132 acquires a matching frame from the accumulated image.
- the matching frame may include a plurality of frames that are supposed to have been captured at a position close to the current frame based on GPS data or the like.
- the estimating unit 132 calculates the difference between the current frame and the matching frame using the block matching method (step S31). Then, the estimation unit 132 calculates the similarity between the frames from the error (difference) for each block. For example, the estimation unit 132 compares the current frame and the matching frame using the following formula (1).
- E indicates an error (difference) between the current frame and the matching frame.
- Block indicates a comparison target portion of the image. For example, Block is a rectangle of several pixels ⁇ several pixels.
- C and “R” indicate color information for each pixel. That is, according to the equation (1), it is possible to output an error evaluation value such as how much the current frame and the matching frame differ. Based on this, the estimation unit 132 calculates the degree of similarity between frames (step S32).
- the estimation unit 132 determines the matching frame corresponding to the current frame based on the calculated similarity (step S33). For example, the estimation unit 132 determines the frame having the highest similarity among the candidate images as the matching frame. Then, the estimation unit 132 issues a verification ID as information for identifying the determined verification frame (step S34).
- the method of calculating the frame similarity is not limited to the above method, and various known techniques may be used.
- FIG. 8 is a diagram (2) illustrating the matching process according to the embodiment of the present disclosure.
- the matching accuracy between the image accumulated in the past and the image at the current time is determined. Can be improved.
- the estimation unit 132 acquires the captured image (t-1) and the self-motion data in addition to the collation frame and the captured image (t).
- the captured image (t-1) is an image captured at a timing immediately before the captured image (t).
- the estimation unit 132 calculates the motion vector in the image based on the difference between the captured image (t) and the captured image (t-1) (step S41). Then, the estimation unit 132 determines the static structure in the image based on the calculated motion vector (step S42). As a result, the estimation unit 132 can perform a process in which the stationary structure and the moving body are distinguished in the image.
- the estimation unit 132 can perform matching based on the likelihood of a structure when performing matching between the captured image (t) and the matching frame, as in step S31 of FIG. 7 (step S43). .. As a result, the estimation unit 132 can suppress the influence of moving objects such as pedestrians and animals even if the captured image (t) includes moving objects such as pedestrians and animals. It can be performed with high accuracy.
- the estimation unit 132 calculates the frame similarity (step S44) and determines the matching frame (step S45), as in steps S32 and S33 of FIG. Moreover, the estimation part 132 issues a collation ID similarly to step S34 of FIG. 7 (step S46).
- the estimating unit 132 may newly register the collation frame as an accumulated image (step S47). For example, the estimation unit 132 registers the image estimated as the collation frame in the storage unit 120 in order to use it as a future accumulated image. At this time, the estimation unit 132 may acquire the information about the stationary structure obtained in step S42 and accumulate the image data in which the moving object is excluded from the matching frame based on the information. As a result, the estimation unit 132 can store the image in which the influence of the moving body is suppressed as the accumulated image, and thus it is possible to improve the accuracy of collation and environmental deterioration compensation in future processing.
- the generation unit 133 When a new image is acquired, the generation unit 133 generates a restored image which is an image obtained by correcting the newly acquired image based on the collation image.
- the generation unit 133 may acquire a new image by shooting with the information processing apparatus 100, or may acquire an image shot by another imaging apparatus (camera or the like) via the network N or the like. Good.
- the generation unit 133 based on the image captured in the past at the position corresponding to the image captured at the timing next to the restored image, The image acquired at the timing next to the restored image is corrected. That is, the estimation unit 132 continues to supply an image for highly safe automatic driving by repeatedly generating a restored image while the automatic driving continues.
- the generation unit 133 corrects the newly captured image by performing environmental deterioration compensation based on the difference between the newly captured image and the collation image.
- environmental deterioration compensation Various known techniques may be applied to the environmental deterioration compensation.
- the generation unit 133 may generate a restored image by correcting the newly captured image based on the boundary of the natural environment included in the collation image. This point will be described with reference to FIG. FIG. 9 is a diagram (1) illustrating the generation process according to the embodiment of the present disclosure.
- the generation unit 133 acquires an unclear image P41 due to the influence of fog or haze as a newly captured image. Further, the generation unit 133 acquires, as the collation image, the image P42, which is an image obtained by capturing the same target as the image P41, from the storage unit 120 (step S48).
- the generation unit 133 analyzes the image P42 and extracts a boundary 20 between the sky and the ground, a curve 21 indicating a road, and the like. The generating unit 133 then compares and verifies the analyzed image P42 and the image P41, and generates the image P43 that is a restored image (step S49). For example, the generation unit 133 acquires information such as a boundary of the sky, which is unclear in the image P41, and a curve indicating a road from the image P42, reflects the acquired information in the image P41, and generates the image P43. Accordingly, the generation unit 133 can generate the image P43 in which the boundaries of the sky and the road are clear, instead of the image P41 in which the sky and the road are unclear, and thus the safety of the automatic driving can be improved.
- the estimation unit 132 performs the collation process for estimating the collation image corresponding to the image supposed to be captured next based on the image P43 (step S50).
- the next matching image is selected from the storage unit 120 based on the matching ID issued by the matching process.
- Environmental deterioration compensation may include various different processes depending on factors that cause environmental deterioration. For example, when the transmittance of the matching image is higher than that of the newly captured image, the generation unit 133 performs haze removal on the newly captured image based on the matching image to restore the restored image. To generate.
- FIG. 10 is a diagram (2) illustrating the generation process according to the embodiment of the present disclosure.
- the generation unit 133 When performing haze removal, the generation unit 133 generates a transmittance map t indicating the transmittance in the image, separately from the RGB image I (captured image). Then, the generation unit 133 performs the transmittance correction on the RGB image I (step S51). Subsequently, the generation unit 133 performs haze removal on the original RGB image I based on the corrected transmittance (step S52). Thereby, the generation unit 133 can generate the image J from which the haze is removed.
- the generation unit 133 may perform not only the haze such as fog and haze, but also the process of removing noise components caused by raindrops and dirt on the lens. For example, the generation unit 133 performs noise removal on the newly captured image based on the matching image and the motion vector calculated based on the images captured before and after the matching image, and restores the restored image. It may be generated.
- FIG. 11 is a diagram (3) illustrating the generation process according to the embodiment of the present disclosure.
- the generation unit 133 extracts a plurality of images from a series of moving images and performs correction processing based on the extracted plurality of images. This is based on the fact that, by adding a plurality of images that have been continuously captured in a certain predetermined time, the influence of a location with a lot of movement (a location that may cause noise) is suppressed and a clear image can be obtained.
- the generation unit 133 uses a known technique to calculate a motion vector and motion vector reliability from a plurality of images.
- the generation unit 133 performs motion compensation on the image based on the motion vector (step S61). After that, the generation unit 133 controls the addition ratio of the past frame and the current frame by using the characteristic amounts such as the noise amount, the blur amount, the folding amount, the motion vector reliability, and the traveling history in the plurality of images (step S62). .. Then, the generation unit 133 adds a plurality of images based on the information regarding the motion compensation, the addition ratio, and the information about each of the visible images to obtain a visible image from which the influence of noise is removed (step S63). The generation unit 133 may store an image obtained by adding a plurality of images in the frame memory and use it for the next process (step S64).
- the generation unit 133 calculates the motion vector and the like from the collation image and the images captured before and after the collation image to remove noise from the image based on the information about the stationary object specified in the image. Execute to generate a restored image. As a result, the generation unit 133 can perform robust noise removal against environmental deterioration caused by various factors.
- the generation unit 133 may determine a stationary structure such as a building using a motion vector and select an image to be stored based on the determination result. For example, the generation unit 133 may select an image with less moving objects and store it in the storage unit 120. In this way, the generation unit 133 compares the pixel information of the collation image with the restored image, and selects which image is stored in the storage unit 120. For example, the generation unit 133 selects an image with less noise, such as an image with a smaller SN ratio or an image with higher contrast, and updates the image stored in the image data table 121. As a result, the generating unit 133 can accumulate a clear image with less influence of noise in the storage unit 120 as the processing progresses.
- the automatic driving unit 134 executes a process at a stage subsequent to that of the generating unit 133. For example, the automatic driving unit 134 performs image recognition processing on the restored image generated by the generating unit 133 to control automatic driving by the moving body. For example, as a result of the image recognition processing, the automatic driving unit 134 causes the moving body to avoid the moving body when the moving body and the target object may collide with each other or when the road surface on which the moving body travels has an obstacle. Control (steer operation and brake operation), and issue a warning to the user of the moving body.
- FIG. 12 is a flowchart (1) showing a flow of processing according to the embodiment of the present disclosure.
- the information processing apparatus 100 acquires an image during traveling via a sensor such as the camera 40 (step S101). Then, the information processing apparatus 100 stores the acquired image as a stored image set in the storage unit 120 (step S102).
- the information processing apparatus 100 can execute the information processing according to the embodiment when the vehicle travels the same route next time by acquiring and storing the image during traveling.
- the information processing apparatus 100 may record the oncoming traffic lane with the rear camera during the outward trip to the destination and execute the information processing according to the embodiment in the automatic driving on the return trip.
- FIG. 13 is a flowchart (1) showing a flow of processing according to the embodiment of the present disclosure.
- the information processing device 100 starts automatic operation according to the user's operation or the like (step S201).
- the information processing apparatus 100 acquires an image when traveling by automatic driving (step S202).
- the information processing apparatus 100 determines whether a corrected image for correcting the acquired image is specified (step S203). For example, it is assumed that the candidate image is not specified in the first frame in which automatic driving is started on a certain route. In this way, when the candidate image is not specified (step S203; No), the information processing apparatus 100 specifies the candidate image using position information such as GPS data (step S204).
- step S203 when the candidate image is specified (step S203; Yes), the information processing apparatus 100 performs environmental deterioration compensation based on the candidate image and generates a restored image (step S205).
- the information processing apparatus 100 performs environmental deterioration compensation based on the matching image selected from the candidate images.
- the information processing apparatus 100 collates the accumulated image and the restored image (step S206). Then, the information processing apparatus 100 estimates the next candidate image based on the matching result (step S207).
- the information processing apparatus 100 determines whether or not there is an abnormality in automatic driving (step S208). When there is no abnormality (step S208; Yes), the information processing apparatus 100 continues the control of the automatic driving (step S209). Then, the information processing device 100 stores the operation and the traveling history during the automatic driving.
- step S208 when it is determined that there is an abnormality in the automatic driving (step S208; No), the information processing apparatus 100 executes the avoidance processing for the abnormality (step S211).
- the information processing device 100 determines whether or not the automatic driving is completed (step S212). When the automatic driving has not ended (step S212; No), the information processing apparatus 100 continues the process of acquiring an image (step S202). On the other hand, when the automatic driving ends due to the user's operation or the reason such as reaching the destination (step S212; Yes), the information processing apparatus 100 ends the series of processes.
- the information processing apparatus 100 has been shown to estimate the collation image corresponding to the image captured at the next timing based on the traveling speed of the moving body and the like.
- the information processing apparatus 100 may estimate the matching image using different information as well as the traveling speed.
- the information processing apparatus 100 may estimate the matching image based on the map data.
- a moving body that performs autonomous driving includes map data for grasping the spatial position of the moving body. Therefore, the mobile body travels while predicting a future travel position such as a position where the mobile body travels next or a position where the mobile body turns a curve.
- the information processing apparatus 100 may determine such a future traveling position based on the map data, and may estimate the collation image corresponding to the image captured at the next timing based on the determination result.
- the information processing according to the present disclosure may be applied to various cases other than environmental deterioration compensation during automatic driving.
- the information processing according to the present disclosure may be applied to environmental deterioration compensation in image diagnosis.
- the image quality of the target imaged up to a few seconds before may deteriorate.
- smoke etc. is generated, an image that blurs in the object that was being imaged until a few seconds ago, or the transmittance is reduced due to the effect of smoke In some cases, you will only be able to obtain it.
- the information processing apparatus 100 performs environmental deterioration compensation on an image affected by smoke, based on an image that has been captured up to several seconds before and is not affected by the environment. As a result, the information processing apparatus 100 can obtain a clear image, which is the current image and in which the influence of smoke is removed.
- the information processing device 100 may be realized by an autonomous moving body (automobile) itself that performs automatic driving.
- the information processing apparatus 100 may have the following configuration in addition to the configuration shown in FIG. Note that each unit described below may be included in the configuration illustrated in FIG. 5, for example.
- the moving body has an automatic operation control unit, a detection unit, a self-position estimation unit, a situation analysis unit, a planning unit, and an operation control unit.
- the mobile unit includes an input unit, a data acquisition unit, a vehicle communication unit, an in-vehicle device, an output control unit, an output unit, a drive system control unit, a drive system system, a body system control unit, a body system system, a vehicle storage unit, and An automatic driving control unit may be provided.
- the input unit is equipped with a device that the passenger uses to input various data and instructions.
- the input unit includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation such as voice or gesture.
- the input unit may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the information processing device 100.
- the input unit generates an input signal based on the data and instructions input by the passenger, and supplies the input signal to each unit of the information processing apparatus 100.
- the data acquisition unit includes various sensors that acquire data used for processing the mobile unit, and supplies the acquired data to each unit of the mobile unit.
- the data acquisition unit includes various sensors for detecting the state of the vehicle, etc.
- the data acquisition unit includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, an engine speed, and a motor.
- IMU inertial measurement unit
- a sensor or the like for detecting the number of rotations, the rotation speed of the wheels, or the like is provided.
- the data acquisition unit includes various sensors for detecting information outside the vehicle.
- the data acquisition unit includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the data acquisition unit includes an environment sensor for detecting weather or weather, and an ambient information detection sensor for detecting an object around the vehicle.
- the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
- the ambient information detection sensor includes, for example, an ultrasonic sensor, radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and the like.
- the data acquisition unit includes various sensors for detecting the current position of the vehicle.
- the data acquisition unit includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
- GNSS Global Navigation Satellite System
- the data acquisition unit includes various sensors for detecting information inside the vehicle.
- the data acquisition unit includes an imaging device that images the driver, a biometric sensor that detects biometric information of the driver, and a microphone that collects sound in the vehicle interior.
- the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver holding the steering wheel.
- the vehicle communication unit communicates with in-vehicle devices, various devices outside the vehicle, a server, a base station, etc. to transmit data supplied from each unit of the mobile unit or supply received data to each unit of the mobile unit.
- the communication protocol supported by the vehicle communication unit is not particularly limited, and the vehicle communication unit can support a plurality of types of communication protocols.
- the vehicle communication unit wirelessly communicates with in-vehicle devices by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
- the vehicle communication unit uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High) via a connection terminal (and a cable if necessary).
- -Definition Link etc. for wired communication with in-vehicle devices.
- the vehicle communication unit is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point.
- a device for example, an application server or a control server
- an external network for example, the Internet, a cloud network, or a network unique to a business operator
- the vehicle communication unit uses P2P (Peer To Peer) technology to communicate with terminals (for example, pedestrian or store terminals or MTC (Machine Type Communication) terminals) that are in the vicinity of the vehicle.
- the vehicle communication unit has vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
- V2X communication such as communication is performed.
- the vehicle communication unit includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and obtains information such as the current position,
- the in-vehicle device includes, for example, a mobile device or a wearable device that the passenger has, an information device that is carried in or attached to the vehicle, and a navigation device that searches for a route to an arbitrary destination.
- the output control unit controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
- the output control unit generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit to output the output signal from the output unit.
- the output control unit combines the image data captured by the image capturing devices having different data acquisition units to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image to the output unit.
- the output control unit generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone, and supplies an output signal including the generated voice data to the output unit. ..
- the output unit is equipped with a device that can output visual information or auditory information to the passengers of the vehicle or outside the vehicle.
- the output unit includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
- the display device included in the output unit displays visual information in the driver's visual field, such as a device having a normal display, a head-up display, a transmissive display, or a device having an AR (Augmented Reality) display function. It may be a device that does.
- the drive system control unit controls the drive system by generating various control signals and supplying them to the drive system.
- the drive system control unit supplies a control signal to each unit other than the drive system system as necessary to notify the control state of the drive system system.
- a drive system includes various devices related to the drive system of the vehicle.
- a drive system includes a drive force generation device for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, a steering mechanism for adjusting a steering angle, and a control mechanism. Equipped with a braking device that generates power, ABS (Antilock Brake System), ESC (Electronic Stability Control), and electric power steering device.
- the body system control unit controls the body system by generating various control signals and supplying them to the body system. Further, the body system control unit supplies a control signal to each unit other than the body system system as necessary to notify the control state of the body system system.
- the body system is equipped with various body-related devices mounted on the vehicle body.
- the body system includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlights, backlights, brake lights, winkers, fog lights, etc.). Equipped with.
- the vehicle storage unit includes, for example, magnetic storage devices such as ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, and magneto-optical storage devices. ..
- the vehicle storage unit stores various programs and data used by each unit of the mobile body.
- the vehicle storage unit stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map that is less accurate than the high-precision map and covers a large area, and a local map including information around the vehicle.
- the automatic driving control unit controls autonomous driving such as autonomous driving or driving assistance.
- the automatic driving control unit includes collision avoidance or impact mitigation of the own vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, collision warning of the own vehicle, or lane departure warning of the own vehicle.
- ADAS Advanced Driver Assistance System
- the automatic driving control unit performs cooperative control for the purpose of autonomous driving that autonomously travels without depending on the operation of the driver.
- the automatic driving control unit includes a detection unit, a self-position estimation unit, a situation analysis unit, a planning unit, and an operation control unit.
- the Detecting unit detects various information required for automatic driving control.
- the detection unit includes a vehicle exterior information detection unit, a vehicle interior information detection unit, and a vehicle state detection unit.
- the outside-vehicle information detection unit performs detection processing of information outside the own vehicle based on data or signals from each unit of the moving body.
- the vehicle exterior information detection unit performs detection processing, recognition processing, and tracking processing of an object around the vehicle, and detection processing of a distance to the object.
- Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, and road markings.
- the vehicle exterior information detection unit performs a process of detecting the environment around the vehicle.
- the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, and road surface condition.
- the outside-vehicle information detection unit sends data indicating the result of the detection processing to the self-position estimation unit, the map analysis unit of the situation analysis unit, the traffic rule recognition unit, the situation recognition unit, and the emergency avoidance unit of the operation control unit. Supply.
- the in-vehicle information detection unit performs in-vehicle information detection processing based on data or signals from each unit of the moving body.
- the in-vehicle information detection unit performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, in-vehicle environment detection processing, and the like.
- the driver's state to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
- the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
- the in-vehicle information detection unit supplies data indicating the result of the detection process to the situation recognition unit of the situation analysis unit, the emergency situation avoidance unit of the operation control unit, and the like.
- the vehicle state detection unit performs processing for detecting the state of the vehicle based on data or signals from each unit of the moving body.
- the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence or absence of abnormality, content of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. State etc. are included.
- the vehicle state detection unit supplies data indicating the result of the detection process to the situation recognition unit of the situation analysis unit, the emergency situation avoidance unit of the operation control unit, and the like.
- the self-position estimation unit estimates the position and orientation of the own vehicle based on data or signals from each part of the moving body such as the vehicle exterior information detection unit and the situation recognition unit of the situation analysis unit.
- the self-position estimation unit also generates a local map (hereinafter, referred to as a self-position estimation map) used for estimating the self-position, if necessary.
- the self-position estimation map is, for example, a high-precision map using a technology such as SLAM (Simultaneous Localization and Mapping).
- the self-position estimation unit supplies data indicating the result of the estimation process to the map analysis unit, the traffic rule recognition unit, the situation recognition unit, and the like of the situation analysis unit. Also, the self-position estimation unit stores the self-position estimation map in the vehicle storage unit.
- the situation analysis unit analyzes the situation of the vehicle and surroundings.
- the situation analysis unit includes a map analysis unit, a traffic rule recognition unit, a situation recognition unit, and a situation prediction unit.
- the map analysis unit performs analysis processing of various maps stored in the vehicle storage unit while using data or signals from each unit of the mobile body such as the self-position estimation unit and the vehicle outside information detection unit as necessary, Build a map that contains the information needed to handle autonomous driving.
- the map analysis unit supplies the constructed map to the traffic rule recognition unit, the situation recognition unit, the situation prediction unit, the route planning unit, the action planning unit, the operation planning unit, and the like of the planning unit.
- the traffic rule recognition unit performs recognition processing of traffic rules around the vehicle based on data or signals from various parts of the moving body such as the self-position estimation unit, the vehicle exterior information detection unit, and the map analysis unit. By this recognition processing, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
- the traffic rule recognition unit supplies data indicating the result of the recognition process to the situation prediction unit and the like.
- the situation recognition unit based on data or signals from each unit of the moving body such as the self-position estimation unit, the vehicle exterior information detection unit, the vehicle interior information detection unit, the vehicle state detection unit, and the map analysis unit, Perform recognition processing. For example, the situation recognition unit performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. Further, the situation recognition unit generates a local map (hereinafter, referred to as a situation recognition map) used for recognizing the situation around the own vehicle, if necessary.
- the situation recognition map is, for example, an Occupancy Grid Map.
- the situation of the subject vehicle to be recognized includes, for example, the position, orientation, movement (for example, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence/absence of abnormality and the content thereof.
- the situation around the subject vehicle is, for example, the type and position of the surrounding stationary object, the type of the surrounding moving object, the position and movement (for example, speed, acceleration, moving direction), and the surrounding road.
- the configuration and the condition of the road surface, and the surrounding weather, temperature, humidity, and brightness are included.
- the driver's state to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight movement, and driving operation.
- the situation recognition unit supplies data indicating the result of recognition processing (including a situation recognition map, if necessary) to the self-position estimation unit, situation prediction unit, and the like. Further, the situation recognition unit stores the situation recognition map in the vehicle storage unit.
- the situation prediction unit performs prediction processing of the situation regarding the vehicle based on data or signals from each part of the moving body such as the map analysis unit, the traffic rule recognition unit, and the situation recognition unit. For example, the situation prediction unit performs a prediction process of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
- the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of abnormality, and possible driving distance.
- the situation around the subject vehicle to be predicted includes, for example, the behavior of a moving body around the subject vehicle, a change in the signal state, and a change in the environment such as the weather.
- the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
- the situation prediction unit supplies data indicating the result of the prediction process to the route planning unit, action planning unit, operation planning unit, etc. of the planning unit together with the data from the traffic rule recognition unit and the situation recognition unit.
- the route planning unit plans the route to the destination based on the data or signals from each part of the mobile unit such as the map analysis unit and the situation prediction unit. For example, the route planning unit sets a route from the current position to the designated destination based on the global map. Further, for example, the route planning unit appropriately changes the route based on traffic jams, accidents, traffic restrictions, construction conditions, and the physical condition of the driver. The route planning unit supplies data indicating the planned route to the action planning unit and the like.
- the action planning unit drives the vehicle to safely drive the route planned by the route planning unit within the planned time.
- Plan your actions For example, the action planning unit makes plans such as starting, stopping, traveling direction (for example, forward, backward, turning left, turning right, turning, etc.), traveling lane, traveling speed, and overtaking.
- the action planning unit supplies data indicating the planned action of the own vehicle to the action planning unit and the like.
- the operation planning unit plans the operation of the own vehicle for realizing the action planned by the action planning unit based on the data or signals from each unit of the mobile body such as the map analysis unit and the situation prediction unit. For example, the motion planning unit plans acceleration, deceleration, a traveling track, and the like.
- the operation planning unit supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit, the direction control unit, and the like of the operation control unit.
- the operation control unit controls the operation of the vehicle.
- the operation control unit includes an emergency avoidance unit, an acceleration/deceleration control unit, and a direction control unit.
- the emergency situation avoidance unit is configured to detect an emergency such as a collision, a contact, an entry into a dangerous zone, a driver's abnormality, or a vehicle abnormality based on the detection results of the vehicle exterior information detection unit, the vehicle interior information detection unit, and the vehicle state detection unit. Detect the situation. When the occurrence of an emergency is detected, the emergency avoidance unit plans the operation of the own vehicle for avoiding an emergency such as a sudden stop or a sharp turn.
- the emergency avoidance unit supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit, the direction control unit, and the like.
- the acceleration/deceleration control unit performs acceleration/deceleration control for realizing the operation of the vehicle planned by the operation planning unit or the emergency situation avoidance unit. For example, the acceleration/deceleration control unit calculates a control target value of a driving force generation device or a braking device for realizing planned acceleration, deceleration, or sudden stop, and a control command indicating the calculated control target value is given to the drive system. Supply to the control unit.
- the direction control unit controls the direction to realize the operation of the vehicle planned by the operation planning unit or the emergency avoidance unit. For example, the direction control unit calculates the control target value of the steering mechanism for realizing the planned traveling track or sharp turn by the operation planning unit or the emergency avoidance unit, and drives the control command indicating the calculated control target value. Supply to the system controller.
- each component of each illustrated device is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of distribution/integration of each device is not limited to that shown in the figure, and all or part of the device may be functionally or physically distributed/arranged in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
- the above-described respective embodiments and modified examples can be appropriately combined within a range in which the processing content is not inconsistent.
- the automobile is taken as an example of the moving body, but the information processing of the present disclosure can be applied to a moving body other than the automobile.
- the moving body may be a small vehicle such as a motorcycle or a motorcycle, a large vehicle such as a bus or a truck, or an autonomous moving body such as a robot or a drone.
- the information processing apparatus 100 may not necessarily be integrated with the mobile body, but may be a cloud server or the like that acquires information from the mobile body via the network N and determines the removal range based on the acquired information.
- the information processing device (the information processing device 100 in the embodiment) according to the present disclosure has the estimation unit (the estimation unit 132 in the embodiment) and the generation unit (the generation unit 133 in the embodiment).
- the estimation unit based on the comparison result between the first image (photographed image in the embodiment) and a plurality of images photographed in the past, captures the second image (photographed image in the embodiment) at the timing next to the first image.
- a third image (a collation image or a candidate image in the embodiment), which is an image captured in the past at a position corresponding to the captured image captured next to the image) is estimated.
- the generation unit estimates a fourth image (a restored image in the embodiment) that is an image obtained by correcting the second image based on the third image.
- the information processing apparatus estimates an image to be collated with the image to be acquired next, and corrects the image to be acquired next (second image) based on the estimated image.
- the information processing device can obtain an image that is not affected by changes in the environment.
- the estimation unit compares the fourth image with a plurality of images captured in the past, and the past image is recorded at a position corresponding to the image captured at the timing next to the fourth image. Estimate the image taken in.
- the generation unit generates the fourth image based on the image previously captured at the position corresponding to the image captured at the timing next to the fourth image. The image acquired at the next timing of the image is corrected.
- the information processing apparatus can continuously acquire images with little deterioration, and thus can stably acquire images in continuous processing such as automatic driving.
- the estimation unit estimates a third image corresponding to the second image captured by the moving body equipped with the sensor. Accordingly, the information processing apparatus can obtain an image that is not affected by a change in environment in a process that uses an image captured by a moving body such as automatic driving.
- the estimation unit estimates the third image from the plurality of images captured in the past based on the traveling speed of the moving body that captured the first image. With this, the information processing apparatus can highly accurately estimate the third image corresponding to the image to be captured next.
- the estimation unit estimates the third image, which is an image captured in the past at the position corresponding to the second image, based on the position information of the moving body. Accordingly, the information processing apparatus can estimate the image corresponding to the current image from the images captured in the past, even when the collation result cannot be obtained.
- the generation unit generates the fourth image by correcting the second image based on the boundary of the natural environment included in the third image. Accordingly, the information processing device can obtain the fourth image useful in the process of using the boundary such as the automatic driving.
- the generation unit performs haze removal on the second image based on the third image to generate the fourth image.
- the information processing apparatus can obtain a clear fourth image from which the influence of fog or haze is removed, and thus the safety of processing such as automatic driving can be improved.
- the generation unit performs noise removal on the second image based on the third image and the motion vector calculated based on the images captured before and after the third image to generate the fourth image. ..
- the information processing apparatus can obtain a clear fourth image from which noise generated due to the influence of the amount of light such as backlight or at night, and noise generated due to dirt on the lens or the like is removed. Can increase the safety of.
- the generation unit also performs noise removal on the second image based on the third image and information on the stationary object specified based on the images captured before and after the third image to generate the fourth image. To generate.
- the information processing apparatus can obtain the fourth image in which the influence of the moving body is removed from the captured image, and thus the safety of processing such as automatic driving can be improved.
- the generation unit compares the pixel information of the third image and the pixel information of the fourth image, and selects which image is stored in the storage unit. With this, the information processing apparatus can store a clearer image in the storage unit, so that the effect of the subsequent environmental deterioration compensation processing can be enhanced.
- FIG. 14 is a hardware configuration diagram illustrating an example of a computer 1000 that realizes the functions of the information processing device 100.
- the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input/output interface 1600.
- the respective units of the computer 1000 are connected by a bus 1050.
- the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
- the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program dependent on the hardware of the computer 1000, and the like.
- BIOS Basic Input Output System
- the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100, data used by the program, and the like. Specifically, the HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of the program data 1450.
- the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
- the CPU 1100 receives data from another device or transmits the data generated by the CPU 1100 to another device via the communication interface 1500.
- the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
- the CPU 1100 receives data from an input device such as a keyboard or a mouse via the input/output interface 1600.
- the CPU 1100 also transmits data to an output device such as a display, a speaker, a printer, etc. via the input/output interface 1600.
- the input/output interface 1600 may function as a media interface for reading a program or the like recorded in a predetermined recording medium (medium).
- Examples of media include optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, and semiconductor memory. Is.
- optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk)
- magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, and semiconductor memory.
- the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
- the HDD 1400 stores the information processing program according to the present disclosure and the data in the storage unit 120.
- the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program data.
- these programs may be acquired from another device via the external network 1550.
- a third image which is an image captured in the past at a position corresponding to the second image captured at the next timing of the first image, based on the comparison result between the first image and a plurality of images captured in the past.
- An estimation unit for estimating An information processing apparatus comprising: a generation unit that generates a fourth image that is an image obtained by correcting the second image based on the third image when the second image is acquired.
- the estimation unit is After the fourth image is generated, the fourth image is compared with a plurality of images captured in the past, and the image is captured in the past at a position corresponding to the image captured at the timing next to the fourth image.
- the generator is When the image is acquired at the timing subsequent to the fourth image, the fourth image is acquired based on the image captured in the past at the position corresponding to the image captured at the timing subsequent to the fourth image.
- the information processing apparatus according to (1) above which corrects the image acquired at the next timing.
- the estimation unit is The information processing device according to (1) or (2), wherein the third image corresponding to the second image captured by a moving body including a sensor is estimated.
- the estimation unit is The information processing apparatus according to (3), wherein the third image is estimated from a plurality of images captured in the past based on the traveling speed of the moving body that captured the first image.
- the estimation unit is The information processing apparatus according to (3) or (4), wherein a third image that is an image captured in the past at a position corresponding to the second image is estimated based on the position information of the moving body.
- the generator is The information processing apparatus according to any one of (1) to (5), wherein the fourth image is generated by correcting the second image based on the boundary of the natural environment included in the third image.
- the generator is When the transmittance of the third image is higher than that of the second image, haze removal is performed on the second image based on the third image to generate the fourth image (1)
- the information processing apparatus according to any one of (6) to (6).
- the generator is Denoising is performed on the second image based on a motion vector calculated based on the third image and images captured before and after the third image to generate the fourth image.
- the information processing device according to any one of 1) to 7).
- the generator is Denoising is performed on the second image to generate the fourth image based on the third image and information on a stationary object identified based on the images captured before and after the third image.
- the information processing apparatus according to any one of (1) to (8) above.
- the generator is The information processing apparatus according to any one of (1) to (9), wherein the pixel information of the third image is compared with that of the fourth image, and which image is to be stored in the storage unit is selected.
- Computer A third image which is an image captured in the past at a position corresponding to the second image captured at the next timing of the first image, based on the comparison result between the first image and a plurality of images captured in the past. And then An information processing method for generating a fourth image, which is an image obtained by correcting the second image based on the third image, when the second image is acquired.
- Computer, A third image which is an image captured in the past at a position corresponding to the second image captured at the next timing of the first image, based on the comparison result between the first image and a plurality of images captured in the past.
- information processing device 110 communication unit 120 storage unit 130 control unit 131 acquisition unit 132 estimation unit 133 generation unit 134 automatic operation unit 140 detection unit 141 imaging unit 142 measurement unit 150 input unit 160 output unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本開示に係る情報処理装置は、第1画像と過去に撮影された複数画像との照合結果に基づいて、第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、第2画像が取得された場合に、第3画像に基づいて第2画像を補正した画像である第4画像を生成する生成部と、を備える。
Description
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、移動体の自動運転に利用される画像処理に関する。
自動車等の移動体に関する技術として、ADASシステム(Advanced Driver Assistance System)等、障害物を事前に検知し回避するための技術が知られている。移動体は、このような技術を利用して自動運転を行う。
自動運転に関して、自動運転を行う車両が走行している位置を測定するために、地理的特徴量でマッチングを行う技術が知られている(例えば、特許文献1)。また、疑似路面情報との相関性に基づいて、自動運転を行うか、あるいはマニュアル運転準備要求の通知の実行を行うかを制御する技術が知られている(例えば、特許文献2)。
従来技術によれば、予め取得した地理的特徴量等のデータに基づき自動運転中に自己位置を推定することで、自動運転の安全性を向上させることができる。
しかしながら、従来技術には改善の余地がある。例えば、種々のデータに基づいて自己位置を推定しようとしても、現時点の環境(天候や照度等)が過去と大きく異なっている場合には、状況の変化に対応できず、それらの情報を自動運転に活かせない場合がある。
そこで、本開示では、環境の変化による画質劣化を低減した画像を得ることのできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と、を備える。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.実施形態
1-1.実施形態に係る情報処理の一例
1-2.実施形態に係る情報処理装置の構成
1-3.実施形態に係る情報処理の手順
1-4.実施形態に係る変形例
1-4-1.地図データ等の利用
1-4-2.自動運転以外の事例への応用
2.その他の実施形態
2-1.移動体の構成
2-2.その他
3.本開示に係る情報処理装置の効果
4.ハードウェア構成
1.実施形態
1-1.実施形態に係る情報処理の一例
1-2.実施形態に係る情報処理装置の構成
1-3.実施形態に係る情報処理の手順
1-4.実施形態に係る変形例
1-4-1.地図データ等の利用
1-4-2.自動運転以外の事例への応用
2.その他の実施形態
2-1.移動体の構成
2-2.その他
3.本開示に係る情報処理装置の効果
4.ハードウェア構成
(1.実施形態)
[1-1.実施形態に係る情報処理の一例]
図1は、本開示の実施形態に係る情報処理の一例を示す図である。具体的には、図1には、本開示に係る情報処理の流れを示したブロック図を示す。
[1-1.実施形態に係る情報処理の一例]
図1は、本開示の実施形態に係る情報処理の一例を示す図である。具体的には、図1には、本開示に係る情報処理の流れを示したブロック図を示す。
本開示の実施形態に係る情報処理は、例えば、自動運転を行う所定の移動体が、適切な走行位置を決定したり、衝突等を防止するために周囲の物体を認識したりする場合に適用される。実施形態では、所定の移動体として、自動車を例に挙げる。また、実施形態に係る情報処理は、自動車に搭載される情報処理装置100(図1での図示は省略する)によって実行される。
情報処理装置100は、センサによって周囲の状況を観測し、観測結果に基づいて周囲の物体を認識する。実施形態では、情報処理装置100は、イメージセンサを備えたカメラを用いて、周囲を撮影して画像を取得する。そして、情報処理装置100は、取得した画像に対して画像認識処理を行うことで、自動運転を行うための情報を得る。
ところで、走行中の自動車は、画像認識を適切に行うことのできる画像を必ずしも撮影することができるとは限らない。例えば、走行中の自動車によって撮影される画像は、環境による影響を受けやすい。具体的には、環境による影響とは、逆光やヘイズ(霧や霞)によるコントラストの低下であったり、雨や雪等の天候もしくはカメラレンズの汚れによる視界の妨げであったりする。また、環境による影響には、夜間やトンネル内の走行中の撮影時に生じる光量の不足も含まれる。すなわち、走行中の自動車によって撮影される画像は、撮影環境の影響を強く受ける。
なお、撮影環境の影響を回避するために、過去の走行データや運転データを利用する従来技術も知られている。しかし、過去のデータが得られた環境と、実際の走行時の環境が異なれば、過去のデータをそのまま活用して自動運転を行うことにもリスクが生じうる。すなわち、安全な自動運転を実現するためには、実際の走行中に撮影される画像であって、かつ、環境による影響を極力排除した画像を得なければならないという課題が存在する。
そこで、本開示に係る情報処理装置100は、以下に説明する処理により、上記課題を解決する。具体的には、情報処理装置100は、環境による影響を受けた画像等のノイズを含む画像に対して、環境劣化補償という処理を行い、画像を補正する。例えば、環境劣化補償では、同じ対象が撮影された画像であって劣化の少ない画像の画素情報を用いて、環境により劣化した画像に対して補正を行い、ノイズが除去された画像を生成することができる。すなわち、環境劣化補償を行うためには、補正対象となる画像に対応した画像(以下、「照合画像」と称する)として、補正対象となる画像と略同一の対象が撮影された画像(略同一の撮影位置や角度や画角で撮影された画像)であって劣化の少ない画像が必要となる。
この点に関して、本開示に係る情報処理装置100は、自動運転中に撮影した所定の画像と、予め蓄積されていた過去に撮影した複数画像との照合結果に基づいて、自動運転において次のタイミングで撮影される画像に対応した位置で過去に撮影された画像である画像を照合画像と推定する。そして、情報処理装置100は、実際に次のタイミングで画像が撮影された場合に、照合画像に基づいて、当該撮影された画像を補正し、劣化の少ない新たな画像を生成する。
すなわち、情報処理装置100は、過去の走行時に蓄積していた劣化の少ない画像に基づいて、現時点において撮影された画像を補正しながら、自動運転のための画像認識処理を行う。このため、情報処理装置100は、過去のデータではなく現時点の画像でありながら、ノイズの影響を排除した画像に基づいて画像認識処理を行うことができるため、環境の変化に影響されない安定した自動運転を実現することができる。なお、情報処理装置100は、必ずしも情報処理装置100自身が撮影することを要せず、例えば外部の撮影装置等によって撮影された画像を取得して、上記の処理を行ってもよい。
以下、図1乃至図4を用いて、本開示に係る情報処理装置100が実行する情報処理の一例について説明する。なお、以下の説明では、情報処理装置100が移動体である自動車に搭載されている、あるいは、自動車自体が情報処理装置100として機能するものとする。すなわち、以下の説明において、情報処理装置100は、自動車(移動体)と読み替えることもできる。
図1に示す例において、情報処理装置100は、過去に走行した際に撮影し、取得した複数の過去画像(蓄積画像セット)を有するものとする。なお、蓄積画像セットとは、過去の走行時に撮影された一連の動画と読み替えてもよい。例えば、図1の例では、情報処理装置100は、毎日定期的に同じ道を走行しており、その過程において、蓄積画像セットを取得しているものとする。
まず、情報処理装置100は、自動運転による走行中、カメラを用いて周囲を撮影し、画像を取得する(ステップS1)。以下では、このように実際の走行に際して撮影される画像を「入力画像」と称する。図1の例では、情報処理装置100は、入力画像として、画像P01を取得する。
図1の例では、画像P01は、例えば霧等の影響を受け、劣化した画像であるものとする。劣化した画像とは、例えば、通常の画像と比較して透過率が低かったり、ぶれが生じていたりして鮮明でない画像をいう。あるいは、劣化した画像とは、逆光の影響等で一部に極めて強い高度を有する画像であったり、夜間に撮影された影響で画像全体の明るさが確保できていなかったりする画像をいう。例えば、劣化した画像を自動運転に利用すると、対象物の認識等の精度が下がるため、自動運転における事故等のリスクが高まる。
このため、情報処理装置100は、劣化した画像P01を補正するための処理を行う。具体的には、情報処理装置100は、ステップS1において取得した画像P01を画像劣化補償の処理部に送る(ステップS2)。また、情報処理装置100は、蓄積画像セットの中から、画像P01に対応する照合画像である画像P02を特定し、画像劣化補償の処理部に送る(ステップS3)。なお、画像P02の特定処理についての詳細は後述する。
画像P02は、画像P01と略同一の撮影位置や角度や画角で撮影された画像であって、画像P01と比較して劣化の少ない画像である。情報処理装置100は、画像P02が含む画素情報に基づいて、画像P01に対して環境劣化補償の処理を行う(ステップS4)。環境劣化補償の詳細な処理については後述する。情報処理装置100は、環境劣化補償を行い、画像P01から霧等の環境の影響を取り除いた画像(以下、「復元画像」と称する)である画像P03を生成する。
その後、情報処理装置100は、復元画像である画像P03を照合の処理部に送る(ステップS5)。また、情報処理装置100は、画像P03を利用して自動運転の制御を行う(ステップS6)。情報処理装置100は、画像P01よりも鮮明な画像である画像P03を用いることで、より安全性の高い自動運転制御を行うことができる。
情報処理装置100は、ステップS05において取得した画像P03に基づいて、次のタイミングで情報処理装置100に取得される画像と、蓄積画像セットとの照合を行う(ステップS7)。次のタイミングで情報処理装置100に取得される画像とは、情報処理装置100の走行中に撮影される画像である。図1の例では、次のタイミングで情報処理装置100に取得される画像とは、画像P01の次に情報処理装置100に取得される画像である。画像が取得される次のタイミングは、例えば、情報処理装置100のカメラの仕様によって決定される。具体的には、画像が取得される次のタイミングは、動画撮影におけるフレームレート等に基づいて決定される。例えば、フレームレートが30fps(frame per second)である場合、画像が取得される次のタイミングは30分の1秒後となる。
情報処理装置100は、ステップS7において照合した情報に基づいて、画像P01の次に取得される画像に対する照合画像の候補となりうる画像(以下、「候補画像」と称する)を蓄積画像セットの中から推定する(ステップS8)。例えば、情報処理装置100は、フレームレートが30fpsである場合、画像P02を含む蓄積画像セットにおいて、画像P02の30分の1秒後に撮影された画像を候補画像として推定する。
この点について、図2を用いて説明する。図2は、本開示の実施形態に係る情報処理を説明する図(1)である。図2では、蓄積画像セットと、情報処理装置100によって撮影される画像とが照合される様子を概念的に示す。
図2の例において、蓄積画像セットは、撮影画像が得られる前に取得され蓄積された一連の動画である。また、撮影画像は、情報処理装置100が走行する際に取得し続ける動画である。すなわち、蓄積画像セット及び撮影画像は、同じ道を走行する情報処理装置100によって、異なるタイミングで得られる動画である。
図1に示した処理によって、情報処理装置100は、画像P11と画像P15とが対応するペアであると照合したものとする。この後、情報処理装置100は、撮影画像として画像P12を取得することになるが、その前に、画像P12と対応すると予測される画像P16を推定する。
例えば、情報処理装置100は、蓄積画像セットが得られた際の走行速度と、画像P11が取得された際の走行速度とに基づき、次に撮影されると予測される画像P12に対応する候補画像を推定する。具体的には、情報処理装置100は、蓄積画像セットが得られた際の走行速度と、画像P11が取得された際の走行速度とが同じ場合、画像P12が得られた際の次の画像である画像P16を、画像P11の次に撮影されると予測される画像P12に対応する候補画像として推定する。あるいは、情報処理装置100は、蓄積画像セットが得られた際の走行速度と、画像P11が取得された際の走行速度とが異なる場合、異なる速度分だけずれた候補画像を画像P12に対応する画像として推定する。
図2に示した処理は、自動運転が継続される間は継続されるため、情報処理装置100は、画像P12と画像P16とを対応させたのち、次のタイミングで取得される画像である画像P13に対応する候補画像を推定する。具体的には、情報処理装置100は、画像P13に対応する画像として画像P17を推定する。このようにして、情報処理装置100は、過去に撮影された複数画像と、現時点で撮影される画像とを次々に対応させていく。また、情報処理装置100は、対応した画像のペアを用いて、順次、環境劣化補償を行う。
この点について、図3を用いて説明する。図3は、本開示の実施形態に係る情報処理を説明する図(2)である。図3は、環境劣化補償及び照合処理が繰り返し行われる状況をブロック図として示すものである。
情報処理装置100は、ある時間(t)において、撮影画像P21を取得する。撮影画像P21は、時間(t)に取得された画像であるため、撮影画像(t)とも表される。
情報処理装置100は、可能であれば、撮影画像(t)に環境劣化補償を行う(ステップS11)。なお、撮影画像(t)が本開示の情報処理における最先の画像である場合、環境劣化補償を行うための照合画像が存在しないため、情報処理装置100は、ステップS11をスキップする。
その後、情報処理装置100は、撮影画像(t)と、撮影画像(t)に対応する画像である候補画像(t)を照合する(ステップS12)。情報処理装置100は、この照合に関する情報(例えば、候補画像(t)や、候補画像(t)の付近の画像に関する情報)に識別情報(照合ID(t))を付与し、次の処理部に送る。
情報処理装置100は、時間(t+1)において、次に撮影される画像と照合される候補となる画像を推定する(ステップS13)。情報処理装置100は、走行速度やどの道を走行しているかといった位置情報等の自己動きデータを取得し、取得したデータに基づいて、次の候補となる画像を推定する。情報処理装置100は、この推定に関する情報(例えば、候補画像(t+1)を特定するための識別情報等)を示す推定ID(t+1)を発行し、記憶部120に問い合わせる。
情報処理装置100は、記憶部120から、候補画像(t+1)を取り出す。そして、情報処理装置100は、時間(t+1)において得られた撮影画像P22に対して、候補画像(t+1)に基づいて環境劣化補償を行う(ステップS14)。さらに、情報処理装置100は、環境劣化補償後に生成された画像に対して照合処理を行う(ステップS15)。情報処理装置100は、照合ID(t+1)を発行し、ステップS13以下の処理を繰り返す。
これにより、情報処理装置100は、現時点の走行時に撮影される画像であり、かつ、環境劣化の少ない画像を用いて自動運転を継続することができるため、安全性の高い自動運転制御を行うことができる。
次に、図4を用いて、自動運転制御を含めた情報処理の流れを示す。図4は、本開示の実施形態に係る情報処理を説明する図(3)である。図4には、自動運転制御を含めた情報処理全体の流れをブロック図として示す。
図4に示すように、情報処理装置100は、自動運転中に撮影画像P21を取得する。このとき、情報処理装置100は、撮影画像P21として、可視画像のみならず、デプスセンサ等を用いてデプスデータを取得してもよい。情報処理装置100は、図1乃至図3で説明したように、取得した撮影画像P21に対して環境劣化補償を行う(ステップS21)。情報処理装置100は、撮影画像P21に対応する照合画像の推定処理において、自己動きデータを利用してもよい。
その後、情報処理装置100は、環境劣化補償を経て生成した復元画像を照合処理に送る(ステップS22)。このとき、情報処理装置100は、GPS(Global Positioning System)データを取得し、照合処理に利用してもよい。
その後、情報処理装置100は、復元画像と照合画像とを比較し、より鮮明な画像を選択して、蓄積画像の更新を行ってもよい(ステップS23)。情報処理装置100は、選択した画像を蓄積し、次の撮影画像の環境劣化補償に備える。
また、情報処理装置100は、環境劣化補償を経て生成した復元画像を、異常検知を行う処理部に送る。情報処理装置100は、復元画像に対する画像認識処理を行い、異常検知を行う(ステップS24)。また、情報処理装置100は、復元画像を、障害物検知を行う処理部に送り、障害物検知を行う(ステップS25)。
また、情報処理装置100は、過去の走行位置等の走行データが記憶された記憶部を参照し、過去の走行位置を取得する(ステップS26)。例えば、情報処理装置100は、現時点で走行中の道において、過去に採用した走行位置や走行速度等、過去の運転履歴を取得する。そして、情報処理装置100は、ステップS25における障害物検知に関する情報や、過去の走行位置等の情報に基づいて、自動運転における走行位置を決定する(ステップS27)。
その後、情報処理装置100は、現時点で走行した走行位置が適切であった場合、かかる情報に基づいて、推奨走行位置を更新する(ステップS28)。情報処理装置100は、更新した情報を記憶部に記憶し、将来の自動運転に備える。
このように、情報処理装置100は、過去通った経路において撮影した劣化の少ない画像を用いて、環境影響を補正する画像処理を行う。これにより、情報処理装置100は、環境の変化に影響されない安定した自動運転を可能とする。
以下、上記の情報処理を実行する情報処理装置100の構成や、照合及び環境劣化補償の処理の詳細について、図5を用いて詳細に説明する。
[1-2.実施形態に係る情報処理装置の構成]
図5を用いて、情報処理装置100の構成について説明する。図5は、本開示の実施形態に係る情報処理装置100の構成例を示す図である。図5に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、検知部140と、入力部150と、出力部160とを有する。なお、図5に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置100の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
図5を用いて、情報処理装置100の構成について説明する。図5は、本開示の実施形態に係る情報処理装置100の構成例を示す図である。図5に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、検知部140と、入力部150と、出力部160とを有する。なお、図5に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置100の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインターフェイスであってもよい。また、通信部110は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部110は、無線LAN方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部110は、情報処理装置100の通信手段或いは送信手段として機能する。例えば、通信部110は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、他の情報処理端末等との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種データを記憶する。
例えば、記憶部120は、自動運転における画像認識処理のために、検出対象となる物体を学習した学習器(画像認識モデル)や、検出した物体に関するデータ等を記憶する。また、記憶部120は、自動運転を実行するための地図データ等を記憶してもよい。
また、記憶部120は、情報処理装置100による自動運転によって制御される車両に関する情報を記憶してもよい。例えば、記憶部120は、車体の大きさ、重量、車種等の情報を記憶する。
また、記憶部120は、過去に走行した際に撮影した画像を蓄積するデータテーブルである画像データテーブル121を有する。図6に、実施形態に係る画像データテーブル121の一例を示す。図6は、本開示の実施形態に係る画像データテーブル121の一例を示す図である。図6に示した例では、画像データテーブル121は、「画像ID」、「画像データ」、「GPSデータ」、「走行速度」、「更新日時」、「天候」、「パラメータ」といった項目を有する。
「画像ID」は、画像を識別するための識別情報を示す。「画像データ」は、画像を構成する画素データを示す。なお、図6の例では、画像データを「A31」といった概念で示しているが、実際には、画像データの項目には、画像を構成する画素(ピクセル)の数や、画素ごとの色情報等の具体的な情報が記憶される。
「GPSデータ」は、画像が取得された際の、情報処理装置100(自動車)の位置を示したGPSデータを示す。「走行速度」は、画像が取得された際の、情報処理装置100(自動車)の走行速度を示す。「更新日時」は、画像が撮影された位置における最新の画像への更新日時を示す。「天候」は、画像が取得された際の天候を示す。
「パラメータ」は、画像が取得された際の各種パラメータを示す。パラメータは、例えば、画像が撮影された際の露光時間や、雨等を除去するフィルタ処理が行われていたか否か、あるいはNR(Noise Reduction)処理の強度等の各数値や設定値等が含まれる。
すなわち、図6に示した例では、画像IDが「P31」である画像は、画像データが「A31」であり、当該画像が撮影された際のGPSデータが「B31」であり、走行速度が「30km/h」であり、更新日時が「D31」であり、天候が「雨」であり、パラメータが「E31」であることを示している。
図5に戻って説明を続ける。検知部140は、情報処理装置100に関する各種情報を検知する。具体的には、検知部140は、情報処理装置100の周囲の環境や、情報処理装置100の所在する位置情報や、情報処理装置100と接続されている機器に関する情報等を検知する。検知部140は、各種の情報を検知するセンサと読み替えてもよい。実施形態に係る検知部140は、撮像部141と、測定部142とを有する。
撮像部141は、情報処理装置100の周囲を撮像する機能を有するセンサであり、いわゆるカメラである。例えば、撮像部141は、ステレオカメラや単眼カメラ、レンズレスカメラ等によって実現される。
測定部142は、情報処理装置100及び情報処理装置100が搭載される車両の情報を測定するセンサである。
例えば、測定部142は、情報処理装置100及び情報処理装置100が搭載される車両の挙動を検知する。例えば、測定部142は、車両の加速度を検知する加速度センサや、挙動を検知するジャイロセンサ、IMU(Inertial Measurement Unit)等である。
また、測定部142は、情報処理装置100が搭載された自動車の挙動を測定してもよい。例えば、測定部142は、自動車のブレーキ、アクセル、ステアリングの操作量を測定する。例えば、測定部142は、自動車のブレーキ、アクセル、ステアリングの各々に搭載されたセンサ等を利用して、ブレーキやアクセルに対して加えられた力(圧力等)に応じた量を測定する。また、測定部142は、自動車の速度や加速度、加速及び減速量、ヨーレート情報等を測定してもよい。測定部142は、これら自動車の挙動に関する情報について、上記したセンサ等に限らず、様々な既知の技術によって測定してもよい。
また、測定部142は、情報処理装置100の周囲にある物体との距離を測定するためのセンサを含んでもよい。例えば、測定部142は、情報処理装置100の周辺環境の三次元的な構造を読み取るLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)であってもよい。LiDARは、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。また、測定部142は、ミリ波レーダを使った測距システムであってもよい。また、測定部142は、デプスデータを取得するためのデプスセンサを含んでもよい。
また、測定部142は、情報処理装置100の周囲の音を収集するマイクロフォンや、情報処理装置100の周囲の照度を検知する照度センサや、情報処理装置100の周囲の湿度を検知する湿度センサや、情報処理装置100の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
入力部150は、情報処理装置100を利用するユーザ等から各種操作を受け付けるための処理部である。入力部150は、例えば、キーボードやタッチパネル等を介して、各種情報の入力を受け付ける。
出力部160は、各種情報を出力するための処理部である。出力部160は、例えばディスプレイやスピーカー等である。例えば、出力部160は、撮像部141によって撮像された画像を表示したり、画像内で検出された物体を矩形として表示したりする。
制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
図5に示すように、制御部130は、取得部131と、推定部132と、生成部133と、自動運転部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図5に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部131は、各種情報を取得する。例えば、取得部131は、情報処理装置100が搭載された移動体が備えるセンサ(撮像部141)によって撮影された画像を取得する。
例えば、取得部131は、センサとして、ステレオカメラによって撮影された画像を取得する。この場合、取得部131は、例えばステレオ測距によって測定された、物体までの距離を取得する。なお、取得部131は、センサとして、単眼カメラによって撮影された画像を取得してもよい。この場合、取得部131は、例えばレーザ等を用いた測距センサ(測定部142)によって測定された、物体までの距離を取得する。すなわち、取得部131は、撮影画像として、可視画像のみならず、デプスデータを含む画像データを取得してもよい。
取得部131は、取得した情報を、適宜、記憶部120に格納する。また、取得部131は、記憶部120内から、適宜、処理に要する情報を取得してもよい。また、取得部131は、検知部140や入力部150を介して処理に要する情報を取得してもよいし、ネットワークNを介して、外部装置から情報を取得してもよい。すなわち、取得部131は、必ずしも情報処理装置100が撮影した画像を取得するのではなく、外部装置が撮影した画像や、予め記憶部120に記憶された画像等を取得してもよい。
推定部132は、取得部131によって取得された撮影画像と、過去に撮影された複数画像との照合結果に基づいて、撮影画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像である画像(照合画像)を推定する。
また、推定部132は、後述する生成部133によって復元画像が生成されたのち、さらに、当該復元画像と過去に撮影された複数画像との照合を行い、復元画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定する。すなわち、推定部132は、自動運転が継続する間、復元画像と過去に撮影された画像との照合を繰り返し行い、順次、環境劣化補償を行うための照合画像を推定する。
例えば、推定部132は、センサを備えた移動体によって撮影される画像に対応した照合画像を推定する。すなわち、推定部132は、移動体の移動に応じて継続的に撮影される画像の各々に対して照合画像を推定する。
具体的には、推定部132は、撮影画像を撮影した移動体の走行速度に基づいて、過去に撮影された複数画像の中から照合画像を推定する。例えば、推定部132は、図2に示したように、過去に動画が撮影された際の走行速度と現時点の走行速度との関係から、次に新たに撮影される画像に対応する照合画像を推定する。
あるいは、推定部132は、移動体の位置情報に基づいて、新たに撮影される画像に対応した位置で過去に撮影された画像である照合画像を推定してもよい。例えば、推定部132は、過去に画像が撮影された際のGPSデータと現時点のGPSデータとを比較して、次に移動体が撮影すると想定される位置において、過去に撮影された画像を照合画像として推定する。
なお、推定部132は、照合画像として必ずしも1枚のみ画像を推定しなくてもよく、複数枚の画像を照合画像の候補画像として推定してもよい。例えば、推定部132は、走行速度や位置情報に基づいて照合画像を推定する場合、走行速度や位置情報の精度によっては、1枚の画像のみを照合画像として推定することが難しい場合がある。この場合、推定部132は、走行速度や位置情報に基づいて複数枚の候補画像を抽出し、抽出した画像の中から候補画像を推定してもよい。あるいは、後述する生成部133は、環境劣化補償を行うタイミングで、抽出された複数枚の候補画像のうち、新たに撮影された画像と最も対応する画像をさらに抽出し、抽出した1枚の画像に基づいて環境劣化補償を行ってもよい。
ここで、図7を用いて、推定部132が実行する照合処理の詳細について説明する。図7は、本開示の実施形態に係る照合処理を説明する図(1)である。
推定部132は、生成部133によって生成された復元画像(環境劣化補償画像)を現在フレームとして取得する。また、推定部132は、蓄積画像の中から照合フレームを取得する。なお、照合フレームは、GPSデータ等に基づき、現在フレームに近い位置で撮影されたと想定される複数のフレームを含んでもよい。
推定部132は、ブロックマッチング法を用いて、現在フレームと照合フレームとの差分を算出する(ステップS31)。そして、推定部132は、ブロックごとの誤差(差分)から、互いのフレームの類似度を算出する。例えば、推定部132は、下記式(1)を用いて、現在フレームと照合フレームとを比較する。
上記式(1)において、「E」は、現在フレームと照合フレームとの誤差(差分)を示す。「Block」は、画像の比較対象部分を示す。例えば、Blockは、数ピクセル×数ピクセルの矩形である。「C」及び「R」は、ピクセルごとの色情報を示す。すなわち、式(1)によれば、現在フレームと照合フレームとがどのくらい相違するかといった誤差評価値を出力することができる。これに基づき、推定部132は、フレーム同士の類似度を算出する(ステップS32)。
そして、推定部132は、算出した類似度に基づいて現在フレームに対応する照合フレームを決定する(ステップS33)。例えば、推定部132は、候補画像のうち最も類似度の高いフレームを照合フレームとして決定する。そして、推定部132は、決定した照合フレームを特定するための情報として照合IDを発行する(ステップS34)。
なお、フレームの類似度の算出手法については、上記の手法に限らず、種々の既知の技術が利用されてもよい。
次に、図8を用いて、推定部132が実行する照合処理の他の例について説明する。図8は、本開示の実施形態に係る照合処理を説明する図(2)である。図8に示す処理では、画像内に含まれる構造物等の静止物と画像内で動きのある動体との判定処理を行うことで、より過去に蓄積された画像と現時点の画像との照合精度を向上させることができる。
図8に示す例では、推定部132は、照合フレームと撮影画像(t)に加え、撮影画像(t-1)と、自己動きデータを取得する。撮影画像(t-1)は、撮影画像(t)の1つ前のタイミングで撮影された画像である。
推定部132は、撮影画像(t)と撮影画像(t-1)との差分に基づいて、画像内の動きベクトルを算出する(ステップS41)。そして、推定部132は、算出した動きベクトルに基づいて、画像内の静止構造物の判定を行う(ステップS42)。これにより、推定部132は、画像内において、静止構造物と動体とを区別した処理を行うことができる。
その後、推定部132は、図7のステップS31と同様、撮影画像(t)と照合フレームとのマッチングを行う際に、構造物ありの尤度を踏まえたマッチングを行うことができる(ステップS43)。これにより、推定部132は、撮影画像(t)に歩行者や動物等の動体が含まれていたとしても、それらの影響を抑制できるので、同じ位置で撮影された過去の画像との照合を精度高く行うことができる。
続けて、推定部132は、図7のステップS32及びステップS33と同様、フレーム類似度算出(ステップS44)、及び、照合フレームの決定(ステップS45)を行う。また、推定部132は、図7のステップS34と同様、照合IDを発行する(ステップS46)。
また、推定部132は、照合フレームを蓄積画像として新たに登録してもよい(ステップS47)。例えば、推定部132は、照合フレームとして推定した画像を、今後の蓄積画像として利用するため、記憶部120に登録する。このとき、推定部132は、ステップS42において得られた静止構造物に関する情報を取得し、かかる情報に基づいて、照合フレームから動体を排除した画像データを蓄積するようにしてもよい。これにより、推定部132は、動体の影響が抑制された画像を蓄積画像として記憶することができるので、今後の処理における照合及び環境劣化補償の精度を向上させることができる。
図5に戻って説明を続ける。生成部133は、新たに画像が取得された場合に、照合画像に基づいて、新たに取得された画像を補正した画像である復元画像を生成する。なお、生成部133は、情報処理装置100による撮影によって新たな画像を取得してもよいし、他の撮像装置(カメラ等)によって撮影された画像を、ネットワークN等を介して取得してもよい。
また、生成部133は、復元画像の次のタイミングで画像が取得された場合には、当該復元画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該復元画像の次のタイミングで取得された画像を補正する。すなわち、推定部132は、自動運転が継続する間、復元画像の生成を繰り返し行うことにより、安全性の高い自動運転を行うための画像を供給し続ける。
具体的には、生成部133は、新たに撮影された画像と照合画像との差分に基づいて環境劣化補償を行うことにより、新たに撮影された画像を補正する。環境劣化補償については、種々の既知の技術が適用されてもよい。
例えば、生成部133は、照合画像に含まれる自然環境の境界に基づいて、新たに撮影された画像を補正することにより復元画像を生成してもよい。この点について、図9を用いて説明する。図9は、本開示の実施形態に係る生成処理を説明する図(1)である。
図9の例では、生成部133は、新たに撮影された画像として、霧や霞の影響等で不鮮明な画像P41を取得する。また、生成部133は、照合画像として、画像P41と同じ対象が撮像された画像である画像P42を記憶部120から取得する(ステップS48)。
生成部133は、画像P42を解析し、空と地面との境界20や、道路を示す曲線21等を抽出する。そして、生成部133は、解析した画像P42と、画像P41とを比較検証し、復元画像である画像P43を生成する(ステップS49)。例えば、生成部133は、画像P41では不鮮明である空の境界や道路を示す曲線等の情報を画像P42から取得し、取得した情報を画像P41に反映させて、画像P43を生成する。これにより、生成部133は、空や道路が不鮮明な画像P41に代えて、空や道路の境界が鮮明な画像P43を生成できるので、自動運転の安全性を向上させることができる。
その後、推定部132により、画像P43に基づいて、次に撮影されると想定される画像に対応する照合画像を推定するための照合処理が行われる(ステップS50)。かかる照合処理によって発行された照合IDに基づいて、次の照合画像が記憶部120から選択される。
環境劣化補償には、環境劣化を生じさせる要因に応じて、種々の異なる処理が含まれてもよい。例えば、生成部133は、新たに撮影された画像に比べて照合画像の透過率が高い場合に、当該照合画像に基づいて、新たに撮影された画像に対してヘイズ除去を実行して復元画像を生成する。
この点について、図10を用いて説明する。図10は、本開示の実施形態に係る生成処理を説明する図(2)である。
ヘイズ除去を行う場合、生成部133は、RGB画像I(撮影画像)とは別に、画像内の透過率を示す透過率マップtを生成する。そして、生成部133は、RGB画像Iに対して透過率補正を行う(ステップS51)。続けて、生成部133は、補正した透過率に基づいて、元のRGB画像Iに対してヘイズ除去を行う(ステップS52)。これにより、生成部133は、ヘイズが除去された画像Jを生成することができる。
また、生成部133は、霧や霞等のヘイズのみならず、雨粒やレンズの汚れに起因するノイズ成分等を除去する処理を行ってもよい。例えば、生成部133は、照合画像及び当該照合画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、新たに撮影された画像に対してノイズ除去を実行して復元画像を生成してもよい。
この点について、図11を用いて説明する。図11は、本開示の実施形態に係る生成処理を説明する図(3)である。
ノイズ除去を行う場合、例えば生成部133は、一連の動画から複数枚の画像を抽出し、抽出した複数画像に基づいて補正処理を行う。これは、ある所定時間において連続的に撮影された複数の画像を加算することにより、動きの激しい箇所(ノイズとなりうる箇所)の影響が抑制され、鮮明な画像が得られることに基づく。
まず、生成部133は、図11に示すように、既知の技術を利用して、複数の画像から動きベクトル及び動きベクトル信頼度を算出する。
生成部133は、動きベクトルに基づいて、画像に対して動き補償を行う(ステップS61)。その後、生成部133は、複数画像におけるノイズ量やボケ量、折り返り量、動きベクトル信頼度、巡回履歴等の特徴量を用いて、過去フレームと現在フレームの加算比率を制御する(ステップS62)。そして、生成部133は、動き補償に関する情報、加算比率、可視画像の各々の情報に基づいて、複数の画像を加算して、ノイズの影響を除去した可視画像を得る(ステップS63)。なお、生成部133は、複数の画像を加算した画像をフレームメモリに格納し、次の処理に利用してもよい(ステップS64)。
このように、生成部133は、照合画像及び照合画像の前後に撮影された画像から動きベクトル等を算出することにより、画像において特定される静止物体に関する情報に基づき、画像に対してノイズ除去を実行して復元画像を生成する。これにより、生成部133は、様々な要因により生じた環境劣化に対して頑健なノイズ除去を行うことができる。
また、生成部133は、動きベクトルを利用して建物等の静止構造物を判定し、判定結果に基づいて、蓄積する画像を選択してもよい。例えば、生成部133は、より動体の少ない画像を選択して、記憶部120に蓄積するようにしてもよい。このように、生成部133は、照合画像と復元画像との画素情報を比較し、記憶部120にいずれの画像を蓄積するかを選択する。例えば、生成部133は、よりSN比の小さい画像や、画像内のコントラストが高い画像等、ノイズがより少ない画像を選択して、画像データテーブル121に蓄積される画像を更新する。これにより、生成部133は、処理が進むにつれ、よりノイズの影響の少ない鮮明な画像を記憶部120に蓄積していくことができる。
自動運転部134は、生成部133よりも後段の処理を実行する。例えば、自動運転部134は、生成部133によって生成された復元画像に対して画像認識処理を行い、移動体による自動運転を制御する。例えば、自動運転部134は、画像認識処理の結果、移動体と対象物とが衝突する可能性がある場合や、移動体が走行する路面に障害が発生している場合、移動体の回避行動を制御したり(ステア操作やブレーキ操作)、移動体のユーザに対して警告を発したりする。
[1-3.実施形態に係る情報処理の手順]
次に、図12及び図13を用いて、実施形態に係る情報処理の手順について説明する。図12は、本開示の実施形態に係る処理の流れを示すフローチャート(1)である。
次に、図12及び図13を用いて、実施形態に係る情報処理の手順について説明する。図12は、本開示の実施形態に係る処理の流れを示すフローチャート(1)である。
図12に示すように、情報処理装置100は、カメラ40等のセンサを介して、走行時に画像を取得する(ステップS101)。そして、情報処理装置100は、取得した画像を蓄積画像セットとして記憶部120に格納する(ステップS102)。
図12に示すように、情報処理装置100は、走行時に画像を取得し、蓄積することで、次に同じ経路を走行する際に、実施形態に係る情報処理を実行することができる。例えば、情報処理装置100は、目的地までの往路時にリアカメラで対向車線を記録し、復路での自動運転において、実施形態に係る情報処理を実行してもよい。
続いて、図13について説明する。図13は、本開示の実施形態に係る処理の流れを示すフローチャート(1)である。
情報処理装置100は、ユーザの操作等に従い、自動運転を開始する(ステップS201)。情報処理装置100は、自動運転による走行時に画像を取得する(ステップS202)。
情報処理装置100は、取得した画像を補正するための補正画像が特定されているか否かを判定する(ステップS203)。例えば、ある経路において自動運転を開始した最初のフレームでは、候補画像が特定されていないと想定される。このように、候補画像が特定されていない場合(ステップS203;No)、情報処理装置100は、例えばGPSデータ等の位置情報を用いて、候補画像を特定する(ステップS204)。
一方、候補画像が特定されている場合(ステップS203;Yes)、情報処理装置100は、候補画像に基づいて環境劣化補償を行い、復元画像を生成する(ステップS205)。なお、情報処理装置100は、候補画像が複数存在する場合には、候補画像の中から選択した照合画像に基づいて環境劣化補償を行う。
その後、情報処理装置100は、蓄積画像と復元画像とを照合する(ステップS206)。そして、情報処理装置100は、照合結果に基づいて、次の候補画像を推定する(ステップS207)。
続いて、情報処理装置100は、自動運転に関して異常がないか否かを判定する(ステップS208)。異常がない場合(ステップS208;Yes)、情報処理装置100は、自動運転の制御を継続する(ステップS209)。そして、情報処理装置100は、自動運転中の操作及び走行履歴を記憶する。
一方、自動運転に関して異常があると判定した場合(ステップS208;No)、情報処理装置100は、異常に対する回避処理を実行する(ステップS211)。
その後、情報処理装置100は、自動運転が終了したか否かを判定する(ステップS212)。自動運転が終了していない場合(ステップS212;No)、情報処理装置100は、画像を取得する処理を継続する(ステップS202)。一方、ユーザの操作や、目的地に到達した等の理由によって自動運転が終了した場合(ステップS212;Yes)、情報処理装置100は、一連の処理を終了する。
[1-4.実施形態に係る変形例]
実施形態に係る情報処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置100の他の実施形態について説明する。
実施形態に係る情報処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置100の他の実施形態について説明する。
[1-4-1.地図データ等の利用]
上記実施形態では、情報処理装置100は、移動体の走行速度等に基づいて、次のタイミングで撮影される画像に対応する照合画像を推定することを示した。ここで、情報処理装置100は、走行速度のみならず、異なる情報を用いて照合画像を推定してもよい。
上記実施形態では、情報処理装置100は、移動体の走行速度等に基づいて、次のタイミングで撮影される画像に対応する照合画像を推定することを示した。ここで、情報処理装置100は、走行速度のみならず、異なる情報を用いて照合画像を推定してもよい。
例えば、情報処理装置100は、地図データに基づいて照合画像を推定してもよい。一般に、自動運転を行う移動体は、移動体の空間位置を把握するための地図データを備える。このため、移動体は、次に移動体が走行する位置や、カーブを曲がる位置等、未来の走行位置の予測を行いつつ走行を行う。情報処理装置100は、このような将来に走行する位置を地図データに基づいて判定し、判定結果に基づいて、次のタイミングで撮影される画像に対応する照合画像を推定してもよい。
[1-4-2.自動運転以外の事例への応用]
本開示に係る情報処理は、自動運転時の環境劣化補償以外の種々の事例に応用されてもよい。例えば、本開示に係る情報処理は、画像診断における環境劣化補償に応用されてもよい。
本開示に係る情報処理は、自動運転時の環境劣化補償以外の種々の事例に応用されてもよい。例えば、本開示に係る情報処理は、画像診断における環境劣化補償に応用されてもよい。
例えば、ある画像に対する診断を行う状況下において、数秒前まで撮像を行っていた対象の画質が劣化する場合がある。一例として、施術者が電子メスを術野に使用した場合、煙等が発生し、数秒前まで撮像を行っていた対象にボケが発生したり、煙の影響で透過率が低下したりした画像しか得られなくなる場合がある。
このような場合、本開示に係る情報処理を実行し、環境劣化補償を行うことができる。具体的には、情報処理装置100は、数秒前まで撮像していた環境の影響を受けていない画像に基づいて、煙の影響を受けた画像に対して環境劣化補償を行う。これにより、情報処理装置100は、現時点の画像であって、煙の影響が除去された鮮明な画像を得ることができる。
(2.その他の実施形態)
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
[2-1.移動体の構成]
上記実施形態では、情報処理装置100が移動体に搭載される例を示したが、情報処理装置100は、自動運転を行う自律型移動体(自動車)そのものによって実現されてもよい。この場合、情報処理装置100は、図5に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図5に示した構成に含まれてもよい。
上記実施形態では、情報処理装置100が移動体に搭載される例を示したが、情報処理装置100は、自動運転を行う自律型移動体(自動車)そのものによって実現されてもよい。この場合、情報処理装置100は、図5に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図5に示した構成に含まれてもよい。
例えば、移動体は、自動運転制御部、検出部、自己位置推定部、状況分析部、計画部、動作制御部を有する。また、移動体は、入力部、データ取得部、車両通信部、車内機器、出力制御部、出力部、駆動系制御部、駆動系システム、ボディ系制御部、ボディ系システム、車両記憶部、及び、自動運転制御部を備えてもよい。
入力部は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、情報処理装置100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、情報処理装置100の各部に供給する。
データ取得部は、移動体の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体の各部に供給する。
例えば、データ取得部は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
車両通信部は、車内機器、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動体の各部から供給されるデータを送信したり、受信したデータを移動体の各部に供給したりする。なお、車両通信部がサポートする通信プロトコルは、特に限定されるものではなく、また、車両通信部が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、車両通信部は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器と無線通信を行う。また、例えば、車両通信部は、接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器と有線通信を行う。
さらに、例えば、車両通信部は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、車両通信部は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、車両通信部は、車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、車両通信部は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部に供給することにより、出力部からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部は、データ取得部の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部に供給する。また、例えば、出力制御部は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部に供給する。
出力部は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部は、各種の制御信号を生成し、駆動系システムに供給することにより、駆動系システムの制御を行う。また、駆動系制御部は、必要に応じて、駆動系システム以外の各部に制御信号を供給し、駆動系システムの制御状態の通知等を行う。
駆動系システムは、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システムは、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部は、各種の制御信号を生成し、ボディ系システムに供給することにより、ボディ系システムの制御を行う。また、ボディ系制御部は、必要に応じて、ボディ系システム以外の各部に制御信号を供給し、ボディ系システムの制御状態の通知等を行う。
ボディ系システムは、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システムは、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
車両記憶部は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。車両記憶部は、移動体の各部が用いる各種プログラムやデータ等を記憶する。例えば、車両記憶部は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部は、検出部、自己位置推定部、状況分析部、計画部、及び、動作制御部を備える。
検出部は、自動運転の制御に必要な各種の情報の検出を行う。検出部は、車外情報検出部、車内情報検出部、及び、車両状態検出部を備える。
車外情報検出部は、移動体の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部は、検出処理の結果を示すデータを自己位置推定部、状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部、並びに、動作制御部の緊急事態回避部等に供給する。
車内情報検出部は、移動体の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。
車両状態検出部は、移動体の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部は、検出処理の結果を示すデータを状況分析部の状況認識部、及び、動作制御部の緊急事態回避部等に供給する。
自己位置推定部は、車外情報検出部、及び、状況分析部の状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部は、推定処理の結果を示すデータを状況分析部のマップ解析部、交通ルール認識部、及び、状況認識部等に供給する。また、自己位置推定部は、自己位置推定用マップを車両記憶部に記憶させる。
状況分析部は、自車及び周囲の状況の分析処理を行う。状況分析部は、マップ解析部、交通ルール認識部、状況認識部、及び、状況予測部を備える。
マップ解析部は、自己位置推定部及び車外情報検出部等の移動体の各部からのデータ又は信号を必要に応じて用いながら、車両記憶部に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部は、構築したマップを、交通ルール認識部、状況認識部、状況予測部、並びに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。
交通ルール認識部は、自己位置推定部、車外情報検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部は、認識処理の結果を示すデータを状況予測部等に供給する。
状況認識部は、自己位置推定部、車外情報検出部、車内情報検出部、車両状態検出部、及び、マップ解析部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部及び状況予測部等に供給する。また、状況認識部は、状況認識用マップを車両記憶部に記憶させる。
状況予測部は、マップ解析部、交通ルール認識部及び状況認識部等の移動体の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部は、予測処理の結果を示すデータを、交通ルール認識部及び状況認識部からのデータとともに、計画部のルート計画部、行動計画部、及び、動作計画部等に供給する。
ルート計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部は、計画したルートを示すデータを行動計画部等に供給する。
行動計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、ルート計画部により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部は、計画した自車の行動を示すデータを動作計画部等に供給する。
動作計画部は、マップ解析部及び状況予測部等の移動体の各部からのデータ又は信号に基づいて、行動計画部により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部は、加速、減速、及び、走行軌道等の計画を行う。動作計画部は、計画した自車の動作を示すデータを、動作制御部の加減速制御部及び方向制御部等に供給する。
動作制御部は、自車の動作の制御を行う。動作制御部は、緊急事態回避部、加減速制御部、及び、方向制御部を備える。
緊急事態回避部は、車外情報検出部、車内情報検出部、及び、車両状態検出部の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部は、計画した自車の動作を示すデータを加減速制御部及び方向制御部等に供給する。
加減速制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。
方向制御部は、動作計画部又は緊急事態回避部により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部は、動作計画部又は緊急事態回避部により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部に供給する。
[2-2.その他]
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動車を例に挙げたが、本開示の情報処理は、自動車以外の移動体にも適用可能である。例えば、移動体は、自動二輪車や自動三輪車等の小型車両や、バスやトラック等の大型車両、あるいは、ロボットやドローン等の自律型移動体であってもよい。また、情報処理装置100は、必ずしも移動体と一体ではなく、移動体からネットワークNを介して情報を取得し、取得した情報に基づいて除去範囲を決定するクラウドサーバ等であってもよい。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
(3.本開示に係る情報処理装置の効果)
上述してきたように、本開示に係る情報処理装置(実施形態では情報処理装置100)は、推定部(実施形態では推定部132)と、生成部(実施形態では生成部133)とを有する。推定部は、第1画像(実施形態では撮影画像)と過去に撮影された複数画像との照合結果に基づいて、第1画像の次のタイミングで撮影される第2画像(実施形態では、撮影画像の次に撮影される撮影画像)に対応した位置で過去に撮影された画像である第3画像(実施形態では照合画像もしくは候補画像)を推定する。生成部は、第2画像が取得された場合に、第3画像に基づいて第2画像を補正した画像である第4画像(実施形態では復元画像)を推定する。
上述してきたように、本開示に係る情報処理装置(実施形態では情報処理装置100)は、推定部(実施形態では推定部132)と、生成部(実施形態では生成部133)とを有する。推定部は、第1画像(実施形態では撮影画像)と過去に撮影された複数画像との照合結果に基づいて、第1画像の次のタイミングで撮影される第2画像(実施形態では、撮影画像の次に撮影される撮影画像)に対応した位置で過去に撮影された画像である第3画像(実施形態では照合画像もしくは候補画像)を推定する。生成部は、第2画像が取得された場合に、第3画像に基づいて第2画像を補正した画像である第4画像(実施形態では復元画像)を推定する。
このように、本開示に係る情報処理装置は、次に取得される画像と照合される画像を推定するとともに、推定した画像に基づいて次に取得される画像(第2画像)を補正する。これにより、情報処理装置は、環境の変化に影響されない画像を得ることができる。
また、推定部は、第4画像が生成されたのち、第4画像と過去に撮影された複数画像との照合を行い、第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定する。生成部は、第4画像の次のタイミングで画像が取得された場合には、第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、第4画像の次のタイミングで取得された画像を補正する。これにより、情報処理装置は、継続的に劣化の少ない画像を取得することができるので、自動運転等の継続する処理において画像を安定的に取得することができる。
また、推定部は、センサを備えた移動体によって撮影される第2画像に対応した第3画像を推定する。これにより、情報処理装置は、自動運転等、移動体によって撮影される画像を利用する処理において、環境の変化に影響されない画像を得ることができる。
また、推定部は、第1画像を撮影した移動体の走行速度に基づいて、過去に撮影された複数画像の中から第3画像を推定する。これにより、情報処理装置は、次に撮影される画像に対応する第3画像を高精度に推定することができる。
また、推定部は、移動体の位置情報に基づいて、第2画像に対応した位置で過去に撮影された画像である第3画像を推定する。これにより、情報処理装置は、照合結果が得られない場合であっても、過去に撮影された画像の中から現時点の画像に対応する画像を推定することができる。
また、生成部は、第3画像に含まれる自然環境の境界に基づいて、第2画像を補正することにより第4画像を生成する。これにより、情報処理装置は、自動運転等の境界を利用する処理において有用な第4画像を得ることができる。
また、生成部は、第2画像に比べて第3画像の透過率が高い場合に、第3画像に基づいて第2画像に対してヘイズ除去を実行して第4画像を生成する。これにより、情報処理装置は、霧や霞の影響が除去された鮮明な第4画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第3画像及び第3画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、第2画像に対してノイズ除去を実行して第4画像を生成する。これにより、情報処理装置は、逆光や夜間など光量の影響で発生したノイズや、レンズの汚れ等で発生するノイズが除去された鮮明な第4画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第3画像及び第3画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、第2画像に対してノイズ除去を実行して第4画像を生成する。これにより、情報処理装置は、撮影された画像から動体の影響を除去した第4画像を得ることができるので、自動運転等の処理の安全性を高めることができる。
また、生成部は、第3画像と第4画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する。これにより、情報処理装置は、より鮮明な画像を記憶部に蓄積できるので、その後の環境劣化補償処理の効果を高めることができる。
(4.ハードウェア構成)
上述してきた各実施形態に係る情報処理装置100等の情報機器は、例えば図14に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る情報処理装置100を例に挙げて説明する。図14は、情報処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
上述してきた各実施形態に係る情報処理装置100等の情報機器は、例えば図14に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る情報処理装置100を例に挙げて説明する。図14は、情報処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と
を備えた情報処理装置。
(2)
前記推定部は、
前記第4画像が生成されたのち、当該第4画像と過去に撮影された複数画像との照合を行い、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定し、
前記生成部は、
前記第4画像の次のタイミングで画像が取得された場合には、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該第4画像の次のタイミングで取得された画像を補正する
前記(1)に記載の情報処理装置。
(3)
前記推定部は、
センサを備えた移動体によって撮影される前記第2画像に対応した前記第3画像を推定する
前記(1)又は(2)に記載の情報処理装置。
(4)
前記推定部は、
前記第1画像を撮影した前記移動体の走行速度に基づいて、過去に撮影された複数画像の中から前記第3画像を推定する
前記(3)に記載の情報処理装置。
(5)
前記推定部は、
前記移動体の位置情報に基づいて、前記第2画像に対応した位置で過去に撮影された画像である第3画像を推定する
前記(3)又は(4)に記載の情報処理装置。
(6)
前記生成部は、
前記第3画像に含まれる自然環境の境界に基づいて、前記第2画像を補正することにより前記第4画像を生成する
前記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記生成部は、
前記第2画像に比べて前記第3画像の透過率が高い場合に、当該第3画像に基づいて当該第2画像に対してヘイズ除去を実行して前記第4画像を生成する
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
前記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記生成部は、
前記第3画像と前記第4画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する
前記(1)から(9)のいずれかに記載の情報処理装置。
(11)
コンピュータが、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定し、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する
情報処理方法。
(12)
コンピュータを、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と、
として機能させるための情報処理プログラム。
(1)
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と
を備えた情報処理装置。
(2)
前記推定部は、
前記第4画像が生成されたのち、当該第4画像と過去に撮影された複数画像との照合を行い、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定し、
前記生成部は、
前記第4画像の次のタイミングで画像が取得された場合には、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該第4画像の次のタイミングで取得された画像を補正する
前記(1)に記載の情報処理装置。
(3)
前記推定部は、
センサを備えた移動体によって撮影される前記第2画像に対応した前記第3画像を推定する
前記(1)又は(2)に記載の情報処理装置。
(4)
前記推定部は、
前記第1画像を撮影した前記移動体の走行速度に基づいて、過去に撮影された複数画像の中から前記第3画像を推定する
前記(3)に記載の情報処理装置。
(5)
前記推定部は、
前記移動体の位置情報に基づいて、前記第2画像に対応した位置で過去に撮影された画像である第3画像を推定する
前記(3)又は(4)に記載の情報処理装置。
(6)
前記生成部は、
前記第3画像に含まれる自然環境の境界に基づいて、前記第2画像を補正することにより前記第4画像を生成する
前記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記生成部は、
前記第2画像に比べて前記第3画像の透過率が高い場合に、当該第3画像に基づいて当該第2画像に対してヘイズ除去を実行して前記第4画像を生成する
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
前記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記生成部は、
前記第3画像と前記第4画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する
前記(1)から(9)のいずれかに記載の情報処理装置。
(11)
コンピュータが、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定し、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する
情報処理方法。
(12)
コンピュータを、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と、
として機能させるための情報処理プログラム。
100 情報処理装置
110 通信部
120 記憶部
130 制御部
131 取得部
132 推定部
133 生成部
134 自動運転部
140 検知部
141 撮像部
142 測定部
150 入力部
160 出力部
110 通信部
120 記憶部
130 制御部
131 取得部
132 推定部
133 生成部
134 自動運転部
140 検知部
141 撮像部
142 測定部
150 入力部
160 出力部
Claims (12)
- 第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と
を備えた情報処理装置。 - 前記推定部は、
前記第4画像が生成されたのち、当該第4画像と過去に撮影された複数画像との照合を行い、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像を推定し、
前記生成部は、
前記第4画像の次のタイミングで画像が取得された場合には、当該第4画像の次のタイミングで撮影される画像に対応した位置で過去に撮影された画像に基づいて、当該第4画像の次のタイミングで取得された画像を補正する
請求項1に記載の情報処理装置。 - 前記推定部は、
センサを備えた移動体によって撮影される前記第2画像に対応した前記第3画像を推定する
請求項1に記載の情報処理装置。 - 前記推定部は、
前記第1画像を撮影した前記移動体の走行速度に基づいて、過去に撮影された複数画像の中から前記第3画像を推定する
請求項3に記載の情報処理装置。 - 前記推定部は、
前記移動体の位置情報に基づいて、前記第2画像に対応した位置で過去に撮影された画像である第3画像を推定する
請求項3に記載の情報処理装置。 - 前記生成部は、
前記第3画像に含まれる自然環境の境界に基づいて、前記第2画像を補正することにより前記第4画像を生成する
請求項1に記載の情報処理装置。 - 前記生成部は、
前記第2画像に比べて前記第3画像の透過率が高い場合に、当該第3画像に基づいて当該第2画像に対してヘイズ除去を実行して前記第4画像を生成する
請求項1に記載の情報処理装置。 - 前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて算出される動きベクトルに基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
請求項1に記載の情報処理装置。 - 前記生成部は、
前記第3画像及び当該第3画像の前後に撮影された画像に基づいて特定される静止物体に関する情報に基づいて、前記第2画像に対してノイズ除去を実行して前記第4画像を生成する
請求項1に記載の情報処理装置。 - 前記生成部は、
前記第3画像と前記第4画像との画素情報を比較し、記憶部にいずれの画像を蓄積するかを選択する
請求項1に記載の情報処理装置。 - コンピュータが、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定し、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する
情報処理方法。 - コンピュータを、
第1画像と過去に撮影された複数画像との照合結果に基づいて、前記第1画像の次のタイミングで撮影される第2画像に対応した位置で過去に撮影された画像である第3画像を推定する推定部と、
前記第2画像が取得された場合に、前記第3画像に基づいて当該第2画像を補正した画像である第4画像を生成する生成部と、
として機能させるための情報処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/421,985 US20220114768A1 (en) | 2019-02-18 | 2020-02-06 | Information processing device, information processing method, and information processing program |
CN202080013773.7A CN113424243B (zh) | 2019-02-18 | 2020-02-06 | 信息处理装置、信息处理方法和信息处理程序 |
JP2021501847A JP7371679B2 (ja) | 2019-02-18 | 2020-02-06 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026914 | 2019-02-18 | ||
JP2019-026914 | 2019-02-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020170835A1 true WO2020170835A1 (ja) | 2020-08-27 |
Family
ID=72144540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/004542 WO2020170835A1 (ja) | 2019-02-18 | 2020-02-06 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220114768A1 (ja) |
JP (1) | JP7371679B2 (ja) |
CN (1) | CN113424243B (ja) |
WO (1) | WO2020170835A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244688A (ja) * | 2001-12-12 | 2003-08-29 | Equos Research Co Ltd | 車両の画像処理装置 |
JP2006298256A (ja) * | 2005-04-22 | 2006-11-02 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2006311299A (ja) * | 2005-04-28 | 2006-11-09 | Aisin Aw Co Ltd | 駐車区画監視装置 |
JP2010026713A (ja) * | 2008-07-17 | 2010-02-04 | Toyohashi Univ Of Technology | 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム |
JP2013055410A (ja) * | 2011-09-01 | 2013-03-21 | Denso Corp | 車両周辺画像表示制御装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7444004B2 (en) * | 2004-03-29 | 2008-10-28 | Fujifilm Corporation | Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program |
JP4774807B2 (ja) * | 2005-05-26 | 2011-09-14 | アイシン・エィ・ダブリュ株式会社 | 画像修正装置、地物認識装置及び地物認識方法 |
JP2007189589A (ja) * | 2006-01-16 | 2007-07-26 | Sony Corp | 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム |
KR101404924B1 (ko) * | 2009-12-25 | 2014-06-09 | 가부시키가이샤 리코 | 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치 |
RU2558947C2 (ru) * | 2011-04-13 | 2015-08-10 | Ниссан Мотор Ко., Лтд. | Система помощи при вождении и способ определения дождевых капель для нее |
JP2012244333A (ja) * | 2011-05-18 | 2012-12-10 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN104012081B (zh) * | 2011-12-19 | 2017-04-19 | 日产自动车株式会社 | 三维物体检测装置 |
US9721460B2 (en) * | 2012-07-27 | 2017-08-01 | Clarion Co., Ltd. | In-vehicle surrounding environment recognition device |
JP6473571B2 (ja) * | 2014-03-24 | 2019-02-20 | アルパイン株式会社 | Ttc計測装置およびttc計測プログラム |
JP6407596B2 (ja) * | 2014-07-15 | 2018-10-17 | 株式会社デンソーテン | 画像処理装置、及び、運転支援システム |
JPWO2017159382A1 (ja) * | 2016-03-16 | 2019-01-24 | ソニー株式会社 | 信号処理装置および信号処理方法 |
JP6720415B2 (ja) * | 2016-12-06 | 2020-07-08 | ニッサン ノース アメリカ,インク | 自律走行車のための帯域幅制約画像処理 |
WO2018172849A1 (en) * | 2017-03-20 | 2018-09-27 | Mobileye Vision Technologies Ltd. | Trajectory selection for an autonomous vehicle |
US11079242B2 (en) * | 2017-12-29 | 2021-08-03 | Walmart Apollo, Llc | System and method for determining autonomous vehicle location using incremental image analysis |
-
2020
- 2020-02-06 WO PCT/JP2020/004542 patent/WO2020170835A1/ja active Application Filing
- 2020-02-06 JP JP2021501847A patent/JP7371679B2/ja active Active
- 2020-02-06 CN CN202080013773.7A patent/CN113424243B/zh active Active
- 2020-02-06 US US17/421,985 patent/US20220114768A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244688A (ja) * | 2001-12-12 | 2003-08-29 | Equos Research Co Ltd | 車両の画像処理装置 |
JP2006298256A (ja) * | 2005-04-22 | 2006-11-02 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2006311299A (ja) * | 2005-04-28 | 2006-11-09 | Aisin Aw Co Ltd | 駐車区画監視装置 |
JP2010026713A (ja) * | 2008-07-17 | 2010-02-04 | Toyohashi Univ Of Technology | 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム |
JP2013055410A (ja) * | 2011-09-01 | 2013-03-21 | Denso Corp | 車両周辺画像表示制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7371679B2 (ja) | 2023-10-31 |
CN113424243B (zh) | 2023-09-08 |
US20220114768A1 (en) | 2022-04-14 |
JPWO2020170835A1 (ja) | 2021-12-23 |
CN113424243A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11363235B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
US20220180483A1 (en) | Image processing device, image processing method, and program | |
JP6939283B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP7143857B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US11501461B2 (en) | Controller, control method, and program | |
JPWO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2020116206A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20230370709A1 (en) | Imaging device, information processing device, imaging system, and imaging method | |
US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
CN114026436B (zh) | 图像处理装置、图像处理方法和程序 | |
CN112567726B (zh) | 信息处理设备,信息处理方法和计算机可读记录介质 | |
WO2020090320A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2020170835A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US11386565B2 (en) | Signal processing apparatus and signal processing method, program, and moving body | |
CN112567427A (zh) | 图像处理装置、图像处理方法和程序 | |
JP7483627B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
KR102685934B1 (ko) | 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램 | |
KR20220031561A (ko) | 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템 | |
KR20200096518A (ko) | 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램 | |
KR20200119790A (ko) | 인식 장치와 인식 방법 그리고 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20759313 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021501847 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20759313 Country of ref document: EP Kind code of ref document: A1 |