WO2021059967A1 - 物体認識装置及び物体認識プログラム - Google Patents

物体認識装置及び物体認識プログラム Download PDF

Info

Publication number
WO2021059967A1
WO2021059967A1 PCT/JP2020/033958 JP2020033958W WO2021059967A1 WO 2021059967 A1 WO2021059967 A1 WO 2021059967A1 JP 2020033958 W JP2020033958 W JP 2020033958W WO 2021059967 A1 WO2021059967 A1 WO 2021059967A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
light
plant
object recognition
Prior art date
Application number
PCT/JP2020/033958
Other languages
English (en)
French (fr)
Inventor
塚田　明宏
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080066071.5A priority Critical patent/CN114514565A/zh
Publication of WO2021059967A1 publication Critical patent/WO2021059967A1/ja
Priority to US17/655,424 priority patent/US20220207884A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the disclosure in this specification relates to an object recognition device and an object recognition program.
  • Patent Document 1 discloses a device that recognizes an object reflected in an image of a road scene, that is, an object recognition device that recognizes an object around a vehicle portion.
  • the scene where plants such as vegetation on the side of the road are overgrown and invading the road can often be encountered when the vehicle is running.
  • the effect on vehicle driving (for example, the behavior selected in autonomous driving of a vehicle) differs depending on whether the object invading the road is a mere plant or another obstacle to avoid collision. In some cases.
  • Patent Document 1 the image used for object recognition during actual traveling is considered to be a camera image obtained by the camera element sensing visible light from the outside world. There is concern that the intensity of visible light shown by such camera images will not allow highly accurate discrimination between plants and other obstacles to be avoided.
  • One of the purposes of the disclosure of this specification is to provide an object recognition device and an object recognition program capable of identifying plants with high accuracy.
  • One of the embodiments disclosed here is the image information of the outside world camera mounted on the vehicle, in addition to using the image information including the camera image obtained by the camera element detecting the visible light from the outside world.
  • An object recognition device that recognizes objects in the vicinity of a vehicle by using image information of a sensor image including a background light image obtained by sensing the background light by a light receiving element.
  • An image information acquisition unit that acquires the image information of the ranging sensor and the image information of the external camera, It is provided with an identification unit for identifying plants around the vehicle in consideration of the difference between the intensity of the camera image and the intensity of the sensor image.
  • another one of the disclosed aspects is to use the image information of the outside world camera mounted on the vehicle, which includes the camera image obtained by the camera element detecting the visible light from the outside world.
  • the image information of the ranging sensor mounted on the vehicle the reflected light image obtained by the light receiving element detecting the near-infrared reflected light reflected from the object by light irradiation, and the near-red image with respect to the reflected light.
  • It is an object recognition program that recognizes objects around the vehicle by using the background light image obtained by the light receiving element sensing the outside background light and the image information of the sensor image including the image information.
  • the process of acquiring the image information of the ranging sensor and the image information of the external camera Considering the difference between the intensity of the camera image and the intensity of the sensor image, the process of identifying the plants around the vehicle is executed.
  • the difference between the intensity of the camera image and the intensity of the sensor image is taken into consideration in the identification of the plant area in which the plant is reflected. That is, the difference between the information that senses visible light in the camera image and the information that senses near-infrared light in the image of the ranging sensor is referred to.
  • plants having spectral characteristics with significantly different tendencies in the visible region and the near-infrared region and other objects to be avoided that do not have the same tendency as plants in the visible region and the near-infrared region can be separated. It can be easily identified. Therefore, it is possible to realize object recognition that can identify plants with high accuracy.
  • FIG. 1 It is a figure which shows the whole image of the object recognition system and the driving support ECU of 1st Embodiment. It is a figure which shows the mounting state of the distance measuring sensor and the outside world camera of 1st Embodiment in a vehicle. It is a block diagram which shows the structure of the object recognition ECU of 1st Embodiment. It is a figure for demonstrating an example of the object recognition intermediate image of 1st Embodiment, and the classification situation of the object in the image. It is an example of the object-recognized image of the first embodiment and the classification situation of the object in the image, and is the figure for demonstrating the example corresponding to FIG.
  • the object recognition device As shown in FIG. 1, the object recognition device according to the first embodiment of the present disclosure is used for object recognition around the vehicle 1, and is an object recognition ECU (Electronic Control Unit) configured to be mounted on the vehicle 1. It is 30.
  • the object recognition ECU 30 constitutes an object recognition system 100 together with a distance measuring sensor 10 and an outside world camera 20.
  • the object recognition system 100 of the present embodiment can recognize an object based on the image information of the distance measuring sensor 10 and the image information of the outside world camera 20, and provide the recognition result of the object to the driving support ECU 50 or the like. is there.
  • the object recognition ECU 30 is communicably connected to the communication bus of the vehicle-mounted network mounted on the vehicle 1.
  • the object recognition ECU 30 is one of the nodes provided in the in-vehicle network.
  • the driving support ECU 50 and the like are connected to the in-vehicle network as nodes.
  • the operation support ECU 50 has a configuration mainly including a computer equipped with a processor, a RAM (RandomAccessMemory), a storage unit, an input / output interface, a bus connecting these, and the like.
  • the driving support ECU 50 has at least one of a driving support function that assists the driver's driving operation in the vehicle 1 and a driving agency function that can act for the driver's driving operation.
  • the driving support ECU 50 executes the program stored in the storage unit by the processor.
  • the driving support ECU 50 realizes automatic driving or advanced driving support of the vehicle 1 according to the object recognition result around the vehicle 1 provided by the object recognition system 100.
  • automatic driving or advanced driving support of the vehicle 1 according to the object recognition result for example, collision avoidance with an object recognized as a pedestrian or another vehicle has the highest priority over an object recognized as a plant. Can be mentioned.
  • the range finder 10 is, for example, a SPADRiDAR (Single Photon Avalanche Diode Light Detection And Ringing) arranged in front of the vehicle 1 or on the roof of the vehicle 1.
  • the distance measuring sensor 10 can measure at least the front measurement range MA1 in the periphery of the vehicle 1.
  • the distance measuring sensor 10 has a configuration including a light emitting unit 11, a light receiving unit 12, a control unit 13, and the like.
  • the light emitting unit 11 irradiates the light beam emitted from the light source toward the measurement range MA1 shown in FIG. 2 by scanning with a movable optical member (for example, a polygon mirror).
  • the light source is, for example, a semiconductor laser (Laser diode), and emits a light beam in the near-infrared region that is invisible to occupants (drivers and the like) and humans in the outside world in response to an electric signal from the control unit 13.
  • the light receiving unit 12 collects the reflected light reflected from the object within the measurement range MA1 or the background light with respect to the reflected light by, for example, a condensing lens, and causes the irradiated light beam to enter the light receiving element 12a.
  • the light receiving element 12a is an element that converts light into an electric signal by photoelectric conversion, and is a SPAD light receiving element that realizes high sensitivity by amplifying a detection voltage.
  • a CMOS sensor in which the sensitivity in the near infrared region is set to be high with respect to the visible region is adopted. This sensitivity can also be adjusted by providing an optical filter in the light receiving unit 12.
  • the light receiving element 12a has a plurality of light receiving pixels in an array so as to be arranged in a one-dimensional direction or a two-dimensional direction.
  • the control unit 13 is a unit that controls the light emitting unit 11 and the light receiving unit 12.
  • the control unit 13 is arranged on a substrate common to, for example, the light receiving element 12a, and is mainly composed of a processor in a broad sense such as a microcomputer or an FPGA (Field-Programmable Gate Array).
  • the control unit 13 realizes a scanning control function, a reflected light measurement function, and a background light measurement function.
  • the scanning control function is a function that controls optical beam scanning.
  • the control unit 13 oscillates the light beam from the light source a plurality of times in a pulse shape at a timing based on the operating clock of the clock oscillator provided in the distance measuring sensor 10, and operates the movable optical member.
  • the reflected light measurement function is a function that reads out the voltage value based on the reflected light received by each light receiving pixel by using, for example, a rolling shutter method, and measures the intensity of the reflected light according to the timing of light beam scanning.
  • the distance from the distance measuring sensor 10 to the object reflecting the reflected light can be measured by detecting the time difference between the emission timing of the light beam and the reception timing of the reflected light.
  • the control unit 13 obtains a reflected light image which is image-like data in which the intensity of the reflected light and the distance information of the object reflecting the reflected light are associated with the two-dimensional coordinates corresponding to the measurement range MA1. Can be generated.
  • the background light measurement function is a function that reads out the voltage value based on the background light received by each light receiving pixel at the timing immediately before measuring the reflected light and measures the intensity of the background light.
  • the background light means incident light incident on the light receiving element 12a from the measurement range MA1 in the outside world, which does not substantially include reflected light.
  • the incident light includes natural light, display light emitted from the display of the outside world, and the like.
  • the control unit 13 can generate a background light image which is image-like data in which the intensity of the background light is associated with the two-dimensional coordinates corresponding to the measurement range MA1.
  • the reflected light image and the background light image are sensed by the common light receiving element 12a and acquired from the common optical system including the light receiving element 12a. Therefore, the reflected light image and the background light image are images mainly based on the measurement results in the near-infrared region, which is a common wavelength region. Then, the coordinate system of the reflected light image and the coordinate system of the background light image can be regarded as the coordinate systems that match each other. Furthermore, it can be said that there is almost no difference in measurement timing between the reflected light image and the background light image (for example, less than 1 ns). Therefore, the reflected light image and the background light image can be regarded as being synchronized.
  • the image data in which the data of three channels of the intensity of the reflected light, the distance of the object, and the intensity of the background light are stored corresponding to each pixel is sequentially sent to the object recognition ECU 30 as a sensor image. It is output.
  • the outside world camera 20 is, for example, a camera arranged on the vehicle interior side of the front windshield of the vehicle 1.
  • the outside world camera 20 can measure at least the front measurement range MA2 of the outside world of the vehicle 1, and more specifically, the measurement range MA2 that overlaps at least a part of the measurement range MA1 of the distance measurement sensor 10.
  • the external camera 20 has a configuration including a light receiving unit 22 and a control unit 23.
  • the light receiving unit 22 collects the incident light (background light) incident from the measurement range MA2 outside the camera by, for example, a light receiving lens, and causes the incident light to enter the camera element 22a.
  • the camera element 22a is an element that converts light into an electric signal by photoelectric conversion, and for example, a CCD sensor or a CMOS sensor can be adopted.
  • the camera element 22a is set to have high sensitivity in the visible region with respect to the near infrared region in order to efficiently receive natural light in the visible region.
  • the camera element 22a has a plurality of light receiving pixels (corresponding to so-called sub-pixels) in an array so as to be arranged in a two-dimensional direction. Color filters of different colors such as red, green, and blue are arranged on the light receiving pixels adjacent to each other. The color filter adjusts the wavelength characteristics of the sensitivity of the entire camera element 22a and each light receiving pixel of the camera element 22a.
  • Each light receiving pixel receives visible light of a color corresponding to the arranged color filter.
  • the camera image taken by the external camera 20 is a higher resolution image than the reflected light image and the background light image. Therefore, it can be a color image in the visible range.
  • the control unit 23 is a unit that controls the light receiving unit 22.
  • the control unit 23 is arranged on a substrate common to, for example, the camera element 22a, and is mainly composed of a processor in a broad sense such as a microcomputer or an FPGA.
  • the control unit 23 realizes a shooting function.
  • the shooting function is a function for shooting the above-mentioned color image.
  • the control unit 23 reads out the voltage value based on the incident light received by each light receiving pixel at the timing based on the operating clock of the clock oscillator provided in the external camera 20, for example, by using the global shutter method, and the intensity of the incident light. Is detected and measured.
  • the control unit 23 can generate a camera image which is image-like data in which the intensity of incident light is associated with the two-dimensional coordinates corresponding to the measurement range MA2. Such camera images are sequentially output to the object recognition ECU 30.
  • the object recognition ECU 30 is an electronic control device that recognizes an object around the vehicle 1 by using the image information of the distance measuring sensor 10 and the image information of the outside world camera 20.
  • the object recognition ECU 30 mainly includes a computer including a processing unit 31, a RAM 32, a storage unit 33, an input / output interface 34, a bus connecting them, and the like.
  • the processing unit 31 is hardware for arithmetic processing combined with the RAM 32.
  • the processing unit 31 includes at least one arithmetic core such as a CPU (Central Processing Unit), a GPU (Graphical Processing Unit), and RISC (Reduced Instruction Set Computer).
  • the processing unit 31 may be configured to further include an FPGA and an IP core having other dedicated functions.
  • the processing unit 31 executes various processes for realizing the functions of each functional unit, which will be described later, by accessing the RAM 32.
  • the storage unit 33 is configured to include a non-volatile storage medium.
  • the storage unit 33 stores various programs (image registration program, object recognition program, etc.) executed by the processing unit 31.
  • the object recognition ECU 30 has a plurality of functional units by executing the program stored in the storage unit 33 by the processing unit 31. Specifically, as shown in FIG. 3, functional units such as an image information acquisition unit 41, an image registration unit 42, and an area identification unit 43 are constructed.
  • the image information acquisition unit 41 acquires image information including a reflected light image and a background light image from the distance measuring sensor 10, and sequentially acquires image information including a camera image from the outside world camera 20.
  • the image information acquisition unit 41 further acquires information on the wavelength characteristic of the sensitivity of the camera element 22a (hereinafter referred to as wavelength characteristic information) as image information.
  • the wavelength characteristic information does not need to be acquired from the camera image each time, and is stored in the storage unit 33 when it is acquired from the external camera 20 at the time of initial setting, etc., and is subsequently acquired by accessing the storage unit 33. You can.
  • the image information acquisition unit 41 provides the image registration unit 42 with the latest set of the reflected light image, the background light image, and the camera image.
  • the image registration unit 42 specifies the correspondence between the coordinate system of the reflected light image and the background light image and the coordinate system of the camera image, that is, performs image registration. Then, the image registration unit 42 provides the image-registered reflected light image, background light image, and camera image to the area identification unit 43.
  • the area identification unit 43 identifies a spatial area including an object around the vehicle 1.
  • the area identification unit 43 can identify the plants reflected in the camera image, in particular, considering the difference between the intensity of the camera image and the intensity of the background light image.
  • the area identification unit 43 realizes a visible object identification function, a peripheral space map generation function, and a plant discrimination function.
  • the visible object identification function is a function that identifies an object on a pixel-by-pixel basis by means of semantic segmentation on a camera image having visible light intensity distribution information.
  • an object identification model 44 mainly composed of a neural network is constructed as one component of the object recognition program.
  • the object identification model 44 is a trained AI (artificial intelligence) model, and when a camera image is input, an image Im1 (see FIG. 4) during object identification is output.
  • FCN full-layer convolutional neural network
  • an encoder / decoder network in which an encoder and a decoder are combined for example, SegNet, U-Net, PSPNet, or the like
  • the neural network for example, a full-layer convolutional neural network (FCN), an encoder / decoder network in which an encoder and a decoder are combined (for example, SegNet, U-Net, PSPNet), or the like can be adopted as the neural network.
  • FCN full-layer convolutional neural network
  • an encoder / decoder network in which an encoder and a decoder are combined for example, SegNet, U-Net, PSPNet
  • the encoder executes a convolution operation and a pooling operation on the input camera image.
  • the encoder downsamples the camera image and extracts the features of the camera image.
  • the encoder outputs, for example, the probability of the feature map or the class that classifies the object to the decoder.
  • the decoder executes the reverse pooling operation and the deconvolution operation using the input data from the encoder.
  • the decoder is a partial area of the camera image, which is divided into areas according to the object to be reflected, or in pixel units. It is possible to output the object identification intermediate image Im1 (see FIG. 4) to which the classification information is added. Note that FIG. 4 shows only the classification status of some classes related to the explanation of plant classification.
  • a class having an extremely high need for classification in traveling of a vehicle 1 such as a pedestrian, another vehicle, or a road is set as a class, but a class corresponding to a plant such as a plant is set. Absent. In semantic segmentation, plants, along with other difficult-to-identify and less-needed objects, are classified into higher-level conceptualized classes such as "stationary StO (see FIG. 4)" and "obstacles".
  • the teacher data in this machine learning is a data set of a camera image which is input data and an object-identified image Im2 (see FIG. 5) which is output data (correct answer data).
  • the peripheral space map generation function is a function of inputting a reflected light image and a background light image to the OGM generator 45 and generating a map in which the occupancy state information of the object is added to the peripheral space of the vehicle 1.
  • the area identification unit 43 generates a map of the surrounding space (hereinafter referred to as OGM) by, for example, an OGM (OccupancyGridMap) generation method.
  • OGM is preferably represented by a coordinate system in which the vehicle 1 is viewed from above.
  • the area from the position of the distance measuring sensor 10 to immediately before the position of the object reflected in the reflected light image specified by the distance information is set as an unoccupied area not occupied by the object.
  • the position of the object reflected in the reflected light image is set in the occupied area occupied by the object.
  • the area behind the position of the object reflected in the reflected light image is set as an indistinguishable region in which the occupied state cannot be discriminated.
  • each discrimination target area TA1 to TA3 of the object identification intermediate image Im1 to which the above-mentioned common class information is added is divided into a plant area PLT in which a plant is reflected and a non-plant. It is a function to classify as a non-plant area NPT that is reflected.
  • the region identification unit 43 identifies the plant region PLT in consideration of at least one of the difference between the intensity of the camera image and the intensity of the reflected light image and the difference between the intensity of the camera image and the intensity of the background light image. In particular, in the present embodiment, the plant region PLT is identified in consideration of the difference between the intensity of the camera image and the intensity of the background light image.
  • the area identification unit 43 uses the plant discriminant 46 to determine the intensity of the corresponding pixels of the camera image and the background light image, which are associated with each of the discrimination target areas TA1 to TA3 as coordinates representing the same position by image registration. A discriminant value based on the following plant discriminant 46 is calculated from the strength of the corresponding pixel.
  • the region identification unit 43 changes the form of the plant discriminant 46 according to the wavelength characteristic of the sensitivity of the camera element 22a acquired by the image information acquisition unit 41.
  • One form of the plant discriminant 46 is selected when the red color filter in the light receiving pixel of the camera element 22a substantially blocks near infrared light as shown in FIG.
  • Q is a discrimination value
  • Ib is the intensity of the corresponding pixel of the background light image
  • Ic is the intensity of the corresponding pixel of the camera image, which is the sum of the intensity of red light, the intensity of green light, and the intensity of blue light. is there.
  • the other form of the plant discriminant 46 is selected when the red color filter in the light receiving pixel of the camera element 22a partially transmits near-infrared light, that is, does not sufficiently block it, as shown in FIG. Will be done.
  • Igb is the intensity of the corresponding pixel of the camera image, and is the sum of the intensity of green light and the intensity of blue light.
  • Igb is It may be the intensity of the corresponding pixel of the camera image and may be the intensity of the GB image.
  • Ic and Igb are strengths standardized so as to have values in the range of 0 or more and 1 or less.
  • 0 in the normalized intensity means that the intensity is the smallest (the camera element 22a did not detect the incident light), and 1 is the maximum intensity (the camera element 22a has the maximum amount of the incident light). It means that it was sensed).
  • Ib may be standardized so as to have a value in the range of 0 or more and 1 or less, similarly to Ic and Igb.
  • the discrimination value Q is a discrimination value as a physical quantity that reflects the difference between the intensity of the camera image and the intensity of the background light image, and is calculated by the plant discrimination formula 46 according to the intensity ratio between the camera image and the background light image. It will be done.
  • the region identification unit 43 determines.
  • the target area (see FIGS. 5 TA2 and TA3) is set in the plant area PLT.
  • the region identification unit 43 sets the discrimination target region (see FIG. 5 TA1) in the non-plant region NPT.
  • the reflectance of the near-infrared region RNi tends to be remarkably larger than the reflectance of the visible region RV.
  • the reflectance of the visible region RV and the reflectance of the near infrared region RNi tend not to be so different. Utilizing this difference in tendency, it is possible to classify plant region PLT and non-plant region NPT.
  • the intensity of the camera image that senses visible light is compared with that of the background light image that senses infrared light.
  • the strength can be significantly higher. Therefore, when the object reflected in the camera image is a plant, the discrimination value Q is likely to be a high value according to the ratio of the reflectance of the visible region RV and the reflectance of the near infrared region RNi.
  • the area identification unit 43 outputs the object-identified image Im2 in which the discrimination information of the plant region PLT is added to the object identification intermediate image Im1. Further, the region identification unit 43 may reflect the result of discriminating the plant region PLT in the OGM. For example, the area identification unit 43 sets the occupied area on the OGM corresponding to the plant area PLT on the camera image to the intrudable area of the vehicle 1, and the OGM corresponding to the non-plant area NPT on the camera image. The upper occupied area may be set as an inaccessible area of the vehicle 1.
  • the area identification unit 43 classifies the objects reflected in the camera image into a plurality of classes based on the camera image by the visible object identification function. In the classification into multiple classes, plants are classified together with other objects so as to be included in a common class that is more conceptualized than plants. After that, the area identification unit 43 determines whether or not the object included in this common class is a plant by the plant discrimination function in consideration of the difference between the intensity of the camera image and the intensity of the background light image. The object recognition information including the object-identified image Im2 and the OGM thus obtained will be provided to the driving support ECU 50.
  • the image information acquisition unit 41 acquires image information including a reflected light image and a background light image from the distance measuring sensor 10, and acquires image information including a camera image from the outside world camera 20. After the processing of S11, the process proceeds to S12.
  • the image registration unit 42 performs image registration between the reflected light image and the background light image and the camera image. After the processing of S12, the process proceeds to S13.
  • the area identification unit 43 performs semantic segmentation on the camera image. Green plants, objects colored green with paint such as paint, green lights, etc. are classified into a common class. At the same time as or before and after this, the area identification unit 43 generates an OGM from the reflected light image and the background light image. After the processing of S13, the process proceeds to S14.
  • the area identification unit 43 identifies the discrimination target area to which the information of the common class is added from the camera image.
  • the discrimination target area may be 0, 1 or plural.
  • the region identification unit 43 uses the plant discrimination formula 46 for each discrimination target region to determine whether the discrimination target region is the plant region PLT or the non-plant region NPT. A series of processes is completed by S15.
  • the area identification unit 43 corresponds to the "identification unit” that identifies the plants around the vehicle 1.
  • the difference between the intensity of the camera image and the intensity of the sensor image is taken into consideration. That is, the difference between the information that senses visible light in the camera image of the external camera 20 and the information that senses near-infrared light in the image of the ranging sensor 10 is referred to.
  • plants having spectral characteristics with significantly different tendencies between the visible region RV and the near infrared region RNi and other plants having the same tendency as the plants between the visible region RV and the near infrared region RNi should be avoided. It can be easily distinguished from an object. Therefore, it is possible to provide the object recognition ECU 30 as an object recognition device capable of identifying plants with high accuracy.
  • the objects reflected in the camera image are classified into a plurality of classes based on the camera image.
  • plants are classified together with other objects so as to be included in a common class that is more conceptualized than plants, so that misclassification occurs. Is suppressed.
  • the object included in the common class is determined to be a plant or not in consideration of the difference between the intensity of the camera image and the intensity of the sensor image. That is, while suppressing the occurrence of misclassification, the objects that can be classified are classified, and then the plants are discriminated with high accuracy from the objects included in the common class. Therefore, since the application of the information sensed by the near-infrared light of the ranging sensor 10 to all the objects is suppressed, the burden on the processing amount or processing speed for object recognition is reduced, and the plant is planted. Can be recognized with high accuracy.
  • object recognition that achieves both reduction of the burden on the processing amount or processing speed and high-precision recognition of plants is extremely useful.
  • the classification into a plurality of classes is performed by semantic segmentation in the object identification model 44 having a neural network. Since the reflected object can be classified for each pixel of the camera image by the semantic segmentation, the spatial region in which the object is located can be recognized with high accuracy.
  • the plant is identified based on the discriminant value calculated by the plant discriminant 46 according to the intensity ratio of the camera image and the sensor image.
  • the tendency of the spectral characteristics of the plant is remarkably expressed, and the presence of the plant is highlighted, so that the identification accuracy of the plant can be dramatically improved.
  • the plant discriminant 46 is changed according to the wavelength characteristic information of the sensitivity of the camera element 22a. Therefore, the wavelength characteristic information of the sensitivity of the camera element 22a, for example, the discrimination value calculated by the plant discrimination formula 46 according to the sensitivity of the near-infrared region RNi is changed to one in which the spectral characteristic tendency of the plant is more prominent. Can be done.
  • the second embodiment is a modification of the first embodiment.
  • the second embodiment will be described focusing on the points different from those of the first embodiment.
  • the area identification unit 243 of the second embodiment shown in FIG. 10 has a plant discrimination image acquisition function and an object identification function.
  • the plant discrimination image acquisition function is a function for acquiring a plant discrimination image.
  • the region identification unit 243 obtains the image by generating a plant discrimination image using the same plant discrimination formula 46 as in the first embodiment.
  • the area identification unit 243 prepares, for example, two-dimensional coordinate data having the same coordinate system as the camera image.
  • the area identification unit 243 is based on the strength of the corresponding pixel of the camera image and the strength of the corresponding pixel of the background light image, which are associated with each coordinate of the two-dimensional coordinate data as coordinates representing the same position by image registration.
  • the discrimination value Q based on the plant discrimination formula 46 is calculated.
  • a plant discrimination image is generated in which the information of the discrimination value Q is added to each coordinate of the two-dimensional coordinate data.
  • the plant discrimination image is image data having the same coordinate system as the camera image, and is an image of the distribution of the discrimination value Q.
  • the discrimination value Q of the portion where the plant is reflected tends to be high due to the spectral characteristics of the plant described in the first embodiment, the object other than the plant having the spectral characteristics similar to the plant.
  • the discriminant value Q of the portion where is reflected can also be high. Therefore, the plant discrimination accuracy is dramatically improved when the object identification model 244, which will be described later, is further used, as compared with the case where the plant discrimination image is used alone.
  • the object identification function uses a camera image having visible light intensity distribution information and a plant discrimination image having discriminant value distribution information based on visible light and infrared light, and uses semantic segmentation to perform pixels. It is a function to identify an object in units.
  • an object identification model 244 mainly composed of a neural network is constructed as one component of the object recognition program.
  • the object identification model 244 of the second embodiment is a trained AI model, and when a camera image and a plant discrimination image are input, an object identification image Im2 to which class classification information is added is output.
  • a network having the same structure as that of the first embodiment can be adopted as the neural network.
  • a class corresponding to plants such as pedestrians, other vehicles, roads, and plants is set as the class.
  • plants are classified into a class called "plants" that is separate from other difficult-to-identify and less-needed objects. Therefore, in the object-recognized image output from the object identification model 244, the plant is already identified with high accuracy.
  • the teacher data in this machine learning is a data set of a camera image and a plant discrimination image as input data and an object-identified image Im2 as output data (correct answer data).
  • the area identification unit 243 generates a plant discrimination image that reflects the difference between the intensity of the camera image and the intensity of the background light image by the plant discrimination image generation function. After that, the area identification unit 243 classifies the objects reflected in the camera image into a plurality of classes based on the camera image and the plant discrimination image by the object recognition function. In the classification into multiple classes, plants are now classified into a single class.
  • S21 to S22 are the same as S11 to S12 of the first embodiment. After the processing of S12, the process proceeds to S23.
  • the area identification unit 243 generates a plant discrimination image from the camera image and the background light image by using the plant discrimination formula 46. After the processing of S23, the process proceeds to S24.
  • the area identification unit 243 inputs the camera image and the plant identification image into the object identification model 244, and performs semantic segmentation. Green plants, objects colored green with paint such as paint, green lights, etc. are classified into different classes. A series of processes is completed by S24.
  • a plant discrimination image reflecting the difference between the intensity of the camera image and the intensity of the sensor image can be obtained. Then, based on the camera image and the plant discrimination image, the objects reflected in the camera image are classified into a plurality of classes. In the classification into multiple classes, plants are classified into a single class. In such a process, the plant can be identified by a comprehensive judgment using both the camera image and the plant discrimination image, so that the recognition accuracy of the plant can be improved.
  • the area identification unit 243 corresponds to the "identification unit” that identifies the plants around the vehicle 1.
  • the area identification units 43 and 243 may identify the plant in consideration of the difference between the intensity of the camera image and the intensity of the reflected light image. That is, Ib in the plant discriminant 46 may be the intensity of the reflected light image. Further, the area identification unit 43 generates a composite image in which both the intensity of the reflected light image and the intensity of the background light image are added, and identifies the plant in consideration of the difference between the intensity of the camera image and the intensity of the decoded image. You may.
  • the area identification units 43 and 243 do not have to use the discrimination value Q calculated by the plant discrimination formula 46 as a physical quantity reflecting the difference between the strength of the camera image and the strength of the sensor image.
  • the physical quantity reflecting the difference between the intensity of the camera image and the intensity of the sensor image may be the difference between the intensity of the camera image and the intensity of the sensor image.
  • the plant discrimination image used in the second embodiment may be a difference image obtained by the difference between the intensity of the camera image and the intensity of the sensor image.
  • the area identification unit 243 does not have to generate the image for discriminating plants.
  • the image registration unit 42 performs image registration, an image for discriminating plants may be generated.
  • the area identification unit 243 may be acquired by providing an image for plant discrimination from the image registration unit 42.
  • the data input to the object identification model 244 does not have to be a plant discrimination image provided separately from the camera image.
  • an additional channel other than RGB may be prepared in the camera image, and the calculated discrimination value Q may be stored in the channel.
  • the data input to the object identification model 244 may be a camera image to which the information of the discrimination value Q is added.
  • the area identification units 43 and 243 identify plants in consideration of the difference between the intensity of the camera image and the intensity of the sensor image, instead of using semantic segmentation, for example, a bounding box. Object recognition by (Bounding Box) may be used.
  • the identification unit is an area for identifying a spatial area including an object around the vehicle 1 if it identifies a plant in consideration of the difference between the intensity of the camera image and the intensity of the sensor image. It does not have to be the identification units 43 and 243. For example, the identification unit may determine whether or not the plant is reflected in the measurement range MA2 of the camera image without strictly associating the plant with the spatial region for identification.
  • the camera image may be a grayscale image instead of a color image.
  • At least one of the object recognition ECU 30 and the driving support ECU 50 may not be mounted on the vehicle 1 but may be fixedly installed on the road or the like outside the vehicle 1, and may be mounted on another vehicle. May be good.
  • the object recognition process, the driving operation, and the like may be remotely controlled by communication such as the Internet, road-to-vehicle communication, and vehicle-to-vehicle communication.
  • the object recognition ECU 30 and the driving support ECU 50 may be integrated into one to form, for example, an electronic control device that realizes one complex function. Further, the distance measuring sensor 10 and the external camera 20 may form an integrated sensor unit. Further, an object recognition device such as the object recognition ECU 30 of the first embodiment may be included as a component of this sensor unit.
  • the object recognition ECU 30 does not have to include the image registration unit 42.
  • the object recognition ECU 30 may acquire image information including an image-registered reflected light image, a background light image, and a camera image.
  • each function provided by the object recognition ECU 30 can be provided by software and hardware for executing the software, only software, only hardware, or a combination thereof. Further, when such a function is provided by an electronic circuit as hardware, each function can also be provided by a digital circuit including a large number of logic circuits or an analog circuit.
  • the form of the storage medium for storing the object recognition program or the like capable of realizing the above object recognition method may be changed as appropriate.
  • the storage medium is not limited to the configuration provided on the circuit board, but is provided in the form of a memory card or the like, is inserted into the slot portion, and is electrically connected to the control circuit of the object recognition ECU 30. You may. Further, the storage medium may be an optical disk or a hard disk as a copy base of the program of the object recognition ECU 30.
  • control unit and its method described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

物体認識装置として物体認識ＥＣＵ（３０）は、車両に搭載された外界カメラ（２０）が生成する画像情報であって、外界からの可視光をカメラ素子が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサ（１０）が生成する画像情報であって、光照射によって物体から反射された近赤外の反射光を受光素子が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する。物体認識ＥＣＵ（３０）は、測距センサ（１０）の画像情報及び外界カメラ（２０）の画像情報を取得する画像情報取得部（４１）と、カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する領域識別部（４３）と、を備える。

Description

物体認識装置及び物体認識プログラム 関連出願の相互参照
　この出願は、２０１９年９月２３日に日本に出願された特許出願第２０１９－１７２３９８号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
　この明細書による開示は、物体認識装置及び物体認識プログラムに関する。
　特許文献１は、道路シーンの画像に映り込む物体を認識する装置、すなわち車両の部周辺の物体を認識する物体認識装置を開示している。
特開２０１７－１６２４５６号公報
　さて、道路脇の草木等の植物が生い茂り、道路上に侵入しているシーンは、車両の走行時等においてしばしば遭遇し得る。物体認識において、道路に侵入している物体が、単なる植物か、他の衝突回避すべき障害物かによって、車両の走行への影響（例えば車両の自動運転において選択される行動）が異なってくる場合がある。
　特許文献１において、実際の走行時に物体認識に用いられる画像は、外界からの可視光をカメラ素子が感知することによるカメラ画像であると考えられる。こうしたカメラ画像が示す可視光の強度では、植物と、他の回避すべき障害物との識別が高精度に実施できないことが懸念されている。
　この明細書の開示による目的の１つは、植物を高精度に識別可能な物体認識装置及び物体認識プログラムを提供することにある。
　ここに開示された態様の１つは、車両に搭載された外界カメラの画像情報であって、外界からの可視光をカメラ素子が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサの画像情報であって、光照射によって物体から反射された近赤外の反射光を受光素子が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識装置であって、
　測距センサの画像情報及び外界カメラの画像情報を取得する画像情報取得部と、
　カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する識別部と、を備える。
　また、開示された態様の他の１つは、車両に搭載された外界カメラの画像情報であって、外界からの可視光をカメラ素子が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサの画像情報であって、光照射によって物体から反射された近赤外の反射光を受光素子が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識プログラムであって、
　少なくとも１つの処理部に、
　測距センサの画像情報及び外界カメラの画像情報を取得する処理と、
　カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する処理と、を実行させる。
　これら態様によると、植物が映り込む植物領域の識別においては、カメラ画像の強度とセンサ画像の強度の相違が考慮される。すなわちカメラ画像における可視光を感知した情報と、測距センサの画像における近赤外光を感知した情報との違いが参照される。このことによって、可視域と近赤外域とで大きく傾向が異なる分光特性を有する植物と、可視域と近赤外域との間で植物程の傾向の違いがない他の回避すべき物体とを、容易に判別することができる。故に、植物を高精度に識別可能な物体認識を実現することができる。
　なお、請求の範囲等における括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
第１実施形態の物体認識システム及び運転支援ＥＣＵの全体像を示す図である。 第１実施形態の測距センサ及び外界カメラの車両への搭載状態を示す図である。 第１実施形態の物体認識ＥＣＵの構成を示す構成図である。 第１実施形態の物体認識途中画像及び当該画像での物体の分類状況の一例を説明するための図である。 第１実施形態の物体認識済画像及び当該画像での物体の分類状況の一例であって、図４に対応する例を説明するための図である。 第１実施形態の外界カメラに用いられ得るカラーフィルタの透過率の波長特性の一例を模式的に示す図である。 第１実施形態の外界カメラに用いられ得るカラーフィルタの透過率の波長特性の別の一例を模式的に示す図である。 ４種類の植物の反射率の波長特性を模式的に示す図である。 第１実施形態の物体認識ＥＣＵの処理を説明するためのフローチャートである。 第２実施形態の物体認識ＥＣＵの構成を示す構成図である。 第２実施形態の物体認識ＥＣＵの処理を説明するためのフローチャートである。
　以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
　（第１実施形態）
　図１に示すように、本開示の第１実施形態による物体認識装置は、車両１の周辺の物体認識に用いられ、車両１に搭載されるように構成された物体認識ＥＣＵ（Electronic Control Unit）３０となっている。物体認識ＥＣＵ３０は、物体認識システム１００を、測距センサ１０及び外界カメラ２０と共に構成している。本実施形態の物体認識システム１００は、測距センサ１０の画像情報及び外界カメラ２０の画像情報に基づき、物体を認識し、当該物体の認識結果を、運転支援ＥＣＵ５０等に提供することが可能である。
　物体認識ＥＣＵ３０は、車両１に搭載された車載ネットワークの通信バスに通信可能に接続されている。物体認識ＥＣＵ３０は、車載ネットワークに設けられたノードのうちの１つである。車載ネットワークには、測距センサ１０、外界カメラ２０の他、運転支援ＥＣＵ５０等がそれぞれノードとして接続されている。
　運転支援ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ＥＣＵ５０は、車両１においてドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な運転代行機能の少なくとも一方を有している。運転支援ＥＣＵ５０は、記憶部に記憶されたプログラムをプロセッサによって実行する。これにより、運転支援ＥＣＵ５０は、物体認識システム１００により提供される車両１の周辺の物体認識結果に応じた車両１の自動運転又は高度運転支援を実現する。物体認識結果に応じた車両１の自動運転又は高度運転支援としては、例えば植物として認識された物体よりも、歩行者又は他車両として認識された物体に対して最優先に衝突回避すること等が挙げられる。
　次に、物体認識システム１００に含まれる測距センサ１０、外界カメラ２０及び物体認識ＥＣＵ３０の各詳細を、順に説明する。
　測距センサ１０は、例えば車両１の前方、又は車両１のルーフに配置された、ＳＰＡＤＲｉＤＡＲ（Single Photon Avalanche Diode Light Detection And Ranging）となっている。測距センサ１０は、車両１の周辺のうち少なくとも前方の測定範囲ＭＡ１を測定可能となっている。
　測距センサ１０は、発光部１１、受光部１２、制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、図２に示す測定範囲ＭＡ１へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員（ドライバ等）及び外界の人間から視認不能な近赤外域の光ビームを発光する。
　受光部１２は、照射された光ビームが測定範囲ＭＡ１内の物体から反射される反射光又は反射光に対する背景光を例えば集光レンズにより集光して、受光素子１２ａへ入射させる。
　受光素子１２ａは、光電変換により光を電気信号に変換する素子であり、検出電圧を増幅することにより、高感度を実現したＳＰＡＤ受光素子である。受光素子１２ａには、例えば近赤外域の反射光を検出するために、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサが採用されている。この感度は、受光部１２に光学フィルタを設けることによっても調整できる。受光素子１２ａは、複数の受光画素を１次元方向又は２次元方向に並ぶようにアレイ状に有する。
　制御ユニット１３は、発光部１１及び受光部１２を制御するユニットである。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置され、例えばマイコンないしＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体として構成されている。制御ユニット１３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。
　走査制御機能は、光ビーム走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させると共に、可動光学部材を動作させる。
　反射光測定機能は、光ビーム走査のタイミングに合わせて、例えばローリングシャッタ方式を用いて各受光画素が受光した反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。反射光の測定においては、光ビームの発光タイミングと反射光の受光タイミングとの時間差を検出することにより、測距センサ１０から反射光を反射した物体までの距離を測定することができる。反射光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した２次元座標に反射光の強度及び反射光を反射した物体の距離情報が関連付けられた画像状のデータである反射光画像を、生成することができる。
　背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲ＭＡ１から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から発光される表示光が含まれる。背景光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した２次元座標に背景光の強度が関連付けられた画像状のデータである背景光画像を、生成することができる。
　反射光画像及び背景光画像は、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。したがって、反射光画像及び背景光画像は、共通の波長域である近赤外域の測定結果を主体とした画像である。そして、反射光画像の座標系と背景光画像の座標系とは、互いに一致する座標系とみなすことができる。さらには、反射光画像と背景光画像との間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）といえる。したがって、反射光画像と背景光画像とは、同期もとれているとみなすことができる。
　例えば本実施形態では、各画素に対応して、反射光の強度、物体の距離、及び背景光の強度の３チャンネルのデータが格納された画像データが、センサ画像として、物体認識ＥＣＵ３０へと逐次出力される。
　外界カメラ２０は、例えば車両１のフロントウインドシールドの車室内側に配置されているカメラである。外界カメラ２０は、車両１の外界のうち少なくとも前方の測定範囲ＭＡ２、より詳細には測距センサ１０の測定範囲ＭＡ１と少なくとも一部を重複させた測定範囲ＭＡ２を、測定可能となっている。
　外界カメラ２０は、受光部２２及び制御ユニット２３を含む構成である。受光部２２は、カメラ外部の測定範囲ＭＡ２から入射する入射光（背景光）を例えば受光レンズにより集光して、カメラ素子２２ａへ入射させる。
　カメラ素子２２ａは、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。カメラ素子２２ａでは、可視域の自然光を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。カメラ素子２２ａは、複数の受光画素（いわゆるサブ画素に相当する）を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色の互いに異なる色のカラーフィルタが配置されている。このカラーフィルタによって、カメラ素子２２ａ全体及びカメラ素子２２ａの各受光画素の感度の波長特性が調整される。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色光の強度、緑色光の強度、青色光の強度がそれぞれ個別に測定されることによって、外界カメラ２０が撮影するカメラ画像は、反射光画像及び背景光画像よりも高解像の画像であって、可視域のカラー画像となり得る。
　制御ユニット２３は、受光部２２を制御するユニットである。制御ユニット２３は、例えばカメラ素子２２ａと共通の基板上に配置され、マイコンないしＦＰＧＡ等の広義のプロセッサを主体として構成されている。制御ユニット２３は、撮影機能を実現している。
　撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット２３は、外界カメラ２０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット２３は、測定範囲ＭＡ２に対応した２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、物体認識ＥＣＵ３０へ逐次出力される。
　物体認識ＥＣＵ３０は、測距センサ１０の画像情報及び外界カメラ２０の画像情報を用いて、車両１の周辺の物体を認識する電子制御装置である。物体認識ＥＣＵ３０は、図１に示すように、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）等の演算コアを少なくとも１つ含む構成である。処理部３１は、ＦＰＧＡ及び他の専用機能を備えたＩＰコア等をさらに含む構成であってもよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（イメージレジストレーションプログラム、物体認識プログラム等）が格納されている。
　物体認識ＥＣＵ３０は、記憶部３３に記憶されたプログラムを処理部３１によって実行することで、複数の機能部を有する。具体的に図３に示すように、画像情報取得部４１、イメージレジストレーション部４２、領域識別部４３等の機能部が構築される。
　画像情報取得部４１は、測距センサ１０から反射光画像及び背景光画像を含む画像情報を取得すると共に、外界カメラ２０からカメラ画像を含む画像情報を逐次取得する。画像情報取得部４１は、画像情報として、さらに、カメラ素子２２ａの感度の波長特性に関する情報（以下、波長特性情報）を取得する。波長特性情報は、カメラ画像から都度取得される必要はなく、例えば外界カメラ２０から初期設定時等にて取得された際に記憶部３３に記憶され、以後、記憶部３３へのアクセスにより取得されてよい。画像情報取得部４１は、最新の反射光画像、背景光画像及びカメラ画像の組を、イメージレジストレーション部４２に提供する。
　イメージレジストレーション部４２は、反射光画像、背景光画像の座標系とカメラ画像の座標系との対応関係の特定、すなわちイメージレジストレーション（Image Registration）を実施する。そして、イメージレジストレーション部４２は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を、領域識別部４３に提供する。
　領域識別部４３は、車両１の周辺の物体を含む空間領域を識別する。領域識別部４３は、特に、カメラ画像の強度と背景光画像の強度との相違を考慮して、カメラ画像に映り込む植物を識別することが可能である。領域識別部４３は、可視物体識別機能、周辺空間地図生成機能、及び植物判別機能を実現する。
　可視物体識別機能は、可視光の強度分布情報を有するカメラ画像に対し、セマンティックセグメンテーション（Semantic Segmentation）によって、画素単位での物体の識別を実施する機能である。記憶部３３には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体識別モデル４４が構築されている。物体識別モデル４４は、学習済みのＡＩ（人工知能）モデルであり、カメラ画像が入力されると、物体識別途中画像Ｉｍ１（図４参照）を出力する。
　詳細に、ニューラルネットワークには、全層畳み込みニューラルネットワーク（ＦＣＮ）、エンコーダとデコーダとを結合したエンコーダ・デコーダネットワーク（例えばＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ）等を採用することができる。
　一例として、エンコーダ・デコーダネットワークが採用された場合を説明する。エンコーダは、入力されるカメラ画像に対して畳み込み演算及びプーリング演算を実行する。エンコーダは、カメラ画像をダウンサンプリングすると共に、当該カメラ画像の特徴を抽出する。エンコーダは、例えば特徴マップないし物体を分類したクラスの確率をデコーダに出力する。
　デコーダは、エンコーダからの入力データを用いて、逆プーリング演算及び逆畳み込み演算を実行する。デコーダは、エンコーダにてダウンサンプリングされたカメラ画像を再びアップサンプリングすることで、カメラ画像の部分的な領域であって、映り込む物体に応じて区分された領域毎又は画素単位にて、クラスの分類情報が付加された物体識別途中画像Ｉｍ１（図４参照）を出力することができる。なお、図４では、植物分類の説明に関連する一部のクラスの分類状況のみが示されている。
　第１実施形態においてクラスには、例えば歩行者、他車両、道路等の車両１の走行において分類必要性が極めて高いクラスが設定されているが、草木等の植物に相当するクラスは設定されていない。セマンティックセグメンテーションにおいて、植物は、他の特定困難な物体及び分類必要性の低い物体と共に、例えば「静止物ＳｔＯ（図４参照）」「障害物」等の上位概念化されたクラスに分類される。
　そもそも、可視光のカラー画像であるカメラ画像を用いたセマンティックセグメンテーションにおいて、植物を精度良く区別することは困難である。例えば、緑色の植物は、実質的に、カラー画像における緑色光の強度の情報を主体として、区別され得る。このため、緑色の植物と、ペンキ等の塗料で緑色に着色された物体又は青信号等とが、誤認され易い。物体識別モデル４４による出力結果の精度を担保する、すなわち誤分類の発生を抑制するため、緑色の植物、ペンキ等の塗料で緑色に着色された物体、青信号等が共通のクラスに分類されるようになっている。
　第１実施形態の物体識別モデル４４の学習方法としては、例えば教師あり学習を採用することが可能である。この機械学習における教師データは、入力データであるカメラ画像と、出力データ（正解データ）である物体識別済画像Ｉｍ２（図５参照）とのデータセットである。
　周辺空間地図生成機能は、ＯＧＭ生成器４５に反射光画像及び背景光画像を入力して、車両１の周辺空間に、物体の占有状態情報を付加した地図を生成する機能である。領域識別部４３は、例えばＯＧＭ（Occupancy Grid Map）の生成方法によって、周辺空間の地図（以下、ＯＧＭという）を生成する。このＯＧＭは、好ましくは、車両１を上空から俯瞰した座標系で表される。
　具体的に、ＯＧＭにおいて、測距センサ１０の位置から距離情報により特定された反射光画像に映り込む物体の位置の直前までの領域は、物体に占有されていない非占有領域に設定される。反射光画像に映り込む物体の位置は、物体に占有された占有領域に設定される。反射光画像に映り込む物体の位置よりも奥側は、占有状態が判別不能な判別不能領域に設定される。
　植物判別機能は、上述の共通のクラスの情報が付加された物体識別途中画像Ｉｍ１の各判別対象領域ＴＡ１～ＴＡ３を、図５に示すように、植物が映り込む植物領域ＰＬＴと、非植物が映り込む非植物領域ＮＰＴとに分類する機能である。領域識別部４３は、カメラ画像の強度と反射光画像の強度との差異及びカメラ画像の強度と背景光画像の強度との差異のうち少なくとも一方を考慮して、植物領域ＰＬＴを識別する。特に本実施形態では、カメラ画像の強度と背景光画像の強度との差異を考慮して、植物領域ＰＬＴが識別される。
　領域識別部４３は、植物判別式４６を用いて、各判別対象領域ＴＡ１～ＴＡ３について、イメージレジストレーションによって同じ位置を表す座標として対応付けられたカメラ画像の対応画素の強度と、背景光画像の対応画素の強度とから、下記植物判別式４６に基づく判別値を算出する。領域識別部４３は、画像情報取得部４１が取得したカメラ素子２２ａの感度の波長特性に応じて、植物判別式４６の形態を変更する。
　植物判別式４６のうち１つの形態は、図６に示すような、カメラ素子２２ａの受光画素における赤色のカラーフィルタが近赤外光を略遮断する場合に選択される。この式は、Ｑ＝Ｉｂ／（１－Ｉｃ）で表される。ここで、Ｑは判別値、Ｉｂは背景光画像の対応画素の強度、Ｉｃは、カメラ画像の対応画素の強度であって、赤色光の強度、緑色光の強度及び青色光の強度の合計である。
　植物判別式４６のうち他の１つの形態は、図７に示すような、カメラ素子２２ａの受光画素における赤色のカラーフィルタが近赤外光を一部透過させる、すなわち十分に遮断しない場合に選択される。この式は、Ｑ＝Ｉｂ／（１－Ｉｇｂ）で表される。ここで、Ｉｇｂは、カメラ画像の対応画素の強度であって、緑色光の強度及び青色光の強度の合計である。なお、セマンティックセグメンテーションの対象となるカメラ画像が、Ｒ画像（赤色の強度に基づく画像）とＧＢ画像（緑色及び青色の強度に基づく画像）の２チャンネルにて構成される場合には、Ｉｇｂは、カメラ画像の対応画素の強度であって、ＧＢ画像の強度であってもよい。
　なお、Ｉｃ，Ｉｇｂは、０以上１以下の範囲をとる値となるように規格化された強度である。規格化された強度における０は、強度が最小である（カメラ素子２２ａが入射光を感知しなかった）ことを意味し、１は、強度が最大である（カメラ素子２２ａが入射光を最大量感知した）ことを意味する。また、Ｉｂも、Ｉｃ，Ｉｇｂと同様に、０以上１以下の範囲をとる値となるように規格化されてもよい。
　判別値Ｑは、カメラ画像の強度と背景光画像の強度との相違が反映された物理量としての判別値であって、カメラ画像と背景光画像との強度比率に準じた植物判別式４６により算出されていることとなる。
　植物を判別する１つの例を説明する。算出された判別値Ｑの１つの判別対象領域における平均値が、植物が映り込んでいる可能性が所定確率（例えば５０％）以上となる基準値以上である場合、領域識別部４３は、判別対象領域（図５　ＴＡ２，ＴＡ３参照）を、植物領域ＰＬＴに設定する。平均値が基準値未満である場合、領域識別部４３は、判別対象領域（図５　ＴＡ１参照）を、非植物領域ＮＰＴに設定する。
　すなわち、図８に示すように植物の分光特性においては、可視域ＲＶの反射率に対して近赤外域ＲＮｉの反射率が顕著に大きくなる傾向がある。一方、ペンキ等の塗料で緑色に着色された物体又は青信号の分光特性においては、可視域ＲＶの反射率と近赤外域ＲＮｉの反射率とがそれほど変わらない傾向がある。この傾向の違いを利用して、植物領域ＰＬＴと非植物領域ＮＰＴとの分類は可能である。具体的に、可視域ＲＶの反射率に対して近赤外域ＲＮｉの反射率が顕著に大きくなる植物では、可視光を感知したカメラ画像の強度に対し、赤外光を感知した背景光画像の強度が顕著に大きくなり得る。したがって、カメラ画像に映り込む物体が植物である場合、判別値Ｑは、可視域ＲＶの反射率と近赤外域ＲＮｉの反射率との比率に応じて、蓋然的に高い値となるのである。
　こうして領域識別部４３は、物体識別途中画像Ｉｍ１に植物領域ＰＬＴの判別情報が付加された物体識別済画像Ｉｍ２を、出力する。さらに領域識別部４３は、植物領域ＰＬＴを判別した結果を、ＯＧＭに反映させてもよい。例えば、領域識別部４３は、カメラ画像上の植物領域ＰＬＴに対応するＯＧＭ上の占有領域を、車両１の侵入可能な侵入可能領域に設定し、カメラ画像上の非植物領域ＮＰＴに対応するＯＧＭ上の占有領域を、車両１の侵入不可能な侵入不可領域に設定してもよい。
　以上により、領域識別部４３は、可視物体識別機能により、カメラ画像に基づき、カメラ画像に映り込む物体を、複数のクラスに分類する。複数のクラスへの分類においては、植物は、他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類される。その後、領域識別部４３は、植物判別機能により、この共通のクラスに含まれた物体を、カメラ画像の強度と背景光画像の強度との相違を考慮して、植物か否か判別する。このように得られた物体識別済画像Ｉｍ２とＯＧＭとを含む物体認識情報は、運転支援ＥＣＵ５０に提供されることとなる。
　次に、第１実施形態の物体認識プログラムに基づき、車両１の周辺の物体を認識する物体認識方法を、図９のフローチャートを用いて説明する。各ステップで構成されるこのフローチャートによる処理は、例えば所定時間毎に繰返し実施される。
　まず、Ｓ１１では、画像情報取得部４１は、測距センサ１０から反射光画像及び背景光画像を含む画像情報を取得し、外界カメラ２０からカメラ画像を含む画像情報を取得する。Ｓ１１の処理後、Ｓ１２へ移る。
　Ｓ１２では、イメージレジストレーション部４２は、反射光画像及び背景光画像とカメラ画像との間にて、イメージレジストレーションを実施する。Ｓ１２の処理後、Ｓ１３へ移る。
　Ｓ１３では、領域識別部４３は、カメラ画像に対してセマンティックセグメンテーションを実施する。緑色の植物、ペンキ等の塗料で緑色に着色された物体、青信号等が共通のクラスに分類される。これと同時又はこれに前後して、領域識別部４３は、反射光画像及び背景光画像からＯＧＭを生成する。Ｓ１３の処理後、Ｓ１４へ移る。
　Ｓ１４では、領域識別部４３は、カメラ画像から、共通のクラスの情報が付加された判別対象領域を特定する。この判別対象領域は、０つでもよく、１つでもよく、複数でもよい。Ｓ１４の処理後、Ｓ１５へ移る。
　Ｓ１５では、領域識別部４３は、判別対象領域毎に、植物判別式４６を用いて、当該判別対象領域が植物領域ＰＬＴであるか非植物領域ＮＰＴであるかを判別する。Ｓ１５を以って一連の処理を終了する。
　なお第１実施形態では、領域識別部４３が、車両１の周辺の植物を識別する「識別部」に相当する。
　（作用効果）
　以上説明した第１実施形態の作用効果を以下に改めて説明する。
　第１実施形態によると、植物が映り込む植物領域ＰＬＴの識別においては、カメラ画像の強度とセンサ画像の強度の相違が考慮される。すなわち外界カメラ２０のカメラ画像における可視光を感知した情報と、測距センサ１０の画像における近赤外光を感知した情報との違いが参照される。このことによって、可視域ＲＶと近赤外域ＲＮｉとで大きく傾向が異なる分光特性を有する植物と、可視域ＲＶと近赤外域ＲＮｉとの間で植物程の傾向の違いがない他の回避すべき物体とを、容易に判別することができる。故に、植物を高精度に識別可能な物体認識装置としての物体認識ＥＣＵ３０を提供することができる。
　また、第１実施形態によると、カメラ画像に映り込む物体は、当該カメラ画像に基づき、複数のクラスに分類される。可視光をカメラ素子２２ａが感知することによるカメラ画像に基づくこの分類では、植物が他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類されるので、誤分類の発生は抑制される。その後、共通のクラスに含まれた物体は、カメラ画像の強度とセンサ画像の強度の相違を考慮して、植物か否か判別される。すなわち、誤分類の発生を抑制しつつ、分類できる物体を分類し、その後、共通のクラスに含まれた物体から植物を高精度に判別する。故に、すべての物体に対して測距センサ１０の近赤外光を感知した情報を適用することが抑制されるため、物体認識のための処理量ないし処理速度への負担を軽減しつつ、植物を高精度に認識することができる。
　特に車両１の走行時等、リアルタイムに物体認識が求められる場面においては、処理量ないし処理速度への負担軽減と、植物の高精度認識とを両立した物体認識は、極めて有用である。
　また、第１実施形態によると、複数のクラスへの分類は、ニューラルネットワークを有する物体識別モデル４４でのセマンティックセグメンテーションにより実施される。セマンティックセグメンテーションにより、カメラ画像の画素毎に、映り込む物体を分類できるので、物体が位置する空間領域を、高精度に認識することができる。
　また、第１実施形態によると、カメラ画像とセンサ画像との強度比率に準じた植物判別式４６により算出された判別値に基づき、植物が識別される。こうした植物判別式４６では、植物の分光特性傾向が顕著に表され、植物の存在が浮き彫りになるので、植物の識別精度を飛躍的に向上させることができる。
　また、第１実施形態によると、カメラ素子２２ａの感度の波長特性情報に応じて、植物判別式４６が変更される。故に、カメラ素子２２ａの感度の波長特性情報、例えば近赤外域ＲＮｉの感度に合わせて、植物判別式４６により算出される判別値を、植物の分光特性傾向がより顕著に表すものに変更することができる。
　（第２実施形態）
　図１０，１１に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。
　図１０に示す第２実施形態の領域識別部２４３は、植物判別用画像取得機能及び物体識別機能を有する。
　植物判別用画像取得機能は、植物判別用画像を取得する機能である。領域識別部２４３は、第１実施形態と同様の植物判別式４６を用いて、植物判別用画像を生成することにより取得する。領域識別部２４３は、例えばカメラ画像と同座標系の２次元座標データを用意する。領域識別部２４３は、２次元座標データの各座標に対して、イメージレジストレーションによって同じ位置を表す座標として対応付けられたカメラ画像の対応画素の強度と、背景光画像の対応画素の強度とから、植物判別式４６に基づく判別値Ｑを算出する。
　この結果、２次元座標データの各座標に、判別値Ｑの情報を付加した植物判別用画像が生成される。植物判別用画像は、カメラ画像と同座標系の画像データであって、判別値Ｑの分布が画像化されたものである。植物判別用画像においては、第１実施形態中に説明した植物の分光特性により、植物が映り込む部分の判別値Ｑが高い傾向にはあるものの、植物に似た分光特性をもつ植物以外の物体が映り込む部分の判別値Ｑも、高くなり得る。したがって、植物判別精度は、植物判別用画像だけで判別した場合よりも、後述する物体識別モデル２４４をさらに用いた方が飛躍的に高まることとなる。
　物体識別機能は、可視光の強度分布情報を有するカメラ画像に対し、可視光及び赤外光に基づく判別値分布情報を有する植物判別用画像をも用いつつ、セマンティックセグメンテーション（Semantic Segmentation）によって、画素単位での物体の識別を実施する機能である。記憶部３３には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体識別モデル２４４が構築されている。第２実施形態の物体識別モデル２４４は、学習済みのＡＩモデルであり、カメラ画像及び植物判別用画像が入力されると、クラスの分類情報が付加された物体識別済画像Ｉｍ２を出力する。
　ニューラルネットワークには、基本的には、第１実施形態と同様の構造を有するネットワークを採用することができる。但し、植物判別用画像という入力パラメータの増加に対応して、例えばエンコーダにおいて畳み込み層のチャンネル数を増加させる等の変更が必要である。
　第２実施形態においてクラスには、例えば歩行者、他車両、道路等の他、草木等の植物に相当するクラスが設定されている。セマンティックセグメンテーションにおいて、植物は、他の特定困難な物体及び分類必要性の低い物体とは別の「植物」というクラスに分類される。したがって、物体識別モデル２４４から出力された物体認識済画像は、既に植物が高精度に識別された状態となっている。
　第２実施形態の物体識別モデル２４４の学習方法としては、例えば教師あり学習を採用することが可能である。この機械学習における教師データは、入力データであるカメラ画像及び植物判別用画像と、出力データ（正解データ）である物体識別済画像Ｉｍ２とのデータセットである。
　以上のように、領域識別部２４３は、植物判別用画像生成機能により、カメラ画像の強度と背景光画像の強度との相違が反映された植物判別用画像を生成する。その後、領域識別部２４３は、物体認識機能により、カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体を、複数のクラスに分類する。複数のクラスへの分類においては、植物は、単独のクラスに分類されるようになっている。
　次に、第２実施形態の物体認識プログラムに基づき、車両１の周辺の物体を認識する物体認識方法を、図１１のフローチャートを用いて説明する。このフローチャートによる処理は、例えば所定時間毎に繰返し実施される。
　まず、Ｓ２１～Ｓ２２は、第１実施形態のＳ１１～Ｓ１２と同様である。Ｓ１２の処理後、Ｓ２３へ移る。
　Ｓ２３では、領域識別部２４３は、カメラ画像及び背景光画像から、植物判別式４６を用いて、植物判別用画像を生成する。Ｓ２３の処理後、Ｓ２４へ移る。
　Ｓ２４では、領域識別部２４３は、カメラ画像と植物判別用画像とを物体識別モデル２４４に入力し、セマンティックセグメンテーションを実施する。緑色の植物と、ペンキ等の塗料で緑色に着色された物体、青信号等とが別々のクラスに分類される。Ｓ２４を以って一連の処理を終了する。
　以上説明した第２実施形態によると、カメラ画像及びセンサ画像に基づき、カメラ画像の強度とセンサ画像の強度の相違が反映された植物判別用画像が得られる。そして、カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体は、複数のクラスに分類される。複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっている。こうした処理では、カメラ画像及び植物判別用画像の両方を用いた総合的な判断により、植物を識別することができるので、植物の認識精度を高めることができる。
　なお第２実施形態では、領域識別部２４３が、車両１の周辺の植物を識別する「識別部」に相当する。
　（他の実施形態）
　以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
　具体的に変形例１としては、領域識別部４３，２４３は、カメラ画像の強度と反射光画像の強度との相違を考慮して、植物を識別してもよい。すなわち、植物判別式４６におけるＩｂは、反射光画像の強度であってもよい。さらに領域識別部４３は、反射光画像の強度と背景光画像の強度を両方加味した複合画像を生成し、カメラ画像の強度と当該復号画像の強度との相違を考慮して、植物を識別してもよい。
　変形例２としては、領域識別部４３，２４３は、カメラ画像の強度とセンサ画像の強度との相違が反映された物理量として、植物判別式４６により算出された判別値Ｑを用いなくてもよい。例えば、カメラ画像の強度とセンサ画像の強度との相違が反映された物理量は、カメラ画像の強度とセンサ画像の強度との差分であってもよい。この場合に、第２実施形態にて用いた植物判別用画像は、カメラ画像の強度とセンサ画像の強度との差分により得られた差分画像であってもよい。
　第２実施形態に関する変形例３としては、植物判別用画像は、領域識別部２４３が生成しなくてもよい。例えば、イメージレジストレーション部４２がイメージレジストレーションを実施する際に、植物判別用画像を生成しても良い。領域識別部２４３は、イメージレジストレーション部４２から植物判別用画像を提供されることにより取得しても良い。
　第２実施形態に関する変形例４としては、物体識別モデル２４４に入力されるデータは、カメラ画像とは別に設けられた植物判別用画像でなくてもよい。例えば、カメラ画像にＲＧＢとは別の追加のチャンネルが用意され、当該チャンネルに算出した判別値Ｑが格納されてもよい。そして、物体識別モデル２４４に入力されるデータは、判別値Ｑの情報が付加されたカメラ画像であってもよい。
　変形例５としては、領域識別部４３，２４３は、カメラ画像の強度とセンサ画像の強度との相違を考慮して、植物を識別するものであれば、セマンティックセグメンテーションを用いる代わりに、例えばバウンディングボックス（Bounding Box）による物体認識を用いてもよい。
　変形例６としては、識別部は、カメラ画像の強度とセンサ画像の強度との相違を考慮して、植物を識別するものであれば、車両１の周辺の物体を含む空間領域を識別する領域識別部４３，２４３でなくてもよい。例えば識別部は、植物を空間領域に厳密に関連付けて識別せずに、カメラ画像の測定範囲ＭＡ２に植物が写り込んでいるか否かを判別するものであってもよい。
　変形例７としては、カメラ画像は、カラー画像でなく、グレースケール画像であってもよい。
　変形例８としては、物体認識ＥＣＵ３０及び運転支援ＥＣＵ５０のうち少なくとも１つは、車両１に搭載されずに、車両１外の路上等に固定設置されていてもよく、他車両に搭載されていてもよい。この場合には、インターネット、路車間通信、車車間通信等の通信によって、物体認識処理、運転操作等が遠隔操作されてもよい。
　変形例９としては、物体認識ＥＣＵ３０と、運転支援ＥＣＵ５０とが、１つに統合され、例えば１つの複合的な機能を実現する電子制御装置を構成していてもよい。また、測距センサ１０と外界カメラ２０とが一体型のセンサユニットを構成していてもよい。さらに、第１実施形態の物体認識ＥＣＵ３０のような物体認識装置が、このセンサユニットの構成要素として含まれていてもよい。
　変形例１０としては、物体認識ＥＣＵ３０は、イメージレジストレーション部４２を備えていなくてもよい。物体認識ＥＣＵ３０は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を含む画像情報を取得してもよい。
　変形例１１としては、物体認識ＥＣＵ３０によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
　変形例１２としては、上記の物体認識方法を実現可能な物体認識プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、物体認識ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、物体認識ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (7)

  1. 　車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射によって物体から反射された近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識装置であって、
    　前記測距センサの画像情報及び前記外界カメラの画像情報を取得する画像情報取得部（４１）と、
    　前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する識別部（４３，２４３）と、を備える物体認識装置。
  2. 　前記識別部は、
    　前記カメラ画像に基づき、前記カメラ画像に映り込む物体を、複数のクラスに分類し、前記複数のクラスへの分類においては、植物が他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類し、
    　その後、前記共通のクラスに含まれた物体を、前記相違を考慮して、植物か否か判別する請求項１に記載の物体認識装置。
  3. 　前記識別部は、
    　前記カメラ画像及び前記センサ画像に基づき、前記相違が反映された植物判別用画像を取得し、
    　前記カメラ画像と前記植物判別用画像とに基づき、前記カメラ画像に映り込む物体を、複数のクラスに分類し、前記複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっている請求項１に記載の物体認識装置。
  4. 　前記複数のクラスへの分類は、ニューラルネットワークを有する物体識別モデル（４４，２４４）でのセマンティックセグメンテーションにより実施される請求項２又は３に記載の物体認識装置。
  5. 　前記識別部は、前記相違が反映された物理量としての判別値であって、前記カメラ画像と前記センサ画像との強度比率に準じた植物判別式（４６）により算出された判別値に基づき、植物を識別する請求項１から４のいずれか１項に記載の物体認識装置。
  6. 　前記画像情報取得部は、前記カメラ素子の感度の波長特性情報を含む前記カメラ画像の画像情報を取得し、
    　前記識別部は、前記波長特性情報に応じて、前記植物判別式を変更する請求項５に記載の物体認識装置。
  7. 　車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射によって物体から反射された近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識プログラムであって、
    　少なくとも１つの処理部（３１）に、
    　前記測距センサの画像情報及び前記外界カメラの画像情報を取得する処理と、
    　前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する処理と、を実行させる物体認識プログラム。
PCT/JP2020/033958 2019-09-23 2020-09-08 物体認識装置及び物体認識プログラム WO2021059967A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080066071.5A CN114514565A (zh) 2019-09-23 2020-09-08 物体识别装置和物体识别程序
US17/655,424 US20220207884A1 (en) 2019-09-23 2022-03-18 Object recognition apparatus and object recognition program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019172398A JP7151676B2 (ja) 2019-09-23 2019-09-23 物体認識装置及び物体認識プログラム
JP2019-172398 2019-09-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/655,424 Continuation US20220207884A1 (en) 2019-09-23 2022-03-18 Object recognition apparatus and object recognition program product

Publications (1)

Publication Number Publication Date
WO2021059967A1 true WO2021059967A1 (ja) 2021-04-01

Family

ID=75157615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033958 WO2021059967A1 (ja) 2019-09-23 2020-09-08 物体認識装置及び物体認識プログラム

Country Status (4)

Country Link
US (1) US20220207884A1 (ja)
JP (1) JP7151676B2 (ja)
CN (1) CN114514565A (ja)
WO (1) WO2021059967A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230073748A1 (en) * 2020-02-14 2023-03-09 Sony Group Corporation Imaging device and vehicle control system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070374A (ja) * 2007-09-25 2008-03-27 Fujifilm Corp 画像撮像装置及び距離測定方法
CN101839979A (zh) * 2010-04-22 2010-09-22 中国农业大学 作物冠层植被指数测量方法及装置
JP2012189535A (ja) * 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
DE102016220560A1 (de) * 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors und Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs
JP2018194538A (ja) * 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム
JP2019028861A (ja) * 2017-08-02 2019-02-21 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP2019074458A (ja) * 2017-10-18 2019-05-16 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101608889B1 (ko) * 2015-04-06 2016-04-04 (주)유디피 대기열 모니터링 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070374A (ja) * 2007-09-25 2008-03-27 Fujifilm Corp 画像撮像装置及び距離測定方法
CN101839979A (zh) * 2010-04-22 2010-09-22 中国农业大学 作物冠层植被指数测量方法及装置
JP2012189535A (ja) * 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
DE102016220560A1 (de) * 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors und Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs
JP2018194538A (ja) * 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム
JP2019028861A (ja) * 2017-08-02 2019-02-21 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP2019074458A (ja) * 2017-10-18 2019-05-16 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP7151676B2 (ja) 2022-10-12
JP2021050945A (ja) 2021-04-01
CN114514565A (zh) 2022-05-17
US20220207884A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US20210295065A1 (en) Object identification system
CN108780154B (zh) 3d点云的处理方法
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
CN114616489A (zh) Lidar图像处理
US20160010983A1 (en) Integrated Vehicular System for Low Speed Collision Avoidance
US11423663B2 (en) Object detection device, object detection method, and non-transitory computer readable medium comprising computer program for object detection-use
CN112236776A (zh) 使用深度和多光谱相机的对象识别
WO2019102751A1 (ja) 距離測定装置
US20220012505A1 (en) Object detection device
US20230222640A1 (en) Method for Recognizing Image Artifacts, Control Device for Carrying Out a Method of this Kind, Recognition Device Having a Control Device of this Kind and Motor Vehicle Having a Recognition Device of this Kind
CN112444822A (zh) 合成激光雷达信号的产生
CN109703555A (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
US20230196596A1 (en) Traffic signal recognition method and apparatus
WO2021059967A1 (ja) 物体認識装置及び物体認識プログラム
EP3553556A1 (en) Light modulating lidar apparatus
CN116529633A (zh) 用于借助照明装置和光学传感器探测物体的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车
JP6329417B2 (ja) 車外環境認識装置
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
JP7114207B2 (ja) 距離測定データの取得
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
WO2021049491A1 (ja) 物体認識用異常検出装置、物体認識用異常検出プログラム及び物体認識用異常検出方法
WO2023047886A1 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
KR102461439B1 (ko) 자동차의 주변 환경에 있는 물체의 감지
EP4213112A1 (en) Method and device for detecting a color of a traffic light in an environment of a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20868799

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20868799

Country of ref document: EP

Kind code of ref document: A1