WO2021006262A1 - 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法 - Google Patents

外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法 Download PDF

Info

Publication number
WO2021006262A1
WO2021006262A1 PCT/JP2020/026522 JP2020026522W WO2021006262A1 WO 2021006262 A1 WO2021006262 A1 WO 2021006262A1 JP 2020026522 W JP2020026522 W JP 2020026522W WO 2021006262 A1 WO2021006262 A1 WO 2021006262A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
sensing
data
sensor
evaluation
Prior art date
Application number
PCT/JP2020/026522
Other languages
English (en)
French (fr)
Inventor
佐藤　誠一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to DE112020002888.7T priority Critical patent/DE112020002888T5/de
Priority to JP2021530695A priority patent/JP7307170B2/ja
Priority to US17/622,985 priority patent/US20220264081A1/en
Publication of WO2021006262A1 publication Critical patent/WO2021006262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the present invention relates to a sensing performance evaluation and diagnosis system capable of evaluating and diagnosing performance deterioration of an external recognition sensor mounted on an automobile before a failure occurs.
  • ADAS advanced driver assistance system
  • autonomous driving related technology is rapidly progressing, and adaptive cruise control, lane keep assist system, and emergency are available as functions for automating a part of driving operation.
  • Automatic braking and the like have already been put into practical use.
  • ADAS, autonomous driving systems, etc. are equipped with various external world recognition sensors such as cameras and radars on the vehicle, and perform appropriate control according to the surrounding environment of the own vehicle grasped using these external world recognition sensors. is there.
  • control such as ADAS and automatic operation cannot be performed, so early detection of the failure of the outside world recognition sensor is becoming more and more important.
  • map information includes position information of an object (for example, a traffic light) whose installation position is known in advance and information on the type of the object.
  • the device acquires reference information from the map information and compares the detection result of the sensor with the reference information to detect that the reliability of the sensor is low or that the sensor is out of order.
  • a sensor failure detection device using position information of a static object such as a traffic light registered in advance on a map is disclosed.
  • the sensor failure detection device of Patent Document 1 evaluates the sensing performance of the external world recognition sensor to be diagnosed by using the position information of a static object such as a traffic light registered in advance on the map as reference information. Therefore, for example, when a traffic light is relocated due to road construction, the position information of the traffic light (current position) sensed by the outside world recognition sensor of the vehicle and the position information of the traffic light registered in advance on the map (past position). As a result of the discrepancy, there is a risk that a normal external recognition sensor that correctly senses the current position of the traffic light will be mistaken for an abnormality.
  • Patent Document 1 cannot acquire the reference information necessary for the evaluation diagnosis of the outside world recognition sensor while traveling on a farm road or a forest road where there are few static objects registered in the map, so that the diagnosis is executed. There is also a problem that it is limited to driving in some areas such as urban areas.
  • the present invention by comparing the output of the external world recognition sensor to be diagnosed with the output of the reference external world recognition sensor, the failure of the external world recognition sensor to be diagnosed does not depend on the reference information registered in advance in the map. It is an object of the present invention to provide a sensing performance evaluation and diagnosis system capable of detecting a sign.
  • the sensing performance evaluation and diagnosis system of the present invention includes a sensing data acquisition unit that acquires sensing data around the own vehicle from the observed values of the external world sensor to be diagnosed mounted on the own vehicle, and a reference outer world.
  • Reference value calculation that generates reference value data based on the recognition history of relative information between the surrounding information acquisition unit that acquires ambient information data around the own vehicle from the observed values of the sensor and the reference object included in the ambient information data.
  • An evaluation unit that evaluates the presence or absence of performance deterioration of the external sensor to be diagnosed or the degree of performance deterioration by comparing the sensing data related to the reference object with the threshold value set for the reference value data.
  • the diagnostic system is equipped with.
  • the sensing performance evaluation diagnostic system of the present invention by comparing the output of the external recognition sensor to be diagnosed with the output of the reference external recognition sensor, the output of the reference external recognition sensor can be compared without relying on the reference information registered in advance in the map. It is possible to detect a failure sign of the external recognition sensor to be diagnosed.
  • the block diagram which shows the whole structure example of the diagnostic system which concerns on this invention The block diagram which shows the whole structure example of the diagnostic system which concerns on Example 1.
  • FIG. The figure which shows the processing flow in the reference value calculation part.
  • the figure explaining step S42 of FIG. The figure explaining step S43 of FIG. It is a figure which showed the state of the sensing when the own vehicle mounts the surrounding information acquisition part by taking the vehicle interrupt scene which concerns on Example 1 as an example.
  • FIG. 6 is a diagram showing a state of sensing when a plurality of vehicles are provided with a peripheral acquisition unit, taking as an example a scene in which an oncoming vehicle and an intersecting vehicle exist according to the third embodiment.
  • the figure which shows the vehicle control method based on the sensing performance diagnosis result The figure which shows the processing flow which performs the sensing performance diagnosis necessity based on a driving scene
  • diagnosis system examples of the sensing performance evaluation diagnostic system (hereinafter referred to as “diagnosis system”) according to the present invention will be described with reference to the drawings.
  • FIG. 1 is a block diagram showing a main part of the overall configuration of the diagnostic system of the present invention for evaluating the sensing performance of the external world recognition sensor (hereinafter referred to as “external world sensor 11”) mounted on the own vehicle 10.
  • the diagnostic system illustrated here includes the external world sensor 11 to be diagnosed mounted on the own vehicle 10, the sensing data acquisition unit 1, etc., the reference external world sensor 11S used for evaluating the sensing performance of the external world sensor 11, and the surrounding information acquisition. It includes a unit 12, a storage unit 13, 14, a reference value calculation unit 15, an evaluation unit 16, and a notification unit 17.
  • the reference outside world sensor 11S may use an outside world sensor (camera, radar, lidar, or infrared sensor) mounted on the own vehicle 10 other than the outside world sensor 11 to be diagnosed, or may use itself.
  • An external sensor installed outside the vehicle 10 may be used.
  • an image pickup device such as a drive recorder mounted on the own vehicle 10 may be used, or an external world sensor (camera, radar, lidar, or infrared sensor) mounted on another vehicle may be used.
  • an N system camera installed on the road a security camera installed in the city, a radar, a lidar, an infrared sensor, or the like may be used.
  • FIG. 2 shows the overall configuration of the diagnostic system of the first embodiment using the image pickup device 20 such as a drive recorder mounted on the own vehicle 10 as the reference outside world sensor 11S for acquiring the reference value data which is the reference of the performance evaluation. It is a block diagram which shows an example.
  • the diagnostic system of this embodiment is a system configured by connecting the own vehicle 10 and the imaging device 20.
  • a line such as CAN (Controller Area Network), Ethernet (registered trademark), the Internet, or wireless can be used.
  • the image pickup device 20 corresponds to each of the reference outside world sensor 11S, the ambient information acquisition section 12, the storage sections 13 and 14, the reference value calculation section 15, the evaluation section 16, and the notification section 17 in FIG. , Surrounding information acquisition unit 12X, storage unit 13X, 14X, reference value calculation unit 15X, evaluation unit 16X, notification unit 17X.
  • Details such as the configuration and operation of each element of this embodiment will be sequentially described.
  • the own vehicle 10 includes an external sensor 11 to be diagnosed, a sensing data acquisition unit 1, a vehicle information acquisition unit 2, and a vehicle control unit 3.
  • the outside world sensor 11 is a sensor that recognizes the surrounding environment of the own vehicle 10, and is, for example, a camera sensor, a radar sensor, a lidar, an infrared sensor, or the like.
  • the number of external world sensors 11 mounted on the own vehicle 10 may be a single number (for example, only a camera sensor) or a plurality (for example, a camera sensor and a radar sensor).
  • the sensing data acquisition unit 1 acquires the position information (hereinafter, referred to as “sensing data”) of an object existing around the own vehicle 10 based on the observed value of the external sensor 11.
  • the sensing data includes position information of both a stationary object (hereinafter referred to as “static object”) and a moving object (hereinafter referred to as “dynamic object”).
  • the position information is information on each relative position, relative speed, relative distance, etc. in the front-rear direction and the lateral direction in the coordinate system of the external world sensor 11 mounted on the own vehicle 10.
  • the coordinate system is not limited to the coordinate system of the external sensor 11, and may be arbitrarily set such as a ground-based fixed coordinate system based on a certain point.
  • the sensing data acquisition unit 1 acquires the calculation result of the external world sensor 11.
  • the vehicle information acquisition unit 2 acquires ancillary information (hereinafter referred to as "vehicle information data") related to the sensing data acquired by the sensing data acquisition unit 1.
  • vehicle information data is, for example, information on the running state of the own vehicle 10 (own vehicle speed information, steering angle information, etc.) and information on the model number of the external sensor 11 used for acquiring the sensing data.
  • the vehicle control unit 3 is a control unit that executes ADAS, automatic driving, etc., and controls the behavior of the own vehicle 10 based on the diagnosis result of the sensing performance notified from the notification unit 17 described later.
  • the sensing data acquisition unit 1, the vehicle information acquisition unit 2, and the vehicle control unit 3 specifically include hardware such as a computing device such as a CPU, a main storage device such as a semiconductor memory, an auxiliary storage device, and a communication device. A single or multiple calculator with hardware. Then, each function is realized by the arithmetic unit executing the program loaded in the main storage device while referring to the database recorded in the auxiliary storage device. In the following, it is well known in the computer field. The technique will be described by omitting it as appropriate.
  • the image pickup device 20 includes an image pickup unit 11X, an ambient information acquisition unit 12X, a storage unit 13X, 14X, a reference value calculation unit 15X, an evaluation unit 16X, and a notification unit 17X.
  • the surrounding information acquisition unit 12X, storage unit 13X, 14Y, etc. included in the image pickup apparatus 20 are also specifically, arithmetic units such as a CPU, main storage devices such as semiconductor memory, auxiliary storage devices, communication devices, and the like. It is realized by a computer equipped with the above hardware.
  • the image pickup unit 11X is an image pickup sensor having a configuration necessary for imaging such as a lens, an autofocus mechanism, and a CCD image sensor.
  • the surrounding information acquisition unit 12X performs image analysis such as optical flow or deep learning on the image captured by the imaging unit 11X to provide relative position information or relative velocity information of objects existing around the own vehicle 10. , Relative distance information (collectively referred to as "relative information") is acquired.
  • the surrounding information acquisition unit 12X relates not only to the relative position information of objects existing in the surroundings, but also to the condition information (information such as time zone, weather, moving speed, etc.) at the time of acquiring the information, and the model number of the imaging unit 11X. Attribute information is also acquired at the same time.
  • the position information, the condition information, and the attribute information acquired by the surrounding information acquisition unit 12X are collectively referred to as surrounding information data.
  • the storage unit 13X stores the sensing data acquired by the sensing data acquisition unit 1 and the vehicle information data acquired by the vehicle information acquisition unit 2. Each data stored here is given a time stamp indicating the time when the data was acquired.
  • the storage unit 14X stores the surrounding information data acquired by the surrounding information acquisition unit 12X. Time stamps are also added to the surrounding information data stored here.
  • the time stamps given by the storage units 13X and 14X are used to synchronize the sensing data and the like acquired from the external sensor 11 with the surrounding information data acquired from the imaging unit 11X.
  • the reference value calculation unit 15X calculates the reference value data based on the recognition history of the reference object in the surrounding information data recorded in the storage unit 14X.
  • FIG. 3 is a flowchart showing a processing procedure in the reference value calculation unit 15X.
  • step S31 the surrounding information data recorded in the storage unit 14X is read out.
  • step S32 the surrounding information is clustered based on the condition information and the attribute information included in the surrounding information data.
  • the surrounding information data group corresponding to specific attribute information for example, model number
  • step S33 the recognition history of the surrounding information data for each class (for example, the history of the relative position in the front-rear direction with the reference object and the history of the relative velocity with the reference object) is calculated as the reference value data.
  • reference value data based on the output of the imaging unit 11X can be generated.
  • the evaluation unit 16X compares the sensing data recorded in the storage unit 13X with the reference value data calculated by the reference value calculation unit 15X, and performs evaluation diagnosis processing of the external sensor 11 to be diagnosed.
  • FIG. 4 is a flowchart showing a processing procedure of the evaluation unit 16X.
  • both data are synchronized in order to compare and diagnose the sensing data based on the output of the external sensor 11 to be diagnosed and the reference value data based on the output of the imaging unit 11X in the same time series.
  • a data synchronization method a general data synchronization method may be used. For example, the timing at which the value of the sensing data gradually decreases to 0 and the timing at which the value of the reference value data gradually decreases to 0 can be determined. By setting the same time and extracting each data preceding from this time by the time required for diagnosis, both data can be synchronized.
  • FIG. 5A shows a threshold value when the reference value data is a relative position (hereinafter, referred to as “detection distance”) between a predetermined reference object (for example, a traffic light) sensed by the imaging unit 11X and the own vehicle 10 in the front-rear direction.
  • detection distance a relative position between a predetermined reference object (for example, a traffic light) sensed by the imaging unit 11X and the own vehicle 10 in the front-rear direction.
  • detection distance a threshold value when the reference value data is a relative position (hereinafter, referred to as “detection distance”) between a predetermined reference object (for example, a traffic light) sensed by the imaging unit 11X and the own vehicle 10 in the front-rear direction.
  • the horizontal axis is time
  • the vertical axis is a detection distance.
  • step S33 of FIG. 3 the reference value data illustrated by the solid line of FIG. 5A is calculated. That is, after the maximum detection distance is acquired at the time t 1 when the reference object enters the sensing range of the imaging unit 11X, the detection distance gradually decreases with time, and the detection is detected at the time t 2 when the own vehicle 10 passes the reference object. Reference value data for which the distance is zero is calculated.
  • the threshold value of ⁇ SET_TH (%) (upper threshold value and lower threshold value shown by the broken line) is set with respect to the solid line reference value data.
  • SET_TH is a value that can be arbitrarily set in advance, and an appropriate value may be set in consideration of the allowable range of sensor error.
  • step S43 the sensing data based on the output of the external sensor 11 to be diagnosed is compared with the threshold value, and the period T_NG during which the sensing data is out of the threshold range is calculated.
  • FIG. 5B is an example of the comparison process executed in this step, and calculates the section T_NG in which the sensing data indicated by the alternate long and short dash line does not fall within the threshold range indicated by the broken line.
  • FIG. 5B illustrates a case where the deterioration mode of the external sensor 11 to be diagnosed is deterioration of the sensing range.
  • the outside world sensor 11 cannot sense the reference object, and at the time t 2 when the own vehicle 10 approaches the reference object. Since the reference object can be detected for the first time, the period from time t 1 to time t 3 when the sensing data is out of the threshold range is determined to be T_NG.
  • T_NG the period from time t 3 to time t 2 . Accordingly, sensing data of a period of time t 3 from the time t 1 that is outside the threshold range, the candidate data performance degradation is suspected.
  • FIG. 5B illustrates a case where T_NG is one continuous section, but when the deterioration mode of the external sensor 11 is an increase in noise mixing or the like, sensing data fluctuating up and down is acquired.
  • the sensing data may be out of the threshold range multiple times. In such a case, the sum of the times when the sensing data is out of the threshold range within the diagnosis time may be treated as the period of T_NG.
  • step S44 the degree of deterioration of sensing performance P (%) is calculated based on the T_NG calculated in step S43 and the following equation 1.
  • T is a diagnostic period in which reference value data based on the output of the imaging unit 11X exists, and corresponds to a period from time t 1 to time t 2 in the example of FIG. 5A.
  • step S45 it is determined whether the degree of deterioration of sensing performance P satisfies the following equation 2.
  • TH_judge is a threshold value (%) that can be arbitrarily set.
  • step S46 When the ratio of T_NG to T is large and the degree of deterioration of sensing performance P is TH_judge or higher, it is determined that the sensing performance has deteriorated and a sign of failure has been detected (step S46). On the other hand, when the ratio of the period T_NG to the period T is small and the degree of deterioration of the sensing performance P is less than TH_judge, the sensing performance is judged to be normal (step S47).
  • the notification unit 17X notifies the vehicle control unit 3 of the own vehicle 10 of the diagnosis result (presence / absence of deterioration of sensing performance, degree of deterioration of sensing performance P) in the evaluation unit 16X via CAN or the like.
  • the output of the external recognition sensor 11 to be diagnosed and the output of the reference external recognition sensor are compared. It is possible to detect a failure sign of the external world recognition sensor 11 to be diagnosed without relying on the reference information registered in advance in the map, that is, regardless of the traveling area of the own vehicle 10.
  • the vehicle control unit 3 can change the control contents of ADAS and automatic driving according to the diagnosis result of the external sensor 11. Further, when a sign of failure of the external sensor 11 is detected, necessary maintenance such as repair or replacement of the external sensor 11 can be performed before the deterioration of the external sensor 11 progresses.
  • FIGS. 5A and 5B described above an example of diagnosing the external world sensor 11 using a static object such as a traffic light as a reference object has been described, but the diagnostic system of this embodiment uses a dynamic object such as another running vehicle as a reference object.
  • the external sensor 11 can also be diagnosed as a reference object.
  • a modified example of diagnosing the external world sensor 11 with the other vehicle 10A running as a reference object will be described.
  • FIG. 6 is a scene in which another vehicle 10A changes lanes in front of the own vehicle 10 that is running.
  • another vehicle 10A includes a sensing range S 1 to be diagnosed in the external sensor 11, is observed in both the field of view S 2 of the imaging unit 11X which is used as a reference external sensor 11S.
  • the reference value calculation unit 15X of this modification creates reference value data regarding the relative position, relative speed, relative distance, etc. of the own vehicle 10 and the other vehicle 10A based on the image captured by the imaging unit 11X. Then, the evaluation unit 16X compares the sensing data of the other vehicle 10A based on the output of the external sensor 11 with the reference value data based on the output of the imaging unit 11X, and uses the above equations 1 and 2 for sensing. Diagnose the degree of performance deterioration P and the presence or absence of sensing performance deterioration. The notification unit 17X notifies the vehicle control unit 3 of the diagnosis result.
  • the other vehicle 10A that is traveling can be selected as the reference object to be used as the reference object.
  • Deterioration of sensing performance of the outside world sensor 11 when the other vehicle 10A detected by the 11X cannot be detected by the outside world sensor 11 or when the position of the other vehicle 10A detected by the imaging unit 11X is different from the position detected by the outside world sensor 11. Can be diagnosed as suspected.
  • FIG. 7 is a block diagram showing the overall configuration of the diagnostic system of the second embodiment, which calculates the reference value data from the output of the other vehicle 10A.
  • the diagnostic system of this embodiment is composed of the own vehicle 10, another vehicle 10A, and the cloud server 30.
  • a general wireless public line or the like may be used for transmitting and receiving data via each communication unit described later.
  • the own vehicle 10 includes an external sensor 11, a sensing data acquisition unit 1, a vehicle information acquisition unit 2, a vehicle control unit 3, and a communication unit 4 used for communication with the cloud server 30, as in the first embodiment.
  • the other vehicle 10A includes an outside world sensor 11A corresponding to the reference outside world sensor 11S in this embodiment, a surrounding information acquisition unit 12A that acquires ambient information data from the external world sensor 11A, and a communication unit 4A used for communication with the cloud server 30.
  • the cloud server 30 calculates the reference value with the communication unit 4Y, the storage unit 13Y, and the storage unit 14Y.
  • a unit 15Y, an evaluation unit 16Y, and a notification unit 17Y are provided.
  • the reference value calculation unit 15Y, storage units 13Y, 14Y, etc. of the cloud server 30 also include, specifically, an arithmetic unit such as a CPU, a main storage device such as a semiconductor memory, an auxiliary storage device, and a communication device. It is realized by a computer equipped with hardware.
  • the communication unit 4Y receives the information (sensing data, vehicle information) transmitted from the communication unit 4 of the own vehicle 10 and the information (surrounding information data) transmitted from the communication unit 4A of the other vehicle 10A.
  • Sensing data and vehicle information from the own vehicle 10 are stored in the storage unit 13Y, and surrounding information data from the other vehicle 10A is stored in the storage unit 14Y.
  • the reference value calculation unit 15Y generates the reference value data from the recognition history of the surrounding information data of the other vehicle 10A stored in the storage unit 14Y.
  • the evaluation unit 16Y evaluates the sensing data based on the output of the external world sensor 11 of the own vehicle 10 by using the reference value data calculated by the reference value calculation unit 15Y.
  • the notification unit 17Y notifies the own vehicle 10 of the evaluation diagnosis result of the evaluation unit 16Y.
  • the processing in the reference value calculation unit 15Y and the evaluation unit 16Y is basically the same as the processing in the reference value calculation unit 15X and the evaluation unit 16X of the first embodiment described with reference to FIGS. 3 to 5B. is there.
  • FIG. 1 illustrates a situation in which the sensing result of the other vehicle 10A is used as surrounding information data, and the outside world sensor 11 of the own vehicle 10 in motion senses the other vehicle 10A traveling in the oncoming lane.
  • This is a scene in which the outside world sensor 11A of the other vehicle 10A is sensing the own vehicle 10.
  • the sensing range S external sensor 11 indicated by a solid line has entered the other vehicle 10A, also the vehicle 10 enters the sensing range S A of external sensor 11A shown by a broken line. Therefore, the other vehicle can sense each other.
  • the own vehicle 10 and the other vehicle 10A are equipped with an external sensor of the same model number (for example, a camera of the same model number), in principle, they sense each other. The results are similar.
  • the sensing results may differ from each other.
  • the outside world sensor 11 of the own vehicle 10 detects the distance from the other vehicle 10A as 80 m and the outside world sensor 11A of the other vehicle 10A detects the distance from the own vehicle 10 as 100 m
  • both detection results are compared. Therefore, it is possible to evaluate and diagnose that the observed value of any of the external sensors is incorrect and there is a suspicion of performance deterioration in any of them.
  • the comparison result based on the output of the other vehicle 10A that the own vehicle 10 has passed in the past is saved in the cloud server 30, the difference in the detection distance occurs continuously only this time.
  • FIG. 9 is a diagram showing a change in the detection distance from when the own vehicle 10 and the other vehicle 10A shown in FIG. 8 start detecting each other until they pass each other.
  • the detection of the alternate long and short dash line based on the output of the external sensor 11 of the own vehicle 10 is compared with the fact that the reference value data indicated by the solid line based on the output of the external sensor 11A of the other vehicle 10A is steadily decreasing. It can be seen that the distance is unstable while showing a gradual decreasing tendency. In this way, when there is a difference in the recognition history of the detection distance based on the output of each external sensor, it is possible to evaluate and diagnose the reliability of each external sensor based on the behavior.
  • Various methods can be used for the diagnosis by comparing the reference value data and the sensing data in FIG. 9, and for example, the reliability of each external sensor can be determined by comparing the differential value and the integrated value of the two. It may be used for diagnosis.
  • the external world sensor 11A of one other vehicle 10A was used as the reference external world sensor, but in this diagnostic system, the external world sensor 11 of the own vehicle 10 and the external world sensor 11A of the other vehicle 10A are used. It may not be possible to determine which is abnormal. Therefore, in the diagnostic system of this embodiment, by using the external world sensors of a plurality of other vehicles, it is possible to determine which vehicle has an abnormality in the external world sensor by the principle of majority voting.
  • FIG. 10 is a block diagram showing the overall configuration of the diagnostic system of the third embodiment, which acquires reference value data from sensing data of a plurality of other vehicles 10A and the like.
  • the diagnostic system of this embodiment is composed of the own vehicle 10, a plurality of other vehicles 10A, 10B, 10C, and a cloud server 30.
  • the other vehicle 10B includes an external world sensor 11B, an ambient information acquisition unit 12B, and a communication unit 4B
  • the other vehicle 10C includes an external world sensor 11C, an ambient information acquisition unit 12C, and a communication unit 4C. It shall be prepared.
  • the communication unit 4Y of the cloud server 30 of this embodiment receives information (sensing data and vehicle information) transmitted from the own vehicle 10 and a plurality of surrounding information data transmitted from other vehicles 10A, 10B, and 10C.
  • FIG. 11 is a diagram showing a specific example of using the surrounding information data of a plurality of other vehicles, in which the outside world sensor 11 of the own vehicle 10 is in the sensing range S shown by the solid line and travels in the oncoming lane. and vehicle 10B, sensing the other vehicle 10C traveling cross lane senses the vehicle 10 and the other vehicle 10C for external sensor 11B of the other vehicle 10B is within the sensing range S B indicated by the dotted line, outside the other vehicle 10C sensor 11C is scene that senses the vehicle 10 and the other vehicle 10B which are within the sensing range S C indicated by broken lines.
  • the own vehicle 10 transmits the sensing data and the vehicle information based on the output of the outside world sensor 11 to the cloud server 30, and the other vehicle 10B sends the surrounding information data based on the output of the outside world sensor 11B to the cloud server. Further, the surrounding information data based on the output of the outside world sensor 11C is transmitted from the other vehicle 10C to the cloud server 30.
  • the reference value calculation unit 15Y of the cloud server 30 of this embodiment calculates a plurality of reference value data based on the recognition history of surrounding information data transmitted from a plurality of other vehicles.
  • the cloud server 30 has (a) the detection distance of the other vehicle 10B sensed by the own vehicle 10 and (b) the detection distance of the other vehicle 10C sensed by the own vehicle 10. (C) The detection distance of the own vehicle 10 sensed by the other vehicle 10B, (d) the detection distance of the other vehicle 10C sensed by the other vehicle 10B, (e) the detection distance of the own vehicle 10 sensed by the other vehicle 10C, (f). ) Six types of detection distances, that is, the detection distance of the other vehicle 10B sensed by the other vehicle 10C, will be input.
  • Example 4 the diagnostic system of Example 4 will be described with reference to FIG. It should be noted that the common points with the above-described embodiment will be omitted.
  • the processing until the notification unit 17X of the image pickup apparatus 20 and the notification unit 17Y of the cloud server 30 notify the vehicle control unit 3 of the own vehicle 10 of the diagnosis result has been described. Therefore, in the fourth embodiment, it will be described how the own vehicle should be controlled according to the presence / absence and the degree of deterioration of the sensing performance of the own vehicle notified to the own vehicle 10.
  • FIG. 12 summarizes the vehicle control method for putting the own vehicle in a safe state based on the degree of deterioration of the sensing performance at that time when the deterioration of the sensing performance of the external sensor 11 of the own vehicle 10 is diagnosed as “presence”. It is a table.
  • the degree of performance deterioration is "low", it is judged as a level that does not hinder driving, although some deterioration in sensing performance is observed. At this time, if there is an occupant, the occupant is warned to urge the maintenance of the vehicle. In the case of unmanned automatic operation, it is controlled to automatically start moving to a place where maintenance is possible, such as a dealer.
  • the degree of performance deterioration is "medium”, it is judged that the vehicle can run for the time being, but there is a high risk of the sensing system breaking down. At this time, if there is a driver, safety is taken into consideration in order to prevent suspicious behavior from occurring due to automatic driving, and the driver is warned and automatic driving is stopped. In the case of unmanned autonomous driving, the vehicle will relocate to a dealer or nearby maintenance-friendly location.
  • control is performed to stop automatic operation or make an emergency stop in a safe zone.
  • Example 5 the diagnostic system of Example 5 will be described with reference to FIG. It should be noted that the common points with the above-described embodiment will be omitted.
  • FIG. 13 is a diagram showing a processing flow of the necessity of diagnosis based on the driving scene of the own vehicle.
  • the evaluation unit 16 determines whether the driving scene (condition) is suitable for the evaluation diagnosis based on the vehicle information data.
  • Conditions suitable for evaluation and diagnosis are conditions in which the hardware resources that make up the diagnostic system have sufficient resources, for example, when driving on a straight road, when the vehicle's traveling speed is stable, and in the surrounding area. It is the timing when the surrounding information acquisition unit 12 is stopped because the object does not exist, and specifically, it is the timing when the following conditions are satisfied.
  • the speed of the own vehicle 10 is stable (there is no large acceleration / deceleration).
  • the steering angle of the own vehicle 10 is constant (while traveling on a straight road).
  • Surrounding information data is not available,
  • the above conditions are an example of this embodiment, and the conditions can be set based on vehicle information, sensing data, relative information of objects included in surrounding information data, and the like.
  • step S132 the evaluation unit 16 determines whether or not to carry out step S133, which corresponds to the diagnostic process, according to the result determined in step S131.
  • the diagnostic process executed in step S133 is the diagnostic process described in each of the above-described examples. Furthermore, by providing the data communication center or the like with a diagnosis necessity processing function based on the driving scene according to the present embodiment, it is possible to notify each traveling vehicle of the necessity of performing the sensing performance evaluation diagnosis according to the present invention. It is possible.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Specifically, in this embodiment, the object provided with the surrounding acquisition portion has been described using a vehicle, but it may be provided in a lidar or a camera image installed as an infrastructure.
  • Sensing data acquisition unit 2 Vehicle information acquisition unit 3: Vehicle control unit 4, 4A, 4Y: Communication unit 10: Own vehicle, 10A, 10B, 10C: Other vehicle, 20: Imaging device, 30: Cloud server, 11, 11A, 11B, 11C: External sensor, 11X: Imaging unit, 12, 12X, 12A: Ambient information acquisition unit, 13, 13X, 13Y, 14, 14X, 14Y: Storage unit, 15, 15X, 15Y : Reference value calculation unit, 16, 16X, 16Y: Evaluation unit, 17, 17X, 17Y: Notification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、診断対象の外界認識センサの出力と、基準となる外界認識センサの出力を比較することで、地図に予め登録された参照情報に頼ることなく、診断対象の外界認識センサの故障予兆を検出することができる、センシング性能評価診断システムを提供することを目的とする。自車両に搭載した診断対象の外界センサの観測値から自車両の周囲のセンシングデータを取得するセンシングデータ取得部と、基準外界センサの観測値から自車両の周囲の周囲情報データを取得する周囲情報取得部と、前記周囲情報データに含まれる基準物体との相対情報の認識履歴に基づいて基準値データを生成する基準値算出部と、前記基準物体に関する前記センシングデータを前記基準値データに対して設定した閾値と比較することで、前記診断対象の外界センサの性能劣化の有無、または、性能劣化の度合いを評価する評価部と、を備えることを特徴とするセンシング性能評価診断システム。

Description

外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
　本発明は、自動車に搭載される外界認識センサの性能劣化を、故障の発生前に評価診断できる、センシング性能評価診断システムに関する。
　近年の自動車業界においては、ＡＤＡＳ（先進運転支援システム）や自動運転関連技術の開発が急速に進められており、運転操作の一部を自動化する機能として、アダプティブクルーズコントロール、レーンキープアシストシステム、緊急自動ブレーキ等が既に実用化に至っている。
　ＡＤＡＳや自動運転システム等は、カメラやレーダ等の様々な外界認識センサを車両に搭載し、それらの外界認識センサを用いて把握した自車両の周囲環境に応じて適切な制御を実施するものである。外界認識センサが故障すると、ＡＤＡＳや自動運転といった制御が実施できなくなるため、外界認識センサの故障の早期検知がますます重要となっている。
　外界認識センサの故障や劣化を早期に検出する技術としては、特許文献１に記載のセンサ故障検出装置が知られている。例えば、特許文献１の段落００１２には「本実施の形態では、予め設置位置が知られている物体（例えば信号機）の位置情報および物体の種別に関する情報が地図情報に含まれている。故障検出装置は、地図情報から参照情報を取得するとともに、センサの検出結果と参照情報とを比較することによって、センサの信頼性が低いことや、センサが故障していることを検出する。」との記載があり、地図に予め登録されている信号機等の静的物体の位置情報を用いたセンサ故障検出装置が開示されている。
国際公開第２０１８／０６１４２５号
　しかしながら、特許文献１のセンサ故障検出装置は、地図に予め登録されている信号機等の静的物体の位置情報を参照情報として用いることで、診断対象の外界認識センサのセンシング性能を評価するものであるため、例えば、信号機が道路工事に伴い移設等されると、車両の外界認識センサがセンシングした信号機の位置情報（現在位置）と、地図に予め登録されている信号機の位置情報（過去位置）が齟齬する結果、信号機の現在位置を正しくセンシングした正常な外界認識センサを異常と誤診する恐れがある。
　また、特許文献１のセンサ故障検出装置では、地図に登録された静的物体の少ない農道や林道等を走行中は、外界認識センサの評価診断に必要な参照情報を取得できないため、診断の実行は都市部等の一部エリア走行中に限定されるという問題もある。
　そこで本発明では、診断対象の外界認識センサの出力と、基準となる外界認識センサの出力を比較することで、地図に予め登録された参照情報に頼ることなく、診断対象の外界認識センサの故障予兆を検出することができる、センシング性能評価診断システムを提供することを目的とする。
　上記課題を解決するために、本発明のセンシング性能評価診断システムは、自車両に搭載した診断対象の外界センサの観測値から自車両の周囲のセンシングデータを取得するセンシングデータ取得部と、基準外界センサの観測値から自車両の周囲の周囲情報データを取得する周囲情報取得部と、前記周囲情報データに含まれる基準物体との相対情報の認識履歴に基づいて基準値データを生成する基準値算出部と、前記基準物体に関する前記センシングデータを前記基準値データに対して設定した閾値と比較することで、前記診断対象の外界センサの性能劣化の有無、または、性能劣化の度合いを評価する評価部と、を備える診断システムとした。
　本発明のセンシング性能評価診断システムによれば、診断対象の外界認識センサの出力と、基準となる外認識界センサの出力を比較することで、地図に予め登録された参照情報に頼ることなく、診断対象の外界認識センサの故障予兆を検出することができる。
本発明に係る診断システムの全体構成例を示すブロック図。 実施例１に係る診断システムの全体構成例を示すブロック図。 基準値算出部における処理フローを示す図。 評価部における処理フローを示す図。 図４のステップＳ４２を説明する図。 図４のステップＳ４３を説明する図。 実施例１に係る車両割込みシーンを例に周囲情報取得部を自車が搭載した際のセンシングの様子を表した図。 実施例２に係る診断システムの全体構成例を示すブロック図。 実施例２に係る対向車シーンを例に一台の他車が周囲取得部を搭載した際のセンシングの様子を表した図。 自車センシングと基準値の検知距離を表した図 実施例３に係る診断システムの全体構成例を示すブロック図。 実施例３に係る対向車と交差車両が存在するシーンを例に複数の車両が周囲取得部を備えた際のセンシングの様子を表した図 センシング性能診断結果に基づく車両制御手法を示す図 走行シーンに基づくセンシング性能診断要否を行う処理フローを示す図
　以下、図面を参照して、本発明に係るセンシング性能評価診断システム（以下、「診断システム」と称する）の実施例について説明する。
　図１は、自車両１０に搭載した外界認識センサ（以下、「外界センサ１１」と称する）のセンシング性能を評価する、本発明の診断システムの全体構成の要部を示すブロック図である。ここに例示する診断システムは、自車両１０に搭載された診断対象の外界センサ１１、センシングデータ取得部１等に加え、外界センサ１１のセンシング性能の評価に用いる、基準外界センサ１１Ｓ、周囲情報取得部１２、保存部１３、１４、基準値算出部１５、評価部１６、通知部１７を備えている。
　本発明においては、基準外界センサ１１Ｓには、診断対象の外界センサ１１以外の自車両１０に搭載された外界センサ（カメラ、レーダ、Ｌｉｄａｒ、または、赤外線センサ）を用いても良く、また、自車両１０の外部に設置された外界センサを用いても良い。例えば、自車両１０に搭載されたドライブレコーダー等の撮像装置を利用しても良いし、他車両が搭載する外界センサ（カメラ、レーダ、Ｌｉｄａｒ、または、赤外線センサ）を利用しても良い。また、道路に設置されたＮシステムのカメラや、街中に設置された防犯カメラや、レーダ、Ｌｉｄａｒ、赤外線センサ等を利用しても良い。以下、各々の態様を詳細に説明する。
　図２は、性能評価の基準となる基準値データを取得する基準外界センサ１１Ｓとして、自車両１０に搭載されたドライブレコーダー等の撮像装置２０を利用した、実施例１の診断システムの全体構成の一例を示すブロック図である。
　ここに示すように、本実施例の診断システムは、自車両１０と撮像装置２０を接続することで構成したシステムである。なお、両者間の接続には、ＣＡＮ（Controller Area Network）、Ethernet（登録商標）、インターネット、無線等の回線を利用することができる。
　撮像装置２０は、図１における、基準外界センサ１１Ｓ、周囲情報取得部１２、保存部１３、１４、基準値算出部１５、評価部１６、通知部１７の各々に相当するものとして、撮像部１１Ｘ、周囲情報取得部１２Ｘ、保存部１３Ｘ、１４Ｘ、基準値算出部１５Ｘ、評価部１６Ｘ、通知部１７Ｘを備えている。以下、本実施例の各要素の構成、作用等の詳細を順次説明する。
　自車両１０は、診断対象の外界センサ１１と、センシングデータ取得部１と、車両情報取得部２と、車両制御部３と、を備えている。
　外界センサ１１は、自車両１０の周囲環境を認識するセンサであり、例えば、カメラセンサ、レーダセンサ、Ｌｉｄａｒ、赤外線センサ等である。自車両１０に搭載される外界センサ１１の数は、単数（例えばカメラセンサのみ）であっても良いし、複数（例えばカメラセンサとレーダセンサ）であっても良い。
　センシングデータ取得部１は、外界センサ１１の観測値に基づいて、自車両１０の周囲に存在する物体の位置情報（以下、「センシングデータ」と称する）を取得する。センシングデータには、停止している物体（以下、「静的物体」と称する）と、移動している物体（以下、「動的物体」と称する）の双方の位置情報が含まれる。位置情報は、自車両１０が搭載する外界センサ１１の座標系における、前後方向と横方向の各相対位置や相対速度、相対距離等に関する情報である。座標系については外界センサ１１の座標系に限らず、ある地点を基準とした地上固定座標系等、任意に設定すればよい。なお、外界センサ１１自体で物体の位置情報を算出する場合は、センシングデータ取得部１は、外界センサ１１の算出結果を取得する。
　車両情報取得部２は、センシングデータ取得部１で取得したセンシングデータに関連する付属情報（以下、「車両情報データ」と称する）を取得する。この車両情報データは、例えば、自車両１０の走行状態に関する情報（自車速情報、操舵角情報等）や、センシングデータの取得に利用した外界センサ１１の型番に関する情報である。
　車両制御部３は、ＡＤＡＳや自動運転等を実行する制御部であり、後述する通知部１７から通知されるセンシング性能の診断結果を踏まえて自車両１０の挙動を制御する。
　なお、センシングデータ取得部１、車両情報取得部２、車両制御部３は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた単数または複数の計算機である。そして、補助記憶装置に記録されたデータベースを参照しながら、主記憶装置にロードされたプログラムを演算装置が実行することで、各機能を実現するが、以下では、このような計算機分野での周知技術を適宜省略しながら説明する。
　撮像装置２０は、上述したように、撮像部１１Ｘ、周囲情報取得部１２Ｘ、保存部１３Ｘ、１４Ｘ、基準値算出部１５Ｘ、評価部１６Ｘ、通知部１７Ｘを備えている。なお、撮像装置２０が備える、周囲情報取得部１２Ｘ、保存部１３Ｘ、１４Ｙ等も、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた計算機により実現されるものである。
　撮像部１１Ｘは、レンズ、オートフォーカス機構、ＣＣＤイメージセンサ等の撮像に必要な構成を備えた撮像センサであり、本実施例においては、診断対象の外界センサ１１を診断する際の基準となるセンサである。
　周囲情報取得部１２Ｘは、撮像部１１Ｘで撮像した映像に対し、オプティカルフローやディープラーニング等の画像解析を施すことで、自車両１０の周囲に存在する物体の相対位置情報、または、相対速度情報、相対距離情報（これらをまとめて「相対情報」と称する）を取得する。また、周囲情報取得部１２Ｘでは、周囲に存在する物体の相対位置情報等だけでなく、その情報取得時の条件情報（時間帯、天気、移動速度等の情報）や、撮像部１１Ｘの型番に関する属性情報も同時に取得する。以下では、周囲情報取得部１２Ｘで取得される、位置情報、条件情報、属性情報を併せて周囲情報データと称する。
　保存部１３Ｘは、センシングデータ取得部１で取得したセンシングデータと、車両情報取得部２で取得した車両情報データを保存する。ここに保存される各データには、データを取得した時刻を示すタイムスタンプが付与される。
　保存部１４Ｘは、周囲情報取得部１２Ｘで取得した周囲情報データを保存する。ここに保存される周囲情報データにも、タイムスタンプが付与される。
　保存部１３Ｘ、１４Ｘで付与されたタイムスタンプは、外界センサ１１から取得したセンシングデータ等と、撮像部１１Ｘから取得した周囲情報データを同期させるために用いられる。
　基準値算出部１５Ｘは、保存部１４Ｘに記録された周囲情報データ中の基準物体の認識履歴に基づいて、基準値データを算出する。図３は、基準値算出部１５Ｘでの処理手順を示すフローチャートである。
　まず、ステップＳ３１では、保存部１４Ｘに記録された周囲情報データを読み出す。
　次に、ステップＳ３２では、周囲情報データに含まれる条件情報や属性情報に基づいて、周囲情報をクラスタリングする。例えば、保存部１４Ｘに記録された周囲情報データ群から、特定の属性情報（例えば型番）に対応する周囲情報データ群を抽出する。
　最後に、ステップＳ３３では、クラス毎の周囲情報データの認識履歴（例えば、基準物体との前後方向の相対位置の履歴や、基準物体との相対速度の履歴）を基準値データとして算出する。このようにして、撮像部１１Ｘの出力に基づく基準値データを生成することができる。
　評価部１６Ｘは、保存部１３Ｘに記録されたセンシングデータと、基準値算出部１５Ｘで算出した基準値データを比較して、診断対象の外界センサ１１の評価診断処理を行う。図４は、評価部１６Ｘの処理手順を示すフローチャートである。
　まず、ステップＳ４１では、診断対象の外界センサ１１の出力に基づくセンシングデータと、撮像部１１Ｘの出力に基づく基準値データを同じ時系列で比較診断するために、両データを同期させる。データの同期方法としては、一般的なデータ同期方法を利用すれば良いが、例えば、センシングデータの値が逓減し０になったタイミングと、基準値データの値が逓減し０になったタイミングを同時刻に設定し、この時刻から診断に必要な時間分だけ先行する各データを抽出することで、両データを同期させることができる。
　次に、ステップＳ４２では、基準値データに基づいて閾値を設定する。図５Ａは、基準値データが、撮像部１１Ｘがセンシングした所定の基準物体（例えば、信号機）と自車両１０の前後方向の相対位置（以下、「検知距離」と称する）である場合の、閾値の設定例を表した図であり、横軸は時間、縦軸は検知距離である。
　例えば、自車両１０が道路上を一定速度で走行する場合、図３のステップＳ３３では、図５Ａの実線で例示する基準値データが算出される。すなわち、基準物体が撮像部１１Ｘのセンシング範囲に入った時刻ｔ１に最大の検知距離が取得された後、時間とともに検知距離が逓減し、自車両１０が基準物体を通過する時刻ｔ２に検知距離がゼロとなる基準値データが算出される。本ステップでは、実線の基準値データに対し、±SET_TH（％）の閾値（破線で示す、上閾値と下閾値）を設定する。なお、SET_THは予め任意に設定できる値であり、センサ誤差の許容範囲を考慮して適切な値を設定すればよい。
　次に、ステップＳ４３では、診断対象の外界センサ１１の出力に基づくセンシングデータと閾値を比較し、センシングデータが閾値の範囲外となる期間T_NGを算出する。図５Ｂは、本ステップで実行される比較処理の一例であり、一点鎖線で示すセンシングデータが破線で示す閾値の範囲に収まっていない区間T_NGを算出する。
　図５Ｂは、診断対象の外界センサ１１の劣化態様がセンシング範囲の劣化である場合を例示している。この例では、基準物体が撮像部１１Ｘのセンシング範囲に入った時刻ｔ１のタイミングでは、外界センサ１１は基準物体をセンシングすることができず、自車両１０が基準物体により接近した時刻ｔ２で初めて基準物体を検出することができるため、センシングデータが閾値の範囲外である時刻ｔ１から時刻ｔ３の期間がT_NGと判定される。一方、時刻ｔ３から時刻ｔ２の期間は、センシングデータが閾値の範囲内に収まるためT_NGとは判定されない。従って、閾値の範囲外になっている時刻ｔ１から時刻ｔ３の期間のセンシングデータが、性能劣化が疑われる候補データとなる。
　なお、図５Ｂでは、T_NGが連続する１区間となる場合を例示しているが、外界センサ１１の劣化態様がノイズの混入の増大等である場合には、上下に揺らぐセンシングデータが取得され、センシングデータが複数回にわたり閾値の範囲外となることもある。そのような場合には、センシングデータが診断時間内に閾値の範囲外となった時間の総和をT_NGの期間として扱ってもよい。
　次に、ステップＳ４４では、ステップＳ４３で算出したT_NGと、次の式１に基づいて、センシング性能劣化度合いＰ（％）を算出する。なお、式１において、Ｔは、撮像部１１Ｘの出力に基づく基準値データが存在する診断期間であり、図５Ａの例では、時刻ｔ１から時刻ｔ２までの期間に相当する。
Figure JPOXMLDOC01-appb-M000001
　ステップＳ４５では、センシング性能劣化度合いＰが次の式２を満たすかを判定する。なお、式２において、TH_judgeは、任意に設定可能な閾値（％）である。
Figure JPOXMLDOC01-appb-M000002
　Ｔに対するT_NGの割合が大きく、センシング性能劣化度合いＰがTH_judge以上となった場合は、センシング性能に劣化が有り、故障の予兆が検出されたと判断される（ステップＳ４６）。一方、期間Ｔに対する期間T_NGの割合が小さく、センシング性能劣化度合いＰがTH_judge未満となった場合は、センシング性能は正常として判断される（ステップＳ４７）。
　通知部１７Ｘは、評価部１６Ｘでの診断結果（センシング性能劣化有無、センシング性能劣化度合いＰ）を、ＣＡＮ等を介して、自車両１０の車両制御部３に通知する。
　以上で説明したように、本実施例のセンシング性能評価診断システムによれば、診断対象の外界認識センサ１１の出力と、基準となる外認識界センサ（撮像部１１Ｘ）の出力を比較することで、地図に予め登録された参照情報に頼ることなく、すなわち、自車両１０の走行エリアに拘わらず、診断対象の外界認識センサ１１の故障予兆を検出することができる。
　その結果、車両制御部３では、外界センサ１１の診断結果に応じて、ＡＤＡＳや自動運転の制御内容を変更することが可能となる。また、外界センサ１１の故障の予兆が検出されたときに、外界センサ１１の劣化が進む前に、その外界センサ１１の修理や交換などの必要なメンテナンスを実施することができる。
　上記の図５Ａと図５Ｂでは、信号機等の静的物体を基準物体として外界センサ１１を診断する例を説明したが、本実施例の診断システムは、走行中の他車両等の動的物体を基準物体として外界センサ１１を診断することもできる。以下では、走行中の他車両１０Ａを基準物体として外界センサ１１を診断する変形例を説明する。
　図６は、走行中の自車両１０の前に、他車両１０Ａが車線変更してきたシーンである。この場合、他車両１０Ａは、診断対象の外界センサ１１のセンシング範囲Ｓ１と、基準外界センサ１１Ｓとして利用される撮像部１１Ｘの視野範囲Ｓ２の双方で観測される。
　本変形例の基準値算出部１５Ｘでは、撮像部１１Ｘが撮像した映像に基づいて、自車両１０と他車両１０Ａの、相対位置、相対速度、相対距離等に関する基準値データを作成する。そして、評価部１６Ｘでは、外界センサ１１の出力に基づく他車両１０Ａのセンシングデータと、撮像部１１Ｘの出力に基づく基準値データを比較し、上記の式１、式２を利用することで、センシング性能劣化度合いＰとセンシング性能劣化有無を診断する。通知部１７Ｘは、診断結果を車両制御部３に通知する。
　これにより、基準物体として利用可能な適当な静的物体（信号機等）が存在しない、農道や林道を走行中であっても、走行中の他車両１０Ａを基準物体として選択することで、撮像部１１Ｘで検知できた他車両１０Ａが外界センサ１１で検知できない場合や、撮像部１１Ｘで検知した他車両１０Ａの位置が外界センサ１１で検知した位置と異なる場合等に、外界センサ１１のセンシング性能劣化の疑いがあるとして診断することができる。
　次に、図７から図９を用いて、基準値データを取得する基準外界センサ１１Ｓとして他車両１０Ａの外界センサ１１Ａを用いた、実施例２の診断システムについて説明する。なお、実施例１との共通点は重複説明を省略する。
　図７は、他車両１０Ａの出力から基準値データを算出する、実施例２の診断システムの全体構成を示すブロック図である。ここに示すように、本実施例の診断システムは、自車両１０、他車両１０Ａ、クラウドサーバー３０から構成されている。なお、後述する各通信部を介したデータの送受信には、一般的な無線公衆回線等を利用すれば良い。
　自車両１０は、実施例１と同様の外界センサ１１、センシングデータ取得部１、車両情報取得部２、車両制御部３に加え、クラウドサーバー３０との通信に用いる通信部４を備える。
　他車両１０Ａは、本実施例における基準外界センサ１１Ｓに相当する外界センサ１１Ａ、外界センサ１１Ａから周囲情報データを取得する周囲情報取得部１２Ａ、クラウドサーバー３０との通信に用いる通信部４Ａを備える。
　クラウドサーバー３０は、他車両１０Ａの外界センサ１１Ａの出力に基づいて自車両１０の外界センサ１１のセンシング性能を評価するため、通信部４Ｙと、保存部１３Ｙと、保存部１４Ｙと、基準値算出部１５Ｙと、評価部１６Ｙと、通知部１７Ｙと、を備えている。なお、クラウドサーバー３０の基準値算出部１５Ｙや、保存部１３Ｙ、１４Ｙ等も、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた計算機により実現されるものである。
　通信部４Ｙは、自車両１０の通信部４から送信される情報（センシングデータ、車両情報）と、他車両１０Ａの通信部４Ａから送信される情報（周囲情報データ）を受信する。
　保存部１３Ｙには、自車両１０からのセンシングデータと車両情報が保存され、保存部１４Ｙには、他車両１０Ａからの周囲情報データが保存される。
　基準値算出部１５Ｙは、保存部１４Ｙに保存された他車両１０Ａの周囲情報データの認識履歴から基準値データを生成する。評価部１６Ｙでは、基準値算出部１５Ｙで算出した基準値データを用いて、自車両１０の外界センサ１１の出力に基づくセンシングデータを評価する。通知部１７Ｙは、評価部１６Ｙでの評価診断結果を自車両１０へ通知する。なお、基準値算出部１５Ｙや評価部１６Ｙでの処理は、図３から図５Ｂを用いて説明した、実施例１の基準値算出部１５Ｘや評価部１６Ｘでの処理と基本的には同等である。
　次に、図８を用いて、本実施例の診断システムの具体的な利用状況を説明する。同図は、他車両１０Ａのセンシング結果を周囲情報データとして利用している状況を例示した図であり、走行中の自車両１０の外界センサ１１が対向車線を走行する他車両１０Ａをセンシングし、他車両１０Ａの外界センサ１１Ａが自車両１０をセンシングしているシーンである。
　このように、診断対象の外界センサ１１を搭載した自車両１０と、基準外界センサ１１Ｓ（外界センサ１１Ａ）を搭載した他車両１０Ａの双方が移動するケースでは、各外界センサの座標系がお互いに移動するため、基準値データには固定座標系上のものを用いるのではなく、検知距離で生成することが望ましい。これは、例えば、固定座標系の位置（Ｘ方向，Ｙ方向）に基づいて基準値データを算出しようとする場合、両車両の自己位置が高精度で得られる必要があり、高精度な自己位置算出が行われない限り、センシング性能以外の誤差（自己位置の誤差）もセンシング結果に含まれてしまうという問題があるためである。
　図８では、実線で示す外界センサ１１のセンシング範囲Ｓに他車両１０Ａが入っており、また、破線で示す外界センサ１１Ａのセンシング範囲ＳＡに自車両１０が入っている。このため、お互いに相手車両をセンシングすることができ、例えば、自車両１０と他車両１０Ａが同じ型番の外界センサ（例えば、同じ型番のカメラ）を搭載していた場合、原則として、お互いのセンシング結果も同等となる。
　しかしながら、一方の外界センサが劣化していれば、お互いのセンシング結果が相違する場合もある。例えば、自車両１０の外界センサ１１が他車両１０Ａとの距離を８０ｍと検知し、他車両１０Ａの外界センサ１１Ａが自車両１０との距離を１００ｍと検知した場合は、両検知結果を比較することで、何れかの外界センサの観測値が誤っており、何れかに性能劣化の疑いがあると評価診断することができる。このとき、自車両１０が過去にすれ違った他車両１０Ａの出力に基づく比較結果をクラウドサーバー３０に保存しておけば、検知距離の相違が今回に限り発生しているのか、連続して発生しているかに応じて、劣化が自車両１０側にあるのか他車両１０Ａ側にあるのかを推定することができ、その推定結果から自車両１０の外界センサ１１の性能劣化具合や異常の有無を診断することができる。
　図９は、図８に示した自車両１０と他車両１０Ａがお互いに検知し始めてからすれ違うまでの検知距離の変化を表した図である。図９によると、他車両１０Ａの外界センサ１１Ａの出力に基づく実線で示す基準値データが単調に逓減しているのと比較して、自車両１０の外界センサ１１の出力に基づく一点鎖線の検知距離が逓減傾向を示しつつも不安定であることが分かる。このように、各外界センサの出力に基づく検知距離の認識履歴に相違がみられた場合、その挙動によっても各外界センサの信頼性を評価診断することが可能である。
　なお、図９における基準値データとセンシングデータの比較による診断には、様々な方法を用いることができ、例えば、両者の微分値や積分値を比較することで、各々の外界センサの信頼性を診断することとしても良い。
　次に、基準値データを取得する基準外界センサ１１Ｓとして、複数の他車両の外界センサを用いた、実施例３の診断システムについて説明する。なお、上記の実施例との共通点は重複説明を省略する。
　実施例２の診断システムでは、基準外界センサとして、一台の他車両１０Ａの外界センサ１１Ａを利用したが、この診断システムでは、自車両１０の外界センサ１１と、他車両１０Ａの外界センサ１１Ａの何れに異常があるか判断できない場合もある。そこで、本実施例の診断システムでは、複数の他車両の外界センサを利用することで、多数決の原理により、何れの車両の外界センサに異常があるかを判断できるようにした。
　図１０は、複数の他車両１０Ａ等のセンシングデータから基準値データを取得する、実施例３の診断システムの全体構成を示すブロック図である。ここに示すように、本実施例の診断システムは、自車両１０、複数の他車両１０Ａ、１０Ｂ、１０Ｃ、および、クラウドサーバー３０から構成されている。
　なお、図示していないが、他車両１０Ｂは、外界センサ１１Ｂ、周囲情報取得部１２Ｂ、通信部４Ｂを備えており、他車両１０Ｃは、外界センサ１１Ｃ、周囲情報取得部１２Ｃ、通信部４Ｃを備えているものとする。
　本実施例のクラウドサーバー３０の通信部４Ｙは、自車両１０から送信される情報（センシングデータと車両情報）と、他車両１０Ａ、１０Ｂ、１０Ｃから送信される複数の周囲情報データを受信する。
　図１１は、複数の他車両の周囲情報データを利用する具体例を示した図であり、自車両１０の外界センサ１１が、実線で示すセンシング範囲Ｓ内にいる、対向車線を走行するする他車両１０Ｂと、交差車線を走行する他車両１０Ｃをセンシングし、他車両１０Ｂの外界センサ１１Ｂが点線で示すセンシング範囲ＳＢ内にいる自車両１０と他車両１０Ｃをセンシングし、他車両１０Ｃの外界センサ１１Ｃが破線で示すセンシング範囲ＳＣ内にいる自車両１０と他車両１０Ｂをセンシングしているシーンである。
　このとき、自車両１０からは外界センサ１１の出力に基づくセンシングデータと車両情報がクラウドサーバー３０へ送信されており、また、他車両１０Ｂからは外界センサ１１Ｂの出力に基づく周囲情報データがクラウドサーバー３０へ送信されており、さらに、他車両１０Ｃからは外界センサ１１Ｃの出力に基づく周囲情報データがクラウドサーバー３０へ送信されている。
　本実施例のクラウドサーバー３０の基準値算出部１５Ｙでは、複数の他車両から送信された周囲情報データの認識履歴に基づいて、複数の基準値データを算出する。
　このため、実施例３では、実施例２に比べ、センシング性能劣化診断の精度をさらに上げることが可能である。例えば、図１１の状況を前提に説明すると、クラウドサーバー３０には、（ａ）自車両１０がセンシングした他車両１０Ｂの検知距離、（ｂ）自車両１０がセンシングした他車両１０Ｃの検知距離、（ｃ）他車両１０Ｂがセンシングした自車両１０の検知距離、（ｄ）他車両１０Ｂがセンシングした他車両１０Ｃの検知距離、（ｅ）他車両１０Ｃがセンシングした自車両１０の検知距離、（ｆ）他車両１０Ｃがセンシングした他車両１０Ｂの検知距離、の６種類の検知距離が入力されることとなる。
　仮に、自車両１０の検知距離が対になるものと不一致であり（（ａ）≠（ｃ）、（ｂ）≠（ｅ））、かつ、他車両１０Ｂと他車両１０Ｃの相互の検知距離が一致している場合であれば（（ｄ）＝（ｆ））、多数決の原理により、自車両１０の外界センサ１１の性能劣化を即時に判定することも可能となる。ただし、必ずしも即時に性能劣化を判定する必要は無く、一旦クラウドサーバー３０にて過去データの履歴を加えて評価診断することで更に性能劣化診断の精度を高めることもできる。
　次に、図１２を用いて、実施例４の診断システムを説明する。なお、上記の実施例との共通点は重複説明を省略する。
　実施例１から実施例３では、撮像装置２０の通知部１７Ｘや、クラウドサーバー３０の通知部１７Ｙが、診断結果を自車両１０の車両制御部３に通知するまでの処理を説明した。そこで、実施例４では、自車両１０へ通知される自車両のセンシング性能劣化の有無とその度合いによって、自車両をどう制御されるべきかについて述べる。
　図１２は、自車両１０の外界センサ１１のセンシング性能劣化が”有”と診断された場合における、その時のセンシング性能劣化度合いに基づき、自車両を安全状態にするための車両制御方法についてまとめた表である。
　性能劣化度合いが”低”の場合は、センシング性能の多少の劣化は認められるが走行に支障はきたさないレベルとして判断する。このとき、乗員がいる場合には乗員に対して車両のメンテナンスを促すよう警告する。無人自動運転の場合には、ディーラー等メンテナンスが可能な場所へ自動的に移動を開始するよう制御する。
　性能劣化度合いが“中”の場合は、当面は走行できるがセンシングシステムが故障する危険が高いと判断する。このとき、ドライバーがいる場合には自動運転による不審な挙動発生を防ぐため安全を考慮し、ドライバーに警告するとともに自動運転を中止する。無人自動運転の場合には、車両はディーラーもしくは近くのメンテナンスが可能な場所へ目的地を変更する。
　性能劣化度合いが“高”の場合は、センシングシステムはまもなく故障する極めて危険な状態にあると判断する。この場合は、自動運転中止或いは、安全地帯に緊急停止する制御を行う。
　このように、本実施例の診断システムによれば、自車両１０の外界センサ１１の性能劣化度合いに応じて、適切なメンテナンス等を実行することができる。
　次に、図１３を用いて、実施例５の診断システムを説明する。なお、上記の実施例との共通点は重複説明を省略する。
　上記の実施例では、基準値算出処理と評価処理が常時実施されているものとして説明した。しかしながら、実施例１のように、それらの処理がローカル（撮像装置２０内）で実行される場合には、適用されるハードウェアスペックによってはセンシング性能劣化診断の演算処理等に過大な負荷がかかり、周囲情報取得や基準値算出の処理が滞る可能性も考えられる。また、診断用のターゲットとして適当な基準物体（信号機や他車両など）が見当たらないときには、周囲情報取得部１２を動作させる必要はないため、そのリソースを、基準値算出処理や、評価処理に利用することができる。そこで、本実施例では、自車両１０が置かれる状況に応じて、センシング性能劣化診断の実行要否を判断できるようにした。
　図１３は自車両の走行シーンに基づく診断要否の処理フローを示す図である。
　まず、ステップＳ１３１では、評価部１６は、車両情報データに基づいて、評価診断に適した走行シーン（条件）であるかを判断する。評価診断に適した条件とは、診断システムを構成するハードウェアのリソースに余裕がある条件であり、例えば、直線道路の走行中や、自車走行速度が安定しているタイミングや、周辺に基準物体が存在しておらず周囲情報取得部１２が停止しているタイミング等であり、具体的には、以下の条件が成立しているタイミングである。
（１）自車両１０の速度が安定している（大きな加減速がない）、
（２）自車両１０の操舵角が一定である（直線道路を走行中）、
（３）周囲情報データが得られていない、
　上記条件は本実施例に関する一例であり、車両情報やセンシングデータ、或いは、周囲情報データに含まれる物体の相対情報等に基づいて条件を設定することが可能である。
　次に、ステップＳ１３２では、評価部１６は、ステップＳ１３１で判断される結果に応じて、診断処理に相当するステップＳ１３３を実施するか否かを決定する。
　ここで、ステップＳ１３３で実行される診断処理は、上記した各実施例で説明した診断処理である。さらには、データ通信センタ等が本実施例に係る走行シーンに基づく診断要否処理機能を持たせることで、各走行車両に対して本発明に関するセンシング性能評価診断の実施要否を通知することも可能である。
　以上、本発明の実施例について図面を用いて記述してきたが、具体的な構成は上記した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
　例えば、上記した実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置きかえることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。具体的には、本実施例では周囲取得部を備える物体について車両を用いて説明してきたが、インフラとして設置されるＬｉｄａｒやカメラ映像等に備わってもよい。
１：センシングデータ取得部、２：車両情報取得部、３：車両制御部、４、４Ａ、４Ｙ：通信部、１０：自車両、１０Ａ、１０Ｂ、１０Ｃ：他車両、２０：撮像装置、３０：クラウドサーバー、１１、１１Ａ、１１Ｂ、１１Ｃ：外界センサ、１１Ｘ：撮像部、１２、１２Ｘ、１２Ａ：周囲情報取得部、１３、１３Ｘ、１３Ｙ、１４、１４Ｘ、１４Ｙ：保存部、１５、１５Ｘ、１５Ｙ：基準値算出部、１６、１６Ｘ、１６Ｙ：評価部、１７、１７Ｘ、１７Ｙ：通知部

Claims (10)

  1. 　自車両に搭載した診断対象の外界センサの観測値から自車両の周囲のセンシングデータを取得するセンシングデータ取得部と、
    　基準外界センサの観測値から自車両の周囲の周囲情報データを取得する周囲情報取得部と、
    　前記周囲情報データに含まれる基準物体との相対情報の認識履歴に基づいて基準値データを生成する基準値算出部と、
    　前記基準物体に関する前記センシングデータを前記基準値データに対して設定した閾値と比較することで、前記診断対象の外界センサの性能劣化の有無、または、性能劣化の度合いを評価する評価部と、
    　を備えることを特徴とするセンシング性能評価診断システム。
  2. 　請求項１に記載のセンシング性能評価診断システムにおいて、
    　前記基準外界センサは、
    　自車両が備える、前記診断対象の外界センサ以外の外界センサ、
    　他車両が備える外界センサ、または、
    　道路に設置された外界センサ、の何れかであることを特徴とするセンシング性能評価診断システム。
  3. 　請求項１に記載のセンシング性能評価診断システムにおいて、
    　前記周囲情報取得部は、前記周囲情報データとして、前記基準物体の相対位置、相対速度、または、相対距離の何れかの相対情報と、該相対情報の取得時の条件情報と、前記基準外界センサの型番に関する属性情報を取得し、
    　前記基準値算出部は、特定の属性情報に関連付けされた、前記相対情報に基づいて、前記基準値データを算出することを特徴とするセンシング性能評価診断システム。
  4. 　請求項３に記載のセンシング性能評価診断システムにおいて、
    　さらに、前記診断対象の外界センサの型番に関する車両情報データを取得する車両情報取得部を備え、
    　前記評価部は、前記診断対象の外界センサの型番に対応する前記基準値データと、前記センシングデータを比較することで、前記診断対象の外界センサのセンシング性能を評価することを特徴とするセンシング性能評価診断システム。
  5. 　請求項１に記載のセンシング性能評価診断システムにおいて、
    　さらに、自車両を制御する車両制御部に前記評価部の診断結果を通知する通知部を備え、
    　前記車両制御部は、前記通知部から通知された前記診断結果に応じて制御内容を切り替えることを特徴とするセンシング性能評価診断システム。
  6. 　請求項１に記載のセンシング性能評価診断システムにおいて、
    　自車両に搭載した前記診断対象の外界センサは、自車両の周囲を走行する他車両を前記基準物体として観測し、
    　前記他車両に搭載した前記基準外界センサは、自車両を前記基準物体として観測し、
    　前記周囲情報取得部は、前記他車両に搭載されており、
    　前記基準値算出部および前記評価部は、自車両および前記他車両と通信するクラウドサーバーに設けられていることを特徴とするセンシング性能評価診断システム。
  7. 　請求項６に記載のセンシング性能評価診断システムにおいて、
    　前記センシングデータには、前記診断対象の外界センサで認識した前記他車両の相対位置情報と時間情報を含み、
    　前記基準値データには、前記基準外界センサで認識した自車両の相対位置情報と時間情報を含み、
    　前記評価部は、前記センシングデータと前記基準値データを同期して時系列変化を比較することで、前記診断対象の外界センサを評価することを特徴とするセンシング性能評価診断システム。
  8. 　請求項１に記載のセンシング性能評価診断システムにおいて、
    　前記評価部は、自車両の自車速または操舵角に関する車両情報データ、前記センシングデータ、または、前記周囲情報データに基づいて、評価診断に適した条件かを判断し、評価診断に適した条件であるときに評価診断を実行し、評価診断に適した条件でないときに評価診断を実行しないことを特徴とするセンシング性能評価診断システム。
  9. 　請求項８に記載のセンシング性能評価診断システムにおいて、
    　前記評価診断に適した条件とは、自車両の速度が安定しているタイミング、自車両の操舵角が一定であるタイミング、または、前記周囲情報取得部が前記周囲情報データを取得していないタイミング、の何れかであることを特徴とするセンシング性能評価診断システム。
  10. 　自車両に搭載した診断対象の外界センサを診断するセンシング性能評価診断方法であって、
    　前記診断対象の外界センサの観測値からセンシングデータを取得するステップと、
    　基準外界センサの観測値から周囲情報データを取得するステップと、
    　前記周囲情報データに含まれる基準物体との相対情報の認識履歴に基づいて基準値データを生成するステップと、
    　前記センシングデータを前記基準値データに対して設定した閾値と比較することで、前記診断対象の外界センサの性能劣化の有無、または、性能劣化の度合いを評価するステップと、
    　を備えることを特徴とするセンシング性能評価診断方法。
PCT/JP2020/026522 2019-07-10 2020-07-07 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法 WO2021006262A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020002888.7T DE112020002888T5 (de) 2019-07-10 2020-07-07 Abtastleistungsbewertungs- und -diagnosesystem undabtastleistungsbewertungs- und -diagnoseverfahren für sensor zur erkennung der äusseren umgebung
JP2021530695A JP7307170B2 (ja) 2019-07-10 2020-07-07 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
US17/622,985 US20220264081A1 (en) 2019-07-10 2020-07-07 Sensing performance evaluation and diagnosis system and sensing performance evaluation and diagnosis method for external-environment recognition sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-128492 2019-07-10
JP2019128492 2019-07-10

Publications (1)

Publication Number Publication Date
WO2021006262A1 true WO2021006262A1 (ja) 2021-01-14

Family

ID=74114809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026522 WO2021006262A1 (ja) 2019-07-10 2020-07-07 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法

Country Status (4)

Country Link
US (1) US20220264081A1 (ja)
JP (1) JP7307170B2 (ja)
DE (1) DE112020002888T5 (ja)
WO (1) WO2021006262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106235A1 (ja) * 2021-12-06 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および車両制御システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7134159B2 (ja) * 2019-12-17 2022-09-09 本田技研工業株式会社 車両データ分類方法及び車両データ分類装置
US11685378B2 (en) * 2020-10-08 2023-06-27 GM Global Technology Operations LLC Extrinsic characterization of detection capability to support automated lane change
CN114882461B (zh) * 2022-05-25 2023-09-29 阿波罗智能技术(北京)有限公司 设备环境识别方法、装置、电子设备和自动驾驶车辆
CN116311981A (zh) * 2023-03-16 2023-06-23 同济大学 一种面向城市道路信号控制交叉口的交通问题诊断方法
CN117073728B (zh) * 2023-10-17 2024-01-23 天津易泰炬业科技有限公司 一种柔性电容式触觉传感器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038640A (ja) * 2002-07-04 2004-02-05 Nissan Motor Co Ltd 車両用外界認識装置
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
WO2015068249A1 (ja) * 2013-11-08 2015-05-14 株式会社日立製作所 自律走行車両、及び自律走行システム
WO2019116537A1 (ja) * 2017-12-15 2019-06-20 富士通株式会社 情報取得方法、情報取得装置、車載装置、路上センサ装置、及び情報取得システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3330946A4 (en) * 2015-07-31 2019-07-03 Hitachi Automotive Systems, Ltd. VEHICLE PERIPHERY INFORMATION MANAGEMENT DEVICE
JP6694067B2 (ja) * 2016-08-08 2020-05-13 日立オートモティブシステムズ株式会社 物体検知装置及びそれを備えた車両制御システム
US10974735B2 (en) * 2017-06-26 2021-04-13 Hitachi Automotive Systems, Ltd. Parking assistance device
JP6988674B2 (ja) * 2018-05-07 2022-01-05 トヨタ自動車株式会社 診断装置、診断システム、及び診断方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038640A (ja) * 2002-07-04 2004-02-05 Nissan Motor Co Ltd 車両用外界認識装置
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
WO2015068249A1 (ja) * 2013-11-08 2015-05-14 株式会社日立製作所 自律走行車両、及び自律走行システム
WO2019116537A1 (ja) * 2017-12-15 2019-06-20 富士通株式会社 情報取得方法、情報取得装置、車載装置、路上センサ装置、及び情報取得システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106235A1 (ja) * 2021-12-06 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および車両制御システム

Also Published As

Publication number Publication date
DE112020002888T5 (de) 2022-03-31
JPWO2021006262A1 (ja) 2021-01-14
US20220264081A1 (en) 2022-08-18
JP7307170B2 (ja) 2023-07-11

Similar Documents

Publication Publication Date Title
WO2021006262A1 (ja) 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
US11853074B2 (en) Control device and control system
CN112046500B (zh) 自动驾驶装置和方法
US10019004B2 (en) Device, method, and program for detecting object
KR20200014931A (ko) 차량용 정보 기억 방법, 차량의 주행 제어 방법, 및 차량용 정보 기억 장치
CN105976450A (zh) 无人驾驶车辆的数据处理方法和装置、黑匣子***
US11657621B2 (en) Method for generating control settings for a motor vehicle
US20220212680A1 (en) Remote safe driving methods and systems
CN109703456B (zh) 一种防止汽车碰撞的警示方法、装置及汽车控制器
CN110893862B (zh) 用于确保自主行驶***的故障安全功能的装置和方法
EP3915851B1 (en) System and method for estimating take-over time
CN105554493B (zh) 图像处理装置
JP2017151694A (ja) 安全確認診断システム及び安全確認診断方法
JP7380616B2 (ja) 自動運転制御装置、自動運転制御方法、及び自動運転制御プログラム
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
US20200342758A1 (en) Drive assistance device, drive assistance method, and recording medium in which drive assistance program is stored
KR102368427B1 (ko) 인공지능 알고리즘을 이용한 자율주행 동적운행 위험도 분석 및 평가 방법과, 이를 이용한 자율주행 평가시스템
US10810448B2 (en) Image-capturing device
JPH11142168A (ja) 環境認識装置
JP2022543591A (ja) 周囲のエリア内で車両を位置特定するための方法およびデバイス
US20240103548A1 (en) Image-Based Method for Simplifying a Vehicle-External Takeover of Control of a Motor Vehicle, Assistance Device, and Motor Vehicle
KR101311112B1 (ko) 차량 사고 판단 장치 및 그 방법
WO2022102202A1 (ja) 遠隔モニタリングシステム、遠隔モニタリング用プログラム、遠隔モニタリング方法、車両側機器、及び、データ処理サーバ
KR20140114502A (ko) 차선 예측 장치 및 그 차선 예측 방법
US20220237920A1 (en) Outside environment recognition device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20837007

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021530695

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20837007

Country of ref document: EP

Kind code of ref document: A1