WO2021065559A1 - 情報処理システム、および情報処理方法、並びに情報処理装置 - Google Patents
情報処理システム、および情報処理方法、並びに情報処理装置 Download PDFInfo
- Publication number
- WO2021065559A1 WO2021065559A1 PCT/JP2020/035399 JP2020035399W WO2021065559A1 WO 2021065559 A1 WO2021065559 A1 WO 2021065559A1 JP 2020035399 W JP2020035399 W JP 2020035399W WO 2021065559 A1 WO2021065559 A1 WO 2021065559A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- recognition result
- vehicle
- recognition
- deterioration
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to an information processing system, an information processing method, and an information processing device, and in particular, an information processing system, an information processing method, and an information processing device capable of diagnosing deterioration of a sensor required for automatic operation. Regarding.
- the sensing results of a plurality of sensors are integrated, and the sensing results of the sensors without deterioration are preferentially used, so that the recognition accuracy is improved. A large decrease does not occur, and it becomes difficult for the user to judge the deterioration.
- This disclosure has been made in view of such a situation, and in particular, makes it possible to diagnose the deterioration of the sensor.
- the information processing system and the information processing device of one aspect of the present disclosure are acquired by a recognition result acquisition unit that acquires a recognition result of a predetermined recognition object based on the sensing results of a plurality of sensors mounted on the vehicle.
- the recognition result is compared with another recognition result different from the acquired recognition result, and the comparison unit outputs as the comparison result, and the individual performance of the sensor is based on the comparison result by the comparison unit.
- It is a system provided with a deterioration evaluation unit for evaluating deterioration, and an information processing device.
- the information processing method of one aspect of the present disclosure acquires the recognition result of a predetermined recognition object based on the sensing results of a plurality of sensors mounted on the vehicle, and the acquired recognition result and the acquired acquisition result.
- This is an information processing method including a step of comparing with another recognition result different from the recognition result, outputting as a comparison result, and evaluating the individual performance deterioration of the sensor based on the comparison result.
- the recognition result of a predetermined recognition object is acquired based on the sensing results of a plurality of sensors mounted on the vehicle, the acquired recognition result, and the acquired recognition result. Is compared with other different recognition results and output as a comparison result, and the individual performance deterioration of the sensor is evaluated based on the comparison result.
- a test site TR for diagnosing deterioration of a plurality of sensors as shown in FIG. 1 is provided, and test processing is performed by various sensors of the vehicle V in the test site TR. , Test results are accumulated, and deterioration is diagnosed by comparison with the accumulated test results.
- test site TR is provided at the entrance of various areas where safety is required so that the possibility of contact with a person is high.
- the test site TR is provided at the entrance of a residential area. Be done.
- the vehicle V which is automatically driven, enters the test site TR provided immediately before entering the area where high safety is required, and undergoes a sensor deterioration diagnosis test, for example, to the extent that sufficient safety cannot be ensured.
- a sensor deterioration diagnosis test for example, to the extent that sufficient safety cannot be ensured.
- the test site TR is configured as an indoor space in order to realize test processing in a state that is not affected by the environment such as light and wind. Further, in the test site TR, a stop position P for stopping the vehicle V, which is the vehicle to be tested, is set, and the recognition target object H is provided at a position at a predetermined distance D from the stop position P.
- a humanoid doll is set as the recognition object H.
- Vehicle V is equipped with a camera C as a sensor, for example, and is a sensor to be tested.
- the test is started, and when the recognition object C is imaged by the camera C, the object recognition process is performed based on the captured image, and as a result R Is output.
- the recognition target object H is detected at the position indicated by the frame in the image captured by the camera C as the object recognition result, and the object name as the recognition result is a person. It shows that the reliability is 95%.
- the reliability referred to here is, for example, the reliability of the object recognition result in which both the position where the recognition object H is detected and the object name are combined.
- the positional relationship between the stop position P of the test site TR and the recognition object H provided at a predetermined position separated by a distance D has a common configuration, and the vehicle V is the result R of various test sites TR. Accumulate information.
- the vehicle V accumulates the reliability information included in the result R as, for example, time-series information as shown in FIG.
- the horizontal axis is the elapsed time t
- the vertical axis is the reliability.
- the vehicle V If the accumulation result of this time series falls below the predetermined threshold value th, the vehicle V is considered to be dangerous to continue the automatic driving from the recognition result by the object recognition process because the influence of the deterioration is large, and the vehicle V fails. As a result, the automatic operation of the vehicle V is stopped.
- the deterioration diagnosis system 31 of the present disclosure includes a test site 51 and a vehicle 91 to be a test vehicle.
- the test site 51 is provided at the entrance of various areas where safety is required with a high possibility of contact with people, for example, at the entrance of a residential area. Further, since it is sufficient that the deterioration diagnosis test can be taken, the test site 51 may be provided at or near a place where the vehicle 91 can be stopped, and may be provided at, for example, a gas station or a parking lot.
- the vehicle 91 is provided with, for example, a camera 91a, LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), 91b, and a millimeter-wave radar 91c as sensors for realizing automatic driving.
- a camera 91a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing)
- LiDAR Light Detection and Ringing
- Laser Imaging Detection and Ringing Laser Imaging Detection and Ringing
- millimeter-wave radar 91c millimeter-wave radar
- the vehicle 91 executes object recognition processing by integrating the sensing results of the cameras 91a, LiDAR91b, and millimeter-wave radar 91c, or by using them properly according to the conditions, and executes automatic driving based on the recognition results. To do.
- the vehicle 91 When the vehicle 91 enters an area where high safety is required, it enters the test site TR provided near the entrance, executes a sensor deterioration diagnosis test, and stops automatic operation when the deterioration is large.
- the test site 51 is configured as an indoor space in order to realize test processing in a state where it is not affected by the environment such as light and wind, and a stop position P for stopping the vehicle 91 to be tested is set. Further, the recognition target object 61 is provided at a position at a predetermined distance D from the stop position P.
- a humanoid doll is set as the recognition target object 61.
- the test related to the deterioration diagnosis is started, and when the recognition target object 61 is sensed by the cameras 91a, LiDAR91b, and the millimeter wave radar 91c, the respective sensing results are obtained. Based on this, each object recognition process is executed.
- the vehicle 91 individually stores and accumulates the recognition results obtained by the object recognition process for each of the sensors, and evaluates the deterioration based on the accumulated recognition result information.
- Deterioration is evaluated based on the recognition result of each sensor, its position, object name, and reliability.
- the position is evaluated based on the amount of deviation of the recognition result position from the correct position.
- the object name is evaluated based on whether or not the object name that is the recognition result is the same as at least one of the object name that is the correct answer and the object name that is similar to the permissible correct answer.
- the reliability is calculated based on the position and the object name, and is evaluated by comparison with a predetermined threshold value that is within the permissible range.
- the vehicle 91 can be automatically driven by any of the sensors according to the evaluation of deterioration, but if the risk of accidents associated with the automatic driving is high, the insurance premium is re-adjusted according to the risk. If the calculation is made and the user or owner of the vehicle 91 can confirm it, the automatic driving will be continued.
- the vehicle 91 stops the automatic driving when the automatic driving is impossible, and arranges, for example, a substitute vehicle as necessary.
- FIG. 4 is a block diagram showing a configuration example of a schematic function of the vehicle control system 100 of the vehicle 91, which is an example of a vehicle moving body control system to which the present technology can be applied.
- a vehicle provided with a vehicle control system 100 is distinguished from other vehicles, it is referred to as a own vehicle or a own vehicle.
- the vehicle 91 in FIG. 4 corresponds to the vehicle C in FIG.
- the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body. It includes a system system 110, a storage unit 111, and an automatic operation control unit 112.
- the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. They are interconnected.
- the communication network 121 is, for example, from an in-vehicle communication network or bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- the description of the communication network 121 shall be omitted.
- the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
- the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
- the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
- the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 100.
- the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
- the data acquisition unit 102 includes various sensors and the like that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
- the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
- the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor, the rotation speed of the wheels, or the like.
- IMU inertial measurement unit
- the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
- the data acquisition unit 102 includes an imaging device such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the data acquisition unit 102 includes an environment sensor for detecting the weather or the weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
- the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
- the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), a sonar, and the like.
- the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle.
- the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
- GNSS Global Navigation Satellite System
- the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
- the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
- the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
- the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the vehicle control system 100, and uses the received data as the vehicle control system. It is supplied to each part of 100.
- the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 may support a plurality of types of communication protocols.
- the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL () via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
- the communication unit 103 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
- a device for example, an application server or a control server
- an external network for example, the Internet, a cloud network, or a network unique to a business operator
- P2P Peer To Peer
- a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
- the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
- the in-vehicle device 104 includes, for example, a mobile device or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like.
- the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
- the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies it to the output unit 106 to supply the output unit 105.
- the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
- the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
- Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision,
- the output unit 106 is provided with a device capable of outputting visual information or auditory information to the passengers of the own vehicle or the outside of the vehicle.
- the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a spectacle-type display worn by a passenger, a projector, a lamp, and the like.
- the display device included in the output unit 106 displays visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to the device having a normal display. It may be a display device.
- the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary, and notifies the control state of the drive system system 108.
- the drive system system 108 includes various devices related to the drive system of the own vehicle.
- the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates braking force, ABS (Antilock Brake System), ESC (Electronic Stability Control), an electric power steering device, and the like.
- the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system 110 as necessary, and notifies the control state of the body system 110 and the like.
- the body system 110 includes various body devices equipped on the vehicle body.
- the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, head lamps, back lamps, brake lamps, winkers, fog lamps, etc.). Etc. are provided.
- the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
- the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
- the storage unit 111 has map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
- map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
- the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up running based on the inter-vehicle distance, vehicle speed maintenance running, collision warning of the own vehicle, lane deviation warning of the own vehicle, and the like. Coordinated control is performed for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including. Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
- the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
- the detection unit 131 detects various types of information necessary for controlling automatic operation.
- the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
- the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100. For example, the vehicle outside information detection unit 141 performs detection processing, recognition processing, tracking processing, and distance detection processing for an object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
- the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
- the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
- the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
- the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
- the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
- the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
- the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or signals from each part of the vehicle control system 100.
- the states of the own vehicle to be detected include, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position / tilt, door lock state, and other in-vehicle devices. The state etc. are included.
- the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
- the vehicle condition detection unit 143 includes a recognition unit 181 and a deterioration diagnosis unit 182.
- the recognition unit 181 executes object recognition processing based on data or signals from various sensors in the data acquisition unit 102 of the vehicle control system 100, and outputs the recognition result to the deterioration diagnosis unit 182.
- the deterioration diagnosis unit 182 diagnoses the deterioration of the sensor based on the recognition result and the reliability of the recognition unit 181 and evaluates the deterioration.
- the recognition unit 181 executes the object recognition process based on the data or signals from various sensors in the data acquisition unit 102 of the vehicle control system 100 acquired by performing the test in the test site 51.
- the recognition result is output to the deterioration diagnosis unit 182.
- the deterioration diagnosis unit 182 accumulates the recognition results supplied from the recognition unit 181 in chronological order, and evaluates the deterioration of each sensor by comparing the accumulated results with the current recognition results.
- the deterioration diagnosis unit 182 stops the automatic operation according to the evaluation of deterioration in the deterioration diagnosis.
- the deterioration diagnosis unit 182 can automatically drive according to the evaluation of deterioration in the deterioration diagnosis, but when the risk of an accident or the like increases, the new insurance premium of the automobile is recalculated according to the risk. Then, the user or owner of the vehicle 91 is requested to approve the renewal of the insurance contract with a new premium so that the automatic driving can be resumed when the approval is given.
- the self-position estimation unit 132 estimates the position and attitude of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situational awareness unit 153 of the situation analysis unit 133. Perform processing. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
- the map for self-position estimation is, for example, a highly accurate map using a technique such as SLAM (Simultaneous Localization and Mapping).
- the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
- the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
- the situational analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situational awareness unit 153, and a situational awareness unit 154.
- the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary, and the map analysis unit 151 of various maps stored in the storage unit 111. Perform analysis processing and build a map containing information necessary for automatic driving processing.
- the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
- the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
- the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
- the situation recognition unit 153 can be used for data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Based on this, the situation recognition process related to the own vehicle is performed. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
- the situational awareness map is, for example, an Occupancy Grid Map.
- the status of the own vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and contents of an abnormality.
- the surrounding conditions of the vehicle to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (for example, speed, acceleration, moving direction, etc.), and the surrounding roads.
- the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
- the state of the driver to be recognized includes, for example, physical condition, alertness, concentration, fatigue, eye movement, and driving operation.
- the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
- the situation prediction unit 154 performs a situation prediction process related to the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
- the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
- the situation around the own vehicle to be predicted includes, for example, the behavior of the animal body around the own vehicle, the change in the signal state, the change in the environment such as the weather, and the like.
- the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
- the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, provides the data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
- the route planning unit 161 plans a route to the destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions such as traffic congestion, accidents, traffic restrictions, construction work, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
- the action planning unit 162 safely sets the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to drive. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the motion planning unit 163 and the like.
- the motion planning unit 163 is the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan. For example, the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like. The motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
- the motion control unit 135 controls the motion of the own vehicle.
- the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
- the emergency situation avoidance unit 171 is based on the detection results of the outside information detection unit 141, the inside information detection unit 142, and the vehicle condition detection unit 143, and is based on the detection results of collision, contact, entry into a danger zone, driver abnormality, and vehicle Performs emergency detection processing such as abnormalities.
- the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, the emergency situation avoidance unit 171 plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
- the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
- the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
- the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
- the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
- the recognition unit 181 performs object recognition processing based on the data and signals supplied from various sensors of the data acquisition unit 102, and outputs the recognition result for each sensor to the recognition result acquisition unit 221.
- the recognition unit 181 includes a camera recognition unit 241, a LiDAR recognition unit 242, a millimeter wave radar recognition unit 243, other sensor recognition units 244, and a position information acquisition unit 245.
- the camera recognition unit 241 performs object recognition processing based on an image captured by a camera including an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device) among the sensors of the data acquisition unit 102. Then, the recognition result consisting of the position of the object and the object name is output to the recognition result acquisition unit 221.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- the LiDAR recognition unit 242 performs object recognition processing based on the point cloud which is the sensing result sensed by LiDAR among the sensors of the data acquisition unit 102, and acquires the recognition result consisting of the position and the object name of the object. Output to unit 221.
- the millimeter-wave radar recognition unit 243 performs object recognition processing based on the sensing result sensed by the millimeter-wave radar among the sensors of the data acquisition unit 102, and acquires the recognition result consisting of the position and the object name of the object. Output to unit 221.
- the other sensor recognition unit 244 performs object recognition processing based on the sensing results of sensors other than the above-mentioned camera, LiDAR, and millimeter-wave radar, and recognizes the recognition result consisting of the position and object name of the object 221. Output to.
- sensors other than the above-mentioned camera, LiDAR, and millimeter-wave radar performs object recognition processing based on the sensing results of sensors other than the above-mentioned camera, LiDAR, and millimeter-wave radar, and recognizes the recognition result consisting of the position and object name of the object 221. Output to.
- Other sensors refer to the description of the data acquisition unit 102 described with reference to FIG.
- the position information acquisition unit 245 acquires the position information on the earth acquired from the GPS of the data acquisition unit 102, and supplies it to the recognition result acquisition unit 221 together with the time information at the acquired timing.
- the deterioration diagnosis unit 182 includes a recognition result acquisition unit 221, a reliability calculation unit 222, a comparison unit 223, a deterioration judgment unit 224, an insurance premium determination unit 225, and a UI display control unit 226.
- the recognition result acquisition unit 221 includes recognition results of various sensors supplied from the camera recognition unit 241 of the recognition unit 181, the LiDAR recognition unit 242, the millimeter wave radar recognition unit 243, and other sensor recognition units 244, and a position information acquisition unit.
- the position information and the time information supplied from the 245 are acquired, associated with each other, stored in the storage unit 111, and supplied to the reliability calculation unit 222.
- the reliability calculation unit 222 includes various sensors supplied from the camera recognition unit 241 of the recognition unit 181 supplied from the recognition result acquisition unit 221, the LiDAR recognition unit 242, the millimeter wave radar recognition unit 243, and other sensor recognition units 244. Based on the recognition result of, the reliability of each of the recognition results is calculated, associated with each, stored in the storage unit 111, and output to the comparison unit 223.
- the comparison unit 223 compares the reliability of the current recognition result supplied by the reliability calculation unit 222 with the past accumulated reliability stored in the storage unit 111.
- the comparison unit 223 compares the position that is the recognition result, the position that is the correct answer for the object name, and the object name (the object name that is similar to the correct answer).
- the comparison unit 223 compares the position that is the recognition result, the position that is the correct answer for the object name, and the object name (object name similar to the correct answer), and the current reliability calculation unit 222.
- the reliability of the recognition result and the comparison result of the past accumulated reliability stored in the storage unit 111 are also supplied to the deterioration determination unit 224.
- the deterioration determination unit 224 evaluates the deterioration of each sensor based on the comparison result of the position in the recognition result, the object name, and the reliability.
- the deterioration determination unit 224 determines the deterioration of each sensor based on the comparison result of whether or not the position information is deviated from the correct position by a predetermined value or more, which is an allowable range. evaluate.
- the deterioration determination unit 224 determines whether the object name is the correct object name or is similar to the correct object name for each sensor based on the comparison result. Evaluate deterioration.
- the deterioration determination unit 224 compares the reliability of the current recognition result supplied by the comparison unit 223 from the reliability calculation unit 222 with the past accumulated reliability stored in the storage unit 111. Evaluate deterioration based on the results.
- the deterioration judgment unit 224 evaluates the deterioration of each sensor from the comparison result of the reliability, the position information which is the recognition result, and the comparison result of the object name, and the insurance premium determination unit 225 and the UI display as the deterioration evaluation. It is output to the control unit 226 and the situation recognition unit 153.
- the insurance premium determination unit 225 shows deterioration based on the deterioration evaluation obtained from the deterioration judgment unit 224, but when automatic operation is possible, the insurance premium is corresponding to the risk according to the degree of deterioration. It is recalculated and output to the UI display control unit 226.
- the UI display control unit 226 approves the user or owner of the vehicle 91 to update the insurance premium according to the risk due to deterioration based on the information based on the recalculated insurance premium supplied from the insurance premium determination unit 225. Ask them to present the image requesting the insurance and ask whether or not to approve the change in insurance premiums.
- the insurance premium determination unit 225 controls the communication unit 103 to access the server managed and operated by the insurance company, and renews the contract with the new insurance premium.
- the deterioration determination unit 224 is notified to that effect.
- the deterioration judgment unit 224 considers that automatic operation is possible and notifies the UI display control unit 226 and the situational awareness unit 153.
- the insurance premium determination unit 225 When the insurance premium determination unit 225 receives a notification from the user or owner of the vehicle 91 that the change cannot be accepted for the recalculated insurance premium, the UI display control unit 226 and the situation tell that the automatic driving is stopped. Notify the recognition unit 153.
- the UI display control unit 226 displays various information on the display or the like in the output unit 106 based on the deterioration evaluation, and notifies the user or the owner whether or not the automatic operation can be continued.
- the UI display control unit 226 when the UI display control unit 226 receives a request for renewal of insurance premiums as described above, the UI display control unit 226 causes the user or owner of the vehicle 91 to present an image requesting renewal of insurance premiums, and receives a response. , Return to the insurance premium determination department 225.
- the situation recognition unit 153 receives a notification as to whether or not automatic driving is possible based on the deterioration evaluation of the deterioration judgment unit 224 and the renewal of the insurance premium, and recognizes the continuation or cancellation of the automatic driving of the vehicle 91 in response to the notification.
- the automatic driving of the vehicle 91 is executed or stopped.
- Part 1 ⁇ Example of recognition result by object recognition processing by image> (Part 1) Next, an example of the recognition result by the object recognition process based on the image will be described with reference to FIGS. 6 and 7.
- the camera recognition unit 241 is such that, for example, when an image as shown in FIG. 6 is supplied from the camera of the data acquisition unit 102 (for example, the camera 91a in FIG. 3), it is shown in frames F1 to F4 of FIG. Output the recognition result. Further, the reliability calculation unit 222 calculates the reliability based on the position where the object which is the recognition result is detected and the object name.
- the camera recognition unit 241 outputs the recognition result as shown by the frame F1 to the human H1 on the right side.
- the camera recognition unit 241 outputs a recognition result as shown by the frame F2 to the vehicle V1 in the center.
- the camera recognition unit 241 outputs the recognition results as shown by the frames F3 and F4 to the human H2 riding the bicycle B1 on the right side, respectively.
- the camera recognition unit 241 outputs a recognition result consisting of the position of the object in the image and the object name by the object recognition process. Then, the reliability calculation unit 222 calculates the reliability based on the position of the object and the object name, which are the recognition results.
- the camera recognition unit 241 outputs, for example, a recognition result as shown in frames F11 to F16 of FIG. 7 when an image as shown in FIG. 7 is supplied from the camera of the data acquisition unit 102. Further, the reliability calculation unit 222 calculates the reliability based on the recognition result.
- the camera recognition unit 241 outputs the recognition result as shown by the frames F1 to F14 and F16 for each of the vehicles V11 to V15.
- the camera recognition unit 241 outputs a recognition result as shown by the frame F14 to the vehicle V14 in the center.
- the camera recognition unit 241 outputs the position of the object in the image and the object name as the recognition result by the object recognition process. Then, the reliability calculation unit 222 calculates the reliability based on the recognition result.
- the camera recognition unit 241 requires reliability in addition to the position of the object as a recognition result by the object recognition process and the object name.
- the comparison unit 223 compares the reliability of the past object recognition results stored in the storage unit 111 with the reliability calculated by the reliability calculation unit 222 for each type of sensor, and compares the results. Is output to the deterioration determination unit 224.
- the deterioration determination unit 224 evaluates (determines) the deterioration of the sensor based on the comparison result of the comparison unit 223.
- the comparison unit 223 also determines whether or not the current reliability calculated well by the reliability calculation unit 222 is an outlier in comparison with the reliability of the past object recognition results. Good.
- the outlier means that, for each reliability, when the average value of each local density with the reliability of a predetermined number of k in the vicinity is obtained, the difference from the average value of the local density is larger than the predetermined value. Reliability.
- the reliability Pa to Pd when the reliability Pa to Pd is shown in FIG. 8, the reciprocal of the average value of the distances from the data group of k points in the vicinity of each is defined as the local densities Da to Dd. .. It is assumed that the reliability Pa is the calculated reliability, and the reliabilitys Pb to Pd are the reliabilitys accumulated in the past.
- the data of the k points in the vicinity of the reliability Pb is the average distance to the group.
- the average distance to the group is the distance rb
- the average distance to the k-point data group in the vicinity of the reliability Pc is the distance rc
- the average distance to the k-point data group in the vicinity of the reliability Pd is the average distance. Is the distance rd.
- the distances ra to rd are ra> rb, ra> rc, and ra> rd.
- the local density Da ( ⁇ 1 / ra) of the reliability Pa is a sufficiently small value as compared with the local densities Db to Dd of the reliability Pb to Pd.
- the reliability Pa is regarded as an outlier with respect to the reliability Pb to Pd.
- the deterioration determination unit 224 determines (evaluates) that deterioration has occurred when the reliability Pa, which is the current calculation result, is regarded as an outlier, based on the comparison result of the comparison unit 223. You may do it.
- the reliability Pa which is the current measured value
- the reliability Pa which is the current measured value
- the deterioration determination unit 224 sets the cumulative number of times to be a predetermined number, for example, when outliers are continuously generated a predetermined number of times or even if the outliers are discontinuous. When it exceeds, it may be considered that deterioration has occurred.
- the deterioration determination unit 224 has a high risk corresponding to the number of outliers. However, it may be considered that the automatic operation is possible, and when the second predetermined number of times is exceeded, it may be considered that the automatic operation is impossible.
- the acquired current reliability is a predicted value predicted from the reliability that is the past object recognition result. In the comparison with, whether or not the difference is larger than the predetermined value may be used as the comparison result.
- the comparison unit 223 obtains a predicted value based on past reliability information, for example, defines and obtains the square of the difference from the current reliability as an abnormality degree, and outputs the comparison result to the deterioration judgment unit 224.
- the deterioration determination unit 224 may determine (evaluate) that deterioration has occurred, for example, when the degree of abnormality is higher than the predetermined threshold value. ..
- the reliability of the recognition result in the object recognition process varies, and the degree of abnormality increases with a certain probability even if the sensor does not deteriorate.
- the deterioration determination unit 224 determines (evaluates) that deterioration has occurred by comparing the degree of abnormality with a predetermined threshold value, for example, when a state higher than the predetermined threshold value continues for a predetermined time. You may do so.
- the deterioration determination unit 224 increases the risk corresponding to the degree of abnormality, but automatic operation is possible.
- the second threshold value is exceeded, it may be considered that automatic operation is impossible.
- the recognition object 61 is centered on a predetermined axis in the vertical direction fixed at the same position although the position does not change.
- the reliability theoretically changes periodically, so it deteriorates based on whether or not the periodic change is continued. You may try to judge.
- the reliability as shown in FIG. 10 is detected in time series.
- the vertical axis is the reliability and the horizontal axis is the time.
- the comparison unit 223 obtains the average time-series reliability waveform Wr based on the similarity of the waveform changes from the time-series changes in the past reliability of the time series, and sequentially and periodically detects the waveform Wr. Compare with the time series reliability waveform.
- the waveforms W2 and W4 are almost the same as the waveform W1 with the reliability of the average time series, but the waveforms W3 are different.
- the comparison unit 223 uses the area difference between the average waveform W1 of the past time series reliability and the waveforms W2 to W4 as the comparison result to determine the deterioration determination unit 224. It may be output to.
- the waveforms W2 and W4 have almost the same waveform as the waveform W1, so that the area difference becomes almost zero.
- the comparison unit 223 outputs the reference waveform W1 and the magnitude of the area difference to the deterioration determination unit 224 as a comparison result.
- the deterioration determination unit 224 determines the presence or absence of an abnormal part, which is a partial time series in which an abnormality occurs, in which the reliability of the time series deteriorates by comparing the magnitude of the area difference for each waveform of the reliability of the time series with a predetermined threshold value. May be judged (evaluated).
- the deterioration determination unit 224 compares the magnitude of the area difference with a predetermined threshold value, and for example, when the area difference is larger than the predetermined threshold value, an abnormal portion is generated and deterioration occurs. It may be judged (evaluated) that it exists.
- the deterioration determination unit 224 increases the risk corresponding to the size of the area difference, but the automatic operation is performed. It may be considered that it is possible, and when it is larger than the second threshold value, it may be considered that the automatic operation is impossible.
- the processing when the camera recognition unit 241 realizes the object recognition processing based on the captured image which is the sensing result of the camera in the data acquisition unit 102 will be described. Since the same sensor is the same in that the object recognition process is performed based on the sensing result, the description thereof will be omitted. In addition, a plurality of sensors are also processed in parallel, and deterioration diagnosis processing is performed in the same manner.
- step S11 the deterioration determination unit 224 of the deterioration diagnosis unit 182 passes through the test site 51 provided near the entrance, for example, when entering a residential area with automatic operation. It is determined whether or not the start of the deterioration diagnosis is instructed based on whether or not the passage is passed.
- step S11 if the passage of the test site 51 is not detected and the start of the deterioration diagnosis is not instructed, the same process is repeated.
- step S11 if the start of deterioration diagnosis is instructed with the passage of the test site 51 provided in the entrance prefecture of the residential area, the process proceeds to step S12.
- step S12 the deterioration determination unit 224 notifies the situational awareness unit 153 that the deterioration diagnosis has been instructed.
- the situational awareness unit 153 instructs the planning unit 134 to move the vehicle 91 to a predetermined stop position P in the test site 51, and the planning unit 134 makes a corresponding movement plan and operates.
- the control unit 135 By controlling the control unit 135, the vehicle 91 is moved so that it can be stopped at the stop position P.
- step S13 the deterioration determination unit 224 determines whether or not the vehicle 91 has stopped at a predetermined stop position P, and if the vehicle has not stopped, the process returns to step S12.
- steps S12 and S13 are repeated until the vehicle 91 stops at the predetermined stop position P, and the movement is continued so that the vehicle can stop at the stop position P.
- step S13 when the vehicle 91 stops at the predetermined stop position P, the process proceeds to step S14.
- step S14 the camera (for example, the camera 91a) of the data acquisition unit 102 captures the recognition object 61 installed at a predetermined distance in a predetermined direction when the vehicle 91 is stopped at the predetermined position P.
- the image including the image is captured, and the captured image is output to the camera recognition unit 241.
- the position information acquisition unit 245 acquires the position information and the time information of the own vehicle from the GPS of the data acquisition unit 102 and supplies them to the recognition result acquisition unit 221.
- the recognition target object 61 is installed in a predetermined direction and at a predetermined distance, that is, the vehicle 91 and the recognition target object 61 are in a predetermined state. The positional relationship is maintained.
- step S15 the camera recognition unit 241 executes the object recognition process based on the image captured by the camera 91a, and recognizes the position of the recognized object with respect to the vehicle 91 and the information of the recognized object name as the recognition result. Output to acquisition unit 221.
- step S16 the recognition result acquisition unit 221 outputs the recognition result to the reliability calculation unit 222, causes the reliability of the recognition result to be calculated, and stores it.
- step S17 the recognition result acquisition unit 221 determines whether or not the recognition target object 61 has been recognized a predetermined number of times.
- step S17 If it is determined in step S17 that the recognition target object 61 has not been recognized a predetermined number of times, the process returns to step S14.
- steps S14 to S17 are repeated until the recognition target object 61 performs the object recognition process on the image captured by the camera 91a or the like a predetermined number of times.
- step S17 when it is determined that the recognition object 61 has performed the object recognition process on the image captured by the camera 91a or the like a predetermined number of times, the process proceeds to step S18.
- step S18 the recognition result acquisition unit 221 averages the recognition result consisting of the position of the recognition target object 61, the recognition result consisting of the object name, and the information for a predetermined number of times of reliability, and supplies the information from the position information acquisition unit 245. It is stored in the storage unit 111 in association with the vehicle position information and the time information.
- the averaging of information for a predetermined number of times of reliability may be, for example, an average value of reliability calculated repeatedly for a predetermined number of times, or a value significantly deviated from the reliability calculated repeatedly for a predetermined number of times. It may be an average value excluding.
- the outliers for example, when the overall average of the reliability is 80%, for example, about 60% or less of the average value, that is, the reliability of 48% or less is set as the outlier. You may.
- step S19 the comparison unit 223 compares the object name based on the current recognition result stored in the storage unit 111 with the correct object name, and supplies the comparison result to the deterioration determination unit 224. .. Based on the comparison result, the deterioration determination unit 224 determines whether or not the object name of the object recognition result is the correct answer or the object name is similar to the correct object name.
- step S19 If it is determined in step S19 that the object name of the object recognition result is the correct answer or the object name is similar to the correct object name, the process proceeds to step S20.
- step S20 the comparison unit 223 compares the position as the recognition result based on the current recognition result stored in the storage unit 111 with the position of the correct answer, and supplies the comparison result to the deterioration determination unit 224. Based on the comparison result, the deterioration determination unit 224 determines whether or not the position as the recognition result is within the allowable range with respect to the position of the correct answer.
- whether or not the position as the recognition result is within the allowable range with respect to the position of the correct answer is determined by the distance between the position as the recognition result and the position of the correct answer being within a predetermined distance and a predetermined accuracy. Whether or not it can be recognized by.
- step S20 If it is determined in step S20 that the position as the recognition result is within the permissible range with respect to the position of the correct answer, the process proceeds to step S21.
- step S21 the comparison unit 223 compares the calculated current reliability with the accumulated reliability stored in the storage unit 111, and outputs the comparison result to the deterioration determination unit 224. Based on the comparison result, the deterioration determination unit 224 determines whether or not the deterioration determined by the current reliability is lower than the threshold value at which the insurance premium needs to be changed.
- the judgment here may be made by, for example, at least one of the outlier detection, the change point detection, and the abnormal part detection described with reference to FIG. 8, or a combination or the like.
- step S21 If it is determined in step S21 that the deterioration determined from the current reliability is not lower than the threshold value at which the insurance premium needs to be changed, the process proceeds to step S22.
- step S22 the deterioration determination unit 224 considers that there is no influence due to deterioration, considers that the vehicle can be driven by automatic driving, and notifies the situational awareness unit 153 to that effect.
- the automatic driving by the vehicle 91 is continued to this.
- step S21 if it is determined that the deterioration judged from the current reliability is lower than the threshold value at which the insurance premium needs to be changed, the process proceeds to step S23.
- step S23 the deterioration determination unit 224 determines, based on the comparison result, whether or not the deterioration determined from the current reliability is lower than the threshold value deemed to be inoperable.
- step S23 if it is determined based on the comparison result that the deterioration judged from the current reliability is not lower than the threshold value considered to be inoperable, the process proceeds to step S24.
- step S24 the deterioration determination unit 224 causes the insurance premium determination unit 225 to calculate the insurance premium according to the current degree of deterioration.
- step S25 the deterioration determination unit 224 determines that the insurance premium according to the deterioration calculated by the insurance premium determination unit 225 is higher than the predetermined amount for which the user or the owner needs to approve the renewal. Determine if it is an insurance premium.
- step S25 when the premium according to the deterioration calculated by the premium determination unit 225 is a premium higher than the predetermined amount that requires the user or the owner to approve the renewal.
- the process proceeds to step S26.
- step S26 the deterioration determination unit 224 controls the UI display control unit 226 based on the insurance premium information according to the deterioration calculated by the insurance premium determination unit 225, and the user or owner of the vehicle 91. Display an image requesting approval for insurance premium renewal.
- the UI display control unit 226 displays on the display device 251 in the output unit 106 in the vehicle and requests the user for approval as shown in FIG. 14, the insurance premium is shown in the image P51. You may want to display an image requesting approval for the update.
- the UI display control unit 226 displays the image P51 on the projected image 261 on the front window by the projection device in the output unit 106 in the vehicle and requests the user for approval. It may be.
- the projected image may be projected and displayed on, for example, a head mound display.
- the UI display control unit 226 controls the communication unit 103 to display the image P51 on the display unit 281 of the terminal device 271 possessed by the user as shown in FIG. 16, and approves the user. You may request it.
- the UI display control unit 226 controls the communication unit 103 with respect to the owner of the vehicle 91 who is not on the vehicle 91, for example, a personal computer 291 owned by the owner, as shown in FIG. May be notified by e-mail or the like so that the display unit 292 displays an image requesting approval for renewal of insurance premiums, as shown in image P71.
- image P71 it is written that "The image sensor of the autonomous driving vehicle ID XX has deteriorated. The insurance premium will be YYY because it affects safe driving. Are you sure?"
- the button B71 marked “Yes” and the button B72 marked “No” operated when approval is not approved are displayed.
- the UI display control unit 226 controls the communication unit 103 with respect to the owner of the vehicle 91 who is not on the vehicle 91, for example, in the terminal device 331 owned by the owner, as shown in FIG.
- An image requesting approval for renewal of insurance premiums as shown in image P71 may be displayed on the display unit 341 or the like by e-mail or the like.
- step S27 the deterioration determination unit 224 determines whether or not the insurance premium renewal has been approved in response to the display of the image requesting the approval of the insurance premium renewal described with reference to FIGS. 14 to 18. ..
- step S28 If it is deemed that the insurance premium renewal has been approved by operating the button B51 in FIGS. 14 to 16 or the button B71 in FIGS. 17 and 18 in step S27, the process proceeds to step S28.
- step S28 the deterioration determination unit 224 controls the communication unit 103 to access the server of the insurance company (not shown), renews the contract with the approved insurance premium, and the process proceeds to step S222.
- the insurance premium is recalculated, and the user or the owner needs to approve the renewal of the insurance premium. It is a higher premium, and when approval is requested, the insurance contract is renewed with the approved premium to continue autonomous driving.
- step S19 when it is determined that the object name of the object recognition result is neither the correct answer nor the object name similar to the correct object name, the deterioration determined in step S23 is the threshold value considered to be inoperable. If it is determined that the value is lower than that of the above, it is considered that the renewal of the insurance premium is not approved by operating the button B52 in FIGS. 14 to 16 or the button B72 in FIGS. 17 and 18 in step S27. If so, the process proceeds to step S29 in any case.
- step S29 the deterioration determination unit 224 determines that the vehicle cannot run due to automatic driving due to the influence of deterioration, and notifies the situational awareness unit 153 to that effect. As a result, the automatic driving by the vehicle 91 is stopped.
- step S30 the deterioration determination unit 224 controls the communication unit 103 to request a substitute vehicle for the vehicle 91 capable of automatic driving, if necessary.
- step S25 the premium according to the deterioration calculated by the premium determination unit 225 is not a premium higher than the predetermined amount that requires the user or the owner to approve the renewal. In this case, the processing of steps S26 and S27 is skipped.
- the recalculation corresponds to the risk according to the level of deterioration while acknowledging the occurrence of deterioration.
- the insurance contract is automatically renewed and automatic driving is continued without requesting approval from the user or the owner.
- the object name in the object recognition result is correct, the position recognition result is within the specified range, and the deterioration of reliability requires a change in insurance premiums, and automatic operation is not impossible, the deterioration is met.
- the insurance contract is automatically renewed with the recalculated premium and automatic driving is continued, and when it is higher than the prescribed amount, it is recalculated. Request approval for contract renewal with the calculated premium, and if approved upon request, the contract will be renewed with the recalculated premium and autonomous driving will continue.
- the object name in the object recognition result is not correct, the position recognition result is not within the specified range, or the reliability is deteriorated to the extent that the insurance premium needs to be changed, the insurance premium is renewed. If not approved, and if the deterioration is such that automatic operation is impossible, automatic operation is stopped.
- the amount should be adjusted according to the degree of deterioration of the sensors and the number of sensors considered to be deteriorated. It may be calculated in.
- the recognition result acquisition unit 221 stores the recognition result consisting of the position and the object name and the reliability in the storage unit 111, and the comparison unit 223 calculates the reliability accumulated in the past.
- the comparison result is output to the deterioration determination unit 224 by comparing with the reliability, and the deterioration determination unit 224 determines the deterioration based on the comparison result.
- the storage unit 111 and the insurance premium determination unit 225 are provided in the cloud server to communicate with each other via the communication unit 103, and the recognition result and the reliability are stored in association with each other and the insurance premium is calculated. May be decided.
- FIG. 19 shows a configuration example of the deterioration diagnosis unit 182 in which the storage unit 111 and the insurance premium determination unit 225 are provided on the cloud server.
- the configurations in the deterioration diagnosis unit 182 of FIG. 19 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
- the deterioration diagnosis unit 182 of FIG. 19 differs from the deterioration diagnosis unit 182 of FIG. 5 in that the insurance premium determination unit 225 is omitted, and the cloud server 301 that can communicate with the communication unit 103 via a network or the like stores the image.
- a storage unit 311 and an insurance premium determination unit 312 that function in the same manner as the unit 111 are provided.
- the insurance premium determination unit 312 can calculate the insurance premium and smoothly execute the contract renewal with the calculated new insurance premium by, for example, providing it to the cloud server 301 managed by the insurance company. You may do so.
- the reliability calculation unit 222, the comparison unit 223, and the deterioration determination unit 224 may also be provided on the cloud server 301.
- the deterioration diagnosis process by the deterioration diagnosis unit 182 in FIG. 19 is basically the same as the process in the deterioration diagnosis unit 182 in FIG. 5, so the description thereof will be omitted.
- Second Embodiment An example in which the automatically driven vehicle 91 independently executes the deterioration diagnosis process at the test site 51 has been described, but a plurality of vehicles 91 upload the recognition result and the reliability to the cloud server, and other vehicles 91 are uploaded. Deterioration diagnosis may be performed based on the recognition result of the vehicle 91 and the result of the reliability.
- deterioration diagnosis may be performed in consideration of the sensor model, operating time, and the like.
- FIG. 20 shows a configuration example of a deterioration diagnosis unit 182 in which a plurality of vehicles 91 upload recognition results and reliability to a cloud server and perform deterioration diagnosis based on the recognition results and reliability of other vehicles 91. Is shown.
- each configuration of the deterioration diagnosis unit 182 of FIG. 20 is basically the same as the configuration of FIG. 5, but the recognition result acquisition unit 221 stores the recognition result and the reliability in the storage unit 111 and stores them.
- the recognition result and the reliability stored in the unit 111 are transmitted to the storage unit 361 of the cloud server 351 and stored by controlling the communication unit 103.
- the cloud server 351 sequentially stores the recognition results and the reliability supplied from the plurality of vehicles 91-1 to 91-n in the storage unit 361.
- the comparison unit 223 in FIG. 20 controls the communication unit 103 to match the sensor of the vehicle 91 of the own vehicle among the past recognition results and reliability of the other vehicle 91 stored in the cloud server 351. Sensors of the same or similar type are compared based on recognition results and reliability information having similar operating times, and the comparison results are output to the deterioration determination unit 224.
- the comparison unit 223 is a sensor of the same or similar type as the sensor of the own vehicle among the sensors of the other vehicle, and has, for example, the average value of the recognition result and the reliability of the sensors having similar operating times.
- the recognition result and the reliability of the vehicle are compared, and the comparison result is output to the deterioration determination unit 224.
- Deterioration diagnosis using such comparison results enables comparison according to the unique characteristics according to the sensor model, and enables more accurate deterioration diagnosis.
- the recognition result acquisition unit 221 stores the recognition result and the reliability in order to select the recognition result and the reliability of the sensor having the same or similar type as the sensor of the own vehicle and having a similar operating time.
- Information for identifying the vehicle 91 which is the own vehicle (vehicle ID), position information (measurement location or measurement location ID, etc.) and time information (date and time) of the vehicle 91, sensor model (sensor name) when stored in the unit 361. ) And the information of the operating time (use start date, use time, etc.) are stored in association with each other.
- step S48 the recognition result acquisition unit 221 provides the recognition result consisting of the position of the recognition target object 61 and the object name, and the reliability information as the position information of the own vehicle and the reliability information supplied from the position information acquisition unit 245.
- the process proceeds to step S49.
- step S49 the recognition result acquisition unit 221 transmits the recognition result consisting of the position of the recognition target object 61 and the object name, and the reliability information to the cloud server 351. At this time, the recognition result acquisition unit 221 averages the reliability information and transmits it to the cloud server 351.
- the recognition result acquisition unit 221 uses the recognition result and the reliability information as information for identifying the vehicle 91, which is the own vehicle (vehicle ID), and position information (measurement location, measurement location,) supplied from the position information acquisition unit 245. Alternatively, it is transmitted to the cloud server 351 in association with the measurement location ID, etc.), time information (date and time), sensor model (sensor name), and sensor operating time (use start date, use time, etc.) information. To do.
- step S91 the cloud server (control unit (not shown) 351 determines whether or not the recognition result and the reliability information have been transmitted from the vehicle 91.
- step S91 If the recognition result and the reliability information are transmitted in step S91, the process proceeds to step S92.
- step S92 the cloud server 351 receives the transmitted recognition result and reliability information.
- step S93 the cloud server 351 stores the received recognition result and reliability information in the storage unit 361.
- the cloud server 351 uses the received recognition result and reliability information as information for identifying the vehicle 91 (vehicle ID), position information of the vehicle 91 (measurement location, measurement location ID, etc.), and time information (time information (measurement location, measurement location ID, etc.)). Date and time), sensor model (sensor name), and sensor operating time (use start date, use time, etc.) are stored in association with information.
- the recognition result and the reliability information supplied from the vehicles 91-1 to 91-n are the information for identifying the vehicle 91 (vehicle ID) and the position information of the vehicle 91 (measurement location,). Alternatively, it is stored in the storage unit 361 in association with information on measurement location ID, etc.), time information (date and time), sensor model (sensor name), and sensor operating time (use start date, use time, etc.). ..
- step S91 If the recognition result and the reliability information are not transmitted in step S91, the processes of steps S92 and S93 are skipped.
- step S50 When the recognition result and the information obtained by averaging the reliability are stored in the storage unit 111 and the storage unit 361 of the cloud server 351 by the processing of steps S44 to S49, the processing proceeds to step S50.
- step S50 the comparison unit 223 controls the communication unit 103 to request the cloud server 351 on the network for the accumulated sensor recognition result and reliability.
- the comparison unit 223 uses information for identifying its own vehicle 91 (vehicle ID), position information of the vehicle 91 (measurement location or measurement location ID, etc.), time information (date and time), sensor model (sensor name). , And the sensor operating time (use start date, use time, etc.) information is also transmitted, and the recognition result and reliability stored in the storage unit 361 on the cloud server 351 are the same as those of the own vehicle. , Or a sensor of a similar type with similar operating times, and requires recognition results and reliability.
- step S94 the cloud server (control unit (not shown) 351 determines whether or not the accumulated recognition result and reliability are requested from any vehicle 91.
- step S94 If the accumulated recognition result and reliability are requested in step S94, the process proceeds to step S95.
- the cloud server 351 is a sensor of the same or similar type as the sensor of the requested vehicle 91 among the recognition results and reliability stored in the storage unit 361, and the operating time is similar.
- the accumulated recognition result and reliability of the sensor are searched and extracted, and transmitted to the requested vehicle 91.
- step S95 If the accumulated recognition result and reliability are not required in step S94, the process of step S95 is skipped.
- step S96 the cloud server 351 determines whether or not the end of the process is instructed, and if the end is not instructed, the process returns to step S91, and the subsequent processes are repeated.
- step S96 the process ends.
- step S51 the comparison unit 223 controls the communication unit 103 to operate the sensor of the same or similar type as the sensor of the own vehicle transmitted from the cloud server 351. Receives accumulated recognition results and reliability of time-similar sensors.
- step S52 the comparison unit 223 compares the object name based on the current recognition result stored in the storage unit 111 with the correct object name, and supplies the comparison result to the deterioration determination unit 224. .. Based on the comparison result, the deterioration determination unit 224 determines whether or not the object name of the object recognition result is the correct answer or the object name is similar to the correct object name. As the object name similar to the correct object name, the object name of the recognition result of the same or similar sensor acquired in the process of step S51 and having similar operating times may be used.
- step S52 If it is determined in step S52 that the object name of the object recognition result is the correct answer or the object name is similar to the correct object name, the process proceeds to step S53.
- step S53 the comparison unit 223 compares the position based on the current recognition result with the position of the correct answer, and supplies the comparison result to the deterioration determination unit 224. Based on the comparison result, the deterioration determination unit 224 determines whether or not the position of the recognition result is within the allowable range with respect to the position of the correct answer.
- whether or not the position recognition result is within the permissible range with respect to the correct position is the recognition result of the same or similar sensors acquired in the process of step S51 and having similar operating times.
- the distance from the correct position based on the position for example, the average value, may be recognized with sufficient accuracy by comparison with the sensors of other vehicles.
- step S53 If it is determined in step S53 that the position of the recognition result is within the permissible range with respect to the position of the correct answer, the process proceeds to step S54.
- step S54 the comparison unit 223 sets the current reliability based on the sensing result of the sensor of the own vehicle and the threshold value (for example, the average value) obtained from the reliability of the other vehicle acquired in the process of step S51. Is compared, and the comparison result is output to the deterioration determination unit 224. Based on the comparison result, the deterioration determination unit 224 determines whether or not the deterioration determined by the current reliability is lower than the threshold value at which the insurance premium needs to be changed.
- the threshold value for example, the average value
- step S54 If it is determined in step S54 that the deterioration determined from the current calculated reliability is not lower than the threshold value at which the insurance premium needs to be changed, the process proceeds to step S55.
- step S55 the deterioration determination unit 224 considers that there is no influence due to deterioration, considers that the vehicle can be driven by automatic driving, and notifies the situational awareness unit 153 to that effect.
- the automatic driving by the vehicle 91 is continued to this.
- step S54 if it is determined that the deterioration judged from the current reliability is lower than the threshold value at which the insurance premium needs to be changed, the process proceeds to step S56.
- step S56 the deterioration determination unit 224 determines, based on the comparison result, whether or not the deterioration determined from the current reliability is lower than the threshold value deemed to be inoperable.
- step S56 if it is determined based on the comparison result that the deterioration judged from the current reliability is not lower than the threshold value considered to be inoperable, the process proceeds to step S57.
- step S57 the deterioration determination unit 224 causes the insurance premium determination unit 225 to calculate the insurance premium according to the current degree of deterioration.
- step S58 the deterioration determination unit 224 determines that the insurance premium according to the deterioration calculated by the insurance premium determination unit 225 is higher than the predetermined amount for which the user or the owner needs to approve the renewal. Determine if it is an insurance premium.
- step S58 when the premium according to the deterioration calculated by the premium determination unit 225 is a premium higher than the predetermined amount that requires the user or the owner to approve the renewal.
- the process proceeds to step S59.
- step S59 the deterioration determination unit 224 controls the UI display control unit 226 based on the insurance premium information according to the deterioration calculated by the insurance premium determination unit 225, and the user or owner of the vehicle 91.
- the image described with reference to FIGS. 14 to 18 is displayed, which requests the approval of the renewal of the insurance premium.
- step S60 the deterioration determination unit 224 determines whether or not the insurance premium renewal has been approved in response to the display of the image requesting the approval of the insurance premium renewal described with reference to FIGS. 14 to 18. ..
- step S60 If it is considered that the insurance premium renewal has been approved by operating the button B51 in FIGS. 14 to 16 or the button B71 in FIGS. 17 and 18 in step S60, the process proceeds to step S61.
- step S61 the deterioration determination unit 224 controls the communication unit 103 to access the server of the insurance company (not shown), renews the contract with the approved insurance premium, and the process proceeds to step S55.
- deterioration may occur by comparing the recognition result and reliability information of the same or similar sensors of other vehicles with similar operating times with the recognition result and reliability of the own vehicle. While acknowledging, the premium is higher than the prescribed amount that requires the user or the owner to approve the renewal of the premium by recalculating the premium in order to deal with the risk according to the level of deterioration. When you request approval, renew your insurance policy with the approved premium to continue autonomous driving.
- step S52 when it is determined that the object name of the object recognition result is neither the correct answer nor the object name similar to the correct object name, the deterioration determined in step S56 is the threshold value considered to be inoperable. If it is determined that the value is lower than that of the above, it is considered that the renewal of the insurance premium is not approved by operating the button B52 in FIGS. 14 to 16 or the button B72 in FIGS. 17 and 18 in step S60. If so, the process proceeds to step S62 in any case.
- step S62 the deterioration determination unit 224 determines that traveling by automatic driving is impossible due to the influence of deterioration, and notifies the situational awareness unit 153 to that effect. As a result, the automatic driving by the vehicle 91 is stopped.
- step S63 the deterioration determination unit 224 controls the communication unit 103 to request a substitute vehicle for the vehicle 91 capable of automatic driving, if necessary.
- step S58 the premium according to the deterioration calculated by the premium determination unit 225 is not a premium higher than the predetermined amount that requires the user or the owner to approve the renewal. In this case, the processing of steps S59 and S60 is skipped.
- the insurance contract is automatically renewed and the automatic operation is continued without requesting approval from the user or the owner.
- the object name of the object recognition result is based on the recognition result and reliability information of the sensor of another vehicle having the same or similar type as the sensor of the own vehicle and having a similar operating time. Is the correct answer, the position recognition result is within the predetermined range, and if the deterioration of the reliability is not enough to require the change of the insurance premium, the automatic operation is continued.
- the object name in the object recognition result is correct, the position recognition result is within the specified range, and the deterioration of reliability requires a change in insurance premiums, and automatic operation is not impossible, the deterioration is met.
- the insurance contract is automatically renewed with the recalculated premium and automatic driving is continued, and when it is higher than the prescribed amount, it is recalculated. Request approval for contract renewal with the calculated premium, and if approved upon request, the contract will be renewed with the recalculated premium and autonomous driving will continue.
- the object name in the object recognition result is not correct, the position recognition result is not within the specified range, or the reliability is deteriorated to the extent that the insurance premium needs to be changed, the insurance premium is renewed. If not approved, and if the deterioration is such that automatic operation is impossible, automatic operation is stopped.
- the deterioration diagnosis process that considers the characteristics of each sensor model and aging deterioration makes it possible to determine with high accuracy whether or not automatic operation is possible before the sensor completely fails. It is possible to reduce the risk of accidents caused by
- a deterioration diagnosis system 31 in which the vehicle 91 is subjected to the deterioration diagnosis processing at the test site 51 provided at the entrance of various areas where high safety is required such as a residential area has been described.
- a deterioration diagnosis system 31 may be configured such that the deterioration diagnosis processing is performed at a specific outdoor position, for example, at a timing such as when a signal stops.
- the vehicle 91 traveling on the road 383 stops at the stop position P111 which is a predetermined distance D11 from the traffic light 381 because the traffic light 381 is a red light.
- the deterioration diagnosis process may be performed using the sign 382 or the like existing at a predetermined distance D12 from the stop position P111 as a recognition target.
- the evaluation of the object recognition result in consideration of the influence of the outdoor environment such as brightness and wind depending on the weather and time. Is required.
- Example of execution by software By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
- the programs that make up the software can execute various functions by installing a computer embedded in dedicated hardware or various programs. It is installed from a recording medium on a possible, eg, general purpose computer.
- FIG. 24 shows a configuration example of a general-purpose computer.
- This personal computer has a built-in CPU (Central Processing Unit) 1001.
- the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
- a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
- the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for the user to input operation commands, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, a program, and various data.
- a storage unit 1008 consisting of a hard disk drive or the like for storing, a LAN (Local Area Network) adapter or the like, and a communication unit 1009 for executing communication processing via a network represented by the Internet are connected.
- magnetic disks including flexible disks
- optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)
- optical magnetic disks including MD (Mini Disc)
- a drive 1010 that reads and writes data to and from a removable storage medium 1011 such as a memory is connected.
- the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
- the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
- the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
- the program executed by the computer can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
- the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
- the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- the CPU 1001 in FIG. 24 realizes the functions of the deterioration diagnosis unit 182 in FIGS. 5, 19, and 20.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- a recognition result acquisition unit that acquires a recognition result of a predetermined recognition object based on the sensing results of a plurality of sensors mounted on the vehicle, and a recognition result acquisition unit.
- a comparison unit that compares the acquired recognition result with another recognition result different from the acquired recognition result and outputs the comparison result.
- An information processing system including a deterioration evaluation unit that evaluates individual performance deterioration of the sensor based on the comparison result by the comparison unit.
- the recognition result acquisition unit further includes a storage unit for accumulating the acquired recognition results.
- the information processing system according to ⁇ 2>, wherein the comparison unit compares the recognition result stored in the storage unit with the acquired recognition result as the other recognition result.
- the comparison unit calculates outliers based on the acquired recognition result and the other recognition result, compares the number of outliers with a predetermined threshold value, and compares the number of outliers with a predetermined threshold value.
- the deterioration evaluation unit evaluates individual performance deterioration of the sensor based on a comparison result between the individual outliers of the sensor and the predetermined threshold value.
- the comparison unit detects a change point based on the acquired recognition result and the other recognition result, compares the amount of change at the change point with a predetermined threshold value, and compares the change amount.
- the deterioration evaluation unit evaluates the individual performance deterioration of the sensor based on the comparison result between the change amount of the sensor at the individual change point by the comparison unit and the predetermined threshold value.
- Information processing system. ⁇ 6> The information processing system according to ⁇ 1>, wherein the other recognition result is a recognition result of another vehicle different from the own vehicle.
- the information processing system according to ⁇ 6>, wherein the other recognition result is a recognition result based on the sensing result of the sensor of the other vehicle and the same sensor or a similar sensor as the sensor of the own vehicle.
- the other recognition result is the recognition result of the other vehicle based on the sensing result of the sensor of the own vehicle and the sensor of the same operating time or the sensor of the similar operating time.
- Information processing system. ⁇ 9>
- the recognition result acquisition unit further includes a storage unit for accumulating the acquired recognition results.
- the storage unit is provided in the cloud server.
- the information processing system according to ⁇ 6>, wherein the comparison unit compares the recognition result stored in the storage unit of the cloud server with the acquired recognition result as the other recognition result.
- the situational awareness unit for stopping the automatic driving of the vehicle when the deterioration evaluation unit evaluates that the performance deterioration of the sensor is deteriorated from a predetermined threshold value is further provided in ⁇ 1>.
- Information processing system. ⁇ 11> When the deterioration evaluation unit evaluates that the performance deterioration of the sensor is deteriorated from a predetermined threshold value, an insurance premium determination unit for determining the insurance premium according to the deterioration is further provided.
- the insurance premium determination unit determines the insurance premium according to the deterioration of the vehicle.
- the user or the owner is notified of the information requesting the approval of the renewal of the insurance contract with the premium according to the deterioration, and the renewal of the insurance contract with the premium according to the deterioration is approved in response to the notification.
- the situation recognition unit is the information processing system according to ⁇ 11>, which continues the automatic operation of the vehicle.
- the insurance premium determination unit determines the insurance premium according to the deterioration and responds to the deterioration.
- the comparison unit and the deterioration evaluation unit are provided in a cloud server.
- the recognition result acquisition unit is based on the sensing results of a plurality of sensors mounted on the vehicle in a space where the positional relationship between the vehicle and the predetermined recognition object is known.
- the information processing system which acquires the recognition result of a predetermined recognition object.
- ⁇ 16> The information processing system according to ⁇ 14>, wherein the space having a known positional relationship between the vehicle and the predetermined recognition object is a space that is not affected by the environment.
- the space in which the positional relationship between the vehicle and the predetermined recognition object has a known relationship is a space affected by the environment.
- the information processing system according to ⁇ 16>, wherein the deterioration evaluation unit evaluates the individual performance deterioration of the sensor based on the individual comparison result of the sensor by the comparison unit in consideration of the influence of the environment.
- the comparison unit compares the reliability based on the recognition result with the reliability based on the other recognition results.
- the information processing system wherein the deterioration evaluation unit evaluates the performance deterioration of the sensor based on a comparison result between the reliability of the recognition result and the reliability of the other recognition results.
- the object to be recognized has a known object name.
- the recognition result is the detection position of the recognition target object and the object name.
- the information processing system according to ⁇ 17>, further including a reliability calculation unit that calculates the reliability of the recognition result based on the recognition result.
- ⁇ 20> Acquire the recognition result of a predetermined recognition target based on the sensing results of a plurality of sensors mounted on the vehicle, and obtain the recognition result.
- the acquired recognition result is compared with another recognition result different from the acquired recognition result, and the result is output as a comparison result.
- An information processing method that includes a step of evaluating the individual performance degradation of the sensor based on the comparison result.
- a recognition result acquisition unit that acquires a recognition result of a predetermined recognition object based on the sensing results of a plurality of sensors mounted on the vehicle, and a recognition result acquisition unit.
- a comparison unit that compares the acquired recognition result with another recognition result different from the acquired recognition result and outputs the comparison result.
- An information processing device including a deterioration evaluation unit that evaluates individual performance deterioration of the sensor based on the comparison result by the comparison unit.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本開示は、センサの劣化を診断することができるようにする情報処理システム、および情報処理方法、並びに情報処理装置に関する。 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得し、取得された認識結果と、取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力し、比較結果に基づいて、センサの個別の性能劣化を評価する。本開示は、移動体に適用することができる。
Description
本開示は、情報処理システム、および情報処理方法、並びに情報処理装置に関し、特に、自動運転に必要とされるセンサの劣化を診断できるようにした情報処理システム、および情報処理方法、並びに情報処理装置に関する。
自動運転を実現する様々な技術が提案されているが、自動運転が普及すると、カメラやLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、などのセンサ情報が走行時の安全性に非常に重要な役割を担うことになる。
ところが、複数のセンサのセンシング結果を統合して認識処理等を行うと、個別のセンサの劣化の判断が難しくなる。
すなわち、例えば、いずれかのセンサの劣化が発生していても、複数のセンサのセンシング結果が統合されることにより、劣化のないセンサのセンシング結果が優先的に利用されることで、認識精度の大きな低下が生じず、ユーザには劣化の判断が難しい状態となる。
しかしながら、個別のセンサが劣化すると通常の走行では問題がなくても、劣化したセンサのセンシング結果が重要なシーンなどでは安全な走行に大きな影響を及ぼす恐れがある。
例えば、カメラにより撮像された画像とLiDARによりセンシングされる3次元ポイントクラウド等で障害物を認識して走行している場合、LiDARの劣化を見逃すと、逆光等が発生するような状況において、安全な走行に影響を与える恐れがある。
すなわち、逆光が発生すると、カメラにより撮像された画像による障害物の認識精度が低下するような状況となるので、LiDARのセンシング結果に基づいた障害物の認識結果に頼ることになる。
ところが、LiDARの劣化により十分な精度ではないセンシング結果が用いられて障害物の認識処理がなされることにより、障害物の認識精度が低下しているにもかかわらず、LiDARのセンシング結果に基づいた認識結果に基づいて各種の判断がなされることにより、走行の安全性が十分に確保できない恐れがあった。
そこで、特許文献1で開示されているセンサの故障の有無を検出する技術を応用し、故障が検出されたときには、故障したセンサを利用しないようにすることで、上述した十分な精度が確保できないセンサのセンシング結果を使用しないようにして、各種の判断に影響を与えないようにすることが考えられる(特許文献1参照)。
しかしながら、特許文献1に係る技術においては、センサの故障は検出できるが、劣化を検出することはできないので、故障には至っていないが、かなり大きな劣化が生じている場合には、故障していると認識されないので、大きく劣化したセンシング結果を利用して各種の処理がなされてしまうことにより、安全性を十分に確保することができない恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、センサの劣化を診断できるようにするものである。
本開示の一側面の情報処理システム、および情報処理装置は、車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部とを備えるシステム、および情報処理装置である。
本開示の一側面の情報処理方法は、車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得し、取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力し、前記比較結果に基づいて、前記センサの個別の性能劣化を評価するステップを含む情報処理方法である。
本開示の一側面においては、車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果が取得され、取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とが比較され、比較結果として出力され、前記比較結果に基づいて、前記センサの個別の性能劣化が評価される。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.本開示の概要
2.第1の実施の形態
3.第1の実施の形態の変形例
4.第2の実施の形態
5.応用例
6.ソフトウェアにより実行させる例
1.本開示の概要
2.第1の実施の形態
3.第1の実施の形態の変形例
4.第2の実施の形態
5.応用例
6.ソフトウェアにより実行させる例
<<1.本開示の概要>>
本開示は、複数のセンサの劣化を診断できるようにするものである。
本開示は、複数のセンサの劣化を診断できるようにするものである。
まず、図1を参照して、本開示の概要について説明する。
本開示の劣化診断システムにおいては、図1で示されるような、複数のセンサの劣化を診断するための試験場TRが設けられ、試験場TR内において、車両Vの各種のセンサによる試験処理が行われ、試験結果が蓄積され、蓄積された試験結果との比較により劣化が診断される。
より詳細には、試験場TRは、人との接触の可能性が高くなるような、安全性が要求される様々なエリアなどの入口等に設けられることが望ましく、例えば、住宅街の入口に設けられる。
自動運転がなされる車両Vは、高い安全性が要求されるエリアに進入する直前に設けられた試験場TRに入り、センサの劣化診断の試験を受けて、例えば、十分な安全性の確保できないほど劣化が大きいときには自動運転を中止する。
試験場TRは、光や風など、環境の影響を受けない状態での試験処理を実現するため、屋内の空間として構成されている。また、試験場TRには、被試験車両である車両Vを停車させる停車位置Pが設定され、停車位置Pから所定の距離Dの位置に認識対象物Hが設けられている。
なお、図1においては、認識対象物Hとして人型の人形が設定されている。
車両Vは、例えば、センサとしてカメラCを備えており、被試験対象のセンサとされる。
車両Vは、試験場TRに入り、停車位置Pに停車すると、試験が開始されて、カメラCにより認識対象物Cを撮像すると、撮像された画像に基づいて、物体認識処理がなされ、その結果Rを出力する。
図1における結果Rは、物体認識結果として、カメラCで撮像された画像内において、認識対象物Hが、枠で示される位置に検出されており、認識結果としての物体名が人間(Person)であり、その信頼度が95%であることを示している。ここでいう信頼度とは、例えば、認識対象物Hが検出される位置と物体名の両方を合わせた物体認識結果に対する信頼度である。
試験場TRの停車位置Pと、距離Dだけ離れた所定の位置に設けられた認識対象物Hとの位置関係は、共通の構成とされており、車両Vは、様々な試験場TRにおける結果Rの情報を蓄積する。
より詳細には、車両Vは、結果Rに含まれる信頼度の情報を、例えば、図2で示されるような時系列の情報として蓄積する。
図2においては、横軸が経過時間tであり、縦軸が信頼度である。
上述したように、試験場TRにおいて、車両Vと認識対象物Hとの位置関係は一定であり、また、光や風等の外形の影響を受けない環境となっているため、理論的には、信頼度はほぼ一定になる。
しかしながら、カメラCには、時系列に劣化が生じるので、信頼性は徐々に低下する。
車両Vは、この時系列の蓄積結果が、所定の閾値thを下回った場合、劣化による影響が大きく、物体認識処理による認識結果から自動運転を継続するには危険であるとみなして、不合格として、車両Vの自動運転を中止させる。
以上においては、信頼度の低下に起因する劣化を判定する例について説明してきたが、認識結果である物体名が人間ではなくなったり、枠で示される位置がずれるなどしても同様に判断される。
このように、同一の環境が用意された試験場TRにおける試験を繰り返し、結果Rの情報を順次蓄積して、閾値との比較により、センサの劣化を判定する。
この結果、完全に故障するまでの間に発生する劣化を診断することが可能となる。
<<2.第1の実施の形態>>
次に、図3を参照して、本開示の第1の実施の形態の構成例について説明する。
次に、図3を参照して、本開示の第1の実施の形態の構成例について説明する。
本開示の劣化診断システム31は、試験場51、および被試験車両となる車両91より構成される。
試験場51は、人との接触の可能性が高い安全性が要求される様々なエリアなどの入口等に設けられ、例えば、住宅街の入口に設けられる。また、劣化診断の試験が受けられればよいので、試験場51は、車両91を停止させられる場所やその近傍であればどこでもよく、例えば、ガソリンスタンドや駐車場などに設けられてもよい。
車両91は、自動運転を実現するためのセンサとして例えば、カメラ91a,LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、91b、およびミリ波レーダ91cを備えている。
車両91は、カメラ91a,LiDAR91b、およびミリ波レーダ91cのそれぞれのセンシング結果を統合する、または、条件に応じて使い分けることにより、物体認識処理を実行し、認識結果に基づいて、自動運転を実行する。
車両91は、高い安全性が要求されるエリアに進入する際、その入口付近に設けられた試験場TRに入り、センサの劣化診断の試験を実行し、劣化が大きいときには、自動運転を中止する。
試験場51は、光や風など、環境の影響を受けない状態での試験処理を実現するため、屋内の空間として構成されており、被試験車両である車両91を停車させる停車位置Pが設定され、さらに、停車位置Pから所定の距離Dの位置に認識対象物61が設けられている。
なお、図3においては、認識対象物61として人型の人形が設定されている。
車両91は、試験場51に入り、停車位置Pに停車すると、劣化診断に係る試験を開始して、カメラ91a,LiDAR91b、およびミリ波レーダ91cにより認識対象物61をセンシングすると、それぞれのセンシング結果に基づいて、それぞれの物体認識処理を実行する。
車両91は、物体認識処理により得られた認識結果を、センサのそれぞれについて個別に記憶して蓄積するとともに、蓄積した認識結果の情報に基づいて、劣化を評価する。
劣化の評価は、センサ毎の認識結果について、それぞれの位置、物体名、および信頼度に基づいてなされる。
より詳細には、位置は、認識結果となる位置の、正解位置からのずれ量に基づいて評価される。
また、物体名は、認識結果となる物体名が正解となる物体名、および許容される正解に類似した物体名の少なくともいずれかと同一であるか否かに基づいて評価される。
信頼度は、位置および物体名に基づいて算出され、許容範囲となる所定の閾値との比較に評価がなされる。
車両91は、劣化の評価に応じて、いずれかのセンサで、自動運転は可能であるが、自動運転に伴った事故のリスクが高くなるような場合には、保険料をリスクに合わせて再計算し、車両91のユーザやオーナに確認が取れれば、自動運転を継続する。
また、車両91は、劣化の評価に応じて、自動運転が不能である場合には、自動運転を中止して、必要に応じて、例えば、代車の手配などをする。
<車両制御システムの構成例>
図4は、本技術が適用され得る車両の移動体制御システムの一例である車両91の車両制御システム100の概略的な機能の構成例を示すブロック図である。
図4は、本技術が適用され得る車両の移動体制御システムの一例である車両91の車両制御システム100の概略的な機能の構成例を示すブロック図である。
また、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。尚、図4の車両91は、図1の車両Cに対応する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
また、車両状態検出部143は、認識部181、および劣化診断部182を備えている。
認識部181は、車両制御システム100のデータ取得部102における各種のセンサからのデータ又は信号に基づいた物体認識処理をそれぞれ実行し、認識結果を劣化診断部182に出力する。
劣化診断部182は、認識部181の認識結果および信頼度に基づいて、センサの劣化診断を行い、劣化を評価する。
より詳細には、認識部181は、試験場51における試験がなされることで取得される車両制御システム100のデータ取得部102における各種のセンサからのデータ又は信号に基づいて物体認識処理を実行し、認識結果を劣化診断部182に出力する。
劣化診断部182は、認識部181より供給される認識結果を時系列に蓄積し、蓄積結果と今現在の認識結果との比較により、センサ毎の劣化を評価する。
このとき、劣化診断部182は、劣化診断における劣化の評価に応じて、自動運転を中止させる。
また、劣化診断部182は、劣化診断における劣化の評価に応じて、自動運転は可能であるが、事故等に対するリスクが上昇るようなときには、リスクに応じて自動車の新たな保険料を再計算し、車両91のユーザやオーナに新たな保険料で保険契約の更新の承認を要求して、承認されたときに、自動運転を再開できるようにする。
尚、認識部181および劣化診断部182の詳細な構成については、図5を参照して、詳細を後述する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する。
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
<劣化診断部の第1の構成例>
次に、図5を参照して、認識部181、および劣化診断部182の第1の構成例について説明する。
次に、図5を参照して、認識部181、および劣化診断部182の第1の構成例について説明する。
認識部181は、データ取得部102の各種のセンサより供給されるデータや信号に基づいて、物体認識処理を行い、センサ毎の認識結果を認識結果取得部221に出力する。
より詳細には、認識部181は、カメラ認識部241、LiDAR認識部242、ミリ波レーダ認識部243、その他のセンサ認識部244、および位置情報取得部245を備えている。
カメラ認識部241は、データ取得部102のセンサのうちのCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサなどからなるカメラにより撮像された画像に基づいて、物体認識処理を行い、物体の位置および物体名からなる認識結果を認識結果取得部221に出力する。
LiDAR認識部242は、データ取得部102のセンサのうちのLiDARによりセンシングされたセンシング結果であるポイントクラウドに基づいて、物体認識処理を行い、物体の位置および物体名からなる認識結果を認識結果取得部221に出力する。
ミリ波レーダ認識部243は、データ取得部102のセンサのうちのミリ波レーダによりセンシングされたセンシング結果に基づいて、物体認識処理を行い、物体の位置および物体名からなる認識結果を認識結果取得部221に出力する。
その他のセンサ認識部244は、上述したカメラ、LiDAR、およびミリ波レーダ以外のセンサのセンシング結果に基づいて、物体認識処理を行い、物体の位置および物体名からなる認識結果を認識結果取得部221に出力する。なお、その他のセンサの具体的な例については、図4を参照して説明したデータ取得部102の説明を参照されたい。
位置情報取得部245は、データ取得部102のGPSより取得される地球上の位置情報を取得し、取得したタイミングにおける時刻情報と共に認識結果取得部221に供給する。
劣化診断部182は、認識結果取得部221、信頼度算出部222、比較部223、劣化判断部224、保険料決定部225、およびUI表示制御部226を備えている。
認識結果取得部221は、認識部181のカメラ認識部241、LiDAR認識部242、ミリ波レーダ認識部243、その他のセンサ認識部244より供給される各種のセンサの認識結果と、位置情報取得部245より供給される位置情報および時刻情報とを取得し、それらを対応付けて記憶部111に記憶させと共に、信頼度算出部222に供給する。
信頼度算出部222は、認識結果取得部221より供給される認識部181のカメラ認識部241、LiDAR認識部242、ミリ波レーダ認識部243、その他のセンサ認識部244より供給される各種のセンサの認識結果に基づいて、認識結果のそれぞれについての信頼度を計算し、それぞれに対応付けて記憶部111に記憶させると共に、比較部223に出力する。
比較部223は、信頼度算出部222より供給される現在の認識結果に対する信頼度と、記憶部111に記憶されている、過去の蓄積された信頼度とを比較する。
また、比較部223は、認識結果である位置、および物体名に対する正解となる位置、および物体名(正解に類似する物体名)とを比較する。
そして、比較部223は、認識結果である位置、および物体名に対する正解となる位置、および物体名(正解に類似する物体名)との比較結果と、信頼度算出部222より供給される現在の認識結果に対する信頼度と、記憶部111に記憶されている、過去の蓄積された信頼度との比較結果とを併せて劣化判断部224に供給する。
劣化判断部224は、認識結果における位置、および物体名、並びに信頼度の比較結果に基づいて、センサ毎の劣化を評価する。
より詳細には、劣化判断部224は、位置情報については、正解となる位置に対して許容範囲となる所定値以上のずれが生じているか否かの比較結果に基づいて、センサ毎の劣化を評価する。
また、劣化判断部224は、物体名については、正解となる物体名であるか、または正解の物体名に対して類似している物体名であるか否かの比較結果に基づいて、センサ毎劣化を評価する。
さらに、劣化判断部224は、比較部223による、信頼度算出部222より供給される現在の認識結果に対する信頼度と、記憶部111に記憶されている、過去の蓄積された信頼度との比較結果に基づいて劣化を評価する。
劣化判断部224は、信頼度の比較結果、並びに、認識結果である位置情報、および物体名のそれぞれの比較結果から、センサ毎の劣化を評価し、劣化評価として保険料決定部225、UI表示制御部226、および状況認識部153に出力する。
保険料決定部225は、劣化判断部224から取得される劣化評価に基づいて、劣化は見られるが、自動運転が可能である場合については、劣化の程度に応じたリスクに対応する保険料を再計算して、UI表示制御部226に出力する。
UI表示制御部226は、保険料決定部225より供給される再計算された保険料に情報に基づいて、車両91のユーザまたはオーナに対して劣化に伴うリスクに応じた保険料の更新の承認を要求する画像を提示させ、保険料の変更の承認の可否を問い合わせる。
そして、再計算された保険料の変更が承認された場合、保険料決定部225は、通信部103を制御して、保険会社が管理運営するサーバにアクセスし、新たな保険料による契約の更新を要求し、要求が認められたとき、その旨を劣化判断部224に通知する。
劣化判断部224は、新たな保険料による契約がなされたことが確認されると、自動運転が可能であるみなし、UI表示制御部226および状況認識部153に通知する。
尚、保険料決定部225は、再計算した保険料について、車両91のユーザまたはオーナより変更が受け入れられない旨の通知を受信したときには、自動運転を中止することをUI表示制御部226および状況認識部153に通知する。
UI表示制御部226は、劣化評価に基づいて、各種の情報を出力部106におけるディスプレイ等に表示させて、自動運転の継続が可能であるか否かをユーザまたはオーナに通知する。
また、UI表示制御部226は、上述したように保険料の更新の要求があったときには、車両91のユーザまたオーナに対して保険料の更新を要求する画像を提示させて、応答を受け付けて、保険料決定部225に返す。
状況認識部153は、劣化判断部224の劣化評価および保険料の更新に基づいた自動運転の可否についての通知を受信し、通知に応じて車両91の自動運転の継続または中止を認識して、車両91の自動運転を実行または中止させる。
<画像による物体認識処理による認識結果の例>
(その1)
次に、図6,図7を参照して、画像に基づいた物体認識処理による認識結果の例について説明する。
(その1)
次に、図6,図7を参照して、画像に基づいた物体認識処理による認識結果の例について説明する。
カメラ認識部241は、例えば、図6で示されるような画像がデータ取得部102のカメラ(例えば、図3のカメラ91a)より供給された場合、図6のフレームF1乃至F4で示されるような認識結果を出力する。また、信頼度算出部222は、認識結果である物体が検出される位置、および物体名に基づいて、信頼度を算出する。
すなわち、図6の画像においては、左側に人間H1が歩行しており、中央においては、車両V1が走行しており、右側に自転車B1に乗った人間H2が走行している様子が撮像されている。
このような場合、カメラ認識部241は、右側の人間H1に対して、フレームF1で示されるような認識結果を出力する。
フレームF1においては、フレームF1の位置に物体が存在することが示されており、左上部に”person”と表記され、カメラ認識部241による物体認識処理により物体名が「人間」として認識されていることが示されており、右上部に”43.6”と表記され、認識結果に基づいて信頼度算出部222により信頼度が43.6%として算出されたことが示されている。
すなわち、物体認識処理により、フレームF1の位置に人間が存在することが、信頼度が43.6%で認識されていることが示されている。
また、カメラ認識部241は、中央の車両V1に対して、フレームF2で示されるような認識結果を出力する。
フレームF2においては、フレームF2の位置に物体が存在することが示されており、左上部に”car”と表記され、カメラ認識部241による物体認識処理により物体名が「車両」として認識されていることが示されており、右上部に”51.2”と表記され、認識結果に基づいて信頼度算出部222により信頼度が51.2%として算出されたことが示されている。
すなわち、物体認識処理により、フレームF2の位置に車両が存在することが、信頼度が51.2%で認識されていることが示されている。
さらに、カメラ認識部241は、右側の自転車B1に乗った人間H2に対して、それぞれフレームF3,F4で示されるような認識結果を出力する。
フレームF3においては、フレームF3の位置に物体が存在することが示されており、左上部に”person”と表記され、カメラ認識部241による物体認識処理により物体名が「人間」として認識されていることが示されており、右上部に”46.6”と表記され、認識結果に基づいて信頼度算出部222により信頼度が46.6%として算出されたことが示されている。
また、フレームF4においては、フレームF4の位置に物体が存在することが示されており、左上部に”bicycle”と表記され、カメラ認識部241による物体認識処理により物体名が「自転車」として認識されていることが示されており、右上部に”51.7”と表記され、認識結果に基づいて信頼度算出部222により信頼度が51.7%として算出されたことが示されている。
すなわち、物体認識処理により、フレームF3の位置に自転車が、信頼度が46.6%で存在することが認識され、フレームF4の位置に人間が、信頼度が51.7%で存在することが認識されていることが示されている。
このように、カメラ認識部241は、物体認識処理により画像内における物体の位置、および物体名からなる認識結果を出力する。そして、信頼度算出部222が認識結果である、物体の位置、および物体名に基づいて、信頼度を算出する。
(その2)
また、カメラ認識部241は、例えば、図7で示されるような画像がデータ取得部102のカメラより供給された場合、図7のフレームF11乃至F16で示されるような認識結果を出力する。また、信頼度算出部222は、この認識結果に基づいて、信頼度を算出する。
また、カメラ認識部241は、例えば、図7で示されるような画像がデータ取得部102のカメラより供給された場合、図7のフレームF11乃至F16で示されるような認識結果を出力する。また、信頼度算出部222は、この認識結果に基づいて、信頼度を算出する。
すなわち、図7の画像においては、5台の車両V11乃至V15が走行している様子が撮像されている。
このような場合、カメラ認識部241は、車両V11乃至V15のそれぞれに対して、フレームF1乃至F14,F16で示されるような認識結果を出力する。
すなわち、フレームF1乃至F14,F16においては、フレームF1乃至F14,F16のそれぞれの位置に物体が存在することが示されている。
また、フレームF1乃至F14,F16の、それぞれ左上部に”car”と表記され、カメラ認識部241による物体認識処理により物体名が「車両」として認識されていることが示されている。
さらに、フレームF1乃至F14,F16の、それぞれ右上部に”84”,”82”,”64”,”83”,”67”,と表記され、認識結果に基づいて信頼度算出部222により信頼度が84%,82%,64%,83%,67%として算出されたことが示されている。
すなわち、物体認識処理により、F1乃至F14,F16の位置に車両が、信頼度がそれぞれ84%,82%,64%,83%,67%で存在することが認識結果として示されている。
また、カメラ認識部241は、中央の車両V14に対して、フレームF14で示されるような認識結果を出力する。
フレームF14においては、右下部に”person”と表記され、カメラ認識部241による物体認識処理により物体名が「人間」として認識されていることが示されており、さらに右側に”65”と表記され、認識結果に基づいて信頼度算出部222により信頼度が65%として算出されたことが示されている。
すなわち、物体認識処理により、フレームF14の位置に人間が、信頼度が65%で存在することが認識結果として示されている。
このように、カメラ認識部241は、物体認識処理により画像内における物体の位置、および物体名を認識結果として出力する。そして、信頼度算出部222が認識結果に基づいて、信頼度を算出する。
上述したようにカメラ認識部241により、物体認識処理による認識結果としての物体の位置、および物体名に加えて、信頼度が求められる。
尚、カメラ以外のLiDARやミリ波レーダ等のその他のセンサにおけるセンシング結果に基づいた物体認識処理により得られる結果については、説明を省略するが、基本的に同一であるものとして説明を進める。
<劣化評価方法について>
(外れ値検出)
比較部223は、センサの種別毎に、記憶部111に記憶されている過去の物体認識結果のうちの信頼度と、信頼度算出部222により算出された信頼度との比較を行い、比較結果を劣化判断部224に出力する。
(外れ値検出)
比較部223は、センサの種別毎に、記憶部111に記憶されている過去の物体認識結果のうちの信頼度と、信頼度算出部222により算出された信頼度との比較を行い、比較結果を劣化判断部224に出力する。
劣化判断部224は、比較部223の比較結果に基づいて、センサの劣化を評価(判断)する。
このとき、比較部223は、信頼度算出部222によい算出された現在の信頼度が、過去の物体認識結果のうちの信頼度との比較において外れ値であるか否かを比較結果としてもよい。
ここで、外れ値とは、各信頼度について、その近傍の所定数kの信頼度とのそれぞれの局所密度の平均値を求めたとき、局所密度の平均値との差分が所定値よりも大きい信頼度である。
より具体的には、例えば、図8で示されるような信頼度Pa乃至Pdとしたとき、それぞれの近傍のk点のデータ群との距離の平均値の逆数を局所密度Da乃至Ddと定義する。尚、信頼度Paが算出された信頼度であり、信頼度Pb乃至Pdが過去の蓄積された信頼度であるものとする。
図8の場合、k=3であるとすれば、信頼度Paの近傍のk(=3)点のデータ群との距離の平均が距離raであり、信頼度Pbの近傍のk点のデータ群との距離の平均が距離rbであり、信頼度Pcの近傍のk点のデータ群との距離の平均が距離rcであり、信頼度Pdの近傍のk点のデータ群との距離の平均が距離rdであるものとする。
ここで、図8で示されるように、距離ra乃至rdは、ra>rb,ra>rc,ra>rdになる。
このため、信頼度Paの局所密度Da(∝1/ra)は、信頼度Pb乃至Pdの局所密度Db乃至Ddと比較して十分に小さな値となる。
このため、信頼度Paは、信頼度Pb乃至Pdに対して、外れ値とみなされる。
そこで、劣化判断部224は、比較部223の比較結果に基づいて、現在の算出結果となる信頼度Paが、外れ値とみなされたときに、劣化が生じていると判断(評価)するようにしてもよい。
ただし、物体認識処理における認識結果の信頼度には、ばらつきが発生することがわかっていおり、センサに劣化がなくてもある程度の確率で外れ値が発生する。
このため、現在の実測値である信頼度Paが、外れ値とみなされたときに、劣化が生じているとみなすようにすると、センサの劣化が生じていないのに偶発的に発生した外れ値によりセンサが劣化したものとみなしてしまう恐れがある。
そこで、劣化判断部224は、比較部223の比較結果に基づいて、例えば、外れ値が連続的に所定回数発生した場合や、外れ値の発生が不連続であっても累積回数が所定数を超えたとき、劣化が発生しているとみなすようにしてもよい。
また、劣化判断部224は、外れ値の累積回数が第1の所定回数より多く、第1の所定回数よりも大きな第2の所定回数より少ないとき、外れ値の数に対応してリスクは高くなるが自動運転は可能であるとみなし、第2の所定回数を超えたとき、自動運転が不能であるとみなすようにしてもよい。
(変化点検出)
以上においては、外れ値に基づいて、劣化を判断する例について説明してきたが、比較部223は、取得された現在の信頼度が、過去の物体認識結果となる信頼度より予測される予測値との比較において、その差分が所定値よりも大きいか否かを比較結果としてもよい。
以上においては、外れ値に基づいて、劣化を判断する例について説明してきたが、比較部223は、取得された現在の信頼度が、過去の物体認識結果となる信頼度より予測される予測値との比較において、その差分が所定値よりも大きいか否かを比較結果としてもよい。
例えば、図9で示されるように、縦軸が信頼度を示し、横軸が時刻を示す場合について考える。
図9においては、時刻t0乃至t60近傍においては、信頼度は、直線L1で示されるような予測値の近傍で値が推移しているが、時刻t60以降においては、直線L2で示されるような予測値の近傍で値が推移している。
すなわち、図9で示されるような信頼度の推移がみられる場合、時刻t60近傍において、差分Δで示されるような大きな信頼度の変化点が発生しているとみなすことができる。
比較部223は、過去の信頼度の情報に基づいて予測値を求め、例えば、現在の信頼度との差分の二乗を異常度として定義して求め、比較結果として劣化判断部224に出力する。
劣化判断部224は、異常度を所定の閾値と比較することにより、例えば、異常度が所定の閾値よりも高い場合には、劣化が生じているものと判断(評価)するようにしてもよい。
ただし、上述したように、物体認識処理における認識結果の信頼度には、ばらつきが発生し、センサに劣化がなくてもある程度の確率で異常度は上昇する。
そこで、劣化判断部224は、異常度を所定の閾値と比較することにより、例えば、所定の閾値よりも高い状態が所定時間継続した場合には、劣化が生じているものと判断(評価)するようにしてもよい。
また、劣化判断部224は、異常度が第1の閾値より高く、第1の閾値よりも高い第2の閾値より低いとき、異常度に対応してリスクは高くなるが自動運転は可能であるとみなし、第2の閾値を超えたとき、自動運転が不能であるとみなすようにしてもよい。
(異常部位検出)
以上においては、変化点検出に基づいて、劣化を判断する例について説明してきたが、例えば、認識対象物61が、位置は変わらないが、同一位置で固定された垂直方向の所定の軸を中心として、時系列に方向を変えながら360度回転するように動くような場合、信頼度は、理論的には周期的に変化するので、周期的な変化が継続されるか否かに基づいて劣化を判断するようにしてもよい。
以上においては、変化点検出に基づいて、劣化を判断する例について説明してきたが、例えば、認識対象物61が、位置は変わらないが、同一位置で固定された垂直方向の所定の軸を中心として、時系列に方向を変えながら360度回転するように動くような場合、信頼度は、理論的には周期的に変化するので、周期的な変化が継続されるか否かに基づいて劣化を判断するようにしてもよい。
認識対象物61が回転させることにより、例えば、図10で示されるような信頼度が時系列に検出されることになる。
尚、図10においては、縦軸が信頼度であり、横軸が時間である。
すなわち、認識対象物61の回転に伴って、理論的には、図10で示される、例えば、時間幅Tの時系列の信頼度の波形Wrが繰り返されることになるが、何らかの原因で、波形Wrに代えて、図中の中央付近で示されるような時系列の信頼度の波形Weが検出されるようなことがある。
そこで、比較部223は、時系列の過去の信頼度の時系列の変化から波形変化の類似性に基づいて、平均的な時系列の信頼度の波形Wrを求めて、順次、周期的に検出される時系列の信頼度の波形と比較する。
例えば、図11の下段で示されるように、平均的な時系列の信頼度の波形W1に対して、波形W2,W4はほぼ同一だであるが、波形W3は異なる。
そこで、このような波形の発生を検出するため、比較部223は、過去の時系列の信頼度の平均的な波形W1と、波形W2乃至W4のそれぞれの面積差分を比較結果として劣化判断部224に出力するようにしてもよい。
このような処理により、波形W2,W4については、波形W1とほぼ同一の波形であることから、面積差分はほぼゼロとなる。
しかしながら、波形W3については、図11の下段で示されるように、波形W1と波形W3との面積差分が求められることになる。
このようなことから、比較部223は、基準となる波形W1と、面積差分の大きさを比較結果として劣化判断部224に出力する。
劣化判断部224は、時系列の信頼度の波形毎の面積差分の大きさと所定の閾値との比較により、時系列の信頼度が劣化する、異常が発生する部分時系列である異常部位の有無を判断(評価)するようにしてもよい。
また、上述したように、物体認識処理における認識結果の信頼度には、ばらつきが発生することがわかっていおり、センサに劣化がなくてもある程度の確率で信頼度がばらつく。
そこで、劣化判断部224は、面積差分の大きさを所定の閾値と比較することにより、例えば、面積差分が所定の閾値よりも大きい場合には、異常部位が発生しており、劣化が生じているものと判断(評価)するようにしてもよい。
また、劣化判断部224は、面積差分が第1の閾値より大きく、第1の期間よりも大きな第2の閾値より小さいとき、面積差分の大きさに対応してリスクは高くなるが自動運転は可能であるとみなし、第2の閾値よりも大きいとき、自動運転が不能であるとみなすようにしてもよい。
<第1の実施の形態の劣化診断処理>
次に、図12,図13のフローチャートを参照して、第1の実施の形態の劣化診断処理について説明する。
次に、図12,図13のフローチャートを参照して、第1の実施の形態の劣化診断処理について説明する。
尚、ここでは、データ取得部102のうちのカメラのセンシング結果である撮像された画像に基づいて、カメラ認識部241が物体認識処理を実現した場合の処理について説明するが、基本的に、その他のセンサについてもセンシング結果に基づいた物体認識処理をする点で、同一であるので、その説明は省略する。また、複数のセンサについても、並列処理されて、同様に劣化診断処理がなされる。
ステップS11(図12)において、劣化診断部182の劣化判断部224は、自動運転に伴って、例えば、住宅街に進入する際、入口付近に設けられた試験場51を通過することになるので、通過にするか否かに基づいて、劣化診断の開始が指示されたか否かを判定する。
ステップS11において、試験場51の通過が検知されず、劣化診断の開始が指示されない場合、同様の処理が繰り返される。
ステップS11において、住宅街の入口府県に設けられた試験場51の通過に伴って、劣化診断の開始が指示された場合、処理は、ステップS12に進む。
ステップS12において、劣化判断部224は、状況認識部153に劣化診断が指示されたことを通知する。
これに伴って、状況認識部153が、計画部134に対して試験場51内の所定の停車位置Pに車両91を移動させるように指示し、計画部134が対応する移動計画を立てて、動作制御部135を制御することにより車両91を停車位置Pに停車できるように移動させる。
ステップS13において、劣化判断部224は、車両91が所定の停車位置Pに停車したか否かを判定し、停車していない場合、処理は、ステップS12に戻る。
車両91が所定の停車位置Pに停車するまで、ステップS12,S13の処理が繰り返されて、停車位置Pに停車できるように移動が継続される。
そして、ステップS13において、車両91が所定の停車位置Pに停車した場合、処理は、ステップS14に進む。
ステップS14において、データ取得部102のカメラ(例えば、カメラ91a)は、所定位置Pに車両91が停車された状態において、所定の方向であって、所定の距離に設置された認識対象物61を含む画像を撮像し、撮像した画像をカメラ認識部241に出力する。このとき、位置情報取得部245は、データ取得部102のGPSより自車の位置情報、および時刻情報を取得し、認識結果取得部221に供給する。
尚、車両91が所定の停車位置Pに停車した時点で、認識対象物61は、所定の方向で、所定の距離に設置された状態、すなわち、車両91と認識対象物61とは、所定の位置関係が保たれた状態となっている。
ステップS15において、カメラ認識部241は、カメラ91aにより撮像された画像に基づいて、物体認識処理を実行し、認識物体の車両91に対する位置、および認識された物体名の情報を認識結果として認識結果取得部221に出力する。
ステップS16において、認識結果取得部221は、認識結果を信頼度算出部222に出力し、認識結果に対する信頼度を算出させ、記憶する。
ステップS17において、認識結果取得部221は、認識対象物61を所定回数だけ認識したか否かを判定する。
ステップS17において、認識対象物61を所定回数だけ認識していないと判定した場合、処理は、ステップS14に戻る。
すなわち、認識対象物61がカメラ91a等により撮像された画像を所定回数だけ物体認識処理されるまで、ステップS14乃至S17の処理が繰り返される。
そして、ステップS17において、認識対象物61がカメラ91a等により撮像された画像を所定回数だけ物体認識処理したと判定された場合、処理は、ステップS18に進む。
ステップS18において、認識結果取得部221は、認識対象物61の位置、および物体名からなる認識結果、並びに信頼度の所定回数分の情報を平均化して、位置情報取得部245より供給される自車の位置情報および時刻情報と対応付けて記憶部111に記憶させる。
ここで、信頼度の所定回数分の情報の平均化とは、例えば、所定回数繰り返し計算された信頼度の平均値としてもよいし、所定回数繰り返し計算された信頼度のうち、大きく外れた値を除外した平均値としてもよい。ここで、外れ値については、例えば、信頼度の全平均が80%であるようなときには、例えば、平均値の60%程度以下、すなわち、信頼度が48%以下を外れ値に設定するようにしてもよい。
ステップS19(図13)において、比較部223は、記憶部111に記憶されている現在の認識結果に基づいた物体名と、正解の物体名を比較し、比較結果を劣化判断部224に供給する。劣化判断部224は、比較結果に基づいて、物体認識結果の物体名が正解である、または、正解の物体名に類似する物体名であるか否かを判定する。
ステップS19において、物体認識結果の物体名が正解である、または、正解の物体名に類似する物体名であると判定された場合、処理は、ステップS20に進む。
ステップS20において、比較部223は、記憶部111に記憶されている現在の認識結果に基づいた認識結果としての位置と、正解の位置と比較し、比較結果を劣化判断部224に供給する。劣化判断部224は、比較結果に基づいて、認識結果としての位置が正解の位置に対して許容範囲内であるか否かを判定する。
ここで、認識結果としての位置が正解の位置に対して許容範囲内であるか否かとは、認識結果としての位置と、正解の位置との距離が、所定の距離内であり、所定の精度で認識できているか否かである。
ステップS20において、認識結果としての位置が正解の位置に対して許容範囲内であると判定された場合、処理は、ステップS21に進む。
ステップS21において、比較部223は、算出された今現在の信頼度と、記憶部111に記憶されている蓄積された信頼度とを比較し、比較結果を劣化判断部224に出力する。劣化判断部224は、比較結果に基づいて、今現在の信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下しているか否かを判定する。
ここでの判断については、例えば、図8を参照して説明した外れ値検出、変化点検出、および異常部位検出の少なくともいずれか、または、組み合わせ等により判断されるようにしてもよい。
ステップS21において、今現在の信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下していないと判定された場合、処理は、ステップS22に進む。
ステップS22において、劣化判断部224は、劣化による影響はないとみなして、自動運転により走行が可能であるとみなし、その旨を状況認識部153に通知する。これに車両91による自動運転が継続される。
一方、ステップS21において、今現在の信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下していると判定された場合、処理は、ステップS23に進む。
ステップS23において、劣化判断部224は、比較結果に基づいて、今現在の信頼度より判断される劣化が、走行不能とみなされる閾値よりも低下しているか否かを判定する。
ステップS23において、比較結果に基づいて、今現在の信頼度より判断される劣化が、走行不能とみなされる閾値よりも低下していないと判定された場合、処理は、ステップS24に進む。
ステップS24において、劣化判断部224は、保険料決定部225に対して、今現在の劣化の程度に応じた保険料を計算させる。
ステップS25において、劣化判断部224は、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料であるか否かを判定する。
ステップS25において、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料である場合、処理は、ステップS26に進む。
ステップS26において、劣化判断部224は、保険料決定部225により計算された、劣化に応じた保険料の情報に基づいて、UI表示制御部226を制御して、車両91のユーザ、または、オーナに対して保険料の更新の承認を要求する画像を表示させる。
例えば、UI表示制御部226は、図14で示されるように、車内の出力部106における表示装置251上に表示させてユーザに対して承認を要求する場合、画像P51で示されるように保険料の更新の承認を要求する画像を表示させるようにしてもよい。
画像P51においては、「イメージセンサが劣化しています。安全運転に影響するため、保険料がXXXになります。よろしいですか?」と表記されており、承認を認めるときに操作される「はい」と表記されたボタンB51および承認を認めないときに操作される「いいえ」と表記されたボタンB52が表示されている。
また、UI表示制御部226は、図15で示されるように、車内の出力部106における投影装置によるフロントウィンドウ上の投影画像261上に画像P51を表示させてユーザに対して承認を要求するようにしてもよい。尚、投影画像については、例えば、ヘッドマウンドディスプレイなどで投影表示するようにしてもよい。
さらに、UI表示制御部226は、通信部103を制御して、図16で示されるように、ユーザの所持する端末装置271における表示部281上に画像P51を表示させてユーザに対して承認を要求するようにしてもよい。
また、UI表示制御部226は、通信部103を制御して、車両91に搭乗していない車両91のオーナに対して、例えば、図17で示されるように、オーナの所有するパーソナルコンピュータ291などにメールなどで通知して、画像P71で示されるような、保険料の更新の承認を要求する画像を表示部292に表示させるようにしてもよい。
画像P71においては、「自動運転車両ID XXのイメージセンサが劣化しています。安全運転に影響するため、保険料がYYYになります。よろしいですか?」と表記されており、承認を認めるときに操作される「はい」と表記されたボタンB71および承認を認めないときに操作される「いいえ」と表記されたボタンB72が表示されている。
また、UI表示制御部226は、通信部103を制御して、車両91に搭乗していない車両91のオーナに対して、例えば、図18で示されるように、オーナの所有する端末装置331における表示部341などにメールなどで、画像P71で示されるような保険料の更新の承認を要求する画像を表示させるようにしてもよい。
ステップS27において、劣化判断部224は、図14乃至図18を参照して説明した保険料の更新の承認を要求する画像の表示に応じて、保険料の更新が承認されたか否かを判定する。
ステップS27において、図14乃至図16におけるボタンB51、または図17,図18におけるボタンB71が操作されることにより、保険料の更新が承認されたとみなされた場合、処理は、ステップS28に進む。
ステップS28において、劣化判断部224は、通信部103を制御して、不図示の保険会社のサーバにアクセスし、承認された保険料で契約を更新し、処理は、ステップS222に進む。
すなわち、この場合、劣化の発生を認めつつ、劣化のレベルに応じたリスクに対応するため、保険料を再計算して、ユーザ、または、オーナにより保険料の更新の承認が必要な所定の金額より高額な保険料であって、承認を要求したときに、承認された保険料で保険契約を更新して、自動運転を継続させる。
また、ステップS19において、物体認識結果の物体名が正解でもなく、正解の物体名に類似する物体名でもないと判定された場合、ステップS23において、判断される劣化が、走行不能とみなされる閾値よりも低下していると判定された場合、ステップS27において、図14乃至図16におけるボタンB52、または図17,図18におけるボタンB72が操作されることにより、保険料の更新が承認されないとみなされた場合、いずれにおいても、処理は、ステップS29に進む。
ステップS29において、劣化判断部224は、劣化による影響により、自動運転により走行が不能であるとみなし、その旨を状況認識部153に通知する。これに車両91による自動運転は中止される。
ステップS30において、劣化判断部224は、通信部103を制御して、必要に応じて、自動運転が可能な車両91の代車を要求する。
さらに、ステップS25において、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料ではない場合、ステップS26,S27の処理が、スキップされる。
すなわち、再計算された保険料が、ユーザ、または、オーナによる更新の承認が不要なな程度の少額である場合、劣化の発生を認めつつ、劣化のレベルに応じたリスクに対応する、再計算された保険料で、ユーザ、または、オーナに対して承認要求することなく、自動的に保険契約を更新して、自動運転を継続させる。
以上の一連の処理により、物体認識結果の物体名が正解で、位置認識結果が所定の範囲内で、かつ、信頼度の劣化が保険料の変更が必要なほどではない場合、自動運転が継続される。
また、物体認識結果の物体名が正解で、位置認識結果が所定の範囲内で、かつ、信頼度の劣化が保険料の変更が必要であって、自動運転が不能ではない場合、劣化に応じた保険料が再計算され、所定の金額より低額であるときには、再計算された保険料で保険契約が自動的に更新されて自動運転が継続され、所定の金額よりも高額であるときには、再計算された保険料での契約更新について承認を要求し、要求に応じて承認されると、再計算された保険料で契約が更新されて、自動運転が継続される。
さらに、物体認識結果の物体名が正解でない、位置認識結果が所定の範囲内ではない、または、信頼度の劣化が保険料の変更が必要なほどである場合であって、保険料の更新が承認されないとき、さらに、自動運転が不能なほど劣化している場合、自動運転が中止される。
また、以上の処理の説明においては、センサのうちのカメラによる劣化診断の例であるが、データ取得部102に含まれる全てのセンサについて同様の劣化診断処理がなされる。
これにより、いずれかのセンサの劣化が検出されると、劣化の程度に応じて自動運転の可否を判定することが可能となる。
結果として、センサが完全に故障してしまう状況に陥る前に自動運転の可否を判定することができるので、故障による事故の発生リスクを低減させることが可能となる。
尚、保険料の計算においては、複数のセンサの劣化が認められるような場合については、センサの劣化の程度に加えて、劣化があるとみなされたセンサの数などに応じた金額になるように計算されるようにしてもよい。
<<3.第1の実施の形態の変形例>>
以上においては、認識結果取得部221が、位置、および物体名からなる認識結果と信頼度とを対応付けて記憶部111に記憶し、比較部223が過去に蓄積された信頼度と、算出された信頼度とを比較して比較結果を劣化判断部224に出力し、劣化判断部224が比較結果に基づいて劣化を判断する例について説明してきた。
以上においては、認識結果取得部221が、位置、および物体名からなる認識結果と信頼度とを対応付けて記憶部111に記憶し、比較部223が過去に蓄積された信頼度と、算出された信頼度とを比較して比較結果を劣化判断部224に出力し、劣化判断部224が比較結果に基づいて劣化を判断する例について説明してきた。
しかしながら、記憶部111や保険料決定部225については、クラウドサーバに設けるようにして、通信部103を介して通信し、認識結果と信頼度とを対応付けて記憶させたり、保険料を計算させて決定させるようにしてもよい。
すなわち、図19は、記憶部111や保険料決定部225をクラウドサーバに設けるようにした劣化診断部182の構成例を示している。
尚、図19の劣化診断部182における構成のうち、図5の劣化診断部182と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図19の劣化診断部182において、図5の劣化診断部182と異なる点は、保険料決定部225が省略され、通信部103によりネットワーク等を介して通信可能なクラウドサーバ301において、記憶部111と同様に機能する記憶部311、および保険料決定部312が設けられている点である。
このような構成により、例えば、記憶部111が経年劣化により故障してしまうようなことがあっても、クラウドサーバ301における記憶部311にバックアップされた認識結果と信頼度とを用いた復元が可能となる。
また、記憶部111における認識結果と信頼度とを対応付けた記憶を廃止して、記憶部311にのみ記憶されるようにして、必要に応じて通信部103を介して授受できるようにしてもよい。
さらに、保険料決定部312は、例えば、保険会社により管理されるクラウドサーバ301に設けるようにすることで、保険料を計算すると共に、計算された新たな保険料による契約更新をスムーズに実行できるようにしてもよい。
また、信頼度算出部222、比較部223、および劣化判断部224についても、クラウドサーバ301上に設けられるようにしてもよい。
尚、図19の劣化診断部182による劣化診断処理については、基本的に図5の劣化診断部182における処理と同様であるので、その説明は省略する。
<<4.第2の実施の形態>>
以上においては、自動運転する車両91が、試験場51において、単独で劣化診断処理を実行する例について説明してきたが、複数の車両91が認識結果と信頼度とをクラウドサーバにアップロードし、他の車両91の認識結果と信頼度との結果に基づいて、劣化診断するようにしてもよい。
以上においては、自動運転する車両91が、試験場51において、単独で劣化診断処理を実行する例について説明してきたが、複数の車両91が認識結果と信頼度とをクラウドサーバにアップロードし、他の車両91の認識結果と信頼度との結果に基づいて、劣化診断するようにしてもよい。
この際、センサの型式や稼働時間などを考慮して劣化診断するようにしてもよい。
図20は、複数の車両91が認識結果と信頼度とをクラウドサーバにアップロードし、他の車両91の認識結果と信頼度とに基づいて、劣化診断するようにした劣化診断部182の構成例を示している。
図20の劣化診断部182の各構成の機能は、基本的に図5の構成と同様であるが、認識結果取得部221は、認識結果と信頼度とを記憶部111に記憶させると共に、記憶部111に記憶された認識結果と信頼度とを、通信部103を制御して、クラウドサーバ351の記憶部361に送信し、記憶させる。
クラウドサーバ351は、複数の車両91-1乃至91-nより供給されてくる認識結果と信頼度とを記憶部361に順次蓄積する。
また、図20の比較部223は、通信部103を制御して、クラウドサーバ351に記憶されている、他の車両91の過去の認識結果および信頼度のうち、自車の車両91のセンサと同一または類似した型式のセンサであって、稼働時間が類似した認識結果および信頼度の情報に基づいて、比較し、比較結果を劣化判断部224に出力する。
すなわち、比較部223は、他車のセンサのうち、自車のセンサと同一または類似した型式のセンサであって、稼働時間が類似したセンサの認識結果および信頼度の例えば、平均値と、自車の認識結果および信頼度とを比較し、比較結果を劣化判断部224に出力する。
このような比較結果を用いた劣化診断により、センサの型式に応じた固有の特性に応じた比較が可能となり、より高精度な劣化診断を実現することが可能となる。
認識結果取得部221は、自車のセンサと同一または類似した型式のセンサであって、稼働時間が類似したセンサの認識結果および信頼度を選択できるようにするため、認識結果および信頼度を記憶部361に記憶させる際、自車である車両91を識別する情報(車両ID)、車両91の位置情報(測定場所、または測定場所ID等)および時刻情報(日時)、センサの型式(センサ名)と稼働時間(使用開始日、または使用時間等)の情報を対応付けて記憶させる。
これにより、他車の車両91で使用されているセンサと同一または類似したセンサであって、稼働時間が類似した、換言すれば、ほぼ同様の経年劣化が生じたセンサとの比較結果に基づいた劣化診断処理を実現することが可能となる。
結果として、センサの型式毎の特性と経年劣化とを考慮した劣化診断処理を実現することが可能となる。
<第2の実施の形態の劣化診断処理>
次に、図21,図22のフローチャートを参照して、第2の実施の形態の劣化診断処理について説明する。尚、図21のステップS41乃至S48の処理については、図12のステップS11乃至S18の処理と同一であるので、その説明は省略する。
次に、図21,図22のフローチャートを参照して、第2の実施の形態の劣化診断処理について説明する。尚、図21のステップS41乃至S48の処理については、図12のステップS11乃至S18の処理と同一であるので、その説明は省略する。
すなわち、ステップS48において、認識結果取得部221が、認識対象物61の位置、および物体名からなる認識結果、並びに信頼度の情報を、位置情報取得部245より供給される自車の位置情報および時刻情報と対応付けて記憶部111に記憶させると、処理は、ステップS49に進む。
ステップS49において、認識結果取得部221が、認識対象物61の位置、および物体名からなる認識結果、並びに信頼度の情報をクラウドサーバ351に送信する。このとき、認識結果取得部221は、信頼度の情報を平均化してクラウドサーバ351に送信する。
この際、認識結果取得部221は、認識結果、並びに信頼度の情報を、自車である車両91を識別する情報(車両ID)、位置情報取得部245より供給される位置情報(測定場所、または測定場所ID等)、および時刻情報(日時)、並びに、センサの型式(センサ名)、およびセンサの稼働時間(使用開始日、または使用時間等)の情報と対応付けてクラウドサーバ351に送信する。
ステップS91において、クラウドサーバ(の不図示の制御部)351は、車両91より認識結果、並びに信頼度の情報が送信されてきたか否かを判定する。
ステップS91において、認識結果、および信頼度の情報が送信されてきた場合、処理は、ステップS92に進む。
ステップS92において、クラウドサーバ351は、送信されてきた認識結果、および信頼度の情報を受信する。
ステップS93において、クラウドサーバ351は、受信した認識結果、および信頼度の情報を記憶部361に記憶させる。
この際、クラウドサーバ351は、受信した認識結果、および信頼度の情報を、車両91を識別する情報(車両ID)、車両91の位置情報(測定場所、または測定場所ID等)、時刻情報(日時)、センサの型式(センサ名)、およびセンサの稼働時間(使用開始日、または使用時間等)の情報と対応付けて記憶させる。
この一連の処理により、車両91-1乃至91-nより供給されてくる、認識結果、および信頼度の情報が、車両91を識別する情報(車両ID)、車両91の位置情報(測定場所、または測定場所ID等)、時刻情報(日時)、センサの型式(センサ名)、およびセンサの稼働時間(使用開始日、または使用時間等)の情報と対応付けられて記憶部361に記憶される。
尚、ステップS91において、認識結果、および信頼度の情報が、送信されてこない場合、ステップS92,S93の処理はスキップされる。
ここで、車両91の劣化診断部182による処理の説明に戻る。
ステップS44乃至S49の処理により、所定回数だけ認識結果、並びに信頼度を平均化した情報が、記憶部111、およびクラウドサーバ351の記憶部361に記憶されると、処理は、ステップS50に進む。
ステップS50において、比較部223は、通信部103を制御して、ネットワーク上のクラウドサーバ351に対して、蓄積されたセンサの認識結果、および信頼度を要求する。
この際、比較部223は、自らの車両91を識別する情報(車両ID)、車両91の位置情報(測定場所、または測定場所ID等)、時刻情報(日時)、センサの型式(センサ名)、およびセンサの稼働時間(使用開始日、または使用時間等)の情報を併せて送信し、クラウドサーバ351上の記憶部361に記憶されている認識結果、および信頼度のうち、自車と同一、または類似した型式のセンサであって、稼働時間が類似したセンサの認識結果、および信頼度を要求する。
ステップS94において、クラウドサーバ(の不図示の制御部)351は、いずれかの車両91から、蓄積された認識結果および信頼度が要求されたか否かを判定する。
ステップS94において、蓄積された認識結果および信頼度が要求された場合、処理は、ステップS95に進む。
ステップS95において、クラウドサーバ351は、記憶部361に記憶されている認識結果および信頼度のうち、要求のあった車両91のセンサと同一、または類似した型式のセンサであって、稼働時間が類似したセンサの、蓄積された認識結果、および信頼度を検索して抽出し、要求のあった車両91に送信する。
尚、ステップS94において、蓄積された認識結果および信頼度が要求されない場合、ステップS95の処理は、スキップされる。
ステップS96において、クラウドサーバ351は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS91に戻り、以降の処理が繰り返される。
そして、ステップS96において、処理は終了する。
一方、車両91においては、ステップS51において、比較部223が、通信部103を制御して、クラウドサーバ351より送信されてくる自車のセンサと同一、または類似した型式のセンサであって、稼働時間が類似したセンサの、蓄積された認識結果、および信頼度を受信する。
ステップS52(図22)において、比較部223は、記憶部111に記憶されている現在の認識結果に基づいた物体名と、正解の物体名を比較し、比較結果を劣化判断部224に供給する。劣化判断部224は、比較結果に基づいて、物体認識結果の物体名が正解である、または、正解の物体名に類似する物体名であるか否かを判定する。尚、正解の物体名に類似する物体名には、ステップS51の処理で取得された同一または類似したセンサであって、稼働時間が類似したセンサの認識結果の物体名を利用してもよい。
ステップS52において、物体認識結果の物体名が正解である、または、正解の物体名に類似する物体名であると判定された場合、処理は、ステップS53に進む。
ステップS53において、比較部223は、現在の認識結果に基づいた位置と、正解の位置と比較し、比較結果を劣化判断部224に供給する。劣化判断部224は、比較結果に基づいて、認識結果の位置が正解の位置に対して許容範囲内であるか否かを判定する。
ここで、位置認識結果が正解の位置に対して許容範囲内であるか否かとは、ステップS51の処理で取得された同一または類似したセンサであって、稼働時間が類似したセンサの認識結果の位置に基づいた、正解の位置からの距離の、例えば、平均値などであり、他車のセンサとの比較で、十分な精度で認識できているか否かでもよい。
ステップS53において、認識結果の位置が正解の位置に対して許容範囲内であると判定された場合、処理は、ステップS54に進む。
ステップS54において、比較部223は、自車のセンサのセンシング結果に基づいた今現在の信頼度と、ステップS51の処理で取得された他車の信頼度より求められる閾値(例えば、平均値)とを比較し、比較結果を劣化判断部224に出力する。劣化判断部224は、比較結果に基づいて、今現在の信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下しているか否かを判定する。
ここでの判断については、例えば、他車の信頼度に基づいた、図8乃至図12を参照して説明した外れ値検出、変化点検出、および異常部位検出の少なくともいずれか、または、組み合わせ等により判断されるようにしてもよい。
ステップS54において、今現在の算出された信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下していないと判定された場合、処理は、ステップS55に進む。
ステップS55において、劣化判断部224は、劣化による影響はないとみなして、自動運転により走行が可能であるとみなし、その旨を状況認識部153に通知する。これに車両91による自動運転が継続される。
一方、ステップS54において、今現在の信頼度より判断される劣化が、保険料の変更が必要とされる閾値よりも低下していると判定された場合、処理は、ステップS56に進む。
ステップS56において、劣化判断部224は、比較結果に基づいて、今現在の信頼度より判断される劣化が、走行不能とみなされる閾値よりも低下しているか否かを判定する。
ステップS56において、比較結果に基づいて、今現在の信頼度より判断される劣化が、走行不能とみなされる閾値よりも低下していないと判定された場合、処理は、ステップS57に進む。
ステップS57において、劣化判断部224は、保険料決定部225に対して、今現在の劣化の程度に応じた保険料を計算させる。
ステップS58において、劣化判断部224は、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料であるか否かを判定する。
ステップS58において、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料である場合、処理は、ステップS59に進む。
ステップS59において、劣化判断部224は、保険料決定部225により計算された、劣化に応じた保険料の情報に基づいて、UI表示制御部226を制御して、車両91のユーザ、または、オーナに対して保険料の更新の承認を要求する、図14乃至図18を参照して説明した画像を表示させる。
ステップS60において、劣化判断部224は、図14乃至図18を参照して説明した保険料の更新の承認を要求する画像の表示に応じて、保険料の更新が承認されたか否かを判定する。
ステップS60において、図14乃至図16におけるボタンB51、または図17,図18におけるボタンB71が操作されることにより、保険料の更新が承認されたとみなされた場合、処理は、ステップS61に進む。
ステップS61において、劣化判断部224は、通信部103を制御して、不図示の保険会社のサーバにアクセスし、承認された保険料で契約を更新し、処理は、ステップS55に進む。
すなわち、この場合、他車の同一または類似したセンサであって、稼働時間が類似したセンサの認識結果および信頼度の情報と、自車の認識結果および信頼度との比較により、劣化の発生を認めつつ、劣化のレベルに応じたリスクに対応するため、保険料を再計算して、ユーザ、または、オーナにより保険料の更新の承認が必要な所定の金額より高額な保険料であって、承認を要求したときに、承認された保険料で保険契約を更新して、自動運転を継続させる。
また、ステップS52において、物体認識結果の物体名が正解でもなく、正解の物体名に類似する物体名でもないと判定された場合、ステップS56において、判断される劣化が、走行不能とみなされる閾値よりも低下していると判定された場合、ステップS60において、図14乃至図16におけるボタンB52、または図17,図18におけるボタンB72が操作されることにより、保険料の更新が承認されないとみなされた場合、いずれにおいても、処理は、ステップS62に進む。
ステップS62において、劣化判断部224は、劣化による影響により、自動運転による走行が不能であるとみなし、その旨を状況認識部153に通知する。これに車両91による自動運転は中止される。
ステップS63において、劣化判断部224は、通信部103を制御して、必要に応じて、自動運転が可能な車両91の代車を要求する。
さらに、ステップS58において、保険料決定部225により計算された、劣化に応じた保険料が、ユーザ、または、オーナに対して更新の承認が必要な、所定の金額よりも高額の保険料ではない場合、ステップS59,S60の処理が、スキップされる。
すなわち、他車の同一または類似したセンサであって、稼働時間が類似したセンサの認識結果および信頼度の情報と、自車の認識結果および信頼度との比較により、劣化の発生を認めつつ、劣化のレベルに応じたリスクに対応する、再計算された保険料で、ユーザ、または、オーナに対して承認要求することなく、自動的に保険契約を更新して、自動運転を継続させる。
以上の一連の処理により、自車のセンサと同一または類似する型式のセンサであって、類似した稼働時間の他車のセンサの認識結果および信頼度の情報に基づいて、物体認識結果の物体名が正解で、位置認識結果が所定の範囲内で、かつ、信頼度の劣化が保険料の変更が必要なほどではない場合、自動運転が継続される。
また、物体認識結果の物体名が正解で、位置認識結果が所定の範囲内で、かつ、信頼度の劣化が保険料の変更が必要であって、自動運転が不能ではない場合、劣化に応じた保険料が再計算され、所定の金額より低額であるときには、再計算された保険料で保険契約が自動的に更新されて自動運転が継続され、所定の金額よりも高額であるときには、再計算された保険料での契約更新について承認を要求し、要求に応じて承認されると、再計算された保険料で契約が更新されて、自動運転が継続される。
さらに、物体認識結果の物体名が正解でない、位置認識結果が所定の範囲内ではない、または、信頼度の劣化が保険料の変更が必要なほどである場合であって、保険料の更新が承認されないとき、さらに、自動運転が不能なほど劣化している場合、自動運転が中止される。
また、以上の処理の説明においては、センサのうちのカメラによる劣化診断の例であるが、データ取得部102に含まれる全てのセンサについて同様の劣化診断処理がなされる。
これにより、いずれかのセンサの劣化が検出されると、劣化の程度に応じて自動運転の可否を判定することが可能となる。
また、これにより、他車の車両91で使用されているセンサと同一または類似したセンサであって、稼働時間が類似した、換言すれば、ほぼ同様の経年劣化が生じたセンサとの比較結果に基づいた劣化診断処理を実現することが可能となる。
結果として、センサの型式毎の特性と経年劣化とを考慮した劣化診断処理により、センサが完全に故障してしまう状況に陥る前に自動運転の可否を高精度に判定することができるので、故障による事故の発生リスクを低減させることが可能となる。
<<5.応用例>>
以上においては、車両91が、住宅街などの高い安全性が要求される様々なエリアなどの入口等に設けられた試験場51において、劣化診断処理がなされる劣化診断システム31について説明してきたが、屋外の特定の位置で、例えば、信号停車するようなタイミングに劣化診断処理がなされるような劣化診断システム31を構成するようにしてもよい。
以上においては、車両91が、住宅街などの高い安全性が要求される様々なエリアなどの入口等に設けられた試験場51において、劣化診断処理がなされる劣化診断システム31について説明してきたが、屋外の特定の位置で、例えば、信号停車するようなタイミングに劣化診断処理がなされるような劣化診断システム31を構成するようにしてもよい。
すなわち、例えば、図23の劣化診断システム31で示されるように、道路383上を走行中の車両91が、信号機381が赤信号のため、信号機381より所定の距離D11となる停止位置P111に停車した場合に、停車位置P111から所定の距離D12に存在する標識382などを認識対象物として用いて劣化診断処理を行うようにしてもよい。
このようにすることで、試験場51のような構成を必要としないので、手軽に劣化診断処理を実現することが可能となる。
尚、図23の劣化診断システム31においては、試験場51を用いない屋外での劣化診断処理となるため、天候や時刻等により明るさや風等の屋外における環境の影響を考慮した物体認識結果に対する評価が必要となる。
例えば、環境条件が同一の他車の認識結果と信頼度とを利用した劣化診断処理を実行することにより、環境による影響を考慮した劣化診断処理を実現することができる。
<<6.ソフトウェアにより実行させる例>>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図24は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブル記憶媒体1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図24におけるCPU1001が、図5,図19,図20の劣化診断部182の機能を実現させる。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、上述した実施の形態は、センサの劣化診断処理を実行するものであるが、同様の方法によって、センサの安全性能評価を行うことも可能である。
尚、本開示は、以下のような構成も取ることができる。
<1> 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理システム。
<2> 前記他の認識結果は、自車における過去の認識結果である
<1>に記載の情報処理システム。
<3> 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記比較部は、前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
<2>に記載の情報処理システム。
<4> 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて外れ値を算出し、前記外れ値の数と、所定の閾値とを比較し、
前記劣化評価部は、前記センサの個別の前記外れ値と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
<1>に記載の情報処理システム。
<5> 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて変化点を検出し、前記変化点における変化量と、所定の閾値とを比較し、
前記劣化評価部は、前記比較部による前記センサの個別の前記変化点における変化量と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
<1>に記載の情報処理システム。
<6> 前記他の認識結果は、自車とは異なる他車の認識結果である
<1>に記載の情報処理システム。
<7> 前記他の認識結果は、前記他車の、前記自車のセンサと、同一のセンサまたは類似したセンサのセンシング結果に基づいた認識結果である
<6>に記載の情報処理システム。
<8> 前記他の認識結果は、前記他車の、前記自車のセンサと、同一の稼働時間のセンサまたは類似した稼働時間のセンサのセンシング結果に基づいた認識結果である
<6>に記載の情報処理システム。
<9> 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記記憶部は、クラウドサーバに設けられ、
前記比較部は、前記クラウドサーバの前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
<6>に記載の情報処理システム。
<10> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記車両の自動運転を停止させる状況認識部をさらに備える
<1>に記載の情報処理システム。
<11> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、劣化に応じた保険料を決定する保険料決定部をさらに備え、
劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
<10>に記載の情報処理システム。
<12> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、前記車両のユーザ、またはオーナに、前記劣化に応じた保険料による保険契約の更新の承認を要求する情報を通知し、前記通知に対して、前記劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
<11>に記載の情報処理システム。
<13> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、劣化に応じた保険料による保険契約の更新が承認されないとき、前記状況認識部は、前記車両の自動運転を停止させる
<11>に記載の情報処理システム。
<14> 前記比較部と、前記劣化評価部とは、クラウドサーバに設けられる
<1>に記載の情報処理システム。
<15> 前記認識結果取得部は、前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間における、前記車両に搭載された複数のセンサのセンシング結果に基づいた、前記所定の認識対象物の認識結果を取得する
<1>に記載の情報処理システム。
<16> 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、環境の影響を受けない空間である
<14>に記載の情報処理システム。
<17> 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、前記環境の影響を受ける空間であり、
前記劣化評価部は、前記環境の影響を考慮して、前記比較部による前記センサの個別の比較結果に基づいて、前記センサの個別の性能劣化を評価する
<16>に記載の情報処理システム。
<18> 前記比較部は、前記認識結果に基づいた信頼度と、前記他の認識結果に基づいた信頼度とを比較し、
前記劣化評価部は、前記認識結果に対する信頼度と、前記他の認識結果に対する信頼度との比較結果に基づいて、前記センサの性能劣化を評価する
<16>に記載の情報処理システム。
<19> 前記認識対象物は、さらに、物体名が既知であり、
前記認識結果は、前記認識対象物の検出位置、および物体名であり、
前記認識結果に基づいて、前記認識結果に対する信頼度を算出する信頼度算出部をさらに含む
<17>に記載の情報処理システム。
<20> 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得し、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力し、
比較結果に基づいて、前記センサの個別の性能劣化を評価する
ステップを含む情報処理方法。
<21> 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理装置。
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理システム。
<2> 前記他の認識結果は、自車における過去の認識結果である
<1>に記載の情報処理システム。
<3> 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記比較部は、前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
<2>に記載の情報処理システム。
<4> 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて外れ値を算出し、前記外れ値の数と、所定の閾値とを比較し、
前記劣化評価部は、前記センサの個別の前記外れ値と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
<1>に記載の情報処理システム。
<5> 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて変化点を検出し、前記変化点における変化量と、所定の閾値とを比較し、
前記劣化評価部は、前記比較部による前記センサの個別の前記変化点における変化量と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
<1>に記載の情報処理システム。
<6> 前記他の認識結果は、自車とは異なる他車の認識結果である
<1>に記載の情報処理システム。
<7> 前記他の認識結果は、前記他車の、前記自車のセンサと、同一のセンサまたは類似したセンサのセンシング結果に基づいた認識結果である
<6>に記載の情報処理システム。
<8> 前記他の認識結果は、前記他車の、前記自車のセンサと、同一の稼働時間のセンサまたは類似した稼働時間のセンサのセンシング結果に基づいた認識結果である
<6>に記載の情報処理システム。
<9> 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記記憶部は、クラウドサーバに設けられ、
前記比較部は、前記クラウドサーバの前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
<6>に記載の情報処理システム。
<10> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記車両の自動運転を停止させる状況認識部をさらに備える
<1>に記載の情報処理システム。
<11> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、劣化に応じた保険料を決定する保険料決定部をさらに備え、
劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
<10>に記載の情報処理システム。
<12> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、前記車両のユーザ、またはオーナに、前記劣化に応じた保険料による保険契約の更新の承認を要求する情報を通知し、前記通知に対して、前記劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
<11>に記載の情報処理システム。
<13> 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、劣化に応じた保険料による保険契約の更新が承認されないとき、前記状況認識部は、前記車両の自動運転を停止させる
<11>に記載の情報処理システム。
<14> 前記比較部と、前記劣化評価部とは、クラウドサーバに設けられる
<1>に記載の情報処理システム。
<15> 前記認識結果取得部は、前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間における、前記車両に搭載された複数のセンサのセンシング結果に基づいた、前記所定の認識対象物の認識結果を取得する
<1>に記載の情報処理システム。
<16> 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、環境の影響を受けない空間である
<14>に記載の情報処理システム。
<17> 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、前記環境の影響を受ける空間であり、
前記劣化評価部は、前記環境の影響を考慮して、前記比較部による前記センサの個別の比較結果に基づいて、前記センサの個別の性能劣化を評価する
<16>に記載の情報処理システム。
<18> 前記比較部は、前記認識結果に基づいた信頼度と、前記他の認識結果に基づいた信頼度とを比較し、
前記劣化評価部は、前記認識結果に対する信頼度と、前記他の認識結果に対する信頼度との比較結果に基づいて、前記センサの性能劣化を評価する
<16>に記載の情報処理システム。
<19> 前記認識対象物は、さらに、物体名が既知であり、
前記認識結果は、前記認識対象物の検出位置、および物体名であり、
前記認識結果に基づいて、前記認識結果に対する信頼度を算出する信頼度算出部をさらに含む
<17>に記載の情報処理システム。
<20> 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得し、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力し、
比較結果に基づいて、前記センサの個別の性能劣化を評価する
ステップを含む情報処理方法。
<21> 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理装置。
31 劣化診断システム, 51 試験場, 61 認識対象物, 91,91-1乃至91-n 車両, 91a カメラ, 91b LiDAR, 91c ミリ波レーダ, 103 通信部, 111 記憶部, 143 車両状態検出部, 181 劣化診断部, 220 認識部, 221 認識結果取得部, 222 信頼度算出部, 223 比較部, 224 劣化判断部, 225 保険料決定部, 226 UI表示制御部, 241 カメラ認識部, 242 LiDAR認識部, 243 ミリ波レーダ認識部, 244 その他のセンサ認識部, 225 位置情報取得部, 301 クラウドサーバ, 311 記憶部, 312 保険料決定部, 351 クラウドサーバ, 361 記憶部, 223 第3特徴量計算部, 271 第2特徴量計算部, 272 第3特徴量計算部
Claims (21)
- 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理システム。 - 前記他の認識結果は、自車における過去の認識結果である
請求項1に記載の情報処理システム。 - 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記比較部は、前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
請求項2に記載の情報処理システム。 - 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて外れ値を算出し、前記外れ値の数と、所定の閾値とを比較し、
前記劣化評価部は、前記センサの個別の前記外れ値と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
請求項1に記載の情報処理システム。 - 前記比較部は、取得された前記認識結果と、前記他の認識結果とに基づいて変化点を検出し、前記変化点における変化量と、所定の閾値とを比較し、
前記劣化評価部は、前記比較部による前記センサの個別の前記変化点における変化量と、前記所定の閾値との比較結果に基づいて、前記センサの個別の性能劣化を評価する
請求項1に記載の情報処理システム。 - 前記他の認識結果は、自車とは異なる他車の認識結果である
請求項1に記載の情報処理システム。 - 前記他の認識結果は、前記他車の、前記自車のセンサと、同一のセンサまたは類似したセンサのセンシング結果に基づいた認識結果である
請求項6に記載の情報処理システム。 - 前記他の認識結果は、前記他車の、前記自車のセンサと、同一の稼働時間のセンサまたは類似した稼働時間のセンサのセンシング結果に基づいた認識結果である
請求項6に記載の情報処理システム。 - 前記認識結果取得部により、取得された認識結果を蓄積する記憶部をさらに備え、
前記記憶部は、クラウドサーバに設けられ、
前記比較部は、前記クラウドサーバの前記記憶部に蓄積された認識結果を、前記他の認識結果として、取得された前記認識結果と比較する
請求項6に記載の情報処理システム。 - 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記車両の自動運転を停止させる状況認識部をさらに備える
請求項1に記載の情報処理システム。 - 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、劣化に応じた保険料を決定する保険料決定部をさらに備え、
劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
請求項10に記載の情報処理システム。 - 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、前記車両のユーザ、またはオーナに、前記劣化に応じた保険料による保険契約の更新の承認を要求する情報を通知し、前記通知に対して、前記劣化に応じた保険料による保険契約の更新が承認されたとき、前記状況認識部は、前記車両の自動運転を継続させる
請求項11に記載の情報処理システム。 - 前記劣化評価部により、前記センサの性能劣化が所定の閾値よりも劣化していると評価される場合、前記保険料決定部は、劣化に応じた保険料を決定し、劣化に応じた保険料による保険契約の更新が承認されないとき、前記状況認識部は、前記車両の自動運転を停止させる
請求項11に記載の情報処理システム。 - 前記比較部と、前記劣化評価部とは、クラウドサーバに設けられる
請求項1に記載の情報処理システム。 - 前記認識結果取得部は、前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間における、前記車両に搭載された複数のセンサのセンシング結果に基づいた、前記所定の認識対象物の認識結果を取得する
請求項1に記載の情報処理システム。 - 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、環境の影響を受けない空間である
請求項14に記載の情報処理システム。 - 前記車両と、前記所定の認識対象物との位置関係が既知の関係を成す空間は、前記環境の影響を受ける空間であり、
前記劣化評価部は、前記環境の影響を考慮して、前記比較部による前記センサの個別の比較結果に基づいて、前記センサの個別の性能劣化を評価する
請求項16に記載の情報処理システム。 - 前記比較部は、前記認識結果に基づいた信頼度と、前記他の認識結果に基づいた信頼度とを比較し、
前記劣化評価部は、前記認識結果に対する信頼度と、前記他の認識結果に対する信頼度との比較結果に基づいて、前記センサの性能劣化を評価する
請求項16に記載の情報処理システム。 - 前記認識対象物は、さらに、物体名が既知であり、
前記認識結果は、前記認識対象物の検出位置、および物体名であり、
前記認識結果に基づいて、前記認識結果に対する信頼度を算出する信頼度算出部をさらに含む
請求項17に記載の情報処理システム。 - 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得し、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力し、
比較結果に基づいて、前記センサの個別の性能劣化を評価する
ステップを含む情報処理方法。 - 車両に搭載された複数のセンサのセンシング結果に基づいた、所定の認識対象物の認識結果を取得する認識結果取得部と、
取得された前記認識結果と、前記取得された認識結果とは異なる他の認識結果とを比較し、比較結果として出力する比較部と、
前記比較部による前記比較結果に基づいて、前記センサの個別の性能劣化を評価する劣化評価部と
を備える情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/754,215 US20220327818A1 (en) | 2019-10-04 | 2020-09-18 | Information processing system, information processing method, and information processing apparatus |
CN202080067929.XA CN114787889A (zh) | 2019-10-04 | 2020-09-18 | 信息处理装置、信息处理方法和信息处理装置 |
JP2021550619A JPWO2021065559A1 (ja) | 2019-10-04 | 2020-09-18 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019183473 | 2019-10-04 | ||
JP2019-183473 | 2019-10-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021065559A1 true WO2021065559A1 (ja) | 2021-04-08 |
Family
ID=75338003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/035399 WO2021065559A1 (ja) | 2019-10-04 | 2020-09-18 | 情報処理システム、および情報処理方法、並びに情報処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220327818A1 (ja) |
JP (1) | JPWO2021065559A1 (ja) |
CN (1) | CN114787889A (ja) |
WO (1) | WO2021065559A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022219917A1 (ja) * | 2021-04-12 | 2022-10-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
JP7427746B1 (ja) | 2022-10-26 | 2024-02-05 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7497587B2 (ja) * | 2020-03-24 | 2024-06-11 | Omデジタルソリューションズ株式会社 | 撮像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012098117A (ja) * | 2010-11-01 | 2012-05-24 | Denso Corp | 異常検出装置、および異常検出プログラム |
WO2018061425A1 (ja) * | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | センサ故障検出装置およびそのための制御方法 |
WO2018212346A1 (ja) * | 2017-05-18 | 2018-11-22 | パイオニア株式会社 | 制御装置、走査システム、制御方法、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130208121A1 (en) * | 2012-02-10 | 2013-08-15 | Xerox Corporation | Traffic camera diagnostics via test targets |
US10466709B2 (en) * | 2013-11-08 | 2019-11-05 | Hitachi, Ltd. | Autonomous driving vehicle and autonomous driving system |
US20210133871A1 (en) * | 2014-05-20 | 2021-05-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature usage recommendations |
US20170023659A1 (en) * | 2015-05-08 | 2017-01-26 | 5D Robotics, Inc. | Adaptive positioning system |
US10410291B1 (en) * | 2016-09-02 | 2019-09-10 | State Farm Mutual Automobile Insurance Company | Systems and methods for analyzing unmanned aerial missions |
EP3410382A1 (en) * | 2017-05-30 | 2018-12-05 | iOnRoad Technologies Ltd. | Dynamic adaptation of insurance policy for a vehicle according to a selected driving profile |
JP7164309B2 (ja) * | 2018-02-27 | 2022-11-01 | 株式会社デンソー | 周辺監視装置および周辺監視システム |
JP7075244B2 (ja) * | 2018-02-28 | 2022-05-25 | 株式会社デンソー | 周辺監視装置、周辺監視システム、および周辺監視方法 |
-
2020
- 2020-09-18 CN CN202080067929.XA patent/CN114787889A/zh active Pending
- 2020-09-18 WO PCT/JP2020/035399 patent/WO2021065559A1/ja active Application Filing
- 2020-09-18 JP JP2021550619A patent/JPWO2021065559A1/ja active Pending
- 2020-09-18 US US17/754,215 patent/US20220327818A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012098117A (ja) * | 2010-11-01 | 2012-05-24 | Denso Corp | 異常検出装置、および異常検出プログラム |
WO2018061425A1 (ja) * | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | センサ故障検出装置およびそのための制御方法 |
WO2018212346A1 (ja) * | 2017-05-18 | 2018-11-22 | パイオニア株式会社 | 制御装置、走査システム、制御方法、およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022219917A1 (ja) * | 2021-04-12 | 2022-10-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
JP7427746B1 (ja) | 2022-10-26 | 2024-02-05 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021065559A1 (ja) | 2021-04-08 |
US20220327818A1 (en) | 2022-10-13 |
CN114787889A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7136106B2 (ja) | 車両走行制御装置、および車両走行制御方法、並びにプログラム | |
WO2021065559A1 (ja) | 情報処理システム、および情報処理方法、並びに情報処理装置 | |
US20210097707A1 (en) | Information processing device, movement device, and method, and program | |
WO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
WO2020250725A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7382327B2 (ja) | 情報処理装置、移動体、情報処理方法及びプログラム | |
WO2020100585A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US11815887B2 (en) | Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program | |
JP7257737B2 (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
WO2020090306A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20200298849A1 (en) | Information processing apparatus, information processing method, program, and vehicle | |
WO2021010083A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2019131116A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019078010A1 (ja) | 情報処理装置、情報処理方法、移動体、及び、車両 | |
WO2019073795A1 (ja) | 情報処理装置、自己位置推定方法、プログラム、及び、移動体 | |
JP7192771B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、車両 | |
WO2021070768A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
WO2021024805A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7451423B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
JP7367014B2 (ja) | 信号処理装置、信号処理方法、プログラム、及び、撮像装置 | |
JP2022028989A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7441839B2 (ja) | 異常検出装置と異常検出方法およびプログラムと情報処理システム | |
JPWO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20871778 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021550619 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20871778 Country of ref document: EP Kind code of ref document: A1 |