WO2018163491A1 - 自動運転車両監視装置、方法およびプログラム - Google Patents

自動運転車両監視装置、方法およびプログラム Download PDF

Info

Publication number
WO2018163491A1
WO2018163491A1 PCT/JP2017/036704 JP2017036704W WO2018163491A1 WO 2018163491 A1 WO2018163491 A1 WO 2018163491A1 JP 2017036704 W JP2017036704 W JP 2017036704W WO 2018163491 A1 WO2018163491 A1 WO 2018163491A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
driver
driving vehicle
automatic driving
Prior art date
Application number
PCT/JP2017/036704
Other languages
English (en)
French (fr)
Inventor
円香 渡部
啓 菅原
光司 滝沢
岡地　一喜
充恵 鵜野
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2018163491A1 publication Critical patent/WO2018163491A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present invention relates to an automatic driving vehicle monitoring apparatus, method and program for monitoring an autonomous driving vehicle existing around the vehicle.
  • the automatic driving mode includes, for example, navigation system information using GPS (Global Positioning System), traffic information acquired by road-to-vehicle communication, and information on a surrounding monitoring system that monitors the position and movement of surrounding people and vehicles.
  • GPS Global Positioning System
  • the vehicle can be automatically driven by controlling a power unit, a steering device, a brake, and the like (see, for example, JP-A-2015-141053).
  • an automatic driving control device that enables automatic driving of a vehicle
  • traveling information of a vehicle that is actually traveling in an automatic driving mode improves or improves the automatic driving control device. It is valuable information for doing and correcting.
  • information on how an autonomous driving vehicle looks to the drivers of other vehicles around it and how it feels to the drivers of other vehicles also develops an automated driving control device. For example, it is valuable information for the development of its control algorithm.
  • the present invention has been made in consideration of such a current situation, and provides a new automatic driving vehicle monitoring apparatus for monitoring an automatic driving vehicle existing around the vehicle.
  • a first aspect of the present invention is an automatic driving vehicle monitoring device that monitors an autonomous driving vehicle that exists in the vicinity of the vehicle, based on the driver monitoring information of the driver monitoring sensor, A driver state information acquisition unit that acquires state information related to a driver's state; information on surrounding vehicles existing around the vehicle; and information on whether or not the surrounding vehicle is an autonomous driving vehicle.
  • An automatic driving vehicle information acquisition unit that acquires vehicle information related to the driving vehicle, and detects the driver's crisis feeling based on the state information, and the driver's crisis based on the state information and the vehicle information
  • a crisis emotion determination unit that determines whether or not the cause of emotion is the surrounding vehicle, and the cause of the driver's crisis emotion is determined to be the surrounding vehicle, and the surrounding vehicle is the autonomous driving vehicle.
  • a transmission information output unit for generating transmission information for instructing transmission of situation information including the vehicle information regarding the autonomous driving vehicle and crisis emotion information regarding the driver's crisis emotion, and outputting the transmission information to a transmission device; Prepare.
  • An automatic driving vehicle monitoring apparatus relates to the automatic driving vehicle monitoring apparatus according to the first aspect, wherein the state information includes line-of-sight direction information indicating the direction of the driver's line of sight, and
  • the driving vehicle information acquisition unit acquires vehicle position information representing the position of the surrounding vehicle based on the outside monitoring information obtained by the outside monitoring sensor, and the crisis emotion determination unit detects the driver's crisis emotion. It is determined whether or not the cause of the driver's crisis feeling is the surrounding vehicle based on the gaze direction information and the vehicle position information.
  • An automatic driving vehicle monitoring device relates to the automatic driving vehicle monitoring device according to the first aspect, wherein the automatic driving vehicle information acquisition unit is based on out-of-vehicle monitoring information obtained by an out-of-vehicle monitoring sensor. Information on whether or not the surrounding vehicle is the autonomous driving vehicle is acquired.
  • An automatic driving vehicle monitoring apparatus relates to the automatic driving vehicle monitoring apparatus according to the first aspect, and inquires whether or not the surrounding vehicle is the automatic driving vehicle. Outputs transmission information for instructing transmission of information on the surrounding vehicle to the service providing server, and the automatic driving vehicle information acquisition unit determines whether the surrounding vehicle is the automatic driving vehicle or not. Information is acquired from the service providing server.
  • An automatic driving vehicle monitoring apparatus relates to the automatic driving vehicle monitoring apparatus according to any one of the first to fifth aspects, wherein the transmission information output unit is configured to transmit the vehicle to a service providing server. Transmission information for instructing transmission of the situation information including information and the crisis emotion information is output to the transmission device.
  • the automatic driving vehicle monitoring device detects a driver's crisis emotion, and when the cause of the crisis emotion is an automatic driving vehicle, vehicle information on the autonomous driving vehicle and the driver's crisis. Transmission information including crisis emotion information related to emotion is generated and output to the transmission device. Thereby, the information regarding the relationship between the vehicle information regarding the autonomous driving vehicle and the crisis emotion information regarding the driver's crisis emotion is provided.
  • the automatic driving vehicle monitoring device is based on the driver's gaze direction information when the driver's crisis feeling is detected and the vehicle position information of the surrounding vehicles. It is determined whether or not the cause of the crisis emotion is a surrounding vehicle. Thereby, it is clearly specified that the surrounding vehicle has caused the driver to feel a crisis.
  • the automatic driving vehicle monitoring device acquires information on whether or not the surrounding vehicle is an automatic driving vehicle based on the outside monitoring information obtained by the outside monitoring sensor. Since the self-driving vehicle monitoring device itself has a function of determining whether or not the surrounding vehicle is an autonomous driving vehicle, whether the surrounding vehicle is an autonomous driving vehicle without depending on external devices or information sources. It can be determined whether or not.
  • the automatic driving vehicle monitoring apparatus acquires information on whether or not the surrounding vehicle is an automatic driving vehicle from the service providing server. For this reason, since the automatic driving vehicle monitoring device does not require a function of determining whether or not the surrounding vehicle is an automatic driving vehicle, the functional configuration is simplified.
  • the vehicle information related to the autonomous driving vehicle and the crisis emotion information related to the driver's crisis emotion are transmitted to the service providing server.
  • the vehicle information regarding the autonomous driving vehicle and the crisis emotion information regarding the driver's crisis emotion are provided, for example, to related companies of the automatic driving control device of the autonomous driving vehicle.
  • the affiliated company of the automatic driving control device can obtain valuable information during the actual automatic driving of the autonomous driving vehicle.
  • FIG. 1 is a diagram showing an overall configuration of an automatic driving control system including a driving support device including an automatic driving vehicle monitoring device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the autonomous driving vehicle monitoring apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing the procedure and control contents of automatic driving vehicle monitoring by the automatic driving vehicle monitoring apparatus shown in FIG.
  • FIG. 4 is a diagram schematically illustrating a state in which the situation information transmitted from the vehicle is provided to the related company of the automatic driving control apparatus via the service providing server.
  • FIG. 1 is a diagram showing an overall configuration of an automatic driving control system according to an embodiment of the present invention.
  • This automatic driving control system is mounted on a vehicle 1 such as a passenger car.
  • the vehicle 1 includes, as basic equipment, a power unit 2 including a power source and a transmission, and a steering device 3 equipped with a steering wheel 3a.
  • a power unit 2 including a power source and a transmission
  • a steering device 3 equipped with a steering wheel 3a.
  • An engine and / or a motor is used as the power source.
  • the vehicle 1 is configured to be able to travel in either the manual operation mode or the automatic operation mode.
  • the manual driving mode is a mode in which the vehicle 1 is driven mainly by a driver's manual driving operation, for example.
  • the manual operation mode includes, for example, an operation mode for driving the vehicle based only on the driver's driving operation, and an operation mode for performing driving operation support control for supporting the driving operation of the driver while mainly driving the driver's driving operation. Is included.
  • the driving operation support control assists the steering torque so that the driver's steering becomes an appropriate steering amount based on the curvature of the curve when the vehicle 1 is traveling on the curve, for example.
  • the driving operation support control includes control for assisting a driver's accelerator operation (for example, operation of an accelerator pedal) or brake operation (for example, operation of a brake pedal), manual steering (manual operation of steering), and manual speed adjustment (speed). Adjustment manual operation) is also included.
  • a driver's accelerator operation for example, operation of an accelerator pedal
  • brake operation for example, operation of a brake pedal
  • manual steering manual operation of steering
  • speed manual speed adjustment
  • Adjustment manual operation is also included.
  • manual steering the vehicle 1 is steered mainly by the driver's operation of the steering wheel 3a.
  • the manual speed adjustment the speed of the vehicle is adjusted mainly by the driver's accelerator operation or brake operation.
  • the driving operation support control does not include control for forcibly intervening in the driving operation of the driver and automatically driving the vehicle.
  • the driving operation of the driver is reflected in the driving of the vehicle within a preset allowable range, but forcibly intervenes in the driving of the vehicle under certain conditions (for example, deviation from the lane of the vehicle). Control to do is not included.
  • the automatic operation mode is a mode that realizes an operation state in which the vehicle automatically travels along the road on which the vehicle travels, for example.
  • the automatic driving mode includes, for example, a driving state in which the vehicle automatically travels toward a preset destination without driving by the driver.
  • the automatic driving mode it is not always necessary to automatically control all of the vehicle, and the driving state in which the driving operation of the driver is reflected in the driving of the vehicle within the preset allowable range is also included in the automatic driving mode. That is, the automatic driving mode includes control for forcibly intervening in driving of the vehicle under certain conditions, while reflecting the driving operation of the driver in driving of the vehicle within a preset allowable range.
  • the vehicle 1 is also provided with an automatic driving control device 5 for executing driving control in the automatic driving mode.
  • the automatic driving control device 5 acquires sensing information from the steering sensor 11, the accelerator pedal sensor 12, the brake pedal sensor 13, the GPS receiver 14, the gyro sensor 15, and the vehicle speed sensor 16, respectively.
  • the automatic driving control device 5 is a peripheral monitoring system that monitors these sensing information, route information generated by a navigation system (not shown), traffic information acquired by road-to-vehicle communication, and positions and movements of surrounding people and vehicles.
  • the vehicle 1 is automatically controlled based on the information obtained by the above.
  • Automatic control includes, for example, automatic steering (automatic steering operation) and automatic speed adjustment (automatic driving of speed).
  • Automatic steering is an operating state in which the steering device 3 is automatically controlled.
  • Automatic steering includes LKA (Lane Keeping Assist).
  • LKA Li Keeping Assist
  • the LKA automatically controls the steering device 3 so that the vehicle 1 does not deviate from the traveling lane even when the driver does not perform the steering operation.
  • the driver's steering operation may be reflected in the steering of the vehicle in a range where the vehicle 1 does not deviate from the travel lane (allowable range).
  • automatic steering is not limited to LKA.
  • Automatic speed adjustment is an operating state in which the speed of the vehicle 1 is automatically controlled.
  • Automatic speed adjustment includes ACC (Adaptive Cruise Control). For example, when there is no preceding vehicle ahead of the vehicle 1, ACC performs constant speed control that causes the vehicle 1 to travel at a constant speed at a preset speed, and when the preceding vehicle exists ahead of the vehicle 1. Is a follow-up control that adjusts the vehicle speed of the vehicle 1 in accordance with the inter-vehicle distance from the preceding vehicle.
  • the automatic operation control device 5 decelerates the vehicle 1 according to the driver's brake operation (for example, operation of the brake pedal) even when ACC is being executed.
  • the automatic operation control device 5 can perform the driver's accelerator operation (for example, accelerator) up to a preset maximum allowable speed (for example, the maximum speed legally determined on the traveling road) even during execution of ACC.
  • the vehicle can be accelerated according to the pedal operation.
  • the automatic speed adjustment is not limited to ACC but also includes CC (Cruise Control).
  • the vehicle 1 is also provided with a driving support device 6.
  • the driving support device 6 may have various functions.
  • the driving support device 6 operates in cooperation with a driver monitoring function and a notification device that constitutes a driver monitoring system that monitors the driver and grasps the state of the driver in cooperation with the driver monitoring sensor.
  • a warning output function that constitutes a warning output system that issues a warning according to the state of the driver, a driving mode switching control function that constitutes a driving mode switching control system that controls switching of the driving mode according to the driver's state, an outside sensor, and According to the driver's state in cooperation with the visual assistance function, the biological information sensor, and the stimulus output device that constitute the visual assistance system that cooperates with the notification device to assist the driver's visual recognition based on the driver's state.
  • Information related to an autonomous driving vehicle by monitoring an autonomous driving vehicle in the vicinity of the vehicle 1 in cooperation with an awakening support function, an outside sensor, and a transmission device that constitute an awakening support system that promotes awakening of the driver. It may have such transmission automatically driven vehicle monitoring functions.
  • the driver's condition is, for example, whether the driver is concentrating on driving, whether the driver is looking aside, whether the driver is drowsy, Whether the driver is in a panic, whether the driver is asleep, and if the driver is in automatic driving, is the driver ready to return to manual driving? And so on.
  • the driver's state also includes changes in the driver's state that appear within a short period of time, in other words, the driver's movement. That is, the state of the driver may be, for example, the movement of the driver's line of sight. The movement of the driver's line of sight can be grasped by, for example, the direction of the driver's line of sight and the residence time of the driver's line of sight in that direction.
  • the driver's condition is grasped as follows. First, a driver monitoring image is acquired by the driver monitoring sensor. Next, the driver's eye opening degree, blinking frequency, eye movement, and the like are analyzed based on the acquired monitoring video. Subsequently, the direction of the driver's line of sight and the staying time, the driver's arousal level, and the like are recognized based on the analysis result. Further, the state of the driver is specified by comparing the direction of the driver's line of sight and the staying time, the driver's arousal level, and the like with a preset threshold value.
  • the driving support device 6 includes at least a driver monitoring unit 6a that performs a driver monitoring function and an automatic driving vehicle monitoring unit 6b that performs an automatic driving vehicle monitoring function.
  • the driver monitoring unit 6a constitutes a driver monitoring system 8 in cooperation with a driver camera 7 as a driver monitoring sensor.
  • the autonomous driving vehicle monitoring unit 6b constitutes the vehicle outside monitoring system 10 in cooperation with the vehicle outside camera 9A as a vehicle outside monitoring sensor.
  • the vehicle outside monitoring system 10 includes a transmission device 9B, and cooperates with the driver monitoring system 8 to monitor an automatically driving vehicle existing around the vehicle 1 and relates to the automatic driving of the automatically driving vehicle.
  • An autonomous driving vehicle monitoring system that acquires and transmits information is configured.
  • the driver monitoring unit 6a and the autonomous driving vehicle monitoring unit 6b constitute an autonomous driving vehicle monitoring device 6A.
  • the driving support device 6 includes the automatic driving vehicle monitoring device 6A.
  • the driver's state grasped by the driver monitoring unit 6a includes at least a biological reaction caused by the driver's emotion and the direction of the driver's line of sight. That is, the driver monitoring unit 6a acquires information related to the direction of the driver's line of sight.
  • the driver camera 7 is installed at a position in front of the driver, such as on a dashboard, for example, images the driver driving the vehicle 1, and displays driver monitoring video information that is a type of driver monitoring information. Output to the automatic driving vehicle monitoring device 6A.
  • the outside camera 9A images a predetermined range, for example, in front of the vehicle 1, and outputs the image information to the autonomous driving vehicle monitoring device 6A as outside monitoring information.
  • the transmission device 9B transmits the crisis emotion information related to the driver's crisis emotion and the vehicle information related to the automatic driving vehicle that caused the transmission according to the transmission information output from the automatic driving vehicle monitoring device 6A.
  • FIG. 2 is a block diagram showing a functional configuration of the automatic driving vehicle monitoring device 6A.
  • the automatic driving vehicle monitoring device 6A is a device that cooperates with the outside camera 9A and the transmission device 9B to monitor an automatic driving vehicle existing around the vehicle, and is configured as follows.
  • the automatic driving vehicle monitoring device 6A includes a control unit 61, an input / output interface unit 62, and a storage unit 63.
  • the input / output interface unit 62 converts the input analog signal into digital data and outputs the digital data to the control unit 61, and converts the digital data output from the control unit 61 into an analog signal and outputs the analog signal. Specifically, the input / output interface unit 62 converts the driver monitoring video signal input from the driver camera 7 into driver monitoring video data and outputs the driver monitoring video data to the control unit 61. The input / output interface unit 62 also converts the outside monitoring video signal input from the outside camera 9 ⁇ / b> A into outside monitoring video data and outputs it to the control unit 61. The input / output interface unit 62 further converts the transmission data output from the control unit 61 into a transmission signal and outputs the transmission signal to the transmission device 9B.
  • the storage unit 63 uses, as a storage medium, a non-volatile memory that can be written and read at any time, such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the storage unit 63 includes a driver monitoring video storage unit 631, a driver state information storage unit 632, an out-of-vehicle monitoring video storage unit 633, and an autonomous driving vehicle information storage as storage areas used for carrying out this embodiment.
  • the storage unit 63 is not limited to a nonvolatile memory, and may be a volatile memory such as a RAM.
  • the emotion information storage unit 635 stores emotion information representing the correspondence between human emotions and biological reactions in advance as a table, for example.
  • the emotion information is not limited to this.
  • the emotion information may be a facial expression database having a correspondence relationship between human emotions and facial expressions.
  • the control unit 61 has a CPU (Central Processing Unit) and a program memory constituting the computer.
  • the control unit 61 includes a driver monitoring video acquisition unit 611, a driver state information acquisition unit 612, an out-of-vehicle monitoring video acquisition unit 613, and automatic driving vehicle information acquisition as control functions necessary for carrying out this embodiment.
  • the driver monitoring video acquisition unit 611 takes in the driver monitoring video information output from the driver camera 7 via the input / output interface unit 62, and uses the captured driver monitoring video information as the driver monitoring in the storage unit 63. It is stored in the video storage unit 631.
  • the driver state information acquisition unit 612 reads the driver monitoring video information from the driver monitoring video storage unit 631 at a preset time interval, and each time, a state related to the driver state based on the driver monitoring video information Get information.
  • the state information is not limited to this, but in this embodiment, the state information includes at least facial expression information representing the facial expression of the driver and gaze direction information representing the driver's gaze direction.
  • the driver state information acquisition unit 612 stores the acquired state information in the driver state information storage unit 632 of the storage unit 63.
  • the out-of-vehicle monitoring video acquisition unit 613 captures the out-of-vehicle monitoring video information output from the out-of-vehicle camera 9A via the input / output interface unit 62, and stores the captured out-of-vehicle monitoring video information in the out-of-vehicle monitoring video storage unit 633 of the storage unit 63.
  • the out-of-vehicle monitoring video acquisition unit 613 captures the out-of-vehicle monitoring video information output from the out-of-vehicle camera 9A via the input / output interface unit 62, and stores the captured out-of-vehicle monitoring video information in the out-of-vehicle monitoring video storage unit 633 of the storage unit 63.
  • the automatic driving vehicle information acquisition unit 614 reads out-of-vehicle monitoring video information from the out-of-vehicle monitoring video storage unit 633 at a preset time interval, and each time a surrounding vehicle exists around the vehicle 1 based on the out-of-vehicle monitoring video information.
  • the automatic driving vehicle is detected by performing a process for detecting the vehicle and a process for determining whether or not the detected surrounding vehicle is an automatic driving vehicle.
  • the autonomous driving vehicle means a vehicle running in the automatic driving mode.
  • the detection of the automatic driving vehicle includes determination of whether or not the vehicle exists within the photographing range of the outside camera 9A and determination of whether or not the vehicle is an automatic driving vehicle.
  • the automatic driving vehicle information acquisition unit 614 acquires vehicle information related to the automatic driving vehicle, including information on surrounding vehicles existing around the vehicle 1 and information on whether or not the surrounding vehicle is an automatic driving vehicle. .
  • the automatic driving vehicle information acquisition unit 614 also performs a process of monitoring the automatic driving vehicle based on the outside monitoring video information when the automatic driving vehicle is detected.
  • the process of monitoring the autonomous driving vehicle includes a process of detecting the position of the autonomous driving vehicle.
  • the detection and monitoring of the autonomous driving vehicle is performed using, for example, an image processing technique or a pattern recognition technique.
  • an autonomous driving vehicle is not obligatory, it generally displays that it is traveling in an automatic driving mode. Such display is not limited to this, but is performed, for example, by turning on an automatic operation indicator lamp.
  • the automatic driving vehicle information acquisition unit 614 performs processing for detecting an automatic driving vehicle by determining the presence / absence of such a display on the basis of the outside monitoring video information read from the outside monitoring video storage unit 633.
  • the automatic driving vehicle transmits information indicating that the vehicle is traveling in the automatic driving mode, and the automatic driving vehicle information acquisition unit 614 detects the information through inter-vehicle communication, network communication, etc. You may perform the process which detects a vehicle.
  • the automatic driving vehicle information acquisition unit 614 stores vehicle information related to the automatic driving vehicle in the automatic driving vehicle information storage unit 634 of the storage unit 63.
  • the vehicle information related to the autonomous driving vehicle includes, for example, information related to an automobile registration number mark so-called license plate and vehicle position information of the autonomous driving vehicle when the driver's crisis feeling is detected.
  • the crisis emotion determination unit 615 reads the facial expression information and emotion information from the driver state information storage unit 632 and the emotion information storage unit 635 at predetermined time intervals, and each time, based on the facial expression information and emotion information. The driver's crisis feelings are detected. The crisis emotion determination unit 615 also reads gaze direction information and vehicle position information from the driver state information storage unit 632 and the autonomous driving vehicle information storage unit 634, respectively, when the driver's crisis emotion is detected. Based on the vehicle position information, it may be determined whether or not the cause of the driver's crisis feeling is an automatic driving vehicle. The crisis emotion determination unit 615 stores the determination result information in the situation information storage unit 636 of the storage unit 63 together with the crisis emotion information related to the driver's crisis emotion and the vehicle information related to the autonomous driving vehicle.
  • the transmission information output unit 616 reads the determination result information from the situation information storage unit 636 at a preset time interval, and the determination result information indicates that the driver has a crisis feeling and the cause of the driver's crisis feeling is When indicating that the vehicle is an automatic driving vehicle, transmission information for instructing transmission of the situation information including the vehicle information of the automatic driving vehicle and the driver's crisis emotion information is generated and output to the transmission device 9B.
  • FIG. 3 is a flowchart showing the overall control procedure and control contents of the warning device configured as described above. Hereinafter, an operation example of the warning device will be described.
  • driver monitoring system 8 starts monitoring the driver in step S1. Driver monitoring continues, for example, throughout driving.
  • the driver camera 7 When driving is started, the driver camera 7 is activated, and continuously captures a predetermined range including the driver's face and outputs the video signal. In this state, the automatic driving vehicle monitoring device 6A captures the driver monitoring video information output from the driver camera 7 under the control of the driver monitoring video acquisition unit 611, and stores the captured driver monitoring video information in the storage unit. 63 stored in the driver monitoring video storage unit 631.
  • the automatic driving vehicle monitoring device 6A grasps the state of the driver every time a predetermined time passes under the control of the driver state information acquisition unit 612. Perform grasp processing.
  • the time interval of the grasping process may be set to a short time so that the driver's state can be grasped substantially continuously.
  • the driver state information acquisition unit 612 reads the driver monitoring video information from the driver monitoring video storage unit 631 at a preset time interval. Next, every time the driver monitoring video information is read, the driver status information acquisition unit 612 acquires status information related to the driver status based on the driver monitoring video information.
  • the state information includes at least facial expression information representing the facial expression of the driver and gaze direction information representing the driver's gaze direction.
  • the driver state information acquisition unit 612 stores state information including facial expression information and gaze direction information in the driver state information storage unit 632 of the storage unit 63.
  • the monitoring system 10 outside the vehicle starts monitoring outside the vehicle in step S1 in parallel with monitoring the driver by the driver monitoring system 8.
  • the monitoring outside the vehicle is continued throughout the driving, for example, like the monitoring of the driver.
  • the outside camera 9A When driving is started, the outside camera 9A is activated, and continuously captures a predetermined range around the vehicle 1 and outputs outside monitoring video information.
  • the automatic driving vehicle monitoring device 6 ⁇ / b> A takes in from the vehicle outside monitoring video information output from the vehicle outside camera 9 ⁇ / b> A under the control of the vehicle outside monitoring video acquisition unit 613, and stores the captured vehicle outside monitoring video information in the vehicle monitoring video storage unit of the storage unit 63. It memorize
  • the automatic driving vehicle monitoring device 6A When the acquisition of the outside monitoring video information is started, the automatic driving vehicle monitoring device 6A next detects the automatic driving vehicle under the control of the automatic driving vehicle information acquisition unit 614. Therefore, the automatic driving vehicle information acquisition unit 614 reads out-of-vehicle monitoring video information from the out-of-vehicle monitoring video storage unit 633 every time a predetermined time elapses in step S2, and detects surrounding vehicles existing around the vehicle 1.
  • a process for detecting an autonomous driving vehicle is performed by performing a process and a process for determining whether or not the surrounding vehicle is an autonomous driving vehicle.
  • the autonomous driving vehicle information acquisition unit 614 acquires vehicle information related to the autonomous driving vehicle including information on surrounding vehicles existing around the vehicle 1 and information on whether or not the surrounding vehicle is an autonomous driving vehicle. To do. This process is performed using, for example, an image processing technique or a pattern recognition technique.
  • the process of step S9 for determining the end of driving is performed.
  • the process of step S3 for monitoring the autonomous driving vehicle is performed.
  • the autonomous driving vehicle is not obligatory, it generally displays that the vehicle is running in the automatic driving mode. Such display is not limited to this, but is performed, for example, by turning on an automatic operation indicator lamp.
  • the automatic driving vehicle information acquisition unit 614 performs processing for detecting an automatic driving vehicle by determining the presence / absence of such a display on the basis of the outside monitoring video information read from the outside monitoring video storage unit 633.
  • the automatic driving vehicle transmits information indicating that the vehicle is running in the automatic driving mode, and the automatic driving vehicle monitoring device 6A receives the information through inter-vehicle communication, network communication, etc. You may perform the process which detects.
  • the autonomous driving vehicle information acquisition unit 614 further performs processing of monitoring the autonomous driving vehicle in step S3.
  • the process of monitoring the autonomous driving vehicle includes, for example, a process of detecting the position of the autonomous driving vehicle. This process is performed using, for example, an image processing technique or a pattern recognition technique.
  • the automatic driving vehicle information acquisition unit 614 associates the vehicle information including the vehicle position information of the automatic driving vehicle with a time stamp indicating the timing of detecting the position of the automatic driving vehicle every time a predetermined time elapses.
  • the automatic driving vehicle information storage unit 634 stores the information.
  • the vehicle position information of the autonomous driving vehicle may be vehicle direction information indicating the direction of the autonomous driving vehicle with respect to the vehicle 1, for example, the direction in which the autonomous driving vehicle exists with respect to the position of the driver of the vehicle 1.
  • the automatic driving vehicle monitoring device 6A controls the driver state information storage unit 632 and the emotion information storage unit 635 every time a predetermined time elapses in step S4 under the control of the crisis emotion determination unit 615.
  • the facial expression information and emotion information are read from each of them, and the driver's crisis emotion is detected. This process is performed using, for example, an image processing technique or a pattern recognition technique. If the driver's crisis emotion is not detected by the crisis emotion determination unit 615, the process of step S8 for determining the end of monitoring of the autonomous driving vehicle is performed. On the other hand, when the driver's crisis emotion is detected by the crisis emotion determination unit 615, the process of step S5 is performed to determine whether or not the cause of the driver's crisis emotion is an automatic driving vehicle.
  • the emotion information storage unit 635 stores emotion information representing a correspondence relationship between a human emotion and a biological reaction caused by the emotion in advance as a table, for example.
  • the emotion information is not limited to this.
  • the emotion information may be a facial expression database having a correspondence relationship between human emotions and facial expressions.
  • the crisis emotion determination unit 615 In order to detect the driver's crisis emotion, the crisis emotion determination unit 615 first monitors the driver's facial expression, and when the driver's facial expression changes, searches for an emotion corresponding to the facial expression. Therefore, the crisis emotion determination unit 615 sequentially reads facial expression information from the emotion information storage unit 635 and compares the information with the detected facial expression information immediately after the change. This comparison process continues until the detected facial expression information of the driver immediately after the change matches the human facial information read from the emotion information storage unit 635.
  • the emotion information stored in the emotion information storage unit 635 includes a huge number of facial expression information, and there is facial expression information that matches the facial expression information of the driver. And
  • crisis emotion means an emotion when facing an unexpected event that may lead to a dangerous situation, including, but not limited to, fear, surprise, distrust, and discomfort.
  • a driver who did not get into an accident, but encountered a situation that wasn't strange even in an accident, that is, a so-called near-miss situation usually has a facial expression corresponding to such a crisis feeling such as fear or surprise. .
  • the crisis emotion determination unit 615 determines that the driver has a crisis emotion, and the driver The process of step S5 for determining whether or not the cause of the crisis emotion is an autonomous driving vehicle is performed.
  • the crisis emotion determination unit 615 does not hold the driver's crisis emotion.
  • the process of step S8 which determines with having determined the monitoring end of an autonomous driving vehicle is performed.
  • the crisis emotion determination unit 615 detects the driver's crisis emotion
  • the automatic driving vehicle monitoring device 6A controls the driver in step S5 under the control of the crisis emotion determination unit 615. It is determined whether or not the cause of the crisis emotion is an autonomous driving vehicle. For this reason, the crisis emotion determination unit 615 reads state information related to the driver's state from the driver state information storage unit 632 and also reads vehicle information related to the autonomous driving vehicle from the automatic driving vehicle information storage unit 634.
  • the driver state information includes gaze direction information indicating the direction of the driver's gaze when the driver's crisis feeling is detected.
  • the vehicle information regarding the autonomous driving vehicle includes vehicle position information of the autonomous driving vehicle when the driver's crisis feeling is detected.
  • the vehicle position information of the autonomous driving vehicle includes vehicle direction information indicating a direction with respect to the driver of the vehicle 1.
  • the crisis emotion determination unit 615 determines whether or not the cause of the driver's crisis emotion is an autonomous driving vehicle based on the driver's gaze direction information and the vehicle information of the autonomous driving vehicle. For this reason, the crisis emotion determination unit 615 compares the vehicle direction information and the line-of-sight direction information. If the two match, the crisis emotion determination unit 615 determines that the cause of the driver's crisis emotion is an autonomous driving vehicle, and the two do not match. If it is determined that the cause of the driver's crisis is not an autonomous driving vehicle. The crisis emotion determination unit 615 stores determination result information indicating whether or not the cause of the driver's crisis emotion is an automatic driving vehicle in the situation information storage unit 636 of the storage unit 63.
  • step S6 determines that the cause of the driver's crisis emotion is an automatic driving vehicle.
  • the process of step S8 for determining the end of monitoring of the automatic driving vehicle is performed.
  • the crisis emotion determination unit 615 stores the situation information representing the situation in association with the time stamp representing the timing of the driver's crisis emotion detection.
  • the situation information includes, but is not limited to, for example, crisis emotion information related to the driver's crisis emotion and vehicle information related to the autonomous driving vehicle, for example, information related to a car registration number mark, so-called license plate.
  • the vehicle information may also include vehicle position information of the autonomous driving vehicle when the driver's crisis feeling is detected.
  • the automatic driving vehicle monitoring device 6A performs a process of transmitting the situation information in step S7. For this reason, the transmission information output unit 616 reads the latest status information from the status information storage unit 636 every time a predetermined time elapses, and determines whether or not the read status information has been transmitted. This determination may be performed, for example, by storing the time stamp of the status information transmitted last time and comparing it with the time stamp of the status information read this time.
  • the transmission information output unit 616 does not perform the transmission process if the read status information has been transmitted, and on the contrary, transmits the status information if the read status information has not been transmitted. Is transmitted to the transmission device 9B.
  • the transmission device 9B transmits situation information including crisis emotion information and vehicle information based on the input transmission information.
  • FIG. 4 schematically shows a situation in which the situation information transmitted from the vehicle is provided to the related company of the autonomous driving vehicle via the service providing server.
  • the situation information is transmitted from the vehicles C dm1 to C dm4 around the autonomous driving vehicle C ad .
  • the vehicles C dm1 to C dm4 may be traveling in the manual operation mode or in the automatic operation mode.
  • the situation information transmitted from the vehicles C dm1 to C dm4 is received by the service providing server Sv that provides a service to the related company Mn of the autonomous driving vehicle.
  • the service providing server Sv develops the related situation information Mn of the automatic driving vehicle, for example, an operator that manufactures and maintains the automatic driving vehicle, an automatic driving control device of the automatic driving vehicle, and its control algorithm. Provide to manufacturers.
  • the automatic driving vehicle monitoring device 6A determines whether or not to end automatic driving vehicle monitoring in step S8 under the control of the automatic driving vehicle information acquisition unit 614. .
  • the automatic driving vehicle information acquisition unit 614 reads out of the vehicle monitoring video information from the vehicle monitoring video storage unit 633 and performs a process of detecting an autonomous driving vehicle existing around the vehicle 1.
  • step S9 for determining the driving end is performed.
  • the autonomous driving vehicle information acquisition unit 614 detects the autonomous driving vehicle, the monitoring of the autonomous driving vehicle is continued, and the process of step S4 for detecting the driver's crisis emotion is performed.
  • step S9 Determination of driving end Subsequently, the automatic driving vehicle monitoring device 6A determines whether or not the driving is ended in step S9. If it is determined that the driving has not ended, the process returns to the process of step S2 for detecting the autonomous driving vehicle existing around the vehicle 1. On the other hand, when it is determined that the driving is finished, the control of the visual assistance is finished.
  • the automatic driving vehicle monitoring device 6A detects and monitors the automatic driving vehicle existing around the vehicle 1 based on the outside monitoring information of the outside camera 9A. Get vehicle information about the driving vehicle.
  • the automatic driving vehicle monitoring device 6 ⁇ / b> A also detects a driver's crisis emotion based on driver monitoring video information that is a kind of driver monitoring information of the driver camera 7.
  • the automatic driving vehicle monitoring device 6A determines that the driver's crisis feeling is based on the driver's gaze direction information and the vehicle position information of the autonomous driving vehicle. It is determined whether it is a vehicle.
  • the transmission information for instructing transmission of the situation information including the vehicle information regarding the autonomous driving vehicle and the crisis emotion information regarding the driver's crisis emotion is generated and output to the transmission device 9B.
  • the transmission device 9B transmits vehicle information related to the autonomous driving vehicle and crisis emotion information related to the driver's crisis emotion according to the transmission information. Thereby, information relating to the relationship between the vehicle information related to the autonomous driving vehicle and the driver's crisis emotion information is provided.
  • the vehicle information of the autonomous driving vehicle and the driver's crisis emotion information are transmitted to a service providing server that provides services to the affiliated company of the autonomous driving vehicle.
  • the vehicle information of the autonomous driving vehicle and the crisis emotion information of the driver are related to the contractor of the autonomous driving vehicle, for example, the operator that manufactures and maintains the autonomous driving vehicle, the automatic driving control device of the autonomous driving vehicle, and the Provided to manufacturers developing control algorithms.
  • the affiliated company of the autonomous driving vehicle can obtain valuable information during the actual autonomous driving of the autonomous driving vehicle.
  • the automatic driving vehicle monitoring device 6A acquires information on whether or not the surrounding vehicle is an automatic driving vehicle based on driver monitoring video information that is a kind of out-of-vehicle monitoring information obtained by the out-of-vehicle monitoring sensor 7 that is an out-of-vehicle monitoring sensor. To do. As described above, since the automatic driving vehicle monitoring device 6A itself has a function of determining whether or not the surrounding vehicle is an autonomous driving vehicle, the surrounding vehicle is automatically controlled without depending on an external device or an information source. It can be determined whether or not the vehicle is a driving vehicle.
  • the driver monitoring sensor is configured by the driver camera 7 and the state of the driver is determined based on video information including the driver's face obtained by the driver camera 7 has been described as an example.
  • the driver monitoring sensor is constituted by a biosensor that acquires the biometric information of the driver instead of the driver camera 7 or in combination with the driver camera 7, and based on the biometric information obtained by the biosensor, You may make it detect a driver's crisis emotion.
  • a driver's pulse wave information or heart rate information detected by a pulse wave sensor or heart rate sensor You may make it detect a driver's crisis emotion.
  • the driver monitoring sensor is configured by a pulse wave sensor or a heart rate sensor, the processing load for detecting the driver's crisis emotion can be reduced, so that the driver's crisis emotion can be detected in a short time.
  • the driver monitoring sensor is configured by combining a pulse wave sensor or a heart rate sensor with the driver camera 7, the driver's crisis emotion can be detected more accurately.
  • the detection of the autonomous driving vehicle is performed by detecting a display indicating that the vehicle is automatically driving or by receiving information indicating that the vehicle is automatically driving. Therefore, the automatic driving vehicle monitoring device 6A has a function of determining whether or not a vehicle around the vehicle 1 is an automatic driving vehicle.
  • the present invention is not limited to this, and the automatic driving vehicle monitoring device 6A itself may detect the automatic driving vehicle as follows without having the function of determining whether or not the vehicle is an automatic driving vehicle.
  • the automatic driving vehicle monitoring device 6A registers the car of the surrounding vehicle.
  • the information of the number mark is transmitted to the transmission device 9B, the service providing server Sv is inquired whether or not the surrounding vehicle is an autonomous driving vehicle, and information that the surrounding vehicle is an autonomous driving vehicle is inquired. By acquiring from, you may detect an autonomous driving vehicle.
  • the automatic driving vehicle information acquisition unit 614 performs processing for detecting surrounding vehicles existing around the vehicle 1 by processing similar to the processing in step S2 and step S3. Regardless of whether or not the vehicle is an autonomous driving vehicle, processing for monitoring surrounding vehicles is performed. Further, the crisis emotion determination unit 615 detects the driver's crisis emotion by the process of step S4, and determines that the cause of the driver's crisis emotion is the surrounding vehicle by the process similar to the process of step S5. If it is, the autonomous driving vehicle monitoring device 6A inquires of the service providing server Sv whether or not the surrounding vehicle is an autonomous driving vehicle. For this reason, the transmission information output unit 616 outputs, to the transmission device 9B, transmission information for transmitting information on the automobile registration number mark of the surrounding vehicle to the service providing server Sv. Moreover, the automatic driving vehicle information acquisition part 614 acquires the information whether the surrounding vehicle is an automatic driving vehicle from the service provision server Sv, for example via a receiver (not shown).
  • the automatic driving vehicle monitoring device 6A does not require a function for determining whether or not the surrounding vehicle is an automatic driving vehicle, and thus the functional configuration is simplified.
  • the surrounding vehicle is, for example, a vehicle that always runs in the automatic driving mode, and information on the vehicle registration number mark of the vehicle may be provided to the service providing server Sv.
  • the surrounding vehicle transmits the information on the driving mode after switching to the service providing server Sv, and the service providing server Sv sends the vehicle registration number mark and the driving mode information of the vehicle. You may remember.
  • the vehicle type, the function of the automatic driving control device, the control function and control procedure of the automatic driving vehicle monitoring device, and the control contents can be variously modified and implemented without departing from the gist of the present invention.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
  • An automatic driving vehicle monitoring device for monitoring an autonomous driving vehicle existing around a vehicle comprising a hardware processor and a memory
  • the hardware processor is Based on the driver monitoring information of the driver monitoring sensor, obtain state information related to the state of the driver, store the obtained state information in the memory, Vehicle information relating to the autonomous driving vehicle including information on neighboring vehicles existing around the vehicle and information on whether or not the neighboring vehicle is an autonomous driving vehicle, and the obtained vehicle information is stored in the memory;
  • the state information is read from the memory, the driver's crisis emotion is detected based on the read state information, and crisis emotion information related to the detected crisis emotion is stored in the memory, Based on the status information and the vehicle information, it is determined whether or not the cause of the driver's crisis feeling is the surrounding vehicle, the determination result information is stored in the memory, When the determination result information is read from the memory, and the determination result information indicates that the cause of the driver's crisis feeling is the surrounding vehicle
  • An automatic driving vehicle monitoring method for monitoring an autonomous driving vehicle existing around a vehicle Using the hardware processor, based on the driver monitoring information of the driver monitoring sensor, obtain the state information related to the state of the driver, store the obtained state information in the memory, Using the hardware processor, obtaining vehicle information related to the autonomous driving vehicle, including information on neighboring vehicles existing around the vehicle and information on whether or not the neighboring vehicle is an autonomous driving vehicle, Storing the acquired vehicle information in the memory; Using the hardware processor, the state information is read from the memory, the driver's crisis emotion is detected based on the read state information, and the crisis emotion information related to the detected crisis emotion is stored in the memory.
  • the hardware processor Based on the state information and the vehicle information, the hardware processor is used to determine whether the driver's crisis emotion is caused by the surrounding vehicle, and the determination result information is stored in the memory. , Using the hardware processor, the determination result information is read from the memory, the determination result information is that the cause of the driver's crisis feeling is the surrounding vehicle, and the surrounding vehicle is the autonomous driving vehicle.
  • An automatic driving vehicle monitoring method for generating transmission information for instructing transmission of situation information including the vehicle information and the crisis emotion information and outputting the transmission information to a transmission device when indicating that there is a certain vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両の周辺の自動運転車両を監視する自動運転車両監視装置を提供する。　自動運転車両監視装置は、運転者の状態に関する状態情報を取得する運転者状態情報取得部と、車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得する自動運転車両情報取得部と、前記状態情報に基づいて前記運転者の危機感情を検知するとともに、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する危機感情判定部と、前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力部とを備える。

Description

自動運転車両監視装置、方法およびプログラム
　この発明は、車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置、方法およびプログラムに関する。
　近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである（例えば特開２０１５－１４１０５３号公報を参照）。
　車両の自動運転を可能にする自動運転制御装置の開発において、実際に自動運転モードで走行している車両（以下では自動運転車両と称する）の走行情報は、自動運転制御装置を改善したり改良したり修正したりする上で貴重な情報である。また、走行情報のほか、自動運転車両が、その周囲の他の車両の運転手にどのように見え、他の車両の運転手がどのように感じているかといった情報も、自動運転制御装置の開発、例えばその制御アルゴリズムの開発にとって貴重な情報である。
　しかし、これまで、自動運転車両の周囲の他の車両が自動運転車両を監視し、自動運転車両に関する情報を提供するようなシステムは提供されていない。特に、自動運転車両の周囲の他の車両の運転手が自動運転車両を見てどのように感じているかといった情報を提供するようなシステムは提供されていない。
　この発明は、このような現状を考慮して成されたものであり、車両の周辺に存在する自動運転車両を監視する新規な自動運転車両監視装置を提供するものである。
　上記課題を解決するため、この発明の第１の態様は、車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得部と、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する自動運転車両情報取得部と、前記状態情報に基づいて前記運転者の危機感情を検知するとともに、前記状態情報と前記車両情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する危機感情判定部と、前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力部とを備える。
　この発明の第２の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記状態情報は、前記運転者の視線の方向を表す視線方向情報を含み、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両の位置を表す車両位置情報を取得し、前記危機感情判定部は、前記運転者の危機感情が検知されたときの前記視線方向情報と前記車両位置情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する。
　この発明の第３の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両が前記自動運転車両であるか否かの情報を取得する。
　この発明の第４の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記周辺車両が前記自動運転車両であるか否かを問い合わせるため、前記送信情報出力部は、サービス提供サーバへの前記周辺車両の情報の送信を指示する送信情報を前記送信装置へ出力し、前記自動運転車両情報取得部は、前記周辺車両が前記自動運転車両であるか否かの情報を前記サービス提供サーバから取得する。
　この発明の第５の態様による自動運転車両監視装置は、第１の態様ないし第５の態様のいずれひとつによる自動運転車両監視装置に係り、前記送信情報出力部は、サービス提供サーバへの前記車両情報と前記危機感情情報とを含む前記状況情報の送信を指示する送信情報を前記送信装置へ出力する。
　この発明の第１の態様によれば、自動運転車両監視装置は、運転者の危機感情を検知し、危機感情の原因が自動運転車両であるとき、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを含む送信情報を生成して送信装置へ出力する。これにより、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報との関連性に関する情報が提供される。
　この発明の第２の態様によれば、自動運転車両監視装置は、運転者の危機感情が検知されたときの運転者の視線方向情報と周辺車両の車両位置情報とに基づいて、運転者の危機感情の原因が周辺車両であるか否かを判定する。これにより、周辺車両が運転者に危機感情を抱かせたことが明確に特定される。
　この発明の第３の態様によれば、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かの情報を、車外監視センサにより得られる車外監視情報に基づいて取得する。周辺車両が自動運転車両であるか否かを判定する機能を自動運転車両監視装置自体が有しているため、外部の装置や情報源に依存することなく、周辺車両が自動運転車両であるか否かの判定を行える。
　この発明の第４の態様によれば、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かの情報をサービス提供サーバから取得する。このため、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かを判定する機能を必要としないため、その機能構成が簡素化される。
　この発明の第５の態様によれば、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とが、サービス提供サーバへ送信される。このため、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とが、例えば自動運転車両の自動運転制御装置の関連業者に提供される。これにより、自動運転制御装置の関連業者が、自動運転車両の実際の自動運転中の貴重な情報を得ることができるようになる。
図１は、この発明の一実施形態に係る自動運転車両監視装置を含む運転支援装置を備えた自動運転制御システムの全体構成を示す図である。 図２は、この発明の一実施形態に係る自動運転車両監視装置の機能構成を示すブロック図である。 図３は、図２に示した自動運転車両監視装置による自動運転車両監視の手順と制御内容を示すフローチャートである。 図４は、車両から送信された状況情報がサービス提供サーバを介して自動運転制御装置の関連業者に提供される様子を模式的に示した図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　［一実施形態］
　（構成）
　図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。
　車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
　車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。
　手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
　運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。
　なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。
　一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。
　図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システムにより得られる情報をもとに、車両１の走行を自動制御する。
　自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。
　自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。
　図１において、車両１はまた、運転支援装置６を備えている。運転支援装置６は、さまざまな機能を有していてよい。例えば、運転支援装置６は、運転者監視センサと共働して運転者を監視して運転者の状態を把握する運転者監視システムを構成する運転者監視機能、報知装置と共働して運転者の状態に応じて警告を発する警告出力システムを構成する警告出力機能、運転者の状態に応じて運転モードの切り替えを制御する運転モード切替制御システムを構成する運転モード切替制御機能、車外センサおよび報知装置と共働して運転者の状態に基づいて運転者の視認を支援する視認支援システムを構成する視認支援機能、生体情報センサおよび刺激出力装置と共働して運転者の状態に応じて運転者の覚醒を促す覚醒支援システムを構成する覚醒支援機能、車外センサおよび送信装置と共働して車両１の周辺の自動運転車両を監視して自動運転車両に関する情報を送信する自動運転車両監視機能などを有していてよい。
　運転者の状態は、例えば、運転者が運転に集中しているか否か、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転以外の作業をしているか否か、運転者がパニックを起こしているか否か、運転者が居眠りをしているか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。
　運転者の状態はまた、短時間の内に現れた運転者の状態の変化、言い換えれば、運転者の動きも含んでいる。つまり、運転者の状態は、例えば、運転者の視線の動きであってもよい。運転者の視線の動きは、例えば、運転者の視線の方向と、その方向における運転者の視線の滞留時間で把握され得る。
　運転者の状態の把握は、例えば、次のようにして行う。まず、運転者監視センサにより運転者の監視映像を取得する。次に、取得した監視映像に基づいて、運転者の眼の開き具合、瞬きの頻度、眼球運動等を分析する。続いて、分析結果に基づいて、運転者の視線の方向と滞留時間、運転者の覚醒度等を認識する。さらに、運転者の視線の方向と滞留時間、運転者の覚醒度等を、予め設定された閾値と比較することにより、運転者の状態を特定する。
　この実施形態では、運転支援装置６は、少なくとも、運転者監視機能を実施する運転者監視部６ａと、自動運転車両監視機能を実施する自動運転車両監視部６ｂとを有している。運転者監視部６ａは、運転者監視センサとしての運転者カメラ７と共働して運転者監視システム８を構成している。また、自動運転車両監視部６ｂは、車外監視センサとしての車外カメラ９Ａと共働して車外監視システム１０を構成している。さらに、車外監視システム１０は、送信装置９Ｂを有しており、運転者監視システム８と共働して、車両１の周辺に存在する自動運転車両を監視し、その自動運転車両の自動運転に関する情報を取得して送信する自動運転車両監視システムを構成している。また、運転者監視部６ａと自動運転車両監視部６ｂは自動運転車両監視装置６Ａを構成している。言い換えれば、運転支援装置６は、自動運転車両監視装置６Ａを内包している。
　運転者監視部６ａにおいて把握される運転者の状態は、少なくとも、運転者の感情に起因する生体反応と、運転者の視線の方向とを含んでいる。すなわち、運転者監視部６ａは、運転者の視線の方向に関する情報を取得する。
　運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、車両１を運転する運転者を撮像して、運転者監視情報の一種である運転者監視映像情報を自動運転車両監視装置６Ａへ出力する。
　車外カメラ９Ａは、車両１の周辺たとえば前方の所定の範囲を撮像して、その映像情報を車外監視情報として自動運転車両監視装置６Ａへ出力する。
　送信装置９Ｂは、自動運転車両監視装置６Ａから出力された送信情報に従って、運転者の危機感情に関する危機感情情報と、その原因となった自動運転車両に関する車両情報とを送信する。
　（構成例）
　図２は、自動運転車両監視装置６Ａの機能構成を示すブロック図である。自動運転車両監視装置６Ａは、車外カメラ９Ａおよび送信装置９Ｂと共働して、車両の周辺に存在する自動運転車両を監視する装置であり、以下のように構成されている。
　自動運転車両監視装置６Ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。
　入出力インタフェースユニット６２は、入力されたアナログ信号をデジタルデータに変換して制御ユニット６１へ出力し、また、制御ユニット６１から出力されたデジタルデータをアナログ信号に変換して出力する。具体的には、入出力インタフェースユニット６２は、運転者カメラ７から入力された運転者監視映像信号を運転者監視映像データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、車外カメラ９Ａから入力された車外監視映像信号を車外監視映像データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はさらに、制御ユニット６１から出力された送信データを送信信号に変換して送信装置９Ｂへ出力する。
　記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視映像記憶部６３１と、運転者状態情報記憶部６３２と、車外監視映像記憶部６３３と、自動運転車両情報記憶部６３４と、感情情報記憶部６３５と、状況情報記憶部６３６とを備えている。記憶ユニット６３は、不揮発性メモリに限らず、ＲＡＭのような揮発性メモリで構成されてもよい。
　感情情報記憶部６３５は、人の感情と生体反応との対応関係を表す感情情報を、例えばテーブルとして、予め記憶している。感情情報は、これに限らないが、例えば、人の感情と顔の表情との対応関係を有する顔表情データベースであってよい。
　制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視映像取得部６１１と、運転者状態情報取得部６１２と、車外監視映像取得部６１３と、自動運転車両情報取得部６１４と、危機感情判定部６１５と、送信情報出力部６１６とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。
　運転者監視映像取得部６１１は、運転者カメラ７から出力された運転者監視映像情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。
　運転者状態情報取得部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込み、その都度、運転者監視映像情報に基づいて、運転者の状態に関する状態情報を取得する。状態情報は、これに限らないが、この実施形態では、少なくとも、運転者の顔の表情を表す顔表情情報と、運転者の視線の方向を表す視線方向情報とを含んでいる。運転者状態情報取得部６１２は、取得した状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。
　車外監視映像取得部６１３は、車外カメラ９Ａから出力された車外監視映像情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ車外監視映像情報を記憶ユニット６３の車外監視映像記憶部６３３に記憶させる。
　自動運転車両情報取得部６１４は、車外監視映像記憶部６３３から予め設定された時間間隔で車外監視映像情報を読み込み、その都度、車外監視映像情報に基づいて、車両１の周辺に存在する周辺車両を検知する処理と、検知した周辺車両が自動運転車両であるか否かを判定する処理とを行うことにより、自動運転車両の検知を行う。ここにおいて、自動運転車両とは、自動運転モードで走行している車両を意味している。自動運転車両の検知は、車外カメラ９Ａの撮影範囲内に車両が存在するか否かの判定と、その車両が自動運転車両であるか否かの判定とを含んでいる。つまり、自動運転車両情報取得部６１４は、車両１の周辺に存在する周辺車両の情報と、周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する。自動運転車両情報取得部６１４はまた、自動運転車両を検知した場合、車外監視映像情報に基づいて、自動運転車両を監視する処理を行う。自動運転車両を監視する処理は、自動運転車両の位置を検出する処理を含んでいる。自動運転車両の検知と監視は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両は、義務づけられているわけではないが、一般に、自動運転モードで走行していることを示す表示を行っている。このような表示は、これに限らないが、例えば、自動運転表示灯を点灯することにより行われる。自動運転車両情報取得部６１４は、例えば、車外監視映像記憶部６３３から読み込んだ車外監視映像情報に基づいて、このような表示の有無を判定することにより、自動運転車両を検知する処理を行う。あるいは、自動運転車両は、自動運転モードで走行していることを示す情報を送信しており、その情報を車々間通信やネットワーク通信等を通じて自動運転車両情報取得部６１４が検知することにより、自動運転車両を検知する処理を行ってもよい。自動運転車両情報取得部６１４は、自動運転車両に関する車両情報を、記憶ユニット６３の自動運転車両情報記憶部６３４に記憶させる。自動運転車両に関する車両情報は、例えば、自動車登録番号標いわゆるナンバープレートに関する情報と、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいる。
　危機感情判定部６１５は、予め設定された時間間隔で、運転者状態情報記憶部６３２と感情情報記憶部６３５から顔表情情報と感情情報をそれぞれ読み込み、その都度、顔表情情報と感情情報に基づいて、運転者の危機感情の検知を行う。危機感情判定部６１５はまた、運転者の危機感情を検知した場合、運転者状態情報記憶部６３２と自動運転車両情報記憶部６３４から視線方向情報と車両位置情報とをそれぞれ読み込み、視線方向情報と車両位置情報に基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定してもよい。危機感情判定部６１５は、判定結果情報を、運転者の危機感情に関する危機感情情報と自動運転車両に関する車両情報とともに、記憶ユニット６３の状況情報記憶部６３６に記憶させる。
　送信情報出力部６１６は、予め設定された時間間隔で、状況情報記憶部６３６から判定結果情報を読み込み、判定結果情報が、運転者が危機感情を抱き、かつ、運転者の危機感情の原因が自動運転車両であることを示す場合、自動運転車両の車両情報と運転者の危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置９Ｂへ出力する。
　（動作例）
　図３は、前述したように構成された警告装置の全体の制御手順と制御内容を示すフローチャートである。以下、警告装置の動作例を説明する。
　（１Ａ）運転者の監視
　運転が開始されると、運転者監視システム８は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転の間中、継続される。
　運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で自動運転車両監視装置６Ａは、運転者監視映像取得部６１１の制御の下、運転者カメラ７から出力された運転者監視映像情報を取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。
　運転者監視映像情報の取得が開始されると、自動運転車両監視装置６Ａは、次に運転者状態情報取得部６１２の制御の下、一定時間が経過する毎に、運転者の状態を把握する把握処理を行う。この把握処理の時間間隔は、例えば運転者の状態把握を実質的に連続的に行えるような短時間に設定されるとよい。
　運転者状態情報取得部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込む。次に、運転者状態情報取得部６１２は、運転者監視映像情報を読み込む毎に、運転者監視映像情報に基づいて、運転者の状態に関する状態情報を取得する。この実施形態では、状態情報は、少なくとも、運転者の顔の表情を表す顔表情情報と、運転者の視線の方向を表す視線方向情報とを含んでいる。運転者状態情報取得部６１２は、顔表情情報と視線方向情報を含む状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。
　（１Ｂ）車外の監視
　また、運転が開始されると、車外監視システム１０は、運転者監視システム８による運転者の監視に並行して、ステップＳ１において、車外の監視を開始する。車外の監視は、例えば、運転者の監視と同様、運転の間中、継続される。
　運転が開始されると、車外カメラ９Ａが起動し、車両１の周辺の所定の範囲を連続的に撮影して車外監視映像情報を出力する。自動運転車両監視装置６Ａは、車外監視映像取得部６１３の制御の下、車外カメラ９Ａから出力された車外監視映像情報から取り込み、この取り込んだ車外監視映像情報を記憶ユニット６３の車外監視映像記憶部６３３に記憶させる。
　（２）自動運転車両の検知
　車外監視映像情報の取得が開始されると、自動運転車両監視装置６Ａは、次に自動運転車両情報取得部６１４の制御の下、自動運転車両の検知を行う。このため、自動運転車両情報取得部６１４は、ステップＳ２において、一定時間が経過する毎に、車外監視映像記憶部６３３から車外監視映像情報を読み込み、車両１の周辺に存在する周辺車両を検知する処理と、さらに、周辺車両が自動運転車両であるか否かを判定する処理とを行うことにより、自動運転車両を検知する処理を行う。言い換えれば、自動運転車両情報取得部６１４は、車両１の周辺に存在する周辺車両の情報と、周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両情報取得部６１４により、自動運転車両が検知されなかった場合は、運転終了を判定するステップＳ９の処理を行う。反対に、自動運転車両情報取得部６１４により、自動運転車両が検知された場合は、自動運転車両を監視するステップＳ３の処理を行う。
　自動運転車両は、義務づけられているわけではないが、一般に、自動運転モードで走行していることを示す表示を行っている。このような表示は、これに限らないが、例えば、自動運転表示灯を点灯することにより行われる。自動運転車両情報取得部６１４は、例えば、車外監視映像記憶部６３３から読み込んだ車外監視映像情報に基づいて、このような表示の有無を判定することにより、自動運転車両を検知する処理を行う。
　あるいは、自動運転車両は、自動運転モードで走行していることを示す情報を送信しており、その情報を車々間通信やネットワーク通信等を通じて自動運転車両監視装置６Ａが受信することにより、自動運転車両を検知する処理を行ってもよい。
　（３）自動運転車両の監視
　自動運転車両を検知するステップＳ２の処理において、自動運転車両が検知された場合、自動運転車両情報取得部６１４はさらに、ステップＳ３において、自動運転車両を監視する処理を開始する。ここで、自動運転車両を監視する処理は、例えば、自動運転車両の位置を検出する処理を含んでいる。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両情報取得部６１４は、一定時間が経過する毎に、自動運転車両の車両位置情報を含む車両情報を、自動運転車両の位置検出のタイミングを表すタイムスタンプと関連付けて、記憶ユニット６３の自動運転車両情報記憶部６３４に記憶させる。ここにおいて、自動運転車両の車両位置情報は、車両１に対する自動運転車両の方向、例えば、車両１の運転者の位置に対して自動運転車両が存在する方向を表す車両方向情報であってよい。
　（４）危機感情の検知
　自動運転車両監視装置６Ａは、危機感情判定部６１５の制御の下、ステップＳ４において、一定時間が経過する毎に、運転者状態情報記憶部６３２と感情情報記憶部６３５から顔表情情報と感情情報をそれぞれ読み込み、運転者の危機感情を検知する処理を行う。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。危機感情判定部６１５により、運転者の危機感情が検知されなかった場合は、自動運転車両の監視終了を判定するステップＳ８の処理を行う。反対に、危機感情判定部６１５により運転者の危機感情が検知された場合は、運転者の危機感情の原因が自動運転車両であるか否かを判定するステップＳ５の処理を行う。
　感情情報記憶部６３５は、人の感情と、その感情に起因する生体反応との対応関係を表す感情情報を、例えばテーブルとして、予め記憶している。感情情報は、これに限らないが、例えば、人の感情と顔の表情との対応関係を有する顔表情データベースであってよい。
　運転者の危機感情を検知するため、危機感情判定部６１５は、まず、運転者の表情を監視し、運転者の表情が変化した場合、その表情に対応する感情を検索する。そのため、危機感情判定部６１５は、顔の表情の情報を感情情報記憶部６３５から順番に読み込み、その都度、検知された変化直後の運転者の表情の情報と比較する。この比較の処理は、検知された変化直後の運転者の顔の表情の情報が、感情情報記憶部６３５から読み込んだ人の顔の情報と合致するまで続ける。ここで、感情情報記憶部６３５に記憶されている感情情報は、膨大な数の顔の表情の情報を含んでおり、運転者の顔の表情の情報に合致する顔の表情の情報があるものとする。
　検知された変化直後の運転者の顔の表情の情報が、感情情報記憶部６３５から読み込んだ顔の表情の情報と合致した場合に、危機感情判定部６１５は、その顔の表情の情報に対応する感情の情報を読み込む。続いて、危機感情判定部６１５は、読み込んだ感情の情報が、危機感情に相当するものか否かを判定する。ここで、危機感情は、危険な状況をもたらしかねない突発的な出来事に面したときの感情を意味しており、これに限らないが、例えば、恐怖、驚き、不信感、違和感を含んでいる。例えば、事故には至らなかったが、事故に至ってもおかしくなかった状況、いわゆるヒヤリハットの状況に遭遇した運転者は、通常、恐怖や驚きといったこのような危機感情に対応した表情を浮かべるものである。
　運転者の顔の表情の情報に対応した感情情報記憶部６３５から読み込んだ感情の情報が危機感情に相当した場合、危機感情判定部６１５は、運転者が危機感情を抱いたと判定し、運転者の危機感情の原因が自動運転車両であるか否かの判定を行うステップＳ５の処理を行う。反対に、運転者の顔の表情の情報に対応した感情情報記憶部６３５から読み込んだ感情の情報が危機感情に相当しなかった場合、危機感情判定部６１５は、運転者は危機感情を抱かなかったと判定し、自動運転車両の監視終了を判定するステップＳ８の処理を行う。
　（４）危機感情の原因の判定
　危機感情判定部６１５により運転者の危機感情が検知された場合、自動運転車両監視装置６Ａは、危機感情判定部６１５の制御の下、ステップＳ５において、運転者の危機感情の原因が自動運転車両であるか否かの判定を行う。このため、危機感情判定部６１５は、運転者の状態に関する状態情報を運転者状態情報記憶部６３２から読み込むとともに、自動運転車両に関する車両情報を自動運転車両情報記憶部６３４から読み込む。
　運転者の状態情報は、運転者の危機感情が検知されたときの運転者の視線の方向を表す視線方向情報を含んでいる。自動運転車両に関する車両情報は、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいる。自動運転車両の車両位置情報は、車両１の運転者に対する方向を表す車両方向情報を含んでいる。
　次に危機感情判定部６１５は、運転者の視線方向情報と自動運転車両の車両情報とに基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定する。このため、危機感情判定部６１５は、車両方向情報と視線方向情報を比較し、両者が合致した場合は、運転者の危機感情の原因は自動運転車両であると判定し、両者が合致しなかった場合は、運転者の危機感情の原因は自動運転車両でなかったと判定する。危機感情判定部６１５は、運転者の危機感情の原因が自動運転車両であるか否かを表す判定結果情報を、記憶ユニット６３の状況情報記憶部６３６に記憶させる。
　危機感情判定部６１５により、運転者の危機感情の原因が自動運転車両であると判定された場合は、状況を記録するステップＳ６の処理を行う。反対に、危機感情判定部６１５により、運転者の危機感情の原因が自動運転車両でなかったと判定された場合は、自動運転車両の監視終了を判定するステップＳ８の処理を行う。
　（６）状況の記録
　車両方向情報と視線方向情報の比較の結果、両者が合致した場合、すなわち、運転者の危機感情の原因が自動運転車両であると判定された場合、危機感情判定部６１５は、ステップＳ６において、運転者の危機感情検知のタイミングを表すタイムスタンプと関連付けて、状況を表す状況情報を状況情報記憶部６３６に記憶させる。状況情報は、これに限らないが、例えば、運転者の危機感情に関する危機感情情報と、自動運転車両に関する車両情報、例えば自動車登録番号標いわゆるナンバープレートに関する情報とを含んでいる。車両情報はまた、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいてもよい。
　（７）状況情報の送信
　自動運転車両監視装置６Ａは、送信情報出力部６１６の制御の下、ステップＳ７において、状況情報を送信する処理を行う。このため、送信情報出力部６１６は、一定時間が経過する毎に、状況情報記憶部６３６から直近の状況情報を読み込み、読み込んだ状況情報が送信済みのものであるか否かを判定する。この判定は、例えば、前回送信した状況情報のタイムスタンプを記憶しておき、今回読み込んだ状況情報のタイムスタンプと比較することにより行ってよい。
　続いて、送信情報出力部６１６は、読み込んだ状況情報が送信済みのものであれば、送信の処理は行わず、反対に、読み込んだ状況情報が送信済みのものでなければ、状況情報の送信を指示する送信情報を送信装置９Ｂへ出力する。
　送信装置９Ｂは、入力された送信情報に基づいて、危機感情情報と車両情報を含む状況情報を送信する。図４は、車両から送信された状況情報がサービス提供サーバを介して自動運転車両の関連業者に提供される様子を模式的に示している。図４では、自動運転車両Ｃａｄの周囲の車両Ｃｄｍ１～Ｃｄｍ４から状況情報が送信されている。ここで、車両Ｃｄｍ１～Ｃｄｍ４は、手動運転モードで走行していても、自動運転モードで走行していてもよい。車両Ｃｄｍ１～Ｃｄｍ４から送信された状況情報は、自動運転車両の関連業者Ｍｎにサービスを提供するサービス提供サーバＳｖにより受信される。サービス提供サーバＳｖは、受信した状況情報を、自動運転車両の関連業者Ｍｎ、例えば、自動運転車両の製造や保守を行う事業者、自動運転車両の自動運転制御装置やその制御アルゴリズムを開発しているメーカー等に提供する。
　（８）自動運転車両監視終了の判定
　続いて、自動運転車両監視装置６Ａは、自動運転車両情報取得部６１４の制御の下、ステップＳ８において、自動運転車両監視を終了するか否かを判定する。自動運転車両情報取得部６１４は、ステップＳ２の処理と同様に、車外監視映像記憶部６３３から車外監視映像情報を読み込み、車両１の周辺に存在する自動運転車両を検知する処理を行う。
　自動運転車両情報取得部６１４により、自動運転車両が検知されなかった場合は、自動運転車両の監視を終了し、運転終了を判定するステップＳ９の処理を行う。反対に、自動運転車両情報取得部６１４により、自動運転車両が検知された場合は、自動運転車両の監視を継続し、運転者の危機感情を検知するステップＳ４の処理を行う。
　（９）運転終了の判定
　続いて、自動運転車両監視装置６Ａは、ステップＳ９において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、車両１の周辺に存在する自動運転車両を検知するステップＳ２の処理に戻る。反対に、運転が終了したと判定した場合は、視認支援の制御を終了する。
　（効果）
　以上詳述したように、この発明の実施形態の自動運転車両監視装置６Ａは、車外カメラ９Ａの車外監視情報に基づいて、車両１の周辺に存在する自動運転車両が検知し監視するとともに、自動運転車両に関する車両情報を取得する。自動運転車両監視装置６Ａはまた、運転者カメラ７の運転者監視情報の一種である運転者監視映像情報に基づいて、運転者の危機感情を検知する。運転者の危機感情を検知したとき、自動運転車両監視装置６Ａは、そのときの運転者の視線方向情報と自動運転車両の車両位置情報とに基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定する。危機感情の原因が自動運転車両であるとき、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置９Ｂへ出力する。送信装置９Ｂは、送信情報に従って、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを送信する。これにより、自動運転車両に関する車両情報と運転者の危機感情情報との関連性に関する情報が提供される。
　自動運転車両の車両情報と運転者の危機感情情報は、自動運転車両の関連業者にサービスを提供するサービス提供サーバへ送信される。このため、自動運転車両の車両情報と運転者の危機感情情報とが、自動運転車両の関連業者、例えば、自動運転車両の製造や保守を行う事業者、自動運転車両の自動運転制御装置やその制御アルゴリズムを開発しているメーカー等に提供される。これにより、自動運転車両の関連業者は、自動運転車両の実際の自動運転中の貴重な情報を得ることができるようになる。
　自動運転車両監視装置６Ａは、車外監視センサである車外カメラ７により得られる車外監視情報の一種である運転者監視映像情報に基づいて、周辺車両が自動運転車両であるか否かの情報を取得する。このように、周辺車両が自動運転車両であるか否かを判定する機能を自動運転車両監視装置６Ａ自体が有しているため、外部の装置や情報源に依存することなく、周辺車両が自動運転車両であるか否かの判定を行える。
　［他の実施形態］
　実施形態では、運転者監視センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像情報に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者監視センサは、運転者カメラ７に代えて、または運転者カメラ７と組み合わせて、運転者の生体情報を取得する生体センサで構成し、生体センサにより得られる生体情報に基づいて、運転者の危機感情を検知するようにしてもよい。
　例えば、顔の筋肉を動かした際に発生する電流を検出するセンサにより検出される顔表情の情報や、脈波センサまたは心拍センサにより検出される運転者の脈波情報または心拍情報に基づいて、運転者の危機感情を検知するようにしてもよい。脈波センサや心拍センサで運転者監視センサを構成した場合、運転者の危機感情の検知のための処理の負荷が低く済むため、運転者の危機感情の検知を短時間で行えるようになる。また、脈波センサや心拍センサを運転者カメラ７と組み合わせて運転者監視センサを構成した場合には、運転者の危機感情の検知をさらに正確に行えるようになる。
　実施形態では、自動運転車両の検知は、自動運転中であることを示す表示を検知することにより、あるいは、自動運転中であることを示す情報を受信することにより行うとして説明した。そのため、自動運転車両監視装置６Ａは、車両１の周辺の車両が自動運転車両であるか否かを判定する機能を有している。しかし、これに限らず、自動運転車両監視装置６Ａ自体は、自動運転車両か否かの判定機能を持たずに、次のようにして自動運転車両の検知を行うようにしてもよい。
　運転者の危険感情が検知され、かつ、運転者の危険感情の原因が車両１の周辺に存在する周辺車両であると判定されたときに、自動運転車両監視装置６Ａは、周辺車両の自動車登録番号標の情報を送信装置９Ｂに送信させて、その周辺車両が自動運転車両であるか否かをサービス提供サーバＳｖに問い合わせ、その周辺車両が自動運転車両であるとの情報をサービス提供サーバＳｖから取得することにより、自動運転車両の検知を行ってもよい。
　この場合、自動運転車両情報取得部６１４は、ステップＳ２とステップＳ３の処理と同様の処理により、車両１の周辺に存在する周辺車両の検知する処理を行い、周辺車両が検知された場合、周辺車両が自動運転車両であるか否かに関係なく、周辺車両を監視する処理を行う。さらに、危機感情判定部６１５により、ステップＳ４の処理により、運転者の危機感情が検知され、かつ、ステップＳ５の処理と同様の処理により、運転者の危機感情の原因が周辺車両であると判定された場合、自動運転車両監視装置６Ａは、周辺車両が自動運転車両であるか否かをサービス提供サーバＳｖに問い合わせる。このため、送信情報出力部６１６は、周辺車両の自動車登録番号標の情報をサービス提供サーバＳｖへ送信させる送信情報を送信装置９Ｂへ出力する。また、自動運転車両情報取得部６１４は、例えば受信装置（図示せず）を介して、周辺車両が自動運転車両であるか否かの情報をサービス提供サーバＳｖから取得する。
　このような構成とした場合、自動運転車両監視装置６Ａは、周辺車両が自動運転車両であるか否かを判定する機能を必要としないため、その機能構成が簡素化される。
　ここにおいて、周辺車両は、例えば、常に自動運転モードで走行する車両であり、その車両の自動車登録番号標の情報がサービス提供サーバＳｖに提供されていてよい。あるいは、周辺車両は、運転モードの切り替えの度に、切り替えの後の運転モードの情報をサービス提供サーバＳｖに送信し、その車両の自動車登録番号標と運転モードの情報とをサービス提供サーバＳｖが記憶していてもよい。
　その他、車両の種類、自動運転制御装置の機能、自動運転車両監視装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
　車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、ハードウェアプロセッサとメモリとを有し、
　前記ハードウェアプロセッサが、
　　運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得し、取得した前記状態情報を前記メモリに記憶させ、
　　前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得し、取得した前記車両情報を前記メモリに記憶させ、
　　前記状態情報を前記メモリから読み込み、読み込んだ前記状態情報に基づいて前記運転者の危機感情を検知し、検知した前記危機感情に関する危機感情情報を前記メモリに記憶させ、
　　前記状態情報と前記車両情報に基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定し、その判定結果情報を前記メモリに記憶させ、
　　前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の危機感情の原因が前記周辺車両であり、かつ、前記周辺車両が前記自動運転車両であることを示す場合、前記車両情報と前記危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する、自動運転車両監視装置。
（付記２）
　車両の周辺に存在する自動運転車両を監視する自動運転車両監視方法であって、
　ハードウェアプロセッサを用いて、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得し、取得した前記状態情報をメモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得し、取得した前記車両情報を前記メモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記状態情報を前記メモリから読み込み、読み込んだ前記状態情報に基づいて前記運転者の危機感情を検知し、検知した前記危機感情に関する危機感情情報を前記メモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記状態情報と前記車両情報に基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定し、その判定結果情報を前記メモリに記憶させ、
　前記ハードウェアプロセッサを用いて、前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の危機感情の原因が前記周辺車両であり、かつ、前記周辺車両が前記自動運転車両であるあることを示す場合、前記車両情報と前記危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する、自動運転車両監視方法。

Claims (7)

  1. 　車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、
    　運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得部と、
    　前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得する自動運転車両情報取得部と、
    　前記状態情報に基づいて前記運転者の危機感情を検知するとともに、前記状態情報と前記車両情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する危機感情判定部と、
    　前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力部と
    　を備える、自動運転車両監視装置。
  2. 　前記状態情報は、前記運転者の視線の方向を表す視線方向情報を含み、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両の位置を表す車両位置情報を取得し、前記危機感情判定部は、前記運転者の危機感情が検知されたときの前記視線方向情報と前記車両位置情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する、請求項１に記載の自動運転車両監視装置。
  3. 　前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両が前記自動運転車両であるか否かの情報を取得する、請求項１に記載の自動運転車両監視装置。
  4. 　前記周辺車両が前記自動運転車両であるか否かを問い合わせるため、前記送信情報出力部は、サービス提供サーバへの前記周辺車両の情報の送信を指示する送信情報を前記送信装置へ出力し、前記自動運転車両情報取得部は、前記周辺車両が前記自動運転車両であるか否かの情報を前記サービス提供サーバから取得する、請求項１に記載の自動運転車両監視装置。
  5. 　前記送信情報出力部は、サービス提供サーバへの前記車両情報と前記危機感情情報とを含む前記状況情報の送信を指示する送信情報を前記送信装置へ出力する、請求項１ないし請求項４のいずれかひとつに記載の自動運転車両監視装置。
  6. 　車両の周辺に存在する自動運転車両を監視する監視装置が実行する自動運転車両監視方法であって、
    　前記監視装置が、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得ステップと、
    　前記監視装置が、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得する自動運転車両情報取得ステップと、
    　前記監視装置が、前記状態情報に基づいて前記運転者の危機感情を検知する危機感情検知ステップと、
    　前記監視装置が、前記状態情報と前記自動運転車両に関する情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する原因判定ステップと、
    　前記監視装置が、前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力ステップと
    　を有する、自動運転車両監視方法。
  7. 　請求項１ないし請求項５のいずれかひとつに記載の自動運転車両監視装置の各部の機能または請求項６に記載の自動運転車両監視方法の各ステップの処理をコンピュータに実行させるプログラム。
PCT/JP2017/036704 2017-03-07 2017-10-10 自動運転車両監視装置、方法およびプログラム WO2018163491A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-042684 2017-03-07
JP2017042684A JP6631564B2 (ja) 2017-03-07 2017-03-07 自動運転車両監視装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018163491A1 true WO2018163491A1 (ja) 2018-09-13

Family

ID=63448575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036704 WO2018163491A1 (ja) 2017-03-07 2017-10-10 自動運転車両監視装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6631564B2 (ja)
WO (1) WO2018163491A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11564073B2 (en) 2020-03-16 2023-01-24 Honda Motor Co., Ltd. System and method for emotion detection and inter-vehicle communication

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200807B1 (ko) * 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141053A (ja) * 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141053A (ja) * 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11564073B2 (en) 2020-03-16 2023-01-24 Honda Motor Co., Ltd. System and method for emotion detection and inter-vehicle communication

Also Published As

Publication number Publication date
JP2018147287A (ja) 2018-09-20
JP6631564B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
US9786192B2 (en) Assessing driver readiness for transition between operational modes of an autonomous vehicle
JP6209232B2 (ja) 車線変更支援装置
CN111361552B (zh) 自动驾驶***
US10083605B2 (en) Method and system for assisting a driver in driving a vehicle and vehicle on which such system is mounted
WO2018186127A1 (ja) 走行支援装置
US11001271B2 (en) Drive assistance device
JP6690581B2 (ja) 運転モード切替制御装置、方法およびプログラム
US20200310431A1 (en) Control apparatus, control method and storage medium
JP2016215658A (ja) 自動運転装置および自動運転システム
CN110582436B (zh) 转向辅助***和方法
WO2018168051A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
CN110316199B (zh) 自动驾驶***
WO2020202380A1 (ja) 制御装置、制御方法及びプログラム
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
WO2018163490A1 (ja) 視認支援装置、方法およびプログラム
WO2018163491A1 (ja) 自動運転車両監視装置、方法およびプログラム
WO2018163552A1 (ja) 運転モード切替制御装置、方法およびプログラム
US20200309560A1 (en) Control apparatus, control method, and storage medium
WO2018168098A1 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
WO2018168020A1 (ja) 故障判定装置、方法およびプログラム
WO2018163454A1 (ja) 運転モード切替制御装置、方法およびプログラム
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle
CN113401071A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
WO2018168046A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018168050A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17900073

Country of ref document: EP

Kind code of ref document: A1