WO2021166206A1 - 運転支援制御装置及び運転支援制御方法 - Google Patents

運転支援制御装置及び運転支援制御方法 Download PDF

Info

Publication number
WO2021166206A1
WO2021166206A1 PCT/JP2020/006958 JP2020006958W WO2021166206A1 WO 2021166206 A1 WO2021166206 A1 WO 2021166206A1 JP 2020006958 W JP2020006958 W JP 2020006958W WO 2021166206 A1 WO2021166206 A1 WO 2021166206A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
notification
vehicle
control device
driving support
Prior art date
Application number
PCT/JP2020/006958
Other languages
English (en)
French (fr)
Inventor
友哉 澤田
賢 福地
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/006958 priority Critical patent/WO2021166206A1/ja
Priority to JP2020540365A priority patent/JP6932269B1/ja
Publication of WO2021166206A1 publication Critical patent/WO2021166206A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to a driving support control device and a driving support control method.
  • CMS Cera Monitoring System
  • the preferred mode of the notification may differ from driver to driver. Therefore, the mode of such notification is preferably set to suit the individual driver.
  • the prior art does not provide a configuration for adapting such notification modes to individual drivers. Therefore, in the prior art, there is a problem that it is difficult to realize the notification in a mode suitable for each driver.
  • the present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to realize a notification in a manner suitable for each driver.
  • the driving support control device uses a first inference unit that detects a driver's state in a vehicle by using a first image captured by a first camera for in-vehicle imaging, and a second camera for out-of-vehicle imaging.
  • a notification is output: a second inference unit that detects a threat in the surroundings to the vehicle using the captured image, a notification control unit that executes a process of setting a mode of notification for the threat according to the state of the driver, and a notification. It is provided with a matching unit that adapts the process of setting the mode of notification to the driver by learning the notification control unit according to the state of the driver at that time.
  • FIG. 5 is a block diagram showing a main part of an image recognition unit and a threat detection unit in the second inference unit in the driving support control device according to the first embodiment. It is a block diagram which shows the main part of the notification control part in the driving support control device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other system configuration of the main part of the driving support control device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the main part of another driving support control device which concerns on Embodiment 1.
  • FIG. 1 is a block diagram showing a main part of the driving support control device according to the first embodiment.
  • FIG. 2 is a block diagram showing a main part of the first inference unit in the driving support control device according to the first embodiment.
  • FIG. 3 is a block diagram showing a main part of the second inference unit in the driving support control device according to the first embodiment.
  • FIG. 4 is a block diagram showing a main part of the image recognition unit and the threat detection unit in the second inference unit in the driving support control device according to the first embodiment.
  • FIG. 5 is a block diagram showing a main part of the notification control unit in the driving support control device according to the first embodiment.
  • the driving support control device according to the first embodiment will be described with reference to FIGS. 1 to 5.
  • the vehicle 1 has a first camera 2, a second camera 3, sensors 4, and an output device 5.
  • the first camera 2 is a camera for in-vehicle imaging. That is, the first camera 2 is provided in the front portion of the vehicle interior of the vehicle 1 and captures the vehicle interior of the vehicle 1.
  • the first camera 2 is composed of a camera for capturing a moving image and is composed of an infrared camera.
  • each still image constituting the moving image captured by the first camera 2 may be referred to as a “first captured image”.
  • the first captured image may include the driver's face.
  • the second camera 3 is a camera for external imaging. Specifically, for example, the second camera 3 is a camera for an electronic mirror. That is, the second camera 3 is provided on the side portion of the vehicle 1 and images the rear of the vehicle 1.
  • the second camera 3 is composed of a camera for capturing a moving image and is composed of a visible light camera.
  • each still image constituting the moving image captured by the second camera 3 may be referred to as a “second captured image”.
  • the second captured image may include such an object.
  • the first camera 2 may be configured by a visible light camera instead of the infrared camera.
  • the second camera 3 may be configured by an infrared camera instead of the visible light camera.
  • the sensors 4 detect the state of the vehicle 1.
  • the sensors 4 include a plurality of types of sensors. Specifically, for example, the sensors 4 detect a sensor for detecting the traveling speed of the vehicle 1, a sensor for detecting the steering angle in the vehicle 1, a sensor for detecting the throttle opening in the vehicle 1, and a shift position in the vehicle 1. It includes a sensor for detecting the operation amount of the accelerator pedal in the vehicle 1, a sensor for detecting the operation amount of the brake pedal in the vehicle 1, and a sensor for detecting the operation amount of the brake pedal in the vehicle 1.
  • the output device 5 includes at least one of a light source 11, a display 12, a speaker 13, and a tactile device 14.
  • a light source 11 a display 12, a speaker 13, and a tactile device 14.
  • the light source 11 is composed of, for example, an LED (Light Emitting Diode) and is provided on the dashboard of the vehicle 1.
  • the display 12 is composed of, for example, a liquid crystal display or an organic EL (Electroluminescence) display, and is provided on the dashboard of the vehicle 1.
  • the speaker 13 is provided on the dashboard of the vehicle 1, for example.
  • the tactile device 14 is composed of, for example, a vibrator and is provided in the driver's seat of the vehicle 1 or the steering wheel of the vehicle 1.
  • the display 12 may include a display for an electronic mirror. That is, the main part of the electronic mirror may be configured by the second camera 3 and the display 12. Further, the display 12 may include a head-up display.
  • the vehicle 1 has a driving support control device 100.
  • the driving support control device 100 includes a first inference unit 21, a second inference unit 22, a notification control unit 23, and a conforming unit 24.
  • first inference unit 21, the second inference unit 22, the notification control unit 23, and the conforming unit 24 will be described.
  • the first inference unit 21 includes an image data acquisition unit 31, a feature amount extraction unit 32, and a state detection unit 33.
  • the image data acquisition unit 31 acquires image data indicating the first captured image (hereinafter, may be referred to as "first image data").
  • the feature amount extraction unit 32 extracts the feature amount in the first captured image by using the acquired first image data.
  • the state detection unit 33 detects the state of the driver in the vehicle 1 by using the extracted feature amount. That is, the feature amount extracted by the feature amount extraction unit 32 includes the feature amount for detecting the state of the driver.
  • the state detection unit 33 has face detection (Face Detection), face parts detection (Facial Parts Detection), face orientation estimation (Face Direction Estimation), head position estimation (Head Position Estimation), and eye opening degree. Calculation (Degree of Eye Opening Prescription), Openness calculation (Degree of Mouth Opening Prescription), Gaze tracking (Eye Tracking), Gaze estimation (Eye Position Essition, at least one of Regi It is what you do. Further, for example, the state detection unit 33 executes at least one of inattentive detection, drowsiness detection, person recognition, object recognition, motion recognition, behavior recognition, and non-contact pulse estimation.
  • the state detection unit 33 executes face detection, face part detection, and line-of-sight estimation will be mainly described. That is, an example in which the state detection unit 33 detects the line-of-sight direction of the driver will be mainly described.
  • the first inference unit 21 may be freely learned by machine learning. More specifically, the feature amount extraction unit 32 and the state detection unit 33 may be free to learn by machine learning. Hereinafter, an example in which the first inference unit 21 is free to learn by machine learning will be described.
  • the feature amount extraction unit 32 may be a neural network that can be freely learned by supervised learning, and may use a neural network that has been learned to realize the above functions.
  • a neural network may include a convolutional neural network (hereinafter, may be referred to as "CNN") that can be freely learned by deep learning.
  • CNN convolutional neural network
  • the feature amount extraction unit 32 may use a neural network that can be learned by unsupervised learning instead of a neural network that can be learned by supervised learning.
  • the state detection unit 33 may be a neural network that can be freely learned by supervised learning, and may use a neural network that has been learned to realize the above-mentioned functions.
  • a neural network may include a CNN that can be freely learned by deep learning.
  • the state detection unit 33 may use a neural network that can be learned by unsupervised learning instead of a neural network that can be learned by supervised learning.
  • the driver's condition can be detected with higher accuracy than when the so-called "rule base” is used. That is, it is possible to improve the detection accuracy related to DMS.
  • Various known techniques can be used for the feature amount extraction by the feature amount extraction unit 32 and the state detection by the state detection unit 33. That is, various known techniques related to DMS can be used. In addition, various known techniques related to image recognition (Computer Vision) can be used. In addition, various known techniques related to supervised learning, unsupervised learning, or deep learning can be used. Detailed description of these techniques will be omitted.
  • the technique described in Reference 1 below may be used for the feature amount extraction by the feature amount extraction unit 32 and the state detection by the state detection unit 33. Further, for example, the technique described in Reference 2 below may be used.
  • the second inference unit 22 has an image data acquisition unit 41, a feature amount extraction unit 42, an image recognition unit 43, a threat detection unit 44, and a vehicle information acquisition unit 45.
  • the image data acquisition unit 41 acquires image data indicating the second captured image (hereinafter, may be referred to as "second image data").
  • the feature amount extraction unit 42 extracts the feature amount in the second captured image by using the acquired second image data. As a result, the feature amount extraction unit 42 generates a feature map corresponding to the second captured image.
  • the image recognition unit 43 uses the generated feature map to execute image recognition including object recognition.
  • the image recognition unit 43 includes a traveling scene estimation unit 51, an object recognition unit 52, a distance estimation unit 53, and an object tracking unit 54.
  • the driving scene estimation unit 51 executes scene discrimination or context classification using the generated feature map. As a result, the traveling scene estimation unit 51 estimates the scene in which the vehicle 1 is traveling (hereinafter, referred to as “traveling scene”).
  • the object recognition unit 52 executes object recognition using the generated feature map. Specifically, for example, the object recognition unit 52 executes object detection (Object Detection) using the generated feature map. That is, the feature amount extracted by the feature amount extraction unit 42 includes high-level features (High-level Features) corresponding to object detection.
  • object detection object detection
  • High-level Features high-level features
  • the position of each object included in the second captured image is estimated by regression, and the type is estimated by classification.
  • object detection for each object included in the second captured image, information indicating the bounding box corresponding to the coordinates (x, y, w, h) corresponding to the position and size, and the label corresponding to the attribute are shown. Information etc. are output.
  • the distance estimation unit 53 estimates the distance to the second camera 3 for each object included in the second captured image by using the result of the object detection by the object recognition unit 52. For example, a table or function showing the correspondence between the distance and the number of pixels in the vertical direction of the bounding box is prepared for each attribute. The distance estimation unit 53 estimates the distance based on the number of pixels in the vertical direction of each bounding box using such a table or function.
  • FIG. 6 shows an example of a graph corresponding to such a table or function.
  • the object recognition by the object recognition unit 52 may include a region segmentation (Scene Segmentation) instead of or in addition to the object detection.
  • the region division divides the second captured image into regions corresponding to individual attributes. By region division, the second captured image is divided into a plurality of regions in pixel units. By region division, information indicating the area of each region, information indicating the attributes corresponding to each region, and the like are output.
  • region division information indicating the area of each region, information indicating the attributes corresponding to each region, and the like are output.
  • the object tracking unit 54 executes tracking for each object included in the second captured image by using the results of the object recognition by the object recognition unit 52 in chronological order. As a result, it is possible to suppress a decrease in recognition accuracy due to a change in the apparent shape of the moving image captured by the second camera 3 for each object.
  • the apparent shape of the object may change with time in the moving image captured by the second camera 3.
  • the apparent shape of the object may be a learned shape in the second captured image at a certain timing, and the shape of the object may be an unlearned shape in the second captured image at another timing. Then, since the object is not recognized by the object recognition at the latter timing, the recognition of the object may become unstable in time.
  • the object can be recognized even at the latter timing.
  • the recognition of the object can be stabilized in time.
  • the recognition accuracy of the object can be further improved.
  • the tracking by the object tracking unit 54 is as follows, for example. That is, the object tracking unit 54 corresponds to the attributes corresponding to the individual objects and the individual objects based on the result of the object detection for the second captured image corresponding to the Nth frame (N is an arbitrary integer).
  • a distance-based loss (Tracking-loss) regression such as KLD (Kullback-Leibler Divence) is performed on the coordinates to be used and the population ratio of the foreground to the background in each subregion.
  • KLD Kerlback-Leibler Divence
  • the object tracking unit 54 compares the result of such prediction with the result of object detection for the second captured image corresponding to the N + 1 frame, thereby detecting the object for the second captured image corresponding to the Nth frame. Detects an object that has been detected by the object detection of the second captured image corresponding to the N + 1th frame and has not been detected by the object detection. As a result, it is possible to continuously detect an object that is included in the second captured image corresponding to the N + 1th frame but is not detected by the object detection.
  • the image recognition by the image recognition unit 43 is not limited to these specific examples.
  • the image recognition unit 43 may estimate at least one of an attribute, a size, a distance, a region, and a feature space for each object included in the second captured image.
  • the threat detection unit 44 detects a threat to the vehicle 1 in the surroundings based on the result of image recognition by the image recognition unit 43. More specifically, the threat detection unit 44 detects a threat to the vehicle 1 in the rear.
  • the threat detection unit 44 has a threat level setting unit 61 and a threat level correction unit 62.
  • the threat level setting unit 61 sets the threat level corresponding to each object included in the second captured image based on the result of image recognition by the image recognition unit 43. Specifically, for example, the threat level setting unit 61 sets the threat level as follows.
  • the threat level setting unit 61 sets the threat level according to the distance estimated by the distance estimation unit 53. That is, the threat level setting unit 61 raises the threat level of each object when the estimated distance is small as compared with when the estimated distance is large.
  • the threat level setting unit 61 estimates the relative velocity of each object with respect to the vehicle 1 by using the tracking result by the object tracking unit 54, and whether or not the individual object is approaching the vehicle 1. Estimate. The threat level setting unit 61 raises the threat level corresponding to the object approaching the vehicle 1 as compared with the threat level corresponding to the object not approaching the vehicle 1. Further, the threat level setting unit 61 raises the threat level of each object approaching the vehicle 1 when the estimated relative speed is high as compared with when the estimated relative speed is low.
  • the threat level setting unit 61 may set the threat level according to the attribute corresponding to each object based on the result of object recognition by the object recognition unit 52. Further, the threat level setting unit 61 estimates the relative position of each object with respect to the vehicle 1 based on the result of object recognition by the object recognition unit 52, and sets the threat level according to the estimated relative position. There may be. Further, for example, the threat level setting unit 61 may set the threat level according to the driving scene estimated by the driving scene estimation unit 51.
  • the vehicle information acquisition unit 45 uses the sensors 4 to acquire information indicating the state of the vehicle 1 (hereinafter referred to as "vehicle information").
  • vehicle information includes, for example, information indicating the traveling speed of the vehicle 1, information indicating the steering angle in the vehicle 1, information indicating the throttle opening in the vehicle 1, information indicating the shift position in the vehicle 1, and operation of the accelerator pedal in the vehicle 1. It includes information indicating the amount and information indicating the amount of operation of the brake pedal in the vehicle 1.
  • the threat level correction unit 62 corrects the threat level set by the threat level setting unit 61 by using the vehicle information acquired by the vehicle information acquisition unit 45.
  • the threat level correction unit 62 corrects the threat level so as to increase the threat level corresponding to the object existing on the left rear side of the vehicle 1.
  • the vehicle 1 is about to turn right based on the vehicle information.
  • the threat level correction unit 62 corrects the threat level so as to increase the threat level corresponding to the object existing on the right rear side of the vehicle 1.
  • the threat to the vehicle 1 in the surroundings is detected. More specifically, a threat behind the vehicle 1 is detected.
  • the second inference unit 22 may be free to learn by machine learning. More specifically, the feature amount extraction unit 42, the image recognition unit 43, and the threat detection unit 44 may be free to learn by machine learning. Hereinafter, an example in which the second inference unit 22 is free to learn by machine learning will be described.
  • the feature amount extraction unit 42 may be a neural network that can be freely learned by supervised learning, and may use a neural network that has been learned to realize the above functions.
  • a neural network may include a CNN that can be freely learned by deep learning.
  • the feature extraction unit 42 may use a neural network that can be learned by unsupervised learning instead of a neural network that can be learned by supervised learning.
  • the object recognition unit 52 of the image recognition unit 43 is a neural network that can be learned by supervised learning, and uses a neural network that has been learned to realize the above functions. You may.
  • a neural network may include a CNN that can be freely learned by deep learning.
  • the object recognition unit 52 may use a neural network that can be learned by unsupervised learning instead of a neural network that can be learned by supervised learning.
  • the threat detection unit 44 may be a neural network that can be learned by supervised learning, and may use a neural network that has been learned to realize the above-mentioned functions.
  • a neural network may include a CNN that can be freely learned by deep learning.
  • the threat detection unit 44 may use a neural network that can be learned by unsupervised learning instead of a neural network that can be learned by supervised learning.
  • Various known techniques can be used for feature extraction by the feature extraction unit 42, image recognition by the image recognition unit 43, and threat detection by the threat detection unit 44. That is, various known techniques related to CMS can be used. In addition, various known techniques related to image recognition can be used. In addition, various known techniques related to supervised learning, unsupervised learning, or deep learning can be used. Detailed description of these techniques will be omitted.
  • the feature amount extraction unit 42 and the object detection unit 52 may use the following techniques.
  • the feature amount extraction unit 42 extracts one medium-level feature (Mid-level Feature) corresponding to the object-likeness (Objectness) using the second image data, thereby corresponding to each second captured image.
  • first feature map is generated.
  • the feature amount extraction unit 42 generates a salience map (Salience Map) corresponding to the object-likeness by the same method as that described in Reference 3 below. That is, the first feature map is generated without using CNN.
  • the first feature map is composed of a plurality of feature quantities (hereinafter referred to as "first feature quantities”) arranged in two directions orthogonal to each other.
  • the feature amount extraction unit 42 extracts a plurality of feature maps corresponding to individual second captured images by extracting high-level features using the second image data (hereinafter referred to as "second feature map”). To generate.
  • the plurality of second feature maps are sequentially generated by, for example, CNN.
  • Each second feature map is composed of a plurality of feature quantities (hereinafter referred to as “second feature quantities”) arranged in two directions orthogonal to each other.
  • the feature amount extraction unit 42 generates a plurality of feature maps (hereinafter referred to as "third feature maps") corresponding to the individual second captured images as follows.
  • the feature amount extraction unit 42 uses each first feature amount in the first feature map to weight the corresponding second feature amount in each second feature map. By such weighting, each second feature amount in each second feature map is reinforced according to the corresponding object-likeness. In this way, a plurality of third feature maps corresponding to the plurality of second feature maps are generated. That is, the individual features in each third feature map are due to such reinforced features.
  • the feature amount extraction unit 42 executes an element-by-element (Element-wise) multiplication of each first feature amount in the first feature map and the corresponding second feature amount in each second feature map.
  • the inner product (Inner Product) is calculated by.
  • each second feature amount in each second feature map is reinforced according to the corresponding object-likeness.
  • a plurality of third feature maps corresponding to the plurality of second feature maps are generated. That is, the individual features in each third feature map are due to such reinforced features.
  • the object recognition unit 52 executes object detection by a method corresponding to so-called "multiscale”. Specifically, for example, the object recognition unit 52 executes object detection by SSD (Single Shot MultiBox Detector). SSD is described in Reference 4 below.
  • SSD Single Shot MultiBox Detector
  • the notification control unit 23 has a mode setting unit 71, an output control unit 72, and a matching unit 73.
  • the aspect setting unit 71 has a necessity setting unit 81. Further, the aspect setting unit 71 has at least one of a means setting unit 82, a timing setting unit 83, a level setting unit 84, and a content setting unit 85.
  • a means setting unit 82 for setting the mode setting unit 71
  • a timing setting unit 83 a timing setting unit 83
  • a level setting unit 84 a content setting unit 85.
  • the mode setting unit 71 sets the mode of notification for the threat detected by the threat detection unit 44 according to the state of the driver detected by the state detection unit 33.
  • the "mode” includes necessity, means, timing, level, content, and the like.
  • the necessity setting unit 81 sets the necessity of such notification.
  • the means setting unit 82 sets the means used for outputting the notification when the notification is set to "necessary" by the necessity setting unit 81. That is, the means setting unit 82 selects at least one of a plurality of types of means (for example, the light source 11, the display 12, the speaker 13, and the tactile device 14).
  • the timing setting unit 83 sets the timing at which such a notification is output when the notification is set to "required" by the necessity setting unit 81.
  • the timing setting unit 83 sets the timing of notification by each of the two or more selected types of means. In other words, the timing setting unit 83 sets the timing of notification for each means.
  • the level setting unit 84 sets the level of the notification when the notification is set to "required" by the necessity setting unit 81.
  • the level setting unit 84 sets the level of notification by each of the two or more selected types of means. In other words, the level setting unit 84 sets the notification level for each means.
  • the content setting unit 85 sets the content of the notification when the notification is set to "required" by the necessity setting unit 81.
  • the content setting unit 85 sets the content of the notification by each of the selected two or more types of means. In other words, the content setting unit 85 sets the content of the notification for each means.
  • the mode setting unit 71 can be freely learned by machine learning.
  • the mode setting unit 71 uses a neural network.
  • information indicating the detection result by the state detection unit 33 that is, information indicating the state of the driver
  • information indicating the detection result by the threat detection unit 44 that is, information including the threat level corresponding to each object. It accepts the input of and outputs the value indicating each of the above settings.
  • the output control unit 72 executes control to output a notification using the output device 5 based on the setting by the mode setting unit 71. That is, when the notification "necessary" is set by the necessity setting unit 81, the output control unit 72 controls to output the notification light by using the light source 11, and displays the notification image by using the display 12. At least one of control, a control for outputting a notification voice using the speaker 13, and a control for outputting a notification vibration using the tactile device 14 is executed.
  • the conforming unit 24 learns the notification control unit 23 according to the state of the driver when the notification is output by the output device 5. More specifically, the conforming unit 24 uses the detection result of the state detecting unit 33 at this time, and the mode of the notification output by the output device 5 from the next time onward is adapted to the driver of the vehicle 1. As described above, the mode setting unit 71 is learned.
  • the level setting method by the level setting unit 84 will be described. Further, as a specific example of the learning method of the mode setting unit 71 by the conforming unit 24, the learning method of the level setting unit 84 by the conforming unit 24 will be described.
  • a saliency map M1 indicating an area to which the driver's attention is directed is generated in response to the input of information indicating the detection result by the state detection unit 33 (that is, information indicating the driver's state).
  • the saliency value in the region where the driver is looking is higher than the saliency value in the other regions.
  • FIG. 7 shows an example of the saliency map M1.
  • the risk map M2 corresponding to the saliency map M1 is generated in response to the input of the information indicating the detection result by the threat detection unit 44 (that is, the information including the threat level corresponding to each object).
  • the risk value in the region corresponding to the object having a high threat level is higher than the risk value in the other regions.
  • FIG. 8 shows an example of the risk map M2.
  • an attention map M3 indicating an area to which the driver should pay attention is generated.
  • the attention value in the region where the driver should pay attention but not pay attention is higher than the attention value in the other regions.
  • FIG. 9 shows an example of the attention map M3.
  • the notification level is set according to the attention value in the attention map M3. For example, when the driver is unaware of the threat, it is considered that the attention value in the attention map M3 becomes high because the driver does not pay attention to the threat. In this case, the notification level is also set to a high value.
  • the data including the generated saliency map M1 is automatically given a label corresponding to the risk map M2 having the smallest difference with respect to the generated saliency map M1. Then, the data to which the label is attached is newly added to the learning data set of the neural network corresponding to the level setting unit 84. As a result, the accuracy of learning of the neural network from the next time onward can be improved.
  • the notification with the above high level is output.
  • the same saliency map M1, risk map M2, and attention map M3 as described above are generated in chronological order.
  • the neural network parameters are adjusted to lower the level of notification for the same threat from the next time onward. Will be done.
  • the neural network parameters are adjusted to increase the level of notification for the same threat from the next time onward.
  • the neural network adjusts the timing of the next and subsequent notifications for the same threat according to the time from the output of the notification until the driver notices the threat.
  • the parameters may be adjusted.
  • the matching unit 73 executes a process of matching the two or more types of notifications with each other. Such processing is realized, for example, by adjusting the parameters in the neural network corresponding to the mode setting unit 71.
  • the timing setting unit 83 sets the timing of notification for each means. Therefore, the timing at which the notification by the second means is output may be different from the timing at which the notification by the first means is output.
  • the matching unit 73 adjusts the parameters of the neural network so that the timing at which the notification by the first means is output and the timing at which the notification by the second means is output are aligned. As a result, when similar notifications for similar threats are output from the next time onward, it is possible to ensure consistency in the timing at which these notifications are output.
  • driver monitoring function the functions of the first inference unit 21 may be collectively referred to as "driver monitoring function". Further, the reference numeral “F1" may be used for such a driver monitoring function. Further, the processes executed by the first inference unit 21 may be collectively referred to as “driver monitoring process”.
  • the functions of the second inference unit 22 may be collectively referred to as “camera monitoring function”.
  • the code "F2" may be used for such a camera monitoring function.
  • the processes executed by the second inference unit 22 may be collectively referred to as “camera monitoring process”.
  • notification control function the functions of the notification control unit 23 may be collectively referred to as "notification control function". Further, the code of "F3" may be used for such a notification control function. In addition, the processing and control executed by the notification control unit 23 may be collectively referred to as “notification control”.
  • the functions possessed by the conforming unit 24 may be collectively referred to as “adaptation functions”. Moreover, the code of "F4" may be used for such a conforming function. Further, the processes executed by the conforming unit 24 may be collectively referred to as “adaptation processing”.
  • the driving support control device 100 has a processor 91 and a memory 92. Programs corresponding to a plurality of functions F1 to F4 are stored in the memory 92. The processor 91 reads and executes the program stored in the memory 92. As a result, a plurality of functions F1 to F4 are realized.
  • the driving support control device 100 has a processing circuit 93.
  • the processing circuit 93 executes processing corresponding to a plurality of functions F1 to F4. As a result, a plurality of functions F1 to F4 are realized.
  • the driving support control device 100 includes a processor 91, a memory 92, and a processing circuit 93.
  • a program corresponding to a part of the plurality of functions F1 to F4 is stored in the memory 92.
  • the processor 91 reads and executes the program stored in the memory 92. As a result, some of these functions are realized.
  • the processing circuit 93 executes processing corresponding to the remaining functions of the plurality of functions F1 to F4. As a result, such a residual function is realized.
  • the processor 91 is composed of one or more processors.
  • processors for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor) is used.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • the memory 92 is composed of one or more non-volatile memories.
  • the memory 92 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 92 is composed of one or more memories.
  • the individual memory uses, for example, a semiconductor memory or a magnetic disk. More specifically, each volatile memory uses, for example, a RAM (Random Access Memory).
  • the individual non-volatile memory is, for example, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmory), an EEPROM (Electrically Erasable Programmory) drive, or a hard disk drive that uses a hard disk drive, a hard disk, or a drive solid state drive.
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmory), an EEPROM (Electrically Erasable Programmory) drive
  • EEPROM Electrically Erasable Programmory
  • the processing circuit 93 is composed of one or more digital circuits.
  • the processing circuit 93 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 93 is composed of one or more processing circuits.
  • the individual processing circuits are, for example, ASIC (Application Special Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), FPGA (Field Program Is.
  • the processor 91 when the processor 91 is composed of a plurality of processors, the correspondence between the plurality of functions F1 to F4 and the plurality of processors is arbitrary. That is, each of the plurality of processors may read and execute a program corresponding to one or more corresponding functions among the plurality of functions F1 to F4.
  • the processor 91 may include a dedicated processor corresponding to each function F1 to F4.
  • each of the plurality of memories may store a program corresponding to one or more corresponding functions among the plurality of functions F1 to F4.
  • the memory 92 may include a dedicated memory corresponding to the individual functions F1 to F4.
  • the processing circuit 93 when the processing circuit 93 is composed of a plurality of processing circuits, the correspondence between the plurality of functions F1 to F4 and the plurality of processing circuits is arbitrary. That is, each of the plurality of processing circuits may execute processing corresponding to one or more corresponding functions among the plurality of functions F1 to F4.
  • the processing circuit 93 may include a dedicated processing circuit corresponding to the individual functions F1 to F4.
  • the first inference unit 21 executes the driver monitoring process (step ST1). Further, the second inference unit 22 executes the camera monitoring process (step ST2).
  • the driver monitoring process and the camera monitoring process are repeatedly executed when a predetermined condition is satisfied (for example, when the ignition power supply in the vehicle 1 is turned on).
  • the notification control unit 23 executes notification control using the processing results of steps ST1 and ST2 (step ST3).
  • the conforming unit 24 executes the conforming process (step ST5).
  • the driver is driving the vehicle 1, the notification control and the conforming process are repeatedly executed, so that the mode of the notification gradually adapts to the driver.
  • the vehicle 1 may be equipped with the in-vehicle information device 6.
  • the in-vehicle information device 6 is composed of, for example, an ECU (Electronic Control Unit). Further, the mobile information terminal 7 may be brought into the vehicle 1.
  • the mobile information terminal 7 is composed of, for example, a smartphone.
  • the in-vehicle information device 6 and the mobile information terminal 7 may be capable of communicating with each other.
  • the in-vehicle information device 6 may be capable of communicating with the server 8 provided outside the vehicle 1.
  • the mobile information terminal 7 may be capable of communicating with a server 8 provided outside the vehicle 1. That is, the server 8 may be capable of communicating with at least one of the in-vehicle information device 6 and the mobile information terminal 7. As a result, the server 8 may be capable of communicating with the vehicle 1.
  • Each of the plurality of functions F1 to F4 may be realized by the in-vehicle information device 6, the mobile information terminal 7, or the server 8. It may be the one that is realized by the cooperation of the in-vehicle information device 6 and the mobile information terminal 7, and is realized by the cooperation of the in-vehicle information device 6 and the server 8. It may be realized by the cooperation of the mobile information terminal 7 and the server 8.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6.
  • the main part of the driving support control device 100 may be configured by the mobile information terminal 7.
  • the main part of the operation support control device 100 may be configured by the server 8.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6 and the mobile information terminal 7.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6 and the server 8.
  • the main part of the driving support control device 100 may be configured by the mobile information terminal 7 and the server 8.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6, the mobile information terminal 7, and the server 8.
  • the driving support control device 100 may have a vehicle control unit 25.
  • the vehicle control unit 25 executes control to operate the vehicle 1 in response to the threat detected by the threat detection unit 44. Specifically, for example, the vehicle control unit 25 avoids a collision between the vehicle 1 and an object corresponding to the detected threat by executing control for operating the steering, brake, or throttle opening in the vehicle 1. Is what you do.
  • control may be executed only when the driver of the vehicle 1 is unaware of the detected threat even though the notification for the detected threat is output.
  • the first inference unit 21 bears even if it uses a biosensor in addition to using the first camera 2.
  • the biosensor may include a plurality of types of sensors.
  • the individual sensors may be, for example, those provided in the driver's seat of the vehicle 1 or those attached to the driver's body.
  • the detection target by the state detection unit 33 may include the driver's pulse, blood pressure, posture, and the like.
  • the driving support control device 100 uses the first captured image taken by the first camera 2 for capturing the inside of the vehicle to detect the state of the driver in the vehicle 1.
  • the second inference unit 22 that detects a threat to the vehicle 1 in the surroundings using the second image captured by the second camera 3 for external imaging, and the mode of notification of the threat are set according to the state of the driver.
  • the notification control unit 23 that executes the processing to be performed and the notification control unit 23 according to the state of the driver when the notification is output, the process of setting the mode of the notification is adapted to the driver.
  • a unit 24 is provided. As a result, it is possible to realize the notification in a mode suitable for each driver.
  • the first inference unit 21 is free to learn by machine learning
  • the second inference unit 22 is free to learn by machine learning.
  • the first inference unit 21 detects the state of the driver in the vehicle 1 by using the first captured image by the first camera 2 for capturing the inside of the vehicle in step ST1. Then, step ST2 in which the second inference unit 22 detects a threat in the surroundings to the vehicle 1 by using the second image captured by the second camera 3 for external imaging, and the notification control unit 23 are in the driver's state. In response to this, step ST3 for executing the process of setting the mode of notification for the threat and the conforming unit 24 learn the notification control unit 23 according to the state of the driver when the notification is output to notify the notification. Step ST5, which adapts the process of setting the aspect to the driver, is provided. As a result, it is possible to realize the notification in a mode suitable for each driver.
  • the driving support control device and the driving support control method according to the present disclosure can be used in a system consisting of a combination of DMS and CMS.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

運転支援制御装置（１００）は、車内撮像用の第１カメラ（２）による第１撮像画像を用いて、車両（１）における運転者の状態を検知する第１推論部（２１）と、車外撮像用の第２カメラ（３）による第２撮像画像を用いて、車両（１）に対する周囲における脅威を検知する第２推論部（２２）と、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行する通知制御部（２３）と、通知が出力されたときの運転者の状態に応じて通知制御部（２３）の学習をすることにより、通知の態様を設定する処理を運転者に適合させる適合部（２４）と、を備える。

Description

運転支援制御装置及び運転支援制御方法
　本開示は、運転支援制御装置及び運転支援制御方法に関する。
　従来、車両用のＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）が開発されている。また、車両用のＣＭＳ（Ｃａｍｅｒａ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）が開発されている。以下、ＣＭＳを「電子ミラー」ということがある。
特開２０１８－１８５６７３号公報
　従来、車内撮像用のカメラにより撮像された画像を用いて、運転者の状態を検知する技術が開発されている。また、車外撮像用のカメラにより撮像された画像を用いて、車両の周囲における物体等を検知する技術が開発されている。また、これらの検知結果に応じて、運転者に対する通知を出力する技術が開発されている（例えば、特許文献１参照。）。
　かかる通知は、運転者毎に好適な態様が異なり得るものである。したがって、かかる通知の態様は、個々の運転者に適合するように設定されるのが好適である。しかしながら、従来技術においては、かかる通知の態様を個々の運転者に適合させるための構成が設けられていない。このため、従来技術においては、個々の運転者に適合した態様による通知を実現することが困難であるという問題があった。
　本開示は、上記のような課題を解決するためになされたものであり、個々の運転者に適合した態様による通知を実現することを目的とする。
　本開示に係る運転支援制御装置は、車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知する第１推論部と、車外撮像用の第２カメラによる第２撮像画像を用いて、車両に対する周囲における脅威を検知する第２推論部と、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行する通知制御部と、通知が出力されたときの運転者の状態に応じて通知制御部の学習をすることにより、通知の態様を設定する処理を運転者に適合させる適合部と、を備えるものである。
　本開示によれば、上記のように構成したので、個々の運転者に適合した態様による通知を実現することができる。
実施の形態１に係る運転支援制御装置の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第１推論部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第２推論部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における第２推論部のうちの画像認識部及び脅威検知部の要部を示すブロック図である。 実施の形態１に係る運転支援制御装置における通知制御部の要部を示すブロック図である。 グラフの例を示す説明図である。 リスクマップの例を示す説明図である。 顕著性マップの例を示す説明図である。 アテンションマップの例を示す説明図である。 実施の形態１に係る運転支援制御装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る運転支援制御装置の要部のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る他の運転支援制御装置の要部を示すブロック図である。
　以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る運転支援制御装置の要部を示すブロック図である。図２は、実施の形態１に係る運転支援制御装置における第１推論部の要部を示すブロック図である。図３は、実施の形態１に係る運転支援制御装置における第２推論部の要部を示すブロック図である。図４は、実施の形態１に係る運転支援制御装置における第２推論部のうちの画像認識部及び脅威検知部の要部を示すブロック図である。図５は、実施の形態１に係る運転支援制御装置における通知制御部の要部を示すブロック図である。図１～図５を参照して、実施の形態１に係る運転支援制御装置について説明する。
　図１に示す如く、車両１は、第１カメラ２、第２カメラ３、センサ類４及び出力装置５を有してる。
　第１カメラ２は、車内撮像用のカメラである。すなわち、第１カメラ２は、車両１の車室内前方部に設けられており、かつ、車両１の車室内を撮像するものである。第１カメラ２は、動画撮像用のカメラにより構成されており、かつ、赤外線カメラにより構成されている。以下、第１カメラ２により撮像される動画を構成する個々の静止画を「第１撮像画像」ということがある。車両１の運転席に運転者が着座しているとき、第１撮像画像は、運転者の顔を含み得るものである。
　第２カメラ３は、車外撮像用のカメラである。具体的には、例えば、第２カメラ３は、電子ミラー用のカメラである。すなわち、第２カメラ３は、車両１の側部に設けられており、かつ、車両１に対する後方を撮像するものである。第２カメラ３は、動画撮像用のカメラにより構成されており、かつ、可視光カメラにより構成されている。以下、第２カメラ３により撮像される動画を構成する個々の静止画を「第２撮像画像」ということがある。車両１に対する後方に物体（例えば他車両）が存在するとき、第２撮像画像は、かかる物体を含み得るものである。
　なお、第１カメラ２は、赤外線カメラに代えて可視光カメラにより構成されているものであっても良い。また、第２カメラ３は、可視光カメラに代えて赤外線カメラにより構成されているものであっても良い。
　センサ類４は、車両１の状態を検出するものである。センサ類４は、複数種類のセンサを含むものである。具体的には、例えば、センサ類４は、車両１の走行速度を検出するセンサ、車両１における操舵角を検出するセンサ、車両１におけるスロットル開度を検出するセンサ、車両１におけるシフトポジションを検出するセンサ、車両１におけるアクセルペダルの操作量を検出するセンサ、及び車両１におけるブレーキペダルの操作量を検出するセンサを含むものである。
　出力装置５は、光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４のうちの少なくとも一つを含むものである。以下、出力装置５が光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４のうちの全てを含む場合の例を中心に説明する。
　光源１１は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）により構成されており、かつ、車両１のダッシュボードに設けられている。ディスプレイ１２は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成されており、かつ、車両１のダッシュボードに設けられている。スピーカ１３は、例えば、車両１のダッシュボードに設けられている。触覚デバイス１４は、例えば、バイブレータにより構成されており、かつ、車両１の運転席又は車両１のハンドルに設けられている。
　なお、ディスプレイ１２は、電子ミラー用のディスプレイを含むものであっても良い。すなわち、第２カメラ３及びディスプレイ１２により電子ミラーの要部が構成されているものであっても良い。また、ディスプレイ１２は、ヘッドアップディスプレイを含むものであっても良い。
　図１に示す如く、車両１は、運転支援制御装置１００を有している。運転支援制御装置１００は、第１推論部２１、第２推論部２２、通知制御部２３及び適合部２４を有している。以下、第１推論部２１、第２推論部２２、通知制御部２３及び適合部２４の各々について説明する。
　図２に示す如く、第１推論部２１は、画像データ取得部３１、特徴量抽出部３２及び状態検知部３３を有している。
　画像データ取得部３１は、第１撮像画像を示す画像データ（以下「第１画像データ」ということがある。）を取得するものである。特徴量抽出部３２は、当該取得された第１画像データを用いて、第１撮像画像における特徴量を抽出するものである。状態検知部３３は、当該抽出された特徴量を用いて、車両１における運転者の状態を検知するものである。すなわち、特徴量抽出部３２により抽出される特徴量は、運転者の状態を検知するための特徴量を含むものである。
　具体的には、例えば、状態検知部３３は、顔検出（Ｆａｃｅ　Ｄｅｔｅｃｔｉｏｎ）、顔パーツ検出（Ｆａｃｉａｌ　Ｐａｒｔｓ　Ｄｅｔｅｃｔｉｏｎ）、顔向き推定（Ｆａｃｅ　Ｄｉｒｅｃｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ）、頭部位置推定（Ｈｅａｄ　Ｐｏｓｉｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ）、開眼度算出（Ｄｅｇｒｅｅ　ｏｆ　Ｅｙｅ　Ｏｐｅｎｉｎｇ　Ｐｒｅｄｉｃｔｉｏｎ）、開口度算出（Ｄｅｇｒｅｅ　ｏｆ　Ｍｏｕｔｈ　Ｏｐｅｎｉｎｇ　Ｐｒｅｄｉｃｔｉｏｎ）、視線追跡（Ｅｙｅ　Ｔｒａｃｋｉｎｇ）、視線推定（Ｅｙｅ　Ｐｏｓｉｔｉｏｎ　Ｅｓｉｔｉｍａｔｉｏｎ）及びハンドジェスチャー認識（Ｈａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ）のうちの少なくとも一つを実行するものである。また、例えば、状態検知部３３は、脇見検知、眠気検知、人物認識、物体認識、動き認識、行動認識及び非接触脈拍推定のうちの少なくとも一つを実行するものである。
　以下、状態検知部３３が顔検出、顔パーツ検出及び視線推定を実行する場合の例を中心に説明する。すなわち、状態検知部３３が運転者の視線方向を検知する場合の例を中心に説明する。
　ここで、第１推論部２１は、機械学習により学習自在なものであっても良い。より具体的には、特徴量抽出部３２及び状態検知部３３が機械学習により学習自在なものであっても良い。以下、第１推論部２１が機械学習により学習自在なものである場合の例を中心に説明する。
　例えば、特徴量抽出部３２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在な畳み込みニューラルネットワーク（以下「ＣＮＮ」と記載することがある。）を含むものであっても良い。なお、特徴量抽出部３２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。
　また、例えば、状態検知部３３は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、状態検知部３３は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。
　かかる機械学習を用いることにより、いわゆる「ルールベース」を用いる場合に比して、運転者の状態を高精度に検知することができる。すなわち、ＤＭＳに係る検知精度の向上を図ることができる。
　特徴量抽出部３２による特徴量の抽出及び状態検知部３３による状態の検知には、公知の種々の技術を用いることができる。すなわち、ＤＭＳに係る公知の種々の技術を用いることができる。また、画像認識（Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ）に係る公知の種々の技術を用いることができる。また、教師あり学習、教師なし学習又は深層学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　例えば、特徴量抽出部３２による特徴量の抽出及び状態検知部３３による状態の検知には、以下の参考文献１に記載された技術が用いられるものであっても良い。また、例えば、以下の参考文献２に記載された技術が用いられるものであっても良い。
［参考文献１］
Marks, T., Kumar, A., Mou, W., Feng, C., Liu, X., "UGLLI Face Alignment: Estimating Uncertainty with Gaussian Log-Likelihood Loss," IEEE International Conference on Computer Vision (ICCV) Workshop on Statistical Deep Learning for Computer Vision (SDL-CV), October 2019.
［参考文献２］
米国特許第９６３３２５０号明細書
　図３に示す如く、第２推論部２２は、画像データ取得部４１、特徴量抽出部４２、画像認識部４３、脅威検知部４４及び車両情報取得部４５を有している。
　画像データ取得部４１は、第２撮像画像を示す画像データ（以下「第２画像データ」ということがある。）を取得するものである。特徴量抽出部４２は、当該取得された第２画像データを用いて、第２撮像画像における特徴量を抽出するものである。これにより、特徴量抽出部４２は、第２撮像画像に対応する特徴マップを生成するものである。画像認識部４３は、当該生成された特徴マップを用いて、物体認識（Ｏｂｊｅｃｔ　Ｒｅｃｏｇｎｉｔｉｏｎ）を含む画像認識を実行するものである。
　すなわち、図４に示す如く、画像認識部４３は、走行シーン推定部５１、物体認識部５２、距離推定部５３及び物体追跡部５４を有している。
　走行シーン推定部５１は、上記生成された特徴マップを用いて、シーン判別又はコンテキスト分類を実行するものである。これにより、走行シーン推定部５１は、車両１が走行しているシーン（以下「走行シーン」という。）を推定するものである。
　物体認識部５２は、上記生成された特徴マップを用いて、物体認識を実行するものである。具体的には、例えば、物体認識部５２は、上記生成された特徴マップを用いて、物体検出（Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ）を実行するものである。すなわち、特徴量抽出部４２により抽出される特徴量は、物体検出に対応した高レベル特徴（Ｈｉｇｈ－ｌｅｖｅｌ　Ｆｅａｔｕｒｅ）を含むものである。
　物体検出は、第２撮像画像に含まれる個々の物体について、回帰（Ｒｅｇｒｅｓｓｉｏｎ）により位置を推定するとともに、分類（Ｃｌａｓｓｉｆｙ）により種別を推定するものである。物体検出により、第２撮像画像に含まれる個々の物体について、位置及び大きさに対応する座標（ｘ，ｙ，ｗ，ｈ）に対応するバウンディングボックスを示す情報、並びに属性に対応するラベルを示す情報などが出力される。
　距離推定部５３は、物体認識部５２による物体検出の結果を用いて、第２撮像画像に含まれる個々の物体について、第２カメラ３に対する距離を推定するものである。例えば、距離とバウンディングボックスの縦方向のピクセル数との対応関係を示すテーブル又は関数が属性毎に用意されている。距離推定部５３は、かかるテーブル又は関数を用いて、個々のバウンディングボックスの縦方向のピクセル数に基づき距離を推定する。図６は、かかるテーブル又は関数に対応するグラフの例を示している。
　なお、物体認識部５２による物体認識は、物体検出に代えて又は加えて、領域分割（Ｓｃｅｎｅ　Ｓｅｇｍｅｎｔａｔｉｏｎ）を含むものであっても良い。領域分割は、第２撮像画像を個々の属性に対応する領域に分割するものである。領域分割により、第２撮像画像がピクセル単位にて複数個の領域に分割される。領域分割により、個々の領域の面積を示す情報、及び個々の領域に対応する属性を示す情報などが出力される。以下、物体認識部５２が物体検出を実行する場合の例を中心に説明する。
　物体追跡部５４は、物体認識部５２による物体認識の結果を時系列的に用いることにより、第２撮像画像に含まれる個々の物体に対するトラッキングを実行するものである。これにより、個々の物体について、第２カメラ３により撮像される動画における見かけの形状の変化による認識精度の低下を抑制することができる。
　すなわち、例えば、ある物体が移動することにより、第２カメラ３により撮像される動画において、当該物体の見かけの形状が時間的に変化することがある。このとき、あるタイミングにおける第２撮像画像においては当該物体の見かけの形状が学習済みの形状となり、他のタイミングにおける第２撮像画像においては当該物体の形状が未学習の形状となることがある。そして、後者のタイミングにおける物体認識により当該物体が認識されないことにより、当該物体の認識が時間的に不安定になることがある。
　これに対して、当該物体に対するトラッキングを実行することにより、後者のタイミングにおいても当該物体を認識することができる。これにより、当該物体の認識を時間的に安定させることができる。この結果、当該物体の認識精度を更に向上することができる。
　物体追跡部５４によるトラッキングは、例えば、以下のようなものである。すなわち、物体追跡部５４は、第Ｎのフレーム（Ｎは任意の整数である。）に対応する第２撮像画像に対する物体検出の結果に基づき、個々の物体に対応する属性、個々の物体に対応する座標、及び個々の小領域における背景に対する前景の母集団比率について、ＫＬＤ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ　Ｄｉｖｅｒｇｅｎｃｅ）等の距離に基づく損失（Ｔｒａｃｋｉｎｇ－ｌｏｓｓ）による回帰を実行する。これにより、物体追跡部５４は、第Ｎ＋１のフレームに対応する第２撮像画像における各物体の位置及び大きさを予測する。
　次いで、物体追跡部５４は、かかる予測の結果と第Ｎ＋１のフレームに対応する第２撮像画像に対する物体検出の結果とを比較することにより、第Ｎのフレームに対応する第２撮像画像に対する物体検出により検出されており、かつ、第Ｎ＋１のフレームに対応する第２撮像画像に対する物体検出により検出されていない物体を検出する。これにより、第Ｎ＋１のフレームに対応する第２撮像画像に含まれているにもかかわらず物体検出により検出されなかった物体について、継続的に検出することができる。
　このほか、物体追跡部５４によるトラッキングには、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　なお、画像認識部４３による画像認識は、これらの具体例に限定されるものではない。例えば、画像認識部４３は、第２撮画像に含まれる個々の物体について、属性、大きさ、距離、領域及び特徴空間のうちの少なくとも一つを推定するものであっても良い。
　脅威検知部４４は、画像認識部４３による画像認識の結果に基づき、車両１に対する周囲における脅威を検知するものである。より具体的には、脅威検知部４４は、車両１に対する後方における脅威を検知するものである。
　すなわち、図４に示す如く、脅威検知部４４は、脅威レベル設定部６１及び脅威レベル補正部６２を有している。
　脅威レベル設定部６１は、画像認識部４３による画像認識の結果に基づき、第２撮像画像に含まれる個々の物体に対応する脅威レベルを設定するものである。具体的には、例えば、脅威レベル設定部６１は、以下のようにして脅威レベルを設定する。
　第一に、脅威レベル設定部６１は、距離推定部５３により推定された距離に応じて脅威レベルを設定する。すなわち、脅威レベル設定部６１は、個々の物体について、当該推定された距離が小さいときは、当該推定された距離が大きいときに比して脅威レベルを高くする。
　第二に、脅威レベル設定部６１は、物体追跡部５４によるトラッキングの結果を用いて、車両１に対する個々の物体の相対速度を推定するとともに、個々の物体が車両１に接近中であるか否かを推定する。脅威レベル設定部６１は、車両１に接近中の物体に対応する脅威レベルを、そうでない物体に対応する脅威レベルに比して高くする。また、脅威レベル設定部６１は、車両１に接近中の個々の物体について、上記推定された相対速度が高いときは、上記推定された相対速度が低いときに比して脅威レベルを高くする。
　そのほか、脅威レベル設定部６１は、物体認識部５２による物体認識の結果に基づき、個々の物体に対応する属性に応じて脅威レベルを設定するものであっても良い。また、脅威レベル設定部６１は、物体認識部５２による物体認識の結果に基づき車両１に対する個々の物体の相対位置を推定して、当該推定された相対位置に応じて脅威レベルを設定するものであっても良い。また、例えば、脅威レベル設定部６１は、走行シーン推定部５１により推定された走行シーンに応じて脅威レベルを設定するものであっても良い。
　車両情報取得部４５は、センサ類４を用いて、車両１の状態を示す情報（以下「車両情報」という。）を取得するものである。車両情報は、例えば、車両１の走行速度を示す情報、車両１における操舵角を示す情報、車両１におけるスロットル開度を示す情報、車両１におけるシフトポジションを示す情報、車両１におけるアクセルペダルの操作量を示す情報、及び車両１におけるブレーキペダルの操作量を示す情報を含むものである。
　脅威レベル補正部６２は、車両情報取得部４５により取得された車両情報を用いて、脅威レベル設定部６１により設定された脅威レベルを補正するものである。
　例えば、車両情報に基づき、車両１が左折しようとしている状態であるものとする。この場合、脅威レベル補正部６２により、車両１に対する左後方に存在する物体に対応する脅威レベルを上げるように補正がなされる。他方、車両情報に基づき、車両１が右折しようとしている状態であるものとする。この場合、脅威レベル補正部６２により、車両１に対する右後方に存在する物体に対応する脅威レベルを上げるように補正がなされる。
　このようにして、車両１に対する周囲における脅威が検知される。より具体的には、車両１に対する後方における脅威が検知される。
　ここで、第２推論部２２は、機械学習により学習自在なものであっても良い。より具体的には、特徴量抽出部４２、画像認識部４３及び脅威検知部４４が機械学習により学習自在なものであっても良い。以下、第２推論部２２が機械学習により学習自在なものである場合の例を中心に説明する。
　例えば、特徴量抽出部４２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、特徴量抽出部４２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。
　また、例えば、画像認識部４３のうちの物体認識部５２は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、物体認識部５２は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。
　また、例えば、脅威検知部４４は、教師あり学習により学習自在なニューラルネットワークであって、上記のような機能を実現するように学習されたニューラルネットワークを用いるものであっても良い。かかるニューラルネットワークは、深層学習により学習自在なＣＮＮを含むものであっても良い。なお、脅威検知部４４は、教師あり学習により学習自在なニューラルネットワークに代えて、教師なし学習により学習自在なニューラルネットワークを用いるものであっても良い。
　かかる機械学習を用いることにより、ルールベースを用いる場合に比して、高精度な画像認識を実現することができる。また、脅威を高精度に検知することができる。すなわち、ＣＭＳに係る検知精度の向上を図ることができる。
　特徴量抽出部４２による特徴量の抽出、画像認識部４３による画像認識、及び脅威検知部４４による脅威の検知には、公知の種々の技術を用いることができる。すなわち、ＣＭＳに係る公知の種々の技術を用いることができる。また、画像認識に係る公知の種々の技術を用いることができる。また、教師あり学習、教師なし学習又は深層学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　なお、特徴量抽出部４２による特徴量の抽出及び物体認識部５２による物体検出は、以下のような技術を用いるものであっても良い。
　まず、特徴量抽出部４２は、第２画像データを用いて物体らしさ（Ｏｂｊｅｃｔｎｅｓｓ）に対応する中レベル特徴（Ｍｉｄ－ｌｅｖｅｌ　Ｆｅａｔｕｒｅ）を抽出することにより、個々の第２撮像画像に対応する１個の特徴マップ（以下「第１特徴マップ」という。）を生成する。具体的には、例えば、特徴量抽出部４２は、以下の参考文献３に記載された方法と同様の方法により、物体らしさに対応する顕著性マップ（Ｓａｌｉｅｎｃｙ　Ｍａｐ）を生成する。すなわち、第１特徴マップは、ＣＮＮを用いることなく生成される。第１特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第１特徴量」という。）により構成されている。
［参考文献３］
国際公開第２０１８／０５１４５９号
　また、特徴量抽出部４２は、第２画像データを用いて高レベル特徴を抽出することにより、個々の第２撮像画像に対応する複数個の特徴マップ（以下「第２特徴マップ」という。）を生成する。複数個の第２特徴マップは、例えば、ＣＮＮにより順次生成される。個々の第２特徴マップは、互いに直行する２方向に配列された複数個の特徴量（以下「第２特徴量」という。）により構成されている。
　次いで、特徴量抽出部４２は、以下のようにして、個々の第２撮像画像に対応する複数個の特徴マップ（以下「第３特徴マップ」という。）を生成する。
　すなわち、特徴量抽出部４２は、第１特徴マップにおける個々の第１特徴量を用いて、個々の第２特徴マップにおける対応する第２特徴量に対する重み付けをする。かかる重み付けにより、個々の第２特徴マップにおける個々の第２特徴量が対応する物体らしさに応じて補強される。このようにして、複数個の第２特徴マップに対応する複数個の第３特徴マップが生成される。すなわち、個々の第３特徴マップにおける個々の特徴量は、かかる補強がなされた特徴量によるものである。
　または、特徴量抽出部４２は、第１特徴マップにおける個々の第１特徴量と個々の第２特徴マップにおける対応する第２特徴量とについて、要素毎（Ｅｌｅｍｅｎｔ－ｗｉｓｅ）の掛け算を実行することにより内積（Ｉｎｎｅｒ　Ｐｒｏｄｕｃｔ）を演算する。かかる演算により、個々の第２特徴マップにおける個々の第２特徴量が対応する物体らしさに応じて補強される。このようにして、複数個の第２特徴マップに対応する複数個の第３特徴マップが生成される。すなわち、個々の第３特徴マップにおける個々の特徴量は、かかる補強がなされた特徴量によるものである。
　次いで、物体認識部５２は、いわゆる「マルチスケール」に対応した方法による物体検出を実行する。具体的には、例えば、物体認識部５２は、ＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）による物体検出を実行する。ＳＳＤについては、以下の参考文献４に記載されている。
［参考文献４］
Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector," v5, 29 Dec 2016, https://arxiv.org/pdf/1512.02325v5.pdf
　かかる技術を用いることにより、公知の機械学習を用いる場合に比して、更に高精度な物体検出を実現することができる。特に、小さい物体に対する検出精度を向上することができる。この結果、脅威を更に高精度に検知することができる。
　図５に示す如く、通知制御部２３は、態様設定部７１、出力制御部７２及び整合部７３を有している。態様設定部７１は、要否設定部８１を有している。また、態様設定部７１は、手段設定部８２、タイミング設定部８３、レベル設定部８４及び内容設定部８５のうちの少なくとも一つを有している。以下、態様設定部７１が手段設定部８２、タイミング設定部８３、レベル設定部８４及び内容設定部８５のうちの全てを有している場合の例を中心に説明する。
　態様設定部７１は、状態検知部３３により検知された運転者の状態に応じて、脅威検知部４４により検知された脅威に対する通知の態様を設定するものである。ここで、「態様」とは、要否、手段、タイミング、レベル及び内容などを含むものである。
　より具体的には、要否設定部８１は、かかる通知の要否を設定するものである。
　また、手段設定部８２は、要否設定部８１により通知「要」に設定されたとき、かかる通知の出力に用いられる手段を設定するものである。すなわち、手段設定部８２は、複数種類の手段（例えば光源１１、ディスプレイ１２、スピーカ１３及び触覚デバイス１４）のうちの少なくとも１種類の手段を選択するものである。
　また、タイミング設定部８３は、要否設定部８１により通知「要」に設定されたとき、かかる通知が出力されるタイミングを設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、タイミング設定部８３は、当該選択された２種類以上の手段の各々による通知のタイミングを設定するようになっている。換言すれば、タイミング設定部８３は、手段毎に通知のタイミングを設定するようになっている。
　また、レベル設定部８４は、要否設定部８１により通知「要」に設定されたとき、かかる通知のレベルを設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、レベル設定部８４は、当該選択された２種類以上の手段の各々による通知のレベルを設定するようになっている。換言すれば、レベル設定部８４は、手段毎に通知のレベルを設定するようになっている。
　また、内容設定部８５は、要否設定部８１により通知「要」に設定されたとき、かかる通知の内容を設定するものである。ここで、手段設定部８２により２種類以上の手段が選択された場合、内容設定部８５は、当該選択された２種類以上の手段の各々による通知の内容を設定するようになっている。換言すれば、内容設定部８５は、手段毎に通知の内容を設定するようになっている。
　態様設定部７１は、機械学習により学習自在なものである。例えば、態様設定部７１は、ニューラルネットワークを用いるものである。かかるニューラルネットワークは、状態検知部３３による検知結果を示す情報（すなわち運転者の状態を示す情報）及び脅威検知部４４による検知結果を示す情報（すなわち個々の物体に対応する脅威レベルを含む情報）の入力を受け付けて、上記各設定を示す値を出力するものである。
　出力制御部７２は、態様設定部７１による設定に基づき、出力装置５を用いて通知を出力する制御を実行するものである。すなわち、出力制御部７２は、要否設定部８１により通知「要」に設定されたとき、光源１１を用いて通知用の光を出力する制御、ディスプレイ１２を用いて通知用の画像を表示する制御、スピーカ１３を用いて通知用の音声を出力する制御、及び触覚デバイス１４を用いて通知用の振動を出力する制御のうちの少なくとも一つを実行する。
　適合部２４は、出力装置５により通知が出力されたときの運転者の状態に応じて、通知制御部２３の学習をするものである。より具体的には、適合部２４は、このときの状態検知部３３による検知結果を用いて、出力装置５により出力される次回以降の通知の態様が車両１の運転者に適合したものとなるように態様設定部７１の学習をするものである。
　ここで、態様設定部７１による態様の設定方法の具体例として、レベル設定部８４によるレベルの設定方法について説明する。また、適合部２４による態様設定部７１の学習方法の具体例として、適合部２４によるレベル設定部８４の学習方法について説明する。
　まず、状態検知部３３による検知結果を示す情報（すなわち運転者の状態を示す情報）の入力に対して、運転者の注意が向けられている領域を示す顕著性マップＭ１が生成される。顕著性マップＭ１においては、運転者が視線を向けている領域における顕著性値が他の領域における顕著性値に比して高い値となる。図７は、顕著性マップＭ１の例を示している。
　また、脅威検知部４４による検知結果を示す情報（すなわち個々の物体に対応する脅威レベルを含む情報）の入力に対して、顕著性マップＭ１に対応するリスクマップＭ２が生成される。リスクマップＭ２においては、高い脅威レベルを有する物体に対応する領域におけるリスク値が他の領域におけるリスク値に比して高い値となる。図８は、リスクマップＭ２の例を示している。
　次いで、顕著性マップＭ１とリスクマップＭ２との空間差分に基づき、運転者が注意を向けるべき領域を示すアテンションマップＭ３が生成される。アテンションマップＭ３においては、運転者が注意を向けるべきでありながら注意を向けていない領域におけるアテンション値が他の領域におけるアテンション値に比して高い値となる。図９は、アテンションマップＭ３の例を示している。
　次いで、アテンションマップＭ３におけるアテンション値に応じて通知のレベルが設定される。例えば、運転者が脅威に気付いていない場合、運転者が脅威に注意を向けていないことにより、アテンションマップＭ３におけるアテンション値が高くなると考えられる。この場合、通知のレベルも高い値に設定される。
　ここで、上記生成された顕著性マップＭ１を含むデータに、上記生成された顕著性マップＭ１に対する差分が最も小さいリスクマップＭ２に対応するラベルが自動的に付与される。そして、当該ラベルが付与されたデータが、レベル設定部８４に対応するニューラルネットワークの学習用データセットに新たに追加される。これにより、かかるニューラルネットワークの次回以降の学習の精度を向上することができる。
　次いで、上記高いレベルによる通知が出力される。その後も上記と同様の顕著性マップＭ１、リスクマップＭ２及びアテンションマップＭ３が時系列的に生成される。これらのマップＭ１，Ｍ２，Ｍ３に基づき、通知が出力されたことにより運転者が脅威に気付いた蓋然性が高い場合は同様の脅威に対する次回以降の通知のレベルを下げるようにニューラルネットワークのパラメータが調整される。他方、通知が出力されたにもかかわらず運転者が脅威に気付いていない蓋然性が高い場合は同様の脅威に対する次回以降の通知のレベルを上げるようにニューラルネットワークのパラメータが調整される。
　このようにして、通知のレベルを設定する処理が現在の運転者に次第に適合していく。
　なお、これらのマップＭ１，Ｍ２，Ｍ３に基づき、通知が出力されてから運転者が脅威に気付くまでの時間に応じて、同様の脅威に対する次回以降の通知のタイミングを調整するようにニューラルネットワークのパラメータが調整されるものであっても良い。
　整合部７３は、出力装置５により２種類以上の手段による通知（すなわち２種類以上の通知）が出力されたとき、かかる２種類以上の通知を相互に整合させる処理を実行するものである。かかる処理は、例えば、態様設定部７１に対応するニューラルネットワークにおけるパラメータを調整することにより実現される。
　例えば、同一の脅威に対して、第１の手段（例えばディスプレイ１２）による通知が出力されるとともに、第２の手段（例えばスピーカ１３）による通知が出力されるものとする。これらの通知が同一の脅威に対する通知であることを明確にする観点から、これらの通知は同時に又は略同時に出力されるのが好適である。しかしながら、上記のとおり、タイミング設定部８３は、手段毎に通知のタイミングを設定するようになっている。このため、第１の手段による通知が出力されるタイミングに対して、第２の手段による通知が出力されるタイミングがずれることがある。
　これに対して、整合部７３は、第１の手段による通知が出力されるタイミングと第２の手段による通知が出力されるタイミングとを揃えるようにニューラルネットワークのパラメータを調整する。これにより、同様の脅威に対する同様の通知が次回以降出力されるとき、これらの通知が出力されるタイミングについて整合性を図ることができる。
　以下、第１推論部２１が有する機能を総称して「ドライバモニタリング機能」ということがある。また、かかるドライバモニタリング機能に「Ｆ１」の符号を用いることがある。また、第１推論部２１により実行される処理を総称して「ドライバモニタリング処理」ということがある。
　以下、第２推論部２２が有する機能を総称して「カメラモニタリング機能」ということがある。また、かかるカメラモニタリング機能に「Ｆ２」の符号を用いることがある。また、第２推論部２２により実行される処理を総称して「カメラモニタリング処理」ということがある。
　以下、通知制御部２３が有する機能を総称して「通知制御機能」ということがある。また、かかる通知制御機能に「Ｆ３」の符号を用いることがある。また、通知制御部２３により実行される処理及び制御を総称して「通知制御」ということがある。
　以下、適合部２４が有する機能を総称して「適合機能」ということがある。また、かかる適合機能に「Ｆ４」の符号を用いることがある。また、適合部２４により実行される処理を総称して「適合処理」ということがある。
　次に、図１０～図１２を参照して、運転支援制御装置１００の要部のハードウェア構成について説明する。
　図１０に示す如く、運転支援制御装置１００は、プロセッサ９１及びメモリ９２を有している。メモリ９２には、複数個の機能Ｆ１～Ｆ４に対応するプログラムが記憶されている。プロセッサ９１は、メモリ９２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１～Ｆ４が実現される。
　または、図１１に示す如く、運転支援制御装置１００は、処理回路９３を有している。処理回路９３は、複数個の機能Ｆ１～Ｆ４に対応する処理を実行する。これにより、複数個の機能Ｆ１～Ｆ４が実現される。
　または、図１２に示す如く、運転支援制御装置１００は、プロセッサ９１、メモリ９２及び処理回路９３を有している。メモリ９２には、複数個の機能Ｆ１～Ｆ４のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ９１は、メモリ９２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路９３は、複数個の機能Ｆ１～Ｆ４のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
　プロセッサ９１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ９２は、１個以上の不揮発性メモリにより構成されている。または、メモリ９２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ９２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ソリッドステートドライブ又はハードディスクドライブを用いたものである。
　処理回路９３は、１個以上のデジタル回路により構成されている。または、処理回路９３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路９３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　ここで、プロセッサ９１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ９１は、個々の機能Ｆ１～Ｆ４に対応する専用のプロセッサを含むものであっても良い。
　また、メモリ９２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ９２は、個々の機能Ｆ１～Ｆ４に対応する専用のメモリを含むものであっても良い。
　また、処理回路９３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路９３は、個々の機能Ｆ１～Ｆ４に対応する専用の処理回路を含むものであっても良い。
　次に、図１３のフローチャートを参照して、運転支援制御装置１００の動作について説明する。
　まず、第１推論部２１がドライバモニタリング処理を実行する（ステップＳＴ１）。また、第２推論部２２がカメラモニタリング処理を実行する（ステップＳＴ２）。ドライバモニタリング処理及びカメラモニタリング処理は、所定の条件が満たされているとき（例えば車両１におけるイグニッション電源がオンされているとき）、繰り返し実行される。
　ステップＳＴ１，ＳＴ２の処理の結果を用いて、通知制御部２３が通知制御を実行する（ステップＳＴ３）。通知制御により通知が出力された場合（ステップＳＴ４“ＹＥＳ”）、適合部２４が適合処理を実行する（ステップＳＴ５）。運転者が車両１を運転しているとき、通知制御及び適合処理が繰り返し実行されることにより、通知の態様が次第に当該運転者に適合していく。
　次に、図１４～図２２を参照して、運転支援制御装置１００の変形例について説明する。
　車両１に車載情報機器６が搭載されるものであっても良い。車載情報機器６は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。また、車両１に携帯情報端末７が持ち込まれるものであっても良い。携帯情報端末７は、例えば、スマートフォンにより構成されている。
　車載情報機器６及び携帯情報端末７は、相互に通信自在なものであっても良い。車載情報機器６は、車両１外に設けられたサーバ８と通信自在なものであっても良い。携帯情報端末７は、車両１外に設けられたサーバ８と通信自在なものであっても良い。すなわち、サーバ８は、車載情報機器６及び携帯情報端末７のうちの少なくとも一方と通信自在なものであっても良い。これにより、サーバ８は、車両１と通信自在なものであっても良い。
　複数個の機能Ｆ１～Ｆ４の各々は、車載情報機器６にて実現されるものであっても良く、携帯情報端末７にて実現されるものであっても良く、サーバ８にて実現されるものであっても良く、車載情報機器６及び携帯情報端末７が連携することにより実現されるものであっても良く、車載情報機器６及びサーバ８が連携することにより実現されるものであっても良く、又は携帯情報端末７及びサーバ８が連携することにより実現されるものであっても良い。
　すなわち、図１４に示す如く、車載情報機器６により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１５に示す如く、携帯情報端末７により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１６に示す如く、サーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。
　または、図１７に示す如く、車載情報機器６及び携帯情報端末７により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１８に示す如く、車載情報機器６及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１９に示す如く、携帯情報端末７及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。
　または、図２０、図２１又は図２２に示す如く、車載情報機器６、携帯情報端末７及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。
　次に、図２３を参照して、運転支援制御装置１００の他の変形例について説明する。
　図２３に示す如く、運転支援制御装置１００は、車両制御部２５を有するものであっても良い。車両制御部２５は、脅威検知部４４により検知された脅威に応じて、車両１を操作する制御を実行するものである。具体的には、例えば、車両制御部２５は、車両１におけるステアリング、ブレーキ又はスロットル開度を操作する制御を実行することにより、車両１と当該検知された脅威に対応する物体との衝突を回避するものである。
　なお、かかる制御は、当該検知された脅威に対する通知が出力されたにもかかわらず車両１の運転者が当該検知された脅威に気付いていない場合にのみ実行されるものであっても良い。
　次に、運転支援制御装置１００の他の変形例について説明する。
　第１推論部２１は、第１カメラ２を用いるのに加えて、生体センサを用いるものであっても負い。生体センサは、複数種類のセンサを含むものであっても良い。個々のセンサは、例えば、車両１の運転席に設けられたものであっても良く、又は運転者の身体に取り付けられたものであっても良い。これにより、状態検知部３３による検知対象は、運転者の脈拍、血圧及び姿勢などを含むものであっても良い。
　以上のように、実施の形態１に係る運転支援制御装置１００は、車内撮像用の第１カメラ２による第１撮像画像を用いて、車両１における運転者の状態を検知する第１推論部２１と、車外撮像用の第２カメラ３による第２撮像画像を用いて、車両１に対する周囲における脅威を検知する第２推論部２２と、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行する通知制御部２３と、通知が出力されたときの運転者の状態に応じて通知制御部２３の学習をすることにより、通知の態様を設定する処理を運転者に適合させる適合部２４と、を備える。これにより、個々の運転者に適合した態様による通知を実現することができる。
　また、第１推論部２１は、機械学習により学習自在であり、第２推論部２２は、機械学習により学習自在である。これにより、ルールベースを用いる場合に比して、ドライバモニタリング処理及びカメラモニタリング処理の各々を高精度にすることができる。
　また、実施の形態１に係る運転支援制御方法は、第１推論部２１が、車内撮像用の第１カメラ２による第１撮像画像を用いて、車両１における運転者の状態を検知するステップＳＴ１と、第２推論部２２が、車外撮像用の第２カメラ３による第２撮像画像を用いて、車両１に対する周囲における脅威を検知するステップＳＴ２と、通知制御部２３が、運転者の状態に応じて、脅威に対する通知の態様を設定する処理を実行するステップＳＴ３と、適合部２４が、通知が出力されたときの運転者の状態に応じて通知制御部２３の学習をすることにより、通知の態様を設定する処理を運転者に適合させるステップＳＴ５と、を備える。これにより、個々の運転者に適合した態様による通知を実現することができる。
　なお、本願開示はその開示の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る運転支援制御装置及び運転支援制御方法は、ＤＭＳ及びＣＭＳを組み合わせてなるシステムに用いることができる。
　１　車両、２　第１カメラ、３　第２カメラ、４　センサ類、５　出力装置、６　車載情報機器、７　携帯情報端末、８　サーバ、１１　光源、１２　ディスプレイ、１３　スピーカ、１４　触覚デバイス、２１　第１推論部、２２　第２推論部、２３　通知制御部、２４　適合部、２５　車両制御部、３１　画像データ取得部、３２　特徴量抽出部、３３　状態検知部、４１　画像データ取得部、４２　特徴量抽出部、４３　画像認識部、４４　脅威検知部、４５　車両情報取得部、５１　走行シーン推定部、５２　物体認識部、５３　距離推定部、５４　物体追跡部、６１　脅威レベル設定部、６２　脅威レベル補正部、７１　態様設定部、７２　出力制御部、７３　整合部、８１　要否設定部、８２　手段設定部、８３　タイミング設定部、８４　レベル設定部、８５　内容設定部、９１　プロセッサ、９２　メモリ、９３　処理回路、１００　運転支援制御装置。

Claims (24)

  1. 　車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知する第１推論部と、
    　車外撮像用の第２カメラによる第２撮像画像を用いて、前記車両に対する周囲における脅威を検知する第２推論部と、
    　前記運転者の状態に応じて、前記脅威に対する通知の態様を設定する処理を実行する通知制御部と、
    　前記通知が出力されたときの前記運転者の状態に応じて前記通知制御部の学習をすることにより、前記通知の態様を設定する処理を前記運転者に適合させる適合部と、
    　を備える運転支援制御装置。
  2. 　前記第１推論部は、機械学習により学習自在であり、
    　前記第２推論部は、機械学習により学習自在である
    　ことを特徴とする請求項１記載の運転支援制御装置。
  3. 　前記通知の態様を設定する処理は、前記通知の手段を設定する処理、前記通知のタイミングを設定する処理、前記通知のレベルを設定する処理及び前記通知の内容を設定する処理のうちの少なくとも一つを含むことを特徴とする請求項１記載の運転支援制御装置。
  4. 　前記通知は、複数種類の手段に対応する複数種類の通知を含み、
    　前記通知制御部は、前記複数種類の通知を相互に整合させる処理を実行する
    　ことを特徴とする請求項１記載の運転支援制御装置。
  5. 　前記第１推論部は、前記第１撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて前記運転者の状態を検知する状態検知部と、を有することを特徴とする請求項１記載の運転支援制御装置。
  6. 　前記状態検知部は、顔検出、顔パーツ検出、顔向き推定、頭部位置推定、開眼度算出、開口度算出、視線追跡、視線推定、ハンドジェスチャー認識、脇見検知、眠気検知、人物認識、物体認識、動き認識、行動認識及び非接触脈拍推定のうちの少なくとも一つを実行することを特徴とする請求項５記載の運転支援制御装置。
  7. 　前記第２推論部は、前記第２撮像画像における特徴量を抽出する特徴量抽出部と、前記特徴量を用いて物体認識を含む画像認識を実行する画像認識部と、前記画像認識の結果に基づき前記脅威を検知する脅威検知部と、を有することを特徴とする請求項１記載の運転支援制御装置。
  8. 　前記画像認識部は、前記物体認識を実行する物体認識部と、前記物体認識の結果を時系列的に用いることにより、前記第２撮像画像に含まれる個々の物体に対するトラッキングを実行する物体追跡部と、を有し、
    　前記脅威検知部は、前記物体認識の結果及び前記トラッキングの結果に基づき前記脅威を検知する
    　ことを特徴とする請求項７記載の運転支援制御装置。
  9. 　前記画像認識部は、前記第２撮像画像に含まれる個々の物体について、属性、大きさ、距離、領域及び特徴空間のうちの少なくとも一つを推定することを特徴とする請求項７記載の運転支援制御装置。
  10. 　前記物体認識は、物体検出及び領域分割のうちの少なくとも一方を含み、
    　前記物体検出は、前記第２撮像画像に含まれる個々の物体の位置を回帰により推定するとともに、前記個々の物体の属性を分類により推定するものであり、
    　前記領域分割は、前記第２撮像画像を個々の属性に対応する領域に分割するものである
    　ことを特徴とする請求項７記載の運転支援制御装置。
  11. 　前記特徴量抽出部は、教師あり学習又は教師なし学習により学習自在であることを特徴とする請求項７記載の運転支援制御装置。
  12. 　前記特徴量抽出部は、畳み込みニューラルネットワークを用いるものであることを特徴とする請求項７記載の運転支援制御装置。
  13. 　前記特徴量抽出部は、深層学習により学習自在であることを特徴とする請求項７記載の運転支援制御装置。
  14. 　前記物体認識部は、深層学習により学習自在であることを特徴とする請求項８記載の運転支援制御装置。
  15. 　前記脅威検知部は、前記第２撮像画像に含まれる個々の物体に対応する脅威レベルを設定する脅威レベル設定部を有することを特徴とする請求項７記載の運転支援制御装置。
  16. 　前記第２推論部は、前記車両の状態を示す車両情報を取得する車両情報取得部を有し、
    　前記脅威検知部は、前記車両の状態に応じて前記脅威レベルを補正する脅威レベル補正部を有する
    　ことを特徴とする請求項１５記載の運転支援制御装置。
  17. 　前記車両情報取得部は、前記車両におけるセンサ類を用いて前記車両情報を取得することを特徴とする請求項１６記載の運転支援制御装置。
  18. 　前記車両情報は、前記車両の走行速度を示す情報及び前記車両における操舵角を示す情報を含むことを特徴とする請求項１６記載の運転支援制御装置。
  19. 　前記脅威レベル設定部は、前記個々の物体に対応する距離に基づき前記脅威レベルを設定することを特徴とする請求項１５記載の運転支援制御装置。
  20. 　前記通知の手段は、光源、ディスプレイ、スピーカ及び触覚デバイスのうちの少なくとも一つを含むことを特徴とする請求項１記載の運転支援制御装置。
  21. 　前記ディスプレイは、ヘッドアップディスプレイ及び電子ミラー用ディスプレイのうちの少なくとも一方を含むことを特徴とする請求項２０記載の運転支援制御装置。
  22. 　前記第１カメラは、赤外線カメラにより構成されており、
    　前記第２カメラは、可視光カメラにより構成されている
    　ことを特徴とする請求項１記載の運転支援制御装置。
  23. 　前記脅威に応じて前記車両を操作する制御を実行する車両制御部を備えることを特徴とする請求項１記載の運転支援制御装置。
  24. 　第１推論部が、車内撮像用の第１カメラによる第１撮像画像を用いて、車両における運転者の状態を検知するステップと、
    　第２推論部が、車外撮像用の第２カメラによる第２撮像画像を用いて、前記車両に対する周囲における脅威を検知するステップと、
    　通知制御部が、前記運転者の状態に応じて、前記脅威に対する通知の態様を設定する処理を実行するステップと、
    　適合部が、前記通知が出力されたときの前記運転者の状態に応じて前記通知制御部の学習をすることにより、前記通知の態様を設定する処理を前記運転者に適合させるステップと、
    　を備える運転支援制御方法。
PCT/JP2020/006958 2020-02-21 2020-02-21 運転支援制御装置及び運転支援制御方法 WO2021166206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/006958 WO2021166206A1 (ja) 2020-02-21 2020-02-21 運転支援制御装置及び運転支援制御方法
JP2020540365A JP6932269B1 (ja) 2020-02-21 2020-02-21 運転支援制御装置及び運転支援制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006958 WO2021166206A1 (ja) 2020-02-21 2020-02-21 運転支援制御装置及び運転支援制御方法

Publications (1)

Publication Number Publication Date
WO2021166206A1 true WO2021166206A1 (ja) 2021-08-26

Family

ID=77390528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006958 WO2021166206A1 (ja) 2020-02-21 2020-02-21 運転支援制御装置及び運転支援制御方法

Country Status (2)

Country Link
JP (1) JP6932269B1 (ja)
WO (1) WO2021166206A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072631A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
WO2018066351A1 (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
WO2019026890A1 (ja) * 2017-07-31 2019-02-07 株式会社エクォス・リサーチ 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
JP2019028843A (ja) * 2017-08-01 2019-02-21 オムロン株式会社 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
JP2019164726A (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 管理装置、車両、車載装置、警報システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019117624A (ja) * 2017-12-27 2019-07-18 株式会社デンソー 車載装置、通信システム、および動機付けシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072631A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
WO2018066351A1 (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
WO2019026890A1 (ja) * 2017-07-31 2019-02-07 株式会社エクォス・リサーチ 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
JP2019028843A (ja) * 2017-08-01 2019-02-21 オムロン株式会社 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
JP2019164726A (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 管理装置、車両、車載装置、警報システム

Also Published As

Publication number Publication date
JP6932269B1 (ja) 2021-09-08
JPWO2021166206A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
CN108388834B (zh) 利用循环神经网络和级联特征映射的对象检测
US10817732B2 (en) Automated assessment of collision risk based on computer vision
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US11042999B2 (en) Advanced driver assist systems and methods of detecting objects in the same
US20190149752A1 (en) Image processing device, image processing method, and image processing system
US20200097756A1 (en) Object detection device and object detection method
US20170300763A1 (en) Road feature detection using a vehicle camera system
JP2020500759A (ja) 単眼動画データに基づく車両の挙動推定システム及び方法
KR20190026116A (ko) 객체 인식 방법 및 장치
US8681222B2 (en) Adaptation for clear path detection with additional classifiers
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
US20190095706A1 (en) Image processing device and program
JP2020052827A (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
CN111989915A (zh) 用于视觉推断的动态图像区域选择
US10916018B2 (en) Camera motion estimation device, camera motion estimation method, and computer program product
WO2021166206A1 (ja) 運転支援制御装置及び運転支援制御方法
US11917335B2 (en) Image processing device, movable device, method, and program
JP5541099B2 (ja) 道路区画線認識装置
US20220254167A1 (en) Object detection apparatus, object detection method, and object detection program
WO2023029468A1 (zh) 车辆行驶提示
Satzoda et al. Vision-based front and rear surround understanding using embedded processors
US20220270351A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system
US10699144B2 (en) Systems and methods for actively re-weighting a plurality of image sensors based on content

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020540365

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920308

Country of ref document: EP

Kind code of ref document: A1