WO2019176356A1 - 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム - Google Patents

車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム Download PDF

Info

Publication number
WO2019176356A1
WO2019176356A1 PCT/JP2019/003464 JP2019003464W WO2019176356A1 WO 2019176356 A1 WO2019176356 A1 WO 2019176356A1 JP 2019003464 W JP2019003464 W JP 2019003464W WO 2019176356 A1 WO2019176356 A1 WO 2019176356A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
vehicle
driver
unit
traveling state
Prior art date
Application number
PCT/JP2019/003464
Other languages
English (en)
French (fr)
Inventor
浩明 小窪
則男 度曾
和憲 中山
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US16/980,094 priority Critical patent/US11498576B2/en
Priority to CN201980019021.9A priority patent/CN111868822A/zh
Priority to EP19767983.0A priority patent/EP3767621A4/en
Publication of WO2019176356A1 publication Critical patent/WO2019176356A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0638—Interactive procedures

Definitions

  • the present invention relates to an in-vehicle device, a traveling state estimation method, a server device, an information processing method, and a traveling state estimation system.
  • the present invention claims the priority of Japanese Patent Application No. 2018-046788 filed on March 14, 2018, and in the designated countries where weaving by reference of documents is permitted, the contents described in the application are as follows: Is incorporated into this application by reference.
  • drivers In recent years, dangerous driving by automobile drivers (hereinafter referred to as drivers) has become a social problem, and various support functions for driving drivers have been proposed.
  • Patent Document 1 discloses a technique for estimating a driver's psychological state from information related to the driving operation of the driver and issuing a warning to the driver according to the estimated psychological state.
  • the present invention has been made in view of such a situation, and makes it possible to estimate the running state of a vehicle that can be influenced by the psychological state of the driver based on the utterance of the driver without using various sensors. For the purpose.
  • an in-vehicle device includes a voice collection unit that collects a voice emitted by a driver, a traveling state collection unit that collects traveling state information representing a traveling state of the vehicle, and a collection A database generation unit that generates a database by associating the collected driving state information with the voice information corresponding to the generated voice; the voice information and the driving state information recorded in the generated database; And a learning unit that learns an estimation model using the pair as learning data, and an estimation unit that estimates the running state of the vehicle based on the driver's utterance using the estimation model.
  • the present invention it is possible to estimate the running state of a vehicle that can be influenced by the psychological state of the driver based on the utterance of the driver without using various sensors.
  • the driver's psychological state is that the driver's psychological state is like driving, driving sudden acceleration and sudden steering increase, and when sleepy, distraction and sudden braking increase. That is, it can affect the running state of the vehicle.
  • the present invention estimates the running state of a vehicle that can be influenced by the psychological state of the driver based on the utterance of the driver.
  • FIG. 1 shows an example of the configuration of an in-vehicle device according to the first embodiment of the present invention.
  • the in-vehicle device 10 collects a voice (voice) uttered by the driver (user) and estimates a driving state of the driver based on the driver's voice, in other words, a traveling state of the vehicle on which the in-vehicle device 10 is mounted. Is.
  • the in-vehicle device 10 is mounted on a vehicle such as an automobile as one device constituting, for example, a navigation system or an in-vehicle computer system.
  • the estimated traveling state is used for feedback such as alerting the driver.
  • the voice uttered by the driver is assumed to be a voice command uttered by the driver for a navigation system or an in-vehicle computer system, for example.
  • the voice of the driver to be collected is not limited to the voice command, and for example, conversations with passengers or monologues may be collected.
  • the in-vehicle device 10 includes a voice collection unit 11, a running state collection unit 12, a DB (database) generation unit 13, a learning unit 14, an estimation model 15, and an estimation unit 16.
  • the voice collection unit 11 uses a microphone and an AD converter (both not shown), collects the voice emitted by the driver, and converts the resulting voice signal into a feature vector (corresponding to the voice information of the present invention).
  • feature vectors include (FCC (Mel Frequency Cepstrum Coefficient), pitch, power, etc.
  • FCC Fel Frequency Cepstrum Coefficient
  • the feature vector obtained by converting the audio signal is not limited to the above-described example, and other features are also available. You may make it convert into a vector.
  • the voice collection unit 11 assigns the voice collection time to the voice feature vector and outputs it to the DB generation unit 13 in the estimation model generation process (described later). In addition, the voice collection unit 11 outputs a voice feature vector to the estimation unit 16 in a running state estimation process (described later).
  • the microphone or the like used by the voice collection unit 11 may be provided for the in-vehicle device 10 or may be diverted from that provided in the in-vehicle navigation system or the like.
  • the traveling state collection unit 12 uses at least one of an acceleration sensor, a gyro sensor, and a fuel consumption sensor (not shown) for detecting the traveling state of the vehicle, and compares the output value of the sensor with a predetermined threshold value. Based on the results, collect driving state information (rapid acceleration, sudden braking, number of sudden steering, fuel consumption data, etc.) that is an indicator of driving roughness and risk avoidance behavior by the driver, and give the collection time to the driving state information
  • the data is output to the DB generation unit 13.
  • working state collection part 12 uses may be provided for the vehicle-mounted apparatuses 10, and what was previously provided in this vehicle may be diverted.
  • the DB generation unit 13 uses the voice condition vector input from the voice collection unit 11 to collect the running state collected by the running state collection unit 12 during a predetermined time (for example, five minutes before and after the voice collection time).
  • the voice / running state DB 131 is generated by recording the information in association with each other.
  • FIG. 2 shows an example of the data structure of the voice / running state DB 131.
  • Each data recorded in the voice / running state DB 131 is provided with a voice information field 1311 and a running state information field 1312.
  • the voice information field 1311 stores a feature vector of voice input from the DB generation unit 13. As a result, the amount of data to be stored can be reduced as compared with the case where the audio signal is stored in the audio information field 1311 as it is.
  • traveling state information field 1312 a numerical value indicating the number of times of rapid acceleration or the like is recorded as traveling state information. Instead of recording numerical values, it is also possible to record evaluations such as “more”, “ordinary”, “less”, “good”, “bad”, etc., which are determined by comparing the number of times of rapid acceleration and the like with a predetermined threshold. Good.
  • the learning unit 14 uses, as learning data, a pair of voice feature vectors and the corresponding running state information recorded in the voice / running state DB 131, the voice feature vector as an input vector, and the corresponding running state information as a teacher.
  • An estimation model 15 is generated by performing supervised learning with a label.
  • FIG. 3 is a schematic diagram in which the feature vector of the audio signal with the teacher label of the running state information is plotted in the input vector space 100.
  • the black circles in the figure represent the distribution of the feature vectors of the voices with the teacher labels for the driving states of sudden acceleration “low”, sudden braking “low”, and fuel consumption “good”.
  • the white triangles represent the distribution of feature vectors of voices with teacher labels for driving conditions of rapid acceleration “low”, sudden braking “high”, and fuel consumption “good”.
  • the black square represents the distribution of the feature vector of the voice with the teacher label of the running state of rapid acceleration “many”, sudden brake “low”, and fuel consumption “bad”.
  • an estimation model 15 is generated that defines identification surfaces 104 and 105 of a region 101 where black circles are distributed, a region 102 where white triangles ⁇ are distributed, and a region 103 where black squares are distributed.
  • the estimation model 15 is obtained by dividing the input vector space 100 into the same number of regions as the number of teacher labels by the identification surface 104 or the like. According to the estimation model 15, it is possible to estimate a running state when the voice is collected by determining which region the voice feature vector belongs to in the input vector space 100.
  • the estimation unit 16 estimates the traveling state using the estimation model 15 and outputs traveling state information representing the estimation result to the subsequent stage.
  • FIG. 4 is a flowchart illustrating an example of an estimated model generation process performed by the in-vehicle device 10.
  • the estimated model generation process is started, for example, when a vehicle on which the in-vehicle device 10 is mounted starts to travel.
  • the voice collection unit 11 starts the operation of collecting the voice emitted by the driver, converting the voice signal corresponding to the voice into a feature vector, and outputting the feature vector to the DB generation unit 13 (step S1).
  • working state collection part 12 starts the operation
  • the DB generation unit 13 associates the running condition information collected by the running condition collection unit 12 at a predetermined time before and after the voice collection time with the voice feature vector input from the voice collection unit 11.
  • the voice / running state DB 131 is generated by recording (step S3).
  • the learning unit 14 generates the estimation model 15 by performing supervised learning using the learning data (a pair of the voice feature vector and the running state information) recorded in the voice / running state DB 131. (Step S4).
  • the supervised learning by the learning unit 14 is executed after a predetermined number of learning data is accumulated in the voice / running state DB 131.
  • the in-vehicle device 10 returns the process to step S3 and repeats the subsequent steps.
  • the learning unit 14 can perform supervised learning using more learning data, and thus the accuracy of the generated estimation model 15 can be improved.
  • FIG. 5 is a flowchart for explaining an example of a running state estimation process by the in-vehicle device 10.
  • the driving state estimation process is premised on the assumption that the estimation model 15 is generated by the above-described estimation model generation process, and is started, for example, when a vehicle on which the in-vehicle device 10 is mounted starts to travel.
  • the voice collection unit 11 starts the process of collecting the voice emitted by the driver, converting the voice signal corresponding to the voice into a feature vector, and outputting the feature vector to the estimation unit 16 (step S11).
  • the estimation unit 16 monitors the input from the voice collection unit 11 and determines whether or not a voice feature vector has been input (step S12). If it is determined that no speech feature vector has been input (NO in step S12), the estimation unit 16 continues monitoring input from the speech collection unit 11.
  • the estimation unit 16 uses the estimation model 15 and the input vector space 100 to which the speech feature vector input from the speech collection unit 11 belongs.
  • the running state of the vehicle is estimated based on the region, and the running state information representing the estimation result is output to the subsequent stage. Thereafter, the in-vehicle device 10 returns the process to step S12 and repeats the subsequent steps.
  • the driving state of the vehicle that can be influenced by the driver's psychological state based on the driver's utterance without using a sensor that detects the driver's operation, blink frequency, heart rate, etc. Can be estimated.
  • the usage of the traveling state information output from the in-vehicle device 10 is arbitrary, an example thereof will be described in a modification example described later.
  • FIG. 6 shows a configuration example of a traveling state estimation system that is the second embodiment of the present invention.
  • the traveling state estimation system 20 includes a plurality of in-vehicle devices 30 and a server device 50 connected via a communication network 40.
  • the communication network 40 includes, for example, a mobile phone communication network and the Internet.
  • the components of the in-vehicle device 10 are distributed in the in-vehicle device 30 and the server device 50, and the common components of the in-vehicle device 30 and the server device 50 are the same as those of the in-vehicle device 10. Components are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the in-vehicle device 30 has a configuration in which the DB generating unit 13 and the learning unit 14 are omitted from the in-vehicle device 10 and a communication unit 31 is added.
  • the DB generation unit 13 and the learning unit 14 omitted from the in-vehicle device 30 are provided in the server device 50.
  • the in-vehicle device 30 includes a voice collection unit 11, a traveling state collection unit 12, an estimation model 15, an estimation unit 16, and a communication unit 31.
  • the voice collection unit 11 in the in-vehicle device 30 adds the voice collection time to the voice feature vector in the estimation model generation process and outputs the voice feature vector to the communication unit 31.
  • the voice feature vector is estimated. 16 is output.
  • the traveling state collection unit 12 in the in-vehicle device 30 adds a collection time to the collected traveling state information and outputs it to the communication unit 31.
  • the communication unit 31 (corresponding to the first communication unit of the present invention) is a predetermined time range based on the voice feature vector input from the voice collection unit 11 and the voice collection time in the estimation model generation process.
  • the travel state information collected by the travel state collection unit 12 is associated with the server and transmitted to the server device 50 via the communication network 40. Further, the communication unit 31 receives the estimation model 15 generated by the server device 50 and updates the existing estimation model 15 in the in-vehicle device 30.
  • the server device 50 includes a DB generation unit 13, a learning unit 14, an estimation model 15, and a communication unit 51.
  • the DB generation unit 13 in the server device 50 travels corresponding to the in-vehicle device 30 corresponding to the voice feature vector input from each in-vehicle device 30 via the communication network 40 at a predetermined time before and after the voice collection time.
  • the voice / running state DB 131 is generated by associating and recording the running state information collected by the state collecting unit 12.
  • the learning unit 14 in the server device 50 uses the voice / running state DB 131 to generate an estimated model 15 by performing supervised learning, and transmits the generated estimated model 15 to each in-vehicle device 30 via the communication network 40. To do.
  • the communication unit 51 (corresponding to the second communication unit of the present invention) receives voice feature vectors transmitted from the in-vehicle devices 30 via the communication network 40 and outputs them to the DB generation unit 13. In addition, the communication unit 51 receives travel state information transmitted from each in-vehicle device 30 via the communication network 40 and outputs it to the DB generation unit 13. Furthermore, the communication unit 51 transmits the estimation model 15 generated by the learning unit 14 to each in-vehicle device 30 via the communication network 40.
  • the estimated model generation processing is mainly executed by the server device 50, and the traveling state estimation processing is executed by the in-vehicle device 30. Since a plurality of in-vehicle devices 30 are connected to the server device 50 that mainly executes the estimation model generation process, the voice / running state DB 131 generated by the DB generation unit 13 of the server device 50 includes the first More learning data is easier to record than in the embodiment. Therefore, the accuracy of the estimation model 15 generated by the learning unit 14 is higher than that of the first embodiment. Accordingly, the traveling state estimation system 20 can be expected to improve the estimation accuracy of the traveling state of the vehicle that can be influenced by the psychological state of the driver, as compared with the in-vehicle device 10.
  • FIG. 7 shows a configuration example of a traveling state estimation system that is the third embodiment according to the present invention.
  • the traveling state estimation system 60 includes a plurality of in-vehicle devices 70 and a server device 80 that are connected via a communication network 40.
  • the components of the in-vehicle device 10 are distributed in the in-vehicle device 70 and the server device 80, and the same components as the components of the in-vehicle device 10 among the components of the in-vehicle device 70 and the server device 80 are the same. The description thereof will be omitted as appropriate.
  • the in-vehicle device 70 has a configuration in which the DB generation unit 13, the learning unit 14, the estimation model 15, and the estimation unit 16 are omitted from the in-vehicle device 10 and a communication unit 71 is added.
  • the DB generation unit 13, the learning unit 14, the estimation model 15, and the estimation unit 16 that are omitted from the in-vehicle device 70 are provided in the server device 80.
  • the in-vehicle device 70 includes a voice collection unit 11, a traveling state collection unit 12, and a communication unit 71.
  • the voice collection unit 11 in the in-vehicle device 70 adds the voice collection time to the voice feature vector and outputs it to the communication unit 71 in the estimation model generation process, and outputs the voice feature vector to the communication unit in the running state estimation process. To 71.
  • the traveling state collection unit 12 in the in-vehicle device 70 gives the collected collection time and outputs it to the communication unit 71.
  • the communication unit 71 transmits the voice feature vector output from the voice collection unit 11 and the running state information output from the running state collection unit 12 to the server device 80 via the communication network 40. Furthermore, the communication unit 71 transmits the feature vector of the sound output from the sound collection unit 11 to the server device 80 via the communication network 40 and is transmitted from the server device 80 in the running state estimation process. Receives driving state information.
  • the server device 80 includes a DB generation unit 13, a learning unit 14, an estimation model 15, an estimation unit 16, and a communication unit 81.
  • the communication unit 81 receives a feature vector of speech transmitted from each in-vehicle device 70 via the communication network 40 and outputs it to the DB generation unit 13 during the estimation model generation process. In addition, the communication unit 81 receives travel state information transmitted from each in-vehicle device 70 via the communication network 40 and outputs it to the DB generation unit 13 during the estimation model generation process. Further, the communication unit 81 outputs a feature vector of speech transmitted from each in-vehicle device 70 via the communication network 40 to the estimation unit 16 during estimation model generation processing, and the estimation unit 16 estimates based on the feature vector. The traveling state information representing the result is transmitted to each in-vehicle device 70 via the communication network 40.
  • the estimated model generation process and the traveling state estimation process are mainly executed by the server device 80. Since a plurality of in-vehicle devices 70 are connected to the server device 80 that mainly executes the estimation model generation process, the voice / running state DB 131 generated by the DB generation unit 13 of the server device 80 includes the first implementation. It becomes easier to record more learning data than in this form. Therefore, the accuracy of the estimation model 15 generated by the learning unit 14 is higher than that of the first embodiment. Therefore, the traveling state estimation system 60 can be expected to improve the estimation accuracy of the traveling state of the vehicle that can be influenced by the psychological state of the driver, as compared with the in-vehicle device 10. Further, the processing load of the in-vehicle device 70 in the estimation model generation process and the traveling state estimation process can be reduced as compared with the in-vehicle device 10.
  • FIG. 8 shows a first modification of the in-vehicle device which is the first embodiment according to the present invention.
  • the in-vehicle device 110 is obtained by adding a response generation unit 111 and a HMI (Human Machine Interface) unit 112 to the in-vehicle device 10 (FIG. 1).
  • a response generation unit 111 and a HMI (Human Machine Interface) unit 112 to the in-vehicle device 10 (FIG. 1).
  • HMI Human Machine Interface
  • the response generation unit 111 (corresponding to the feedback generation unit of the present invention) receives the traveling state information output from the estimation unit 16 and generates a response (feedback to the driver) according to the estimated traveling state to generate an HMI unit.
  • the HMI unit 112 presents the response generated by the response generation unit 111 to the driver as a voice message or a screen display, for example, using a speaker, a display (both not shown) or the like.
  • the speaker etc. which the HMI part 112 uses may be provided for the vehicle-mounted apparatus 110, and what is provided in the vehicle may be diverted.
  • the response according to the driving state in which the driver's psychological state can influence for example, when the driving state is estimated to be ⁇ a lot of sudden braking '', the driver's psychological state may be low wakefulness or caution Since there is a high possibility that power will be distracted, a message prompting the driver to call attention such as “Please concentrate on driving” or a message suggesting a break such as “Let's take a break around here” To output audio or display text on the display.
  • the vehicle-mounted device 110 it is possible to estimate a running state that can be influenced by the psychological state of the driver based on the utterance of the driver without using various sensors, and in addition to the estimated running It is possible to appropriately support the driver by feedback (response) according to the state.
  • FIG. 9 shows a second modification of the in-vehicle device which is the first embodiment according to the present invention.
  • the in-vehicle device 120 is obtained by adding a voice recognition unit 121, a response generation unit 122, and an HMI unit 123 to the in-vehicle device 10 (FIG. 1).
  • a voice recognition unit 121 a response generation unit 122
  • an HMI unit 123 an HMI unit 123
  • the same components as those of the in-vehicle device 10 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the voice collection unit 11 of the in-vehicle device 120 outputs the collected voice feature vector to the estimation unit 16 and outputs the collected voice signal to the voice recognition unit 121 in the running state estimation process. .
  • the voice recognition unit 121 performs voice recognition processing on the driver's voice signal input from the voice collection unit 11 and outputs a voice recognition result to the response generation unit 122.
  • a microphone may be connected to the voice recognition unit 121 and the voice signal of the driver may be input without going through the voice collection unit 11.
  • the response generation unit 122 receives the driving state information output from the estimation unit 16 and the voice recognition result (speech content) of the voice recognition unit 121 as input, depending on the driving state and utterance content of the vehicle that can affect the driver's psychological state.
  • the response is generated and output to the HMI unit 123.
  • the HMI unit 123 presents the response generated by the response generation unit 122 to the driver as a voice message or a screen display, for example, using a speaker, a display (not shown) or the like.
  • the speaker etc. which the HMI part 123 uses may be provided for the vehicle-mounted apparatus 120, and what is provided in the vehicle may be diverted.
  • the response according to the driving state and the utterance content is, for example, when the driver's utterance content is “play music” and the driving state is estimated to be “a lot of rapid acceleration and poor fuel consumption”.
  • the psychological state can be estimated to be likely to be in a hurry or tense. Therefore, in order to calm the driver's feeling, music such as classical music or slow ballad is selected and reproduced and output.
  • music such as classical music or slow ballad is selected and reproduced and output.
  • the driver's psychological state may be a state of low arousal state (a state of drowsiness). Select and play up-tempo music.
  • the driver's utterance content is “Looking for a restaurant” and the driving state is estimated to be “no sudden acceleration or sudden braking (normal state)”
  • the driver's psychological state is stable and temporal Since it can be estimated that there is a sufficient margin, a restaurant that matches the driver's preference set in advance is searched, and the search result is output.
  • it is estimated that the driving state is "a lot of rapid acceleration and fuel efficiency is bad”
  • it can be estimated that the driver's psychological state is impatient and has no time, so he can arrive as soon as possible than the driver's preference Search for restaurants first and output search results.
  • the vehicle-mounted device 120 it is possible to estimate a running state that can be influenced by the driver's psychological state based on the driver's voice without using various sensors.
  • the in-vehicle device 120 when the voice command from the driver is determined and executed, not only the voice recognition result but also the estimated running state is used, so that an extraordinary psychological state that does not appear in the voice recognition result It is possible to support the driver appropriately by feedback (response) based on the above.
  • FIG. 10 shows a third modification of the in-vehicle device which is the first embodiment according to the present invention.
  • the in-vehicle device 140 is obtained by adding a traveling state abnormality determining unit 141, a utterance promoting unit 142, and an HMI unit 143 to the in-vehicle device 10 (FIG. 1).
  • a traveling state abnormality determining unit 141 a traveling state abnormality determining unit 141
  • a utterance promoting unit 142 a utterance promoting unit 142
  • an HMI unit 143 a traveling state abnormality determining unit 141
  • HMI unit 143 HMI unit
  • the traveling state collection unit 12 of the in-vehicle device 140 gives collection time to the collected traveling state information and outputs it to the DB generation unit 13 and outputs the collected traveling state information to the traveling state abnormality determination unit 141.
  • the traveling state abnormality determination unit 141 detects an abnormal traveling state that deviates from the normal traveling state based on the traveling state information input from the traveling state collection unit 12.
  • FIG. 11 shows time-series changes in the frequency of abnormal driving (sudden acceleration, sudden braking, sudden steering, etc.) used for the detection judgment of the abnormal traveling state by the traveling state abnormality determining unit 141.
  • the horizontal axis represents time and vertical The axis shows the frequency.
  • the traveling state abnormality determination unit 141 counts the frequency of abnormal operation based on the traveling state information input from the traveling state collection unit 12, and when the count value exceeds a predetermined threshold (timing t1 in FIG. 11). It is determined that the vehicle is in an abnormal running state, and the utterance promoting unit 142 is notified of this.
  • the voice generation promoting unit 142 prompts the driver to speak, for example, “Would you like to take a break soon?” It's noon. Search for restaurants, tell me what you want to eat. "And” Listen to the music. Which artist's album do you want to play? “ Output. Note that the question message may be selected according to the running state, time, etc., since it is prepared in advance.
  • the HMI unit 143 uses, for example, a speaker or a display (both not shown), and presents the question sentence generated by the utterance promoting unit 142 to the driver as, for example, a voice message or a screen display.
  • the speaker or the like used by the HMI unit 143 may be provided for the in-vehicle device 140 or may be used for a vehicle.
  • the driver is prompted to speak when it is determined that the vehicle is in an abnormal driving state, so the driver's utterance can be actively collected and learning data for supervised learning can be efficiently collected. . Therefore, it is possible to increase the accuracy of the generated estimation model 15 and improve the estimation accuracy of the running state.
  • the first to third modifications described above can be combined as appropriate. That is, for example, the running state abnormality determination unit 141 and the utterance promotion unit 142 in the third modification may be added to the first modification and the second modification.
  • the on-vehicle devices 10, 30, 70, 110, 120, 130, 140 and the server devices 50, 80 described above can be configured by hardware or can be realized by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 12 is a block diagram illustrating an example of a hardware configuration of a computer that implements the in-vehicle device 10 and the like by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input / output interface 205 may be connected to a microphone, an AD converter, an acceleration sensor, a gyro sensor, a fuel consumption sensor, etc. (all not shown).
  • the input / output interface 205 may be connected to a positioning signal receiving unit such as a GPS receiver, a connection unit for connecting to an in-vehicle network such as an OBD port, and an FM multiplex broadcast receiving unit.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, an SSD (Solid State Drive), or the like.
  • the communication unit 209 includes a communication telephone module, a Wi-Fi communication module, and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, a program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program, so that the in-vehicle device 10 etc. are realized.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, a communication network, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in advance in the ROM 202 or the storage unit 208.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • each of the above-described embodiments has been described in detail for easy understanding of the present invention, and the present invention is not necessarily limited to the one provided with all the constituent elements described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in a storage device such as a memory, a hard disk, and an SSD, or a recording medium such as an IC card, an SD card, and a DVD.
  • the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • the present invention can be provided in various modes such as a computer-readable program as well as an in-vehicle device, a running state estimation method, a server device, and a running state estimation system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

多種多様なセンサを用いることなく、ドライバの発声に基づいてドライバの心理状態が影響し得る車両の走行状態を推定する。　車載装置は、ドライバが発した音声を収集する音声収集部と、車両の走行状態を表す走行状態情報を収集する走行状態収集部と、収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、を備えることを特徴とする。

Description

車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
　本発明は、車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システムに関する。本発明は2018年3月14日に出願された日本国特許の出願番号2018-046788の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
　近年、自動車の運転者（以下、ドライバと称する）による危険運転が社会問題となっており、運転中のドライバに対する様々なサポート機能が提案されている。
　例えば特許文献１には、ドライバの運転操作に関する情報からドライバの心理状態を推定し、推定した心理状態に応じてドライバに警告を発する技術が開示されている。
特開２０１０－１４３３６２号公報
　一般にドライバの心理状態を判定するための情報としては、ドライバの動作、瞬きの頻度、心拍数等が知られているが、これらを検出するためにはカメラや生体センサ等の多種多様なセンサが必要となり、その設置コストや設置スペースの確保が問題となる。
　また、特許文献１に記載されている方法では、ドライバの運転操作に関する情報を取得する必要があるので、今後普及が見込まれている自動運転のようにドライバが主体的に運転に関与していない場合には適用できない。現状では自動運転中であってもドライバの注意義務が完全に免除されることはないので、自動運転中であってもドライバの心理状態を推定できる技術の出現が望まれている。
　本発明は、このような状況に鑑みてなされたものであり、多種多様なセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定できるようにすることを目的とする。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る車載装置は、ドライバが発した音声を収集する音声収集部と、車両の走行状態を表す走行状態情報を収集する走行状態収集部と、収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、前記推定モデルを用い、前記ドライバの発声に基づいて前記車両の前記走行状態を推定する推定部と、を備えることを特徴とする。
　本発明によれば、多種多様なセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定することが可能となる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る第１の実施の形態である車載装置の構成例を示すブロック図である。 音声-走行状態データベースのデータ構造の一例を示す図である。 教師あり学習を説明するための図である。 推定モデル生成処理の一例を説明するフローチャートである。 走行状態推定処理の一例を説明するフローチャートである。 本発明に係る第２の実施の形態である走行状態推定システムの構成例を示すブロック図である。 本発明に係る第３の実施の形態である走行状態推定システムの構成例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第１の変形例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第２の変形例を示すブロック図である。 本発明に係る第１の実施の形態である車載装置の第３の変形例を示すブロック図である。 走行状態の異常を判定する方法について説明するための図である。 コンピュータの構成例を示すブロック図である。
　以下、本発明に係る複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
　＜ドライバが発する音声と車両の走行状態の相関について＞
　はじめに、ドライバが発する音声と車両の走行状態との相関について説明する。
　一般的に、人はいらいらしているときには早口、大声になったり、眠いときには声量に抑揚がなくなって平坦になったりするように、人の心理状態と発声には相関が有る。そして、いらいらしているときには気が荒くなって急加速や急ハンドルが増えたりし、眠いときには注意力が散漫になって急ブレーキが増えたりするように、ドライバの心理状態は、ドライバの運転、すなわち、車両の走行状態に影響し得る。本発明は、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定するものである。
　＜本発明に係る第１の実施の形態である車載装置の構成例＞
　図１は、本発明に係る第１の実施の形態である車載装置の構成例を示している。
　該車載装置１０は、ドライバ（ユーザ）が発する音声（発声）を収集し、ドライバの音声に基づいてドライバの運転状態、換言すれば、車載装置１０が搭載されている車両の走行状態を推定するものである。車載装置１０は、例えばナビゲーションシステムや車載コンピュータシステム等を構成する一装置として、自動車等の車両に搭載される。推定された走行状態は、例えばドライバに対する注意喚起等のフィードバックに用いられる。
　ここで、ドライバが発する音声とは、例えばナビゲーションシステムや車載コンピュータシステムに対してドライバが発声する音声コマンドを想定する。ただし、収集するドライバの音声は、音声コマンドに限るものではなく、例えば、同乗者等との会話や独り言を収集するようにしてもよい。
　車載装置１０は、音声収集部１１、走行状態収集部１２、ＤＢ（データベース）生成部１３、学習部１４、推定モデル１５、及び推定部１６を備える。
　音声収集部１１は、マイクロフォン、及びＡＤコンバータ（いずれも不図示）を用い、ドライバが発する音声を収集し、その結果得られる音声信号を特徴ベクトル（本発明の音声情報に相当する）に変換する。特徴ベクトルとしては、（ＦＣＣ（メル周波数ケプストラム係数）、ピッチ、パワー等を挙げることができる。ただし、音声信号を変換して得られる特徴ベクトルは、上述した例に限るものではなく、他の特徴ベクトルに変換するようにしてもよい。
　また、音声収集部１１は、推定モデル生成処理（後述）において、音声の特徴ベクトルに該音声の収集時刻を付与してＤＢ生成部１３に出力する。また、音声収集部１１は、走行状態推定処理（後述）において、音声の特徴ベクトルを推定部１６に出力する。
　なお、音声収集部１１が用いるマイクロフォン等は、車載装置１０用に設けてもよいし、車載されているナビゲーションシステム等が備えるものを流用してもよい。
　走行状態収集部１２は、車両の走行状態を検出するための加速度センサ、ジャイロセンサ、及び燃費センサ（不図示）のうちの少なくとも１つを用い、該センサの出力値と所定の閾値との比較結果に基づき、ドライバによる運転の荒さや危険回避行動の指標となる走行状態情報（急加速、急ブレーキ、急ハンドルの回数、燃費データ等）を収集し、走行状態情報に収集時刻を付与してＤＢ生成部１３に出力する。なお、走行状態収集部１２が用いる加速度センサ等は、車載装置１０用に設けてもよいし、予め該車両に設けられているものを流用してもよい。
　ＤＢ生成部１３は、音声収集部１１から入力される音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間（例えば、前後５分間）に走行状態収集部１２にて収集される走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する。
　図２は、音声・走行状態ＤＢ１３１のデータ構造の一例を示している。
　音声・走行状態ＤＢ１３１に記録される各データには、音声情報フィールド１３１１及び走行状態情報フィールド１３１２が設けられている。
　音声情報フィールド１３１１には、ＤＢ生成部１３から入力される音声の特徴ベクトルを格納する。これにより、音声情報フィールド１３１１に音声信号をそのまま格納する場合に比較して、格納するデータ量を減少させることができる。
　走行状態情報フィールド１３１２には、走行状態情報として、急加速等の回数を表す数値を記録する。なお、数値を記録する代わりに、急加速等の回数と所定閾値を比較して決定する「多い」、「普通」、「少ない」、「良い」、「悪い」等の評価を記録してもよい。
　図１に戻る。学習部１４は、音声・走行状態ＤＢ１３１に記録されている、音声の特徴ベクトルとそれに対応する走行状態情報の対を学習データとし、音声の特徴ベクトルを入力ベクトル、それに対応する走行状態情報を教師ラベルとする教師あり学習を実施することによって推定モデル１５を生成する。
　学習部１４による教師あり学習について図３を参照して説明する。図３は、入力ベクトル空間１００に、走行状態情報の教師ラベルを付した音声信号の特徴ベクトルをプロットした模式図である。
　図中における黒丸は、急加速「少」、急ブレーキ「少」、燃費「良」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。白三角は、急加速「少」、急ブレーキ「多」、燃費「良」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。黒四角は、急加速「多」、急ブレーキ「少」、燃費「悪」の走行状態の教師ラベルが付された音声の特徴ベクトルの分布を表す。
　学習部１４による教師あり学習では、黒丸が分布する領域１０１と、白三角△が分布する領域１０２と、黒四角が分布する領域１０３との識別面１０４，１０５を定めた推定モデル１５を生成する。
　よって、推定モデル１５は、入力ベクトル空間１００が識別面１０４等によって教師ラベルの数と同数の領域に分割されたものとなる。推定モデル１５によれば、入力ベクトル空間１００にて、音声の特徴ベクトルがどの領域に属しているのかを判断することによって、該音声が収集されたときの走行状態を推定することができる。
　図１に戻る。推定部１６は、推定モデル１５を用いて走行状態を推定し、推定結果を表す走行状態情報を後段に出力する。
　＜車載装置１０による推定モデル生成処理＞
　次に、図４は、車載装置１０による推定モデル生成処理の一例を説明するフローチャートである。
　該推定モデル生成処理は、例えば、車載装置１０が搭載されている車両が走行し始めたときに開始される。
　はじめに、音声収集部１１が、ドライバが発する音声を収集し、該音声に対応する音声信号を特徴ベクトルに変換してＤＢ生成部１３に出力する動作を開始する（ステップＳ１）。一方、走行状態収集部１２が、車両の走行状態を表す走行状態情報を収集してＤＢ生成部１３に出力する動作を開始する（ステップＳ２）。なお、ステップＳ１，Ｓ２の処理は実際には同時に開始される。
　次に、ＤＢ生成部１３が、音声収集部１１から入力された音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間に走行状態収集部１２にて収集された走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する（ステップＳ３）。
　次に、学習部１４が、音声・走行状態ＤＢ１３１に記録されている学習データ（音声の特徴ベクトルと走行状態情報との対）を用いて教師あり学習を実施することによって推定モデル１５を生成する（ステップＳ４）。なお、学習部１４による教師あり学習は、音声・走行状態ＤＢ１３１に学習データが所定数だけ溜まってから実行するようにする。
　この後、車載装置１０は処理をステップＳ３に戻してそれ以降を繰り返すことになる。ステップＳ３，Ｓ４の処理を繰り返すことにより、学習部１４はより多くの学習データを用いて教師あり学習を行うことができるので、生成される推定モデル１５の精度を向上させることができる。
　＜車載装置１０による走行状態推定処理＞
　次に、図５は、車載装置１０による走行状態推定処理の一例を説明するフローチャートである。
　該走行状態推定処理は、上述した推定モデル生成処理により推定モデル１５が生成されていることを前提とし、例えば、車載装置１０が搭載されている車両が走行し始めたときに開始される。
　はじめに、音声収集部１１が、ドライバが発する音声を収集し、該音声に対応する音声信号を特徴ベクトルに変換して推定部１６に出力する処理を開始する（ステップＳ１１）。次に、推定部１６が、音声収集部１１からの入力を監視し、音声の特徴ベクトルが入力されたか否かを判定する（ステップＳ１２）。音声の特徴ベクトルが入力されていないと判定した場合（ステップＳ１２でＮＯ）、推定部１６は音声収集部１１からの入力の監視を継続する。
　また、音声の特徴ベクトルが入力されたと判定した場合（ステップＳ１２でＹＥＳ）、推定部１６は、推定モデル１５を用い、音声収集部１１から入力された音声の特徴ベクトルが属する入力ベクトル空間１００の領域に基づいて車両の走行状態を推定し、推定結果を表す走行状態情報を後段に出力する。この後、車載装置１０は処理をステップＳ１２に戻して、それ以降を繰り返すことになる。
　以上に説明した走行状態推定処理によれば、ドライバの動作、瞬きの頻度、心拍数等を検知するセンサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る車両の走行状態を推定することが可能となる。
　なお、車載装置１０から出力される走行状態情報の用途については任意であるが、その例については、後述する変形例にて説明する。
　＜本発明に係る第２の実施の形態である走行状態推定システムの構成例＞
　次に、図６は、本発明に係る第２の実施の形態である走行状態推定システムの構成例を示している。
　該走行状態推定システム２０は、通信ネットワーク４０を介して接続される複数の車載装置３０とサーバ装置５０とから構成される。通信ネットワーク４０は、例えば、携帯電話通信網やインターネット等から成る。
　車載装置３０及びサーバ装置５０には、車載装置１０（図１）の構成要素が分散配置されており、車載装置３０及びサーバ装置５０それぞれの構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
　車載装置３０は、車載装置１０からＤＢ生成部１３及び学習部１４を省略して通信部３１を追加した構成を有する。なお、車載装置３０から省略されたＤＢ生成部１３及び学習部１４は、サーバ装置５０に設けられている。
　すなわち、車載装置３０は、音声収集部１１、走行状態収集部１２、推定モデル１５、推定部１６、及び通信部３１を備える。
　車載装置３０における音声収集部１１は、推定モデル生成処理において、音声の特徴ベクトルに該音声の収集時刻を付与して通信部３１に出力し、走行状態推定処理において、音声の特徴ベクトルを推定部１６に出力する。
　車載装置３０における走行状態収集部１２は、収集した走行状態情報に収集時刻を付与して通信部３１に出力する。
　通信部３１（本発明の第１通信部に相当する）は、推定モデル生成処理において、音声収集部１１から入力される音声の特徴ベクトルと、該音声の収集時刻を基準とする所定の時間範囲内に走行状態収集部１２にて収集された走行状態情報とを対応付けて、通信ネットワーク４０を介してサーバ装置５０に送信する。さらに、通信部３１は、サーバ装置５０にて生成された推定モデル１５を受信し、車載装置３０に既存の推定モデル１５を更新する。
　サーバ装置５０は、ＤＢ生成部１３、学習部１４、推定モデル１５、及び通信部５１を備える。
　サーバ装置５０におけるＤＢ生成部１３は、各車載装置３０から通信ネットワーク４０を介して入力される音声の特徴ベクトルに、該音声の収集時刻に前後する所定時間に、対応する各車載装置３０の走行状態収集部１２にて収集される走行状態情報を対応付けて記録することにより音声・走行状態ＤＢ１３１を生成する。
　サーバ装置５０における学習部１４は音声・走行状態ＤＢ１３１を用い、教師あり学習を実施することによって推定モデル１５を生成し、生成した推定モデル１５を、通信ネットワーク４０を介して各車載装置３０に送信する。
　通信部５１（本発明の第２通信部に相当する）は、各車載装置３０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを受信してＤＢ生成部１３に出力する。また、通信部５１は、各車載装置３０から通信ネットワーク４０を介して送信される走行状態情報を受信してＤＢ生成部１３に出力する。さらに、通信部５１は、学習部１４にて生成された推定モデル１５を、通信ネットワーク４０を介して各車載装置３０に送信する。
　走行状態推定システム２０では、推定モデル生成処理は主にサーバ装置５０にて実行され、走行状態推定処理は車載装置３０にて実行されることになる。推定モデル生成処理を主に実行するサーバ装置５０には、複数の車載装置３０が接続されているので、サーバ装置５０のＤＢ生成部１３で生成される音声・走行状態ＤＢ１３１には、第１の実施の形態よりも多くの学習データが記録され易くなる。よって、学習部１４で生成される推定モデル１５の精度は第１の実施の形態より高くなる。したがって、走行状態推定システム２０は、車載装置１０に比較して、ドライバの心理状態が影響し得る車両の走行状態の推定精度の向上が期待できる。
　＜本発明に係る第３の実施の形態である走行状態推定システムの構成例＞
　次に、図７は、本発明に係る第３の実施の形態である走行状態推定システムの構成例を示している。
　該走行状態推定システム６０は、通信ネットワーク４０を介して接続される複数の車載装置７０とサーバ装置８０とから構成される。
　車載装置７０及びサーバ装置８０には、車載装置１０の構成要素が分散配置されており、車載装置７０及びサーバ装置８０それぞれの構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
　車載装置７０は、車載装置１０からＤＢ生成部１３、学習部１４、推定モデル１５、及び推定部１６を省略して通信部７１を追加した構成を有する。なお、車載装置７０から省略されたＤＢ生成部１３、学習部１４、推定モデル１５、及び推定部１６は、サーバ装置８０に設けられている。
　すなわち、車載装置７０は、音声収集部１１、走行状態収集部１２、及び通信部７１を備える。
　車載装置７０における音声収集部１１は、推定モデル生成処理において、音声の特徴ベクトルに該音声の収集時刻を付与して通信部７１に出力し、走行状態推定処理において、音声の特徴ベクトルを通信部７１に出力する。
　車載装置７０における走行状態収集部１２は、収集した収集時刻を付与して通信部７１に出力する。
　通信部７１は、推定モデル生成処理において、音声収集部１１が出力する音声の特徴ベクトルと、走行状態収集部１２が出力する走行状態情報を、通信ネットワーク４０を介してサーバ装置８０に送信する。さらに、通信部７１は、走行状態推定処理において、音声収集部１１が出力する音声の特徴ベクトルを、通信ネットワーク４０を介してサーバ装置８０に送信し、サーバ装置８０から送信される、推定された走行状態情報を受信する。
　サーバ装置８０は、ＤＢ生成部１３、学習部１４、推定モデル１５、推定部１６、及び通信部８１を備える。
　通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを受信してＤＢ生成部１３に出力する。また、通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される走行状態情報を受信してＤＢ生成部１３に出力する。さらに、通信部８１は、推定モデル生成処理時において、各車載装置７０から通信ネットワーク４０を介して送信される音声の特徴ベクトルを推定部１６に出力し、該特徴ベクトルに基づく推定部１６による推定結果を表す走行状態情報を、通信ネットワーク４０を介して各車載装置７０に送信する。
　走行状態推定システム６０では、推定モデル生成処理及び走行状態推定処理は主にサーバ装置８０にて実行されることになる。推定モデル生成処理を主に実行するサーバ装置８０には、複数の車載装置７０が接続されるので、サーバ装置８０のＤＢ生成部１３で生成される音声・走行状態ＤＢ１３１には、第１の実施の形態よりも多くの学習データが記録され易くなる。よって、学習部１４で生成される推定モデル１５の精度は、第１の実施の形態より高くなる。したがって、走行状態推定システム６０は、車載装置１０に比較して、ドライバの心理状態が影響し得る車両の走行状態の推定精度の向上が期待できる。また、推定モデル生成処理及び走行状態推定処理における車載装置７０の処理負荷を、車載装置１０に比較して減らすことができる。
　＜本発明に係る第１の実施の形態である車載装置の第１の変形例＞
　次に、図８は、本発明に係る第１の実施の形態である車載装置の第１の変形例を示している。
　該車載装置１１０は、車載装置１０（図１）に応答生成部１１１及びＨＭＩ(Human Machine Interface)部１１２を追加したものである。車載装置１１０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
　応答生成部１１１（本発明のフィードバック生成部に相当する）は、推定部１６が出力する走行状態情報を入力とし、推定された走行状態に応じた応答（ドライバに対するフィードバック）を生成してＨＭＩ部１１２に出力する。ＨＭＩ部１１２は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、応答生成部１１１によって生成された応答を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１１２が用いるスピーカ等は、車載装置１１０用に設けてもよいし、車両に設けられているものを流用してもよい。
　ドライバの心理状態が影響し得る所領の走行状態に応じた応答とは、例えば走行状態として「急ブレーキが多い」と推定された場合には、ドライバの心理状態として、覚醒状態が低かったり、注意力が散漫していたりする可能性が高いので、ドライバに対して「運転に集中してください」等の注意喚起を促すメッセージや「このあたりで休憩しましょう」等の休憩を提案するメッセージをスピーカから音声出力したり、ディスプレイにテキスト表示したりするようにする。
　また例えば、走行状態として「急加速が多く、燃費が悪い」と推定された場合には、ドライバの心理状態として、慌てていたり、緊張していたりする可能性が高いので、ドライバに対して「リラックスしてください」等の注意喚起を促すメッセージを音声出力またはテキスト出力したり、クラッシック音楽やスローバラード等の気分を落ち着かせる楽曲を再生出力したりするようにする。
　以上に説明した車載装置１１０によれば、各種センサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る走行状態を推定することが可能となることに加えて、推定した走行状態に応じたフィードバック（応答）によってドライバを適切にサポートすることが可能となる。
　＜本発明に係る第１の実施の形態である車載装置の第２の変形例＞
　次に、図９は、本発明に係る第１の実施の形態である車載装置の第２の変形例を示している。
　該車載装置１２０は、車載装置１０（図１）に音声認識部１２１、応答生成部１２２、及びＨＭＩ部１２３を追加したものである。車載装置１２０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
　ただし、車載装置１２０の音声収集部１１は、走行状態推定処理において、収集した音声の特徴ベクトルを推定部１６に出力するとともに、収集した音声の音声信号を音声認識部１２１に出力するようにする。
　音声認識部１２１は、音声収集部１１から入力されるドライバの音声信号に対して音声認識処理を行い、音声認識結果を応答生成部１２２に出力する。なお、音声認識部１２１にマイクロフォンを接続し、音声収集部１１を介することなくドライバの音声信号を入力するようにしてもよい。
　応答生成部１２２は、推定部１６が出力する走行状態情報と、音声認識部１２１の音声認識結果（発声内容）とを入力としドライバの心理状態が影響し得る車両の走行状態と発声内容に応じた応答を生成してＨＭＩ部１２３に出力する。ＨＭＩ部１２３は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、応答生成部１２２によって生成された応答を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１２３が用いるスピーカ等は、車載装置１２０用に設けてもよいし、車両に設けられているものを流用してもよい。
　走行状態と発声内容に応じた応答とは、例えば、ドライバの発声内容が「音楽をかけて」であって、走行状態として「急加速が多く、燃費が悪い」と推定された場合、ドライバの心理状態は、急いでいたり、緊張していたりする可能性が高いと推定できるので、ドライバの気分を落ち着かせるためにクラッシック音楽やスローバラード等の楽曲を選曲して再生出力するようにする。反対に、走行状態として「急ブレーキが多い」と推定された場合、ドライバの心理状態は覚醒状態が低い状態（眠気が有る状態）である可能性があると推定できるので、眠気を覚ますようなアップテンポの楽曲を選曲して再生出力するようにする。
　また例えば、ドライバの発声内容が「レストランを探して」であって、走行状態として「急加速や急ブレーキがない（平常状態）」と推定された場合、ドライバの心理状態は安定し、時間的な余裕があると推定できるので、予め設定されているドライバの好みに合ったレストランを検索して、検索結果を出力するようにする。反対に、走行状態として「急加速が多く、燃費が悪い」と推定された場合、ドライバの心理状態は焦っていて時間的な余裕がないと推定できるので、ドライバの好みよりもなるべく早く到着できるレストランを優先して検索し、検索結果を出力するようにする。
　以上に説明した車載装置１２０によれば、各種センサを用いることなく、ドライバの発声に基づき、ドライバの心理状態が影響し得る走行状態を推定することが可能となる。
　また、車載装置１２０によれば、ドライバからの音声コマンドを判断して実行するに際し、音声認識結果だけでなく、推定した走行状態も用いるので、音声認識結果には現れてこない言外の心理状態を踏まえたフィードバック（応答）によってドライバを適切にサポートすることが可能となる。
　＜本発明に係る第１の実施の形態である車載装置の第３の変形例＞
　次に、図１０は、本発明に係る第１の実施の形態である車載装置の第３の変形例を示している。
　該車載装置１４０は、車載装置１０（図１）に走行状態異常判定部１４１、発声促進部１４２、及びＨＭＩ部１４３を追加したものである。車載装置１４０の構成要素のうち、車載装置１０の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。
　ただし、車載装置１４０の走行状態収集部１２は、収集した走行状態情報に収集時刻を付与してＤＢ生成部１３に出力するとともに、収集した走行状態情報を走行状態異常判定部１４１に出力するものとする。
　走行状態異常判定部１４１は、走行状態収集部１２から入力される走行状態情報に基づき、通常の走行状態から逸脱した異常走行状態を検出する。
　図１１は、走行状態異常判定部１４１による異常走行状態の検出判定に用いる、異常運転（急加速、急ブレーキ、急ハンドル等）の頻度の時系列変化を示しており、横軸が時間、縦軸が頻度を示している。
　走行状態異常判定部１４１は、走行状態収集部１２から入力される走行状態情報に基づき、異常運転の頻度をカウントし、そのカウント値が所定の閾値を超えたとき（図１１のタイミングｔ１）、異常走行状態にあると判定し、その旨を発声促進部１４２に通知する。
　発声促進部１４２は、走行状態異常判定部１４１からの、異常走行状態にある旨の通知に応じ、ドライバに対して発声を促す質問メッセージ、例えば「そろそろ休憩を取りませんか？」、「まもなくお昼です。レストランを検索しますので、食べたい料理を教えてください。」、「音楽を聴きましょう。どのアーティストのアルバムを再生しますか？」等の質問文を生成してＨＭＩ部１４３に出力する。なお、質問メッセージは、予め用意されているもののから走行状態や時刻等に応じて選択するようにしてもよい。
ＨＭＩ部１４３は、例えばスピーカやディスプレイ（いずれも不図示）等を用い、発声促進部１４２によって生成された質問文を、例えば、音声メッセージや画面表示としてドライバに提示する。なお、ＨＭＩ部１４３が用いるスピーカ等は、車載装置１４０用に設けてもよいし、車両に設けられているものを流用してもよい。
　以上に説明した車載装置１４０によれば、異常走行状態であると判定したときにドライバに発声を促すので、ドライバの発声を能動的に収集でき、教師あり学習の学習データを効率的に収集できる。よって、生成される推定モデル１５の精度を高めて走行状態の推定精度を向上させることが可能となる。
　なお、上述した第１～第３の変形例は適宜組み合わせることが可能である。すなわち、例えば、第１の変形例や第２の変形例に、第３の変形例における走行状態異常判定部１４１、及び発声促進部１４２を追加してもよい。
　また、上述した本発明に係る第２及び第３の実施の形態は、上述した第１～第３の変形例と同様に変形することが可能である。
　ところで、上述した車載装置１０，３０，７０，１１０，１２０，１３０，１４０及びサーバ装置５０，８０については、ハードウェアにより構成することもできるし、ソフトウェアにより実現することもできる。車載装置１０等をソフトウェアにより実現する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１２は、車載装置１０等をプログラムにより実現するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ（Read Only Memory）２０２，ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。また、入出力インターフェース２０５には、マイクロフォン、ＡＤコンバータ、加速度センサ、ジャイロセンサ，燃費センサ等（いずれも不図示）が接続されていてもよい。
　さらに、入出力インターフェース２０５には、ＧＰＳ受信機等の測位信号受信部、ＯＢＤポート等の自動車の車内ネットワークに接続するための接続部、ＦＭ多重放送受信部等が接続されていてもよい。
　入力部２０６は、キーボード、マウス、マイクロフォン等より成る。出力部２０７は、ディスプレイやスピーカ等より成る。記憶部２０８は、ハードディスクやＳＳＤ(Solid State Drive)等より成る。通信部２０９は、通信電話モジュールやＷｉ－Ｆｉ通信モジュール等より成る。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、車載装置１０等が実現される。
　コンピュータ２００（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、通信ネットワーク、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明は、車載装置、走行状態推定方法、サーバ装置、及び走行状態推定システムだけでなく、コンピュータ読み取り可能なプログラム等の様々な態様で提供することができる。
１０・・・車載装置、１１・・・音声収集部、１２・・・走行状態収集部、１３・・・ＤＢ生成部１３・・・生成部、１４・・・学習部、１５・・・推定モデル、１６・・・推定部、２０・・・走行状態推定システム、２１・・・通信部、３０・・・車載装置、３１・・・通信部、４０・・・通信ネットワーク、５０・・・サーバ装置、５１・・・通信部、６０・・・走行状態推定システム、７０・・・車載装置、７１・・・通信部、８０・・・サーバ装置、８１・・・通信部、１００・・・入力ベクトル空間、１０１・・・領域、１０２・・・領域、１０３・・・領域、１０４・・・識別面、１０５・・・識別面、１１０・・・車載装置、１１１・・・応答生成部、１１２・・・ＨＭＩ部、１２０・・・車載装置、１２１・・・音声認識部、１２２・・・応答生成部、１２３・・・ＨＭＩ部、１３０・・・車載装置、１４０・・・車載装置、１４１・・・走行状態異常判定部、１４２・・・発声促進部、１４３・・・ＨＭＩ部、２００・・・コンピュータ、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・バス、２０５・・・入出力インターフェース、２０６・・・入力部、２０７・・・出力部、２０８・・・記憶部、２０９・・・通信部、２１０・・・ドライブ、２１１・・・リムーバブルメディア

Claims (17)

  1. 　ドライバが発した音声を収集する音声収集部と、
    　車両の走行状態を表す走行状態情報を収集する走行状態収集部と、
    　収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
    　生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、
    　前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、
    　を備えることを特徴とする車載装置。
  2. 　請求項１に記載の車載装置であって、
    　前記学習部は、前記学習データの前記音声情報を入力ベクトル、前記学習データの前記走行状態情報を教師ラベルとして、教師あり学習により前記推定モデルを生成する
    　ことを特徴とする車載装置。
  3. 　請求項１に記載の車載装置であって、
    　前記データベース生成部は、収集された前記音声に対応する音声情報に、前記音声の収集時刻に前後して収集された前記走行状態情報を対応付けて前記データベースを生成する
    　ことを特徴とする車載装置。
  4. 　請求項１に記載の車載装置であって、
    　前記音声収集部は、ドライバが発した音声を特徴ベクトルに変換し、
    　前記データベース生成部は、収集された前記音声に対応する前記音声情報としての前記特徴ベクトルと、収集された前記走行状態情報とを対応付けて前記データベースを生成する
    　ことを特徴とする車載装置。
  5. 　請求項１に記載の車載装置であって、
    　前記走行状態収集部は、加速度センサ、ジャイロセンサ、及び燃費センサのうちの少なくとも１つの出力値に基づき前記走行状態情報を収集する
    　ことを特徴とする車載装置。
  6. 　請求項１に記載の車載装置であって、
    　推定された前記走行状態に応じて前記ドライバに対するフィードバックを生成するフィードバック生成部を、
    　備えることを特徴とする車載装置。
  7. 　請求項６に記載の車載装置であって、
    　収集された前記ドライバの前記音声を認識する音声認識部を、
    　備え、
    　前記フィードバック生成部は、前記ドライバの前記音声の音声認識結果と、推定された前記走行状態とに応じて前記ドライバに対する前記フィードバックを生成する
    　備えることを特徴とする車載装置。
  8. 　請求項１に記載の車載装置であって、
    　前記ドライバに対して発声を促す発声促進部を、
    　備えることを特徴とする車載装置。
  9. 　請求項８に記載の車載装置であって、
    　異常走行状態であるか否かを判定する走行状態異常判定部を、
    　備え、
    　前記発声促進部は、異常走行状態であると判定された場合、前記ドライバに対して発声を促す
    　ことを特徴とする車載装置。
  10. 　車載装置による走行状態推定方法であって、
    　ドライバが発した音声を収集する音声収集ステップと、
    　車両の走行状態を表す走行状態情報を収集する走行状態収集ステップと、
    　収集された前記音声に対応する音声情報に、収集された前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    　生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    　前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    　を含むことを特徴とする走行状態推定方法。
  11. 　通信ネットワークを介して接続される車載装置とサーバ装置とを備える走行状態推定システムであって、
    　前記車載装置は、
    　　ドライバが発した音声を収集する音声収集部と、
    　　車両の走行状態を表す走行状態情報を収集する走行状態収集部と、
    　　収集された前記音声に対応する音声情報、及び前記走行状態情報を前記サーバ装置に送信する第１通信部と、を備え、
    　前記サーバ装置は、
    　　前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する第２通信部と、
    　　受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
    　　生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、を備え、
    　前記車載装置または前記サーバ装置は、
    　　前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部を、備える
    　ことを特徴とする走行状態推定システム。
  12. 　通信ネットワークを介して接続される車載装置とサーバ装置とを備える走行状態推定システムの走行状態推定方法であって、
    　前記車載装置による、ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集する収集ステップと、
    　前記車載装置による、収集された前記音声に対応する音声情報、及び前記走行状態情報を前記サーバ装置に送信する送信ステップと、
    　前記サーバ装置による、前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する受信ステップと、
    　前記サーバ装置による、受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    　前記サーバ装置による、生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    　前記車載装置または前記サーバ装置による、前記推定モデルを用い、前記車載装置で収集された前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    　を含むことを特徴とする走行状態推定方法。
  13. 　車載装置から送信されたドライバの音声に対応する音声情報、及び車両の走行状態情報を受信し、受信した前記音声情報に前記走行状態情報を対応付けて記録したデータベースを生成し、生成した前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習するサーバ装置とともに走行状態推定システムを成す車載装置であって、
    　ドライバが発した音声を収集する音声収集部と、
    　車両の走行状態を表す前記走行状態情報を収集する走行状態収集部と、
    　収集された前記音声に対応する前記音声情報、及び前記走行状態情報を前記サーバ装置に送信する通信部と、
    　前記サーバ装置で学習された前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部と、
    　を備えることを特徴とする車載装置。
  14. 　車載装置から送信されたドライバの音声に対応する音声情報、及び車両の走行状態情報を受信し、受信した前記音声情報に前記走行状態情報を対応付けて記録したデータベースを生成し、生成した前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習するサーバ装置とともに走行状態推定システムを成す車載装置の走行状態推定方法であって、
    　ドライバが発した音声を収集する音声収集ステップと、
    　車両の走行状態を表す前記走行状態情報を収集する走行状態収集ステップと、
    　収集された前記音声に対応する前記音声情報、及び前記走行状態情報を前記サーバ装置に送信する送信ステップと、
    　前記サーバ装置で学習された前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定ステップと、
    　を含むことを特徴とする走行状態推定方法。
  15. 　ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集し、収集した前記音声に対応する音声情報、及び前記走行状態情報を送信する車載装置とともに走行状態推定システムを成すサーバ装置であって、
    　前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する通信部と、
    　受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成部と、
    　生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習部と、
    　を備えることを特徴とするサーバ装置。
  16. 　請求項１５に記載のサーバ装置であって、
    　前記推定モデルを用い、前記ドライバの発声に基づいて、前記ドライバの心理状態が影響し得る前記車両の前記走行状態を推定する推定部を、
    　備えることを特徴とするサーバ装置。
  17. 　ドライバが発した音声を収集するとともに、車両の走行状態を表す走行状態情報を収集し、収集した前記音声に対応する音声情報、及び前記走行状態情報を送信する車載装置とともに走行状態推定システムを成すサーバ装置の情報処理方法であって、
    　前記車載装置から送信された前記音声情報及び前記走行状態情報を受信する受信ステップと、
    　受信された前記音声情報に前記走行状態情報を対応付けてデータベースを生成するデータベース生成ステップと、
    　生成された前記データベースに記録されている前記音声情報と前記走行状態情報との対を学習データとして推定モデルを学習する学習ステップと、
    　を含むことを特徴とする情報処理方法。
PCT/JP2019/003464 2018-03-14 2019-01-31 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム WO2019176356A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/980,094 US11498576B2 (en) 2018-03-14 2019-01-31 Onboard device, traveling state estimation method, server device, information processing method, and traveling state estimation system
CN201980019021.9A CN111868822A (zh) 2018-03-14 2019-01-31 车载装置、行驶状态推算方法、服务器装置、信息处理方法和行驶状态推算***
EP19767983.0A EP3767621A4 (en) 2018-03-14 2019-01-31 ON-BOARD DEVICE, MOVEMENT STATE ESTIMATION METHOD, SERVER DEVICE, INFORMATION PROCESSING METHOD AND MOVEMENT STATE ESTIMATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018046788A JP7100471B2 (ja) 2018-03-14 2018-03-14 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
JP2018-046788 2018-03-14

Publications (1)

Publication Number Publication Date
WO2019176356A1 true WO2019176356A1 (ja) 2019-09-19

Family

ID=67908326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003464 WO2019176356A1 (ja) 2018-03-14 2019-01-31 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム

Country Status (5)

Country Link
US (1) US11498576B2 (ja)
EP (1) EP3767621A4 (ja)
JP (1) JP7100471B2 (ja)
CN (1) CN111868822A (ja)
WO (1) WO2019176356A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302372A (zh) * 2021-11-30 2022-04-08 科大讯飞(苏州)科技有限公司 车辆警报方法及装置、车辆及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000186942A (ja) * 1998-12-23 2000-07-04 Equos Research Co Ltd エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置
JP2006350567A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2007272834A (ja) * 2006-03-31 2007-10-18 Equos Research Co Ltd ドライバモデル作成装置、運転支援装置、及び運転行動判定装置
JP2009205645A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd ドライバモデル作成装置
JP2010143362A (ja) 2008-12-18 2010-07-01 Konica Minolta Holdings Inc ドライバサポートシステム
JP2010198120A (ja) * 2009-02-23 2010-09-09 Nissan Motor Co Ltd 運転状態判定装置及び運転状態判定方法
JP2016110449A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 運転支援システムおよび運転支援方法
US20180061415A1 (en) * 2011-04-22 2018-03-01 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and moderating vehicle response
JP2018046788A (ja) 2016-09-23 2018-03-29 ユーハ味覚糖株式会社 Ｄｈａ及び／又はｅｐａ高含有グミ状組成物

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140241B2 (en) 2005-12-28 2012-03-20 National University Corporation Nagoya University Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device
DE102006049965A1 (de) 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
DE102014204980B4 (de) 2013-07-05 2017-10-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Einschränkung oder Zwangsaktivierung von Kraftfahrzeugfunktionen
CN105303829A (zh) * 2015-09-11 2016-02-03 深圳市乐驰互联技术有限公司 汽车驾驶员情绪识别方法及装置
CN105292125B (zh) * 2015-10-30 2020-10-27 北京九五智驾信息技术股份有限公司 驾驶员状态监测方法
WO2018029789A1 (ja) 2016-08-09 2018-02-15 日産自動車株式会社 自動運転車両の制御方法及び制御装置
CN107316436B (zh) * 2017-07-31 2021-06-18 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN107662611A (zh) * 2017-11-06 2018-02-06 吉林大学 一种基于驾驶员情绪识别的自动驾驶模式切换***
KR102302917B1 (ko) * 2017-12-18 2021-09-15 현대모비스 주식회사 안전운전 지원 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000186942A (ja) * 1998-12-23 2000-07-04 Equos Research Co Ltd エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置
JP2006350567A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2007272834A (ja) * 2006-03-31 2007-10-18 Equos Research Co Ltd ドライバモデル作成装置、運転支援装置、及び運転行動判定装置
JP2009205645A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd ドライバモデル作成装置
JP2010143362A (ja) 2008-12-18 2010-07-01 Konica Minolta Holdings Inc ドライバサポートシステム
JP2010198120A (ja) * 2009-02-23 2010-09-09 Nissan Motor Co Ltd 運転状態判定装置及び運転状態判定方法
US20180061415A1 (en) * 2011-04-22 2018-03-01 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and moderating vehicle response
JP2016110449A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 運転支援システムおよび運転支援方法
JP2018046788A (ja) 2016-09-23 2018-03-29 ユーハ味覚糖株式会社 Ｄｈａ及び／又はｅｐａ高含有グミ状組成物

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3767621A4

Also Published As

Publication number Publication date
JP2019159147A (ja) 2019-09-19
CN111868822A (zh) 2020-10-30
JP7100471B2 (ja) 2022-07-13
EP3767621A1 (en) 2021-01-20
US11498576B2 (en) 2022-11-15
US20210061290A1 (en) 2021-03-04
EP3767621A4 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
EP3675121B1 (en) Computer-implemented interaction with a user
RU2714805C2 (ru) Способ и система транспортного средства для осуществления скрытного вызова оператора аварийно-спасательных служб (варианты)
JP6953464B2 (ja) 情報プッシュ方法及び装置
US7711462B2 (en) Vehicle help system and method
US9771082B2 (en) Reducing cognitive demand on a vehicle operator by generating passenger stimulus
EP2942012A1 (en) Driver assistance system
CN116679903A (zh) 车辆环境中的多个数字助理协调
KR102368004B1 (ko) 차량 진단 데이터에 근거하여 조치 가능한 이벤트 결정
CN111402925A (zh) 语音调节的方法、装置、电子设备、车载***和可读介质
US20240185826A1 (en) Systems and methods for selectively providing audio alerts
WO2019176356A1 (ja) 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
JP2005049773A (ja) 音楽再生装置
CN116391216A (zh) 在导航会话期间检测和处理驾驶事件声音
KR20210073461A (ko) 에이전트 관리 장치, 프로그램, 및 에이전트 관리 방법
JP2021072064A (ja) 認知機能診断システム
WO2021210088A1 (ja) 収集システム、収集装置、その方法、およびプログラム
CN111739524B (zh) 智能体装置、智能体装置的控制方法及存储介质
JP6794722B2 (ja) 車室内音環境通知装置および車室内音環境通知方法
WO2005091246A1 (ja) 居眠り防止装置、居眠り防止プログラムおよび記憶媒体
US10601757B2 (en) Multi-output mode communication support device, communication support method, and computer program product
JP2023086822A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体
CN116729252A (zh) 低速提示音控制方法、装置、存储介质及电子设备
JP2024067241A (ja) 車載装置およびシステム
CN117999211A (zh) 车辆及其语音护航方法、装置及存储介质
JP2007206522A (ja) 音声出力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767983

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019767983

Country of ref document: EP

Effective date: 20201014