WO2018083728A1 - 情報提示方法 - Google Patents

情報提示方法 Download PDF

Info

Publication number
WO2018083728A1
WO2018083728A1 PCT/JP2016/082429 JP2016082429W WO2018083728A1 WO 2018083728 A1 WO2018083728 A1 WO 2018083728A1 JP 2016082429 W JP2016082429 W JP 2016082429W WO 2018083728 A1 WO2018083728 A1 WO 2018083728A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
road sign
presentation
unit
Prior art date
Application number
PCT/JP2016/082429
Other languages
English (en)
French (fr)
Inventor
匠 佐藤
善彦 森
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/082429 priority Critical patent/WO2018083728A1/ja
Priority to CN201680090462.4A priority patent/CN109891471B/zh
Priority to US16/337,328 priority patent/US10891496B2/en
Priority to JP2018548478A priority patent/JP6482739B2/ja
Priority to DE112016007287.2T priority patent/DE112016007287B4/de
Publication of WO2018083728A1 publication Critical patent/WO2018083728A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Definitions

  • the present invention relates to a technique for notifying a vehicle occupant of information related to a road sign imaged by a camera.
  • Patent Document 1 has a problem that information on road signs cannot be presented in accordance with the driver's condition. For example, announcing excessive notification to drivers who have a high level of proficiency in road signs, or presenting only icon images of road signs, but because they were foreigners or novice drivers, to recognize the meaning of road signs There was a case that could not be. Thus, there has been a problem that it is difficult to present information on road signs to each driver without excess or deficiency.
  • This invention was made in order to solve the above-mentioned problems, and aims to present information on road signs without excess or deficiency in accordance with the state of the driver.
  • the communication unit receives the captured image of the road sign captured in the first vehicle and the information indicating the vehicle status of the first vehicle, and the sign recognition unit captures the image.
  • a step of recognizing a road sign included in the image and generating first road sign information, and a step of generating a first classification information with reference to information indicating a vehicle status of the first vehicle by the classification unit And a step of determining the presentation mode of the first road sign information based on the first road sign information and the first classification information, and the presentation control unit in the determined presentation mode
  • a step of performing control for presenting the first road sign information, a step of determining whether or not the sign compliance determination unit has traveled according to the road sign, the determination result, and the first Road sign information and first classification information The step of accumulating the first road sign information presentation mode in association with the first road sign information, and the imaging of the road sign taken by the communication unit in the second vehicle following the first vehicle in time series
  • the determination result associated with the set of the first road sign information and the first classification information indicates that the vehicle has not traveled according to the road sign, it is different from the presentation mode of the first road sign information.
  • a presentation mode of the second road sign information A step of constant, presentation control unit, at the determined presented embodiment, in which and a step of performing control for presenting the second road sign information.
  • road sign information can be presented without excess or deficiency in accordance with the state of the driver.
  • FIG. 3A and 3B are diagrams illustrating a hardware configuration example of an in-vehicle device that realizes the information presentation method according to the first embodiment.
  • 4A and 4B are diagrams illustrating a hardware configuration example of a server device that implements the information presentation method according to Embodiment 1.
  • FIG. 5 is a flowchart showing an operation of a road sign information presentation process of the information presentation system that realizes the information presentation method according to the first embodiment.
  • FIG. 6 is a flowchart illustrating an operation of a presentation mode determination unit of the server device that implements the information presentation method according to the first embodiment.
  • 5 is a flowchart showing a storage process of a compliance result of the information presentation system that realizes the information presentation method according to the first embodiment. It is a figure which shows an example of the presentation aspect set to the presentation aspect determination part of the server apparatus which implement
  • FIG. It is a figure which shows the storage example of the storage part of the server apparatus which implement
  • FIG. FIG. 10 is a block diagram showing a configuration of an information presentation system that realizes an information presentation method according to Embodiment 3.
  • FIG. 14 is a flowchart illustrating an operation of a road sign information presentation process of an information presentation system that realizes an information presentation method according to Embodiment 3. It is a block diagram which shows the structure of the information presentation system which implement
  • FIG. 14 is a flowchart illustrating an operation of a road sign information presentation process of an information presentation system that realizes an information presentation method according to Embodiment 4; FIG.
  • FIG. 10 is a block diagram showing a configuration of an information presentation system that realizes an information presentation method according to Embodiment 5. It is a figure which shows the example of accumulation
  • FIG. 10 is a flowchart illustrating an operation of a road sign information presentation process of an information presentation system that realizes an information presentation method according to Embodiment 5;
  • FIG. 1 is a block diagram illustrating a configuration of an information presentation system that realizes the information presentation method according to the first embodiment.
  • the information presentation system includes an in-vehicle device 100 and a server device 200.
  • the in-vehicle device 100 includes an imaging unit 101, a traveling state collection unit 102, a voice recognition unit 103, a control unit 104, a communication unit 105, a display 106 and a speaker 107.
  • the imaging unit 101 is configured with a camera or the like, for example, and images the front of the host vehicle on which the in-vehicle device 100 is mounted.
  • the traveling state collection unit 102 collects information indicating the traveling state of the host vehicle.
  • the traveling state collection unit 102 collects, for example, current position information, traveling speed, steering angle, steering wheel operation state, braking operation state, and the like of the host vehicle as information indicating the traveling state of the host vehicle.
  • the voice recognition unit 103 performs voice recognition processing of voice information such as a conversation of an occupant of the own vehicle collected by a microphone (not shown) or the like installed in the vehicle. It is assumed that the voice recognition process of the voice recognition unit 103 corresponds to a plurality of languages.
  • the voice recognition unit 103 may perform voice recognition processing on voice information of conversations of all passengers of the own vehicle, for example, only for voice information of conversations of passengers sitting in the driver's seat and passenger seat of the own vehicle.
  • the voice recognition process may be performed only for a limited occupant such as performing a voice recognition process.
  • the control unit 104 transmits the captured image acquired by the imaging unit 101, the information indicating the traveling state collected by the traveling state collection unit 102, and the voice recognition result of the voice recognition unit 103 to the server device 200 via the communication unit 105. Control. Further, the control unit 104 acquires control information transmitted from the server device 200 via the communication unit 105. The control unit 104 performs control to display information on the display 106 and control to output sound from the speaker 107 based on the acquired control information.
  • the communication unit 105 performs wireless communication with the communication unit 201 of the server device 200.
  • the display 106 displays and outputs information transmitted from the server device 200 based on a control instruction from the control unit 104.
  • the speaker 107 outputs the information transmitted from the server device 200 by voice based on the control instruction of the control unit 104.
  • the server device 200 includes a communication unit 201, a presentation control unit 202, a sign recognition unit 203, a classification unit 204, a presentation mode determination unit 205, a storage control unit 206, a sign compliance determination unit 207, and a storage unit 208.
  • the in-vehicle device 100 connected to the server device 200 is mounted on a plurality of vehicles.
  • a vehicle preceding in time series is referred to as a first vehicle
  • a vehicle following in time series from the first vehicle is referred to as a second vehicle. That is, the second vehicle is treated as the first vehicle in the next process.
  • the first vehicle and the second vehicle do not necessarily mean specific specific vehicles.
  • the second vehicle is a vehicle equipped with the in-vehicle device 100 that is a target for presenting road sign information in a certain presentation process.
  • the server apparatus 200 performs the same processing as a general rule for the first vehicle and the second vehicle.
  • the present invention confirms whether or not a vehicle situation that is the same as the current vehicle situation has existed before, and when the vehicle has not traveled according to the road sign information under the vehicle situation, the road is different from the previous one.
  • the sign information is presented. This will be described in detail below.
  • the communication unit 201 performs wireless communication with the communication unit 105 of the in-vehicle device 100.
  • the presentation control unit 202 outputs information indicating the captured image and the vehicle status transmitted from the in-vehicle device 100 to the sign recognition unit 203, the classification unit 204, and the presentation mode determination unit 205, and generates control for generating road sign information. I do.
  • the presentation control unit 202 performs control for outputting the generated road sign information to the in-vehicle device 100.
  • the sign recognition unit 203 analyzes the captured image input from the presentation control unit 202 and, when the captured image includes a road sign, recognizes the road sign and generates road sign information.
  • the sign recognition unit 203 outputs the generated road sign information to the presentation control unit 202.
  • the classification unit 204 refers to information indicating the vehicle situation input from the presentation control unit 202 and classifies the vehicle situation.
  • category part 204 classifies based on the information which shows a vehicle condition, and produces
  • the vehicle status is a scene specified by information indicating the vehicle status such as information indicating the driving status or occupant information.
  • classification information means the result of classifying this vehicle situation.
  • the classification information is information indicating whether the vehicle status of each vehicle is the same or not. Note that the same vehicle status means that the vehicle status is the same from a certain point of view.
  • the information indicating the traveling state is information such as traveling history information, current position information, traveling speed, vehicle operation information (handle steering angle, handle operation state, brake operation state, etc.).
  • the occupant information is information obtained from, for example, a device installed in the vehicle, and is information indicating, for example, the occupant's language, age, and sex.
  • the occupant information may also be acquired from the vehicle operation information.
  • the information indicating the driving skill level of the driver or the information indicating whether the driver is in a hurry is acquired from the vehicle operation information such as a lot of rapid acceleration / deceleration.
  • the travel history information is information used to determine whether the user has traveled according to the road sign.
  • the classification unit 204 outputs the classification information generated based on the information indicating the vehicle situation described above to the presentation control unit 202.
  • the presentation mode determination unit 205 refers to information accumulated in the accumulation unit 208 (details will be described later), and includes first road sign information that matches a set of second road sign information and second classification information. A set of first classification information is specified. The presentation mode determination unit 205 determines the presentation mode of the second road sign information with reference to the compliance result associated with the identified first set of road sign information and first classification information. Here, when the proportion of the first vehicle following the road sign is less than the threshold, the presentation mode determination unit 205 sets the second road sign information presentation mode as the first road sign information presentation mode. Change to a different presentation mode.
  • the presentation mode determination unit 205 adds the first classification information to the second vehicle that follows in time series If the same presentation mode is determined, the driver of the second vehicle may not follow the road sign in the same manner as the first vehicle due to carelessness. Therefore, the presentation mode determination unit 205 changes the second vehicle to a different presentation mode from the first vehicle.
  • the presentation control unit 202 displays the second road sign information generated by the sign recognition unit 203 and the presentation mode of the second road sign information determined by the presentation mode determination unit 205 via the communication unit 201. Send to.
  • the communication unit 201, the presentation control unit 202, the sign recognition unit 203, the classification unit 204, and the presentation mode determination unit 205 perform the same processing for the first vehicle. .
  • presentation results of the first road sign information, the first classification information, and the first road sign information corresponding to the first vehicle are obtained.
  • the accumulation control unit 206 captures the captured image of the imaging unit 101 of the in-vehicle device 100 of the first vehicle that presents the first road sign information and the traveling state (vehicle operation information, traveling history information, etc.) collected by the traveling state collection unit 102. ) Is output to the sign compliance determination unit 207, and control for accumulating road sign compliance results is performed.
  • the sign compliance determination unit 207 determines whether or not the first vehicle has traveled according to the road sign from the captured image and the information indicating the travel state.
  • the sign compliance determination unit 207 displays the determination result, the first classification information, the first road sign information presented when the determination result is obtained, and the presentation form of the first road sign information. And accumulated in the accumulation unit 208.
  • the sign compliance determination unit 207 may acquire the first road sign information and the presentation form of the first road sign information from the in-vehicle device 100 side or from the presentation control unit 202 of the server device 200. May be.
  • the accumulation unit 208 accumulates vehicle information.
  • FIG. 2 is a diagram illustrating an accumulation example of the accumulation unit 208 of the information presentation system that realizes the information presentation method according to the first embodiment.
  • the accumulation unit 208 accumulates information including, for example, classification information, presented road sign information, a road sign information presentation mode, a road sign compliance rate, and the like.
  • the classification information is “driver speaks language Y”
  • the presented road sign information is “pause”
  • the road sign information presentation mode is “road sign display on display”
  • the classification information is “driver speaks language Y”
  • the road sign information presented is “pause”
  • the road sign information presentation mode is “road sign display on display, voice from speaker” "Output”, indicating that the compliance rate of the road sign was "90%”.
  • No. 1 and No. 1 3 shows that when the driver speaks language Y, the road sign information can be effectively presented to the driver by displaying it on the display 106 and outputting the sound from the speaker 107. Yes.
  • the presentation mode determination unit 205 can effectively present the road sign information to the driver by referring to the compliance result as shown in FIG.
  • FIG. 3A and 3B are diagrams illustrating a hardware configuration example of the in-vehicle device 100 that realizes the information presentation method according to Embodiment 1.
  • FIG. The communication unit 105 in the in-vehicle device 100 is a transmission / reception device 110 that performs wireless communication between the in-vehicle device 100 and the server device 200.
  • the traveling state collection unit 102, the voice recognition unit 103, and the control unit 104 in the in-vehicle device 100 may be a processing circuit 120 that is dedicated hardware as shown in FIG. 3A or a memory as shown in FIG. 3B.
  • the processor 130 which executes the program stored in 140 may be sufficient.
  • the processing circuit 120 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel processor, A programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination thereof is applicable.
  • the functions of each part of the traveling state collection unit 102, the voice recognition unit 103, and the control unit 104 may be realized by a processing circuit, or the functions of each unit may be realized by a single processing circuit.
  • the traveling state collection unit 102, the voice recognition unit 103, and the control unit 104 are the processor 130, the function of each unit is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 140.
  • the processor 130 reads out and executes the program stored in the memory 140, thereby realizing the functions of the traveling state collection unit 102, the voice recognition unit 103, and the control unit 104.
  • the traveling state collection unit 102, the voice recognition unit 103, and the control unit 104 when executed by the processor 130, execute a program in which each step shown in FIGS.
  • a memory 140 is provided for storage.
  • the processor 130 is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the memory 140 may be, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), or an EEPROM (Electrically EPROM). Further, it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, CD (Compact Disc), or DVD (Digital Versatile Disc).
  • a part may be implement
  • the processing circuit 120 in the in-vehicle device 100 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 4A and 4B are diagrams illustrating a hardware configuration example of the server device 200 that realizes the information presentation method according to the first embodiment.
  • the communication unit 201 in the server device 200 is a transmission / reception device 210 that performs wireless communication between the in-vehicle device 100 and the server device 200.
  • the presentation control unit 202, the sign recognition unit 203, the classification unit 204, the presentation mode determination unit 205, the accumulation control unit 206, and the sign compliance determination unit 207 are processes that are dedicated hardware as shown in FIG. 4A. It may be a circuit 220 or a processor 230 that executes a program stored in the memory 240 as shown in FIG. 4B.
  • the processing circuit 220 when the processing circuit 220 is dedicated hardware, the processing circuit 220 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or the like. This is a combination.
  • the processing circuit 220 when the processing circuit 220 is a processor 230, the function of the processing circuit 220 is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 240.
  • the processor 230 implements the function of the processing circuit 220 by reading and executing the program stored in the memory 240. That is, the processing circuit 220 includes a memory 240 for storing a program that, when executed by the processor 230, results in each step shown in FIGS. .
  • These programs can also be said to cause a computer to execute the procedure or method of the processing circuit 220.
  • processing circuit 220 may be realized by dedicated hardware, and part of it may be realized by software or firmware.
  • the processing circuit 220 in the server device 200 can realize the functions described above by hardware, software, firmware, or a combination thereof.
  • FIG. 5 is a flowchart showing the operation of the road sign information presentation process of the information presentation system for realizing the information presentation method according to the first embodiment. Since the process of presenting the sign information to the in-vehicle device 100 of the first vehicle is common to the case of the second vehicle, the process of presenting the sign information to the in-vehicle apparatus 100 of the second vehicle will be described below as an example.
  • the imaging unit 101 of the in-vehicle device 100 mounted on the second vehicle always acquires a captured image
  • the traveling state collection unit 102 always collects information indicating the traveling state of the host vehicle
  • the voice recognition unit A description will be given assuming that 103 always collects a conversation in the vehicle of the own vehicle and acquires a voice recognition result.
  • the control unit 104 of the in-vehicle device 100 acquires the voice recognition result of the voice recognition unit 103 as captured image of the imaging unit 101, information indicating the driving status of the driving status collection unit 102, and occupant information, and via the communication unit 105. It transmits to the server apparatus 200 (step ST1).
  • the communication unit 201 of the server device 200 receives the captured image and the voice recognition result transmitted from the in-vehicle device 100 and outputs them to the presentation control unit 202 (step ST2).
  • the presentation control unit 202 outputs the captured image input in step ST2 to the sign recognition unit 203, and outputs the voice recognition result to the classification unit 204 (step ST3).
  • the sign recognition unit 203 analyzes the captured image input in step ST3 and determines whether or not a road sign is included in the captured image (step ST4). When the road sign is not included (step ST4; NO), the flow returns to the process of step ST1.
  • step ST5 if a road sign is included (step ST4; YES), the sign recognition unit 203 recognizes the road sign and generates second road sign information (step ST5).
  • the second road sign information generated by the sign recognition unit 203 is an image showing a road sign, information showing a traffic rule meant by the road sign, and the like.
  • the sign recognition unit 203 notifies the presentation control unit 202 of the second road sign information generated in step ST5 (step ST6).
  • the classification unit 204 classifies the vehicle situation based on the voice recognition result input in step ST3, and generates second classification information (step ST7).
  • the classification unit 204 specifies a language used by the occupant for conversation and generates language information.
  • the language information generated by the classification unit 204 is information indicating a language used by the vehicle occupant for conversation.
  • the classification unit 204 notifies the presentation control unit 202 of the second classification information generated in step ST8 (step ST8).
  • the process of step ST7 and step ST8 may be a process implemented in parallel with the process of step ST4 to step ST6.
  • the presentation control unit 202 outputs the second road sign information notified from the sign recognition unit 203 and the second classification information notified from the classification unit 204 to the presentation mode determination unit 205 to output the second road
  • An instruction to determine the presentation mode of the sign information is given (step ST9).
  • the presentation mode determination unit 205 refers to the storage unit 208 and matches the first road sign information and the first classification that match the set of the second road sign information and the second classification information input from the presentation control unit 202.
  • a set of classification information is specified (step ST10).
  • the presentation mode determination unit 205 refers to the storage unit 208 and acquires a compliance result associated with the identified first set of road sign information and first classification information (step ST11).
  • the presentation mode determination unit 205 presents the compliance result when the first road sign information is presented to the driver of the first vehicle having a conversation in the language indicated in the language information input from the presentation control unit 202. Is acquired from the storage unit 208.
  • the presentation mode determination unit 205 determines the presentation mode of the second road sign information input from the presentation control unit 202 based on the compliance result acquired in step ST11 (step ST12). The presentation mode determination unit 205 notifies the presentation control unit 202 of the determined presentation mode (step ST13).
  • the presentation control unit 202 transmits control information for presenting the second road sign information to the in-vehicle device 100 via the communication unit 201 in the presentation mode determined by the presentation mode determination unit 205 (step ST14).
  • the communication unit 105 of the in-vehicle device 100 receives the control information transmitted from the server device 200 and outputs it to the control unit 104 (step ST15).
  • control unit 104 Based on the control information input in step ST15, control unit 104 performs processing for presenting the second road sign information to the driver via display 106 or display 106 and speaker 107 (step ST16). Thereafter, the flowchart returns to the process of step ST1 and repeats the process described above.
  • FIG. 6 is a flowchart showing the operation of the presentation mode determination unit 205 of the server device 200 of the information presentation system that implements the information presentation method according to the first embodiment.
  • the classification information is language information.
  • the presentation mode determination unit 205 refers to the compliance result accumulated in the accumulation unit 208, presents the same road sign information as the second road sign information input from the presentation control unit 202, and from the presentation control unit 202 It is determined whether or not there is a set of first road sign information and first classification information uttered in the same language as the language indicated in the input second classification information (language information) ( Step ST21).
  • the presentation mode determination unit 205 When the combination of the first road sign information and the first classification information exists (step ST21; YES), the presentation mode determination unit 205 is associated with the combination of the first road sign information and the first classification information.
  • the compliance result obtained is acquired (step ST22).
  • the presentation mode determination unit 205 refers to the compliance rate of the road sign of the acquired compliance result, and determines whether or not there is a compliance result having a compliance rate equal to or higher than the threshold (step ST23).
  • the presentation mode determination unit 205 selects the easiest presentation mode from among the presentation modes of road sign information of the compliance result with a compliance rate equal to or higher than the threshold. (Step ST24).
  • the presentation mode determination unit 205 determines whether the presentation mode is easy based on, for example, the number of output destination devices.
  • the presentation mode determination unit 205 has a presentation mode (number of devices: 1) only for display on the display 106 and a presentation mode (number of devices: 2) of display on the display 106 and audio output to the speaker 107. In this case, the presentation mode determination unit 205 determines that only the display on the display 106 is the easier presentation mode.
  • the presentation mode determination unit 205 further selects a presentation mode that is most emphasized among the presentation modes of the compliance results that present the same road sign information. The highlighted presentation mode is selected (step ST25).
  • the presentation mode determination unit 205 selects a predetermined presentation mode (step ST26).
  • the presentation mode determination unit 205 determines the presentation mode selected in step ST24, step ST25, or step ST26 as a presentation mode for presenting the second road sign information (step ST27). Thereafter, the flowchart proceeds to step ST13 of the flowchart of FIG.
  • FIG. 7 is a flowchart showing a compliance result accumulation process of the information presentation system that realizes the information presentation method according to the first embodiment.
  • a description will be given by taking as an example a process in which the in-vehicle device 100 is mounted and the first vehicle on which the first road sign information is presented travels while complying with the road sign information.
  • the control unit 104 of the in-vehicle device 100 acquires information indicating the traveling state of the traveling state collecting unit 102 and transmits the information to the server device 200 via the communication unit 105 (step ST31).
  • the process of step ST31 is performed after the first road sign information is presented in the in-vehicle device 100, and the control unit 104 travels the host vehicle for a predetermined period after presenting the first road sign information.
  • Send status information is a period that can be set as appropriate.
  • the control unit 104 obtains information indicating the driving situation after 0 seconds and for 15 seconds after performing control for presenting the first road sign information.
  • the communication unit 201 of the server device 200 receives the information indicating the travel status of the first vehicle transmitted from the in-vehicle device 100, and outputs the received information indicating the travel status to the accumulation control unit 206 (step ST32).
  • the accumulation control unit 206 receives first classification information and first road sign information immediately before the first vehicle corresponding to the in-vehicle device 100.
  • the presentation mode of the 1st road sign information is acquired from presentation control part 202 (Step ST33).
  • the accumulation control unit 206 associates the information acquired in step ST33 with the information indicating the traveling state and outputs the information to the sign compliance determination unit 207, and instructs to determine whether or not the traveling complying with the road sign has been performed. (Step ST34).
  • the sign compliance determination unit 207 compares the traveling state of the first vehicle with the first road sign information presented to the driver, and determines whether or not the traveling according to the road sign has been performed (step ST35).
  • the sign compliance determination unit 207 refers to the determination result of step ST35 and the past compliance results stored in the storage unit 208, and calculates a road sign compliance rate (step ST36).
  • the sign compliance determination unit 207 accumulates the compliance rate calculated in step ST36, the first classification information, the first road sign information, and the presentation form of the first road sign information in the accumulation unit 208 as a compliance result. (Step ST37).
  • step ST37 only the update of the adherence rate is performed when the adherence rate is already accumulated in the accumulation unit 208 with the same classification information and the same road sign information presented in the same presentation mode. I do.
  • the storage unit 208 does not store the same classification information, the same road sign information, or the same road sign information presentation mode information, a new compliance result is created. Thereafter, the flowchart returns to the process of step ST31 and repeats the same process.
  • the second vehicle A is traveling in the country x having the language X as the official language, passes in front of the “pause” road sign, and the sign recognition unit 203 indicates “pause”. It is assumed that road sign information is generated. Further, a driver who speaks the language Y and a passenger who speaks the language Y board the second vehicle A, and the classification unit 204 includes second classification information which is language information indicating that the driver speaks the Y language. It is assumed that it is generated. Further, it is assumed that the compliance result shown in FIG. In addition, it is assumed that the threshold value of the compliance rate when determining the presentation mode of the second road sign information is set to 75% or more in the presentation mode determination unit 205.
  • step ST21 of the flowchart of FIG. 6 the presentation mode determination unit 205 stores first classification information indicating that the driver speaks in the language Y from the storage unit 208 that stores the compliance results shown in FIG. It is determined that there is a first set of road sign information (information from No. 1 to No. 3) indicating “stop” (step ST21; YES).
  • step ST ⁇ b> 22 the presentation mode determination unit 205 performs No. 1 to No. 3. Obtain the compliance result of 3.
  • step ST23 the presentation mode determination unit 205 determines that there is a compliance result (information of No. 2 and No. 3) having a compliance rate of 75% or more (step ST23; YES).
  • step ST24 the presentation mode determination unit 205 determines that No. No. 2 information presentation mode, No. 2 3 is compared with the presentation mode of information No. 3 and the presentation mode is only the display 106. The information presentation mode of 2 is selected.
  • step ST27 the presentation mode determination unit 205 performs No.
  • the display mode of the road sign information of the second information “character description display in road sign and language Y on the display”, is determined as the presentation mode for presenting the second road sign information.
  • step ST23 when there is no compliance result with the compliance rate equal to or greater than the threshold among the information acquired in step ST22, the presentation mode determination unit 205 emphasizes one-stage presentation from the presentation mode with the highest compliance rate.
  • This mode is determined as a presentation mode for presenting the second road sign information.
  • the threshold value of the compliance rate when determining the presentation mode is set to 95% or more in the presentation mode determination unit 205, in the example of FIG. 1 to No.
  • the compliance rate of the road sign is less than 95%, and there is no compliance result with the compliance rate equal to or higher than the threshold value.
  • the presentation mode determination unit 205 determines whether the No. 1 to No. No. 3 in which the compliance rate is 90%, which is the highest.
  • the presentation mode “Road sign display on the display and voice and caution information output from the speaker in language Y” is further emphasized from the information presentation mode 3 “Road sign display on the display and voice output in language Y from the speaker”.
  • the presentation mode for presenting the second road sign information is determined. In the presentation mode determination unit 205, it is assumed that a presentation mode for presenting road sign information is set for each strength of presentation.
  • FIG. 8 is a diagram illustrating an example of a presentation mode set in the presentation mode determination unit 205 of the server device 200 that implements the information presentation method according to the first embodiment.
  • “present road sign on display” is set as the presentation mode of level 1 road sign information.
  • “Road sign and text explanation presentation on display” is set as the presentation mode of the level 2 road sign information.
  • “presentation of road sign on display, output of sound from speaker” is set as a presentation mode of road sign information of level 3.
  • “Road sign presentation on the display, voice and caution information output from speaker” is set as the presentation mode of the level 4 road sign information.
  • “Road sign presentation on the display, voice and warning sound output from speaker” is set as the level 5 road sign information presentation mode.
  • “Attention information output” shown in the level 4 road sign information presentation mode will be described.
  • a road sign is presented on a display, and voice and caution information are output from a speaker.
  • voice and caution information are output from a speaker.
  • a road sign in country y meaning “temporary stop prohibition” that is very similar to a road sign meaning “pause” in country x.
  • warning information for alerting the user of the mistake is output in the language Y.
  • the communication unit 201 receives the captured image of the road sign imaged in the first vehicle and the information indicating the vehicle status of the first vehicle;
  • the sign recognition unit 203 recognizes a road sign included in the captured image and generates first road sign information, and the classification unit 204 refers to information indicating the vehicle status of the first vehicle.
  • a step of generating one classification information a step in which the presentation mode determination unit 205 determines a presentation mode of the first road sign information based on the first road sign information and the first classification information, and presentation control
  • the step of the classification unit 204 generating the second classification information with reference to the information indicating the vehicle status of the second vehicle, and the presentation mode determination unit 205
  • the determination result associated with the set of the first road sign information and the first classification information that matches the set of the second road sign information and the second classification information does not travel according to the road sign.
  • the first road sign information A step of determining a presentation mode different from the presentation mode as a presentation mode of the second road sign information, and a step of controlling the presentation control unit 202 to present the second road sign information in the determined presentation mode; Therefore, the information indicating the traffic rules meant by the road sign can be presented to the driver in an effective presentation mode.
  • driving assistance can be provided to a driver who does not know what the road sign means or a driver who has overlooked the road sign.
  • the communication part 201 is provided with the step which receives the audio
  • category part 204 identifies the language used by the occupant of the first vehicle or the second vehicle for the conversation with reference to the received voice recognition result, and the vehicle of the first vehicle or the second vehicle based on the identified language.
  • the step of classifying the situation and generating the first classification information or the second classification information is provided, and when the traveling according to the road sign has not been performed in the past, the presentation mode determination unit 205 is specified.
  • the system includes a step of determining a presentation mode for presenting road sign information in different languages.
  • the classification unit 204 of the server device 200 is configured to specify the language used by the vehicle occupant for the conversation.
  • the vehicle occupant specifies the language used by the vehicle occupant for the conversation on the in-vehicle device 100 side. May be. In that case, the in-vehicle device 100 transmits the specified language to the server device 200.
  • Embodiment 2 a configuration is shown in which the classification unit 204 generates conversation information as classification information. Since the information presentation system according to the second embodiment has the same configuration as the information presentation system according to the first embodiment shown in FIG. 1, description of the block diagram is omitted.
  • the classification unit 204 classifies the vehicle situation based on the information indicating the vehicle situation as in the first embodiment. In the second embodiment, the classification unit 204 generates conversation information indicating the presence / absence of conversation in the second vehicle as the second classification information.
  • the classification unit 204 outputs the generated second classification information, that is, second conversation information to the presentation control unit 202.
  • the classification unit 204 recognizes the presence or absence of a conversation in the vehicle by analyzing a voice recognition result in the information indicating the vehicle status.
  • the classification unit 204 classifies the situation in the vehicle as “conversation” or “no conversation”, and generates second classification information. Further, the classification unit 204 may recognize the situation of the conversation, such as recognizing the frequency of the conversation, without limiting the classification of the situation in the vehicle to “with conversation” and “without conversation”. When the classifying unit 204 recognizes the conversation frequency, the classifying unit 204 finely classifies the conversation state according to the recognized conversation frequency.
  • the presentation mode determination unit 205 refers to the information stored in the storage unit 208, and matches the pair of the second road sign information and the second classification information (second conversation information). And a set of first classification information (first conversation information).
  • the presentation mode determination unit 205 refers to the compliance result associated with the identified first set of road sign information and first classification information (first conversation information), and presents the second road sign information. To decide.
  • the accumulation unit 208 accumulates information including, for example, classification information, presented road sign information, a road sign information presentation mode, a compliance rate of road sign information, and the like.
  • FIG. 9 is a diagram illustrating an accumulation example of the accumulation unit 208 of the server apparatus 200 that implements the information presentation method according to the second embodiment.
  • the accumulation unit 208 accumulates information including, for example, classification information, presented road sign information, a road sign information presentation mode, a road sign compliance rate, and the like.
  • the classification information is “no conversation”
  • the presented road sign information is “pause”
  • the presentation form of the road sign information is “road sign display on the display”
  • the road sign compliance rate is It shows that it was “95%”.
  • the classification information is “conversation”
  • the presented road sign information is “pause”
  • the presentation form of the road sign information is “display road sign on the display”
  • the compliance rate of the road sign is It shows that it was “75%”.
  • the classification information is “conversation”
  • the presented road sign information is “pause”
  • the presentation form of the road sign information is “road sign display on display, voice output in language Y from speaker” It shows that the compliance rate of the road sign was “90%”.
  • the classification unit 204 classifies as “conversation”, the driver's attention is often distracted, and a road sign is displayed on the display 106 and further, the road sign information from the speaker 107 is output as voice. Thus, the road sign information can be effectively presented to the driver.
  • the classification unit 204 classifies “no conversation”, the driver is often concentrated on driving, and the road sign is effectively displayed to the driver only by displaying the road sign on the display 106. Can be presented.
  • step ST7 of the flowchart of FIG. 5 the classification unit 204 recognizes whether or not there is a conversation in the vehicle of the second vehicle, and generates second classification information (conversation information).
  • step ST10 the presentation mode determination unit 205 refers to the storage unit 208 and matches the set of the second road sign information and the second classification information (conversation information) input from the presentation control unit 202. A set of first road sign information and first classification information is specified.
  • the presentation mode determination unit 205 refers to the storage unit 208 and acquires a compliance result associated with the identified set of the first road sign information and the first classification information. Specifically, the presentation mode determination unit 205 acquires from the storage unit 208 the result of compliance when the first road sign information is presented to the driver of the first vehicle having a conversation.
  • step ST21 of the flowchart of FIG. 6 the presentation mode determination unit 205 refers to the compliance result accumulated in the accumulation unit 208 and presents the same road sign information as the second road sign information input from the presentation control unit 202. And determining whether there is a set of first road sign information and first classification information that is the same conversation information as the second classification information (conversation information) input from the presentation control unit 202 Do.
  • the accumulation process of the compliance result of the information presentation system that realizes the information presentation method according to the second embodiment is the same as the flowchart shown in FIG. 7 of the first embodiment.
  • the accumulation control unit 206 includes first classification information, first road sign information, and first road sign that are conversation information immediately before the first vehicle corresponding to the in-vehicle device 100.
  • An information presentation mode is acquired from the presentation control unit 202.
  • the classification unit 204 recognizes and recognizes the conversation situation of the occupant of the first vehicle or the second vehicle with reference to the received voice recognition result. Since it is configured to classify the vehicle situation of the first vehicle or the second vehicle based on the situation of the conversation and generate the first classification information or the second classification information, the situation of the conversation in the vehicle Accordingly, road sign information can be effectively presented to the driver.
  • FIG. 10 is a block diagram illustrating a configuration of an information presentation system that realizes the information presentation method according to the third embodiment.
  • the server device 200a of the third embodiment is provided with a reaction information storage unit 209 in addition to the server device 200 shown in the first embodiment.
  • a presentation control unit 202a, a presentation mode determination unit 205a, and a storage control unit 206a are provided instead of the presentation control unit 202a, a presentation mode determination unit 205a, and a storage control unit 206a are provided. It is composed.
  • the same or corresponding parts as the components of the information presentation system according to the first embodiment are denoted by the same reference numerals as those used in the first embodiment, and the description thereof is omitted or simplified.
  • the accumulation control unit 206a performs the following processing in addition to the processing described in the first embodiment.
  • the accumulation control unit 206a acquires the voice recognition result transmitted from the in-vehicle device 100 via the communication unit 201.
  • the accumulation control unit 206a extracts a voice recognition result indicating driver discomfort from the acquired voice recognition result.
  • the accumulation control unit 206a extracts, for example, a word indicating a phrase such as “noisy”, a sound of a tongue hitting, and the like as a voice recognition result indicating driver discomfort.
  • the accumulation control unit 206a displays, from the presentation control unit 202a, the first road sign information presented when the voice recognition result indicating the driver's discomfort is extracted and the presentation mode of the first road sign information. It is acquired and stored in the reaction information storage unit 209 as reaction information.
  • the accumulation control unit 206a accumulates reaction information indicating that the driver is uncomfortable when the same road sign information is presented in the same presentation mode as information indicating the unpleasantness of the driver in the reaction information accumulation unit 209. If so, only the rate at which the driver feels uncomfortable is updated. On the other hand, when the same road sign information is presented in the reaction information accumulating unit 209 in the same presentation mode, when the reaction information indicating that the driver is uncomfortable is not accumulated, new reaction information is created. .
  • the accumulation control unit 206a may integrate the reaction information of a plurality of vehicles and accumulate them in the reaction information accumulation unit 209, or manage the reaction information for each vehicle for each vehicle and accumulate it in the reaction information accumulation unit 209. Also good.
  • FIG. 11A is a diagram illustrating an accumulation example of the reaction information accumulation unit 209 of the server device 200a that implements the information presentation method according to the third embodiment.
  • the reaction information accumulation unit 209 accumulates, for example, the presented road sign information, the presentation mode (presentation level) of the road sign information when the driver shows discomfort, and the proportion of discomfort.
  • the percentage that the driver showed discomfort was “30%”. Is shown.
  • the presentation mode determination unit 205a presents the second road sign information with reference to the storage unit 208 based on the second road sign information and the second classification information of the second vehicle as in the first embodiment. Determine aspects. Furthermore, when the presentation mode determination unit 205a refers to the reaction information storage unit 209 and presents the same road sign information as the second road sign information in the same presentation mode as the second road sign information, the driver If the ratio of the feeling of discomfort is equal to or higher than a preset threshold value (for example, 30% or higher), a process of lowering the level of the determined second road sign information presentation mode is performed.
  • a preset threshold value for example, 30% or higher
  • the presentation mode determination unit 205a performs level 3 To a presentation mode of level 2 or a process of lowering to a level 2 presentation mode.
  • level 3 As the level of presentation increases, output of caution information or warning sound or blinking display of the display is added, and the road sign information to be presented is easily transmitted to the driver, but it is an excessive presentation mode depending on the person. You may feel that.
  • the reaction information accumulating unit 209 By accumulating the driver's reaction in the reaction information accumulating unit 209, it is possible to suppress the repetition of the presentation mode that the driver previously felt as an excessive presentation mode.
  • the driver's reaction may be accumulated for each vehicle.
  • the accumulation control unit 206a presents the first road sign information and the first road sign information presented when the voice recognition result indicating the driver's discomfort is extracted. May be stored in the reaction information storage unit 209 with information identifying the first vehicle.
  • the information specifying the first vehicle is a vehicle ID number transmitted from the in-vehicle device 100 side.
  • the in-vehicle device 100 transmits the speech recognition result to the server device 200
  • the in-vehicle device 100 transmits the speech recognition result with the ID number.
  • FIG. 11B shows an example when the reaction information for each vehicle is stored in the reaction information storage unit 209.
  • FIG. 11B is a diagram illustrating an accumulation example of the reaction information accumulation unit 209 of the server device 200a that realizes the information presentation method according to Embodiment 3, and illustrates a case where reaction information is accumulated for each vehicle.
  • the reaction information accumulation unit 209 accumulates, for example, the vehicle ID, the presented road sign information, and the presentation mode (presentation level) of the road sign information when the driver shows discomfort.
  • the vehicle sign “1011” has the road sign information of “pause” “the road sign is displayed on the display and the sound is output from the speaker”, the driver showed discomfort. Is shown.
  • the presentation mode determination unit 205a refers to the storage unit 208 based on the second road sign information and the second classification information of the second vehicle as in the first embodiment. Then, the presentation mode of the second road sign information is determined. Furthermore, the presentation mode determination unit 205a performs a search in the reaction information storage unit 209 with reference to the information specifying the second vehicle transmitted from the in-vehicle device 100 side. When the presentation mode determination unit 205a presents the same road sign information as the second road sign information to the reaction information accumulation unit 209 in the same presentation mode as the second road sign information for the second vehicle. If information indicating unpleasantness is accumulated, a process of lowering the level of the determined second road sign information presentation mode is performed.
  • FIGS. 4A and 4B described in the first embodiment, and thus illustration is omitted.
  • the presentation control unit 202a, the presentation mode determination unit 205a, and the accumulation control unit 206a of the server device 200a are the same as the functions of the presentation control unit 202, the presentation mode determination unit 205, and the accumulation control unit 206 described in the first embodiment. is there.
  • FIG. 12 is a flowchart showing the operation of the road sign information presentation process of the information presentation system for realizing the information presentation method according to the third embodiment.
  • FIG. 12 shows a case where the reaction information accumulation unit 209 accumulates the information shown in FIG. 11A and determines the presentation mode of the second road sign information according to the ratio at which the driver shows discomfort.
  • the same reference numerals as those used in FIG. 5 are attached to the same steps as those of the in-vehicle device 100 and the server device 200 according to the first embodiment, and the description thereof will be omitted or simplified.
  • the presentation mode determination unit 205a determines the presentation mode of the second road sign information in step ST12
  • the presentation mode determination unit 205a refers to the reaction information accumulation unit 209 and generates the presentation mode specified in step ST12 in step ST5.
  • a search is performed as to whether or not the driver has shown discomfort (step ST41).
  • the presentation mode determination unit 205a determines whether or not the ratio of the driver showing discomfort is equal to or greater than a preset threshold ( Step ST42).
  • step ST42 When the rate at which the driver shows discomfort is equal to or greater than a preset threshold (step ST42; YES), the presentation mode determination unit 205a decreases the level of the second road sign information presentation mode determined in step ST12. Processing is performed (step ST43). Thereafter, the flowchart proceeds to step ST13.
  • step ST41; NO when the driver has never shown discomfort (step ST41; NO), or when the ratio of the driver showing discomfort is less than the threshold (step ST42; NO), the process proceeds to step ST13. .
  • the communication unit 201 receives the voice recognition result obtained by recognizing the voice in the first vehicle when the road sign information is presented, and the accumulation control unit. 206a extracts, from the received voice recognition result, a step of extracting the voice recognition result that the driver of the first vehicle showed discomfort, the extracted voice recognition result, and the presented first road sign information; Generating and storing reaction information in association with the presentation mode of the first road sign information, and the driver is uncomfortable when the first road sign information has been presented in the past
  • the presentation mode determination unit 205a is configured to include a step of reducing the strength of presenting the second road sign information, so that the driver has shown discomfort in the presentation of the road sign information in the past. If you have It can be prevented from presenting road sign information presentation aspect.
  • the presentation control unit 202a, the presentation mode determination unit 205a, and the reaction information storage unit 209 are applied to the server device 200 described in the first embodiment.
  • the configuration may be applied to the server device 200 shown in FIG.
  • FIG. 13 is a block diagram illustrating a configuration of an information presentation system that realizes the information presentation method according to the fourth embodiment.
  • the in-vehicle device 100b according to the fourth embodiment includes an occupant imaging unit 108 instead of the voice recognition unit 103 of the in-vehicle device 100 shown in the first embodiment.
  • the in-vehicle device 100b includes a head up display (HUD) 109.
  • HUD head up display
  • the server device 200b of the fourth embodiment is replaced with the presentation control unit 202b, the classification unit, and the presentation control unit 202, the classification unit 204, the presentation mode determination unit 205, and the storage unit 208 of the server device 200 shown in the first embodiment. 204b, a presentation mode determination unit 205b, and a storage unit 208b.
  • the same or corresponding parts as the components of the information presentation system according to the first embodiment are denoted by the same reference numerals as those used in the first embodiment, and the description thereof is omitted or simplified.
  • the occupant imaging unit 108 images the driver of the host vehicle equipped with the in-vehicle device 100b.
  • the occupant imaging unit 108 detects the situation of the driver from the captured image of the driver.
  • the driver status detected by the occupant imaging unit 108 is, for example, the driver's line-of-sight direction, the driver's face direction, and the like.
  • the head-up display 109 presents the second road sign information transmitted from the server device 200b in the designated presentation mode.
  • the in-vehicle device 100b includes a head-up display 109 in addition to the display 106, and includes a plurality of displays.
  • the display 106 is, for example, a main display of a navigation device.
  • the head-up display 109 is realized, for example, by reflecting an image on a windshield and projecting it, and is a display capable of recognizing information provided together with the actual scenery during traveling.
  • the control unit 104 performs control to switch the output destination of the second road sign information on the head-up display 109 or the display 106 based on the control information transmitted from the server device 200b.
  • the presentation control unit 202b of the server device 200b receives, via the communication unit 201, information indicating the captured image captured by the imaging unit 101 from the in-vehicle device 100b side and the driver status detected by the occupant imaging unit 108, as vehicle status. Is acquired as information indicating.
  • the presentation control unit 202b performs control for generating second road sign information based on the acquired information, and performs control for presenting the generated second road sign information to the in-vehicle device 100b.
  • the classification unit 204b refers to the information indicating the driver's situation input from the presentation control unit 202, and classifies the vehicle situation.
  • category part 204b specifies a driver
  • the classification unit 204b outputs the generated second classification information, that is, second visual information to the presentation control unit 202b.
  • the presentation mode determination unit 205b refers to the compliance result indicating whether the traveling according to the road sign was performed in the past accumulated in the accumulation unit 208b, and the second road sign information input from the presentation control unit 202 and the second road sign information.
  • the presentation mode of the second road sign information is determined. Specifically, the presentation mode determination unit 205b generates the second road generated by the sign recognition unit 203 to the driver who is viewing the viewing direction indicated by the second viewing information that is the second classification information. Obtain past compliance results when presenting the same road sign information as the sign information. The presentation mode determination unit 205b determines the presentation mode of the second road sign information based on the acquired past compliance results.
  • the storage unit 208b stores the compliance result acquired from the first vehicle, the first road sign information, and the presentation mode of the first road sign information, as in the first embodiment.
  • FIG. 14 is a diagram illustrating an accumulation example of the accumulation unit 208b of the server apparatus 200b that implements the information presentation method according to the fourth embodiment.
  • the storage unit 208b stores information including classification information, presented road sign information, a road sign information presentation mode, a road sign compliance rate, and the like, as in the first embodiment.
  • Driver's visual information is accumulated as classification information.
  • the classification information is “view forward in front of vehicle, left side with respect to traveling direction”, the presented road sign information is “pause”, and the presentation mode of the road sign information is “road sign display on main display” ”, Indicating that the road sign compliance rate was“ 80% ”.
  • the classification information is “visually in front of the vehicle, the left side is viewed with respect to the traveling direction”, the presented road sign information is “pause”, and the presentation form of the road sign information is “position in the visual recognition direction "Display on display”, indicating that the road compliance rate was "90%”.
  • the presentation mode determination unit 205b determines the presentation mode of the second road sign information based on the information of No. 2
  • the control unit 104 of the in-vehicle device 100b displays the first display on the head-up display 109 positioned in the driver's viewing direction. It is possible to control the display of the second road sign information.
  • the presentation mode determination unit 205b can effectively present road sign information to the driver by referring to the storage unit 208b based on the driver's visual information as shown in FIG.
  • the control unit 104 of the in-vehicle device 100b can be set as appropriate, for example, by outputting sound of road sign information through the speaker 107.
  • the information presentation system can present road sign information according to the driver's visual recognition information.
  • FIG. 3A and FIG. 3B which were shown in Embodiment 1, illustration is abbreviate
  • a diagram illustrating a hardware configuration example of the server apparatus 200b is the same as FIGS. 4A and 4B described in the first embodiment, and thus illustration is omitted.
  • the passenger imaging unit 108 of the in-vehicle device 100b has the same function as the imaging unit 101, and the head-up display 109 has the same function as the display 106.
  • the presentation control unit 202b, the classification unit 204b, and the presentation mode determination unit 205b of the server device 200b have the same functions as the presentation control unit 202, the classification unit 204, and the presentation mode determination unit 205 described in the first embodiment.
  • FIG. 15 is a flowchart showing the operation of the road sign information presentation process of the information presentation system for realizing the information presentation method according to the fourth embodiment.
  • the control unit 104 of the in-vehicle device 100b acquires a captured image of the imaging unit 101 and information indicating a driver's situation detected by the occupant imaging unit 108, and transmits the information to the server device 200 via the communication unit 105 (step ST51). .
  • the communication unit 201 of the server device 200 receives the captured image transmitted from the in-vehicle device 100b and information indicating the driver's situation, and outputs the information to the presentation control unit 202b (step ST52).
  • the presentation control unit 202b outputs the captured image input in step ST52 to the sign recognition unit 203, and outputs information indicating the driver's situation to the classification unit 204b (step ST53). Thereafter, the processing from step ST4 to step ST6 is performed.
  • the classification unit 204b classifies the vehicle situation with reference to the information indicating the driver situation input in step ST53, and generates second classification information (step ST54). Specifically, the classification unit 204b specifies the driver's viewing direction, and generates second visual information (hereinafter referred to as second classification information (visual information)) as the second classification information.
  • the classification unit 204 notifies the presentation control unit 202b of the second classification information generated in step ST54 (step ST8).
  • the process of step ST54 and step ST8 may be a process implemented in parallel with the process of step ST4 to step ST6.
  • the presentation control unit 202b outputs the second road sign information notified from the sign recognition unit 203 and the second classification information notified from the classification unit 204b to the presentation mode determination unit 205b to output the second road
  • An instruction to determine the presentation mode of the sign information is given (step ST9).
  • the presentation mode determination unit 205b refers to the storage unit 208b, and matches the first road sign information and the first classification information set that match the set of the second road sign information and the second classification information input from the presentation control unit 202b.
  • a set of classification information is specified (step ST10).
  • the presentation mode determination unit 205b refers to the storage unit 208b, and obtains a compliance result associated with the identified set of the first road sign information and the first classification information (step ST11).
  • the presentation mode determination unit 205b provides the compliance result when the first road sign information is presented to the driver of the first vehicle who visually recognizes the viewing direction indicated by the viewing information input from the presentation control unit 202b. Is acquired from the storage unit 208b.
  • step ST15 the processing from step ST12 to step ST15 is performed.
  • the control unit 104 of the in-vehicle device 100b Based on the control information, the control unit 104 of the in-vehicle device 100b performs a process of presenting the second road sign information to the driver via at least one of the display 106, the head-up display 109, and the speaker 107 (step ST55). Thereafter, the flowchart returns to the process of step ST51 and repeats the above-described process.
  • step ST21 in the flowchart of FIG. 6 the presentation mode determination unit 205 refers to the compliance result stored in the storage unit 208b, and inputs the second road sign information and the second classification information (from the presentation control unit 202b). It is determined whether or not there is a set of first road sign information and first classification information that matches a set of (viewing information).
  • the accumulation process of the compliance result of the information presentation method according to the fourth embodiment is the same as the flowchart shown in FIG. 7 of the first embodiment.
  • the accumulation control unit 206 includes first classification information, first road sign information, and first road sign that are visual information immediately before the first vehicle corresponding to the in-vehicle device 100.
  • the presentation mode of information is acquired from the presentation control unit 202b.
  • the occupant imaging unit 108 may determine whether the driver is driving aside from the detected driver's face orientation. When it is determined that the driver is driving aside, the occupant imaging unit 108 adds information indicating that the driver is performing a sideward driving as the driver's situation. When the information indicating that the driver is performing the aside driving is added to the information indicating the driver's situation, the classification unit 204b is also the aside driving for the generated second classification information (visual information). Is described.
  • the presentation mode determination unit 205b does not determine the presentation mode to be displayed on the display located in the visual recognition direction when the second classification information (visual information) describes the side-view driving. For example, when the second classification information (viewing information) describes that it is a side-view driving, the presentation mode determination unit 205b displays the predetermined main display on the predetermined main display. The presentation mode to be displayed and output from the speaker is determined. As a result, the presentation mode determination unit 205b suppresses the driver from staring at the road sign information displayed in the direction in which the driver is looking aside, and the risk that the driver cannot return to the front of the vehicle. Can be reduced. In addition, the presentation mode determination unit 205b can emphasize the presentation of road display information by voice output or the like.
  • the occupant imaging unit 108 may further detect the facial expression of the driver, the open state of the eyes, etc. as the driver's situation.
  • the classification unit 204b identifies whether the driver is asleep, the driver is laughing, the driver is angry, or the like from the detection result of the occupant imaging unit 108, and even if these information is added to the visual information, Good.
  • the presentation mode determination unit 205b determines the presentation mode of the second road sign information based on the driver's viewing direction among the second road sign information and the second classification information (visual information). After that, when the second classification information (viewing information) includes information indicating that the driver is sleeping, the presentation mode determination unit 205b determines the presentation mode of the determined second road sign information. change. For example, the presentation mode determination unit 205b changes the presentation mode to the highest level 5 in the presentation level shown in FIG. 8 of the first embodiment. Similarly, when the information indicating that the driver is laughing is included in the second classification information (viewing information), the presentation mode determination unit 205b presents the determined second road sign information presentation mode. To maintain. In addition, when the information indicating that the driver is angry is included in the second classification information (viewing information), the presentation mode determination unit 205b determines the presentation mode of the determined second road display information. Make changes that lower the level.
  • the presentation mode determination unit 205b does not perform the process of specifying the driver's viewing direction, and only specifies whether the driver is sleeping, the driver is laughing, the driver is angry, or the like. Classification information (viewing information) may be generated.
  • the information presentation system according to the fourth embodiment may be applied with a configuration in which the driver's reaction shown in the third embodiment is accumulated and reflected in the determination of the next road sign information presentation mode.
  • the accumulation control unit 206 extracts an expression showing the driver's discomfort such as angry or frowning from the facial expression of the driver detected by the occupant imaging unit 108, the open state of the eyes, and the like. To do.
  • the accumulation control unit 206 extracts the extracted facial expression showing the driver's discomfort, along with the first road sign information when the extraction result is obtained, and the presentation form of the first road sign information.
  • the data is stored in the reaction information storage unit 209 shown in the block diagram of FIG.
  • the presentation mode determination unit 205b refers to the accumulation unit 208b to determine the presentation mode of the second road sign information, and then refers to the reaction information storage unit 209 and the driver has shown discomfort in the past. Do a search.
  • the processing operation referring to the reaction information storage unit 209 is the same as that in the third embodiment, and thus detailed description thereof is omitted.
  • the accumulation control unit 206 also responds to the driver's reaction when the result of having performed the driving in compliance with the road sign without changing the facial expression after the first road sign information is presented.
  • the reaction may be accumulated in the reaction information accumulation unit 209.
  • the presentation mode determination unit 205b can be configured to make the next road sign information presentation mode a simple method for the same driver.
  • the presentation mode determination unit 205b displays the second classification information (viewing direction).
  • the display for presenting the second road sign information may not be changed based on the above.
  • the presentation mode determination unit 205b may be configured to stop outputting the second road sign information by voice, or to make the presentation mode of the second road sign information a simple method.
  • the classification unit 204b collates the imaging position of the road sign captured by the imaging unit 101 with the line-of-sight direction obtained from the captured image captured by the occupant imaging unit 108 simultaneously with the imaging unit 101, Determine if the driver is viewing the road sign.
  • the presentation mode determination unit 205b displays the second road sign information on the display 106 that is the main display. Display only.
  • the presentation mode determination unit 205b selects the presentation mode of the second road sign information by a simple method, for example, the level 1 or level 2 presentation mode in FIG. 8 of the first embodiment. Thereby, it can suppress that an information presentation is excessive about the road sign which the driver has already visually recognized.
  • the communication unit 201 receives information indicating the status of the driver of the first vehicle or the second vehicle as information indicating the vehicle status, and classification.
  • the unit 204b identifies the viewing direction of the driver of the first vehicle or the second vehicle with reference to the received information indicating the situation of the driver of the first vehicle or the second vehicle, and identifies the identified viewing Classifying the vehicle status of the first vehicle or the second vehicle based on the direction, generating the first classification information or the second classification information, and traveling according to the road sign in the past has not been performed
  • the presentation mode determination unit 205b includes a step of changing the presentation position of the road sign information based on the identified viewing direction, so that the display arranged in the driver's viewing direction Road sign information Can Shimesuru, the driver can improve the possibility to recognize the road sign information.
  • the presentation mode determination unit 205b is configured to include a step of adding presentation by audio output to the presentation mode of the second road sign information based on the identified viewing direction. Therefore, when the driver is driving aside, the presentation of road display information can be emphasized by voice output.
  • the presentation mode determination unit 205b does not accumulate reaction information when the first road sign information is presented, and travels according to the road sign in the past. In this case, since the step of reducing the strength of presenting the second road sign information is provided, if the driver observes the road sign in a normal manner, The presentation mode can be changed to a simple method.
  • the presentation mode determination unit 205b when presenting the second road sign information, when the driver of the second vehicle has already viewed the corresponding road sign, Since the step of reducing the strength for presenting the second road sign information is provided, it is possible to suppress the excessive information presentation for the road sign that the driver has already visually recognized.
  • FIG. 16 is a block diagram illustrating a configuration of an information presentation system that realizes the information presentation method according to the fifth embodiment.
  • the in-vehicle device 100c according to the fifth embodiment does not include the voice recognition unit 103 of the in-vehicle device 100 shown in the first embodiment.
  • the server device 200c of the fifth embodiment is replaced with the presentation control unit 202, the classification unit 204, the presentation mode determination unit 205, and the storage unit 208 of the server device 200 shown in the first embodiment. 204c, a presentation mode determination unit 205c and a storage unit 208c.
  • the same or corresponding parts as the components of the information presentation system according to the first embodiment are denoted by the same reference numerals as those used in the first embodiment, and the description thereof is omitted or simplified.
  • the presentation control unit 202c of the server device 200c acquires the driving skill information of the driver, which is information indicating the captured image and the vehicle status, from the in-vehicle device 100b side via the communication unit 201.
  • the presentation control unit 202c performs control for generating the second road sign information based on the acquired information, and performs control for presenting the generated second road sign information to the in-vehicle device 100c.
  • the classification unit 204c refers to information indicating the vehicle situation input from the presentation control unit 202c and classifies the vehicle situation.
  • the classifying unit 204c classifies the vehicle situation of the second vehicle based on the driving skill level of the driver of the second vehicle, which is the vehicle situation of the second vehicle. Generate classification information.
  • the classification unit 204c generates second classification information such as “driving proficiency: low” or “driving proficiency: high” based on the driving proficiency of the driver.
  • the driving skill level of the driver is set based on the driver's experience estimated by analyzing the traveling speed of the vehicle, the steering wheel operation state, the brake operation state, and the like, for example.
  • the driving skill level of the driver may be set based on the input numerical value by the driver who inputs the driving experience.
  • the classification unit 204c outputs the second classification information generated based on the driving skill level of the driver described above to the presentation control unit 202.
  • the presentation mode determination unit 205c refers to the information accumulated in the accumulation unit 208c, and matches the set of the second road sign information and the second classification information, and the first road sign information and the first classification information Identify the pair.
  • the presentation mode determination unit 205c determines the presentation mode of the second road sign information with reference to the compliance result associated with the identified first set of road sign information and first classification information.
  • the presentation mode determination unit 205c changes the presentation mode of the second road sign information to the first road sign information.
  • the presentation mode is changed from the presentation mode.
  • the storage unit 208c stores the determination result of the sign compliance determination unit 207 acquired from the first vehicle and the presentation mode of the first road sign information, as in the first embodiment.
  • FIG. 17 is a diagram illustrating an accumulation example of the accumulation unit 208c of the information presentation system that realizes the information presentation method according to the fifth embodiment.
  • the accumulation unit 208c accumulates information including, for example, classification information, presented road sign information, a road sign information presentation mode, a road sign compliance rate, and the like.
  • the accumulating unit 208c accumulates road sign compliance results according to the driving skill of the driver.
  • the classification information is “driving proficiency: low”, the presented road sign information is “temporary stop”, the presentation form of the road sign information is “road sign display on display”, and the road sign information It shows that the compliance rate was “70%”.
  • the classification information is “driving proficiency: low”, the presented road sign information is “pause”, and the presentation form of the road sign information is “road sign display on display, voice output from speaker” It shows that the compliance rate of the road sign was “90%”.
  • the classification information is “driving proficiency: low”, the presented road sign information is “pause”, the presentation mode of the road sign information is “road sign display on display, voice and warning from speaker” “Sound output”, indicating that the road sign compliance rate was “98%”.
  • the classification information is “driving proficiency: high”, the presented road sign information is “pause”, the presentation form of the road sign information is “road sign display on display”, and the road sign information It shows that the compliance rate was “95%”.
  • the presentation mode determination unit 205c has a compliance rate threshold of 75% used for extracting information set when the classification information is “driving proficiency: low”.
  • the presentation mode determination unit 205c has the classification information “driving proficiency level: low” and has a compliance rate of 75% or more.
  • 2 composite rate “90%”
  • No. 2 3 information is extracted.
  • the presentation mode determination unit 205c extracts the extracted No. No. 2 information presentation mode, No. 2 3 is compared with the presentation mode of information 3, and the presentation mode is easy only if the presentation mode is only voice. 2 information is selected.
  • FIG. 3A and FIG. 3B which were shown in Embodiment 1
  • FIG. 4A and FIG. 4B illustration is abbreviate
  • the presentation control unit 202c, the classification unit 204c, and the presentation mode determination unit 205c of the server device 200c are the same as the functions of the presentation control unit 202, the classification unit 204, and the presentation mode determination unit 205 described in the first embodiment.
  • FIG. 18 is a flowchart showing the operation of the road sign information presentation process of the information presentation system for realizing the information presentation method according to the third embodiment.
  • the same reference numerals as those used in FIG. 5 are attached to the same steps as those of the in-vehicle device 100 and the server device 200 according to the first embodiment, and the description thereof will be omitted or simplified.
  • the control unit 104 of the in-vehicle device 100 acquires a captured image of the imaging unit 101 and information indicating the driving skill level of the driver collected by the traveling state collection unit 102 and transmits the information to the server device 200 via the communication unit 105 ( Step ST61).
  • the communication unit 201 of the server device 200 receives the captured image transmitted from the in-vehicle device 100 and information indicating the driving skill level of the driver and outputs the information to the presentation control unit 202c (step ST62).
  • the presentation control unit 202c The captured image input in step ST62 is output to the sign recognition unit 203, and information indicating the driving skill level of the driver is output to the classification unit 204c (step ST63). Thereafter, the processing from step ST4 to step ST6 is performed.
  • the classification unit 204c classifies the driving proficiency with reference to the information indicating the driving proficiency of the driver input in step ST63, and second driving proficiency level information (hereinafter referred to as “second driving proficiency level information”). Second classification information (described as driving skill information) is generated (step ST64). Thereafter, the processing from step ST8 to step ST16 is performed.
  • step ST21 in the flowchart of FIG. 6 the presentation mode determination unit 205c refers to the compliance result stored in the storage unit 208c, and receives the second road sign information and the second classification information (from the presentation control unit 202c). It is determined whether or not there is a pair of first road sign information and first classification information that matches the pair of driving skill information.
  • the accumulation process of the compliance result of the information presentation method according to the fifth embodiment is the same as the flowchart shown in FIG. 7 of the first embodiment.
  • the accumulation control unit 206 includes first classification information, first road sign information, and information indicating the driving skill level of the driver of the first vehicle corresponding to the in-vehicle device 100.
  • the presentation mode of the first road sign information is acquired from the presentation control unit 202b. Since drivers with similar driving proficiency are considered to have the same level of understanding of road signs, in the fifth embodiment, the method of presenting road sign information is changed depending on the driving proficiency level. . If a driver with a certain driving skill level cannot understand the sign, it is likely that a driver with a similar driving skill level will not be able to understand as well. In that case, the road sign information should be presented more carefully. Can be understood.
  • the communication unit 201 receives the traveling state of the vehicle as information indicating the vehicle state of the first vehicle or the second vehicle, and the classification unit 204c receives the information.
  • the vehicle status of the first vehicle or the second vehicle is determined based on the driving skill of the driver of the first vehicle or the second vehicle estimated from the travel status of the first vehicle or the second vehicle. Since it classify
  • the configuration using the driving skill level of the driver as the information indicating the vehicle status is shown.
  • the driving characteristic of the driver may be used as the information indicating the vehicle status.
  • the classification unit 204c analyzes the traveling speed, the steering wheel operation state, the brake operation state, and the like collected by the traveling state collection unit 102, estimates the driving characteristics of the driver, and uses the second driving characteristic information as the second classification information. Generate. Based on the estimated driving characteristics of the driver, the classification unit 204c classifies the driving characteristics of the driver as “perform impulsive driving”, “run with safe driving”, and the like. In addition, it is good also as a structure which estimates a driver
  • the information presentation system can present information in a presentation mode suitable for the driving characteristics of each driver by using the driving characteristics of the driver as information indicating the vehicle status. For example, when the information presentation system presents “pause” information, a driver who performs violent driving must perform safe driving that normally stops even if information presentation using voice is necessary. If the driver does not need to present information by voice, the driver can respond according to the characteristics of the driver.
  • Embodiments 1 to 3 described above the configuration in which the speech recognition unit 103 of the in-vehicle device 100 performs speech recognition processing has been described. However, the configuration in which speech recognition processing is performed on the server devices 200 and 200a side. May be.
  • the configuration in which the process of recognizing the road sign is performed on the server devices 200, 200a, 200b, and 200c has been described.
  • the road sign is recognized on the in-vehicle device 100 side. It is good also as a structure which performs a process.
  • the present invention can be freely combined with each embodiment, modified any component of each embodiment, or omitted any component in each embodiment. Is possible.
  • the information presenting method according to the present invention can present road sign information without excess or deficiency according to the state of the driver, and therefore can be applied to a navigation device or the like to realize effective navigation information presentation. it can.
  • 100, 100b, 100c, in-vehicle device 101 imaging unit, 102 running status collection unit, 103 voice recognition unit, 104 control unit, 105, 201 communication unit, 106 display, 107 speaker, 108 occupant imaging unit, 109 head-up display, 200 , 200a, 200b, 200c server device, 202, 202b, 202c presentation control unit, 203 sign recognition unit, 204, 204b, 204c classification unit, 205, 205a, 205b, 205c presentation mode determination unit, 206, 206a storage control unit, 207 Sign compliance determination unit, 208, 208b, 208c storage unit, 209 reaction information storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

提示態様決定部(205)が、第2の道路標識情報と第2の分類情報の組と一致する第1の道路標識情報と第1の分類情報の組に対応付けられた判定結果が道路標識に従った走行を行わなかったことを示していた場合、第1の道路標識情報の提示態様と異なる提示態様を、第2の道路標識情報の提示態様として決定するステップを備える。

Description

情報提示方法
 この発明は、カメラで撮像した道路標識に関する情報を車両の乗員に通知する技術に関するものである。
 従来より、カメラで撮像した道路標識の情報を車両内の表示部に表示する技術が存在する。これは、車両にナビゲーション装置が搭載されていたとしても、道路上にある全ての道路標識の情報がナビゲーション装置の地図情報に記憶されていないためである。
 例えば、特許文献1には、カメラで撮像した車外の撮像画像に対してテンプレートマッチングを実行して参照テンプレートごとに類似度ポイントを求め、最大の類似度ポイントと二位以下の類似度ポイントとの差が十分に開いていると判定した場合に、最大の類似度ポイントを獲得している参照テンプレートに対応する道路標識のアイコン画像を表示部に表示する道路標識表示装置が記載されている。また、特許文献1に記載の道路標識表示装置では、アイコン画像を表示部に表示することに加えて、アイコン画像に対応した音声(例えば「時速40km制限です」)での通知を行うことも開示されている。
特開2015-191281号公報
 しかし、上述した特許文献1に記載された技術では、道路標識の情報を運転者の状態に合わせて提示することができないという課題があった。例えば、道路標識の習熟度が高い運転者に過剰な通知を行って煩わしくさせる、または道路標識のアイコン画像のみを提示したが、外国人または初心運転者であったため道路標識の意味を認識させることができない場合があった。このように、各運転者に道路標識の情報を過不足なく提示することが難しいという課題があった。
 この発明は、上記のような課題を解決するためになされたもので、運転者の状態に合わせて、道路標識の情報を過不足なく提示することを目的とする。
 この発明に係る情報提示方法は、通信部が、第1の車両において撮像された道路標識の撮像画像、および第1の車両の車両状況を示す情報を受信するステップと、標識認識部が、撮像画像に含まれる道路標識の認識を行い、第1の道路標識情報を生成するステップと、分類部が、第1の車両の車両状況を示す情報を参照して第1の分類情報を生成するステップと、提示態様決定部が、第1の道路標識情報および第1の分類情報に基づいて、第1の道路標識情報の提示態様を決定するステップと、提示制御部が、決定された提示態様で第1の道路標識情報を提示する制御を行うステップと、標識順守判定部が、第1の車両が道路標識に従った走行を行ったか否か判定するステップと、当該判定結果と、第1の道路標識情報と、第1の分類情報と、第1の道路標識情報の提示態様とを対応付けて蓄積するステップと、通信部が、第1の車両に対して時系列的に後行する第2の車両において撮像された道路標識の撮像画像、および第2の車両の車両状況を示す情報を受信するステップと、標識認識部が、撮像画像に含まれる道路標識の認識を行い、第2の道路標識情報を生成するステップと、分類部が、第2の車両の車両状況を示す情報を参照して第2の分類情報を生成するステップと、提示態様決定部が、第2の道路標識情報と第2の分類情報の組と一致する第1の道路標識情報と第1の分類情報の組に対応付けられた判定結果が道路標識に従った走行を行わなかったことを示していた場合、第1の道路標識情報の提示態様と異なる提示態様を、第2の道路標識情報の提示態様として決定するステップと、提示制御部が、決定された提示態様で、第2の道路標識情報を提示する制御を行うステップとを備えるものである。
 この発明によれば、運転者の状態に合わせて、道路標識情報を過不足なく提示することができる。
実施の形態1に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。 実施の形態1に係る情報提示方法を実現するサーバ装置の蓄積部の蓄積例を示す図である。 図3A、図3Bは、実施の形態1に係る情報提示方法を実現する車載装置のハードウェア構成例を示す図である。 図4A、図4Bは、実施の形態1に係る情報提示方法を実現するサーバ装置のハードウェア構成例を示す図である。 実施の形態1に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。 実施の形態1に係る情報提示方法を実現するサーバ装置の提示態様決定部の動作を示すフローチャートである。 実施の形態1に係る情報提示方法を実現する情報提示システムの順守結果の蓄積処理を示すフローチャートである。 実施の形態1に係る情報提示方法を実現するサーバ装置の提示態様決定部に設定された提示態様の一例を示す図である。 実施の形態2に係る情報提示方法を実現するサーバ装置の蓄積部の蓄積例を示す図である。 実施の形態3に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。 図11A、図11Bは、実施の形態3に係る情報提示方法を実現するサーバ装置の反応情報蓄積部の蓄積例を示す図である。 実施の形態3に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。 実施の形態4に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。 実施の形態4に係る情報提示方法を実現するサーバ装置の蓄積部の蓄積例を示す図である。 実施の形態4に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。 実施の形態5に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。 実施の形態5に係る情報提示方法を実現するサーバ装置の蓄積部の蓄積例を示す図である。 実施の形態5に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、実施の形態1に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。
 情報提示システムは、車載装置100とサーバ装置200で構成される。図1の例では、サーバ装置200に1つの車載装置100が接続した場合を示したが、実際の情報提示システムの使用では、サーバ装置200には、複数の車載装置100が接続されることが想定される。
 車載装置100は、撮像部101、走行状況収集部102、音声認識部103、制御部104、通信部105、ディスプレイ106およびスピーカ107を備える。
 撮像部101は、例えばカメラ等で構成され、車載装置100を搭載した自車両の前方を撮像する。走行状況収集部102は、自車両の走行状況を示す情報を収集する。走行状況収集部102は、自車両の走行状況を示す情報として、例えば自車両の現在位置情報、走行速度、ハンドル操舵角、ハンドル操作状態、ブレーキ操作状態等を収集する。音声認識部103は、車内に設置されたマイク(図示しない)等が集音した自車両の乗員の会話等の音声情報の音声認識処理を行う。音声認識部103の音声認識処理は、複数の言語に対応しているものとする。音声認識部103は、自車両の乗員全ての会話の音声情報に対して音声認識処理を行ってもよいし、例えば自車両の運転席および助手席に座る乗員の会話の音声情報に対してのみ音声認識処理を行う等、限定した乗員に対してのみ音声認識処理を行ってもよい。
 制御部104は、撮像部101が取得した撮像画像、走行状況収集部102が収集した走行状況を示す情報、および音声認識部103の音声認識結果を、通信部105を介してサーバ装置200に送信する制御を行う。また、制御部104は、通信部105を介してサーバ装置200から送信された制御情報を取得する。制御部104は、取得した制御情報に基づいて情報をディスプレイ106に表示する制御およびスピーカ107から音声出力する制御を行う。
 通信部105は、サーバ装置200の通信部201と相互に無線通信を行う。ディスプレイ106は、制御部104の制御指示に基づいて、サーバ装置200から送信された情報を表示出力する。スピーカ107は、制御部104の制御指示に基づいて、サーバ装置200から送信された情報を音声出力する。
 サーバ装置200は、通信部201、提示制御部202、標識認識部203、分類部204、提示態様決定部205、蓄積制御部206、標識順守判定部207および蓄積部208を備える。サーバ装置200に接続される車載装置100は、複数の車両に搭載される。なお本発明では、時系列的に先行する車両を第1の車両と称するとともに、第1の車両よりも時系列的に後行する車両を第2の車両と称する。即ち第2の車両は次回の処理において、第1の車両として扱われる。さらに第1の車両および第2の車両というのは、必ずしも特定の固有車両を意味するものではない。第1の車両は複数台存在する場合もある。また、第2の車両は、ある提示処理において、道路標識情報を提示する対象である車載装置100を搭載した車両である。
 なお以下の説明においてサーバ装置200は、第1の車両および第2の車両に対して、原則として同様の処理を行っている。本発明は、現在の車両状況と同一である車両状況が以前にあったかどうか確認し、当該車両状況下において車両が道路標識情報に従った走行をしていなかったときは以前とは異なる態様で道路標識情報を提示するというものである。これについて以下詳述する。
 通信部201は、車載装置100の通信部105と相互に無線通信を行う。提示制御部202は、車載装置100から送信された撮像画像および車両状況を示す情報を、標識認識部203、分類部204および提示態様決定部205に出力し、道路標識情報を生成するための制御を行う。また、提示制御部202は、生成された道路標識情報を車載装置100に出力するための制御を行う。標識認識部203は、提示制御部202から入力される撮像画像の解析を行い、撮像画像に道路標識が含まれている場合に、当該道路標識の認識を行って道路標識情報を生成する。標識認識部203は、生成した道路標識情報を提示制御部202に出力する。
 分類部204は、提示制御部202から入力される車両状況を示す情報を参照し、車両状況の分類を行う。この実施の形態1では、分類部204は、車両状況を示す情報に基づいて分類を行い、分類情報を生成する。
 ここで車両状況とは、走行状況を示す情報または乗員情報などの車両状況を示す情報により特定される場面である。また分類情報とは、この車両状況を分類した結果をいう。分類情報は、各車両の車両状況が同一であるか、同一でないかを示す情報である。なお車両状況が同一とは、ある観点から見れば車両状況が同一ということを意味する。
 走行状況を示す情報とは、走行履歴情報、現在位置情報、走行速度、車両操作情報(ハンドル操舵角、ハンドル操作状態、ブレーキ操作状態、その他)などの情報である。
 また、乗員情報は、例えば車両内に設置された装置から得られる情報であって、例えば乗員の使用言語、年齢、性別などを示す情報である。また、乗員情報は、車両操作情報からも取得してもよい。例えば、運転者の運転習熟度を示す情報または急いでいるかを示す情報は、急加減速が多い等の車両操作情報から取得される。
 走行履歴情報は、ユーザが道路標識に従って走行したかどうかの判断にも使用される情報である。
 分類部204は、上述した車両状況を示す情報に基づいて生成した分類情報を提示制御部202に出力する。
 提示態様決定部205は、蓄積部208に蓄積された情報(詳細は後述する)を参照し、第2の道路標識情報と第2の分類情報の組と一致する、第1の道路標識情報と第1の分類情報の組を特定する。提示態様決定部205は、特定した第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を参照し、第2の道路標識情報の提示態様を決定する。ここで、提示態様決定部205は、第1の車両が道路標識に従った割合が閾値未満であった場合は、第2の道路標識情報の提示態様を第1の道路標識情報の提示態様とは異なる提示態様に変更する。
 即ち、時系列的に先行する第1の車両が道路標識に従わなかった場合、提示態様決定部205が第1の分類情報を加味して時系列的に後行する第2の車両に対しても同一の提示態様を決定すると、第2の車両の運転者が、不注意により第1の車両と同様に道路標識に従わない恐れがある。そこで、提示態様決定部205は、第2の車両に対しては、第1の車両とは異なる提示態様に変更する。
 提示制御部202は、標識認識部203が生成した第2の道路標識情報と、提示態様決定部205が決定した第2の道路標識情報の提示態様とを、通信部201を介して車載装置100に送信する。
 上記では記載を省略しているが、第1の車両に対しても、通信部201、提示制御部202、標識認識部203、分類部204および提示態様決定部205が同様の処理を行っている。その結果、第1の車両に対応した第1の道路標識情報、第1の分類情報および第1の道路標識情報の提示結果が得られている。これは、その他の実施の形態においても同様である。
 蓄積制御部206は、第1の道路標識情報を提示した第1の車両の車載装置100の撮像部101の撮像画像および走行状況収集部102が収集した走行状況(車両操作情報、走行履歴情報等)を示す情報を標識順守判定部207に出力し、道路標識の順守結果を蓄積するための制御を行う。
 標識順守判定部207は、撮像画像および走行状況を示す情報から、第1の車両が道路標識に従った走行を行ったか否か判定を行う。標識順守判定部207は、判定結果と、第1の分類情報と、当該判定結果が得られた際に提示していた第1の道路標識情報と、当該第1の道路標識情報の提示態様を、蓄積部208に蓄積する。なお、標識順守判定部207は、第1の道路標識情報および第1の道路標識情報の提示態様は、車載装置100側から取得してもよいし、サーバ装置200の提示制御部202から取得してもよい。
 蓄積部208は、車両の情報を蓄積する。
 図2は、実施の形態1に係る情報提示方法を実現する情報提示システムの蓄積部208の蓄積例を示す図である。
 蓄積部208は、例えば分類情報、提示した道路標識情報、道路標識情報の提示態様、道路標識の順守率等で構成される情報を蓄積する。
 図2の例では、No.1の情報が、分類情報が「運転者が言語Yを発話」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示」であり道路標識の順守率が「65%」であったことを示している。
 No.3の情報は、分類情報が「運転者が言語Yを発話」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示、スピーカから音声出力」であり道路標識の順守率が「90%」であったことを示している。
 No.1の情報とNo.3の情報とを比較すると、運転者が言語Yを発話する場合に、ディスプレイ106に表示し、且つスピーカ107から音声出力することにより、効果的に運転者に道路標識情報を提示できることを示している。提示態様決定部205は、図2に示すような順守結果を参照することにより、効果的に運転者に道路標識情報を提示することができる。
 次に、車載装置100のハードウェア構成例を説明する。
 図3A、図3Bは、実施の形態1に係る情報提示方法を実現する車載装置100のハードウェア構成例を示す図である。
 車載装置100における通信部105は、車載装置100とサーバ装置200との間で無線通信を行う送受信装置110である。車載装置100における、走行状況収集部102、音声認識部103および制御部104は、図3Aに示すように専用のハードウェアである処理回路120であってもよいし、図3Bに示すようにメモリ140に格納されているプログラムを実行するプロセッサ130であってもよい。
 図3Aに示すように、走行状況収集部102、音声認識部103および制御部104が専用のハードウェアである場合、処理回路120は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit),FPGA(Field-programmable Gate Array)、またはこれらを組み合わせたものが該当する。走行状況収集部102、音声認識部103および制御部104の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
 図3Bに示すように、走行状況収集部102、音声認識部103および制御部104がプロセッサ130である場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ140に格納される。プロセッサ130は、メモリ140に記憶されたプログラムを読み出して実行することにより、走行状況収集部102、音声認識部103および制御部104の各機能を実現する。即ち、走行状況収集部102、音声認識部103および制御部104は、プロセッサ130により実行されるときに、後述する図5および図7に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ140を備える。また、これらのプログラムは、走行状況収集部102、音声認識部103および制御部104の手順または方法をコンピュータに実行させるものであるともいえる。
 ここで、プロセッサ130とは、例えば、CPU(Central Processing Unit)、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などのことである。
 メモリ140は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
 なお、走行状況収集部102、音声認識部103および制御部104の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、車載装置100における処理回路120は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 次に、サーバ装置200のハードウェア構成例を説明する。
 図4A、図4Bは、実施の形態1に係る情報提示方法を実現するサーバ装置200のハードウェア構成例を示す図である。
 サーバ装置200における通信部201は、車載装置100およびサーバ装置200との間で無線通信を行う送受信装置210である。サーバ装置200における、提示制御部202、標識認識部203、分類部204、提示態様決定部205、蓄積制御部206および標識順守判定部207は、図4Aに示すように専用のハードウェアである処理回路220であってもよいし、図4Bに示すようにメモリ240に格納されているプログラムを実行するプロセッサ230であってもよい。
 図4Aに示すように、処理回路220が専用のハードウェアである場合、処理回路220は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC,FPGA、またはこれらを組み合わせたものが該当する。
 また、図4Bに示すように、処理回路220がプロセッサ230である場合、処理回路220の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ240に格納される。プロセッサ230は、メモリ240に記憶されたプログラムを読み出して実行することにより、処理回路220の機能を実現する。即ち、処理回路220は、プロセッサ230により実行されるときに、後述する図5、図6および図7に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ240を備える。また、これらのプログラムは、処理回路220の手順または方法をコンピュータに実行させるものであるともいえる。
 なお、処理回路220の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、サーバ装置200における処理回路220は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 次に、情報提示システムの動作について説明する。
 図5は、実施の形態1に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。第1の車両の車載装置100に標識情報を提示する処理は第2の車両の場合と共通なので、以下では、第2の車両の車載装置100に標識情報を提示する処理を例に説明する。
 なお、以下では、第2の車両に搭載された車載装置100の撮像部101が常時撮像画像を取得し、走行状況収集部102が常時自車両の走行状況を示す情報を収集し、音声認識部103が常時自車両の車内の会話を集音して音声認識結果を取得しているものとして説明する。
 車載装置100の制御部104は、撮像部101の撮像画像、走行状況収集部102の走行状況を示す情報、および乗員情報として音声認識部103の音声認識結果を取得し、通信部105を介してサーバ装置200に送信する(ステップST1)。サーバ装置200の通信部201は、車載装置100から送信された撮像画像および音声認識結果を受信し、提示制御部202に出力する(ステップST2)。提示制御部202は、ステップST2で入力された撮像画像を標識認識部203に出力し、音声認識結果を分類部204に出力する(ステップST3)。標識認識部203は、ステップST3で入力された撮像画像の解析を行い、撮像画像に道路標識が含まれているか否か判定を行う(ステップST4)。道路標識が含まれていない場合(ステップST4;NO)、フローはステップST1の処理に戻る。
 一方、道路標識が含まれていた場合(ステップST4;YES)、標識認識部203は当該道路標識の認識を行い、第2の道路標識情報を生成する(ステップST5)。標識認識部203が生成する第2の道路標識情報は、道路標識を示す画像、および道路標識が意味する交通規則を示す情報等である。標識認識部203は、ステップST5で生成した第2の道路標識情報を提示制御部202に通知する(ステップST6)。分類部204は、ステップST3で入力された音声認識結果に基づいて車両の状況を分類し、第2の分類情報を生成する(ステップST7)。
 例えば、分類部204は、乗員が会話に用いる言語を特定し、言語情報を生成する。分類部204が生成する言語情報は、車両の乗員が会話に用いる言語を示す情報である。分類部204は、ステップST8で生成した第2の分類情報を提示制御部202に通知する(ステップST8)。なお、ステップST7およびステップST8の処理は、ステップST4からステップST6の処理と並行して実施される処理であってもよい。
 提示制御部202は、標識認識部203から通知された第2の道路標識情報と、分類部204から通知された第2の分類情報とを、提示態様決定部205に出力し、第2の道路標識情報の提示態様の決定を指示する(ステップST9)。提示態様決定部205は、蓄積部208を参照し、提示制御部202から入力された第2の道路標識情報と第2の分類情報の組と一致する、第1の道路標識情報と第1の分類情報の組を特定する(ステップST10)。提示態様決定部205は、蓄積部208を参照し、特定した第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を取得する(ステップST11)。
 例えば、提示態様決定部205は、提示制御部202から入力された言語情報に示された言語で会話を行う第1の車両の運転者に、第1の道路標識情報を提示した際の順守結果を、蓄積部208から取得する。
 提示態様決定部205は、ステップST11で取得した順守結果に基づいて、提示制御部202から入力された第2の道路標識情報の提示態様を決定する(ステップST12)。提示態様決定部205は、決定した提示態様を提示制御部202に通知する(ステップST13)。
 提示制御部202は、提示態様決定部205が決定した提示態様で、第2の道路標識情報を提示する制御情報を、通信部201を介して車載装置100に送信する(ステップST14)。車載装置100の通信部105が、サーバ装置200から送信された制御情報を受信し、制御部104に出力する(ステップST15)。制御部104は、ステップST15で入力された制御情報に基づいて、第2の道路標識情報をディスプレイ106、またはディスプレイ106およびスピーカ107を介して運転者に提示する処理を行う(ステップST16)。その後、フローチャートはステップST1の処理に戻り、上述した処理を繰り返す。
 図5で示したフローチャートのステップST10からステップST12の処理をより詳細に説明する。図6は、実施の形態1に係る情報提示方法を実現する情報提示システムのサーバ装置200の提示態様決定部205の動作を示すフローチャートである。図6のフローチャートでは、分類情報が言語情報であるものとして説明する。
 提示態様決定部205は、蓄積部208に蓄積された順守結果を参照し、提示制御部202から入力された第2の道路標識情報と同一の道路標識情報が提示され、且つ提示制御部202から入力された第2の分類情報(言語情報)に示された言語と同一の言語で発話された、第1の道路標識情報と第1の分類情報の組が存在するか否か判定を行う(ステップST21)。
 第1の道路標識情報と第1の分類情報の組が存在する場合(ステップST21;YES)、提示態様決定部205は、第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を取得する(ステップST22)。提示態様決定部205は、取得した順守結果の道路標識の順守率を参照し、閾値以上の順守率を有する順守結果が存在するか否か判定を行う(ステップST23)。
 順守率が閾値以上の順守結果が存在する場合(ステップST23;YES)、提示態様決定部205は順守率が閾値以上の順守結果の道路標識情報の提示態様のうち、最も容易な提示態様を選択する(ステップST24)。提示態様決定部205は、提示態様が容易か否かを、例えば、出力先のデバイス数等で判断する。提示態様決定部205は、ディスプレイ106への表示のみの提示態様(デバイス数:1)と、ディスプレイ106への表示およびスピーカ107への音声出力との提示態様(デバイス数:2)とが存在する場合、提示態様決定部205は、ディスプレイ106への表示のみがより容易な提示態様であると判断する。一方、順守率が閾値以上の順守結果が存在しない場合(ステップST23;NO)、提示態様決定部205は同一の道路標識情報を提示した順守結果の提示態様のうち、最も強調した提示態様をさらに強調した提示態様を選択する(ステップST25)。
 第1の道路標識情報と第1の分類情報の組が存在しない場合(ステップST21;NO)、提示態様決定部205は、予め定められた提示態様を選択する(ステップST26)。提示態様決定部205は、ステップST24、ステップST25またはステップST26で選択した提示態様を、第2の道路標識情報を提示するための提示態様に決定する(ステップST27)。その後、フローチャートは、図5のフローチャートのステップST13の処理に進む。
 次に、車載装置100を搭載した車両が、提示された道路標識情報を順守して走行したか否かを示す順守結果を、サーバ装置200に蓄積する処理について説明する。
 図7は、実施の形態1に係る情報提示方法を実現する情報提示システムの順守結果の蓄積処理を示すフローチャートである。以下では、車載装置100を搭載し、第1の道路標識情報が提示された第1の車両が、道路標識情報を順守して走行したかの順守結果を蓄積する処理を例に説明する。
 車載装置100の制御部104は、走行状況収集部102の走行状況を示す情報を取得し、通信部105を介してサーバ装置200に送信する(ステップST31)。ステップST31の処理は、車載装置100において第1の道路標識情報が提示された後に実施されるものであり、制御部104は第1の道路標識情報を提示してから所定期間の自車両の走行状況を示す情報を送信する。ここで、所定期間とは適宜設定可能な期間である。例えば、制御部104は、第1の道路標識情報を提示する制御を行ってから、0秒後且つ15秒間、走行状況を示す情報を取得する。
 サーバ装置200の通信部201は、車載装置100から送信された第1の車両の走行状況を示す情報を受信し、受信した走行状況を示す情報を蓄積制御部206に出力する(ステップST32)。蓄積制御部206は、ステップST32で第1の車両の走行状況を示す情報が入力されると、車載装置100に対応した第1の車両の直前の第1の分類情報、第1の道路標識情報および第1の道路標識情報の提示態様を提示制御部202から取得する(ステップST33)。蓄積制御部206は、ステップST33で取得した情報と、走行状況を示す情報とを対応付けて標識順守判定部207に出力し、道路標識を順守した走行が行われたか否かの判定を指示する(ステップST34)。
 標識順守判定部207は、第1の車両の走行状態と、運転者に提示した第1の道路標識情報とを比較し、道路標識を順守した走行が行われたかの判定を行う(ステップST35)。標識順守判定部207は、ステップST35の判定結果と、蓄積部208に蓄積された過去の順守結果を参照し、道路標識の順守率を算出する(ステップST36)。標識順守判定部207は、ステップST36で算出した順守率と、第1の分類情報と、第1の道路標識情報と、第1の道路標識情報の提示態様を、順守結果として蓄積部208に蓄積する(ステップST37)。
 ステップST37の蓄積処理では、蓄積部208に既に同一の分類情報で、同一の道路標識情報を、同一の提示態様で提示した場合の順守率が蓄積されていた場合には、順守率の更新のみを行う。一方、蓄積部208に同一の分類情報、同一の道路標識情報または同一の道路標識情報の提示態様の情報が蓄積されていない場合には、新たな順守結果を作成する。その後、フローチャートはステップST31の処理に戻り、同一の処理を繰り返す。
 次に、図6で示したフローチャートを参照しながら、具体例を挙げて説明する。
 以下では、第2の車両Aが言語Xを公用語とするx国を走行しており、「一時停止」の道路標識の前を通過し、標識認識部203が「一時停止」を示す第2の道路標識情報を生成するものとする。さらに、第2の車両Aに言語Yを話す運転者と言語Yを話す同乗者が搭乗し、分類部204が運転者がY言語を発話することを示す言語情報である第2の分類情報を生成しているものとする。また、蓄積部208には、図2に示した順守結果が蓄積されているものとする。また、提示態様決定部205には、第2の道路標識情報の提示態様を決定する際の順守率の閾値が75%以上に設定されているものとする。
 図6のフローチャートのステップST21において、提示態様決定部205は、図2で示した順守結果を蓄積した蓄積部208から、運転者が言語Yで話すことを示す第1の分類情報と、「一時停止」を示す第1の道路標識情報の組(No.1からNo.3の情報)が存在すると判定する(ステップST21;YES)。ステップST22において、提示態様決定部205は、No.1からNo.3の順守結果を取得する。ステップST23において、提示態様決定部205は、75%以上の順守率を有する順守結果(No.2およびNo.3の情報)が存在すると判定する(ステップST23;YES)。
 ステップST24において、提示態様決定部205は、No.2の情報の提示態様と、No.3の情報の提示態様とを比較し、提示態様がディスプレイ106のみであるものを容易としてNo.2の情報の提示態様を選択する。ステップST27において、提示態様決定部205は、No.2の情報の道路標識情報の提示態様である「ディスプレイに道路標識と言語Yでの文字説明表示」を、第2の道路標識情報を提示するための提示態様と決定する。
 ステップST23において、ステップST22で取得された情報のうち、順守率が閾値以上の順守結果が存在しない場合には、提示態様決定部205は、最も順守率が高い提示態様からさらに一段階提示を強調した態様を、第2の道路標識情報を提示するための提示態様として決定する。
 例えば、提示態様決定部205に、提示態様を決定する際の順守率の閾値が95%以上と設定されていた場合、図2の例において、No.1からNo.3のいずれの情報も道路標識の順守率が95%未満であり、順守率が閾値以上の順守結果が存在しない。提示態様決定部205は、No.1からNo.3の情報のうち、順守率が最も高い90%のであるNo.3の情報の提示態様「ディスプレイに道路標識表示、スピーカから言語Yで音声出力」からさらに一段階提示を強調した提示態様「ディスプレイに道路標識表示、スピーカから言語Yで音声および注意情報出力」を、第2の道路標識情報を提示するための提示態様として決定する。
 提示態様決定部205には、道路標識情報を提示するための提示態様が、提示の強度毎に設定されているものとする。
 図8は、実施の形態1に係る情報提示方法を実現するサーバ装置200の提示態様決定部205に設定されている提示態様の一例を示す図である。
 提示態様決定部205には、レベル1の道路標識情報の提示態様として、「ディスプレイに道路標識提示」が設定されている。
 提示態様決定部205には、レベル2の道路標識情報の提示態様として、「ディスプレイに道路標識および文字説明提示」が設定されている。
 提示態様決定部205には、レベル3の道路標識情報の提示態様として、「ディスプレイに道路標識提示、スピーカから音声出力」が設定されている。
 提示態様決定部205には、レベル4の道路標識情報の提示態様として、「ディスプレイに道路標識提示、スピーカから音声および注意情報出力」が設定されている。
 提示態様決定部205には、レベル5の道路標識情報の提示態様として、「ディスプレイに道路標識提示、スピーカから音声および警告音出力」が設定されている。
 図8の提示態様の一例において、レベル4の道路標識情報の提示態様で示した「注意情報出力」について説明する。レベル4の道路標識情報の提示態様は、ディスプレイに道路標識を提示する、およびスピーカから音声および注意情報を出力するものである。例えば、x国において「一時停止」を意味する道路標識と酷似した「一時停止禁止」を意味するy国での道路標識が存在するものとする。さらに、y国の言語Yを発話する運転者が、x国における「一時停止」の道路標識をよく間違える場合に、当該間違えを注意喚起するための注意情報を言語Yで出力するものである。また、注意喚起するための注意情報を文字説明で提示する構成としてもよい。
 以上のように、この実施の形態1によれば、通信部201が、第1の車両において撮像された道路標識の撮像画像、および第1の車両の車両状況を示す情報を受信するステップと、標識認識部203が、撮像画像に含まれる道路標識の認識を行い、第1の道路標識情報を生成するステップと、分類部204が、第1の車両の車両状況を示す情報を参照して第1の分類情報を生成するステップと、提示態様決定部205が、第1の道路標識情報および第1の分類情報に基づいて、第1の道路標識情報の提示態様を決定するステップと、提示制御部が、決定された提示態様で第1の道路標識情報を提示する制御を行うステップと、標識順守判定部207が、第1の車両が道路標識に従った走行を行ったか否か判定するステップと、当該判定結果と、第1の道路標識情報と、第1の分類情報と、第1の道路標識情報の提示態様とを対応付けて蓄積するステップと、通信部201が、第1の車両に対して時系列的に後行する第2の車両において撮像された道路標識の撮像画像、および第2の車両の車両状況を示す情報を受信するステップと、標識認識部203が、撮像画像に含まれる道路標識の認識を行い、第2の道路標識情報を生成するステップと、分類部204が、第2の車両の車両状況を示す情報を参照して第2の分類情報を生成するステップと、提示態様決定部205が、第2の道路標識情報と第2の分類情報の組と一致する第1の道路標識情報と第1の分類情報の組に対応付けられた判定結果が道路標識に従った走行を行わなかったことを示していた場合、第1の道路標識情報の提示態様と異なる提示態様を、第2の道路標識情報の提示態様として決定するステップと、提示制御部202が、決定された提示態様で、第2の道路標識情報を提示する制御を行うステップとを備えるように構成したので、道路標識が意味する交通規則を示す情報を効果的な提示態様で運転者に提示することができる。また、道路標識が何を意味しているのかを知らない運転者、または道路標識を見落とした運転者に対する運転の補助を行うことができる。
 また、この実施の形態1によれば、通信部201が、車両状況を示す情報として、第1の車両または第2の車両内の音声を認識した音声認識結果を受信するステップを備え、分類部204が、受信された音声認識結果を参照して第1の車両または第2の車両の乗員が会話に用いる言語を特定し、特定した言語に基づいて第1の車両または第2の車両の車両状況を分類し、第1の分類情報または第2の分類情報を生成するステップを備え、過去に前記道路標識に従った走行が行われていなかった場合に、提示態様決定部205が、特定された言語で道路標識情報を提示する提示態様を決定するステップを備えるように構成したので、運転者が自国と異なる国を運転する際に各国の制度の違いによって生じる、道路標識の誤認、道路標識の不理解にも対応することができる。例えば、x国において「一時停止」を意味する道路標識と酷似した「一時停止禁止」を意味するy国での道路標識が存在し、y国の言語Yを発話する運転者がx国の「一時停止」の道路標識をよく間違えるという場合にも対処することができる。また、運転者が会話を行う言語で道路標識に関する情報を提示することができ、効果的な情報の提示を行うことができる。
 なお、上述した実施の形態1では、サーバ装置200の分類部204が車両の乗員が会話に用いる言語を特定する構成を示したが、車載装置100側で車両の乗員が会話に用いる言語を特定してもよい。その場合、車載装置100は特定した言語をサーバ装置200に送信する。
実施の形態2.
 この実施の形態2では、分類部204が分類情報として、会話情報を生成する構成を示す。
 実施の形態2の情報提示システムは、図1で示した実施の形態1に係る情報提示システムと同一の構成であるため、ブロック図の記載を省略する。
 分類部204は、実施の形態1と同様に車両状況を示す情報に基づいて、車両状況を分類する。この実施の形態2では、分類部204は、第2の分類情報として第2の車両内の会話の有無を示した会話情報を生成する。分類部204は、生成した第2の分類情報、すなわち第2の会話情報を提示制御部202に出力する。
 分類部204は、車両状況を示す情報のうち音声認識結果を解析して車内の会話の有無を認識する。分類部204は、例えば車内の状況を「会話あり」および「会話なし」のいずれかに分類し、第2の分類情報を生成する。また、分類部204は、車内の状況の分類を「会話あり」と「会話なし」の2つに限定することなく、会話の頻度を認識する等、会話の状況を認識してもよい。分類部204は、会話の頻度を認識した場合、認識した会話の頻度に応じて会話の状況を細かく分類する。
 提示態様決定部205は、蓄積部208に蓄積された情報を参照し、第2の道路標識情報と第2の分類情報(第2の会話情報)の組と一致する、第1の道路標識情報と第1の分類情報(第1の会話情報)の組を特定する。提示態様決定部205は、特定した第1の道路標識情報と第1の分類情報(第1の会話情報)の組に対応付けられた順守結果を参照し、第2の道路標識情報の提示態様を決定する。
 蓄積部208は、実施の形態1と同様に、例えば、分類情報、提示した道路標識情報、道路標識情報の提示態様、道路標識情報の順守率等で構成される情報を蓄積する。
 図9は、実施の形態2に係る情報提示方法を実現するサーバ装置200の蓄積部208の蓄積例を示す図である。
 蓄積部208は、例えば分類情報、提示した道路標識情報、道路標識情報の提示態様、道路標識の順守率等で構成される情報を蓄積する。
 図9の例では、No.1の情報が、分類情報が「会話なし」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示」であり道路標識の順守率が「95%」であったことを示している。
 No.2の情報は、分類情報が「会話あり」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示」であり道路標識の順守率が「75%」であったことを示している。No.3の情報は、分類情報が「会話あり」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示、スピーカから言語Yで音声出力」であり道路標識の順守率が「90%」であったことを示している。
 分類部204が「会話あり」と分類した場合には、運転者の注意が散漫になっている場合も多く、ディスプレイ106に道路標識を表示し、さらにスピーカ107からの道路標識情報を音声出力することにより、効果的に運転者に道路標識情報を提示することができる。一方、分類部204が「会話なし」と分類した場合には、運転者が運転に集中している場合も多く、ディスプレイ106に道路標識を表示するのみで、効果的に運転者に道路標識を提示することができる。
 次に、分類部204が、第2の分類情報として第2の会話情報(以下、第2の分類情報(会話情報)と記載する)を生成する場合の動作について説明する。
 実施の形態2に係る情報提示システム全体の動作は、実施の形態1の図5で示したフローチャートと同一である。
 図5のフローチャートのステップST7において、分類部204は、第2の車両の車内の会話の有無を認識し、第2の分類情報(会話情報)を生成する。また、ステップST10において、提示態様決定部205は、蓄積部208を参照し、提示制御部202から入力された第2の道路標識情報と第2の分類情報(会話情報)の組と一致する、第1の道路標識情報と第1の分類情報の組を特定する。ステップST11において提示態様決定部205は、蓄積部208を参照し、特定した第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を取得する。
 具体的には、提示態様決定部205は、会話を行う第1の車両の運転者に、第1の道路標識情報を提示した際の順守結果を、蓄積部208から取得する。
 図5で示したフローチャートのステップST10からステップST12の処理の詳細は、実施の形態1の図6で示したフローチャート同一である。
 図6のフローチャートのステップST21として提示態様決定部205は、蓄積部208に蓄積された順守結果を参照し、提示制御部202から入力された第2の道路標識情報と同一の道路標識情報が提示され、且つ提示制御部202から入力された第2の分類情報(会話情報)と同一の会話情報である、第1の道路標識情報と第1の分類情報の組が存在するか否か判定を行う。
 実施の形態2に係る情報提示方法を実現する情報提示システムの順守結果の蓄積処理は、実施の形態1の図7で示したフローチャートと同一である。
 図7のフローチャートのステップST33として、蓄積制御部206は、車載装置100に対応した第1の車両の直前の会話情報である第1の分類情報、第1の道路標識情報および第1の道路標識情報の提示態様を提示制御部202から取得する。
 以上のように、この実施の形態2によれば、分類部204が、受信された音声認識結果を参照して第1の車両または第2の車両の乗員の会話の状況を認識し、認識した会話の状況に基づいて第1の車両または第2の車両の車両状況を分類し、第1の分類情報または第2の分類情報を生成するステップを備えるように構成したので、車内の会話の状況に応じて、効果的に運転者に道路標識情報を提示することができる。
実施の形態3.
 この実施の形態3では、道路標識情報を提示した後の運転者の反応を蓄積し、蓄積した反応を次回の道路標識情報の提示態様の決定に反映させる構成を示す。
 図10は、実施の形態3に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。実施の形態3のサーバ装置200aは、実施の形態1で示したサーバ装置200に反応情報蓄積部209を追加して設けている。また、実施の形態1で示したサーバ装置200の提示制御部202、提示態様決定部205および蓄積制御部206に替えて、提示制御部202a、提示態様決定部205aおよび蓄積制御部206aを備えて構成している。
 以下では、実施の形態1に係る情報提示システムの構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
 蓄積制御部206aは、実施の形態1で示した処理に加えて、以下に示す処理も行う。蓄積制御部206aは、車載装置100から送信された音声認識結果を、通信部201を介して取得する。蓄積制御部206aは、取得した音声認識結果から運転者の不快感を示した音声認識結果を抽出する。蓄積制御部206aは、例えば「うるさいな」等の文句を示す言葉、舌打ちの音等を、運転者の不快感を示した音声認識結果として抽出する。蓄積制御部206aは、運転者の不快感を示した音声認識結果を抽出した際に提示していた第1の道路標識情報および当該第1の道路標識情報の提示態様を、提示制御部202aから取得し、反応情報として反応情報蓄積部209に蓄積する。
 蓄積制御部206aは、反応情報蓄積部209に既に運転者の不快を示す情報で、同一の道路標識情報を、同一の提示態様で提示した場合に運転者が不快を示したとの反応情報が蓄積されていた場合には、運転者が不快感を示した割合の更新のみを行う。一方、反応情報蓄積部209に同一の道路標識情報を、同一の提示態様で提示した場合に運転者が不快を示したとの反応情報が蓄積されていない場合には、新たな反応情報を作成する。
 蓄積制御部206aは、複数の車両の反応情報を統合して反応情報蓄積部209に蓄積してもよいし、車両毎の反応情報を車両毎に管理して反応情報蓄積部209に蓄積してもよい。
 図11Aは、実施の形態3に係る情報提示方法を実現するサーバ装置200aの反応情報蓄積部209の蓄積例を示す図である。
 反応情報蓄積部209は、例えば、提示した道路標識情報、運転者が不快感を示した際の道路標識情報の提示態様(提示レベル)、および不快感を示した割合を蓄積する。
 図11Aの例では、「一時停止」の道路標識情報が「ディスプレイに道路標識表示、スピーカから音声出力」された際に、運転者が不快感を示した割合が「30%」であったことを示している。
 提示態様決定部205aは、実施の形態1と同様に第2の車両の第2の道路標識情報および第2の分類情報に基づいて、蓄積部208を参照して第2の道路標識情報の提示態様を決定する。さらに提示態様決定部205aは、反応情報蓄積部209を参照し、第2の道路標識情報と同一の道路標識情報を、第2の道路標識情報と同一の提示態様で提示した場合に、運転者が不快感を示した割合が予め設定した閾値以上(例えば、30%以上)であれば、決定した第2の道路標識情報の提示態様のレベルを下げる処理を行う。
 提示態様決定部205aは、提示態様のレベルを下げる処理として、例えば予め決定した第2の道路標識情報の提示態様がレベル4であった場合に(実施の形態1の図8参照)、レベル3の提示態様に下げる、またはレベル2の提示態様に下げる処理を行う。提示態様は、レベルが高くなると、注意情報または警告音の出力、またはディスプレイの点滅表示等が加わり、提示すべき道路標識情報が運転者に伝わり易くなるが、人によっては過剰な提示態様であると感じる場合がある。運転者の反応を反応情報蓄積部209に蓄積しておくことにより、過去に運転者が過剰な提示態様であると感じた提示態様を繰り返すのを抑制することができる。
 上述した構成以外にも、車両毎に運転者の反応を蓄積する構成としてもよい。この場合、蓄積制御部206aは、車両毎に、運転者の不快感を示した音声認識結果を抽出した際に提示していた第1の道路標識情報、当該第1の道路標識情報の提示態様を取得し、第1の車両を特定する情報を付して反応情報蓄積部209に蓄積してもよい。第1の車両を特定する情報は、車載装置100側から送信される車両のIDナンバー等である。車載装置100は、音声認識結果をサーバ装置200に送信する際に、音声認識結果に当該IDナンバーを付して送信する。車両毎の反応情報を、反応情報蓄積部209に蓄積した場合の一例を図11Bに示している。
 図11Bは、実施の形態3に係る情報提示方法を実現するサーバ装置200aの反応情報蓄積部209の蓄積例を示す図であり、車両毎に反応情報を蓄積した場合を示している。
 反応情報蓄積部209は、例えば、車両ID、提示した道路標識情報、運転者が不快感を示した際の道路標識情報の提示態様(提示レベル)を蓄積する。図11Bの例では、車両ID「1011」の車両において、「一時停止」の道路標識情報を、「ディスプレイに道路標識表示、スピーカから音声出力」した際に、運転者が不快感を示したことを示している。
 図11Bの例の場合も同様に、提示態様決定部205aは、実施の形態1と同様に第2の車両の第2の道路標識情報および第2の分類情報に基づいて、蓄積部208を参照して第2の道路標識情報の提示態様を決定する。さらに提示態様決定部205aは、車載装置100側から送信された第2の車両を特定する情報を参照して反応情報蓄積部209内の検索を行う。提示態様決定部205aは、反応情報蓄積部209に、第2の車両について、第2の道路標識情報と同一の道路標識情報を、第2の道路標識情報と同一の提示態様で提示した場合に不快を示した情報が蓄積されていれば、決定した第2の道路標識情報の提示態様のレベルを下げる処理を行う。
 次に、サーバ装置200aのハードウェア構成例を説明する。
 サーバ装置200aのハードウェア構成例を示す図は、実施の形態1で示した図4Aおよび図4Bと同一であることから、図示を省略する。
 また、サーバ装置200aの提示制御部202a、提示態様決定部205aおよび蓄積制御部206aは、実施の形態1で示した提示制御部202、提示態様決定部205および蓄積制御部206の機能と同様である。
 次に、情報提示システムの動作について説明する。
 図12は、実施の形態3に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。
 図12では、反応情報蓄積部209が図11Aで示した情報を蓄積し、運転者が不快感を示した割合に応じて第2の道路標識情報の提示態様を決定する場合を示している。以下では、実施の形態1に係る車載装置100およびサーバ装置200と同一のステップには、図5で使用した符号と同一の符号を付し、説明を省略または簡略化する。
 ステップST12において提示態様決定部205aが第2の道路標識情報の提示態様を決定すると、提示態様決定部205aは反応情報蓄積部209を参照し、ステップST12で特定した提示態様で、ステップST5で生成された第2の道路標識情報と同一の道路標識情報を提示した場合に、運転者が不快感を示したことがあるか否か検索を行う(ステップST41)。運転者が不快感を示したことがある場合(ステップST41;YES)、提示態様決定部205aは運転者が不快感を示した割合が予め設定された閾値以上であるか否か判定を行う(ステップST42)。
 運転者が不快感を示した割合が予め設定された閾値以上である場合(ステップST42;YES)、提示態様決定部205aはステップST12で決定した第2の道路標識情報の提示態様のレベルを下げる処理を行う(ステップST43)。その後、フローチャートはステップST13の処理に進む。一方、運転者が不快感を示したことがない場合(ステップST41;NO)、または運転者が不快感を示した割合が閾値未満である場合(ステップST42;NO)、ステップST13の処理に進む。
 以上のように、この実施の形態3によれば、通信部201が、道路標識情報が提示された際の第1の車両内の音声を認識した音声認識結果を受信するステップと、蓄積制御部206aが、受信した音声認識結果から、第1の車両の運転者が不快感を示した音声認識結果を抽出するステップと、抽出した音声認識結果と、提示された第1の道路標識情報と、当該第1の道路標識情報の提示態様とを対応付けた反応情報を生成して蓄積するステップとを備え、過去に第1の道路標識情報が提示された際に運転者が不快感を示していた場合に、提示態様決定部205aが、第2の道路標識情報を提示する強さを低下させるステップを備えるように構成したので、過去に、道路標識情報の提示に運転者が不快感を示したことがある場合には、再度同様の提示態様で道路標識情報を提示するのを抑制することができる。
 なお、上述した実施の形態3では、実施の形態1で示したサーバ装置200に提示制御部202a、提示態様決定部205aおよび反応情報蓄積部209を適用する場合を示したが、実施の形態2で示したサーバ装置200に当該構成を適用してもよい。
実施の形態4. 
 この実施の形態4では、運転者の視認状態を、道路標識情報の提示態様の決定に反映させる構成を示す。
 図13は、実施の形態4に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。実施の形態4の車載装置100bは、実施の形態1で示した車載装置100の音声認識部103に替えて乗員撮像部108を設けている。また、車載装置100bは、ヘッドアップディスプレイ(Head Up Display:HUD)109を備えている。
 実施の形態4のサーバ装置200bは、実施の形態1で示したサーバ装置200の提示制御部202、分類部204、提示態様決定部205および蓄積部208に替えて、提示制御部202b、分類部204b、提示態様決定部205bおよび蓄積部208bを備える。
 以下では、実施の形態1に係る情報提示システムの構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。   
 乗員撮像部108は、車載装置100bを搭載した自車両の運転者を撮像する。乗員撮像部108は、運転者の撮像画像から運転者の状況を検出する。乗員撮像部108が検出する運転者の状況とは、例えば運転者の視線方向、運転者の顔の向き等である。ヘッドアップディスプレイ109は、サーバ装置200bから送信される第2の道路標識情報を指定された提示態様で提示する。車載装置100bは、ディスプレイ106に加えてヘッドアップディスプレイ109を備え、複数のディスプレイが備えられている。
 ディスプレイ106は、例えばナビゲーション装置のメインディスプレイである。ヘッドアップディスプレイ109は、例えば、画像をフロントガラスで反射して投影することで実現され、走行時の実風景と共に提供された情報を認識することができるディスプレイである。制御部104は、サーバ装置200bから送信された制御情報に基づいて、第2の道路標識情報の出力先をヘッドアップディスプレイ109またはディスプレイ106で切り替える制御を行う。
 サーバ装置200bの提示制御部202bは、通信部201を介して、車載装置100b側から撮像部101が撮像した撮像画像、および乗員撮像部108が検出した運転者の状況を示す情報を、車両状況を示す情報として取得する。提示制御部202bは、取得した情報に基づいて第2の道路標識情報を生成させる制御を行い、生成された第2の道路標識情報を車載装置100bに提示するための制御を行う。
 分類部204bは、提示制御部202から入力された運転者の状況を示す情報を参照し、車両状況を分類する。この実施の形態4では、分類部204bは、車両状況の分類として運転者の視認方向の特定を行い、第2の分類情報として第2の視認情報を生成する。分類部204bは、生成した第2の分類情報、すなわち第2の視認情報を提示制御部202bに出力する。提示態様決定部205bは、蓄積部208bに蓄積された過去に道路標識に従った走行が行われたかを示す順守結果を参照し、提示制御部202から入力された第2の道路標識情報および第2の視認情報に基づいて、第2の道路標識情報の提示態様を決定する。
 具体的には、提示態様決定部205bは、第2の分類情報である第2の視認情報に示された視認方向を視認している運転者に、標識認識部203が生成した第2の道路標識情報と同一の道路標識情報を提示した場合の過去の順守結果を取得する。提示態様決定部205bは、取得した過去の順守結果に基づいて、第2の道路標識情報の提示態様を決定する。
 蓄積部208bは、実施の形態1と同様に、第1の車両から取得した順守結果と、第1の道路標識情報と、第1の道路標識情報の提示態様とを蓄積する。
 図14は、実施の形態4に係る情報提示方法を実現するサーバ装置200bの蓄積部208bの蓄積例を示す図である。
 蓄積部208bは、実施の形態1と同様に分類情報、提示した道路標識情報、道路標識情報の提示態様、道路標識の順守率等で構成される情報を蓄積する。分類情報として、運転者の視認情報が蓄積される。
 図14の例では、No.1の情報が、分類情報が「車両前方、進行方向に対して左側を視認」であり、提示した道路標識情報が「一時停止」あり、道路標識情報の提示態様が「メインディスプレイに道路標識表示」であり、道路標識の順守率が「80%」であったことを示している。No.2の情報は、分類情報が「車両前方、進行方向に対して左側を視認」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「視視認方向に位置するディスプレイに表示」であり、道路の順守率が「90%」であったことを示している。No.2の情報に基づいて、提示態様決定部205bが第2の道路標識情報の提示態様を決定した場合、車載装置100bの制御部104は、運転者の視認方向に位置するヘッドアップディスプレイ109に第2の道路標識情報を表示させる制御が可能となる。
 提示態様決定部205bは、図14に示すような運転者の視認情報に基づいた蓄積部208bを参照することにより、効果的に運転者に道路標識情報を提示することができる。なお、運転者の視線方向に位置するディスプレイが存在しない場合には、車載装置100bの制御部104はスピーカ107により道路標識情報を音声出力する等、適宜設定可能である。これにより、情報提示システムは、運転者の視認情報に合わせて道路標識情報を提示することができる。
 次に、車載装置100bおよびサーバ装置200bのハードウェア構成例を説明する。
 車載装置100bのハードウェア構成例を示す図は、実施の形態1で示した図3Aおよび図3Bと同一であることから、図示を省略する。同様にサーバ装置200bのハードウェア構成例を示す図は、実施の形態1で示した図4Aおよび図4Bと同一であることから、図示を省略する。
 車載装置100bの乗員撮像部108は撮像部101の機能と同様であり、ヘッドアップディスプレイ109はディスプレイ106の機能と同様である。また、サーバ装置200bの提示制御部202b、分類部204bおよび提示態様決定部205bは、実施の形態1で示した提示制御部202、分類部204および提示態様決定部205の機能と同様である。
 次に、情報提示システムの動作について説明する。
 図15は、実施の形態4に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。以下では、実施の形態1に係る車載装置100およびサーバ装置200と同一のステップには、図5で使用した符号と同一の符号を付し、説明を省略または簡略化する。
 車載装置100bの制御部104は、撮像部101の撮像画像、乗員撮像部108が検出した運転者の状況を示す情報を取得し、通信部105を介してサーバ装置200に送信する(ステップST51)。
 サーバ装置200の通信部201は、車載装置100bから送信された撮像画像および運転者の状況を示す情報を受信し、提示制御部202bに出力する(ステップST52)。提示制御部202bは、ステップST52で入力された撮像画像を標識認識部203に出力し、運転者の状況を示す情報を分類部204bに出力する(ステップST53)。その後、ステップST4からステップST6の処理が行われる。
 次に、分類部204bは、ステップST53で入力された運転者の状況を示す情報を参照して車両の状況を分類し、第2の分類情報を生成する(ステップST54)。具体的には、分類部204bは、運転者の視認方向を特定し、第2の分類情報として第2の視認情報(以下、第2の分類情報(視認情報)と記載する)を生成する。分類部204は、ステップST54で生成した第2の分類情報を提示制御部202bに通知する(ステップST8)。なお、ステップST54およびステップST8の処理は、ステップST4からステップST6の処理と並行して実施される処理であってもよい。
 提示制御部202bは、標識認識部203から通知された第2の道路標識情報と、分類部204bから通知された第2の分類情報とを、提示態様決定部205bに出力し、第2の道路標識情報の提示態様の決定を指示する(ステップST9)。提示態様決定部205bは、蓄積部208bを参照し、提示制御部202bから入力された第2の道路標識情報と第2の分類情報の組と一致する、第1の道路標識情報と第1の分類情報の組を特定する(ステップST10)。提示態様決定部205bは、蓄積部208bを参照し、特定した第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を取得する(ステップST11)。
 例えば、提示態様決定部205bは、提示制御部202bから入力された視認情報に示された視認方向を視認する第1の車両の運転者に、第1の道路標識情報を提示した際の順守結果を、蓄積部208bから取得する。
 その後、ステップST12からステップST15の処理が行われる。車載装置100bの制御部104は当該制御情報に基づいて、第2の道路標識情報をディスプレイ106、ヘッドアップディスプレイ109、またはスピーカ107の少なくともいずれかを介して運転者に提示する処理を行う(ステップST55)。その後、フローチャートはステップST51の処理に戻り、上述した処理を繰り返す。
 図15で示したフローチャートのステップST10からステップST12の処理の詳細は、実施の形態1の図6で示したフローチャートと同一である。
 図6のフローチャートのステップST21として、提示態様決定部205は、蓄積部208bに蓄積された順守結果を参照し、提示制御部202bから入力された第2の道路標識情報と第2の分類情報(視認情報)の組と一致する、第1の道路標識情報と第1の分類情報の組が存在するか否か判定を行う。
 実施の形態4に係る情報提示方法の順守結果の蓄積処理は、実施の形態1の図7で示したフローチャートと同一である。
 図7のフローチャートのステップST33として、蓄積制御部206は、車載装置100に対応した第1の車両の直前の視認情報である第1の分類情報、第1の道路標識情報および第1の道路標識情報の提示態様を提示制御部202bから取得する。
 上述した処理に加えて、乗員撮像部108は、検出した運転者の顔の向きから、運転者が脇見運転をしているか判定を行ってもよい。運転者が脇見運転をしていると判定した場合、乗員撮像部108は運転者の状況として脇見運転を行っていることを示す情報を付加する。分類部204bは、運転者の状況を示す情報に脇見運転を行っていることを示す情報が付加されている場合には、生成する第2の分類情報(視認情報)にも脇見運転であることを記載する。
 提示態様決定部205bは、第2の分類情報(視認情報)に脇見運転であることが記載されていた場合には、視認方向に位置するディスプレイに表示する提示態様の決定を行わない。例えば、提示態様決定部205bは、第2の分類情報(視認情報)に脇見運転であることが記載されていた場合に、予め定められたメインディスプレイに表示する、または予め定められたメインディスプレイに表示してスピーカから音声出力する提示態様を決定する。
 これにより、提示態様決定部205bは、運転者が脇見をしている方向に表示された道路標識情報を注視してしまうのを抑制し、運転者が車両前方に視線を戻せないという危険性を低減することができる。また、提示態様決定部205bは、音声出力等により道路表示情報の提示を強調することができる。
 さらに上述した処理に加えて、乗員撮像部108は、運転者の状況として、運転者の顔の表情、目の開き状態等をさらに検出してもよい。分類部204bは、乗員撮像部108の検出結果から、運転者が眠っているか、運転者が笑っているか、運転者が怒っているか等を特定し、視認情報にこれらの情報を追加してもよい。
 提示態様決定部205bは、第2の道路標識情報および第2の分類情報(視認情報)のうち運転者の視認方向に基づいて第2の道路標識情報の提示態様を決定する。その後、提示態様決定部205bは、第2の分類情報(視認情報)に運転者が眠っていることを示す情報が含まれている場合には、決定した第2の道路標識情報の提示態様を変更する。例えば、提示態様決定部205bは、実施の形態1の図8で示した提示レベルにおいて、最も高いレベル5の提示態様に変更する。
 同様に、提示態様決定部205bは、第2の分類情報(視認情報)に運転者が笑っていることを示す情報が含まれている場合には、決定した第2の道路標識情報の提示態様を維持する。また、提示態様決定部205bは、第2の分類情報(視認情報)に運転者が怒っていることを示す情報が含まれている場合には、決定した第2の道路表示情報の提示態様のレベルを下げる変更を行う。
 また、提示態様決定部205bは、運転者の視認方向を特定する処理を行わず、運転者が眠っているか、運転者が笑っているか、運転者が怒っているか等のみを特定して第2の分類情報(視認情報)を生成してもよい。
 さらに、実施の形態4の情報提示システムに、実施の形態3で示した運転者の反応を蓄積して次回の道路標識情報の提示態様の決定に反映させる構成を適用してもよい。
 蓄積制御部206は、乗員撮像部108が検出した運転者の顔の表情、目の開き状態等から、怒っている、または顔をしかめている等の運転者の不快感を示した表情を抽出する。蓄積制御部206は、抽出した運転者の不快感を示した表情の抽出結果を、当該抽出結果が得られた際の第1の道路標識情報、当該第1の道路標識情報の提示態様と共に、図10のブロック図で示した反応情報蓄積部209に蓄積する。
 提示態様決定部205bは、蓄積部208bを参照して第2の道路標識情報の提示態様を決定した後に、反応情報蓄積部209を参照して過去に運転者が不快感を示したことがあるか検索を行う。なお、反応情報蓄積部209を参照する処理動作は実施の形態3と同一であるため、詳細な説明は省略する。
 また、蓄積制御部206は、運転者の反応として、第1の道路標識情報を提示した後に表情を変えず、且つ道路標識を順守した走行を行ったとの結果が得られた場合にも、当該反応を反応情報蓄積部209に蓄積してもよい。提示態様決定部205bは、同一の運転者に対して、次回の道路標識情報の提示態様を簡易な方法とするように構成することができる。
 さらに、運転者が、第2の道路標識情報が提示されるよりも前に、既に該当する道路標識を視認済みである場合に、提示態様決定部205bは、第2の分類情報(視認方向)に基づいて第2の道路標識情報を提示するディスプレイを変更しないように構成してもよい。さらに、提示態様決定部205bは、第2の道路標識情報を音声出力するのを中止する、または第2の道路標識情報の提示態様を簡易な方法とするように構成してもよい。
 具体的には、分類部204bが、撮像部101が撮像した道路標識の撮像位置と、撮像部101と同時に乗員撮像部108が撮像した撮像画像から得られた視線方向とを照合することにより、運転者が道路標識を視認しているかを判断する。
 第2の道路標識情報を提示する前に、車両の運転者が該当する道路標識を視認済みである場合に、提示態様決定部205bは、第2の道路標識情報をメインディスプレイであるディスプレイ106にのみ表示する。または、提示態様決定部205bは、第2の道路標識情報の提示態様を簡易な方法、例えば実施の形態1の図8においてレベル1またはレベル2の提示態様を選択する。
 これにより、運転者が既に視認した道路標識について、過剰な情報提示を行うのを抑制することができる。
 以上にように、この実施の形態4によれば、通信部201が、車両状況を示す情報として、第1の車両または第2の車両の運転者の状況を示す情報を受信するステップと、分類部204bが、受信された第1の車両または第2の車両の運転者の状況を示す情報を参照して第1の車両または第2の車両の運転者の視認方向を特定し、特定した視認方向に基づいて第1の車両または第2の車両の車両状況を分類し、第1の分類情報または第2の分類情報を生成するステップと、過去に道路標識に従った走行が行われていなかった場合に、提示態様決定部205bが、特定された視認方向に基づいて道路標識情報の提示位置を変化させるステップとを備えるように構成したので、運転者の視認方向に配置されているディスプレイに道路標識情報を提示することができ、運転者が道路標識情報を認知する可能性を向上させることができる。
 また、この実施の形態4によれば、提示態様決定部205bが、特定された視認方向に基づいて、第2の道路標識情報の提示態様に音声出力による提示を追加するステップを備えるように構成したので、運転者が脇見運転をしている場合には音声出力により道路表示情報の提示を強調することができる。
 また、この実施の形態4によれば、提示態様決定部205bは、第1の道路標識情報が提示された際の反応情報が蓄積されておらず、且つ過去に道路標識に従った走行が行われていた場合に、第2の道路標識情報を提示する強さを低下させるステップを備るように構成したので、運転者が平常心で道路標識を順守した場合に、次回の道路標識情報の提示態様を簡易な方法に変更することができる。
 また、この実施の形態4によれば、提示態様決定部205bは、第2の道路標識情報を提示する前に、第2の車両の運転者が該当する道路標識を視認済みである場合に、第2の道路標識情報を提示する強さを低下させるステップを備えるように構成したので、運転者が既に視認した道路標識について、過剰な情報提示を行うのを抑制することができる。
実施の形態5.
 この実施の形態5では、車両状況を示す情報のうち乗員情報のうちの運転習熟度を示す情報に基づいて、分類情報を生成する構成を示す。
 図16は、実施の形態5に係る情報提示方法を実現する情報提示システムの構成を示すブロック図である。
 実施の形態5の車載装置100cは、実施の形態1で示した車載装置100の音声認識部103を備えていない。
 実施の形態5のサーバ装置200cは、実施の形態1で示したサーバ装置200の提示制御部202、分類部204、提示態様決定部205および蓄積部208に替えて、提示制御部202c、分類部204c、提示態様決定部205cおよび蓄積部208cを備える。
 以下では、実施の形態1に係る情報提示システムの構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
 サーバ装置200cの提示制御部202cは、通信部201を介して、車載装置100b側から撮像画像および車両状況を示す情報である運転者の運転習熟度情報を取得する。提示制御部202cは、取得した情報に基づいて第2の道路標識情報を生成させる制御を行い、生成された第2の道路標識情報を車載装置100cに提示するための制御を行う。
 分類部204cは、提示制御部202cから入力される車両状況を示す情報を参照し、車両状況の分類を行う。この実施の形態5では、分類部204cは、第2の車両の車両状況である第2の車両の運転者の運転習熟度に基づいて、第2の車両の車両状況を分類して第2の分類情報を生成する。分類部204cは、運転者の運転習熟度に基づいて、例えば「運転習熟度:低」または「運転習熟度:高」等の第2の分類情報を生成する。
 運転者の運転習熟度は、例えば、車両の走行速度、ハンドル操作状態およびブレーキ操作状態等を解析して推定される運転者の経験に基づいて設定する。また、運転者の運転習熟度は、運転者が運転経験を数値等で入力し、入力された数値に基づいて設定してもよい。
 分類部204cは、上述した運転者の運転習熟度に基づいて生成した第2の分類情報を提示制御部202に出力する。
 提示態様決定部205cは、蓄積部208cに蓄積された情報を参照し、第2の道路標識情報と第2の分類情報の組と一致する、第1の道路標識情報と第1の分類情報の組を特定する。提示態様決定部205cは、特定した第1の道路標識情報と第1の分類情報の組に対応付けられた順守結果を参照し、第2の道路標識情報の提示態様を決定する。ここで、提示態様決定部205cは、第1の車両が第1の道路標識に従った割合が閾値未満であった場合は、第2の道路標識情報の提示態様を第1の道路標識情報の提示態様とは異なる提示態様に変更する。
 蓄積部208cは、実施の形態1と同様に、第1の車両から取得した標識順守判定部207の判定結果と、第1の道路標識情報の提示態様とを蓄積する。
 図17は、実施の形態5に係る情報提示方法を実現する情報提示システムの蓄積部208cの蓄積例を示す図である。
 蓄積部208cは、例えば分類情報、提示した道路標識情報、道路標識情報の提示態様、道路標識の順守率等で構成される情報を蓄積する。蓄積部208cは、運転者の運転習熟度に応じた道路標識の順守結果を蓄積している。
 図17の例では、No.1の情報が、分類情報が「運転習熟度:低」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示」であり道路標識の順守率が「70%」であったことを示している。
 No.2の情報は、分類情報が「運転習熟度:低」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示、スピーカから音声出力」であり道路標識の順守率が「90%」であったことを示している。
 No.3の情報は、分類情報が「運転習熟度:低」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示、スピーカから音声と警告音出力」であり道路標識の順守率が「98%」であったことを示している。
 No.4の情報は、分類情報が「運転習熟度:高」であり、提示した道路標識情報が「一時停止」であり、道路標識情報の提示態様が「ディスプレイに道路標識表示」であり道路標識の順守率が「95%」であったことを示している。
 提示態様決定部205cは、分類情報が「運転習熟度:低」である場合に設定された情報の抽出に用いる順守率の閾値が75%であったとする。図17の例では、提示態様決定部205cは、分類情報が「運転習熟度:低」であり、75%以上の順守率を有するNo.2の情報(順守率「90%」)およびNo.3の情報(順守率「98%」)を抽出する。提示態様決定部205cは、抽出したNo.2の情報の提示態様と、No.3の情報の提示態様とを比較し、提示態様が音声のみのであるものを容易としてNo.2の情報を選択する。
 次に、車載装置100cおよびサーバ装置200cのハードウェア構成例を説明する。
 車載装置100cおよびサーバ装置200cのハードウェア構成例を示す図は、実施の形態1で示した図3Aおよび図3B、図4Aおよび図4Bと同一であることから、図示を省略する。
 サーバ装置200cの提示制御部202c、分類部204cおよび提示態様決定部205cは、実施の形態1で示した提示制御部202、分類部204および提示態様決定部205の機能と同様である。
 次に、情報提示システムの動作について説明する。
 図18は、実施の形態3に係る情報提示方法を実現する情報提示システムの道路標識情報の提示処理の動作を示すフローチャートである。以下では、実施の形態1に係る車載装置100およびサーバ装置200と同一のステップには、図5で使用した符号と同一の符号を付し、説明を省略または簡略化する。
 車載装置100の制御部104は、撮像部101の撮像画像、走行状況収集部102が収集した運転者の運転習熟度を示す情報を取得し、通信部105を介してサーバ装置200に送信する(ステップST61)。サーバ装置200の通信部201は、車載装置100から送信された撮像画像および運転者の運転習熟度を示す情報を受信し、提示制御部202cに出力する(ステップST62)、提示制御部202cは、ステップST62で入力された撮像画像を標識認識部203に出力し、運転者の運転習熟度を示す情報を分類部204cに出力する(ステップST63)。その後、ステップST4からステップST6の処理を行う。
 次に、分類部204cは、ステップST63で入力された運転者の運転習熟度を示す情報を参照して運転習熟度を分類し、第2の分類情報として第2の運転習熟度情報(以下、第2の分類情報(運転習熟度情報)と記載する)を生成する(ステップST64)。その後、ステップST8からステップST16の処理が行われる。
 図18で示したフローチャートのステップST10からステップST12の処理の詳細は、実施の形態1の図6で示したフローチャートと同一である。
 図6のフローチャートのステップST21として、提示態様決定部205cは、蓄積部208cに蓄積された順守結果を参照し、提示制御部202cから入力された第2の道路標識情報と第2の分類情報(運転習熟度情報)の組と一致する、第1の道路標識情報と第1の分類情報の組が存在するか否か判定を行う。
 実施の形態5に係る情報提示方法の順守結果の蓄積処理は、実施の形態1の図7で示したフローチャートと同一である。
 図7のフローチャートのステップST33として、蓄積制御部206は、車載装置100に対応した第1の車両の運転者の運転習熟度を示す情報である第1の分類情報、第1の道路標識情報および第1の道路標識情報の提示態様を提示制御部202bから取得する。
 運転習熟度が同程度の運転者であれば、道路標識の理解度も同程度であると考えられることから、この実施の形態5では、運転習熟度によって道路標識情報の提示方法を変化させた。ある運転習熟度の運転者が標識を理解できない場合には、同程度の運転習熟度の運転者も同様に理解できない可能性が高く、その場合に道路標識情報をより丁寧に提示して道路標識を理解させることができる。
 以上のように、実施の形態5に係る発明は、通信部201が、第1の車両または第2の車両の車両状況を示す情報として、車両の走行状況を受信し、分類部204cは、受信した第1の車両または第2の車両の走行状況から推定される第1の車両または第2の車両の運転者の運転習熟度に基づいて、第1の車両または第2の車両の車両状況を分類し、分類情報を生成するように構成したので、運転者の運転習熟度に合わせて道路標識情報と提示するこことができる。
 なお、上述した実施の形態5では、車両状況を示す情報として運転者の運転習熟度を用いる構成を示したが、車両状況を示す情報として運転者の運転特性を用いて構成してもよい。
 分類部204cは、走行状況収集部102が収集した走行速度、ハンドル操作状態およびブレーキ操作状態等を解析し、運転者の運転特性を推定し、第2の分類情報として第2の運転特性情報を生成する。分類部204cは、推定した運転者の運転特性に基づいて、運転者の運転特性を「せっかちで乱暴な運転を行う」、「安全運転で走行する」等と分類する。なお、車載装置100c側で運転者の運転特性を推定し、推定結果をサーバ装置200cに送信する構成としてもよい。
 情報提示システムは、車両状況を示す情報として運転者の運転特性を用いることにより、各運転者の運転特性に適した提示態様で情報を提示することができる。例えば、情報提示システムが「一時停止」の情報を提示する場合に、乱暴な運転を行う運転者には音声を用いた情報提示が必要であっても、普段から一時停止を行う安全運転を行う運転者には音声での情報提示は不要であると、運転者の特性に応じて対応することができる。
 なお、上述した実施の形態1から実施の形態3では、車載装置100の音声認識部103が音声認識処理を行う構成を示したが、サーバ装置200,200a側で音声認識処理を行うように構成してもよい。
 なお、上述した実施の形態1から実施の形態5では、サーバ装置200,200a,200b,200c側で道路標識を認識する処理を行う構成を示したが、車載装置100側で道路標識を認識する処理を行う構成としてもよい。
 上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 この発明に係る情報提示方法は、道路標識の情報を運転者の状態に合わせて過不足なく提示することができるため、ナビゲーション装置等に適用し、効果的なナビゲーション情報の提示を実現することができる。
 100,100b,100c 車載装置、101 撮像部、102 走行状況収集部、103 音声認識部、104 制御部、105,201 通信部、106 ディスプレイ、107 スピーカ、108 乗員撮像部、109 ヘッドアップディスプレイ、200,200a,200b,200c サーバ装置、202,202b,202c 提示制御部、203 標識認識部、204,204b,204c 分類部、205,205a,205b,205c 提示態様決定部、206,206a 蓄積制御部、207 標識順守判定部、208,208b,208c 蓄積部、209 反応情報蓄積部。

Claims (18)

  1.  通信部が、第1の車両において撮像された道路標識の撮像画像、および前記第1の車両の車両状況を示す情報を受信するステップと、
     標識認識部が、前記撮像画像に含まれる前記道路標識の認識を行い、第1の道路標識情報を生成するステップと、
     分類部が、前記第1の車両の車両状況を示す情報を参照して第1の分類情報を生成するステップと、
     提示態様決定部が、前記第1の道路標識情報および前記第1の分類情報に基づいて、前記第1の道路標識情報の提示態様を決定するステップと、
     提示制御部が、決定された前記提示態様で前記第1の道路標識情報を提示する制御を行うステップと、
     標識順守判定部が、前記第1の車両が前記道路標識に従った走行を行ったか否か判定するステップと、当該判定結果と、前記第1の道路標識情報と、前記第1の分類情報と、前記第1の道路標識情報の提示態様とを対応付けて蓄積するステップと、
     前記通信部が、前記第1の車両に対して時系列的に後行する第2の車両において撮像された道路標識の撮像画像、および前記第2の車両の車両状況を示す情報を受信するステップと、
     前記標識認識部が、前記撮像画像に含まれる前記道路標識の認識を行い、第2の道路標識情報を生成するステップと、
     前記分類部が、前記第2の車両の車両状況を示す情報を参照して第2の分類情報を生成するステップと、
     前記提示態様決定部が、前記第2の道路標識情報と前記第2の分類情報の組と一致する前記第1の道路標識情報と前記第1の分類情報の組に対応付けられた前記判定結果が前記道路標識に従った走行を行わなかったことを示していた場合、前記第1の道路標識情報の提示態様と異なる提示態様を、前記第2の道路標識情報の提示態様として決定するステップと、
     前記提示制御部が、決定された前記提示態様で、前記第2の道路標識情報を提示する制御を行うステップとを備えた情報提示方法。
  2.  前記通信部が、前記車両状況を示す情報として、前記第1の車両または前記第2の車両内の音声を認識した音声認識結果を受信するステップを備えたことを特徴とする請求項1記載の情報提示方法。
  3.  前記分類部が、受信した前記音声認識結果を参照して前記第1の車両または前記第2の車両の乗員が会話に用いる言語を特定し、特定した言語に基づいて前記第1の車両または前記第2の車両の車両状況を分類し、前記第1の分類情報または前記第2の分類情報を生成するステップを備えたことを特徴とする請求項2記載の情報提示方法。
  4.  前記提示態様決定部が、前記判定結果が前記道路標識に従った走行を行わなかったことを示していた場合に、前記特定した言語で前記第2の道路標識情報を提示する提示態様を決定するステップを備えたことを特徴とする請求項3記載の情報提示方法。
  5.  前記分類部が、受信した前記音声認識結果を参照して前記第1の車両または前記第2の車両の乗員の会話の状況を認識し、認識した会話の状況に基づいて前記第1の車両または前記第2の車両の車両状況を分類し、前記第1の分類情報または前記第2の分類情報を生成するステップを備えたことを特徴とする請求項2記載の情報提示方法。
  6.  前記通信部が、前記第1の道路標識情報が提示された際の前記第1の車両内の音声を認識した音声認識結果を受信するステップと、
     蓄積制御部が、受信した前記音声認識結果から、前記第1の車両の運転者が不快感を示した音声認識結果を抽出するステップと、前記音声認識結果を抽出した際に提示された前記第1の道路標識情報と、当該第1の道路標識情報の提示態様とを対応付けた反応情報を生成して蓄積するステップとを備えたことを特徴とする請求項2記載の情報提示方法。
  7.  前記提示態様決定部が、前記道路標識情報が提示された際の前記反応情報が蓄積されていた場合に、前記第2の道路標識情報を提示する強さを低下させるステップを備えたことを特徴とする請求項6記載の情報提示方法。
  8.  前記通信部が、前記車両状況を示す情報として、前記第1の車両または前記第2の車両の運転者の状況を示す情報を受信するステップを備えたことを特徴とする請求項1記載の情報提示方法。
  9.  前記分類部が、受信された前記車両の運転者の状況を示す情報を参照して前記第1の車両または前記第2の車両の運転者の視認方向を特定し、特定した視認方向に基づいて前記第1の車両または前記第2の車両の車両状況を分類し、前記第1の分類情報または前記第2の分類情報を生成するステップを備えたことを特徴とする請求項8記載の情報提示方法。
  10.  前記第1の車両が過去に前記道路標識に従った走行を行わなかった場合に、
     前記提示態様決定部が、特定された前記第2の視認方向に基づいて前記第2の道路標識情報の提示位置を変化させるステップを備えたことを特徴とする請求項9記載の情報提示方法。
  11.  前記提示態様決定部が、前記特定された第2の視認方向に基づいて、前記第2の道路標識情報の提示態様に音声出力による提示を追加するステップを備えたことを特徴とする請求項9記載の情報提示方法。
  12.  前記提示態様決定部が、前記第2の道路標識情報を提示する前に、前記第2の車両の運転者が該当する道路標識を視認済みである場合に、前記第2の道路標識情報を提示する強さを低下させるステップを備えたことを特徴とする請求項9記載の情報提示方法。
  13.  前記通信部が、前記第1の道路標識情報が提示された際の前記第1の車両の運転者の撮像画像を受信するステップと、
     蓄積制御部が、受信した前記撮像画像から、前記第1の車両の運転者が不快感を示した表情を抽出するステップと、前記表情を抽出した際に提示されていた前記第1の道路標識情報と、当該第1の道路標識情報の提示態様とを対応付けて反応情報を生成して蓄積するステップとを備えたことを特徴とする請求項8記載の情報提示方法。
  14.  前記提示態様決定部が、前記道路標識情報が提示された際の前記反応情報が蓄積されていた場合に、前記道路標識情報を提示する強さを低下させるステップを備えたことを特徴とする請求項13記載の情報提示方法。
  15.  前記提示態様決定部が、前記第1の道路標識情報が提示された際の前記反応情報が蓄積されておらず、且つ前記第1の車両において過去に前記第1の道路標識に従った走行が行われていた場合に、前記第2の道路標識情報を提示する強さを低下させるステップを備えたことを特徴とする請求項13記載の情報提示方法。
  16.  前記通信部が、前記車両状況を示す情報として、前記第1の車両または前記第2の車両の走行状況を受信するステップを備えたことを特徴とする請求項1記載の情報提示方法。
  17.  前記分類部が、受信した前記第1の車両または前記第2の車両の走行状況から推定される前記第1の車両または前記第2の車両の運転者の運転習熟度に基づいて、前記第1の車両または前記第2の車両の車両状況を分類し、前記第1の分類情報または前記第2の分類情報を生成するステップを備えたことを特徴とする請求項16記載の情報提示方法。
  18.  前記分類部が、受信した前記第1の車両または前記第2の車両の走行状況から推定される前記第1の車両または前記第2の車両の運転者の運転特性に基づいて、前記第1の車両または前記第2の車両の車両状況を分類し、前記第1の分類情報または前記第2の分類情報を生成するステップを備えたことを特徴とする請求項16記載の情報提示方法。
PCT/JP2016/082429 2016-11-01 2016-11-01 情報提示方法 WO2018083728A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2016/082429 WO2018083728A1 (ja) 2016-11-01 2016-11-01 情報提示方法
CN201680090462.4A CN109891471B (zh) 2016-11-01 2016-11-01 信息提示方法
US16/337,328 US10891496B2 (en) 2016-11-01 2016-11-01 Information presentation method
JP2018548478A JP6482739B2 (ja) 2016-11-01 2016-11-01 情報提示方法
DE112016007287.2T DE112016007287B4 (de) 2016-11-01 2016-11-01 Informationsdarstellungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082429 WO2018083728A1 (ja) 2016-11-01 2016-11-01 情報提示方法

Publications (1)

Publication Number Publication Date
WO2018083728A1 true WO2018083728A1 (ja) 2018-05-11

Family

ID=62075635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082429 WO2018083728A1 (ja) 2016-11-01 2016-11-01 情報提示方法

Country Status (5)

Country Link
US (1) US10891496B2 (ja)
JP (1) JP6482739B2 (ja)
CN (1) CN109891471B (ja)
DE (1) DE112016007287B4 (ja)
WO (1) WO2018083728A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7053325B2 (ja) * 2018-03-19 2022-04-12 本田技研工業株式会社 情報提供装置およびその制御方法
CN111152790B (zh) * 2019-12-29 2022-05-24 的卢技术有限公司 一种基于使用场景的多设备交互车载抬头显示方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2012068962A (ja) * 2010-09-24 2012-04-05 Yupiteru Corp 車載用電子機器及びプログラム
JP2012118804A (ja) * 2010-12-01 2012-06-21 Honda Motor Co Ltd 警報装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2656141C (en) * 1998-05-15 2012-02-07 International Road Dynamics Inc. Method for automatically controlling traffic signalling device
US6681195B1 (en) * 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
US7821421B2 (en) * 2003-07-07 2010-10-26 Sensomatix Ltd. Traffic information system
DE60318430T2 (de) * 2003-08-14 2009-01-02 Harman Becker Automotive Systems Gmbh Computergestütztes System und Verfahren zur Informationsausgabe an einen Fahrer eines Fahrzeuges
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5106540B2 (ja) * 2007-10-12 2012-12-26 三菱電機株式会社 車載情報提供装置
JP4941234B2 (ja) * 2007-10-31 2012-05-30 株式会社エクォス・リサーチ 道路標識表示装置
WO2011042876A1 (en) * 2009-10-07 2011-04-14 Alon Atsmon Automatic content analysis method and system
WO2011062179A1 (ja) * 2009-11-17 2011-05-26 富士通テン株式会社 情報処理装置、車載装置、情報処理システム、情報処理方法、および記録媒体
CN102741900B (zh) * 2010-03-03 2014-12-10 松下电器产业株式会社 道路状况管理***及道路状况管理方法
US9171409B2 (en) * 2011-05-04 2015-10-27 GM Global Technology Operations LLC System and method for vehicle driving style determination
CN102336193A (zh) * 2011-08-26 2012-02-01 湖南南车时代电动汽车股份有限公司 一种基于路谱信息的混合动力公交车的控制方法
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
CN104641406B (zh) * 2012-09-17 2017-07-14 沃尔沃卡车集团 用于向车辆驾驶员提供指导消息的方法和***
DE102012217013B3 (de) * 2012-09-21 2014-03-06 Continental Automotive Gmbh Verfahren und Vorrichtung zur Fahrzeugkommunikation
JP6094252B2 (ja) 2013-02-20 2017-03-15 株式会社デンソー 道路標識認識装置
JP6062043B2 (ja) * 2013-04-18 2017-01-18 三菱電機株式会社 移動体状態通知装置、サーバ装置および移動体状態通知方法
KR20140133686A (ko) * 2013-05-09 2014-11-20 현대모비스 주식회사 차량 급제동 경고 장치 및 방법
WO2015071923A1 (ja) * 2013-11-12 2015-05-21 三菱電機株式会社 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
JP2015191281A (ja) 2014-03-27 2015-11-02 株式会社Jvcケンウッド 道路標識表示装置
JP6364879B2 (ja) * 2014-03-31 2018-08-01 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
KR20150121977A (ko) * 2014-04-22 2015-10-30 주식회사 만도 교통표지판 인식장치 및 그의 제한속도 출력방법
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6062473B2 (ja) * 2015-03-17 2017-01-18 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
CN205092925U (zh) * 2015-10-12 2016-03-16 常州博显汽车电子有限公司 一种可识别道路交通标识的摄像传感***
CN105335708A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车辆行驶过程中对路标、路牌进行识别的***
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2012068962A (ja) * 2010-09-24 2012-04-05 Yupiteru Corp 車載用電子機器及びプログラム
JP2012118804A (ja) * 2010-12-01 2012-06-21 Honda Motor Co Ltd 警報装置

Also Published As

Publication number Publication date
US20200034635A1 (en) 2020-01-30
JP6482739B2 (ja) 2019-03-13
US10891496B2 (en) 2021-01-12
CN109891471A (zh) 2019-06-14
JPWO2018083728A1 (ja) 2019-01-24
DE112016007287B4 (de) 2020-10-22
CN109891471B (zh) 2022-02-08
DE112016007287T5 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
US11673569B2 (en) Alert control apparatus and alert control method
JP6486640B2 (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
JP6323549B2 (ja) 車両用情報呈示装置
JP6696679B2 (ja) 運転支援装置
CN109690654B (zh) 集中度判定装置、集中度判定方法及用于集中度判定的程序
JP2016081087A (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
JP2010128099A (ja) 車載用音声情報提供システム
JP2010111275A (ja) 車載用警告装置、警告方法および警告プログラム
JP2018149941A (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6482739B2 (ja) 情報提示方法
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
US9789815B2 (en) Navigation device, navigation method, and computer program product
US20210291837A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
JP2020020987A (ja) 車内システム
JP2022047580A (ja) 情報処理装置
JP7358040B2 (ja) 車両用報知装置
US20200193197A1 (en) Information processing apparatus and computer-readable storage medium
CN110281857B (zh) 显示控制装置以及显示控制方法
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
WO2018168046A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018168048A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6840341B2 (ja) Hmi制御装置、移動体、hmi制御方法、及びプログラム
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
US11443533B2 (en) Information processing apparatus and computer readable storage medium
JP2024000144A (ja) 車両の警報装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018548478

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920860

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16920860

Country of ref document: EP

Kind code of ref document: A1