CN109891471A - 信息提示方法 - Google Patents

信息提示方法 Download PDF

Info

Publication number
CN109891471A
CN109891471A CN201680090462.4A CN201680090462A CN109891471A CN 109891471 A CN109891471 A CN 109891471A CN 201680090462 A CN201680090462 A CN 201680090462A CN 109891471 A CN109891471 A CN 109891471A
Authority
CN
China
Prior art keywords
information
vehicle
road markings
prompt
prompt modes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680090462.4A
Other languages
English (en)
Other versions
CN109891471B (zh
Inventor
佐藤匠
森善彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109891471A publication Critical patent/CN109891471A/zh
Application granted granted Critical
Publication of CN109891471B publication Critical patent/CN109891471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种信息提示方法，包括下述步骤：在判定结果显示出未进行遵照道路标识的行驶的情况下,提示模式决定部(205)将与第一道路标识信息的提示模式不同的提示模式决定为第二道路标识信息的提示模式，该判定结果对应于与第二道路标识信息及第二分类信息的组相一致的第一道路标识信息及第一分类信息。

Description

信息提示方法
技术领域
本发明涉及对与由摄像头拍摄到的道路标识相关的信息通知给车辆的乘客的技术。
背景技术
以往，存在对由摄像头拍摄到的道路标识的信息显示于车辆内的显示部的技术。这是由于，即使设为车辆中搭载有导航装置，也不能将处于道路上的所有的道路标识的信息存储到导航装置的地图信息中。
例如，专利文献1中记载了下述道路标识显示装置，即：对由摄像头拍摄到的车外的拍摄图像执行模板匹配，针对每个参照模版求出相似度点，在判断出最大的相似度点与两位以下的相似度点之差差距足够大的情况，显示部显示与获取最大的相似度点的参照模版相对应的道路标识的图标图像。并且，专利文献1中所记载的道路标识显示装置中，公开了下述内容：除显示部显示图标图像外，还用与图标图像相对应的语音(例如“限制时速40km”)进行通知。
现有技术文献
专利文献
专利文献1
日本专利特开2015－191281号公报
发明内容
发明所要解决的技术问题
然而，上述的专利文献1所记载的技术中，存在不能根据驾驶员的状态来提示道路标识的信息的问题。例如，存在下述情况：对道路标识的熟练度较高的驾驶员进行过度的通知以使其厌烦，或仅提示出道路标识的图标图像，但由于是外国人或初级驾驶员因而不能使其识别出道路标识的意思。由此，存在难以向各驾驶员恰好地提示道路标识的信息的问题。
本发明是为了解决上述问题而完成的，其目的在于根据驾驶员的状态恰好地提示道路标识的信息。
解决技术问题所采用的技术方案
本发明所涉及的信息提示方法，包括下述步骤：通信部接收第一车辆中拍摄到的道路标识的拍摄图像、及表示第一车辆的车辆状况的信息；标识识别部对拍摄图像中所包含的道路标识进行识别，生成第一道路标识信息；分类部参照表示第一车辆的车辆状况的信息来生成第一分类信息；提示模式决定部基于第一道路标识信息及第一分类信息，来决定第一道路标识信息的提示模式；提示控制部对以所决定的提示模式提示第一道路标识信息进行控制；标识符合判定部判定第一车辆是否进行了遵照道路标识的行驶；将该判定结果、第一道路标识信息、第一分类信息及第一道路标识信息的提示模式对应起来进行存储；通信部接收相对于第一车辆按照时间顺序而后行的第二车辆中所拍摄到的道路标识的拍摄图像、及表示第二车辆的车辆状况的信息；标识识别部对拍摄图像中所包含的道路标识进行识别，生成第二道路标识信息；分类部参照表示第二车辆的车辆状况的信息来生成第二分类信息；在判定结果显示出未进行遵照道路标识的行驶的情况下，提示模式决定部将与第一道路标识信息的提示模式不同的提示模式决定为第二道路标识信息的提示模式，其中，该判定结果对应于与第二道路标识信息及第二分类信息的组相一致的第一道路标识信息及第一分类信息的组；以及提示控制部对以所决定的提示模式提示第二道路标识信息进行控制。
发明效果
根据本发明，能根据驾驶员的状态，恰好地提示道路标识信息。
附图说明
图1是表示实现实施方式1所涉及的信息提示方法的信息提示***的结构的框图。
图2是表示实现实施方式1所涉及的信息提示方法的服务器装置的存储部的存储例的图。
图3A、图3B是表示实现实施方式1所涉及的信息提示方法的车载装置的硬件结构例的图。
图4A、图4B是表示实现实施方式1所涉及的信息提示方法的服务器装置的硬件结构例的图。
图5是表示实现实施方式1所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。
图6是表示实现实施方式1所涉及的信息提示方法的服务器装置的提示模式决定部的动作的流程图。
图7是表示实现实施方式1所涉及的信息提示方法的信息提示***的符合结果的存储处理的流程图。
图8是表示在实现实施方式1所涉及的信息提示方法的服务器装置的提示模式决定部所设定的提示模式的一个示例的图。
图9是表示实现实施方式2所涉及的信息提示方法的服务器装置的存储部的存储例的图。
图10是表示实现实施方式3所涉及的信息提示方法的信息提示***的结构的框图。
图11A、图11B是表示实现实施方式3所涉及的信息提示方法的服务器装置的反应信息存储部的存储例的图。
图12是表示实现实施方式3所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。
图13是表示实现实施方式4所涉及的信息提示方法的信息提示***的结构的框图。
图14是表示实现实施方式4所涉及的信息提示方法的服务器装置的存储部的存储例的图。
图15是表示实现实施方式4所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。
图16是表示实现实施方式5所涉及的信息提示方法的信息提示***的结构的框图。
图17是表示实现实施方式5所涉及的信息提示方法的服务器装置的存储部的存储例的图。
图18是表示实现实施方式5所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。
具体实施方式
以下，为了对本发明进行更加详细的说明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是表示实现实施方式1所涉及的信息提示方法的信息提示***的结构的框图。
信息提示***由车载装置100和服务器装置200构成。图1的示例中，示出了对服务器装置200连接一个车载装置100的情况，但在实际的信息提示***的使用中，设想对服务器装置200连接多个车载装置100。
车载装置100具备拍摄部101、行驶状况收集部102、语音识别部103、控制部104、通信部105、显示器106及扬声器107。
拍摄部101例如由摄像头等构成，对搭载有车载装置100的本车辆的前方进行拍摄。行驶状况收集部102对表示本车辆的行驶状况的信息进行收集。行驶状况收集部102对作为表示本车辆的行驶状况的信息，例如本车辆的当前位置信息、行驶速度、方向盘转向角、方向盘操作状态及制动器操作状态等进行收集。语音识别部103对设置于车内的麦克风(未图示)等采集到的本车辆的乘客的对话等语音信息进行语音识别处理。将语音识别部103的语音识别处理设为与多种语言相对应。语音识别部103可以对本车辆的所有乘客的对话的语音信息进行语音识别处理，还可以仅对例如坐在本车辆的驾驶席及副驾驶席的乘客的对话的语音信息进行语音识别处理等、仅对限定了的乘客进行语音识别处理。
控制部104对将拍摄部101获取到的拍摄图像、行驶状况收集部102收集到的表示行驶状况的信息、及语音识别部103的语音识别结果经由通信部105发送至服务器装置200进行控制。并且，控制部104经由通信部105获取从服务器装置200所发送的控制信息。控制部104基于获取到的控制信息，进行对信息显示于显示器106的控制及从扬声器107输出语音的控制。
通信部105与服务器装置200的通信部201互相进行无线通信。显示器106基于控制部104的控制指示，对从服务器200所发送的信息进行输出显示。扬声器107基于控制部104的控制指示，对从服务器200所发送的信息进行输出语音。
服务器装置200具备通信部201、提示控制部202、标识识别部203、分类部204、提示模式决定部205、存储控制部206、标识符合判定部207及存储部208。与服务器装置200相连接的车载装置100搭载于多个车辆。另外，本发明中，将按照时间顺序而先行的车辆称为第一车辆，并将比第一车辆按照时间顺序而后行的车辆称为第二车辆。即第二车辆在下次的处理中，被当作第一车辆。并且第一车辆及第二车辆未必表示特定的固有车辆。也有第一车辆存在多台的情况。并且，第二车辆是搭载有在某个提示处理中提示道路标识信息的对象即车载装置100的车辆。
另外在以下的说明中对于第一车辆及第二车辆，服务器装置200原则上进行相同的处理。本发明对与当前的车辆状况相同的车辆状况是否处于以前进行确认，当该车辆状况下车辆没有进行遵照道路标识信息的行驶时，用与以前不同的方式提示道路标识信息。以下对此进行说明。
通信部201与车载装置100的通信部105互相进行无线通信。提示控制部202对用于将从车载装置100所发送的拍摄图像及表示车辆状况的信息输出至标识识别部203、分类部204及提示模式决定部205并生成道路标识信息进行控制。并且，提示控制部202进行用于将所生成的道路标识信息输出至车载装置100的控制。标识识别部203对从提示控制部202输入的拍摄图像进行分析，在拍摄图像中包含有道路标识的情况下，进行该道路标识的识别并生成道路标识信息。标识识别部203对所生成的道路标识信息输出至提示控制部202。
分类部204参照从提示控制部202输入的表示车辆状况的信息，进行车辆状况的分类。该实施方式1中，分类部204基于表示车辆状况的信息进行分类，生成分类信息。
此处，车辆状况是指由表示行驶状况的信息或乘客信息等表示车辆状况的信息所确定的场景。并且，分类信息指对该车辆状况进行分类后得到的结果。分类信息是表示各车辆的车辆状况是相同还是不同的信息。另外，车辆状况相同是指从某个观点来看，车辆状况相同。
表示行驶状况的信息是指行驶履历信息、当前位置信息、行驶速度、车辆操作信息(方向盘转向角、方向盘操作状态、制动器操作状态、其它)等信息。
并且，乘客信息是例如从设置于车辆内的装置所得到的信息，是例如表示乘客的使用语言、年龄、性别等信息。并且，乘客信息还可以从车辆操作信息中获取。例如，表示驾驶员的驾驶熟练度的信息或表示是否着急的信息从急加减速较多等车辆操作信息中获取。
行驶履历信息是也使用于用户是否遵照道路标识进行行驶的判断的信息。
分类部204将基于上述表示车辆状况的信息而生成的分类信息输出至提示控制部202。
提示模式决定部205参照存储于存储部208的信息(详细内容将后述)，对与第二道路标识信息及第二分类信息的组相一致的、第一道路标识信息及第一分类信息的组进行确定。提示模式决定部205参照与所确定到的第一道路标识信息及第一分类信息的组对应起来而得到的符合结果，来决定第二道路标识信息的提示模式。此处，在第一车辆遵照道路标识的比例为小于阈值的情况下，提示模式决定部205将第二道路标识信息的提示模式变更为与第一道路标识信息的提示模式不同的提示模式。
即，在按照时间顺序而先行的第一车辆不遵照道路标识的情况下，若提示模式决定部205将第一分类信息考虑在内也对按照时间顺序而后行的第二车辆决定相同的提示模式，则有可能第二车辆的驾驶员由于不注意而未遵照与第一辆相同的道路标识。因此，提示模式决定部205针对第二车辆变更为与第一车辆不同的提示模式。
提示控制部202将标识识别部203生成的第二道路标识信息、与提示模式决定部205决定的第二道路标识信息的提示模式经由通信部201发送至车载装置100。
上述中省略了记载，但通信部201、提示控制部202、标识识别部203、分类部204及提示模式决定部205也针对第一车辆进行相同的处理。其结果是，能得到与第一车辆相对应的第一道路标识信息、第一分类信息及第一道路标识信息的提示结果。这在其他实施方式中也同样。
存储控制部206进行如下控制：用于将提示有第一道路标识信息的第一车辆的车载装置100的拍摄部101的拍摄图像、及行驶状况收集部102收集到的表示行驶状况(车辆操作信息、行驶履历信息等)的信息输出至标识符合判定部207，并对道路标识的符合结果进行存储。
标识符合判定部207从拍摄图像及表示行驶状况的信息中，对第一车辆是否进行了遵照道路标识的行驶进行判定。标识符合判定部207对判定结果、第一分类信息、在得到该判定结果时所提示的第一道路标识信息、及该第一道路标识信息的提示模式存储于存储部208。另外，标识符合判定部207中，第一道路标识信息及第一道路标识信息的提示模式可以从车载装置100侧获取，还可以从服务器装置200的提示控制部202获取。
存储部208对车辆的信息进行存储。
图2是表示实现实施方式1所涉及的信息提示方法的信息提示***的存储部208的存储例的图。
存储部208例如对由分类信息、提示出的道路标识信息、道路标识信息的提示模式、道路标识的符合率等构成的信息进行存储。
图2的示例中，No.1的信息显示了分类信息是“驾驶员说出语言Y”、所提示的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识”、以及道路标识的符合率是“65％”这样的内容。
No.3的信息显示了分类信息是“驾驶员说出语言Y”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识、从扬声器输出语音”、以及道路标识的符合率是“90％”的内容。
对No.1的信息和No.3的信息进行比较，则显示了对于驾驶员说出语言Y的情况，通过显示在显示器106、且从扬声器107输出语音，从而能有效地对驾驶员提示道路标识信息。提示模式决定部205通过参照如图2所示的符合结果，从而能有效地对驾驶员提示道路标识。
接着，对车载装置100的硬件结构例进行说明。
图3A、图3B是表示实现实施方式1所涉及的信息提示方法的车载装置100的硬件结构例的图。
车载装置100中的通信部105是在车载装置100与服务器装置200之间进行无线通信的收发装置110。车载装置100中的行驶状况收集部102、语音识别部103及控制部104可以如图3A所示是作为专用的硬件的处理电路120，也可以如图3B所示是执行存储于存储器140的程序的处理器130。
如图3A所示，在行驶状况收集部102、语音识别部103、及控制部104是专用的硬件的情况下，处理电路120例如相当于单一电路、复合电路、编程处理器、并联编程处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合。行驶状况收集部102、语音识别部103及控制部104的各部分的功能可以分别用处理电路来实现，也可以汇总各部分的功能且用1个处理电路来实现。
如图3B所示，在行驶状况收集部102、语音识别部103及控制部104是处理器130的情况下，各部分的功能可以由软件、固件、或软件和固件的组合来实现。软件或固件以程序的形式来表述，并存储于存储器140。处理器130读取出存储于存储器140的程序并执行，从而实现行驶状况收集部102、语音识别部103及控制部104的各功能。即，行驶状况收集部102、语音识别部103及控制部104包括用于存储如下程序的存储器140，该程序在利用处理器130来执行时最终执行后述的图5及图7所示的各步骤。此外，也可以说这些程序是使计算机执行行驶状况收集部102、语音识别部103及控制部104的步骤或方法的程序。
此处，处理器130例如是CPU(Central Processing Unit:中央处理装置)、处理装置、运算装置、处理器、微处理器、微机或DSP(Digital Signal Processor：数字信号处理器)等。
存储器140例如可以是RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)、闪存、EPROM(Erasable Programmable ROM：可擦写可编程只读存储器)、EEPROM(Electrically EPROM：电可擦写可编程只读存储器)等非易失性或易失性的半导体存储器，也可以是硬盘、软盘等磁盘，也可以是小型磁盘、CD(Compact Disc：高密度磁盘)、DVD(Digital Versatile Disc：数字多功能光盘)等光盘。
另外，对于行驶状况收集部102、语音识别部103及控制部104的各功能，可以用专用的硬件来实现一部分，并用软件或固件来实现一部分。由此，车载装置100中的处理电路120可以利用硬件、软件、固件或它们的组合来实现上述各种功能。
接着，对服务器装置200的硬件结构例进行说明。
图4A、图4B是表示实现实施方式1所涉及的信息提示方法的服务器装置200的硬件结构例的图。
服务器装置200中的通信部201是在车载装置100与服务器装置200之间进行无线通信的收发装置210。服务器装置200中的提示控制部202、标识识别部203、分类部204、提示模式决定部205、存储控制部206及标识符合判定部207可以如图4A所示是专用的硬件即处理电路220，也可以如图4B所示是执行存储于存储器240的程序的处理器230。
如图4A所示，在处理电路220是专用的硬件的情况下，处理电路220相当于例如单一电路、复合电路、编程处理器、并联编程处理器、ASIC、FPGA或它们的组合。
此外，如图4B所示，在处理电路220是处理器230的情况下，处理电路220的功能可以由软件、固件、或软件和固件的组合来实现。软件或固件以程序的形式来表述，并存储于存储器240。处理器230读取存储于存储器240的程序并加以执行，从而实现处理电路220的功能。即，处理电路220具备存储器240，该存储器240用于存储在由处理器230执行时最终执行后述的图5、图6及图7所示的各步骤的程序。另外，也可以说这些程序是使计算机执行处理电路220的步骤或方法的程序。
另外，对于处理电路220的功能，可以用专用的硬件来实现一部分，并用软件或固件来实现一部分。由此，服务器装置200中的处理电路220可以利用硬件、软件、固件或它们的组合来实现上述各种功能。
接着，对信息提示***的动作进行说明。
图5是表示实现实施方式1所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。向第一车辆的车载装置100提示标识信息的处理与第二车辆的情况通用，因此，下面以向第二车辆的车载装置100提示标识信息的处理为例进行说明。
另外，以下，对于搭载在第二车辆的车载装置100的拍摄部101通常获取拍摄图像、行驶状况收集部102通常收集表示本车辆的行驶状况的信息、语音识别部103通常采集本车辆的车内对话对话来获取语音识别结果的情况进行说明。
车载装置100的控制部104获取拍摄部101的拍摄图像、表示行驶状况收集部102的行驶状况的信息、及语音识别部103的语音识别结果以作为乘客信息，经由通信部105发送至服务器装置200(步骤ST1)。服务器装置200的通信部201接收从车载装置100所发送的拍摄图像及语音识别结果，并输出至提示控制部202(步骤ST2)。提示控制部202将步骤ST2中所输入的拍摄图像输出至标识识别部203，就语音识别结果输出至分类部204(步骤ST3)。标识识别部203对步骤ST3中所输入的拍摄图像进行分析，对拍摄图像中是否包含有道路标识进行判定(步骤ST4)。在没有包含道路标识的情况下(步骤ST4；否)，流程返回步骤ST1的处理。
另一方面，在包含有道路标识的情况下(步骤ST4；是)，标识识别部203对该道路标识进行识别，生成第二道路标识信息(步骤ST5)。标识识别部203生成的第二道路标识信息是表示道路标识的图像、及表示道路标识所指的交通规则的信息等。标识认识部203将步骤ST5中生成的第二道路标识信息通知给提示控制部202(步骤ST6)。分类部204基于步骤ST3中所输入的语音识别结果对车辆的状况进行分类，生成第二分类信息(步骤ST7)。
例如，分类部204对乘客用于对话的语言进行确定，生成语言信息。分类部204所生成的语言信息是表示车辆的乘客用于对话的语言的信息。分类部204将步骤ST8中生成的第二分类信息通知给提示控制部202(步骤ST8)。另外，步骤ST7及步骤ST8的处理可以是与步骤ST4至步骤ST6的处理并行实施的处理。
提示控制部202将由标识识别部203所通知的第二道路标识信息、以及由分类部204所通知的第二分类信息输出至提示模式决定部205，对第二道路标识信息的提示模式的决定进行指示(步骤ST9)。提示模式决定部205参照存储部208，对与从提示控制部202所输入的第二道路标识信息及第二分类信息的组相一致的、第一道路标识信息及第一分类信息的组进行确定(步骤ST10)。提示模式决定部205参照存储部208，对与所确定的第一道路标识信息和第一分类信息的组对应起来而得到的符合结果进行获取(步骤ST11)。
例如，在将第一道路标识信息提示给以从提示控制部202所输入的语言信息中所显示的语言进行对话的第一车辆的驾驶员时,提示模式决定部205从存储部208获取符合结果。
提示模式决定部205基于步骤ST11中获取到的符合结果，来决定从提示控制部202所输入的第二道路标识信息的提示模式(步骤ST12)。提示模式决定部205将所决定的提示模式通知给提示控制部202(步骤ST13)。
提示控制部202以提示模式决定部205决定的提示模式将提示第二道路标识信息的控制信息经由通信部201发送至车载装置100(步骤ST14)。车载装置100的通信部105接收从服务器装置200所发送的控制信息，输出至控制部104(步骤ST15)。控制部104基于步骤ST15中所输入的控制信息，进行将第二道路标识信息经由显示器106、或显示器106及扬声器107提示给驾驶员的处理(步骤ST16)。之后，流程图返回到步骤ST1的处理，并重复上述的处理。
对图5中所示的流程图的步骤ST10至步骤ST12的处理进行更为详细的说明。图6是表示实现实施方式1所涉及的信息提示方法的信息提示***的服务器装置200的提示模式决定部205的动作的流程图。图6的流程图中，对分类信息是语言信息的情况进行说明。
提示模式决定部205参照存储部208所存储的符合结果，对是否存在第一道路标识信息和第一分类信息的组进行判定，该第一道路标识信息和第一分类信息的组对与从提示控制部202输入的第二道路标识信息相同的道路标识信息进行提示、且利用与从提示控制部202输入的第二分类信息(语言信息)所示的语言相同的语言进行说话(步骤ST21)。
在存在第一道路标识信息和第一分类信息的组的情况下(步骤ST21；是)，提示模式决定部205获取与第一道路标识信息和第一分类信息的组对应起来而得到的符合结果(步骤ST22)。提示模式决定部205参照获取到的符合结果的道路标识的符合率，对是否存在具有阈值以上的符合率的符合结果进行判定(步骤ST23)。
在存在符合率为阈值以上的符合结果的情况下(步骤ST23；是)，提示模式决定部205选择符合率为阈值以上的符合结果的道路标识信息的提示模式中、最简单的提示模式(步骤ST24)。提示模式决定部205例如利用输出对象的设备数等对提示模式是否简单进行判断。在提示模式决定部205存在仅显示于显示器106的提示模式(设备数：1)、以及显示于显示器106及向扬声器107输出语音的提示模式(设备数：2)的情况下，提示模式决定部205判断为仅显示于显示器106的情况是更简单的提示模式。另一方面，在不存在符合率为阈值以上的符合结果的情况下(步骤ST23；否)，提示模式决定部205选择在提示了相同的道路标识信息的符合结果的提示模式中、对最强调的提示模式进一步进行强调的提示模式(步骤ST25)。
在不存在第一道路标识信息与第一分类信息的组的情况下(步骤ST21：否)，提示模式决定部205选择预先确定的提示模式(步骤ST26)。提示模式决定部205将步骤ST24、步骤ST25或步骤ST26中选择的提示模式决定为用于提示第二道路标识信息的提示模式(步骤ST27)。之后，流程图前进至图5的流程图的步骤ST13的处理。
接着，对将表示搭载了车载装置100的车辆是否符合所提示的道路标识信息进行了行驶的符合结果存储于服务器装置200的处理进行说明。
图7是表示实现实施方式1所涉及的信息提示方法的信息提示***的符合结果的存储处理的流程图。以下，以搭载车载装置100、存储提示了第一道路标识信息的第一车辆是否符合道路标识信息进行了行驶的符合结果的处理为例进行说明。
车载装置100的控制部104获取表示行驶状况收集部102的行驶状况的信息，经由通信部105发送至服务器装置200(步骤ST31)。步骤ST31的处理是对车载装置100中提示了第一道路标识信息后所实施的处理，控制部104在提示第一道路标识信息之后对表示规定期间的本车辆的行驶状况的信息进行发送。此处，规定期间是指可适当设定的期间。例如，控制部104在进行提示第一道路标识信息的控制在后，在0秒后且15秒内获取表示行驶状况的信息。
服务器装置200的通信部201接收从车载装置100所发送的表示第一车辆的行驶状况的信息，将接收到的表示行驶状况的信息输出至存储控制部206(步骤ST32)。若存储控制部206输入步骤ST32中表示第一车辆的行驶状况的信息，则从提示控制部202获取与车载装置100相对应的第一车辆的当前的第一分类信息、第一道路标识信息及第一道路标识信息的提示模式(步骤ST33)。存储控制部206对步骤ST33中获取到的信息与表示行驶状况的信息对应起来输出至标识符合判定部207，指示对是否进行了符合道路标识的行驶进行判定(步骤ST34)。
标识符合判定部207对第一车辆的行驶状态与提示给驾驶员的第一道路标识信息进行比较，对是否进行了符合道路标识的行驶进行判定(步骤ST35)。标识符合判定部207参照步骤ST35的判定结果、与存储于存储部208的过去的符合结果，对道路标识的符合度进行计算(步骤ST36)。标识符合判定部207将步骤ST36中计算出的符合度、第一分类信息、第一道路标识信息、及第一道路标识信息的提示模式作为符合结果存储于存储部208(步骤ST37)。
步骤ST37的存储处理中，对于存储部208中已存储有在相同的分类信息中、对相同的道路标识信息以相同的提示模式进行提示的情况下的符合度的情况，仅进行符合度的更新。另一方面，对于存储部208没有存储相同的分类信息、相同的道路标识信息或相同的道路标识信息的提示模式的信息的情况，生成新的符合结果。之后，流程图返回到步骤ST31的处理，并重复相同的处理。
接着，边参照图6中所示的流程图，边列举具体示例进行说明。
以下，设第二车辆A在将语言X作为公共语的x国行驶，通过“暂时停止”的道路标识时，标识识别部203生成表示“暂时停止”的第二道路标识信息。并且，设第二车辆A中搭乘有说语言Y的驾驶员和说语言Y的同乘者，分类部204生成表示驾驶员说语言Y的语言的情况即第二分类信息。并且，设存储部208中存储有图2所示的符合结果。并且，设提示模式决定部205中设定有决定第二道路标识信息的提示模式时的符合度的阈值为75％以上。
图6的流程图的步骤ST21中，提示模式决定部205判定为在存储了图2所示的符合结果的存储部208中，存在表示驾驶员用语言Y说话的第一分类信息、与表示“暂时停止”的第一道路标识信息的组(No.1至No.3的信息)(步骤ST21；是)。步骤ST22中，提示模式决定部205获取No.1至No.3的符合结果。步骤ST23中，提示模式决定部205判定为存在具有75％以上的符合度的符合结果(No.2及No.3的信息)(步骤ST23；是)。
步骤ST24中，提示模式决定部205对No.2的信息的提示模式与No.3的信息的提示模式进行比较，将提示模式仅是显示器106的情况设为较容易从而选择No.2的信息的提示模式。步骤ST27中，提示模式决定部205对No.2的信息的道路标识信息的提示模式即“显示器显示道路标识和利用语言Y的文字说明”决定为用于提示第二道路标识信息的提示模式。
步骤ST23中，对于步骤ST22中获取到的信息中、不存在符合度为阈值以上的符合结果的情况，提示模式决定部205对从符合度最高的提示模式中进一步强调一个等级提示而得到的模式决定为用于提示第二道路标识信息的提示模式。
例如，提示模式决定部205中，在将决定提示模式时的符合度的阈值设定为95％以上的情况下，图2的示例中，No.1至No.3的任意的信息均是道路标识的符合度小于95％，不存在符合度为阈值以上的符合结果。提示模式决定部205对提示模式“显示器显示道路标识、从扬声器利用语言Y输出语音及注意信息”决定为用于提示第二道路标识信息的提示模式，该提示模式“显示器显示道路标识、从扬声器利用语言Y输出语音及注意信息”为在No.1至No.3的信息中，从符合度为最高90％的No.3的信息的提示模式“显示器显示道路标识、从扬声器利用语言Y输出语音”中进一步强调一个等级提示而得到。
设对于提示模式决定部205，按照提示的各个强度设定了用于提示道路标识信息的提示模式。
图8是表示在实现实施方式1所涉及的信息提示方法的服务器装置200的提示模式决定部205所设定的提示模式的一个示例的图。
对于提示模式决定部205，设定有“显示器提示道路标识”以作为等级1的道路标识信息的提示模式。
对于提示模式决定部205，设定有“显示器提示道路标识及文字说明”以作为等级2的道路标识信息的提示模式。
对于提示模式决定部205，设定有“显示器提示道路标识、从扬声器输出语音”以作为等级3的道路标识信息的提示模式。
对于提示模式决定部205，设定有“显示器提示道路标识、从扬声器输出语音及注意信息”以作为等级4的道路标识信息的提示模式。
对于提示模式决定部205，设定有“显示器提示道路标识、从扬声器输出语音及警告音”以作为等级5的道路标识信息的提示模式。
图8的提示模式的一个示例中，对由等级4的道路标识信息的提示模式所示的“输出注意信息”进行说明。等级4的道路标识信息的提示模式是在显示器提示道路标识、及从扬声器输出语音及注意信息的提示模式。例如，设存在与在x国中指“暂时停止”的道路标识相似的、指“禁止暂时停止”的y国中的道路标识。并且，对于说y国的语言Y的驾驶员经常弄错x国中的“暂时停止”的道路标识的情况，利用语言Y输出用于对该错误引起注意的注意信息。并且，还可以构成为对用于引起注意的注意信息用文字说明来进行提示。
如上所述，根据本实施方式1，由于构成为包括下述步骤：通信部201接收第一车辆中拍摄到的道路标识的拍摄图像、及表示第一车辆的车辆状况的信息；标识识别部203对拍摄图像中所包含的道路标识进行识别，生成第一道路标识信息；分类部204参照表示第一车辆的车辆状况的信息来生成第一分类信息；提示模式决定部205基于第一道路标识信息及第一分类信息，来决定第一道路标识信息的提示模式；提示控制部对以所决定的提示模式提示第一道路标识信息进行控制；标识符合判定部207判定第一车辆是否进行了遵照道路标识的行驶；将该判定结果、第一道路标识信息、第一分类信息及第一道路标识信息的提示模式对应起来进行存储；通信部201接收相对于第一车辆按照时间顺序而后行的第二车辆中所拍摄到的道路标识的拍摄图像、及表示第二车辆的车辆状况的信息；标识识别部203对拍摄图像中所包含的道路标识进行识别，生成第二道路标识信息；分类部204参照表示第二车辆的车辆状况的信息来生成第二分类信息；在判定结果显示出未进行按照道路标识的行驶的情况下，所述提示模式决定部205将与第一道路标识信息的提示模式不同的提示模式决定为第二道路标识信息的提示模式，其中，该判定结果对应于与第二道路标识信息及第二分类信息的组相一致的第一道路标识信息及第一分类信息的组；以及提示控制部202对以所决定的提示模式提示第二道路标识信息进行控制，由于上述步骤，因此能以有效的提示模式将表示道路标识所指的交通规则的信息提示给驾驶员。并且，能进行对不知道道路标识指什么意思的驾驶员、或看漏道路标识的驾驶员的驾驶的辅助。
并且，根据本实施方式1，由于构成为包括下述的步骤：通信部201接收对第一车辆或第二车辆内的语音进行识别的语音识别结果以作为表示车辆状况的信息；分类部204参照接收到的语音识别结果，对第一车辆或第二车辆的乘客用于对话的语言进行确定，基于所确定的语言对第一车辆或第二车辆的车辆状况进行分类，生成第一分类信息或第二分类信息；在过去没有进行按照所述道路标识的行驶的情况下，提示模式决定部205对利用所确定的语言提示道路标识信息的提示模式进行决定，因而驾驶员在与本国不同的国家进行驾驶时也能应对因各国制度的不同而发生的道路标识的误认、道路标识的不理解。例如，存在与x国中指“暂时停止”的道路标识相似的指“禁止暂时停止”的y国中的道路标识，说y国的语言Y的驾驶员也能应对经常弄错x国的“暂时停止”的道路标识的情况。并且，能用驾驶员进行对话的语言提示关于道路标识的信息，并能对有效的信息进行提示。
另外，上述的实施方式1中，示出了服务器装置200的分类部204确定车辆的乘客用于对话的语言的结构，但还可以由车载装置100侧来确定车辆的乘客用于对话的语言。该情况下，车载装置100将所确定的语言发送至服务器装置200。
实施方式2.
该实施方式2中，表示分类部204生成对话信息以作为分类信息的结构。
实施方式2的信息提示***是与图1中所示的实施方式1所涉及的信息提示***相同的结构，因而省略框图的记载。
分类部204与实施方式1同样地基于表示车辆状况的信息来对车辆状况进行分类。本实施方式2中，分类部204生成表示第二车辆内有无对话的情况的对话信息以作为第二分类信息。分类部204对生成的第二分类信息、即第二对话信息输出至提示控制部202。
分类部204对表示车辆状况的信息中语音识别结果进行分析进而识别车内有无对话。分类部204例如将车内状况分类为“有对话”及“无对话”的某一个，生成第二分类信息。并且，分类部204对车内状况的分类并不限定于“有对话”和“无对话”的两种，还可以识别对话频度等对对话的状况进行识别。分类部204在识别到对话的频度的情况下，根据识别到的对话频度对对话的状况精细地进行分类。
提示模式决定部205参照存储部208中所存储的信息，对与第二道路标识信息及第二分类信息(第二对话信息)的组相一致的、第一道路标识信息及第一分类信息(第一对话信息)的组进行确定。提示模式决定部205参照与所确定的第一道路标识信息及第一分类信息(第一对话信息)的组对应起来而得到的符合结果，来决定第二道路标识信息的提示模式。
存储部208与实施方式1同样，例如对由分类信息、提示出的道路标识信息、道路标识信息的提示模式、道路标识的符合率等构成的信息进行存储。
图9是表示实现实施方式2所涉及的信息提示方法的服务器装置200的存储部208的存储例的图。
存储部208例如对由分类信息、提示出的道路标识信息、道路标识信息的提示模式、道路标识的符合率等构成的信息进行存储。
图9的示例中，No.1的信息表示了分类信息是“无对话”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识”及道路标识的符合率是“95％”的情况。
No.2的信息表示了分类信息是“有对话”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识”及道路标识的符合率是“75％”的情况。No.3的信息表示了分类信息是“有对话”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识、从扬声器利用语言Y输出语音”及道路标识的符合率是“90％”的情况。
对于分类部204分类为“有对话”的情况，驾驶员的注意变得散漫的情况较多，通过显示器106显示道路标识，甚至对来自扬声器107的道路标识信息进行输出语音，从而能有效地向驾驶员提示道路标识信息。另一方面，对于分类部204分类为“无对话”的情况，驾驶员集中于驾驶的情况较多，仅在显示器106显示道路标识，就能有效地向驾驶员提示道路标识。
接着，对分类部204生成第二对话信息(以下，记载为第二分类信息(对话信息))以作为第二分类信息的情况下的动作进行说明。
实施方式2所涉及的信息提示***整体的动作与在实施方式1的图5中所示的流程图相同。
图5的流程图的步骤ST7中，分类部204对第二车辆的车内有无对话进行识别，生成第二分类信息(对话信息)。并且，步骤ST10中，提示模式决定部205参照存储部208，对与从提示控制部202所输入的第二道路标识信息及第二分类信息(对话信息)的组相一致的、第一道路标识信息及第一分类信息的组进行确定。步骤ST11中，提示模式决定部205参照存储部208，对与所确定的第一道路标识信息及第一分类信息的组对应起来而得到的符合结果进行获取。
具体而言，提示模式决定部205从存储部208获取向进行对话的第一车辆的驾驶员提示出第一道路标识信息时的符合结果。
图5中所示的流程图的步骤ST10至ST12的处理的详细内容与实施方式1的图6中所示的流程图相同。
作为图6的流程图的步骤ST21，提示模式决定部205参照存储部208所存储的符合结果，对是否存在第一道路标识信息和第一分类信息的组进行判定，该第一道路标识信息和第一分类信息的组是与提示了与从提示控制部202输入的第二道路标识信息相同的道路标识信息、且从提示控制部202输入的第二分类信息(对话信息)相同的对话信息。
实现实施方式2所涉及的信息提示方法的信息提示***的符合结果的存储处理与在实施方式1的图7中所示的流程图相同。
作为图7的流程图的步骤ST33，存储控制部206从提示控制部202获取与车载装置100相对应的第一车辆的刚才的对话信息即第一分类信息、第一道路标识信息及第一道路标识信息的提示模式。
如上所述，根据本实施方式2，构成为分类部204参照接收到的语音识别结果对第一车辆或第二车辆的乘客的对话状况进行识别，基于所识别的对话状况对第一车辆或第二车辆的车辆状况进行分类，生成第一分类信息或第二分类信息，因此能根据车内的对话的状况有效地向驾驶员提示道路标识信息。
实施方式3.
本实施方式3中示出了下述结构：对提示出道路表示信息后的驾驶员的反应进行存储，使下次的道路标识信息的提示模式的决定中反映出所存储的反应。
图10是表示实现实施方式3所涉及的信息提示方法的信息提示***的结构的框图。实施方式3的服务器装置200a设计为在实施方式1所示的服务器装置200中追加反应信息存储部209。并且，还构成为具备提示控制部202a、提示模式决定部205a及存储控制部206a以代替实施方式1所示的服务器装置200的提示控制部202、提示模式决定部205及存储控制部206。
以下，对与实施方式1所涉及的信息提示***的结构要素相同或相当的部分，标注与实施方式1使用的标号相同的标号，并省略或简化其说明。
存储控制部206a除实施方式1中所示的处理以外，还进行以下所示的处理。存储控制部206a对从车载装置100发送的语音识别结果经由通信部201进行获取。存储控制部206a从获取到的语音识别结果中提取出表示驾驶员的不快感的语音识别结果。存储控制部206a例如将显示“好烦啊”等抱怨的词语、咂嘴音等作为表示驾驶员的不快感的语音识别结果来进行提取。存储控制部206a从提示控制部202a获取当对表示驾驶员的不快感的语音识别结果进行提取时所提示的第一道路标识信息及该第一道路标识信息的提示模式，作为反应信息存储于反应信息存储部209。
对于在已表示驾驶员的不快感的信息中、以相同的提示模式提示出相同的道路标识信息的情况下反应信息存储部209存储有驾驶员表示不快的反应信息的情况，存储控制部206a仅对驾驶员表示出不快感的比例进行更新。另一方面，对于在以相同的提示模式提示出相同的道路标识信息的情况下反应信息存储部209没有存储驾驶员表示不快的反应信息的情况，生成新的反应信息。
存储控制部206a可以对多个车辆的反应信息进行整合并存储到存储部209，还可以对每个车辆的反应信息针对每个车辆进行管理并存储到反应信息存储部209。
图11A是表示实现实施方式3所涉及的信息提示方法的服务器装置200a的反应信息存储部209的存储例的图。
反应信息存储部209例如对提示出的道路标识信息、驾驶员表示不快感时的道路标识信息的提示模式(提示等级)、及表示不快感的比例进行存储。
图11A的示例中，示出了当将“暂时停止”的道路标识信息设为“显示器显示道路标识、从扬声器输出语音”时，驾驶员表示不快感的比例是“30％”的情况。
提示模式决定部205a与实施方式1同样地基于第二车辆的第二道路标识信息及第二分类信息，参照存储部208对第二道路标识信息的提示模式进行决定。并且，对于参照反应信息存储部209、以与第二道路标识信息相同的提示模式对与第二道路标识信息相同的道路信息进行了提示的情况，若驾驶员表示不快感的比例是预先设定的阈值以上(例如，30％以上)，则提示模式决定部205a进行降低所决定的第二道路标识信息的提示模式的等级的处理。
作为降低提示模式的等级的处理，例如对预先所决定的第二道路标识信息的提示模式是等级4的情况(参照实施方式1的图8)，提示模式决定部205a进行降低至等级3的提示模式、或降低至等级2的提示模式的处理。提示模式等级越高，增加注意信息、警告音的输出、或显示器的闪烁显示等，要提示的道路标识信息就越容易传递至驾驶员，但存在因个人差异而感觉到是过度提示模式的情况。通过预先将驾驶员的反应存储于反应信息存储部209，从而能对重复在过去驾驶员感觉到是过度提示模式的提示模式的情况进行抑制。
除上述的结构以外，还可以构成为针对每个车辆存储驾驶员的反应。该情况下，存储控制部206a可以获取针对每个车辆提取表示驾驶员的不快感的语音识别结果时所提示出的第一道路标识信息、该第一道路标识信息的提示模式，对确定第一车辆的信息进行标注并存储于反应信息存储部209。确定第一车辆的信息是从车载装置100侧发送的车辆的ID号等。当将语音识别结果发送至服务器装置200时，车载装置100向语音识别结果标注该ID号并进行发送。图11B表示了将每个车辆的反应信息存储于反应信息存储部209的情况的一个示例。
图11B是表示实现实施方式3所涉及的信息提示方法的服务器装置200a的反应信息存储部209的存储例的图，示出了针对每个车辆存储反应信息的情况。
反应信息存储部209例如对所提示的道路标识信息、驾驶员表示不快感时的道路标识信息的提示模式(提示等级)进行存储。图11B的示例中，表示了车辆ID“1011”的车辆中，当对“暂时停止”的道路标识信息进行“显示器显示道路标识、从扬声器输出语音”时，驾驶员表示出不快感的情况。
图11B的示例的情况也同样，提示模式决定部205a与实施方式1同样地基于第二车辆的第二道路标识信息及第二分类信息，参照存储部208对第二道路标识信息的提示模式进行决定。并且，提示模式决定部205a参照从车载装置100侧发送的确定第二车辆的信息来对反应信息存储部209内进行检索。若反应信息存储部209中，针对第二车辆，在以与第二道路标识信息相同的提示模式对与第二道路标识信息相同的道路表示信息进行了提示的情况下存储有表示不快的信息，则提示模式决定部205a进行降低所决定的第二道路标识信息的提示模式的等级的处理。
接着，对服务器装置200a的硬件结构例进行说明。
由于表示服务器装置200a的硬件结构例的图与实施方式1中所示的图4A以及图4B相同，因此省略图示。
并且，服务器装置200a的提示控制部202a、提示模式决定部205a及存储控制部206a与实施方式1中所示的提示控制部202、提示模式决定部205及存储控制部206的功能同样。
接着，对信息提示***的动作进行说明。
图12是表示实现实施方式3所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。
图12表示了反应信息存储部209对图11A中所示的信息进行存储，根据驾驶员表示不快感的比例来对第二道路标识信息的提示模式进行决定的情况。以下，对于与实施方式1所涉及的车载装置100及服务器装置200相同的步骤，标注与图5使用的标号相同的标号，并省略或简化其说明。
若步骤ST12中提示模式决定部205a对第二道路标识信息的提示模式进行决定，则在以步骤ST12中所确定的提示模式对与步骤ST5中所生成的第二道路标识信息相同的道路标识信息进行了提示的情况下，提示模式决定部205参照反应信息存储部209对驾驶员是否表示出不快感的情况进行检索(步骤ST41)。在驾驶员表示出不快感的情况下(步骤ST41；是)，提示模式决定部205对驾驶员表示出不快感的比例是否是预先设定的阈值以上进行判定(步骤ST42)。
在驾驶员表示出不快感的比例是预先设定的阈值以上的情况下(步骤ST42；是)，提示模式决定部205a进行降低步骤ST12中所决定的第二道路标识信息的提示模式的等级的处理(步骤ST43)。之后，流程图前进至步骤ST13的处理。另一方面，在没有驾驶员表示出不快感的情况下(步骤ST41；否)，或在驾驶员表示出不快感的比例小于阈值的情况下(步骤ST42；否)，前进至步骤ST13的处理。
如上所述，根据本实施方式3，构成为包括下述步骤：通信部201接收对提示了道路标识信息时的第一车辆内的语音进行识别的语音识别结果；存储控制部206a从接收到的语音识别结果中对第一车辆的驾驶员表示出不快感的语音识别结果进行提取；生成反应信息来进行存储，其中，该反应信息将提取到的语音识别结果、所提示的第一道路标识信息、与该第一道路标识信息的提示模式对应起来来得到，并且，在过去提示有第一道路标识信息时驾驶员表示出不快感的情况下，包括提示模式决定部205a使提示第二道路标识信息的强度降低的步骤，因而，对于在过去道路标识信息的提示中驾驶员表示出不快感的情况，能抑制再次以同样的提示模式对道路标识信息进行提示的情况。
另外，上述的实施方式3中表示了在实施方式1中所示的服务器装置200中适用提示控制部202a、提示模式决定部205a及反应信息存储部209的情况，但也可在实施方式2中所示的服务器装置200中适用本结构。
实施方式4.
本实施方式4中表示下述结构：使道路标识信息的提示模式的决定中反映驾驶员的观察状态。
图13是表示实现实施方式4所涉及的信息提示方法的信息提示***的结构的框图。实施方式4的车载装置100b中设置乘客拍摄部108以代替实施方式1中所示的车载装置100的语音识别部103。并且，车载装置100b具备平视显示器(Head Up Display：HUD)109。
实施方式4的服务器装置200b具备提示控制部202b、分类部204b、提示模式决定部205b及存储部208b，以代替实施方式1中所示的服务器装置200的提示控制部202、分类部204、提示模式决定部205及存储部208。
以下，对与实施方式1所涉及的信息提示***的结构要素相同或相当的部分，标注与实施方式1使用的标号相同的标号，并省略或简化其说明。
乘客拍摄部108对搭载有车载装置100b的本车辆的驾驶员进行拍摄。乘客拍摄部108从驾驶员的拍摄图像检测驾驶员的状况。乘客拍摄部108检测出的驾驶员的状况是指例如驾驶员的视线方向、驾驶员的脸的方向等。平视显示器109以所指定的提示模式对从服务器装置200b发送的第二道路标识信息进行提示。车载装置100b除显示器106以外还具备平视显示器109，并具备有多个显示器。
显示器106例如是导航装置的主显示器。平视显示器109例如是通过将图像反射地投影在挡风玻璃上来实现、并能对与行驶时的实际风景一起所提供的信息进行识别的显示器。控制部104基于从服务器装置200b所发送的控制信息，对由平视显示器109或显示器106切换第二道路标识信息的输出对象进行控制。
服务器装置200b的提示控制部202b经由通信部201，对拍摄部101从车载装置100b侧拍摄到的拍摄图像、及乘客拍摄部108检测出的表示驾驶员的状况的信息，作为表示车辆状况的信息来进行获取。提示控制部202b基于获取到的信息，对使第二道路标识信息生成进行控制，对用于向车载装置100b提示所生成的第二道路标识信息进行控制。
分类部204b参照从提示控制部202输入的表示驾驶员的状况的信息，对车辆状况进行分类。本实施方式4中，分类部204b进行驾驶员的观察方向的特定以作为车辆状况的分类，进而生成第二观察信息以作为第二分类信息。分类部204对生成的第二分类信息、即第二观察信息输出至提示控制部202b。提示模式决定部205b参照存储于存储部208b的表示过去是否进行了遵照道路标识的行驶的符合结果，基于从提示控制部202输入的第二道路标识信息及第二观察信息，对第二道路标识信息的提示模式进行决定。
具体而言，提示模式决定部205b获取过去的符合结果，该过去的符合结果是在向正在观察第二分类信息即第二观察信息所示的观察方向的驾驶员，提示出与标识识别部203生成的第二道路标识信息相同的道路标识信息的情况下得到的。提示模式决定部205b基于获取到的过去的符合结果，来对第二道路标识信息的提示模式进行决定。
存储部208b与实施方式1同样，对从第一车辆获取到的符合结果、第一道路标识信息、及第一道路标识信息的提示模式进行存储。
图14是表示实现实施方式4所涉及的信息提示方法的服务器装置200b的存储部208b的存储例的图。
存储部208b与实施方式1同样地，对由分类信息、提示出的道路标识信息、道路标识信息的提示模式、道路标识的符合率等构成的信息进行存储。作为分类信息存储有驾驶员的观察信息。
图14的示例中，No.1的信息示出了分类信息是“相对于车辆前方、前进方向观察左侧”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“主显示器显示道路标识”、及道路标识的符合率是“80％”的情况。No.2的信息示出了分类信息是“相对于车辆前方、进行方向观察左侧”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示在位于观察方向的显示器”、及道路的符合率是“90％”的情况。基于No.2的信息，在提示模式决定部205b决定了第二道路标识信息的提示模式的情况下，车载装置100b的控制部104可对使位于驾驶员的观察方向的平视显示器109显示第二道路标识信息进行控制。
提示模式决定部205b通过参照如图14所示那样的基于驾驶员的观察信息的存储部208b，从而能有效地向驾驶员提示道路标识信息。另外，对于不存在位于驾驶员的视线方向的显示器的情况，车载装置100b的控制部104可适当地设定由扬声器107对道路标识信息进行输出语音等。由此，信息提示***能根据驾驶员的观察信息来提示道路标识信息。
接着，对车载装置100b及服务器装置200b的硬件结构例进行说明。
由于表示车载装置100b的硬件结构例的图与实施方式1中所示的图3A以及图3B相同，因此省略图示。由于表示服务器装置200b的硬件结构例的图与实施方式1中所示的图4A以及图4B相同，因此省略图示。
车载装置100b的乘客拍摄部108与拍摄部101的功能同样，平视显示器109与显示器106的功能同样。并且，服务器装置200b的提示控制部202b、分类部204b及提示模式决定部205b与实施方式1中所示的提示控制部202、分类部204及提示模式决定部205同样。
接着，对信息提示***的动作进行说明。
图15是表示实现实施方式4所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。以下，对于与实施方式1所涉及的车载装置100及服务器装置200相同的步骤，标注与图5使用的标号相同的标号，并省略或简化其说明。
车载装置100b的控制部104获取拍摄部101的拍摄图像、乘客拍摄部108检测出的表示驾驶员的状况的信息，经由通信部105发送至服务器装置200(步骤ST51)。
服务器装置200的通信部201接收从车载装置100b发送的拍摄图像及表示驾驶员的状况的信息，并输出至提示控制部202(步骤ST52)。提示控制部202b将步骤ST52中所输入的拍摄图像输出至标识识别部203，将表示驾驶员的状况的信息输出至分类部204b(步骤ST53)。之后，执行步骤ST4至步骤ST6的处理。
接着，分类部204b参照步骤ST53中所输入的表示驾驶员的状况的信息对车辆的状况进行分类，生成第二分类信息(步骤ST54)。具体而言，分类部204b确定驾驶员的观察方向，生成第二观察信息(以下，记载为第二分类信息(观察信息))以作为第二分类信息。分类部204将步骤ST54中生成的第二分类信息通知给提示控制部202b(步骤ST8)。另外，步骤ST54及步骤ST8的处理可以是与步骤ST4至步骤ST6的处理并行实施的处理。
提示控制部202b将由标识识别部203通知的第二道路标识信息、与由分类部204通知的第二分类信息输出至提示模式决定部205b，对第二道路标识信息的提示模式的决定进行指示(步骤ST9)。提示模式决定部205b参照存储部208b，对与从提示控制部202b输入的第二道路标识信息和第二分类信息的组相一致的、第一道路标识信息和第一分类信息的组进行确定(步骤ST10)。提示模式决定部205b参照存储部208b，获取与所确定的第一道路标识信息和第一分类信息的组对应起来而得到的符合结果(步骤ST11)。
例如，提示模式决定部205b从存储部208b获取符合结果，该符合结果是当向对从提示控制部202b输入的观察信息所示的观察方向进行观察的第一车辆的驾驶员提示第一道路标识信息时得到的。
之后，执行步骤ST12至步骤ST15的处理。车载装置100b的控制部104基于该控制信息，经由显示器106、平视显示器109、或扬声器107中的至少某一个来进行对第二道路标识信息提示给驾驶员的处理(步骤ST55)。之后，流程图返回到步骤ST51的处理，并重复上述的处理。
从图15中所示的流程图的步骤ST10至ST12的处理的详细内容与实施方式1的图6中所示的流程图相同。
作为图6的流程图的步骤ST21，提示模式决定部205参照存储于存储部208b的符合结果，对是否存在与从提示控制部202b所输入的第二道路标识信息及第二分类信息(观察信息)的组相一致的、第一道路标识信息及第一分类信息的组进行判定。
实施方式4所涉及的信息提示方法的符合结果的存储处理与实施方式1的图7中所示的流程图相同。
作为图7的流程图的步骤ST33，存储控制部206从提示控制部202b获取与车载装置100相对应的第一车辆的刚才的观察信息即第一分类信息、第一道路标识信息及第一道路标识信息的提示模式。
除上述的处理以外，乘客拍摄部108还可以从检测出的驾驶员的脸的朝向对驾驶员是否正进行东张西望驾驶进行判定。在判定为驾驶员正进行东张西望驾驶的情况下，乘客拍摄部108附加表示正在进行东张西望驾驶的信息以作为驾驶员的状况。对于表示驾驶员的状况的信息中附加了表示正在进行东张西望驾驶的信息的情况，分类部204b还将是东张西望驾驶的情况记载于生成的第二分类信息(观察信息)中。
对于第二分类信息(观察信息)中记载了是东张西望驾驶的情况，不进行显示在位于观察方向的显示器的提示模式的决定。例如，对第二分类信息(观察信息)中记载了是东张西望驾驶的情况，提出模式决定部205b对显示在预先确定的主显示器、或显示在预先确定的主显示器并从扬声器输出语音的提示模式进行决定。
由此，提示模式决定部205b能抑制导致驾驶员注视显示在正东张西望的方向的道路标识信息的情况，并能降低驾驶员不使视线返回车辆前方这一危险性。并且，提示模式决定部205b能通过输出语音等对道路显示信息的提示进行强调。
并且除上述的处理以外，乘客拍摄部108还可以进一步检测驾驶员的脸部表情、眼睛的睁开状态等以作为驾驶员的状况。分类部204b可以从乘客拍摄部108的检测结果，对驾驶员正在睡觉、驾驶员正在笑、还是驾驶员正在生气等进行确定，并将上述的信息追加到观察信息中。
提示模式决定部205b基于第二道路标识信息及第二分类信息(观察信息)中驾驶员的观察方向，对第二道路标识信息的提示模式进行决定。之后，对于第二分类信息(观察信息)中包含有表示驾驶员正在睡觉的信息的情况，提示模式决定部205b对所决定的第二道路标识信息的提示模式进行变更。例如，提示模式决定部205b变更为在实施方式1的图8中所示的提示等级中最高等级5的提示模式。
同样地，对于第二分类信息(观察信息)中包含有表示驾驶员正在笑的信息的情况，提示模式决定部205b对所决定的第二道路标识信息的提示模式进行保持。并且，对于第二分类信息(观察信息)中包含有表示驾驶员正在生气的信息的情况，提示模式决定部205b对降低所决定的第二道路标识信息的提示模式的等级进行变更。
并且，提示模式决定部205b可以不进行确定驾驶员的观察方向的处理，而仅对驾驶员正在睡觉、驾驶员正在笑、还是驾驶员正在生气等进行确定从而生成第二分类信息(观察信息)。
并且，实施方式4的信息提示***中还可以适用下述结构：对实施方式3中所示的驾驶员的反应进行存储并使其反映在下一次的道路标识信息的提示模式的决定中。
存储控制部206从乘客拍摄部108检测出的驾驶员的脸的表情、眼睛的睁开状态等对正在生气、或正在蹙眉等表示出驾驶员的不快感的表情进行提取。存储控制部206对提取出的表示出驾驶员的不快感的表情的提取结果，与得到该提取结果时的第一道路标识信息、该第一道路标识信息的提示模式一起，存储于图10的框图中所示的反应信息存储部209。
提示模式决定部205b参照存储部208b对第二道路标识信息的提示模式进行决定之后，参照反应信息存储部209对在过去驾驶员是否表示出不快感进行检索。另外，由于参照反应信息存储部209的处理动作与实施方式3相同，因此省略详细说明。
并且，对于得到提示第一道路标识信息之后不改变表情、且进行符合道路标识的行驶这一结果以作为驾驶员的反应的情况，存储控制部206可以将该反应存储于反应信息存储部209。提示模式决定部205b可构成为对于相同的驾驶员将下一次的道路标识信息的提示模式设为简单的方法。
并且，在提示出第二道路标识信息之前、驾驶员已观察完成该道路标识的情况下，提示模式决定部205b可以构成为基于第二分类信息(观察方向)不变更提示第二道路标识信息的显示器。并且，提示模式决定部205b可以构成为中止对第二道路标识信息进行输出语音、或将第二道路标识信息的提示模式设为简单的方法。
具体而言，分类部204通过对拍摄部101拍摄到的道路标识的拍摄位置、及从与拍摄部101一起由乘客拍摄部108拍摄到的拍摄图像中得到的视线方向进行核对，从而对驾驶员是否正在观察道路标识进行判断。
对在提示第二道路标识信息之前、车辆的驾驶员观察完成该道路标识的情况，提示模式决定部205b仅在主显示器即显示器106显示第二道路标识信息。或者，提示模式决定部205b选择简单的方法来作为第二道路标识信息的提示模式，例如实施方式1的图8中等级1或等级2的提示模式。
由此，能抑制对驾驶员已观察到的道路标识进行过度的信息提示。
如上所述，根据本实施方式4，构成为包括下述步骤：通信部201接收表示第一车辆或第二车辆的驾驶员的状况的信息以作为表示车辆状况的信息；分类部204b参照所接收到的第一车辆或第二车辆的表示驾驶员的状况的信息对第一车辆或第二车辆的驾驶员的观察方向进行确定，基于所确定的观察方向对第一车辆或第二车辆的车辆状况进行分类，生成第一分类信息或第二分类信息；对在过去没有进行遵照道路标识的行驶的情况，提示模式决定部205b基于所确定的观察方向使道路标识信息的提示位置发生变化，由于上述步骤，因此能在配置于驾驶员的观察方向的显示器提示道路标识信息，能使驾驶员察觉道路标识信息的可能性得到提高。
并且，根据本实施方式4，构成为包括下述步骤：提示模式决定部205b基于所确定的观察方向，对第二道路标识信息的提示模式追加输出语音的提示，因此对于驾驶员正在进行东张西望驾驶的情况能通过输出语音来对道路显示信息的提示进行强调。
并且，根据本实施方式4，构成为包括下述步骤：对没有存储提示了第一道路标识信息时的反应信息、且在过去进行了遵照道路标识的行驶的情况，提示模式决定部205b使提示第二道路标识信息的强度降低，因此对驾驶员以平常心对道路标识进行符合的情况，能使下一次的道路标识信息的提示模式变更为简单的方法。
并且，根据本实施方式4，构成为包括下述步骤：对在提示第二道路标识信息之前、第二车辆的驾驶员观察完成该道路标识的情况，提示模式决定部205b使提示第二道路标识信息的强度降低，因此对驾驶员已观察到的道路标识，能抑制进行过度的信息提示。
实施方式5.
本实施方式5中表示下述结构：基于表示车辆状况的信息中表示乘客信息中的驾驶熟练度的信息，生成分类信息。
图16是表示实现实施方式5所涉及的信息提示方法的信息提示***的结构的框图。
实施方式5的车载装置100c不具备实施方式1中所示的车载装置100的语音识别部103。
实施方式5的服务器装置200c具备提示控制部202c、分类部204c、提示模式决定部205c及存储部208c，以代替实施方式1中所示的服务器装置200的提示控制部202、分类部204、提示方式决定部205及存储部208。
以下，对与实施方式1所涉及的信息提示***的结构要素相同或相当的部分，标注与实施方式1使用的标号相同的标号，并省略或简化其说明。
服务器装置200c的提示控制部202c经由通信部201，从车载装置100b侧获取拍摄图像及表示车辆状况的信息即驾驶员的驾驶熟练度信息。提示控制部202c基于获取到的信息，进行使第二道路标识信息生成的控制，进行用于向车载装置100c提示所生成的第二道路标识信息的控制。
分类部204c参照从提示控制部202c所输入的表示车辆状况的信息，进行车辆状况的分类。本实施方式5中，分类部204c基于第二车辆的车辆状况即第二车辆的驾驶员的驾驶熟练度，对第二车辆的车辆状况进行分类从而生成第二分类信息。分类部204c基于驾驶员的驾驶熟练度，生成例如“驾驶熟练度：低”或“驾驶熟练度：高”等第二分类信息。
驾驶员的驾驶熟练度例如基于对车辆的行驶速度、方向盘操作状态及制动器操作状态等进行分析而推测出的驾驶员的经验来进行设定。并且，驾驶员的驾驶熟练度可以由驾驶员用数值等输入驾驶经验，并基于所输入的数值来进行设定。
分类部204c将基于上述驾驶员的驾驶员熟练度而生成的第二分类信息输出至提示控制部202。
提示模式决定部205c参照存储于存储部208c的信息，对与第二道路标识信息及第二分类信息的组相一致的、第一道路标识信息及第一分类信息的组进行确定。提示模式决定部205c参照与所确定的第一道路标识信息及第一分类信息的组对应起来而得到的符合结果，来决定第二道路标识信息的提示模式。此处，在第一车辆遵照第一道路标识的比例小于阈值的情况下，提示模式决定部205c将第二道路标识信息的提示模式变更为与第一道路标识信息的提示模式不同的提示模式。
存储部208c与实施方式1同样，对从第一车辆获取到的标识符合判定部207的判定结果、及第一道路标识信息的提示模式进行存储。
图17是表示实现实施方式5所涉及的信息提示方法的信息提示***的存储部208c的存储例的图。
存储部208c例如对由分类信息、提示出的道路标识信息、道路标识信息的提示模式、道路标识的符合率等构成的信息进行存储。存储部208c对与驾驶员的驾驶熟练度相应的道路标识的符合结果进行存储。
图17的示例中，No.1的信息示出了分类信息是“驾驶熟练度：低”、提示出的道路标信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识”及道路标识的符合率是“70％”的情况。
No.2的信息示出了分类信息是“驾驶熟练度：低”、提示出的道路标识信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识、从扬声器输出语音”及道路标识的符合率是“90％”的情况。
No.3的信息示出了分类信息是“驾驶熟练度：低”、提示出的道路标识信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识、从扬声器输出语音及警告音”及道路标识的符合率是“98％”的情况。
No.4的信息示出了分类信息是“驾驶熟练度：高”、提示出的道路标识信息是“暂时停止”、道路标识信息的提示模式是“显示器显示道路标识”及道路标识的符合率是“95％”的情况。
提示模式决定部205c将在分类信息是“驾驶熟练度：低”的情况下所设定的用于提取信息的符合率的阈值设为是75％。图17的示例中，提示模式决定部205c对分类信息是“驾驶熟练度：低”、具有75％以上的符合率的No.2的信息(符合率“90％”)及No.3的信息(符合率“98％”)进行提取。提示模式决定部205c对提取到的No.2的信息的提示模式与No.3的信息的提示模式进行比较，将提示模式仅是语音的模式设为较简单，从而选择No.2的信息。
接着，对车载装置100c及服务器装置200c的硬件结构例进行说明。
由于表示车载装置100c及服务器装置200c的硬件结构例的图与实施方式1中所示的图3A以及图3B、图4A及图4B相同，因此省略图示。
服务器装置200c的提示控制部202c、分类部204c及提示模式决定部205c与实施方式1中所示的提示控制部202、分类部204及提示模式决定部205的功能同样。
接着，对信息提示***的动作进行说明。
图18是表示实现实施方式3所涉及的信息提示方法的信息提示***的道路标识信息的提示处理的动作的流程图。以下，对于与实施方式1所涉及的车载装置100及服务器装置200相同的步骤，标注与图5使用的标号相同的标号，并省略或简化其说明。
车载装置100的控制部104获取拍摄部101的拍摄图像、行驶状况收集部102所收集的表示驾驶员的驾驶熟练度的信息，经由通信部105发送至服务器装置200(步骤ST61)。服务器装置200的通信部201接收从车载装置100所发送的拍摄图像及表示驾驶员的驾驶熟练度的信息，输出至提示控制部202c(步骤ST62)，提示控制部202c将步骤ST62中所输入的拍摄图像输出至标识识别部203，并将表示驾驶员的驾驶熟练度的信息输出至分类部204c(步骤ST63)。之后，执行步骤ST4至步骤ST6的处理。
接着，分类部204c参照步骤ST63中所输入的表示驾驶员的驾驶熟练度的信息来对驾驶熟练度进行分类，从而生成第二驾驶熟练度信息(以下，记载为第二分类信息(驾驶熟练度信息))以作为第二分类信息(步骤ST64)。之后，执行步骤ST8至步骤ST16的处理。
图18中所示的流程图的步骤ST10至ST12的处理的详细内容与实施方式1的图6中所示的流程图相同。
作为图6的流程图的步骤ST21，提示模式决定部205c参照存储于存储部208c的符合结果，对是否存在与从提示控制部202c所输入的第二道路标识信息及第二分类信息(驾驶熟练度信息)的组相一致的、第一道路标识信息及第一分类信息的组进行判定。
实施方式5所涉及的信息提示方法的符合结果的存储处理与实施方式1的图7中所示的流程图相同。
作为图7的流程图的步骤ST33，存储控制部206从提示控制部202b获取与车载装置100相对应的表示第一车辆的驾驶员的驾驶熟练度的信息即第一分类信息、第一道路标识信息及第一道路标识信息的提示模式。
若是驾驶熟练度相同程度的驾驶员，则认为道路标识的理解度也是相同程度，因此本实施方式5中根据驾驶熟练度使道路标识信息的提示方法发生变化。对于具有一定驾驶熟练度的驾驶员不能理解标识的情况，具有相同程度的驾驶熟练度的驾驶员也同样地不能理解的可能性较高，该情况下能够更仔细地提示道路标识信息来使驾驶员理解道路标识。
如上所述，实施方式5所涉及的发明构成为通信部201接收车辆的行驶状况以作为表示第一车辆或第二车辆的车辆状况的信息，分类部204c基于从接收到的第一车辆或第二车辆的行驶状况所推测出的第一车辆或第二车辆的驾驶员的驾驶熟练度，对第一车辆或第二车辆的车辆状况进行分类，进而生成分类信息，因此能根据驾驶员的驾驶熟练度提示道路标识信息。
另外，上述的实施方式5中表示了利用驾驶员的驾驶熟练度以作为表示车辆状况的信息的结构，但可以构成为利用驾驶员的驾驶特性以作为表示车辆状况的信息。
分类部204c对行驶状况收集部102收集到的行驶速度、方向盘操作状态及制动器操作状态等进行分析，推测驾驶员的驾驶特性，进而生成第二驾驶特性信息以作为第二分类信息。分类部204c基于推测到的驾驶员的驾驶特性，对驾驶员的驾驶特性分类为“因急躁而进行粗暴的驾驶”、“由安全驾驶进行行驶”等。另外，可以构成为在车载装置100c侧对驾驶员的驾驶特性进行推测，并将推测结果发送至服务器装置200c。
信息提示***通过利用驾驶员的驾驶特性以作为表示车辆状况的信息，从而能以适用于各驾驶员的驾驶特性的提示模式来提示信息。例如，对信息提示***提示“暂时停止”的信息的情况，能与驾驶员的特性相应地对应为即使需要对进行粗暴的驾驶的驾驶员利用语音的信息提示，也不需要对从通常情况就进行暂时停止的安全驾驶的驾驶员利用语音的信息提示。
另外，上述的实施方式1至实施方式3中，表示了车载装置100的语音识别部103进行语音识别处理的结构，但可以构成为在服务器装置200、200a侧进行语音识别处理。
另外，上述的实施方式1至实施方式5中表示了由服务器装置200、200a、200b、200c侧进行识别道路标识的处理的结构，但可以构成为在车载装置100侧进行识别道路标识的处理。
除上述内容以外，本发明在其发明范围内可以进行各实施方式的自由组合，对各实施方式的任意构成要素进行变形，或者在各实施方式中省略任意构成要素。
工业上的实用性
由于本发明所涉及的信息提示方法能根据驾驶员的状态恰好地提示道路标识的信息，因此能适用于导航装置等，能实现有效的导航信息的提示。
标号说明
100、100b、100c 车载装置，
101 拍摄部，
102 行驶状况收集部，
103 语音识别部，
104 控制部，
105、201 通信部，
106 显示器，
107 扬声器，
108 乘客拍摄部，
109 平视显示器，
200、200a、200b、200c 服务器装置，
202、202b、202c 提示控制部，
203 标识识别部，
204、204b、204c 分类部，
205、205a、205b、205c 提示模式决定部，
206、206a 存储控制部，
207 标识符合判定部，
208、208b、208c 存储部，
209 反应信息存储部。

Claims (18)

1.一种信息提示方法，其特征在于，包括下述步骤：
通信部接收第一车辆中拍摄到的道路标识的拍摄图像、及表示所述第一车辆的车辆状况的信息；
标识识别部对所述拍摄图像中所包含的所述道路标识进行识别，生成第一道路标识信息；
分类部参照表示所述第一车辆的车辆状况的信息来生成第一分类信息；
提示模式决定部基于所述第一道路标识信息及所述第一分类信息，来决定所述第一道路标识信息的提示模式；
提示控制部对以所决定的所述提示模式来提示所述第一道路标识信息进行控制；
标识符合判定部判定所述第一车辆是否进行按照所述道路标识的行驶；将该判定结果、所述第一道路标识信息、所述第一分类信息及所述第一道路标识信息的提示模式对应起来进行存储；
所述通信部接收相对于所述第一车辆按照时间顺序而后行的第二车辆中所拍摄到的道路标识的拍摄图像、及表示所述第二车辆的车辆状况的信息；
所述标识识别部对所述拍摄图像中所包含的所述道路标识进行识别，生成第二道路标识信息；
所述分类部参照表示所述第二车辆的车辆状况的信息来生成第二分类信息；
在所述判定结果示出未进行按照所述道路标识的行驶的情况下，所述提示模式决定部将与所述第一道路标识信息的提示模式不同的提示模式决定为所述第二道路标识信息的提示模式,该所述判定结果对应于与所述第二道路标识信息及所述第二分类信息的组相一致的所述第一道路标识信息及所述第一分类信息的组；并且
所述提示控制部对以所决定的所述提示模式提示所述第二道路标识信息进行控制。
2.如权利要求1所述的信息提示方法，其特征在于，包括下述步骤：
所述通信部接收对所述第一车辆或所述第二车辆内的语音进行识别而得到的语音识别结果以作为表示所述车辆状况的信息。
3.如权利要求2所述的信息提示方法，其特征在于，包括下述步骤：
所述分类部参照接收到的所述语音识别结果来确定所述第一车辆或所述第二车辆的乘客用于对话的语言，基于所确定的语言对所述第一车辆或所述第二车辆的车辆状况进行分类，生成所述第一分类信息或所述第二分类信息。
4.如权利要求3所述的信息提示方法，其特征在于，包括下述步骤：
在所述判定结果显示出未进行按照所述道路标识的行驶的情况下，所述提示模式决定部决定用所述确定的语言对所述第二道路标识信息进行提示的提示模式。
5.如权利要求2所述的信息提示方法，其特征在于，包括下述步骤：
所述分类部参照接收到的所述语音识别结果来识别所述第一车辆或所述第二车辆的乘客的对话状况，基于识别到的对话状态对所述第一车辆或所述第二车辆的车辆状况进行分类，生成所述第一分类信息或所述第二分类信息。
6.如权利要求2所述的信息提示方法，其特征在于，包括下述步骤：
所述通信部接收对提示了所述第一道路标识信息时的所述第一车辆内的语音进行识别的语音识别结果；以及
存储控制部从接收到的所述语音识别结果中对所述第一车辆的驾驶员表示出不快感的语音识别结果进行提取，并生成反应信息来进行存储，该反应信息中将提取出所述语音识别结果时所提示的所述第一道路标识信息、与该第一道路标识信息的提示模式对应起来。
7.如权利要求6所述的信息提示方法，其特征在于，包括下述步骤：
在存储有提示了所述道路标识信息时的所述反应信息的情况下，所述提示模式决定部使提示所述第二道路标识信息的强度降低。
8.如权利要求1所述的信息提示方法，其特征在于，包括下述步骤：
所述通信部接收表示所述第一车辆或所述第二车辆的驾驶员的状况的信息以作为表示所述车辆状况的信息。
9.如权利要求8所述的信息提示方法，其特征在于，包括下述步骤：
所述分类部参照接收到的表示所述车辆的驾驶员的状况的信息来确定所述第一车辆或所述第二车辆的驾驶员的观察方向，基于确定到的观察方向对所述第一车辆或所述第二车辆的车辆状况进行分类，生成所述第一分类信息或所述第二分类信息。
10.如权利要求9所述的信息提示方法，其特征在于，包括下述步骤：
在所述第一车辆在过去未进行按照所述道路标识的行驶的情况下，
所述提示模式决定部基于所确定的所述第二观察方向，使所述第二道路标识信息的提示位置发生变化。
11.如权利要求9所述的信息提示方法，其特征在于，包括下述步骤：
所述提示模式决定部基于所确定的第二观察方向，向所述第二道路标识信息的提示模式追加由输出语音所进行的提示。
12.如权利要求9所述的信息提示方法，其特征在于，包括下述步骤：
提示所述第二道路标识信息之前，在所述第二车辆的驾驶员对相应的道路标识观察完成的情况下，所述提示模式决定部使提示所述第二道路标识信息的强度降低。
13.如权利要求8所述的信息提示方法，其特征在于，包括下述步骤：
所述通信部接收提示了所述第一道路标识信息时的所述第一车辆的驾驶员的拍摄图像；以及
存储控制部从接收到的所述拍摄图像中对所述第一车辆的驾驶员表示出不快感的表情进行提取，并将提取出所述表情时所提示的所述第一道路标识信息、与该第一道路标识信息的提示模式对应起来生成反应信息来进行存储。
14.如权利要求13所述的信息提示方法，其特征在于，包括下述步骤：
在存储有提示了所述道路标识信息时的所述反应信息的情况下，所述提示模式决定部使提示所述道路标识信息的强度降低。
15.如权利要求13所述的信息提示方法，其特征在于，包括下述步骤：
在没有存储提示了所述第一道路标识信息时的所述反应信息、且所述第一车辆中在过去进行了按照所述第一道路标识的行驶的情况下，所述提示模式决定部使提示所述第二道路标识信息的强度降低。
16.如权利要求1所述的信息提示方法，其特征在于，包括下述步骤：
所述通信部接收所述第一车辆或所述第二车辆的行驶状况以作为表示所述车辆状况的信息。
17.如权利要求16所述的信息提示方法，其特征在于，包括下述步骤：
所述分类部基于从接收到的所述第一车辆或所述第二车辆的行驶状况所推测的所述第一车辆或所述第二车辆的驾驶员的驾驶熟练度，对所述第一车辆或第二车辆的车辆状况进行分类，生成所述第一分类信息或所述第二分类信息。
18.如权利要求16所述的信息提示方法，其特征在于，包括下述步骤：
所述分类部基于从接收到的所述第一车辆或所述第二车辆的行驶状况所推测的所述第一车辆或所述第二车辆的驾驶员的驾驶特性，对所述第一车辆或第二车辆的车辆状况进行分类，生成所述第一分类信息或所述第二分类信息。
CN201680090462.4A 2016-11-01 2016-11-01 信息提示方法 Active CN109891471B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082429 WO2018083728A1 (ja) 2016-11-01 2016-11-01 情報提示方法

Publications (2)

Publication Number Publication Date
CN109891471A true CN109891471A (zh) 2019-06-14
CN109891471B CN109891471B (zh) 2022-02-08

Family

ID=62075635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090462.4A Active CN109891471B (zh) 2016-11-01 2016-11-01 信息提示方法

Country Status (5)

Country Link
US (1) US10891496B2 (zh)
JP (1) JP6482739B2 (zh)
CN (1) CN109891471B (zh)
DE (1) DE112016007287B4 (zh)
WO (1) WO2018083728A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152790A (zh) * 2019-12-29 2020-05-15 的卢技术有限公司 一种基于使用场景的多设备交互车载抬头显示方法及***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7053325B2 (ja) * 2018-03-19 2022-04-12 本田技研工業株式会社 情報提供装置およびその制御方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110394A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置
CN101802886A (zh) * 2007-10-12 2010-08-11 三菱电机株式会社 车载信息提供装置
US20100332266A1 (en) * 2003-07-07 2010-12-30 Sensomatix Ltd. Traffic information system
WO2011062179A1 (ja) * 2009-11-17 2011-05-26 富士通テン株式会社 情報処理装置、車載装置、情報処理システム、情報処理方法、および記録媒体
CN102336193A (zh) * 2011-08-26 2012-02-01 湖南南车时代电动汽车股份有限公司 一种基于路谱信息的混合动力公交车的控制方法
CN102741900A (zh) * 2010-03-03 2012-10-17 松下电器产业株式会社 道路状况管理***及道路状况管理方法
CN102774382A (zh) * 2011-05-04 2012-11-14 通用汽车环球科技运作有限责任公司 用于车辆驾驶风格确定的***和方法
CN104143269A (zh) * 2013-05-09 2014-11-12 现代摩比斯株式会社 车辆急刹车警报装置及其方法
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法
CN104641406A (zh) * 2012-09-17 2015-05-20 沃尔沃卡车集团 用于向车辆驾驶员提供指导消息的方法和***
CN104662872A (zh) * 2012-09-21 2015-05-27 大陆汽车有限责任公司 用于进行车辆通信的方法和装置
US20150302747A1 (en) * 2014-04-22 2015-10-22 Mando Corporation Traffic signs recognition apparatus and method of outputing speed limit using the same
CN105121249A (zh) * 2013-04-18 2015-12-02 三菱电机株式会社 移动体状态通知装置、服务器装置及移动体状态通知方法
US20150377634A1 (en) * 2009-10-07 2015-12-31 Harman International Industries, Incorporated Automatic content analysis method and system
CN105335708A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车辆行驶过程中对路标、路牌进行识别的***
CN205092925U (zh) * 2015-10-12 2016-03-16 常州博显汽车电子有限公司 一种可识别道路交通标识的摄像传感***
CN105723432A (zh) * 2013-11-12 2016-06-29 三菱电机株式会社 驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示***及驾驶辅助图像生成程序
CN106062845A (zh) * 2014-03-31 2016-10-26 爱信艾达株式会社 驾驶辅助***、方法以及程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2656141C (en) * 1998-05-15 2012-02-07 International Road Dynamics Inc. Method for automatically controlling traffic signalling device
US6681195B1 (en) * 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
DE60318430T2 (de) * 2003-08-14 2009-01-02 Harman Becker Automotive Systems Gmbh Computergestütztes System und Verfahren zur Informationsausgabe an einen Fahrer eines Fahrzeuges
JP4548607B2 (ja) * 2005-08-04 2010-09-22 アルパイン株式会社 標識提示装置及び標識提示方法
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5768254B2 (ja) * 2010-09-24 2015-08-26 株式会社ユピテル 車載用電子機器及びプログラム
JP5513353B2 (ja) * 2010-12-01 2014-06-04 本田技研工業株式会社 警報装置
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
JP6094252B2 (ja) 2013-02-20 2017-03-15 株式会社デンソー 道路標識認識装置
JP2015191281A (ja) 2014-03-27 2015-11-02 株式会社Ｊｖｃケンウッド 道路標識表示装置
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6062473B2 (ja) * 2015-03-17 2017-01-18 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332266A1 (en) * 2003-07-07 2010-12-30 Sensomatix Ltd. Traffic information system
CN101802886A (zh) * 2007-10-12 2010-08-11 三菱电机株式会社 车载信息提供装置
JP2009110394A (ja) * 2007-10-31 2009-05-21 Equos Research Co Ltd 道路標識表示装置
US20150377634A1 (en) * 2009-10-07 2015-12-31 Harman International Industries, Incorporated Automatic content analysis method and system
WO2011062179A1 (ja) * 2009-11-17 2011-05-26 富士通テン株式会社 情報処理装置、車載装置、情報処理システム、情報処理方法、および記録媒体
CN102741900A (zh) * 2010-03-03 2012-10-17 松下电器产业株式会社 道路状况管理***及道路状况管理方法
CN102774382A (zh) * 2011-05-04 2012-11-14 通用汽车环球科技运作有限责任公司 用于车辆驾驶风格确定的***和方法
CN102336193A (zh) * 2011-08-26 2012-02-01 湖南南车时代电动汽车股份有限公司 一种基于路谱信息的混合动力公交车的控制方法
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法
CN104641406A (zh) * 2012-09-17 2015-05-20 沃尔沃卡车集团 用于向车辆驾驶员提供指导消息的方法和***
CN104662872A (zh) * 2012-09-21 2015-05-27 大陆汽车有限责任公司 用于进行车辆通信的方法和装置
CN105121249A (zh) * 2013-04-18 2015-12-02 三菱电机株式会社 移动体状态通知装置、服务器装置及移动体状态通知方法
CN104143269A (zh) * 2013-05-09 2014-11-12 现代摩比斯株式会社 车辆急刹车警报装置及其方法
CN105723432A (zh) * 2013-11-12 2016-06-29 三菱电机株式会社 驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示***及驾驶辅助图像生成程序
CN106062845A (zh) * 2014-03-31 2016-10-26 爱信艾达株式会社 驾驶辅助***、方法以及程序
US20150302747A1 (en) * 2014-04-22 2015-10-22 Mando Corporation Traffic signs recognition apparatus and method of outputing speed limit using the same
CN205092925U (zh) * 2015-10-12 2016-03-16 常州博显汽车电子有限公司 一种可识别道路交通标识的摄像传感***
CN105335708A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车辆行驶过程中对路标、路牌进行识别的***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152790A (zh) * 2019-12-29 2020-05-15 的卢技术有限公司 一种基于使用场景的多设备交互车载抬头显示方法及***
CN111152790B (zh) * 2019-12-29 2022-05-24 的卢技术有限公司 一种基于使用场景的多设备交互车载抬头显示方法及***

Also Published As

Publication number Publication date
US20200034635A1 (en) 2020-01-30
JP6482739B2 (ja) 2019-03-13
US10891496B2 (en) 2021-01-12
JPWO2018083728A1 (ja) 2019-01-24
DE112016007287B4 (de) 2020-10-22
CN109891471B (zh) 2022-02-08
WO2018083728A1 (ja) 2018-05-11
DE112016007287T5 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
CN103403798B (zh) 声音识别装置及导航装置
EP2806335A1 (en) Vehicle human machine interface with gaze direction and voice recognition
US9886237B2 (en) Text-reading device and text-reading method
CN108351968A (zh) 一种针对犯罪活动的告警方法、装置、存储介质及服务器
JP2017133893A (ja) 報知制御装置及び報知制御方法
JP2017007652A (ja) 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置
JP2016081086A (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
CN109859509A (zh) 车道通行状态提醒方法及设备
US20220277570A1 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
JP2010128099A (ja) 車載用音声情報提供システム
CN109891471A (zh) 信息提示方法
JP2012212351A (ja) 車両用情報提供装置
JP4820835B2 (ja) 運転状態警告システム、運転状態警告方法及びプログラム
CN108657184A (zh) 车辆辅助驾驶***、方法、装置及存储介质
US9789815B2 (en) Navigation device, navigation method, and computer program product
JP2019086805A (ja) 車内システム
JP2013072778A (ja) 車両用画像表示装置
CN110329270B (zh) 一种用于智能驾驶的交互方法及***
JP2004302902A (ja) 運転支援システム
CN110944149A (zh) 车辆用儿童看护***以及方法
CN207241570U (zh) 具有三路录像功能的智能后视镜及汽车
KR102270011B1 (ko) 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법
JP6840341B2 (ja) Ｈｍｉ制御装置、移動体、ｈｍｉ制御方法、及びプログラム
US20210097727A1 (en) Computer apparatus and method implementing sound detection and responses thereto
US11443533B2 (en) Information processing apparatus and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant