CN105136156B - 基于用户行为模式的自适应导航与基于位置的服务 - Google Patents
基于用户行为模式的自适应导航与基于位置的服务 Download PDFInfo
- Publication number
- CN105136156B CN105136156B CN201510458112.6A CN201510458112A CN105136156B CN 105136156 B CN105136156 B CN 105136156B CN 201510458112 A CN201510458112 A CN 201510458112A CN 105136156 B CN105136156 B CN 105136156B
- Authority
- CN
- China
- Prior art keywords
- driver
- navigation
- attentively
- mood
- analyzer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 63
- 230000036651 mood Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 73
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 14
- 230000008921 facial expression Effects 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 230000036772 blood pressure Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000004243 sweat Anatomy 0.000 description 3
- 238000004166 bioassay Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005183 dynamical system Methods 0.000 description 2
- 235000013410 fast food Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010049207 Adactyly Diseases 0.000 description 1
- 241001046947 Ectropis obliqua Species 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 238000005284 basis set Methods 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Ophthalmology & Optometry (AREA)
- Social Psychology (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了基于用户行为模式的自适应导航与基于位置的服务。公开了一种用于自适应驾驶员指引的方法和***，用于基于用户行为模式的导航和基于位置的服务。面向驾驶员的相机和注视跟踪***确定驾驶员的视觉焦点位置，同时面向外的相机检测并解释外部驾驶状况，麦克风和语音分析器识别驾驶员发声并且接近驾驶员的传感器和面向驾驶员的相机检测驾驶员情绪。驾驶员的视觉焦点、驾驶员发声以及驾驶员情绪连同来自数据总线的车辆***参数，用来评价驾驶员对导航指引的满意度并确定驾驶员行为模式。基于驾驶员的满意度和行为模式，自适应导航指引引擎修正导航指引的内容和时机。还提供了用于基于位置服务的自适应指引。
Description
技术领域
本发明一般涉及车辆导航***中的自适应驾驶员指引，更具体地，涉及用于导航和基于位置服务的自适应指引，其中驾驶员行为——包括注视方向、面部表情、语音和生物测定响应——由各种传感器监测，并可以基于驾驶员行为模式增加、减少或修改导航指引的时机和频率。
背景技术
随着导航***的功能性和可靠性急剧提高，这种***最近几年对于车辆驾驶员来说已经变得日益普及。许多新车辆包含的导航***由车辆制造商作为原厂装备交付，其通常与信息通讯***和车辆音频/视频***集成。其它类型的导航***包含可购买并可简单放置在车辆中的独立设备，甚至是配备有导航应用软件的智能电话。通过所有这些类型的导航***可以实现路线规划、可视地图显示和转向驾驶员指引。很多导航***还包括基于位置的服务(LBS)，其中提供关于某个位置的活动、促销或其他便利建议给驾驶员。共同地，这些特性已经使得导航***对许多驾驶员来说变得实际上不可或缺。
然而，不同的驾驶员对如何提供导航和LBS指引具有不同的偏好。一些驾驶员更喜欢频繁、有些重复的指引，其能提供驾驶员位于正确路线上的确信感。其它驾驶员更喜欢最少指引，并且如果导航***重复任何信息，他们将变得烦恼。许多驾驶员更喜欢处于重复与最少之间某处的导航指引。此外，大多数驾驶员不会花费时间来配置具有指引偏好的导航***。此外，不论他或她的一般偏好如何，都存在附加或修正的指引将对任何驾驶员都有帮助的状况。这些状况包括混乱的道路结构、不利交通和天气条件以及驾驶员情绪状态的变化。
发明内容
根据本发明的教导，公开了一种用于自适应驾驶员指引的方法和***，用于基于用户行为模式的导航和基于位置的服务。面向驾驶员的相机和注视跟踪***确定驾驶员的视觉焦点位置，同时面向外的相机检测并解释外部驾驶状况，麦克风和语音分析器识别驾驶员发声并且接近驾驶员的传感器和面向驾驶员的相机检测驾驶员情绪。驾驶员的视觉焦点、驾驶员发声以及驾驶员情绪连同来自数据总线的车辆***参数，用来评价驾驶员对导航指引的满意度并确定驾驶员行为模式。基于驾驶员的满意度和行为模式，自适应导航指引引擎修正导航指引的内容和时机。还提供了用于基于位置服务的自适应指引。
本发明还公开了以下技术方案：
1、一种用于为车辆驾驶员导航提供自适应指引的***，所述***包括：
多个传感器***，其用于监测和分析驾驶员行为；
显示装置，其用于显示导航地图并将视觉导航指令提供给驾驶员；
扬声器，其用于将音频导航指令提供给驾驶员；和
自适应导航指引处理器，其接收来自所述传感器***的输出信号并配置有算法，所述算法包括：
状况检测器模块，其配置为确定驾驶员对导航指引内容和时机的满意度水平；
错误和行为记录器模块，其配置为识别驾驶员的错误和行为；
因果关系分析器模块，其配置为确定在所述驾驶员的错误和行为与所述驾驶员对导航指引内容和时机的满意度水平之间的相关性；和
自适应导航指引模块，其配置为基于来自所述状态检测器模块、所述错误和行为记录器模块以及所述因果关系分析器模块的输出，自适应地修正所述导航指引内容和时机，并将所述导航指引提供给驾驶员。
2、根据方案1所述的***，其中所述多个传感器***包括注视跟踪***、语音检测***和情绪检测***。
3、根据方案2所述的***，其中所述注视跟踪***包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器分析来自所述面向驾驶员的相机的图像以确定驾驶员注视的位置，并且其中所述自适应导航指引模块基于驾驶员注视指向的位置修正所述导航指引内容或时机。
4、根据方案3所述的***，进一步包括一个或多个面向外的相机，其用于记录车外的图像，其中来自所述面向外的相机的图像与驾驶员注视位置结合使用以确定驾驶员是否已观察到路标，并且驾驶员对路标的观察用作所述自适应导航指引模块中的一个因数。
5、根据方案2所述的***，其中所述语音检测***包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语。
6、根据方案5所述的***，其中来自驾驶员的所述话语用于确定驾驶员是否满意所述导航指引，并且如果驾驶员不满意，则修正所述导航指引内容或时机。
7、根据方案2所述的***，其中所述情绪检测***包括接近驾驶员的一个或多个传感器，以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪。
8、根据方案7所述的***，其中所述一个或多个传感器包括汗液传感器和心率传感器。
9、根据方案7所述的***，其中所述情绪检测***还分析来自面向驾驶员的相机的图像，并且基于来自所述图像的驾驶员面部表情识别驾驶员的情绪。
10、根据方案7所述的***，其中所述驾驶员的情绪用于确定驾驶员是否冷静，并且如果驾驶员不冷静，则修正所述导航指引内容或时机。
11、根据方案1所述的***，其中所述自适应导航指引处理器还从车辆数据总线接收输入，包括车辆速度、转向和制动数据，并且来自所述车辆数据总线的输入由所述自适应导航指引模块使用以识别指示导航指引应当被修正的驾驶模式。
12、根据方案1所述的***，其中所述自适应导航指引处理器还配置为向驾驶员提供自适应修正的基于位置的服务，其中所述基于位置的服务包括驾驶员目的地和路线附近的商业信息和促销优惠。
13、一种用于为车辆驾驶员导航提供自适应指引的***，所述***包括：
注视跟踪***，其包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器对来自所述面向驾驶员的相机的图像进行分析，以确定驾驶员注视的位置；
语音检测***，其包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语；
情绪检测***，其包括接近驾驶员的一个或多个传感器，以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪；
显示装置，其用于显示导航地图并将视觉导航指令提供给驾驶员；
扬声器，其用于将音频导航指令提供给驾驶员；和
自适应导航指引处理器，其接收来自所述注视跟踪***、所述语音检测***、所述情绪检测***和车辆数据总线的输出信号，其中，所述自适应导航指引处理器配置有算法，所述算法包括：
行为模式分析器模块，其配置为确定驾驶员对导航指引内容和时机的满意度水平，识别驾驶员的错误和行为，并确定在所述驾驶员的错误和行为与所述驾驶员对导航指引内容和时机的满意度水平之间的相关性；和
自适应导航指引模块，其配置为基于来自所述行为模式分析器模块的输出，自适应地修正所述导航指引内容和时机，并将所述导航指令提供给驾驶员。
14、根据方案13所述的***，其中驾驶员满意度水平由所述语音检测***识别的驾驶员话语以及由所述情绪检测***识别的驾驶员情绪确定，并且所述驾驶员错误和行为由驾驶员视觉焦点位置和来自所述车辆数据总线的信号确定。
15、一种用于为车辆驾驶员导航提供自适应指引的方法，所述方法包括：
利用多个传感器***监测和识别驾驶员的行为；
利用来自所述多个传感器***的输出，使用微处理器分析驾驶员的行为模式；
基于所述驾驶员的行为模式，自适应地修正导航指引指令的内容与时机；以及
通过音频扬声器或显示单元向驾驶员提供所述导航指引指令。
16、根据方案15所述的方法，其中所述多个传感器***包括注视跟踪***，所述注视跟踪***包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器分析来自所述面向驾驶员的相机的图像以确定驾驶员注视的位置，并且其中所述驾驶员注视的位置用作修正所述导航指引指令的内容或时机的一个因数。
17、根据方案16所述的方法，进一步包括：利用来自一个或多个面向外的相机的图像结合所述驾驶员注视位置，以确定驾驶员是否已观察到路标，并且驾驶员对路标的观察用作修正所述导航指引指令的内容或时机的一个因数。
18、根据方案15所述的方法，其中所述多个传感器***包括语音检测***，所述语音检测***包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语，并且其中所述来自驾驶员的话语用于确定驾驶员是否满意导航指引，并且如果驾驶员不满意，则修正所述导航指引指令的内容或时机。
19、根据方案15所述的方法，其中所述多个传感器***包括情绪检测***，所述情绪检测***包括接近驾驶员的一个或多个传感器以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪，所述情绪检测***还分析来自面向驾驶员的相机的图像并基于来自所述图像的驾驶员面部表情识别驾驶员的情绪，所述驾驶员的情绪用于确定驾驶员是否平静，并且如果驾驶员不平静，则修正所述导航指引指令的内容或时机。
20、根据方案15所述的方法，进一步包括：提供来自车辆数据总线的输入，包括车辆速度、转向和制动数据，并且来自所述车辆数据总线的所述输入用于分析驾驶员的所述行为模式。
本发明的其它特征将通过以下描述和所附权利要求结合附图变得显而易见。
附图说明
图1描述了一种道路场景，其中驾驶员在试图跟随导航指引时频繁出错；
图2是一个示意图，示出了包含导航***的车辆，该导航***配置为基于用户行为提供自适应指引；
图3示出了一种道路场景，其中驾驶员的视觉焦点在道路标识上，该标识与预期导航路线不对应；
图4示出了一种道路场景，其中驾驶员的视觉焦点在道路标识上，该标识与预期导航路线对应，但车辆开始转向错误的路线；
图5是***的框图，该***用于基于用户行为模式提供自适应导航和基于位置的服务；以及
图6是方法的流程图，该方法用于基于用户行为模式提供自适应导航和基于位置的服务。
具体实施方式
本发明实施例的以下说明涉及基于用户行为模式的自适应导航的用户指引和基于位置的服务，其仅仅是示例性的，并且决不意图限制本发明或其应用或使用。
许多车辆驾驶员使用导航***来提供路线指引和地图，包括转向导航指引。驾驶员使用的导航***包括由车辆制造商与车辆集成在一起的***、驾驶员简单放置在车辆中的手持***，以及甚至装有导航应用的智能手机。如下详细讨论，与车辆集成的导航***可以利用车辆车载可用的传感器和数据以评估驾驶员行为并提供自适应指引。
对于任何类型的导航***，错误是不可避免的。这包括***错误和驾驶员错误。当由于全球定位***(GPS)卫星信号丢失或其他原因，导航***提供不准确或不及时的信息，或不能提供信息时，***发生错误。当驾驶员误解或无法遵循导航指令，并做出错误转向，错过转向等时，发生驾驶员错误。驾驶员错误也可源于无法理解行驶状况——即交通、道路条件、天气、可视条件等。一些驾驶员在一些情况下，比其他人更易于做出驾驶或导航错误。类似地，一些驾驶路线和道路位置也出现较高频率的导航错误。驾驶员行为数据在可能出错地点和以其他方式，可用于帮助减轻驾驶员错误。驾驶员行为数据也可用于更好地协调导航***与驾驶员的交互。这样的调整不仅仅是帮助减轻驾驶员错误，也用于提高用户与自动***的交互。
图1示出了道路场景10的平面图，其中驾驶员在试图跟随导航指引时会频繁出错。场景10包括北向车道12，其与东西交叉路14交叉。车辆16行驶在北向车道12上，并且驾驶员从导航***接收导航指引。当接近交叉路14时，车辆16的驾驶员面临几种选择。车辆16可进行右转18，进行左转20，或继续直行22。上述三个选择都是车辆16的驾驶员预期的。然而，该场景10还包括第四导航选择——即斜向左24至道路26。斜向左24对驾驶员来说可能是意料之外的选择，并且此外，可能难以看清。如果车辆16中的导航***简单地指引驾驶员，例如，“500米后，左转”，驾驶员可能错误左转20到交叉路14上。
可以容易的想象到，类似的其它道路几何结构易受到驾驶员导航错误的影响。这种可能出错类型的道路包括双出口车道，其中两个出口车道从多车道高速公路分离并然后进一步分成左和右线，并且道路具有两个紧密间隔的交叉口。驾驶错误也可能在任意道路位置，其中立体交叉道或交叉口很难看到——例如其中转向或出口的可视性被树木、标识、护栏或山遮住。
导航***的目的是将驾驶员安全并有效地指引至指定的目的地。做出错误的转向或其它导航错误的驾驶员可能对导航***不满意。另一方面，感觉被导航指令激怒的驾驶员也可能对导航***不满意。已开发的下述技术不仅通过自适应指引减少驾驶员错误的发生率(如图1所示类型)，还通过驾驶员行为监测顺应驾驶员指引偏好。所述技术也应用于可由导航***提供的基于位置的服务(LBS)。
图2是一个示意图，示出了包含自适应导航***102的车辆100，该导航***配置为基于驾驶员行为向驾驶员104提供自适应指引。自适应导航***102包括处理器106和显示器108。导航***102还包括车辆100中至少一个用于提供音频输出的扬声器110，和至少一个用于接收来自驾驶员104的音频输入的麦克风112。利用处理器106、显示器108、扬声器110和麦克风112，导航***102可以提供至目的地的基本的导航指引，如同任何典型的导航***所能提供的一样。
处理器106在图2中示出并且在此作为独立元件描述，但是，这种说明是为了便于描述，应该理解的是，该元件执行的功能可以组合在一个或多个装置中，例如在软件、硬件、和/或专用集成电路中实施。处理器106可以是专用或通用数字计算机，其包括微处理器或中央处理单元、存储介质(其包括非易失性存储器(包含只读存储器和电可编程只读存储器)、随机存取存储器)、高速时钟、模数和数模转换电路以及输入/输出电路和装置以及适当的信号调节和缓冲电路。处理器106具有一组处理算法，如下讨论的方法所述，包括常驻程序指令和存储在非易失性存储器中的标定值并执行以提供相应功能。所述算法可在基于预设时间的循环周期期间执行，或可响应事件的发生以执行算法。
显示器108可与车辆信息娱乐***、气候控制界面共享，或用于车辆100中的其它目的。显示器108通常是触摸屏设计，其中选项可显示在屏幕上并且驾驶员104可触摸显示器108的屏幕做出选择。
除了麦克风112，自适应导航***102还包括用于监测用户行为的其它设备。一个或多个传感器114靠近驾驶员104放置，并且可以监测任意数量的生物响应参数，如皮肤出汗、血压、心率、以及脑电波图案。传感器114可以放置在驾驶员座位中、扶手中、方向盘上和/或任何其它合适的位置。面向驾驶员的相机116连续记录驾驶员面部图像，其可以用于确定驾驶员视觉焦点方向(驾驶员正在看什么)，并且也可以用于评估驾驶员面部表情。
一个或多个面向外的相机118连续地记录车辆外的场景图像，其可用来定位和读取道路标识、定位并识别出口和转向车道，评估车辆100周围交通和天气条件，以及用于任何其他合适的目的。车辆数据总线120传送数据至车辆100中的许多子***或从车辆100中的许多子***接收数据。数据总线120可以是CAN(控制器局域网)总线、其他的通信总线、或其组合。如下面将讨论的，数据总线120向导航***102提供来自***的数据，例如动力***、转向和制动，用于自适应指引的目的。
车辆100，以及具体的导航***102，可与蜂窝服务122和互联网124无线通信。车辆互联网访问可通过蜂窝服务122实现，或可绕过蜂窝服务122并通过一些其他无线通信形式到达互联网124，例如使用专用短程通信(DSRC)或外部Wi-Fi的车辆到基础设施的通信。蜂窝服务122还可用于到达信息通讯服务，这种服务提供便利如实时导航和专人服务，并且还可用于下面讨论的合计导航状况和驾驶员行为之间的相关性。
正如上述讨论的在自适应导航***102中提供的多种传感器所示，可基于许多不同类型的输入数据监测驾驶员行为。首先将讨论关于驾驶员外部视觉焦点或“注视点”的例子。其它类型的驾驶员监测数据，及其相关实例，将在本公开中稍后讨论。这些其他类型驾驶员监测数据包括驾驶员语音发声、驾驶员情绪和面部表情，从数据总线120上的参数检测的驾驶模式，以及其他行为模式诸如包括按钮按下、屏幕选择、偏好等的模式。
图3示出了一种道路场景130，其中驾驶员的视觉焦点在道路标识上，该标识与预期导航路线不对应；在场景130中，驾驶员104已将目的地输入至导航***102。车辆100正在接近结合的交叉口与立体交叉道处，其中存在多个交叉路和高速公路入口坡道。在场景130中，通过分析来自面向驾驶员的相机116的图像，确定驾驶员的视觉集中在道路标识132上，如虚线134所示。类似地，来自面向外的相机118的图像可用于确定驾驶员视线指向的位置存在什么，并且在这个场景中，识别和读取道路标识132。
同时，导航***102识别出车辆100向右转向至入口坡道，如箭头136所示。确定车辆实际和预期路线的技术在本领域是已知的，包括使用全球定位***(GPS)信号、车道追踪***、车辆动态传感器和其他技术。箭头136描述的路线对应道路标识138，其建议一条与驾驶员104正在注视的道路标识132不同的路线。不论驾驶者期望目的地如何，驾驶员的视觉焦点或“注视点”与车辆100的行驶方向之间的不匹配可被自适应导航***102作为触发器使用以提供特定指引命令。例如，导航***102可告诉驾驶员104，“我们不去Sacramento，右转去South Lake Tahoe”。
如上所述的例子中，驾驶员104不必持续注视路标132数秒钟。如果驾驶者焦点位于标识132上持续了一定的最小时间量——单次注视或累计多次注目——然后导航***102可得出结论，驾驶员104意识到标识132的内容。
图4示出了一种道路场景150，其中驾驶员的视觉焦点在道路标识上，该标识与预期导航路线相对应，但车辆开始转向错误的路线。在场景150中，驾驶员104再次输入目的地至导航***102，并且车辆100再次接近存在多个交叉路与高速路入口坡道的结合的交叉口与立体交叉道处。在场景150中，通过分析来自面向驾驶员的相机116的图像，确定驾驶员的视觉交替地集中在两个目标上；如虚线152所示即将到来的入口坡道，以及如虚线156所示的道路标识154。
同时，导航***102识别出车辆100右转至交叉路，如箭头158所示。箭头158描述的路线与路标154不对应。不论驾驶者期望目的地如何，驾驶员的视觉焦点的两点与车辆100的行驶方向之间的不匹配可被自适应导航***102作为触发器使用以提供特定指引命令。例如，导航***102可告诉驾驶员104，“不要在这里右转，继续直行然后右转去South LakeTahoe”。
在另外一个例子的情形中，其中自适应导航***不使用外部相机消除不明确的道路状况。在这种情况下，存在地形地图，并且可记录大量驾驶员的驾驶行为(例如使用方案如Waze、Google以及其他协同导航方案)。这种情况下特定区域——交叉点、交叉路、交叉口——在地形上可识别为“不确定的”，其由许多用户生成的数据告知。这种情况下可选择“不确定的”或有问题的地形并且可识别犹豫不决或错误倾向行为。一旦识别出与不确定地形相关的这种行为，***可通过自适应导航方案预先阻止问题。
除了上述例子之外，其中驾驶员外部注视作为导航指引的因数，还存在这样的状况，即驾驶员对车辆100的内部注视也可以与指引自适应相关。例如，如果驾驶员重复地看，或注视导航***显示器108，则可以认为是表示驾驶员不确信他或她在正确的路线上。在这一状况下，可能希望提供特定指引沟通表示车辆100仍位于正确的路线，以及什么时候和哪儿将是下一个转向或出口。其他驾驶员注视车辆100内部的模式，例如几乎不注视在导航显示器上并且在导航指引之前具有提前操作，可用于触发导航修正——增加或减少指引，或改变指引内容。
驾驶员语音和其它话语也可用作自适应指引输入。这包括在驾驶员104对导航***102的直接对话，以及由驾驶员104做出的附带评论。驾驶员104可向导航***102提问，或向导航***102发表声明，表示需要更加频繁的导航指引。导致增加的导航指引频率的驾驶员的评论例子包括：“我在哪转向？”，“我下一步做什么？”，“我迷路了”，“我什么时候能到达那里？”以及“在这转向还是下一次转向？”。
驾驶员104还可向导航***102提问，或向导航***102发表声明，表示需要较不频繁的导航指引。导致减少的导航指引频率的驾驶员评论的例子包括：“暂时不用”，“我知道了”以及“稍后告诉我”。类似地，驾驶员104可向导航***102提问，或向导航***102发表声明，表示修正导航指引时机或内容是恰当的。导致修正(不一定增加或减少)导航指引频率、或修改导航内容的驾驶员评论的例子包括：“你的意思是什么？”，“下次早点告诉我”以及“你能使用不同的术语吗？”。
驾驶员104可不直接对导航***102发表声明，其也可由导航***102解读作为用于修正指引的指示性意愿。这些声明可针对车辆100中的乘客或驾驶员104简单的“自言自语”(评论不针对特定的人)。评论诸如“我不知道这东西是否在工作”以及“你听到它说什么了吗？”可解释为期望更频繁的导航指引，而评论诸如咒骂和“这东西很烦人”可解释为期望较不频繁的导航指引。
许多驾驶员情绪暗示也可用作导航指引的输入。这些情绪暗示——与驾驶员104的话语评论无关——可由传感器114或面向驾驶员的相机116检测。如先前所提到的，传感器114可以是任何类型的传感器，它们可以检测驾驶员104中的生物测定响应。例如，传感器114可以检测驾驶员血压或心率、或传感器114可检测车辆座椅、方向盘或扶手上的汗液。传感器114可通过已研发的脑电图技术检测驾驶员的“脑电波”。这些生物测定响应参数可在许多情形下解释成与自适应导航指引相关。例如，升高的血压或心率，或汗液的增加，可以解释为驾驶员焦虑和视作一条指示，其指示导航指引频率应当增大。相反，放松的驾驶员状态的指示，诸如正常血压和心率，或者平静脑电图读数，可视为建议导航指引的频率可保持或降低。
由面向驾驶员的相机116检侧的面部表情可由导航***102解释用于自适应指引。例如，如果驾驶员104的面部表情是平静和放松的，这可视为指示减少导航指引频率，或至少驾驶员104对当前导航指引感觉舒适。但是如果驾驶员104的面部表情是担忧或焦虑的，这可视为应当增加导航指引频率的指示。实现这种类型的导航指引自适应的面部表情识别技术是本领域已知的。
驾驶行为，反映在车辆100的运行中，也可用作自适应导航指引的输入。与车辆100及其子***相关的许多不同参数在数据总线120上是可用的。与发动机/动力***、转向、制动和其他驾驶相关***有关的可用数据可从总线120获得。此外，可使用诸如HVAC和信息娱乐的舒适和便利***相关的数据，以及诸如座位和窗口位置、照明和其他配置。来自数据总线120的数据建议增加导航指引的状况示例包括接近转向太快(说明缺乏即将转向的意识)或频繁刹车点头(说明驾驶员104部分的不确定)。相反，在繁忙交通状况中的低车速可视为可减少导航指引频率的指示。在一些情况下，基于总线120的数据可在一些状况下修正内容——例如，如果车辆100接近转向太快，则增加“减速慢行”的特定建议。
基于位置的服务(LBS)是在导航***中最近越来越普及的特征。利用LBS，使用个人的当前位置——以及其他因数，如一天中的时间、个人偏好等——来提供产品和服务的定制信息、促销优惠和推荐给个人。例如，已知驾驶员频繁地停在某特定咖啡店，如果他或她在生意萧条时靠近咖啡店，可提供打折信息。同样，当他或她在商店或美发店附近时，可以通知驾驶员商店中特定品牌的衣服在售，或美发店处于“不用等待”的状态。LBS也包括简单的通知和推荐，例如处于低燃料的车辆接收至最近优选品牌的加油站的指示。因为位置是导航***明显已知的，LBS功能已经自然地添加至许多导航***中。
上面详细讨论的自适应指引特征也可包含在启动LBS的导航指引中。例如，由面向驾驶员的相机116监测的驾驶员视觉焦点可确定驾驶员104已检查广告牌，并且面向外的相机118可确定广告牌是特定快餐连锁的广告。导航***102的LBS特征然后可提供至最近的快餐连锁的经营位置的指示，并也提供任何可用折扣。
在另一LBS场景中，驾驶员注视跟踪可指示驾驶员104没有发现即将到来的转向，如阻塞的停车场入口。在这种状况下，如果驾驶员驾驶太快，可发出“减速慢行”的通知，可提供转向的附加通知或描述等。在任何LBS场景中，基于驾驶员行为，可进行不同指引的修正——驾驶指令的频率和内容。
图5是***200的框图，该***用于基于用户行为模式提供自适应导航和基于位置的服务。***200是上面讨论的导航***102的实施例。如下所述，***200包括硬件元件和软件算法。示出的***200的核心自适应导航特征体现在图2中处理器106中。***200的软件算法均可在处理器106上执行，或者它们可分布在两个或多个处理器上。***200的所有元件都是车辆(如车辆100)车载的，。
驾驶员104的行为模式是***200中导航自适应的基础。用户偏好分析器202利用驾驶员104的身份建立用户偏好的基础集合，这是预先输入的。面向驾驶员的相机116记录驾驶员104的图像，并且注视跟踪***分析器204检测驾驶员对车辆100内外的注视模式。如前所述，注视跟踪***分析器204可以基于面向驾驶员的相机116的图像确定驾驶员的视觉焦点所在。例如，分析器204利用已知的车辆几何数据可以得出驾驶员注视的车辆100内部的目标——例如确定驾驶员104看着导航显示器108。分析器204还可以确定驾驶员注视的车辆100外部的位置，并且该信息可以与来自面向外的相机118的图像相结合以得出驾驶员在向外看时注视的目标。
麦克风112拾取驾驶员语音或其它发声，并且语音***分析器206分析驾驶员的发声以确定它们是否与导航相关。如前所述，驾驶员发声可针对导航***102本身，或它们可针对乘客或不针对特定的人，但仍然与导航指引相关。
面向驾驶员的相机116和传感器114收集用于情绪检测***208的数据。情绪检测***208基于驾驶员面部表情和其他生物测定响应数据确定驾驶员的情绪状态——诸如放松、焦虑、愤怒等。数据总线120将数据提供给驾驶模式分析器210，其从总线数据确定驾驶模式。驾驶模式可以是客观的——诸如临近转向驾驶过快——或它们可以是主观的——例如确定驾驶员104驾驶平稳或不稳定。如上所述，用户偏好分析器202、注视跟踪***分析器204、语音***分析器206、情绪检测***208和驾驶模式分析器210可编程到一个或多个单独处理器中，或者它们可合并到处理器106中。
来自用户偏好分析器202、注视跟踪***分析器204、语音***分析器206、情绪检测***208和驾驶模式分析器210的输出提供给行为模式分析器212，其包括状况检测器214、错误和行为记录器216和因果关系分析器218。状况检测器214将输入信息转换成状况。在其最简单形式中，状况检测器214确定驾驶员104是否满意他或她正接收的导航指引。这一确定由与驾驶员视觉焦点、语音和情绪有关的可用输入数据做出。
错误和行为记录器216记录错误(如错过转向或错误转向)以及其他驾驶员104的行为。其他行为可包括正确地遵循导航方向，或取消导航指引等等。简而言之，错误和行为记录器216记录驾驶员做的与导航指引有关的事情。
因果关系分析器218评估来自状况检测器214的状况与来自错误和行为记录器216的行为之间的相关性。例如，因果关系分析器218可确定当他或她的眼睛过度引导在导航显示器108上时，驾驶员104频繁错过转向或做出错误转向，或当给出更少的指令时，驾驶员104沿循方向做的更好。可以识别驾驶员行为模式与驾驶表现之间的许多不同类型的相关性。
来自行为模式分析器212的数据由自适应指引引擎220使用以自适应地修正提供给驾驶员104的导航指引。如前详细讨论的，驾驶员迷路或焦虑的情况下可增加导航指引，驾驶员对指引命令的发出变得受挫的情况下减少导航指引，或者以其他方式在频率和内容上做出改变。这只是可做出的导航指引自适应类型的几个例子。这种自适应也可用于基于位置的服务，与传统导航一起至目的地。存储器模块222可用于存储模式——在状况、行为和导航自适应之间，以便将来参考。
图6是方法流程图300，该方法用于基于用户行为模式提供自适应导航和基于位置的服务。在方框302，使用麦克风112、一个或多个传感器114、面向驾驶员的相机116，面向外的相机118和数据总线120监测驾驶员行为。在方框304，使用注视跟踪***分析器204、语音***分析器206、情绪检测***208和驾驶模式分析器210检测驾驶员行为。在方框304检测的行为包括眼睛注视、语音、情绪和面部表情，以及驾驶模式。
在方框306，使用来自注视跟踪***分析器204、语音***分析器206、情绪检测***208和驾驶员模式分析器210的数据作为输入，与用户偏好分析器202一起，分析驾驶员行为模式。如前所讨论的，驾驶行为模式分析器212用在方框306处，其包括状况检测器214、错误和行为记录器216以及因果关系分析器218。在方框308处，来自方框306的驾驶状况、行为模式以及相关性用于生成自适应导航指引和自适应基于位置的服务指令。在方框310，自适应指引和LBS指令被提供给驾驶员104。
使用本文所公开的方法，可基于记录和分析的驾驶员行为模式，自适应地修正向驾驶员提供的导航指引和基于位置的服务。自适应指引可减少导航错误，同时适应驾驶员对导航指引频率和内容的偏好，从而增加导航***用户满意度。
前述的讨论仅仅公开和描述了本发明的示例性实施例。本领域技术人员将很容易通过这种讨论以及附图和权利要求认识到，在不偏离如所附权利要求书限定的本发明的精神和范围的条件下，可以对本文做出各种改变、修改和变化。
Claims (13)
1.一种用于为车辆驾驶员导航提供自适应指引的***，所述***包括：
多个传感器***，其用于监测和分析驾驶员行为；
显示装置，其用于显示导航地图并将视觉导航指令提供给驾驶员；
扬声器，其用于将音频导航指令提供给驾驶员；和
自适应导航指引处理器，其接收来自所述传感器***的输出信号并配置有算法，所述算法包括：
状况检测器模块，其配置为确定驾驶员对导航指引内容和时机的满意度水平；
错误和行为记录器模块，其配置为识别驾驶员的错误和行为；
因果关系分析器模块，其配置为确定在所述驾驶员的错误和行为与所述驾驶员对导航指引内容和时机的满意度水平之间的相关性；和
自适应导航指引模块，其配置为基于来自所述状况检测器模块、所述错误和行为记录器模块以及所述因果关系分析器模块的输出，自适应地修正所述导航指引内容和时机，并将所述导航指引提供给驾驶员，
其中所述多个传感器***包括注视跟踪***、语音检测***和情绪检测***，
其中所述注视跟踪***包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器分析来自所述面向驾驶员的相机的图像以确定驾驶员注视的位置，并且其中所述自适应导航指引模块基于驾驶员注视指向的位置修正所述导航指引内容或时机，其中所述注视跟踪***分析器基于面向驾驶员的相机的图像确定驾驶员的视觉焦点所在，所述注视跟踪***分析器利用已知的车辆几何数据得出驾驶员注视的车辆内部的目标，所述注视跟踪***分析器还确定驾驶员注视的车辆外部的位置，并且该确定的驾驶员注视的车辆外部的位置与来自面向外的相机的图像相结合以得出驾驶员在向外看时注视的目标；
其中所述语音检测***包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语；
其中所述情绪检测***包括接近驾驶员的一个或多个传感器，以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪。
2.根据权利要求1所述的***，其中所述面向外的相机用于记录车外的图像，其中来自所述面向外的相机的图像与驾驶员注视位置结合使用以确定驾驶员是否已观察到路标，并且驾驶员对路标的观察用作所述自适应导航指引模块中的一个因数。
3.根据权利要求1所述的***，其中来自驾驶员的所述话语用于确定驾驶员是否满意所述导航指引，并且如果驾驶员不满意，则修正所述导航指引内容或时机。
4.根据权利要求1所述的***，其中所述一个或多个传感器包括汗液传感器和心率传感器。
5.根据权利要求1所述的***，其中所述情绪检测***还分析来自面向驾驶员的相机的图像，并且基于来自所述图像的驾驶员面部表情识别驾驶员的情绪。
6.根据权利要求1所述的***，其中所述驾驶员的情绪用于确定驾驶员是否冷静，并且如果驾驶员不冷静，则修正所述导航指引内容或时机。
7.根据权利要求1所述的***，其中所述自适应导航指引处理器还从车辆数据总线接收输入，包括车辆速度、转向和制动数据，并且来自所述车辆数据总线的输入由所述自适应导航指引模块使用以识别指示导航指引应当被修正的驾驶模式。
8.根据权利要求1所述的***，其中所述自适应导航指引处理器还配置为向驾驶员提供自适应修正的基于位置的服务，其中所述基于位置的服务包括驾驶员目的地和路线附近的商业信息和促销优惠。
9.一种用于为车辆驾驶员导航提供自适应指引的***，所述***包括：
注视跟踪***，其包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器对来自所述面向驾驶员的相机的图像进行分析，以确定驾驶员注视的位置，其中自适应导航指引模块基于驾驶员注视指向的位置修正导航指引内容或时机，其中所述注视跟踪***分析器基于面向驾驶员的相机的图像确定驾驶员的视觉焦点所在，所述注视跟踪***分析器利用已知的车辆几何数据得出驾驶员注视的车辆内部的目标，所述注视跟踪***分析器还确定驾驶员注视的车辆外部的位置，并且该确定的驾驶员注视的车辆外部的位置与来自面向外的相机的图像相结合以得出驾驶员在向外看时注视的目标；
语音检测***，其包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语；
情绪检测***，其包括接近驾驶员的一个或多个传感器，以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪；
显示装置，其用于显示导航地图并将视觉导航指令提供给驾驶员；
扬声器，其用于将音频导航指令提供给驾驶员；和
自适应导航指引处理器，其接收来自所述注视跟踪***、所述语音检测***、所述情绪检测***和车辆数据总线的输出信号，其中，所述自适应导航指引处理器配置有算法，所述算法包括：
行为模式分析器模块，其配置为确定驾驶员对导航指引内容和时机的满意度水平，识别驾驶员的错误和行为，并确定在所述驾驶员的错误和行为与所述驾驶员对导航指引内容和时机的满意度水平之间的相关性；和
自适应导航指引模块，其配置为基于来自所述行为模式分析器模块的输出，自适应地修正所述导航指引内容和时机，并将所述导航指令提供给驾驶员。
10.根据权利要求9所述的***，其中驾驶员满意度水平由所述语音检测***识别的驾驶员话语以及由所述情绪检测***识别的驾驶员情绪确定，并且所述驾驶员错误和行为由驾驶员视觉焦点位置和来自所述车辆数据总线的信号确定。
11.一种用于为车辆驾驶员导航提供自适应指引的方法，所述方法包括：
利用多个传感器***监测和识别驾驶员的行为；
利用来自所述多个传感器***的输出，使用微处理器分析驾驶员的行为模式；
基于所述驾驶员的行为模式，自适应地修正导航指引指令的内容与时机；以及
通过音频扬声器或显示单元向驾驶员提供所述导航指引指令，
其中所述多个传感器***包括注视跟踪***，所述注视跟踪***包括面向驾驶员的相机和注视跟踪***分析器，所述注视跟踪***分析器分析来自所述面向驾驶员的相机的图像以确定驾驶员注视的位置，并且其中所述驾驶员注视的位置用作修正所述导航指引指令的内容或时机的一个因数，其中所述注视跟踪***分析器基于面向驾驶员的相机的图像确定驾驶员的视觉焦点所在，所述注视跟踪***分析器利用已知的车辆几何数据得出驾驶员注视的车辆内部的目标，所述注视跟踪***分析器还确定驾驶员注视的车辆外部的位置，并且该确定的驾驶员注视的车辆外部的位置与来自面向外的相机的图像相结合以得出驾驶员在向外看时注视的目标，
其中所述多个传感器***包括语音检测***，所述语音检测***包括麦克风和语音分析器，所述语音分析器分析来自所述麦克风的音频信号并识别来自驾驶员的话语，并且其中所述来自驾驶员的话语用于确定驾驶员是否满意导航指引，并且如果驾驶员不满意，则修正所述导航指引指令的内容或时机，
其中所述多个传感器***包括情绪检测***，所述情绪检测***包括接近驾驶员的一个或多个传感器以及情绪分析器，所述情绪分析器分析来自所述一个或多个传感器的信号并识别驾驶员的情绪，所述情绪检测***还分析来自面向驾驶员的相机的图像并基于来自所述图像的驾驶员面部表情识别驾驶员的情绪，所述驾驶员的情绪用于确定驾驶员是否平静，并且如果驾驶员不平静，则修正所述导航指引指令的内容或时机。
12.根据权利要求11所述的方法，进一步包括：利用来自一个或多个面向外的相机的图像结合所述驾驶员注视位置，以确定驾驶员是否已观察到路标，并且驾驶员对路标的观察用作修正所述导航指引指令的内容或时机的一个因数。
13.根据权利要求11所述的方法，进一步包括：提供来自车辆数据总线的输入，包括车辆速度、转向和制动数据，并且来自所述车辆数据总线的所述输入用于分析驾驶员的所述行为模式。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/290,693 US9476729B2 (en) | 2014-05-29 | 2014-05-29 | Adaptive navigation and location-based services based on user behavior patterns |
| US14/290693 | 2014-05-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105136156A CN105136156A (zh) | 2015-12-09 |
| CN105136156B true CN105136156B (zh) | 2018-11-13 |
Family
ID=54481658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510458112.6A Active CN105136156B (zh) | 2014-05-29 | 2015-05-29 | 基于用户行为模式的自适应导航与基于位置的服务 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9476729B2 (zh) |
| CN (1) | CN105136156B (zh) |
| DE (1) | DE102015108416B4 (zh) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9696173B2 (en) * | 2014-12-10 | 2017-07-04 | Red Hat, Inc. | Providing an instruction notification for navigation |
| WO2016114918A1 (en) * | 2015-01-15 | 2016-07-21 | Pcms Holdings, Inc. | Systems and methods for providing navigation directions based on emotions and activities |
| US10096240B2 (en) * | 2015-02-06 | 2018-10-09 | Jung H BYUN | Method and server for traffic signal regulation based on crowdsourcing data |
| US9849882B2 (en) * | 2015-02-06 | 2017-12-26 | Jung H BYUN | Vehicle control based on crowdsourcing data |
| WO2016138942A1 (en) * | 2015-03-03 | 2016-09-09 | Volvo Truck Corporation | A vehicle assistance system |
| DE102015223271A1 (de) * | 2015-11-25 | 2017-06-01 | Preh Car Connect Gmbh | Verfahren zum Ausgeben einer Folge von Bewegungsanweisungen |
| JP6358270B2 (ja) * | 2016-01-14 | 2018-07-18 | マツダ株式会社 | 運転支援装置 |
| US20170210289A1 (en) * | 2016-01-22 | 2017-07-27 | Arjun Kundan Dhawan | Driver Focus Analyzer |
| US9915547B2 (en) * | 2016-03-21 | 2018-03-13 | Honda Motor Co., Ltd. | Enhanced navigation information to aid confused drivers |
| JP6815387B2 (ja) * | 2016-03-30 | 2021-01-20 | 川崎重工業株式会社 | 鞍乗型車両の設定支援装置 |
| US10126141B2 (en) * | 2016-05-02 | 2018-11-13 | Google Llc | Systems and methods for using real-time imagery in navigation |
| US10828954B2 (en) * | 2016-07-13 | 2020-11-10 | Ford Global Technologies, Llc | Ride performance optimization systems and devices, and related methods |
| CN107703931B (zh) * | 2016-08-09 | 2019-04-05 | 北京百度网讯科技有限公司 | 用于控制无人驾驶车辆的方法和装置 |
| US10449968B2 (en) * | 2016-09-23 | 2019-10-22 | Ford Motor Company | Methods and apparatus for adaptively assisting developmentally disabled or cognitively impaired drivers |
| US10278634B2 (en) | 2016-10-14 | 2019-05-07 | International Business Machines Corporation | Detecting and explaining driver confidence |
| US10830605B1 (en) | 2016-10-18 | 2020-11-10 | Allstate Insurance Company | Personalized driving risk modeling and estimation system and methods |
| US9739627B1 (en) | 2016-10-18 | 2017-08-22 | Allstate Insurance Company | Road frustration index risk mapping and mitigation |
| CN106682090B (zh) * | 2016-11-29 | 2020-05-15 | 上海智臻智能网络科技股份有限公司 | 主动交互实现装置、方法及智能语音交互设备 |
| CN106778575A (zh) * | 2016-12-06 | 2017-05-31 | 山东瀚岳智能科技股份有限公司 | 一种基于可穿戴设备的学生学习状态的识别方法与*** |
| EP3372467A1 (en) * | 2017-03-10 | 2018-09-12 | The Hi-Tech Robotic Systemz Ltd | Method and system for historical state based advanced driver assistance |
| EP3373193B1 (en) * | 2017-03-10 | 2023-09-20 | The Hi-Tech Robotic Systemz Ltd | Method and system for artificial intelligence based advanced driver assistance |
| US10648821B2 (en) | 2017-04-17 | 2020-05-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methodologies for route planning |
| US10488213B2 (en) | 2017-04-27 | 2019-11-26 | Intel Corporation | Intelligent vehicle navigator |
| DE102017207960A1 (de) | 2017-05-11 | 2018-11-15 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors |
| US10330486B2 (en) * | 2017-08-08 | 2019-06-25 | Gm Global Technology Operations Llc. | Context-aware vehicle communications system and control logic with adaptive crowd-sensing capabilities |
| CN109649398B (zh) * | 2017-10-10 | 2022-02-01 | 奥迪股份公司 | 导航辅助***和方法 |
| US10381005B2 (en) * | 2017-11-28 | 2019-08-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for determining user frustration when using voice control |
| US10401182B2 (en) * | 2017-12-13 | 2019-09-03 | Google Llc | Systems and methods for avoiding location-dependent driving restrictions |
| JP2021508521A (ja) * | 2017-12-22 | 2021-03-11 | レスメッド センサー テクノロジーズ リミテッド | 車両内生理学的感知のための装置、システムおよび方法 |
| US11042156B2 (en) | 2018-05-14 | 2021-06-22 | Honda Motor Co., Ltd. | System and method for learning and executing naturalistic driving behavior |
| JP7066541B2 (ja) * | 2018-06-19 | 2022-05-13 | 本田技研工業株式会社 | 制御装置および制御方法 |
| DE102018210528A1 (de) * | 2018-06-27 | 2020-01-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben eines Dialogsystems |
| CN110738383A (zh) * | 2018-07-20 | 2020-01-31 | 北汽福田汽车股份有限公司 | 自动驾驶评价方法、装置、存储介质及车辆 |
| US11037558B2 (en) | 2018-09-24 | 2021-06-15 | International Business Machines Corporation | Audio modulation for an audio interface |
| WO2020091806A1 (en) * | 2018-11-02 | 2020-05-07 | Google Llc | Context aware navigation voice assistant |
| US11501765B2 (en) * | 2018-11-05 | 2022-11-15 | Dish Network L.L.C. | Behavior detection |
| US10807605B2 (en) * | 2018-12-19 | 2020-10-20 | Waymo Llc | Systems and methods for detecting and dynamically mitigating driver fatigue |
| US10882398B2 (en) * | 2019-02-13 | 2021-01-05 | Xevo Inc. | System and method for correlating user attention direction and outside view |
| DE102019204116A1 (de) * | 2019-03-26 | 2020-10-01 | Robert Bosch Gmbh | Verfahren zum Erstellen einer Landkarte eines Straßensystems mit einer aktuellen Stimmung von Verkehrsteilnehmern |
| CN110838027A (zh) * | 2019-10-23 | 2020-02-25 | 上海能塔智能科技有限公司 | 车辆使用满意度的确定方法及装置、存储介质、计算设备 |
| CN110826433B (zh) * | 2019-10-23 | 2022-06-03 | 上海能塔智能科技有限公司 | 试驾用户情绪分析数据处理方法、装置、设备与存储介质 |
| JP2021102357A (ja) * | 2019-12-24 | 2021-07-15 | トヨタ自動車株式会社 | 車載機器操作装置 |
| CN111605556B (zh) * | 2020-06-05 | 2022-06-07 | 吉林大学 | 一种防路怒症识别及控制*** |
| KR20220014674A (ko) * | 2020-07-29 | 2022-02-07 | 현대자동차주식회사 | 차량용 감정 인식 기반 서비스 제공 장치 및 그 제어 방법 |
| CN113280823A (zh) * | 2021-05-18 | 2021-08-20 | 北京远舢智能科技有限公司 | 基于混合现实的空间地图导航技术 |
| CN117784934A (zh) * | 2023-12-27 | 2024-03-29 | 湖北工业大学 | 一种车载触摸屏多媒体智能信息*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101199116A (zh) * | 2005-01-14 | 2008-06-11 | 皇家飞利浦电子股份有限公司 | 选择在车辆中将要播放的音频内容的方法 |
| CN101998912A (zh) * | 2008-04-11 | 2011-03-30 | 沃尔沃技术公司 | 用于修改向目的地的车辆的驾驶计划的方法和*** |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000044580A1 (en) * | 1999-01-27 | 2000-08-03 | Compumedics Sleep Pty. Ltd. | Vigilance monitoring system |
| US6246933B1 (en) * | 1999-11-04 | 2001-06-12 | BAGUé ADOLFO VAEZA | Traffic accident data recorder and traffic accident reproduction system and method |
| US8285654B2 (en) * | 2006-06-29 | 2012-10-09 | Nathan Bajrach | Method and system of providing a personalized performance |
| DE102006056094A1 (de) * | 2006-11-28 | 2008-05-29 | Robert Bosch Gmbh | Fahrerassistenzsystem mit Anwesenheitsüberwachung |
| US8126479B2 (en) * | 2008-01-08 | 2012-02-28 | Global Alert Network, Inc. | Mobile alerting network |
| US9076125B2 (en) * | 2009-02-27 | 2015-07-07 | Microsoft Technology Licensing, Llc | Visualization of participant relationships and sentiment for electronic messaging |
| AU2010101243A4 (en) * | 2010-11-10 | 2010-12-16 | Gps Innovations Pty Ltd | Driver behaviour assessment |
| US8698639B2 (en) | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
| US9124955B2 (en) | 2011-09-19 | 2015-09-01 | Card Guard Scientific Survival Ltd. | Vehicle driver monitor and a method for monitoring a driver |
| US9127955B2 (en) | 2013-01-31 | 2015-09-08 | GM Global Technology Operations LLC | Adaptive user guidance for navigation and location-based services |
-
2014
- 2014-05-29 US US14/290,693 patent/US9476729B2/en active Active
-
2015
- 2015-05-28 DE DE102015108416.3A patent/DE102015108416B4/de active Active
- 2015-05-29 CN CN201510458112.6A patent/CN105136156B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101199116A (zh) * | 2005-01-14 | 2008-06-11 | 皇家飞利浦电子股份有限公司 | 选择在车辆中将要播放的音频内容的方法 |
| CN101998912A (zh) * | 2008-04-11 | 2011-03-30 | 沃尔沃技术公司 | 用于修改向目的地的车辆的驾驶计划的方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102015108416B4 (de) | 2023-03-23 |
| CN105136156A (zh) | 2015-12-09 |
| US20150345981A1 (en) | 2015-12-03 |
| DE102015108416A1 (de) | 2015-12-03 |
| US9476729B2 (en) | 2016-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105136156B (zh) | 基于用户行为模式的自适应导航与基于位置的服务 | |
| JP6643461B2 (ja) | 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法 | |
| US9702712B2 (en) | On-board system, information processing apparatus, and program product | |
| JP2007122579A (ja) | 車両制御装置 | |
| EP2806335A1 (en) | Vehicle human machine interface with gaze direction and voice recognition | |
| JP4803490B2 (ja) | 運転者状態推定装置及び運転支援装置 | |
| JP4780454B2 (ja) | 経路探索装置 | |
| US7805223B2 (en) | Dialogue system | |
| JP4748389B2 (ja) | 経路探索装置 | |
| US9291474B2 (en) | System and method for providing global positioning system (GPS) feedback to a user | |
| KR102099328B1 (ko) | 적어도 하나의 비디오 신호 또는 제어 신호를 계산하기 위한 장치, 차량, 방법 및 컴퓨터 프로그램 | |
| US9829336B2 (en) | Server for navigation, navigation system, and navigation method | |
| US9644985B2 (en) | Navigation device that evaluates points of interest based on user utterance | |
| JP4753161B2 (ja) | 経路探索装置 | |
| JP4771212B2 (ja) | ナビゲーション装置 | |
| JP4807625B2 (ja) | 情報提供装置 | |
| JP2008018853A (ja) | 情報記録装置、情報記録方法およびプログラム | |
| JP6037130B2 (ja) | 運転状態改善装置 | |
| US11794752B2 (en) | Recommendation presenting system, recommendation presenting method, and recommendation presentation program | |
| JP2009264880A (ja) | ドライバモデル作成装置 | |
| KR20180055643A (ko) | 주행을 보조하는 정보를 생성하는 방법 및 디바이스 | |
| US11643085B2 (en) | Drive assist apparatus and data collection system | |
| JP2007263651A (ja) | 車載用ナビゲーション装置及び車両信号検知方法 | |
| JP5611103B2 (ja) | ナビゲーション装置 | |
| WO2023218554A1 (ja) | ナビゲーション装置および立ち寄り地提案方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |