CN112506353A - 车辆交互***、方法、存储介质和车辆 - Google Patents

车辆交互***、方法、存储介质和车辆 Download PDF

Info

Publication number
CN112506353A
CN112506353A CN202110024709.5A CN202110024709A CN112506353A CN 112506353 A CN112506353 A CN 112506353A CN 202110024709 A CN202110024709 A CN 202110024709A CN 112506353 A CN112506353 A CN 112506353A
Authority
CN
China
Prior art keywords
user
vehicle
data
controlling
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110024709.5A
Other languages
English (en)
Inventor
吕超
陈晓燕
王世婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weilai Automobile Technology Anhui Co Ltd filed Critical Weilai Automobile Technology Anhui Co Ltd
Priority to CN202110024709.5A priority Critical patent/CN112506353A/zh
Publication of CN112506353A publication Critical patent/CN112506353A/zh
Priority to US17/570,977 priority patent/US20220219717A1/en
Priority to EP22150525.8A priority patent/EP4029716A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车辆交互***、方法、存储介质和车辆。车辆交互***包括：数据采集设备，其配置成采集指示用户意图的第一数据；数据处理设备，其配置成基于第一数据来得出用户意图；以及执行设备，其配置成基于用户意图对车辆进行控制，其中，第一数据是关于用户视线的数据。根据本发明一个或多个实施例的方案将对用户视线信息的处理与车辆控制相结合，可以使得用户无需通过手或口控制车辆上的装置，从而提供了更加自然便捷的人车交互体验。

Description

车辆交互***、方法、存储介质和车辆
技术领域
本发明涉及智能驾驶技术领域。具体而言，本发明涉及一种车辆交互***、方法、存储介质和车辆。
背景技术
在快速发展的现代汽车工业中，提高汽车用户的体验和汽车的用户友好性具有重要意义。随着车辆配置的提高，越来越多的车辆上搭载有用于人机交互的各种设备，例如，语音助手、中控屏幕、人工智能（AI）交互装置等等。这些设备可以促进驾驶员对车辆方便地进行设置和交流（例如，导航、播放音乐、设置空调温度等）。
然而，在上述设备及其相关功能的使用过程中，往往需要用户执行某些动作（例如，说出某些词、触摸或按压按键等）来启用和停用这些设备或其功能，因而有可能影响驾驶操作并且响应较慢。
发明内容
按照本发明的一个方面，提供一种车辆交互***，其包括：数据采集设备，其配置成采集指示用户意图的第一数据；数据处理设备，其配置成基于第一数据来得出用户意图；以及执行设备，其配置成基于用户意图对车辆进行控制，其中，第一数据是关于用户视线的数据。
作为上述方案的替代或补充，根据本发明一实施例的车辆交互***还包括：身份确认设备，其配置成确认用户身份。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，身份确认设备还配置成：基于第一数据和第二数据中的至少一个来确认所述用户身份。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，数据采集设备是图像采集设备和视频采集设备中的至少一种。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，执行设备还配置成：基于与车载人工智能AI装置交互的用户意图，控制AI装置进入交互模式以对用户行为进行响应；以及基于停止与AI装置交互的用户意图，控制AI装置进入非交互模式。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，执行设备还配置成：在无需持续通过车辆中控显示屏输出信息的情况下，基于使用车辆中控显示屏的用户意图，控制车辆中控显示屏点亮或退出屏幕保护模式；以及基于不继续使用车辆中控显示屏的用户意图，控制车辆中控显示屏变暗或进入屏幕保护模式。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，执行设备还配置成：基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互***中，执行设备还配置成：基于采取特定消息处理方式的用户意图，以特定模式对消息进行处理。
按照本发明的另一个方面，提供一种车辆交互方法，其包括：数据采集步骤：采集指示用户意图的第一数据；数据处理步骤：基于第一数据来得出用户意图；以及执行步骤：基于用户意图对车辆进行控制，其中，第一数据是关于用户视线的数据。
作为上述方案的替代或补充，根据本发明一实施例的车辆交互方法还包括：身份确认步骤：确认用户身份。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，身份确认步骤还包括：基于第一数据和第二数据中的至少一个来确认用户身份。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，数据采集步骤使用图像采集设备和视频采集设备中的至少一种来进行。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，执行步骤还包括：基于与车载人工智能AI装置交互的用户意图，控制AI装置进入交互模式以对用户行为进行响应；以及基于停止与AI装置交互的用户意图，控制AI装置进入非交互模式。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，执行步骤还包括：在无需持续通过车辆中控显示屏输出信息的情况下，基于使用车辆中控显示屏的用户意图，控制车辆中控显示屏点亮或退出屏幕保护模式；以及基于不继续使用车辆中控显示屏的用户意图，控制车辆中控显示屏变暗或进入屏幕保护模式。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，执行步骤还包括：基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启。
作为上述方案的替代或补充，在根据本发明一实施例的车辆交互方法中，执行步骤还包括：基于采取特定消息处理方式的用户意图，以特定模式对消息进行处理。
按照本发明的又一个方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由处理器执行时，执行根据本发明的一个方面的任一实施例所述的车辆交互方法。
按照本发明的再一个方面，提供一种车辆，其包括根据本发明的一个方面的任一实施例所述的车辆交互***。
根据本发明一个或多个实施例的方案将对用户视线信息的处理与车辆控制相结合，可以使得用户无需通过手或口控制车辆上的装置，从而提供了更加自然便捷的人车交互体验。
附图说明
本发明的上述和/或其他方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：
图1为根据本发明一实施例的车辆交互***100的示意性框图；
图2为根据本发明一实施例的车辆交互方法200的示意性流程图；以及
图3为根据本发明一实施例的对多个摄像头数据进行数据融合的过程的示意性流程图。
具体实施方式
在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。
诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其他单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
下文参考根据本发明实施例的方法和***的流程图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以构成机器，以便由计算机或其他可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。还应该注意在一些备选实现中，框中所示的功能/操作可以不按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。
在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本公开提供的各种实施例。另外，在可适用的情况下，在不脱离本公开的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本公开的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分离成包括软件、硬件或两者的子部件。另外，在可适用的情况下，设想的是软件部件可以被实现为硬件部件，以及反之亦然。
现在参考图1，图1图示了根据本发明一个方面的一实施例的车辆交互***100的示意性框图。在图1中，车辆交互***100包括数据采集设备110、数据处理设备120以及执行设备130。
在一个实施例中，数据采集设备110可以是图像采集设备和视频采集设备中的至少一种。常见的图像采集设备和视频采集设备可以是摄像头和相机，例如，模拟摄像头、数字摄像头、夜视摄像头、红外摄像头、具有各种视场（FOV）的摄像头等等。对于车辆而言，用于对车内用户的数据进行采集的数据采集设备110可以是舱内摄像头。在使用多个摄像头的情况下，由多个摄像头采集的图像可以被进行数据融合，以得到更精确的结果。
在一个实施例中，数据采集设备110采集的具有图像形式的第一数据可以指示用户意图，例如，用户期望进行的某项操作。第一数据可以是关于用户视线的数据，第一数据可以反映用户的注视方向/视线方向、用户视线的改变频率和方式、用户视线在各个位置停留的时间、用户将视线从某一设备移开的时间等等。在使用多个摄像头采集关于用户视线的数据的情况下，多个关于用户视线的图像、视频、图像帧等可以被执行数据融合，以得到关于用户视线的更精确的处理结果。该结果可以使得经由用户视线数据的车辆交互更为优化。
车辆交互***100还可以包括数据处理设备120。在一个实施例中，数据处理设备120可以配置成依照图3的流程图对数据执行融合。可选地，若车辆座舱内有多个摄像头，则处理每个摄像头获取的图像数据（作为第一数据）均可得到一组人脸和视线结果。通过对于多个摄像头的人脸和视线结果进行融合可以达到更好的数据处理效果。
在步骤S310中，数据处理设备120可以找到多组摄像头数据中属于同一个人脸的视线数据及对其的处理结果。数据处理设备120可以使用face ID算法，将乘客与该车辆上已有的用户账户中注册的人脸信息进行比对和关联。
例如，数据处理设备120可以根据摄像头外参和内参，将人脸经验大小进行坐标系变换，计算出人脸在车辆坐标系中的座椅位置，从而判断该同一个座椅位置上采集的人脸图像属于同一个人。在一个实施例中，数据处理设备120可以根据摄像头内外参和车辆座椅位置，将图像中获取的（例如，由人脸框标记的）人脸图像与车辆坐标系中的座椅位置相关联，从而判断在同一个座椅位置处采集的人脸图像是否属于同一个人。具体来说，可以如下计算人脸图像与座椅位置的关联关系：首先，根据摄像头内外参，将获取的人脸图像变换到车辆坐标系中，并计算出该人脸图像中的人脸框对应于左、中、右座椅中的哪个；然后，分别假设该人脸图像中的人脸框对应于位于第一排座椅和第二排座椅处的人员，由此计算出相应的人脸大小；最后将计算出的人脸大小与（例如，数据库中存储的或在车型设计时使用的）95%的人群的实际人脸大小相比较，根据比较结果可以认为与实际人脸大小最相近的计算出的人脸被正确地假设了对应的座椅位置。即，若被假设于第一排座椅处采集的人脸图像最接近于实际人脸大小，则可以认为该人脸图像对应的人员位于第一排座椅处，从而确定人脸图像中的人脸框对应的人员与车辆座椅的关联关系。
在步骤S320中，数据处理设备120可以配置成利用摄像头外参将多组视线结果换算到车辆坐标系中。在步骤S330中，数据处理设备120可以配置成对换算后的视线数据进行融合。例如，可以在俯仰角（pitch）、偏航角（yaw）和翻滚角（roll）的各方向上分别使用加权算法或分区间投票算法来对在各个方向上获取的视线数据进行融合处理。
数据处理设备120可以配置成基于第一数据来得出用户意图。例如，在第一数据是关于用户视线的数据的情况下，数据处理设备120可以配置成基于反映用户的注视方向/视线方向、用户视线的改变频率和方式、用户视线在各个位置停留的时间、用户将视线从某一设备移开的时间等等的第一数据来确定用户正在看向的位置（例如，车辆中控显示屏、后视镜、车载交互AI设备等等），并基于此进一步得出用户意图。
数据处理设备120还可以使用多种条件来确定用户正在看向的位置。例如，数据处理设备120可以设置注视时间阈值（例如，1秒、2秒等），当用户看向某个位置达该注视时间阈值时，数据处理设备120可以做出用户正在看向该位置的确定。例如，数据处理设备120可以设置用户在预设时间内看向某个位置的次数。在一种实施方式中，在用户在5秒的预设时间内看向左侧后视镜达2次的情况下，数据处理设备120可以做出用户正在看向左侧后视镜的确定，并得出用户可能具有向左转弯或向左变道的用户意图。
对用户注视位置进行确定和判断的条件可以根据实际需要来改变，而不限于上述两种判断条件。相应地，数据处理设备120也可以视情况而定为得出用户意图的操作设置所需的条件，本文中不做限定。用于视线检测的算法可以是Park, S., Spurr, A., andHilliges, O. (2018). Deep Pictorial Gaze Estimation. In European Conferenceon Computer Vision (ECCV), pages 741–757中涉及的一种基于语义分割的视线估计方法，也可以是Seonwook Park, Xucong Zhang, Andreas Bulling, Otmar Hilliges(2018). Learning to find eye region landmarks for remote gaze estimation inunconstrained settings. ACM Symposium on Eye Tracking Research andApplications (ETRA)中涉及的基于特征点的视线关健点热图来估计辅助回归视线方向的方法。在摄像头安装位置对直接视线估计不利时，还可以结合Zhu, W. and Deng, H.(2017). Monocular free-head 3d gaze tracking with deep learning and geometryconstraints. The IEEE International Conference on Computer Vision (ICCV)中涉及的头部姿势来结合地估计视线方向。
车辆交互***100还可以包括执行设备130，其可以配置成基于用户意图对车辆进行控制。例如，在数据处理设备120得出用户具有向左转弯或向左变道的用户意图之后，执行设备130可以至少基于该用户意图来自动开启左转向灯。执行设备130的操作可以不仅仅基于用户意图，还可以结合智能驾驶领域惯用的其他驾驶操作手段来进行。
在一个实施例中，车辆交互***100还可以包括身份确认设备140，其可以配置成确认用户身份。例如，车辆上的某些功能或操作只能由驾驶员进行控制，此时，只有当感测到驾驶员的控制意图时，才能够对车辆采取相应的控制。
此外，身份确认设备140还可以配置成基于第一数据或第二数据来确认用户身份。如上所述的第一数据可以是图像数据、视频数据等，在此情况下，身份确认设备140可以通过图像处理、人脸检测与识别、数据比对等方式来确认用户身份。在通过基于视线数据和人脸数据对第一数据进行复用的情况下，可以减轻***负担，避免额外的用户数据采集工作。
在一些实施例中，数据采集设备110配置成采集具有画面形式的第一数据。身份确认设备140配置成对第一数据中的人脸进行检测。在需要驾驶员作出视线控制的实例中，身份确认设备140可以配置成在检测得出第一数据中的人脸并非驾驶员的面部时，丢弃该第一数据以及对该第一数据的处理结果。身份确认设备140还可以配置成在检测得出第一数据中的人脸是驾驶员的面部时，对该面部继续进行第一数据的获取（即，视线检测）。数据处理设备120配置成基于关于用户视线的第一数据对用户注视方向以及进一步对用户意图进行判断。执行设备130配置成基于判断得出的用户意图对车辆进行相应的控制。其中，用于人脸检测的算法可以是深度学习算法，常见的例如MTCNN算法。
第二数据可以是除了数据采集设备所采集的数据之外的用户数据。例如，第二数据可以是用户指纹数据、用户声纹数据、用户输入的密码等等。在此情况下，需要通过独立的或集成在数据采集设备110中的其他数据采集设备来对能够反映用户身份的数据进行采集。当然，视情况而定，在需要的情况下，也可以同时使用第一数据和第二数据来确认用户身份，以得到更加准确的用户身份确认结果。
接下来，以几个具体实施例为示例来说明根据本发明的一方面的车辆交互***100及其各个设备的配置。
在一个实施例中，车辆交互***100中的执行设备130配置成：基于与车载人工智能AI装置交互的用户意图，控制AI装置进入交互模式以对用户行为进行响应；以及基于停止与AI装置交互的用户意图，控制AI装置进入非交互模式（视线唤醒AI装置功能）。其中，AI交互装置可以利用车载计算能力以及云计算平台，并且可以集成语音交互***、智能情感引擎等，从而使得车辆更加人性化、在一个方面为用户提供新颖的人车交互方式。在以往，AI交互装置需要用户通过按下（例如，方向盘处的）实体按钮或说出唤醒词（例如“Hi”）或唤醒装置被设定的名称来进行唤醒，以此使得AI交互装置开始与用户的交互（例如，倾听用户指令）。
根据本发明的实施例的车辆交互***100可以利用关于用户视线的数据来对AI装置进行唤醒，使得用户除了手、口之外，还可以通过眼神对AI装置进行控制。在一个实施例中，为了实现对车载AI装置的控制，身份确认设备140配置成对图像中的对象是否为驾驶员进行判断。例如，身份确认设备140可以配置成利用摄像头外参和内参、对人脸经验大小进行坐标系变换等，来计算人脸在车辆坐标系中的座椅位置（参考步骤S310）。由此，通过判断该座椅是否为驾驶员的座椅位置来判断图像中的人脸所属人员是否为驾驶员。另外，身份确认设备140也可以配置成将乘客与该车辆上记录的驾驶员账户的人脸信息进行比对来判断人员是否为驾驶员。
进一步地，数据处理设备120可以配置成根据车辆空间结构参数（例如，智能仪表屏幕（IC）/智能中控屏幕（ICS）/车载AI装置的空间位置），并结合座椅位置和关于用户视线的第一数据，来推算用户的视线关注区域,并由此得出用户意图。可选地，当发生变更驾驶员、座椅调整等情况时，可以在驾驶员就位后执行视线个性化自校准流程，来校准视线角度与视线关注区域的对应关系。
如上所述，例如，当数据处理设备120处理第一数据后得出用户视线注视AI装置达1s或更长的时间，数据处理装置120判断用户具有与车载AI装置进行交互的用户意图，于是可以唤醒AI装置，使得AI装置进入交互模式。随后，AI装置可以（例如，将头部部件）转向用户并开始接收用户的语音、图像等，使得用户可以与AI装置进行对话等行为。此外，在用户注视AI装置却不说话的情况下，AI装置可以拟人地作出表情（例如，做鬼脸），并且AI装置可以进入非交互模式（例如，AI装置可以使得其头部部件动作恢复到视线唤醒前的位置），以提供高效且不打扰的流畅用户体验。
另外，在数据处理装置120基于第一数据判断用户视线恢复到正常驾驶状态达一定时间（诸如10s）时，执行设备130可以控制AI装置进入非交互模式（例如，AI装置可以自动关闭或退出，并使得其头部部件动作恢复到视线唤醒前的位置），以提供高效且不打扰的流畅用户体验。根据本发明的车辆交互***100，使得用户无需说出特定的唤醒词或手动地按下实体按键来激活车载AI装置，唤醒过程更加自然和人性化。
在另一个实施例中，执行设备130还可以配置成：在无需持续通过车辆中控显示屏输出信息的情况下：基于使用车辆中控显示屏的用户意图，控制车辆中控显示屏点亮或退出屏幕保护模式；以及基于不继续使用车辆中控显示屏的用户意图，控制车辆中控显示屏变暗或进入屏幕保护模式（视线唤醒中控屏幕功能）。在例如导航模式等需要持续通过车辆中控显示屏输出信息的情况下，由于导航信息会高频率地被驾驶员查看，并且在大多数情况下，在驾驶员对导航信息进行查看时，需要及时地将导航信息反馈反馈给驾驶员以提高驾驶安全性；因此，在该情况下可以将车辆中控显示屏配置成持续点亮从而及时地为驾驶员提供导航信息。然而，根据需要，驾驶员也可以对该项配置进行个性化设置以满足个人需要。
对于不使用导航甚至不常使用中控显示屏的用户，屏幕保持常亮可能是刺眼的并且影响驾驶。在常规操作中，可以提供手动地或利用语音使得显示屏变暗或进入屏幕保护模式。在根据本发明的实施例的车辆交互***100中，为了解决或至少缓解该问题，可以将数据采集设备110配置成采集关于用户实现的数据，并将数据处理设备120配置成利用基于视线信息的算法，智能且自然地使得显示屏变暗或进入屏幕保护模式。
在一种实施方式中，如果在设置中开启了视线唤醒中控屏幕功能，则在开启屏幕保护模式的情况下，在数据处理设备120判断用户对ICS注视的时间、次数等达到一定条件时，执行设备130就可以控制车辆中控显示屏点亮或退出屏幕保护模式，来为用户显示信息。在中控屏幕已经点亮的情况下，在数据处理设备120判断用户视线不注视中控屏幕或不具有继续使用中控屏幕的意图达一定时间（诸如10s），则可以控制车辆中控显示屏变暗或进入屏幕保护模式。
由此，无需通过手动或语音进行操作就能控制车辆中控显示屏的屏保模式，从而减少操作成本，以提供驾驶中无缝衔接的车辆操控体验。
在又一个实施例中，执行设备130还可以配置成：基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启（自动驾驶辅助决策功能之一）。其中，车辆对外指示设备是指用于向非车载人员发出提醒或指示信号的设备，例如车辆左右两侧的转向灯。一方面，当用户开启自动驾驶辅助决策功能时，在数据处理设备120检测到用户查看车辆某侧后视镜达一定次数或时间并由此判断用户希望改变车辆行驶路径（例如，变道、转弯等）的情况下，执行设备130可以仅凭此控制点亮车辆相应一侧的转向灯等设备。视情况而定，执行设备130也可以结合其他用户操作来更准确地对车辆设备进行控制。
另一方面，在自动辅助驾驶以及领航辅助驾驶等自动变道超车的相关场景下，辅助驾驶***可以利用用户视线注视对应的行驶路径改变方向一侧的后视镜观察路况的行为，来作为确认最终决策（进行变道、转弯等车辆控制操作）的依据。若用户视线没有注视后视镜，则可以通过用户打开转向灯等方式进行确认。
自动驾驶辅助决策功能可以实现自动控制转向灯，因此在辅助驾驶中，无需用户打开方向灯即可确认改变车辆行驶路径的操作意图。这在一定程度上解放了用户的双手，更提升了辅助驾驶的安全性和可靠性，实现人车的自然交互体验。
在还一个实施例中，执行设备130还配置成：基于采取特定消息处理方式的用户意图，以特定模式对消息进行处理（用户消息隐私功能）。在常规配置中，驾驶员的手机等个人设备可以被连接到车辆。因此，当驾驶员在行车过程中收到电话、语音、文字消息的情况下，可以通过车辆设备进行屏幕显示、语音播放等处理消息，避免驾驶员手动操作个人设备，从而避免分散驾驶员注意力、驾驶员单手操控方向盘等情况发生。此外，随着技术的发展，车辆自身也有可能接收到消息，本文对消息的来源和获取方式不做限定。
然而，在某些时候，车辆并不仅仅用于个人或亲密的家庭成员乘坐。由于各乘客与驾驶员的亲密关系程度不同，也并不是所有消息都适合在车辆座舱内公开播放或展示，因此存在对消息内容进行特定处理的需求。在开启用户消息隐私功能时，当车辆接收到私人消息（例如，电话、短信、社交软件消息等）时，如果数据处理设备120判断驾驶员视线转向ICS，和/或判断视线对ICS的注视达到预设条件时，数据处理设备120判断驾驶员希望通过显示屏对消息进行处理；则执行设备130可以配置成进行例如显示电话备注、显示号码、接通电话并打开扬声器等操作，或者可以配置成控制中控显示屏显示文字消息的具体内容、将文字消息转化为语音进行播放等操作。
如果数据处理设备120判断在一定的时间内驾驶员未利用视线响应该消息，则数据处理设备120判断用户不希望公开该消息的具体内容，则执行设备130可以配置成不对该消息进行处理（例如，不显示消息的详细内容，并将消息存入消息中心，从而保护用户隐私）。另外，根据需要，在驾驶员未利用视线对消息进行响应或是视线看向用户自己的通信设备时，执行设备130可以配置成通过耳机（若用户已经佩戴耳机）播放消息或不对该消息进行处理。在具有抬头显示器（HUD）的车辆中，执行设备130也可以配置成在HUD上展示部分消息内容以辅助用户对消息的内容进行判断并对消息的处理方式进行选择。由此，根据本发明的车辆交互***100可以增强对驾驶员个人消息的隐私保护，从而避免在驾驶员不希望的情况下公开个人隐私信息。
现在参考图2，图1图示了根据本发明一个方面的一实施例的车辆交互方法200的示意性流程图。在图2中，车辆交互方法200包括数据采集步骤S210、数据处理步骤S220以及执行步骤S230。
在一个实施例中，数据采集步骤S210可以使用如上所述的图像采集设备和视频采集设备中的至少一种。对于车辆而言，用于对车内用户的数据进行采集的数据采集步骤S210可以使用舱内摄像头。在使用多个摄像头的情况下，由多个摄像头采集的图像可以被进行数据融合，以得到更精确的结果。
在一个实施例中，在数据采集步骤S210中采集的具有图像形式的如上所述的第一数据可以指示用户意图，例如，用户期望进行的某项操作。在数据采集步骤S210中使用多个摄像头采集关于用户视线的数据的情况下，多个关于用户视线的图像、视频、图像帧等可以被执行数据融合，以得到关于用户视线的更精确的处理结果。该结果可以使得经由用户视线数据的车辆交互更为优化。
车辆交互方法200还可以包括数据处理步骤S220。在一个实施例中，数据处理步骤S220包括如图3的流程图所示的数据融合操作。可选地，若车辆座舱内有多个摄像头，则在数据处理步骤S220中处理每个摄像头获取的图像数据（作为第一数据）均可得到一组人脸和视线结果。通过对于多个摄像头的人脸和视线结果进行融合可以达到更好的数据处理效果。
参考图3，在步骤S310中，找到多组摄像头数据中属于同一个人脸的视线数据及对其的处理结果。然后，可以使用face ID算法，将乘客与该车辆上已有的用户账户中注册的人脸信息进行比对和关联。也可以根据摄像头外参和内参，将人脸经验大小进行坐标系变换，计算出人脸在车辆坐标系中的座椅位置，从而判断该同一个座椅位置上采集的人脸图像属于同一个人。具体的计算和变换方法如以上关于步骤S310已经描述的部分类似，在此不做重复描述。
在步骤S320中，可以利用摄像头外参将多组视线结果换算到车辆坐标系中。在步骤S330中，可以对换算后的视线数据进行融合。例如，可以在俯仰角（pitch）、偏航角（yaw）和翻滚角（roll）的各方向上分别使用加权算法或分区间投票算法来对在各个方向上获取的视线数据进行融合处理。
数据处理步骤S220包括基于第一数据来得出用户意图。例如，在第一数据是关于用户视线的数据的情况下，数据处理步骤S220包括基于反映用户的注视方向/视线方向、用户视线的改变频率和方式、用户视线在各个位置停留的时间、用户将视线从某一设备移开的时间等等的第一数据来确定用户正在看向的位置（例如，车辆中控显示屏、后视镜、车载交互AI设备等等），并基于此进一步得出用户意图。
数据处理步骤S220还可以包括使用多种条件来确定用户正在看向的位置。例如，可以设置注视时间阈值（例如，1秒、2秒等），当用户看向某个位置达该注视时间阈值时，可以做出用户正在看向该位置的确定。例如，可以设置用户在预设时间内看向某个位置的次数。在一种实施方式中，在用户在5秒的预设时间内看向左侧后视镜达2次的情况下，可以做出用户正在看向左侧后视镜的确定，并得出用户可能具有向左转弯或向左变道的用户意图。
对用户注视位置进行确定和判断的条件可以根据实际需要来改变，而不限于上述两种判断条件。相应地，在数据处理步骤S220中，也可以视情况而定为得出用户意图的操作设置所需的条件，本文中不做限定。用于视线检测的算法可以是如上所述的各种算法，因此不做重复描述。
车辆交互方法200还可以包括执行步骤S230，其包括基于用户意图对车辆进行控制。例如，在数据处理步骤S220中得出用户具有向左转弯或向左变道的用户意图之后，在执行步骤S230中，可以至少基于该用户意图来自动开启左转向灯。执行步骤S230可以不仅仅基于用户意图，还可以结合智能驾驶领域惯用的其他驾驶操作手段来进行。
在一个实施例中，车辆交互方法200还可以包括身份确认步骤S240，其包括确认用户身份。例如，车辆上的某些功能或操作只能由驾驶员进行控制，此时，只有当感测到驾驶员的控制意图时，才能够对车辆采取相应的控制。
此外，身份确认步骤S240还包括基于第一数据或第二数据来确认用户身份。在第一数据是图像数据、视频数据等的情况下，身份确认步骤S240可以包括通过图像处理、人脸检测与识别、数据比对等方式来确认用户身份。在通过基于视线数据和人脸数据对第一数据进行复用的情况下，可以减轻***负担，避免额外的用户数据采集工作。
在一些实施例中，数据采集步骤S210包括采集具有画面形式的第一数据。则身份确认步骤S240包括对第一数据中的人脸进行检测。在需要驾驶员作出视线控制的实例中，身份确认步骤S240可以包括在检测得出第一数据中的人脸并非驾驶员的面部时，丢弃该第一数据以及对该第一数据的处理结果。身份确认步骤S240还可以包括在检测得出第一数据中的人脸是驾驶员的面部时，对该面部继续进行第一数据的获取（即，视线检测）。数据处理步骤S220包括基于关于用户视线的第一数据对用户注视方向以及进一步对用户意图进行判断。执行步骤S230包括基于判断得出的用户意图对车辆进行相应的控制。其中，用于人脸检测的算法可以是深度学习算法，常见的例如MTCNN算法。
第二数据可以是如上所述的数据。视情况而定，在需要的情况下，在身份确认步骤S140中可以同时使用第一数据和第二数据来确认用户身份，以得到更加准确的用户身份确认结果。
接下来，以几个具体实施例为示例来说明根据本发明的一方面的车辆交互方法200及其各个设备的配置。
在一个实施例中，执行步骤S230包括执行视线唤醒AI装置功能：基于与车载人工智能AI装置交互的用户意图，控制AI装置进入交互模式以对用户行为进行响应；以及基于停止与AI装置交互的用户意图，控制AI装置进入非交互模式。其中，AI交互装置可以利用车载计算能力以及云计算平台，并且可以集成语音交互***、智能情感引擎等，从而使得车辆更加人性化、在一个方面为用户提供新颖的人车交互方式。在以往，AI交互装置需要用户通过按下（例如，方向盘处的）实体按钮或说出唤醒词（例如“Hi”）或唤醒装置被设定的名称来进行唤醒，以此使得AI交互装置开始与用户的交互（例如，倾听用户指令）。
根据本发明的实施例的车辆交互方法200可以利用关于用户视线的数据来对AI装置进行唤醒，使得用户除了手、口之外，还可以通过眼神对AI装置进行控制。在一个实施例中，为了实现对车载AI装置的控制，身份确认步骤S240包括对图像中的对象是否为驾驶员进行判断。例如，身份确认步骤S240可以包括利用摄像头外参和内参、对人脸经验大小进行坐标系变换等，来计算人脸在车辆坐标系中的座椅位置（参考步骤S310）。由此，通过判断该座椅是否为驾驶员的座椅位置来判断图像中的人脸所属人员是否为驾驶员。另外，身份确认步骤S240也可以包括将乘客与该车辆上记录的驾驶员账户的人脸信息进行比对来判断人员是否为驾驶员。
进一步地，数据处理步骤S220可以包括根据车辆空间结构参数（例如，智能仪表屏幕（IC）/智能中控屏幕（ICS）/车载AI装置的空间位置），并结合座椅位置和关于用户视线的第一数据，来推算用户的视线关注区域,并由此得出用户意图。可选地，当发生变更驾驶员、座椅调整等情况时，可以在驾驶员就位后执行视线个性化自校准流程，来校准视线角度与视线关注区域的对应关系。
如上所述，例如，当在数据处理步骤S220中处理第一数据后得出用户视线注视AI装置达1s或更长的时间，可以判断用户具有与车载AI装置进行交互的用户意图，于是可以唤醒AI装置，使得AI装置进入交互模式。随后，AI装置可以（例如，将头部部件）转向用户并开始接收用户的语音、图像等，使得用户可以与AI装置进行对话等行为。此外，在用户注视AI装置却不说话的情况下，AI装置可以拟人地作出表情（例如，做鬼脸），并且AI装置可以进入非交互模式（例如，AI装置可以使得其头部部件动作恢复到视线唤醒前的位置），以提供高效且不打扰的流畅用户体验。
另外，在数据处理步骤S220中基于第一数据判断用户视线恢复到正常驾驶状态达一定时间（诸如10s）时，AI装置可以进入非交互模式（例如，AI装置可以自动关闭或退出，并使得其头部部件动作恢复到视线唤醒前的位置），以提供高效且不打扰的流畅用户体验。根据本发明的车辆交互方法200，使得用户无需说出特定的唤醒词或手动地按下实体按键来激活车载AI装置，唤醒过程更加自然和人性化。
在另一个实施例中，执行步骤S230还可以包括执行视线唤醒中控屏幕功能：在无需持续通过车辆中控显示屏输出信息的情况下：基于使用车辆中控显示屏的用户意图，控制车辆中控显示屏点亮或退出屏幕保护模式；以及基于不继续使用车辆中控显示屏的用户意图，控制车辆中控显示屏变暗或进入屏幕保护模式。在例如导航模式等需要持续通过车辆中控显示屏输出信息的情况下，由于导航信息会高频率地被驾驶员查看，并且在大多数情况下，在驾驶员对导航信息进行查看时，需要及时地将导航信息反馈反馈给驾驶员以提高驾驶安全性；因此，在该情况下可以将车辆中控显示屏配置成持续点亮从而及时地为驾驶员提供导航信息。然而，根据需要，驾驶员也可以对该项配置进行个性化设置以满足个人需要。
对于不使用导航甚至不常使用中控显示屏的用户，屏幕保持常亮可能是刺眼的并且影响驾驶。在常规操作中，可以提供手动地或利用语音使得显示屏变暗或进入屏幕保护模式。在根据本发明的实施例的车辆交互方法200中，为了解决或至少缓解该问题，可以在数据采集步骤S210中采集关于用户实现的数据，并在数据处理步骤S220中利用基于视线信息的算法，智能且自然地使得显示屏变暗或进入屏幕保护模式。
在一种实施方式中，如果在设置中开启了视线唤醒中控屏幕功能，则在开启屏幕保护模式的情况下，在数据处理步骤S220中判断用户对ICS注视的时间、次数等达到一定条件时，在执行步骤S230中就可以控制车辆中控显示屏点亮或退出屏幕保护模式，来为用户显示信息。在中控屏幕已经点亮的情况下，在数据处理步骤S220中判断用户视线不注视中控屏幕或不具有继续使用中控屏幕的意图达一定时间（诸如10s），则可以控制车辆中控显示屏变暗或进入屏幕保护模式。
由此，无需通过手动或语音进行操作就能控制车辆中控显示屏的屏保模式，从而减少操作成本，以提供驾驶中无缝衔接的车辆操控体验。
在又一个实施例中，执行步骤S230还可以包括执行自动驾驶辅助决策功能之一：基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启。其中，车辆对外指示设备是指用于向非车载人员发出提醒或指示信号的设备，例如车辆左右两侧的转向灯。一方面，当用户开启自动驾驶辅助决策功能时，在数据处理步骤S220中检测到用户查看车辆某侧后视镜达一定次数或时间并由此判断用户希望改变车辆行驶路径（例如，变道、转弯等）的情况下，在执行步骤S230中可以仅凭此控制点亮车辆相应一侧的转向灯等设备。视情况而定，在执行步骤S230中也可以结合其他用户操作来更准确地对车辆设备来进行控制。
另一方面，在自动辅助驾驶以及领航辅助驾驶等自动变道超车的相关场景下，辅助驾驶***可以利用用户视线注视对应的行驶路径改变方向一侧的后视镜观察路况的行为，来作为确认最终决策（进行变道、转弯等车辆控制操作）的依据。若用户视线没有注视后视镜，则可以通过用户打开转向灯等方式进行确认。
自动驾驶辅助决策功能可以实现自动控制转向灯，因此在辅助驾驶中，无需用户打开方向灯即可确认改变车辆行驶路径的操作意图。这在一定程度上解放了用户的双手，更提升了辅助驾驶的安全性和可靠性，实现人车的自然交互体验。
在还一个实施例中，执行步骤S230还包括执行用户消息隐私功能：基于采取特定消息处理方式的用户意图，以特定模式对消息进行处理。在常规配置中，驾驶员的手机等个人设备可以被连接到车辆。因此，当驾驶员在行车过程中收到电话、语音、文字消息的情况下，可以通过车辆设备进行屏幕显示、语音播放等处理消息，避免驾驶员手动操作个人设备，从而避免分散驾驶员注意力、驾驶员单手操控方向盘等情况发生。此外，随着技术的发展，车辆自身也有可能接收到消息，本文对消息的来源和获取方式不做限定。
然而，在某些时候，车辆并不仅仅用于个人或亲密的家庭成员乘坐。由于各乘客与驾驶员的亲密关系程度不同，也并不是所有消息都适合在车辆座舱内公开播放或展示，因此存在对消息内容进行特定处理的需求。在开启用户消息隐私功能时，当车辆接收到私人消息（例如，电话、短信、社交软件消息等）时，如果在数据处理步骤S220中判断驾驶员视线转向ICS，和/或判断视线对ICS的注视达到预设条件时，在数据处理步骤S220中可以判断驾驶员希望通过显示屏对消息进行处理；则在执行步骤S230中可以进行例如显示电话备注、显示号码、接通电话并打开扬声器等操作，或者可以配置成控制中控显示屏显示文字消息的具体内容、将文字消息转化为语音进行播放等操作。
如果在数据处理步骤S220中判断在一定的时间内驾驶员未利用视线响应该消息，则判断用户不希望公开该消息的具体内容，则在执行步骤S230中可以不对该消息进行处理（例如，不显示消息的详细内容，并将消息存入消息中心，从而保护用户隐私）。另外，根据需要，在驾驶员未利用视线对消息进行响应或是视线看向用户自己的通信设备时，执行步骤S230可以包括通过耳机（若用户已经佩戴耳机）播放消息或不对该消息进行处理。在具有抬头显示器（HUD）的车辆中，执行步骤S230也可以包括在HUD上展示部分消息内容以辅助用户对消息的内容进行判断并对消息的处理方式进行选择。由此，根据本发明的车辆交互方法200可以增强对驾驶员个人消息的隐私保护，从而避免在驾驶员不希望的情况下公开个人隐私信息。
注意的是，流程图中的各个框的顺序可以交换执行、多次执行、或根据需要进行省略。例如，虽然在图2中身份确认步骤S240在数据采集步骤S210之后，但是视情况而定，身份确认步骤S240也可以发生在数据采集步骤S210之前。
按照本发明的又一个方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由处理器执行时，执行根据本发明的一个方面的任一实施例所述的车辆交互方法。
按照本发明的再一个方面，提供一种车辆，其包括根据本发明的一个方面的任一实施例所述的车辆交互***。
前述公开不旨在将本公开限制为所公开的精确形式或特别使用领域。因此，设想的是，鉴于本公开，无论在本文中明确描述还是暗示，本公开的各种替代实施例和/或修改都是可能的。在已经像这样描述了本公开的实施例的情况下，本领域普通技术人员将认识到的是，在不脱离本公开的范围的情况下，可以在形式和细节上进行改变。因此，本公开仅由权利要求限制。

Claims (18)

1.一种车辆交互***，包括：
数据采集设备，其配置成采集指示用户意图的第一数据；
数据处理设备，其配置成基于所述第一数据来得出所述用户意图；以及
执行设备，其配置成基于所述用户意图对车辆进行控制，
其中，所述第一数据是关于用户视线的数据。
2.根据权利要求1所述的***，还包括：
身份确认设备，其配置成确认用户身份。
3.根据权利要求2所述的***，其中，所述身份确认设备还配置成：
基于所述第一数据和第二数据中的至少一个来确认所述用户身份。
4.根据权利要求1所述的***，其中，数据采集设备是图像采集设备和视频采集设备中的至少一种。
5. 根据权利要求1所述的***，其中，所述执行设备还配置成：
基于与车载人工智能AI装置交互的所述用户意图，控制所述AI装置进入交互模式以对用户行为进行响应；以及
基于停止与所述AI装置交互的所述用户意图，控制所述AI装置进入非交互模式。
6.根据权利要求1所述的***，其中，所述执行设备还配置成：
在无需持续通过车辆中控显示屏输出信息的情况下，
基于使用所述车辆中控显示屏的所述用户意图，控制所述车辆中控显示屏点亮或退出屏幕保护模式；以及
基于不继续使用所述车辆中控显示屏的所述用户意图，控制所述车辆中控显示屏变暗或进入屏幕保护模式。
7.根据权利要求1所述的***，其中，所述执行设备还配置成：
基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启。
8.根据权利要求1所述的***，其中，所述执行设备还配置成：
基于采取特定消息处理方式的用户意图，以特定模式对所述消息进行处理。
9.一种车辆交互方法，包括：
数据采集步骤：采集指示用户意图的第一数据；
数据处理步骤：基于所述第一数据来得出所述用户意图；以及
执行步骤：基于所述用户意图对车辆进行控制，
其中，所述第一数据是关于用户视线的数据。
10.根据权利要求9所述的方法，还包括：
身份确认步骤：确认用户身份。
11.根据权利要求10所述的方法，其中，所述身份确认步骤还包括：
基于所述第一数据和第二数据中的至少一个来确认所述用户身份。
12.根据权利要求9所述的方法，其中，所述数据采集步骤使用图像采集设备和视频采集设备中的至少一种来进行。
13. 根据权利要求9所述的方法，其中，所述执行步骤还包括：
基于与车载人工智能AI装置交互的所述用户意图，控制所述AI装置进入交互模式以对用户行为进行响应；以及
基于停止与所述AI装置交互的所述用户意图，控制所述AI装置进入非交互模式。
14.根据权利要求1所述的方法，其中，所述执行步骤还包括：
在无需持续通过车辆中控显示屏输出信息的情况下，
基于使用所述车辆中控显示屏的所述用户意图，控制所述车辆中控显示屏点亮或退出屏幕保护模式；以及
基于不继续使用所述车辆中控显示屏的所述用户意图，控制所述车辆中控显示屏变暗或进入屏幕保护模式。
15.根据权利要求9所述的方法，其中，所述执行步骤还包括：
基于改变车辆行驶路径的用户意图，控制车辆对外指示设备的开启。
16.根据权利要求9所述的方法，其中，所述执行步骤还包括：
基于采取特定消息处理方式的用户意图，以特定模式对所述消息进行处理。
17.一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由所述处理器执行时，执行根据权利要求9-16中任一项所述的车辆交互方法。
18.一种车辆，其包括根据权利要求1-8中任一项所述的车辆交互***。
CN202110024709.5A 2021-01-08 2021-01-08 车辆交互***、方法、存储介质和车辆 Pending CN112506353A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110024709.5A CN112506353A (zh) 2021-01-08 2021-01-08 车辆交互***、方法、存储介质和车辆
US17/570,977 US20220219717A1 (en) 2021-01-08 2022-01-07 Vehicle interactive system and method, storage medium, and vehicle
EP22150525.8A EP4029716A1 (en) 2021-01-08 2022-01-07 Vehicle interactive system and method, storage medium, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110024709.5A CN112506353A (zh) 2021-01-08 2021-01-08 车辆交互***、方法、存储介质和车辆

Publications (1)

Publication Number Publication Date
CN112506353A true CN112506353A (zh) 2021-03-16

Family

ID=74952063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110024709.5A Pending CN112506353A (zh) 2021-01-08 2021-01-08 车辆交互***、方法、存储介质和车辆

Country Status (3)

Country Link
US (1) US20220219717A1 (zh)
EP (1) EP4029716A1 (zh)
CN (1) CN112506353A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、***及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084539A1 (en) * 2006-10-06 2008-04-10 Daniel Tyler J Human-machine interface device and method
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
DE102013015205B3 (de) * 2013-09-13 2015-02-05 Audi Ag Verfahren und System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
WO2020006154A2 (en) * 2018-06-26 2020-01-02 Itay Katz Contextual driver monitoring system
KR20190084912A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 사용자의 액션에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법
DE102019220012A1 (de) * 2019-12-18 2021-06-24 Continental Automotive Gmbh Verfahren zum Betreiben einer Anzeigeeinheit eines Fahrzeugs und Anzeigeeinheit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、***及存储介质

Also Published As

Publication number Publication date
US20220219717A1 (en) 2022-07-14
EP4029716A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
CN110047487B (zh) 车载语音设备的唤醒方法、装置、车辆以及机器可读介质
CN108725357B (zh) 基于人脸识别的参数控制方法、***与云端服务器
CN111163974B (zh) 用于车辆的显示***和方法
US20080231703A1 (en) Field watch apparatus
KR102101867B1 (ko) 자동 운전 차량의 제어 방법 및 제어 장치
CN110892351A (zh) 车辆控制装置和车辆控制方法
JP2020102252A (ja) 運転者監視システム
CN110114825A (zh) 语音识别***
CN105527710A (zh) 一种智能抬头显示***
US20180229654A1 (en) Sensing application use while driving
US10666901B1 (en) System for soothing an occupant in a vehicle
US20200213560A1 (en) System and method for a dynamic human machine interface for video conferencing in a vehicle
CN110395260A (zh) 车辆、安全驾驶方法和装置
US20220289250A1 (en) Information processing device, mobile device, information processing system, method, and program
JPH0976815A (ja) 運転操作補助装置
CN114872713A (zh) 一种驾驶员异常驾驶状态监测装置和方法
Rong et al. Artificial intelligence methods in in-cabin use cases: A survey
JP2017129973A (ja) 運転支援装置および運転支援方法
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆
CN107139724A (zh) 用于车辆的车载屏幕动态显示方法及其车载中控***
CN113002461A (zh) Ar-hud***的虚像位置调整方法、装置及存储介质
JP2019180075A (ja) 運転支援システム、画像処理装置及び画像処理方法
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination