CN113561988A - 一种基于视线追踪的语音控制方法、汽车及可读存储介质 - Google Patents

一种基于视线追踪的语音控制方法、汽车及可读存储介质 Download PDF

Info

Publication number
CN113561988A
CN113561988A CN202110833688.1A CN202110833688A CN113561988A CN 113561988 A CN113561988 A CN 113561988A CN 202110833688 A CN202110833688 A CN 202110833688A CN 113561988 A CN113561988 A CN 113561988A
Authority
CN
China
Prior art keywords
automobile
information
control
voice
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110833688.1A
Other languages
English (en)
Inventor
覃永进
陈长健
崔硕
杨建�
冯俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC GM Wuling Automobile Co Ltd
Original Assignee
SAIC GM Wuling Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC GM Wuling Automobile Co Ltd filed Critical SAIC GM Wuling Automobile Co Ltd
Priority to CN202110833688.1A priority Critical patent/CN113561988A/zh
Publication of CN113561988A publication Critical patent/CN113561988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于视线追踪的语音控制方法、汽车及可读存储介质，其中，方法包括：获取汽车内人员的人脸图像信息，并通过人脸识别功能识别人脸图像信息中的眼部信息；监测眼部信息，并根据眼部信息动态追踪汽车内人员的视线位置；当视线位置落入预设控制区域时，获取汽车内人员的语音信息，并根据语音信息确定对应的控制指令；根据控制指令控制汽车中对应的控制器，以通过控制器控制汽车对应的部件执行控制操作。本发明通过获取车内人员的人脸图像信息，可实时对车内人员的视线位置进行追踪，从而在车内人员发出语音控制信息且视线落入预设控制区域时，对汽车对应的部件执行控制操作，简化了车载语音控制功能操作。

Description

一种基于视线追踪的语音控制方法、汽车及可读存储介质
技术领域
本发明涉及汽车应用领域，尤其涉及的是一种基于视线追踪的语音控制方法、汽车及可读存储介质。
背景技术
随着社会的不断发展，汽车已经成为每个家庭必备的出行工具，汽车的舒适性已经成为用户越来越关注的问题；人们在使用车辆的过程中，需要对车辆的各项功能进行控制，例如，开关空调、控制车窗开启和关闭、控制摄像头对车内外进行拍照等操作；然而，这些操作会影响开车过程中的操作，因此，需要车辆语音功能进行辅助控制。
目前，智能车辆越来越多，车辆的语音控制功能也越来越成为智能车辆的标配；而现有的车辆语音控制功能，需要用户在唤醒车机交互***后，才能使用语音控制功能，并向车辆控制***发送相应的控制指令；而且，语音控制功能的指令相对固定化，所以需要非常精准的语音才能实现对车辆语音控制。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于视线追踪的语音控制方法、汽车及可读存储介质，以解决现有的车辆语音控制功能操作繁琐的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种基于视线追踪的语音控制方法，基于视线追踪的语音控制方法包括以下步骤：
获取汽车内人员的人脸图像信息，并通过人脸识别功能识别所述人脸图像信息中的眼部信息；
监测所述眼部信息，并根据所述眼部信息动态追踪所述汽车内人员的视线位置；
当所述视线位置落入预设控制区域时，获取所述汽车内人员的语音信息，并根据所述语音信息确定对应的控制指令；
根据所述控制指令控制所述汽车中对应的控制器，以通过所述控制器控制所述汽车对应的部件执行控制操作。
在一种实现方式中，所述获取汽车内人员的人脸图像信息，之前包括：
预先获取用于人脸识别的人脸识别数据，并根据所述人脸识别数据建立对应的人脸识别模型。
在一种实现方式中，所述获取汽车内人员的人脸图像信息，并通过人脸识别功能识别所述人脸图像信息中的眼部信息，包括：
监测所述汽车的启动状态；
当监测到所述汽车启动时，通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型；
根据所述3D头部姿态模型获取所述汽车内人员的眼部信息。
在一种实现方式中，所述当监测到所述汽车启动时，通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型，包括：
通过所述汽车内的第一摄像头获取第一人脸图像信息，并通过所述汽车内的第二摄像头获取第二人脸图像信息；
通过AI视觉应用程序对所述第一人脸图像信息和所述第二人脸图像信息进行处理，分别提取所述第一人脸图像信息和所述第二人脸图像信息中的图像特征；
根据提取的人脸特征建立所述汽车内人员对应的3D头部姿态模型。
在一种实现方式中，所述监测所述眼部信息，并根据所述眼部信息动态追踪所述汽车内人员的视线位置，包括：
根据所述3D头部姿态模型的头部朝向以及所述眼部信息，确定所述汽车内人员的眼部视线朝向；
根据所述眼部视线朝向追踪所述汽车内人员的视线位置。
在一种实现方式中，所述根据所述眼部朝向追踪所述汽车内人员的视线位置，之后还包括：
获取所述预设控制区域对应的区域信息；
根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域。
在一种实现方式中，所述当所述视线位置落入预设控制区域时，获取所述汽车内人员的语音信息，并根据所述语音信息确定对应的控制指令，包括：
当所述视线位置落入所述预设控制区域时，获取所述汽车内人员的语音信息；
对所述语音信息进行解析，提取所述语音信息中的操控信息；
将所述操控信息发送至服务器，以通过所述服务器解析并获取所述操控信息对应的控制指令。
在一种实现方式中，所述根据所述控制指令控制所述汽车中对应的控制器，以通过所述控制器控制所述汽车对应的部件执行控制操作，包括：
将所述控制指令转换为对应的车辆控制信号，并将所述车辆控制信号发送至所述汽车中对应的控制器；
通过所述控制器控制所述汽车对应的部件执行控制操作。
第二方面，本发明提供一种汽车，包括：处理器以及存储器，所述存储器存储有基于视线追踪的语音控制程序，所述基于视线追踪的语音控制程序被所述处理器执行时用于实现如第一方面所述的基于视线追踪的语音控制方法。
第三方面，本发明提供一种可读存储介质，所述可读存储介质存储有基于视线追踪的语音控制程序，所述基于视线追踪的语音控制程序被处理器执行时用于实现如第一方面所述的基于视线追踪的语音控制方法。
本发明采用上述技术方案具有以下效果：
本发明通过获取车内人员的人脸图像信息，可根据人脸识别功能识别人脸图像信息中的眼部信息，从而根据眼部信息的朝向位置动态追踪汽车内人员的视线位置，视线对车内人员的视线位置的追踪；并且，通过将车内人员的视线位置与车内人员输入的语音信息相结合，从而在车内人员发出语音控制信息且视线落入预设控制区域时，对汽车对应的部件执行控制操作，简化了车载语音控制功能操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中基于视线追踪的语音控制方法的流程图。
图2是本发明的一种实现方式中汽车的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
如图1所示，本发明实施例提供一种基于视线追踪的语音控制方法，基于视线追踪的语音控制方法包括以下步骤：
步骤S100，获取汽车内人员的人脸图像信息，并通过人脸识别功能识别所述人脸图像信息中的眼部信息。
在本实施例中，所述基于视线追踪的语音控制方法应用于汽车中的车载控制终端，其中，所述车载控制终端包括但不限于：计算机以及移动终端等智能设备；本实施例基于视线追踪方式追踪汽车内人员的视线着落区域，并结合车载语音控制功能，控制车内人员的视线落入位置的且语音信息包含的汽车部件(例如，空调、车窗以及多媒体功能等)，从而实现语音的精准控制。
进一步地，在实现本实施例的基于视线追踪的语音控制方法之前，还需要在所述汽车的车载控制终端中设置人脸识别模型，以便于后续的语音控制过程中，根据所述人脸识别模型和现场拍摄图像创建3D头部姿态模型，并根据3D头部姿态模型对车内人员的视线进行追踪，从而根据视线着落区域以及语音控制信息对该区域的汽车部件进行控制。
进一步地，在设置所述人脸识别模型时，可获取用于人脸识别的人脸识别数据；其中，所述人脸识别数据为车内人员预先输入的人脸图像视频数据，包括单个摄像头或多个摄像头采集的人脸图像数据；而且，在获取人脸识别数据后，即可根据所述人脸识别数据建立对应的人脸识别模型；在建立所述人脸识别模型时，可创建对应的人脸识别数据库，进而将输入者信息、人脸识别数据以及人脸识别模型存储在所述数据库中，以便于后续人脸识别时进行匹配。
即在本实施例的一种实现方式中，步骤100之前包括以下步骤：
步骤001，预先获取用于人脸识别的人脸识别数据，并根据所述人脸识别数据建立对应的人脸识别模型。
在本实施例中，在设置所述人脸识别模型后，即可将车载控制终端的人脸识别功能融入语音控制程序中，例如，在所述语音控制程序中植入所述人脸识别模型、人脸识别数据库数据以及人脸识别指令等。
进一步地，在实际应用的过程中，还可实时监测所述汽车的启动状态，其中，所述汽车的启动状态可以通过仪表盘的转速进行监控；当监测到所述汽车的转速达到怠速且处于稳定状态时，判定所述汽车当前处于启动状态；此时，可通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型；其中，获取所述人脸图像信息的摄像头为设置在所述汽车内人员的正前方的单个摄像头，也可以是设置在所述汽车内人员的左前方和右前方的多个摄像头。
在得到所述人脸图像信息后，通过获取预先设置的人脸识别模型，将所述人脸图像信息融入所述人脸识别模型中，判断所述人脸图像信息是否与所述人脸识别模型相匹配；当所述人脸图像信息与所述人脸识别模型匹配时，则将所述人脸图像信息完全融入所述人脸识别模型中，得到所述3D头部姿态模型；其中，所述3D头部姿态模型的姿态取决于车内人员的头部姿态，即所述3D头部姿态模型的姿态与车内人员的头部姿态为镜像姿态。
在得到所述3D头部姿态模型后，通过获取所述3D头部姿态模型中的特征信息即可得到所述车内人员的眼部信息；即提取所述3D头部姿态模型中眼睛、鼻子以及嘴巴等特征信息，即可获取需要的眼部信息，进而根据获取的眼部信息对车内人员的视线进行追踪。
即在本实施例的一种实现方式中，步骤S100具体包括以下步骤：
步骤S110，监测所述汽车的启动状态；
步骤S120，当监测到所述汽车启动时，通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型；
步骤S130，根据所述3D头部姿态模型获取所述汽车内人员的眼部信息。
在本实施例中，在得到所述3D头部姿态模型的过程中，可通过所述汽车内的第一摄像头获取第一人脸图像信息，并通过所述汽车内的第二摄像头获取第二人脸图像信息，然后再通过AI视觉应用程序对所述第一人脸图像信息和所述第二人脸图像信息进行处理，分别提取所述第一人脸图像信息和所述第二人脸图像信息中的图像特征，进而根据提取的人脸特征建立所述汽车内人员对应的3D头部姿态模型；其中，所述AI视觉应用程序中包括人脸识别模型、人脸识别数据以及人脸识别数据库等信息。
即在本实施例的一种实现方式中，步骤S120具体包括以下步骤：
步骤S121，通过所述汽车内的第一摄像头获取第一人脸图像信息，并通过所述汽车内的第二摄像头获取第二人脸图像信息；
步骤S122，通过AI视觉应用程序对所述第一人脸图像信息和所述第二人脸图像信息进行处理，分别提取所述第一人脸图像信息和所述第二人脸图像信息中的图像特征；
步骤S123，根据提取的人脸特征建立所述汽车内人员对应的3D头部姿态模型。
本实施例通过摄像头获取人脸图像信息，可根据人脸图像信息建立3D头部姿态模型，从而在3D头部姿态模型中获取其中的眼部信息，利用获取的眼部信息实现对车内人员的视线追踪，进而通过追踪的视线位置确定车内人员的语音信息中是否需要控制相应的汽车部件。
如图1所示，在本发明实施例的一种实现方式中，基于视线追踪的语音控制方法还包括以下步骤：
步骤S200，监测所述眼部信息，并根据所述眼部信息动态追踪所述汽车内人员的视线位置。
在本实施例中，在获取所述眼部信息后，通过所述3D头部姿态模型的头部朝向以及所述眼部信息，确定所述汽车内人员的眼部视线朝向，进而根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域，若所述汽车内人员的视线位置落入所述预设控制区域，则根据车内人员的语音信息对该区域的汽车部件进行控制；其中，所述预设控制区域为所述汽车内的可控制部件的区域，例如，空调按键的设置区域、车窗按键的设置区域以及方向盘多功能按键的设置区域等。
具体地，在对所述汽车内人员的视线进行追踪时，可根据所述3D头部姿态模型的头部朝向以及所述眼部信息，然后再确定所述汽车内人员的眼部视线朝向；例如，实时采集所述3D头部姿态模型的转向，然后采集所述3D头部姿态模型的俯仰角度，根据所述3D头部姿态模型的转向、俯仰角度以及眼部位置，精准地确定所述汽车内人员的眼部视线朝向。
进一步地，在确定所述汽车内人员的眼部视线朝向后，即可根据所述眼部视线朝向追踪所述汽车内人员的视线位置；其中，所述汽车内人员的视线位置为所述汽车内各部件的设置位置，例如，所述视线位置可以是仪表盘、多媒体屏以及空调按钮等位置。
即在本实施例的一种实现方式中，步骤S200具体包括以下步骤：
步骤S210，根据所述3D头部姿态模型的头部朝向以及所述眼部信息，确定所述汽车内人员的眼部视线朝向；
步骤S220，根据所述眼部视线朝向追踪所述汽车内人员的视线位置。
进一步地，在本实施例中，在追踪所述汽车内人员的视线位置后，还需要获取所述预设控制区域对应的区域信息，然后再根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域；其中，所述预设控制区域对应的区域信息为汽车部件的区域信息，例如，仪表盘显示区域、多媒体屏显示区域、车窗按键区域以及空调按钮区域等。
在得到区域信息后，即可根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域；例如，当前追踪的视线位置为空调按钮区域，通过获取预设控制区域信息，确定当前的视线落入位置为所述预设控制区域中的空调按钮区域，此时，判定所述汽车内人员的视线位置为空调按钮区域，所述汽车内人员想要控制的汽车部件为空调按钮。
即在本实施例的一种实现方式中，步骤S220之后还包括以下步骤：
步骤S230，获取所述预设控制区域对应的区域信息；
步骤S240，根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域。
本实施例通过眼部视线朝向追踪汽车内人员的视线位置，可根据汽车内人员的视线位置判断汽车内人员想要控制的汽车部件，进而结合汽车内人员输入的语音信息，以语音控制的方式对想要控制的汽车部件进行精准地控制，从而提高车载控制终端的语音控制的精确度。
如图1所示，在本发明实施例的一种实现方式中，基于视线追踪的语音控制方法还包括以下步骤：
步骤S300，当所述视线位置落入预设控制区域时，获取所述汽车内人员的语音信息，并根据所述语音信息确定对应的控制指令。
在本实施例中，在判断所述汽车内人员的视线位置是否落入所述预设控制区域时，若所述视线位置落入所述预设控制区域，即可获取所述汽车内人员的语音信息，进而通过对所述语音信息进行解析，提取所述语音信息中的操控信息，利用服务器解析并获取所述操控信息对应的控制指令，以此实现对汽车部件的精准控制。
在另一种实现方式中，在对所述语音信息进行解析时，若所述车载控制终端已经联网，则可将所述语音信息转发至云端服务器，利用所述云端服务器进行解析，待所述云端服务器解析过后，获取所述云端服务器的解析结果或控制指令，从而直接从所述云端服务器获取语音信息对应的控制指令。
当然，还可以通过本地的语音数据对所述汽车内人员的语音信息进行解析、提取控制信息以及获取控制指令等操作；其中，所述本地的语音数据库可以是经过多次语音学习以及语音训练后得到的语音数据库，以提高语音识别的精准度。
即在本实施例的一种实现方式中，步骤S300具体包括以下步骤：
步骤S310，当所述视线位置落入所述预设控制区域时，获取所述汽车内人员的语音信息；
步骤S320，对所述语音信息进行解析，提取所述语音信息中的操控信息；
步骤S330，将所述操控信息发送至服务器，以通过所述服务器解析并获取所述操控信息对应的控制指令。
本实施例通过获取汽车内人员的语音信息，可根据语音信息获取对应的控制指令，进而结合视线追踪的结果，精准地控制对应的汽车部件。
如图1所示，在本发明实施例的一种实现方式中，基于视线追踪的语音控制方法还包括以下步骤：
步骤S400，根据所述控制指令控制所述汽车中对应的控制器，以通过所述控制器控制所述汽车对应的部件执行控制操作。
在本实施例中，在获取对应的控制指令后，即可将所述控制指令转换为对应的车辆控制信号，并将所述车辆控制信号发送至所述汽车中对应的控制器；其中，所述控制信号可以是CAN信号、LIN信号等；所述控制器为汽车部件的控制器，该汽车部件为与所述汽车内人员视线位置、语音信息中操控信息对应的汽车部件。
进一步地，当所述控制器接收到控制指令后，即可控制所述汽车对应的部件执行控制操作；例如，语音信息中的语音操作为“打开车窗”，车内人员的视线位置为驾驶员左侧车窗，此时，控制器得到的控制指令为“打开左侧车窗”，通过所述控制器的控制，所述汽车的驾驶员左侧的车窗被打开。
进一步地，根据车内人员的语音信息或者预先设置的参数，还可以实现对汽车部件的精确控制，例如，车窗打开三分之一、空调温度调到26℃以及多媒体音量调到12等。
即在本实施例的一种实现方式中，步骤S400具体包括以下步骤：
步骤S410，将所述控制指令转换为对应的车辆控制信号，并将所述车辆控制信号发送至所述汽车中对应的控制器；
步骤S420，通过所述控制器控制所述汽车对应的部件执行控制操作。
本实施例通过视线追踪与语音控制相结合，对车辆进行控制，利用视觉与语音结合，能够实现多模交互，可到达车辆语音精准控制，方便用户快速实现车辆语音控制，精准理解用户意图，提高整车的智能性。
在实际应用场景中，本实施例的控制方法包括以下步骤：
a，启动车辆；
b，车内DMS(驾驶员监控***)摄像头和IMS(多媒体子***)摄像头获取车内人员人脸图像信息并传输到AI视觉应用模块；
c，车内AI视觉应用模块根据图像特征点建立人员3D与头部姿态模型，确定车内人员行为、头部朝向、视线朝向以及眼部状态，现实视线追踪；
d，AI视觉应用模块根据车内人员精确视线、头部姿态与其存储的驾驶室视线区域，对追踪的视线位置进行匹配，得到车内人员视线的实时落点分布区域；
e，车辆实时采集用户的语音信号，若车联网***判断语音信号为语音控制指令，且接收到AI视觉应用模块输出的车内人员视线落点的视线区域处于可控制区域，则车联网***提取语音操控信息，上传至云端进行语音解析，得到控制指令，经过云端回传至车联网***；
f，车联网***将控制指令解析成车辆控制信号(例如，CAN信号、LIN信号等)，通过T-box车载网络通讯终端将车辆控制信号下发到对应执行器，实现车辆精准控制。
例如，语音控制车窗，以主驾控制车窗为例子，用户操作的行为包括以下方式：
主驾车窗处于关闭状态，用户头部转向左侧，眼睛望向主驾车窗，语音信息为“打开一点”。
车载控制终端的控制方式为：摄像头获取车内人员图像信息传输到AI视觉应用模块，AI视觉应用模块建立人员3D与头部姿态模型，根据视线算法确定人员视线落点位置在视线区域的主驾车窗处，并将感知结果发给车联网***，车辆接收到语音发给车联网***，车联网***根据视觉和语音感知结果判断并触发基于视线追踪的车内语音多模交互，将语音上传至云端进行语音解析，得到对应的控制指令，从而确定驾驶员要控制车窗的意图。
车联网***将控制指令下发至T-box车载网络通讯终端，T-box车载网络通讯终端得到控制指令之后，将车辆控制信号发给车控执行器(该车控执行器为主驾车窗控制器)，车控执行器根据信号执行相关车辆动作，从而完成整个多模交互。
由此可见，本实施例通过获取车内人员的人脸图像信息，可根据人脸识别功能识别人脸图像信息中的眼部信息，从而根据眼部信息的朝向位置动态追踪汽车内人员的视线位置，视线对车内人员的视线位置的追踪；并且，通过将车内人员的视线位置与车内人员输入的语音信息相结合，从而在车内人员发出语音控制信息且视线落入预设控制区域时，对汽车对应的部件执行控制操作，简化了车载语音控制功能操作。
示例性设备
基于上述实施例，本发明还提供了一种汽车，其原理框图可以如图2所示。
该汽车包括：车载控制终端；
车载控制终端包括：通过***总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该汽车的处理器用于提供计算和控制能力；该汽车的存储器包括可读存储介质以及内存储器；该可读存储介质存储有操作***和计算机程序；该内存储器为可读存储介质中的操作***和计算机程序的运行提供环境；该接口用于连接外部终端设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的预警信息；该通讯模块用于与云端服务器或移动终端进行通讯。
该计算机程序被处理器执行时用以实现一种基于视线追踪的语音控制方法。
本领域技术人员可以理解的是，图2中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的汽车的限定，具体的汽车可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种汽车，其中，包括：处理器和存储器，存储器存储有基于视线追踪的语音控制程序，基于视线追踪的语音控制程序被处理器执行时用于实现如上的基于视线追踪的语音控制方法。
在一个实施例中，提供了一种存储介质，其中，存储介质存储有基于视线追踪的语音控制程序，基于视线追踪的语音控制程序被处理器执行时用于实现如上的基于视线追踪的语音控制方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种基于视线追踪的语音控制方法、汽车及可读存储介质，其中，方法包括：获取汽车内人员的人脸图像信息，并通过人脸识别功能识别人脸图像信息中的眼部信息；监测眼部信息，并根据眼部信息的朝向位置动态追踪汽车内人员的视线位置；当视线位置落入预设控制区域时，获取汽车内人员的语音信息，并根据语音信息确定对应的控制指令；根据控制指令控制汽车中对应的控制器，以通过控制器控制汽车对应的部件执行控制操作。本发明通过获取车内人员的人脸图像信息，可实时对车内人员的视线位置进行追踪，从而在车内人员发出语音控制信息且视线落入预设控制区域时，对汽车对应的部件执行控制操作，简化了车载语音控制功能操作。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于视线追踪的语音控制方法，其特征在于，所述基于视线追踪的语音控制方法包括以下步骤：
获取汽车内人员的人脸图像信息，并通过人脸识别功能识别所述人脸图像信息中的眼部信息；
监测所述眼部信息，并根据所述眼部信息动态追踪所述汽车内人员的视线位置；
当所述视线位置落入预设控制区域时，获取所述汽车内人员的语音信息，并根据所述语音信息确定对应的控制指令；
根据所述控制指令控制所述汽车中对应的控制器，以通过所述控制器控制所述汽车对应的部件执行控制操作。
2.根据权利要求1所述的基于视线追踪的语音控制方法，其特征在于，所述获取汽车内人员的人脸图像信息，之前包括：
预先获取用于人脸识别的人脸识别数据，并根据所述人脸识别数据建立对应的人脸识别模型。
3.根据权利要求1所述的基于视线追踪的语音控制方法，其特征在于，所述获取汽车内人员的人脸图像信息，并通过人脸识别功能识别所述人脸图像信息中的眼部信息，包括：
监测所述汽车的启动状态；
当监测到所述汽车启动时，通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型；
根据所述3D头部姿态模型获取所述汽车内人员的眼部信息。
4.根据权利要求3所述的基于视线追踪的语音控制方法，其特征在于，所述当监测到所述汽车启动时，通过所述汽车内的摄像头获取所述汽车内人员的人脸图像信息，得到所述汽车内人员对应的3D头部姿态模型，包括：
通过所述汽车内的第一摄像头获取第一人脸图像信息，并通过所述汽车内的第二摄像头获取第二人脸图像信息；
通过AI视觉应用程序对所述第一人脸图像信息和所述第二人脸图像信息进行处理，分别提取所述第一人脸图像信息和所述第二人脸图像信息中的图像特征；
根据提取的人脸特征建立所述汽车内人员对应的3D头部姿态模型。
5.根据权利要求4所述的基于视线追踪的语音控制方法，其特征在于，所述监测所述眼部信息，并根据所述眼部信息动态追踪所述汽车内人员的视线位置，包括：
根据所述3D头部姿态模型的头部朝向以及所述眼部信息，确定所述汽车内人员的眼部视线朝向；
根据所述眼部视线朝向追踪所述汽车内人员的视线位置。
6.根据权利要求5所述的基于视线追踪的语音控制方法，其特征在于，所述根据所述眼部朝向追踪所述汽车内人员的视线位置，之后还包括：
获取所述预设控制区域对应的区域信息；
根据所述区域信息判断所述汽车内人员的视线位置是否落入所述预设控制区域。
7.根据权利要求6所述的基于视线追踪的语音控制方法，其特征在于，所述当所述视线位置落入预设控制区域时，获取所述汽车内人员的语音信息，并根据所述语音信息确定对应的控制指令，包括：
当所述视线位置落入所述预设控制区域时，获取所述汽车内人员的语音信息；
对所述语音信息进行解析，提取所述语音信息中的操控信息；
将所述操控信息发送至服务器，以通过所述服务器解析并获取所述操控信息对应的控制指令。
8.根据权利要求7所述的基于视线追踪的语音控制方法，其特征在于，所述根据所述控制指令控制所述汽车中对应的控制器，以通过所述控制器控制所述汽车对应的部件执行控制操作，包括：
将所述控制指令转换为对应的车辆控制信号，并将所述车辆控制信号发送至所述汽车中对应的控制器；
通过所述控制器控制所述汽车对应的部件执行控制操作。
9.一种汽车，其特征在于，包括：处理器以及存储器，所述存储器存储有基于视线追踪的语音控制程序，所述基于视线追踪的语音控制程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的基于视线追踪的语音控制方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有基于视线追踪的语音控制程序，所述基于视线追踪的语音控制程序被处理器执行时用于实现如权利要求1-8中任意一项所述的基于视线追踪的语音控制方法。
CN202110833688.1A 2021-07-22 2021-07-22 一种基于视线追踪的语音控制方法、汽车及可读存储介质 Pending CN113561988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110833688.1A CN113561988A (zh) 2021-07-22 2021-07-22 一种基于视线追踪的语音控制方法、汽车及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110833688.1A CN113561988A (zh) 2021-07-22 2021-07-22 一种基于视线追踪的语音控制方法、汽车及可读存储介质

Publications (1)

Publication Number Publication Date
CN113561988A true CN113561988A (zh) 2021-10-29

Family

ID=78166543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110833688.1A Pending CN113561988A (zh) 2021-07-22 2021-07-22 一种基于视线追踪的语音控制方法、汽车及可读存储介质

Country Status (1)

Country Link
CN (1) CN113561988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327051A (zh) * 2021-12-17 2022-04-12 北京乐驾科技有限公司 人车智能交互方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090614A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
CN110857067A (zh) * 2018-08-24 2020-03-03 上海汽车集团股份有限公司 一种人车交互装置和人车交互方法
CN111240477A (zh) * 2020-01-07 2020-06-05 北京汽车研究总院有限公司 一种车载人机交互方法、***和具有该***的车辆
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090614A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
CN110857067A (zh) * 2018-08-24 2020-03-03 上海汽车集团股份有限公司 一种人车交互装置和人车交互方法
CN111240477A (zh) * 2020-01-07 2020-06-05 北京汽车研究总院有限公司 一种车载人机交互方法、***和具有该***的车辆
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327051A (zh) * 2021-12-17 2022-04-12 北京乐驾科技有限公司 人车智能交互方法

Similar Documents

Publication Publication Date Title
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
CN108725357B (zh) 基于人脸识别的参数控制方法、***与云端服务器
CN105501158B (zh) 一种驾驶员识别融合的***及方法
WO2019232972A1 (zh) 驾驶管理方法和***、车载智能***、电子设备、介质
JP2021504214A (ja) 運転環境知能化調整、運転者登録方法及び装置、車両並びにデバイス
CN111653277A (zh) 车辆语音控制方法、装置、设备、车辆及存储介质
CN111353451A (zh) 电瓶车检测方法、装置、计算机设备及存储介质
JP2022122981A (ja) 車載ブルートゥースの接続方法、装置、電子機器及び記憶媒体
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
KR20210023163A (ko) 다중설정을 위한 생체인증 장치 및 방법
CN113561988A (zh) 一种基于视线追踪的语音控制方法、汽车及可读存储介质
KR20200020313A (ko) 차량 및 그 제어방법
CN115424598A (zh) 显示屏亮度调整方法、装置及存储介质
WO2023036230A1 (zh) 一种执行指令确定方法、装置、设备及存储介质
WO2023231211A1 (zh) 语音识别方法、装置、电子设备、存储介质及产品
CN117095680A (zh) 车辆控制方法、装置、设备及存储介质
EP4029716A1 (en) Vehicle interactive system and method, storage medium, and vehicle
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
CN111696548A (zh) 显示行车提示信息的方法、装置、电子设备以及存储介质
US20230169782A1 (en) Cabin monitoring and situation understanding perceiving method and system thereof
CN112036309A (zh) 一种车辆驾驶引导方法、装置、介质及车载终端
CN113448429A (zh) 基于手势控制电子设备的方法及装置、存储介质和电子设备
CN111797654A (zh) 驾驶员疲劳状态检测方法、装置、存储介质及移动终端
CN115509366A (zh) 智能座舱多模态人机交互控制方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029

RJ01 Rejection of invention patent application after publication