CN111694424A - 一种唤醒车载智能语音功能的***和方法 - Google Patents

一种唤醒车载智能语音功能的***和方法 Download PDF

Info

Publication number
CN111694424A
CN111694424A CN202010309995.5A CN202010309995A CN111694424A CN 111694424 A CN111694424 A CN 111694424A CN 202010309995 A CN202010309995 A CN 202010309995A CN 111694424 A CN111694424 A CN 111694424A
Authority
CN
China
Prior art keywords
vehicle
module
user
intelligent voice
waking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010309995.5A
Other languages
English (en)
Inventor
刘泽
陈朝军
邓锐
袁郡桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Volkswagen Automotive Co Ltd
Original Assignee
SAIC Volkswagen Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Volkswagen Automotive Co Ltd filed Critical SAIC Volkswagen Automotive Co Ltd
Priority to CN202010309995.5A priority Critical patent/CN111694424A/zh
Publication of CN111694424A publication Critical patent/CN111694424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种唤醒车载智能语音功能的***,其包括:眼球追踪组件,其包括图像采集模块和图像处理模块,其中图像采集模块采集用户眼球图像,图像处理模块与图像采集模块数据连接,以基于图像采集模块传输的用户眼球图像,获取用户视线注视点坐标;设定的目标区域,其位于车辆的驾驶舱内;智能语音模块,其与车机数据连接,智能语音模块被配置为与用户进行语音交互;控制模块,其与眼球追踪组件和智能语音模块分别数据连接,其中,当用户视线注视点坐标落在所述目标区域内持续预设的时间段时,控制模块唤醒所述智能语音模块。此外本发明还公开了一种唤醒车载智能语音功能的方法,可以实现以非侵入式的形式实现车载语音功能的唤醒。

Description

一种唤醒车载智能语音功能的***和方法
技术领域
本发明涉及一种车载***和方法,尤其涉及一种唤醒车载智能功能的***和方法。
背景技术
随着汽车行业的迅速发展,以及科技水平的飞速提升,用户对汽车的科技感要求越来越高。在开发和设计车型中,许多厂家会加入便于用户使用和操作的智能功能,例如车载智能语音功能。
在汽车智能座舱中,车载智能语音交互是一种重要的人车交互方式,利用语音交互可以实现较为高效的人机交互。但是,用户与车机语音交互前必须主动唤醒车载智能语音功能,用户主动使用语音唤醒智能语音功能的过程,是一个侵入式的人机交互过程,这是一个由用户先主动输入,机器再被动反馈的循环,用户体验较差,并且因为技术和成本的因素,存在语音唤醒定位不准、唤醒词识别准确率低、误唤醒等众多问题。
虽然随着智能语音交互技术的发展,智能语音***可以实现唤醒词的多样化和个性化,但通过语音唤醒智能语音***,始终是一个侵入式人机交互的过程,仍然存在众多问题。
鉴于此,期望获得一种非侵入式的交互方式实现语音唤醒,即不需要用户主动通过语音唤醒词来唤醒车载智能语音功能。
发明内容
本发明的目的在于提供一种唤醒车载智能语音功能的***,该唤醒车载智能语音功能的***可以通过非侵入式的交互方式实现语音唤醒,用户无需主动说出语音唤醒词,直接通过眼球追踪即可实现更自然、更高效地唤醒车载智能语音功能,大大提升车载人机交互体验。
为了实现上述目的,本发明提出了一种唤醒车载智能语音功能的***,其包括:
眼球追踪组件,其包括图像采集模块和图像处理模块,其中图像采集模块采集用户眼球图像,所述图像处理模块与所述图像采集模块数据连接,以基于图像采集模块传输的用户眼球图像,获取用户视线注视点坐标;
设定的目标区域,其位于车辆的驾驶舱内;
智能语音模块,其与车机数据连接,所述智能语音模块被配置为与用户进行语音交互;
控制模块,其与所述眼球追踪组件和智能语音模块分别数据连接,其中,当所述用户视线注视点坐标落在所述目标区域内持续预设的时间段时,所述控制模块唤醒所述智能语音模块。
在本发明上述的方案中,发明人创造性的设计了一种唤醒车载智能语音功能的***,该***可以通过非侵入式的交互方式实现语音唤醒,其基于计算机视觉技术赋予此***情境感知能力,用户无需主动说出语音唤醒词,便可以直接通过眼球追踪即可实现更自然、更高效地唤醒车载智能语音功能。
进一步地,在本发明所述的唤醒车载智能语音功能的***中,还包括车机屏幕,所述目标区域位于所述车机屏幕上。
在本发明所述的技术方案中,车机屏幕可以用于显示车辆相关操作菜单。
进一步地,在本发明所述的唤醒车载智能语音功能的***中,所述目标区域位于驾驶舱内的非实体空间上。
进一步地,在本发明所述的唤醒车载智能语音功能的***中,所述图像采集模块包括红外图像成像器和红外光光源。
进一步地,在本发明所述的唤醒车载智能语音功能的***中,所述红外图像成像器在垂直方向的视角范围≥40°,并且/或者所述红外图像成像器在水平方向的视角范围≥60°。
进一步地,在本发明所述的唤醒车载智能语音功能的***中,还包括全息模块,其与所述控制模块数据连接,其中,当所述用户视线注视点坐标落在所述目标区域内持续预设的时间段时,所述控制模块还激活全息模块,以使其以全息显示的形式显示人机交互影像。
在本发明所述的技术方案中,当用户视线注视点坐标落在目标区域内持续预设的时间段时,控制模块激活全息模块,全息模块可以以全息显示的形式显示人机交互影像,从而起到人机交互视觉辅助作用。
相应地,本发明的另一目的在于提供一种唤醒车载智能语音功能的方法,该方法以非侵入式的形式实现车载语音功能的唤醒,用户无需主动说出语音唤醒词,直接通过眼球追踪即可实现唤醒车载智能语音功能。
为了实现上述目的,本发明提出了一种唤醒车载智能语音功能的方法,其包括步骤:
采集用户眼球图像,并基于所述用户眼球图像获取用户视线注视点坐标;
当检测到所述用户视线注视点坐标落在设定的目标区域内且持续预设的时间段时,唤醒车载智能语音模块。
进一步地,在本发明所述的唤醒车载智能语音功能的方法中,还包括步骤:当所述用户视线注视点坐标落在所述目标区域内且持续预设的时间段时,激活全息模块,以使其以全息显示的形式显示人机交互影像。
进一步地,在本发明所述的唤醒车载智能语音功能的方法中,所述预设的时间段为100-200ms。
进一步地,在本发明所述的唤醒车载智能语音功能的方法中,所述目标区域位于驾驶舱内的非实体空间上或实体物体上。
进一步地,在本发明所述的唤醒车载智能语音功能的方法中,所述实体物体包括车机屏幕,所述目标区域位于车机屏幕上;其中所述方法还包括步骤:当所述用户视线注视点坐标落在所述目标区域内且持续预设的时间段时,唤醒所述车机屏幕的背光。
上述方案中,目标区域位于车机屏幕上,当用户视线注视点坐标落在目标区域内且持续预设的时间段时,唤醒车机屏幕的背光,可以有效避免车机屏幕背光处于较暗环境时,影响车载人机交互体验的问题。
本发明所述的唤醒车载智能语音功能的***和方法相较于现有技术具有如下所述的优点和有益效果:
本发明创造性地提供了一种非侵入式地唤醒车载智能语音功能的***及其方法,用户无需主动说出语音唤醒词,直接通过眼球追踪即可实现更自然、更高效地唤醒车载智能语音功能,大大提升了车载人机交互体验。
附图说明
图1示意性地显示了本发明所述的唤醒车载智能语音功能的***在一种实施方式下的***结构图。
图2为本发明所述的唤醒车载智能语音功能的方法在一种实施方式下的步骤流程示意图。
具体实施方式
下面将结合说明书附图和具体的实施例对本发明所述的唤醒车载智能语音功能的***和方法做进一步的解释和说明,然而该解释和说明并不对本发明的技术方案构成不当限定。
图1示意性显示了本发明所述的唤醒车载智能语音功能的***在一种实施方式下的***结构图。
如图1所示,在本实施方式中,本发明所述的唤醒车载智能语音功能的***可以包括眼球追踪组件、控制模块30、智能语音模块40、全息模块50和车机屏幕60。其中,眼球追踪组件可以包括图像采集模块10和图像处理模块20,图像处理模块20可以与图像采集模块10数据连接,实现数据传输,眼球追踪组件中的图像采集模块10可以采集用户眼球图像,图像处理模块20可以基于图像采集模块10传输的用户眼球图像,获取用户视线注视点坐标。智能语音模块40与车机数据连接,智能语音模块40可以与用户进行语音交互。控制模块30可以与眼球追踪组件和智能语音模块40以及全息模块50分别数据连接。
此外,在本发明所述的唤醒车载智能语音功能的***中,还包括设置于车辆的驾驶舱内的设定的目标区域,目标区域可以位于汽车驾驶舱内的非实体空间上,也可以位于汽车驾驶舱内的实体空间上。在本实施方式中,目标区域可以位于车机屏幕60上,车机屏幕60可以用于显示车辆相关操作菜单。
在本发明所述的唤醒车载智能语音功能的***中,控制模块30可以实现用户视线注视点坐标与目标区域空间坐标点的映射,对目标区域的三维空间坐标点完成标定。控制模块30可以依据图像处理模块20传输的用户视线注视点坐标映射到目标区域的空间坐标点,来获取用户眼球交互信息。当用户视线注视点坐标落在目标区域内某一点且持续一段时间(即预设的时间段)时,控制模块30就可以激活智能语音模块40,智能语音模块40可以先发出语音问候,然后用户可以与智能语音模块40开始语音交互。在本实施方式中,控制模块30还可以同时激活全息模块50,全息模块50激活后可以以全息显示的形式显示人机交互影像,从而起到人机交互视觉辅助作用。
需要说明的是,在本发明所述的唤醒车载智能语音功能的***中,在眼球追踪组件中,图像采集模块10可以包括红外图像成像器和红外光光源,红外光的光源可以为940nm。其中,红外图像成像器在垂直方向的视角范围≥40°,红外图像成像器在水平方向的视角范围≥60°。
由此可见,对于本发明所述的唤醒车载智能语音功能的***来说,其具有眼球追踪组件、设定的目标区域、智能语音模块以及控制模块即可实现本发明的目的,然而为了使得本技术方案具有更优的实施效果,让用户具有更优的车载人机交互体验,优选的,在本发明的技术方案中还可以具有全息模块和车机屏幕。
图2为本发明所述的唤醒车载智能语音功能的方法在一种实施方式下的步骤流程示意图。
如图2所示,在该实施方式中,本发明所述的唤醒车载智能语音功能的方法可以包括如下步骤:
采集用户眼球图像,并基于用户眼球图像获取用户视线注视点坐标;
当检测到用户视线注视点坐标落在设定的目标区域内且持续预设的时间段时,唤醒车载智能语音模块。
对于本发明所述的唤醒车载智能语音功能的方法来说,其通过上述步骤即可实现本发明的目的,然而为了使本技术方案具有更优的实施效果,以提高用户的车载人机交互体验。优选的,本发明的唤醒车载智能语音功能的方法中还可以具有步骤:
当用户视线注视点坐标落在目标区域内且持续预设的时间段时,激活全息模块,以使其以全息显示的形式显示人机交互影像。
需要说明的是,在本实施方式中,在本发明所述的唤醒车载智能语音功能的方法中,预设的时间段可以为100-200ms。
此外,需要注意的是,在本发明所述的唤醒车载智能语音功能的方法中,目标区域可以位于驾驶舱内的非实体空间上或实体物体上,无论目标区域设置在驾驶舱内的何处,当用户视线注视点坐标落在目标区域内且持续预设的时间段时,均能相应地唤醒车载智能语音模块。其中,目标区域可以位于驾驶舱内的实体物体上,例如车机屏幕,又例如方向盘上。此外,在某些实施方式中,当用户视线注视点坐标落在车机屏幕上的目标区域内且持续预设的时间段时,能唤醒车机屏幕的背光,这种实施方式可以有效避免车机屏幕背光处于较暗环境时所带来的影响车载人机交互体验的问题。
综上所述可以看出,本发明所述的唤醒车载智能语音功能的***可以通过非侵入式的交互方式实现语音唤醒,用户无需主动说出语音唤醒词,直接通过眼球追踪即可实现更自然、更高效地唤醒车载智能语音功能,大大提升车载人机交互体验。
此外,本发明所述的唤醒车载智能语音功能的方法,也同样具有上述的优点以及有益效果。
需要说明的是,本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例,所有不与本发明的方案相矛盾的现有技术,包括但不局限于在先专利文献、在先公开出版物,在先公开使用等等,都可纳入本发明的保护范围。
此外,本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式,本案记载的所有技术特征可以以任何方式进行自由组合或结合,除非相互之间产生矛盾。
还需要注意的是,以上所列举的实施例仅为本发明的具体实施例。显然本发明不局限于以上实施例,随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的,均应属于本发明的保护范围。

Claims (11)

1.一种唤醒车载智能语音功能的***,其特征在于,包括:
眼球追踪组件,其包括图像采集模块和图像处理模块,其中图像采集模块采集用户眼球图像,所述图像处理模块与所述图像采集模块数据连接,以基于图像采集模块传输的用户眼球图像,获取用户视线注视点坐标;
设定的目标区域,其位于车辆的驾驶舱内;
智能语音模块,其与车机数据连接,所述智能语音模块被配置为与用户进行语音交互;
控制模块,其与所述眼球追踪组件和智能语音模块分别数据连接,其中,当所述用户视线注视点坐标落在所述目标区域内持续预设的时间段时,所述控制模块唤醒所述智能语音模块。
2.如权利要求1所述的唤醒车载智能语音功能的***,其特征在于,还包括车机屏幕,所述目标区域位于所述车机屏幕上。
3.如权利要求1所述的唤醒车载智能语音功能的***,其特征在于,所述目标区域位于驾驶舱内的非实体空间上。
4.如权利要求1所述的唤醒车载智能语音功能的***,其特征在于,所述图像采集模块包括红外图像成像器和红外光光源。
5.如权利要求4所述的唤醒车载智能语音功能的***,其特征在于,所述红外图像成像器在垂直方向的视角范围≥40°,并且/或者所述红外图像成像器在水平方向的视角范围≥60°。
6.如权利要求1所述的唤醒车载智能语音功能的***,其特征在于,还包括全息模块,其与所述控制模块数据连接,其中,当所述用户视线注视点坐标落在所述目标区域内持续预设的时间段时,所述控制模块还激活全息模块,以使其以全息显示的形式显示人机交互影像。
7.一种唤醒车载智能语音功能的方法,其特征在于,包括步骤:
采集用户眼球图像,并基于所述用户眼球图像获取用户视线注视点坐标;
当检测到所述用户视线注视点坐标落在设定的目标区域内且持续预设的时间段时,唤醒车载智能语音模块。
8.如权利要求7所述的唤醒车载智能语音功能的方法,其特征在于,还包括步骤:当所述用户视线注视点坐标落在所述目标区域内且持续预设的时间段时,激活全息模块,以使其以全息显示的形式显示人机交互影像。
9.如权利要求7所述的唤醒车载智能语音功能的方法,其特征在于,所述预设的时间段为100-200ms。
10.如权利要求7所述的唤醒车载智能语音功能的方法,其特征在于,所述目标区域位于驾驶舱内的非实体空间上或实体物体上。
11.如权利要求10所述的唤醒车载智能语音功能的方法,其特征在于,所述实体物体包括车机屏幕,所述目标区域位于车机屏幕上;其中所述方法还包括步骤:当所述用户视线注视点坐标落在所述目标区域内且持续预设的时间段时,唤醒所述车机屏幕的背光。
CN202010309995.5A 2020-04-20 2020-04-20 一种唤醒车载智能语音功能的***和方法 Pending CN111694424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010309995.5A CN111694424A (zh) 2020-04-20 2020-04-20 一种唤醒车载智能语音功能的***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010309995.5A CN111694424A (zh) 2020-04-20 2020-04-20 一种唤醒车载智能语音功能的***和方法

Publications (1)

Publication Number Publication Date
CN111694424A true CN111694424A (zh) 2020-09-22

Family

ID=72476368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010309995.5A Pending CN111694424A (zh) 2020-04-20 2020-04-20 一种唤醒车载智能语音功能的***和方法

Country Status (1)

Country Link
CN (1) CN111694424A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145750A (zh) * 2019-12-31 2020-05-12 威马智慧出行科技(上海)有限公司 车载智能语音设备的控制方法及装置
CN112540677A (zh) * 2020-12-18 2021-03-23 浙江合众新能源汽车有限公司 车载智能设备的控制方法、装置、***和计算机可读介质
CN112735401A (zh) * 2020-12-11 2021-04-30 广州朗国电子科技有限公司 基于pir传感器的语音识别检测方法、装置及一体机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维-Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及***
CN107527005A (zh) * 2016-06-21 2017-12-29 通用汽车环球科技运作有限责任公司 基于注视信息用于确定用户意图的装置和方法
CN108501809A (zh) * 2018-03-26 2018-09-07 京东方科技集团股份有限公司 基于视线追踪的车载显示控制装置、显示***及显示方法
CN109177922A (zh) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质
CN109462694A (zh) * 2018-11-19 2019-03-12 维沃移动通信有限公司 一种语音助手的控制方法及移动终端
CN110045904A (zh) * 2018-11-14 2019-07-23 蔚来汽车有限公司 人机交互***、方法及包括该***的车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维-Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及***
CN107527005A (zh) * 2016-06-21 2017-12-29 通用汽车环球科技运作有限责任公司 基于注视信息用于确定用户意图的装置和方法
CN108501809A (zh) * 2018-03-26 2018-09-07 京东方科技集团股份有限公司 基于视线追踪的车载显示控制装置、显示***及显示方法
CN109177922A (zh) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质
CN110045904A (zh) * 2018-11-14 2019-07-23 蔚来汽车有限公司 人机交互***、方法及包括该***的车辆
CN109462694A (zh) * 2018-11-19 2019-03-12 维沃移动通信有限公司 一种语音助手的控制方法及移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145750A (zh) * 2019-12-31 2020-05-12 威马智慧出行科技(上海)有限公司 车载智能语音设备的控制方法及装置
CN112735401A (zh) * 2020-12-11 2021-04-30 广州朗国电子科技有限公司 基于pir传感器的语音识别检测方法、装置及一体机
CN112540677A (zh) * 2020-12-18 2021-03-23 浙江合众新能源汽车有限公司 车载智能设备的控制方法、装置、***和计算机可读介质

Similar Documents

Publication Publication Date Title
CN111694424A (zh) 一种唤醒车载智能语音功能的***和方法
KR102330096B1 (ko) 디스플레이로 영상 데이터가 전송되지 않는 구간에 생체 정보를 획득하기 위한 방법 및 전자 장치
KR102146618B1 (ko) 통합된 착용형 장치를 갖는 능동 자동차 계기판 시스템
CN106448259B (zh) 一种车辆预警的方法、装置及***
US10640123B2 (en) Driver monitoring system
US20200310528A1 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
US20170286785A1 (en) Interactive display based on interpreting driver actions
JP2007249477A (ja) 車載用情報伝達装置
CN105501123A (zh) 一种车载平视增强显示***
KR20170034154A (ko) 콘텐츠 제공 방법 및 이를 수행하는 전자 장치
US10286781B2 (en) Method for the automatic execution of at least one driving function of a motor vehicle
CN108099790A (zh) 基于增强现实平视显示与多屏语音交互的驾驶辅助***
CN110341617B (zh) 眼球追踪方法、装置、车辆和存储介质
CN114415926B (zh) 一种智能座舱显示触摸屏的应用布局显示方法及装置
CN201576093U (zh) 一种带彩色标尺线的后视倒车雷达***
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
KR102656574B1 (ko) 전자 장치 및 이를 포함하는 차량
US11904868B2 (en) Information processing device, recording medium, and information processing method
CN112667084A (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN203364834U (zh) 声音图像控制车载gps导航信息交换设备
US10446018B1 (en) Controlled display of warning information
CN104571998A (zh) 一种自适应人机交互车辆仪表盘显示***及其显示方法
US20220121865A1 (en) Interface sharpness distraction mitigation method and system
EP3838683A1 (en) In-vehicle detection of a charge-only connection with a mobile computing device
CN207670198U (zh) 全液晶组合仪表

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922

RJ01 Rejection of invention patent application after publication