CN110554766A - 交互方法及车载交互装置 - Google Patents
交互方法及车载交互装置 Download PDFInfo
- Publication number
- CN110554766A CN110554766A CN201810554116.8A CN201810554116A CN110554766A CN 110554766 A CN110554766 A CN 110554766A CN 201810554116 A CN201810554116 A CN 201810554116A CN 110554766 A CN110554766 A CN 110554766A
- Authority
- CN
- China
- Prior art keywords
- information
- control instruction
- interaction
- interactive
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002452 interceptive effect Effects 0.000 claims abstract description 121
- 239000013598 vector Substances 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种交互方法,包括:获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;根据所述交互信息确定目标控制指令;向车辆的控制装置发送所述目标控制指令,以控制所述车辆。采用本发明实施例可以满足用户与车辆之间的交互需求,提高了用户驾驶车辆的安全性。
Description
技术领域
本发明涉及交互控制领域,尤其涉及一种交互方法及车载交互装置。
背景技术
随着技术的发展,对于汽车的控制也越来越智能。现有的车载交互的方式主要包括:触摸屏交互,按键交互,语音交互或手势交互等方式。
但是现有的方式的缺点都很明显:例如,触摸屏交互需要驾驶者看屏幕,导致分散驾驶注意力,很容易发生交通事故;对于按键交互,由于按键的数量有限,而随着车上娱乐功能越来越多,有限的按键不能满足各种娱乐功能的需要,并且有些按键远离驾驶者视线,也会分散驾驶注意力。对于语音交互,有时候很难分辨驾驶者是跟车内其他人对话,还是与车载设备交互,从而造成误操作;手势交互是新型交互方式,手势交互与按键交互有相同的问题,就是手势的数量有限,如果手势很多,对用户来说,学习成本过高。
发明内容
本发明实施例提供一种交互方法及车载交互装置,采用该方法或车载交互装置可以满足用户与车辆之间的交互需求,提高了用户驾驶车辆的安全性。
第一方面,本发明实施例提供了一种交互方法,包括:
获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;
根据所述交互信息确定目标控制指令;
向车辆中控装置发送所述目标控制指令,以控制所述车辆。
在一种可行的实施例中,所述根据所述交互信息确定目标控制指令,包括:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定目标控制指令,包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定控制指令,包括:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;
获取所述交互信息的特征值或者特征向量与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定特征值的最小差值或特征向量间的最小距离对应的控制指令为所述目标控制指令。
在一种可行的实施例中,所述根据所述交互信息确定目标控制指令之前,所述方法还包括:
获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取所述预设交互信息的特征值或者特征向量;
预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
在一种可行的实施例中,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
第二方面,本发明实施例提供了一种车载交互装置,包括:
获取单元,用于获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;
确定单元,用于根据所述交互信息确定目标控制指令;
发送单元,用于向车辆中控装置发送所述目标控制指令,以控制所述车辆。
在一种可行的实施例中,所述确定单元具体用于:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,所述车载交互装置还包括:
所述获取单元,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
训练单元,用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元还具体用于包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元还具体用于:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;
获取所述交互信息的特征值或者特征向量与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定特征值的最小差值或特征向量的最小距离对应的控制指令为所述目标控制指令。
在一种可行的实施例中,所述车载交互装置还包括:
所述获取单元,用于在所述确定单元根据所述交互信息确定目标控制指令之前,获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取单元,用于提取所述预设交互信息的特征值或者特征向量;
存储单元,用于预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
在一种可行的实施例中,所述获取单元,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
所述训练单元,还用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
第三方面,本发明实施例提供了一种车载交互装置,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行第一方面所述的全部或者部分方法。
第四方面,本发明实施例提供了一种计算机存储介质,包括指令,当其在计算机上运行时,使得计算机执行如第一方面所述的全部或者部分方法。
第五方面,本发明实施例提供了一种程序产品,包括指令,当其在计算机上运行时,使得计算机执行如第一方面所述的全部或者部分方法。
可以看出,在本发明实施例的方案中,获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;根据所述交互信息确定目标控制指令;向车辆的控制装置发送所述目标控制指令,以控制所述车辆。采用本发明实施例可以满足用户与车辆之间的交互需求,提高了用户驾驶车辆的安全性。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交互方法的应用场景示意图;
图2为本发明实施例提供的一种交互方法的流程示意图;
图3为本发明实施例提供的一种车载交互装置的结构示意图;
图4为本发明实施例提供的另一种车载交互装置的结构示意图。
具体实施方式
以下分别进行详细说明。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合附图对本申请的实施例进行描述。
参见图1,图1为本发明实施例提供的一种交互方法的应用场景示意图。如图1所示,该应用场景包括:车载交互装置101和车辆中控装置102。
上述车载交互装置101通过其内部或者外部的传感器采集用户与车辆之间的交互信息,根据交互信息确定目标控制指令,并将该目标控制指令发送至上述车辆中控装置102,以控制上述车辆。
其中,上述车载交互装置101通过有线或者无线的方式与上述车辆中控装置102连接,或者该车载交互装置101与上述车辆中控装置102集成在在一起。
上述车载交互装置101可以为包含处理器或者计算单元的电子设备,比如智能传感器,该智能传感器可安装在任何可以感知到人的身体的一个或者多个部分的位置,比如车顶、前后视镜等合适位置,上述车载交互装置还可为智能终端设备,比如:手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、物联网设备,可穿戴设备(例如,智能手表、智能手环、计步器)等。
参见图2,图2为本发明实施例提供的一种交互方法的流程示意图。如图2所示,该交互方法包括:
S201、车载交互装置获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合。
具体地,上述车载交互装置通过其内部或者外部的一个或者多个传感器获取用户的视频图像和/或语音信息,然后根据机器学习算法或者神经网络算法获取用户的交互信息,该交互信息包括三维手势信息、语音信息、人体姿态信息和/或头部姿态信息。
进一步地,上述三维手势信息包括各手指相邻指关节的夹角、相邻手指间的夹角和各手指与手掌的夹角等信息;上述语音信息包括用户的语音对应的语义;上述人体姿态信息包括各手臂与躯干的夹角、各手臂关节间的夹角、大腿与小腿之间的夹角和/或大腿与躯干之间的夹角等信息;头部姿态信息包括头部与躯干之间的夹角和方向等信息。
其中,上述传感器包括麦克风,图像传感器(比如红外摄像机,彩色摄像机,深度摄像机等),雷达等。
其中,上述用户可为车辆的驾驶员,还可为坐在副驾驶座位上或后排座位上的乘客。
S202、车载交互装置根据所述交互信息确定目标控制指令。
在一种可行的实施例中,所述根据所述交互信息确定目标控制指令,包括:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
具体地,上述车载交互装置根据上述交互信息,遍历上述预存储的交互信息与控制指令之间的对应关系表,从该对应关系表中与上述交互信息对应的控制指令,并将该控制指令作为目标控制指令。
需要说明的是,上述交互信息与控制指令之间的对应关系表包括第一对应关系表、第二对应关系表、第三对应关系表和第四对应关系表。其中,上述第一对应关系表为三维手势信息、语音信息、人体姿态信息和头部姿态信息中的每种信息与控制指令的对应关系表,即用一种信息来指示控制指令(一对一);上述第二对应关系表为三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任两种信息与控制指令的对应关系表,即用两种信息来指示控制指令(二对一);上述第三对应关系表为三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任三种信息与控制指令的对应关系表,即用三种信息来指示控制指令(三对一);上述第四对应关系表为三维手势信息、语音信息、人体姿态信息和头部姿态信息四种信息与控制指令的对应关系,即用四种信息来指示控制信息(四对一)。
进一步地,上述车载交互装置获取上述交互信息后,确定该交互信息中包括信息的种类数量,然后根据信息的种类数量来选择待遍历的对应关系表。比如上述交互信息中包括三维手势信息和语音信息,上述车载交互装置选择第二对应关系表作为待遍历的对应关系表;再比如上述交互信息中包括三维手势信息、语音信息和头部姿态信息,上述车载交互装置选择上述第三对应关系表作为待遍历的对应关系表。然后从该对应关系表中获取该交互信息对应的控制指令,并将该控制指令作为目标控制指令。
进一步地,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
在此需要说明的是,上述车载交互装置获取上述三维手势信息、语音信息、人体姿态信息和头部姿态信息,并根据机器学习算法对获取的交互信息进行训练得到上述交互信息与控制指令之间的对应关系表是离线进行的。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定目标控制指令,包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
具体地,上述匹配精度用于指示上述交互信息中每种信息包括的参数与上述预设控制指令对应的交互信息包含的参数的相似度。上述车载交互装置将上述交互信息中的每种信息与上述预设控制指令对应的交互信息进行匹配,并获取每种信息与预设控制指令对应的交互信息的匹配精度;当匹配精度大于上述预设精度时,则上述车载交互装置将上述预设控制指令确定为目标控制指令;当上述每种信息与预设控制指令对应的交互信息的匹配精度均小于上述预设精度时,上述车载交互装置根据预设规则确定上述交互信息对应的目标控制指令。
其中,上述预设规则为人为预设的规则。比如用户说“左前车窗”,且用户的拇指向上,表示开窗,用户的拇指向下表示关窗;用户做出表征打电话的三维手势后再说出电话号码,上述车载交互装置就控制车辆上的通信设备打电话。
举例说明,上述交互信息包括三维手势信息和语音信息,上述车载交互装置将三维手势信息包含的参数与用三维手势信息表征的预设控制指令对应的三维手势信息包含的参数进行匹配,获取三维手势信息的匹配精度;并将语音信息包含的参数与用语音信息表征的预设控制指令对应的语音信息包含的参数进行匹配,获取语音信息的匹配精度;当三维手势信息的匹配精度大于预设精度且语音信息的匹配精度小于该预设精度时,上述车载交互装置将匹配精度大于预设精度的三维手势信息对应的预设控制指令作为目标控制指令;当三维手势信息的匹配精度小于预设精度且语音信息的匹配精度大于该预设精度时,上述车载交互装置将匹配精度大于预设精度的语音信息对应的预设控制指令作为目标控制指令。
当上述三维手势信息的匹配精度和语音信息的匹配精度均小于上述预设精度精度时,上述车载交互装置根据预设规则确定该交互信息(包括三维手势信息和语音信息)对应的目标控制指令。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定控制指令,包括:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;
获取所述交互信息的特征值或者特征向量与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定最小特征值的差值或者特征向量最小的距离对应的控制指令为所述目标控制指令。
具体地,根据上述特征函数,上述车载交互装置获取上述用户的交互信息的特征值或者特征向量,然后获取该特征值或者特征向量与预设控制指令对应的特征值的差值或者特征向量的距离;然后将与上述用户的交互信息的特征值的差值或者特征向量的距离中,特征值的最小差值或者特征向量的最小距离对应的预设控制指令作为上述目标控制指令。
其中,上述特征向量的距离可以为特征向量的欧式距离或者汉明距离。
进一步地,上述特征函数为:I=F(m1,m2,m3,m4),其中,m1为上述三维手势信息,m2为上述语音信息,m3为上述人体姿态信息,m4为上述头部姿态信息,F为机器学习算法训练出的一种函数表示形式。
举例1,F可以为一种线性函数表示:I=m1*w1+m2*w2+m3*w3+m4*w4。其中,该m1为上述三维手势信息,w1为三维手势信息对应的权重;该m2为上述语音信息,w2为语音信息对应的权重;该m3为上述人体姿态信息,w3为人体姿态信息对应的权重;该m4为上述头部姿态信息,w4为头部姿态信息对应的权重。
举例2,F还可以表示:I=W*[m1 m2 m3 m4]。其中,该m1为上述三维手势信息;该m2为上述语音信息;该m3为上述人体姿态信息;该m4为上述头部姿态信息;W为4种信息中元素的权重。
举例3,F还可以是对四种信息的其他非线性组合。
进一步地,所述根据所述交互信息确定目标控制指令之前,所述方法还包括:
获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取所述预设交互信息的特征值或者特征向量;
预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
进一步地,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
需要指出的是,上述车载交互装置根据机器学习算法获取上述特征函数是离线进行的。此特征可用来在线设定控制指令列表。
S203、车载交互装置向车辆中控装置发送所述目标控制指令,以控制所述车辆。
具体地,上述目标控制指令用于控制车辆,以实现车窗开启和关闭、车辆上多媒体的开关、比如打开音乐,切换音乐、增大或者减小音乐的音量;拨打车载电话等功能。
在一个可行的实施例中,上述车载交互装置与便携式计算机连接,当该车载交互装置获取上述用户的交互信息后,将该交互信息发送至与其连接的便携式计算机;该便携式计算机采用如图2所示实施例的方法得到上述该交互信息对应的目标控制指令;然后该便携式计算机将上述目标控制指令返回上述车载交互装置,该车载交互装置再将该目标控制指令发送至上述车辆中控装置,以控制该车辆。
可以看出,在本发明实施例的方案中,获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;根据所述交互信息确定目标控制指令;向车辆的控制装置发送所述目标控制指令,以控制所述车辆。采用本发明实施例可以满足用户与车辆之间的交互需求,提高了用户驾驶车辆的安全性。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
参见图3,图3为本发明实施例提供一种车载交互装置的结构示意图。如图3所示,该车载交互装置300包括:
获取单元301,用于获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;
确定单元302,用于根据所述交互信息确定目标控制指令。
在一种可行的实施例中,所述确定单元302具体用于:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,所述车载交互装置300还包括:
所述获取单元301,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
训练单元304,用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元302还具体用于包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
在一种可行的实施例中,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元302还具体用于:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;;
获取所述交互信息的特征值或者特征向量与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定特征值的最小差值或者特征向量的最小距离对应的控制指令为所述目标控制指令。
在一种可行的实施例中,所述车载交互装置300还包括:
所述获取单元301,用于在所述确定单元根据所述交互信息确定目标控制指令之前,获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取单元305,用于提取所述预设交互信息的特征值或者特征向量;
存储单元306,用于预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
在一种可行的实施例中,所述获取单元301,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
所述训练单元304,还用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
发送单元303,用于向车辆中控装置发送所述目标控制指令,以控制所述车辆。
需要说明的是,上述各单元(获取单元301、确定单元302、发送单元303、训练单元304、提取单元305和存储单元306)用于执行上述交互方法的相关步骤。
在本实施例中,车载交互装置300是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit,ASIC),执行一个或多个软件或固件程序的处理器和存储器,集成逻辑电路,和/或其他可以提供上述功能的器件。此外,以上获取单元301、确定单元302、发送单元303、训练单元304、提取单元305和存储单元306可通过图4所示的车载交互装置的处理器401来实现。
如图4所示车载交互装置400可以以图4中的结构来实现,该车载交互装置400包括至少一个处理器401,至少一个存储器402以及至少一个通信接口403。所述处理器401、所述存储器402和所述通信接口403通过所述通信总线连接并完成相互间的通信。
处理器401可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
通信接口403,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。
存储器402可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,所述存储器402用于存储执行以上方案的应用程序代码,并由处理器401来控制执行。所述处理器401用于执行所述存储器402中存储的应用程序代码。
存储器402存储的代码可执行以上提供的交互方法,比如:获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;根据所述交互信息确定目标控制指令;向车辆的控制装置发送所述目标控制指令,以控制所述车辆。
本发明实施例还提供一种计算机存储介质,其中,该存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种交互方法的部分或全部步骤。
本发明实施例还提供一种程序产品,包括指令,当其在计算机上运行时,使得计算机执行上述方法实施例中记载的任何一种交互方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上上述,本说明书内容不应理解为对本发明的限制。。
Claims (14)
1.一种交互方法,其特征在于,包括:
获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;
根据所述交互信息确定目标控制指令;
向车辆中控装置发送所述目标控制指令,以控制所述车辆。
2.根据权利要求1所述的方法,其特征在于,所述根据所述交互信息确定目标控制指令,包括:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
3.根据权利要求2所述的方法,其特征在于,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
4.根据权利要求1所述的方法,其特征在于,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定目标控制指令,包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
5.根据权利要求1或4所述的方法,其特征在于,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述根据所述交互信息确定目标控制指令,包括:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;
获取所述交互信息的特征值与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定特征值的最小差值或者特征向量间的最小距离对应的控制指令为所述目标控制指令。
6.根据权利要求5所述的方法,其特征在于,所述根据所述交互信息确定目标控制指令之前,所述方法还包括:
获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取所述预设交互信息的特征值或者特征向量;
预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
7.根据权利要求5所述的方法,其特征在于,所述获取用户的交互信息之前,所述方法还包括:
获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
8.一种车载交互装置,其特征在于,包括:
获取单元,用于获取用户的交互信息,所述交互信息包括三维手势信息、语音信息、人体姿态信息和头部姿态信息中的任一种或者任意组合;
确定单元,用于根据所述交互信息确定目标控制指令;
发送单元,用于向车辆中控装置发送所述目标控制指令,以控制所述车辆。
9.根据权利要求8所述的车载交互装置,其特征在于,所述确定单元具体用于:
根据预存储的交互信息与控制指令之间的对应关系表,确定所述交互信息对应的目标控制指令。
10.根据权利要求9所述的车载交互装置,其特征在于,所述车载交互装置还包括:
所述获取单元,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
训练单元,用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的一种或者任意组合进行训练,以得到所述交互信息与控制指令之间的对应关系表。
11.根据权利要求8所述的车载交互装置,其特征在于,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元还具体用于包括:
将所述交互信息中的每种信息与预设控制指令对应的交互信息进行匹配;
当所述交互信息中的任一种信息与所述预设指令对应的交互信息的匹配精度大于预设精度时,则确定所述预设控制指令为所述目标控制指令;
当所述交互信息中的每种信息与预设控制指令对应的交互信息的匹配精度小于预设精度时;根据预设规则确定所述交互信息对应的目标控制指令。
12.根据权利要求8或11所述的车载交互装置,其特征在于,当所述交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息中的至少两种信息时,所述确定单元还具体用于:
根据所述交互信息和特征函数确定所述交互信息的特征值或者特征向量;所述特征函数用于表征确定控制指令时,所述交互信息中每种信息所占的比重或者所述交互信息中特征向量元素的权重;
获取所述交互信息的特征值或者特征向量与预存储的控制指令对应的特征值的差值或者特征向量的距离;
确定特征值的最小差值或特征向量的最小距离对应的控制指令为所述目标控制指令。
13.根据权利要求12所述的车载交互装置,其特征在于,所述车载交互装置还包括:
所述获取单元,用于在所述确定单元根据所述交互信息确定目标控制指令之前,获取用户输入的控制指令和预设交互信息,所述预设交互信息包括所述三维手势信息、语音信息、人体姿态信息和头部姿态信息的任意组合;
提取单元,用于提取所述预设交互信息的特征值或者特征向量;
存储单元,用于预存储所述输入的控制指令和所述交互信息的特征值或者特征向量。
14.根据权利要求12所述的车载交互装置,其特征在于,
所述获取单元,还用于获取所述三维手势信息、语音信息、人体姿态信息和头部姿态信息;
所述训练单元,还用于根据机器学习算法对所述三维手势信息、语音信息、人体姿态信息头部姿态信息中的一种或者任意组合进行训练,以得到所述特征函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810554116.8A CN110554766A (zh) | 2018-05-31 | 2018-05-31 | 交互方法及车载交互装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810554116.8A CN110554766A (zh) | 2018-05-31 | 2018-05-31 | 交互方法及车载交互装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110554766A true CN110554766A (zh) | 2019-12-10 |
Family
ID=68734641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810554116.8A Pending CN110554766A (zh) | 2018-05-31 | 2018-05-31 | 交互方法及车载交互装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110554766A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112351290A (zh) * | 2020-09-08 | 2021-02-09 | 深圳Tcl新技术有限公司 | 智能设备的视频录制方法、装置、设备及可读存储介质 |
CN114373193A (zh) * | 2022-01-07 | 2022-04-19 | 广州小鹏自动驾驶科技有限公司 | 汽车人机交互方法、装置及设备 |
CN115016448A (zh) * | 2022-06-16 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、车载终端、车辆及介质 |
WO2023179383A1 (zh) * | 2022-03-23 | 2023-09-28 | 北京罗克维尔斯科技有限公司 | 终端控制方法、装置、设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201129096A (en) * | 2009-03-31 | 2011-08-16 | Qualcomm Inc | System and method for providing interactive content |
CN102306051A (zh) * | 2010-06-18 | 2012-01-04 | 微软公司 | 复合姿势-语音命令 |
CN103325230A (zh) * | 2013-07-04 | 2013-09-25 | 深圳市元征科技股份有限公司 | 一种控制车辆的方法及*** |
CN103533415A (zh) * | 2013-10-12 | 2014-01-22 | 青岛旲天下智能科技有限公司 | 基于声控式人机交互技术的互联网电视***及其实现方法 |
CN103533445A (zh) * | 2013-10-28 | 2014-01-22 | 山东大学 | 一种基于主动交互的飞翔影院播放*** |
US20140365228A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
CN104615243A (zh) * | 2015-01-15 | 2015-05-13 | 深圳市掌网立体时代视讯技术有限公司 | 一种头戴式多通道交互***及多通道交互方法 |
CN104875680A (zh) * | 2015-06-03 | 2015-09-02 | 深圳市光晕网络科技有限公司 | 一种结合语音和视频识别的hud显示装置 |
CN105630161A (zh) * | 2015-12-23 | 2016-06-01 | 西北工业大学 | 基于Android***的手势控制指环及其使用方法 |
CN107458172A (zh) * | 2016-06-02 | 2017-12-12 | 通用汽车环球科技运作有限责任公司 | 用于社交地控制自主交通工具的交通工具气候的*** |
CN108073605A (zh) * | 2016-11-10 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种业务数据的加载、推送、交互信息的生成方法和装置 |
-
2018
- 2018-05-31 CN CN201810554116.8A patent/CN110554766A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201129096A (en) * | 2009-03-31 | 2011-08-16 | Qualcomm Inc | System and method for providing interactive content |
CN102306051A (zh) * | 2010-06-18 | 2012-01-04 | 微软公司 | 复合姿势-语音命令 |
US20140365228A1 (en) * | 2013-03-15 | 2014-12-11 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
CN103325230A (zh) * | 2013-07-04 | 2013-09-25 | 深圳市元征科技股份有限公司 | 一种控制车辆的方法及*** |
CN103533415A (zh) * | 2013-10-12 | 2014-01-22 | 青岛旲天下智能科技有限公司 | 基于声控式人机交互技术的互联网电视***及其实现方法 |
CN103533445A (zh) * | 2013-10-28 | 2014-01-22 | 山东大学 | 一种基于主动交互的飞翔影院播放*** |
CN104615243A (zh) * | 2015-01-15 | 2015-05-13 | 深圳市掌网立体时代视讯技术有限公司 | 一种头戴式多通道交互***及多通道交互方法 |
CN104875680A (zh) * | 2015-06-03 | 2015-09-02 | 深圳市光晕网络科技有限公司 | 一种结合语音和视频识别的hud显示装置 |
CN105630161A (zh) * | 2015-12-23 | 2016-06-01 | 西北工业大学 | 基于Android***的手势控制指环及其使用方法 |
CN107458172A (zh) * | 2016-06-02 | 2017-12-12 | 通用汽车环球科技运作有限责任公司 | 用于社交地控制自主交通工具的交通工具气候的*** |
CN108073605A (zh) * | 2016-11-10 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种业务数据的加载、推送、交互信息的生成方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112351290A (zh) * | 2020-09-08 | 2021-02-09 | 深圳Tcl新技术有限公司 | 智能设备的视频录制方法、装置、设备及可读存储介质 |
CN114373193A (zh) * | 2022-01-07 | 2022-04-19 | 广州小鹏自动驾驶科技有限公司 | 汽车人机交互方法、装置及设备 |
WO2023179383A1 (zh) * | 2022-03-23 | 2023-09-28 | 北京罗克维尔斯科技有限公司 | 终端控制方法、装置、设备及存储介质 |
CN115016448A (zh) * | 2022-06-16 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、车载终端、车辆及介质 |
CN115016448B (zh) * | 2022-06-16 | 2024-05-07 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、车载终端、车辆及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110554766A (zh) | 交互方法及车载交互装置 | |
US8914163B2 (en) | System and method for incorporating gesture and voice recognition into a single system | |
EP2869162A2 (en) | Displaying messages with cartoon cut images in an electronic device | |
CN108181992A (zh) | 基于手势的语音唤醒方法、装置、设备及计算机可读介质 | |
CN110598576A (zh) | 一种手语交互方法、装置及计算机介质 | |
JP2015076104A (ja) | ランダムフォレストモデルを用いた、リアルタイムの多クラス運転者動作認識 | |
KR102443636B1 (ko) | 전화번호 연관 정보를 제공하기 위한 전자 장치 및 그의 동작 방법 | |
CN112330846A (zh) | 车辆控制的方法、装置、存储介质及电子设备和车辆 | |
CN107220614A (zh) | 图像识别方法、装置及计算机可读存储介质 | |
EP3644177A1 (en) | Input method, device, apparatus, and storage medium | |
CN105103087B (zh) | 一种用于显示和/或输出帮助的方法和配置给车辆的装置 | |
CN112959998A (zh) | 一种车载人机交互方法、装置、车辆及电子设备 | |
CN112329926A (zh) | 智能机器人的质量改善方法及*** | |
CN110222567B (zh) | 一种图像处理方法及设备 | |
CN113696849A (zh) | 基于手势的车辆控制方法、装置和存储介质 | |
CN112488157A (zh) | 一种对话状态追踪方法、装置、电子设备及存储介质 | |
CN107957789B (zh) | 一种文本输入方法及移动终端 | |
CN115658857A (zh) | 智能对话方法、装置、设备及存储介质 | |
CN116339501A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
CN110944084B (zh) | 单手模式控制方法、终端及计算机存储介质 | |
CN111292743B (zh) | 语音交互方法及装置、电子设备 | |
CN113590248A (zh) | 车载终端的投屏方法、装置和可读存储介质 | |
CN109740361B (zh) | 数据处理方法、装置及计算机可读存储介质 | |
CN108519815B (zh) | 基于增强现实的车辆控制方法、装置、存储介质及电子设备 | |
CN113806712A (zh) | 验证处理方法、处理装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |
|
RJ01 | Rejection of invention patent application after publication |