CN102866803B - 一种支持盲操作的汽车虚拟中控台手势操控方法及装置 - Google Patents

一种支持盲操作的汽车虚拟中控台手势操控方法及装置 Download PDF

Info

Publication number
CN102866803B
CN102866803B CN201210312798.4A CN201210312798A CN102866803B CN 102866803 B CN102866803 B CN 102866803B CN 201210312798 A CN201210312798 A CN 201210312798A CN 102866803 B CN102866803 B CN 102866803B
Authority
CN
China
Prior art keywords
gesture
sign language
module
console
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210312798.4A
Other languages
English (en)
Other versions
CN102866803A (zh
Inventor
杨国青
李红
唐凯
吴朝晖
周丽
顾宗华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201210312798.4A priority Critical patent/CN102866803B/zh
Publication of CN102866803A publication Critical patent/CN102866803A/zh
Application granted granted Critical
Publication of CN102866803B publication Critical patent/CN102866803B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种支持盲操作的汽车虚拟中控台手势操控方法及装置,可以方便用户在驾驶过程中,不用转移道路驾驶视线,通过在中控台触摸屏上划手势来对汽车进行相应操控,这种对汽车的盲操作功能,很好的弥补了查找传统驾驶室内复杂多样的机械按键来进行控制的不足,同时,本发明虚拟中控台集成了手势语言库模块,手势分析处理模块,手势语言识别模块,手势语言库管理模块,手势操控执行模块,以及手势操控安全机制管理模块,各个模块的协同处理工作,使得其手势语言操控具有简单易用性、手势操控窗口无关性、手势语义唯一性、手势语言可修改性、操控机制安全性等特点,可以根据具体需求,为用户提供方便、快捷、友好、安全的汽车中控台操控体验。

Description

一种支持盲操作的汽车虚拟中控台手势操控方法及装置
技术领域
本发明涉及汽车电子控制技术,尤其是一种应用于汽车虚拟中控台的手势操控方法和装置。
背景技术
随着汽车电子的迅速发展和普及应用,汽车中有着越来越多的控制功能。在驾驶室中,中央控制台以及方向盘周围都布满了各式各样的功能控制按钮。车内这些多样化的控制按钮确实给用户提供了更多的操控选择权利,但同时也给驾驶员的操作便利性和复杂程度带来影响,使得驾驶员在进行高安全性的行车驾驶过程中,还要放开方向盘去伸手甚至扭头要视线离开驾驶道路去看或者更长时间的去查找想要执行的功能按键所在的位置,这样的行为必然会分散驾驶员的注意力,无疑给行车安全造成较大的隐患。驾驶员在行车过程中,视线离开驾驶道路而去查找并按下、旋转或者拨动这些琳琅满目的功能按键,确实影响了驾驶的安全性,给行车时的操作控制也带来不便。
当今,随着汽车工业的发展和计算机水平的提高,对于汽车人机交互一体化提出了更多要求。通过触摸屏对汽车进行控制成为时代发展的新趋势。触摸屏技术是一种新型的人机交互输入方式,与传统的按键输入方式相比,触摸屏输入更加直观方便。触摸屏由安装在LCD屏幕前面的检测部件和触摸屏控制器组成。当手指或其它物体触摸安装在显示器前端触摸屏上的图形按钮时,所触摸的位置由触摸屏检测部件进行检测,当检测用户触摸位置后,将其触点坐标信息传送给触摸屏控制器,触摸屏控制器对触摸信息进行分析后执行相应操作命令。因此,可以用触摸屏取代汽车驾驶室中传统机械式的按钮控制面板,并借助触摸屏的液晶显示画面制造出生动形象的图形操控效果。
然而,现有的汽车触摸屏虽然提高了汽车驾驶室中控台按键操控界面的美观性和交互的友好性,但是仍然停留在使用传统简单的触控点击等操作来对汽车进行操控,驾驶员在行车驾驶过程中,如果要通过触摸屏进行操作,仍然需要让视线离开驾驶道路而转移到去查看触摸屏上面的图形按键,来点击按键执行想要的功能操作。因此,让驾驶员在行车驾驶过程中视线离开驾驶道路去点击执行操作,仍然具有较大的安全隐患,从本质上并没有改变传统机械式的按钮控制面板需要驾驶员视线离开驾驶道路,而去查看按键所在位置才能进行操作的不足。
发明内容
本发明的目的正是要解决目前上述汽车中控台触摸屏技术存在的不足,而提供一种支持盲操作的汽车虚拟中控台手势操控方法及装置,使得驾驶员能够不用转移视线去查看驾驶室的中控台触摸屏,而只用对触摸屏进行手势操作即可执行相应功能,实现对汽车虚拟中控台触摸屏的盲操作功能。
为了解决上述技术问题,本发明的技术方案如下:
一种支持盲操作的汽车虚拟中控台手势操控装置,包括中控台触摸屏、手势语言库模块、手势语言库管理模块、手势分析处理模块、手势语言识别模块、手势操控执行模块和手势操控安全机制管理模块;
所述中控台触摸屏采用电容式触摸屏,采用可编程片上***架构的触摸屏控制器,可以和其他外设进行通信和协同工作,并且可以定制需求获取手势信息;
所述手势语言库模块存储了经过定义的手势语言及与手势语言一一对应的汽车中控台操控功能;
所述手势语言库管理模块用于管理手势语言库模块中的手势语言;
所述手势分析处理模块用于对所述中控台触摸屏检测到的手势进行分析处理,获得完整手势语言后则调用手势语言识别模块;
所述手势语言识别模块对获得的手势信息进行分析识别,判断其手势路径和手势语言库模块中手势语言的匹配相似度,如果达到一定阈值,则可以认为是该手势;所述手势操控执行模块根据所述手势语言识别模块识别出的手势信息,查询其对应的汽车操作,通过CAN、LIN总线向车身电子控制***或者车载电器控制***发送控制信号,对相应的汽车部件进行控制,执行相应操作;
所述手势操控安全机制管理模块用于对所述手势语言库管理模块中的手势管理操作进行安全验证。
进一步的,手势语言库管理模块对手势语言库中的手势语言进行管理操作时,需要手势操控安全机制管理模块来进行安全验证,只有安全验证通过后,才能对手势语言库进行管理操作,当通过安全认证后,想添加新的手势操作时,首先获取到录入的手势操作,并会对进行分析识别,判断该手势语言是否与现有手势语言库模块中存储的手势语言有较高的重复相似度,如果准备添加的新手势语言与现有手势语言中某一个的相似度达到设定的阈值以上,则可以认为手势语言冲突重复,添加不成功,需要另外再输入,直到满足相似度冲突检测的要求才行,通过相似度冲突检测后,再选择当前可选且没有被其他手势语言使用的汽车中控台操控功能,最后将新手势和其对应操控功能添加到手势语言库模块中。
一种支持盲操作的汽车虚拟中控台手势操控方法,包括如下步骤
31)中控台触摸屏检测获取手势信息;
32)手势分析处理模块用于对所述中控台触摸屏检测到的手势进行分析处理,获得完整手势语言后则调用手势语言识别模块;
33)所述手势语言识别模块对获得的手势信息进行分析识别,判断其手势路径和手势语言库模块中手势语言的匹配相似度,如果达到一定阈值,则可以认为是该手势;所述手势操控执行模块根据所述手势语言识别模块识别出的手势信息,查询其对应的汽车操作,通过CAN、LIN总线向车身电子控制***或者车载电器控制***发送控制信号,对相应的汽车部件进行控制,执行相应操作;
所述手势语言库模块存储了经过定义的手势语言及与手势语言一一对应的汽车中控台操控功能;
34)手势语言库管理模块用于管理手势语言库模块中的手势语言,在经过手势操控安全机制管理模块安全验证后,可对所述手势语言库管理模块中的手势管理操作。
进一步的,手势分析处理模块的手势分析处理方法包括如下步骤:
41)中控台触摸屏检测到手触摸,等待手势输入完毕,获取完整的手势信息;
42)调用手势语言识别模块;
43)手势分析处理模块判断检测到的手势操作是否为常规触摸屏操作;
44)若是常规触摸屏操作,则调用常规手势处理模块,根据当前所在具体窗口,对其执行相应常规手势操作;
45)若不是常规触摸屏操作,则手势语言识别模块判断是否为手势语言库模块中手势语言?
46)若不是手势语言库模块中手势语言,则不执行任何操控指令;
47)若是手势语言库模块中手势语言,则调用手势操控执行模块,执行手势语言库模块中定义的手势语言对应的功能操作。
进一步的,在所述步骤41)中该中控台触摸屏在检测到有手触摸时,根据设置的等待时间,等待完整手势输入完成。
进一步的,在步骤43)中手势分析处理模块将常规触摸屏手势操作和定义的手势语言库手势操作区别对待,对于常规触摸屏手势操作是对中控台触摸屏当前显示的图形窗口进行的操作,该手势是窗口相关性的手势操作,对于手势语言库模块中的手势语言操作是与当前所在窗口界面无关的,在任何窗口使用这些手势语言都可以执行相应汽车操控命令。
进一步的,对于从中控台触摸屏检测到有手势触控,到对该手势调用手势语言识别模块的处理方法包括如下步骤:
71)当中控台触摸屏检测到手指触摸时,中控台触摸屏检测部件以中断形式向手势分析处理模块发送中断信号;
72)手势分析处理模块接收到中断信号后,调用相应的中断处理函数;
73)启动手势操控语言输入定时器;
74)当定时器时间到,则获取当前中控台触摸屏的所有手势信息;
75)对当前中控台触摸屏的所有手势信息进行分析处理;
76)对每个手势信息分别调用手势语言识别模块,对其进行识别后,执行相应操作。
本发明的有益效果在于:本发明可以方便用户在驾驶过程中,不用转移道路驾驶视线,通过在中控台触摸屏上划手势来对汽车进行相应操控。这种对汽车的盲操作功能,很好的弥补了查找传统驾驶室内复杂多样的机械按键来进行控制的不足。同时,本发明虚拟中控台集成了手势语言库模块,手势分析处理模块,手势语言识别模块,手势语言库管理模块,手势操控执行模块,以及手势操控安全机制管理模块。各个模块的协同处理工作,使得其手势语言操控具有简单易用性、手势操控窗口无关性、手势语义唯一性、手势语言可修改性、操控机制安全性等特点。可以根据具体需求,为用户提供方便、快捷、友好、安全的汽车中控台操控体验。
附图说明
图1是本发明装置***中各个功能模块的层次结构图;
图2是本发明装置与车身电子控制***和车载电器控制***间的连接图;
图3是本发明装置***自定义的手势语言库和其对应执行的的功能操作;
图4是本发明装置***中处理手势语言输入的流程图;
图5是本发明装置***中手势分析处理模块的流程图;
图6是本汽车虚拟中控台手势语言库管理***的处理步骤流程图;
图7是本汽车虚拟中控台手势语言管理模块添加手势操控流程图。
具体实施方式
下面将结合附图和具体实施例对本发明做进一步的说明。
如图1所示,一种支持盲操作的汽车虚拟中控台手势操控装置,该中控台(中央控制平台)装置包括中控台触摸屏,手势语言库模块,手势语言库管理模块,手势分析处理模块,手势语言识别模块,手势操控执行模块,手势操控安全机制管理模块。
中控台触摸屏采用电容式触摸屏,该触摸屏支持同时识别接触表面上的两个或两个以上的点,也即支持多点接触位置识别。多点触控***的核心是一对相邻电极组成的电容感应。当一个导体如手指接近这些电极时,两个电极之间的电容就会增加,然后通过微控制器检测到,从而识别出触摸位置信息。
该中控台触摸屏采用可编程片上***架构的触摸屏控制器,可以方便感应出用户单个手指和多个手指的触摸情况,并且可以和其他外设进行通信和协同工作,具有良好的设计灵活性和可配置性,从而方便根据定制需求获取手势信息。
手势语言库模块定义了一套面向汽车驾驶室中控台操作的手势语言,在该虚拟中控台***内部可以预先定义一套手势语言库和其对应执行的汽车虚拟中控台的功能操作。
本手势语言库模块具有如下特点:
(a)该手势语言库模块中定义的手势语言对应的操控功能一般是驾驶员比较常用的功能操作,手势语言并不是覆盖了汽车驾驶室中控台所有的功能操作。
(b)该手势语言库模块中的手势语言和汽车虚拟中控台的常用功能操作是一一对应关系。
(c)该手势语言库模块中定义的手势语言是对现有常规触摸屏常用手势操作(比如单击,长按,上下左右滑动翻页,放大缩小等)的一种扩展和补充。该手势语言库模块内定义的手势语言与现有触摸屏常用的手势操作都不相冲突。
(d)该手势语言库模块中定义的手势操作可以在虚拟中控台触摸屏的任何图形化界面窗口上执行,并不需要返回到对应功能窗口界面才能执行相应功能操作。
(e)该手势语言具有手势语义唯一性和手势操控窗口无关性的特点。其中手势语义唯一性问题由手势操控安全机制管理模块来进行处理,手势操控窗口无关性问题由手势分析处理模块来进行处理。
手势语言库管理模块支持用户对手势语言库模块中的手势语言进行管理操作,比如增加自定义手势和其对应的操作,删除手势,修改手势语言和其对应的操作等。同时,在对手势语言进行修改时,需要手势操控安全机制管理模块来进行安全验证。只有安全验证通过后,才能对手势语言库进行修改。
当用户通过安全认证后,想添加新的手势操作时,首先获取到用户录入的手势操作,并会对进行分析识别,判断该手势是否与现有手势语言库模块中的手势有较高的重复相似度,如果用户准备添加的新手势与现有手势中某一个的相似度达到设定的阈值以上(手势曲线相似度的计算有很多比较成熟的方法和算法,对于手势相似度的计算可以利用常规的方法),则可以认为手势冲突重复,添加不成功,需要用户另外再输入,直到满足手势相似度冲突检测的要求才行,通过手势相似度冲突检测后,再选择当前可选且没有被其他手势语言使用的汽车中控台操控功能,最后将新手势和其对应操控功能添加到手势语言库模块中即可。
手势分析处理模块主要负责对中控台触摸屏检测到的手势进行分析处理,该模块的手势分析处理方法步骤如下:
(1)触摸屏检测到手触摸,等待用户手势输入完毕,获取完整的手势信息;
(2)调用手势语言识别模块;
(3)手势分析处理模块判断检测到的手势操作是否为常规触摸屏操作?
(4)若是,则调用常规手势处理模块,根据当前所在具体窗口,对其执行相应常规手势操作。
(5)若不是,则判断是否为手势语言库中语言?
(6)若不是,则不执行任何操控指令。
(7)若是,则调用手势操控执行模块,执行手势语言库中定义的手势语言对应的功能操作。
在所述步骤(1)中:该虚拟中控台触摸屏在检测到有手触摸并不是马上就调用手势语言识别模块,因为用户可能是在进行一些多点触控等手势操作,因此要等待用户完整输入完成后,才对所获得的完整手势信息进行分析识别。否则可能导致手势语义的解析识别错误。等待用户手势输入的时间可以根据情况进行设置。
在所述步骤(3)中:该手势分析处理模块将常规触摸屏手势操作和定义的手势语言库手势操作区别对待。对于常规触摸屏手势操作(比如单击,长按,上下左右滑动翻页,放大缩小等)是对中控台触摸屏当前显示的图形窗口进行的操作,因此这些手势是窗口相关性的手势操作。而手势语言库模块中的手势操作是与当前所在窗口界面无关的,在任何窗口使用这些手势都可以执行相应汽车操控命令的,因此手势语言库中的手势操作是窗口无关性的。
对于从中控台触摸屏检测到有手势触控,到对该手势调用手势语言识别模块的处理方法步骤如下:
(11)当中控台触摸屏检测到手指触摸时,触摸屏检测部件以中断形式向手势分析处理模块发送中断信号;
(12)手势分析处理模块接收到中断信号后,调用相应的中断处理函数;
(13)启动手势操控语言输入定时器;
(14)当定时器时间到,则获取当前触摸屏的所有手势信息;
(15)对当前触摸屏的所有手势信息进行分析处理;
(16)对每个手势信息分别调用手势语言识别模块,对其进行识别后,执行相应操作。
手势语言识别模块对获得的触摸屏完整手势信息进行分析识别,判断其手势路径和手势语言库中手势语言的匹配相似度,如果达到一定阈值,则可以认为是该手势。查找手势语言库中该手势对应执行的汽车操作。
手势操控执行模块根据手势语言识别模块识别出的手势信息,查询其对应的汽车操作,该虚拟中控台通过CAN、LIN总线向车身电子控制***(BCM)或者车载电器控制***发送控制信号,对相应的汽车部件进行控制,执行相应操作。
手势操控安全机制管理模块主要负责对手势语言库管理模块中的手势修改操作进行安全验证。该模块的特点如下:
(a)在首次使用该虚拟中控台触摸屏手势操控***时,需要车主先录入其指纹信息,可以录入一个手指或者多个手指,录入完成后,以后需要对手势语言库进行修改时,就需要先通过指纹身份验证才行。如果以后需要添加管理新的指纹信息,也需要首先通过之前设置的指纹身份验证才行。
(b)只有车主用户通过指纹认证身份后,才可以自定义添加手势和其对应的操作或者对手势语言进行删除、修改。保证该中控台触摸屏手势语言库的安全性。
(c)手势操控安全机制管理模块有手势相似度冲突检测功能。对于用户输入的新增手势,***会计算当前输入手势和***中所有已经存在手势的相似度,只有所有手势相似度都低于设定阈值,才能认为该手势是新的手势,将其添加到现有手势语言库,否则新手势添加不成功。这样保证了手势语言的唯一性。
如图2所示,本发明提供了一种支持盲操作的汽车虚拟中控台手势操控装置,该汽车虚拟中控台触摸屏有一个触摸屏按键锁,按下该按键时,可以将中控台触摸屏锁住,此时中控台处于待机状态,不支持手势操作;再按一下中控台按键锁,则恢复手势触摸操控。
该虚拟中控台通过LIN/CAN总线和汽车的车身电子控制***(BCM)或者车载电器控制***相连,通过发送相应操控信号来控制汽车执行相应操作。
同时,该中控台触摸屏采用可编程片上***架构的触摸屏控制器,该中控台里面集成了手势语言库模块,手势分析处理模块,手势语言识别模块,手势语言库管理模块,手势操控执行模块,以及手势操控安全机制管理模块。
该触摸屏控制器中各个功能模块的层次结构如图1所示。用户可以通过本触摸屏进行两大类操作:一类主要是用户对本***手势语言库中的手势语言进行的操作,主要由手势语言库模块,手势语言库管理模块以及手势操控安全机制管理模块等负责;另一类主要是用户利用手势语言执行的汽车控制操作,主要由手势分析处理模块,手势语言识别模块以及手势操控执行模块等负责。
作为本发明的一个选择性实施案例,如图3所示,该虚拟中控台***内部可以预先定义了一套手势语言库和其对应执行的汽车虚拟中控台的功能操作。该手势语言可以是一笔划手势、两笔划手势或者多笔划手势,并且适当根据具体操作的意义来定义相关手势,方便用户记忆使用。
比如打开汽车车窗(window),使用其英文首字母w的手势来进行操控;打开后备箱(pack),使用其英文首字母p的手势来进行操控;发动机罩开锁(suo),使用其汉语拼音的首字母s的手势来进行操控;打开玻璃天窗,根据天窗的形状“口”来进行手势操控等。这些也可以根据用户的具体使用习惯,通过手势语言库管理模块来进行更改。
一.车主首次登录及使用虚拟中控台触摸屏***过程:
当车主用户首次使用该汽车虚拟中控台手势操控***时的基本步骤如下所示:
(1)车主录入指纹,创建车主指纹信息,进入该汽车虚拟中控台手势操控***。
(2)车主在中控台触摸屏上输入某个手势操作,按照本发明的处理手势语言输入操作完整流程如图4所示。
(3)按照该***的手势操控方法,对输入的手势调用手势分析处理模块,其处理过程如图5所示。
作为本发明的一个选择性实施案例,以下说明在使用该汽车虚拟中控台的手势操控设备的用户操作一个具体案例过程:
(a)车主在中控台触摸屏上输入向左滑动手势,按照该***的操控方法,***识别该手势为常规触摸屏操作手势,则进行相应翻到下一页操作。
(b)车主在中控台触摸屏上输入顺时针的C时,***识别该手势为非常规的触摸屏手势操作,同时在手势语言库中有该手势语言,因此调用手势操控执行模块执行相应操作,即打开空调。
(c)此时车主在中控台触摸屏上输入顺时针的三角形,打开车内照明灯。
(d)此时车主在中控台触摸屏上输入顺时针圆圈时,打开收音机。
(e)此时车主在中控台触摸屏上输入从左到右顺时针的上尖角时,将空调温度调高。
(f)此时车主在中控台触摸屏上输入顺时针正方形时,则将玻璃天窗打开。
在此案例操作过程中,手势操作不需要在相应窗口才能执行对应的手势操作,即不需要在中控台触摸屏空调控制界面才能对空调温度进行调节,只要***检测到是相应手势操控,即会马上执行相应操作,与当前所在窗口界面无关。因此,此过程体现了该汽车虚拟中控台***具有手势操控窗口无关性和语义唯一性的特点。
二.车主管理修改手势语言库过程:
车主可以对该***的手势语言库进行管理,支持用户进行比如增加自定义手势和其对应的操作,删除手势,修改手势语言和其对应的操作等。
该手势语言库管理***的处理步骤如下所示:
(1)用户登录手势语言库管理界面,进行身份验证;
(2)身份验证通过后,用户选择对手势进行管理的操作;
(3)如果选择是“添加新手势”,则需要录入新手势,对新手势进行相似度检测,检测通过后,选择对应新手势执行的汽车操作,并将其加入到手势语言库中。
(4)如果选择是“修改手势和其对应操作”,则需要进一步选择是“修改操作对应的手势”还是选择“修改手势对应的操作”;
(a)如果选择“修改操作对应的手势”,则需要录入新手势,对新手势进行相似度检测,检测通过后,即可成功修改该操作对应的新手势。
(b)如果选择“修改手势对应的操作”,则选择目前汽车可供选择执行的操作,将修改保存到手势语言库中即可。
(5)如果选择是“删除手势操控”,则选择需要删除的手势,将其删除即可。
本汽车虚拟中控台手势语言库管理***的处理步骤流程图如图6所示。
作为本发明的一个选择性实施案例,以下说明对于添加一个新的手势语言操控的具体步骤:
(a)首先调用手势操控安全机制管理模块,对用户身份进行验证;
(b)虚拟中控台触摸屏录入用户指纹信息;
(c)判断用户录入的指纹信息是否与数据库中用户指纹信息相匹配?
(d)如果不是,则用户身份验证失败。
(e)如果是,则用户在中控台触摸屏输入新增手势;
(f)对新增手势信息进行分析识别;
(g)计算新增手势和中控台触摸屏中所有手势的相似度;
(h)判断是否有手势相似度达到设定的阈值?
(i)如果有,则新增手势添加不成功。
(j)如果没有,则选择新增手势对应的汽车操作;
(k)将新增手势和其对应的汽车操作添加到手势语言库中。
本汽车虚拟中控台手势语言管理模块添加手势操控具体过程如图7所示。
通过以上实例可以看出,本发明可以方便车主在驾驶过程中进行盲操作,通过在中控台触摸屏上划手势来对汽车进行相应操控。其手势语言操作的简单易用性、窗口无关性、手势语言库的管理修改以及其中的安全机制等特点,可以为车主提供方便、快捷、安全的汽车中控台操控体验。
本发明提供的支持盲操作的汽车虚拟中控台手势操控方法,可以广泛应用在各类汽车中控台控制***中,其手势语言库中手势语言、可选的汽车操作以及手势识别方法可以根据具体需求而确定不同的定制。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

Claims (5)

1.一种支持盲操作的汽车虚拟中控台手势操控装置,其特征在于,包括中控台触摸屏、手势语言库模块、手势语言库管理模块、手势分析处理模块、手势语言识别模块、手势操控执行模块和手势操控安全机制管理模块;
所述中控台触摸屏采用电容式触摸屏,使用可编程片上***架构的触摸屏控制器,可以和其他外设进行通信和协同工作,并且可以根据定制需求获取手势信息;
所述手势语言库模块存储了经过定义的手势语言及与手势语言一一对应的汽车中控台操控功能;
所述手势语言库管理模块用于管理手势语言库模块中的手势语言;
所述手势分析处理模块用于对所述中控台触摸屏检测到的手势进行分析处理,获得完整手势语言后则调用手势语言识别模块;
所述手势语言识别模块对获得的手势信息进行分析识别,判断其手势路径和手势语言库模块中手势语言的匹配相似度,如果达到一定阈值,则认为是手势语言库模块中的手势;所述手势操控执行模块根据所述手势语言识别模块识别出的手势信息,查询其对应的汽车操作,通过CAN、LIN总线向车身电子控制***或者车载电器控制***发送控制信号,对相应的汽车部件进行控制,执行相应操作;
所述手势操控安全机制管理模块用于对所述手势语言库管理模块中的手势管理操作进行安全验证;
手势语言库管理模块对手势语言库中的手势语言进行管理操作时,需要手势操控安全机制管理模块来进行安全验证,只有安全验证通过后,才能对手势语言库进行管理操作,当通过安全认证后,想添加新的手势操作时,首先获取到录入的手势操作,并会对录入的手势操作进行分析识别,判断录入的手势语言是否与现有手势语言库模块中存储的手势语言有较高的重复相似度,如果准备添加的新手势语言与现有手势语言中某一个的相似度达到设定的阈值以上,则可以认为手势语言冲突重复,添加不成功,需要另外再输入,直到满足相似度冲突检测的要求才行,通过相似度冲突检测后,再选择当前可选且没有被其他手势语言使用的汽车中控台操控功能,最后将新手势和其对应操控功能添加到手势语言库模块中。
2.一种支持盲操作的汽车虚拟中控台手势操控方法,其特征在于,包括如下步骤
31)中控台触摸屏检测获取手势信息;
32)手势分析处理模块用于对所述中控台触摸屏检测到的手势进行分析处理,获得完整手势语言后则调用手势语言识别模块;
33)所述手势语言识别模块对获得的手势信息进行分析识别,判断其手势路径和手势语言库模块中手势语言的匹配相似度,如果达到一定阈值,则认为是语言库模块中的手势;手势操控执行模块根据所述手势语言识别模块识别出的手势信息,查询其对应的汽车操作,通过CAN、LIN总线向车身电子控制***或者车载电器控制***发送控制信号,对相应的汽车部件进行控制,执行相应操作;
所述手势语言库模块存储了经过定义的手势语言及与手势语言一一对应的汽车中控台操控功能;
34)手势语言库管理模块用于管理手势语言库模块中的手势语言,在经过手势操控安全机制管理模块安全验证后,可对所述手势语言库管理模块中的手势管理操作;手势分析处理模块的手势分析处理方法包括如下步骤:
41)中控台触摸屏检测到手触摸,等待手势输入完毕,获取完整的手势信息;
42)调用手势语言识别模块;
43)手势分析处理模块判断检测到的手势操作是否为常规触摸屏操作;
44)若是常规触摸屏操作,则调用常规手势处理模块,根据当前所在具体窗口,对其执行相应常规手势操作;
45)若不是常规触摸屏操作,则手势语言识别模块判断是否为手势语言库模块中手势语言?
46)若不是手势语言库模块中手势语言,则不执行任何操控指令;
47)若是手势语言库模块中手势语言,则调用手势操控执行模块,执行手势语言库模块中定义的手势语言对应的功能操作。
3.根据权利要求2所述的一种支持盲操作的汽车虚拟中控台手势操控方法,其特征在于,在所述步骤41)中该中控台触摸屏在检测到有手触摸时,根据输入定时器设置的等待时间,等待完整手势输入完成。
4.根据权利要求3所述的一种支持盲操作的汽车虚拟中控台手势操控方法,其特征在于,在步骤43)中手势分析处理模块将常规触摸屏手势操作和定义的手势语言库手势操作区别对待,对于常规触摸屏手势操作是对中控台触摸屏当前显示的图形窗口进行的操作,常规触摸屏手势是窗口相关性的手势操作,对于手势语言库模块中的手势语言操作是与当前所在窗口界面无关的,在任何窗口使用这些手势语言都可以执行相应汽车操控命令。
5.根据权利要求3所述的一种支持盲操作的汽车虚拟中控台手势操控方法,其特征在于,对于从中控台触摸屏检测到有手势触控,到对检测到的手势调用手势语言识别模块的处理方法包括如下步骤:
71)当中控台触摸屏检测到手指触摸时,中控台触摸屏检测部件以中断形式向手势分析处理模块发送中断信号;
72)手势分析处理模块接收到中断信号后,调用相应的中断处理函数;
73)启动手势操控语言输入定时器;
74)当定时器时间到,则获取当前中控台触摸屏的所有手势信息;
75)对当前中控台触摸屏的所有手势信息进行分析处理;
76)对每个手势信息分别调用手势语言识别模块,对其进行识别后,执行相应操作。
CN201210312798.4A 2012-08-30 2012-08-30 一种支持盲操作的汽车虚拟中控台手势操控方法及装置 Expired - Fee Related CN102866803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210312798.4A CN102866803B (zh) 2012-08-30 2012-08-30 一种支持盲操作的汽车虚拟中控台手势操控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210312798.4A CN102866803B (zh) 2012-08-30 2012-08-30 一种支持盲操作的汽车虚拟中控台手势操控方法及装置

Publications (2)

Publication Number Publication Date
CN102866803A CN102866803A (zh) 2013-01-09
CN102866803B true CN102866803B (zh) 2016-02-17

Family

ID=47445700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210312798.4A Expired - Fee Related CN102866803B (zh) 2012-08-30 2012-08-30 一种支持盲操作的汽车虚拟中控台手势操控方法及装置

Country Status (1)

Country Link
CN (1) CN102866803B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI511029B (zh) 2014-01-28 2015-12-01 Acer Inc 觸控顯示裝置及其操作方法
CN104932808B (zh) * 2014-03-21 2018-09-11 宏碁股份有限公司 触控显示装置及其操作方法
CN104657075A (zh) * 2015-01-29 2015-05-27 刘波 一种汽车电器手势控制装置及方法
TW201636233A (zh) 2015-04-14 2016-10-16 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
CN105117147A (zh) * 2015-07-24 2015-12-02 上海修源网络科技有限公司 一种基于手势操控车载操作***的方法、装置及车载设备
WO2017035792A1 (zh) * 2015-09-01 2017-03-09 深圳好视网络科技有限公司 一种根据手势换台的方法以及遥控器
CN106527674A (zh) * 2015-09-14 2017-03-22 上海羽视澄蓝信息科技有限公司 一种车载单目摄像机人机交互方法、设备及***
CN105760096A (zh) * 2016-01-04 2016-07-13 钟林 一种支持盲操作的汽车中控台方位手势操控方法及装置
WO2017124451A1 (zh) * 2016-01-23 2017-07-27 曹晟 根据手势调用车载***指令的方法以及操作装置
WO2017124454A1 (zh) * 2016-01-23 2017-07-27 曹晟 根据手势调用***指令的方法以及操作装置
DE102016119846A1 (de) * 2016-10-18 2018-04-19 Preh Gmbh Mensch-Maschine-Schnittstelle aufweisend ein Lenkrad und einen daran befestigten Fingerabdrucksensor
CN106891724B (zh) * 2017-01-22 2022-05-03 斑马信息科技有限公司 汽车主控屏***及方法
CN106598349A (zh) * 2017-02-28 2017-04-26 上海蔚来汽车有限公司 一种车载触摸显示装置及其控制方法
CN109669529A (zh) * 2017-10-16 2019-04-23 上汽通用汽车有限公司 车载人机交互***
CN109410691A (zh) * 2018-12-17 2019-03-01 深圳市中智仿真科技有限公司 一种手势控制功能的汽车驾培模拟机
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111045590B (zh) * 2019-12-04 2021-06-04 广州小鹏汽车科技有限公司 一种车载模拟按键的方法、***、存储介质及车辆
US11107355B2 (en) 2019-12-05 2021-08-31 Toyota Motor North America, Inc. Transport dangerous driving reporting
US10832699B1 (en) 2019-12-05 2020-11-10 Toyota Motor North America, Inc. Impact media sharing
US11308800B2 (en) 2019-12-05 2022-04-19 Toyota Motor North America, Inc. Transport impact reporting based on sound levels
CN111309153B (zh) * 2020-03-25 2024-04-09 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN112363665B (zh) * 2020-10-30 2022-05-27 东风汽车有限公司 一种汽车触控屏控制方法、电子设备及存储介质
CN113548061B (zh) * 2021-06-25 2023-04-18 北京百度网讯科技有限公司 人机交互方法、装置、电子设备以及存储介质
CN114697448A (zh) * 2022-03-29 2022-07-01 南京点明软件科技有限公司 应用于盲人操作的手机输入法
CN114458123B (zh) * 2022-04-12 2022-06-14 国汽智控(北京)科技有限公司 车窗控制方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200619982A (en) * 2004-08-31 2006-06-16 Ibm Touch gesture based interface for motor vehicle
CN101546233A (zh) * 2009-05-05 2009-09-30 上海华勤通讯技术有限公司 触摸屏界面手势识别操作方法
JP2009298285A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置
JP2009301300A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置
CN101854496A (zh) * 2010-04-28 2010-10-06 青岛海信电器股份有限公司 电视机控制方法、遥控器及电视机
CN102520876A (zh) * 2012-01-04 2012-06-27 北京飞漫软件技术有限公司 一种触屏智能设备的操作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200619982A (en) * 2004-08-31 2006-06-16 Ibm Touch gesture based interface for motor vehicle
JP2009298285A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置
JP2009301300A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置
CN101546233A (zh) * 2009-05-05 2009-09-30 上海华勤通讯技术有限公司 触摸屏界面手势识别操作方法
CN101854496A (zh) * 2010-04-28 2010-10-06 青岛海信电器股份有限公司 电视机控制方法、遥控器及电视机
CN102520876A (zh) * 2012-01-04 2012-06-27 北京飞漫软件技术有限公司 一种触屏智能设备的操作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control

Also Published As

Publication number Publication date
CN102866803A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102866803B (zh) 一种支持盲操作的汽车虚拟中控台手势操控方法及装置
CN103353828B (zh) 一种在触摸屏上切换书写与擦除功能的方法及装置
US8519960B2 (en) Method and apparatus for switching of KVM switch ports using gestures on a touch panel
CN102722334B (zh) 触摸屏幕的控制方法及装置
CN102902471B (zh) 一种输入界面的切换方法以及装置
CN103186339B (zh) 一种输入方法以及设置有虚拟键盘的电子设备
US10146432B2 (en) Method for operating an operator control device of a motor vehicle in different operator control modes, operator control device and motor vehicle
CN109542283B (zh) 一种手势触控的多屏操作方法
JP2007072578A (ja) 入力装置
CN104859561B (zh) 用于汽车上的车机信息处理方法及装置
US9361022B2 (en) Character input apparatus
CN104657075A (zh) 一种汽车电器手势控制装置及方法
CN114690889A (zh) 一种虚拟键盘的处理方法以及相关设备
CN103051695B (zh) 一种利用手机对车载应用软件进行信息输入的方法及***
EP4137380A1 (en) Human-computer interaction method and apparatus, and electronic device and storage medium
CN104281318A (zh) 减少软键盘按压的显示延迟的方法和装置
CN114764304A (zh) 一种屏幕显示方法
CN106227438B (zh) 终端操控方法和装置
CN102841752B (zh) 一种人机交互设备的字符输入方法和装置
CN104020989A (zh) 基于远程应用的控制方法和***
CN109669529A (zh) 车载人机交互***
CN107407976B (zh) 操作设备、机动车和用于运行操作设备的方法
CN106293431A (zh) 手写输入识别方法、***与电子装置
EP2187300A1 (en) Procedure and system of operator interaction with tactile surface computers
JP3747022B2 (ja) 触覚による入力フィールドを用いる制御システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217