CN108762477A - 手势检测装置及其运行方法 - Google Patents

手势检测装置及其运行方法 Download PDF

Info

Publication number
CN108762477A
CN108762477A CN201810275976.8A CN201810275976A CN108762477A CN 108762477 A CN108762477 A CN 108762477A CN 201810275976 A CN201810275976 A CN 201810275976A CN 108762477 A CN108762477 A CN 108762477A
Authority
CN
China
Prior art keywords
signal
hand
unit
module
detecting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810275976.8A
Other languages
English (en)
Inventor
郑晓鹏
郝飞
刘旺
王英辉
吴国彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Network Technology Co Ltd
Original Assignee
Zebra Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Network Technology Co Ltd filed Critical Zebra Network Technology Co Ltd
Publication of CN108762477A publication Critical patent/CN108762477A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一手势检测装置及其运行方法,该手势检测装置被串联于一车辆的一操作***,包括至少一信号感应单元,以供完成对至少一操作者的检测和识别;至少一信号处理单元,其中该信号处理单元与该信号感应单元通信地连接;至少一信号匹配单元,其中该信号匹配单元与该信号感应单元通信地连接,使得该信号匹配单元能够匹配该信号处理单元的该手势信号并生成一操作信号;以及至少一信号反馈单元,其中该信号反馈单元通信地连接该信号匹配单元和该操作***,使得该操作信号被反馈到该操作***并通过该操作***被执行。

Description

手势检测装置及其运行方法
技术领域
本发明涉及一检测装置及其方法,尤其涉及一种应用于车辆的手势检测装置及其运行方法。
背景技术
在汽车驾驶过程中,驾驶者主要的精力集中在驾驶过程中,包括注视前方道路车辆行人情况、侧边车辆行人情况和后方道路车辆行人情况等。在开始驾驶前,驾驶者想要一些娱乐设施,包括设置车辆中控大屏的***设置、通过蓝牙技术与自己的手机相连接,通过手机或者车辆本身***播放音乐等音频文件,或者设置路线导航***等,设置好后,驾驶者开始上路驾驶车辆。
在驾驶过程中,假如手机接入车辆***后,途中接收到一个电话时,一般地,如果驾驶者佩戴了蓝牙耳机等设备,可以使用该设备进行接听,不过耳机不是每次都会记得佩戴上,出现这种情况,驾驶者如果想要接听电话,就需要点击手机或者中控大屏的一指定位置,然后接听。这个过程中,驾驶者必须要点击到该指定位置,然而在行驶过程中,驾驶者的注意力集中在行车的路线上,一旦分心去处理点击一个指定位置,容易引发交通事故。
此外,车辆控制***,不仅包括中控大屏,还有很多实体按键,例如空调的按键,用以调整风的风量和朝向,以及音量的按键,用以调整播放的声音大小,例如,车辆的升降窗等,其按键处于车辆的车门位置,如果需要操作升降窗的开启或者关闭,上述这些实体按键需要驾驶者或者乘坐者去操作。
实际上,其中一种解决的方案,是将很多按键集成到方向盘上,作为多功能方向盘,但是这么做,减少了驾驶者对于方向盘纯粹的操作乐趣,并且在集成在方向盘上,实际上很多按键在本身就不是很大的方向盘上就是会有些累赘,使用者还是需要分心去操作,并且方向盘本身的面积不是很大,显得比较拥挤。
有一点需要注意的是,实体按键还是有很多的优势,很多驾驶者习惯于操作实体按键,保留实体按键还是很有必要,然而实体按键的操作,必须要直接触,并且按压或者旋转,相对来说,较为麻烦。
现有的车载***上,其中实体按键被设置在一车内控制回路中,其中电源为车内电瓶,电路为车内关于控制车载***的线路,另外所述实体按键控制了回路的开闭以及控制电流大小。
为解决上述问题,现有技术的一种是通过一语音识别***,将该语音***和一车辆控制***相结合,识别用户的声音,进而操作其中的车载***,然而这个过程中,由于车辆行驶过程不是一个安静的状态,各种外界嘈杂的声音会导致其中的语音***被有些干扰因素所影响,以降低***控制的精度,并且驾驶者本身的声音语调的也会发生变化,同样会影响其中的问题。
发明内容
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置用于检测使用者的手势,进而使得便利地操作车辆。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置被设置在一车辆内部,能够调整该手势操作的识别区域。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置能够进一步地保持该手势操作的识别效率。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置通过一控制平台被控制,使得该手势操作实现智能识别和操作。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置被设置在同一车辆中,实现在同一车辆中完成对于操作者的手势识别。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置被设置在多车辆中,实现在多车辆同时完成对于不同操作者的不同手势的识别或者同一手势的识别。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置能够实现对于周围环境的干扰的排除。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一***自带数据库,该***自带数据库包括多组对应于不同操作的***自带手势信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一自定义数据库,该自定义数据库包括一采集模块和一更新模块,其中该采集模块用以采集操作者的自定义手势,进而通过该更新模块对应更新原有的***自带手势信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一信号感应单元,其中该信号感应单元能够发出一检测信号,并且能够接收在该检测信号检测到手势之后反射的一反射信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一信号处理单元,其中该信号处理单元能够处理该反射信号并形成一手势信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一摄像模组单元,其中该摄像模组单元能够识别并拍下操作者的手势动作的图像信号,并且将该图像信号存储。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一信号处理单元,其中该信号处理单元能够处理该图像信号并形成一手势信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置提供一信号匹配单元,其中该信号匹配单元匹配该手势信号,并且判断若匹配成功,则生成一操作信号。
本发明的一个目的在于提供一手势检测装置及其运行方法,其中该手势检测装置与一车辆操作***通信地连接,该车辆操作***执行该手势检测装置的该操作信号。
依据本发明的一个方面,本发明提供了一手势检测装置,所述手势检测装置被串联于一车辆的一操作***,包括:
至少一信号感应单元,其中所述信号感应单元被设置在所述车辆内部,以供完成对至少一操作者的检测和识别;
至少一信号处理单元,其中所述信号处理单元与所述信号感应单元通信地连接,使得所述信号处理单元能够处理所述信号感应单元的至少一感应信号并生成至少一手势信号;
至少一信号匹配单元,其中所述信号匹配单元与所述信号感应单元通信地连接,使得所述信号匹配单元能够匹配所述信号处理单元的所述手势信号并生成一操作信号;以及
至少一信号反馈单元,其中所述信号反馈单元通信地连接所述信号匹配单元和所述操作***,使得所述操作信号被反馈到所述操作***并通过所述操作***被执行。
根据本发明的一个实施例,其中所述信号感应单元为一微波感应单元,所述微波感应单元具有至少一微波发射端和至少一微波接收端,其中所述微波发射端发送一微波信号,所述微波信号经过一操作者而反射形成一反射信号,其中所述微波接收端接收所述反射信号。
根据本发明的一个实施例,其中所述微波感应单元形成一识别区域,所述识别区域被设置在所述车辆内部,在所述识别区域内,所述微波信号和所述反射信号均能够被有效地发送和接收。
根据本发明的一个实施例,其中所述信号感应单元为一摄像模组单元,所述摄像模组单元具有至少一拍摄模块和至少一存储模块,其中所述拍摄模块能够拍摄并生成一图形信号,所述拍摄模块和所述存储模块通信地连接,使得所述图形信号被储存到所述存储模块中。
根据本发明的一个实施例,其中所述摄像模组单元形成一摄像区域,所述摄像区域被设置在所述车辆内部,在所述摄像区域内,所述图像信号能够有效地被生成和存储。
根据本发明的一个实施例,其中所述信号处理单元包括一信号判断模块,所述信号判断模块与所述信号感应单元通信地连接,所述信号判断模块判断所述信号感应单元的所述感应信号是否属于相应的操作者,
根据本发明的一个实施例,其中所述信号处理单元还包括一信号转换模块,所述信号转换模块与所述信号判断模块通信地连接,使得所述信号转换模块转换判断后的所述感应信号。
根据本发明的一个实施例,其中所述信号处理单元还包括一信号计算模块,所述信号计算模块与所述信号转换模块通信地连接,所述信号计算模块计算判断后的所述感应信号。
根据本发明的一个实施例,其中所述信号处理单元还具有一信号定位模块,所述信号定位模块与所述信号转换模块通信地连接所述信号定位模块定位了所述信号感应单元的所述感应信号。
根据本发明的一个实施例,其中所述信号处理单元还具有一信号追踪模块,所述信号定位模块与所述信号转换模块通信地连接所述信号追踪模块追踪了所述信号感应单元的所述感应信号。根据上述所述信号处理单元,所述感应信号被处理并生成一手势信号。
根据本发明的一个实施例,其中所述信号匹配单元匹配所述信号处理单元的所述手势信号,所述信号匹配单元包括:
一数据库,所述数据库储存了多个匹配手势信号;以及
一匹配模块,所述匹配模块与所述数据库通信地连接,所述匹配模块提取所述信号处理单元的所述手势信号,所述匹配模块提取所述数据库的多个所述匹配手势信号,并且匹配所述手势信号和多个所述匹配手势信号,进而生成独一的一操作信号。
根据本发明的一个实施例,其中所述数据库为一自带数据库,所述自带数据库存储多个匹配手势信号。
根据本发明的一个实施例,其中所述数据库为一自定义数据库,所述自定义数据库包括一数据收集端和一数据自定义端,所述数据收集收集端通信地连接所述数据自定义端。
根据本发明的一个实施例,其中所述数据收集端收集操作者的手势动作信号,所述数据自定义端处理所述手势动作信号生成对应的一匹配手势信号,进而形成所述自定义数据库。
依据本发明的另一方面,本发明进一步地提供了一手势检测装置的运行方法,包括:
a、发出一感应信号,感应和检测一操作者的手势;
b、处理所述感应信号并生成一手势信号;
c、匹配所述手势信号并生成一操作信号;以及
d、反馈所述操作信号至一操作***,使得所述操作***执行所述操作信号。
根据上述的手势检测装置的运行方法,其中步骤a为一步骤a1,
a1、发出一微波信号,经过在一识别区域中的所述操作者反射形成一反射信号。
根据上述的手势检测装置的运行方法,其中步骤a为一步骤a2,
a2、发出一图形信号,拍摄位于一拍摄区域中的所述操作者并储存在一存储模块。
根据上述的手势检测装置的运行方法,其中步骤b进一步地包括:
b1、判断所述感应信号是否属于所述操作者;
b2、若是,则进入下一步骤;若不是,则返回上述步骤a;以及
b3、转换、计算、定位和追踪所述感应信号并生成对应的一手势信号。
根据上述的手势检测装置的运行方法,其中步骤c进一步地包括:
c1、提取一数据库中的至少一匹配手势信号;
c2、提取所述信号处理单元所生成的一手势信号;以及
c3、匹配所述手势信号和至少一匹配手势信号,并且得到一相应的操作信号。
根据上述的手势检测装置的运行方法,其中步骤c1进一步地包括:
c11、选择一自带数据库和一自定义数据库的任一数据库。
附图说明
图1为该手势检测装置的示意图。
图2为该信号感应单元的一个实施例的示意图。
图3为该信号感应单元的另一个实施例的示意图。
图4为该手势特征的示意图。
图5为该信号处理单元的具体示意图。
图6为该信号处理单元的具体示意图。
图7为该信号匹配单元的示意图。
图8为该手势检测装置的运行方法的示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
如图1所示,本发明提供一手势检测装置10,其中该手势检测装置10包括一信号感应单元11、一信号处理单元12、一信号匹配单元13和一信号反馈单元14,其中该信号感应单元11用以生成一探测信号A,使得该探测信号完成对于一操作者的手势识别。
具体地,在一个实施例中,该信号感应单元11被实施为一微波感应单元111,其中该微波感应单元111发出一微波信号A1,用以探测操作者的手势动作。该手势检测装置被设置在该车辆操作***中,并且通过该车辆操作***的一执行***来执行该手势检测装置的操作。其中该执行***包括中控台屏幕、车窗、空调等,该手势检测装置10一方面能够代替使用者手动操作所述执行***,另一方面,其中该手势检测装置10不影响手动的操作。具体地,在另一个实施例中,该信号感应单元11被实施为一摄像模组单元112,其中该摄像模组单元112在一预定区域内,针对操作者的手部拍摄,使得操作者的手部特征通过图像收集,并且匹配原有的手势特征,进而生成一手势信号B,进而通过该车辆操作***的一执行***来执行该手势检测装置的该手势信号B。
总之,该手势检测装置10倍被并联地设置在一车辆中的一控制***的电路中,也就是说,操作者可以通过使用该手势检测装置10来操作车辆,也可以直接通过手动的模式操作车辆。
如图2所示,在本发明的第一实施例中,该微波感应单元111发出一微波信号A1,其中该微波感应单元111所发出的所述微波信号A1形成一识别区域1110,在所述识别区域内1110,该微波信号A1能够较佳地识别至少一操作者。
具体地,本发明所称的该识别区域1110,是指该微波感应单元111所发出的该微波信号A1经过操作者反射形成的一反射信号A2能够被该微波感应单元111所接收的边界所围的区域。
值得一提的是,该微波信号A1经过一操作者的手部而反射,其与该反射信号A2的频率发生变化,并且该反射信号A2被该微波感应单元111所接收,同时在该识别区域1110内,该微波信号A1和该反射信号A2能够有效地被发出和被接收。
该微波感应单元111包括一微波发射端1111和一微波接收端1112,其中该微波感应单元111的该微波发射端1111发出该微波信号A1并覆盖在该识别区域1110,当操作者进入该识别区域1110内,该微波信号A1接触到操作者的身体后经过反射并形成该反射信号A2。
在本实施例中,该微波信号A1和该反射信号A2对应的是的操作者的手部特征,并且,该微波感应单元111还包括一区域转换模块1113,该区域转换模块1113可控制地连接该微波发射端1111和该微波接收端1112,该区域转换模块1113控制该微波发射端1111发射该微波信号A1的角度,进而改变该识别区域1110的位置。
优选地,该识别区域1110的位置在该车辆的主驾驶位,该识别区域1110的位置通过该区域转换模块1113被转换到该车辆的副驾驶位,或者是后乘坐位。
进一步地,该微波发射端1111和该微波接收端1112被设置在该车辆的中控台及其周边。
如图3所示,在本发明另一个实施例中,该摄像模组单元112形成一拍摄区域1120,该摄像模组单元112包括至少一拍摄模块1121和至少一存储模块1122,其中该拍摄模块1121在所述拍摄区域1120内,至少拍摄并得到一图像信号A3,该拍摄模块1121和该存储模块1122通信地连接,该图像信号A3被发送和被存储到该存储模块1122。
具体地,本实施例所称的该拍摄区域1120,是指该拍摄模块1121所拍摄的拍摄。
在该拍摄区域1120内,该拍摄模块1121对操作者进行拍摄并得到至少一图像信号A3,进而将该图像信号A3存储到该存储模块1122。
优选地,该拍摄模块1121拍摄操作者的手部特征,并且将拍摄到的手部特征转换成该图像信号A3,进而存储到该存储模块1122。
在本实施例中,该摄像模组单元112进一步地包括一区域转换模块1123,该区域转换模块1123可控制地连接该拍摄模块1121,其中该区域转换模块1123控制该拍摄模块1121改变其拍摄角度,进而改变和转换该拍摄区域1120。
优选地,该拍摄区域1120被设置在该车辆的主驾驶位,通过该区域转换模块1123可以转换到该车辆的副驾驶位。
进一步地,通过将该存储模块1122中的该图像信号A3与一预定的图像信号进行对比,进而生成一手势信号B。
具体地,该拍摄模块1121对应操作者的手部特征进行提取其特征并生成至少一图像信号A3,进行对操作者的手势特征的检测和提取。
如图4所示,本发明所称的手势特征包括操作者的手部的静态特征、动态特征以及手指或手掌特征。
具体地,一个指定的手势也就是所述手部特征,其对应一个指定的所述***自带手势信号对应,一个指定的所述***自带手势信号对应一指定的信号操作。
例如,一种手势可以是单点或多点手势;静态或动态手势;连续或者分段的手势,其中所述单点手势是由单根手指执行的操作,包括敲击、滑动或话特定形状如圆圈、长方形等;所述多点手势是由多根手指执行的操作,例如,也可以是由至少一根手指和一指示物,如戒指、指示笔等。
所述静态手势是在一定的时间段内保持静态的手势操作,例如暂停的手势操作;所述动态手势为在一定的时间段内保持运动并且完成一特定动作的手势操作,例如旋转、直线或曲线运动,形成指定形状如握拳、击掌等。
所述连续手势是在一定的时间段内保持连续运动的手势操作,例如画圈等;所述分段手势是在一定的时间段内保持断续运动的手势操作,例如写字等。
需要理解的是,上述对于手势的说明仅为方便描述,不作为本发明的限制,也不作为穷举的方法列举,本领域技术人员也应该理解,其他能够完成上述操作的方式也可以作为本发明的实施方式。
举例地,下表是的列举其中一部分的是所述手势操作对应车辆的实际操作。
表1
根据上述表1中,所述车辆实际操作对应的所述***自带手势信号,进一步地,操作者30的一操作手势经过所述所述信号感应装置11和所述信号接收装置的所述手势信号。上述表1仅为举例说明,可以理解的是,本发明可以根据不同的情况修改相应的映射关系。
所述手势信号匹配所述***自带手势信号,也就是说,所述***自带手势信号对应每一个指定的实际动作,例如其中在所述操作者30处于车内主驾驶舱,开始上路后,所述操作者30也就是驾驶员,在驾驶过程中,操作者30的双手操作方向盘,一般地,操作者30在轻松的驾驶路况中,其可以在一段安全时间内,单手操作方向盘,期间所述操作者30可以腾出手来操作所述车载应用***10。
如图5所示,本发明的该信号处理单元12被阐明,其中该信号处理单元12包括一信号判断模块121,其中在第一实施例中,其中所述信号判断模块121用以判断所述微波接收端1112所接收的该反射信号A2是否属于操作者,以及在第二实施例中,该信号判断模块121用以判断该拍摄模块所拍摄的该图像信号是否属于操作者。
进一步地,该信号判断模块121具有一初始特征采集端1211,其中该初始特征采集端1211采集操作者的至少一手部特征并生成一初始感应信号A0,其中该初始感应信号A0对应的该操作者的手部信息,该初始感应信号A0仅需核对该反射信号A2或者是该图像信号A3是否属于操作者。
并且,具体地,所述初始感应信号A0需要预先被提取,其提取方式在于在***第一次启动前,***提取了所述操作者30的所述手部特征以形成一初始感应信号A0,在其后的每次***启动后,所述初始感应信号A0默认为第一次启动时的初始感应信号A0。
上述是指默认的情况下,也就是说,操作者30后续不想修改该初始感应信号A0。然而在其中一个变体实施例中,所述信号判断模块121还具有一数据更新端1212,所述数据更新端1212在每次***被启动时同时也被启动,操作者30可以选择是否使用该数据更新端1212,若使用所述数据更新端1212,在操作者30上车确认启动该数据启动端1212的情况下,所述初始感应信号A0被重置,以启动所述车载应用***10重新提取当前操作者30的所述手部特征作为一初始感应信号A0,所述***将覆盖原先的所述初始感应信号A0。
进一步地,该信号判断模块121判断的该反射信号A2或者该图像信号A3若匹配正确该初始感应信号A0,即该反射信号A2或者该图形信号A3来自正确的操作者,可以进行下一步骤,否则,该反射信号A2或者该图形信号A3为非正确的信号来源,***重新返回。
如图6所示,该信号处理单元12进一步地提供一信号转换模块122,其中所述信号转换模块122接收并转换该微波信号A1、该反射信号A2或者该图形信号A3,其转换的模式在于转换原先的信号的其中至少一个指定特征,并且将该指定特征改变到另一个易于识别的指定特征。
举例地,其中所述信号转换模块122将转换该微波信号A1和所述反射信号A2并提取一指定特征。在本实施例中,该指定特征是指频率、时间等变量特征。在这里,所述该微波信号A1和所述反射信号A2包含多种变量特征,其中所述信号转换模块122把二维的时序信号各自做FFT转换,减去静止不变的背景环境,就可以获得所需的该指定特征显示在一多普勒地图-Range Doppler Map(RDM),所述该微波信号A1和所述反射信号A2在所述多普勒地图中显示的指定特征包括频率、时间等。
通过所述信号转换模块122所转换并得到的所述特征,进一步地需要计算,所述信号处理单元12还具有一信号计算模块123,其中所述信号计算模块123分析该微波信号A1和所述反射信号A2的所述指定特征,并计算其频率差、时间差等。
具体地,在信号获取的过程中,操作者处于车辆内部,同时车辆处于行驶状态,其车身属于不稳定的状态,进而传导到操作者。因此,在车内环境中,操作者30的手部位置一般是不稳定的,也就是说。所述手部特征是不稳定,进而增大了提取信号的难度。因此,所述信号处理单元12还包括一信号定位模块124,其中所述信号定位模块124定位一目标信号AA,从多个信号中定位所述目标信号AA,防止信号被干扰。
本实施例中的该目标信号AA,一般地优选地为该信号感应单元11所生成的该微波信号A1、该反射信号A2和该图形信号A3。
进一步地,所述信号处理单元12提供一信号追踪模块125,其中所述定位模块124定位所述目标信号AA后,所述信号追踪模块125追踪所述雷达波信号的移动,所述信号定位模块124和所述信号追踪模块125相互配合使用,其定位和追踪均在所述多普勒地图中,因此,其特征均在所述多普勒地图中被提取和处理。
进一步地,结合所述信号定位模块124和所述信号处理模块125的数据,所述信号处理单元10处理该微波信号A1、该反射信号A2或者该图形信号A3,进而形成至少一手势信号B。
通过比较每个所述信号感应装置11之间RDM的相位差,我们可以计算出每个物体的到达角度(Angle of Arrival),配合上之前算出的频率和时间,这样就实现了对手势的空间定位,进行校准之后,则可以获得三维深度图。
在完成上述过程后,所述操作者30所操作的手势被识别和被转换成一手势信号,接下来的操作是将所述手势信号B做比对,去匹配对应的车内操作。
总之,该信号感应单元11所生成的信号经过该信号处理单元12的处理并生成至少一手势信号B。
如图7所示,该手势检测装置10的该信号处理单元12所生成的该手势信号B,经过该信号匹配单元13的匹配进而生成一操作信号C。
根据上表1所示,本发明的每一个手势均对应车辆的一个操作,也就是说,每一个手势均可对应地形成一手势信号B,并且该手势信号B对应单独地一项车辆操作。
该信号匹配单元13包括一数据库131,该数据库131具有多个匹配手势信号B2,该匹配手势信号B2对应多个车辆操作。在一个实施例中,该数据库131是指一自带数据库1311,该自带数据库1311中的该匹配手势信号B2是装置本身自带的。
该信号匹配单元13还包括一信号匹配模块132,其中该信号匹配模块132提取从该信号处理单元12生成的该手势信号B,同时提取该自带数据库1311的该匹配手势信号B2,将该手势信号B和该匹配手势信号B2进行匹配。上述匹配过程中,该手势信号B匹配到其中一个匹配手势信号B2,进而生成一对应的操作信号C。
在另一个实施例中,该数据库131是指一自定义数据库1312,该自定义数据库1312包括一数据收集端13121和一数据自定义端13122,其中该数据收集端13121收集对应的至少一操作者的自定义手势信号B3,进而通过该数据自定义端13122的操作,使得该自定义手势信号B3对应一单独的操作信号。
本实施例所称的该自定义手势信号B3,是指操作者通过该自定义数据库1312所生成的手势信号,其与该匹配手势信号B2的区别在于,该自定义手势信号B3根据操作者的习惯和想法来实行。
该信号匹配单元13还包括一信号匹配模块132,其中该信号匹配模块132提取从该信号处理单元12生成的该手势信号B,同时提取该自定义数据库1312的该自定义手势信号B3,将该手势信号B和该自定义手势信号B3进行匹配。上述匹配过程中,该手势信号B匹配到其中一个自定义手势信号B3,进而生成一对应的操作信号C。
在另一个实施例中,该数据库131包括一自带数据库1311和一自定义数据库1312,并且在操作开始前,操作者能够选择是否使用该自带数据库1311或者该自定义数据库1312。
该手势检测装置10的该信号反馈单元14被阐明,其中该车辆包括一操作***,该操作***具有一手动操作装置和一手势检测装置10,其中该手势检测装置10通信地连接该手动操作装置。需要注意的是,该手动操作装置能够控制该操作***,该手势检测装置10的该操作信号C通过该手动操作装置执行,完成相应的一个在手动操作状态下的操作。
本实施例中所称的手动操作,是指操作者通过手部直接接触该手动操作装置,进而完成对应的操作,此时该手动操作装置通过手动操作被触发并形成一手动操作信号C0,并且该手动操作信号C0对应独一的车辆操作。在该手势检测装置被启动的情况下,该手势检测装置10所生成的该操作信号C通过该信号反馈单元14被反馈到车辆的该操作***的原有电路中,以替换手动操作状态下的该手动操作信号C0,并且该操作信号C对应独一的车辆操作。
如图8所示,根据上述多个实施例的描述,本发明提供一手势检测装置的运行方法,其步骤包括:
a、发出一感应信号,感应和检测一操作者的手势;
b、处理该感应信号并生成一手势信号;
c、匹配该手势信号并生成一操作信号;以及
d、反馈该操作信号至一操作***,使得该操作***执行该操作信号。
具体地,上述步骤a中的该感应信号通过该信号感应单元发出;上述步骤b的该手势信号通过该信号处理单元生成;上述步骤c的该操作信号通过该操作信号生成。
根据上述运行方法的一个实施例,其中步骤a进一步地包括:a1、发出一微波信号,经过在一识别区域中的该操作者反射形成一反射信号。具体地,在步骤a1的该微波信号和该反射信号通过该微波感应单元所发出。
根据上述运行方法的另一个实施例,其中步骤a进一步地包括:a2、发出一图形信号,拍摄在一拍摄区域中的该操作者并储存在一存储模块。具体地,在步骤a2的该图形信号通过该摄像模组单元的一拍摄模块所发出。
根据上述运行方法,其中步骤b进一步地包括:
b1、判断该感应信号是否属于该操作者;
b2、若是,则进入下一步骤;若不是,则返回上述步骤a;以及
b3、转换、计算、定位和追踪该感应信号并生成对应的一手势信号。
根据上述运行方法,其中步骤c进一步地包括:
c1、提取一数据库中的至少一匹配手势信号;
c2、提取该信号处理单元所生成的一手势信号;以及
c3、匹配该手势信号和至少一匹配手势信号,并且得到一相应的操作信号。
根据上述运行方法,其中步骤c1进一步地包括:
c11、选择一自带数据库和一自定义数据库的任一数据库。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。

Claims (20)

1.一手势检测装置,所述手势检测装置被串联于一车辆的一操作***,其特征在于,包括:
至少一信号感应单元,其中所述信号感应单元被设置在所述车辆内部,以供完成对至少一操作者的检测和识别;
至少一信号处理单元,其中所述信号处理单元与所述信号感应单元通信地连接,使得所述信号处理单元能够处理所述信号感应单元的至少一感应信号并生成至少一手势信号;
至少一信号匹配单元,其中所述信号匹配单元与所述信号感应单元通信地连接,使得所述信号匹配单元能够匹配所述信号处理单元的所述手势信号并生成一操作信号;以及
至少一信号反馈单元,其中所述信号反馈单元通信地连接所述信号匹配单元和所述操作***,使得所述操作信号被反馈到所述操作***并通过所述操作***被执行。
2.根据权利要求1所述的手势检测装置,其中所述信号感应单元为一微波感应单元,所述微波感应单元具有至少一微波发射端和至少一微波接收端,其中所述微波发射端发送一微波信号,所述微波信号经过一操作者而反射形成一反射信号,其中所述微波接收端接收所述反射信号。
3.根据权利要求2所述的手势检测装置,其中所述微波感应单元形成一识别区域,所述识别区域被设置在所述车辆内部,在所述识别区域内,所述微波信号和所述反射信号均能够被有效地发送和接收。
4.根据权利要求1所述的手势检测装置,其中所述信号感应单元为一摄像模组单元,所述摄像模组单元具有至少一拍摄模块和至少一存储模块,其中所述拍摄模块能够拍摄并生成一图形信号,所述拍摄模块和所述存储模块通信地连接,使得所述图形信号被储存到所述存储模块中。
5.根据权利要求4所述的手势检测装置,其中所述摄像模组单元形成一摄像区域,所述摄像区域被设置在所述车辆内部,在所述摄像区域内,所述图像信号能够有效地被生成和存储。
6.根据权利要求1-5任一所述的手势检测装置,其中所述信号处理单元包括一信号判断模块,所述信号判断模块与所述信号感应单元通信地连接,所述信号判断模块判断所述信号感应单元的所述感应信号是否属于相应的操作者。
7.根据权利要求6所述的手势检测装置,其中所述信号处理单元还包括一信号转换模块,所述信号转换模块与所述信号判断模块通信地连接,使得所述信号转换模块转换判断后的所述感应信号。
8.根据权利要求7所述的手势检测装置,其中所述信号处理单元还包括一信号计算模块,所述信号计算模块与所述信号转换模块通信地连接,所述信号计算模块计算判断后的所述感应信号。
9.根据权利要求8所述的手势检测装置,其中所述信号处理单元还具有一信号定位模块,所述信号定位模块与所述信号转换模块通信地连接所述信号定位模块定位了所述信号感应单元的所述感应信号。
10.根据权利要求9所述的手势检测装置,其中所述信号处理单元还具有一信号追踪模块,所述信号定位模块与所述信号转换模块通信地连接所述信号追踪模块追踪了所述信号感应单元的所述感应信号。根据上述所述信号处理单元,所述感应信号被处理并生成一手势信号。
11.根据权利要求10所述的手势检测装置,其中所述信号匹配单元匹配所述信号处理单元的所述手势信号,所述信号匹配单元包括:
一数据库,所述数据库储存了多个匹配手势信号;以及
一匹配模块,所述匹配模块与所述数据库通信地连接,所述匹配模块提取所述信号处理单元的所述手势信号,所述匹配模块提取所述数据库的多个所述匹配手势信号,并且匹配所述手势信号和多个所述匹配手势信号,进而生成独一的一操作信号。
12.根据权利要求11所述的手势检测装置,其中所述数据库为一自带数据库,所述自带数据库存储多个匹配手势信号。
13.根据权利要求11所述的手势检测装置,其中所述数据库为一自定义数据库,所述自定义数据库包括一数据收集端和一数据自定义端,所述数据收集收集端通信地连接所述数据自定义端。
14.根据权利要求13所述的手势检测装置,其中所述数据收集端收集操作者的手势动作信号,所述数据自定义端处理所述手势动作信号生成对应的一匹配手势信号,进而形成所述自定义数据库。
15.一手势检测装置的运行方法,其特征在于,包括:
a、发出一感应信号,感应和检测一操作者的手势;
b、处理所述感应信号并生成一手势信号;
c、匹配所述手势信号并生成一操作信号;以及
d、反馈所述操作信号至一操作***,使得所述操作***执行所述操作信号。
16.根据权利要求15所述的手势检测装置的运行方法,其中步骤a为一步骤a1,
a1、发出一微波信号,经过在一识别区域中的所述操作者反射形成一反射信号。
17.根据权利要求15所述的手势检测装置的运行方法,其中步骤a为一步骤a2,
a2、发出一图形信号,拍摄位于一拍摄区域中的所述操作者并储存在一存储模块。
18.根据权利要求15所述的手势检测装置的运行方法,其中步骤b进一步地包括:
b1、判断所述感应信号是否属于所述操作者;
b2、若是,则进入下一步骤;若不是,则返回上述步骤a;以及
b3、转换、计算、定位和追踪所述感应信号并生成对应的一手势信号。
19.根据权利要求15所述的手势检测装置的运行方法,其中步骤c进一步地包括:
c1、提取一数据库中的至少一匹配手势信号;
c2、提取所述信号处理单元所生成的一手势信号;以及
c3、匹配所述手势信号和至少一匹配手势信号,并且得到一相应的操作信号。
20.根据权利要求15所述的手势检测装置的运行方法,其中步骤c1进一步地包括:
c11、选择一自带数据库和一自定义数据库的任一数据库。
CN201810275976.8A 2017-03-31 2018-03-30 手势检测装置及其运行方法 Pending CN108762477A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017102202800 2017-03-31
CN201710220280.0A CN107102731A (zh) 2017-03-31 2017-03-31 用于车辆的手势控制方法及其***

Publications (1)

Publication Number Publication Date
CN108762477A true CN108762477A (zh) 2018-11-06

Family

ID=59675216

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201710220280.0A Pending CN107102731A (zh) 2017-03-31 2017-03-31 用于车辆的手势控制方法及其***
CN201810282200.9A Pending CN108762478A (zh) 2017-03-31 2018-03-30 手势识别装置以及识别区域的设置方法
CN201810275925.5A Active CN108681688B (zh) 2017-03-31 2018-03-30 手势识别组件及其识别方法
CN201810275976.8A Pending CN108762477A (zh) 2017-03-31 2018-03-30 手势检测装置及其运行方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201710220280.0A Pending CN107102731A (zh) 2017-03-31 2017-03-31 用于车辆的手势控制方法及其***
CN201810282200.9A Pending CN108762478A (zh) 2017-03-31 2018-03-30 手势识别装置以及识别区域的设置方法
CN201810275925.5A Active CN108681688B (zh) 2017-03-31 2018-03-30 手势识别组件及其识别方法

Country Status (1)

Country Link
CN (4) CN107102731A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096139A (zh) * 2019-03-09 2019-08-06 江苏北斗星通汽车电子有限公司 一种车载人机交互***
CN110781764A (zh) * 2019-09-30 2020-02-11 北京大学 智能微波手语识别方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551707A (zh) * 2018-03-14 2018-09-18 斑马网络技术有限公司 车辆夜间行驶方法及其车载中控***
CN109866760B (zh) * 2019-02-27 2021-09-07 湖北亿咖通科技有限公司 自动泊车的遥控方法、装置及可穿戴电子设备
CN110435561B (zh) * 2019-07-26 2021-05-18 中国第一汽车股份有限公司 一种车辆控制方法、***和车辆
CN110597390B (zh) * 2019-09-12 2022-05-20 Oppo广东移动通信有限公司 控制方法、电子装置和存储介质
CN111469859A (zh) * 2020-03-27 2020-07-31 一汽奔腾轿车有限公司 一种汽车手势交互***
CN111427454A (zh) * 2020-04-09 2020-07-17 上海汽车集团股份有限公司 一种手势控制***及方法
CN111645701B (zh) * 2020-04-30 2022-12-06 长城汽车股份有限公司 一种车辆控制方法、装置及***
CN113085870B (zh) * 2021-04-02 2024-02-06 淮南联合大学 一种基于毫米波雷达的手势识别***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314217A (zh) * 2011-09-29 2012-01-11 上海华勤通讯技术有限公司 移动终端及移动终端挥控方法
CN202306440U (zh) * 2010-12-17 2012-07-04 上海博泰悦臻电子设备制造有限公司 利用手势操作的电子设备及车载设备
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
CN205405428U (zh) * 2016-03-09 2016-07-27 武汉万集信息技术有限公司 一种具有手势识别功能的etc车载电子标签发行装置
CN106502570A (zh) * 2016-10-25 2017-03-15 科世达(上海)管理有限公司 一种手势识别的方法、装置及车载***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094194A (zh) * 2011-12-09 2014-10-08 诺基亚公司 用于基于多个传感器信号的融合识别手势的方法和设备
JP2013196047A (ja) * 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
CN102768803B (zh) * 2012-07-31 2014-10-22 株洲南车时代电气股份有限公司 基于雷达与视频检测的车辆智能监测记录***及其方法
CN102963322B (zh) * 2012-09-22 2015-04-22 仲玥 汽车行驶环境探测装置及其工作过程
KR101484202B1 (ko) * 2013-03-29 2015-01-21 현대자동차 주식회사 제스쳐 인식 시스템을 갖는 차량
CN103303224B (zh) * 2013-06-18 2015-04-15 桂林电子科技大学 车载设备手势控制***及其使用方法
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
JP3194297U (ja) * 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US9470033B1 (en) * 2015-06-09 2016-10-18 Ford Global Technologies, Llc System and method for controlling vehicle access component
KR101728334B1 (ko) * 2015-07-02 2017-04-20 현대자동차주식회사 차량용 입력장치 및 이를 포함하는 차량
CN106355061A (zh) * 2015-07-13 2017-01-25 广州杰赛科技股份有限公司 基于毫米波的手势认证装置
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板***及方法
CN106354259A (zh) * 2016-08-30 2017-01-25 同济大学 基于Soli和Tobii的汽车HUD眼动辅助手势交互***及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306440U (zh) * 2010-12-17 2012-07-04 上海博泰悦臻电子设备制造有限公司 利用手势操作的电子设备及车载设备
CN102314217A (zh) * 2011-09-29 2012-01-11 上海华勤通讯技术有限公司 移动终端及移动终端挥控方法
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
CN205405428U (zh) * 2016-03-09 2016-07-27 武汉万集信息技术有限公司 一种具有手势识别功能的etc车载电子标签发行装置
CN106502570A (zh) * 2016-10-25 2017-03-15 科世达(上海)管理有限公司 一种手势识别的方法、装置及车载***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096139A (zh) * 2019-03-09 2019-08-06 江苏北斗星通汽车电子有限公司 一种车载人机交互***
CN110781764A (zh) * 2019-09-30 2020-02-11 北京大学 智能微波手语识别方法

Also Published As

Publication number Publication date
CN108681688A (zh) 2018-10-19
CN107102731A (zh) 2017-08-29
CN108762478A (zh) 2018-11-06
CN108681688B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN108762477A (zh) 手势检测装置及其运行方法
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
Pickering et al. A research study of hand gesture recognition technologies and applications for human vehicle interaction
US9052750B2 (en) System and method for manipulating user interface by 2D camera
JP4311190B2 (ja) 車載機器用インターフェース
CN110239524A (zh) 自动泊车方法、装置、***及终端
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
CN111104820A (zh) 一种基于深度学习的手势识别方法
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
CN107336243A (zh) 基于智能移动终端的机器人控制***及控制方法
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
US9275274B2 (en) System and method for identifying handwriting gestures in an in-vehicle information system
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150054042A (ko) 차량 및 그 제어방법
US11676236B2 (en) Systems and methods for autonomous passenger transport
US9949107B2 (en) Method and system for detecting an input to a device
CN113421364A (zh) 一种基于uwb技术的车辆功能控制方法、***及车辆
JP2017510875A (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
JP2020057139A (ja) 機器制御装置
JP7147259B2 (ja) 車載装置、車載装置の制御方法、及び予備動作推定システム
CN108351708B (zh) 三维手势解锁方法、获取手势图像的方法和终端设备
CN110262767B (zh) 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
CN113799791B (zh) 基于摄像头的方向盘按键防误触方法、装置及车辆
US11535268B2 (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication