CN104699238A - 用于识别用户的手势以执行车辆的操作的***和方法 - Google Patents

用于识别用户的手势以执行车辆的操作的***和方法 Download PDF

Info

Publication number
CN104699238A
CN104699238A CN201410613752.5A CN201410613752A CN104699238A CN 104699238 A CN104699238 A CN 104699238A CN 201410613752 A CN201410613752 A CN 201410613752A CN 104699238 A CN104699238 A CN 104699238A
Authority
CN
China
Prior art keywords
hand
user
area
roi
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410613752.5A
Other languages
English (en)
Other versions
CN104699238B (zh
Inventor
金宣莪
申东洙
李廷馣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN104699238A publication Critical patent/CN104699238A/zh
Application granted granted Critical
Publication of CN104699238B publication Critical patent/CN104699238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了用于识别用户的手势以执行车辆的操作的***和方法。该***可包括：安装在车辆内以生成目标图像的摄像机，以及势识别器，该手势识别器从目标图像检测用户的手，参考用户的手来设置感兴趣区域(ROI)，并且通过仅追踪在ROI内的用户的手来识别用户的手势，其中根据用户的手的移动方向和移动速度改变ROI。

Description

用于识别用户的手势以执行车辆的操作的***和方法
相关申请的交叉引用
本申请要求于2013年12月10日提交给韩国知识产权局的韩国专利申请第10-2013-0153472号的优先权和权益，通过引用将其全部结合在此。
技术领域
本发明涉及用于识别用户的手势以操作车辆或车辆组件，并因此能够执行车辆的操作的***和方法。
背景技术
通常，基于摄像机的手势识别技术被用于各种领域，诸如车辆、智能TV、游戏机、以及移动电话的操作。
在基于摄像机的手势识别技术中，手势识别成功率和手势识别速度是关键的因素。
图6(现有技术)是根据现有技术用于识别用户的手势的方法的流程图。
参考图6，在现有技术中，经由摄像机获得目标图像，并且移除目标图像的背景以检测用户的手。此后，追踪用户的手以识别用户手势。
在这种情况下，预先设置其中追踪用户的手以识别用户手势的感兴趣区域(ROI)。尽管用户的手快速移动，但是为了追踪用户的手，ROI被固定为整个目标图像。
在ROI较宽的情况下，花费较长时间追踪用户的手，使得手势识别成功率和手势识别速度劣化。
当手势识别成功率较低时，诸如驾驶员的用户必须频繁地移动他的手从而输入他的手势，并且因此随着驾驶员的注意力分散，可能发生意外事故。
在本背景技术部分中公开的上述信息仅用于增强对本发明的背景技术的理解，并且因此可能包含没有在该国形成为本领域的技术人员所已知的现有技术的信息。
发明内容
本发明提供了用于识别用户手势以执行车辆的操作的***和方法，其具有通过根据用户的手的移动方向和移动速度设置感兴趣区域来改善手势识别成功率和手势识别速度的优点。
根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的操作的***可以包括：摄像机，其安装在车辆内并且被配置为产生目标图像；和手势识别器，其被配置为从目标图像检测用户的手，参考用户的手设置感兴趣区域(ROI)，并且通过仅追踪在ROI内的用户的手来识别用户的手势，其中，可以根据用户的手的移动方向和移动速度改变ROI。
手势识别器可以包括预处理单元，其被配置为执行用于移除目标图像的背景和噪声的预处理；和ROI设置单元，其被配置为使用多个特征点从预处理后的目标图像检测用户的手，并且参考用户的手设置ROI。
多个特征点可以包括手指尖、手指谷(finger valley，指蹼，指窝)、手腕、以及用户的手的中心点，并且ROI设置单元可以基于用户的手轮廓的曲率来提取手指尖、手指谷、以及手腕。
ROI设置单元可以根据预定像素坐标检测用户的手的位置。
当用户的手的移动速度小于预定速度时，ROI设置单元可以将ROI设置为参考用户的手所形成的第一区域。
在ROI被设置为第一区域之后，当用户的手的移动速度大于或等于预定速度时，ROI设置单元可以将ROI重置为第二区域。
第二区域的尺寸可以小于第一区域的尺寸，并且第二区域可以基于第一区域而沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向减小。
在ROI被重置为第二区域之后，当用户的手的移动速度小于预定速度时，ROI设置单元122可以将ROI恢复到第一区域。
手势识别器可以进一步包括存储单元，其被配置为存储与设置在车辆中的多个应用功能匹配的手势信息；和匹配单元，其被配置为使用追踪的用户的手和存储在存储单元中的手势信息识别用户手势并且执行对应于所识别的用户手势的应用功能。
手势信息可以包括基于多个特征点设置的手姿势，和基于多个特征点位置改变设置的手运动(hand motion)。
根据本发明的示例性实施方式的用于识别用于执行车辆操作的用户手势的方法可以包括：从经由摄像机获得的目标图像检测用户的手；参考用户的手将感兴趣区域(ROI)设置为第一区域；计算在第一区域内的用户的手的移动方向和移动速度；并且当用户的手的移动速度大于或等于预定速度时，将ROI重置为第二区域，其中，第二区域的尺寸小于第一区域的尺寸，并且基于第一区域第二区域沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向减小。
检测用户的手可以包括：执行用于移除目标图像的背景和噪声的预处理；并且使用多个特征点从预处理的目标图像检测用户的手。
多个特征点可以包括手指尖、手指谷、手腕、以及用户的手的中心点，并且可以基于用户的手轮廓的曲率来提取手指谷、手腕、以及用户的手的中心点。
该方法可以进一步包括：在ROI被重置为第二区域之后，当用户的手的移动速度小于预定速度时，将ROI恢复到第一区域。
该方法可以进一步包括：仅追踪在ROI内的用户的手；并且使用追踪的用户的手和存储在存储单元中的手势信息来识别用户手势。
根据本发明的示例性实施方式，可以根据用户的手的移动方向和移动速度改变ROI，因此可以改善用于追踪用户的手的速度。
因此，可以改善手势识别成功率和手势识别速度。
一种非暂存性计算机可读介质，包含通过处理器或控制器执行的程序指令，并且可以包括：从经由摄像机获得的目标图像检测用户的手的程序指令；参考用户的手将感兴趣区域(ROI)设置为第一区域的程序指令；计算在第一区域内的用户的手的移动方向和移动速度的程序指令；以及当用户的手的移动速度大于或等于预定速度时，其将ROI重置为第二区域的程序指令，其中第二区域的尺寸小于第一区域的尺寸，并且第二区域基于第一区域沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向减小。
附图说明
图1是根据本发明的示例性实施方式的用于识别用户手势的***的示意图。
图2是根据本发明示例性实施方式的手势识别器的框图。
图3是用于解释根据本发明示例性实施方式用于从目标图像提取多个特征点的方法的示意图。
图4是用于解释根据本发明示例性实施方式设置感兴趣区域的方法的示意图。
图5是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图。
图6(现有技术)是根据现有技术用于识别用户手势的方法的流程图。
具体实施方式
在以下具体说明中，简单通过图示的方式仅示出并描述了本发明的某些示例性实施方式。本领域技术人员应当认识到，在不脱离本发明的精神或者范围内，可以各种不同方式修改所描述的实施方式。因此，附图和说明从本质上被认为是说明性的并且非限制性的。通篇说明书，相同参考标号指代相同的元件。
应当理解，本文中所使用的术语“车辆(vehicle)”或“车辆的(vehicular)”或其他类似术语包括广义的机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆；包括各种小船、海船的船只；航天器等；并且包括混合动力车辆、电动车辆、燃油车、插电混合电动车、氢动力车辆和其他替代燃料车辆(例如，燃料来源于非汽油能源)。如本文中提及，混合动力车辆是具有两个或更多动力源的车辆，例如，汽油动力和电动力车辆。
本文中所使用的措辞仅是为了描述特定实施方式而并不旨在对本发明进行限制。除非上下文另有明确说明，否则如本文中所使用的单数形式“一(a)”、“一(an)”及“该(the)”也旨在包括复数形式。还应当理解，当术语“包括”和/或“包含”用于本说明书时，其描述了存在所述特征、整体、步骤、操作、元件及/或组件，但并不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、组件及/或其组合。作为本文中所用的术语“和/或”包括一个或多个相关的所列项的任何及所有组合。此外，在说明书中术语“…器(-er)”，“…装置(-or)”或者“模块(module)”意指用于处理至少一个功能和操作的单元，并且可通过硬件组件或者软件组件及其组合实现。
进一步，本发明的控制逻辑可体现为非暂存性计算机可读介质，在计算机可读介质上包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的实例包括但并不限于：ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动、智能卡和光学数据存储装置。计算机可读介质也可分布在网络耦合的计算机***中，从而以分布式方式存储并且例如由远程信息处理服务器(telematics server)或控制器局域网络(CAN)执行该计算机可读介质。
在下文中，将参考附图详细地描述根据本发明示例性实施方式的用于识别用户的手势的***和方法。
图1是根据本发明的示例性实施方式的用于识别用户的手势的***的示意图。
如图1所示，根据本发明示例性实施方式的用于识别用户的手势以执行车辆的操作的***100可以包括摄像机110和手势识别器120。
摄像机110安装在车辆内，并且拍摄用户(诸如驾驶员和乘客)的手以产生目标图像。目标图像被传输到手势识别器120。
手势识别器120移除经由摄像机110获得的目标图像的背景以检测用户的手，参照用户的手设置感兴趣区域(ROI)，并且通过仅追踪在ROI内的用户的手来识别用户的手势。ROI是其中追踪用户的手以从目标图像中识别用户手势的区域。
手势识别器120可以利用通过预定程序执行的一个或多个微处理器实现。预定程序可以包括一系列命令，该命令用于执行包括在以下描述的根据本发明示例性实施方式的识别用户手势的方法中的各步骤。
图2是根据本发明示例性实施方式的手势识别器的框图。
如图2所示，根据本发明示例性实施方式的手势识别器120可以包括预处理单元121、ROI设置单元122、存储单元123、以及匹配单元124。
预处理单元121执行用于移除经由摄像机110获得的目标图像的背景和噪声的预处理。
ROI设置单元122使用多个特征点从预处理后的目标图像检测用户的手，并且参考用户的手设置ROI。
图3是用于解释根据本发明示例性实施方式的用于从目标图像提取多个特征点的方法的示意图。
参考图3，ROI设置单元122从目标图像提取多个特征点并且通过使用多个特征点建模的手来检测用户的手。多个特征点可以包括手指尖、手指谷、手腕、以及用户的手的中心点。ROI设置单元可以基于用户的手轮廓的曲率提取手指尖、手指谷、以及手腕。
ROI设置单元122根据预定像素坐标检测用户的手的位置(坐标)。在这种情况下，用户的手的位置可以根据摄像机110的性能表示为二维坐标[X,Y]或三维坐标[X,Y,Z]。
ROI设置单元122参考用户的手来设置ROI，并且仅在ROI内而不是整个目标图像追踪用户的手。因此，能够显著地改善手势识别速度。
图4是用于解释根据本发明示例性实施方式设置感兴趣区域的方法的示意图。
参考图4，ROI设置单元122可以使用目标图像的连续帧计算用户的手的移动方向和移动速度。本文中，可以基于用户的手的中心点计算移动方向和移动速度。为了提供适宜的可靠性，可以预定帧时间(例如，三个帧时间)计算用户的手的移动方向和移动速度。
当用户的手的移动速度小于预定速度时，ROI设置单元122将ROI设置为第一区域。第一区域可以参考用户的手以正方形形状形成，但不限于此。
当用户的手的移动速度大于或等于预定速度时，ROI设置单元122将ROI重置为第二区域。第二区域可以基于第一区域，在沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向减小。第二区域小于第一区域。
换言之，当用户的手沿具体方向迅速移动时，期望的是，用户的手将沿具体方向持续移动。因此，ROI沿具体方向扩大并且沿垂直于具体方向的方向减小，使得可以改善用于追踪用户的手的速度。
例如，当用户的手在一个帧时间向左或右移动一个像素时，第二区域可以形成具有10像素宽度和6像素高度的长方形形状，但是第二区域的形状不限于此。
在ROI被重置为第二区域之后，当用户的手的移动速度小于预定速度时，ROI设置单元122将ROI恢复到第一区域。
存储单元123存储与设置在车辆中的多个应用功能匹配的手势信息。多个应用功能可以是设置在车辆中的多个电子装置(音频视频导航装置、空调器等)的各种应用功能(例如，上电/断电、调高/调低音量、接听/挂断移动电话、音乐的播放/停止/静音等)。
存储单元123可以存储包括手姿态和手运动的手势信息。可以基于多个特征点设置手姿态，并且可以基于多个特征点的位置改变设置手运动
匹配单元124使用追踪的用户的手和存储在存储单元123中的手势信息来识别用户手势。
匹配单元124执行对应于所识别的用户手势的应用功能。为了这个目的，匹配单元124可以与多个电子装置连接。
匹配单元124可以经由音频视频导航装置显示针对每个应用功能的手势输入状态和操作状态。
在下文中，参考图5，将详细地描述根据本发明示例性实施方式的用于识别用户手势的方法。
图5是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图。
如图5所示，在步骤S101，手势识别器120从摄像机110获得目标图像。
在步骤S102，手势识别器120执行用于移除目标图像的背景和噪声的预处理。
在步骤S103，手势识别器120使用多个特征点从预处理后的目标图像检测用户的手。多个特征点可以包括手指尖、手指谷、手腕、以及用户的手的中心点。手势识别器120可以基于用户的手轮廓的曲率来提取手指尖、手指谷、以及手腕。
在步骤S104，手势识别器120将ROI设置为第一区域。第一区域可以参考用户的手以正方形形状形成，但不限于此。
在步骤S105，手势识别器120计算在第一区域内的用户的手的移动方向和移动速度。
在步骤S106，手势识别器120将用户的手的移动速度与预定速度比较。
当在步骤S106用户的手的移动速度小于预定速度时，在步骤S111手势识别器120识别仅在第一区域内的用户手势。
当在步骤S106用户的手的移动速度大于或等于预定速度时，在步骤S107手势识别器120将ROI重置为第二区域。第二区域可以基于第一区域沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向减小。第二区域小于第一区域。
在步骤S108，手势识别器120通过追踪仅在第二区域内的用户的手来识别用户手势。
在步骤S109，手势识别器120将在第二区域内的用户的手的移动速度与预定速度比较。
当在步骤S109用户的手的移动速度大于或等于预定速度时，在步骤S111手势识别器120识别仅在第二区域内的用户手势。
当在步骤S109用户的手的移动速度小于预定速度时，在步骤S110手势识别器120将ROI恢复到第一区域。
在步骤S111手势识别器120使用所追踪的用户的手和存储在存储单元123中的手势信息来识别用户手势。手势识别器120执行对应于所识别用户手势的应用功能。
根据本发明的示例性实施方式，可以根据用户的手的移动方向和移动速度改变ROI，因此可以改善用于追踪用户的手的速度。
因此，可以改善手势识别成功率和手势识别速度。
上述实施方式除了通过由本领域技术人员容易实现的上述装置和/或方法之外，还能够通过用于实现对应于实施方式构造的功能的程序或用于记录程序的记录介质而实现。
虽然已经结合目前被认为是实用的示例性实施方式对本发明进行了描述，但是应当理解，本发明不限于所公开的实施方式，而是相反，旨在涵盖包括在所附权利要求书的精神和范围内的各种修改和等同配置。

Claims (16)

1.一种用于识别用户的手势以执行车辆的操作的***，包括：
摄像机，安装在所述车辆内并且被配置为产生目标图像；以及
手势识别器，被配置为从所述目标图像检测用户的手，参考所述用户的手来设置感兴趣区域(ROI)，并且通过仅追踪在所述ROI内的所述用户的手来识别所述用户的手势，
其中，根据所述用户的手的移动方向和移动速度改变所述ROI。
2.根据权利要求1所述的***，其中，所述手势识别器包括：
预处理单元，被配置为执行用于移除所述目标图像的背景和噪声的预处理；以及
ROI设置单元，被配置为使用多个特征点从预处理后的所述目标图像检测所述用户的手，并且参考所述用户的手来设置所述ROI。
3.根据权利要求2所述的***，其中，
所述多个特征点包括手指尖、手指谷、手腕和所述用户的手的中心点，并且
所述ROI设置单元基于所述用户的手的轮廓的曲率来提取所述手指尖、所述手指谷和所述手腕。
4.根据权利要求2所述的***，其中，所述ROI设置单元根据预定像素坐标检测所述用户的手的位置。
5.根据权利要求2所述的***，其中，当所述用户的手的所述移动速度小于预定速度时，所述ROI设置单元将所述ROI设置为参考所述用户的手所形成的第一区域。
6.根据权利要求5所述的***，其中，在将所述ROI设置为所述第一区域之后，当所述用户的手的所述移动速度大于或等于所述预定速度时，所述ROI设置单元将所述ROI重置为第二区域。
7.根据权利要求6所述的***，其中，
所述第二区域的尺寸小于所述第一区域的尺寸，并且
所述第二区域基于所述第一区域而沿所述用户的手的所述移动方向扩大并且沿与所述用户的手的所述移动方向垂直的方向减小。
8.根据权利要求7所述的***，其中，在将所述ROI重置为所述第二区域之后，当所述用户的手的所述移动速度小于所述预定速度时，所述ROI设置单元将所述ROI恢复到所述第一区域。
9.根据权利要求2所述的***，其中，所述手势识别器进一步包括：
存储单元，被配置为存储与在所述车辆中提供的多个应用功能匹配的手势信息；以及
匹配单元，被配置为使用追踪到的所述用户的手和存储在所述存储单元中的所述手势信息来识别所述用户的手势并且执行对应于所识别出的所述用户的手势的应用功能。
10.根据权利要求9所述的***，其中，所述手势信息包括基于所述多个特征点设置的手姿态，以及基于所述多个特征点的位置改变而设置的手运动。
11.一种用于识别用户的手势以执行车辆的操作的方法，包括：
从经由摄像机获得的目标图像检测用户的手；
参考所述用户的手将感兴趣区域(ROI)设置为第一区域；
计算所述用户的手在所述第一区域内的移动方向和移动速度；并且
当所述用户的手的所述移动速度大于或等于预定速度时，将所述ROI重置为第二区域，
其中，所述第二区域的尺寸小于所述第一区域的尺寸，并且所述第二区域基于所述第一区域沿所述用户的手的所述移动方向扩大并且沿与所述用户的手的所述移动方向垂直的方向减小。
12.根据权利要求11所述的方法，其中，检测所述用户的手包括：
执行用于移除所述目标图像的背景和噪声的预处理；并且
使用多个特征点从预处理后的所述目标图像检测所述用户的手。
13.根据权利要求11所述的方法，其中，
所述多个特征点包括手指尖、手指谷、手腕和所述用户的手的中心点，并且
基于所述用户的手的轮廓的曲率来提取所述手指尖、所述手指谷、所述手腕以及所述用户的手的中心点。
14.根据权利要求11所述的方法，进一步包括：在将所述ROI重置为所述第二区域之后，当所述用户的手的所述移动速度小于所述预定速度时，将所述ROI恢复到所述第一区域。
15.根据权利要求11所述的方法，进一步包括：
仅追踪在所述ROI内的所述用户的手；并且
使用所追踪到的所述用户的手和存储在存储单元中的手势信息来识别所述用户的手势。
16.一种非暂存性计算机可读介质，包含由处理器或控制器执行的程序指令，所述计算机可读介质包括：
从经由摄像机获得的目标图像检测用户的手的程序指令；
参考所述用户的手将感兴趣区域(ROI)设置为第一区域的程序指令；
计算所述用户的手在所述第一区域内的移动方向和移动速度的程序指令；以及
当所述用户的手的所述移动速度大于或等于预定速度时，将所述ROI重置为第二区域的程序指令，
其中，所述第二区域的尺寸小于所述第一区域的尺寸，并且所述第二区域基于所述第一区域而沿所述用户的手的所述移动方向扩大并且沿与所述用户的手的所述移动方向垂直的方向减小。
CN201410613752.5A 2013-12-10 2014-11-04 用于识别用户的手势以执行车辆的操作的***和方法 Active CN104699238B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0153472 2013-12-10
KR1020130153472A KR101534742B1 (ko) 2013-12-10 2013-12-10 차량용 제스처 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
CN104699238A true CN104699238A (zh) 2015-06-10
CN104699238B CN104699238B (zh) 2019-01-22

Family

ID=53185523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410613752.5A Active CN104699238B (zh) 2013-12-10 2014-11-04 用于识别用户的手势以执行车辆的操作的***和方法

Country Status (4)

Country Link
US (1) US9383826B2 (zh)
KR (1) KR101534742B1 (zh)
CN (1) CN104699238B (zh)
DE (1) DE102014221510A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677039A (zh) * 2016-02-16 2016-06-15 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN105893929A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技（天津）有限公司 手指与手腕的区分方法及其装置
CN107291235A (zh) * 2017-06-22 2017-10-24 三星电子（中国）研发中心 控制方法和装置
CN107608501A (zh) * 2016-07-11 2018-01-19 现代自动车株式会社 用户接口设备及包括其的车辆以及控制车辆的方法
CN110069137A (zh) * 2019-04-30 2019-07-30 徐州重型机械有限公司 手势控制方法、控制装置和控制***
CN110383212A (zh) * 2017-02-15 2019-10-25 宝马股份公司 自动化激活视野支持***
CN110945400A (zh) * 2017-07-31 2020-03-31 法雷奥舒适驾驶助手公司 用于观察车辆乘客舱的光学装置
CN110968184A (zh) * 2018-10-01 2020-04-07 丰田自动车株式会社 设备控制装置
CN111688712A (zh) * 2019-03-14 2020-09-22 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN112513787A (zh) * 2020-07-03 2021-03-16 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
WO2017155740A1 (en) * 2016-03-08 2017-09-14 Pcms Holdings, Inc. System and method for automated recognition of a transportation customer
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
CN110794692B (zh) * 2018-08-03 2021-07-23 珠海格力电器股份有限公司 家电设备的移动控制方法、装置及家电设备
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262381A1 (en) * 2011-04-18 2012-10-18 Research In Motion Limited Portable electronic device and method of controlling same
CN102799273A (zh) * 2012-07-11 2012-11-28 华南理工大学 交互控制***及其交互控制方法
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及***
CN102981604A (zh) * 2011-06-07 2013-03-20 索尼公司 图像处理设备、图像处理方法和程序
CN103294996A (zh) * 2013-05-09 2013-09-11 电子科技大学 一种3d手势识别方法
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190811B2 (en) 2004-11-02 2007-03-13 Honda Motor Co., Ltd. Adaptive tracking for gesture interfaces
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
WO2012139241A1 (en) 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
KR101747892B1 (ko) * 2011-06-02 2017-06-16 한국전자통신연구원 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
KR101868903B1 (ko) * 2012-01-11 2018-06-20 한국전자통신연구원 손 추적 장치 및 방법
EP2746805B1 (de) * 2012-12-21 2017-07-12 Delphi Technologies, Inc. Ultraschallinnenraumüberwachungsanlage für ein Kraftfahrzeug
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262381A1 (en) * 2011-04-18 2012-10-18 Research In Motion Limited Portable electronic device and method of controlling same
CN102981604A (zh) * 2011-06-07 2013-03-20 索尼公司 图像处理设备、图像处理方法和程序
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控***
CN102799273A (zh) * 2012-07-11 2012-11-28 华南理工大学 交互控制***及其交互控制方法
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及***
CN103294996A (zh) * 2013-05-09 2013-09-11 电子科技大学 一种3d手势识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893929A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技（天津）有限公司 手指与手腕的区分方法及其装置
WO2017113736A1 (zh) * 2015-12-27 2017-07-06 乐视控股（北京）有限公司 手指与手腕的区分方法及其装置
CN105677039B (zh) * 2016-02-16 2020-06-09 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN105677039A (zh) * 2016-02-16 2016-06-15 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN107608501B (zh) * 2016-07-11 2021-10-08 现代自动车株式会社 用户接口设备及包括其的车辆以及控制车辆的方法
CN107608501A (zh) * 2016-07-11 2018-01-19 现代自动车株式会社 用户接口设备及包括其的车辆以及控制车辆的方法
CN110383212A (zh) * 2017-02-15 2019-10-25 宝马股份公司 自动化激活视野支持***
CN107291235B (zh) * 2017-06-22 2021-09-21 三星电子（中国）研发中心 控制方法和装置
CN107291235A (zh) * 2017-06-22 2017-10-24 三星电子（中国）研发中心 控制方法和装置
CN110945400A (zh) * 2017-07-31 2020-03-31 法雷奥舒适驾驶助手公司 用于观察车辆乘客舱的光学装置
CN110968184A (zh) * 2018-10-01 2020-04-07 丰田自动车株式会社 设备控制装置
CN110968184B (zh) * 2018-10-01 2023-09-01 丰田自动车株式会社 设备控制装置
CN111688712A (zh) * 2019-03-14 2020-09-22 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110069137A (zh) * 2019-04-30 2019-07-30 徐州重型机械有限公司 手势控制方法、控制装置和控制***
CN110069137B (zh) * 2019-04-30 2022-07-08 徐州重型机械有限公司 手势控制方法、控制装置和控制***
CN112513787A (zh) * 2020-07-03 2021-03-16 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Also Published As

Publication number Publication date
US20150160735A1 (en) 2015-06-11
KR101534742B1 (ko) 2015-07-07
CN104699238B (zh) 2019-01-22
US9383826B2 (en) 2016-07-05
KR20150067680A (ko) 2015-06-18
DE102014221510A1 (de) 2015-06-11

Similar Documents

Publication Publication Date Title
CN104699238A (zh) 用于识别用户的手势以执行车辆的操作的***和方法
Tang et al. Prediction-uncertainty-aware decision-making for autonomous vehicles
Cai et al. Pedestrian motion trajectory prediction in intelligent driving from far shot first-person perspective video
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
Tang et al. On-road object detection and tracking based on radar and vision fusion: A review
US9335826B2 (en) Method of fusing multiple information sources in image-based gesture recognition system
US9330308B2 (en) Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle
WO2019243863A1 (en) Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi-view vehicle representations
US9171223B2 (en) System and method for effective section detecting of hand gesture
Kavi et al. Multiview fusion for activity recognition using deep neural networks
CN104614733A (zh) 一种动态障碍物检测方法
US9349044B2 (en) Gesture recognition apparatus and method
Guindel et al. Fast joint object detection and viewpoint estimation for traffic scene understanding
US20140294241A1 (en) Vehicle having gesture detection system and method
Ozgunalp Robust lane‐detection algorithm based on improved symmetrical local threshold for feature extraction and inverse perspective mapping
CN103164696A (zh) 手势识别方法及装置
Zhang et al. Road marking segmentation based on siamese attention module and maximum stable external region
US20140168058A1 (en) Apparatus and method for recognizing instruction using voice and gesture
Li et al. Modar: Using motion forecasting for 3d object detection in point cloud sequences
CN111563401A (zh) 一种车载手势识别方法、***、存储介质及电子设备
CN104423570A (zh) 误识别降低的动作识别设备和方法
CN104228705B (zh) 利用矢量跟踪驾驶者注意力的装置和方法
US9410980B2 (en) Work monitoring system
Park et al. Multi‐lane recognition using the YOLO network with rotatable bounding boxes
Zuo et al. Map feature based trajectory prediction with multi-class traffic participants

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant