CN110297545B - 手势控制方法、手势控制装置和***、以及存储介质 - Google Patents

手势控制方法、手势控制装置和***、以及存储介质 Download PDF

Info

Publication number
CN110297545B
CN110297545B CN201910585800.7A CN201910585800A CN110297545B CN 110297545 B CN110297545 B CN 110297545B CN 201910585800 A CN201910585800 A CN 201910585800A CN 110297545 B CN110297545 B CN 110297545B
Authority
CN
China
Prior art keywords
gesture
image
control method
recognized
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910585800.7A
Other languages
English (en)
Other versions
CN110297545A (zh
Inventor
赵骥伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910585800.7A priority Critical patent/CN110297545B/zh
Publication of CN110297545A publication Critical patent/CN110297545A/zh
Priority to PCT/CN2020/094107 priority patent/WO2021000686A1/zh
Priority to US17/275,543 priority patent/US11609638B2/en
Application granted granted Critical
Publication of CN110297545B publication Critical patent/CN110297545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种手势控制方法,包括:获取图像;对所述图像进行手势检测;对于所述图像中未识别到手势的情况,判断与上一次识别到手势的时间间隔是否小于预设时间;对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;以及,当追踪到手势时,利用追踪到的手势更新所述对比手势。此外,本公开还提供了用于实施所述手势控制方法的手势控制***,以及用于实施所述手势控制方法的计算机可读存储介质。

Description

手势控制方法、手势控制装置和***、以及存储介质
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种手势控制方法、手势控制装置、手势控制***以及计算机可读存储介质。
背景技术
目前,人机交互的方式越来越多,其中,基于视觉原理的手势控制功能受到越来越多的关注,其在硬件成本和操作方式上都具有极大的优势。诸如电视机、电子相框、画屏等等的电子设备中可以融入手势识别功能,以实现基于手势的人机交互。然而,现有的手势控制方法和装置在手势的检测过程中,当某些图像帧中因为角度、光线等原因未能检测到手势时,一般会返回初始化状态,重新采集图像并重新进行检测,这可能会影响用户体验。还期望的是,手势控制方法和装置能够对诸如摄像头之类的图像采集装置的类型进行识别,以便能够适配多种外接的图像采集装置,以及能够实现多种手势指令。
发明内容
根据本公开的一个方面,提供了一种手势控制方法,其包括:获取图像;对所述图像进行手势检测;对于所述图像中未识别到手势的情况,判断与上一次识别到手势的时间间隔是否小于预设时间;对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;以及当追踪到手势时,利用追踪到的手势更新所述对比手势。
根据本公开的一些示例性实施例,所述手势控制方法包括:基于所述手势检测的结果生成手势指令,其中,所述手势检测的结果包括手势的形态和手势的轨迹信息。
根据本公开的一些示例性实施例,其中,所述预设时间从0.5秒至1秒的范围中加以选择。
根据本公开的一些示例性实施例,其中:对所述图像进行手势检测包括:对所述图像进行运动检测以在所述图像中确定聚焦区域;基于所述聚焦区域进行所述手势检测。所述手势控制方法还包括:对于识别到手势的情况,基于识别到的手势来更新所述对比手势;更新所述聚焦区域并且重新获取图像;以及针对重新获取的图像,基于更新的聚焦区域进行手势检测。
根据本公开的一些示例性实施例,其中,更新所述聚焦区域包括:基于识别到的手势或者基于追踪到的手势更新所述聚焦区域。
根据本公开的一些示例性实施例,其中:获取图像包括:获取与所述图像对应的深度图像。对所述图像进行手势检测包括:基于所述深度图像确定所述图像的前景连通域;基于所述前景连通域确定所述图像中的检测区域;以及基于所述检测区域进行手势检测。所述手势控制方法还包括:对于识别到手势的情况,基于识别的手势来更新所述对比手势。
根据本公开的一些示例性实施例,所述识别的手势包括单手手势和双手手势,在所述识别的手势为双手手势的情况下,所述手势控制方法还包括:停止确定所述手势检测框;停止对所述对比手势进行更新;以及所述时间间隔是与上一次识别到单手手势的时间间隔。
根据本公开的另一个方面,提供了一种手势控制方法,其包括:对采集图像所用的图像采集装置进行识别,以确定所述图像采集装置是否是景深图像采集装置;以及,根据所述识别的结果,相应地执行上述手势控制方法。
根据本公开的一些示例性实施例,还包括:对于所述图像采集装置为非景深图像采集装置的情况,所述手势控制方法用于***体资源显示装置的操作,实现以下手势指令的至少之一:对于检测到单手手势以第一形态沿着第一方向的移动距离大于预设距离的情形,生成第一方向翻页手势指令;对于检测到单手手势以第一形态沿任意方向移动的情形,生成相应方向的移动手势指令,所述移动手势指令用于控制所述媒体资源显示装置的显示界面中第一标识沿相应方向移动;对于检测到单手手势由第二形态变化到不同于第二形态的第三形态的情形,生成点击操作指令。
根据本公开的一些示例性实施例,还包括,对于所述图像采集装置为景深图像采集装置的情况,所述手势控制方法用于***体资源显示装置的操作,实现以下手势指令的至少之一:对于检测到单手手势以第一形态沿第一方向的移动距离大于预设距离的情形,生成第一方向翻页手势指令;对于检测到双手手势都处于第二形态的情形,生成放大显示手势指令,所述放大显示手势指令用于对所述媒体资源显示装置的显示界面中显示的内容进行放大显示;对于检测到双手手势都处于不同于所述第二形态的第三形态的情形,生成缩小显示手势指令,其中,所述缩小显示手势指令用于对所述媒体资源显示装置的显示界面中显示的内容进行缩小显示;在所述媒体资源显示装置的显示界面中显示的内容已经处于放大显示的情况下,对于检测到单手手势以所述第三形态沿任意方向移动的情形,生成相应方向的放大后拖曳移动手势指令,所述放大后拖曳移动手势指令用于控制所述媒体资源显示装置的显示界面中被放大显示的内容沿相应方向移动。
根据本公开的一些示例性实施例,还包括:在所述媒体资源显示装置的显示界面中显示手势检测结果信息。
根据本公开的一些示例性实施例,所述显示手势检测结果信息包括下面各项中的至少一项:识别到手势时,在所述显示界面中显示第二标识;识别到手势发生移动时,所述第二标识沿所述手势的移动方向发生移动。
根据本公开的另一个方面,提供了一种手势控制装置,其包括:图像采集装置识别模块,其配置成对采集图像所用的图像采集装置进行识别,以确定所述图像采集装置是否是景深图像采集装置;图像获取模块,其被配置成命令所述图像采集装置对目标进行图像采集,以及从所述图像采集装置获取采集的图像;检测模块,其被配置成基于所述图像采集装置的类型,相应地对所述图像进行手势检测;判断模块,其被配置成:对于所述图像中未识别到手势的情况,判断与上一次识别到手势时的时间间隔是否小于预设时间;追踪模块,其被配置成:对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;对比手势更新模块,其被配置成:对于识别到手势的情况,基于识别到的手势确定手势检测框,并且用所述手势检测框内的内容来更新所述对比手势;以及对于追踪到手势的情况,用追踪到的手势更新所述对比手势。
根据本公开的另一个方面,提供了一种手势控制***,其包括:处理器;以及存储器,其存储有可执行指令;其中,当所述可执行指令由所述处理器执行时,执行如上所述的手势控制方法。
根据本公开的另一个方面,提供了一种计算机可读存储介质,其存储有可执行指令,当所述可执行指令由处理器执行时,所述处理器运行如上所述的手势控制方法。
附图说明
下面将结合附图对本公开的示例性具体实施方式进行详细的描述,以便能够对本公开要解决的问题、上述以及其他目的、特征和优点具有更加充分的认识和理解,在附图中:
图1为根据本公开的一个示例性实施方式提供的一种手势控制方法的示意性流程图;
图2为根据本公开的另一个示例性实施方式提供的一种手势控制方法的示意性流程图;
图3示意性示出了图2所示的手势控制方法中如何确定图像中的聚焦区域;
图4为根据本公开的另一个示例性实施方式提供的一种手势控制方法的示意性流程图;
图5示意性示出了图4所示的手势控制方法中确定的前景连通域以及基于该前景连通域在图像中确定的对应的手势检测区域;
图6为根据本公开的另一个示例性实施方式提供的一种手势控制方法的示意性流程图;
图7为根据本公开的另一个示例性实施方式提供的一种手势控制方法的示意性流程图;
图8为根据本公开的一个示例性实施方式提供的手势控制装置的示意性结构框图;
图9为根据本公开的一个示例性实施方式提供的手势控制***的示意性结构框图;
图10示意性示出了在一种媒体资源显示装置的显示界面中显示对单手手势的识别结果;
图11示意性示出了在图10所示的显示界面中显示所识别的单手手势的轨迹信息;
图12示意性示出了在图10所示的显示界面中显示对一种双手手势的识别结果;
图13示意性示出了在图10所示的显示界面中显示对另一种双手手势的识别结果;以及
图14示意性示出了在图10所示的显示界面中显示对另一种单手手势的识别结果。
遍及全部附图,相同或相似的附图标记指示相同或者相似的部件、元件以及部分。此外,附图仅仅用于对本公开的示例性描述,因此其仅示出与本公开有关的内容,而不必绘制出全部细节,也不必按比例来绘制。
具体实施方式
下面结合说明书附图,对根据本公开的示例性实施例提供的手势控制方法、手势控制***以及电子设备进行详细描述。
将理解的是,尽管术语“第一”、“第二”、“第三”等等在本文中可以用来描述各种元件、部件和/或部分,但是这些元件、部件和/或部分不应当由这些术语限制。这些术语仅用来将一个元件、部件或部分与另一个元件、部件或部分相区分。因此,下面讨论的第一元件、部件或部分也可以被称为第二或第三元件、部件或部分而不偏离本公开的教导。
本文中使用的术语仅用于描述特定实施例的目的,并且不意图限制本发明。如本文中使用的,单数形式“一个”、“一”和“该”旨在也包括复数形式,除非上下文清楚地另有指示。还要理解的是,术语“包括”和/或“包含”当在本说明书中使用时,是指所述及的特征、整体、步骤、操作、元件和/或部件的存在,但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其群组的存在或者添加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其群组。此外,本文中出现的术语“和/或”包括相关联的列出项目中的一个或多个的任意和全部组合。
将理解的是,本文所描述的方法中的步骤都是示例性的,它们不一定必须按照所列出的顺序执行,而是这些步骤中的一个或多个根据实际情况可以以不同的顺序或者同时被执行。此外,根据实际情况,所描述的方法还可以包括其他的附加步骤。
将理解的是,当元件被描述为“连接到另一个元件”或“耦合到另一个元件”时,其可以直接连接到另一个元件或直接耦合到另一个元件,或者可以存在中间元件。相反,当元件被描述为“直接连接到另一个元件”或“直接耦合到另一个元件”时,没有中间元件存在。
除非另有定义,本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员所通常理解的相同含义。还要理解的是,诸如那些在通常使用的字典中定义的之类的术语应当被解释为具有与其在相关领域和/或本说明书上下文中的含义相一致的含义,并且将不在理想化或过于正式的意义上进行解释,除非本文中明确地如此定义。
需要说明的是,在本说明书的描述中,参考表述“一个实施例”、“一些实施例”、“示例性实施例”、“具体示例”、或“一些示例”等的描述,意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。因此,在本文中,针对上述表述的示意性描述不必仅针对相同的实施例或示例。而是,所描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为了清楚目的,本发明所属领域公知的某些技术、结构、材料未被详细描述,以避免使本申请变得冗长。
参见图1,其示出了根据本公开的一个示例性实施方式提供的第一手势控制方法100。图1所示的第一手势控制方法100包括步骤:
S110:获取图像;
S120:对获取的图像进行手势检测;
S130:对于所述图像中未识别到手势的情况,判断与上一次识别到手势的时间间隔是否小于预设时间;
S140:对于所述时间间隔小于所述预设时间的情况:基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;
S150:当追踪到手势时,利用追踪到的手势更新所述对比手势。
如前面已经提到的,根据本公开的手势控制方法针对的问题之一是:手势检测过程中某些帧的图像由于角度、光线等原因导致该帧图像的检测区域中未检测到手势。通过包括上述步骤的手势控制方法,该问题得到了解决。此外还要理解的是,根据本公开的手势控制方法根据实际需要可以包括任何其他合适的步骤,例如,在识别到手势的情况下基于所识别的手势进行相应操作,这将在下文中详细阐述。
在上述步骤S110中,第一手势控制方法100发出指令,以便命令相应的图像采集装置对目标进行图像采集,并且从所述图像采集装置获取被采集的图像。图像采集装置可以是已知的任何合适的图像采集装置,例如但不限于,普通网络摄像头、景深摄像头、数码摄像设备等等。在步骤S120中可以采用任何已知的合适方法来对图像进行手势检测,在此对手势检测的方法不做特别限定。在步骤130中,预设时间可以是任何合适的时间段,其可以根据实际需要来设置。在本公开的一些示例性实施例中,预设时间可以从0.5秒至1秒的范围中加以选择,在本公开的另一些示例性实施例中,预设时间被设置为1秒。在步骤S140中,可以采用任何合适的追踪算法在图像中对手势进行追踪,在此对追踪算法不作限定。在本公开的一些示例性实施例中,该追踪可以采用具有较好综合性能的MEDIANFLOW追踪算法。此外,进行手势追踪所用的对比手势是预先存储的手势图形,其可以是上一次识别到的手势或者上一次追踪到的手势,用于在追踪过程中进行比较。在步骤S150中,追踪到的手势可以是该帧图像中与对比手势匹配度最高的特征部分。当然,也可以基于任何已知的其他合适标准来基于对比手势确定追踪到的手势。在步骤S150之后,第一手势控制方法100将更新一帧图像并重新进行检测,如果下一帧图像中识别到手势,则基于所识别的手势来更新对比手势,如果下一帧图像中仍然未识别到手势,则再次执行步骤S130,以判断与上一次识别到手势时的时间间隔是否小于预设时间,如果小于预设时间,那么再次执行上述步骤S140和S150。
参见图2,其示出了根据本公开的另一个示例性实施方式提供的第二手势控制方法200。第二手势控制方法200从步骤S210开始,在步骤S210中,第二手势控制方法200命令图像采集装置针对要识别的目标采集一帧图像,并且从所述图像采集装置获取被采集的图像。类似地,图像采集装置可以是任何合适的图像采集装置,例如普通网络摄像头等,在此不作特别限定。
在步骤S220中,第二手势控制方法200针对所采集的图像进行运动检测以确定聚焦区域,在步骤S230中,第二手势控制方法200基于所确定的聚焦区域对所述图像进行手势检测。现在转向图3,其示意性示出了如何确定一帧图像中的聚焦区域并随后基于所确定的聚焦区域在所述图像中检测手势。图3中的视图(a)是通过图像采集装置采集的一帧原始图像,该原始图像经过缩放处理和背景建模,可以得到视图(b)所示的与原始图像对应的背景图像。要理解的是,缩放处理可以采用插值算法来进行处理,例如但不限于拉格朗日插值、最近邻插值、高斯插值、双线性插值、二次插值、三次插值、牛顿插值等,而背景建模可以采用例如但不限于帧间差分法、高斯建模法、近似中值滤波、卡尔曼滤波、基于颜色信息的背景建模法以及核密度估计方法等来进行处理。本公开中对缩放处理和背景建模均不作特别限定。在图3的视图(b)所示的对应的背景图像中,白色部分表示发生运动的运动区域,黑色部分表示未发生运动的区域。对图3的视图(b)所示的背景图像进行运动检测,以确定运动区域,如图3的视图(c)中的圆形框所限定的区域,基于所确定的运动区域可以确定检测区域,如图3的视图(c)中的矩形框所限定的区域。图3的视图(c)的背景图像中确定的检测区域可以被映射到原始图像中,从而获得该帧原始图像中的聚焦区域,如图3的视图(d)中矩形框所限定的区域。随后,可以基于图3的视图(d)中的该帧原始图像中的聚焦区域,对该帧原始图像进行手势检测,从而获得例如图3的视图(e)中所示的识别到的手势。要理解的是,图3所示的方式仅仅是一种示例性的说明,其并非是限制性的。在第二手势控制方法200的步骤S220和S230中,可以根据实际需要采用任何已知的方式来对图像进行运动检测以确定聚焦区域,以及基于所述聚焦区域对该图像进行手势检测。
继续参见图2,第二手势控制方法200在步骤S240中判断是否识别到手势。如果识别到手势,那么执行步骤S250,其中,基于识别到的手势确定手势检测框,例如图3的视图(e)中所示的外接所识别到的手势的矩形框。如果未识别到手势,那么执行步骤S260,判断与上一次识别到手势的时间间隔是否小于预设时间。如果所述时间间隔不小于预设时间,那么返回到初始状态时的步骤S210,重新采集一帧图像,以及重新进行运动检测并确定聚焦区域。如果所述时间间隔小于预设时间,那么执行步骤S270,以便基于对比手势在所述图像中对手势进行追踪。
在步骤S250和S270之后,第二手势控制方法200执行以下步骤:步骤S280,利用本次手势检测框的内容或利用本次追踪的追踪到的手势来更新对比手势;步骤S290,基于识别到或者追踪到的手势来进行指令映射;以及步骤S300,重新采集一帧图像,并基于当前的聚焦区域,确定重新采集的图像中的聚焦区域。随后,第二手势控制方法200返回到步骤S230,以便基于更新的聚焦区域对重新采集的一帧图像进行手势检测,以及重复步骤S240至S300。要理解的是,在本公开中,基于识别到的手势确定手势检测框,并利用本次手势检测框的内容来更新对比手势仅仅是一种示例性的说明,其并非限制性的。本领域的技术人员根据实际需要可以采用任何其他合适的方式来基于识别到的手势更新对比手势。
第二手势控制方法200在手势检测过程中某些帧因为角度、光线等原因丢失时,可以避免立刻回到初始状态并重新进行运动检测,而是在满足预设条件(例如,与上一次检测到手势的时间间隔小于预设时间)的情况下基于先前设置的对比手势在图像中追踪手势,从而极大地改善了用户体验。
现在参见图4,其示出了根据本公开的另一个示例性实施方式提供的第三手势控制方法300。第三手势控制方法300从步骤S310开始,在步骤S310中,第三手势控制方法300命令景深图像采集装置针对要识别的目标采集一帧图像和对应的深度图像,并且从所述景深图像采集装置获取被采集的图像和对应的深度信息。景深图像采集装置可以是任何合适的带有景深功能的图像采集装置,例如景深摄像头等,在此不作特别限定。深度图像反映了所采集的图像中的各个像素距离景深图像采集装置的距离。
在步骤S320中,第三手势控制方法300基于深度图像确定所采集的图像的前景连通域,并且基于所述前景连通域确定所述图像中的检测区域。在步骤S330中,第三手势控制方法300基于所确定的检测区域来进行手势检测。现在转向图5,其中,视图(a)是所采集的图像的深度图像,其反映了所采集的图像中的各个像素距离景深图像采集装置的距离。例如,可以将视图(a)中相邻像素点且深度值差值在一定范围内,例如50 mm内,的像素点归为同一个连通域,以在图像中生成各连通域。此外,容易理解的是,当用户抬手进行操作时,手掌距离景深图像采集装置的距离应该是最近的,因此可以将所获得的各连通域中位于前景的连通域,例如图5的视图(a)中的方框11限定的区域,映射到所采集的图像中作为检测区域,例如图5的视图(b)中的方框12限定的区域,以便用于对手势进行检测。要理解的是,连通域的获取可以采用已知的任何合适的算法,例如但不限于,基于行程标识的算法、基于轮廓标记的算法、Two-Pass算法或者Seed-Filling种子填充法等。本领域的技术人员可以根据实际需要选择合适的算法,在此不作特别限定。
继续参见图4,第三手势控制方法300在步骤S340中判断是否识别到手势。如果识别到手势,那么执行步骤S350,基于识别到的手势确定手势检测框,例如但不限于,外接所识别到手势的矩形框。如果未识别到手势,那么执行步骤S360,判断与上一次识别到手势的时间间隔是否小于预设时间。如果所述时间间隔不小于预设时间,那么返回到初始的步骤S310,重新采集一帧图像并获取对应的深度图像,以及随后重新确定前景连通域并检测手势。如果所述时间间隔小于预设时间,那么执行步骤S370,基于对比手势在所述图像中对手势进行追踪。
在步骤S350和S370之后,第三手势控制方法300继续进行以下步骤:步骤S380,利用本次手势检测框的内容或利用本次追踪到的追踪手势来更新对比手势;以及步骤S390,基于识别或者追踪到的手势来进行指令映射。随后,第三手势控制方法300返回到步骤S310,重新采集一帧图像并获得对应的深度图像,以及重复步骤S320至S390。
参见图6,其示出了根据本公开的一个示例性实施方式提供的第四手势控制方法300'。第四手势控制方法300'与图4所示的第三手势控制方法300基本上相同,仅在步骤S341、S360'和S370'中存在区别,因此下文中将仅就第四手势控制方法300'中的这些区别进行说明。
第四手势控制方法300'在识别到手势时,将在步骤S341中判断所识别的手势是否是单手手势,如果是单手手势,那么继续之前的步骤S350,如果不是单手手势,那么直接执行步骤S390以进行指令映射,而不再确定手势检测框,也不再更新对比手势。此外,第四手势控制方法300'在未识别到手势时,将在步骤S360'中判断与上一次识别到单手手势的时间间隔是否小于预设时间,并且如果所述时间间隔小于预设时间,那么执行步骤S370',基于对比手势在所述图像中对手势进行追踪,其中所述对比手势是上一次识别到的单手手势或者上一次追踪到的单手手势。由此可见,第四手势控制方法300'是针对所识别的手势中的单手手势和双手手势进行不同的处理,其中,对于所识别的双手手势无需进行追踪。
第三、第四手势控制方法300、300'通过前景图像的信息优化了追踪算法,即当通过深度图像进行前景提取后,在对应的图像的相同区域分割出待检测区域,在该区域中的手势检测没有检测到人手的情况下,仍然会结合上一帧的检测到的目标的特征对这一帧进行追踪。
这里还要指出的是,在第二、第三、第四手势控制方法200、300、300'中,预设时间可以是任何合适的时间段,其可以根据实际需要来设置。类似地,在本公开的一些示例性实施例中,预设时间可以从0.5秒至1秒的范围加以选择,在本公开的另一些示例性实施例中,预设时间被设置为1秒。同样类似地,在第二、第三、第四手势控制方法200、300、300'中可以采用任何合适的追踪算法在图像中对手势进行追踪。在本公开的一些示例性实施例中,该追踪可以采用具有较好的综合性能的MEDIANFLOW追踪算法。
参见图7,其示出了根据本公开的一个示例性实施方式提供的第五手势控制方法400。第五手势控制方法400包括以下步骤:
S410:对采集图像所用的图像采集装置进行识别,以确定其是否是景深图像采集装置;
S420:如果识别到所述图像采集装置是非景深图像采集装置,那么执行第二手势控制方法200;以及
S430:如果所述图像采集装置是景深图像采集装置,那么执行第三手势控制方法300或第四手势控制方法300'。
因此,第五手势控制方法400增加了识别图像采集装置是否是景深图像采集装置的步骤,使得能够在外接图像采集装置时,适配不同类型的图像采集装置并执行相应的操作。当已经对图像采集装置进行识别后,第五手势控制方法400基于识别的结果可相应地执行上述的第二、第三或第四手势操作方法200、300或300'。
上述各手势控制方法均能够使得在手势检测和识别过程中某些图像帧中因为角度、光线等原因未能检测到手势时,通过对手势进行追踪,能够避免立刻返回初始化状态,并且上述各手势控制方法还对追踪算法进行了优化,从而极大地改善了用户体验。
现在参见图8,其示出了根据本公开的一个示例性实施方式提供的手势控制装置500的示意性结构框图。手势控制装置500包括:图像采集装置识别模块510、图像获取模块520、检测模块530、判断模块540、追踪模块550和对比手势更新模块560。图像采集装置识别模块510配置成对采集图像所用的图像采集装置进行识别,以确定所述图像采集装置是否是景深图像采集装置。图像获取模块520被配置成命令所述图像采集装置对目标进行图像采集,以及从所述图像采集装置获取采集的图像。当图像采集装置为景深图像采集装置时,图像获取模块520还获取与所采集的图像对应的深度图像。检测模块530被配置成基于所述图像采集装置的类型,相应地对所述图像进行手势检测。判断模块540被配置成:对于所述图像中未识别到手势的情况,判断与上一次识别到手势时的时间间隔是否小于预设时间。追踪模块550被配置成:对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势。对比手势更新模块560被配置成:对于识别到手势的情况,基于识别到的手势确定手势检测框,并且用所述手势检测框内的内容来更新所述对比手势;以及,对于追踪到手势的情况,用追踪到的手势更新所述对比手势。
此外,手势控制装置500还可以包括***总线或其他数据和命令传送***,以将上述各个模块彼此连接。***总线可以包括不同总线结构的任何一个或组合,所述总线结构诸如存储器总线或存储器控制器、***总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。手势控制装置500还可以包括诸如控制和数据线等等。
虽然上文参考特定模块讨论了特定功能,但是应当注意,本文讨论的各个模块的功能还可以分为多个模块,和/或多个模块的至少一些功能可以组合成单个模块。另外,本文讨论的执行动作的特定模块包括该特定模块本身执行动作,或者替换地,该特定模块调用或以其他方式访问执行该动作的另一个组件或模块(或结合该特定模块一起执行动作)。因此,执行动作的特定模块包括执行动作的特定模块本身和/或执行动作的该特定模块调用或以其他方式访问的另一模块。
参见图9,其示出了根据本公开的一个示例性实施方式提供的手势控制***600的示意性结构框图。手势控制***600包括处理器610和存储器630。
处理器610被图示为包括可被配置为处理单元、功能块等的硬件元件620。这可以包括在硬件中实现作为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件620不受其形成的材料或其中采用的处理机构的限制。例如,处理器610可以由(多个)半导体和/或晶体管(例如,电子集成电路(IC))组成。处理器610可以包括单个处理单元或多个处理单元,所有处理单元可以包括单个或多个计算单元或者多个核心。处理器610可以被实施成一个或多个微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外,处理器610可以被配置成获取并且执行存储在存储器630中的可执行指令,以便执行上述第一、第二、第三或第四手势控制方法100、200、300或者300'。
存储器630被图示为包括可被配置成存储可执行指令的计算机可读存储介质640,所述可执行指令由处理器610执行时可以实施前面所描述的第一、第二、第三或第四手势控制方法100、200、300或者300'。计算机可读存储介质640可以包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质,所述信息诸如是计算机可读的可执行指令、数据,等等。计算机可读存储介质640可以包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术,CD-ROM、数字通用盘(DVD)、或其他光学存储装置,磁盒、磁带、磁盘存储装置或其他磁性存储设备,或者可以被用来存储信息的任何其他存储介质。
类似地,手势控制***600也可以包括***总线或其他数据和命令传送***,以将处理器610和存储器630彼此连接。***总线可以包括不同总线结构的任何一个或组合,所述总线结构诸如存储器总线或存储器控制器、***总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。此外,手势控制***600也可以包括诸如控制和数据线等等。
上述各手势控制方法、手势控制装置、手势控制***可以与任何合适的电子设备,包括但不限于,电视、显示器、投影仪、画屏、计算机、平板电脑、娱乐设备(例如,娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)等等协作,以便控制这些电子设备的操作。上述各手势控制方法、手势控制装置、手势控制***对电子设备的操作可以根据识别到的手势或追踪到的手势映射的手势指令来进行,该指令映射可以基于手势的形态来进行,或者可以基于手势的形态并且结合手势的轨迹信息来进行。作为本公开的一个示例性实施方式,下表中列出了可以用于对例如画屏之类的媒体资源显示装置进行操作的手势指令,所述手势指令基于手势的形态并且结合手势的轨迹信息,以便实现对该媒体资源显示装置的各种操作。容易理解的是,该媒体资源显示装置也可以为任何其他合适的显示设备,例如但不限于,显示器、投影仪、电视等等。
Figure 548774DEST_PATH_IMAGE001
要理解的是,上表中列出的手势指令都仅仅是示例性的,并非限制性的。例如,在上表中列出的实现翻页操作的手势指令中,识别到的单手手势的形态可以是手指并拢的手掌形态,也可以是手指张开的形态,甚至也可以是握拳的形态;该单手手势可以沿其他方向移动,例如但不限于左上或者左下方向;移动的距离根据实际需要也可以选择任何其他合适的距离,例如但不限于10 cm或者20 cm等等。类似地,上表中列出的移动鼠标的手势指令中,手势的形态可以是手指并拢的手掌形态,也可以是手指张开的形态,甚至也可以是握拳的形态,这可以根据实际需要来进行选择。在上表中列出的实现放大显示和缩小显示操作的手势指令中,双手手势可以具有与上表列出的形态不同的形态。此外,在上表列出的点击的手势指令中,只要检测到的手势的形态从一个形态变到不同的另一个形态便可。
参见图10,其示意性示出了在一种媒体资源显示装置的显示界面中显示对手势的识别结果,所述媒体资源显示装置例如可以是上述的画屏。如图10所示,可以在该媒体资源显示装置的显示界面的右上角显示对手势的识别结果,这有助于反馈用户的动作效果并用来约束用户的站位范围。容易理解的是,可以在显示界面的任何合适位置处显示对手势的识别结果,例如显示界面的右下角、左上角、左下角等。图10中识别的单手手势是用户的并拢手指的手掌。在识别到该手势时,可以在该手势上标注第一标识13,以提示用户识别成功。在图10中,第一标识13为蓝色圆圈。但是容易理解的是,第一标识13可以采用任何其他合适的颜色和形状。
参见图11,其示出了在图10所示的显示界面中显示所识别的单手手势的轨迹信息。如图11所示,在手势识别成功的情况下,用户移动手掌,此时检测到手势的移动轨迹,并且可以相应地添加第二标记14,以便提示用户手掌运动的轨迹。在图11中,第二标识14为浅蓝色圆圈。但是容易理解的是,第二标识14可以采用任何其他合适的颜色和形状。图11所示的情形配合图10所示的情形,能够实现表1中描述的翻页手势指令。
参见图12,其示意性示出了在图10所示的显示界面中显示对双手手势的识别结果。如图12所示,所识别的双手手势是用户的双手同时张开。此时,可以在显示界面中给张开的双手手势添加第三标记15。基于图12所示的双手手势,能够实现表1中描述的放大显示手势指令。图13示意性示出了在图10所示的显示界面中显示对另一种双手手势的识别结果。如图13所示,所识别的双手手势是用户的双手同时握拳。此时,可以在显示界面中给握拳的双手手势添加第四标记16。基于图13所示的双手手势,能够实现表1中描述的缩小显示手势指令。第三标记15为两个蓝色的圆圈,第四标记16为两个绿色的点。但是容易理解的是,第三标识15和第四标记16均可以采用任何其他合适的颜色和形状。
图14示意性示出了在图10所示的显示界面中显示对另一种单手手势的识别结果。如图14所示,所识别的单手手势是用户单手握拳。此时,可以在显示界面中给握拳的单手手势添加第五标记17。在媒体资源显示装置的显示界面中显示的内容已经处于放大的情况下,基于图14所示的单手手势,能够实现表1中描述的放大后拖曳手势指令;但是,当显示的内容未处于放大的情况下,图14所示的单手手势可以不触发任何指令。
以上所述内容仅为对本公开的示例性实施方式的说明和描述,但这样的说明和描述应当被认为是说明性的和示意性的,本公开的范围并不局限于此。任何熟悉本技术领域的技术人员在本公开的教导下,可以轻易地想到各种变化或替换,这些变化和替换都应当被认为是落在本公开的范围之内。因此,本公开的保护范围应当以所附权利要求的范围为准。

Claims (15)

1.一种手势控制方法,其包括:
获取图像;
对所述图像进行手势检测;
对于所述图像中未识别到手势的情况,判断与上一次识别到手势的时间间隔是否小于预设时间;
对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;以及
当追踪到手势时,利用追踪到的手势更新所述对比手势。
2.根据权利要求1所述的手势控制方法,还包括:
基于所述手势检测的结果生成手势指令,其中,所述手势检测的结果包括手势的形态和手势的轨迹信息。
3.根据权利要求1所述的手势控制方法,其中,所述预设时间从0.5秒至1秒的范围中加以选择。
4.根据权利要求1至3中任一项所述的手势控制方法,其中:
对所述图像进行手势检测包括:
对所述图像进行运动检测以在所述图像中确定聚焦区域;
基于所述聚焦区域进行所述手势检测;
所述手势控制方法还包括:
对于识别到手势的情况,基于识别到的手势来更新所述对比手势;
更新所述聚焦区域并且重新获取图像;以及
针对重新获取的图像,基于更新的聚焦区域进行手势检测。
5.根据权利要求4所述的手势控制方法,其中,更新所述聚焦区域包括:基于识别到的手势或者基于追踪到的手势更新所述聚焦区域。
6.根据权利要求1至3中任一项所述的手势控制方法,其中:
获取图像包括:获取与所述图像对应的深度图像;
对所述图像进行手势检测包括:
基于所述深度图像确定所述图像的前景连通域;
基于所述前景连通域确定所述图像中的检测区域;以及
基于所述检测区域进行手势检测;
所述手势控制方法还包括:
对于识别到手势的情况,基于识别到的手势确定手势检测框,并且用所述手势检测框内的内容来更新所述对比手势。
7.根据权利要求6所述的手势控制方法,其中,所述识别的手势包括单手手势和双手手势,在所述识别的手势为双手手势的情况下,所述手势控制方法还包括:
停止确定所述手势检测框;
停止对所述对比手势进行更新;以及
所述时间间隔是与上一次识别到单手手势的时间间隔。
8.一种手势控制方法,其包括:
对采集图像所用的图像采集装置进行识别,以确定所述图像采集装置是否是景深图像采集装置;
如果所述图像采集装置不是景深图像采集装置,那么执行根据权利要求4或5所述的手势控制方法;以及
如果所述图像采集装置是景深图像采集装置,那么执行根据权利要求6或7所述的手势控制方法。
9.根据权利要求8所述的手势控制方法,还包括:
对于所述图像采集装置为非景深图像采集装置的情况,所述手势控制方法用于***体资源显示装置的操作,实现以下手势指令的至少之一:
对于检测到单手手势以第一形态沿着第一方向的移动距离大于预设距离的情形,生成第一方向翻页手势指令;
对于检测到单手手势以第一形态沿任意方向移动的情形,生成相应方向的移动手势指令,所述移动手势指令用于控制所述媒体资源显示装置的显示界面中第一标识沿相应方向移动;
对于检测到单手手势由第二形态变化到不同于第二形态的第三形态的情形,生成点击操作指令。
10.根据权利要求8所述的手势控制方法,还包括:
对于所述图像采集装置为景深图像采集装置的情况,所述手势控制方法用于***体资源显示装置的操作,实现以下手势指令的至少之一:
对于检测到单手手势以第一形态沿第一方向的移动距离大于预设距离的情形,生成第一方向翻页手势指令;
对于检测到双手手势都处于第二形态的情形,生成放大显示手势指令,所述放大显示手势指令用于对所述媒体资源显示装置的显示界面中显示的内容进行放大显示;
对于检测到双手手势都处于不同于所述第二形态的第三形态的情形,生成缩小显示手势指令,其中,所述缩小显示手势指令用于对所述媒体资源显示装置的显示界面中显示的内容进行缩小显示;
在所述媒体资源显示装置的显示界面中显示的内容已经处于放大显示的情况下,对于检测到单手手势以所述第三形态沿任意方向移动的情形,生成相应方向的放大后拖曳移动手势指令,所述放大后拖曳移动手势指令用于控制所述媒体资源显示装置的显示界面中被放大显示的内容沿相应方向移动。
11.根据权利要求9或10所述的手势控制方法,还包括:在所述媒体资源显示装置的显示界面中显示手势检测结果信息。
12.根据权利要求11所述的手势控制方法,其中,所述显示手势检测结果信息包括下面各项中的至少一项:
识别到手势时,在所述显示界面中显示第二标识;
识别到手势发生移动时,所述第二标识沿所述手势的移动方向发生移动。
13.一种手势控制装置,其包括:
图像采集装置识别模块,其配置成对采集图像所用的图像采集装置进行识别,以确定所述图像采集装置是否是景深图像采集装置;
图像获取模块,其被配置成命令所述图像采集装置对目标进行图像采集,以及从所述图像采集装置获取采集的图像;
检测模块,其被配置成基于所述图像采集装置的类型,相应地对所述图像进行手势检测;
判断模块,其被配置成:对于所述图像中未识别到手势的情况,判断与上一次识别到手势时的时间间隔是否小于预设时间;
追踪模块,其被配置成:对于所述时间间隔小于所述预设时间的情况,基于对比手势在所述图像中对手势进行追踪,所述对比手势是上一次识别到的手势或者上一次追踪到的手势;
对比手势更新模块,其被配置成:
对于识别到手势的情况,基于识别到的手势确定手势检测框,并且用所述手势检测框内的内容来更新所述对比手势;以及
对于追踪到手势的情况,用追踪到的手势更新所述对比手势。
14.一种手势控制***,其包括:
处理器;以及
存储器,其存储有可执行指令;
其中,当所述可执行指令由所述处理器执行时,执行根据权利要求1至12中任一项所述的手势控制方法。
15.一种计算机可读存储介质,其存储有可执行指令,当所述可执行指令由处理器执行时,所述处理器运行根据权利要求1至12中任一项所述的手势控制方法。
CN201910585800.7A 2019-07-01 2019-07-01 手势控制方法、手势控制装置和***、以及存储介质 Active CN110297545B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910585800.7A CN110297545B (zh) 2019-07-01 2019-07-01 手势控制方法、手势控制装置和***、以及存储介质
PCT/CN2020/094107 WO2021000686A1 (zh) 2019-07-01 2020-06-03 手势控制方法、手势控制装置以及存储介质
US17/275,543 US11609638B2 (en) 2019-07-01 2020-06-03 Recognizing and tracking gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910585800.7A CN110297545B (zh) 2019-07-01 2019-07-01 手势控制方法、手势控制装置和***、以及存储介质

Publications (2)

Publication Number Publication Date
CN110297545A CN110297545A (zh) 2019-10-01
CN110297545B true CN110297545B (zh) 2021-02-05

Family

ID=68029706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910585800.7A Active CN110297545B (zh) 2019-07-01 2019-07-01 手势控制方法、手势控制装置和***、以及存储介质

Country Status (3)

Country Link
US (1) US11609638B2 (zh)
CN (1) CN110297545B (zh)
WO (1) WO2021000686A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297545B (zh) 2019-07-01 2021-02-05 京东方科技集团股份有限公司 手势控制方法、手势控制装置和***、以及存储介质
CN113696850A (zh) * 2021-08-27 2021-11-26 上海仙塔智能科技有限公司 基于手势的车辆控制方法、装置和存储介质
CN114995652B (zh) * 2022-06-28 2024-05-31 天翼数字生活科技有限公司 屏幕控制方法及用户终端
WO2024072462A1 (en) * 2022-09-30 2024-04-04 Google Llc Continual in-line learning for radar-based gesture recognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662460A (zh) * 2012-03-05 2012-09-12 清华大学 移动终端的非接触式控制装置及其控制方法
CN103890695A (zh) * 2011-08-11 2014-06-25 视力移动技术有限公司 基于手势的接口***和方法
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109753157A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 显示屏的手势控制方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
JP2013257686A (ja) * 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
US9129155B2 (en) * 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
TWI514248B (zh) * 2014-03-18 2015-12-21 Pixart Imaging Inc 防止誤觸發邊緣滑動手勢之方法及手勢觸發方法
US10650029B2 (en) * 2015-10-01 2020-05-12 Facebook, Inc. Systems and methods for accessing categorized content
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CN109313485B (zh) * 2017-02-18 2019-10-11 广州艾若博机器人科技有限公司 基于手势识别的机器人控制方法、装置及机器人
CN109492577B (zh) * 2018-11-08 2020-09-18 北京奇艺世纪科技有限公司 一种手势识别方法、装置及电子设备
CN110297545B (zh) * 2019-07-01 2021-02-05 京东方科技集团股份有限公司 手势控制方法、手势控制装置和***、以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103890695A (zh) * 2011-08-11 2014-06-25 视力移动技术有限公司 基于手势的接口***和方法
CN102662460A (zh) * 2012-03-05 2012-09-12 清华大学 移动终端的非接触式控制装置及其控制方法
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109753157A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 显示屏的手势控制方法及装置

Also Published As

Publication number Publication date
US20220113808A1 (en) 2022-04-14
WO2021000686A1 (zh) 2021-01-07
US11609638B2 (en) 2023-03-21
CN110297545A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110297545B (zh) 手势控制方法、手势控制装置和***、以及存储介质
US9256324B2 (en) Interactive operation method of electronic apparatus
US9690388B2 (en) Identification of a gesture
CN110008795B (zh) 图像目标追踪方法及其***与计算机可读取记录介质
US10867390B2 (en) Computer vision processing
JP5703194B2 (ja) ジェスチャ認識装置、その方法、及び、そのプログラム
US9275275B2 (en) Object tracking in a video stream
WO2019059020A1 (ja) 制御装置、制御方法、及びプログラム
JP2015212849A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10970807B2 (en) Information processing apparatus and storage medium
WO2016029399A1 (en) Object selection based on region of interest fusion
CN112367559B (zh) 视频展示方法、装置、电子设备、服务器及存储介质
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
CN112954212A (zh) 视频生成方法、装置及设备
US20160140762A1 (en) Image processing device and image processing method
CN111986229A (zh) 视频目标检测方法、装置及计算机***
US9838615B2 (en) Image editing method and electronic device using the same
WO2011096571A1 (ja) 入力装置
CN111176425A (zh) 多屏幕操作方法与使用此方法的电子***
CN107357424A (zh) 一种手势操作的识别方法、设备及计算机可读存储介质
WO2023273071A1 (zh) 一种图像处理方法、装置及电子设备
CN108428241A (zh) 高清视频中移动目标的运动轨迹捕获方法
JP2014085845A (ja) 動画処理装置、動画処理方法、プログラム、および集積回路
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
JP5397245B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant