CN111696140A - 基于单目的三维手势追踪方法 - Google Patents

基于单目的三维手势追踪方法 Download PDF

Info

Publication number
CN111696140A
CN111696140A CN202010387724.1A CN202010387724A CN111696140A CN 111696140 A CN111696140 A CN 111696140A CN 202010387724 A CN202010387724 A CN 202010387724A CN 111696140 A CN111696140 A CN 111696140A
Authority
CN
China
Prior art keywords
dimensional
tracking
bone
data
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010387724.1A
Other languages
English (en)
Other versions
CN111696140B (zh
Inventor
吴涛
周锋宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010387724.1A priority Critical patent/CN111696140B/zh
Publication of CN111696140A publication Critical patent/CN111696140A/zh
Application granted granted Critical
Publication of CN111696140B publication Critical patent/CN111696140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于单目的三维手势追踪方法，包括：训练手部检测模型与骨骼点识别模型，根据上一帧图像中手部的检测个数启动手部检测模型和跟踪模块，通过骨骼点识别模型对Trackhand中的当前帧的感兴趣区域进行骨骼点识别，并对识别出的骨骼点进行平滑滤波处理；统计每一帧图像中头部关于位置、姿态的数据，并将头部的数据实时存入所述跟踪模块的队列Trackhead中，结合Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，对三维骨骼坐标进行渲染处理以完成手势追踪，以一个单目相机代替两个红外双目相机，减少成本，即使安装两个单目相机亦比一个红外双目相机的成本低，降低整体能耗和散热，减轻头戴整体质量，增加头戴舒适性。

Description

基于单目的三维手势追踪方法
技术领域
本发明涉及计算机视觉领域，更为具体地，涉及一种基于单目的三维手势追踪方法。
背景技术
为了增强VR/AR/MR虚实结合的沉浸感，使VR/AR/MR有个更好的体验，人机交互模块必不可少，特别是手的3D姿态在VR/AR/MR场景中的高精度实时还原是非常影响用户在VR/AR/MR场景中的体验沉浸感。
目前在VR/AR/MR领域，在主流的头戴一体机上，需要再额外增加手势识别追踪器，传统方法为额外再单独添加2个红外双目相机，或者深度相机来实现手指追踪，但是在VR/AR/MR领域，会存在以下问题：1.增加了额外的成本；2.增加了额外的功耗，现在主流的头戴都是一体机形式，即通过电池自主供电，所以整个***的功耗非常影响用户交互的时间长短；3.在增加功耗的同时，散热也会成为一个很大的挑战；4.结构设计，增加了结构设计的复杂度和ID的挑战，违背头戴一体机体积小巧，配戴轻便，用户长时间佩戴不觉得有不适感的发展目标；5.目前比较成熟和流行的深度相机FOV一般比较小在90°左右，而头戴所需的FOV一般在110°左右，即传统方法中采用深度相机极易使手的一些运动轨迹追踪不到。
因此，亟需一种节约成本、降低功耗、减少散热、增加可视区域，且能够降低头戴重量，提高头戴舒适性的基于单目的三维手势追踪方法。
发明内容
鉴于上述问题，本发明的目的是提供一种基于单目的三维手势追踪方法，以解决现有方法中红外双目相机成本高、功耗大、散热高，增加整个头戴结构设计的复杂度，增大头戴体积，用户长时间佩戴会产生不适感，并且可视视角较小，极易使手的运动轨迹追踪不全。
本发明提供的一种基于单目的三维手势追踪方法，其特征在于，包括：
训练手部检测模型与骨骼点识别模型，以使所述手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使所述骨骼点识别模型自动识别所述感兴趣区域中的骨骼点；
根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块，以获取当前帧的感兴趣区域，并将所述当前帧的数据信息保存至所述跟踪模块的跟踪队列Trackhand中；所述当前帧的数据信息至少包括所述当前帧的感兴趣区域；
通过所述骨骼点识别模型对所述Trackhand中的所述当前帧的感兴趣区域进行骨骼点识别，并根据所述Trackhand中的历史数据对识别出的骨骼点进行平滑滤波处理；
将每一帧图像中头部关于位置、姿态的数据实时存入所述跟踪模块的队列Trackhead中，结合所述Trackhead中头部的数据确定所述平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。
优选地，在训练手部检测模型与骨骼点识别模型的过程中，
采用头部追踪摄像头采集至少100个用户的手部图像数据作为动作行为案例；
将所述动作行为案例输入所述手部检测模型与所述骨骼点识别模型进行模型训练。
优选地，在根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块的过程中，
若检测个数为0或1，则启动所述手部检测模型和跟踪模块；
若检测个数为2，则仅启动跟踪模块。
优选地，在对所述Trackhand中的当前帧的感兴趣区域进行骨骼点识别的过程中，
所述感兴趣区域包括手在图像中的位置坐标和手对应的区域大小；
所述骨骼点为21个。
优选地，在获取当前帧的感兴趣区域的过程中，还包括：
基于光流追踪算法根据所述当前帧的感兴趣区域估计下一帧的感兴趣区域，以为下一帧进行骨骼点识别提供参照。
优选地，在结合所述Trackhead中头的的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标的过程中，
读取所述Trackhead中头的数据，获取当前帧相对上一帧头的转移矩阵T和旋转矩阵R；
根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标。
优选地，所述预设的追踪相机的标定参数
Figure BDA0002484418300000031
其中，
fx，fy表示所述追踪相机的像素焦距，cx,cy表示所述追踪相机光轴在图像坐标的位置。
优选地，在根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标的过程中，
选择所述骨骼点中的任意一个骨骼点进行三维坐标计算；
依次计算每一个骨骼点直至结束计算两只手的所有骨骼点。
优选地，在选择所述骨骼点中的任意一个骨骼点进行三维坐标计算的过程中，
选择所述骨骼点中的点P，获取所述点P的坐标信息，令点P的上一帧三维坐标为
Figure BDA0002484418300000032
二维图像坐标为
Figure BDA0002484418300000033
已知二维图像坐标为
Figure BDA0002484418300000034
Figure BDA0002484418300000035
假设预设点P在当前帧的三维坐标为：
Figure BDA0002484418300000036
由点P的坐标信息可得
Figure BDA0002484418300000037
Figure BDA0002484418300000038
Figure BDA0002484418300000039
且P2＝R*P1+T；则
Figure BDA00024844183000000310
+T；其中，所述K-1为所述标定参数
Figure BDA00024844183000000311
的逆矩阵。
获取所述点P在当前帧的三维骨骼坐标
Figure BDA00024844183000000312
完成二维骨骼坐标至三维骨骼坐标的转换。
优选地，在结合所述Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪的过程中，
将平滑滤波后的骨骼点与头部的追踪数据进行融合，并将融合后的数据由相机坐标系移至VR虚拟现实头戴的坐标系上形成三维手势信息；
将所述三维手势信息传输至游戏引擎，经过渲染再实时回传至VR虚拟头戴做显示处理，完成手势追踪。
从上面的技术方案可知，本发明提供的一种基于单目的三维手势追踪方法，通过训练手部检测模型和骨骼点识别模型以获取单目相机拍摄的手部图像中的感兴趣区域，根据上一帧图像的感兴趣区域估计下一帧图像感兴趣区域，再对感兴趣区域进行骨骼点识别，同时获取头部运动数据，结合头部数据对单目相机捕捉到的二维图像数据进行三维计算，从而确定各个骨骼点的三维坐标，完成二维至三维的转换，如此，以一个普通单目相机即可实现手部区域三维立体坐标的展示，以一个单目相机代替两个红外双目相机减少相机成本，即使安装两个单目相机亦比一个红外双目相机的成本低，降低整体能耗和散热，并且单目相机安装至头戴上，减少结构设计、减轻头戴的整体质量，增加头戴的舒适性，即使用户长时间佩戴也不会感到不适，此外单目相机FOV较大，能够更加全面的捕捉到手部运动踪迹。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于单目的三维手势追踪方法示意图；
图2为根据本发明实施例的基于单目的三维手势追踪方法中手部骨骼点的示意图。
具体实施方式
目前在VR/AR/MR领域，需在主流的头戴一体机上额外增加手势识别追踪器，即添加2个红外双目相机或者深度相机作为手势识别追踪器，存在以下问题：1.增加了额外的成本；2.增加了额外的功耗，现在主流的头戴都是一体机形式，即通过电池自主供电，所以整个***的功耗非常影响用户交互的时间长短；3.在增加功耗的同时，散热也会成为一个很大的挑战；4.结构设计，增加了结构设计的复杂度和ID的挑战，违背头戴一体机体积小巧，配戴轻便，用户长时间佩戴不觉得有不适感的发展目标；5.目前比较成熟和流行的深度相机FOV一般比较小在90°左右，而头戴所需的FOV一般在110°左右，即传统方法中采用深度相机极易使手的一些运动轨迹追踪不到。
针对上述问题，本发明提供一种基于单目的三维手势追踪方法，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于单目的三维手势追踪方法，图1对本发明实施例的基于单目的三维手势追踪方法进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的基于单目的三维手势追踪方法，包括：
S110：训练手部检测模型与骨骼点识别模型，以使该手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使该骨骼点识别模型自动识别该感兴趣区域中的骨骼点；
S120：先判断上一帧图像中手部的检测个数，再根据上一帧图像中手部的检测个数启动该手部检测模型和跟踪模块，以获取当前帧的感兴趣区域，并将当前帧的数据信息保存至该跟踪模块的跟踪队列Trackhand中；
S130：从该Trackhand中获取当前帧图像上的感兴趣区域，通过该骨骼点识别模型对该Trackhand中的当前帧的感兴趣区域进行骨骼点识别，并根据该Trackhand中的历史数据对识别出的该骨骼点进行平滑滤波处理；
S140：统计每一帧图像中头部关于位置、姿态的数据，并将头部的数据实时存入该跟踪模块的队列Trackhead中，结合该Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S110中，首先采用头部追踪摄像头采集至少100个用户的手部图像数据作为动作行为案例，采集完动作行为案例之后，再将动作行为案例输入手部检测模型与骨骼点识别模型进行模型训练；该头部追踪不作具体限制，可以为红外双目摄像头，也可以为单目摄像头，采集方法不作具体限制，可以为传统的通过人工标注骨骼点的方法采集标有骨骼点的手部图像数据，也可以采用前沿智能的机械化采集，在本实施例中，采用头戴上的头部追踪摄像头进行采集，再进行手部图像的骨骼点标注，以精准的标注骨骼点，从而更加精准的训练手部检测模型与骨骼点识别模型；如果用1个头部追踪摄像头进行头部位置追踪，那么每一帧传入手部检测模型和骨骼点识别模型就是一张图像数据，如果用多个头部追踪摄像头进行位置追踪，那么每一帧传入手部检测模型和骨骼点识别模型的即为多张图像数据，在本实施例中采用单个头部追踪摄像头；采集手部图像数据的数量也不作具体限制，数量越多，则模型精准度更高，在本实施例中，至少采集100个用户的手部图像作为动作行为案例，以使手部检测模型与骨骼点识别模型精度更高。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S120中，首先判断上一帧图像中手部的检测个数，若检测个数为0或1，则启动该手部检测模型和跟踪模块，若检测个数为2，则仅启动跟踪模块，即一个人最多两只手，若检测个数为2，则证明上一帧中两只手都在画面中，只需将当前帧的数据信息存入跟踪模块等待后续的骨骼点识别即可，若在上一帧中没有手或仅有一只手，则在当前帧中需先获取当前帧的感兴趣区域，从而后续再对感兴趣区域进行骨骼点识别。
如图1、图2共同所示，本发明提供的基于单目的三维手势追踪方法，在步骤S120中，感兴趣区域包括手在图像中的位置坐标和手对应的区域大小，手的骨骼点共有21个，在获取当前帧感兴趣区域、识别骨骼点的过程中，开启追踪模块，将当前帧的数据信息保存至该跟踪模块的跟踪队列Trackhand中，同时，基于光流追踪算法根据该当前帧的感兴趣区域估计下一帧的感兴趣区域，以为下一帧进行骨骼点识别提供参照。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S130中，从Trackhand里获取到手在当前帧图像上的感兴趣区域，在图像数据的感兴趣区域上通过骨骼点识别模型进行手的骨骼点识别，再通过和各骨骼点的历史数据做对比而对各个骨骼点进行平滑滤波处理，避免某一帧中某一个骨骼点识别不太稳定的可能，提高手部骨骼点识别精度和稳定性；这里的历史数据指的是每一次进行步骤S120时，当前帧的数据信息保存至跟踪队列Trackhand中的所有存在的数据，即每一次保存的当前帧的数据信息的集合，也可以说该历史数据为跟踪队列Trackhand中所存在的所有数据，这里的所有数据为所有获取当前帧感兴趣区域时，保存的当前帧的数据信息。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S140中，统计每一帧图像中头部关于位置、姿态的数据，并将该头部的数据实时存入该跟踪模块的队列Trackhead中，结合该Trackhead中的数据计算该骨骼点的三维骨骼坐标，完成二维到三维的手势追踪。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S140中，在结合Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标的过程中，首先读取Trackhead中头的数据，获取当前帧相对上一帧头的转移矩阵T和旋转矩阵R；根据预设的追踪相机的标定参数、转移矩阵T以及旋转矩阵R，确定骨骼点的三维坐标；其中，该预设的追踪相机的标定参数
Figure BDA0002484418300000075
其中，fx，fy表示该追踪相机的像素焦距，cx,cy表示该追踪相机光轴在图像坐标的位置；在进行坐标计算时，可先选择一个骨骼点进行三维计算，然后按照一致的计算方法依次计算两只中其余四十一个骨骼点(每只手包括21个骨骼点)的三维坐标，直至将两只手上的全部骨骼点的三维坐标均计算完成，再进行后续渲染处理，已完成两只手的手势追踪。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S140中，在选择骨骼点中的任意一个骨骼点进行三维坐标计算的过程中，
具体的运算方式不作具体限制，在本实施例中首先选择骨骼点中的点P，获取点P的坐标信息，令点P的上一帧三维坐标为
Figure BDA0002484418300000071
二维图像坐标为
Figure BDA0002484418300000072
已知二维图像坐标为
Figure BDA0002484418300000073
假设预设点P在当前帧的三维坐标为：
Figure BDA0002484418300000074
这里的P1、L1、L2均为矩阵，X1、Y1、Z1、u1、v1均为行矩阵或列矩阵，以下亦皆为矩阵运算。
再由点P的坐标信息可得出
Figure BDA0002484418300000081
Figure BDA0002484418300000082
且P2＝R*P1+T； ③
根据①②③式得出
Figure BDA0002484418300000083
故，
Figure BDA0002484418300000084
Figure BDA0002484418300000085
其中，该K-1为该标定参数
Figure BDA0002484418300000086
的逆矩阵；
获取点P在当前帧的三维骨骼坐标
Figure BDA0002484418300000087
完成二维骨骼坐标至三维骨骼坐标的转换，上述计算省略了中间过程，该计算过程由头戴内部芯片具体执行。
如图1所示，本发明提供的基于单目的三维手势追踪方法，在步骤S140结合该Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪的过程中，
将平滑滤波后的骨骼点与头部的追踪数据进行融合，并将融合后的数据由相机坐标系移至VR虚拟现实头戴的坐标系上形成三维手势信息；进而将该三维手势信息传输至游戏引擎，经过渲染再实时回传至VR虚拟头戴做显示处理，使用户在VR虚拟现实头戴的显示器上看到自己的情境画面，完成手势追踪。
通过上述实施方式可以看出，本发明提供的基于单目的三维手势追踪方法，训练手部检测模型和骨骼点识别模型以获取单目相机拍摄的手部图像中的感兴趣区域，根据上一帧图像的感兴趣区域估计下一帧图像感兴趣区域，再对感兴趣区域进行骨骼点识别，同时获取头部运动数据，结合头部数据对单目相机捕捉到的二维图像数据进行三维计算，从而确定各个骨骼点的三维坐标，完成二维至三维的转换，如此，以一个普通单目相机即可实现手部区域三维立体坐标的展示，减少相机成本，即使安装两个单目相机亦比一个红外双目相机的成本低，降低整体能耗和散热，并且单目相机安装至头戴上，减少结构设计、减轻头戴的整体质量，增加头戴的舒适性，即使用户长时间佩戴也不会感到不适，此外单目相机FOV较大，能够更加全面的捕捉到手部运动踪迹。
如上参照附图以示例的方式描述了根据本发明提出的基于单目的三维手势追踪方法。但是，本领域技术人员应当理解，对于上述本发明所提出的基于单目的三维手势追踪方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于单目的三维手势追踪方法，其特征在于，包括：
训练手部检测模型与骨骼点识别模型，以使所述手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使所述骨骼点识别模型自动识别所述感兴趣区域中的骨骼点；
根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块，获取当前帧的感兴趣区域，并将所述当前帧的数据信息保存至所述跟踪模块的跟踪队列Trackhand中；所述当前帧的数据信息至少包括所述当前帧的感兴趣区域；
通过所述骨骼点识别模型对所述Trackhand中的所述当前帧的感兴趣区域进行骨骼点识别，并根据所述Trackhand中的历史数据对识别出的骨骼点进行平滑滤波处理；
将每一帧图像中头部关于位置、姿态的数据实时存入所述跟踪模块的队列Trackhead中，结合所述Trackhead中头部的数据确定所述平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。
2.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在训练手部检测模型与骨骼点识别模型的过程中，
采用头部追踪摄像头采集至少100个用户的手部图像数据作为动作行为案例；
将所述动作行为案例输入所述手部检测模型与所述骨骼点识别模型进行模型训练。
3.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块的过程中，
若检测个数为0或1，则启动所述手部检测模型和跟踪模块；
若检测个数为2，则仅启动跟踪模块。
4.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在对所述Trackhand中的当前帧的感兴趣区域进行骨骼点识别的过程中，
所述感兴趣区域包括手在图像中的位置坐标和手对应的区域大小；
所述骨骼点为21个。
5.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在获取当前帧的感兴趣区域的过程中，还包括：
基于光流追踪算法根据所述当前帧的感兴趣区域估计下一帧的感兴趣区域，以为下一帧进行骨骼点识别提供参照。
6.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在结合所述Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标的过程中，
读取所述Trackhead中头的数据，获取当前帧相对上一帧头的转移矩阵T和旋转矩阵R；
根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标。
7.如权利要求6所述的基于单目的三维手势追踪方法，其特征在于
所述预设的追踪相机的标定参数
Figure FDA0002484418290000021
其中，
fx，fy表示所述追踪相机的像素焦距，cx,cy表示所述追踪相机光轴在图像坐标的位置。
8.如权利要求6所述的基于单目的三维手势追踪方法，其特征在于，在根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标的过程中，
选择所述骨骼点中的任意一个骨骼点进行三维坐标计算；
依次计算每一个骨骼点直至结束计算两只手的所有骨骼点。
9.如权利要求6-8所述的基于单目的三维手势追踪方法，其特征在于，在选择所述骨骼点中的任意一个骨骼点进行三维坐标计算的过程中，
选择所述骨骼点中的点P，获取所述点P的坐标信息，令点P的上一帧三维坐标为
Figure FDA0002484418290000031
二维图像坐标为
Figure FDA0002484418290000032
已知二维图像坐标为
Figure FDA0002484418290000033
Figure FDA0002484418290000034
假设预设点P在当前帧的三维坐标为：
Figure FDA0002484418290000035
由点P的坐标信息可得
Figure FDA0002484418290000036
Figure FDA0002484418290000037
且P2＝R*P1+T；则
Figure FDA0002484418290000038
Figure FDA0002484418290000039
其中，所述K-1为所述标定参数
Figure FDA00024844182900000310
的逆矩阵。
获取所述点P在当前帧的三维骨骼坐标
Figure FDA00024844182900000311
完成二维骨骼坐标至三维骨骼坐标的转换。
10.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在结合所述Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪的过程中，
将平滑滤波后的骨骼点与头部的追踪数据进行融合，并将融合后的数据由相机坐标系移至VR虚拟现实头戴的坐标系上形成三维手势信息；
将所述三维手势信息传输至游戏引擎，经过渲染再实时回传至VR虚拟头戴做显示处理，完成手势追踪。
CN202010387724.1A 2020-05-09 2020-05-09 基于单目的三维手势追踪方法 Active CN111696140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010387724.1A CN111696140B (zh) 2020-05-09 2020-05-09 基于单目的三维手势追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010387724.1A CN111696140B (zh) 2020-05-09 2020-05-09 基于单目的三维手势追踪方法

Publications (2)

Publication Number Publication Date
CN111696140A true CN111696140A (zh) 2020-09-22
CN111696140B CN111696140B (zh) 2024-02-13

Family

ID=72477396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010387724.1A Active CN111696140B (zh) 2020-05-09 2020-05-09 基于单目的三维手势追踪方法

Country Status (1)

Country Link
CN (1) CN111696140B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及***
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及***
CN113674395A (zh) * 2021-07-19 2021-11-19 广州紫为云科技有限公司 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建***
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法
WO2022105613A1 (zh) * 2020-11-17 2022-05-27 青岛小鸟看看科技有限公司 Vr头戴式一体机
WO2022233111A1 (zh) * 2021-05-06 2022-11-10 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、***
CN117809380A (zh) * 2024-02-29 2024-04-02 万有引力（宁波）电子科技有限公司 手势追踪方法、装置、设备、可读存储介质及程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和***
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪***的实现方法
CN106648103A (zh) * 2016-12-28 2017-05-10 歌尔科技有限公司 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN106945059A (zh) * 2017-03-27 2017-07-14 中国地质大学（武汉） 一种基于种群随机乱序多目标遗传算法的手势跟踪方法
CN108196679A (zh) * 2018-01-23 2018-06-22 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及***
CN108919943A (zh) * 2018-05-22 2018-11-30 南京邮电大学 一种基于深度传感器的实时手部追踪方法
CN110825234A (zh) * 2019-11-11 2020-02-21 江南大学 一种面向工业场景的投影式增强现实跟踪显示方法和***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和***
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪***的实现方法
US20180047175A1 (en) * 2016-08-12 2018-02-15 Nanjing Huajie Imi Technology Co., Ltd Method for implementing human skeleton tracking system based on depth data
CN106648103A (zh) * 2016-12-28 2017-05-10 歌尔科技有限公司 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN106945059A (zh) * 2017-03-27 2017-07-14 中国地质大学（武汉） 一种基于种群随机乱序多目标遗传算法的手势跟踪方法
CN108196679A (zh) * 2018-01-23 2018-06-22 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及***
CN108919943A (zh) * 2018-05-22 2018-11-30 南京邮电大学 一种基于深度传感器的实时手部追踪方法
CN110825234A (zh) * 2019-11-11 2020-02-21 江南大学 一种面向工业场景的投影式增强现实跟踪显示方法和***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
VR陀螺: "uSens 凌感发布单目RGB相机上的三维手势骨骼识别", pages 1 - 6 *
万琴;余洪山;吴迪;林国汉;: "基于三维视觉***的多运动目标跟踪方法综述", no. 19 *
杨凯;魏本征;任晓强;王庆祥;刘怀辉;: "基于深度图像的人体运动姿态跟踪和识别算法", no. 05 *
杨露菁等: "智能图像处理及应用" *
陈翰雄;黄雅云;刘宇;闫梦奎;刘峰;: "基于Kinect的空中手势跟踪识别的研究与实现", no. 21 *
黄敦博;林志贤;姚剑敏;郭太良;: "基于自适应提取和改进CAMSHIFT单目手势跟踪", no. 07 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941167B2 (en) 2020-11-17 2024-03-26 Qingdao Pico Technology Co., Ltd Head-mounted VR all-in-one machine
WO2022105613A1 (zh) * 2020-11-17 2022-05-27 青岛小鸟看看科技有限公司 Vr头戴式一体机
US20220383523A1 (en) * 2021-02-18 2022-12-01 Qingdao Pico Technology Co., Ltd. Hand tracking method, device and system
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及***
US11798177B2 (en) * 2021-02-18 2023-10-24 Qingdao Pico Technology Co., Ltd. Hand tracking method, device and system
WO2022174594A1 (zh) * 2021-02-18 2022-08-25 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及***
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及***
WO2022233111A1 (zh) * 2021-05-06 2022-11-10 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、***
US11645764B2 (en) 2021-05-06 2023-05-09 Qingdao Pico Technology Co., Ltd. Image difference-based method and system for tracking a transparent object
CN113674395A (zh) * 2021-07-19 2021-11-19 广州紫为云科技有限公司 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建***
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法
CN117809380A (zh) * 2024-02-29 2024-04-02 万有引力（宁波）电子科技有限公司 手势追踪方法、装置、设备、可读存储介质及程序产品
CN117809380B (zh) * 2024-02-29 2024-05-14 万有引力（宁波）电子科技有限公司 手势追踪方法、装置、设备、可读存储介质及程序产品

Also Published As

Publication number Publication date
CN111696140B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111696140B (zh) 基于单目的三维手势追踪方法
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN110363867B (zh) 虚拟装扮***、方法、设备及介质
CN103140879B (zh) 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
CN107656613B (zh) 一种基于眼动追踪的人机交互***及其工作方法
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN108983982B (zh) Ar头显设备与终端设备组合***
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及***
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
CN110913751A (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪***
JP5526465B2 (ja) 爪位置データ検出装置及び爪位置データ検出方法、並びに爪位置データ検出プログラム
CN110210426B (zh) 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN112416125A (zh) Vr头戴式一体机
Gurbuz et al. Model free head pose estimation using stereovision
JP2015100032A (ja) 映像表示装置、映像提示方法及びプログラム
CN107422844A (zh) 一种信息处理方法及电子设备
CN114387679A (zh) 基于递归卷积神经网络实现视线估计与注意力分析的***及其方法
Lages et al. Enhanced geometric techniques for point marking in model-free augmented reality
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和***
JP2017227687A (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant