CN116627262A - 一种基于数据处理的vr交互设备控制方法及*** - Google Patents

一种基于数据处理的vr交互设备控制方法及*** Download PDF

Info

Publication number
CN116627262A
CN116627262A CN202310923037.0A CN202310923037A CN116627262A CN 116627262 A CN116627262 A CN 116627262A CN 202310923037 A CN202310923037 A CN 202310923037A CN 116627262 A CN116627262 A CN 116627262A
Authority
CN
China
Prior art keywords
moving image
motion
image
user
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310923037.0A
Other languages
English (en)
Other versions
CN116627262B (zh
Inventor
范文漪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202310923037.0A priority Critical patent/CN116627262B/zh
Publication of CN116627262A publication Critical patent/CN116627262A/zh
Application granted granted Critical
Publication of CN116627262B publication Critical patent/CN116627262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于数据处理的VR交互设备控制方法及***，属于VR设备管理技术领域，其方法包括以下步骤：S1、根据运动图像生成用户的运动姿态；S2、根据手部位姿数据生成用户的三维手势；S3、将用户的运动姿态和三维手势传输至VR交互设备。该VR交互设备控制方法通过采集手部位姿数据，利用不同时刻的手部位姿数据对应的高斯混合模型进行修正，使构建的模型更适用于当前用户，且通过构建运动方程确定手势，从而准确地反映用户需求；生成的位姿和手势传输至VR交互设备，便于实现人机交互，提高用户体验。

Description

一种基于数据处理的VR交互设备控制方法及***
技术领域
本发明属于VR设备管理技术领域，具体涉及一种基于数据处理的VR交互设备控制方法及***。
背景技术
VR设备是利用仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等多种技术集合的产品，能够借助计算机及传感器实现人机交互。目前，现有VR设备在实现人机交互的控制过程中，对用户的姿态识别和手势的识别精准度有待提高，容易出现误操作，导致给人机交互信号的输入带来不便。
发明内容
本发明为了解决上述问题，提出了一种基于数据处理的VR交互设备控制方法及***。
本发明的技术方案是：一种基于数据处理的VR交互设备控制方法包括以下步骤：
S1、通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
S2、通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
S3、将用户的运动姿态和三维手势传输至VR交互设备；
S1包括以下子步骤：
S11、通过VR交互设备的摄像头采集用户的运动图像，对运动图像进行裁剪，确定运动图像的运动区域，生成局部运动图像；
S12、提取局部运动图像中用户的肢体活动区域，生成肢体运动图像；
S13、提取肢体运动图像的边缘轮廓；
S14、根据肢体运动图像的边缘轮廓，生成用户的运动姿态。
本发明的有益效果是：
（1）该VR交互设备控制方法通过对用户的运动图像进行逐步裁剪，精准地确定肢体活动区域，再根据肢体活动区域生成边缘轮廓，基于边缘轮廓即可得到用户的运动姿态，整个过程可以减少用户所处背景带来的干扰，提高姿态识别精准度；
（2）该VR交互设备控制方法通过采集手部位姿数据，利用不同时刻的手部位姿数据对应的高斯混合模型进行修正，使构建的模型更适用于当前用户，且通过构建运动方程确定手势，从而准确地反映用户需求；生成的位姿和手势传输至VR交互设备，便于实现人机交互，提高用户体验。
进一步地，S11中，对运动图像进行裁剪的具体方法为：设定像素特征阈值，利用滑动窗口在运动图像上滑动，得到若干个图像块；计算各个图像块的像素特征值，将像素特征值小于像素特征阈值的图像块剔除，将剩余图像块作为运动图像的运动区域，生成局部图像；
进一步地，图像块的像素特征值σ的计算公式为：；式中，V max 表示运动图像的最大亮度值，V min 表示运动图像的最小亮度值，V k 表示图像块中第k个像素点的亮度值，K表示图像块的像素点个数，S表示图像块的面积。
进一步地，S12中，生成肢体运动图像的具体方法为：利用K-means聚类算法对局部运动图像进行聚类处理，得到各个像素点与初始聚类中心之间的相似度，根据相似度小于0.5的所有像素点生成最大连通区域，将运动图像的运动区域与最大连通区域的差值作为肢体活动区域，生成肢体运动图像。
进一步地，S13中，提取肢体运动图像的边缘轮廓的具体方法为：提取肢体运动图像中各个图像块的局部轮廓，将所有图像块的局部轮廓连接作为提取肢体运动图像的边缘轮廓。
进一步地，S2包括以下子步骤：
S21、通过VR交互设备的手柄采集用户当前时刻的手部位姿数据，并构建当前时刻的手部高斯混合模型；
S22、根据上一时刻的手部位姿数据和下一时刻的手部位姿数据，对手部高斯混合模型进行迭代修正；
S23、利用迭代修正后的手部高斯混合模型，分别确定当前时刻的关节运动方程和手掌运动方程；
S24、根据当前时刻的关节运动方程和手掌运动方程，确定用户的三维手势。
进一步地，S22中，迭代修正后的手部高斯混合模型F的表达式为：；式中，a n+1表示下一时刻的手掌运动加速度，a n-1表示上一时刻的手掌运动加速度，b n+1表示下一时刻的关节运动加速度，b n-1表示上一时刻的关节运动加速度，f(·)表示概率密度函数，y t 表示当前时刻的手部位姿数据集合，μ n 表示当前时刻的手部高斯混合模型均值，δ n 表示当前时刻的手部高斯混合模型协方差。
手部位姿数据包括手掌部分的位姿数据和关节部分的位姿数据，所以手部高斯混合模型均值指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的均值，手部高斯混合模型协方差指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的协方差。
进一步地，S23中，当前时刻的手掌运动方程A的表达式为：；式中，ε表示常数，c n+1表示下一时刻的手掌运动速度，c n 表示当前时刻的手掌运动速度，c n-1表示上一时刻的手掌运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
进一步地，S23中，当前时刻的关节运动方程B的表达式为：；式中，ε表示常数，d n+1表示下一时刻的关节运动速度，d n 表示当前时刻的关节运动速度，d n-1表示上一时刻的关节运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
基于以上方法，本发明还提出一种基于数据处理的VR交互设备控制***，包括运动姿态生成单元、三维手势生成单元和终端传输单元；
运动姿态生成单元用于通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
三维手势生成单元用于通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
终端传输单元用于将用户的运动姿态和三维手势传输至VR交互设备。
本发明的有益效果是：该VR交互设备控制***可以为用户生成准确的姿态和手势，便于实现人机交互，提高用户体验。
附图说明
图1为基于数据处理的VR交互设备控制方法的流程图；
图2为基于数据处理的VR交互设备控制***的结构图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于数据处理的VR交互设备控制方法，包括以下步骤：
S1、通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
S2、通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
S3、将用户的运动姿态和三维手势传输至VR交互设备；
S1包括以下子步骤：
S11、通过VR交互设备的摄像头采集用户的运动图像，对运动图像进行裁剪，确定运动图像的运动区域，生成局部运动图像；
S12、提取局部运动图像中用户的肢体活动区域，生成肢体运动图像；
S13、提取肢体运动图像的边缘轮廓；
S14、根据肢体运动图像的边缘轮廓，生成用户的运动姿态。
在本发明中，未直接采集用户的运动视频，再对运动视频分帧得到的图像进行处理，而是直接采集用户的运动图像进行处理，可以简化三维运动姿态的生成流程，而保证运动姿态准确的要素之一是对运动图像进行预处理，尽可能地保证运动图像中包含位姿数据，减少背景或不相干数据的干扰。
仅靠摄像头采集的运动图像会存在用户所处背景的干扰，所以利用裁剪框对运动图像进行初步裁剪，生成局部运动图像，保证后续步骤进行图像处理时无背景干扰，提高运动姿态的准确度。局部运动图像因为采用剪裁框直接剪裁的原因，还是会存在部分背景干扰，所以需要对提取局部运动图像进行肢体活动区域，肢体活动区域中仅包括用户的肢体轮廓，其用于三维姿态生成时更加准确。由于肢体活动图像的干扰噪声小，因此可直接在其中提取边缘轮廓。
在本发明实施例中，S11中，对运动图像进行裁剪的具体方法为：设定像素特征阈值，利用滑动窗口在运动图像上滑动，得到若干个图像块；计算各个图像块的像素特征值，将像素特征值小于像素特征阈值的图像块剔除，将剩余图像块作为运动图像的运动区域，生成局部图像；
在本发明实施例中，图像块的像素特征值σ的计算公式为：；式中，V max 表示运动图像的最大亮度值，V min 表示运动图像的最小亮度值，V k 表示图像块中第k个像素点的亮度值，K表示图像块的像素点个数，S表示图像块的面积。
将运动图像中所有像素点的亮度值均值作为像素特征阈值。利用固定大小的滑动窗口在运动图像上滑动，可以将运动图像分割成若干个大小相同的图像块，各个图像块可以作为一个样本，将像素点的亮度值作为样本特征，与像素特征阈值进行大小比较，像素特征值异常的图像块属于背景干扰存在的区域，故将其剔除。
在本发明实施例中，S12中，生成肢体运动图像的具体方法为：利用K-means聚类算法对局部运动图像进行聚类处理，得到各个像素点与初始聚类中心之间的相似度，根据相似度小于0.5的所有像素点生成最大连通区域，将运动图像的运动区域与最大连通区域的差值作为肢体活动区域，生成肢体运动图像。
K-means聚类算法可以将局部运动图像分为高像素类和低像素类，所以相似度类小于0.5的像素点为低像素类，将其作为最大连通区域。
在本发明实施例中，S13中，提取肢体运动图像的边缘轮廓的具体方法为：提取肢体运动图像中各个图像块的局部轮廓，将所有图像块的局部轮廓连接作为提取肢体运动图像的边缘轮廓。
由运动图像到局部运动图像的裁剪过程只是裁剪多余背景，不会破坏局部图像中用户轮廓的完整性。由局部运动图像到肢体运动图像只是进一步确定了肢体活动区域，所以肢体运动图像中包含了能构成边缘轮廓的所有图像块，因此直接提取肢体运动图像中各个图像块的边缘轮廓并连接，即可作为肢体运动图像的整体边缘轮廓。可以采用掏空内部点法提取各个图像块的轮廓。
在本发明实施例中，S2包括以下子步骤：
S21、通过VR交互设备的手柄采集用户当前时刻的手部位姿数据，并构建当前时刻的手部高斯混合模型；高斯混合模型：用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。
S22、根据上一时刻的手部位姿数据和下一时刻的手部位姿数据，对手部高斯混合模型进行迭代修正；
S23、利用迭代修正后的手部高斯混合模型，分别确定当前时刻的关节运动方程和手掌运动方程；
S24、根据当前时刻的关节运动方程和手掌运动方程，确定用户的三维手势。
在本发明实施例中，高斯混合模型：用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。
通过上一时刻和下一时刻的手部位姿数据对手部高斯混合模型进行进一步迭代修正，可以对手部位姿数据进行精准量化，尽量靠近真实手势。三维手势主要由手掌、手指及手指关节组成，而手指关节往往可以决定三维手势中手的指向及具体要完成的操作，所以需要得到手掌运动方程和关节运动方程，再由运动方程得到具体的手势。
在本发明实施例中，S22中，迭代修正后的手部高斯混合模型F的表达式为：；式中，a n+1表示下一时刻的手掌运动加速度，a n-1表示上一时刻的手掌运动加速度，b n+1表示下一时刻的关节运动加速度，b n-1表示上一时刻的关节运动加速度，f(·)表示概率密度函数，y t 表示当前时刻的手部位姿数据集合，μ n 表示当前时刻的手部高斯混合模型均值，δ n 表示当前时刻的手部高斯混合模型协方差。
手部位姿数据包括手掌部分的位姿数据和关节部分的位姿数据，所以手部高斯混合模型均值指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的均值，手部高斯混合模型协方差指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的协方差。
在本发明实施例中，S23中，当前时刻的手掌运动方程A的表达式为：；式中，ε表示常数，c n+1表示下一时刻的手掌运动速度，c n 表示当前时刻的手掌运动速度，c n-1表示上一时刻的手掌运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
在本发明实施例中，S23中，当前时刻的关节运动方程B的表达式为：；式中，ε表示常数，d n+1表示下一时刻的关节运动速度，d n 表示当前时刻的关节运动速度，d n-1表示上一时刻的关节运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
基于以上方法，本发明还提出一种基于数据处理的VR交互设备控制***，如图2所示，包括运动姿态生成单元、三维手势生成单元和终端传输单元；
运动姿态生成单元用于通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
三维手势生成单元用于通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
终端传输单元用于将用户的运动姿态和三维手势传输至VR交互设备。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于数据处理的VR交互设备控制方法，其特征在于，包括以下步骤：
S1、通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
S2、通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
S3、将用户的运动姿态和三维手势传输至VR交互设备；
所述S1包括以下子步骤：
S11、通过VR交互设备的摄像头采集用户的运动图像，对运动图像进行裁剪，确定运动图像的运动区域，生成局部运动图像；
S12、提取局部运动图像中用户的肢体活动区域，生成肢体运动图像；
S13、提取肢体运动图像的边缘轮廓；
S14、根据肢体运动图像的边缘轮廓，生成用户的运动姿态。
2.根据权利要求1所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S11中，对运动图像进行裁剪的具体方法为：设定像素特征阈值，利用滑动窗口在运动图像上滑动，得到若干个图像块；计算各个图像块的像素特征值，将像素特征值小于像素特征阈值的图像块剔除，将剩余图像块作为运动图像的运动区域，生成局部图像。
3.根据权利要求2所述的基于数据处理的VR交互设备控制方法，其特征在于，所述图像块的像素特征值σ的计算公式为：；式中，V max 表示运动图像的最大亮度值，V min 表示运动图像的最小亮度值，V k 表示图像块中第k个像素点的亮度值，K表示图像块的像素点个数，S表示图像块的面积。
4.根据权利要求1所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S12中，生成肢体运动图像的具体方法为：利用K-means聚类算法对局部运动图像进行聚类处理，得到各个像素点与初始聚类中心之间的相似度，根据相似度小于0.5的所有像素点生成最大连通区域，将运动图像的运动区域与最大连通区域的差值作为肢体活动区域，生成肢体运动图像。
5.根据权利要求1所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S13中，提取肢体运动图像的边缘轮廓的具体方法为：提取肢体运动图像中各个图像块的局部轮廓，将所有图像块的局部轮廓连接作为提取肢体运动图像的边缘轮廓。
6.根据权利要求1所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S2包括以下子步骤：
S21、通过VR交互设备的手柄采集用户当前时刻的手部位姿数据，并构建当前时刻的手部高斯混合模型；
S22、根据上一时刻的手部位姿数据和下一时刻的手部位姿数据，对手部高斯混合模型进行迭代修正；
S23、利用迭代修正后的手部高斯混合模型，分别确定当前时刻的关节运动方程和手掌运动方程；
S24、根据当前时刻的关节运动方程和手掌运动方程，确定用户的三维手势。
7.根据权利要求6所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S22中，迭代修正后的手部高斯混合模型F的表达式为：；式中，a n+1表示下一时刻的手掌运动加速度，a n-1表示上一时刻的手掌运动加速度，b n+1表示下一时刻的关节运动加速度，b n-1表示上一时刻的关节运动加速度，f(·)表示概率密度函数，y t 表示当前时刻的手部位姿数据集合，μ n 表示当前时刻的手部高斯混合模型均值，δ n 表示当前时刻的手部高斯混合模型协方差；
手部位姿数据包括手掌部分的位姿数据和关节部分的位姿数据，所以手部高斯混合模型均值指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的均值，手部高斯混合模型协方差指手掌部分的子高斯混合模型和与关节部分的子高斯混合模型之间的协方差。
8.根据权利要求6所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S23中，当前时刻的手掌运动方程A的表达式为：；式中，ε表示常数，c n+1表示下一时刻的手掌运动速度，c n 表示当前时刻的手掌运动速度，c n-1表示上一时刻的手掌运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
9.根据权利要求6所述的基于数据处理的VR交互设备控制方法，其特征在于，所述S23中，当前时刻的关节运动方程B的表达式为：；式中，ε表示常数，d n+1表示下一时刻的关节运动速度，d n 表示当前时刻的关节运动速度， d n-1表示上一时刻的关节运动速度，t 1表示下一时刻与当前时刻之间的时长，t 2表示当前时刻与上一时刻之间的时长，F表示迭代修正后的手部高斯混合模型。
10.一种基于数据处理的VR交互设备控制***，其特征在于，包括运动姿态生成单元、三维手势生成单元和终端传输单元；
所述运动姿态生成单元用于通过VR交互设备的摄像头采集用户的运动图像，并根据运动图像生成用户的运动姿态；
所述三维手势生成单元用于通过VR交互设备的手柄采集用户的手部位姿数据，并根据手部位姿数据生成用户的三维手势；
所述终端传输单元用于将用户的运动姿态和三维手势传输至VR交互设备。
CN202310923037.0A 2023-07-26 2023-07-26 一种基于数据处理的vr交互设备控制方法及*** Active CN116627262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310923037.0A CN116627262B (zh) 2023-07-26 2023-07-26 一种基于数据处理的vr交互设备控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310923037.0A CN116627262B (zh) 2023-07-26 2023-07-26 一种基于数据处理的vr交互设备控制方法及***

Publications (2)

Publication Number Publication Date
CN116627262A true CN116627262A (zh) 2023-08-22
CN116627262B CN116627262B (zh) 2023-10-13

Family

ID=87610342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310923037.0A Active CN116627262B (zh) 2023-07-26 2023-07-26 一种基于数据处理的vr交互设备控制方法及***

Country Status (1)

Country Link
CN (1) CN116627262B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
CN106346485A (zh) * 2016-09-21 2017-01-25 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN108318038A (zh) * 2018-01-26 2018-07-24 南京航空航天大学 一种四元数高斯粒子滤波移动机器人姿态解算方法
CN108628455A (zh) * 2018-05-14 2018-10-09 中北大学 一种基于触摸屏手势识别的虚拟沙画绘制方法
CN115050095A (zh) * 2022-06-06 2022-09-13 浙江工业大学 一种基于高斯过程回归和渐进滤波的人体姿态预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
CN106346485A (zh) * 2016-09-21 2017-01-25 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN108318038A (zh) * 2018-01-26 2018-07-24 南京航空航天大学 一种四元数高斯粒子滤波移动机器人姿态解算方法
CN108628455A (zh) * 2018-05-14 2018-10-09 中北大学 一种基于触摸屏手势识别的虚拟沙画绘制方法
CN115050095A (zh) * 2022-06-06 2022-09-13 浙江工业大学 一种基于高斯过程回归和渐进滤波的人体姿态预测方法

Also Published As

Publication number Publication date
CN116627262B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109461167B (zh) 图像处理模型的训练方法、抠图方法、装置、介质及终端
US10891473B2 (en) Method and device for use in hand gesture recognition
EP3174012B1 (en) Locating and tracking fingernails in images
CN107480585B (zh) 基于dpm算法的目标检测方法
KR102121654B1 (ko) 딥러닝 기반 제스처 자동 인식 방법 및 시스템
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN112036261A (zh) 手势识别方法、装置、存储介质、电子装置
CN112613384A (zh) 手势识别方法、手势识别装置及交互显示设备的控制方法
CN110610131A (zh) 人脸运动单元的检测方法、装置、电子设备及存储介质
CN111445386A (zh) 基于文本内容四点检测的图像校正方法
Enikeev et al. Recognition of sign language using leap motion controller data
CN116627262B (zh) 一种基于数据处理的vr交互设备控制方法及***
EP2781991B1 (en) Signal processing device and signal processing method
Nandhini et al. Sign language recognition using convolutional neural network
CN109299743B (zh) 手势识别方法及装置、终端
Kumar et al. SSVM classifier and hand gesture based sign language recognition
CN113392820B (zh) 动态手势识别方法、装置、电子设备及可读存储介质
CN112232217B (zh) 手势识别***
CN112308041A (zh) 一种基于视觉的无人平台手势控制方法
Rao et al. Gesture based robot control
Bhame et al. Vision based calculator for speech and hearing impaired using hand gesture recognition
Sethi et al. Hand Gesture Detection Using Segmentation
CN113392821B (zh) 动态手势识别方法、装置、电子设备及可读存储介质
CN114489328B (zh) 一种基于手势分布模板动作识别的机器人控制方法和***
Padmaja et al. Indian sign language recognition in real time for deaf and dumb

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant