CN117392759B - 一种基于ar教具的动作识别方法 - Google Patents

一种基于ar教具的动作识别方法 Download PDF

Info

Publication number
CN117392759B
CN117392759B CN202311685269.3A CN202311685269A CN117392759B CN 117392759 B CN117392759 B CN 117392759B CN 202311685269 A CN202311685269 A CN 202311685269A CN 117392759 B CN117392759 B CN 117392759B
Authority
CN
China
Prior art keywords
gesture
color label
layer
representing
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311685269.3A
Other languages
English (en)
Other versions
CN117392759A (zh
Inventor
凌艳
陆海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aeronautic Polytechnic
Original Assignee
Chengdu Aeronautic Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aeronautic Polytechnic filed Critical Chengdu Aeronautic Polytechnic
Priority to CN202311685269.3A priority Critical patent/CN117392759B/zh
Publication of CN117392759A publication Critical patent/CN117392759A/zh
Application granted granted Critical
Publication of CN117392759B publication Critical patent/CN117392759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AR教具的动作识别方法，属于动作识别技术领域，包括以下步骤：S1、采集用户在AR教具上的手势全局图像，并对手势全局图像进行裁剪，生成手势局部图像；S2、构建手势识别模型；S3、将手势局部图像输入至手势识别模型中，确定用户的手势动作。本发明公开了一种基于AR教具的动作识别方法，对全局图像进行精准裁剪，生成的局部图像只包含手部，便于后续步骤快速其准确地提取手势动作；同时，本发明还构建手势识别模型，手势识别模型对局部图像进行特征提取及特征融合，可以精准地提取用户的手势，便于用户控制AR教具，提高用户使用感，减少AR教具交互时间。

Description

一种基于AR教具的动作识别方法
技术领域
本发明属于动作识别技术领域，具体涉及一种基于AR教具的动作识别方法。
背景技术
随着科技的进步，AR技术日益发展，其应用越来越被人们所接受。AR沙盘作为一种新型的AR教育工具正在广泛使用。它可以将三维虚拟现实与实际环境结合起来，让学生们通过视觉、听觉和触觉等多种感官来体验，了解各种内容。在教育中，AR沙盘通过声、光、电、图像、三维动画以及计算机程控技术与实体模型相融合。学生和老师可以通过手势运动来操作AR沙盘，将手势运动图形或图像信息转换为数据信息输入给AR沙盘配备的头戴式设备，并与三维的空间化信息沙盘进行匹配，从而控制AR沙盘。然而现有AR沙盘在识别用户的动作时不够准确及反应速度较慢，因此本发明提出了一种基于AR教具的动作识别方法。
发明内容
本发明为了解决以上问题，提出了一种基于AR教具的动作识别方法。
本发明的技术方案是：一种基于AR教具的动作识别方法包括以下步骤：
S1、采集用户在AR教具上的手势全局图像，并对手势全局图像进行裁剪，生成手势局部图像；
S2、构建手势识别模型；
S3、将手势局部图像输入至手势识别模型中，确定用户的手势动作。
进一步地，S1包括以下子步骤：
S11、计算手势全局图像中各个像素点的颜色标签值；
S12、将颜色标签值最大的像素点作为标准像素点；
S13、计算手势全局图像中其余像素点的颜色标签值与标准像素点的颜色标签值之间的差值，得到颜色标签差值集合；
S14、根据颜色标签差值集合，确定手势全局图像中的无效像素点；
S15、将无效像素点从手势全局图像中剔除，生成手势局部图像。
上述进一步方案的有益效果是：在本发明中，学生或老师在使用数字沙盘时，会通过在数字沙盘上方挥动手势来完成操作，因此本发明采集挥动手势时的图像，但此时的图像可能存在多余背景，影响手势识别，因此本发明对手势全局图像进行初步裁剪，确定只含有手部的局部图像。该局部图像的三通道颜色值通常相似，所以本发明通过计算各个像素点之间的颜色标签值来筛选属于背景噪声的像素点，将其从手势全局图像中剔除，即可得到只含有手部的手势局部图像，便于后续步骤快速地进行手势识别，提高识别效率和识别精确。
进一步地，S11中，手势全局图像中横坐标为x且纵坐标为y的像素点的颜色标签值 Cx,y的计算公式为：；式中，x0 表示手势全局图像中心所在像素点的横坐标，y0表示手势全局图像中心所在像素点的纵坐 标，Rx,y表示横坐标为x且纵坐标为y的像素点的红色通道值，Gx,y表示横坐标为x且纵坐标为 y的像素点的绿色通道值，Bx,y表示横坐标为x且纵坐标为y的像素点的蓝色通道值，log(·) 表示对数函数，表示横坐标为x0且纵坐标为y0的像素点的红色通道值，表示横坐 标为x0且纵坐标为y0的像素点的绿色通道值，表示横坐标为x0且纵坐标为y0的像素点 的蓝色通道值。
进一步地，S14包括以下子步骤：
S141、将颜色标签差值集合的所有颜色标签差值从小到大排序，并将排序前个 颜色标签差值作为第一颜色标签差值子集合；其中，L表示颜色标签差值集合的颜色标签差 值个数，表示向上取整函数；
S142、将颜色标签差值集合中除第一颜色标签差值子集合外其余颜色标签差值随机划分为第二颜色标签差值子集合和第三颜色标签差值子集合；
S143、根据第一颜色标签差值子集合、第二颜色标签差值子集合和第三颜色标签差值子集合，确定颜色标签阈值；
S144、将大于颜色标签阈值的颜色标签差值对应的像素点从手势全局图像中剔除，生成手势局部图像。
进一步地，S143中，颜色标签阈值σ的计算公式为：； 式中，um表示第一颜色标签差值子集合中第m个颜色标签差值，vn表示第二颜色标签差值子 集合中第n个颜色标签差值，wk表示第三颜色标签差值子集合中第k个颜色标签差值，max (·)表示最大值函数，min (·)表示最小值函数，vave表示第二颜色标签差值子集合中所有 颜色标签差值的均值，wave表示第三颜色标签差值子集合中所有颜色标签差值的均值，e表 示指数。
进一步地，S2中，手势识别模型包括输入层、第一特征卷积层、第二特征卷积层、运算器、全连接层和输出层；
输入层的输入端作为手势识别模型的输入端，其第一输出端和第一特征卷积层的输入端连接，其第二输出层和第二特征卷积层的第一输入端连接；第一特征卷积层的第一输出端和运算器的第一输入端连接，其第二输出端和第二特征卷积层的第二输入端连接；第二特征卷积层的输出端和运算器的第二输入端连接；运算器的输出端和全连接层的输入端连接；全连接层的输出端和输出层的输入端连接；输出层的输出端作为手势识别模型的输出端。
上述进一步方案的有益效果是：在本发明中，输入层用于将手势局部图像输入到手势识别模型中。第一特征卷积层用于根据提取手势局部图像中各个像素点的像素值，提取手势局部图像的特征信息；第二特征卷积层用于将第一特征卷积层提取的特征信息与手势局部图像中各个像素点的像素值进行融合处理，增加特征丰富度。全连接层通过加法运算将第一特征卷积层提取的特征信息与第二特征卷积层提取的特征信息进行再度融合，提高特征维度，最后通过输出层输出识别结果。
进一步地，第一特征卷积层的表达式为：，；式中，G表示第一特征卷积层的输出，σ(·)表示激活函数，Z表示 像素值矩阵，z1,1,..,zIJ表示手势局部图像中各个像素点的像素值，I表示手势局部图像的 像素点行数，J表示手势局部图像的像素点行数，wp表示第一特征卷积层中第p个卷积核的 权重，op表示第一特征卷积层中第p个卷积核的偏置，αp表示第一特征卷积层中第p个卷积核 的步长，bp表示第一特征卷积层中第p个卷积核的通道数，P表示第一特征卷积层的卷积核 个数。
进一步地，第二特征卷积层的表达式为：，；式中，H 表示第二特征卷积层的输出，σ(·)表示激活函数，Z表示像素值矩阵，z1,1,..,zIJ表示手势 局部图像中各个像素点的像素值，I表示手势局部图像的像素点行数，J表示手势局部图像 的像素点行数，Wq表示第一特征卷积层中第q个卷积核的权重，Oq表示第二特征卷积层中第q 个卷积核的偏置，βq表示第二特征卷积层中第q个卷积核的步长，Bq表示第二特征卷积层中 第q个卷积核的通道数，P表示第一特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积 核个数。
进一步地，全连接层的表达式为：；式中，T表示全连接层 的输出，表示全连接层中第k个神经元的偏置，K表示全连接层的神经元个数，P表示第一 特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积核个数，G表示第一特征卷积层的 输出，H表示第二特征卷积层的输出。
本发明的有益效果是：本发明公开了一种基于AR教具的动作识别方法，通过识别用户在AR教具（即AR沙盘）上挥动手势的全局图像，考虑到全局图像存在背景噪音，对全局图像进行精准裁剪，生成的局部图像只包含手部，便于后续步骤快速其准确地提取手势动作；同时，本发明还构建手势识别模型，手势识别模型对局部图像进行特征提取及特征融合，可以精准地提取用户的手势，便于用户控制AR教具，提高用户使用感，减少AR教具交互时间。
附图说明
图1为基于AR教具的动作识别方法的流程图；
图2为手势识别模型的结构示意图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于AR教具的动作识别方法，包括以下步骤：
S1、采集用户在AR教具上的手势全局图像，并对手势全局图像进行裁剪，生成手势局部图像；
S2、构建手势识别模型；
S3、将手势局部图像输入至手势识别模型中，确定用户的手势动作。
在本发明实施例中，S1包括以下子步骤：
S11、计算手势全局图像中各个像素点的颜色标签值；
S12、将颜色标签值最大的像素点作为标准像素点；
S13、计算手势全局图像中其余像素点的颜色标签值与标准像素点的颜色标签值之间的差值，得到颜色标签差值集合；
S14、根据颜色标签差值集合，确定手势全局图像中的无效像素点；
S15、将无效像素点从手势全局图像中剔除，生成手势局部图像。
在本发明中，学生或老师在使用数字沙盘时，会通过在数字沙盘上方挥动手势来完成操作，因此本发明采集挥动手势时的图像，但此时的图像可能存在多余背景，影响手势识别，因此本发明对手势全局图像进行初步裁剪，确定只含有手部的局部图像。该局部图像的三通道颜色值通常相似，所以本发明通过计算各个像素点之间的颜色标签值来筛选属于背景噪声的像素点，将其从手势全局图像中剔除，即可得到只含有手部的手势局部图像，便于后续步骤快速地进行手势识别，提高识别效率和识别精确。
在本发明实施例中，S11中，手势全局图像中横坐标为x且纵坐标为y的像素点的颜 色标签值Cx,y的计算公式为：； 式中，x0表示手势全局图像中心所在像素点的横坐标，y0表示手势全局图像中心所在像素点 的纵坐标，Rx,y表示横坐标为x且纵坐标为y的像素点的红色通道值，Gx,y表示横坐标为x且纵 坐标为y的像素点的绿色通道值，Bx,y表示横坐标为x且纵坐标为y的像素点的蓝色通道值， log(·)表示对数函数，表示横坐标为x0且纵坐标为y0的像素点的红色通道值，表 示横坐标为x0且纵坐标为y0的像素点的绿色通道值，表示横坐标为x0且纵坐标为y0的 像素点的蓝色通道值。
在本发明实施例中，S14包括以下子步骤：
S141、将颜色标签差值集合的所有颜色标签差值从小到大排序，并将排序前个 颜色标签差值作为第一颜色标签差值子集合；其中，L表示颜色标签差值集合的颜色标签差 值个数，表示向上取整函数；
S142、将颜色标签差值集合中除第一颜色标签差值子集合外其余颜色标签差值随机划分为第二颜色标签差值子集合和第三颜色标签差值子集合；
S143、根据第一颜色标签差值子集合、第二颜色标签差值子集合和第三颜色标签差值子集合，确定颜色标签阈值；
S144、将大于颜色标签阈值的颜色标签差值对应的像素点从手势全局图像中剔除，生成手势局部图像。
在本发明实施例中，S143中，颜色标签阈值σ的计算公式为：；式中，um表示第一颜色标签差值子集合中第m个颜 色标签差值，vn表示第二颜色标签差值子集合中第n个颜色标签差值，wk表示第三颜色标签 差值子集合中第k个颜色标签差值，max (·)表示最大值函数，min (·)表示最小值函数， vave表示第二颜色标签差值子集合中所有颜色标签差值的均值，wave表示第三颜色标签差值 子集合中所有颜色标签差值的均值，e表示指数。
在本发明实施例中，如图2所示，S2中，手势识别模型包括输入层、第一特征卷积层、第二特征卷积层、运算器、全连接层和输出层；
输入层的输入端作为手势识别模型的输入端，其第一输出端和第一特征卷积层的输入端连接，其第二输出层和第二特征卷积层的第一输入端连接；第一特征卷积层的第一输出端和运算器的第一输入端连接，其第二输出端和第二特征卷积层的第二输入端连接；第二特征卷积层的输出端和运算器的第二输入端连接；运算器的输出端和全连接层的输入端连接；全连接层的输出端和输出层的输入端连接；输出层的输出端作为手势识别模型的输出端。
在本发明中，输入层用于将手势局部图像输入到手势识别模型中。第一特征卷积层用于根据提取手势局部图像中各个像素点的像素值，提取手势局部图像的特征信息；第二特征卷积层用于将第一特征卷积层提取的特征信息与手势局部图像中各个像素点的像素值进行融合处理，增加特征丰富度。全连接层通过加法运算将第一特征卷积层提取的特征信息与第二特征卷积层提取的特征信息进行再度融合，提高特征维度，最后通过输出层输出识别结果。
在本发明实施例中，第一特征卷积层的表达式为：，；式中，G表示第 一特征卷积层的输出，σ(·)表示激活函数，Z表示像素值矩阵，z1,1,..,zIJ表示手势局部图 像中各个像素点的像素值，I表示手势局部图像的像素点行数，J表示手势局部图像的像素 点行数，wp表示第一特征卷积层中第p个卷积核的权重，op表示第一特征卷积层中第p个卷积 核的偏置，αp表示第一特征卷积层中第p个卷积核的步长，bp表示第一特征卷积层中第p个卷 积核的通道数，P表示第一特征卷积层的卷积核个数。
在本发明实施例中，第二特征卷积层的表达式为：，；式中，H表 示第二特征卷积层的输出，σ(·)表示激活函数，Z表示像素值矩阵，z1,1,..,zIJ表示手势局 部图像中各个像素点的像素值，I表示手势局部图像的像素点行数，J表示手势局部图像的 像素点行数，Wq表示第一特征卷积层中第q个卷积核的权重，Oq表示第二特征卷积层中第q个 卷积核的偏置，βq表示第二特征卷积层中第q个卷积核的步长，Bq表示第二特征卷积层中第q 个卷积核的通道数，P表示第一特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积核 个数。
在本发明实施例中，全连接层的表达式为：；式中，T表示全连 接层的输出，表示全连接层中第k个神经元的偏置，K表示全连接层的神经元个数，P表示 第一特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积核个数，G表示第一特征卷积 层的输出，H表示第二特征卷积层的输出。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于AR教具的动作识别方法，其特征在于，包括以下步骤：
S1、采集用户在AR教具上的手势全局图像，并对手势全局图像进行裁剪，生成手势局部图像；
S2、构建手势识别模型；
S3、将手势局部图像输入至手势识别模型中，确定用户的手势动作；
所述S1包括以下子步骤：
S11、计算手势全局图像中各个像素点的颜色标签值；
S12、将颜色标签值最大的像素点作为标准像素点；
S13、计算手势全局图像中其余像素点的颜色标签值与标准像素点的颜色标签值之间的差值，得到颜色标签差值集合；
S14、根据颜色标签差值集合，确定手势全局图像中的无效像素点；
S15、将无效像素点从手势全局图像中剔除，生成手势局部图像；
所述S11中，手势全局图像中横坐标为x且纵坐标为y的像素点的颜色标签值Cx,y的计算公式为：；式中，x0表示手势全局图像中心所在像素点的横坐标，y0表示手势全局图像中心所在像素点的纵坐标，Rx,y表示横坐标为x且纵坐标为y的像素点的红色通道值，Gx,y表示横坐标为x且纵坐标为y的像素点的绿色通道值，Bx,y表示横坐标为x且纵坐标为y的像素点的蓝色通道值，log(·)表示对数函数，/>表示横坐标为x0且纵坐标为y0的像素点的红色通道值，表示横坐标为x0且纵坐标为y0的像素点的绿色通道值，/>表示横坐标为x0且纵坐标为y0的像素点的蓝色通道值；
所述S14包括以下子步骤：
S141、将颜色标签差值集合的所有颜色标签差值从小到大排序，并将排序前个颜色标签差值作为第一颜色标签差值子集合；其中，L表示颜色标签差值集合的颜色标签差值个数，/>表示向上取整函数；
S142、将颜色标签差值集合中除第一颜色标签差值子集合外其余颜色标签差值随机划分为第二颜色标签差值子集合和第三颜色标签差值子集合；
S143、根据第一颜色标签差值子集合、第二颜色标签差值子集合和第三颜色标签差值子集合，确定颜色标签阈值；
S144、将大于颜色标签阈值的颜色标签差值对应的像素点从手势全局图像中剔除，生成手势局部图像；
所述S143中，颜色标签阈值σ的计算公式为：；式中，um表示第一颜色标签差值子集合中第m个颜色标签差值，vn表示第二颜色标签差值子集合中第n个颜色标签差值，wk表示第三颜色标签差值子集合中第k个颜色标签差值，max(·)表示最大值函数，min (·)表示最小值函数，vave表示第二颜色标签差值子集合中所有颜色标签差值的均值，wave表示第三颜色标签差值子集合中所有颜色标签差值的均值，e表示指数。
2.根据权利要求1所述的基于AR教具的动作识别方法，其特征在于，所述S2中，手势识别模型包括输入层、第一特征卷积层、第二特征卷积层、运算器、全连接层和输出层；
所述输入层的输入端作为手势识别模型的输入端，其第一输出端和第一特征卷积层的输入端连接，其第二输出层和第二特征卷积层的第一输入端连接；所述第一特征卷积层的第一输出端和运算器的第一输入端连接，其第二输出端和第二特征卷积层的第二输入端连接；所述第二特征卷积层的输出端和运算器的第二输入端连接；所述运算器的输出端和全连接层的输入端连接；所述全连接层的输出端和输出层的输入端连接；所述输出层的输出端作为手势识别模型的输出端。
3.根据权利要求2所述的基于AR教具的动作识别方法，其特征在于，所述第一特征卷积层的表达式为：，/>；式中，G表示第一特征卷积层的输出，σ(·)表示激活函数，Z表示像素值矩阵，z1,1,..,zIJ表示手势局部图像中各个像素点的像素值，I表示手势局部图像的像素点行数，J表示手势局部图像的像素点行数，wp表示第一特征卷积层中第p个卷积核的权重，op表示第一特征卷积层中第p个卷积核的偏置，αp表示第一特征卷积层中第p个卷积核的步长，bp表示第一特征卷积层中第p个卷积核的通道数，P表示第一特征卷积层的卷积核个数。
4.根据权利要求2所述的基于AR教具的动作识别方法，其特征在于，所述第二特征卷积层的表达式为：，；式中，H表示第二特征卷积层的输出，σ(·)表示激活函数，Z表示像素值矩阵，z1,1,..,zIJ表示手势局部图像中各个像素点的像素值，I表示手势局部图像的像素点行数，J表示手势局部图像的像素点行数，Wq表示第一特征卷积层中第q个卷积核的权重，Oq表示第二特征卷积层中第q个卷积核的偏置，βq表示第二特征卷积层中第q个卷积核的步长，Bq表示第二特征卷积层中第q个卷积核的通道数，P表示第一特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积核个数。
5.根据权利要求2所述的基于AR教具的动作识别方法，其特征在于，所述全连接层的表达式为：；式中，T表示全连接层的输出，/>表示全连接层中第k个神经元的偏置，K表示全连接层的神经元个数，P表示第一特征卷积层的卷积核个数，Q表示第二特征卷积层的卷积核个数，G表示第一特征卷积层的输出，H表示第二特征卷积层的输出。
CN202311685269.3A 2023-12-11 2023-12-11 一种基于ar教具的动作识别方法 Active CN117392759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311685269.3A CN117392759B (zh) 2023-12-11 2023-12-11 一种基于ar教具的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311685269.3A CN117392759B (zh) 2023-12-11 2023-12-11 一种基于ar教具的动作识别方法

Publications (2)

Publication Number Publication Date
CN117392759A CN117392759A (zh) 2024-01-12
CN117392759B true CN117392759B (zh) 2024-03-12

Family

ID=89463428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311685269.3A Active CN117392759B (zh) 2023-12-11 2023-12-11 一种基于ar教具的动作识别方法

Country Status (1)

Country Link
CN (1) CN117392759B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345867A (zh) * 2018-03-09 2018-07-31 南京邮电大学 面向智能家居场景的手势识别方法
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN112749664A (zh) * 2021-01-15 2021-05-04 广东工贸职业技术学院 一种手势识别方法、装置、设备、***及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345867A (zh) * 2018-03-09 2018-07-31 南京邮电大学 面向智能家居场景的手势识别方法
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN112749664A (zh) * 2021-01-15 2021-05-04 广东工贸职业技术学院 一种手势识别方法、装置、设备、***及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HSV Brightness Factor Matching for Gesture Recognition System;Mokhtar M.Hasan等;《International Journal of Image Processing》;20101231;第4卷(第5期);456-467 *
一种基于图像特征融合的动态手势识别方法;陈茜等;《计算机与数字工程》;20230620;第51卷(第6期);1381-1386 *
基于YCbCr颜色空间手势分割;杨红玲;宣士斌;莫愿斌;赵洪;;广西民族大学学报(自然科学版);20170815(第03期);66-71 *
基于增强现实的人手自然交互康复***设计;卞方舟;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20230115(第1期);E060-1237 *
基于计算机视觉的手势识别***研究;周航;《中国优秀硕士学位论文全文数据库 (信息科技辑）》;20080515(第5期);I138-13 *

Also Published As

Publication number Publication date
CN117392759A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110750959B (zh) 文本信息处理的方法、模型训练的方法以及相关装置
US11983881B2 (en) AI-based image region recognition method and apparatus and AI-based model training method and apparatus
JP2667954B2 (ja) 静的及び動的パラメータを使用する自動手書き文字認識装置及び方法
US11783615B2 (en) Systems and methods for language driven gesture understanding
CN107578023A (zh) 人机交互手势识别方法、装置及***
CN108229478A (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN113870395A (zh) 动画视频生成方法、装置、设备及存储介质
CN110704606A (zh) 一种基于图文融合的生成式摘要生成方法
JP2022500808A (ja) 文生成方法と装置、電子機器及びプログラム
CN115471885A (zh) 动作单元相关性学习方法、装置、电子设备及存储介质
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN109240931A (zh) 问题反馈信息处理方法和装置
CN111986117A (zh) 一种算术作业批改***及方法
CN116561533B (zh) 一种教育元宇宙中虚拟化身的情感演化方法及终端
CN117392759B (zh) 一种基于ar教具的动作识别方法
US4736447A (en) Video computer
CN111968624A (zh) 数据构建方法、装置、电子设备及存储介质
CN111862061A (zh) 图片美学质量的评估方法、***、设备和介质
CN108108652A (zh) 一种基于字典学习的跨视角人体行为识别方法及装置
CN114944002B (zh) 文本描述辅助的姿势感知的人脸表情识别方法
CN113947801B (zh) 人脸识别方法、装置和电子设备
KR20230108869A (ko) 딥 러닝을 이용한 가상 인물 생성 모델의 학습방법
Kratimenos et al. 3D hands, face and body extraction for sign language recognition
Petkar et al. Real Time Sign Language Recognition System for Hearing and Speech Impaired People
CN113627498A (zh) 人物丑化图像识别和模型训练方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant