CN112307898A - 虚拟现实环境下数据手套动作分割方法及装置 - Google Patents

虚拟现实环境下数据手套动作分割方法及装置 Download PDF

Info

Publication number
CN112307898A
CN112307898A CN202011032007.3A CN202011032007A CN112307898A CN 112307898 A CN112307898 A CN 112307898A CN 202011032007 A CN202011032007 A CN 202011032007A CN 112307898 A CN112307898 A CN 112307898A
Authority
CN
China
Prior art keywords
spatial information
dimensional spatial
dimensional
neural network
matrices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011032007.3A
Other languages
English (en)
Inventor
金淼
张军
黄天富
郭志伟
吴志武
张颖
雷民
陈习文
陈卓
卢冰
汪泉
王斯琪
王旭
聂高宁
周玮
付济良
齐聪
郭子娟
余雪芹
刘俊
郭鹏
朱赤丹
伍翔
周志森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Fujian Electric Power Co Ltd
Marketing Service Center of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Fujian Electric Power Co Ltd
Marketing Service Center of State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Fujian Electric Power Co Ltd, Marketing Service Center of State Grid Fujian Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011032007.3A priority Critical patent/CN112307898A/zh
Publication of CN112307898A publication Critical patent/CN112307898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了虚拟现实环境下数据手套动作分割方法及装置。该方法将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵；从第N组高维空间信息矩阵开始到第M组高维空间信息矩阵，逐一计算第k组高维空间信息矩阵隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率；在概率小于预先设定的数值时，确定该组高维空间信息矩阵MMk对应的采样时刻为一时间分割点；根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。该方法能够准确地对动作进行划分，精度高、客观性强，自动化程度高，处理效率高。

Description

虚拟现实环境下数据手套动作分割方法及装置
技术领域
本发明属于虚拟现实技术领域，具体涉及虚拟现实环境下数据手套动作分割方法及装置。
背景技术
在操作类培训虚拟现实***中，为了对学员操作动作的规范性进行评价，需要有标准动作作为衡量准绳。
目前，在虚拟现实(Virtual Reality，简称VR)的虚拟环境中，使用数据手套来获取操作者手腕、手指、操作对象的坐标偏移及旋转角度等数据信息。这些数据信息可 以用于客观展示操作者的操作动作，如在数据重建后以三维实体进行可视化展示。
目前由人工对标准操作进行动作划分，消耗的时间长，划分结果的主观性强，作业效率低，且划分结果客观性不足。
发明内容
针对现有技术的不足，本发明提供虚拟现实环境下数据手套动作分割方法及，以解决现有技术中虚拟现实环境下数据手套动作分割方法效率低、客观性不足等问题。
第一方面，本发明提供一种虚拟现实环境下数据手套动作分割方法，包括：
按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理 为依次与M帧时间片对应的M组高维空间信息矩阵MMj，其中，1≤j≤M，操作过 程的持续时间记为t＝M*T；
从第N组高维空间信息矩阵开始到第M组高维空间信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻 为一时间分割点；
根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套 的动作数据依次分割为(F+1)个相对独立的动作。
进一步地，
所述计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，包括：
确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵：MMk-Q， MMk-Q-1，…，MMk-1；
分别利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵 EEQ-s，其中，0≤s≤S，S为最短训练长度，1<S<Q；
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建立多维云模型CLk；
计算第k组高维空间信息矩阵MMk隶属于多维云模型CLk的概率Pk。
进一步地，
所述利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵 EEQ-s，包括：
利用第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ；
利用第k组高维空间信息矩阵MMk之前的(Q-1)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-1；
逐次递减高维空间信息矩阵的数量，利用第k组高维空间信息矩阵MMk之前的 (Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时 间片对应的高维空间信息矩阵EEQ-s，直到s递增为S-1时停止；
利用第k组高维空间信息矩阵MMk之前的(Q-S)组高维空间信息矩阵训练卷积 神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-S。
进一步地，
所述确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵，包括：
从第k组高维空间信息矩阵MMk之前的k组高维空间信息矩阵中，去除已经确定的全部时间分割点之前的各帧时间片对应的高维空间信息矩阵，得到第k组高维空间信息 矩阵MMk之前的Q组高维空间信息矩阵。
进一步地，
所述根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建立多维云模型CLk，包括：
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，分别确定由(S+1)个云滴描述的多维正态正向云发生器的期望、熵及超熵，其中，超熵He≤0.5；
根据多维正态正向云发生器的期望、熵及超熵，建立与全部的(S+1)个与第k帧 时间片对应的高维空间信息矩阵对应的多维正态云模型CLk。
进一步地，
所述按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据 处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，包括：
根据数据手套内各传感器在空间中的位置关系，从拇指到小指，依次确定5列6行的高维空间信息矩阵；
其中，用E表示结束动作，并将E作为冗余项，用于判定动作边缘信息。
进一步地，
在各高维空间信息矩阵为5列6行的高维空间信息矩阵时，在训练卷积神经网络时，所述卷积神经网络的结构为：自输入层到输出层，依次包括：一层输入层、一层 卷积层、一层池化层、一层全连接层和一层输出层；
其中，卷积层设置的卷积核大小为6*2，滑动步长为3。
进一步地，
在训练卷积神经网络时，对训练精度选取采用了以下评价指标：
平均绝对误差MAE，平均相对误差MRE，
Figure BDA0002704004720000031
Figure BDA0002704004720000032
其中，fi为实际位移值，
Figure BDA0002704004720000041
为预测位移值，n为测试样本的数量。
进一步地，
所述数据手套包含用于设置在手部各预设位置或关节处的多个传感器，每个传感器 用于获取多个维度的位置或坐标数据。
第二方面，本发明提供一种虚拟现实环境下数据手套动作分割装置，包括：
动作数据处理单元，用于：按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj， 其中，1≤j≤M，操作过程的持续时间记为t＝M*T；
时间分割点确定单元，用于：从第N组高维空间信息矩阵开始到第M组高维空间 信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻 为一时间分割点；
动作分割单元，用于：根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。
本发明提供的虚拟现实环境下数据手套动作分割方法及装置，解决了虚拟现实环境下操作中生成的用于记录动作轨迹的高密度数据的特征提取问题，能够准确地对动 作进行划分，精度高、客观性强，自动化程度高，处理效率高，可作为操作类培训虚 拟现实***的标准动作。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明优选实施方式的虚拟现实环境下数据手套动作分割方法的流程示意图；
图2是本发明优选实施方式的虚拟现实环境下数据手套动作分割装置的组成示意图；
图3为本发明优选实施方式中虚拟现实环境下数据手套的关节节点示意图；
图4为本发明优选实施方式中虚拟现实环境下数据手套某时刻动作数据矩阵示意图；
图5为本发明优选实施方式中卷积神经网络的结构示意图；
图6为本发明优选实施方式中某一多维云模型的数字特征示意图(He,Ex,En)；
图7为本发明优选实施方式中虚拟现实环境下验电操作划分后的4段动作特征中的特征帧的虚拟仿真示意图；
图8为本发明优选实施方式中虚拟现实环境下数据手套的某个动作在某时刻x和y预测结果云模型；
图9为本发明优选实施方式中虚拟现实环境下验电操作划分时确定的各运动帧的隶属度结果。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地 公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附 图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件 使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理 解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的 意义。
如图1所示，本实施例的虚拟现实环境下数据手套动作分割方法，包括：
步骤S11：按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，其中，1≤j≤M， 操作过程的持续时间记为t＝M*T；
步骤S12：从第N组高维空间信息矩阵开始到第M组高维空间信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻 为一时间分割点；
步骤S13：根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。
具体地，所述计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间 信息矩阵确定的多维云模型的概率Pk，包括：
确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵：MMk-Q， MMk-Q-1，…，MMk-1；
分别利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵 EEQ-s，其中，0≤s≤S，S为最短训练长度，1<S<Q；
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建立多维云模型CLk；
计算第k组高维空间信息矩阵MMk隶属于多维云模型CLk的概率Pk。
具体地，所述利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩 阵EEQ-s，包括：
利用第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ；
利用第k组高维空间信息矩阵MMk之前的(Q-1)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-1；
逐次递减高维空间信息矩阵的数量，利用第k组高维空间信息矩阵MMk之前的 (Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时 间片对应的高维空间信息矩阵EEQ-s，直到s递增为S-1时停止；
利用第k组高维空间信息矩阵MMk之前的(Q-S)组高维空间信息矩阵训练卷积 神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-S。
具体地，所述确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵， 包括：
从第k组高维空间信息矩阵MMk之前的k组高维空间信息矩阵中，去除已经确定的全部时间分割点之前的各帧时间片对应的高维空间信息矩阵，得到第k组高维空间信息 矩阵MMk之前的Q组高维空间信息矩阵。
具体地，所述根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建 立多维云模型CLk，包括：
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，分别确定由(S+1)个云滴描述的多维正态正向云发生器的期望、熵及超熵，其中，超熵He≤0.5；
根据多维正态正向云发生器的期望、熵及超熵，建立与全部的(S+1)个与第k帧 时间片对应的高维空间信息矩阵对应的多维正态云模型CLk。
具体地，所述按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，包括：
根据数据手套内各传感器在空间中的位置关系，从拇指到小指，依次确定5列6行的高维空间信息矩阵；
其中，用E表示结束动作，并将E作为冗余项，用于判定动作边缘信息。
具体地，在各高维空间信息矩阵为5列6行的高维空间信息矩阵时，在训练卷积神经网络时，所述卷积神经网络的结构为：自输入层到输出层，依次包括：一层输入层、 一层卷积层、一层池化层、一层全连接层和一层输出层；
其中，卷积层设置的卷积核大小为6*2，滑动步长为3。
具体地，在训练卷积神经网络时，对训练精度选取采用了以下评价指标：
平均绝对误差MAE，平均相对误差MRE，
Figure BDA0002704004720000071
Figure BDA0002704004720000072
其中，fi为实际位移值，
Figure BDA0002704004720000073
为预测位移值，n为测试样本的数量。
具体地，所述数据手套包含用于设置在手部各预设位置或关节处的多个传感器，每 个传感器用于获取多个维度的位置或坐标数据。
如图2所示，本实施例的虚拟现实环境下数据手套动作分割装置，包括：
动作数据处理单元100，用于：按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵 MMj，其中，1≤j≤M，操作过程的持续时间记为t＝M*T；
时间分割点确定单元200，用于：从第N组高维空间信息矩阵开始到第M组高维 空间信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q 组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻 为一时间分割点；
动作分割单元300，用于：根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。
本发明利用卷积神经网络对连续多个时间帧对应的多维度数据进行特征提取，并利用提取得到的特征预测下一个时间帧对应的多维度数据；并通过不同但相互关联的 多维度数据预得到多个预测结果并形成结果集，利用结果集构建多维云模型；并利用 多维云模型计算实测的下一个时间帧对应的多维度数据隶属于之前的多个时间帧对应 的多维度数据的概率，从而确定下一个时间帧是否属于与之前的多个时间帧对应的动 作。
应该理解为，数据手套包含用于设置在手部各预设位置或关节处的多个传感器，每个传感器用于获取多个维度的位置或坐标数据。操作者佩戴数据手套在既定操作中 产生不同动作，相应地，数据手套中全部传感器获取的数据，是在空间中密度紧密的 高密度数据集。
该分割方法解决了虚拟现实环境下操作中生成的用于记录动作轨迹的高密度数据 的特征提取问题，能够准确地对动作进行划分，精度高、客观性强，可作为操作类培 训虚拟现实***的标准动作。
步骤1、数据手套内多传感器数据预处理
如图3所示，在空间中，手掌传感器O与各手指传感器(自左到右，依次为a、b、 c、d、e)相邻；手掌传感器和各手指指根处传感器相邻；其余传感器与对应手指和相 邻手指的同空间位置的传感器相邻。其中Thumb(拇指，a)、Pinky(小指，e)两根 手指的关节在空间位于边缘Index(食指)、Middle(中指)、Ring(无名指)、Pinky 等手指指根关节在空间中位于手掌顶端。手指指根处关节与手腕相邻，其余对应手指 的关节与相邻手指的关节在空间位置上相邻。整体上，如图3所示的数据手套内，有 24个传感器。
如图4所示，根据数据手套内各传感器在空间中的位置关系，将模型手数据图像化，设从拇指到小指，分别对应的代表字母为a、b、c、d、e，则对应的指关节点或传 感器位置节点在矩阵中分别以S、a、a2、a3、a4、E；b、b1、b2、b3、b4、E；c、c1、 c2、c3、c4、E；d、d1、d2、d3、d4、E；e、e1、e2、e3、e4、E等来标识，从而完成 对传感器数据的矩阵构造。具体地，因为大拇指在数据手套中少一个传感器节点，所 以没有a1。整体上，除外S和E，分别与图3所示的数据手套内的24个传感器相对应。
其中，手腕处关节的两个关节点中的第一个关节设置在拇指上，作为数据的起始项，用S(start)表示，作为填充数据，表示矩阵开始；最后一个节点结束项用E(end) 表示，作为冗余项，置于数据矩阵中作为动作边缘信息的判定。将每一时间帧对应的 数据记载的空间位置处理成二维矩阵，则矩阵的大小为5*6，共三十个数据节点；每个 节点包含用于记录空间信息/运动数据的x、y、z三个坐标方向上的坐标偏移(指相对 于坐标原点的相对偏移)。后续的多维云模型及各CNN模型的输入数据均为15*6的 二维矩阵。
步骤2、卷积神经网络及训练
结合动作数据的特点，设置如图5所示的空间信息预测卷积神经网络，其结构为：自输入层到输出层，依次包括：一层输入层、一层卷积层、一层池化层、一层全连接 层和一层输出层。
具体地，组成卷积核的每个元素都对应一个权重系数和一个偏差量(biasvector)， 类似于一个前馈神经网络的神经元(neuron)。卷积神经网络中的全连接层等价于传统 前馈神经网络中的隐含层。因为具有特征不变性，利用池化层来汇合卷积层的输出， 从而使卷积神经网络模型在训练时能够避免出现过拟合。最后通过全连接层进行输出。
空间信息预测卷积神经网络
具体地，将原始数据预处理后，结果输入到卷积神经网络的输入层。在卷积层设置卷积核的大小以及卷积核滑动步长，通过激活函数的处理后输出到池化层，在池化 层对卷积的特征映射结果进行采样处理，降维以降低算法复杂度。池化层的处理结果 输出到全连接层，全连接层将前面计算得到的特征融合，经过加权和与激活函数作用 后输到输出层。
该空间信息预测卷积神经网络的输出层设计为输出动作手套在一时间帧内的动作 数据，也即，各节点包含空间运动x、y、z的坐标偏移(指相对于坐标原点的相对偏 移)。其中包含了各个传感器的坐标偏移和旋转角度，用来表明该时刻数据手套的空 间信息。
确定了卷积神经网络(Convolutional Neural Network，简称CNN)的结构后，卷积神经网络的参数设置决定着预测结果的好坏。在训练卷积神经网络时，采用已经训练 好的前一时间帧动作预测用的框架，并在框架的基础上进行修改。
具体地，或者根据工程实践经验来设置参数，调整参数，并通过反复试验确定合理的模型结构。
具体地，设置训练数据集的步骤如下：
设一段操作对应的空间信息/动作数据中，前k时间帧的空间信息依次记为： T1,T2,…,Tk，现采用前k时间帧的空间信息对Tk+1时刻的空间信息进行预测。
将Tk+1时刻前的k帧的空间信息分别设置为不同长度的训练数据集并训练空间信息 预测卷积神经网络，包括：
将T1,T2,…,Tk作为训练数据集1，经卷积神经网络训练得到Tk+1帧的空间信息预测结 果M1；
将T2,T3,…,Tk作为训练数据集2，经卷积神经网络训练得到Tk+1帧的空间信息预测结 果M2；
继续重复以上步骤，直到
将Tk-n,Tk-n+1,…,Tk作为训练数据集k-n，经卷积神经网络训练得到Tk+1帧的空间信息预 测结果Mk-n；
其中，最短训练长度为(k-n)，训练数据集k-n：Tk-n,Tk-n+1,…,Tk为最短训练数据集。通过设置最短训练长度以保证空间信息预测卷积神经网络训练结果的有效性。
这时，M1，M2，…，Mk-n构成时刻Tk+1的预测结果集合。
下一步中，将利用时刻Tk+1的预测结果集合构建多维云模型，这时，用于构建多维云模型的空间信息数据包括(k-n)个空间信息样本，也即，利用(k-n)个云滴来构建 多维云模型。
步骤3、构建多维云模型
如图6所示，云模型采用由期望、熵和超熵构成的数字特征对定性概念在定量论域中的不确定性进行刻画。期望Ex是隶属于同一定性概念的所有云滴在定量论域中的 中心，表示最能表达定性概念特征的云滴值。
熵En是定性概念在定量论域中随机性和模糊性的综合指标。一方面，熵与随机理论正态分布中的方差类似，表达了定性概念在定量论域中的可接受范围。另一方面， 熵越大，表明云滴的分布范围越大，同时也表明该定性概念越广泛、越模糊。超熵He是 隶属度不确定性的度量。根据云模型的定义，云滴与其确定度的稳定趋向构成了云模 型的期望曲线，即均值为Ex、方差为En的正态曲线。超熵即反映了云滴与云模型的 期望曲线之间的偏离程度。超熵越大，云滴与期望曲线之间的偏离程度越大，表现为 云的厚度越大。
云的各数字特征体现了定性概念的数值特征，记为C(Ex,En,He)。这也就是云模型中由数字特征表示的特征向量，即云向量。云的数字特征的独特之处在于用Ex,En和He 就能确定一定数量规模的云滴从而形成云，并把概念的模糊性和随机性集成起来。
进一步地，多维云模型将多维数据设为U{x1,x2,…,xN}，表示由精确数值表示的N维 定量论域，而C是U{x1,x2,…,xN}上的一个定性概念。若定量值x∈U，且X(x1,x2,…,xN)是定性概念C的一次随机实现，若X(x1,x2,…,xN)满足以下分布：
Figure BDA0002704004720000111
其中：
Figure BDA0002704004720000112
且X(x1,x2,…,xN)对 C的确定度μ(X(x1,x2,…,xN))∈[0，1]满足：
Figure BDA0002704004720000121
即可称X(x1,x2,…,xN)在U{x1,x2,…,xN}上的分布为N维正态云。
进一步地，N维正态正向云发生器算法的实现过程如下：
(1)生成以
Figure BDA0002704004720000122
为期望值，
Figure BDA0002704004720000123
为标准差的正态随机数 X(x1,x2,…,xN)；
(2)生成以
Figure BDA0002704004720000124
为期望值，，
Figure BDA0002704004720000125
为标准差的正态随机数
Figure BDA0002704004720000126
(3)计算确定度：
Figure BDA0002704004720000127
则(X(x1,x2,…,xN)，μ(x(x1,x2,…,xN)))即为正态云的一个云滴；
(4)重复(1)～(3)直至产生预先设定数目的云滴。应该理解为，用于预测的 数据个数越多，构建的多维云模型越精确。
以上步骤建立的多维云模型为针对单一时刻/单一时间帧的多维云模型。比如利用 前述的卷积神经网络模型预测得到(k-n)个第Tk+1帧的空间信息预测结果；则利用这(k-n)个样本中，第Tk+1帧的空间信息预测结果，可以建立Tk+1时刻的多维云模型，用 于描述第Tk+1帧的空间信息在多维云空间中的分布。
步骤4、动作分割
逐一确定操作动作视频中的每一帧的空间信息由其之前的连续多帧的空间信息确 定的多维云模型中的概率；
当某一帧的空间信息在对应的云模型中的概率值低于预先设定的概率时，则判定该帧对应的时刻为操作动作的一个分割点。
最后，根据起始时刻和各分割点对应的时刻对整个操作进行动作分割，得到分割后的多个子动作。
具体地，采用本发明实施例的分割方法对验电这一电力操作进行动作分割。验电时，整体作业流程依次为：拾起验电笔、移动验电笔至待检验配电箱、对待检验配电 箱进行验电并归还验电笔。图7示出了人工对在VR环境中整体验电作业流程进行划 分后确定的关键时间帧对应的虚拟仿真图像。
以下将结合作业流程，对人工动作分割结果与该实施例的分割方法进行的自动动作分割结果进行对比。
在用选择的训练数据及验证数据训练空间信息预测卷积神经网络的各参数时，对训练精度选取采用了两个评价指标，分别为平均绝对误差(MAE:Mean Absolute Error)，平均相对误差(MRE，mean relative error)：
Figure BDA0002704004720000131
Figure BDA0002704004720000132
其中，fi为实际位移值，
Figure BDA0002704004720000133
为预测位移值，n表示测试样本的数量。
该实施例的分割方法中，针对空间信息预测卷积神经网络进行训练过程中的实验测试结果如表1所列。
表1 测试样本的数量对预测精度的对比
训练样本数 真实位移值 预测位移值 绝对误差 相对误差
50 0.8 0.33 0.47 0.59
100 1.0 1.52 0.52 0.52
150 5.6 6.7 1.10 0.20
200 1.1 1.27 0.17 0.15
250 4.6 5.20 0.60 0.13
300 7.9 9.01 1.11 0.14
350 3.6 3.61 0.64 0.18
MAE 0.66
MRE 0.27
从以上的两个参数可以看出，该实例的空间信息预测卷积神经网络的预测效果良好；尤其是，在训练样本数大于200后，相对误差就较为稳定了。因此，将训练样本 数设置为300-600(也即从第300～600组高维空间信息矩阵开始，
计算后续各高维空间信息矩阵隶属于由其之前的多组高维空间信息矩阵确定的多 维云模型的概率Pk)，并按多维云模型需要的云滴个数来选择长度间隔(也即，与最 短训练长度(k-n)有关的，(k-n)个空间信息样本的个数)。
具体地，在将15*6二维矩阵作为输入时，因为15*6二维矩阵的维度较小，根据 反复实践并结合经验，采用较小数量的卷积核进行卷积层运算。
优选地，卷积神经网络模型的卷积层设置的卷积核大小为6*2，滑动步长为3。卷积神经网络模型各层的权重，利用训练数据集通过多次试验来逐步调整。卷积神经网 络经过训练样本数据的训练后，即可确定得到各节点的连接权重值和偏置值。如表2 中所列，展示了部分参数。
表2 CNN的convolution第一层的权重值
编号 (1,1) (1,2) (1,3) (1,4) …
1 0.070605 0.002318 -0.067692 0.004617 …
2 0.082346 0.006948 -0.073171 0.009502 …
3 0.043874 0.003815 -0.096552 0.079520 …
4 -0.018687 0.048976 -0.164631 -0.070936 …
5 -0.026614 0.084153 -0.211651 -0.023158 …
6 -0.025934 0.036556 -0.094665 -0.045263 …
… … … … … …
多维云模型作为对位置数据/空间信息的综合评价，其根据各个数据的特征产生多 维云模型；通过该多维云对新的位置数据进行计算，即得到该时刻的空间信息(也即 各传感器的运动位置)符合操作动作变化的概率。
经过对电力操作培训的动作结合作业指导书总结分析后，确定在人手进行运动时， 当前操作为静止不动和保持在一定运动范围内的移动都可以视为属于同一作业操作。例如，人手在保持水平移动时，其在各个方向上可能会发生偏移，当偏移角小于30° 时仍然可以看作是属于同一作业操作动作。
针对每一时间帧预测到的全部结果通过云的数字特征来构建对应的云模型。具体地，逐一地对各时间帧进行预测，并逐一地对各时间帧之前的多个时间帧建立多维云 模型；也即，有多少需要预测的节点，就构建多少个云模型。
具体地，在建立多维云模型时，采用以下步骤：
(1)确定期望Ex
对一个变量，如果其具有一定的变化范围，其范围为VQa[Bmin,Bmax]，则Ex能够根据下式计算：
Ex＝(Bmin+Bmax)/2
式中，Bmin,Bmax分别表示变量VQa的最小边界和最大边界；
对于只有单侧边界的变量，如VQa[Bmin,+∞]或者VQa[-∞,Bmax]，则先根据变量的上下界 确定其缺省的边界参数或期望值，然后根据上式计算云的数字特征Ex。
(2)确定熵En由于建立的多维云模型要综合考虑所有每一个变量的变化，也即 每一个变量的变动数值，要根据其变化的最大范围来确定云的数字特征熵En，并且该 变量的En不变，由下式确定：
En＝(Ex)/3
上式中，Ex是某个变量对应的不同期望值。这里的公式是根据3En规则进行设置的。
(3)确定超熵He
He通常直接选择一个合适的常数k，一般He≤0.5。若He>0.5，则云滴与云滴之间距离过大，过于分散，无法较好体现出定性概念。
根据以上三种特征，可以利用N维正态正向云发生器算法在空间中生成云模型。图8示出了根据某一时刻x和y生成的二维云模型。
从图8中可以得出，模型手(包括手掌)的关节运动的平均偏移大约在5mm；其 中，纵轴的隶属度表示该点有多大概率为这一时刻的真实位移值；图8中，各点大致 分布在10mm的宽度内，所以平均偏移大约在5mm左右，这符合在实际进行作业时的 位置变化。
基于构建的多维云模型，将实际的运动位置进行运算后在云空间对比得到其符合电力操作变化的概率。具体地，所有采集得到的帧中，开始的400帧用于训练卷积神 经网络模型；其后的每一帧(也即，从第401帧开始，到结束帧)分别构建出一个独 立的三维云模型，该三维云模型包括x、y、z方向的偏移特征；并且，在集合了每一 个云滴的隶属度后，用于描述每一个云滴的数量特征实际上是一个四维值。将每一个 帧的实际位移值在多维云空间中对应的概率隶属度作为整体作业动作切换/分割/变化 的概率。
如图8所示，隶属度(也即概率)大于0.6的点较为密集，表明在进行利用各卷 积神经网络进行位置数据预测时，大部分时刻/时间帧的预测结果是符合电力操作时的 动作变化规律的。
动作分割的分布概率变化如图9所示。经过对比，得到5个分割点(也即图9中 的5个降落尖峰)，从而可以将整体的作业动作划分为6段。
根据分割点的帧数所处的时刻，与原运动过程中的时间点进行对比，结合整个作业过程可以将动作分割为：转向工具台(图7中的视频截图没有展示工具台)运动、 抓取验电笔、移向配电箱、接触验电、返回工具台、放下验电笔等六个子动作。这与 如图7所示的人工分割的子动作序列完全相同。因此，与人工分割相比，该实施例的 分割方法划分精度高、客观性强，自动化程度高，处理效率高。
综上，该实施例的分割方法具有如下特点：
1、利用卷积神经网络对多传感器数据手套数据进行处理，得到预测用多维数据集， 解决了空间上密集多传感器数据的应用困难问题；
2、对预测得到的多维数据集建立多维云模型，多维云模型对空间位置分布进行刻画，充分综合了操作时数据手套运动过程中的定性概念和定量数据；
3、利用操作运动数据在相应的多维云模型中的概率确定分割时间点，对虚拟现实环境下的作业动作进行分割方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件 方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序 代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流 程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中 的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提 供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据 处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处 理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定 方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个 方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算 机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能的步骤。
以上已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在 本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释， 除非在其中被另外明确地定义。所有的参考“一个//该[装置、组件等]”都被开放地解释 为装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步 骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种虚拟现实环境下数据手套动作分割方法，其特征在于，包括：
按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，其中，1≤j≤M，操作过程的持续时间记为t＝M*T；
从第N组高维空间信息矩阵开始到第M组高维空间信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻为一时间分割点；
根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。
2.根据权利要求1所述的方法，其特征在于，
所述计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，包括：
确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵：MMk-Q，MMk-Q-1，…，MMk-1；
分别利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-s，其中，0≤s≤S，S为最短训练长度，1<S<Q；
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建立多维云模型CLk；
计算第k组高维空间信息矩阵MMk隶属于多维云模型CLk的概率Pk。
3.根据权利要求2所述的方法，其特征在于，
所述利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-s，包括：
利用第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵训练卷积神经网络，并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ；
利用第k组高维空间信息矩阵MMk之前的(Q-1)组高维空间信息矩阵训练卷积神经网络，并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-1；
逐次递减高维空间信息矩阵的数量，利用第k组高维空间信息矩阵MMk之前的(Q-s)组高维空间信息矩阵训练卷积神经网络，并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-s，直到s递增为S-1时停止；
利用第k组高维空间信息矩阵MMk之前的(Q-S)组高维空间信息矩阵训练卷积神经网络，并利用该卷积神经网络预测与第k帧时间片对应的高维空间信息矩阵EEQ-S。
4.根据权利要求2所述的方法，其特征在于，
所述确定第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵，包括：
从第k组高维空间信息矩阵MMk之前的k组高维空间信息矩阵中，去除已经确定的全部时间分割点之前的各帧时间片对应的高维空间信息矩阵，得到第k组高维空间信息矩阵MMk之前的Q组高维空间信息矩阵。
5.根据权利要求2所述的方法，其特征在于，
所述根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，建立多维云模型CLk，包括：
根据全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵，分别确定由(S+1)个云滴描述的多维正态正向云发生器的期望、熵及超熵，其中，超熵He≤0.5；
根据多维正态正向云发生器的期望、熵及超熵，建立与全部的(S+1)个与第k帧时间片对应的高维空间信息矩阵对应的多维正态云模型CLk。
6.根据权利要求2所述的方法，其特征在于，
所述按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，包括：
根据数据手套内各传感器在空间中的位置关系，从拇指到小指，依次确定5列6行的高维空间信息矩阵；
其中，用E表示结束动作，作为冗余项，用于判定动作边缘信息。
7.根据权利要求6所述的方法，其特征在于，
在各高维空间信息矩阵为5列6行的高维空间信息矩阵时，在训练卷积神经网络时，所述卷积神经网络的结构为：自输入层到输出层，依次包括：一层输入层、一层卷积层、一层池化层、一层全连接层和一层输出层；
其中，卷积层设置的卷积核大小为6*2，滑动步长为3。
8.根据权利要求7所述的方法，其特征在于，
在训练卷积神经网络时，对训练精度选取采用了以下评价指标：
平均绝对误差MAE，平均相对误差MRE，
Figure FDA0002704004710000031
Figure FDA0002704004710000032
其中，fi为实际位移值，
Figure FDA0002704004710000033
为预测位移值，n为测试样本的数量。
9.根据权利要求1所述的方法，其特征在于，
所述数据手套包含用于设置在手部各预设位置或关节处的多个传感器，每个传感器用于获取多个维度的位置或坐标数据。
10.一种虚拟现实环境下数据手套动作分割装置，其特征在于，包括：
动作数据处理单元，用于：按照采样间隔T，将在操作过程中获取的虚拟现实环境下数据手套的动作数据处理为依次与M帧时间片对应的M组高维空间信息矩阵MMj，其中，1≤j≤M，操作过程的持续时间记为t＝M*T；
时间分割点确定单元，用于：从第N组高维空间信息矩阵开始到第M组高维空间信息矩阵，
逐一计算第k组高维空间信息矩阵MMk隶属于由其之前的Q组高维空间信息矩阵确定的多维云模型的概率Pk，其中，N≤k≤M，2≤Q≤(k-1)，并
在概率Pk大于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q组高维空间信息矩阵属于同一动作；及
在概率Pk小于预先设定的数值时，确定该组高维空间信息矩阵MMk与其之前的Q组高维空间信息矩阵不属于同一动作，且该组高维空间信息矩阵MMk对应的采样时刻为一时间分割点；
动作分割单元，用于：根据确定的全部F个时间分割点，将在操作过程中获取的虚拟现实环境下数据手套的动作数据依次分割为(F+1)个相对独立的动作。
CN202011032007.3A 2020-09-27 2020-09-27 虚拟现实环境下数据手套动作分割方法及装置 Pending CN112307898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011032007.3A CN112307898A (zh) 2020-09-27 2020-09-27 虚拟现实环境下数据手套动作分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011032007.3A CN112307898A (zh) 2020-09-27 2020-09-27 虚拟现实环境下数据手套动作分割方法及装置

Publications (1)

Publication Number Publication Date
CN112307898A true CN112307898A (zh) 2021-02-02

Family

ID=74489838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011032007.3A Pending CN112307898A (zh) 2020-09-27 2020-09-27 虚拟现实环境下数据手套动作分割方法及装置

Country Status (1)

Country Link
CN (1) CN112307898A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833830A (zh) * 2022-04-27 2022-08-02 北京市商汤科技开发有限公司 抓取方法及装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833830A (zh) * 2022-04-27 2022-08-02 北京市商汤科技开发有限公司 抓取方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Lim et al. Multimodal degradation prognostics based on switching Kalman filter ensemble
Le et al. Interactive boundary prediction for object selection
CN112735094B (zh) 基于机器学习的地质灾害预测方法、装置和电子设备
CN109215013A (zh) 自动骨龄预测方法、***、计算机设备和存储介质
CN105426929B (zh) 对象形状对准装置、对象处理装置及其方法
JP5068637B2 (ja) 製造プロセスにおける操業と品質の関連解析装置、解析方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN109741268B (zh) 一种针对壁画的破损图像补全方法
CN104634265B (zh) 一种基于多元图像特征融合的矿物浮选泡沫层厚度软测量方法
Abudu et al. Modeling of daily pan evaporation using partial least squares regression
CN113779882A (zh) 设备剩余使用寿命的预测方法、装置、设备及存储介质
CN112307898A (zh) 虚拟现实环境下数据手套动作分割方法及装置
CN107578448A (zh) 基于cnn的无标定曲面所包含拼接曲面个数识别方法
CN109858326A (zh) 基于类别语义弱监督的在线视觉跟踪方法及***
CN109190505A (zh) 基于视觉理解的图像识别方法
CN110838179B (zh) 基于体测数据的人体建模方法、装置及电子设备
CN106296747A (zh) 基于结构决策图的鲁棒多模型拟合方法
CN116824138A (zh) 基于点击点影响增强的交互式图像分割方法及设备
CN113868597B (zh) 一种用于年龄估计的回归公平性度量方法
Hernández et al. Adding uncertainty to an object detection system for mobile robots
CN114819344A (zh) 一种基于关键影响因子的全局时空气象农灾预测方法
CN110264154B (zh) 一种基于自编码器的众包信号地图构建方法
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置
JP6929260B2 (ja) 時系列特徴抽出装置、時系列特徴抽出方法及びプログラム
CN117133277B (zh) 用于人机交互的虚拟人物表情控制方法及***
CN116823057B (zh) 一种基于工效分析的用户体验效果评价方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination