CN115530855A - 三维数据采集设备的控制方法及装置、三维数据采集设备 - Google Patents

三维数据采集设备的控制方法及装置、三维数据采集设备 Download PDF

Info

Publication number
CN115530855A
CN115530855A CN202211214603.2A CN202211214603A CN115530855A CN 115530855 A CN115530855 A CN 115530855A CN 202211214603 A CN202211214603 A CN 202211214603A CN 115530855 A CN115530855 A CN 115530855A
Authority
CN
China
Prior art keywords
data
limb
dimensional
target object
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211214603.2A
Other languages
English (en)
Inventor
马超
陈晓军
章惠全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining 3D Technology Co Ltd
Original Assignee
Shining 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining 3D Technology Co Ltd filed Critical Shining 3D Technology Co Ltd
Priority to CN202211214603.2A priority Critical patent/CN115530855A/zh
Publication of CN115530855A publication Critical patent/CN115530855A/zh
Priority to PCT/CN2023/117804 priority patent/WO2024067027A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种三维数据采集设备的控制方法及装置、三维数据采集设备。其中，该方法包括：获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制三维数据采集设备执行与控制指令对应的动作。本申请解决了在利用各扫描仪进行数据采集的过程中，需要接触式控制扫描仪或电脑，给数据采集工作带来很大的不便的技术问题。

Description

三维数据采集设备的控制方法及装置、三维数据采集设备
技术领域
本申请涉及医疗器械领域，具体而言，涉及一种三维数据采集设备的控制方法及装置、三维数据采集设备。
背景技术
口腔诊所三维数据采集设备通常有口内扫描仪、面部扫描仪、锥形束CT机(Conebeam CT，CBCT)、口外扫描仪等，各个扫描仪都会各自搭配一套相关配件和设备进行数据采集。
目前，在利用各扫描仪进行数据采集的过程中，需要接触式控制扫描仪或电脑，给数据采集工作带来很大的不便。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种三维数据采集设备的控制方法及装置、三维数据采集设备，以至少解决在利用各扫描仪进行数据采集的过程中，需要接触式控制扫描仪或电脑，给数据采集工作带来很大的不便的技术问题。
根据本申请实施例的一个方面，提供了一种三维数据采集设备的控制方法，包括：获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制三维数据采集设备执行与控制指令对应的动作。
可选地，深度学习模型通过以下方式生成：获取训练数据集，其中，训练数据集包括：第二目标对象的肢体姿态的三维坐标数据、第二目标对象的肢体姿态的纹理图像数据以及第二目标对象的肢体姿态；构建神经网络模型；基于训练数据集对神经网络模型进行训练，生成深度学习模型；对生成的深度学习模型进行评估。
可选地，获取训练数据集，包括：获取多种类型的第二目标对象的肢体姿态的三维坐标数据以及纹理图像数据，其中，类型包括以下至少之一：肤色、年龄段、性别以及职业；分别获取多种类型的第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据。
可选地，获取训练数据集之后，上述方法还包括：分别对第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据进行标注，得到第二目标对象的肢体姿态三维坐标数据以及纹理图像数据与其对应的肢体姿态之间的映射关系。
可选地，将肢体姿态的数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态，包括：从映射关系中查找与第一目标对象的肢体姿态数据对应的肢体姿态；将查找到的肢体姿态确定为第一目标对象的肢体姿态。
可选地，基于训练数据集，生成深度学习模型之前，上述方法还包括：从多个肢体姿态的三维坐标数据以及纹理图像数据中选取目标肢体姿态的三维坐标数据以及纹理图像数据，其中，从目标肢体姿态的三维坐标数据以及纹理图像数据中识别出肢体姿态信息的正确率高于预设阈值。
可选地，获取第一目标对象的肢体姿态数据，还包括：利用肢体姿态的三维坐标数据以及纹理图像数据建立三维数据模型；将三维数据模型确定为第一目标对象的肢体姿态数据。
可选地，将三维数据模型确定为第一目标对象的肢体姿态数据，包括：在三维数据模型的数量为多个的情况下，对多个三维数据模型进行识别；将识别到的目标三维数据模型确定为第一目标对象的肢体姿态数据。
可选地，获取第一目标对象的肢体姿态数据的采集设备为面部扫描仪；三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的一个或多个。
可选地，获取与肢体姿态对应的控制指令，包括获取如下至少之一控制指令：开始运行指令，用于控制三维数据采集设备开始扫描数据；停止运行指令，用于控制三维数据采集设备停止扫描数据；旋转指令，用于控制三维数据采集设备旋转；确认指令，用于确定三维数据采集设备当前指令的动作，并控制三维数据采集设备执行下一步动作；切换指令，在三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的多个时，切换指令用于切换控制对象。
根据本申请实施例的另一方面，还提供了一种三维数据采集设备的控制装置，包括：第一获取模块，用于获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：三维坐标数据以及纹理图像数据；识别模块，用于将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；第二获取模块，用于获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制模块，用于控制三维数据采集设备执行与控制指令对应的动作。
根据本申请实施例的另一方面，还提供了一种三维数据采集设备，包括：采集装置以及处理器，其中，采集装置，与处理器连接，用于采集目标对象的肢体姿态数据，并将肢体姿态数据发送至处理器，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；处理器，用于执行以上的三维数据采集设备的控制方法。
根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行以上的三维数据采集设备的控制方法。
根据本申请实施例的再一方面，还提供了一种处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上的三维数据采集设备的控制。
在本申请实施例中，采用获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制三维数据采集设备执行与控制指令对应的动作的方式，通过利用深度学习模型识别用户的肢体姿态，然后利用用户的肢体姿态对应的控制指令对三维数据采集设备进行控制，从而实现了对三维数据采集设备进行无接触控制，提高了利用三维数据采集设备采集数据的效率，实现了无菌操作的要求的技术效果，进而解决了在利用各扫描仪进行数据采集的过程中，需要接触式控制扫描仪或电脑，给数据采集工作带来很大的不便的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种三维数据采集设备的控制方法的流程图；
图2是根据本申请实施例的一种三维数据采集设备的控制装置的结构框图；
图3是根据本申请实施例的一种三维数据采集设备的结构框图；
图4是根据本申请实施例的一种深度神经网络的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
口内扫描仪：口腔内部牙齿和牙龈的三维数据的采集设备通常有口内扫描仪，又称口腔数字印模仪。口内扫描仪可以直接获取牙齿或牙龈的三维形貌数据，直接用于加工修复牙提升就诊效率，减少传统加工流程过程中数据转换导致的累积误差。
面部扫描仪：面部的形貌往往对口腔的诊疗有非常大的辅助作用，面部扫描仪通过光学成像原理直接获取面部特征的三维形貌数据和纹理信息。
目前，在牙齿诊疗领域牙模数据的获取手段已经从印模三维扫描逐渐转向口内三维扫描技术。该技术的出现可以说是牙齿数字化加工的又一次革命。该技术摈弃了从印模、翻模、三维扫描的牙模数据获取方式，可以直接入口扫描获取牙齿三维数据。在流程时间上省略了印模、翻模两个步骤，在成本上节省了上述流程需要的材料、人工费及模型快递费，在客户体验上可避免制作印模时的不适感。从上述优势可以看出该技术必然会得到极大的发展。
口腔数字印模仪，又称口内三维扫描仪，是一种应用探入式光学扫描头，直接扫描患者口腔内，获取口腔内牙齿、牙龈、黏膜等软硬组织表面的三维形貌及彩色纹理信息的设备。该设备的一种方法是采用主动结构光三角测量成像原理，利用数字投影***投射主动光图案，摄像机采集***获取图案后即通过算法处理进行三维重建和拼接。
面部扫描仪，是通过光学原理进行三维重建而获取面部特征的三维形貌数据和纹理信息，通过3D面部扫描整合到数字化微笑设计(Digital Smile Design，DSD)工作流程中，替代原先的2D照片，成为当下面部数据采集和口腔颌面诊断的一种主流技术。
根据本申请实施例，提供了一种三维数据采集设备的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种三维数据采集设备的控制方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据。
上述第一目标对象为当前正在对三维数据采集设备进行操作的用户。肢体姿态可以是手部姿态、头部姿态、五官姿态(面部表情)或者身体姿态等。在本申请提供的实施例中，肢体姿态为手部姿态或面部姿态。
纹理图像一般指图像纹理，图像纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。
步骤S104，将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态。
步骤S106，获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制。
根据本申请的一个可选的实施例，不同肢体姿态对应不同的控制指令。例如，手部握拳姿态对应开启扫描的指令，伸开手掌姿态对应暂停扫描的指令。
步骤S108，控制三维数据采集设备执行与控制指令对应的动作。
在本步骤中，如果采集到用户的手部姿态为握拳姿态，控制三维数据采集设备开始扫描。
通过上述步骤，通过利用深度学习模型识别用户的肢体姿态，然后利用用户的肢体姿态对应的控制指令对三维数据采集设备进行控制，从而实现了对三维数据采集设备进行无接触控制，提高利用三维数据采集设备采集数据的效率，实现了无菌操作的要求的技术效果。
根据本申请的一个可选的实施例，深度学习模型通过以下方式生成：获取训练数据集，其中，训练数据集包括：第二目标对象的肢体姿态的三维坐标数据、第二目标对象的肢体姿态的纹理图像数据以及第二目标对象的肢体姿态；构建神经网络模型；基于训练数据集对神经网络模型进行训练，生成深度学习模型；对生成的深度学习模型进行评估。
可以理解的是，上述第二目标对象是指多个目标对象，在对深度学习模型进行训练阶段，需要大量训练数据，因此需要多个目标对象的肢体姿态的三维坐标数据和纹理图像数据。
在本申请提供的实施例中，深度学习模型的训练过程包括以下几个步骤：
1)手势数据集的收集，可以收集集中不同的手势姿态，其中，不同的手势姿态对应不同的控制指令。
2)构建神经网络模型，深度神经网络(Deep Neural Networks，DNN)是深度学习的基础。DNN网络图如4图所示，深度神经网络一般包括：输入层(input layer)、隐藏层(hidden layer)以及输出层(output layer)。
为了尽量利用有限的训练数据，通过一系列随机变换对数据进行提升，这样模型中将不会存在任意两张完全相同的图片，通过该方法有利于抑制过拟合，使得模型的泛化能力更好。
3)训练神经网络模型，由于数据量大会导致模型的训练时间比较长，因此，在训练的过程中使用图形处理器(Graphic Processing Unit，GPU)加速。同样在数据量通过GPU加速后，只需要几秒就可以处理完成，如果通仅在CPU中处理可能需要十几分钟甚至高达半个小时。
4)模型的评估和验证，模型训练过程可能存在过拟合或者欠拟合的问题，因此，需要调整批处理数据大小、激活函数的选择以及优化器、学习率等各种参数，通过不断的调试、训练出最好的结果。另外，可以将DNN换为更为合适的CNN卷积神经网络模型进行测试验证。
根据本申请的另一个可选的实施例，获取训练数据集，包括以下步骤：获取多种类型的第二目标对象的肢体姿态的三维坐标数据以及纹理图像数据，其中，类型包括以下至少之一：肤色、年龄段、性别以及职业；分别获取多种类型的第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据。
在本步骤中，采集各种肤色、不同年龄段、不同性别、不同职业的用户的手势姿态的三维数据和纹理图像。
作为一个可选的实施例，还需要采集多种手势姿态的三维数据和纹理图像，例如，用户伸开手掌、握紧拳头、伸出1根手指，伸出2根手指，伸出3根手指，伸出4根手指等手势姿态。
通过上述方法，通过采集不同类型用户的肢体姿态数据以及不用种类的肢体姿态数据作为训练数据集，可以提高深度学习模型的识别精确度。
在本申请的一些可选的实施例中，获取训练数据集之后，还需要分别对第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据进行标注，得到第二目标对象的肢体姿态三维坐标数据以及纹理图像数据与其对应的肢体姿态之间的映射关系。
在本步骤中，对采集的肢体姿态的三维数据和纹理图像的大数据样本进行标注，将获取的几种手势姿态进行聚类归类，确定数据样本与手势姿态的映射关系。收集大数据样本越多，映射收敛的准确性越高，给用户反馈的准确性和时效性更好，用户体验相应也会提高。
在本申请的另一些可选的实施例中，执行步骤S104将肢体姿态的数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态，通过以下方法实现：从映射关系中查找与第一目标对象的肢体姿态数据对应的肢体姿态；将查找到的肢体姿态确定为第一目标对象的肢体姿态。
在上文中提到，通过对采集的肢体姿态的三维坐标数据和纹理图像的大数据样本进行标注，确定数据样本与手势姿态的映射关系。
在对正在操作三维数据采集设备的用户的肢体姿态进行识别时，从上述映射关系中查找与用户的肢体姿态数据对应的肢体姿态，例如，采集到的用户的肢体姿态数据为握拳姿态的三维坐标数据和纹理图像，从上述映射表关系中可以查找导对应的握拳姿态。进而可以确定握拳姿态对应的控制指令。
作为本申请的一个可选的实施例，基于训练数据集，生成深度学习模型之前，还需要从多个肢体姿态的三维坐标数据以及纹理图像数据中选取目标肢体姿态的三维坐标数据以及纹理图像数据，其中，从目标肢体姿态的三维坐标数据以及纹理图像数据中识别出肢体姿态信息的正确率高于预设阈值。
在一个可选的实施例中，从训练数据集中删除部分容易引起误识别的手势的姿态数据，得到上述目标肢体姿态的三维坐标数据以及纹理图像数据。通过该方法，在保证深度学习模型的训练精度的前提下，通过去除训练数据集中的冗余数据，可以实现提高深度学习模型的训练速度的技术效果。
根据本申请的一个可选的实施例，执行步骤S102获取第一目标对象的肢体姿态数据，还可以通过以下方法实现：利用肢体姿态的三维坐标数据以及纹理图像数据建立三维数据模型；将三维数据模型确定为第一目标对象的肢体姿态数据。
作为一个可选的实施例，肢体姿态数据可以是基于肢体姿态的三维坐标数据以及纹理图像数据重建好的三维数据模型。
在本步骤中，利用目标对象的肢体姿态的三维坐标数据以及纹理图像数据，进行模型重建，得到三维数据模型，将该三维数据模型作为目标对象的肢体姿态数据。
通过利用目标对象的肢体姿态的三维坐标数据以及纹理图像数据重建三维数据模型，可以提高目标对象肢体姿态的识别准确率。
根据本申请的另一个可选的实施例，将三维数据模型确定为第一目标对象的肢体姿态数据，包括以下步骤：在三维数据模型的数量为多个的情况下，对多个三维数据模型进行识别；将识别到的目标三维数据模型确定为第一目标对象的肢体姿态数据。
在一个可选的实施例中，三维数据采集设备采集三维数据包括人面部数据和手部数据，基于面部数据和手部数据重建得到的三维数据模型包括面部三维数据模型和手部三维数据模型，对模型进行识别，提取手部三维数据模型作为肢体姿态数据。
在本申请的另一些可选的实施例中，执行步骤S106获取与肢体姿态对应的控制指令，包括获取如下至少之一控制指令：开始运行指令，用于控制三维数据采集设备开始扫描数据；停止运行指令，用于控制三维数据采集设备停止扫描数据；旋转指令，用于控制三维数据采集设备旋转；确认指令，用于确定三维数据采集设备当前指令的动作，并控制三维数据采集设备执行下一步动作；切换指令，在三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的多个时，切换指令用于切换控制对象。
在本申请提供的实施例中，肢体姿态对应的控制指令包括：开始扫描指令，控制三维数据采集设备开始采集数据；停止扫描指令，控制三维数据采集设备停止采集数据；控制三维数据采集设备旋转的指令；以及确认并进入下一步流程的控制指令，即确定三维数据采集设备当前执行的操作，并控制三维数据采集设备进入下一个操作流程。
根据本申请的一个可选的实施例，获取第一目标对象的肢体姿态数据的采集设备为面部扫描仪；三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的一个或多个。
需要说明的是，步骤S108中被控制的三维数据采集设备与步骤S102获取第一目标对象的肢体姿态数据的采集设备可以是手持扫描仪或固定扫描仪，且步骤S108中被控制的三维数据采集设备与步骤S102获取第一目标对象的肢体姿态数据的采集设备可以是是相同或者不同的。
例如：在步骤S102中获取第一目标对象的肢体姿态数据的采集设备可以是面部扫描仪或者其他三维扫描仪，在步骤S108中被控制的三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪、和锥形束CT机(Cone beam CT，CBCT)等扫描仪中的一个或多个。
其中，当步骤S102中获取第一目标对象的肢体姿态数据可以是面部扫描仪，步骤S108中被控制的三维数据采集设备是口内扫描仪等医用扫描仪，可以避免接触式控制扫描仪或电脑，给数据采集工作带来的不便，还可以降低因接触式控制所带来的安全隐患，避免医生在治疗过程中所产生的血液、唾液带来的污染和疾病传播。
当在步骤S108中被控制的三维数据采集设备包括多个扫描仪时，与所述肢体姿态对应的控制指令，还包括切换指令，在三维数据采集设备所包括的多个扫描仪中切换控制对象。
图2是根据本申请实施例的一种三维数据采集设备的控制装置的结构框图，如图2所示，该装置包括：
第一获取模块20，用于获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：三维坐标数据以及纹理图像数据；
上述第一目标对象为当前正在对三维数据采集设备进行操作的用户。肢体姿态可以是手部姿态、头部姿态或者身体姿态等。在本申请提供的实施例中，肢体姿态为手部姿态。
识别模块22，用于将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；
第二获取模块24，用于获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；
根据本申请的一个可选的实施例，不同肢体姿态对应不同的控制指令。例如，手部握拳姿态对应开启扫描的指令，伸开手掌姿态对应暂停扫描的指令。
控制模块26，用于控制三维数据采集设备执行与控制指令对应的动作。
需要说明的是，图2所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
图3是根据本申请实施例的一种三维数据采集设备的结构框图，如图3所示，该三维数据采集设备包括：采集装置30以及处理器32，其中，
采集装置30，与处理器32连接，用于采集目标对象的肢体姿态数据，并将肢体姿态数据发送至处理器32，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；
在本申请提供的一种实施例中，采集装置30为安装在三维数据采集设备上述的摄像头。上述目标对象为当前正在对三维数据采集设备进行操作的用户。肢体姿态可以是手部姿态、头部姿态或者身体姿态等。在本申请提供的实施例中，肢体姿态为手部姿态。
处理器32，用于执行以上的三维数据采集设备的控制方法。
需要说明的是，图3所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
本申请实施例还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行以上的三维数据采集设备的控制方法。
上述非易失性存储介质用于存储执行以下功能的程序：获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制三维数据采集设备执行与控制指令对应的动作。
本申请实施例还提供了一种处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上的三维数据采集设备的控制。
上述处理器用于运行执行以下功能的程序：获取第一目标对象的肢体姿态数据，其中，肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；将肢体姿态数据输入至深度学习模型进行识别，得到第一目标对象的肢体姿态；获取与肢体姿态对应的控制指令，其中，控制指令用于对三维数据采集设备进行控制；控制三维数据采集设备执行与控制指令对应的动作。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种三维数据采集设备的控制方法，其特征在于，包括：
获取第一目标对象的肢体姿态数据，其中，所述肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；
将所述肢体姿态数据输入至深度学习模型进行识别，得到所述第一目标对象的肢体姿态；
获取与所述肢体姿态对应的控制指令，其中，所述控制指令用于对三维数据采集设备进行控制；
控制所述三维数据采集设备执行与所述控制指令对应的动作。
2.根据权利要求1所述的方法，其特征在于，所述深度学习模型通过以下方式生成：
获取训练数据集，其中，所述训练数据集包括：第二目标对象的肢体姿态的三维坐标数据、所述第二目标对象的肢体姿态的纹理图像数据以及所述第二目标对象的肢体姿态；
构建神经网络模型；
基于所述训练数据集对所述神经网络模型进行训练，生成所述深度学习模型；
对生成的所述深度学习模型进行评估。
3.根据权利要求2所述的方法，其特征在于，获取训练数据集，包括：
获取多种类型的所述第二目标对象的肢体姿态的三维坐标数据以及纹理图像数据，其中，所述类型包括以下至少之一：肤色、年龄段、性别以及职业；
分别获取所述多种类型的第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据。
4.根据权利要求3所述的方法，其特征在于，获取训练数据集之后，所述方法还包括：
分别对第二目标对象的多个肢体姿态的三维坐标数据以及纹理图像数据进行标注，得到所述第二目标对象的肢体姿态三维坐标数据以及纹理图像数据与其对应的肢体姿态之间的映射关系。
5.根据权利要求4所述的方法，其特征在于，将所述肢体姿态的数据输入至深度学习模型进行识别，得到所述第一目标对象的肢体姿态，包括：
从所述映射关系中查找与所述第一目标对象的肢体姿态数据对应的肢体姿态；
将查找到的肢体姿态确定为所述第一目标对象的肢体姿态。
6.根据权利要求3所述的方法，其特征在于，基于所述训练数据集，生成所述深度学习模型之前，所述方法还包括：
从所述多个肢体姿态的三维坐标数据以及纹理图像数据中选取目标肢体姿态的三维坐标数据以及纹理图像数据，其中，从所述目标肢体姿态的三维坐标数据以及纹理图像数据中识别出所述肢体姿态信息的正确率高于预设阈值。
7.根据权利要求1所述的方法，其特征在于，获取第一目标对象的肢体姿态数据，还包括：
利用所述肢体姿态的三维坐标数据以及纹理图像数据建立三维数据模型；
将所述三维数据模型确定为所述第一目标对象的肢体姿态数据。
8.根据权利要求7所述的方法，其特征在于，将所述三维数据模型确定为所述第一目标对象的肢体姿态数据，包括：
在所述三维数据模型的数量为多个的情况下，对多个所述三维数据模型进行识别；
将识别到的目标三维数据模型确定为所述第一目标对象的肢体姿态数据。
9.根据权利要求1所述的方法，其特征在于，
所述获取第一目标对象的肢体姿态数据的采集设备为面部扫描仪；
所述三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的一个或多个。
10.根据要求1所述的方法，其特征在于，获取与所述肢体姿态对应的控制指令，包括获取如下至少之一控制指令：
开始运行指令，用于控制所述三维数据采集设备开始扫描数据；
停止运行指令，用于控制所述三维数据采集设备停止扫描数据；
旋转指令，用于控制所述三维数据采集设备旋转；
确认指令，用于确定所述三维数据采集设备当前指令的动作，并控制所述三维数据采集设备执行下一步动作；
切换指令，在所述三维数据采集设备包括口内扫描仪、面部扫描仪、耳内扫描仪、牙模扫描仪、足部扫描仪和锥形束CT机中的多个时，所述切换指令用于切换控制对象。
11.一种三维数据采集设备的控制装置，其特征在于，包括：
第一获取模块，用于获取第一目标对象的肢体姿态数据，其中，所述肢体姿态数据包括：三维坐标数据以及纹理图像数据；
识别模块，用于将所述肢体姿态数据输入至深度学习模型进行识别，得到所述第一目标对象的肢体姿态；
第二获取模块，用于获取与所述肢体姿态对应的控制指令，其中，所述控制指令用于对三维数据采集设备进行控制；
控制模块，用于控制所述三维数据采集设备执行与所述控制指令对应的动作。
12.一种三维数据采集设备，其特征在于，包括：采集装置以及处理器，其中，
所述采集装置，与所述处理器连接，用于采集目标对象的肢体姿态数据，并将所述肢体姿态数据发送至所述处理器，其中，所述肢体姿态数据包括：肢体姿态的三维坐标数据以及纹理图像数据；
所述处理器，用于执行权利要求1至10中任意一项所述的三维数据采集设备的控制方法。
13.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至10中任意一项所述的三维数据采集设备的控制方法。
CN202211214603.2A 2022-09-30 2022-09-30 三维数据采集设备的控制方法及装置、三维数据采集设备 Pending CN115530855A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211214603.2A CN115530855A (zh) 2022-09-30 2022-09-30 三维数据采集设备的控制方法及装置、三维数据采集设备
PCT/CN2023/117804 WO2024067027A1 (zh) 2022-09-30 2023-09-08 三维数据采集设备的控制方法及装置、三维数据采集设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211214603.2A CN115530855A (zh) 2022-09-30 2022-09-30 三维数据采集设备的控制方法及装置、三维数据采集设备

Publications (1)

Publication Number Publication Date
CN115530855A true CN115530855A (zh) 2022-12-30

Family

ID=84731829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211214603.2A Pending CN115530855A (zh) 2022-09-30 2022-09-30 三维数据采集设备的控制方法及装置、三维数据采集设备

Country Status (2)

Country Link
CN (1) CN115530855A (zh)
WO (1) WO2024067027A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067027A1 (zh) * 2022-09-30 2024-04-04 先临三维科技股份有限公司 三维数据采集设备的控制方法及装置、三维数据采集设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425239A (zh) * 2012-05-21 2013-12-04 刘鸿达 以脸部表情为输入的控制***
CN104714638A (zh) * 2013-12-17 2015-06-17 西门子公司 医疗技术控制器
CN205672016U (zh) * 2016-05-04 2016-11-09 长安大学 一种基于三向ccd的三维激光下的面部纹理特征扫描仪
CN112149606A (zh) * 2020-10-02 2020-12-29 深圳市中安视达科技有限公司 医用手术显微镜智能控制方法、***及可读存储介质
CN112241731A (zh) * 2020-12-03 2021-01-19 北京沃东天骏信息技术有限公司 一种姿态确定方法、装置、设备及存储介质
CN112306220A (zh) * 2019-07-31 2021-02-02 北京字节跳动网络技术有限公司 基于肢体识别的控制方法、装置、电子设备及存储介质
CN112418080A (zh) * 2020-11-20 2021-02-26 江苏奥格视特信息科技有限公司 一种激光扫描成像仪的手指动作识别方法
CN112967796A (zh) * 2019-12-13 2021-06-15 深圳迈瑞生物医疗电子股份有限公司 体外诊断设备的非接触式控制方法、设备及存储介质
CN114758076A (zh) * 2022-04-22 2022-07-15 北京百度网讯科技有限公司 一种用于建立三维模型的深度学习模型的训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115530855A (zh) * 2022-09-30 2022-12-30 先临三维科技股份有限公司 三维数据采集设备的控制方法及装置、三维数据采集设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425239A (zh) * 2012-05-21 2013-12-04 刘鸿达 以脸部表情为输入的控制***
CN104714638A (zh) * 2013-12-17 2015-06-17 西门子公司 医疗技术控制器
CN205672016U (zh) * 2016-05-04 2016-11-09 长安大学 一种基于三向ccd的三维激光下的面部纹理特征扫描仪
CN112306220A (zh) * 2019-07-31 2021-02-02 北京字节跳动网络技术有限公司 基于肢体识别的控制方法、装置、电子设备及存储介质
CN112967796A (zh) * 2019-12-13 2021-06-15 深圳迈瑞生物医疗电子股份有限公司 体外诊断设备的非接触式控制方法、设备及存储介质
CN112149606A (zh) * 2020-10-02 2020-12-29 深圳市中安视达科技有限公司 医用手术显微镜智能控制方法、***及可读存储介质
CN112418080A (zh) * 2020-11-20 2021-02-26 江苏奥格视特信息科技有限公司 一种激光扫描成像仪的手指动作识别方法
CN112241731A (zh) * 2020-12-03 2021-01-19 北京沃东天骏信息技术有限公司 一种姿态确定方法、装置、设备及存储介质
CN114758076A (zh) * 2022-04-22 2022-07-15 北京百度网讯科技有限公司 一种用于建立三维模型的深度学习模型的训练方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067027A1 (zh) * 2022-09-30 2024-04-04 先临三维科技股份有限公司 三维数据采集设备的控制方法及装置、三维数据采集设备

Also Published As

Publication number Publication date
WO2024067027A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
US20220218449A1 (en) Dental cad automation using deep learning
US11735306B2 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
CN113168910B (zh) 用于操作个人梳理器具或家用清洁器具的设备和方法
US20210267730A1 (en) Dental cad automation using deep learning
Revilla-León et al. Artificial intelligence models for tooth-supported fixed and removable prosthodontics: A systematic review
WO2019141106A1 (zh) 基于c/s架构的牙齿美化ar智能辅助方法及装置
KR20210136021A (ko) 구강내 스캔을 위한 외부 개체 식별 및 이미지 증대 및/또는 필터링
Tian et al. DCPR-GAN: dental crown prosthesis restoration using two-stage generative adversarial networks
WO2024067027A1 (zh) 三维数据采集设备的控制方法及装置、三维数据采集设备
JP2021133135A (ja) 推定装置、推定システム、推定方法、および推定用プログラム
Singi et al. Extended arm of precision in prosthodontics: Artificial intelligence
CN113257372B (zh) 口腔健康管理相关***、方法、装置及设备
KR20200058316A (ko) 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템
JP6771687B1 (ja) 推定装置、推定システム、推定方法、および推定用プログラム
JP7496995B2 (ja) 推定装置、推定方法、および推定用プログラム
JP6777916B1 (ja) 推定装置、推定システム、推定方法、および推定用プログラム
JP7428634B2 (ja) 制御装置、制御方法、および制御プログラム
US11992380B2 (en) System and method for providing a pediatric crown
EP4202829A1 (en) System and method for user anatomy and physiology imaging
JP2022170352A (ja) 推定装置、推定方法、および推定用プログラム
CN115810099B (zh) 一种用于虚拟沉浸式抑郁症治疗***的图像融合设备
CN114494601B (zh) 基于人脸图像的三维人脸检索正畸矫正和疗效模拟***
Takács et al. Facial modeling for plastic surgery using magnetic resonance imagery and 3D surface data
CN111656382A (zh) 广告提示方法及广告提示***
CN116385474A (zh) 基于深度学习的牙齿扫描模型分割方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination