CN108985119A - 结构光解码的方法和设备 - Google Patents

结构光解码的方法和设备 Download PDF

Info

Publication number
CN108985119A
CN108985119A CN201710401404.5A CN201710401404A CN108985119A CN 108985119 A CN108985119 A CN 108985119A CN 201710401404 A CN201710401404 A CN 201710401404A CN 108985119 A CN108985119 A CN 108985119A
Authority
CN
China
Prior art keywords
geometric
layer
target
sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710401404.5A
Other languages
English (en)
Inventor
唐苏明
宋展
殷东羽
王维
林天鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710401404.5A priority Critical patent/CN108985119A/zh
Priority to PCT/CN2018/088443 priority patent/WO2018219227A1/zh
Publication of CN108985119A publication Critical patent/CN108985119A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了结构光解码的方法和设备，包括将第一投影图像投射至第一目标物体，获取所述第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像，其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形；从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标；提取所述目标特征点对应的目标几何图形；利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。本申请实施例能够利用卷积神经网络模型实现对物体影像的结构光解码。

Description

结构光解码的方法和设备
技术领域
本申请涉及图像处理领域，并且更具体地，涉及图像处理领域中的结构光解码的方法和设备。
背景技术
三维信息获取技术的主要任务是利用信息获取设备将待测场景转化为三维信息，这一获取过程也被称为三维重建。目前，三维信息获取技术中所用的获取方法主要有单激光线扫描法、飞行时间法、立体视觉法、结构光法等。单激光线扫描法重建速度慢，不适用于实时三维测量；飞行时间法重建精度较低；立体视觉法计算复杂度高；而结构光法能够实现高精度、高速度的三维重建，且成本低，已广泛应用于工业检测、机械制造、逆向工程及影视特效制作等领域。
编码和解码是结构光三维重建技术的两个重要步骤，不同的编码策略具有不同的解码方法。目前结构光的编码方法大致可以分为时间编码方法和空间编码方法。时间编码方法能获得密集的三维重建信息，但是需要投射多幅图像，这种方法比较适合静态场景三维重建。相比较而言，空间编码方法只需要投射单幅图像便可一次获取三维场景信息，具有较强的实时性，尤为适合动态场景三维重建。由于空间编码的三维结构光重建技术在测量速度方面具有突出优势，其广泛应用于机器人导航、姿态识别、运动跟踪及计算机辅助医学等领域。
二值空间编码是一种较为简单和常用的结构光编码，即利用每个单元仅有两个可能值的几何图形组成编码信号。在此类编码的解码阶段，通常采用图像分割手段获取二值几何图形的轮廓，然后通过判别图形的几何特征或角度变化进行解码，在目标物体表面颜色、纹理比较简单、曲率较小的情况下能够实现很好的解码效果。但是，当目标物体表面的颜色种类多样、颜色深浅不一，拍摄得到的几何图形的灰度值与投影的几何图形相比会发生较大变化，且复杂的纹理结构易使采集到的几何图形出现不连续，以及剧烈的曲率变化易使几何图形发生较大畸变，在这些情况下，现有的基于图形分割的解码方法由于鲁棒性较差，解码精度低，难以实现较理想的解码效果，使得解码所得的正确三维点数较少，无法获得完整的曲面信息。
发明内容
本申请提供一种结构光解码的方法和设备，能够利用卷积神经网络模型实现对物体影像的结构光解码。
一方面，提供了一种结构光解码的方法，包括：
将第一投影图像投射至第一目标物体，获取所述第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像，其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形；
从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标；
提取所述目标特征点对应的目标几何图形；
利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
本申请实施例将包括多个投影几何图形的投影图像投射至目标物体表面，通过获取被目标物体的表面调制后所形成的物体影像，并从该物体影像中提取与特征点对应的几何图形，通过神经网络模型对该物体影像中的几何图形进行识别和分类，确定该物体影像中的几何图形对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
具体的，可以在所述第一物体影像中的第二范围内提取所述目标特征点，并获取所述目标特征点的拓扑结构；其中，所述提取所述目标特征点对应的目标几何图形，可以包括：根据所述目标特征点的拓扑结构，提取所述目标几何图形。这里，可以将第一物体影像的目标特征点对应的几何图形称为规范化的编码图像。并且，这里可以提取第一物体影像的全部特征点对应的几何图形。
本申请实施例中，所述投影几何图形为二值几何图形、灰度几何图形或彩色几何图形，所述几何图形包括条形、方块和不规则图形中的至少一种。因此，本申请实施例中空间解码适用的结构光类型并不局限于本申请实施例中所述的二值空间编码结构光，对于灰度、彩色编码结构光或者其他窗口大小的二值编码结构光同样具有可适用性。
在一些可能的实现方式中，在利用所述神经网络模型进行结构光解码之前，还可以训练所述神经网络模型。这时，需要建立用于训练模型的样本数据库。
具体的，建立所述样本数据库可以包括：
获取所述第二物体影像，所述第二物体影像为第二投影图像投射至第二目标物体上且被所述第二目标物体的表面调制后所形成的影像，所述第二投影图像包括多个所述投影几何图形；在所述第二物体影像中的第一范围内提取样本特征点，并获取所述样本特征点的拓扑结构；根据所述样本特征点的拓扑结构，提取所述样本几何图形，以建立所述样本数据库。这里，样本几何图形也是规范化的编码图像。
作为一例，可以提取第二物体影像中的全部特征点对应几何图形。
在一些可能的实现方式中，还可以通过以下方式中的至少一种扩大所述样本几何图形的数量：
在所述样本几何图形中添加高斯噪声；
在所述样本几何图形中添加随机黑白线；
对所述样本几何图形执行仿射变换；
对所述样本几何图形进行高斯滤波。
这样，可以将从第二物体影像中提取的规范化的编码图像作为基本样本，通过对基本样本进行上述操作中的至少一种将样本数量扩大。例如可以将样本数量从80000扩大到300000。
在一些可能的实现方式中，所述利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形之前，还包括：
根据所述投影几何图形，建立所述神经网络模型，其中，所述神经网络模型包括输入层、卷积层、下采样层、全连层和输出层，所述输入层、卷积层、下采样层、全连层和输出层相连接，所述输入层用于输入所述目标几何图形，所述卷积层、下采样层和全连层分别用于提取前一层图像的特征，所述输出层用于输出与所述输入层输入的目标几何图形对应的码字信息投影几何图形。
在一些可能的实现方式中，可以根据所述投影几何图形的种类，确定所述神经网络的输出层的数量，其中，所述输出层的数量表示所述输出层需要识别的所述投影几何图形的种类的数量。
初始化所述神经网络模型中的所述卷积层、所述下采样层、所述全连层中的每个层的连接权重。
根据样本数据库，训练所述神经网络模型，并更新所述每个层的连接权重，其中，所述样本数据库包括多个从第二物体影像中获取的样本几何图形。
因为本申请实施例中的卷积神经网络是经过深度学习的，因而本申请实施例能够应对表面色彩丰富、纹理复杂、反射特性强及曲率变化大的目标物体，而且相比传统的基于图像分割的解码方法具有更高的解码正确率，能够较大程度的降低传统解码方法中的误码率，因而本申请实施例的结构光解码的方法具有更强的鲁棒性。当将本申请实施例的解码方法应用于三维重建***中，能够较为准确的还原物体表面的三维细节变化，生成的三维曲面效果较好。
第二方面，本发明实施例提供了一种结构光解码的设备，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法，具体的，该设备包括用于执行上述第一方面或第一方面任意可能的实现方式中的方法的模块。
第三方面，本发明实施例提供了一种结构光解码的设备，包括：存储器、处理器和收发器。其中，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，该执行使得该处理器执行第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，本发明实施例提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
附图说明
图1是本申请实施例的一种结构光***的示意性框图。
图2是本申请实施例的一种训练卷积神经网络模型的方法的示意性流程图。
图3是本申请实施例的一种生成的部分投影图案的示意图。
图4是本申请实施例的一种采集到的部分样本。
图5是本申请实施例的一种卷积神经网络模型的示意图。
图6是本申请实施例的一种结构光解码的方法的示意性流程图。
图7是本申请一个具体的实施例中采用的投影图像。
图8是本申请一个具体的实施例中的选择的目标物体。
图9是本申请一个具体的实施例中对目标物体的物体影像提取的特征点。
图10是本申请一个具体实施例所获得的三维点云模型的示意图。
图11是本申请实施例的一种结构光解码的设备的示意性框图。
图12是本申请实施例的另一种结构光解码的设备的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1是本申请实施例的结构光***的示意性框图。该***包括计算机11、投影机12、相机13。本申请实施例中，投影机12将编码图案投影到目标物体14上，相机13拍摄被物体表面调制的编码图案，计算机11获取并保存相机13采集到的该被调制的编码图案，并对该被调制的编码图案进行处理。本申请实施例中，可以称投影机12投射到物体上的编码图案为投影图像，称相机13所拍摄的被调制的编码图案为物体影像，即物体影像为相机拍摄的投影图像在目标物体上14形成的影像。
本申请实施例中，目标物体14表面的颜色种类可以多样，或者颜色可以深浅不一，目标物体14的表面也可以具有复杂的纹理结构。当目标物体14表面的颜色种类多样，或者颜色深浅不一时，相机13拍摄到的物体影像的灰度值与投影图像相比会发生较大的变化，或者当目标物体具有复杂的纹理结构时，相机13采集到的物体影像中的图形会出现不连续，并且剧烈的曲率变化容易使图形发生较大畸变。
本申请实施例中，计算机11中存储有已训练的卷积神经网络模型，利用该卷积神经网络模型能够对相机13获取的待测场景(即目标物体14)的物体影像进行解码。图2是本申请实施例的一种训练卷积神经网络模型的方法的示意性流程图。应理解，图2示出了训练卷积神经网络模型的方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图2中的各个操作的变形。此外，图2中的各个步骤可以按照与图2呈现的不同的顺序来执行，并且有可能并非要执行图2中的全部操作。
110，获取物体影像。
具体地，可以将投影图像投射至目标物体，获取投影图像被目标物体的表面调制后所形成的物体影像。投影图像中包括多个特征点和多个与特征点对应的几何图形，投影图像中包括的几何图形与码字信息一一对应。这里，投影图像中包括的几何图形和与该几何图形对应的码字信息为投影图像的编码元素，并且投影图像中的几何图形还可以称为投影几何图形。本申请实施例中，几何图形还可以称为几何符号，码字信息还可以称为码字。
由于目标物体14物体表面颜色及纹理结构对相机13采集到的物体影像有较大影响，本申请实施例可以采用具有强鲁棒性的二值几何图形进行编码。下文中将以二值几何图形为例对本申请的结构光解码的方法进行详细描述。
具体的，可以根据伪随机编码原理，生成一个大小为65×63、窗口尺寸为2×2的伪随机阵列，利用8类几何图形代表伪随机阵列中的码字。表1所示为本申请实施例的一种几何图形与码字的对应关系。该8类几何图形用于生成本申请实施例中的投影图案。
表1
进一步的，可以将这8类几何图形镶嵌在白色菱形中，黑色选为背景色，两个相邻菱形的交点定义为特征点，由此即可获得一个基于二值几何图形编码的投影图案。图3所示为本申请一个实施例生成的部分投影图案的示意图。
这时，可以利用图1中的投影机12将生成的投影图案投射至目标物体14表面，使用相机13拍摄覆盖投影图案的目标物体影像即可获取物体影像。
120，从物体影像中提取规范化的编码图像。
具体的，将相机13拍摄到的物体影像(即110中获取的物体影像)转换成灰度图像，通过下面的公式(1)检测出候选特征点：
其中，(i，j)表示待候选特征点在物体影像中的坐标位置，I表示图像灰度，L表示滤波模板的半径。假设物体影像中的坐标系为x-y，则α为在滤波模板中的沿x轴方向上相对特征点(i，j)的距离，β为在滤波模板中的沿y轴方向相对特征点(i，j)的距离。(α，β)代表滤波模板参考点，且会在模板上的半径范围内移动。H表示参考点沿x轴、y轴方向上图像灰度的累加值。这里，通过对H设定合适的阈值即可选出候选特征点，具体的，当位置参数为(i1，j1)的特征点的H值大于或等于所设置的阈值时，可以确定该特征点为候选特征点。在一些可能的实现方式中，阈值可以通过经验值确定。
进一步的，本申请实施例中，可以将候选特征点中的错误的特征点剔除。具体的，因为正确的特征点具有中心对称性，可以利用旋转180°对称性不变的原理，将错误的特征点剔除。
可选地，可以在所述物体影像中的第一范围内获取目标特征点，并获取所述目标特征点的拓扑结构。这样，可以获得小范围的物体影像的特征点的拓扑结构。然后，根据所述物体影像的目标特征点的拓扑结构，提取物体影像的目标特征点对应的几何图形，并可以将该目标特征点对应的几何图形作为规范化的编码图像。
具体的，根据提取的物体影像的特征点即可获得特征点的拓扑结构。在本申请实施例中，由于每个菱形图像具有4个特征点，因此根据特征点的拓扑结构便可提取到菱形内的几何元素。提取菱形内的几何元素的过程具体可以为：借助构成内部存在几何元素的菱形的4个特征点，利用仿射变换和双线性插值法可以将几何图形规范化成大小均为32×32的编码图像。这里，物体影像的规范化的编码图像即为物体影像中的4个特征点(即目标特征点)所包围的几何图形。其中仿射变换可用下式(2)表示：
其中，(upt,vpt)表示检测到的特征点在物体影像中的坐标，(uim,vim)表示规范化的编码图像的四个角点(0,0)，(a,0)，(a,b)，(0,b)。
可以理解，本申请实施例从物体影像中提取的规范化的编码图像可以为只包含一个几何图形的图像，因而在从物体影像中提取规范化的编码图像时，可以在一个物体影像中提取多个规范化的编码图像。作为一例，可以提取物体影像中的全部特征点对应几何图形。
130，建立图像解码的样本数据库。
具体而言，当投影图案被投射到物体表面时，容易受到目标物体表面的颜色、纹理、高频反射、陡坡、遮挡等因素的影像，使得相机拍摄的物体影像中的几何图形不易被正确识别。本申请实施例中，在建立样本数据库时，可以选择具有多种不同表面特性(如色彩丰富、纹理复杂、表面反射特性强、高度跳变大等)的物体作为样本采集的目标物体。也就是说，本申请实施例中，可以提取丰富的样本图像，并以此建立图像解码的样本数据库。详细过程如下：
第一步，可以选取多种具有不同表面特性的物体作为样本采集的目标物体。例如，目标物体可以包括皮球、白纸、彩色玩具、彩色布匹、油画、纸张、塑料模型、石膏像、木板、人手和脸等。
第二步，可以将每一幅仅含有单一几何图形的投影图案或者将含有至少两种几何图形的投影图案分别投射至目标物体上，以此建立样本库。这里样本库的数量可以为80000。图4所示为本申请一个实施例的采集到的部分样本。
具体的，可以获取目标物体上形成的物体影像，并通过120获取每个样本的规范化的编码图像。这里，可以将样本的规范化的编码图像称为物体影像样本或样本几何图形。
第三步，由于上一步中投影图案所包含的几何图形的数量有限，难以一次性获得数量巨大且丰富的样本，因此可以将上一步获得的数据作为基本样本，通过对基本样本进行以下操作中的至少一种将样本数量扩大到300000：
(1)在物体影像样本中添加高斯噪声。
具体的，可以在高对比度的物体影像样本中添加高斯噪声；
(2)在物体影像样本中添加随机黑白线。
具体的，可以在物体影像样本中添加随机黑白线以获得具有遮挡的物体影像样本；
(3)对物体影像样本执行仿射变换。
具体的，可以对物体影像样本执行仿射变换以获得具有局部误差的物体影像样本；
(4)对物体影像样本进行高斯滤波。
也就是说，本申请实施例中，可以在获得相机拍摄到的物体影像，并且对该物体影像进行提取规范化的编码图像(即基本样本)之后，可以利用数学方法对该规范化的编码图像进行变换，以增加样本的数量，实现对样本数据库进行扩大。
140，建立卷积神经网络模型。
本申请实施例中，神经网络模型包括输入层、卷积层、下采样层、全连层和输出层，所述输入层、卷积层、下采样层、全连层和输出层相连接，所述输入层用于输入物体影像的几何图形(即120或130中获得的规范化的编码图像)，所述卷积层、下采样层和全连层分别用于提取前一层图像的特征，所述输出层用于输出输入层输入的物体影像的几何图形对应的投影几何图形。
本申请实施例中，可以根据投影图像中的的几何图形，建立卷积神经网络模型。由于输出层需要输出与所述输入层输入的物体影像的几何图形对应的投影几何图形，也就是说，当投影几何图形为表1中的8种几何图形时，输出层有可能输出8中不同的识别结果。因此，本申请实施例中，输出层的数量可以为输出层需要识别的投影几何图形的种类的数量。
本申请实施例以Lenet-5卷积神经网络为例进行说明。由于本申请中投影图像中的几何图形有8种，因而在本发明实施例中Lenet-5卷积神经网络的输出层数量为8。
具体而言，Lenet-5卷积神经网络由7层组成(应注意，该7层不包括输入层)。图5所示为本申请实施例的卷积神经网络模型的示意图。这7层分别是卷积层C1、C3、C5和下采样层S2、S4，以及全连层F6和输出层。其中，C代表卷积层，S代表下采样层，F代表全连层。每个层有多个特征图，每个特征图是通过一种卷积滤波器提取得到前一层的特征。每个特征图有多个神经元，每一层都有可训练的参数，例如连接权重。每个层的连接权重和可以包括每个层的偏置。
输入层输入120中提取的32×32的规范化的编码图像。卷积层利用一个5×5的卷积滤波器与前一层图像做卷积提取特征(如图5中输入图像、S2、S4中的特征图中的方框和与方框连接的线条所示)，通过卷积运算可以使原信号特征增强，并且降低噪音。具体的如图5所示，C1层有6个28×28特征图；C3有16个10×10特征图，C5有120个1×1特征图。下采样层利用局部相关性原理对图像进行子抽样(如图5中C1、C3中的特征图中的方框和与方框连接的线条所示)，可以减少数据处理，同时保留有用信息。具体的如图5所示，S2有6个14×14的特征图，S4有16个5×5特征图。全连层有84个神经元，输出层为8，表示需要识别8个类别，即表1所示的8个编码元素。
卷积层C的每4个神经元加权后相加，再加上一个可训练的偏置参数，然后通过一个sigmoid激活函数，最后产生一个缩小4倍的特征映射图，即下采样层。将得到的下采样层与5×5的卷积滤波器做卷积得到卷积层，由此出现了卷积层和下采样层交互相连的情形。全连层的每个特征图仅有一个神经元，与C5层全相连。输出层由欧式径向基函数神经元组成，每类对应一个神经元，共输出8类。
150，训练卷积神经网络。
本申请实施例中，可以将130中获取的样本数据库分成10份，其中9份用作训练集，1份用作测试集。利用训练集对140中建立的卷积神经网络进行训练，并利用测试集对已训练的卷积神经网络进行测试。
首先，可以初始化所述神经网络模型中的所述卷积层、所述下采样层、所述全连层中的每个层的连接权重。
具体的，可以随机初始化模型中的每个层的连接权重，且每个层的初始的连接权重的值不相等。
然后，根据样本数据库，训练所述神经网络模型。
具体的，可以将训练集中的物体影像样本作为卷积神经网络的输入，将该物体影像样本中的几何图形对应的投影图案中的几何图形作为卷积神经网络的输出，更新所述每个层的连接权重，以训练所述神经网络模型。
如果输出层得不到预期的输出，则根据预期的输出与实际的输出确定误差信号，并转入反向传播，将误差信号沿原来的连接通道返回，通过修改各个层的连接权重的值，使得误差信号最小。这样，通过多次训练，可以实现对卷积神经网络中的各个参数进行更新，以使得各个参数的值收敛并稳定。或者，当输出层得不到预期的而输出，即输出结果错误时，卷积神经网络会惩罚导致错误的连接权重，这样在以后的训练中模型将不会重复出现已标记过的错误。
在本申请一个具体的实施例中，将测试集对已训练的卷积神经网络进行测试时，测试结果显示测试样本的识别正确率达到了98.07％。
在完成对卷积神经网络模型的训练之后，将已训练的卷积神经网络保存，以便于在对物体影像解码时直接调用该卷积神经网络模型。
图6是本申请一个实施例的结构光解码的方法的示意性流程图。该方法可以由图1所示的***执行。
210，获取第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像。其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形。这里，可以将投影几何图形称为第一几何图形。所述第一物体影像包括多个第二几何图形，所述第二几何图形为所述第一几何图形被目标物体的表面调制后所形成的几何图形。
具体的，可以利用投影机12生成的第一投影图像投射至第一目标物体表面，使用相机13拍摄覆盖投射有所述第一投影图像的目标物体，即拍摄到第一物体影像。相机13拍摄到第一物体影像之后，将该第一物体影像传送至计算机11。第一目标物体即为待测物体。投影图像和物体影像可以参见上文步骤110的描述，为避免重复，这里不再赘述。
应注意，这里第一目标物体并不是训练卷积神经网络模型时所使用的目标物体。相应的，第一物体影像也不是训练卷积神经网络模型中所使用的物体影像。
并且，第一投影图案也可以不是训练卷积神经网络模型时所使用的投影图案，但是第一投影图案和训练模型时使用的投影图案所包含的几何图形的类型相同，例如都可以为表1中的8中几何图形中的至少一种。
220，从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标。
具体的，在从第一物体影像中提取的目标特征点时，可以确定提取到的目标特征点在第一物体影像中的坐标位置。
230，提取所述目标特征点对应的目标几何图形。
具体的，在所述第一物体影像中的第二范围内获取所述目标特征点，并获取所述目标特征点的拓扑结构，根据所述目标特征点的拓扑结构，获取所述目标几何图形。
具体而言，计算机11可以从该第一物体影像中提取出规范化的编码图像，即提取该第一物体影像的目标特征点的对应的目标几何图形。
具体的，220和230可以参见上文步骤120的描述，为避免重复，这里不再赘述。这里，可以将第一物体影像的目标特征点对应的几何图形称为规范化的编码图像。并且，这里可以提取第一物体影像的全部特征点对应的几何图形。
240，利用神经网络模型确定所述目标几何图形对应的码字信息。
具体的，利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。其中，所述神经网络模型包括物体影像中的几何图形与投影几何图形的映射关系，或所述神经网络模型包括物体影像中的几何图形与码字信息的映射关系。
具体的，该神经网络模型可以为图5中所示的卷积神经网络模型。并且，该神经网络模型为已训练的神经网络模型。将230中获取的规范化的编码图像输入至该神经网络模型，通过神经网络模型的7个层(包括卷积层、下采样层和全连层)能够实现对输入的物体影像的几何图形进行识别并分类，并将分类结果从输出层输出，即输出230中获取的目标几何图形对应投影几何图形。
本申请实施例中，投影几何图形与码字信息一一对应。在识别并对输入的规范化的编码图像之后，神经网络模型的输出层可以输出与已识别的投影几何图形对应的码字信息。
并且，可以将220中提取的多个规范化的编码图像输入至卷积神经网络模型中进行识别和分类。
本申请实施例中，还可以将所述目标几何图形的码字信息与所述目标特征点的坐标进行匹配，即匹配已解码的特征点的码字信息和坐标信息。通过本申请实施例的技术方案，可以获取物体影像中的所有特征点对应的几何图形的码字信息和坐标信息。然后，可以根据所有特征点对应的几何图形的码字信息和坐标信息对目标物体进行三维重建，生成目标物体的三维物体模型。
可选地，本申请实施例中，所述几何图形可以为二值几何图形、灰度几何图形或彩色几何图形。
具体而言，所述几何图形包括条形、方块和不规则图形中的至少一种。二值几何图形可以包括但不限于黑色和白色等两种色彩的几何图形。灰度几何图形可以包括但不限于黑色、白色和灰色等两种色彩和过渡色的几何图形。彩色几何图形可以包括但不限于红色、蓝色、绿色、黄色、橙色等至少两种色彩的几何图形。应理解，当几何图形为灰度几何图形或彩色几何图形时，几何图形可以是单色的，也可以是多色组合的。
可理解，本申请中以2×2小窗口的二值空间编码结构光为实例进行说明，利用深度学习方法实现三维重建中的对物体影像的高准确率的解码。但是，本申请实施例中空间解码适用的结构光类型并不局限于本申请实施例中所述的2×2小窗口的二值空间编码结构光，对于灰度、彩色编码结构光或者其他窗口大小的二值编码结构光同样具有可适用性。不同点在于，从样本编码图像信息中提取特征点需根据结构光编码特性进行相应的调整，样本的特征和形式会有所改变。而卷积神经网络的训练方法相似，即使用数量足够的样本图像进行卷积神经网络训练，利用训练后的卷积神经网络即可进行结构光编码的识别解码，实现较高的成功率的解码。
下面结合图7至图10，描述本申请的结构光解码的方法的一个具体的实施例。应注意，下面的例子仅仅是为了帮助本领域技术人员理解和实现本发明的实施例，而非限制本发明实施例的范围。本领域技术人员可以根据这里给出的例子进行等价变换或修改，这样的变换或修改仍然应落入本发明实施例的范围内。
图7所示为本申请一个具体的实施例中采用的投影图像。图8所示为本申请一个具体的实施例中的选择的目标物体，(a),(b),(c)和(d)分别为色彩丰富的纸张、布袋、浴帽及纹理复杂的纸张。具体的，利用投影机将图7中的投影图像投至图8中所示的目标物体，并用相机获取覆盖投影图案的目标物体影像，使用本申请实施例的结构光解码的方法进行对相机获取的编码图案进行解码，并进一步利用特征点解码后的信息进行三维重建，生成目标物体的三维物体模型。图9所示分别为对目标物体(a),(b),(c)和(d)的物体影像的特征点检测结果，即对目标物体(a),(b),(c)和(d)的物体影像所提取的特征点。
图10所示为利用本申请实施例的解码方法对(a),(b),(c)和(d)分别解码后所得的三维点云模型。可以看出，本申请实施例的结构光解码的方法准确率高，且根据本申请实施例的解码结果建立的三维模型信息较为完整。
因此，本申请实施例将包括多个投影几何图形的投影图像投射至目标物体表面，通过获取被目标物体的表面调制后所形成的物体影像，并从该物体影像中提取与特征点对应的几何图形，通过神经网络模型对该物体影像中的几何图形进行识别和分类，确定该物体影像中的几何图形对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
因为本申请实施例中的卷积神经网络是经过深度学习的，因而本申请实施例能够应对表面色彩丰富、纹理复杂、反射特性强及曲率变化大的目标物体，而且相比传统的基于图像分割的解码方法具有更高的解码正确率，能够较大程度的降低传统解码方法中的误码率，因而本申请实施例的结构光解码的方法具有更强的鲁棒性。当将本申请实施例的解码方法应用于三维重建***中，能够较为准确的还原物体表面的三维细节变化，生成的三维曲面效果较好。
应注意，本申请实施例不限定专门的产品形态，本申请实施例的结构光解码的方法可以部署在通用的计算机节点上。初步构建的卷积神经网络模型可以被存储在硬盘存储器中，通过处理器和内存运行算法，对样本数据库中的编码图像的样本进行学习，得到已训练的卷积神经网络模型。通过已训练的卷积神经网络模型能够对待测场景的物体影像进行解码。
图11示出了本申请实施例的一种结构光解码的设备400。
获取单元410，用于将第一投影图像投射至第一目标物体，获取所述第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像，其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形；
提取单元420，用于从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标；
所述提取单元还用于提取所述目标特征点对应的目标几何图形；
确定单元430，用于利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
因此，本申请实施例将包括多个投影几何图形的投影图像投射至目标物体表面，通过获取被目标物体的表面调制后所形成的物体影像，并从该物体影像中提取与特征点对应的几何图形，通过神经网络模型对该物体影像中的几何图形进行识别和分类，确定该物体影像中的几何图形对应的投影几何图形，并将所述目标几何图形对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
可选地，所述设备400还包括：
建立单元，用于根据所述投影几何图形，建立所述神经网络模型，其中，所述神经网络模型包括输入层、卷积层、下采样层、全连层和输出层，所述输入层、卷积层、下采样层、全连层和输出层相连接，所述输入层用于输入所述目标几何图形，所述卷积层、下采样层和全连层分别用于提取前一层图像的特征，所述输出层用于输出与所述输入层输入的目标几何图形对应的投影几何图形；
初始化单元，用于初始化所述神经网络模型中的所述卷积层、所述下采样层、所述全连层中的每个层的连接权重；
训练单元，用于根据样本数据库，训练所述神经网络模型，并更新所述每个层的连接权重，其中，所述样本数据库包括多个从第二物体影像中获取的样本几何图形，所述第二物体影像为第二投影图像投射至第二目标物体上且被所述第二目标物体的表面调制后所形成的影像，所述第二投影图像包括多个所述投影几何图形。
可选地，所述获取单元410还用于获取所述第二物体影像；所述提取单元420还用于在所述第二物体影像中的第一范围内提取样本特征点，并获取所述样本特征点的拓扑结构；
根据所述样本特征点的拓扑结构，提取所述样本几何图形，以建立所述样本数据库。
可选地，所述提取单元420还用于通过以下方式中的至少一种扩大所述样本几何图形的数量：
在所述样本几何图形中添加高斯噪声；
在所述样本几何图形中添加随机黑白线；
对所述样本几何图形执行仿射变换；
对所述样本几何图形进行高斯滤波。
可选地，所述建立单元具体用于：
根据所述投影几何图形的种类，确定所述神经网络的输出层的数量，其中，所述输出层的数量表示所述输出层需要识别的所述投影几何图形的种类的数量。
可选地，所述提取单元420具体用于：
在所述第一物体影像中的第二范围内提取所述目标特征点，并获取所述目标特征点的拓扑结构；
其中，所述提取所述目标特征点对应的目标几何图形，包括：
根据所述目标特征点的拓扑结构，提取所述目标几何图形。
可选地，所述投影几何图形为二值几何图形、灰度几何图形或彩色几何图形，所述几何图形包括条形、方块和不规则图形中的至少一种。
因为本申请实施例中的卷积神经网络是经过深度学习的，因而本申请实施例能够应对表面色彩丰富、纹理复杂、反射特性强及曲率变化大的目标物体，而且相比传统的基于图像分割的解码方法具有更高的解码正确率，能够较大程度的降低传统解码方法中的误码率，因而本申请实施例的结构光解码的方法具有更强的鲁棒性。当将本申请实施例的解码方法应用于三维重建***中，能够较为准确的还原物体表面的三维细节变化，生成的三维曲面效果较好。
应注意，本发明实施例中，获取单元410可以由投影仪和相机实现，提取单元420和确定单元430可以由处理器实现。如图12所示，设备600可以包括处理器610、存储器620、投影仪630和相机640。其中，存储器620可以用于存储处理器610执行的代码等。
在实现过程中，上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器620，处理器610读取存储器620中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
图11所示的设备400或图12所示的设备600能够实现前述图2和图6所示的方法实施例对应的各个过程，具体的，该设备400或设备600可以参见上述图2和图6中的描述，为避免重复，这里不再赘述。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如DVD)或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种结构光解码的方法，其特征在于，包括：
将第一投影图像投射至第一目标物体，获取所述第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像，其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形；
从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标；
提取所述目标特征点对应的目标几何图形；
利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形所对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
2.根据权利要求1所述的方法，其特征在于，所述利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形之前，还包括：
根据所述投影几何图形，建立所述神经网络模型，其中，所述神经网络模型包括输入层、卷积层、下采样层、全连层和输出层，所述输入层、卷积层、下采样层、全连层和输出层相连接，所述输入层用于输入所述目标几何图形，所述卷积层、下采样层和全连层分别用于提取前一层图像的特征，所述输出层用于输出与所述输入层输入的目标几何图形对应的投影几何图形；
初始化所述神经网络模型中的所述卷积层、所述下采样层、所述全连层中的每个层的连接权重；
根据样本数据库，训练所述神经网络模型，并更新所述每个层的连接权重，其中，所述样本数据库包括多个从第二物体影像中获取的样本几何图形，所述第二物体影像为第二投影图像投射至第二目标物体上且被所述第二目标物体的表面调制后所形成的影像，所述第二投影图像包括多个所述投影几何图形。
3.根据权利要求2所述的方法，其特征在于，所述根据样本数据库，训练所述神经网络模型之前，还包括：
获取所述第二物体影像；
在所述第二物体影像中的第一范围内提取样本特征点，并获取所述样本特征点的拓扑结构；
根据所述样本特征点的拓扑结构，提取所述样本几何图形，以建立所述样本数据库。
4.根据权利要求2或3所述的方法，其特征在于，还包括：通过以下方式中的至少一种扩大所述样本几何图形的数量：
在所述样本几何图形中添加高斯噪声；
在所述样本几何图形中添加随机黑白线；
对所述样本几何图形执行仿射变换；
对所述样本几何图形进行高斯滤波。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述投影几何图形，建立所述神经网络模型，包括：
根据所述投影几何图形的种类，确定所述神经网络的输出层的数量，其中，所述输出层的数量表示所述神经网络模型需要识别的所述投影几何图形的种类的数量。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述从所述第一物体影像中提取目标特征点，包括：
在所述第一物体影像中的第二范围内提取所述目标特征点，并获取所述目标特征点的拓扑结构；
其中，所述提取所述目标特征点对应的目标几何图形，包括：
根据所述目标特征点的拓扑结构，提取所述目标几何图形。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述投影几何图形为二值几何图形、灰度几何图形或彩色几何图形，所述几何图形包括条形、方块和不规则图形中的至少一种。
8.一种结构光解码的设备，其特征在于，包括：
获取单元，用于将第一投影图像投射至第一目标物体，获取所述第一投影图像被所述第一目标物体的表面调制后所形成的第一物体影像，其中，所述第一投影图像包括多个与码字信息一一对应的投影几何图形；
提取单元，用于从所述第一物体影像中提取目标特征点，其中，所述目标特征点在所述第一物体影像中具有坐标；
所述提取单元还用于提取所述目标特征点对应的目标几何图形；
确定单元，用于利用神经网络模型确定所述目标几何图形在所述第一投影图象中对应的投影几何图形，并将所述目标几何图形所对应的投影几何图形对应的码字信息确定为所述目标几何图形的码字信息。
9.根据权利要求8所述的设备，其特征在于，所述设备还包括：
建立单元，用于根据所述投影几何图形，建立所述神经网络模型，其中，所述神经网络模型包括输入层、卷积层、下采样层、全连层和输出层，所述输入层、卷积层、下采样层、全连层和输出层相连接，所述输入层用于输入所述目标几何图形，所述卷积层、下采样层和全连层分别用于提取前一层图像的特征，所述输出层用于输出与所述输入层输入的目标几何图形对应的投影几何图形；
初始化单元，用于初始化所述神经网络模型中的所述卷积层、所述下采样层、所述全连层中的每个层的连接权重；
训练单元，用于根据样本数据库，训练所述神经网络模型，并更新所述每个层的连接权重，其中，所述样本数据库包括多个从第二物体影像中获取的样本几何图形，所述第二物体影像为第二投影图像投射至第二目标物体上且被所述第二目标物体的表面调制后所形成的影像，所述第二投影图像包括多个所述投影几何图形。
10.根据权利要求9所述的设备，其特征在于，
所述获取单元还用于获取所述第二物体影像；
所述提取单元还用于在所述第二物体影像中的第一范围内提取样本特征点，并获取所述样本特征点的拓扑结构；
根据所述样本特征点的拓扑结构，提取所述样本几何图形，以建立所述样本数据库。
11.根据权利要求9或10所述的设备，其特征在于，所述提取单元还用于通过以下方式中的至少一种扩大所述样本几何图形的数量：
在所述样本几何图形中添加高斯噪声；
在所述样本几何图形中添加随机黑白线；
对所述样本几何图形执行仿射变换；
对所述样本几何图形进行高斯滤波。
12.根据权利要求9-11任一项所述的设备，其特征在于，所述建立单元具体用于：
根据所述投影几何图形的种类，确定所述神经网络的输出层的数量，其中，所述输出层的数量表示所述神经网络模型需要识别的所述投影几何图形的种类的数量。
13.根据权利要求8-12任一项所述的设备，其特征在于，所述提取单元具体用于：
在所述第一物体影像中的第二范围内提取所述目标特征点，并获取所述目标特征点的拓扑结构；
根据所述目标特征点的拓扑结构，提取所述目标几何图形。
14.根据权利要求8-13任一项所述的设备，其特征在于，所述投影几何图形为二值几何图形、灰度几何图形或彩色几何图形，所述几何图形包括条形、方块和不规则图形中的至少一种。
CN201710401404.5A 2017-05-31 2017-05-31 结构光解码的方法和设备 Pending CN108985119A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710401404.5A CN108985119A (zh) 2017-05-31 2017-05-31 结构光解码的方法和设备
PCT/CN2018/088443 WO2018219227A1 (zh) 2017-05-31 2018-05-25 结构光解码的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710401404.5A CN108985119A (zh) 2017-05-31 2017-05-31 结构光解码的方法和设备

Publications (1)

Publication Number Publication Date
CN108985119A true CN108985119A (zh) 2018-12-11

Family

ID=64455676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710401404.5A Pending CN108985119A (zh) 2017-05-31 2017-05-31 结构光解码的方法和设备

Country Status (2)

Country Link
CN (1) CN108985119A (zh)
WO (1) WO2018219227A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110469326A (zh) * 2019-08-02 2019-11-19 中石化石油工程技术服务有限公司 一种自适应相关滤波方法
CN115983308A (zh) * 2023-03-20 2023-04-18 湖南半岛医疗科技有限公司 一种用于智慧医疗的信息码生成方法及读取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787929A (zh) * 2019-02-20 2019-05-21 深圳市宝链人工智能科技有限公司 信号调制识别方法、电子装置及计算机可读存储介质
CN111325831B (zh) * 2020-03-04 2022-07-01 中国空气动力研究与发展中心超高速空气动力研究所 一种基于分层聚类和置信传播的彩色结构光光条检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
CN104197861A (zh) * 2014-08-25 2014-12-10 深圳大学 基于结构光灰度向量的三维数字成像方法
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2313036T3 (es) * 2003-07-24 2009-03-01 Cognitens Ltd. Procedimiento y sistema para la reconstruccion de la superficie tridimensional de un objeto.
CN101840575B (zh) * 2010-04-30 2012-01-11 长春理工大学 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法
CN104200456B (zh) * 2014-07-11 2017-06-16 四川大学 一种用于线结构光三维测量的解码方法
CN106530344B (zh) * 2016-11-04 2019-07-26 四川大学 单线结构光解码方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
CN104197861A (zh) * 2014-08-25 2014-12-10 深圳大学 基于结构光灰度向量的三维数字成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUMING TANG等: "Three-dimensional surface reconstruction via a robust", 《OPTICAL ENGINEERING》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110469326A (zh) * 2019-08-02 2019-11-19 中石化石油工程技术服务有限公司 一种自适应相关滤波方法
CN115983308A (zh) * 2023-03-20 2023-04-18 湖南半岛医疗科技有限公司 一种用于智慧医疗的信息码生成方法及读取方法
CN115983308B (zh) * 2023-03-20 2023-06-16 湖南半岛医疗科技有限公司 一种用于智慧医疗的信息码生成方法及读取方法

Also Published As

Publication number Publication date
WO2018219227A1 (zh) 2018-12-06

Similar Documents

Publication Publication Date Title
Barron et al. Mip-nerf 360: Unbounded anti-aliased neural radiance fields
Bergmann et al. Improving unsupervised defect segmentation by applying structural similarity to autoencoders
Rahmani et al. 3D action recognition from novel viewpoints
EP1791082B1 (en) Feature extraction using pixel cues and object cues
CN109003253A (zh) 神经网络点云生成***
CN108985119A (zh) 结构光解码的方法和设备
JP2023501574A (ja) 仮想および拡張現実のためのシステムおよび方法
CN106780546A (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN105917356A (zh) 对象的基于轮廓的分类
Perbet et al. Human body shape estimation using a multi-resolution manifold forest
CN110546687B (zh) 图像处理装置及二维图像生成用程序
Salvi et al. Attention-based 3D object reconstruction from a single image
CN112756324A (zh) 一种物品清洗方法、装置及终端设备
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
Genser et al. Deep learning based cross-spectral disparity estimation for stereo imaging
KR100587570B1 (ko) 그래프 정합기반의 얼굴 인식방법 및 장치
Choi et al. Handnerf: Learning to reconstruct hand-object interaction scene from a single rgb image
WO2020169413A1 (en) Improving the recognition capability of a recognition network
US11580723B2 (en) Scene-aware object detection
Haider Pedestrian pose estimation using near set theory
Stefanczyk et al. Model-Based 3D Object Recognition in RGB-D Image
Nam et al. ShapeY: Measuring Shape Recognition Capacity Using Nearest Neighbor Matching
Hui Visual Tracking of Deformation and Classification of Object Elasticity with Robotic Hand Probing
EP4241116A1 (en) Electronic device, method and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181211

WD01 Invention patent application deemed withdrawn after publication