CN111242990A - 基于连续相位稠密匹配的360°三维重建优化方法 - Google Patents

基于连续相位稠密匹配的360°三维重建优化方法 Download PDF

Info

Publication number
CN111242990A
CN111242990A CN202010010168.6A CN202010010168A CN111242990A CN 111242990 A CN111242990 A CN 111242990A CN 202010010168 A CN202010010168 A CN 202010010168A CN 111242990 A CN111242990 A CN 111242990A
Authority
CN
China
Prior art keywords
camera
dimensional
phase
point cloud
dense matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010010168.6A
Other languages
English (en)
Other versions
CN111242990B (zh
Inventor
熊召龙
赖作镁
吴元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Electronic Technology Institute No 10 Institute of Cetc
Original Assignee
Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Electronic Technology Institute No 10 Institute of Cetc filed Critical Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority to CN202010010168.6A priority Critical patent/CN111242990B/zh
Publication of CN111242990A publication Critical patent/CN111242990A/zh
Application granted granted Critical
Publication of CN111242990B publication Critical patent/CN111242990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开的一种基于连续相位稠密匹配的360°三维重建优化方法，提供一种可以快速实现360°重建被测对象三维点云，并对重建结果进行非线性优化的方法，本发明通过下述方案实现：首先进行数字投影仪和相机的标定，获取对应的结构光变形图像，计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列不同相机成像平面的极线，由此建立对极几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维点云初始点，构建目标函数及其图优化模型并求解；对最优化的三维点云进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型。

Description

基于连续相位稠密匹配的360°三维重建优化方法
技术领域
本发明涉及三维重建技术，特别涉及一种基于连续相位稠密匹配的360°三维重建优化方法。
背景技术
三维重建在工业生产、逆向工程、航空测量、虚拟现实等领域都有广泛的应用。基于结构光投影和图像信息的三维重建，可以获取被测三维物体极高精度的三维信息，同时利用多相机或运动相机的多视几何原理可以获取更大角度范围、更加完整的三维模型，因此，利用多相机的结构光重建方法，是获取高精度360°完整三维模型的有效手段。在结构光重建方法中，三维点云的配准和重建结果的优化是关系到三维模型重建效果的两个关键技术。
三维点云的配准很大程度上决定着三维模型的重建精度，受到本领域技术人员的广泛关注。通常，要想获得物体完整的三维模型，需要将不同视角的数据集变换到同一个坐标系下，这个过程称为三维数据配准。不同视角间的三维数据配准尤为重要，它直接关系到三维重建的重建精度及自动化程度。在进行三维模型重建时，由于受观察方向和物体自身形状的限制，需要分别从不同角度获取物体表面的三维数据，获得具有真实自然的纹理、并能够模拟出任意光照和视角的三维物体表面。点云数据是通过各种三维数据采集设备得到的表达物体表面信息和空间分布的三维数据点的集合，通常以非结构化的三维点的形式进行表示，是空间上离散的几何点。点云的最基本构成元素是空间离散点及与之关联的表面属性。配准的难点在于两个三维点云集的点云之间对应关系的获取。
在结构光重建方法中，完整三维模型主要是通过多片局部三维点云融合生成的。结构光三维测量是通过投影装置将一个被周期函数调制的光栅条纹投射在被测物体的表面，由于物体表面高度的变化，各点的光栅条纹的相位发生了偏移。这种方法可以获取物体表面的三维信息。由于光学扫描***的有限可见性，导致单视角扫描存在由遮挡造成的扫描盲区，要得到完整模型往往需要多视角、多次扫描后再进行多片点云配准融合，即将不同视角下采集的具有一定重叠区域的点云，根据重叠区域一致的特点配准到一起,使得它们能够在同一坐标系下,融合成为一个整体。三维点云融合的关键技术是三维点云配准技术。三维点云配准技术是通过寻找不同视角下点云之间的映射关系，利用一定的算法，将物体点云通过旋转和平移等刚体变换，使处在不同坐标系下的点云匹配对齐的变换操作，其关键是求取坐标变换参数：旋转矩阵和平移向量，旋转矩阵和平移向量将源点云变换到与目标点云相同的坐标系下。结构光三维点云配准有诸多的干扰因素。首先是配准噪声的影响，点云数据在结构光重建获的过程中，由于人为的干扰、环境光照的影响和物体面型的陡变使得生成的三维数据往往带有许多小振幅噪声和离群点，进而使得重建后的模型粗糙零乱。其次是计算量巨大，在大规模数据运算中，点云的数据量对后期运算效率有着极大的影响。由于扫描数据与模型的初始状态差异，可能会导致配准的发散。点云的数据一般都在千级以上，甚至百万级，如此庞大的数据，如果全部参与计算和重复的遍历搜索必然会导致效率低下。正是由于三维点云配准技术需要进行对应点集之间的特征匹配，因此需要耗费大量的计算时间。
重建结果的优化是对结构光重建过程中三维点云配准结果的进一步细致调整，使得重建的三维模型和相机位姿具有全局最小误差。三维点云配准获取得到了不同视角多片点云各自对应的刚体变换关系，但是由于单片点云内部存在着各种细小的波动噪声，如果想要获取更高精度的完整重建模型，需要对每片三维点云中的每个点进行空间位置的细微调整，而这种调整通过刚体变换是无法实现的，因此，需要构建针对完整重建点云噪声的优化模型，实现重建结果的优化。如何设计重建结果优化算法也是获取更高精度三维重建模型的一个技术难点。为了获取整个物体的三维模型，在将不同视角的物体三维数据配准到同一个参考坐标系下时，由于基准视角的不断变化，从而会引起配准误差的积累。在总体上对数据配准进行全局优化，可以减少配准误差。在重建结构的优化中，误差函数或代价函数的构建是设计重建结果优化算法的关键步骤。在利用基于特征匹配的多视角被动式三维重建中，重投影误差衡量了同一空间点在不同视角成像条件下的像素坐标差异，重投影误差整体大小的二范数被作为构造误差函数的关键参数。误差函数的求解是利用迭代方式寻找非线性优化最优值的过程，该过程使用扰动模型，求得单个误差项关于待优化量的导数，然后进行不断迭代，获取唯一或多个极小值，通过判断，判定全局最小值对应的待优化量作为全局最优值。在实际应用中，点云的数目由几千到数百万，误差函数的迭代求解需要大量的时间代价和空间代价，因此设计快速收敛的误差函数，以及可以使得误差函数快速收敛的优化初始值同样很有必要。
发明内容
本发明旨在提出一种可以快速实现360°重建被测对象三维点云，并对重建结果进行非线性优化的方法，该方法具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。
本发明提出一种基于连续相位稠密匹配的360°三维重建优化方法，具有如下技术特征：在结构光投影及相机阵列1采集中，首先进行数字投影仪2和相机阵列1的标定，数字投影仪2标定后投影结构光条纹，相机阵列1标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列1不同相机成像平面的极线，由此建立对极几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解；通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维模型进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
本发明相比于需要技术具有如下有益效果。
本发明利用标定后的相机阵列1和数字投影仪，从不同角度同时获取对应的结构光变形图像；然后利用相机阵列1对极几何和结构光等相位联合约束，计算不同视角结构光图像的稠密匹配，并利用三角化原理计算优化迭代的初始值；接着设计表征整体误差的目标函数，构建目标函数图优化模型，迭代计算不同相机位姿和整体三维点云的最优解；最后对最优化的三维模型进行三角化曲面重建，得到被测三维目标完整的360°三维重建模型。通过结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程，可以实现被测对象360°三维点云快速重建，实验结果表明，本发明具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。相比传统的迭代最近点三维配准方法，该方法更加高效、精确和稳定。
本发明从不同角度同时获取对应的结构光变形图像，计算变形条纹像素点相位级次，确定变形条纹像素点极线，建立对级几何与相位联合约束，然后利用相机阵列1对极几何和结构光等相位联合约束，计算不同视角结构光变形条纹相位稠密匹配，同时，设计全局优化目标函数，并构建该函数的图优化模型，进而进行求解。该目标函数将表征相机位姿的变换矩阵和三维点云空间位置同时考虑在内，实现了结构光三维重建过程的全局优化，同时由于不同视角连续相位的稠密匹配关系和目标函数准确的初始值设计，极大地提高了目标优化结果的精度，并降低了计算过程的时间消耗。
本发明根据不同视角连续相位稠密匹配过程，利用标定后的相机阵列和数字投影仪，从不同角度同时获取对应的结构光变形图像，然后利用相机阵列对极几何和结构光等相位联合约束，计算不同视角结构光图像的稠密匹配，并利用三角化原理计算优化迭代的初始值，具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立的优点。
附图说明
图1是本发明基于连续相位稠密匹配的360°三维重建优化方法流程示意图；
图2是本发明基于连续相位稠密匹配的360°三维重建优化方法装置示意图；
图3为对极几何与等相位联合约束条件示意图；
图4为目标函数图优化表示示意图。
图中：1相机阵列1，2数字投影仪，3投影结构光条纹，4被测三维目标，5第一相机成像平面，6第二相机成像平面，7被测三维目标表面等相位线，8相机位姿顶点，9三维点云顶点。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
下面详细说明本发明的一种基于连续相位稠密匹配的360°三维重建优化方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
参阅图1。根据本发明，三维重建优化方法包括结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程。在结构光投影及相机阵列1采集中，首先进行数字投影仪2和相机阵列1的标定，数字投影仪2标定后投影结构光条纹，相机阵列1标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列1不同相机成像平面的极线，由此建立对级几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解，通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数及迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维模型进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
参阅图2—图3。基于连续相位稠密匹配的结构光三维重建优化装置，包括：由MK×NK个相机组成的相机阵列1，放置于相机阵列1所处平面中心轴线位置的数字投影仪2，并且相机之间的间隔为dcc，数字投影仪2和相机阵列1的光轴会聚被测三维目标4，并产生覆盖被测三维目标4的投影结构光条纹3，第一相机和第二相机中心分别为O1和O2，O1、O2点分别对应第一相机成像平面5和第二相机成像平面6。
在三维空间中，被测目标表面一点P在第一相机成像平面I1和第二相机成像平面I2分别形成像素点p1和像素点p2，O1、O2和三维空间中点P构成三角形，三角形顶点处于被测三维目标表面等相位线7，等相位线7经过第一相机和第二相机分别成像。
在结构光投影及相机阵列1采集过程中，利用数字投影仪在平面处投影棋盘格标定图像，相机阵列1获取棋盘格图像，并进行图像角点检测，进而计算得到每个相机与数字投影仪之间的基础矩阵。由基础矩阵进行分解，得到第k个相机相对数字投影仪的旋转矩阵Rkc和平移矩阵tkc，其中kc是相机的索引编号。然后利用数字投影仪投影正弦明暗分布的结构光条纹Pi(u,v)，结构光条纹Pi(u,v)满足：
Figure BDA0002356854660000041
其中，(u,v)是投影仪像素坐标系的任意一个像素坐标，Ap(u,v)表示直流分量强度，Bp(u,v)表示条纹幅值，2πi/N表示第i个条纹的相移量，N为结构光条纹的相移总步数，取值为大于等于4的整数。同时利用相机阵列对被测三维目标进行采集，获得反射的变形条纹图像Ii(x,y)满足：
Figure BDA0002356854660000042
其中，(x,y)是相机像素坐标系的任意一个像素坐标，Ac(x,y)表示被测物体背景强度，Bc(x,y)表示获取条纹幅值。利用
Figure BDA0002356854660000048
表示经物体表面调制后的变形条纹的相位函数，也就是截断相位，可以求解得到：
Figure BDA0002356854660000043
并且相位函数
Figure BDA0002356854660000044
取值范围为(-π,π]，接着利用不同频率的格雷码投影，确定不同相位周期的级次，并对其进行展开，得到对应的绝对相位Φ(x,y)：
Figure BDA0002356854660000045
其中，T为结构光相位周期，u为当前像素对应的截断相位坐标，绝对相位具有连续性，等相位线方向与原始投影条纹方向一致。
参阅图3。定匹配点的对极几何约束。从第一相机角度来看，p1是空间中点P的投影，在第二相机成像平面可能的投影位置在e2和p2的连线上，即极线L2上。相机阵列1的内参数矩阵统一为K，其中像素点p1和p2在齐次坐标下满足：
p1＝KP,p2＝K(RP+t) (5)
像素点p1和p2对应的归一化平面坐标
Figure BDA0002356854660000046
和
Figure BDA0002356854660000047
满足极线约束条件：
Figure BDA0002356854660000051
其中，[*]T表示矩阵的转置，E12为两个相机之间的本质矩阵。满足对极几何约束的像素匹配点确定了在另一个像素坐标系内可能对应的极线位置，但是尚无法确定该像素对应的具体坐标。然后确定匹配点的结构光等相位约束。如图3所示，在第一相机对应的图像Il中，像素点p1对应的绝对相位Φ1(x,y)可以由公式(4)得到，而该绝对相位Φ1(x,y)在三维空间中对应被测三维目标表面等相位线7，记为轮廓线S，空间点P处于该轮廓线上。该轮廓线经过第二相机进行投影，在第二相机上同样形成一条等相位曲线S2，在图像I2上可以表示为：
S2(x2,y2)＝Φ1(w1)＝Φ1(x1,y1) (7)
则从第一相机角度来看，图I1中的像素点p1在第二相机的成像平面I2上的重投影点仅能是在等相位曲线S2上。
最后联合P点的相机阵列1对极几何约束和结构光等相位约束。在图像I2中求解极线L2与曲线S2交点p2，其像素坐标便是图像I1中p1点的匹配坐标，求得P点在第一相机和第二相机成像平面的精确匹配。同理，遍历图像I1中的所有像素点，除去匹配点超出图像I2坐标范围的点，其余点都可以找到正确的对应关系，进而得到图像I1和图像I2的稠密匹配。利用三角测量原理和多点投影算法，得到在每个相机坐标系的三维点云初始值和变换矩阵的初始值。
所述目标函数构建及迭代优化计算过程，利用三角测量原理得到的存在较大的误差的三维点云初始值，通过迭代优化将该误差降到最小。同样，对不同相机的变换矩阵Rkc|tkc也进行优化，以得到被测物体最佳的三维重建结果。该过程首先构建优化的目标函数。利用所有相机对应的三维点云的观测值和估计值之间的距离作为优化的目标函数，将三维点云和变换矩阵R|t表示为李代数
Figure BDA0002356854660000052
域，其中变换矩阵R|t在
Figure BDA0002356854660000053
上的指数映射表示为exp(ξ^)，exp(ξ^)满足：
Figure BDA0002356854660000054
Figure BDA0002356854660000055
其中，ρ为ξ的前三维，表示三维点云变换中的平移，φ为ξ的后三维，表示三维点云变换中的旋转。
三维点云的估计值的集合表示为{Qj(x,y,z)}，目标函数设置为：
Figure BDA0002356854660000056
其中，
Figure BDA0002356854660000057
为在第k个相机坐标系下，第j个三维点对应的深度距离，
Figure BDA0002356854660000058
为在第k个相机坐标系下，第j个三维点对应的像素坐标，K-1为每个相机的内参数矩阵的逆矩阵，M为三维点云的总数目。然后该过程对构建的目标函数进行全局求解。
参阅图4。将目标函数的求解构造成为一个图优化问题。附图4中的实线三角形代表相机位姿顶点，虚线三角形代表该顶点的位姿不确定性，虚线三角形距离实线三角形越远、角度越大，代表相机位姿观测值距真实值的偏差越大；实线圆圈代表三维点云顶点，虚线圆圈代表点云不确定性，虚线圆圈越大，代表改点云的观测值距离真实值的偏差越大；连接点云和相机位姿顶点的虚直线代表观测模型。图的顶点为所有三维空间点云和相机阵列1的位姿，表示该图优化问题的优化变量；图优化问题中图的边连接着顶点，表示共视区域内不同顶点之间的观测关系，是该图优化问题的误差项。该过程对三维点云和相机阵列1位姿同时进行优化，分别设置三维点云顶点和位姿顶点。目标函数构建及迭代优化计算过程对三维点云和相机阵列1位姿同时进行优化。在对该优化问题具体求解时，首先要定义顶点和边的类型。三维点云顶点维度为3，
Figure BDA0002356854660000061
相机位姿节点为6维的李代数，
Figure BDA0002356854660000062
边为每个三维点在任意一个相机中观测方程的具体实现，需要特别注意的是为6维李代数的位姿节点需要进行罗德里格斯变换，求得每个相机的变换矩阵R|t后，再利用观测方程进行投影。然后构建该问题的图。如目标函数公式(10)和附图4所示，该图的构成主要由在第k个相机坐标系下，第j个三维点对应的观测到的三维坐标值构成；该图的初始值由相机阵列1标定数据和稠密匹配三角化得到。接着选择优化算法。在该优化问题中，选择列文伯格—马夸尔特法的下降策略，同时利用G2O的自动求导库，免去了计算高维矩阵一阶求导的雅克比矩阵和二阶求导的海塞矩阵。同时引入同时定位与地图构建技术中的边缘化方法，实现下降策略中的Schur消元，加速优化问题的计算。最后，设置优化阈值，分析迭代结果，直至结果收敛。
所述完整三维目标模型生成过程，利用最优化的三维点云进行三角化和曲面重建，得到被测三维目标完整的360°三维重建模型，同时利用优化后的每个相机的变换矩阵，对应每个相机相对点云的位姿，确定相机阵列1在完整的三维模型坐标系下的位姿关系。
本实施例通过结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程，可以实现被测对象360°三维点云快速重建，该方法具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。
以上结合附图对本发明进行了详细描述，但需要指出的是，上述实例所描述的是仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于连续相位稠密匹配的360°三维重建优化方法，具有如下技术特征：在结构光投影及相机阵列(1)采集中，首先进行数字投影仪(2)和相机阵列(1)的标定，数字投影仪(2)标定后投影结构光条纹，相机阵列(1)标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列(1)不同相机成像平面的极线，由此建立对极几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维点云初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解；通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维点云进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
2.如权利要求1所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在三维空间中，被测目标表面一点P在第一相机成像平面I1和第二相机成像平面I2分别形成像素点p1和像素点p2，O1、O2和三维空间中点P构成三角形，三角形顶点处于被测三维目标表面等相位线(7)，等相位线(7)经过第一相机和第二相机分别成像。
3.如权利要求1所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在结构光投影及相机阵列(1)采集过程中，利用数字投影仪(2)在平面处投影棋盘格标定图像，相机阵列(1)获取棋盘格图像，并进行图像角点检测，进而计算得到每个相机与数字投影仪之间的基础矩阵。
4.如权利要求3所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：根据相机的索引编号kc，由基础矩阵进行分解，得到第k个相机相对数字投影仪(2)的旋转矩阵Rkc和平移矩阵tkc，然后根据结构光相位周期T，结构光条纹的相移总步数N，投影仪像素坐标系的任意一个像素坐标(u,v)第i个条纹的相移量2πi/N，直流分量强度Ap(u,v)和条纹幅值Bp(u,v)，得到满足数字投影仪投影正弦明暗分布的结构光条纹Pi(u,v)，
Figure FDA0002356854650000011
其中，，N取值为大于等于4的整数。
5.如权利要求4所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：利用相机阵列对被测三维目标进行采集，根据相机像素坐标系的任意一个像素坐标(x,y)，被测物体背景强度Ac(x,y)，获取条纹幅值Bc(x,y)，经物体表面调制后的变形条纹的相位函数
Figure FDA0002356854650000012
获得满足反射的变形条纹图像Ii(x,y)：
Figure FDA0002356854650000013
求解得到截断相位：
Figure FDA0002356854650000014
其中，相位函数
Figure FDA0002356854650000015
取值范围为(-π,π]。
6.如权利要求5所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：利用不同频率的格雷码投影，确定不同相位周期的级次，并对其进行展开，得到对应的绝对相位Φ(x,y)：
Figure FDA0002356854650000021
其中，T为结构光相位周期，u为当前像素对应的截断相位坐标，绝对相位具有连续性，等相位线方向与原始投影条纹方向一致。
7.如权利要求6所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：确定匹配点的对极几何约束：根据从第一相机角度来看的p1是空间中点P的投影，在第二相机成像平面可能的投影位置在e2和p2的连线上，即极线L2上，相机阵列1的内参数矩阵统一为K，其中像素点p1和p2在齐次坐标下满足：p1＝KP,p2＝K(RP+t)，
像素点p1和p2对应的归一化平面坐标
Figure FDA0002356854650000022
和
Figure FDA0002356854650000023
满足极线约束条件：
Figure FDA0002356854650000024
其中，[*]T表示矩阵的转置，E12为两个相机之间的本质矩阵。
8.如权利要求7所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在第一相机对应的图像Il中，像素点p1对应的绝对相位Φ1(x,y)由绝对相位Φ(x,y)得到，而该绝对相位Φ1(x,y)在三维空间中对应被测三维目标表面等相位线(7)，空间点P处于该轮廓线S上，该轮廓线S经过第二相机进行投影，在第二相机上同样形成一条等相位曲线S2，在图像I2上表示为：S2(x2,y2)＝Φ1(w1)＝Φ1(x1,y1)(7)
最后联合P点的相机阵列(1)对极几何约束和结构光等相位约束。
9.如权利要求7所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在图像I2中求解极线L2与曲线S2交点p2，其像素坐标便是图像I1中p1点的匹配坐标，求得P点在第一相机和第二相机成像平面的精确匹配，同理，遍历图像I1中的所有像素点，除去匹配点超出图像I2坐标范围的点，其余点都找到正确的对应关系，进而得到图像I1和图像I2的稠密匹配，利用三角测量原理和多点投影算法，得到在每个相机坐标系的三维点云初始值和变换矩阵的初始值；利用所有相机对应的三维点云的观测值和估计值之间的距离作为优化的目标函数，将三维点云和变换矩阵R|t表示为李代数
Figure FDA0002356854650000025
域，其中变换矩阵R|t在se(3)上的指数映射表示为exp(ξ^)，exp(ξ^)满足：
Figure FDA0002356854650000026
Figure FDA0002356854650000027
其中，ρ为ξ的前三维，表示三维点云变换中的平移，φ为ξ的后三维，表示三维点云变换中的旋转，三维点云的估计值的集合表示为{Qj(x,y,z)}，目标函数设置为：
Figure FDA0002356854650000028
其中
Figure FDA0002356854650000031
为在第k个相机坐标系下，第j个三维点对应的深度距离，
Figure FDA0002356854650000032
为在第k个相机坐标系下，第j个三维点对应的像素坐标，K-1为每个相机的内参数矩阵的逆矩阵，M为三维点云的总数目。
10.一种基于连续相位稠密匹配的结构光三维重建优化装置，包括：由MK×NK个相机组成的相机阵列(1)，放置于相机阵列(1)所处平面中心轴线位置的数字投影仪(2)，并且相机之间的间隔为dcc，其特征在于：数字投影仪(2)和相机阵列(1)的光轴会聚被测三维目标(4)，并产生覆盖被测三维目标(4)的投影结构光条纹(3)，第一相机和第二相机中心分别为O1和O2，O1、O2点分别对应第一相机成像平面(5)和第二相机成像平面(6)。
CN202010010168.6A 2020-01-06 2020-01-06 基于连续相位稠密匹配的360°三维重建优化方法 Active CN111242990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010168.6A CN111242990B (zh) 2020-01-06 2020-01-06 基于连续相位稠密匹配的360°三维重建优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010168.6A CN111242990B (zh) 2020-01-06 2020-01-06 基于连续相位稠密匹配的360°三维重建优化方法

Publications (2)

Publication Number Publication Date
CN111242990A true CN111242990A (zh) 2020-06-05
CN111242990B CN111242990B (zh) 2024-01-30

Family

ID=70877630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010168.6A Active CN111242990B (zh) 2020-01-06 2020-01-06 基于连续相位稠密匹配的360°三维重建优化方法

Country Status (1)

Country Link
CN (1) CN111242990B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053432A (zh) * 2020-09-15 2020-12-08 成都贝施美医疗科技股份有限公司 一种基于结构光与偏振的双目视觉三维重建方法
CN112785685A (zh) * 2020-12-25 2021-05-11 新拓三维技术(深圳)有限公司 一种装配引导方法及***
CN112967342A (zh) * 2021-03-18 2021-06-15 深圳大学 一种高精度三维重建方法、***、计算机设备及存储介质
CN113074661A (zh) * 2021-03-26 2021-07-06 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113074667A (zh) * 2021-03-22 2021-07-06 苏州天准软件有限公司 基于标志点的全局绝对相位对齐方法、存储介质和***
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及***
CN113256795A (zh) * 2021-05-31 2021-08-13 中国科学院长春光学精密机械与物理研究所 一种内窥三维检测方法
CN113345039A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN113432550A (zh) * 2021-06-22 2021-09-24 北京航空航天大学 一种基于相位匹配的大尺寸零件三维测量拼接方法
CN113516775A (zh) * 2021-02-09 2021-10-19 天津大学 手机相机获取***辅助图像的三维重建方法
CN113587816A (zh) * 2021-08-04 2021-11-02 天津微深联创科技有限公司 一种阵列式大场景结构光三维扫描测量方法及其装置
CN113658260A (zh) * 2021-07-12 2021-11-16 南方科技大学 机器人位姿计算方法、***、机器人及存储介质
CN114004878A (zh) * 2020-07-28 2022-02-01 株式会社理光 对位装置、对位方法、对位***以及存储介质和计算机装置
CN114708316A (zh) * 2022-04-07 2022-07-05 四川大学 基于圆形条纹的结构光三维重建方法、装置和电子设备
CN114863036A (zh) * 2022-07-06 2022-08-05 深圳市信润富联数字科技有限公司 基于结构光的数据处理方法、装置、电子设备及存储介质
CN114943814A (zh) * 2022-06-08 2022-08-26 长春理工大学 一种三维扫描辅助面部建模分析***
CN114972544A (zh) * 2022-07-28 2022-08-30 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
WO2023000703A1 (zh) * 2021-07-23 2023-01-26 北京百度网讯科技有限公司 图像采集***、三维重建方法、装置、设备以及存储介质
CN116778066A (zh) * 2023-08-24 2023-09-19 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117635875A (zh) * 2024-01-25 2024-03-01 深圳市其域创新科技有限公司 一种三维重建方法、装置及终端
CN118052939A (zh) * 2024-04-15 2024-05-17 清华大学深圳国际研究生院 一种高速度条纹投影三维重构方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060540A1 (en) * 2010-02-12 2013-03-07 Eidgenossische Tehnische Hochschule Zurich Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及***
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
JP2015158749A (ja) * 2014-02-21 2015-09-03 株式会社リコー 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN106683173A (zh) * 2016-12-22 2017-05-17 西安电子科技大学 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN107833181A (zh) * 2017-11-17 2018-03-23 沈阳理工大学 一种基于变焦立体视觉的三维全景图像生成方法及***
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109064536A (zh) * 2018-07-27 2018-12-21 电子科技大学 一种基于双目结构光的书页三维重建方法
US20190178998A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
CN109919876A (zh) * 2019-03-11 2019-06-21 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相***
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于相机阵列的三维物体快速重建方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060540A1 (en) * 2010-02-12 2013-03-07 Eidgenossische Tehnische Hochschule Zurich Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
JP2015158749A (ja) * 2014-02-21 2015-09-03 株式会社リコー 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及***
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN106683173A (zh) * 2016-12-22 2017-05-17 西安电子科技大学 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN107833181A (zh) * 2017-11-17 2018-03-23 沈阳理工大学 一种基于变焦立体视觉的三维全景图像生成方法及***
US20190178998A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
WO2019113531A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
US20190179029A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Monitoring of vehicles using light ranging systems
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109064536A (zh) * 2018-07-27 2018-12-21 电子科技大学 一种基于双目结构光的书页三维重建方法
CN109919876A (zh) * 2019-03-11 2019-06-21 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相***
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于相机阵列的三维物体快速重建方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DI JIA, MINGYUAN ZHAO: ""FDM: fast dense matching based on sparse matching"", 《SIGNAL, IMAGE AND VIDEO PROCESSING》 *
SERVIN M, GARNICA G, ESTRADA J C, ET AL.: ""High-resolution low-noise 360-degree digital solid reconstruction using phase stepping profilometry"", 《OPTICS EXPRESS HTTPS://DOI.ORG/10.1364/OE.22.010914》 *
XIONG Z L, WANG Q H, XING Y, ET AL.: ""Active integral imaging system based on multiple structured light method"", 《OPTICS EXPRESS DOI: 10.1364/OE.23.027094》 *
YI ZHOU, GUILLERMO GALLEGO, HENRI REBECQ, LAURENT KNEIP, HONGDONG LI, DAVIDE SCARAMUZZA: ""Semi-Dense 3D Reconstruction with a Stereo Event Camera"", 《EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》 *
杨振发;万刚;曹雪峰;李锋;谢理想: ""基于几何结构特征的点云表面重建方法"", 《***仿真学报》 *
江泽涛;郑碧娜;吴敏: "一种基于立体像对稠密匹配的三维重建方法", 第八届全国信号与信息处理联合学术会议 *
赵碧霞;张华: "基于Bayes理论的散斑三维重建方法", 计算机工程, no. 12 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004878A (zh) * 2020-07-28 2022-02-01 株式会社理光 对位装置、对位方法、对位***以及存储介质和计算机装置
CN112053432A (zh) * 2020-09-15 2020-12-08 成都贝施美医疗科技股份有限公司 一种基于结构光与偏振的双目视觉三维重建方法
CN112053432B (zh) * 2020-09-15 2024-03-26 成都贝施美医疗科技股份有限公司 一种基于结构光与偏振的双目视觉三维重建方法
CN112785685A (zh) * 2020-12-25 2021-05-11 新拓三维技术(深圳)有限公司 一种装配引导方法及***
CN113516775B (zh) * 2021-02-09 2023-02-28 天津大学 手机相机获取***辅助图像的三维重建方法
CN113516775A (zh) * 2021-02-09 2021-10-19 天津大学 手机相机获取***辅助图像的三维重建方法
CN112967342B (zh) * 2021-03-18 2022-12-06 深圳大学 一种高精度三维重建方法、***、计算机设备及存储介质
CN112967342A (zh) * 2021-03-18 2021-06-15 深圳大学 一种高精度三维重建方法、***、计算机设备及存储介质
CN113074667A (zh) * 2021-03-22 2021-07-06 苏州天准软件有限公司 基于标志点的全局绝对相位对齐方法、存储介质和***
CN113074667B (zh) * 2021-03-22 2022-08-23 苏州天准软件有限公司 基于标志点的全局绝对相位对齐方法、存储介质和***
CN113074661A (zh) * 2021-03-26 2021-07-06 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113074661B (zh) * 2021-03-26 2022-02-18 华中科技大学 基于极线采样的投影仪对应点高精度匹配方法及其应用
CN113345039A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN113345039B (zh) * 2021-03-30 2022-10-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 三维重建量化结构光相位图像编码方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及***
CN113205592B (zh) * 2021-05-14 2022-08-05 湖北工业大学 一种基于相位相似性的光场三维重建方法及***
CN113256795B (zh) * 2021-05-31 2023-10-03 中国科学院长春光学精密机械与物理研究所 一种内窥三维检测方法
CN113256795A (zh) * 2021-05-31 2021-08-13 中国科学院长春光学精密机械与物理研究所 一种内窥三维检测方法
CN113432550A (zh) * 2021-06-22 2021-09-24 北京航空航天大学 一种基于相位匹配的大尺寸零件三维测量拼接方法
CN113658260A (zh) * 2021-07-12 2021-11-16 南方科技大学 机器人位姿计算方法、***、机器人及存储介质
WO2023000703A1 (zh) * 2021-07-23 2023-01-26 北京百度网讯科技有限公司 图像采集***、三维重建方法、装置、设备以及存储介质
CN113587816A (zh) * 2021-08-04 2021-11-02 天津微深联创科技有限公司 一种阵列式大场景结构光三维扫描测量方法及其装置
CN114708316A (zh) * 2022-04-07 2022-07-05 四川大学 基于圆形条纹的结构光三维重建方法、装置和电子设备
CN114943814A (zh) * 2022-06-08 2022-08-26 长春理工大学 一种三维扫描辅助面部建模分析***
CN114863036B (zh) * 2022-07-06 2022-11-15 深圳市信润富联数字科技有限公司 基于结构光的数据处理方法、装置、电子设备及存储介质
CN114863036A (zh) * 2022-07-06 2022-08-05 深圳市信润富联数字科技有限公司 基于结构光的数据处理方法、装置、电子设备及存储介质
CN114972544B (zh) * 2022-07-28 2022-10-25 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
CN114972544A (zh) * 2022-07-28 2022-08-30 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
CN116778066B (zh) * 2023-08-24 2024-01-26 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN116778066A (zh) * 2023-08-24 2023-09-19 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117333649B (zh) * 2023-10-25 2024-06-04 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117635875A (zh) * 2024-01-25 2024-03-01 深圳市其域创新科技有限公司 一种三维重建方法、装置及终端
CN117635875B (zh) * 2024-01-25 2024-05-14 深圳市其域创新科技有限公司 一种三维重建方法、装置及终端
CN118052939A (zh) * 2024-04-15 2024-05-17 清华大学深圳国际研究生院 一种高速度条纹投影三维重构方法
CN118052939B (zh) * 2024-04-15 2024-06-18 清华大学深圳国际研究生院 一种高速度条纹投影三维重构方法

Also Published As

Publication number Publication date
CN111242990B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111242990B (zh) 基于连续相位稠密匹配的360°三维重建优化方法
Murali et al. Indoor Scan2BIM: Building information models of house interiors
CN110514143B (zh) 一种基于反射镜的条纹投影***标定方法
CN107767440A (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
Zhou et al. A novel laser vision sensor for omnidirectional 3D measurement
Guehring Reliable 3D surface acquisition, registration and validation using statistical error models
Teutsch Model-based analysis and evaluation of point sets from optical 3D laser scanners
CN112308963A (zh) 一种无感三维人脸重建方法及采集重建***
Garrido-Jurado et al. Simultaneous reconstruction and calibration for multi-view structured light scanning
Elstrom et al. Stereo-based registration of ladar and color imagery
Moussa et al. Automatic fusion of digital images and laser scanner data for heritage preservation
Lin et al. Vision system for fast 3-D model reconstruction
Sansoni et al. 3-D optical measurements in the field of cultural heritage: the case of the Vittoria Alata of Brescia
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Dubreuil et al. Mesh-based shape measurements with stereocorrelation: principle and first results
Hao et al. Review of key technologies for warehouse 3D reconstruction
Bräuer-Burchardt et al. On the accuracy of point correspondence methods in three-dimensional measurement systems using fringe projection
Trebuňa et al. 3D Scaning–technology and reconstruction
Ali Reverse engineering of automotive parts applying laser scanning and structured light techniques
Wang et al. Implementation and experimental study on fast object modeling based on multiple structured stripes
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
Maestro-Watson et al. LCD screen calibration for deflectometric systems considering a single layer refraction model
Cai et al. High-precision and arbitrary arranged projection moiré system based on an iterative calculation model and the self-calibration method
Bai et al. Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration
Wu et al. Automated large scale indoor reconstruction using vehicle survey data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant