CN107170043B - 一种三维重建方法 - Google Patents
一种三维重建方法 Download PDFInfo
- Publication number
- CN107170043B CN107170043B CN201710465790.4A CN201710465790A CN107170043B CN 107170043 B CN107170043 B CN 107170043B CN 201710465790 A CN201710465790 A CN 201710465790A CN 107170043 B CN107170043 B CN 107170043B
- Authority
- CN
- China
- Prior art keywords
- cosθ
- point
- rotating platform
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于三维重建技术领域，涉及一种三维重建方法。本发明结合了双目立体视觉技术、结构光技术和旋转平台技术，提出了一种精度高、速度快、成本低的三维重建方法；相比于双目立体视觉拥有重建速度更快，精度更高，而且对于物体表面纹理不丰富的区域效果良好。相比于传统的结构光技术，本***无需投影仪标定的麻烦，用第二个相机取代投影仪，而相机的标定要比投影仪的标定更加精确，所以重建的三维点云也更加好。采用的多视角点云拼接采用旋转平台的拼接算法，相比于传统的ICP配准方法，本方法点云拼接更快，无需要初始点云数据，操作简单无需人工参与。
Description
技术领域
本发明属于三维重建技术领域，涉及一种三维重建方法。
背景技术
三维重建技术是计算机视觉的一个分支，是计算机视觉和计算机图形图像处理相结合的一个研究方向。它广泛的用于工业自动化、逆向工程、文物保护、计算机辅助医疗、虚拟现实、增强现实和机器人应用等场景。
双目立体视觉技术和结构光技术是两种典型的三维重建技术，各具有优点和不足。双目立体视觉技术是通过相机在两个角度拍摄物体的左右两幅图像，然后利用立体匹配算法寻找出左右两幅图像中同名点，并结合相机内外参数，利用三角交会计算出被测物体的三维空间位置坐标信息。双目立体视觉技术不需要主动投射图案信息，硬件结构简单，但是重建点云精度低，重建速度慢，对于表面纹理信息少的物体，容易出现匹配点出错等缺点。结构光技术是通过投影仪向物体表面投影特定的编码图案，再由相机拍摄被物体表面调制了的编码图案，通过编码图案的解码运算恢复出物体的深度信息。结构光技术重建精度高，速度快，即使是表面纹理信息少的物体也能得到很好的重建效果，但是传统的结构光重建***大多都是单目的，在计算深度信息的过程中需要对投影仪进行标定，而投影仪的标定过程又极其繁琐。
发明内容
本发明所要解决的是，就是针对上述传统方法存在问题，提出一种结合双目立体视觉、结构光和旋转平台的三维重建方法。
为了便于对本发明技术的理解，首先介绍本发明采用的几何模型，如图1所示，其中，Ol为左相机光心，Or为右相机光心，P为空间中任意一点，Pl和Pr分别为P点在左右相机中的像点，称为一对同名点，平面POlOr与左右像平面的交线Lpl、Lpr称为一对极线。
本发明的技术方案是：如图2所示，一种三维重建方法，其特征在于，包括以下步骤：
S1、相机参数标定，标定左右两个相机的内外参数和两个相机之间的相对位置矩阵；根据实际应用情况，可采用张正友的棋盘格标定相机内参和两个相机的旋转矩阵R和平移矩阵T
S2、获取目标物体单个角度的三维坐标点，如图3所示，具体包括：
S21、向目标物体投射六张格雷码编码图像，通过左右两个相机拍摄后，对拍摄的图像进行解码，则图像中每个像素都有一个格雷码值；
S22、向物体投射4张正弦相移编码图像，通过左右两个相机拍摄后，对拍摄的图像进行解码，则图像中每个像素都有一个相位值；
S23、通过左右图像中亚像素同名点匹配的方法，对于左图像中的某一点pl(ul,vl)，寻找其在右图像中的同名匹配点，具体包括：
S231、根据相机的内参数和相机之间的相对位置矩阵，找出点pl(ul,vl)在右图像中的极线l；
S232、计算极线l上格雷码值与点pl(ul,vl)处格雷码值相等的区域A；
S233、对区域A中像素的正弦相位值进行线性拟合运算，获得线性拟合的直线；
S234、在线性拟合的直线上找出与点pl(ul,vl)处相位相等的u轴坐标ur，再将ur坐标带入极线l得到v轴坐标vr，此时的点pr(ur,vr)即为pl(ul,vl)在右图像中对应的亚像素同名点；
S24、根据步骤S23获得的同名匹配点和相机的内外参数，结合双目立体视觉成像几何模型，获得目标物体单个角度的三维坐标点；
上述方案的目的是寻找亚像素同名点，利用正弦相移条纹解码之后相位值周期线性变化的特性结合格雷码图案和摄影几何中的极限约束条件，对相位值进行线性拟合，得到了左右图像中亚像素匹配的同名点，相比于像素精度匹配的同名点，最后计算得到的物体三维点云，表面要更加光滑，点云分布更加均匀，误差也更小。
S3、根据实际物体的复杂程度，多次旋转旋转平台，对每一个角度重复步骤S2，得到目标物体多个角度的三维坐标点。
S4：采用步骤S2，单独重建旋转平台，对旋转平台进行平面拟合，具体步骤如下：
S41、构建旋转平台的平面方程式如下公式1：
ax+by+cz+d＝0 (公式1)
S42、将旋转平台的n个点云数据(xi,yi,zi)代入公式1可得如下公式2：
S43、通过最小二乘求解公式2获得a,b,c,d的值，则旋转平台平面的单位法线向量为如下公式3：
则旋转平台平面的中心O为如下公式4：
S5、采用旋转平台对目标物体n个角度的点云进行拼接，具体为：
S51、构建旋转平台拼接多角度点云模型如下公式5：
其中R如下公式6所示：
公式6中：
r1＝NxNy(1-cosθ)+cosθ
r2＝NxNy(1-cosθ)+Nz sinθ
r3＝NxNz(1-cosθ)-Ny sinθ
r4＝NxNy(1-cosθ)-Nz sinθ
r5＝NyNy(1-cosθ)+cosθ
r6＝NyNz(1-cosθ)+Nx sinθ
r7＝NxNz(1-cosθ)+Ny sinθ
r8＝NyNz(1-cosθ)-Nx sinθ
r9＝NzNz(1-cosθ)+cosθ
其中，O(Xc,Yc,Zc)为旋转平台平面的中心在参考坐标系下的坐标，N(Nx,Ny,Nz)为旋转平台的平面法线在参考坐标系下的单位向量，即为步骤S4中已求解的O和N，θ为两片点云之间的旋转角度；
S52、利用S5中的公式5，将S3中生成的目标物体多个角度的三维坐标点拼接到同一个坐标系下
S6、获得目标完整三维模型。
本发明三维重建的世界坐标系都是左相机的相机坐标系，利用这个特点，对旋转平台进行三维重建，然后对旋转平台的点云进行平面拟合，则平面的法线就是旋转平台的法线在世界坐标系下的坐标，点云的重心就是旋转平台的中心在世界坐标系下的坐标。这种标定算法无需特定的标定物，算法简单方便
本发明的有益效果为：本发明结合了双目立体视觉技术、结构光技术和旋转平台技术，提出了一种精度高、速度快、成本低的三维重建方法；相比于双目立体视觉拥有重建速度更快，精度更高，而且对于物体表面纹理不丰富的区域效果良好。相比于传统的结构光技术，本***无需投影仪标定的麻烦，用第二个相机取代投影仪，而相机的标定要比投影仪的标定更加精确，所以重建的三维点云也更加好。采用的多视角点云拼接采用旋转平台的拼接算法，相比于传统的ICP配准方法，本方法点云拼接更快，无需要初始点云数据，操作简单无需人工参与。
附图说明
图1为本发明采用的三维重建几何模型；
图2为三维重建流程图；
图3为物体一个角度的三维重建流程图。
具体实施方式
发明内容部分已经对本发明的技术方案进行了详细描述，在此不再赘述。
Claims (1)
1.一种三维重建方法，其特征在于，包括以下步骤：
S1、相机参数标定，标定左右两个相机的内外参数和两个相机之间的相对位置矩阵；
S2、获取目标物体单个角度的三维坐标点，具体包括：
S21、向目标物体投射六张格雷码编码图像，通过左右两个相机拍摄后，对拍摄的图像进行解码，则图像中每个像素都有一个格雷码值；
S22、向物体投射4张正弦相移编码图像，通过左右两个相机拍摄后，对拍摄的图像进行解码，则图像中每个像素都有一个相位值；
S23、通过左右图像中亚像素同名点匹配的方法，对于左图像中的某一点pl(ul,vl)，寻找其在右图像中的同名匹配点，具体包括：
S231、根据相机的内参数和相机之间的相对位置矩阵，找出点pl(ul,vl)在右图像中的极线l；
S232、计算极线l上格雷码值与点pl(ul,vl)处格雷码值相等的区域A；
S233、对区域A中像素的正弦相位值进行线性拟合运算，获得线性拟合的直线；
S234、在线性拟合的直线上找出与点pl(ul,vl)处相位相等的u轴坐标ur，再将ur坐标带入极线l得到v轴坐标vr，此时的点pr(ur,vr)即为pl(ul,vl)在右图像中对应的亚像素同名点；
S24、根据步骤S23获得的同名匹配点和相机的内外参数，结合双目立体视觉成像几何模型，获得目标物体单个角度的三维坐标点；
S3、根据实际物体的复杂程度，多次旋转旋转平台，对每一个角度重复步骤S2，得到目标物体多个角度的三维坐标点；
S4：采用步骤S2，单独重建旋转平台，对旋转平台进行平面拟合，具体步骤如下：
S41、构建旋转平台的平面方程式如下公式1：
ax+by+cz+d＝0 (公式1)
S42、将旋转平台的n个点云数据(xi,yi,zi)代入公式1可得如下公式2：
S43、通过最小二乘求解公式2获得a,b,c,d的值，则旋转平台平面的单位法线向量为如下公式3：
则旋转平台平面的中心O为如下公式4：
S5、采用旋转平台对目标物体n个角度的点云进行拼接，具体为：
S51、构建旋转平台拼接多角度点云模型如下公式5：
其中R如下公式6所示：
公式6中：
r1＝NxNy(1-cosθ)+cosθ
r2＝NxNy(1-cosθ)+Nzsinθ
r3＝NxNz(1-cosθ)-Nysinθ
r4＝NxNy(1-cosθ)-Nzsinθ
r5＝NyNy(1-cosθ)+cosθ
r6＝NyNz(1-cosθ)+Nxsinθ
r7＝NxNz(1-cosθ)+Nysinθ
r8＝NyNz(1-cosθ)-Nxsinθ
r9＝NzNz(1-cosθ)+cosθ
其中，O(Xc,Yc,Zc)为旋转平台平面的中心在参考坐标系下的坐标，N(Nx,Ny,Nz)为旋转平台的平面法线在参考坐标系下的单位向量，即为步骤S4中已求解的O和N，θ为两片点云之间的旋转角度；
S52、利用S51中的公式5，将S3中生成的目标物体多个角度的三维坐标点拼接到同一个坐标系下；
S6、获得目标完整三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710465790.4A CN107170043B (zh) | 2017-06-19 | 2017-06-19 | 一种三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710465790.4A CN107170043B (zh) | 2017-06-19 | 2017-06-19 | 一种三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107170043A CN107170043A (zh) | 2017-09-15 |
| CN107170043B true CN107170043B (zh) | 2019-06-18 |
Family
ID=59819842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710465790.4A Expired - Fee Related CN107170043B (zh) | 2017-06-19 | 2017-06-19 | 一种三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107170043B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918948B (zh) * | 2017-11-02 | 2021-04-16 | 深圳市自由视像科技有限公司 | 4d视频渲染方法 |
| CN108288292A (zh) * | 2017-12-26 | 2018-07-17 | 中国科学院深圳先进技术研究院 | 一种三维重建方法、装置及设备 |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN108665535A (zh) * | 2018-05-10 | 2018-10-16 | 青岛小优智能科技有限公司 | 一种基于编码光栅结构光的三维结构重建方法与*** |
| CN108895969A (zh) * | 2018-05-23 | 2018-11-27 | 深圳大学 | 一种手机外壳的三维检测方法及装置 |
| CN108961378B (zh) * | 2018-07-05 | 2023-03-28 | 深圳辰视智能科技有限公司 | 一种多目点云三维重建方法、装置及其设备 |
| CN109064536B (zh) * | 2018-07-27 | 2022-12-06 | 电子科技大学 | 一种基于双目结构光的书页三维重建方法 |
| CN109648202B (zh) * | 2018-08-20 | 2021-02-12 | 南京理工大学 | 非平整面自主识别机器人增材制造成形精度控制方法 |
| CN109253706B (zh) * | 2018-08-24 | 2020-07-03 | 中国科学技术大学 | 一种基于数字图像的隧道三维形貌测量方法 |
| CN109544454B (zh) * | 2018-11-20 | 2023-03-31 | 广州方舆科技有限公司 | 一种点云数据的自动拼接方法 |
| CN109541186B (zh) * | 2018-11-29 | 2021-11-09 | 烟台大学 | 一种基于形状参数的粗骨料密实度计算方法 |
| CN109499010B (zh) * | 2018-12-21 | 2021-06-08 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助***及其方法 |
| CN109712200B (zh) * | 2019-01-10 | 2023-03-14 | 深圳大学 | 一种基于最小二乘原理及边长推算的双目定位方法及*** |
| CN110288699A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种基于结构光的三维重建方法 |
| CN110288581B (zh) * | 2019-06-26 | 2022-11-04 | 电子科技大学 | 一种基于保持形状凸性水平集模型的分割方法 |
| CN110349251B (zh) * | 2019-06-28 | 2020-06-16 | 深圳数位传媒科技有限公司 | 一种基于双目相机的三维重建方法及装置 |
| CN110414435A (zh) * | 2019-07-29 | 2019-11-05 | 深兰科技（上海）有限公司 | 基于深度学习和结构光的三维人脸数据的生成方法及设备 |
| CN110926371A (zh) * | 2019-11-19 | 2020-03-27 | 宁波舜宇仪器有限公司 | 三维表面检测方法及装置 |
| CN110910506B (zh) * | 2019-12-03 | 2021-02-09 | 江苏集萃华科智能装备科技有限公司 | 基于法线检测的三维重建方法、装置、检测装置及*** |
| CN111127633A (zh) * | 2019-12-20 | 2020-05-08 | 支付宝(杭州)信息技术有限公司 | 三维重建方法、设备以及计算机可读介质 |
| CN111063016A (zh) * | 2019-12-31 | 2020-04-24 | 螳螂慧视科技有限公司 | 一种多深度镜头人脸建模方法、***、存储介质及终端 |
| CN111275776A (zh) * | 2020-02-11 | 2020-06-12 | 北京淳中科技股份有限公司 | 投影增强现实方法、装置和电子设备 |
| CN111462331B (zh) * | 2020-03-31 | 2023-06-27 | 四川大学 | 扩展对极几何并实时计算三维点云的查找表方法 |
| CN112509138B (zh) * | 2020-12-11 | 2023-07-18 | 电子科技大学 | 一种基于lcos的室内抹灰机器人高精度三维重建*** |
| CN112967398B (zh) * | 2021-03-01 | 2023-07-25 | 北京奇艺世纪科技有限公司 | 一种三维数据重建方法、装置及电子设备 |
| CN113074661B (zh) * | 2021-03-26 | 2022-02-18 | 华中科技大学 | 基于极线采样的投影仪对应点高精度匹配方法及其应用 |
| CN113362447B (zh) * | 2021-05-25 | 2023-04-07 | 天津大学 | 一种表面法线重建融合***及重建融合方法 |
| CN113532325B (zh) * | 2021-06-08 | 2023-05-05 | 深圳市格灵精睿视觉有限公司 | 动态步数解相方法、电子设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697233A (zh) * | 2009-10-16 | 2010-04-21 | 长春理工大学 | 一种基于结构光的三维物体表面重建方法 |
| CN102663753A (zh) * | 2012-04-12 | 2012-09-12 | 浙江大学 | 一种基于双目立体视觉多视角的物体表面重建方法及装置 |
| CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
-
2017
- 2017-06-19 CN CN201710465790.4A patent/CN107170043B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697233A (zh) * | 2009-10-16 | 2010-04-21 | 长春理工大学 | 一种基于结构光的三维物体表面重建方法 |
| CN102663753A (zh) * | 2012-04-12 | 2012-09-12 | 浙江大学 | 一种基于双目立体视觉多视角的物体表面重建方法及装置 |
| CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107170043A (zh) | 2017-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107170043B (zh) | 一种三维重建方法 | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| Debevec et al. | Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN104240289B (zh) | 一种基于单个相机的三维数字化重建方法及*** | |
| CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及*** | |
| JP2019516983A (ja) | ３次元走査システムおよびその走査方法 | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| CN106504321A (zh) | 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法 | |
| CN111091599B (zh) | 一种基于球体标定物的多相机-投影仪***标定方法 | |
| CN105869157B (zh) | 多镜头立体视觉视差的计算方法 | |
| CN108876909A (zh) | 一种基于多图像拼接的三维重建方法 | |
| CN108010125A (zh) | 基于线结构光和图像信息的真实尺度三维重建***及方法 | |
| CN113129430A (zh) | 基于双目结构光的水下三维重建方法 | |
| CN110425983A (zh) | 一种基于偏振多光谱的单目视觉三维重建测距方法 | |
| Hafeez et al. | Image based 3D reconstruction of texture-less objects for VR contents | |
| CN106683163A (zh) | 一种视频监控的成像方法及*** | |
| CN110619601A (zh) | 一种基于三维模型的图像数据集生成方法 | |
| CN102269575A (zh) | 一种视觉测量中基于映射的相位匹配方法 | |
| Fleischmann et al. | Fast projector-camera calibration for interactive projection mapping | |
| Hafeez et al. | 3D surface reconstruction of smooth and textureless objects | |
| Lai et al. | Projective reconstruction of building shape from silhouette images acquired from uncalibrated cameras | |
| Shuang et al. | Encoded light image active feature matching approach in binocular stereo vision | |
| CN111462199A (zh) | 基于gpu的快速散斑图像匹配方法 | |
| Li et al. | Binocular stereo vision calibration experiment based on essential matrix |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190618 Termination date: 20200619 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |