CN111652967B - 一种基于前后融合成像的三维重建***及方法 - Google Patents

一种基于前后融合成像的三维重建***及方法 Download PDF

Info

Publication number
CN111652967B
CN111652967B CN202010413235.9A CN202010413235A CN111652967B CN 111652967 B CN111652967 B CN 111652967B CN 202010413235 A CN202010413235 A CN 202010413235A CN 111652967 B CN111652967 B CN 111652967B
Authority
CN
China
Prior art keywords
module
dimensional reconstruction
fusion imaging
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413235.9A
Other languages
English (en)
Other versions
CN111652967A (zh
Inventor
王嘉辉
孙梓瀚
郭祥
江灏
蔡志岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010413235.9A priority Critical patent/CN111652967B/zh
Publication of CN111652967A publication Critical patent/CN111652967A/zh
Application granted granted Critical
Publication of CN111652967B publication Critical patent/CN111652967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于前后融合成像的三维重建***，包括框体、融合成像模块、三维重建模块，框体存在承载空间，所述的承载空间用于放置物品；融合成像模块拍摄物品的前景图像和物品的后景图像，融合成像模块设置在框体的内侧，融合成像模块与框体连接；三维重建模块通过物品的前景图像和物品的后景图像，结合得到物品的三维模型，三维重建模块与融合成像模块电连接。本发明还公开了一种基于前后融合成像的三维重建方法，包括以下步骤：S1：在承载空间中放置标定物，根据标定物调整融合成像模块的内参数和外参数以及调整三维重建模块的坐标变换矩阵；S2：取出标定物，在标定物的位置上放置目标物品，通过调整后三维重建***形成物品的三维模型。

Description

一种基于前后融合成像的三维重建***及方法
技术领域
本发明涉及三维重建领域，更具体地，涉及一种基于前后融合成像的三维重建***及方法。
背景技术
近年来，随着计算机视觉技术的飞速发展，三维重建作为计算机视觉领域中一个重要的分支，正广泛应用于3D打印、医疗技术、遥感技术等领域，受到高度关注。
目前的三维重建技术主要可以分为基于深度相机的三维重建、基于时间的重建以及基于空间的重建。基于深度相机的三维重建也称为主动重建技术，借助激光、声波等辅助能量源，通过采集设备获取能量源的反射强度信息实现深度信息提取。如目前市场中的kinect等深度摄像机设备都是使用该原理实现。而基于时间的重建与基于空间的重建只需要通过普通相机就可以完成，硬件要求相对较低。基于时间的重建方法主要通过同一相机在运动过程中产生的帧间视差来实现视差图片获取，进而进行帧间的匹配重建。该方法可实现单个相机进行物体的三维重建，但需要相机与物体相对位置变化并且记录该变化参数进行三维重建，对于拍摄运动条件有一定的要求。若要进行较大范围的表面重建则需要有较大范围的移动，且需要多帧进行运算，这会增大物体拍摄的流程复杂度以及重建的信息处理量。而基于空间的重建方法主要原理是使用多个摄像机在不同角度对重建物体进行拍摄，获取具有视差的图片组，结合多个摄像机的位置关系构建二维图像坐标转换为三维坐标的变换矩阵进行物体表面重建。而使用该方法主要问题在于摄像机拍摄角度与重建表面范围的矛盾关系。若要减少摄像机使用以节约成本，则最少需要使用两个摄像头构建双目视觉***，而双目视觉***获取的表面区域相对有限，单组图片重建范围较小；而若要实现更大的范围的重建，则需要更多的机位进行不同角度的表面图片拍摄，对设备成本要求较高，且处理图片数量增加。综上，当前基于时间的重建方法与基于空间的重建方法都存在重建操作复杂度与重建表面范围受限的问题。
发明内容
为克服上述现有技术与方法的不足，本发明提出了一种基于前后融合成像的三维重建***及方法。本发明在不需要进行物体或者拍摄设备移动的情况下，只需进行一次成像即可获得目标物品的三维模型。
为解决上述技术问题，本发明的技术方案如下：
一种基于前后融合成像的三维重建***，用于形成物品的三维模型，包括框体、融合成像模块、三维重建模块，其中，
所述的框体存在承载空间，所述的承载空间用于放置物品；
所述的融合成像模块拍摄物品的前景图像和物品的后景图像，融合成像模块设置在框体的内侧，融合成像模块与框体连接；
所述的三维重建模块通过物品的前景图像和物品的后景图像，结合得到物品的三维模型，三维重建模块与融合成像模块电连接。
本发明在不需要进行物体或者拍摄设备移动的情况下，只需进行一次成像即可获得目标物品的三维模型。
在一种优选的方案中，所述的框体由不透光材料制成。
本优选方案中，不透光材料可以防止外部环境的光线进入承载空间，影响融合成像模块的取像。
在一种优选的方案中，所述的三维重建***还包括补光模块，所述的补光模块用于进行补光照明，补光模块设置在框体的内侧，补光模块与框体连接。
本优选方案中，通过补光模块可以解决承载空间光线强度不足的问题。
在一种优选的方案中，所述的补光模块的亮度可调节。
在一种优选的方案中，所述的补光模块是显色指数高的光源。
本优选方案中，显色指数高的光源有利于提高重建照片对场景的还原程度。
在一种优选的方案中，所述的框体的内侧敷设有不反光材料。
本优选方案中，由于补光模块在工作过程中存在光线反射的问题可能会导致影响融合成像模块的取像。因此，需要在框体的内侧敷设有不反光材料，降低补光模块得到光线反射问题。
在一种优选的方案中，所述的融合成像模块包括双目拍摄子模块和两块反射镜，其中，
所述的双目拍摄子模块设置在物品的前方，用于获取物品的前景图像；
所述的两块反射镜设置在物品的后方，反射镜通过反射，结合双目拍摄子模块获取物品的后景图像。
在一种优选的方案中，所述的反射镜垂直与水平面设置且两块反射镜构成的夹角小于180°。
本发明还公开基于上述三维重建***的一种基于前后融合成像的三维重建方法，包括以下步骤：
S1：在承载空间中放置标定物，根据标定物调整融合成像模块的内参数和外参数以及调整三维重建模块的坐标变换矩阵；
S2：取出标定物，在标定物的位置上放置目标物品，通过调整后三维重建***形成物品的三维模型。
在一种优选的方案中，所述的S2包括以下子步骤：
S2.1：取出标定物，在标定物的位置上放置目标物品，融合成像模块获取目标物品的前景图像和后景图像，将前景图像和后景图像输入至三维重建模块进行算法重建，获取目标物品的前景图像的三维重建点云数据和目标物品的后景图像的三维重建点云数据；
S2.2：在重建过程中，输入的图像通过调整后的融合成像模块的内参数对图像进行畸变矫正，消除镜头畸变带来的误差；
S2.3：通过调整后的融合成像模块的外参数进行坐标变换，将二维图像坐标转换为三维点云坐标；
S2.4：通过点云滤波算法过滤三维点云坐标转换过程中错误的匹配点；
S2.5：将拼接后的完整点云数据进行封装，形成三维模型。
在一种优选的方案中，所述的融合成像模块包括双目拍摄子模块和两块反射镜，所述的融合成像模块对目标物品形成做左摄像头前景图像、右摄像头前景图像、左摄像头后景图像和右摄像头后景图像；所述的S2.2还包括以下内容：
畸变矫正后，对图像中目标物品进行特征提取与匹配，获取左摄像头前景图像和右摄像头前景图像匹配的匹配点或者左摄像头后景图像和右摄像头后景图像匹配的匹配点。
与现有技术相比，本发明技术方案的有益效果是：
本发明在不需要进行物体或者拍摄设备移动的情况下，只需进行一次成像即可获得目标物品的三维模型。
附图说明
图1为实施例2的流程图。
图2为实施例1的模块图。
图3为实施例2的原理图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图2所示，一种基于前后融合成像的三维重建***，用于形成物品的三维模型，包括框体、融合成像模块、三维重建模块，其中，
框体存在承载空间，承载空间用于放置物品；
融合成像模块拍摄物品的前景图像和物品的后景图像，融合成像模块设置在框体的内侧，融合成像模块与框体连接；
三维重建模块通过物品的前景图像和物品的后景图像，结合得到物品的三维模型，三维重建模块与融合成像模块电连接。
实施例1在不需要进行物体或者拍摄设备移动的情况下，只需进行一次成像即可获得目标物品的三维模型。
在实施例1中，还可以进行以下扩展：框体由不透光材料制成。
本改进实施例中，不透光材料可以防止外部环境的光线进入承载空间，影响融合成像模块的取像。
在实施例1及上述改进实施例中，还可以进行以下扩展：三维重建***还包括补光模块，补光模块用于进行补光照明，补光模块设置在框体的内侧，补光模块与框体连接。
本改进实施例中，通过补光模块可以解决承载空间光线强度不足的问题。
在实施例1及上述改进实施例中，还可以进行以下扩展：补光模块的亮度可调节。
在实施例1及上述改进实施例中，还可以进行以下扩展：补光模块是显色指数高的光源。
本改进实施例中，显色指数高的光源有利于提高重建照片对场景的还原程度。
在实施例1及上述改进实施例中，还可以进行以下扩展：框体的内侧敷设有不反光材料。
本改进实施例中，由于补光模块在工作过程中存在光线反射的问题可能会导致影响融合成像模块的取像。因此，需要在框体的内侧敷设有不反光材料，降低补光模块得到光线反射问题。
在实施例1及上述改进实施例中，还可以进行以下扩展：融合成像模块包括双目拍摄子模块和两块反射镜，其中，
双目拍摄子模块设置在物品的前方，用于获取物品的前景图像；
两块反射镜设置在物品的后方，反射镜通过反射，结合双目拍摄子模块获取物品的后景图像。
在一种优选的方案中，反射镜垂直与水平面设置且两块反射镜构成的夹角小于180°。
实施例2
如图2～图3所示，实施例2是基于实施例1的一种方法，一种基于前后融合成像的三维重建方法，包括以下步骤：
S1：在承载空间中放置标定物，根据标定物调整融合成像模块的内参数和外参数以及调整三维重建模块的坐标变换矩阵；
S2：取出标定物，在标定物的位置上放置目标物品，通过调整后三维重建***形成物品的三维模型。
在实施例2中，还可以进行以下扩展：S2包括以下子步骤：
S2.1：取出标定物，在标定物的位置上放置目标物品，融合成像模块获取目标物品的前景图像和后景图像，将前景图像和后景图像输入至三维重建模块进行算法重建，获取目标物品的前景图像的三维重建点云数据和目标物品的后景图像的三维重建点云数据；
S2.2：在重建过程中，输入的图像通过调整后的融合成像模块的内参数对图像进行畸变矫正，消除镜头畸变带来的误差；
S2.3：通过调整后的融合成像模块的外参数进行坐标变换，将二维图像坐标转换为三维点云坐标；
S2.4：通过点云滤波算法过滤三维点云坐标转换过程中错误的匹配点；
S2.5：将拼接后的完整点云数据进行封装，形成三维模型。
在实施例2及上述改进实施例中，还可以进行以下扩展：融合成像模块包括双目拍摄子模块和两块反射镜，融合成像模块对目标物品形成做左摄像头前景图像、右摄像头前景图像、左摄像头后景图像和右摄像头后景图像；S2.2还包括以下内容：
畸变矫正后，对图像中目标物品进行特征提取与匹配，获取左摄像头前景图像和右摄像头前景图像匹配的匹配点或者左摄像头后景图像和右摄像头后景图像匹配的匹配点。
在上述具体实施方式的具体内容中，各技术特征可以进行任意不矛盾的组合，为使描述简洁，未对上述各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；例如实施例中离子电导率的计算公式并不仅限于实施例中举例的公式，不同的种类的离子电导率的计算公式各不相同。上述的是实施例的限定并不能理解为对本专利的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于前后融合成像的三维重建***，用于形成物品的三维模型，其特征在于，包括框体、融合成像模块、三维重建模块，其中，
所述的框体存在承载空间，所述的承载空间用于放置物品；
所述的融合成像模块拍摄物品的前景图像和物品的后景图像，融合成像模块设置在框体的内侧，融合成像模块与框体连接；
所述的三维重建模块通过物品的前景图像和物品的后景图像，结合得到物品的三维模型，三维重建模块与融合成像模块电连接；
所述三维重建***应用的一种基于前后融合成像的三维重建方法，包括以下步骤：
S1：在承载空间中放置标定物，根据标定物调整融合成像模块的内参数和外参数以及调整三维重建模块的坐标变换矩阵；
S2：取出标定物，在标定物的位置上放置目标物品，通过调整后三维重建***形成物品的三维模型；
所述的S2包括以下子步骤：
S2.1：取出标定物，在标定物的位置上放置目标物品，融合成像模块获取目标物品的前景图像和后景图像，将前景图像和后景图像输入至三维重建模块进行算法重建，获取目标物品的前景图像的三维重建点云数据和目标物品的后景图像的三维重建点云数据；
S2.2：在重建过程中，输入的图像通过调整后的融合成像模块的内参数对图像进行畸变矫正，消除镜头畸变带来的误差；
S2.3：通过调整后的融合成像模块的外参数进行坐标变换，将二维图像坐标转换为三维点云坐标；
S2.4：通过点云滤波算法过滤三维点云坐标转换过程中错误的匹配点；
S2.5：将拼接后的完整点云数据进行封装，形成三维模型。
2.根据权利要求1所述的三维重建***，其特征在于，所述的框体由不透光材料制成。
3.根据权利要求1或2所述的三维重建***，其特征在于，所述的三维重建***还包括补光模块，所述的补光模块用于进行补光照明，补光模块设置在框体的内侧，补光模块与框体连接。
4.根据权利要求3所述的三维重建***，其特征在于，所述的框体的内侧敷设有不反光材料。
5.根据权利要求1、2或4所述的三维重建***，其特征在于，所述的融合成像模块包括双目拍摄子模块和两块反射镜，其中，
所述的双目拍摄子模块设置在物品的前方，用于获取物品的前景图像；
所述的两块反射镜设置在物品的后方，反射镜通过反射，结合双目拍摄子模块获取物品的后景图像。
6.根据权利要求5所述的三维重建***，其特征在于，所述的反射镜垂直与水平面设置且两块反射镜构成的夹角小于180°。
7.根据权利要求1所述的三维重建***，其特征在于，所述的融合成像模块包括双目拍摄子模块和两块反射镜，所述的融合成像模块对目标物品形成做左摄像头前景图像、右摄像头前景图像、左摄像头后景图像和右摄像头后景图像；所述的S2.2还包括以下内容：
畸变矫正后，对图像中目标物品进行特征提取与匹配，获取左摄像头前景图像和右摄像头前景图像匹配的匹配点或者左摄像头后景图像和右摄像头后景图像匹配的匹配点。
CN202010413235.9A 2020-05-15 2020-05-15 一种基于前后融合成像的三维重建***及方法 Active CN111652967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413235.9A CN111652967B (zh) 2020-05-15 2020-05-15 一种基于前后融合成像的三维重建***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413235.9A CN111652967B (zh) 2020-05-15 2020-05-15 一种基于前后融合成像的三维重建***及方法

Publications (2)

Publication Number Publication Date
CN111652967A CN111652967A (zh) 2020-09-11
CN111652967B true CN111652967B (zh) 2023-07-04

Family

ID=72347970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413235.9A Active CN111652967B (zh) 2020-05-15 2020-05-15 一种基于前后融合成像的三维重建***及方法

Country Status (1)

Country Link
CN (1) CN111652967B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612263B (zh) * 2023-07-20 2023-10-10 北京天图万境科技有限公司 一种感知潜视觉合成一致性动态拟合的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887071A (zh) * 2019-01-12 2019-06-14 天津大学 一种3d电子内镜***及三维重建方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN109887071A (zh) * 2019-01-12 2019-06-14 天津大学 一种3d电子内镜***及三维重建方法
CN109993696A (zh) * 2019-03-15 2019-07-09 广州愿托科技有限公司 基于多视点图像的结构物表观全景图矫正拼接方法

Also Published As

Publication number Publication date
CN111652967A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Jiang et al. Learning to see moving objects in the dark
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
US20200219301A1 (en) Three dimensional acquisition and rendering
EP3057317B1 (en) Light-field camera
US9870602B2 (en) Method and apparatus for fusing a first image and a second image
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
KR20160090373A (ko) 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
WO2011010438A1 (ja) 視差検出装置、測距装置及び視差検出方法
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN105430298A (zh) 通过立体摄像***同时曝光合成hdr图像的方法
CN111652967B (zh) 一种基于前后融合成像的三维重建***及方法
Chowdhury et al. Fixed-Lens camera setup and calibrated image registration for multifocus multiview 3D reconstruction
CN109302600B (zh) 一种立体场景拍摄装置
US20200267297A1 (en) Image processing method and apparatus
TWI504936B (zh) 影像處理裝置
CN110708532A (zh) 一种普适光场单元图像生成方法和***
CN108307179A (zh) 一种3d立体成像的方法
CN111562562B (zh) 基于tof的3d成像模块校准方法
CN109089100B (zh) 一种双目立体视频的合成方法
CN109274954B (zh) 一种小凹单目立体成像***
CN104519332B (zh) 产生视角平移影像的方法及其便携式电子设备
CN105208373A (zh) 一种基于光场压缩采样的通用集成成像记录装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant