CN111598993A - 基于多视角成像技术的三维数据重建方法、装置 - Google Patents
基于多视角成像技术的三维数据重建方法、装置 Download PDFInfo
- Publication number
- CN111598993A CN111598993A CN202010051545.0A CN202010051545A CN111598993A CN 111598993 A CN111598993 A CN 111598993A CN 202010051545 A CN202010051545 A CN 202010051545A CN 111598993 A CN111598993 A CN 111598993A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- camera
- image data
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005516 engineering process Methods 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视角成像技术的三维数据重建方法、装置、计算机设备和存储介质，通过将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据，以简化拍摄目标对应的三维重建数据的获取过程，提高相应的三维数据重建效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多视角成像技术的三维数据重建方法、装置、计算机设备和存储介质。
背景技术
三维数据重建对于三维数据数字化、虚拟化等领域的主要技术，目前重建数据来源有点云数据、多视角图像数据。点云数据由于数据量庞大，在重建中算法复杂度和数据处理难度比较大。目前使用比较广泛得是基于多视角得图像拼接重构，重建三维数据。上述三维数据重建的重建过程往往存在需要处理的数据量大，处理过程复杂的问题，容易使三维数据重建的效率低。
发明内容
针对以上问题，本发明提出一种基于多视角成像技术的三维数据重建方法、计算机设备和存储介质。
为实现本发明的目的，提供一种基于多视角成像技术的三维数据重建方法，包括如下步骤：
S10，将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据；
S20，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型；
S30，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
在一个实施例中，基于多视角成像技术的三维数据重建方法，还包括：
提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
作为一个实施例，提取三维重建数据在各个相机的视角的深度数据包括：
根据各个相机所在坐标系下像素坐标之间的变换计算公式，将三维重建数据对应的数据集作为三维焦距图像堆栈集合数据，根据相似度测量方法计算三维重建数据的深度数据。
作为一个实施例，根据各个视角的深度图像数据对三维重建数据进行降噪处理包括：
根据各个视角的深度图像数据计算三维重建数据的三维数据坐标，根据三维数据坐标识别具有噪声信息的噪声图像数据，根据同一视角不同焦距的噪声图像数据，对三维重建数据中各个图像块采用双值滤波和图像融合算法消除噪声。
在一个实施例中，将一个相机获得的图像转换参照相机所在的坐标系下的图像数据，得到该相机的转换图像数据包括：
根据该相机的成像姿态数据、相机矩阵信息计算该相机的图像在参照相机所在坐标系下的数据信息，根据此数据信息及该相机与参照相机之间的空间位置关系，计算拍摄目标在参照相机所在坐标系下的空间坐标数据，得到该相机获得的图像的转换图像数据。
作为一个实施例，匹配各个转换图像数据的过程包括：
(x',y')＝C(MRp+t)MT(x,y)，
式中，(x,y)表示转换图像数据中的图像坐标值，(x',y')表示(x,y)的匹配内容，t表示相机在相机阵列中的坐标信息，MT表示同一图像数据在不同相机坐标系中对应坐标数据的变换矩阵，Rp表示相机的成像姿态数据，C表示相机的标定矩阵。
一种基于多视角成像技术的三维数据重建装置，包括：
转换模块，用于将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据；
匹配模块，用于匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型；
映射模块，用于将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
在一个实施例中，基于多视角成像技术的三维数据重建装置，还包括：
提取模块，用于提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基于多视角成像技术的三维数据重建方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例的基于多视角成像技术的三维数据重建方法的步骤。
上述基于多视角成像技术的三维数据重建方法、装置、计算机设备和存储介质，通过将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据，以简化拍摄目标对应的三维重建数据的获取过程，提高相应的三维数据重建效率。
附图说明
图1是一个实施例的基于多视角成像技术的三维数据重建方法流程图；
图2是一个实施例的基于多视角成像技术的三维数据重建装置结构示意图；
图3为一个实施例的计算机设备示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在一个实施例中，如图1所示，提供了一种基于多视角成像技术的三维数据重建方法，包括以下步骤：
S10，将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据。
S20，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型。
S30，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
上述拍摄目标为多个相机同时拍摄的对象，如三维模型物体等等。各个相机分别具有相应的坐标系，参照相机为多个相机中的一个香蕉。可以将除参照相机之外的各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据。
本实施例主要根据重建对象(拍摄目标)不同视角的图像以及拍摄的各个相机的位置、姿态数据等，计算不同视角下的重建对象在对应相机坐标系下的坐标数据，根据图像匹配、拼接算法，及不同相机坐标系之间的坐标系转换，重建出重建三维场景的三维数据坐标，将图像中获得的图像的纹理数据，绑定映射到重构对象三维模型表面。
在一个示例中，可以依据各个相机对应的相机矩阵中不同相机数据之间的统一，然后根据参照相机(0，0)图像坐标系数据与实际三维坐标数据之间的转换关系，将图像数据中识别出的三维对象的数据转换为三维空间坐标，然后按照Delaunay三角化对三维空间数据生成三角化网格数据，然后利用图像数据中的三维模型对象的纹理数据，采用自动纹理映射方法，生成三维对象的纹理数据，完成三维场景的重建。
上述基于多视角成像技术的三维数据重建方法，通过将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据，以简化拍摄目标对应的三维重建数据的获取过程，提高相应的三维数据重建效率。
在一个实施例中，上述基于多视角成像技术的三维数据重建方法，还包括：
提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
具体地，多视角图像数据处理，可以根据不同视图下图像数据，提取重建对象的深度数据，根据不同视角的深度图像数据对采集到的图像数据进行降噪处理，从而获得更加清晰的图像数据(拍摄目标的三维图像数据)。
进一步地，图像数据中对象的颜色数据作为重构对象的纹理数据，作为重建对象的三维数据进行纹理、材质烘焙数据。
作为一个实施例，提取三维重建数据在各个相机的视角的深度数据包括：
根据各个相机所在坐标系下像素坐标之间的变换计算公式，将三维重建数据对应的数据集作为三维焦距图像堆栈集合数据，根据相似度测量方法计算三维重建数据的深度数据。
作为一个实施例，根据各个视角的深度图像数据对三维重建数据进行降噪处理包括：
根据各个视角的深度图像数据计算三维重建数据的三维数据坐标，根据三维数据坐标识别具有噪声信息的噪声图像数据，根据同一视角不同焦距的噪声图像数据，对三维重建数据中各个图像块采用双值滤波和图像融合算法消除噪声。
具体地，相机矩阵在不同焦点距离下的图像数据集，根据不同相机坐标系下像素坐标之间的变换计算公式
将数据集作为三维焦距图像堆栈集合数据Fd(x,y)中，根据相似度测量方法计算图像中对象的深度估计信息(深度数据)。
在一个示例中，
N是焦距图像堆栈中视角数量，k是图像数据集中的第k个视图，Wi,j是以像素坐标(i，j)为中心点的窗口。根据深度数据计算图像中对象的三维数据坐标，用于三维数据重建。具有噪声信息的图像数据，根据同一视角不同焦距的图像数据，对不同的图像块中采用双值滤波和图像融合的算法对图像数据的噪声进行消除。
在一个实施例中，将一个相机获得的图像转换参照相机所在的坐标系下的图像数据，得到该相机的转换图像数据包括：
根据该相机的成像姿态数据、相机矩阵信息计算该相机的图像在参照相机所在坐标系下的数据信息，根据此数据信息及该相机与参照相机之间的空间位置关系，计算拍摄目标在参照相机所在坐标系下的空间坐标数据，得到该相机获得的图像的转换图像数据。
作为一个实施例，匹配各个转换图像数据的过程包括：
(x',y')＝C(MRp+t)MT(x,y)，
式中，(x,y)表示转换图像数据中的图像坐标值，(x',y')表示(x,y)的匹配内容，t表示相机在相机阵列中的坐标信息，MT表示同一图像数据在不同相机坐标系中对应坐标数据的变换矩阵，Rp表示相机的成像姿态数据，C表示相机的标定矩阵。
多视角成像是采用按一定规则进行排布的相机阵列，采用此设备在同一聚焦距离值下，对同一重建对象的不同角度进行图像数据采集的技术设备。每个相机生成的图像数据，根据当前相机成像姿态数据、相机矩阵信息等可计算当前成像图像中的对象在每个相机坐标系下的数据信息。根据此数据信息及相机之间的空间位置关系，可以计算重建对象在空间坐标系下的空间坐标数据。
在一个示例中，多视角相机中图像坐标Is,t(x,y)，x，y是像素坐标，s，t是相机在相机阵列中的坐标信息，具体地，s,t代表当前相机在相机阵列中的位置坐标，d代表相机阵列中每个相机之间的间隔距离，x,y代表在(s,t)位置相机的相机坐标系下的像素图像数据坐标。重建对象的同一数据点在不同视角成像相机之间的距离用d表示，假设重建对象的三维数据点P(X,Y,Z)在相机矩阵(0,0)处相机的像素坐标为(xl,yl),在相机矩阵(1，0)处的相机的像素坐标为(xr,yr)，则距离表示为：
将相机阵列中的中心位置的相机作为相机图像数据的参考点数据，根据距离d对图像中的每个像素进行修正计算公式1：
其中s0,t0代表参考相机在相机阵列中的坐标信息。不同相机图像之间的相同特征点之间的匹配查找，利用SURF提取图像中的特征点，比较匹配图像中的相似特征点，当特征点的相似度超过阈值β，则认为此特征点相同；根据匹配到的相似特征点，将图像中的像素数据进行匹配拼接。拼接图像之间的数据转换，相机视角图像数据
Rp为相机的姿态，C为相机的标定矩阵，匹配图像数据之间的相机姿态数据可以通过姿态变换矩阵 M获得，则图像匹配采用(x',y')＝C(MRp+t)MT(x,y)，MT表示同一三维坐标数据在不同相机坐标系中对应坐标数据的变换矩阵。具体地，利用surf算法从图像数据点中提取特征数据点的过程中，对于两幅图像的特征点匹配查找，例如A,B两幅图像，其包含的两个特征点的相似性度量值Sim，采用两个特征点间的欧式距离计算：
其中Xik表示待配准图像中第i个特征描述符的第k个元素， Xjk表示参考图中的第j个特征描述子中的第k个元素，n表示特征向量的为数，即特征描述子的元素数目。可选地，β取值可以为0.8，当上述欧式距离Disij计算的最小欧式距离与次小欧式距离的比值小于此阈值，则认为此特征点与最小欧式距离的特征点匹配，否则不匹配。
进一步地，利用过噪声消除的图像存入相应的图像聚焦堆栈数据集中，可以对重建之后的三维对象空间数据坐标(三维图像数据)进行三角化，生成三角化网格数据，对网格数据进行自动化纹理映射，根据三维对象的重建3d图像堆栈数据中视角数目，将三维模型数据进行分块纹理映射，其中三维模型数据的分块数目N，与图像数据集合中此对象的视角数目有关。当三维对象的视角数目大于10，或者各个视角之间同一三维对象图像数据重叠超过40％时，N＝(最大视角-最下视角)/15按照此方法将位于同一视角级别范围中的图像进行合并，按照投影纹理映射方法，将视角图像中三维模型对象的图像数据映射到相应区域的三角网格面片中。以参考相机(参照相机)为参照坐标系的图像数据坐标
根据相机坐标系到三维世界坐标系之间的转化公式： P3d＝MtransPimg，P3d表示点P在三维世界坐标系中的坐标值，Pimg代表点P在图像数据中的坐标值。纹理坐标与图像数据之间的映射，根据图像数据中模型对象的轮廓图像数据，在图像数据坐标系中对于位于同一像素行或者列的像素点，根据此行或者列中形成封闭区域的两个像素的坐标p1，p2，其纹理坐标分别为(s1,t1,p1,q1)和(s2,t2,p2,q2)，其中q1,q2通常取1，根据公式
计算p1，p2两个像素坐标所在列的中间的像素点的纹理坐标s值，t,p纹理坐标也采用上述公式进行计算，计算三维对象的像素坐标对应的纹理坐标，然后根据像素坐标和三维空间坐标之间的转换关系，对三维空间坐标数据生成纹理坐标数据。用户三维模型数据不同划分块之间的纹理映射坐标，后续渲染中纹理绑定提供数据。
上述基于多视角成像技术的三维数据重建方法中，处理的纹理数据在模型分块接缝处会有色彩不连续问题，为了解决此问题，在接缝处的纹理坐标，接缝处的图像数据采用多尺度图像融合算法获得进行色彩调整的数据值。用于减弱或消除色彩不一致不连续问题。
在一个实施例中，参考图2所示，提供一种基于多视角成像技术的三维数据重建装置，包括：
转换模块10，用于将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据；
匹配模块20，用于匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型；
映射模块30，用于将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
在一个实施例中，上述基于多视角成像技术的三维数据重建装置，还包括：
提取模块，用于提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
关于基于多视角成像技术的三维数据重建装置的具体限定可以参见上文中对于基于多视角成像技术的三维数据重建方法的限定，在此不再赘述。上述基于多视角成像技术的三维数据重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多视角成像技术的三维数据重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于如上所述的示例，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种基于多视角成像技术的三维数据重建方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机***的存储介质中，并被该计算机***中的至少一个处理器执行，以实现包括如上述基于多视角成像技术的三维数据重建方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体 (Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
据此，在一个实施例中还提供一种计算机存储介质计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意一种基于多视角成像技术的三维数据重建方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多视角成像技术的三维数据重建方法，其特征在于，包括如下步骤：
S10，将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据；
S20，匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型；
S30，将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
2.根据权利要求1所述的基于多视角成像技术的三维数据重建方法，其特征在于，在一个实施方式中，还包括：
提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
3.根据权利要求2所述的基于多视角成像技术的三维数据重建方法，其特征在于，在一个实施方式中，提取三维重建数据在各个相机的视角的深度数据包括：
根据各个相机所在坐标系下像素坐标之间的变换计算公式，将三维重建数据对应的数据集作为三维焦距图像堆栈集合数据，根据相似度测量方法计算三维重建数据的深度数据。
4.根据权利要求2所述的基于多视角成像技术的三维数据重建方法，其特征在于，在一个实施方式中，根据各个视角的深度图像数据对三维重建数据进行降噪处理包括：
根据各个视角的深度图像数据计算三维重建数据的三维数据坐标，根据三维数据坐标识别具有噪声信息的噪声图像数据，根据同一视角不同焦距的噪声图像数据，对三维重建数据中各个图像块采用双值滤波和图像融合算法消除噪声。
5.根据权利要求1至4任一项所述的基于多视角成像技术的三维数据重建方法，其特征在于，在一个实施方式中，将一个相机获得的图像转换参照相机所在的坐标系下的图像数据，得到该相机的转换图像数据包括：
根据该相机的成像姿态数据、相机矩阵信息计算该相机的图像在参照相机所在坐标系下的数据信息，根据此数据信息及该相机与参照相机之间的空间位置关系，计算拍摄目标在参照相机所在坐标系下的空间坐标数据，得到该相机获得的图像的转换图像数据。
6.根据权利要求5所述的基于多视角成像技术的三维数据重建方法，其特征在于，在一个实施方式中，匹配各个转换图像数据的过程包括：
(x',y')＝C(MRp+t)MT(x,y)，
式中，(x,y)表示转换图像数据中的图像坐标值，(x',y')表示(x,y)的匹配内容，t表示相机在相机阵列中的坐标信息，MT表示同一图像数据在不同相机坐标系中对应坐标数据的变换矩阵，Rp表示相机的成像姿态数据，C表示相机的标定矩阵。
7.一种基于多视角成像技术的三维数据重建装置，其特征在于，包括：
转换模块，用于将各个相机获得的图像转换为参照相机所在的坐标系下的图像数据，得到多个转换图像数据；
匹配模块，用于匹配各个转换图像数据，以确定各个转换图像数据中的匹配内容，依据各个转换图像数据中的匹配内容对各个转换图像数据进行拼接，得到重构对象三维模型；
映射模块，用于将拍摄目标的纹理数据映射到重构对象三维模型的表面，得到三维重建数据。
8.根据权利要求7所述的基于多视角成像技术的三维数据重建装置，其特征在于，还包括：
提取模块，用于提取三维重建数据在各个相机的视角的深度数据，根据各个视角的深度图像数据对三维重建数据进行降噪处理，得到拍摄目标的三维图像数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的基于多视角成像技术的三维数据重建方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的增强现实交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051545.0A CN111598993B (zh) | 2020-01-17 | 2020-01-17 | 基于多视角成像技术的三维数据重建方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051545.0A CN111598993B (zh) | 2020-01-17 | 2020-01-17 | 基于多视角成像技术的三维数据重建方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598993A true CN111598993A (zh) | 2020-08-28 |
| CN111598993B CN111598993B (zh) | 2022-07-08 |
Family
ID=72187052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010051545.0A Active CN111598993B (zh) | 2020-01-17 | 2020-01-17 | 基于多视角成像技术的三维数据重建方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598993B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233228A (zh) * | 2020-10-28 | 2021-01-15 | 五邑大学 | 基于无人机的城市三维重建方法、装置及存储介质 |
| CN112381887A (zh) * | 2020-11-17 | 2021-02-19 | 广东电科院能源技术有限责任公司 | 一种多深度相机标定方法、装置、设备和介质 |
| CN113066173A (zh) * | 2021-04-21 | 2021-07-02 | 国家基础地理信息中心 | 三维模型构建方法、装置和电子设备 |
| CN113220251A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113538649A (zh) * | 2021-07-14 | 2021-10-22 | 深圳信息职业技术学院 | 一种超分辨率的三维纹理重建方法、装置及其设备 |
| CN113573079A (zh) * | 2021-09-23 | 2021-10-29 | 北京全心数字技术有限公司 | 一种自由视角直播方式的实现方法 |
| CN114264355A (zh) * | 2021-11-18 | 2022-04-01 | 河南讯飞智元信息科技有限公司 | 重量检测方法、装置、电子设备及存储介质 |
| WO2022088799A1 (zh) * | 2020-10-29 | 2022-05-05 | 陈志立 | 三维重建方法、三维重建装置、存储介质 |
| CN114511637A (zh) * | 2022-04-20 | 2022-05-17 | 湖南华城检测技术有限公司 | 一种基于构造强特征的弱特征物体图像三维重建***及方法 |
| CN114648614A (zh) * | 2022-05-24 | 2022-06-21 | 四川中绳矩阵技术发展有限公司 | 一种目标对象的三维重现方法及*** |
| CN115330936A (zh) * | 2022-08-02 | 2022-11-11 | 荣耀终端有限公司 | 合成三维图像的方法、装置及电子设备 |
| CN115345923A (zh) * | 2022-10-19 | 2022-11-15 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019075268A1 (en) * | 2017-10-11 | 2019-04-18 | Alibaba Group Holding Limited | IMAGE PROCESSING METHOD, APPARATUS THEREFOR, AND STORAGE MEDIUM |
| CN109919911A (zh) * | 2019-01-26 | 2019-06-21 | 中国海洋大学 | 基于多视角光度立体的移动三维重建方法 |
-
2020
- 2020-01-17 CN CN202010051545.0A patent/CN111598993B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019075268A1 (en) * | 2017-10-11 | 2019-04-18 | Alibaba Group Holding Limited | IMAGE PROCESSING METHOD, APPARATUS THEREFOR, AND STORAGE MEDIUM |
| CN109919911A (zh) * | 2019-01-26 | 2019-06-21 | 中国海洋大学 | 基于多视角光度立体的移动三维重建方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233228B (zh) * | 2020-10-28 | 2024-02-20 | 五邑大学 | 基于无人机的城市三维重建方法、装置及存储介质 |
| CN112233228A (zh) * | 2020-10-28 | 2021-01-15 | 五邑大学 | 基于无人机的城市三维重建方法、装置及存储介质 |
| WO2022088799A1 (zh) * | 2020-10-29 | 2022-05-05 | 陈志立 | 三维重建方法、三维重建装置、存储介质 |
| CN112381887A (zh) * | 2020-11-17 | 2021-02-19 | 广东电科院能源技术有限责任公司 | 一种多深度相机标定方法、装置、设备和介质 |
| CN113066173A (zh) * | 2021-04-21 | 2021-07-02 | 国家基础地理信息中心 | 三维模型构建方法、装置和电子设备 |
| CN113220251A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113220251B (zh) * | 2021-05-18 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113538649A (zh) * | 2021-07-14 | 2021-10-22 | 深圳信息职业技术学院 | 一种超分辨率的三维纹理重建方法、装置及其设备 |
| CN113573079A (zh) * | 2021-09-23 | 2021-10-29 | 北京全心数字技术有限公司 | 一种自由视角直播方式的实现方法 |
| CN114264355A (zh) * | 2021-11-18 | 2022-04-01 | 河南讯飞智元信息科技有限公司 | 重量检测方法、装置、电子设备及存储介质 |
| CN114264355B (zh) * | 2021-11-18 | 2024-06-25 | 河南讯飞智元信息科技有限公司 | 重量检测方法、装置、电子设备及存储介质 |
| CN114511637A (zh) * | 2022-04-20 | 2022-05-17 | 湖南华城检测技术有限公司 | 一种基于构造强特征的弱特征物体图像三维重建***及方法 |
| CN114648614A (zh) * | 2022-05-24 | 2022-06-21 | 四川中绳矩阵技术发展有限公司 | 一种目标对象的三维重现方法及*** |
| CN115330936A (zh) * | 2022-08-02 | 2022-11-11 | 荣耀终端有限公司 | 合成三维图像的方法、装置及电子设备 |
| CN115330936B (zh) * | 2022-08-02 | 2024-07-12 | 荣耀终端有限公司 | 合成三维图像的方法、装置及电子设备 |
| CN115345923B (zh) * | 2022-10-19 | 2022-12-27 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
| CN115345923A (zh) * | 2022-10-19 | 2022-11-15 | 佛山科学技术学院 | 一种用于脑功能康复训练的虚拟场景三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598993B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| US10726580B2 (en) | Method and device for calibration | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| WO2014003081A1 (en) | Method for registering data | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、***及装置 | |
| CN114863037B (zh) | 基于单手机的人体三维建模数据采集与重建方法及*** | |
| CN114332415B (zh) | 基于多视角技术的输电线路廊道的三维重建方法及装置 | |
| CN111273772B (zh) | 基于slam测绘方法的增强现实交互方法、装置 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及*** | |
| da Silveira et al. | Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications | |
| WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
| CN107958489B (zh) | 一种曲面重建方法及装置 | |
| CN113436269B (zh) | 图像稠密立体匹配方法、装置和计算机设备 | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 | |
| CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN115937002B (zh) | 用于估算视频旋转的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area) Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd. Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |