CN107292954A - 一种三维模型与照片融合方法 - Google Patents

Abstract

本发明公开了一种三维模型与照片融合方法，属于图形图像处理领域，本发明首先拍摄建筑环境，并记录照片相机参数；然后制作建筑工程三维模型，并加载到三维场景中；接着设置三维场景中的虚拟相机参数，输出三维模型图像；最后混合三维模型图像与照片，得到混合图像。本发明可以精确提取出建设工程的形状轮廓；能较好的判断现实照片中各物体与建设工程的相对关系，解决手工操作空间关系不准确问题；本发明通过三维模型和现实照片的整合，能够开创性的应用在城市重大项目规划方案审查、建设工程未来形象展示、城乡规划和管理、地产商业宣传等领域。

Description

一种三维模型与照片融合方法

技术领域

本发明属于图形图像处理领域，特别是涉及一种三维模型与照片融合方法。

背景技术

一直以来，在建设工程领域，都是利用效果图对建设工程建行效果展示，使规划管理者、民众对建设工程的效果和影响有了初步的认识。但效果图存在工程形态不够精细、工程周边仅为示意性、不真实、效果图视角单一等问题。近年，三维仿真技术逐渐在建设工程方案展示中得到应用，通过建立工程方案的三维模型，并补充建设周边现状模型，实现对建设工程及周边的模拟展示。但随着近年城乡规划等管理工作的精细化管理要求，手工建设的三维模型存在的问题开始突显，主要包括三维模型与现实世界存在色彩差异较大、工程的纹理、材质表现与现实不一致、地面细节环境不真实等问题，从而导致建设工程在三维仿真场景中进行展示时，不能完全反映建设工程建成后的效果，导致工程实施效果达不到真正管理的目的。此外，三维仿真模型还存在两个问题，一是用于建设周边现状城市建模的费用也较高，一般可达到10余万元每平方公里，从而导致利用三维仿真开展建设工程方案审查成本高；二是三维仿真对计算机的计算性能、图形展示性能要求较大，难以在互联网，尤其是当前最为流行的移动互联网设备上进行展示，极大限制了其应用范围。

全景图像是利用一个地点覆盖周边360度及头顶、脚底的多张照片拼接形成的，可模拟一个观察者在该位置看到的前后左右及上下的真实世界，全景照片因制作成本低、效果真实、可在浏览器和移动端展示等特点，在城市展示、旅游宣传等领域得到了广泛的应用。全景图像利用照片制作，具有场景真实、色彩真实、细节丰富等特点，这些特点正好补足了三维仿真技术的问题。利用无人机等辅助工具，全景图像也能从地面、空间等多视角对城市进行展示，可解决建设工程效果图视角单一的问题。但照片和全景地图目前针对的都是现实场景，与建设工程的模型进行融合难度较大，因此难以在建设工程方案设计、审查阶段开展应用。

可见，利用现实照片的优势，可以很好的补充三维仿真技术中存在的问题，各自存在优缺点，将两者结合成为必须趋势。当前，将虚拟世界与现实世界进行整合的技术，一般叫做现实增强(Augmented Reality，简称AR)，可以实现将各种虚拟物体叠加到视频、照片中。由于通过摄像头、照片等获取的图像，图像中的各类物体不具备空间位置，因此，AR仅能做到将图像进行覆盖叠加，无法体现前、后关系，一般用于游戏、场景展示等工作中，难以应用到建设工程审查等需要进行精确空间关系表达的工程建设领域。也有部分效果图通过将建设工程的效果与现实照片进行整合，通过PhotoShop等图像处理软件进行人工合成，但一方面只能从图像中手工提取建设工程轮廓，容易造成轮廓部分缺失(过度剔除)、产生多余的非建设工程部分(过度保留)或产生多余空洞(误删除)等情况，工作量大，且影响最终合成效果；另一方面，由于没有空间定位，只能依靠人工判断现实中的物体与待建工程的空间位置关系，不仅工作量大，容易存在前后关系错乱的问题，并且现实物体和建设工程在体量(长、宽、高)上的关系也与实际情况不一致，

因此应用效果较差。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种效果更好的三维模型与照片融合方法。

为实现上述目的，本发明提供了一种三维模型与照片融合方法，其特征是按以下步骤进行：

步骤S1、记录建筑环境照片的相机参数；

步骤S2、制作建筑工程三维模型，并加载到三维场景中；

步骤S3、设置三维场景中的虚拟相机参数，输出三维模型图像；

步骤S4、混合三维模型图像与照片，得到混合图像。

较佳的，所述步骤S1按以下步骤进行：

步骤S11、选择M个照片拍摄地点；所述M为自然数且M≥1；

步骤S12、在各拍摄地点获取N个预设方位的照片Pi；所述N为自然数且N≥6，所述i＝1,2,3,...,N，所述为预设方位的方位角，所述θ_i为预设方位的俯仰角；

步骤S13、对拍摄的照片，记录每张照片的相机参数CameraParam{X，Y，Z，Ori，Pitch，Roll，F}

所述X、Y、Z表示相机坐标；Ori为相机方位，且0≤Ori<360；Pitch为相机俯仰角，且-90≤Pitch≤90；Roll为相机翻滚角，且-90≤Roll≤90；F为镜头焦距，为大于0的自然数。

较佳的，所述步骤S2按以下步骤进行：

步骤S21、制作建筑三维模型；

步骤S22、加载所述建筑三维模型。

较佳的，所示步骤S3包括：

S31、依次对每个照片拍摄地点M，选择一张建设工程待建位置居中的照片Pc；

S32、利用照片Pc对应的相机参数，设置三维场景中虚拟相机的参数，包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F；设置三维场景出图参数，使图像长度、宽度与照片Pc尺寸一致；

S33、输出建设工程三维模型图像IMGt；

S34、逐像素对图像Imgt的颜色进行统计，找出图像IMGt不包含的颜色C_n：

S341、构建一个数组ColorUsed{C₀,C₁,……,C_n}，用于保存获取每一像素的RGB颜色值，其中，C为自然数，n为图像的像素数；

S342、依次获取图像的每个像素i的RGB值{R_i,G_i,B_i}，计算其对应的自然数颜色C_i，存入ColorUsed中；

C_i＝R_i+G_i*256+B_i*65536；

所述R_i、G_i、B_i为8位RGB颜色的红、绿、蓝分量，0≤R_i≤255,0≤G_i≤255，0≤B_i≤255，0≤C_i≤16777215；

S343、对ColorUsed中的自然数，按从小到大进行排序；

S344、从0开始，寻找数组ColorUsed中第一个不存在的自然数m，0≤m≤16777215，并计算图像不包含的颜色C_n的RGB值C_n{R_n,G_n,B_n}，

S35、设置三维场景的背景颜色为C_n，再次输出建设工程三维模型的图像IMGc；

S36、选择与照片Pc位置上相邻的照片Pa，依照步骤S32至S35，利用照片Pa对应的相机参数设置相机位置和出图大小后，输出建设工程三维模型图像IMGa。

较佳的，如果数组ColorUsed包含了所有m的可能值，依次统计ColorUsed中每个值重复的次数，选取重复最少的一个值作为不使用的颜色m，再计算C_n；

较佳的，所述步骤S4按以下步骤执行：

S41、加载图像IMGc，提取图像中颜色值不为C_n的区域，该区域即为建设工程图像的轮廓Sketch；

S42、利用轮廓Sektch提取Pc中的部分图像Pcp；

S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front：

S431、依照步骤S41、S42，从图像IMGa中提取出建设工程图像轮廓Sketch_a，利用Sketch_a从照片Pa中提取出部分图像Pap；

S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法，进行特征点匹配，寻找两张照片中的同名点，得到同名点对FTI{(t_c1,t_a1),(t_c2,t_a2),……,(t_cn,t_an)}；其中，(t_cn,t_an)为第n对同名点，表示为(t_cn(x_cn,y_cn)，t_an(x_an,y_an))，x、y为同名点在图像中的坐标；同时按相同方法计算Pcp、Pap中的同名点对FTP{(t_p1,t_pa1),(t_p2,t_pa2),……,(t_pn,t_pan)}；

S433、根据IMGc、IMGa特征点匹配结果FTI，计算建设工程模型中最小同名点偏移量MVmin，计算得到偏移量；

S434、根据Pcp、Pap特征点匹配结果FTP，计算图像Pcp中各同名点的偏移量，并在图像Pcp上标注各同名点偏移量；

S435、根据pcp上各同名点偏移量，针对图像上同名点偏移量小于MVmin的物体，将该物体轮廓提取出来，将所有提取的部分图像保存为Pcp_front；

S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front，并合并得到混合后的照片Pf。

本发明一方面利用现实世界的照片来反映待建项目周边的真实环境，细节丰富、真实，尤其是建筑、景观的形态和颜色，与现实世界保持一致。另一方面，利用三维模型输出的图像来反映待建项目的形态和色彩。最后，通过图像融合，使模型能与真实世界的环境融为一体，并从多个视角真实反映项目建成后在现实世界中的真实效果。

较佳的，本发明还包括混合三维模型图像与照片得到混合图像的步骤：

S51、依次对每个照片拍摄地点M，利用混合后的照片Pf替换原照片Pc；

S52、加载所有照片，生成全景图像；

S53、发布全景图像。

本发明的有益效果是：本发明通过查找建筑模型图像不使用的颜色作为背景色，可以自动、完全、精确提取出建设工程的形状轮廓；通过使用与真实相机一致的虚拟相机参数输出建设工程模型图像，使现实照片与建设工程模型在图像中的体量关系正确、透视一致；基于特征点匹配技术，比较相邻两张照片中同名点的位移关系，可以较好的判断现实照片中各物体与建设工程的相对关系，解决手工操作空间关系不准确问题；利用全景图像技术，不仅可以从地面上某个视点对建设工程进行观察，还可以从空中等多个角度，全方面反映建设工程效果；最后，成果还可以全面应用在互联网、移动端等展示渠道中。本发明通过三维模型和现实照片的整合，能够开创性的应用在城市重大项目规划方案审查、建设工程未来形象展示、城乡规划和管理、地产商业宣传等领域。

附图说明

图1是本发明一具体实施方式的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，一种三维模型与照片融合方法，按以下步骤进行：

步骤S1、现场拍摄建筑周边环境，并记录照片相机参数；

步骤S2、制作建筑工程三维模型，并加载到三维场景中；

步骤S3、设置三维场景中的虚拟相机参数，输出三维模型图像；

步骤S4、混合三维模型图像与照片，得到混合图像；

步骤S5、利用混合图像与其他照片，生产全景图像。

本实施例中，所述步骤S1按以下步骤进行：

步骤S11、根据建设工程效果展示需要，选择M个照片拍摄地点；所述M为自然数且M≥1；

为更好展示建设工程效果，所述拍摄地点，有可能在地面，也有可能在空中。一般情况下，地面拍摄地点应选择具有代表性的位置，如主干道、城市广场、观景台等。无论从地面或空中拍摄，拍摄地点应根据建设工程的占地范围、高度等，选择适当的拍摄距离或相机镜头焦距，以保证后续融合后，建设工程模型完全包含在照片中。

步骤S12、在各拍摄地点获取N个预设方位的照片Pi；所述N为自然数且N≥6，所述i＝1,2,3,...,N，所述为预设方位的方位角，所述θ_i为预设方位的俯仰角；

步骤S13、对拍摄的照片，记录每张照片的相机参数CameraParam；

CameraParam{X，Y，Z，Ori，Pitch，Roll，F}

所述X、Y、Z表示相机坐标；Ori为相机方位，且0≤Ori<360；Pitch为相机俯仰角，且-90≤Pitch≤90；Roll为相机翻滚角，且-90≤Roll≤90；F为镜头焦距，为大于0的自然数。

本实施例中，所述步骤S2按以下步骤进行：

步骤S21、通过3Ds Max制作建筑三维模型，当然在其他实施例中也可以采用其它三维模型制作软件；

步骤S22、利用三维模型浏览软件，加载所述建筑三维模型。

本实施例中，所示步骤S3包括：

S31、依次对每个照片拍摄地点M，选择一张建设工程待建位置居中的照片Pc；

S32、利用照片Pc对应的相机参数，将三维场景中虚拟相机的参数设置成与照片一致，虚拟相机的参数包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F；设置三维场景出图参数，使其图像长度、宽度与照片Pc尺寸一致；

S33、输出1张建设工程三维模型图像IMGt；

S34、逐像素对图像Imgt的颜色进行统计，找出图像IMGt不包含的颜色C_n：

S341、构建一个数组ColorUsed{C₀,C₁,……,C_n}，用于保存获取每一像素的RGB颜色值，其中，C为自然数，n为图像的像素数；

S342、依次获取图像的每个像素i的RGB值{R_i,G_i,B_i}，计算其对应的自然数颜色C_i，存入ColorUsed中；

C_i＝R_i+G_i*256+B_i*65536；

所述R_i、G_i、B_i为8位RGB颜色的红、绿、蓝分量，0≤R_i≤255,0≤G_i≤255，0≤B_i≤255，0≤C_i≤16777215；

S343、对ColorUsed中的自然数，按从小到大进行排序；

S344、从0开始，寻找数组ColorUsed中第一个不存在的自然数m，0≤m≤16777215，并计算图像不包含的颜色C_n的RGB值C_n{R_n,G_n,B_n}，

所述(int)表示对数值向下取整；

S345、如果数组ColorUsed包含了所有m的可能值，依次统计ColorUsed中每个值重复的次数，选取重复最少的一个值作为不使用的颜色m，再依据上述公式计算C_n；

S35、设置三维场景的背景颜色为C_n，再次输出1张建设工程三维模型的图像IMGc；

S36、选择与照片Pc位置上相邻的照片Pa，Pa与Pc为不同位置，依照步骤S32至S35，利用照片Pa对应的相机参数设置相机位置和出图大小后，输出一张建设工程三维模型图像IMGa。

本实施例中，所述步骤S4按以下步骤执行：

S41、在图像处理软件中，加载图像IMGc，提取图像中颜色值不为C_n的区域，该区域即为建设工程图像的轮廓Sketch；

S42、利用轮廓Sektch提取Pc中的部分图像Pcp；

S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front：

S431、依照步骤S41、S42，从图像IMGa中提取出建设工程图像轮廓Sketch_a，利用Sketch_a从照片Pa中提取出部分图像Pap；

S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法，进行特征点匹配，寻找两张照片中的同名点(即SHIF的匹配点)，得到同名点对FTI{(t_c1,t_a1),(t_c2,t_a2),……,(t_cn,t_an)}；其中，(t_cn,t_an)为第n对同名点，表示为(t_cn(x_cn,y_cn)，t_an(x_an,y_an))，x、y为同名点在图像中的坐标；同时按相同方法计算Pcp、Pap中的同名点对FTP{(t_p1,t_pa1),(t_p2,t_pa2),……,(t_pn,t_pan)}；

S433、根据IMGc、IMGa特征点匹配结果FTI，计算建设工程模型中最小同名点偏移量MVmin，计算得到偏移量；

S434、根据Pcp、Pap特征点匹配结果FTP，计算图像Pcp中各同名点的偏移量，并在图像Pcp上标注各同名点偏移量；

S435、根据pcp上各同名点偏移量，针对图像上同名点偏移量小于MVmin的物体，利用图像处理软件的选择工具，将该物体轮廓提取出来，将所有提取的部分图像保存为Pcp_front。在其他实施例中，为了保证需要保留在前景的物体都能找到同名点，可以适当放宽SHIF特征点匹配工程同的匹配精度，以得到更多同名点。

S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front，并合并得到混合后的照片Pf。

本实施例中，还包括混合三维模型图像与照片得到混合图像的步骤：

S51、依次对每个照片拍摄地点M，利用混合后的照片Pf替换原照片Pc；

S52、利用全景图像生成软件，加载所有照片，生成全景图像；

S53、利用现有的全景图像发布***发布全景图像，或利用WebGL技术开发全景发布***进行全景图像发布。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种三维模型与照片融合方法，其特征是按以下步骤进行：

步骤S1、记录建筑环境照片的相机参数；

步骤S2、制作建筑工程三维模型，并加载到三维场景中；

步骤S3、设置三维场景中的虚拟相机参数，输出三维模型图像；

步骤S4、混合三维模型图像与照片，得到混合图像。

2.如权利要求1所述的一种三维模型与照片融合方法，其特征是：所述步骤S1按以下步骤进行：

步骤S11、选择M个照片拍摄地点；所述M为自然数且M≥1；

步骤S12、在各拍摄地点获取N个预设方位的照片Pi；所述N为自然数且N≥6，所述i＝1,2,3,...,N，所述为预设方位的方位角，所述θ_i为预设方位的俯仰角；

步骤S13、对拍摄的照片，记录每张照片的相机参数CameraParam{X，Y，Z，Ori，Pitch，Roll，F}

所述X、Y、Z表示相机位置坐标；Ori为相机方位，且0≤Ori<360；Pitch为相机俯仰角，且-90≤Pitch≤90；Roll为相机翻滚角，且-90≤Roll≤90；F为镜头焦距，为大于0的自然数。

3.如权利要求1所述的一种三维模型与照片融合方法，其特征是：所述步骤S2按以下步骤进行：

步骤S21、制作建筑三维模型；

步骤S22、加载所述建筑三维模型。

4.如权利要求3所述的一种三维模型与照片融合方法，其特征是：所示步骤S3包括：

S31、依次对每个照片拍摄地点M，选择一张建设工程待建位置居中的照片Pc；

S32、利用照片Pc对应的相机参数，设置三维场景中虚拟相机的参数，包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F；设置三维场景出图参数，使图像长度、宽度与照片Pc尺寸一致；

S33、输出建设工程三维模型图像IMGt；

S34、逐像素对图像Imgt的颜色进行统计，找出图像IMGt不包含的颜色C_n：

S341、构建一个数组ColorUsed{C₀,C₁,……,C_n}，用于保存获取每一像素的RGB颜色值，其中，C为自然数，n为图像的像素数；

S342、依次获取图像的每个像素i的RGB值{R_i,G_i,B_i}，计算其对应的自然数颜色C_i，存入ColorUsed中；

C_i＝R_i+G_i*256+B_i*65536；

所述R_i、G_i、B_i为8位RGB颜色的红、绿、蓝分量，0≤R_i≤255,0≤G_i≤255，0≤B_i≤255，0≤C_i≤16777215；

S343、对ColorUsed中的自然数，按从小到大进行排序；

S344、从0开始，寻找数组ColorUsed中第一个不存在的自然数m，0≤m≤16777215，并计算图像不包含的颜色C_n的RGB值C_n{R_n,G_n,B_n}，

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>B</mi> <mi>n</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>int</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mfrac> <mi>m</mi> <mn>65536</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>G</mi> <mi>n</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>int</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>m</mi> <mo>-</mo> <mi>B</mi> <mi>n</mi> <mo>*</mo> <mn>65536</mn> </mrow> <mn>256</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mi>n</mi> <mo>=</mo> <mi>m</mi> <mo>-</mo> <mi>B</mi> <mi>n</mi> <mo>*</mo> <mn>65536</mn> <mo>-</mo> <mi>G</mi> <mi>n</mi> <mo>*</mo> <mn>256</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

S35、设置三维场景的背景颜色为C_n，再次输出建设工程三维模型的图像IMGc；

S36、选择与照片Pc位置上相邻的照片Pa，依照步骤S32至S35，利用照片Pa对应的相机参数设置相机位置和出图大小后，输出建设工程三维模型图像IMGa。

5.如权利要求4所述的一种三维模型与照片融合方法，其特征是：所述步骤S34中，当数组ColorUsed包含了所有m的可能值时，依次统计ColorUsed中每个值重复的次数，选取重复最少的一个值作为不使用的颜色m，再计算C_n。

6.如权利要求1所述的一种三维模型与照片融合方法，其特征是：所述步骤S4按以下步骤执行：

S41、加载图像IMGc，提取图像中颜色值不为C_n的区域，该区域即为建设工程图像的轮廓Sketch；

S42、利用轮廓Sektch提取Pc中的部分图像Pcp；

S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front：

S431、依照步骤S41、S42，从图像IMGa中提取出建设工程图像轮廓Sketch_a，利用Sketch_a从照片Pa中提取出部分图像Pap；

S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法，进行特征点匹配，寻找两张照片中的同名点，得到同名点对FTI{(t_c1,t_a1),(t_c2,t_a2),……,(t_cn,t_an)}；其中，(t_cn,t_an)为第n对同名点，表示为(t_cn(x_cn,y_cn)，t_an(x_an,y_an))，x、y为同名点在图像中的坐标；同时按相同方法计算Pcp、Pap中的同名点对FTP{(t_p1,t_pa1),(t_p2,t_pa2),……,(t_pn,t_pan)}；

S433、根据IMGc、IMGa特征点匹配结果FTI，计算建设工程模型中最小同名点偏移量MVmin，计算得到偏移量；

S434、根据Pcp、Pap特征点匹配结果FTP，计算图像Pcp中各同名点的偏移量，并在图像Pcp上标注各同名点偏移量；

S435、根据pcp上各同名点偏移量，针对图像上同名点偏移量小于MVmin的物体，将该物体轮廓提取出来，将所有提取的部分图像保存为Pcp_front；

S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front，并合并得到混合后的照片Pf。

7.如权利要求1所述的一种三维模型与照片融合方法，其特征是：还包括混合三维模型图像与照片得到混合图像的步骤：

S51、依次对每个照片拍摄地点M，利用混合后的照片Pf替换原照片Pc；

S52、加载所有照片，生成全景图像；

S53、发布全景图像。