CN107292954A - 一种三维模型与照片融合方法 - Google Patents
一种三维模型与照片融合方法 Download PDFInfo
- Publication number
- CN107292954A CN107292954A CN201710497027.XA CN201710497027A CN107292954A CN 107292954 A CN107292954 A CN 107292954A CN 201710497027 A CN201710497027 A CN 201710497027A CN 107292954 A CN107292954 A CN 107292954A
- Authority
- CN
- China
- Prior art keywords
- photo
- image
- threedimensional model
- mrow
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 58
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 4
- 238000013439 planning Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 15
- 238000004088 simulation Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维模型与照片融合方法,属于图形图像处理领域,本发明首先拍摄建筑环境,并记录照片相机参数;然后制作建筑工程三维模型,并加载到三维场景中;接着设置三维场景中的虚拟相机参数,输出三维模型图像;最后混合三维模型图像与照片,得到混合图像。本发明可以精确提取出建设工程的形状轮廓;能较好的判断现实照片中各物体与建设工程的相对关系,解决手工操作空间关系不准确问题;本发明通过三维模型和现实照片的整合,能够开创性的应用在城市重大项目规划方案审查、建设工程未来形象展示、城乡规划和管理、地产商业宣传等领域。
Description
技术领域
本发明属于图形图像处理领域,特别是涉及一种三维模型与照片融合方法。
背景技术
一直以来,在建设工程领域,都是利用效果图对建设工程建行效果展示,使规划管理者、民众对建设工程的效果和影响有了初步的认识。但效果图存在工程形态不够精细、工程周边仅为示意性、不真实、效果图视角单一等问题。近年,三维仿真技术逐渐在建设工程方案展示中得到应用,通过建立工程方案的三维模型,并补充建设周边现状模型,实现对建设工程及周边的模拟展示。但随着近年城乡规划等管理工作的精细化管理要求,手工建设的三维模型存在的问题开始突显,主要包括三维模型与现实世界存在色彩差异较大、工程的纹理、材质表现与现实不一致、地面细节环境不真实等问题,从而导致建设工程在三维仿真场景中进行展示时,不能完全反映建设工程建成后的效果,导致工程实施效果达不到真正管理的目的。此外,三维仿真模型还存在两个问题,一是用于建设周边现状城市建模的费用也较高,一般可达到10余万元每平方公里,从而导致利用三维仿真开展建设工程方案审查成本高;二是三维仿真对计算机的计算性能、图形展示性能要求较大,难以在互联网,尤其是当前最为流行的移动互联网设备上进行展示,极大限制了其应用范围。
全景图像是利用一个地点覆盖周边360度及头顶、脚底的多张照片拼接形成的,可模拟一个观察者在该位置看到的前后左右及上下的真实世界,全景照片因制作成本低、效果真实、可在浏览器和移动端展示等特点,在城市展示、旅游宣传等领域得到了广泛的应用。全景图像利用照片制作,具有场景真实、色彩真实、细节丰富等特点,这些特点正好补足了三维仿真技术的问题。利用无人机等辅助工具,全景图像也能从地面、空间等多视角对城市进行展示,可解决建设工程效果图视角单一的问题。但照片和全景地图目前针对的都是现实场景,与建设工程的模型进行融合难度较大,因此难以在建设工程方案设计、审查阶段开展应用。
可见,利用现实照片的优势,可以很好的补充三维仿真技术中存在的问题,各自存在优缺点,将两者结合成为必须趋势。当前,将虚拟世界与现实世界进行整合的技术,一般叫做现实增强(Augmented Reality,简称AR),可以实现将各种虚拟物体叠加到视频、照片中。由于通过摄像头、照片等获取的图像,图像中的各类物体不具备空间位置,因此,AR仅能做到将图像进行覆盖叠加,无法体现前、后关系,一般用于游戏、场景展示等工作中,难以应用到建设工程审查等需要进行精确空间关系表达的工程建设领域。也有部分效果图通过将建设工程的效果与现实照片进行整合,通过PhotoShop等图像处理软件进行人工合成,但一方面只能从图像中手工提取建设工程轮廓,容易造成轮廓部分缺失(过度剔除)、产生多余的非建设工程部分(过度保留)或产生多余空洞(误删除)等情况,工作量大,且影响最终合成效果;另一方面,由于没有空间定位,只能依靠人工判断现实中的物体与待建工程的空间位置关系,不仅工作量大,容易存在前后关系错乱的问题,并且现实物体和建设工程在体量(长、宽、高)上的关系也与实际情况不一致,
因此应用效果较差。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种效果更好的三维模型与照片融合方法。
为实现上述目的,本发明提供了一种三维模型与照片融合方法,其特征是按以下步骤进行:
步骤S1、记录建筑环境照片的相机参数;
步骤S2、制作建筑工程三维模型,并加载到三维场景中;
步骤S3、设置三维场景中的虚拟相机参数,输出三维模型图像;
步骤S4、混合三维模型图像与照片,得到混合图像。
较佳的,所述步骤S1按以下步骤进行:
步骤S11、选择M个照片拍摄地点;所述M为自然数且M≥1;
步骤S12、在各拍摄地点获取N个预设方位的照片Pi;所述N为自然数且N≥6,所述i=1,2,3,...,N,所述为预设方位的方位角,所述θi为预设方位的俯仰角;
步骤S13、对拍摄的照片,记录每张照片的相机参数CameraParam{X,Y,Z,Ori,Pitch,Roll,F}
所述X、Y、Z表示相机坐标;Ori为相机方位,且0≤Ori<360;Pitch为相机俯仰角,且-90≤Pitch≤90;Roll为相机翻滚角,且-90≤Roll≤90;F为镜头焦距,为大于0的自然数。
较佳的,所述步骤S2按以下步骤进行:
步骤S21、制作建筑三维模型;
步骤S22、加载所述建筑三维模型。
较佳的,所示步骤S3包括:
S31、依次对每个照片拍摄地点M,选择一张建设工程待建位置居中的照片Pc;
S32、利用照片Pc对应的相机参数,设置三维场景中虚拟相机的参数,包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F;设置三维场景出图参数,使图像长度、宽度与照片Pc尺寸一致;
S33、输出建设工程三维模型图像IMGt;
S34、逐像素对图像Imgt的颜色进行统计,找出图像IMGt不包含的颜色Cn:
S341、构建一个数组ColorUsed{C0,C1,……,Cn},用于保存获取每一像素的RGB颜色值,其中,C为自然数,n为图像的像素数;
S342、依次获取图像的每个像素i的RGB值{Ri,Gi,Bi},计算其对应的自然数颜色Ci,存入ColorUsed中;
Ci=Ri+Gi*256+Bi*65536;
所述Ri、Gi、Bi为8位RGB颜色的红、绿、蓝分量,0≤Ri≤255,0≤Gi≤255,0≤Bi≤255,0≤Ci≤16777215;
S343、对ColorUsed中的自然数,按从小到大进行排序;
S344、从0开始,寻找数组ColorUsed中第一个不存在的自然数m,0≤m≤16777215,并计算图像不包含的颜色Cn的RGB值Cn{Rn,Gn,Bn},
S35、设置三维场景的背景颜色为Cn,再次输出建设工程三维模型的图像IMGc;
S36、选择与照片Pc位置上相邻的照片Pa,依照步骤S32至S35,利用照片Pa对应的相机参数设置相机位置和出图大小后,输出建设工程三维模型图像IMGa。
较佳的,如果数组ColorUsed包含了所有m的可能值,依次统计ColorUsed中每个值重复的次数,选取重复最少的一个值作为不使用的颜色m,再计算Cn;
较佳的,所述步骤S4按以下步骤执行:
S41、加载图像IMGc,提取图像中颜色值不为Cn的区域,该区域即为建设工程图像的轮廓Sketch;
S42、利用轮廓Sektch提取Pc中的部分图像Pcp;
S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front:
S431、依照步骤S41、S42,从图像IMGa中提取出建设工程图像轮廓Sketch_a,利用Sketch_a从照片Pa中提取出部分图像Pap;
S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法,进行特征点匹配,寻找两张照片中的同名点,得到同名点对FTI{(tc1,ta1),(tc2,ta2),……,(tcn,tan)};其中,(tcn,tan)为第n对同名点,表示为(tcn(xcn,ycn),tan(xan,yan)),x、y为同名点在图像中的坐标;同时按相同方法计算Pcp、Pap中的同名点对FTP{(tp1,tpa1),(tp2,tpa2),……,(tpn,tpan)};
S433、根据IMGc、IMGa特征点匹配结果FTI,计算建设工程模型中最小同名点偏移量MVmin,计算得到偏移量;
S434、根据Pcp、Pap特征点匹配结果FTP,计算图像Pcp中各同名点的偏移量,并在图像Pcp上标注各同名点偏移量;
S435、根据pcp上各同名点偏移量,针对图像上同名点偏移量小于MVmin的物体,将该物体轮廓提取出来,将所有提取的部分图像保存为Pcp_front;
S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front,并合并得到混合后的照片Pf。
本发明一方面利用现实世界的照片来反映待建项目周边的真实环境,细节丰富、真实,尤其是建筑、景观的形态和颜色,与现实世界保持一致。另一方面,利用三维模型输出的图像来反映待建项目的形态和色彩。最后,通过图像融合,使模型能与真实世界的环境融为一体,并从多个视角真实反映项目建成后在现实世界中的真实效果。
较佳的,本发明还包括混合三维模型图像与照片得到混合图像的步骤:
S51、依次对每个照片拍摄地点M,利用混合后的照片Pf替换原照片Pc;
S52、加载所有照片,生成全景图像;
S53、发布全景图像。
本发明的有益效果是:本发明通过查找建筑模型图像不使用的颜色作为背景色,可以自动、完全、精确提取出建设工程的形状轮廓;通过使用与真实相机一致的虚拟相机参数输出建设工程模型图像,使现实照片与建设工程模型在图像中的体量关系正确、透视一致;基于特征点匹配技术,比较相邻两张照片中同名点的位移关系,可以较好的判断现实照片中各物体与建设工程的相对关系,解决手工操作空间关系不准确问题;利用全景图像技术,不仅可以从地面上某个视点对建设工程进行观察,还可以从空中等多个角度,全方面反映建设工程效果;最后,成果还可以全面应用在互联网、移动端等展示渠道中。本发明通过三维模型和现实照片的整合,能够开创性的应用在城市重大项目规划方案审查、建设工程未来形象展示、城乡规划和管理、地产商业宣传等领域。
附图说明
图1是本发明一具体实施方式的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
如图1所示,一种三维模型与照片融合方法,按以下步骤进行:
步骤S1、现场拍摄建筑周边环境,并记录照片相机参数;
步骤S2、制作建筑工程三维模型,并加载到三维场景中;
步骤S3、设置三维场景中的虚拟相机参数,输出三维模型图像;
步骤S4、混合三维模型图像与照片,得到混合图像;
步骤S5、利用混合图像与其他照片,生产全景图像。
本实施例中,所述步骤S1按以下步骤进行:
步骤S11、根据建设工程效果展示需要,选择M个照片拍摄地点;所述M为自然数且M≥1;
为更好展示建设工程效果,所述拍摄地点,有可能在地面,也有可能在空中。一般情况下,地面拍摄地点应选择具有代表性的位置,如主干道、城市广场、观景台等。无论从地面或空中拍摄,拍摄地点应根据建设工程的占地范围、高度等,选择适当的拍摄距离或相机镜头焦距,以保证后续融合后,建设工程模型完全包含在照片中。
步骤S12、在各拍摄地点获取N个预设方位的照片Pi;所述N为自然数且N≥6,所述i=1,2,3,...,N,所述为预设方位的方位角,所述θi为预设方位的俯仰角;
步骤S13、对拍摄的照片,记录每张照片的相机参数CameraParam;
CameraParam{X,Y,Z,Ori,Pitch,Roll,F}
所述X、Y、Z表示相机坐标;Ori为相机方位,且0≤Ori<360;Pitch为相机俯仰角,且-90≤Pitch≤90;Roll为相机翻滚角,且-90≤Roll≤90;F为镜头焦距,为大于0的自然数。
本实施例中,所述步骤S2按以下步骤进行:
步骤S21、通过3Ds Max制作建筑三维模型,当然在其他实施例中也可以采用其它三维模型制作软件;
步骤S22、利用三维模型浏览软件,加载所述建筑三维模型。
本实施例中,所示步骤S3包括:
S31、依次对每个照片拍摄地点M,选择一张建设工程待建位置居中的照片Pc;
S32、利用照片Pc对应的相机参数,将三维场景中虚拟相机的参数设置成与照片一致,虚拟相机的参数包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F;设置三维场景出图参数,使其图像长度、宽度与照片Pc尺寸一致;
S33、输出1张建设工程三维模型图像IMGt;
S34、逐像素对图像Imgt的颜色进行统计,找出图像IMGt不包含的颜色Cn:
S341、构建一个数组ColorUsed{C0,C1,……,Cn},用于保存获取每一像素的RGB颜色值,其中,C为自然数,n为图像的像素数;
S342、依次获取图像的每个像素i的RGB值{Ri,Gi,Bi},计算其对应的自然数颜色Ci,存入ColorUsed中;
Ci=Ri+Gi*256+Bi*65536;
所述Ri、Gi、Bi为8位RGB颜色的红、绿、蓝分量,0≤Ri≤255,0≤Gi≤255,0≤Bi≤255,0≤Ci≤16777215;
S343、对ColorUsed中的自然数,按从小到大进行排序;
S344、从0开始,寻找数组ColorUsed中第一个不存在的自然数m,0≤m≤16777215,并计算图像不包含的颜色Cn的RGB值Cn{Rn,Gn,Bn},
所述(int)表示对数值向下取整;
S345、如果数组ColorUsed包含了所有m的可能值,依次统计ColorUsed中每个值重复的次数,选取重复最少的一个值作为不使用的颜色m,再依据上述公式计算Cn;
S35、设置三维场景的背景颜色为Cn,再次输出1张建设工程三维模型的图像IMGc;
S36、选择与照片Pc位置上相邻的照片Pa,Pa与Pc为不同位置,依照步骤S32至S35,利用照片Pa对应的相机参数设置相机位置和出图大小后,输出一张建设工程三维模型图像IMGa。
本实施例中,所述步骤S4按以下步骤执行:
S41、在图像处理软件中,加载图像IMGc,提取图像中颜色值不为Cn的区域,该区域即为建设工程图像的轮廓Sketch;
S42、利用轮廓Sektch提取Pc中的部分图像Pcp;
S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front:
S431、依照步骤S41、S42,从图像IMGa中提取出建设工程图像轮廓Sketch_a,利用Sketch_a从照片Pa中提取出部分图像Pap;
S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法,进行特征点匹配,寻找两张照片中的同名点(即SHIF的匹配点),得到同名点对FTI{(tc1,ta1),(tc2,ta2),……,(tcn,tan)};其中,(tcn,tan)为第n对同名点,表示为(tcn(xcn,ycn),tan(xan,yan)),x、y为同名点在图像中的坐标;同时按相同方法计算Pcp、Pap中的同名点对FTP{(tp1,tpa1),(tp2,tpa2),……,(tpn,tpan)};
S433、根据IMGc、IMGa特征点匹配结果FTI,计算建设工程模型中最小同名点偏移量MVmin,计算得到偏移量;
S434、根据Pcp、Pap特征点匹配结果FTP,计算图像Pcp中各同名点的偏移量,并在图像Pcp上标注各同名点偏移量;
S435、根据pcp上各同名点偏移量,针对图像上同名点偏移量小于MVmin的物体,利用图像处理软件的选择工具,将该物体轮廓提取出来,将所有提取的部分图像保存为Pcp_front。在其他实施例中,为了保证需要保留在前景的物体都能找到同名点,可以适当放宽SHIF特征点匹配工程同的匹配精度,以得到更多同名点。
S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front,并合并得到混合后的照片Pf。
本实施例中,还包括混合三维模型图像与照片得到混合图像的步骤:
S51、依次对每个照片拍摄地点M,利用混合后的照片Pf替换原照片Pc;
S52、利用全景图像生成软件,加载所有照片,生成全景图像;
S53、利用现有的全景图像发布***发布全景图像,或利用WebGL技术开发全景发布***进行全景图像发布。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (7)
1.一种三维模型与照片融合方法,其特征是按以下步骤进行:
步骤S1、记录建筑环境照片的相机参数;
步骤S2、制作建筑工程三维模型,并加载到三维场景中;
步骤S3、设置三维场景中的虚拟相机参数,输出三维模型图像;
步骤S4、混合三维模型图像与照片,得到混合图像。
2.如权利要求1所述的一种三维模型与照片融合方法,其特征是:所述步骤S1按以下步骤进行:
步骤S11、选择M个照片拍摄地点;所述M为自然数且M≥1;
步骤S12、在各拍摄地点获取N个预设方位的照片Pi;所述N为自然数且N≥6,所述i=1,2,3,...,N,所述为预设方位的方位角,所述θi为预设方位的俯仰角;
步骤S13、对拍摄的照片,记录每张照片的相机参数CameraParam{X,Y,Z,Ori,Pitch,Roll,F}
所述X、Y、Z表示相机位置坐标;Ori为相机方位,且0≤Ori<360;Pitch为相机俯仰角,且-90≤Pitch≤90;Roll为相机翻滚角,且-90≤Roll≤90;F为镜头焦距,为大于0的自然数。
3.如权利要求1所述的一种三维模型与照片融合方法,其特征是:所述步骤S2按以下步骤进行:
步骤S21、制作建筑三维模型;
步骤S22、加载所述建筑三维模型。
4.如权利要求3所述的一种三维模型与照片融合方法,其特征是:所示步骤S3包括:
S31、依次对每个照片拍摄地点M,选择一张建设工程待建位置居中的照片Pc;
S32、利用照片Pc对应的相机参数,设置三维场景中虚拟相机的参数,包括位置X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F;设置三维场景出图参数,使图像长度、宽度与照片Pc尺寸一致;
S33、输出建设工程三维模型图像IMGt;
S34、逐像素对图像Imgt的颜色进行统计,找出图像IMGt不包含的颜色Cn:
S341、构建一个数组ColorUsed{C0,C1,……,Cn},用于保存获取每一像素的RGB颜色值,其中,C为自然数,n为图像的像素数;
S342、依次获取图像的每个像素i的RGB值{Ri,Gi,Bi},计算其对应的自然数颜色Ci,存入ColorUsed中;
Ci=Ri+Gi*256+Bi*65536;
所述Ri、Gi、Bi为8位RGB颜色的红、绿、蓝分量,0≤Ri≤255,0≤Gi≤255,0≤Bi≤255,0≤Ci≤16777215;
S343、对ColorUsed中的自然数,按从小到大进行排序;
S344、从0开始,寻找数组ColorUsed中第一个不存在的自然数m,0≤m≤16777215,并计算图像不包含的颜色Cn的RGB值Cn{Rn,Gn,Bn},
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>B</mi>
<mi>n</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>int</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mfrac>
<mi>m</mi>
<mn>65536</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<mi>n</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>int</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>m</mi>
<mo>-</mo>
<mi>B</mi>
<mi>n</mi>
<mo>*</mo>
<mn>65536</mn>
</mrow>
<mn>256</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>R</mi>
<mi>n</mi>
<mo>=</mo>
<mi>m</mi>
<mo>-</mo>
<mi>B</mi>
<mi>n</mi>
<mo>*</mo>
<mn>65536</mn>
<mo>-</mo>
<mi>G</mi>
<mi>n</mi>
<mo>*</mo>
<mn>256</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
S35、设置三维场景的背景颜色为Cn,再次输出建设工程三维模型的图像IMGc;
S36、选择与照片Pc位置上相邻的照片Pa,依照步骤S32至S35,利用照片Pa对应的相机参数设置相机位置和出图大小后,输出建设工程三维模型图像IMGa。
5.如权利要求4所述的一种三维模型与照片融合方法,其特征是:所述步骤S34中,当数组ColorUsed包含了所有m的可能值时,依次统计ColorUsed中每个值重复的次数,选取重复最少的一个值作为不使用的颜色m,再计算Cn。
6.如权利要求1所述的一种三维模型与照片融合方法,其特征是:所述步骤S4按以下步骤执行:
S41、加载图像IMGc,提取图像中颜色值不为Cn的区域,该区域即为建设工程图像的轮廓Sketch;
S42、利用轮廓Sektch提取Pc中的部分图像Pcp;
S43、提取图像Pcp中位于建设工程轮廓Sketch前方的部分Pcp_front:
S431、依照步骤S41、S42,从图像IMGa中提取出建设工程图像轮廓Sketch_a,利用Sketch_a从照片Pa中提取出部分图像Pap;
S432、针对图像IMGc、IMGa利用SHIF特征点匹配算法,进行特征点匹配,寻找两张照片中的同名点,得到同名点对FTI{(tc1,ta1),(tc2,ta2),……,(tcn,tan)};其中,(tcn,tan)为第n对同名点,表示为(tcn(xcn,ycn),tan(xan,yan)),x、y为同名点在图像中的坐标;同时按相同方法计算Pcp、Pap中的同名点对FTP{(tp1,tpa1),(tp2,tpa2),……,(tpn,tpan)};
S433、根据IMGc、IMGa特征点匹配结果FTI,计算建设工程模型中最小同名点偏移量MVmin,计算得到偏移量;
S434、根据Pcp、Pap特征点匹配结果FTP,计算图像Pcp中各同名点的偏移量,并在图像Pcp上标注各同名点偏移量;
S435、根据pcp上各同名点偏移量,针对图像上同名点偏移量小于MVmin的物体,将该物体轮廓提取出来,将所有提取的部分图像保存为Pcp_front;
S44、按从下到上的次序依次叠加Pc、Sketch和Pcp_front,并合并得到混合后的照片Pf。
7.如权利要求1所述的一种三维模型与照片融合方法,其特征是:还包括混合三维模型图像与照片得到混合图像的步骤:
S51、依次对每个照片拍摄地点M,利用混合后的照片Pf替换原照片Pc;
S52、加载所有照片,生成全景图像;
S53、发布全景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710497027.XA CN107292954B (zh) | 2017-06-21 | 2017-06-21 | 一种三维模型与照片融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710497027.XA CN107292954B (zh) | 2017-06-21 | 2017-06-21 | 一种三维模型与照片融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292954A true CN107292954A (zh) | 2017-10-24 |
CN107292954B CN107292954B (zh) | 2020-12-15 |
Family
ID=60098523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710497027.XA Active CN107292954B (zh) | 2017-06-21 | 2017-06-21 | 一种三维模型与照片融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292954B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
CN111210514A (zh) * | 2019-10-31 | 2020-05-29 | 浙江中测新图地理信息技术有限公司 | 一种将照片批量融合到三维场景中的方法 |
CN112581618A (zh) * | 2020-12-23 | 2021-03-30 | 深圳前海贾维斯数据咨询有限公司 | 建筑工程行业的三维建筑模型与实景比对方法及*** |
CN112905731A (zh) * | 2021-03-29 | 2021-06-04 | 中国电建集团昆明勘测设计研究院有限公司 | 一种imu-gps辅助的360°全景照片与三维gis场景的联动方法 |
CN113469868A (zh) * | 2021-07-16 | 2021-10-01 | 重庆市勘测院 | 一种基于结构变化的实景三维模型数字水印添加方法 |
CN115620154A (zh) * | 2022-12-19 | 2023-01-17 | 江苏星湖科技有限公司 | 一种全景地图叠加替换方法、*** |
CN116012564A (zh) * | 2023-01-17 | 2023-04-25 | 宁波艾腾湃智能科技有限公司 | 一种三维模型与实景照片智能融合的设备与方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605211A (zh) * | 2009-07-23 | 2009-12-16 | 杭州镭星科技有限公司 | 将虚拟三维建筑与现实环境实拍视频无缝合成的方法 |
JP2012185772A (ja) * | 2011-03-08 | 2012-09-27 | Kddi Corp | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム |
CN103500465A (zh) * | 2013-09-13 | 2014-01-08 | 西安工程大学 | 基于增强现实技术的古代文物场景快速渲染方法 |
CN104484327A (zh) * | 2014-10-09 | 2015-04-01 | 上海杰图天下网络科技有限公司 | 一种项目工程的环境展示方法 |
CN106683183A (zh) * | 2017-01-04 | 2017-05-17 | 重庆市勘测院 | 一种建设工程模型在线三维可视化方法 |
CN106846446A (zh) * | 2017-01-24 | 2017-06-13 | 南宁市勘察测绘地理信息院 | 一种真实环境下建筑效果图制作方法 |
-
2017
- 2017-06-21 CN CN201710497027.XA patent/CN107292954B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605211A (zh) * | 2009-07-23 | 2009-12-16 | 杭州镭星科技有限公司 | 将虚拟三维建筑与现实环境实拍视频无缝合成的方法 |
JP2012185772A (ja) * | 2011-03-08 | 2012-09-27 | Kddi Corp | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム |
CN103500465A (zh) * | 2013-09-13 | 2014-01-08 | 西安工程大学 | 基于增强现实技术的古代文物场景快速渲染方法 |
CN104484327A (zh) * | 2014-10-09 | 2015-04-01 | 上海杰图天下网络科技有限公司 | 一种项目工程的环境展示方法 |
CN106683183A (zh) * | 2017-01-04 | 2017-05-17 | 重庆市勘测院 | 一种建设工程模型在线三维可视化方法 |
CN106846446A (zh) * | 2017-01-24 | 2017-06-13 | 南宁市勘察测绘地理信息院 | 一种真实环境下建筑效果图制作方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
CN111210514A (zh) * | 2019-10-31 | 2020-05-29 | 浙江中测新图地理信息技术有限公司 | 一种将照片批量融合到三维场景中的方法 |
CN111210514B (zh) * | 2019-10-31 | 2023-04-18 | 浙江中测新图地理信息技术有限公司 | 一种将照片批量融合到三维场景中的方法 |
CN112581618A (zh) * | 2020-12-23 | 2021-03-30 | 深圳前海贾维斯数据咨询有限公司 | 建筑工程行业的三维建筑模型与实景比对方法及*** |
CN112581618B (zh) * | 2020-12-23 | 2024-05-24 | 深圳前海贾维斯数据咨询有限公司 | 建筑工程行业的三维建筑模型与实景比对方法及*** |
CN112905731A (zh) * | 2021-03-29 | 2021-06-04 | 中国电建集团昆明勘测设计研究院有限公司 | 一种imu-gps辅助的360°全景照片与三维gis场景的联动方法 |
CN113469868A (zh) * | 2021-07-16 | 2021-10-01 | 重庆市勘测院 | 一种基于结构变化的实景三维模型数字水印添加方法 |
CN113469868B (zh) * | 2021-07-16 | 2022-11-15 | 重庆市勘测院 | 一种基于结构变化的实景三维模型数字水印添加方法 |
CN115620154A (zh) * | 2022-12-19 | 2023-01-17 | 江苏星湖科技有限公司 | 一种全景地图叠加替换方法、*** |
CN116012564A (zh) * | 2023-01-17 | 2023-04-25 | 宁波艾腾湃智能科技有限公司 | 一种三维模型与实景照片智能融合的设备与方法 |
CN116012564B (zh) * | 2023-01-17 | 2023-10-20 | 宁波艾腾湃智能科技有限公司 | 一种三维模型与实景照片智能融合的设备与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107292954B (zh) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292954A (zh) | 一种三维模型与照片融合方法 | |
CN107274493B (zh) | 一种基于移动平台的三维虚拟试发型人脸重建方法 | |
CN105574922B (zh) | 一种鲁棒的三维模型高质量纹理映射方法 | |
CN104361628B (zh) | 一种基于航空倾斜摄影测量的三维实景建模*** | |
CN109945845A (zh) | 一种私家园林空间数字化测绘和三维可视化方法 | |
CN101000461B (zh) | 一种鱼眼图像生成立方体全景的方法 | |
CN101605211B (zh) | 将虚拟三维建筑与现实环境实拍视频无缝合成的方法 | |
KR101347260B1 (ko) | 촬영이미지별 수치데이터 합성을 처리하는 영상도화이미지 제작시스템 | |
CN106228609A (zh) | 一种基于空间特征信息的倾斜摄影三维建模方法 | |
CN106600686A (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
CN107705355A (zh) | 一种基于多张图片的3d人体建模方法及装置 | |
CN107610185A (zh) | 一种鱼眼相机快速标定装置及标定方法 | |
CN107103626A (zh) | 一种基于智能手机的场景重建方法 | |
CN104463969B (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
CN109559349A (zh) | 一种用于标定的方法和装置 | |
CN106846446A (zh) | 一种真实环境下建筑效果图制作方法 | |
CN106815802A (zh) | 一种图像拼接方法及装置 | |
CN106921824A (zh) | 环绕式混合光场成像装置及方法 | |
CN106910238A (zh) | 基于大倾角近景影像的彩色纹理重建方法 | |
JP4456029B2 (ja) | 回転体の三次元情報復元装置 | |
CN110533762A (zh) | 三维头像的生成方法及电子装置 | |
TWI267799B (en) | Method for constructing a three dimensional (3D) model | |
CN207218846U (zh) | 环绕式混合光场成像装置 | |
CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240306 Address after: 401120 No. 6, Qingzhu East Road, Dazhulin, Yubei District, Chongqing Patentee after: Chongqing Institute of Surveying and Mapping Science and Technology (Chongqing Map Compilation Center) Country or region after: China Address before: 400020 Jiangbei District, Chongqing electric measuring Village No. 231 Patentee before: CHONGQING SURVEY INSTITUTE Country or region before: China |
|
TR01 | Transfer of patent right |