CN116012564A - 一种三维模型与实景照片智能融合的设备与方法 - Google Patents

Abstract

本发明公开了一种三维模型与实景照片智能融合的***和方法，包括以下步骤：将欲与实物的数字化三维模型融合的实景照片传送至一个智能融合***中，并由其对实景照片进行分析、计算并存储相关信息；将实景照片呈现于***的处理界面之上；从***内或外部资源中检索适配的三维模型；将所述三维模型传送至呈现有所述实景照片的处理界面之上；根据需要将三维模型旋转、移动、缩放，并智能地在实景照片中呈现出其所表达的实物实际存在于实景中所展现的大小、姿态以及透视关系。本发明创造性地提出了三维模型与实景照片智能融合的***和方法，使没有专业经验的普通人都能够简便、快捷、精准地将三维模型自然、逼真、贴切地融合到实景照片之中。

Description

一种三维模型与实景照片智能融合的设备与方法

技术领域

本发明属于效果图合成及制作领域，具体涉及将实物的数字化三维模型简便的、自然贴切的、智能化的融合到实景照片之中的相关技术，可广泛应用于建筑设计、家装设计、环境设计和展示设计等行业，是设计师自由表达创意并与客户充分沟通的好工具，也是没有经过专业培训的普通人尝试DIY设计的好帮手。

背景技术

将实物的数字化三维模型与某个场景的实景照片相融合已经广泛的被应用于建筑设计、家装设计和展示设计等领域，目前比较流行的融合方法是采用Rhino、3DMax、solidThinking等工业设计软件。在这些软件的帮助下，有些优秀的建筑或室内装潢的效果图可以以假乱真，把现时不存在的但未来可能可以实现的建筑或装修效果惟妙惟俏地呈现在人们的眼前。但是，要使用上述软件把实物的数字化三维模型与某个场景的实景照片相融合，操作人员必须经过专业训练，在熟练掌握了上述软件的使用方法之后方可绘制出一幅理想的效果图。即便如此，每完成一次实物的数字化三维模型与实景照片的融合，一个高水平的专业人员都要耗费大量的时间和精力。令人沮丧的是，很多用心制作的效果图在完成后总让人看得非常别扭，其原因并非效果图制作者水平不够，而是因为在把三维模型与实景照片融合之前，他们首先必须凭自己的眼力为实景照片标定坐标、分析照片所描述的空间透视关系。由于人的眼力远不如测量仪器精准，使得这种因为人力因素所引发的一个小误差，在最终发展成一个影响效果图观赏效果的大偏差。

一般情况下，效果图制作者所采用的标定坐标和分析透视关系的方法是，根据实景照片中的建筑结构或照片上的物体来寻找坐标标定的参考，如相邻两面墙体的共线，或室内家具的轮廓线等，但很多时候正是这些参考给了他们误导。不易觉察的，他们用以标定坐标及分析照片透视的墙体会略有些倾斜，而家具也可能在不平整的地面上摆放。更为糟糕的是，由于实景照片的拍摄者的经验不足，很多照片缺乏清晰且可靠的视平线，这就使得实物的数字化三维模型与实景照片的融合从一开始就建立在一个不正确的基础之上。

还有一个容易被人忽略的问题是，几乎所有的照片都会因为镜头的原因产生一定的畸变，其直接的影响是在三维模型与实景照片融合时，如果在照片中处于不同部位的三维模型不能根据照片的畸变规律对应地调整其姿态、大小和透视关系，该三维模型就会在照片之上显得格格不入，以致最终的融合结果无法达到理想的境界。

针对以上问题，申请人常常在想：既然实物的数字化三维模型与实景照片的融合那么为社会所需要，为何就没有一个智能化的软件让其做得更为简单、轻松一点？既然设计是美化生活的一个重要途径，为何不让没有经过专业培训的普通人都能够简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中？

近年来，随着建筑、家装和展示等行业的发展，同时也随着电脑、笔记本、平板、手机等智能电子通讯设备的普及，人们DIY或与设计师合作进行建筑或家装设计的积极性越来越高，这就对一种简单易学的、方便实用的数字化三维模型与实景照片的融合方法有着更为迫切的需要。比如说，当一对夫妇刚刚收到了一套新房之后，他们会迫不及待地将新房的照片拍下来，然后回家与家人和朋友们商讨该房间的布置；又比如一个工厂主对其主车间的某个部位的布置不满意，他也可以拍一张或几张这个位置的照片与手下或设备供应商共同来研究一下新的布置方案。在这个时候，一个数字化三维模型与实景照片融合的智能***就会发挥巨大作用。不论是上述那对夫妇，还是那个工厂主，都可以通过该智能软件把合适的家具或设备的数字化三维模型拖拽进实景照片中自由摆放，然后再看一下新布置的效果。即便是新房的装修设计或者车间的规划布置最终还是由专业的设计师来操刀，这个智能化的、即时反映结果的软件***也可以更好地帮助他们沟通。

其实，在本专业领域，与申请人一样想解决类似问题的专业人员也不在少数。比如发明专利《一种三维模型与照片融合方法》(CN 107292954 B)公开了一种把建筑物的数字化三维模型与建筑场景的照片相融合的技术，但是该专利要求在拍摄实景照片时记录建筑环境照片的相机参数，同时还要求在输出三维模型图像的时候，必须设置三维场景中的虚拟相机参数，包括“依次对每个照片拍摄地点M，选择一张建设工程待建位置居中的照片Pc；利用照片Pc对应的相机参数，设置三维场景中虚拟相机的参数，包括X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F；设置三维场景出图参数，使图像长度、宽度、与照片Pc尺寸一致……”。如此多的、复杂的手工操作，不禁令申请人深深怀疑：该方法能否实现三维模型与实景照片精确的融合？即便可以，操作的方法也非常不友好。不要说普通人，就是专业人士按照这种方法也未必能够实现实物的数字化三维模型与实景照片的完美融合，更别提在三维模型发送至实景照片之时，操作者还可以随意移动和旋转三维模型、且三维模型还会随着位置的不同自动调整在实景照片中的大小、姿态和透视关系。

发明专利申请《一种真实环境下建筑效果图制作方法》(CN106846446A)公开了一种把真实环境与建筑效果图融合在一起的方法，但是按照这一方法，工作人员必须“对目标区域进行定点区域拍摄，得到多张原始影像，同时获取拍摄点的初始坐标；对原始影像进行全景拼接处理，得到目标区域的全景影像；在原始影像中选出一幅或几幅全景图像，获取每幅图像的相机参数，并在该图像中选取一定数量的控制点，记录控制点在该图像中的像素坐标，并实地测量控制点对应的空间坐标，通过单向空间后方交会方法来求解拍摄点实际坐标和拍摄实际角度参数……”。显然，这又是一套让没有经过专业培训的普通人所无法操作的办法，而且其所能实现的效果也与申请人想要实现的效果相去甚远。

申请人经过对现有技术的深入研究发现，尽管本专业领域的很多人士对实物的数字化三维模型与实景照片的融合非常感兴趣，但至今还没有人真正提出过申请人所提出的问题，即如何让没有经过专业培训的普通人简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中。当然，更没有人提出过解决这一问题的方法。

近几年逐渐开始流行的AR技术似乎离申请人所关注的和所要解决的问题更近了一步，比如苹果公司推出的ARKit和谷歌公司推出的ARCore，它们可以帮助手机使用者用增强现实的方法在手机所拍摄到的场景中加入实物的数字化三维模型，但是以这两款软件所代表的AR应用都必须在开阔的场地演示，因为它们无法解决导入的数字化三维模型与实景中的物体遮挡或碰撞的问题。一个在广阔空间看起来很棒的演示，如果在咖啡厅或在课堂上演示，就显得寸步难行，故其根本无法实现本申请人设想的把数字化三维模型“融入”到实景照片的理想效果，更无法实现多个三维模型同时导入实景照片且随意移动并随着其在实景照片中位置的不同实时调整其大小、姿态和透视关系的效果。

为避免本领域内其他技术人员已经遭遇过的困难与错误，真正解决申请人所想解决的问题，申请人经过不断地研究与实验，终于以一个别出心裁的技术思路、一套自己独创的算法体系和一系列行之有效的技术组合开创性地实现了计算机软件***对实景照片的精准的预分析和预处理，使其在没有人工辅助的情况下、并在事先不掌握相机工作状态的前提下能正确分析、计算并获得与实景照片相关的关键信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片所摄场景的空间尺寸、照片内各物体的语义特征、物与物的空间关系。而且，在分析实景照片时，该软件***还可以智能识别实景照片上的每一个物体，并智能地将其所识别的物体与其他物体分割开来。

基于这一研究成果，结合其他相关技术，申请人可以顺利地实现自己的发明理念，即：一个没有经过专业训练的普通人可以将欲与实物的数字化三维模型相融合的一张或多张的某个场景的实景照片上传至一个智能融合***，并将实景照片呈现于融合处理界面之上；从***的数字化三维模型库中检索并调出需要融合至实景照片的一个或多个实物的数字化三维模型并将之传送至中央处理单元；在融合处理界面上弹出一个能展示一个或多个实物的数字化三维模型的对话框后，将对话框内的三维模型发送或直接拖拽至实景照片之上；让数字化三维模型在实景照片上任意移动或旋转，而且每移动或旋转一次，都能让中央处理单元根据三维模型所表达的实物的实际尺寸、三维模型在实景照片中的位置，以及从信息存储单元调出的相关信息即时分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系。这个发明，无疑是本领域的一次重大突破。

发明内容

为满足人民群众日益增长的物质和精神生活的需要，让更多的人享受到设计的便利和乐趣，本发明提供了一种三维模型与实景照片智能融合的***与方法，可使没有经过专业培训的普通人简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中。其特征在于，所述数字化三维模型与实景照片智能融合的***包括：

智能图像分析单元、信息存储单元、中央处理单元、数字化三维模型资料库、信息输入输出单元组成。其中，

所述智能图像分析单元为一个以深度学习、计算机几何等学科为基础研究开发的软件***，其所要完成的任务主要有分析、计算并获得与所述实景照片相关的所有信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片畸变参数、照片所摄场景的空间尺寸、照片内各物体的语义特征、物与物的空间关系。所述智能图像分析单元的功能还包括：智能识别实景照片上的每一个物体，并智能地将其所识别的物体与其他物体分割开来；

所述信息存储单元是一个以信息存储技术为基础的数字化信息存储模块，其主要任务包括：将由智能图像分析单元以及中央处理单元所分析、处理的信息存储起来以备后用；

所述中央处理单元为一特别编程的软件，其功能包括，将实物的数字化三维模型虚拟的、高仿真的融合到某个场景的实景照片中，以达到该实物真实的存在于该照片所述场景中的拍摄效果。中央处理单元还包含一个数字化三维模型与实景照片融合的处理界面，其功能包括，展示参与融合的数字化三维模型、实景照片、融合而成的效果图。所述中央处理单元及处理界面支持多种人机互动的操作方法，包括：通过键盘、鼠标、触屏控制发出指令，以完成各种任务，包括：对实物的数字化三维模型的检索、选择、观察与测量；实物的数字化三维模型与实景照片的融合、效果图的成果的审核和欣赏；

所述数字化三维模型资料库是一个专门用以存储候选的用以与实景照片相融合的实物的数字化三维模型的数字化存储模块，其特征还包括：针对每一个实物的数字化三维模型建立一个专门的档案库，以收集、存储与该实物的数字化三维模型相关的背景信息，包括：实物的制作者、实物的三维模型的提供者、实物的尺寸、实物的用途、实物的技术指标；

所述信息输入输出单元是整个***对外信息交换的接口，其功能包括，输入与三维模型与实景照片融合相关的信息，包括：实物的数字化三维模型、实景照片、实物的背景信息：输出与所述融合相关的各种信息，包括：融合后的照片、融合过程记录、融合的动画演示、参与融合的实物的数字化三维模型、参与融合的实景照片。所述输入输出单元可以与相关信息与通讯设备连接，包括：手机、笔记本电脑、台式电脑、平板电脑、喷墨或激光打印机、3D打印机、光盘刻录机。

其具体的三维模型与实景照片智能融合的步骤包括：

将欲与实物的数字化三维模型融合的一张或多张某场景的实景照片传送至融合三维模型与实景照片的智能***中，并由所述***智能分析、计算所述照片并存储相关信息，包括：拍摄照片时所采用的相机位姿、相机参数、照片畸变参数、照片所摄场景的空间尺寸、照片内各物体的语义特征、物与物的空间关系。而且，在分析实景照片时，智能图像分析单元可以智能识别实景照片上的每一个物体，并将其所识别的物体与其他物体分割开来。

将上述分析与计算结果存储到所述***的信息存储单元以备后用。

将所述实景照片呈现于所述***的处理界面之上。

若操作者需要了解实景照片中物与物、物与场地的空间尺寸关系，可以自由选择起始点来测量距离。

从***中或外部资源中检索、调取一个或多个适配的实物的数字化三维模型。

将所述数字化三维模型传送至呈现有实景照片的处理界面之上。

若操作者需要了解实物的数字化三维模型与进入实景照片之后各物与物(包括三维模型所代表的实物)之间的空间尺寸关系，可以自由选择起始点来测量距离。

根据需要将所述数字化三维模型旋转、移动、缩放，并安排在实景照片合适的位置。同时，智能***将根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系。

当一个或多个实物的数字化三维模型被传送到实景照片之上时，***能够智能分析、计算其与实景照片中原已存在的实体之间的距离。根据需要，上述距离可以在呈现实景照片的处理界面上显示出来。

所述实体包括：屋面、墙面、地面、水面、其他实体物品。

根据需要，操作者可以自由选择起始点来测量距离，以了解实物的数字化三维模型与实景照片初步融合后的效果图中物与物(包括三维模型所代表的实物)之间的空间尺寸关系。

若***侦测到传送至实景照片的实物的数字化三维模型与实景照片中原有的实体接触、或互相侵入之时，***会给出即时的提示。

若实物的数字化三维模型在融合至实景照片时需要嵌入实景照片中的某些物体之中，则中央处理单元会智能识别到该实物在虚拟真实的场景中被其他物体遮挡的部分为该实物在实景照片中的前景部分。根据需要，中央处理单元会把前景部分分割开来，覆盖到三维模型的二维投影之上，从而使三维模型高保真地融合至实景照片之中。

当实物的数字化三维模型被拖拽至实景照片中原有的两个物体之间时，中央处理单元会智能计算该两个物体之间的空隙能否容得下该数字化三维模型所表达的实物，若空隙不够，则中央处理单元会智能报警，以防所融合的照片与实际状况不符；若空隙过大，中央处理单元也会对过大的空隙进行智能提醒。

若实物的数字化三维模型在融合至实景照片时与实景照片中的某个物***置重叠，根据需要，中央处理单元会在所述实景照片中智能识别该物体并把该物体去除，以便为即将融合的三维模型留出空挡，从而使三维模型高保真地融合至所述实景照片。

若实物的数字化三维模型在色调、明度等方面与实景照片中的实景有些差异，中央处理单元会智能地根据实景照片的色调、明度等因素来调整数字化三维模型的色调与明度等，使其更为自然地融合至实景照片。

若使用者不确定在实景中的某个部位放入何物，根据需要，可以用***提供的工具框定该部位，然后在***智能提供的适配的实物的数字化三维模型中检索并调用合适的数字化三维模型。

若同一实景有多角度拍摄的多张实景照片输入至***，在一张照片上布置完实物的数字化三维模型之后，其他照片可以按照第一张照片的布置逻辑来自动融合其他照片，以便展示在同一场景内不同拍摄角度下的融合效果。

为使***实现上述功能，需采用本申请特别研发和编程的软件，所述软件应用了人工智能及机器视觉方面的相关技术，包括：

①深度学习，计算机视觉和计算机3D几何技术，其作用包括：

识别实景照片中的物体，并理解物体之间的空间关系；

分析并确定照片中一个有固定尺寸的物体；

用一张或多张实景照片，重建照片中物体的三维模型；

用一张或多张实景照片计算出实景照片中物体所处三维世界与实景照片的透视关系；

对于实景照片的任意两个点，结合相机拍照时所捕捉的相机位姿，找到他们在三维世界对应的点，与有固定尺寸参照物对比，计算出两点之间距离；

智能分析照片中轮廓线形变的程度；

使用基于深度学习的图像修复方法(deep image inpaiting)，就需要修复区域周围的图像特征训练一个深度神经网络，生成局部修复补丁使其与整体图像有自然的融合。

利用深度学习在同一物体的低清照片和高清照片之间建立联系，进而可以帮助把模糊的照片变清晰，从而实现超分辨率图像生成(super resolution)。

②抠图算法(segmentation)，其作用包括：

将实景照片中的一个个物体分离出来；

利用三维模型投影在实景照片中的位置判断实景照片中的物体和三维模型投影哪一个是前景，进而遮挡住背景；

智能识别实景图像中的物体，找到每一个物体的外轮廓；

结合测距方法计算外轮廓在各个方向上的最大空隙距离

③图像生成算法，包括：

生成对抗网络(GAN)或扩散模型(diffusion model)，将实景照片中的特征做输入，不断迭代调整三维模型在实景图像上投影的图像特征，直到两者融合到在色调，亮度不可分辨区别的程度

将一张照片的上的色彩，线条，艺术风格自动应用到另外一张照片上，实现图像迁移(style transfer)的效果。

④图像平滑方法(image smoothing)，其作用在于，包括：调整不均匀的光线，色彩，色调，降低图像噪音；

其所使用方法，包括：

a 插值方法；

b 线性平滑方法；

c 卷积法。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1示出了本发明的实物的数字化三维模型与实景照片智能融合的流程图；

图2示出了本发明实施数字化三维模型与实景照片智能融合的***的整体运行示意图。其中，长方形模块所显示的部分指的是智能融合***的各构成单元；正圆形模块所显示的部分指的是***的延伸功能和外接资源；椭圆形模块所显示的部分指的是各构成单元之间信息传送和交流的内容。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本发明的范围完整地传达给本领域的技术人员。

众所周知，要把实物的数字化三维模型完美地融合到实景照片之中，最大的难点在于融合到实景照片的数字化三维模型必须精准地体现其在实景照片所描述的真实场景中的几何逻辑性，否则，即便通过PS等图片处理手段使数字化三维模型与实景照片在色彩、色调和氛围营造上高度融合，也会明显地暴露出数字化三维模型在实景照片中不协调的存在。显然，通过人工手段调整数字化三维模型的大小、姿态和透视关系以使其达到在实景照片中的几何逻辑性相当困难。即使是一个经过专业训练的设计师也很难通过肉眼来判断实景照片所显示的空间透视关系，更不要说估算绝大多数照片与生俱来的照片畸变参数。也正是这个原因，专业的设计人员往往通过PS等手段的掩饰使某个数字化三维模型在一个实景照片中看起来融合得很贴切，但是在面临将多个数字化三维模型分散地融入实景照片的任务时，一般会不可避免地发生三维模型融合穿帮的尴尬。因此，本发明提出了通过图像智能分析的手段来分析、计算实景照片的相机位姿、相机参数和照片畸变参数等信息的创新想法，其与之前很多同类技术最大的不同是本发明对图像的智能分析并不依赖对相机坐标等参数的预知，也不依赖摄像机或移动手机等设备所携带的各种传感器所提供的定位信息和方向信息，使得数字化三维模型与实景照片的融合可以在完全离线的、完全不在现场的、完全不需要即时的状态下由一个独立的软件***单独完成。这样，就给了融合效果图的制作以最大的弹性、最大的自由度和最大的简便性，使得没有经过专业培训的普通人都可以简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中。

本发明的方法包括两大过程：(A)在***接收到欲与实物的数字化三维模型相融合的实景照片时；(B)开始进行实物的数字化三维模型与实景照片相融合时。以下具体介绍两大过程的具体内容：

A.在***接收到欲与实物的数字化三维模型相融合的实景照片时

A1.一张或多张欲与实物的数字化三维模型相融合的实景照片，其获取的目的是为了给用以融合的数字化三维模型匹配一个合适的存在的场景，或展现三维模型在该实景照片中的存在效果，故在获取实景照片时应尽量满足照片的清晰度能够匹配数字化三维模型的清晰度的要求。由于许多实物的数字化三维模型都是经过高清扫描设备获得，其高清晰度与高保真的图像与低清晰度的实景照片相融合时，容易给人以一种格格不入的感觉；

A2.实景照片可以通过各种满足中高品质照片拍摄需求的设备拍摄而成，包括相机、摄像机和手机等。拍摄获取的照片可以通过互联网、数据线和蓝牙等手段传送到装有本发明的智能融合***的计算机、移动电脑、虚拟服务器、平板或手机等设备。实景照片的拍摄与传送既可在不同地点、不同时间完成，也可以用装有本发明的智能融合***的移动通讯设备在启动程序后直接拍摄；

A3.当一张或多张欲与实物的数字化三维模型相融合的实景照片传送到本发明的智能融合***时，***的智能图像分析单元将智能分析、计算并获得与所述实景照片相关的所有信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片畸变参数、照片所摄场景的空间尺寸、照片内各物体的语义特征、物与物的空间关系。而且，在分析实景照片时，智能图像分析单元可以智能识别实景照片上的每一个物体，并将其所识别的物体与其他物体智能地分割开来；

A4.将上述经过智能分析、计算的信息存入***的信息存储单元以备后用。

B.开始进行实物的数字化三维模型与实景照片相融合时

B1.将欲与实物的数字化三维模型相融合的实景照片呈现于***的融合处理界面之上；

B2.从***内的数字化三维模型资料库中检索欲与实景照片智能融合的一个或多个数字化三维模型。其中，实物的数字化三维模型用三维彩色扫描或三维扫描+拍照并纹理融合的方式获取，而三维扫描或三维彩色扫描的方法包括：(1)利用三维扫描仪对实物进行扫描；(2)利用双目深度相机对实物进行拍照，并通过处理距离信息生成数字化三维模型；(3)利用普通单目相机对实物连续拍照或拍摄一段视频，并根据多张照片重叠部分的对应关系以及每张照片的相机投影几何关系，同时利用摄影测量算法重建数字化三维模型；

用于与实景照片相融合的实物的数字化三维模型，既可以是由实际存在的实物扫描获得的数字化三维模型，也可以是通过创意、想象并采用三维建模或类似手段创建的仿实物的数字化三维模型；

***同时可以通过互联网、数据线、蓝牙等手段与外部设备如三维扫描仪、数据库、移动通讯设备等相连接，直接获取拟与实景照片相融合的数字化三维模型；

B3.在所述数字化三维模型的检索过程中，本发明的智能融合***既支持对候选模型的智能展示，也支持人机互动的操作与应用，即操作人员可以在融合处理界面上任意调取候选的数字化三维模型并通过旋转、缩放、移动等方式仔细研究其细部，并借助***提供的测绘工具任意测量模型上点与点的尺寸；

B4.将检索获得的欲与实景照片智能融合的一个或多个数字化三维模型传送到呈现在融合主界面之上的一张或多张实景照片；

B5.根据需要将数字化三维模型旋转、移动、缩放，并安排在实景照片合适的位置。同时，智能***将根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系。

B6.当一个或多个实物的数字化三维模型被传送到实景照片之上时，***能够智能分析、计算其与实景照片原有的实体之间的距离。根据需要，上述距离可以在呈现实景照片的处理界面上显示出来；

所述实体包括：屋面、墙面、地面、水面、其他实体物品；

B7.若***侦测到传送至实景照片的实物的数字化三维模型与实景照片中原有的实体接触或相互侵入之时，***会给出即时的提示；

B8.若操作者需要了解导入了实物的数字化三维模型的实景照片中的物与物(包括三维模型所表达的实物)之间的空间尺寸关系，可以自由选择起始点来测量距离；

B9.若实物的数字化三维模型在融合至实景照片时需要嵌入实景照片中的某些物体之中，则中央处理单元会智能识别该实物在虚拟真实的场景中被其他物体遮挡的部分为该实物在照片中的前景部分。根据需要，中央处理单元会把前景部分分割开来，覆盖到三维模型的二维投影之上，从而使所述三维模型高保真地融合至实景照片；

B10.当实物的数字化三维模型被拖拽至实景照片中的两个物体之间，中央处理单元会智能计算两个物体之间的空隙能否容得下该数字化三维模型所表达的实物，若空隙不够，则中央处理单元会智能报警，以防所融合的照片与实际状况不符；若空隙过大，中央处理单元也会对过大的空隙进行智能提醒；

B11.若所述实物的数字化三维模型在融合至所述实景照片时与实景照片中的某个物***置重叠，根据需要，中央处理单元会在所述实景照片中智能识别该物体并把该物体去除，以为即将融合的所述三维模型留出空挡，从而使所述三维模型高保真地融合至所述实景照片之中；

B12.若实物的数字化三维模型在色调、明度等方面与实景照片中的实景有些差异，中央处理单元会智能地根据实景照片的色调、明度等因素来调整数字化三维模型，使其更为自然地融合至实景照片；

B13.若使用者不确定在实景中的某个部位放入何物，可以用***提供的工具框定该部位，然后可以在***智能提供的实物的数字化三维模型中检索并选择合适的数字化三维模型填入实景照片中；

B14.若同一实景有多角度拍摄的多张实景照片输入，在一张照片上布置完实物的数字化三维模型之后，其他照片可以按照第一张照片的布置逻辑自动生成融合照片，以便展示数字化三维模型与实景照片在不同拍摄角度下的融合效果。

应用本发明的发明构思的将实物的数字化三维模型与实景照片智能融合的方法，可以有很多种实现方法，以下具体描述其中2种：

实施例1

一个社区准备在一个空场地上布置几件儿童游乐设施。经过商量，他们决定向某一游乐设施厂订购产品。但是，这家游乐设施厂有20几种产品，而初步估算这个场地很小，仅能放下大致5、6样游乐设施。自然而然的，社区人员犯了选择困难症。于是，他们拍了几张这块场地的实景照片，给厂家发了过去，让厂家帮忙解决问题。厂家收到照片后，按照如下步骤来解决问题——

S1.把社区空场地的实景照片传送到本发明的智能融合***；

S2.***的智能图像分析单元智能分析、计算并获得与所述实景照片相关的所有信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片畸变参数、照片所摄场景的空间尺寸、照片内各物体的语义特征、物与物的空间关系。而且，在分析实景照片时，智能图像分析单元可以智能识别实景照片上的每一个物体，并将其所识别的物体与照片上其他物体智能分割开来；

S3.将上述经过智能分析、计算的信息存入***的信息存储单元以备后用；

S4.将上述社区空场地的实景照片呈现于***的融合处理界面之上；

S5.把本厂生产的所有游乐设施的数字化三维模型输入本发明智能融合***的数字化三维模型资料库中；

S6.从所述数字化三维模型资料库中选择合适的游乐设施发送到显示社区场地实景照片的融合处理界面上；

S7.在显示实景照片的处理界面上移动、旋转发送进来的游乐设施的数字化三维模型。同时，智能***将根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系；

S8.在一张关于社区场地的实景照片上布置完一套游乐设施的数字化三维模型之后，***自动按照第一张照片的布置逻辑来自动融合生成其他角度拍摄的照片，以便展示不同拍摄角度下的融合效果；

S9.厂方根据经验做了几套效果图方案，并通过本发明的智能融合***把设计成果与社区相关人员分享；

S10.社区相关人员可以在本发明的智能融合***处理界面上观看厂方建议的游乐设施布置效果，并通过***的测量***测量物与物之间的空间关系及具体尺寸，也可以对模型进行移动以看到其位置改变的效果，还可以从***的数字化三维模型资料库中调出新的模型来增加或置换已经融合在效果图上的三维模型，并以此方法向厂方提出自己的反馈意见。而在每一次数字化三维模型的移动和调整中，智能***都会根据数字化三维模型在实景照片中的位置，并参考实景照片的相关信息即时分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系；

S11.厂方和社区方通过本发明的智能融合***做了充分的沟通，最终双方就某一种游乐设施布置的效果图达成了一致意见。

实施例2

有一个家庭主妇想把客厅的一侧重新布置一下。这一侧原来是围绕着一个大尺寸电视机布置的一套矮柜和墙体。由于网络的发达，该主妇的家庭成员观看电视的机会越来越少，所以她想把客厅的这一侧重新布置一下。但是，家庭成员对新的布置方案有不同意见。有的建议布置一排书柜再加一个花架；有的建议放一个跑步机和一个落地音响；还有的建议放一个冰柜和一对沙发。为了能够把大家的意见统一起来，该主妇决定利用本发明提供的三维模型和实景照片的智能融合***画几张效果图让大家参考一下。其所实施的步骤如下：

S1.该主妇首先为需要重新装修的客厅一侧拍照，然后把照片发送给一家装修设计公司；

S2.装修设计公司根据主妇家庭成员的意见从家具及家用电器供应商处获得候选的家具及电器的数字化三维模型，然后把上述数字化三维模型存储至本发明的智能融合***的数字化三维模型资料库中；

S3.设计公司把主妇发送过来的客厅一侧实景照片发送至本发明的智能融合***，并把所述实景照片呈现于***的智能融合处理界面之上；

S4.设计公司按照主妇家庭成员的初步意愿设计了几套融合方案；

S5.对于每一套融合方案的设计，设计公司都是将方案所涉及的实物的数字化三维模型发送至呈现客厅一侧的实景照片之中，并按照主妇家庭成员的意见布置。而在每一次数字化三维模型的移动和调整中，智能***都会根据三维模型在实景照片中的位置，并参考所述实景照片的相关信息即时分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系；

S6.当发送至实景照片的数字化三维模型与实景照片中原有的实物重叠时，根据需要，***会智能处理掉原有的实物影像，以便更好地展示新的布置效果；

S7.设计公司通过本发明的智能融合***向主妇一家展示其家庭成员中每一个人对客厅一侧的新的布置的想法的效果图；

S8.主妇的家庭成员可以在本发明的智能融合***处理界面上观看其设想中的并由设计师融合制作的客厅一侧的布置效果，并通过***的测量***测量融合效果图上物与物的空间关系及具体尺寸，也可以对模型进行移动以看到改变的效果，还可以从***的数字化三维模型资料库中、或者在外部资源中调出新的家具或电器的数字化三维模型来增加或置换已经在效果图上的模型，并以此方法调整自己的思路。而在每一次数字化三维模型的移动和调整中，所述智能***都会根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系；

S9.经过多套方案的比对和调整，主妇的一家终于统一了意见，并在设计公司的帮助下完成了客厅一侧布置的最终效果图。

需要说明的是：

根据上面的描述，构造这类***装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征有更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解、可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种三维模型与实景照片智能融合的***和方法，其特征在于，包括：

将欲与实物的数字化三维模型融合的一张或多张某场景的实景照片传送至融合数字化三维模型与实景照片的智能***中，并由所述智能融合***分析、计算所述照片并存储相关信息，包括：拍摄照片时所采用的相机位姿、相机参数、照片畸变参数、照片所摄场景的大小尺寸及空间布局、照片内各物体的语义特征及其对应的从整体照片中分割出来的独立影像、物与物的空间关系；

将所述实景照片呈现于所述智能融合***的处理界面之上；

从***内部或外部资源中检索、调取适配的一个或多个实物的数字化三维模型；

将所述实物的数字化三维模型传送至呈现所述实景照片的处理界面之上；

根据需要将所述数字化三维模型旋转、移动、缩放，并安排在所述实景照片中合适的位置；

由***根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系。

2.根据权利要求1所述的一种三维模型与实景照片智能融合的***，其特征在于，包括：所述将实物的数字化三维模型融合至实景照片的智能融合***由智能图像分析单元、信息存储单元、中央处理单元、数字化三维模型资料库、信息输入输出单元组成；

所述智能图像分析单元为一个专门编程的软件，其所要完成的任务主要有分析、计算并获得与所述实景照片相关的所有信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片畸变参数、照片所摄场景的大小尺寸及空间布局、照片内各物体的语义特征、物与物的空间关系。所述智能图像分析单元的功能还包括：智能识别实景照片上的各个物体，并将其与其他物体分割开来；

所述信息存储单元是一个数字化的信息存储模块，其所要完成的任务包括：将由智能图像分析单元以及中央处理单元所分析、处理的信息存储起来以备后用；

所述中央处理单元为一专门编程的软件，其功能包括：将实物的数字化三维模型高仿真地融合到某个场景的实景照片中，以达到该实物真实的存在于该照片所述场景中的画面效果。中央处理单元连接一个处理界面，以实现其画面展示与人机互动的操作功能。展示对象包括：数字化三维模型、实景照片、数字化三维模型与实景照片的融合过程以及融合而成的效果图。人机互动操作功能主要由所有在三维模型与实景照片融合过程中所涉及的具体步骤组成。同时，处理界面支持多种操作方法，包括：通过键盘、鼠标、触屏控制发出指令以完成各种任务，包括：对实物的数字化三维模型的检索、选择、观察与测量、数字化三维模型与实景照片的融合、效果图成果的审核和欣赏；

所述数字化三维模型资料库是一个专门用以存储候选的用以与实景照片相融合的实物的数字化三维模型的信息存储模块，其特征还包括：针对每一个实物的数字化三维模型建立了一个专门的档案库，以收集、存储与该实物的数字化三维模型相关的背景信息，包括：实物的制作者、实物的三维模型的提供者、实物的尺寸、实物的用途、实物的技术指标；

所述信息输入输出单元是整个***对外实现信息交换的接口，其功能包括：输入与三维模型与实景照片融合相关的信息、输出与所述融合相关的各种信息，包含融合后的照片、融合过程记录、融合的动画演示、参与融合的实物的数字化三维模型、参与融合的实景照片。所述输入输出单元可以与相关信息与通讯设备连接，包括：手机、笔记本电脑、台式电脑、平板电脑、喷墨或激光打印机、3D打印机、光盘刻录机。

3.根据权利要求1所述的一种三维模型与实景照片智能融合的方法，其特征还包括，

所述实物的数字化三维模型与实景照片的智能融合操作方式包括：通过与互联网相连的方式实施在线操作、仅在本地计算机或其他类似设备上所进行的离线操作。

4.根据权利要求1所述的一种三维模型与实景照片智能融合的方法，其特征还包括，

用于与实景照片相融合的实物的数字化三维模型包括：通过对实际存在的实物进行扫描所获得的数字化三维模型、由其他方法获得的实际存在的实物的数字化三维模型、通过创意、想象并采用三维建模或类似手段创建的仿实物的数字化三维模型。

Images