CN103180883A - 快速3d模型 - Google Patents

快速3d模型 Download PDF

Info

Publication number
CN103180883A
CN103180883A CN2011800488081A CN201180048808A CN103180883A CN 103180883 A CN103180883 A CN 103180883A CN 2011800488081 A CN2011800488081 A CN 2011800488081A CN 201180048808 A CN201180048808 A CN 201180048808A CN 103180883 A CN103180883 A CN 103180883A
Authority
CN
China
Prior art keywords
image
camera
model
point
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800488081A
Other languages
English (en)
Inventor
亚当·普赖尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungevity Inc
Original Assignee
Sungevity Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sungevity Inc filed Critical Sungevity Inc
Publication of CN103180883A publication Critical patent/CN103180883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于快速、有效地对真实世界3D对象进行3D建模的***和方法。基于感兴趣对象的少到两张照片来生成3D模型。两张照片中的每一张照片均可用传统的针孔摄像设备获得。根据本发明一实施例的***包括新型的相机建模器和用于修正相机参数中的误差的有效方法。本发明的其它应用包括用于动画和真实生活运动照片和视频游戏的快速3D建模，以及用于建筑和医疗应用。

Description

快速3D模型
相关申请的交叉引用
本申请要求申请号为61/391,069、申请日为2010年10月7日、名称为“Rapid 3DModeling”美国临时专利申请(该申请的发明人与本申请的发明人相同)的优先权，其全部内容在此以引用的方式并入本申请中。
背景技术
三维(3D)模型将真实世界中的对象的三个维度表征为存储的几何数据。这些模型可用于提供真实世界中的对象的二维(2D)图形图像。通过对存储在对象的3D模型中的维度数据进行计算，使得与所提供的显示在显示设备上的对象的2D图像的交互作用模拟与真实世界对象的交互作用。当与真实世界中的对象的物理交互不可能发生、存在危险、不现实或者因其他原因而不可取时，模拟的与对象的交互作用是有用的。
产生一个对象的3D模型的常规方法包括：由艺术家或工程师利用3D模型工具在计算机上创造所述模型。这种方法耗费时间，并且需要熟练工来实施。也可通过将来自真实世界对象的模型扫描到计算机上来形成3D模型。典型的3D扫描仪收集其视场内与对象的表面有关的距离信息。3D扫描仪产生的“照片”描述了在该照片的每个点处与表面的距离。这使得照片上每个点的三维位置可识别。该技术通常需要从多个不同方向进行多重扫描，以获得与对象的所有侧面有关的信息。这些技术可用在许多应用中。
更进一步，各种各样的应用均将受益于不需工程专业知识、不依靠昂贵且费时的扫描设备就能够快速产生3D模型的***和方法。一个例子发现于太阳能***安装领域。为了选择用于安装到一个建筑物(例如房屋的屋顶)上的合适的太阳能面板，有必要知道屋顶尺寸。在传统的安装中，技术工人被分派到安装地点，对安装区域进行物理考察和测量，以确定其尺寸。实地考察费时、费钱。在有些情形下实地考察还不切实际。例如，恶劣天气会造成一定时间的拖延。安装地点可能会位于与距离最近的技术工人都相距甚远的位置，或者可能难以到达。让建筑物测量可从显示在显示屏上的3D模型处获得、而不是造访真实世界中的建筑物并对其进行物理测量的***和方法是有用的。
有些消费者由于不确定屋顶安装了太阳能面板后呈现的美学效果而不愿意在他们的家里安装太阳能***。有些消费者由于其他原因，比如对障碍物的关注，而喜欢参与决定面板的安装位置。这些关注会对太阳能的吸收构成障碍。人们需要能够快速提供特定太阳能部件安装在给定房屋上时呈现的逼真视觉效果的***和方法。
本发明的各种实施例能够快速生成3D模型，这些模型实现了远程测量和现实世界中3D对象的逼真呈现的3D图形图像的可视化、操作和交互作用。
发明内容
本发明提供了一种快速、有效地对真实世界中的3D对象进行3D建模的***和方法。基于感兴趣的对象的少到两张照片来产生3D模型。这两张照片中的每一张照片均可用传统的针孔摄像设备来获得。根据本发明一个实施例的***包括一新型照相机建模器和用于纠正照相机参数中的错误的有效方法。本发明的其它应用包括用于动画和真实生活运动图片及视频游戏、以及用于建筑和医疗应用的快速3D建模。
附图说明
本发明的这些以及其它目的、特征和优点将会随着下文中结合附图所进行的具体描述而变得明晰；在这些附图中：
图1展示了本发明的3D建模***的一个实施例的示例性部署；
图2为本发明一个实施例的方法的流程图；
图3展示了一张示例性的第一图像，该第一图像包含适用于本发明的示例性实施例中的、包括房屋屋顶的对象的俯视图；
图4展示了示例性的第二图像，该第二图像包含房屋(其屋顶如图3所示)的前部正视图，其适合用于本发明的一些示例性实施例中；
图5是一张表，表中包含与图3和图4所示的第一和第二图像中的示例性3D点相对应的2D点集；
图6展示了包含选自图3和图4所示的示例性第一和第二图像的直角的示例性3D点列表；
图7展示了包含选自图3和图4所示的示例性第一和第二图像的地平面的示例性3D点；
图8为根据本发明一个实施例的、用于产生3D点的方法的流程图；
图9为根据本发明一个实施例的、估计误差的方法的流程图；
图10为一种示例性相机参数发生器的功能的概念展示图，根据本发明的一个实施例，所述机参数发生器适于为相机建模器提供相机参数；
图11为根据本发明一个实施例的、为相机建模器产生初始的第一相机参数的方法的各步骤流程图；
图12为根据本发明一个实施例的、用于为相机建模器产生第二相机参数的方法的各步骤流程图；
图13展示了根据本发明一个实施例的、一个对象的示例性图像，所述对象的图像显示在显示装置提供的示例性图形用户界面(GUI)上，并使操作者能够产生用于所述对象的点集；
图14展示了根据本发明一个实施例的、用于提供对象的误差纠正3D模型的各步骤；
图15展示了根据本发明一替代性实施例的、用于提供对象的误差纠正3D模型的各步骤；
图16为根据本发明一个实施例的、展示示例性3D模型发生器的示意图，所述3D模型发生器提供来自第一和第二图像的点集的3D模型基投影；
图17展示了根据本发明一实施例的、由示例性第一和第二相机限定的示例性3D模型空间，其中，第一和第二相机的其中之一根据俯视图进行初始化；
图18展示并描述了根据本发明一实施例的、用于提供纠正的相机参数的方法的各步骤；
图19为根据本发明一实施例的、展示第一和第二图像、相机建模器和相机发生器之间的关系的示意图；
图20展示了根据本发明一实施例的、用于产生和存储3D模型的方法的各步骤；
图21展示了根据本发明一实施例的3D模型产生***；
图22为根据本发明一实施例的、展示用于调整相机参数的方法的流程图；
图23为根据本发明一实施例的示例性3D建模***的框图；
图24为根据本发明一实施例的、配备有辅助性对象丈量***的示例性3D建模***的框图。
具体实施方式
图1
图1展示了部署在建筑物测量***中的本发明的一个实施例。图像源10包括摄影图像，该摄影图像包括真实世界3D住宅建筑物1的图像。在本发明的一些实施例中，合适的2D图像源包括以图片格式比如JPEG，TIFF，GIF，RAW和其它图像存储格式存储的3D图像的集合。本发明的有些实施例接收至少一种图像，包括建筑物的鸟瞰图。鸟瞰图提供从四个角度拍得的航拍照片。
在本发明的一些实施例中，合适的2D图像包括航拍和卫星图像。在一个实施例中，2D图像源为可由***200通过互联网访问的在线数据库。合适的在线2D图像源的例子包括、但不限于：United States Geographical Survey(USGS)，The Maryland Global LandCover Facility and TerraServer-USA(最近改名为Microsoft Research Maps(MSR))。这些数据库存储有地图和航拍照片。
在本发明的一些实施例中，图像为地理参考图像。地理参考图像本身、或在其附加文件(例如世界文件)中包含着信息，该信息指示GIS***如何将该图像与其它数据对齐。适合地理参考图像的格式包括GeoTiff、jp2和MrSid。其它图像可在伴随文件(在ArcGIS中为世界文件)中载有地理参考信息，所述伴随文件通常为具有与图像文件相同的名称和后缀的小的文本文件。在本发明的一些实施例中，手动地对图像进行地理参考，以供使用。高分辨率的图像可从订阅数据库如Google Earth ProTM处获得。MapquestTM也适用于本发明的一些实施例。在本发明的一些实施例中，所接收的地理参考图像包含地理信息***(GIS)信息。
建筑物1的图像被捕获，例如被飞机5捕获，用机载图像采集设备例如航拍相机4拍摄建筑物1的航拍照片。相机4拍摄的示例性照片107为住宅建筑物1的屋顶106的俯视图。由相机4获得的示例性照片107为住宅建筑物1的俯视平面图。但是，本发明不限于俯视图。相机4也可拍摄建筑物1的正投影视图和斜视图，以及其它视图。
包括图像源10的图像不必限于航拍照片。例如，可通过第二相机(例如地面基相机9)在地面上拍摄建筑物1的附加图像。地面基图像包括但不限于建筑物1的主视图、侧视图和后视图。图1展示了建筑物1的第二照片108。在该图中，照片108展现了建筑物1的主视图。
根据本发明的实施例，一个对象的第一和第二视图不需要借助任何特定类型的图像采集装置来获得。不同的采集装置在不同时间、出于不同目的所获得的图像均适用于本发明的各个不同实施例。用于获得第一和第二图像的图像采集装置不需要使任何特定的内在或外在相机具有共同属性。本发明不依赖于用来获得第一和第二图像的实际相机所属的任何内在或外在相机的知识。
一旦图像存储在图像源10中之后，这些图像就可供选择，并可下载到***100中。在一个用途例子中，操作者113从顾客处获得街道地址。操作者113可利用图像管理单元103来访问图像源10，例如，通过互联网进行访问。操作者113可通过提供街道地址而获得图像。图像源10通过提供位于给定的街道地址处的房屋的多张视图来作出反应。本发明各实施例中所用的合适视图包括俯视平面图、正视图、透视图、正投影图、斜视图和其它类型的图像与视图。
在本例中，第一图像107展示了房屋1的第一视图。该第一视图为房屋1的屋顶的俯视平面图。第二视图108展示了同一房屋1的第二视图。该第二视图从与第一视图的视点不同的视点展现了所述屋顶。因此，第一图像107包含处于2D空间中的第一方位的对象1的图像，而第二图像108包含处于2D空间中的第二方位的相同对象1的图像。在本发明的一些实施例中，至少一个图像包括对象的俯视平面图。第一图像107和第二图像108可在尺寸、宽高比和图像所展示的对象1的其它特征上彼此不同。
当想要测量建筑物1的尺寸时，从图像源10获得该建筑物的第一和第二图像。重要的是要注意：与提供所述第一和第二图像的相机4和9有关的信息不一定要存储在图像源10中，也不一定要随着检索到图像一起提供。在许多情形下，从任何源中均不能获得与用来拍摄第一和第二照片的相机有关的信息。本发明的实施例中，不管与实际的第一和第二相机有关的信息是否可以获得，均能够基于第一和第二图像来确定与第一和第二相机有关的信息。
在一实施例中，房屋的第一和第二图像由***100接收并向操作者113展示。操作者113与所述图像交互，以产生点集(控制点)提供给3D模型发生器950。模型发生器950提供所述对象的3D模型。该3D模型被渲染引擎渲染后显示在2D显示装置103上。操作者113用测量应用来测量显示在显示器103上的对象的尺寸，以便与显示的对象进行交互。基于与第一和第二图像的规格有关的信息，将模型测量值转化为真实世界测量值。因此真实世界对象的测量是在不需要实地探访的情形下进行的。本发明的实施例能够基于所述对象的至少两张摄影图像来生成建筑物的3D模型。
图2
图2展示并描述了根据本发明一个实施例的、基于所述对象的3D模型来测量真实世界对象的方法。
在步骤203，产生要被测量的建筑物的3D模型。在步骤205，模型被渲染在显示装置上，从而使得操作者能够与显示的图像进行交互，以便测量该图像的尺寸。在步骤207，接收测量值。在步骤209，将测量值从图像测量值转换为真实世界测量值。此时，该测量值适于用来为建筑物提供太阳能***。
为了执行步骤203，本发明的模型发生器接收匹配点并产生3D模型。通过运用新的优化技术，将该3D模型精细化为经重建的3D结构。精细化过的3D模型代表真实世界建筑物，其具有足够的精度，以使得建筑物的可用测量值能够通过测量所述精细化过的3D模型而获得。
为了做到这一点，3D模型被渲染在显示装置103上。对所显示的模型的尺寸进行测量。测量值被转换为真实世界测量值。该真实世界测量值由太阳能供应***使用，以提供具有太阳能面板的建筑物。
图3和图4
图3和图4展示了合适的第一和第二图像的例子。图3展示了第一图像107，该第一图像包括房屋屋顶的俯视平面图。例如，第一图像107为位于建筑物屋顶上方、从而能够获得屋顶的俯视平面图的相机拍得的照片。在这个最简单的实施例中，二维的第一图像107假定通过传统的将三维对象(在本例中为房屋)投影到二维图像平面上的投影方法获得。
图4展示了第二图像108，该第二图像包括图3所示房屋(其包含图3所示的屋顶)的前部正视图。重要的是要注意，所述第一和第二图像不一定要是立体图像。此外，第一和第二图像也不一定要是扫描图像。在本发明的一个实施例中，第一和第二摄影图像由图像采集装置如相机获得。
在本说明书中，“相片”(photograph)是指由落在感光表面上的光创建而得的图像。光敏表面包括胶卷和电子成像仪，例如电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)成像设备。在本说明书中，相片是用相机创建而成的。相机(camera)是指包括镜头的设备，所述镜头将场景的可见波长光聚焦到人眼可见的再现中。
在本发明的一个实施例中，第一图像107包括待测量的真实世界对象的正投影。通常图像采集装置，例如相机或传感器，由车辆或平台(如飞机或卫星)承载，瞄准天低点(nadirpoint)，该天低点位于平台正下方和/或从平台垂直向下。图像中与所述天低点相对应的点或像素为与所述图像采集装置正交的点/像素。图像中的所有其它点或像素相对于所述图像采集装置而言是倾斜的。随着这些点或像素距天低点越来越远，它们相对于图像采集装置也越来越倾斜。同样地，地面采样距离(即：每一像素对应的、或每一像素覆盖的表面积)也越来越大。正交图像中的这种倾斜导致图像中的特征被扭曲，特别是距天低点相对较远的图像。
为了用平行于y轴的正投影(侧视图)将来自真实世界图像的3D点ax，ay，az投影到相应的2D点bx，by上，可用下面的示例性关系式来描述相应的相机模型：
bx＝sxax+cx
by＝szaz+cz
其中，s为任意的比例因子，c为任意偏移量。在本发明的一些实施例中，这些常量用于对齐第一相机模型视口，以匹配第一图像105中呈现的视图。用矩阵乘法，所述等式变为：
b x b y = s x 0 0 0 0 s z a x a y a z + c x c z
在本发明的一个实施例中，对正交图像进行失真校正。例如，通过正射纠正(ortho-rectification)对失真进行去除，或者补偿，所述正射纠正通过使正交图像的每个像素适配或弯曲到正高网格或坐标系上，从根本上除去了来自正交图像的斜度。这一正射纠正过程创建一图像，在该图像中，所有像素均具有相同的底面采样距离，并面向北方。因此，只要图像比例已知，正射纠正图像上的任何点都可用X、Y坐标系来定位，地面特征的长度和宽度，以及这些特征之间的相对距离，均可计算出来。
在本发明的一个实施例中，第一和第二图像的其中之一包括倾斜图像。倾斜图像可用图像采集装置获得，所述图像采集装置瞄准或对着载有该图像采集装置的平台的侧面或下方。倾斜图像不像正交图像，其显示的是地面特征(如房屋、建筑物和/或山脉)的侧面和顶部。倾斜图像的前景中的每个像素均对应于所描绘的表面或对象的较小的面积(即：每个前景像素均具有较小的地面采样距离)，然而背景中的每个像素均对应于所描绘的表面或对象的较大的面积(即：每个背景像素均具有较大的地面采样距离)。倾斜图像捕获所述表面或对象的梯形区域或视图，且梯形的前景具有远小于梯形背景的地面采样距离(即：具有更高的分辨率)。
图5
一旦第一和第二图像被选定，则选择显示点集(控制点)。在本发明的一些实施例中，点集的选择是手动进行的，例如由操作者手动进行。在本发明的其它实施例中，控制点也可自动选择，例如通过机器视觉特征匹配技术自动选择。对于手动实施方案，操作者在第一图像中选择一个点，并在第二图像中选择一个对应点，其中，这两个点代表真实世界3D建筑物中的相同点。
为了识别和指示匹配点，操作者113与第一和第二显示图像进行交互，以指出显示的第一和第二图像上的相应点。在图3和4所示的实施例中，真实世界3D建筑物1的点A是指屋顶1的右转角。点A出现在第一图像107和第二图像108中，虽然在这两张图像中出现的位置不同。
为了指出第一和第二图像中的对应点，操作者将显示标记放置在每个第一和第二图像105、107中对象的对应点的上方。例如，将标记放置在第一图像105中的对象102的点A的上方，然后再将标记放置在第二图像107中的对象102的点A的上方。在每个点处，操作者例如通过鼠标点击右或左、或通过其它选择机制来指示出点的选择。本发明实施例中也可使用其它装置，比如追踪球、键盘、光笔、触摸屏、操纵杆，等等。因此，操作者与第一和第二图像进行交互，以产生如图5所示的控制点对。
在本发明的一个实施例中，可以使用触摸屏显示器。此时，操作者通过触摸屏幕，在显示的图像上选择点或感兴趣的其它区域。像素坐标从显示屏坐标描述转化为，例如与含有感测触摸像素的图像相对应的坐标***描述。在本发明的其它实施例中，操作者用鼠标将标记，或者其它指示器，放置在图像上要选择的点的上方。点击鼠标，记录所放置的标记的像素坐标。***100将该像素坐标转化为对应的图像坐标。
将控制点提供给本发明的3D建模***的3D模型发生器950。通过寻找用于每一点对的极线的交点来实现成像结构的重建。
图6和图7
图7展示了界定地平面的点。在本发明的一些实施例中，生成的3D模型参照地面平行进行精细化。图7展示了根据图5所示示例性控制点列表的示例性控制点列表，其中，图7中的控制点包括根据本发明实施例的地面平行线。
图6展示了界定与所述对象相关联的直角的点。类似地平面，本发明的一些实施例中可使用直角来精细化3D模型。
图8
图8展示了本发明的***。如关于图1-7的说明所述，操作者从显示在显示装置803上的第一和第二图像上选择第一和第二图像点集。第一相机矩阵(相机1)接收来自第一图像的点集。第二相机矩阵(相机2)接收来自第二图像的点集。通过提供用于相机1和相机2矩阵的初始参数，对产生的模型进行初始化。
在本发明的一个实施例中，相机参数包括以下内在参数：
a)(u0，v0)：图像中心的像素坐标，其为相机中心在视网膜上的投影。
b)(au，av)：图像的比例因子。
c)(dimx，dimy)：图像的像素大小。
外部参数定义如下：
a)R：相机轴在参考坐标系中的旋转。
b)T：相机中心在参考坐标系中的姿势(pose)，以mm为单位。
相机参数建模单元815用于提供与第一和第二图像相对应的相机模型(矩阵)。所述相机模型是对用于获取第一和第二图像的相机的描述。本发明的相机参数模型将第一和第二相机矩阵建模为包括相机约束。本发明的参数模型解释了不大可能出现的或者无效的参数，例如相机位置，其可指出处于远离图像中对象的方向上的镜头。因此，这些参数值在计算测试参数时不需要考虑。
所述相机参数建模单元基于、至少部分基于所选的第一和第二图像的属性，对包括第一和第二参数集的参数之间的关系和约束描述关系进行建模。
本发明的相机参数模型1000包含与第一和第二相机上的位置约束有关的足够多的信息，以防止选择到相机参数的无效或不太可能的子组合。因此，产生3D模型的计算时间小于当用于例如不可能或无效或可能性不大的相机位置的参数值被包括进测试参数时所需的计算时间。
在一些实施例中，为了描述第一和第二相机在三维欧氏空间中的方位，采用了3个参数。本发明的不同实施例代表不同方式下的相机方位。例如，在一个实施例中，相机参数模型用欧拉角(Euler angle)表示相机位置。欧拉角为描述刚性体的方位的3个角度。在那些实施例中，用于3D模型空间的坐标系将相机位置描述为，是否存在界定包括欧拉角的相机角的真正的万向节。
欧拉角也表示将参考(相机)框移动到参考(3D模型)框的三个组分旋转。因此，通过将三个元素旋转(绕单个轴的旋转)进行组合，可以表征任何方位，且任何旋转矩阵都可被重新组合为三个元素旋转矩阵的产物。
L
对于“点对”中的每一点，模型单元303通过对应的假设相机(其获得包含所述点的图像)，对视线(或射线)进行投影。通过第一图像极点的线和通过第二图像极点的线会在理想条件下相交，所述理想条件例如：相机模型精确地代表了用于获取所述图像的实际相机，不存在噪音，以及，点对的识别很精确，且在第一和第二照片之间保持一致。
在本发明的一个实施例中，3D模型单元303利用三角测量技术，确定投影穿过所述第一和第二相机模型的射线的交点。通常，三角技术是通过测量固定基线的任意末端处已知点与测量点之间的角度，来确定测量点的位置，而不是直接测量点与点之间的距离。接着，所述点可被固定为三角形的第三点，所述三角形具有一条已知的边和两个已知的角。距一个点的坐标和距离可通过计算三角形的一条边的长度、给定的角度测量值和由所述点与另外两个已知的参考点形成的三角形的其它两条边的测量值而得到。在无误差实施例中，交点的坐标包括3D模型空间中所述点的三维位置。
根据本发明的一些实施例，3D模型包括真实世界建筑物的三维表征，其中，所述表征包括参考一坐标***(如笛卡儿坐标***)的几何数据。在本发明的一些实施例中，3D模型包括图形数据文件。所述3D表征存储在存储器或处理器(未图示)中，用于进行计算和测量。
3D模型可通过3D渲染过程直观显示为二维图像。本发明的***产生3D模型之后，渲染引擎995将模型的渲染过的2D图像显示在显示装置103上。传统的渲染技术适用于本发明。除了渲染之外，3D模型还可用于图形或非图形计算机模拟和计算。随后可将渲染过的2D图像存储起来用于查看。但是，本发明实施例的描述使得，随着操作者113指出控制点对，渲染过的2D图像能够被近实时地显示在显示器103上。
包括3D模型的3D坐标限定了3D真实世界空间中建筑物点的位置。与此相反，图像坐标限定了胶卷或电子成像装置上的建筑物图像点的位置。
点坐标在3D图像坐标与3D模型坐标之间进行转换。例如，位于平行于摄影图像平面的平面上的两个点之间的距离，可通过测定它们在图像上的距离来确定，如果图像的比例因子为已知的话。将测得的距离乘以1/s。在本发明的一些实施例中，第一和第二图像中的任一个图像或全部两个图像的比例信息是已知的，例如，通过接收作为与下载的图像一起存在的元数据而获知所述比例信息。该比例信息存储起来，以供测量单元119使用。因此，测量单元119使得操作者113能够通过测量显示在显示装置103上的模型而对真实世界3D对象进行测量。
操作者61选择至少两个图像，用于下载到***100。在本发明的一个实施例中，第一选定图像为房屋的俯视平面图。第二选定图像为房屋的透视图。操作者61将两张图像都显示在显示装置70上。操作者61利用鼠标或其它合适的输入装置，在第一和第二图像上选取点集。对于在第一图像上选取的每一个点，相应地在第二图像上选取对应点。如上所述，***100使得操作者109可与显示在2D显示装置103上的二维图像进行交互，并可操纵该二维图像。在图1所示的简化实施例中，至少一个二维图像，例如第一摄影图像105，是通过处理器112从图像源10处获得的。在本发明的其它实施例中，合适的2D图像源存储在处理器112中，可供操作者109选择，以显示在显示装置103上。本发明不限定图像源的数目和类型。反而，可以采用多种多样的图像源10，这些图像源包含2D图像，用于采集和显示在显示装置103上。
例如，以上描述的本发明实施例用于基于建筑物的图像，远程测量住宅建筑物的尺寸。在这些实施例中，商业地理图像数据库，例如MicrosoftTM支持的数据库，可适用为2D图像源。本发明的有些实施例依赖于一个以上的2D图像源。例如，第一图像105选自第一图像源，而第二图像107选自第二不相关图像源。通过消费级成像设备(例如一次性相机、视频摄像机等)获得的图像适用于本发明。类似地，由卫星、地理调查成像设备和各种各样的提供真实世界对象的商业级2D图像的其它成像设备获得的专业图像适用于本发明的各种不同实施例。
根据本发明的一个替代性实施例，第一和第二图像是用连接至处理器112的本地扫描仪扫描而得的。用于每张扫描图像的扫描数据被提供给处理器112。该扫描图像被显示在显示装置103上展示给操作者109。在另一替代性实施例中，图像采集装置所在的地点为真实世界的房屋所在的地点。在这种情形下，图像采集装置通过互联网将图像提供给处理器112。图像可以实时提供，也可以存储起来，在未来提供。另一图像源为通过数据网络连接至处理器112的图像归档和通信***。大量的能够产生或发送图像的方法和装置适用于本发明的各个实施例。
对模型进行精细化
在实践中，极几何并不完全体现在真实照片中。来自第一和第二图像的控制点的2D坐标不能以任意精度测量。各种类型的噪音，例如来自镜头畸变或兴趣点检测误差的几何噪音，导致控制点坐标不准确。此外，第一和第二相机的几何形状也并不完全已知。因此，当进行三角技术测量时，由3D模型发生器从相应控制点、通过第一和第二相机矩阵投影的线不会总是与3D空间相交。在这种情形下，基于对3D模型发生器投影的线的相对线位置的评估来估计3D坐标。在本发明的一个实施例中，通过识别3D模型空间中的点来确定所估计的3D点，所述3D模型空间中的点代表第一控制点投影与第二控制点投影的最近近端关系。
所估计的3D点将具有的误差与其偏离真实世界建筑物上的相同点的偏差成正比，对真实世界建筑物上的该点进行直接、无误差的测量。在本发明的一些实施例中，估计误差代表了估计点与3D点之间的偏差，所述3D点是控制点对的无噪音、无失真、无误差投影的结果。在本发明的其它实施例中，估计误差代表了估计点与3D点之间的偏差，其中所述3D点代表了在3D模型的产生过程中基于外部定义标准定义的(例如由操作者定义的)、真实世界3D点的“最佳估计”。
再投影误差是与投影点和测量点之间的图像距离相对应的几何误差。再投影过程量化了3D点的估计是如何紧密地重新创造了该点的真实投影x。更精确地，使P为相机的投影矩阵，而为的图像投影，即： x ^ = P X ^ .
Figure BDA00003023332700125
的再投影由
Figure BDA00003023332700126
给出，其中
Figure BDA00003023332700127
表示由矢量x和代表的图像点之间的欧氏距离。
为了生成尽可能地代表被模仿的3D真实世界建筑物的3D模型，希望将再投影误差降到最小。因此，为了生成对尺寸测量(例如用于太阳能面板安装目的时)而言精度足够的3D模型，本发明的实施例调整第一和第二相机的描述参数，以使投影线尽可能地接近交点，同时确保估计3D点位于相机参数模型的约束之内。
在本发明的一个实施例中，对如上述产生的3D模型坐标进行精细化处理。给定若干个3D点，这些3D点包含3D模型，该3D模型通过用相机模型对控制点对进行投影而生成，调整相机参数和包含所述模型的3D点，直到所述3D模型满足最优标准时为止，所述最优标准涉及所有点的相应图像投影。它相当于3D图像和观看参数(即：相机姿势和可能的内在校准和径向失真)的最优化问题，是为了在参数模型约束下获得最佳的重建。本发明的技术有效地将观察到的图像位置与预测图像点之间的再投影误差降到最小，该再投影误差被表示为大量非线性、实值函数的平方之和。这种类型的最小化通常是用非线性最小二乘算法获得的。在这些方法中经常采用的是Levenberg-Marquardt算法。
Levenberg-Marquardt算法在当前估计值附近对要被最小化的函数进行迭代线性化。这种算法涉及被称为正规方程组的线性***方案。这种方法虽然有效，但是即使Levenberg-Marquardt算法的稀疏变量(sparse variant)明确利用正规方程组零模式，避免了存储和操作零元素，这种算法在实际应用于本发明所适用的场合时也还需要花费大量的时间来进行计算。
图8
图8为根据本发明一个实施例的、用于基于至少两张2D图像来生成对象的3D模型的方法的各步骤流程图。
在步骤805处，接收操作者选定的控制点。例如，操作者从含有房屋的第一图像上选定房屋的一部分A。操作者再在含有相同房屋的第二图像上选定同一房屋的相同部分A。将第一和第二图像上描绘的***作者选定的房屋部分的显示坐标提供给处理器。在步骤807，接收初始相机参数，例如，从操作者处接收。在步骤809，基于、至少部分基于相机参数模型来计算剩余的相机参数。剩下的步骤811至825按图8所描述的进行。
图9
图9展示和描述了根据本发明一个实施例的、用于使生成的3D模型中的误差最小化的方法。
图10
在本发明的一个实施例中，第一和第二相机中的每一个均被建模为安装在相机支承平台上的相机，所述相机支承平台位于3D模型空间(915 916)内。所述平台反过来连接至“相机万向节”。因此不可能的相机位置体现为“万向节锁定”位置。万向节锁定是三维空间内的一个自由度损失，当三个万向节中的其中两个万向节的轴被推入到平行配置结构时，会发生这种“万向节锁定”，将所述***“锁定”到二维空间内的旋转。
图10的模型代表根据本发明一个实施例的、用于快速确定最佳第一和第二相机矩阵的有利配置和方法，所述相机矩阵用于将2D控制点投影到模型空间。根据所述模型，获得用于第一和第二相机矩阵的初始参数，假定相应的假设相机(915，916)的孔被排列为指向球905的中心。此外，一个相机916被建模为相对于球901定位于坐标x0，y1，z0处，位于坐标轴1009上，即：位于所述球的上半球的顶上，相机孔向下瞄准所述球的中心。
此外，可能的位置的范围局限于所述球的表面上的位置，进一步地局限于所述球的上半球。此外，相机915的x轴位置被设置为保持x＝0。因此，遵循以上约束的相机915呈现的位置的z轴坐标将处于z＝1至z＝-1之间，其中，相机915相对于y轴的位置由z轴位置决定。相机915和916中的每一个均可绕其各自光轴自由旋转。
图10所示的布置提供了相机矩阵初始化参数，其便于3D点收敛评估，从初始评估到评估满足定义的收敛准则。
获得用于内在相机参数的初始值，在图11和12所示的方法的初始化步骤中建立所述初始值。这些初始值在所述方法的执行过程中不变。另一方面，通过使一个相机的位置沿两个轴固定，同时使另一相机的位置沿一个轴固定，从而使得用于本发明的连续迭代模拟方法的外在参数的排列减少。
图11参数方法
图11展示和描述了基于图10中参数模型所给定的C1初始参数，来确定相机1(C1)俯仰、偏航和滚动的方法。
图12-参数方法
类似地，图12展示和描述了基于图10中参数模型所给定的C2初始参数，来确定相机2(C2)俯仰、偏航和滚动的方法。
图13-示例性GUI截屏
图13是根据本发明实施例的图形用户界面的截屏图，所述图形用户界面使得操作者能够与显示的第一和第二图像进行交互。
图14-模拟方法-使用最低误差输出
图14为流程图，其展示和描述了用于产生3D模型、同时使产生的3D模型中的误差最小化的方法的各步骤。
图15-相机参数和模拟方法
图15为流程图，其展示和描述了根据本发明实施例的、用于产生3D模型的方法的各步骤。
图16
图16为示意图，其展示了根据本发明一个实施例的、基于来自第一和第二图像的投影点集来提供3D模型的3D模型发生器的例子。图16描绘了3D模型的位于1，2和3处的3D点，这些点与第一和第二图像中的2D点相对应。3D模型发生器在控制点对上进行操作，以便为每一控制点对提供相应的3D点。对于第一和第二图像上的第一和第二图像点(对应于相同的三维点)，所述图像点和所述三维点以及光学中心共平面。
3D空间内的对象可通过设备的取景器映射到对象在图像2D空间内的图像上，所述设备的取景器通过透视投影变换技术采集图像。以下参数有时用于描述这种变换：
ax，y，z-要被投影的、真实世界3D空间中的点。
cx，y，z-相机在实际真实世界中的位置。
θx，y，z-真实世界相机的旋转。当cx，y，z＝<0，0，0>且θx，y，z＝<0，0，0>时，3D矢量<1，2，0>被投影为2D矢量<1，2>。
ex，y，z-观察者相对于真实世界显示器表面的位置。
这会导致：
bx，y-a的2D投影。
本发明采用上述的反向变换。换句话说，如通过采集图像的设备的取景器所观看到的，本发明在2D空间的对象图像上映射一点。为了实现以上目的，本发明提供相机1矩阵731和相机2矩阵732，以通过将点对投影到3D模型空间760上而以模型形式重建所述3D真实世界对象。
相机矩阵1和2由相机参数限定。相机参数可包括“内在参数”和“外在参数”。外在参数限定相机的外部方位，例如在空间中的位置和观察方向。内在参数限定成像过程的几何参数。主要是镜头的焦距，但也可包括对镜头畸变的描述。
因此，第一相机模型(或矩阵)包括采集第一图像的相机的假设描述。第二相机模型(或矩阵)包括采集第二图像的相机的假设描述。在本发明的一些实施例中，相机矩阵731和732用相机检校技术构建而成。相机检校是寻找相机的产生给定照片或视频的真实参数的过程。相机参数用包括相机矩阵1和2的3×4矩阵来表示。
图17-相机矩阵和模型空间
图17展示了一个3D模型空间，控制点由第一和第二相机模型投影到所述3D模型空间中。
这里使用的术语“相机模型”是指3×4矩阵，该矩阵描述了含有真实世界对象的3D点通过针孔摄像头式相机映射为所述对象的2D图像上的2D点。在这种情形下，所述2D场景，或者摄影框，就称为视口。
相机与投影平面之间的距离为d；视口的尺寸为vw和vh。这些值一起决定了投影的视场，也即：投影图像中可见的角度：
投影仪
第一和第二相机矩阵通过假设相机从第一和第二图像投影出自每个2D控制点开始的射线，所述假设相机根据相机模型配置，所述射线射入提供有3D模型的3D图像空间中。
因此，每个相机矩阵均根据其自身的相机矩阵参数设置投射射线。由于用于提供第一和第二图像的相机的实际相机参数是未知的，一种解决途径是估计所述相机参数。
已知要通过第一和第二相机矩阵进行投射的2D点的给定点集对应于投影到3D模型中的理想投影的相同点。基于这方面的知识，根据本发明的原理的相机参数评估包括以下步骤：手动提供估计的初始值，进行收敛测试，和基于收敛测试的结果调整相机矩阵。
图18-图像配准方法
图18展示和描述了根据本发明一个实施例的、用于使第一和第二图像相对于彼此进行配准的方法的各步骤。
图20用于生成3D模型的方法
图20展示和描述了根据本发明一个实施例的、用于捆绑调整的方法的各步骤。
图21模型发生器
图21为根据本发明一个实施例的3D模型发生器的框图。
图22模型生成方法概述
图22为一流程图，其展示和描述了根据本发明一个实施例的、用于捆绑调整的方法的各步骤。
图23模型发生器实施例
图23为根据本发明一个实施例的相机建模单元的框图。
部件组成***100可用作独立单元，并可替代性地集成到各种组合中。各部件可用于各种各样的硬件和软件组合中。
虽然本发明描述了其优选的设计，但本发明在其公开的精神和原则的范围内还可进行进一步地修改。因此本公开意在涵盖上文所述的结构和元件的任何等同物。此外，本公开还意在涵盖使用本文所公开的基本原理的、本发明的任何变形例、用途或者适应例。另外，本公开也意在涵盖那些虽然偏离本发明的主题、但仍在本领域的已知或惯用做法的范围之内、且落入后附权利要求的限定范围内的方案。虽然已经用特定实施例对本发明进行了展示和描述，但本发明不限于具体实施例。读完本文后，很多种修改、改变和改进对于读者而言都变得显而易见。

Claims (9)

1.用于生成真实世界对象的3D模型的***，包括：
相机建模器，其包括：接收相机参数的第一输入；接收第一和第二点集的第二输入，该第一和第二点集分别与第一对象的第一和第二图像上的点相对应，所述相机建模器根据相机参数提供投射到3D空间中的第一和第二点集的投影；
对象建模器，其包括：接收所述投影的输入；基于所述投影提供所述第一对象的3D模型的第一输出；提供投影误差评估的第二输出；
所述***根据所述投影误差评估调整至少一个相机参数，
相机建模单元基于至少一个调整后的相机模型参数对第一和第二点集进行投影，从而使得对象建模器能够提供所述第一对象的误差修正3D模型。
2.根据权利要求1所述的***，其特征在于：还包括渲染单元，该渲染单元包含用于接收所述误差修正3D模型的输入，所述渲染单元基于所述误差修正3D模型来提供第一对象的2D表征。
3.根据权利要求2所述的***，其特征在于还包括：
2D显示装置，其包括接收所述误差修正3D模型的2D表征的输入，所述显示装置显示所述第一对象的2D表征；
操作者控制装置，其连接至所述显示装置，以使得操作者能够与第一对象的2D表征进行交互，以测量所述对象的尺寸。
4.根据权利要求1所述的***，其特征在于还包括：
显示装置，用于显示真实世界3D对象的第一和第二2D图像；
操作者输入装置，其连接至所述显示装置，使得操作者能够与显示的2D图像进行交互，以定义第一和第二点集。
5.根据权利要求4所述的***，其特征在于：所述2D显示装置还用于显示第二对象的至少一个图像，且操作者控制装置用于使操作者能够将第二对象的所述图像定位在以下其中一种图像之内：显示的第一图像，显示的第二图像，显示的、基于误差修正3D模型渲染过的图像。
5、用于生成对象的3D模型的方法，包括：
用第一和第二初始相机参数对相机建模器进行初始化；
通过相机建模器接收第一和第二2D点集，该第一和第二2D点集对应于出现在对象的第一和第二2D图像中的对象上的点；
通过相机建模器将第一和第二2D点集投影到3D模型空间中；
基于所述投影确定3D坐标，以组建所述对象的3D模型；
确定与投影的第一和第二2D点集相关的误差；
根据所述误差调整至少一个初始相机参数，使得第一和第二2D点集按照修正的相机参数被再投影；
基于再投影的第一和第二2D点集确定3D坐标，以组建所述对象的3D模型。
6.根据权利要求5所述的方法，其特征在于：重复进行产生投影的步骤、确定3D坐标的步骤、确定误差的步骤以及调整相机参数的步骤，直到确定的误差小于或等于预定误差。
7.根据权利要求6所述的方法，其特征在于：通过不断改变至少一个相机参数以优化收敛到预定误差上的时间，从而进行所述重复步骤和确定误差的步骤。
8.根据权利要求5所述的方法，其特征在于还包括对误差修正3D模型进行渲染、以供显示在显示装置上的步骤。
9.根据权利要求5所述的方法，其特征在于还包括以下步骤：
接收第三点集，该第三点集表征出现在第三图像中的第二对象；
通过在3D模型空间中的第三点集上进行操作，调整被表征的第二对象的比例和方位，以与第一对象的比例和方位相匹配；
借助被显示的第一对象来显示第二对象。
CN2011800488081A 2010-10-07 2011-10-07 快速3d模型 Pending CN103180883A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39106910P 2010-10-07 2010-10-07
US61/391,069 2010-10-07
PCT/US2011/055489 WO2012048304A1 (en) 2010-10-07 2011-10-07 Rapid 3d modeling

Publications (1)

Publication Number Publication Date
CN103180883A true CN103180883A (zh) 2013-06-26

Family

ID=45928149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800488081A Pending CN103180883A (zh) 2010-10-07 2011-10-07 快速3d模型

Country Status (12)

Country Link
US (1) US20140015924A1 (zh)
EP (1) EP2636022A4 (zh)
JP (2) JP6057298B2 (zh)
KR (1) KR20130138247A (zh)
CN (1) CN103180883A (zh)
AU (1) AU2011312140C1 (zh)
BR (1) BR112013008350A2 (zh)
CA (1) CA2813742A1 (zh)
MX (1) MX2013003853A (zh)
SG (1) SG189284A1 (zh)
WO (1) WO2012048304A1 (zh)
ZA (1) ZA201302469B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462988A (zh) * 2014-06-16 2017-02-22 美国西门子医疗解决公司 多视角断层摄影重构
CN107534789A (zh) * 2015-06-25 2018-01-02 松下知识产权经营株式会社 影像同步装置及影像同步方法
CN108139876A (zh) * 2015-03-04 2018-06-08 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的***和方法
CN108470151A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种生物特征模型合成方法及装置
CN109151437A (zh) * 2018-08-31 2019-01-04 盎锐（上海）信息科技有限公司 基于3d摄像机的全身建模装置及方法
CN109348208A (zh) * 2018-08-31 2019-02-15 盎锐（上海）信息科技有限公司 基于3d摄像机的感知编码获取装置及方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2215409A4 (en) 2007-10-04 2014-02-12 Sungevity SYSTEM AND METHOD FOR PROVIDING POWER SUPPLY SYSTEMS
US9310403B2 (en) 2011-06-10 2016-04-12 Alliance For Sustainable Energy, Llc Building energy analysis tool
DE112013003338B4 (de) * 2012-07-02 2017-09-07 Panasonic Intellectual Property Management Co., Ltd. Größenmessvorrichtung und Größenmessverfahren
US9171108B2 (en) * 2012-08-31 2015-10-27 Fujitsu Limited Solar panel deployment configuration and management
EP2904545A4 (en) * 2012-10-05 2016-10-19 Eagle View Technologies Inc SYSTEMS AND METHODS OF ASSOCIATING IMAGES WITH ONE OTHER BY DETERMINING TRANSFORMS WITHOUT USING IMAGE ACQUISITION METADATA
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
EP3047407A4 (en) 2013-08-29 2017-05-17 Sungevity, Inc. Improving designing and installation quoting for solar energy systems
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
KR102127978B1 (ko) * 2014-01-10 2020-06-29 삼성전자주식회사 구조도 생성 방법 및 장치
US20150234943A1 (en) * 2014-02-14 2015-08-20 Solarcity Corporation Shade calculation for solar installation
WO2015185968A1 (en) * 2014-06-06 2015-12-10 Tata Consultancy Services Limited Constructing a 3d structure
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
EP4131172A1 (en) 2016-09-12 2023-02-08 Dassault Systèmes Deep convolutional neural network for 3d reconstruction of a real object
WO2019147938A2 (en) * 2018-01-25 2019-08-01 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
CA3037583A1 (en) 2018-03-23 2019-09-23 Geomni, Inc. Systems and methods for lean ortho correction for computer models of structures
DE102018113047A1 (de) * 2018-05-31 2019-12-05 apoQlar GmbH Verfahren zur Ansteuerung eines Displays, Computerprogramm und Augmented Reality-, Virtual Reality- oder Mixed Reality-Anzeigeeinrichtung
US11210864B2 (en) * 2018-06-01 2021-12-28 Immersal Oy Solution for generating virtual reality representation
KR102118937B1 (ko) 2018-12-05 2020-06-04 주식회사 스탠스 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102089719B1 (ko) * 2019-10-15 2020-03-16 차호권 기계 설비 공사 공정을 위한 제어 방법 및 장치
US11455074B2 (en) * 2020-04-17 2022-09-27 Occipital, Inc. System and user interface for viewing and interacting with three-dimensional scenes
US11367265B2 (en) 2020-10-15 2022-06-21 Cape Analytics, Inc. Method and system for automated debris detection
US11875413B2 (en) 2021-07-06 2024-01-16 Cape Analytics, Inc. System and method for property condition analysis
WO2023114027A1 (en) 2021-12-16 2023-06-22 Cape Analytics, Inc. System and method for change analysis
US11861843B2 (en) 2022-01-19 2024-01-02 Cape Analytics, Inc. System and method for object analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101294793A (zh) * 2007-04-26 2008-10-29 佳能株式会社 测量设备和控制方法
US20090304227A1 (en) * 2008-02-01 2009-12-10 Daniel Ian Kennedy Methods and Systems for Provisioning Energy Systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
IL113496A (en) * 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
EP0901105A1 (en) * 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
JPH11183172A (ja) * 1997-12-25 1999-07-09 Mitsubishi Heavy Ind Ltd 写真測量支援システム
EP1097432A1 (en) * 1998-07-20 2001-05-09 Geometrix, Inc. Automated 3d scene scanning from motion images
JP3476710B2 (ja) * 1999-06-10 2003-12-10 株式会社国際電気通信基礎技術研究所 ユークリッド的な３次元情報の復元方法、および３次元情報復元装置
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP4195382B2 (ja) * 2001-10-22 2008-12-10 ユニバーシティ オブ サウザーン カリフォルニア 線の自動較正によって拡張可能な追跡システム
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US20050140670A1 (en) * 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
US8078436B2 (en) * 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
EP2215409A4 (en) * 2007-10-04 2014-02-12 Sungevity SYSTEM AND METHOD FOR PROVIDING POWER SUPPLY SYSTEMS
JP5018721B2 (ja) * 2008-09-30 2012-09-05 カシオ計算機株式会社 立体模型の作製装置
US8633926B2 (en) * 2010-01-18 2014-01-21 Disney Enterprises, Inc. Mesoscopic geometry modulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101294793A (zh) * 2007-04-26 2008-10-29 佳能株式会社 测量设备和控制方法
US20090304227A1 (en) * 2008-02-01 2009-12-10 Daniel Ian Kennedy Methods and Systems for Provisioning Energy Systems

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462988A (zh) * 2014-06-16 2017-02-22 美国西门子医疗解决公司 多视角断层摄影重构
US10217250B2 (en) 2014-06-16 2019-02-26 Siemens Medical Solutions Usa, Inc. Multi-view tomographic reconstruction
CN106462988B (zh) * 2014-06-16 2019-08-20 美国西门子医疗解决公司 多视角断层摄影重构
CN108139876A (zh) * 2015-03-04 2018-06-08 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的***和方法
CN107534789A (zh) * 2015-06-25 2018-01-02 松下知识产权经营株式会社 影像同步装置及影像同步方法
CN108470151A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种生物特征模型合成方法及装置
CN109151437A (zh) * 2018-08-31 2019-01-04 盎锐（上海）信息科技有限公司 基于3d摄像机的全身建模装置及方法
CN109348208A (zh) * 2018-08-31 2019-02-15 盎锐（上海）信息科技有限公司 基于3d摄像机的感知编码获取装置及方法
CN109151437B (zh) * 2018-08-31 2020-09-01 盎锐（上海）信息科技有限公司 基于3d摄像机的全身建模装置及方法
CN109348208B (zh) * 2018-08-31 2020-09-29 盎锐（上海）信息科技有限公司 基于3d摄像机的感知编码获取装置及方法

Also Published As

Publication number Publication date
WO2012048304A1 (en) 2012-04-12
EP2636022A1 (en) 2013-09-11
AU2011312140B2 (en) 2015-08-27
BR112013008350A2 (pt) 2016-06-14
MX2013003853A (es) 2013-09-26
JP6057298B2 (ja) 2017-01-11
JP2017010562A (ja) 2017-01-12
AU2011312140C1 (en) 2016-02-18
US20140015924A1 (en) 2014-01-16
JP2013539147A (ja) 2013-10-17
EP2636022A4 (en) 2017-09-06
AU2011312140A1 (en) 2013-05-02
KR20130138247A (ko) 2013-12-18
ZA201302469B (en) 2014-06-25
SG189284A1 (en) 2013-05-31
CA2813742A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
CN103180883A (zh) 快速3d模型
Beyer et al. The Ames Stereo Pipeline: NASA's open source software for deriving and processing terrain data
US7944547B2 (en) Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US10127721B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
Teller et al. Calibrated, registered images of an extended urban area
US8139111B2 (en) Height measurement in a perspective image
Lin et al. Development of a virtual reality GIS using stereo vision
CN108053474A (zh) 一种新型城市三维建模控制***及方法
US8395760B2 (en) Unified spectral and geospatial information model and the method and system generating it
Koeva 3D modelling and interactive web-based visualization of cultural heritage objects
Agosto et al. 3D models in cultural heritage: approaches for their creation and use
Reitinger et al. Augmented reality scouting for interactive 3d reconstruction
US8884950B1 (en) Pose data via user interaction
Stal et al. Highly detailed 3D modelling of Mayan cultural heritage using an UAV
Chen et al. Rapid 3d modeling using photogrammetry applied to *** earth
Albert Aspects of cave data use in a GIS
Zhang et al. Reconstruction of measurable three-dimensional point cloud model based on large-scene archaeological excavation sites
Hussein et al. Evaluation of the accuracy of direct georeferencing of smartphones for use in some urban planning applications within smart cities
Covas Photogrammetry as a surveying thechnique apllied to heritage constructions recording-avantages and limitations
Ajayi et al. Performance evaluation of different selected UAV image processing software on building volume estimation
CN118379453A (zh) 一种无人机航拍影像与webGIS三维场景联动交互方法及***
Bethel Imaging Body of Knowledge for the Professional Surveyor
Gülch Virtual cities from digital imagery
Cantoro et al. Integrating Low Altitude with Satellite and Airborne Aerial Images: Photogrammetric Documentation of Early Byzantine Settlements in Crete
Barazzetti et al. Recognizing landscapes: can we change the point of view of geographic data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170822