CN117744196A - 通过自动分析传感器数据生成物理结构和环境的测量结果 - Google Patents

通过自动分析传感器数据生成物理结构和环境的测量结果 Download PDF

Info

Publication number
CN117744196A
CN117744196A CN202311238654.3A CN202311238654A CN117744196A CN 117744196 A CN117744196 A CN 117744196A CN 202311238654 A CN202311238654 A CN 202311238654A CN 117744196 A CN117744196 A CN 117744196A
Authority
CN
China
Prior art keywords
interior space
panoramic image
computing device
wall
outputs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311238654.3A
Other languages
English (en)
Inventor
维克托·帕尔梅
乌·德兰
布莱恩·韦勃
布莱恩·凯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freirel Corp
Original Assignee
Freirel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freirel Corp filed Critical Freirel Corp
Publication of CN117744196A publication Critical patent/CN117744196A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及通过自动分析传感器数据生成物理结构和环境的测量结果。在此介绍了用于通过对由包括在计算设备中的一个或更多个传感器生成的数据的分析来以自动方式生成物理结构和环境的测量结果的计算机程序和相关联的计算机实现的技术。这可以通过组合通过分析由计算设备生成的、计算的或以其他方式获得的不同类型的数据而导出的洞察来实现。例如，计算机程序可以基于以下各项使得能够或促进测量物理结构的任意维度、角度和建筑面积：(i)由包括在对应计算设备中的图像传感器生成的图像，以及(ii)由包括在对应计算设备中的惯性传感器生成的测量结果。

Description

通过自动分析传感器数据生成物理结构和环境的测量结果
本发明是2021年10月13日提交到中国知识产权局的申请号为202180070143.8、发明名称为“通过自动分析传感器数据生成物理结构和环境的测量结果”的发明专利的分案申请，该母案申请是申请日为2021年10月13日、国际申请号为PCT/US2021/054796的PCT国际申请的进国家阶段的申请，要求于2020年10月13日提交的美国临时专利申请No.63/091,149的优先权，该申请的全部内容通过引用合并于本文。
技术领域
各种实施例涉及用于以自动方式生成物理结构和环境的测量结果的计算机程序和相关联的计算机实现的技术。
背景技术
传统上，已经使用诸如卷尺、码尺、标尺等工具来测量物理结构和环境的维度。这些工具对于沿着直线测量欧几里得空间中(例如，沿着平面)的第一位置和第二位置之间的线性距离是有用的。然而，使用这些工具存在若干显著的缺点。由于对使用该工具的人的依赖，测量不仅往往不一致，而且当被测量的物理结构或环境的部分被遮挡或占用时测量也可能是困难的。
已经通过开发可以由移动计算设备(或简称为“计算设备”)执行的计算机程序来尝试解决这些缺点。一种尝试涉及开发提示用户将计算设备的相机朝向要测量的对象定向，然后请求用户与由相机生成的数字图像交互，以便指示对象的边界的计算机程序。另一种方法涉及开发提示用户将计算设备的相机朝向要测量的对象定向，然后请求用户为包括在由相机生成的数字图像中的另一对象提供参考测量结果的计算机程序。
像这样的计算机程序比传统的实现方式更加方便，因为任何人利用计算设备都能容易地下载它们。然而，仍然存在导致不正确测量结果的大量不一致性。这种不一致性很大程度上是由于用户仍然参与测量过程的程度。例如，用户可能不精确地指示要测量的对象的边界，或者用户可能错误地输入不正确的参考测量结果。
发明内容
本发明提供了一种非暂时性介质，非暂时性介质上存储有指令，指令在由计算设备的处理器执行时使计算设备执行操作，操作包括：
接收指示建立内部空间的布局的请求的输入，内部空间的布局包括一系列接合点，每个接合点表示不同的垂直平坦表面对被接合的点；
指导用户通过遍及内部空间平移相机来生成全景图像，以便沿着水平面以360度成像内部空间；
由相机获取内部空间的惯性数据和全景图像；
通过将惯性数据和与全景图像相关联的图像数据在时间上对准来生成等矩形全景图像；
将一个或更多个经训练的分类模型应用于等矩形全景图像，以生成视觉标记以指示在内部空间中结构的异常外观；其中，结构的异常外观包括一个或更多个风险或危害；
建立内部空间的布局；以及
将关于布局的信息编码在与内部空间相关联的数据结构中。
可选地，非暂时性介质还包括：
通过配置相机的捕获参数使得捕获会话被定制；其中，捕获参数包括相机分辨率、焦点或闪光；以及
根据所定制的捕获会话获取内部空间的惯性数据和全景图像。
可选地，非暂时性介质还包括：将经训练的模型应用于等矩形全景图像以产生一系列输出，其中，一系列输出中的每个输出表示由经训练的模型基于对等矩形全景图像的分析而预测的对应接合点。
可选地，建立内部空间的布局包括：
针对一系列输出中的每个输出，预测对应接合点在坐标系的背景中的空间位置；以及
基于针对一系列输出预测的空间位置来计算内部空间的维度。
可选地，建立内部空间的布局包括：为内部空间创建基于维度的三维(3D)平面图。
可选地，一系列接合点中的每个接合点表示地板和壁接合的地板-壁边界、天花板和壁接合的天花板-壁边界或一对壁接合的壁-壁边界。
可选地，相机包括在计算设备中，其中，操作还包括：
响应于接收输入，配置捕获会话使得全景图像和等矩形全景图像中的一个或更多个在由相机生成之后能够由计算设备的操作***获得。
可选地，全景图像表示具有重叠部分的一系列帧，重叠部分通过计算设备的操作***被接合在一起以共同表示内部空间。
可选地，一个或更多个经训练的分类模型对与全景图像和等矩形全景图像中的一个或更多个对应的像素数据执行逐像素分类。
可选地，操作还包括：
通过基于内部空间的特性配置相机的捕获参数，来使捕获会话被定制。
可选地，操作还包括：
使得全景图像显示在界面上；以及
通过在全景图像上叠加至少一个边界框来指示由一个或更多个经训练的分类模型预测的每个接合点的位置，其中，每个边界框的周长由四个输出的集限定，以及其中，四个输出的集包括：表示地板-壁边界的第一输出、表示天花板-壁边界的第二输出、以及表示不同的壁-壁边界的第三输出和第四输出。
可选地，相机遍及内部空间平移时，近似实时地执行：使得全景图像显示在界面上和指示每个接合点的位置。
本发明还提供了一种由在计算设备上执行的计算机程序实现的方法，方法包括：
接收指示建立内部空间的布局的请求的输入，内部空间的布局包括一系列接合点，每个接合点表示不同的表面对被接合的点；
指导用户通过在内部空间周围平移相机来生成全景图像；
由相机获取内部空间的惯性数据和至少两个图像；
通过将惯性数据与至少两个图像在时间上对准来生成等矩形全景图像；
将一个或更多个经训练的分类模型应用于等矩形全景图像，以生成视觉标记来指示在内部空间中结构的异常外观；其中，结构的异常外观包括一个或更多个风险或危害；以及
使得对等矩形全景图像中叠加有图形元素的至少一部分进行显示。
可选地，方法还包括：
通过配置相机的捕获参数使得捕获会话被定制，其中，捕获参数包括相机分辨率、焦点或闪光；以及
根据所定制的捕获会话获取内部空间的惯性数据和全景图像。
可选地，方法还包括：将经训练的模型应用于等矩形全景图像以产生一系列输出，其中，一系列输出中的每个输出表示由经训练的模型基于对等矩形全景图像的分析而预测的对应接合点，其中，建立内部空间的布局包括：
针对一系列输出中的每个输出，预测对应接合点在坐标系的背景中的空间位置；以及
基于针对一系列输出预测的空间位置来计算内部空间的维度。
可选地，一系列接合点中的每个接合点表示地板和壁接合的地板-壁边界、天花板和壁接合的天花板-壁边界或一对壁接合的壁-壁边界。
可选地，全景图像表示具有重叠部分的一系列帧，重叠部分通过计算设备的操作***被接合在一起以共同表示内部空间
可选地，一个或更多个经训练的分类模型对与全景图像和等矩形全景图像中的一个或更多个对应的像素数据执行逐像素分类。
可选地，方法还包括：
使得全景图像显示在界面上；以及
通过在全景图像上叠加至少一个边界框来指示由一个或更多个经训练的分类模型预测的每个接合点的位置，其中，每个边界框的周边由四个输出的集限定，以及其中，四个输出的集包括：表示地板-壁边界的第一输出、表示天花板-壁边界的第二输出、以及表示不同的壁-壁边界的第三输出和第四输出。
可选地，相机遍及内部空间平移时，近似实时地执行：使得全景图像显示在界面上和指示每个接合点的位置。
附图说明
图1示出了包括检查平台的网络环境。
图2示出了计算设备的示例，该计算设备能够实现被设计成用于建立与结构相关联的物理空间的布局的检查平台。
图3描绘了通信环境的示例，该通信环境包括在计算设备上实现的检查平台。
图4包括用于自动地提取结构的测量结果以便能够通过分析由计算设备生成的图像数据和惯性数据来测量任意维度、角度或建筑面积的过程的流程图。
图5包括用于促进用于使用在计算设备上执行的检查平台对结构的内部空间进行建模的引导程序的过程的流程图。
图6示出了可以如何使用叠加全景图像(或简称为“全景”)的线来表示每个接合点。
图7包括用于促进用于使用在计算设备上执行的检查平台对内部空间进行建模的引导程序的另一过程的流程图。
图8包括用于识别包括在可获得全景的物理空间中的对象的过程的流程图。
图9是示出可以实现本文所描述的至少一些操作的处理***的示例的框图。
通过结合附图对具体实施方式的研究，本文描述的技术的各种特征对本领域技术人员而言将变得显而易见。为了说明的目的，在附图中描绘了各种实施例。然而，本领域的技术人员将认识到，在不脱离本技术的原理的情况下，可以采用替代实施例。因此，虽然在附图中示出了具体实施例，但该技术可以进行各种修改。
具体实施方式
这里介绍的是能够通过分析由包括在计算设备中的一个或更多个传感器生成的数据来以自动方式生成物理结构和环境的测量结果的计算机程序。如下面进一步讨论的，这些计算机程序能够通过组合通过分析由计算设备生成的、计算的或以其他方式获得的不同类型的数据而导出的洞察来实现这一点。例如，计算机程序可以基于以下各项使得能够或促进测量物理结构(或简称为“结构”)的任意维度、角度和建筑面积：(i)由包括在对应计算设备中的图像传感器生成的图像，以及(ii)由包括在对应计算设备中的惯性传感器(也称为“运动传感器”)生成的测量结果。这种方法是有利的，因为图像提供了高达未知比例因子的结构的视觉表示，而惯性测量结果(也称为“运动测量结果”)提供了未知比例因子的估计。这些数据一起使得能够估计结构上的绝对测量结果。
出于说明的目的，可以在以自动方式生成结构的测量结果的背景中描述实施例。作为示例，计算机程序可以被设计为建立结构的高度、宽度和深度以便建立结构的维度。然而，本领域的技术人员将认识到，这些实施例的特征可以类似地适用于生成物理环境(或简称为“环境”)的测量结果。
因此，本文所描述的计算机程序可以能够生成结构的内部空间、结构的外部空间或结构中存在的显著对象的测量结果。术语“内部空间”可以指由地板、天花板和壁包围的三维(3D)空间。术语“内部空间”可以与术语“房间”互换使用。注意，内部空间不需要在所有侧上由壁完全界定，因为本公开的教导可应用于由壁部分地或完全地包围的内部空间。同时，术语“外部空间”可以是感兴趣结构外部的空间。外部空间的示例包括车道、甲板等。
作为示例，假设在计算设备中执行的计算机程序接收表示测量结构的请求的输入。通常，该输入将对应于用户发起(即，打开)计算机程序或者以指示她对测量结构感兴趣的方式与计算机程序交互。
此后，计算机程序可以指导用户将计算设备相对于结构定位在预定定向上。例如，可以指导用户定位计算设备，使得由包括在计算设备中的图像传感器生成的图像数据在相对于结构的水平定向上被捕获。作为测量操作的一部分，计算机程序可以使图像传感器生成对应于结构的至少一部分的图像数据。通常，图像数据表示由图像传感器连续生成的一系列数字图像(或简称为“图像”)。作为测量操作的一部分，计算机程序还可以获得惯性测量数据(也称为“IMU数据”或“惯性数据”)，惯性测量数据表示由包括在计算设备中的一个或更多个运动传感器生成的测量结果。惯性数据可以在时间上与图像数据对准。由此，可以在由图像传感器生成图像数据的同时由运动传感器生成惯性数据。
计算机程序然后可以基于图像数据和惯性数据生成结构的图像。例如，计算机程序可以通过基于图像数据估计生成等矩形全景所需的焦距并且然后基于惯性数据确定包括在图像数据中的每个图像相对于结构的地理位置的近似位置，以编程方式组合图像数据和惯性数据，以便创建具有等矩形投影的全景图像(或简称为“全景”)。
计算机程序然后可以基于对包括该结构的至少一部分的等矩形全景的分析来确定物理特征(诸如，接合点)的位置。术语“接合点”可以指一对壁彼此接合、相交或以其他方式彼此合并或汇聚的任何位置。注意，术语“接合点”旨在覆盖壁形成锐角、钝角或反射角的拐角，因此本公开的教导适用于结构，而不管结构具体配置如何。此外，计算机程序可以识别存在于等矩形全景中的对象的边界。例如，计算机程序可以根据比例因子估计对象的维度，使得最终测量结果相对于计算设备和地面之间的距离而回归(regress)。
在测量操作的过程中，可以将相关信息发布到由计算设备呈现的界面以供用户考虑。作为示例，可以将可操纵的二维(2D)或3D图像发布到界面，然后随着计算机程序生成结构和结构中存在的对象的测量结果而近乎实时地更新可操纵的二维(2D)或3D图像。该可操纵的图像在识别结构的哪些部分尚未被成像方面也可能是有用的。
在高水平下，本公开涵盖了可以作为测量操作的一部分按顺序执行的两个动作。第一，创建结构的全景。第二，通过对全景的分析确定或推断关于结构的信息(例如结构的维度)。第一动作可以以大致类似的方式执行，而不管结构的性质(例如，是否对内部空间或外部空间进行成像)。然而，第二动作可能取决于结构的性质。例如，如果结构是内部空间，那么可能存在可能不适用于外部空间的若干假设(例如，固定的天花板高度、由接合点限定边界等)。因而，如何分析全景可能取决于被成像的结构的性质。
为了说明的目的，可以在可执行指令的背景下描述实施例。然而，本领域的技术人员将认识到，可以经由硬件、固件或软件实现该技术的各方面。作为示例，表示被设计来促进结构的内部空间或外部空间的测量的软件实现的检查平台(或简称为“检查平台”)的计算机程序可以由计算设备的处理器执行。该计算机程序可以直接或间接地与在计算设备上实现的硬件、固件或其他软件接口连接。例如，该计算机程序可以与能够生成可以构建全景的图像数据的图像传感器、生成指示计算设备的运动的测量结果的运动传感器等交互。
术语
在本公开中对“实施例”或“一些实施例”的引用意味着所描述的特征、功能、结构或特性被包括在至少一个实施例中。这样的短语的出现不一定指的是相同的实施例，也不一定指的是彼此相互排斥的替代实施例。
术语“基于”应被解释为包括性意义而不是排他性意义。即，在“包括但不限于”的意义上。因此，除非另外指出，否则术语“基于”旨在意指“至少部分地基于”。
术语“连接”、“耦接”及其变型旨在包括两个或更多个元件之间的直接或间接的任何连接或耦接。连接或耦接可以是物理的、逻辑的或其组合。例如，尽管不共享物理连接，但元件可以彼此电耦接或通信耦接。
术语“模块”可以广泛地指软件、固件、硬件或其组合。模块通常是基于一个或更多个输入来生成一个或更多个输出的功能组件。计算机程序可以包括或利用一个或更多个模块。例如，计算机程序可以利用负责完成不同任务的多个模块，或者计算机程序可以利用负责完成所有任务的单个模块。
当参考多个物品的列表使用时，词语“或”旨在涵盖所有以下解释：列表中的任何物品、列表中的所有物品、以及列表中的物品的任何组合。
检查平台的概述
图1示出了包括检查平台102的网络环境100。个人(也称为“用户”)可以经由界面104与检查平台102交互。例如，用户可能能够访问界面，通过该界面可以输入关于结构的信息。例如，用户可以指定要被测量内部空间维度的内部空间，或者用户可以提供关于地产(例如，地址、居住者的数量、建筑材料、保险提供者)或其所有者(例如，姓名、保险账号)的信息。作为另一示例，用户可能能够访问界面，通过该界面在生成结构的图像(例如，全景)时提供反馈。这些界面104还可以允许用户查看结构的2D和3D表示以及管理偏好。如本文所使用的，术语“用户”可以指房主、商业所有者、评估员保险理算员(也称为“索赔理算员”)或对生成结构的测量结果感兴趣的另一个人。
如图1中所示，检查平台102可以位于网络环境100中。因此，实现检查平台102的计算设备可以连接到一个或更多个网络106a-b。这些网络106a-b可以是个人区域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、蜂窝网络或互联网。另外地或可替代地，检查平台102可以通过短程无线连接技术(诸如近场通信(NFC)、/>Direct(也称为“Wi-Fi P2P”)等)通信地耦接至一个或更多个计算设备。
可以经由网络浏览器、桌面应用、移动应用、或OTT(over-the-top)应用访问界面104。例如，为了完成下面进一步描述的测量操作，用户可以访问由在移动电话上执行的移动应用生成的界面。也可以经由在移动电话上执行的网络浏览器访问该界面。因此，可以在移动电话、平板计算机、可穿戴电子设备(例如，手表或健身配件)、或虚拟或增强现实***(例如，头戴式显示器)上查看界面104。
在一些实施例中，检查平台102的至少一些组件被本地托管。即，检查平台102的一部分可以位于用于访问界面104的计算设备上。例如，检查平台102可以体现为可由移动电话执行的移动应用。然而，注意，移动应用可以通信地连接至服务器***108，检查平台102的其他组件被托管在服务器***108上。
在其他实施例中，检查平台102完全由云计算服务执行，该云计算服务由例如谷歌云平台TM或微软/>操作。在此类实施例中，检查平台102可以位于服务器***108上，服务器***108包括一个或更多个计算机服务器。这些计算机服务器可以包括不同类型的数据(例如，接合点的空间坐标、维度、图像)、用于处理该数据的算法、结构信息(例如，地址、建筑日期、建筑材料、保险提供者)、和其他资产。本领域的技术人员将认识到，此信息还可以分布在服务器***108和一个或更多个计算设备之间。例如，出于安全或隐私的目的，由检查平台102所在的计算设备生成的一些数据可以被存储在该计算设备上和由该计算设备处理。
图2示出了计算设备200的示例，该计算设备200能够实现被设计成用于建立与结构相关联的物理空间的布局的检查平台214。该物理空间可以是内部空间或外部空间。检查平台214可以基于对物理空间的图像的分析来建立布局。如下文进一步讨论的，可以在引导测量操作期间获取这些图像，在引导测量操作中，提示用户平移计算设备200以捕获物理空间的全景。术语“全景”可以用于指代表示物理空间的宽视图的图像。通常，全景提供沿着水平平面的至少180度视场(FOV)的完整视图，尽管全景可以提供沿着水平平面的360度FOV的完整视图。通过对全景的分析，检查平台214可能能够确定对应于物理空间的***的接合点的位置，然后基于这些位置推断物理空间的维度(因此推断物理空间的布局)。
计算设备200可以包括处理器202、存储器204、显示器206、通信模块208、图像传感器210、和传感器套件212。下文更详细地论述这些组件中的每一个。本领域技术人员将认识到，取决于计算设备200的性质，可以存在这些组件的不同组合。
处理器202可以具有类似于通用处理器的通用特性，或处理器202可以是向计算设备200提供控制功能的专用集成电路(application-specific integrated circuit，ASIC)。如图2所示，处理器202可以直接或间接地耦接到计算设备200的所有组件，以用于通信目的。
存储器204可以包括任何合适类型的存储介质，诸如静态随机存取存储器(staticrandom-access memory，SRAM)、动态随机存取存储器(dynamic random-access memory，DRAM)、电可擦除可编程只读存储器(erasable programmable read-only memory，EEPROM)、闪存、或寄存器。除了存储可以由处理器202执行的指令之外，存储器204还可以存储(例如，当执行检查平台214的模块时)由处理器202生成的数据。注意，存储器204仅仅是存储环境的抽象表示。存储器204可以包括实际存储器芯片或模块。
显示器206可以是可操作地向用户视觉地传达信息的任何机构。例如，显示器206可以是包括发光二极管(LED)、有机LED、液晶元件或电泳元件的面板。在一些实施例中，显示器206是触敏的。由此，用户能够通过与显示器206交互来向检查平台214提供输入。
通信模块208可以负责管理计算设备200的组件之间的通信，或通信模块208可以负责管理与其他计算设备(例如，图1的服务器***108)的通信。通信模块208可以是被设计为与其他计算设备建立通信信道的无线通信电路。无线通信电路的示例包括被配置为用于蓝牙、Wi-Fi、NFC等的集成电路(也称为“芯片”)。
图像传感器210可以是能够检测和传达信息以便生成图像数据的任何电子传感器。图像传感器的示例包括电荷耦合器件(charge-coupled device，CCD)传感器和互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)传感器。可以在计算设备200中实现的相机模块(或简称为“相机”)中实现图像传感器210。在一些实施例中，图像传感器210是在计算设备200中实现的多个图像传感器中的一个。例如，图像传感器210可以包括在移动电话上的前置或后置相机中。
其他传感器也可以在计算设备200中实现。这些传感器可以统称为计算设备200的“传感器套件”212。例如，计算设备200可以包括运动传感器，该运动传感器的输出指示整个计算设备200的运动。运动传感器的示例包括多轴加速度计和陀螺仪。在一些实施例中，运动传感器在测量计算设备200的力、角速度或定向的惯性测量单元(inertial measurementunit，IMU)中实现。IMU可以通过使用一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、或其任何组合来实现这一点。作为另一示例，计算设备200可以包括接近传感器(proximity sensor)，该接近传感器的输出指示计算设备200与接近传感器的视场内的最近障碍物接近。接近传感器可以包括例如能够发射红外(IR)光的发射器和能够检测朝向接近传感器返回的反射IR光的探测器。这些类型的接近传感器有时被称为激光成像、探测和测距(LiDAR)扫描仪。作为另一示例，计算设备200可以包括环境光传感器，环境光传感器的输出指示周围环境中的光量。
为了方便起见，检查平台214被称为位于存储器204内的计算机程序。然而，检查平台214可以包括在计算设备200中实现的软件、固件或硬件或可以由计算设备200访问的软件、固件或硬件。根据本文描述的实施例，检查平台214可以包括处理模块216、协调模块218、定位模块220和图形用户界面(GUI)模块222。这些模块中的每一个都可以是检查平台214的组成部分。可替代地，这些模块可以在逻辑上与检查平台214分开但是与检查平台214“一起(alongside)”操作。这些模块一起使得检查平台214能够通过经由测量操作引导用户以自动方式生成物理空间以及包括在物理空间中的对象的测量结果。
处理模块216可以将检查平台214获得的数据处理成适合于其他模块的格式。例如，处理模块216可以将操作应用于由图像传感器210生成的图像，以准备供检查平台214的其他模块分析。由此，处理模块216可以对由图像传感器210生成的图像进行去斑、降噪或以其他方式进行滤波。另外或可替代地，处理模块216可以调整例如对比度、饱和度和增益的特性，以便改进由检查平台214的其他模块产生的输出。
处理模块216还可继续处理从传感器套件212获得的数据，以准备供检查平台214的其他模块分析。如下文进一步讨论的，检查平台214可以利用由运动传感器生成的数据，以便更好地理解由图像传感器210生成的数据。例如，检查平台214可以基于由运动传感器生成的测量结果以编程方式组合由图像传感器210生成的图像，以便创建物理空间的全景。此外，检查平台214可以基于测量结果来确定由图像传感器210生成的每个图像的大致位置，然后使用那些洞察来估计物理空间和包括在物理空间中的对象的维度。为了实现这一点，由运动传感器生成的测量结果必须与由图像传感器210生成的图像在时间上对准。处理模块216可以负责确保这些数据在时间上彼此对准，使得检查平台214可以容易地识别对应于每个图像的测量结果。
协调模块218可以负责确定和/或编目接合点的位置。例如，假定用户对建立物理空间的维度感兴趣。物理空间的***可以由接合点限定，接合点中的每一个表示一对表面接合的位置。为了“映射”物理空间的***，检查平台214可以请求用户将计算设备200定位在特定位置(例如，靠近物理空间的中心)，然后通过平移计算设备200来捕获物理空间的全景。协调模块218可以负责基于对全景的分析来确定物理空间的接合点位于何处。如下文进一步论述，这可以通过将经训练的模型应用于全景来实现。经训练的模型可以基于全景的像素级检查产生指示接合点被认为位于何处的坐标作为输出。通常，经训练的模型将产生表示物理空间的不同接合点的一系列输出。使用该系列输出，协调模块218可以“重构”物理空间，从而建立物理空间的维度。在一些实施例中，由传感器套件212产生的输出用于促进该过程。例如，由运动传感器或接近传感器产生的测量结果可以允许协调模块218获得对计算设备200位于物理空间中的何处(因此如何建立维度)的更大洞察。
测量模块220可以检查由协调模块218确定的接合点的位置，以便导出对物理空间的洞察。例如，测量模块220可以基于多个位置的比较(例如，由一对壁-壁边界限定的宽度或由地板-壁和天花板-壁边界限定的高度)来计算物理空间的维度。作为另一示例，测量模块220可以使用位置来生成2D或3D布局。因此，测量模块220能够基于通过对单个全景的分析获得的洞察来构建物理空间的2D或3D模型。在一些实施例中，测量模块220还负责对由协调模块218确定的接合点的位置进行编目。因此，测量模块220可以将位置存储在与物理空间或与物理空间相关联的建筑物相关联的数据结构中。由测量模块220导出的信息(诸如维度和布局)也可以被存储在数据结构中。在一些实施例中，使用与真实世界位置相关联的坐标***(例如，地理坐标***(诸如全球定位***))来表示每个位置，而在其他实施例中，使用与周围环境相关联的坐标***来表示每个位置。例如，每个接合点的位置可以相对于计算设备200的位置来定义。
GUI模块222可以负责生成可以呈现在显示器206上的界面。可以在这些界面上呈现不同类型的信息。例如，由协调模块218和/或测量模块220计算、导出、或以其他方式获得的信息可被呈现在界面上，以显示给用户。作为另一示例，视觉反馈可以被呈现在界面上以便向用户指示测量程序是否被正确地完成。
检查平台214中还可以包括其他模块。如下面进一步讨论的，在一些实施例中，检查平台214不仅可以负责确定物理空间的维度，而且还识别包括在物理空间中的对象。在此类实施例中，检查平台214可以包括计算机视觉模块，计算机视觉模块将一种或更多种类型的计算机视觉模型应用于作为输入提供的全景，以便识别包括在对应物理空间中的一种或更多种类型的对象。计算机视觉模型可以包括多类分类、对象检测、语义分割或其他基于深度学习的计算机视觉方法，以识别多种类型的对象(例如，单个对象的不同品牌，或通常在同一物理空间中发现的不同类型的对象)。计算机视觉模块还可以将若干单独的计算机视觉模型组合在一起以改进检测的准确性(例如，应用对象检测模型来识别和定位特定对象，然后在定位的对象上应用分类模型来确定种类或质量)。这些计算机视觉模型可以被存储在计算设备200的存储器204中，或者(例如，经由通信模块208)这些计算机视觉模型可以被存储在计算设备200可访问的远程存储器中。
图3描绘了通信环境300的示例，该通信环境300包括在计算设备上实现的检查平台302。如图3所示，检查平台302可以接收若干类型的数据，然后处理若干类型的数据。此处，例如，检查平台302接收图像数据306和传感器数据308。
这些数据一般是从不同的源获得的。例如，图像数据306可以包括由在计算设备304中实现的图像传感器(例如，图2的图像传感器210)生成的图像。这些图像可以是由图像传感器快速连续捕获的离散图像，或者这些图像可以是由图像传感器产生的视频馈送的单独帧。可以从包括在计算设备304的传感器套件(例如，图2的传感器套件212)中的一个或更多个传感器中获得传感器数据308。例如，传感器数据308可以包括由运动传感器(诸如加速度计或陀螺仪)生成的测量结果，因为计算设备304用于生成图像数据306。
用于自动测量估计的方法
图4包括用于自动地提取结构的测量结果以便能够通过分析由计算设备生成的图像数据和惯性数据来测量任意维度、角度或建筑面积的过程400的流程图。作为示例，过程400可以用于建立建筑物的内部空间、建筑物的外部空间或建筑物本身的高度、宽度和深度。本领域技术人员将认识到，过程400能够在保险行业中用于帮助与保险索赔过程和/或承保过程相关的任务。然而，过程400不限于保险行业，因此可以在提供结构的自动测量结果是有益的任何领域或场景中使用。
首先，检查平台将接收表示测量结构的至少一个维度的请求的输入(步骤401)。通常，输入表示测量结构的一部分(诸如内部空间或外部空间)的请求。该输入通常对应于用户发起(即，打开)检查平台或者以指示她对测量结构感兴趣的方式与检查平台交互。例如，用户可以与在由检查平台生成的界面上可见的标记为“发起测量”或“开始测量”的数字元件交互。可替代地，该输入可以对应于由连接至计算设备的服务器***或计算设备本身提供的指令。例如，服务器***可以响应于已经满足某些条件、用户已经指示完成测量操作的意愿等的确定而向检查平台传输发起测量操作的指令。
检查平台然后可以获得由包括在计算设备中的图像传感器生成的图像数据(步骤402)。图像数据可以包括要测量的结构的至少一部分的图像。这些图像可表示由图像传感器快速连续捕获的静态图像，或这些图像可表示由图像传感器捕获的视频的帧。优选地，检查平台可以通过在计算设备的各个旋转点处捕获图像数据来引导用户，以确保收集完整的360度横向(即，相对于结构的左右)空间和180度垂直(即，相对于结构的上下)空间。
此外，检查平台可以获得由包括在计算设备中的惯性传感器生成的惯性数据(步骤403)。如上所述，术语“惯性传感器”可与术语“运动传感器”互换使用。惯性数据的性质将取决于惯性传感器的性质。例如，在惯性传感器是包括一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、或其组合的IMU的实施例中，惯性数据可以包括按时间顺序的离散的一系列测量结果。每个测量结果可指示计算设备的运动特性。例如，测量结果可以指示在对应于图像数据的生成的时间间隔上计算设备的旋转速度和/或加速度。
应当认识到的是，图像数据和惯性数据的生成可以由计算设备同时执行。如下面进一步讨论的，图像数据和惯性数据之间的时间关系可允许检查平台获得对计算设备相对于结构的位置的洞察。
检查平台然后可以基于惯性数据来组合包括在图像数据中的不同图像，以创建结构的至少一部分的全景(步骤404)。出于说明的目的，本文中的过程在全景的背景下进行描述；然而，本领域的技术人员将认识到，过程可以类似地适用于不是结构的广角表示的图像。作为示例，检查平台可以采用被设计成将不同的图像组合或“拼接”在一起的算法，以便产生结构的等矩形投影。在一些实施例中，与由现有方法通常实施的特征匹配技术相比，该算法通过使用线匹配技术来克服那些现有方法的限制。在高水平上，线匹配技术可以允许算法相对于通常感兴趣的结构(例如，建筑物的内部空间)最佳地执行。在操作中，算法可以以相对于现有方法唯一的方式来估计焦距。例如，通过线匹配，算法可以估计与全景的生成相关联的图像传感器的焦距，接着进一步利用包括在惯性数据中的测量结果来确定每个所捕获图像相对于与结构相关联的地理位置的大致位置。
此后，检查平台可以(优选地，利用结构的至少一部分的全景)确定结构的接合点的位置(步骤405)。例如，检查平台可以利用全景来识别表示地板-壁边界、天花板-壁边界或壁-壁边界的接合点的位置。此外，检查平台可以利用全景来计算、推断或以其他方式建立结构的其他物理特征的特性。例如，检查平台可能能够确定组成结构的表面(即，壁、天花板或地板)的曲率。因此，根据不同实施例，由检查平台执行的算法可优选地在全景上操作以确定例如接合点的结构交叉点的位置。在确定结构的接合点的位置之后，检查平台可以确定结构的结构方面(也称为“物理方面”)(步骤406)。例如，检查平台可以通过组合对接合点位置和表面曲率的知识来确定3D空间表示中的所有壁、天花板和地板的位置。
在一些实施例中，检查平台被进一步配置为估计存在于全景中的一些对象或所有对象的边界(步骤407)。当识别包括在全景中的对象的边界时，检查平台可以识别存在于全景中的显著对象(例如，固定装置、电器、家具、动物)。可以例如通过估计结构的成像部分中存在的各方面的3D维度且随后使用那些方面作为参考，来识别给定对象的边界。优选地，出于一致性目的，估计的维度(和结构各方面的测量结果)被估计为比例因子。最终缩放值可以相对于计算设备与地面之间的距离而回归。另外或替代地，最终缩放值可以相对于全景中(因此存在于结构中)识别的显著对象的大小而回归。作为测量操作的一部分，该检查平台还可以被配置为在地理上标记(称为“地理标记”的过程)结构的一个或更多个方面或标记包括在结构中的显著对象。
检查平台然后可以产生表示通过对全景的分析获得的洞察的输出(步骤408)。作为示例，检查平台可以生成可操纵的3D图像，该可操纵的3D图像由计算设备呈现以用于显示给用户。可操纵的3D图像可以描绘针对结构或包括在结构中的显著对象估计的用户或平台选择的维度。一般来说，通过将所确定的结构的物理方面与全景组合来生成可操纵的3D图像，以便使得用户能够相对于所选择的视角操纵3D图像。可以利用存在于全景图像中的估计的对象边界，将由检查平台(例如，通过对全景的分析)确定的测量结果叠加在可操纵的3D图像上。为了允许操纵，呈现3D图像的界面可以是响应于用户所做的选择的“点击界面”。例如，可以允许用户通过选择在3D图像的边界内的一个或更多个位置来识别要生成的附加测量结果。这些位置可能与结构的物理方面相关联，或者这些位置可能与包括在结构中的显著对象相关联。
在一些实施例中，检查平台生成可操纵的3D图像，然后在可操纵的3D图像上提供叠加，该叠加旨在通过图像数据捕获过程可控地引导用户。另外或可替代地，可以在界面上提供视觉标记，以指示与结构的物理方面相关的确定的结构损坏。例如，假设在如以上参考步骤406所讨论的确定结构的物理方面的过程中，检查平台发现给定物理方面在外观上是异常的。这可以通过(例如，基于计算机视觉模型产生的输出)确定给定物理方面与相同类型的其他物理方面相异来实现。该异常可以指示对给定物理方面的损坏。在这种情况下，可以在界面上提供视觉标记(例如，特定颜色的边界框或数字元素)以识别异常。这能够由检查平台完成，以在视觉上识别与内部和外部空间相关联的风险、危害、特征或材料类型。内部空间的风险和危害的示例包括：裸露的电线，动物的存在，与热水器相关的问题，不可燃材料的存在或不存在，燃木炉，与管道、模具、水损坏(例如，污迹)相关的问题，与洗衣机相关的问题，空置室的存在或不存在，与电气组件相关的问题等。外部空间的风险和危害的示例包括：甲板、台阶、楼梯、门廊或栏杆的存在，池或池相关的特征和组件的存在，庭院相关的特征和组件的存在，丙烷任务的存在，接近结构的自然特征(例如，湖泊、池塘、或溪流)的存在，结构的外部部分的状况，与结构相关联的标志，用于动物的笼子或封闭体的存在，木板入口点(例如，门和窗)的存在，杂物或碎屑的存在，结构类型(例如，该结构是移动式住宅还是模块化住宅)，(例如，在屋顶上的)油布的存在，(例如，在门或窗户上的)栅栏的存在等。
注意，包括在结构中的对象的类型通常将取决于该结构的性质。例如，如果结构的成像部分是内部空间，则全景可以是具有对应固定装置的浴室、具有对应固定装置的厨房、具有对应固定装置的洗衣房、具有相关联固定装置的公共区域、具有相关联固定装置的储藏室等。同时，如果结构的成像部分是外部空间，则全景可以是用于外部建筑、外部建筑物(例如，车库和游乐场)、庭院组件(例如，水景和花园特征)、外部组件(例如，水龙头、排水沟和冷凝物排水管线)等的建筑材料。
图5包括用于促进用于使用在计算设备上执行的检查平台对结构的内部空间进行建模的引导程序的过程500的流程图。虽然过程500是在内部空间的背景下描述的，但是本领域技术人员将认识到，过程500的各个方面可类似地适用于对外部空间建模。最初，检查平台将接收指示建立内部空间的布局的请求的输入，该内部空间的布局包括一系列接合点，每个接合点表示不同的表面对被接合的点(步骤501)。图5的步骤501可以基本上类似于图4的步骤401。
在一些实施例中，用户可以能够指示她对建立内部空间的2D布局还是3D布局感兴趣。如果用户对建立内部空间的2D布局感兴趣，那么检查平台可以仅编目、存储或以其他方式记录关于壁-壁边界的信息。相反，如果用户对建立内部空间的3D布局感兴趣，则检查平台可以编目、存储或以其他方式记录关于地板-壁边界、天花板-壁边界和壁-壁边界的信息。
检查平台然后可以指导用户通过在图像传感器生成内部空间的一个或更多个图像的同时平移计算设备来生成全景(步骤502)。为了生成全景，计算设备将通常生成内部空间的至少两个图像，然后将这些图像组合或“拼接”在一起以创建全景。因而，全景可以表示具有重叠部分的多个图像，重叠部分通常通过计算设备的操作***被接合在一起以共同表示内部空间。
然后，检查平台可以将经训练的模型应用于全景以产生表示由经训练的模型基于对全景的分析预测的接合点的输出(步骤503)。关于被训练来识别接合点的模型的进一步信息可以在标题为“Semi-Supervised 3D Indoor Layout Estimation from a Single360Degree Panorama(基于单个360度全景的半监督三维室内布局估计)”的美国申请No.17/401,912中找到，该申请通过引用全部并入本文。经训练的模型可以输出矩阵，该矩阵中每个条目指示对应的像素是否对应于接合点。如果条目指示对应的像素对应于接合点，则该值还可以指示接合点的类型(例如，接合点是表示地板-墙边界、天花板-墙边界还是墙-墙边界)。利用这些值，检查平台可以能够例如通过识别哪些像素对应于接合点来限定全景背景下的接合点。
此外，检查平台可以使得显示叠加有图形元素的全景的至少一部分，以指示由经训练的模型预测的接合点的位置(步骤504)。通常，输出是由经训练的模型产生的一系列输出中的一个，每个输出表示由经训练的模型基于对全景的分析来预测的单独接合点。因此，尽管可以使用叠加全景的线来表示每个接合点，但是全景可以具有叠加在全景上的一个或更多个边界框，如图6中所示。每个边界框可以具有四个侧，即，表示地板-壁边界的第一侧、表示天花板-壁边界的第二侧、以及表示壁-壁边界的第三和第四侧。在空间意义上，第一侧和第二侧通常大致彼此平行并且大致正交于第三侧和第四侧。然而，由于全景的失真，边界框可能不是矩形的。如在图6中可见，限定内部空间的壁的边界框倾向于沿着至少一侧“凸起”。
在全景已经被完全捕获之后，图形元素可以被叠加在全景上，或者当全景正在被捕获时，图形元素可以被叠加在全景上。例如，当用户平移计算设备以使得内部空间的***可以由图像传感器查看时，全景可以示出在显示器上。在此类实施例中，检查平台可以将经训练的模型实时应用于全景(例如，应用于像素列)，接着在适当时填充图形元素。
检查平台还可以能够基于由经训练的模型产生的输出建立内部空间的布局(步骤505)。如上所述，输出可表示由经训练的模型基于对全景的分析预测的接合点。对于每个接合点，检查平台可以推断、预测或以其他方式建立(例如，相对于内部空间定义的)坐标系的背景中的空间位置。通过这些空间位置，检查平台可确定内部空间的布局。此后，检查平台可以将关于布局的信息编码在与内部空间相关联的数据结构中(步骤506)。例如，检查平台可编码接合点的空间位置、壁的维度、天花板的高度等。数据结构通常存储在计算设备内部的存储器中，在该计算设备上，执行检查平台。然而，检查平台可以替代地或另外地使得数据结构传输到计算设备外部的目的地(步骤507)。例如，数据结构可以被传输到与计算设备通信地连接的另一计算设备(例如，图1的服务器***108)。
图7包括用于促进用于使用在计算设备上执行的检查平台来对内部空间进行建模的引导程序的另一过程700的流程图。再次，虽然过程700是在内部空间的背景下描述的，但是过程700的各方面可以类似地适用于对外部空间进行建模。最初，检查平台可以接收指示来自用户的用于建立内部空间的布局的请求的输入，该内部空间的布局包括一系列接合点(步骤701)，每个接合点表示不同的表面对被接合的点。例如，考虑具有四个90度角的矩形室。该矩形室包括不同类型的各种接合点。存在四个壁-壁边界，不同的壁对在四个壁-壁边界处被接合在一起。沿着每个壁，还存在地板-壁边界和天花板-壁边界。这些不同的接合点一起从3D视角限定了内部空间的***。
此后，检查平台可以指导用户通过在内部空间平移图像传感器来生成全景(步骤702)。这可以使用容纳在与用户相关联的计算设备中的相机来实现。在一些实施例中，检查平台位于计算设备上，而在其他实施例中，检查平台位于与计算设备通信连接的另一计算设备上。在检查平台位于与用户相关联的计算设备上的实施例中，检查平台可以配置捕获会话使得全景在由相机生成之后由操作***可获得。例如，检查平台可以通过基于内部空间的特性配置相机的捕获参数来使得捕获会话被定制。作为示例，可以基于环境光水平、到壁的距离、内部空间中的位置等来改变分辨率、焦点或闪光。可以基于由包括在计算设备的传感器套件(例如，图2的传感器套件212)中的传感器产生的输出来确定内部空间的这些特性。
检查平台然后可以获取由图像传感器生成的内部空间的全景(步骤703)。在检查平台位于用于捕获全景的计算设备上的实施例中，检查平台可以直接从操作***获得全景。或者，检查平台可以(例如，经由图2的通信模块208)从网络接收全景。此后，检查平台可以将经训练的模型应用于全景以产生一系列输出(步骤704)。一系列输出中的每个输出可以表示由经训练的模型基于对全景的分析预测的接合点。经训练的模型可以被配置为以柱状方式对与全景对应的像素数据执行逐像素分类以产生一系列输出。
在一些实施例中，检查平台基于一系列输出建立内部空间的布局(步骤705)。例如，检查平台可以基于一系列输出来计算内部空间的维度，然后创建内部空间的基于维度的2D平面图。作为另一示例，检查平台可以基于一系列输出计算内部空间的维度，然后创建内部空间的基于维度的3D平面图。平面图是2D还是3D可以取决于检查平台所预测的接合点的类型。此外，检查平台可以将关于布局的信息编码在与内部空间相关联的数据结构中(步骤706)。图7的步骤706可以基本上类似于图5的步骤506。
在一些实施例中，检查平台被配置为在捕获全景的捕获会话期间向用户提供反馈。例如，检查平台可以使得全景显示在界面上(步骤707)，然后通过在全景上叠加至少一个边界框来指示由经训练的模型预测的每个接合点的位置(步骤708)。如图6所示，每个边界框的周长通常由四个输出的集来限定。通常，四个输出的集包括表示地板-壁边界的第一输出、表示天花板-壁边界的第二输出、以及表示不同的壁-壁边界的第三输出和第四输出。在一些实施例中，近实时地执行步骤707-步骤708。由此，当图像传感器在内部空间平移(且全景呈现在计算设备的显示器上)时，边界框可叠加在全景上。在其他实施例中，在生成全景之后执行步骤707-步骤708。例如，可以由检查平台响应于接收到指示用户对全景的选择的输入而执行步骤707-步骤708。
图8包括用于识别包括在可获得全景的物理空间中的对象的过程800的流程图。该物理空间可以是内部空间或外部空间。在一些实施例中，通过直接将计算机视觉模型应用于全景来识别对象，而在其他实施例中，在应用计算机视觉模型之前将全景投影回到正常透视图像中。另外或可替代地，计算机视觉模型可应用于共同形成全景的图像中的一些或全部。
最初，检查平台可以获取由计算设备的图像传感器生成的物理空间的全景(步骤801)。如上文参见图4-图5和图7所论述，全景通常作为测量操作的一部分而生成，在测量操作中用户在物理空间平移图像传感器。例如，可以由检查平台引导用户在物理空间的一部分***地平移图像传感器(例如，以便以360度成像横向空间)，或者可以由检查平台引导用户在整个物理空间***地平移图像传感器(例如，以便以360度成像横向空间并且以360度成像垂直空间)。
此后，检查平台可将一个或更多个分类模型应用于全景(步骤802)，以便识别包括在全景中的一个或更多个类型的对象。每个分类模型可以被设计、接着被训练以识别不同类型的对象。例如，分类模型可以包括被训练成用于识别炉灶的第一分类模型、被训练成用于识别热水器的第二分类模型、被训练成用于识别水渍的第三分类模型等。因此，可以训练分类模型以识别与一定风险程度相关联的对象，以及那些对象引起的损坏的视觉标记。
应用于全景的分类模型可以取决于物理空间的性质。例如，假设用户指定她对生成厨房的全景感兴趣，然后如上所述继续对厨房进行成像。在这种情况下，检查平台可以仅应用被认为适合于或适用于厨房的那些分类模型。作为示例，检查平台可以应用与炉灶、冰箱和水污渍相关联的分类模型，但不应用与洗衣机或门廊相关联的分类模型。这可有利地允许检查平台节省计算资源，因为不必将每个分类模型应用于由检查平台获得的每个全景。
为了确定哪些分类模型(如果有的话)适合于给定物理空间，检查平台可以访问数据结构，在数据结构中，每个分类模型以编程方式与一种或更多种类型的物理空间相关联。例如，被训练用于识别炉灶的分类模型可以被标记为适合于厨房，而被训练用于识别水渍的分类模型可以被标记为适合于厨房、浴室、卧室和外部空间。(例如，在训练时)这些关系可以被手动地限定，或者(例如，基于对检查平台可用的每个分类模型可被应用到的全景的池的分析)这些关系可被检查平台自动地确定。
非常类似于上文参见图5和图7所讨论的经训练的模型，每个分类模型可以产生边界框或逐像素分类作为输出，边界框或逐像素分类限定被确定为表示对应类型的对象的实例的像素。对于给定全景，检查平台可以获得与不同类型的对象相关联的若干边界框。例如，在全景与厨房相关联的情况下，检查平台可以最终获得识别炉灶的第一边界框、识别冰箱的第二边界框、识别水渍的第三边界框等。
在一些实施例中，检查平台还被配置为基于对全景的分析确定由分类模型识别的每个对象的维度(步骤803)。作为示例，对于给定的对象，检查平台可以基于由分类模型产生的输出来识别对象的边界，然后基于边界来计算、推断或以其他方式建立对象的维度。(例如，仅基于对其边界的分析)可以在绝对意义上确定维度，或者(例如，通过在物理空间的接合点、物理空间中的其他对象等的背景下考虑其边界)可以在相对意义上确定维度。
检查平台可以将关于(如果有的话)由分类模型产生的输出的信息编码在与物理空间相关联的数据结构中(步骤804)。除了信息涉及对象而不是物理空间，图8的步骤804可以基本上分别类似于图5和图7的步骤506和步骤706。例如，检查平台可以将对象的维度编码在数据结构中。另外或替代地，检查平台可以(例如，根据全景的像素坐标)编码针对对象确定的边界框的边界。
注意，虽然本文描述的过程中执行的步骤的序列是示例性的，但是步骤可以以各种序列和组合来执行。例如，可以将步骤添加至这些过程或从这些过程中去除。类似地，可以替换或重新排序步骤。因此，这些过程的描述旨在是开放式的。
在一些实施例中还可以包括另外的步骤。
例如，当如以上参见图5和图7所讨论的将经训练的模型应用于全景时，将产生表示接合点的预测位置的输出。然而，这些预测位置可能稍微不准确，这取决于用于捕获全景的计算设备的位置，以及例如照明、分辨率等其他因素。检查平台可以试图通过调整预测位置来限制不准确性。例如，检查平台可被配置成基于由包括在计算设备中的其他传感器生成的全景和/或输出来数学地建模各个接合点(以及在接合点对之间)的空间位置。
作为另一示例，当如上文参见图8所论述的分类模型应用于全景时，可以产生识别给定类型的对象的实例的输出。在这样的场景中，关于对象的信息可以被呈现在界面上以供用户查看。由此，用户可以能够确认或拒绝如由分类模型识别的对象的实例。另外或替代地，检查平台可以能够提示或准许用户提供关于对象的实例的信息。例如，假设检查平台将识别炉灶的实例的分类模型应用于全景。在这种情况下，检查平台可以主动地要求用户提供关于炉灶的附加信息(例如，燃料类型和年龄)。
处理***
图9是示出可以实现本文所描述的至少一些操作的处理***900的示例的框图。例如，处理***900的组件可以托管在包括检查平台的计算设备上，或者处理***900的组件可以托管在具有捕获物理空间的全景的计算设备上。
处理***900可以包括通信地连接至总线916的中央处理单元(“处理器”)902、主存储器906、非易失性存储器910、网络适配器912、视频显示器918、输入/输出设备920、控制设备922(例如，键盘或定点设备)、包括存储介质926的驱动单元924、以及信号生成设备930。总线916被示出为表示通过适当桥接器、适配器或控制器连接的一个或更多个物理总线或点对点连接的抽象。因此，总线916可以包括***总线、***组件互连(PeripheralComponent Interconnec，PCI)总线或PCI-Express总线、超传输或工业标准架构(industrystandard architecture，ISA)总线、小型计算机***接口(small computersysteminterface，SCSI)总线、通用串行总线(universal serial bus，USB)、内部集成电路(inter-integrated circuit，I2C)总线、或电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。
虽然主存储器906、非易失性存储器910以及存储介质926被示出为单个介质，术语“机器可读介质”和“存储介质”应当被认为包括存储一个或更多个指令集928的单个介质或多个介质(例如，集中/分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”和“存储介质”还应被视为包括能够存储、编码或承载用于由处理***900执行的指令集的任何介质。
通常，被执行以实现本公开的实施例的例程可以被实现为操作***或特定应用、组件、程序、对象、模块或指令序列(统称为“计算机程序”)的一部分。计算机程序通常包括在不同时间设置在计算设备中的不同存储器和存储设备中的一个或更多个指令(例如，指令904、908、928)。当由处理器902读取和执行时，指令使处理***900执行操作以执行涉及本公开的各个方面的元件。
机器和计算机可读介质的其他示例包括：可记录型介质和传输型介质，可记录型介质诸如易失性存储器设备和非易失性存储器设备910、可移动盘、硬盘驱动器和光盘(例如，致密盘只读存储器(Compact Disk Read-Only Memory，CD-ROM)和数字通用盘(DigitalVersatile Disk，DVD))，传输型介质诸如数字和模拟通信链路。
网络适配器912使处理***900能够通过由处理***900和外部实体所支持的任何通信协议，来与处理***900外部的实体调解网络914中的数据。网络适配器912可以包括：网络适配器卡、无线网络接口卡、路由器、接入点、无线路由器、交换机、多层交换机、协议转换器、网关、网桥、网桥路由器、集线器、数字媒体接收器、中继器或其任何组合。
附注
出于说明和描述的目的，已经提供了对所要求保护的主题的各种实施例的前述描述。这并不旨在是详尽的或将要求保护的主题限制于所公开的精确形式。许多修改和变型对于本领域技术人员而言将是显而易见的。选择和描述实施例是为了最好地描述本发明的原理及其实际应用，从而使得相关领域的技术人员能够理解所要求保护的主题、各种实施例、以及适合于所设想的特定用途的各种修改。
虽然具体实施方式描述了某些实施例以及所设想的最佳模式，但是该技术可以用许多方式来实践，而不管具体实施方式如何详细。实施例可在其实现细节上显著变化，同时仍由说明书涵盖。当描述不同实施例的某些特征或方面时所使用的特定术语不应被视为暗示，术语在本文中被重新定义成限于与该术语相关联的技术的任何特定特性、特征或方面。除非那些术语在本文中明确定义，否则通常，在以下权利要求中使用的术语不应被解释为将本技术限制在本说明书中公开的特定实施例。因此，本技术的实际范围不仅包括所公开的实施例，而且包括实践或实现实施例的所有等同方式。
本说明书中使用的语言主要是出于可读性和指导性目的而选择的。可能尚未选择描绘或限定主题。因此，本技术的范围不受具体实施方式限制，而是受基于具体实施方式的申请提出的任何权利要求限制。因此，各种实施例的公开旨在说明而非限制如所附权利要求书中阐述的技术的范围。

Claims (20)

1.一种非暂时性介质，所述非暂时性介质上存储有指令，所述指令在由计算设备的处理器执行时使所述计算设备执行操作，所述操作包括：
接收指示建立内部空间的布局的请求的输入，所述内部空间的布局包括一系列接合点，每个接合点表示不同的垂直平坦表面对被接合的点；
指导用户通过遍及所述内部空间平移相机来生成全景图像，以便沿着水平面以360度成像所述内部空间；
由所述相机获取所述内部空间的惯性数据和所述全景图像；
通过将所述惯性数据和与所述全景图像相关联的图像数据在时间上对准来生成等矩形全景图像；
将一个或更多个经训练的分类模型应用于所述等矩形全景图像，以生成视觉标记以指示在所述内部空间中结构的异常外观；其中，所述结构的异常外观包括一个或更多个风险或危害；
建立所述内部空间的布局；以及
将关于所述布局的信息编码在与所述内部空间相关联的数据结构中。
2.根据权利要求1所述的非暂时性介质，还包括：
通过配置所述相机的捕获参数使得捕获会话被定制；其中，所述捕获参数包括相机分辨率、焦点或闪光；以及
根据所定制的捕获会话获取所述内部空间的所述惯性数据和所述全景图像。
3.根据权利要求1所述的非暂时性介质，还包括：将经训练的模型应用于所述等矩形全景图像以产生一系列输出，其中，所述一系列输出中的每个输出表示由所述经训练的模型基于对所述等矩形全景图像的分析而预测的对应接合点。
4.根据权利要求3所述的非暂时性介质，其中，建立所述内部空间的布局包括：
针对所述一系列输出中的每个输出，预测所述对应接合点在坐标系的背景中的空间位置；以及
基于针对所述一系列输出预测的所述空间位置来计算所述内部空间的维度。
5.根据权利要求4所述的非暂时性介质，其中，所述建立所述内部空间的布局包括：为所述内部空间创建基于所述维度的三维(3D)平面图。
6.根据权利要求1所述的非暂时性介质，其中，所述一系列接合点中的每个接合点表示地板和壁接合的地板-壁边界、天花板和壁接合的天花板-壁边界或一对壁接合的壁-壁边界。
7.根据权利要求1所述的非暂时性介质，其中，所述相机包括在所述计算设备中，其中，所述操作还包括：
响应于接收所述输入，配置捕获会话使得所述全景图像和所述等矩形全景图像中的一个或更多个在由所述相机生成之后能够由所述计算设备的操作***获得。
8.根据权利要求7所述的非暂时性介质，其中，所述全景图像表示具有重叠部分的一系列帧，所述重叠部分通过所述计算设备的操作***被接合在一起以共同表示所述内部空间。
9.根据权利要求1所述的非暂时性介质，其中，所述一个或更多个经训练的分类模型对与所述全景图像和所述等矩形全景图像中的一个或更多个对应的像素数据执行逐像素分类。
10.根据权利要求1所述的非暂时性介质，其中，所述操作还包括：
通过基于所述内部空间的特性配置所述相机的捕获参数，来使捕获会话被定制。
11.根据权利要求1所述的非暂时性介质，其中，所述操作还包括：
使得所述全景图像显示在界面上；以及
通过在所述全景图像上叠加至少一个边界框来指示由所述一个或更多个经训练的分类模型预测的每个接合点的位置，其中，每个边界框的周长由四个输出的集限定，以及其中，所述四个输出的集包括：表示地板-壁边界的第一输出、表示天花板-壁边界的第二输出、以及表示不同的壁-壁边界的第三输出和第四输出。
12.根据权利要求11所述的非暂时性介质，其中，所述相机遍及所述内部空间平移时，近似实时地执行：使得所述全景图像显示在界面上和指示每个接合点的位置。
13.一种由在计算设备上执行的计算机程序实现的方法，所述方法包括：
接收指示建立内部空间的布局的请求的输入，所述内部空间的布局包括一系列接合点，每个接合点表示不同的表面对被接合的点；
指导用户通过在所述内部空间周围平移相机来生成全景图像；
由所述相机获取所述内部空间的惯性数据和至少两个图像；
通过将所述惯性数据与所述至少两个图像在时间上对准来生成等矩形全景图像；
将一个或更多个经训练的分类模型应用于所述等矩形全景图像，以生成视觉标记来指示在所述内部空间中结构的异常外观；其中，所述结构的异常外观包括一个或更多个风险或危害；以及
使得对所述等矩形全景图像中叠加有图形元素的至少一部分进行显示。
14.根据权利要求13所述的方法，还包括：
通过配置所述相机的捕获参数使得捕获会话被定制，其中，所述捕获参数包括相机分辨率、焦点或闪光；以及
根据所定制的捕获会话获取所述内部空间的所述惯性数据和所述全景图像。
15.根据权利要求13所述的方法，还包括：将经训练的模型应用于所述等矩形全景图像以产生一系列输出，其中，所述一系列输出中的每个输出表示由所述经训练的模型基于对所述等矩形全景图像的分析而预测的对应接合点，其中，建立所述内部空间的布局包括：
针对所述一系列输出中的每个输出，预测所述对应接合点在坐标系的背景中的空间位置；以及
基于针对所述一系列输出预测的所述空间位置来计算所述内部空间的维度。
16.根据权利要求13所述的方法，其中，所述一系列接合点中的每个接合点表示地板和壁接合的地板-壁边界、天花板和壁接合的天花板-壁边界或一对壁接合的壁-壁边界。
17.根据权利要求13所述的方法，其中，所述全景图像表示具有重叠部分的一系列帧，所述重叠部分通过所述计算设备的操作***被接合在一起以共同表示所述内部空间。
18.根据权利要求13所述的方法，其中，所述一个或更多个经训练的分类模型对与所述全景图像和所述等矩形全景图像中的一个或更多个对应的像素数据执行逐像素分类。
19.根据权利要求13所述的方法，还包括：
使得所述全景图像显示在界面上；以及
通过在所述全景图像上叠加至少一个边界框来指示由所述一个或更多个经训练的分类模型预测的每个接合点的位置，其中，每个边界框的周边由四个输出的集限定，以及其中，所述四个输出的集包括：表示地板-壁边界的第一输出、表示天花板-壁边界的第二输出、以及表示不同的壁-壁边界的第三输出和第四输出。
20.根据权利要求19所述的方法，其中，所述相机遍及所述内部空间平移时，近似实时地执行：使得所述全景图像显示在界面上和指示每个接合点的位置。
CN202311238654.3A 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果 Pending CN117744196A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063091149P 2020-10-13 2020-10-13
US63/091,149 2020-10-13
CN202180070143.8A CN116406461B (zh) 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果
PCT/US2021/054796 WO2022081717A1 (en) 2020-10-13 2021-10-13 Generating measurements of physical structures and environments through automated analysis of sensor data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180070143.8A Division CN116406461B (zh) 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果

Publications (1)

Publication Number Publication Date
CN117744196A true CN117744196A (zh) 2024-03-22

Family

ID=81079292

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311238654.3A Pending CN117744196A (zh) 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果
CN202180070143.8A Active CN116406461B (zh) 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180070143.8A Active CN116406461B (zh) 2020-10-13 2021-10-13 通过自动分析传感器数据生成物理结构和环境的测量结果

Country Status (4)

Country Link
US (3) US11699001B2 (zh)
EP (1) EP4229552A4 (zh)
CN (2) CN117744196A (zh)
WO (1) WO2022081717A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769245B2 (en) * 2021-10-21 2023-09-26 Goodrich Corporation Systems and methods of monitoring cargo load systems for damage detection

Family Cites Families (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
JP4244973B2 (ja) * 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US8564640B2 (en) * 2007-11-16 2013-10-22 Tenebraex Corporation Systems and methods of creating a virtual window
US8217956B1 (en) * 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
JP5504915B2 (ja) * 2010-01-26 2014-05-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP2011155361A (ja) * 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5686244B2 (ja) * 2010-12-21 2015-03-18 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US10663294B2 (en) * 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US8570329B1 (en) * 2012-10-31 2013-10-29 Google Inc. Subtle camera motions to indicate imagery type in a mapping system
US8902322B2 (en) * 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
IES20120509A2 (en) * 2012-11-27 2014-06-04 Digitaloptics Corp Europe Ltd Digital image capture device having a panorama mode
US9602720B2 (en) * 2012-12-10 2017-03-21 Samsung Electronics Co., Ltd. Photographing apparatus
US20140362176A1 (en) * 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
US9595134B2 (en) * 2013-05-11 2017-03-14 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D scenes from 2D images
US10438633B2 (en) * 2013-05-26 2019-10-08 Pixellot Ltd. Method and system for low cost television production
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
US11670046B2 (en) * 2013-07-23 2023-06-06 Hover Inc. 3D building analyzer
US10861224B2 (en) * 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
US20150207988A1 (en) * 2014-01-23 2015-07-23 Nvidia Corporation Interactive panoramic photography based on combined visual and inertial orientation tracking
US20210183128A1 (en) * 2014-02-20 2021-06-17 William Ernest Miller Method and system for construction project management using photo imaging measurements
GB2525232A (en) * 2014-04-17 2015-10-21 Nokia Technologies Oy A device orientation correction method for panorama images
US9977844B2 (en) * 2014-05-13 2018-05-22 Atheer, Inc. Method for providing a projection to align 3D objects in 2D environment
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US9589362B2 (en) * 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US10313656B2 (en) * 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10650106B2 (en) * 2015-01-28 2020-05-12 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
US10410413B2 (en) * 2015-05-29 2019-09-10 Hover Inc. Image capture for a multi-dimensional building model
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US20170180680A1 (en) * 2015-12-21 2017-06-22 Hai Yu Object following view presentation method and system
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170278308A1 (en) * 2016-03-23 2017-09-28 Intel Corporation Image modification and enhancement using 3-dimensional object model based recognition
EP3440897B1 (en) * 2016-04-06 2020-02-05 Signify Holding B.V. Controlling a lighting system
US10554896B2 (en) * 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US10607405B2 (en) * 2016-05-27 2020-03-31 Rakuten, Inc. 3D model generating system, 3D model generating method, and program
CN109863754B (zh) * 2016-06-07 2021-12-28 维斯比特股份有限公司 用于直播流化的虚拟现实360度视频相机***
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10529029B2 (en) * 2016-09-23 2020-01-07 Aon Benfield Inc. Platform, systems, and methods for identifying property characteristics and property feature maintenance through aerial imagery analysis
US10600150B2 (en) * 2016-10-31 2020-03-24 Adobe Inc. Utilizing an inertial measurement device to adjust orientation of panorama digital images
AU2017361061B2 (en) * 2016-11-15 2022-02-03 Magic Leap, Inc. Deep learning system for cuboid detection
JP6116746B1 (ja) * 2016-11-17 2017-04-19 株式会社ネクスト 情報処理装置、情報処理方法、及びプログラム
US11210854B2 (en) * 2016-12-30 2021-12-28 Facebook, Inc. Systems and methods for providing augmented reality personalized content
WO2018127625A1 (en) * 2017-01-03 2018-07-12 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US11043026B1 (en) * 2017-01-28 2021-06-22 Pointivo, Inc. Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom
US10248744B2 (en) * 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
US10616482B2 (en) * 2017-03-10 2020-04-07 Gopro, Inc. Image quality assessment
CN110419049B (zh) * 2017-03-17 2024-01-23 奇跃公司 房间布局估计方法和技术
US11218683B2 (en) * 2017-03-22 2022-01-04 Nokia Technologies Oy Method and an apparatus and a computer program product for adaptive streaming
US10499046B2 (en) * 2017-04-13 2019-12-03 Facebook, Inc. Generating depth maps for panoramic camera systems
US10572970B2 (en) * 2017-04-28 2020-02-25 Google Llc Extracting 2D floor plan from 3D GRID representation of interior space
US10567630B2 (en) * 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
US10319150B1 (en) * 2017-05-15 2019-06-11 A9.Com, Inc. Object preview in a mixed reality environment
EP3404913B1 (en) * 2017-05-16 2019-11-06 Axis AB A system comprising a video camera and a client device and a method performed by the same
CN109087235B (zh) * 2017-05-25 2023-09-15 钰立微电子股份有限公司 图像处理器和相关的图像***
US10321109B1 (en) * 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10530997B2 (en) * 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
US10304254B2 (en) * 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
US10477064B2 (en) * 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
US10410350B2 (en) * 2017-10-30 2019-09-10 Rakuten, Inc. Skip architecture neural network machine and method for improved semantic segmentation
US10395147B2 (en) * 2017-10-30 2019-08-27 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
US11127213B2 (en) * 2017-12-22 2021-09-21 Houzz, Inc. Techniques for crowdsourcing a room design, using augmented reality
EP3506211B1 (en) * 2017-12-28 2021-02-24 Dassault Systèmes Generating 3d models representing buildings
EP3506160B1 (en) * 2017-12-28 2022-06-01 Dassault Systèmes Semantic segmentation of 2d floor plans with a pixel-wise classifier
US20190250283A1 (en) * 2018-02-09 2019-08-15 Matterport, Inc. Accuracy of gps coordinates associated with image capture locations
US11494857B2 (en) * 2018-02-15 2022-11-08 Flyreel, Inc. Property inspection system and method
US20190266793A1 (en) * 2018-02-23 2019-08-29 Lowe's Companies, Inc. Apparatus, systems, and methods for tagging building features in a 3d space
US11328102B2 (en) * 2018-03-29 2022-05-10 Aecom Digital design tools for building construction
US20190303648A1 (en) * 2018-04-02 2019-10-03 QRI Group, LLC Smart surveillance and diagnostic system for oil and gas field surface environment via unmanned aerial vehicle and cloud computation
US10643386B2 (en) * 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
US10950021B2 (en) * 2018-04-23 2021-03-16 Accenture Global Solutions Limited AI-driven design platform
US10592747B2 (en) * 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP7163057B2 (ja) * 2018-04-26 2022-10-31 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
GB2574795B (en) * 2018-05-04 2022-10-05 Signaturize Holdings Ltd Generating virtual representations
WO2019211586A1 (en) * 2018-05-04 2019-11-07 Signaturize Holdings Ltd Generating virtual representations
EP3799035A4 (en) * 2018-05-11 2022-04-13 Clepseadra, Inc. ACOUSTIC PROGRAM, ACOUSTIC DEVICE AND ACOUSTIC SYSTEM
US11010977B2 (en) * 2018-05-31 2021-05-18 Jido, Inc. Method for establishing a common reference frame amongst devices for an augmented reality session
US11582402B2 (en) * 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
KR102138536B1 (ko) * 2018-06-08 2020-07-28 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CA3102618A1 (en) * 2018-06-15 2019-12-19 Geomni, Inc. Computer vision systems and methods for modeling roofs of structures using two-dimensional and partial three-dimensional data
US11189078B2 (en) * 2018-06-20 2021-11-30 Google Llc Automated understanding of three dimensional (3D) scenes for augmented reality applications
WO2020006078A1 (en) * 2018-06-26 2020-01-02 Gopro, Inc. Entropy maximization based auto-exposure
EP3815398B1 (en) * 2018-06-27 2023-09-06 Niantic, Inc. Multi-sync ensemble model for device localization
US10735708B2 (en) * 2018-06-28 2020-08-04 EyeSpy360 Limited Transforming locations in a spherical image viewer
US10740870B2 (en) * 2018-06-28 2020-08-11 EyeSpy360 Limited Creating a floor plan from images in spherical format
CN108961395B (zh) * 2018-07-03 2019-07-30 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN111837383B (zh) * 2018-07-13 2023-01-31 Lg电子株式会社 发送和接收关于动态视点的坐标系的元数据的方法和装置
US11468206B2 (en) * 2018-08-20 2022-10-11 Sri International Machine learning system for building renderings and building information modeling data
WO2020041893A1 (en) * 2018-09-01 2020-03-05 Digital Animal Interactive Inc. Image processing methods and systems
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
US11276244B2 (en) * 2018-09-18 2022-03-15 AB Strategies SEZC Ltd. Fixing holes in a computer generated model of a real-world environment
US20210383115A1 (en) * 2018-10-09 2021-12-09 Resonai Inc. Systems and methods for 3d scene augmentation and reconstruction
US10809066B2 (en) * 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10708507B1 (en) * 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
CA3058602C (en) * 2018-10-11 2023-01-24 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10937211B2 (en) * 2018-11-09 2021-03-02 Autodesk, Inc. Automated parametrization of floor-plan sketches for multi-objective building optimization tasks
KR20200061279A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
KR101988372B1 (ko) * 2018-11-30 2019-06-12 주식회사 큐픽스 사진 이미지를 이용한 3차원 건축물 모델 역설계 장치 및 방법
US10839606B2 (en) * 2018-12-28 2020-11-17 National Tsing Hua University Indoor scene structural estimation system and estimation method thereof based on deep learning network
US20210312702A1 (en) * 2019-01-22 2021-10-07 Fyusion, Inc. Damage detection from multi-view visual data
US11922489B2 (en) * 2019-02-11 2024-03-05 A9.Com, Inc. Curated environments for augmented reality applications
US11367250B2 (en) * 2019-03-18 2022-06-21 Geomagical Labs, Inc. Virtual interaction with three-dimensional indoor room imagery
WO2020191109A1 (en) * 2019-03-18 2020-09-24 Geomagical Labs, Inc. System and method for virtual modeling of indoor scenes from imagery
US10930057B2 (en) * 2019-03-29 2021-02-23 Airbnb, Inc. Generating two-dimensional plan from three-dimensional image data
US10977525B2 (en) * 2019-03-29 2021-04-13 Fuji Xerox Co., Ltd. Indoor localization using real-time context fusion of visual information from static and dynamic cameras
AU2020255407A1 (en) * 2019-04-02 2021-11-04 Buildots Ltd. Construction project tracking
US11636235B2 (en) * 2019-04-15 2023-04-25 Awi Licensing Llc Systems and methods of predicting architectural materials within a space
US11074697B2 (en) * 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US11586918B2 (en) * 2019-06-06 2023-02-21 Bluebeam, Inc. Methods and systems for automatically detecting design elements in a two-dimensional design document
EP3984000A4 (en) * 2019-06-12 2023-06-28 Boom Interactive, Inc. Data serialization extrusion for converting two-dimensional images to three-dimensional geometry
EP3994660A4 (en) * 2019-07-01 2023-08-02 Geomagical Labs, Inc. METHOD AND SYSTEM FOR IMAGE GENERATION
GB2585370B (en) * 2019-07-02 2022-02-23 Parsempo Ltd Digital display set-up
US10956626B2 (en) * 2019-07-15 2021-03-23 Ke.Com (Beijing) Technology Co., Ltd. Artificial intelligence systems and methods for interior design
US11243656B2 (en) * 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
US11093671B2 (en) * 2019-09-06 2021-08-17 Beamup Ltd. Structural design systems and methods to define areas of interest for modeling and simulation-based space planning
US11164368B2 (en) * 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
US20210117582A1 (en) * 2019-10-16 2021-04-22 Select Interior Concepts, Inc. Visualizing Building Interior Information In A User-Customized Manner
CA3148166A1 (en) * 2019-10-18 2021-04-22 Shadrian Strong Systems for the classification of interior structure areas based on exterior images
US11694354B2 (en) * 2019-10-18 2023-07-04 Pictometry International Corp. Geospatial object geometry extraction from imagery
CN112712584B (zh) * 2019-10-25 2024-05-24 阿里巴巴集团控股有限公司 空间建模方法、装置、设备
US11164361B2 (en) * 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US10825247B1 (en) * 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models
US11676344B2 (en) * 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US20230196684A1 (en) * 2019-11-12 2023-06-22 MFTB Holdco, Inc. Presenting Building Information Using Video And Building Models
US11328476B2 (en) * 2019-11-14 2022-05-10 Qualcomm Incorporated Layout estimation using planes
CN114641753A (zh) * 2019-11-18 2022-06-17 欧特克公司 使用机器学***面图图纸进行合成数据生成和建筑信息模型(bim)要素提取
US11276179B2 (en) * 2019-12-18 2022-03-15 Zoox, Inc. Prediction on top-down scenes based on object motion
CN116017164A (zh) * 2019-12-30 2023-04-25 马特波特公司 捕获并生成全景三维图像的***和方法
US11551422B2 (en) * 2020-01-17 2023-01-10 Apple Inc. Floorplan generation based on room scanning
US11763478B1 (en) * 2020-01-17 2023-09-19 Apple Inc. Scan-based measurements
US20210256177A1 (en) * 2020-02-14 2021-08-19 Pic2Sketch System and method for creating a 2D floor plan using 3D pictures
US11244466B2 (en) * 2020-02-27 2022-02-08 Dell Products L.P. Automated capacity management using artificial intelligence techniques
EP4111365A4 (en) * 2020-02-27 2024-03-20 Tailorbird Inc APPARATUS AND METHOD FOR CONVERTING DIGITAL IMAGES INTO THREE-DIMENSIONAL CONSTRUCTION IMAGES
CA3173791A1 (en) * 2020-02-28 2021-09-02 Aurora Solar Inc. Automated three-dimensional building model estimation
US11928873B2 (en) * 2020-03-04 2024-03-12 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3D scans of indoor scenes
US20210303757A1 (en) * 2020-03-30 2021-09-30 Kla Corporation Semiconductor fabrication process parameter determination using a generative adversarial network
US11538231B2 (en) * 2020-04-06 2022-12-27 Nvidia Corporation Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
AU2021254727A1 (en) * 2020-04-13 2022-12-22 Charles C. Carrington Georeferencing a generated floorplan and generating structural models
US11455074B2 (en) * 2020-04-17 2022-09-27 Occipital, Inc. System and user interface for viewing and interacting with three-dimensional scenes
US11196944B2 (en) * 2020-05-06 2021-12-07 At&T Intellectual Property I, L.P. System for infinite windows with optical disparity and depth resolution
US11006041B1 (en) * 2020-05-07 2021-05-11 Qualcomm Incorporated Multiple camera system for wide angle imaging
JP2021177144A (ja) * 2020-05-08 2021-11-11 キヤノン株式会社 情報処理装置、情報処理方法及びープログラム
US11436812B2 (en) * 2020-05-29 2022-09-06 Open Space Labs, Inc. Machine learning based object identification using scaled diagram and three-dimensional model
US11405549B2 (en) * 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
CN113761614B (zh) * 2020-06-05 2023-08-11 杭州群核信息技术有限公司 一种平面家装设计辅助方法
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images
US20220180595A1 (en) * 2020-06-12 2022-06-09 Boom Interactive, Inc. System and method for creating three-dimensional renderings of environments from two-dimensional images
CN113971628A (zh) * 2020-07-24 2022-01-25 株式会社理光 图像匹配方法、装置和计算机可读存储介质
US20230290132A1 (en) * 2020-07-29 2023-09-14 Magic Leap, Inc. Object recognition neural network training using multiple data sources
US11514674B2 (en) * 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
US20220092227A1 (en) * 2020-09-22 2022-03-24 Zillow, Inc. Automated Identification And Use Of Building Floor Plan Information
US20220108044A1 (en) * 2020-10-02 2022-04-07 OPR General Contracting, Inc. Kitchen Renovation System
US20220107977A1 (en) * 2020-10-05 2022-04-07 Modern Adjusting Services, LLC Methods, systems, and software for inspection of a structure
US11592969B2 (en) * 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
CN114390262A (zh) * 2020-10-21 2022-04-22 中强光电股份有限公司 用于拼接三维球面全景影像的方法及电子装置
US20220148327A1 (en) * 2020-11-10 2022-05-12 Autodesk, Inc. Machine learning techniques for extracting floorplan elements from architectural drawings
US11797724B2 (en) * 2020-11-13 2023-10-24 Qualcomm Incorporated Scene layout estimation
CA3142154A1 (en) * 2021-01-08 2022-07-08 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11252329B1 (en) * 2021-01-08 2022-02-15 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11836973B2 (en) * 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US11790648B2 (en) * 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11094135B1 (en) * 2021-03-05 2021-08-17 Flyreel, Inc. Automated measurement of interior spaces through guided modeling of dimensions
US11507713B2 (en) * 2021-03-05 2022-11-22 Flyreel, Inc. Semi-supervised 3D indoor layout estimation from a single 360 degree panorama
US11481704B2 (en) * 2021-03-09 2022-10-25 Togal.Ai Inc. Methods and apparatus for artificial intelligence conversion of change orders into an actionable interface
US12008817B2 (en) * 2021-03-11 2024-06-11 GM Global Technology Operations LLC Systems and methods for depth estimation in a vehicle
US20220287530A1 (en) * 2021-03-15 2022-09-15 Midea Group Co., Ltd. Method and Apparatus for Localizing Mobile Robot in Environment
US20220375170A1 (en) * 2021-05-21 2022-11-24 Occipital, Inc. System for generation of floor plans and three-dimensional models
US11657611B2 (en) * 2021-05-28 2023-05-23 Verizon Patent And Licensing Inc. Methods and systems for augmented reality room identification based on room-object profile data
US11625553B2 (en) * 2021-06-01 2023-04-11 Buildingestimates.Com Limited Rapid and accurate modeling of a building construction structure including estimates, detailing, and take-offs using artificial intelligence
US11625893B2 (en) * 2021-06-21 2023-04-11 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) three-dimensional modeling
WO2023009749A1 (en) * 2021-07-28 2023-02-02 OPAL AI Inc. Floorplan generation system and methods of use
US11861762B2 (en) * 2021-08-12 2024-01-02 Adobe Inc. Generating synthesized digital images utilizing class-specific machine-learning models
US11989848B2 (en) * 2021-09-17 2024-05-21 Yembo, Inc. Browser optimized interactive electronic model based determination of attributes of a structure
US11734861B2 (en) * 2021-09-22 2023-08-22 Awe Company Limited 2D and 3D floor plan generation
US11842464B2 (en) * 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US11410362B1 (en) * 2021-10-12 2022-08-09 Procore Technologies, Inc. Automatic area detection
US11282268B1 (en) * 2021-10-27 2022-03-22 Flyreel, Inc. Top-down view mapping of interior spaces
US20230184949A1 (en) * 2021-12-09 2023-06-15 Robert Bosch Gmbh Learning-based system and method for estimating semantic maps from 2d lidar scans
US20230184537A1 (en) * 2021-12-10 2023-06-15 Flyreel, Inc. Provoking movement of computing devices with augmented reality features
US20230185978A1 (en) * 2021-12-14 2023-06-15 Buildots Ltd. Interactive gui for presenting construction information at construction projects
US20230206393A1 (en) * 2021-12-28 2023-06-29 MFTB Holdco., Inc. Automated Building Information Determination Using Inter-Image Analysis Of Multiple Building Images
WO2023173126A1 (en) * 2022-03-10 2023-09-14 Matterport, Inc. System and method of object detection and interactive 3d models
US20230325547A1 (en) * 2022-04-08 2023-10-12 Honeywell International Inc. Fire system floor plan layout generation
US11783560B1 (en) * 2022-06-03 2023-10-10 Amazon Technologies, Inc. Three-dimensional room modeling and feature annotation
US11830135B1 (en) * 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images

Also Published As

Publication number Publication date
EP4229552A1 (en) 2023-08-23
US20230259667A1 (en) 2023-08-17
WO2022081717A1 (en) 2022-04-21
US20240176922A1 (en) 2024-05-30
EP4229552A4 (en) 2024-03-06
CN116406461B (zh) 2023-10-20
US11699001B2 (en) 2023-07-11
US20220114298A1 (en) 2022-04-14
US11960799B2 (en) 2024-04-16
CN116406461A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
US11252329B1 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11238652B2 (en) Presenting integrated building information using building models
US11632602B2 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11481925B1 (en) Automated determination of image acquisition locations in building interiors using determined room shapes
CA3090629A1 (en) Automated tools for generating mapping information for buildings
US11836973B2 (en) Automated direction of capturing in-room information for use in usability assessment of buildings
US11790648B2 (en) Automated usability assessment of buildings using visual data of captured in-room images
CN114357598A (zh) 用于生成建筑物映射信息的自动工具
US11501492B1 (en) Automated room shape determination using visual data of multiple captured in-room images
CN115935458A (zh) 多种类型的建筑图像之间的属性信息的自动交换和使用
US20240176922A1 (en) Generating measurements of physical structures and environments through automated analysis of sensor data
EP4293562A1 (en) Automated tools for assessing building mapping information generation
US20230184537A1 (en) Provoking movement of computing devices with augmented reality features
EP4312143A1 (en) Automated tools for incremental generation of building mapping information
US11551370B2 (en) Remote inspection and appraisal of buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination