JP2024083371A - データ処理方法、記録媒体、プログラム、及びシステム - Google Patents

データ処理方法、記録媒体、プログラム、及びシステム Download PDF

Info

Publication number
JP2024083371A
JP2024083371A JP2024048908A JP2024048908A JP2024083371A JP 2024083371 A JP2024083371 A JP 2024083371A JP 2024048908 A JP2024048908 A JP 2024048908A JP 2024048908 A JP2024048908 A JP 2024048908A JP 2024083371 A JP2024083371 A JP 2024083371A
Authority
JP
Japan
Prior art keywords
data
virtual
component
information
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024048908A
Other languages
English (en)
Inventor
康文 福間
ザイシン マオ
聡 弥延
寿夫 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2024048908A priority Critical patent/JP2024083371A/ja
Publication of JP2024083371A publication Critical patent/JP2024083371A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】建築物リアリティキャプチャの実用化及び運用のための新たな技術を提供する。【解決手段】実施形態のデータ処理方法は、仮想建築物の各仮想部材の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、設計データに基づき施工された実体建築物から取得された計測データとを準備する。また、計測データに基づいて、各実体部材の属性に関する実体部材データを生成し、仮想部材情報及び実体部材データに基づいて仮想部材と実体部材とを対応付け、この対応付けで得られた仮想部材と実体部材との各ペアの属性に基づいて仮想部材情報と実体部材データとを対応付ける。更に、いずれかの仮想部材の代表部位に対応する計測データの部分領域を代表部位情報に基づいて特定する。【選択図】図１１

Description

この発明は、建築物リアリティキャプチャのためのデータ処理方法、記録媒体、プログラム、及びシステムに関する。
リアリティキャプチャは、実体物のデータをデジタルカメラやレーザースキャナで取得して３次元モデルを構築する技術であり、計測、仮想現実、拡張現実など様々な分野で用いられている（例えば、特許文献１及び２を参照）。近年では、建築分野や土木分野におけるリアリティキャプチャの応用が注目を集めている。
建築分野では、施工管理、維持管理、補修管理などのためにリアリティキャプチャの応用が進められており、次のような技術との融合が図られている（例えば、特許文献３～１２を参照）：無人航空機（ＵＡＶ）等の移動体；トータルステーション等の測量機器；Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）、Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ（ＭＶＳ）、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏａｃｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）などのデータ処理技術；Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ（ＢＩＭ）。
このような分野で融合的システムを実用化し運用するには、各種のデータや情報を統合的に、効率的に且つ矛盾無く管理する必要があるが、そのような管理手法やシステムは未だ実現化されていない。
米国特許公開第２０１６／００３４１３７号明細書 欧州特許公開第３５２２００３号明細書 特開２０１８－１１６５７２号公報 特開２０１８－１１９８８２号公報 特開２０１８－１２４９８４号公報 特開２０１８－１５１９６４号公報 特開２０１９－０２３６５３号公報 特開２０１９－１０５７８９号公報 特開２０１９－１９４８８３号公報 特開２０１９－２１９２０６号公報 特開２０２０－００４２７８号公報 特開２０２０－００８４２３号公報
この発明の一つの目的は、建築物リアリティキャプチャの実用化及び運用のための新たな技術を提供することにある。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられ、前記仮想部材情報は、仮想部材位置情報を含み、前記実体部材データは、実体部材位置データを含み、前記仮想部材位置情報及び前記実体部材位置データは、前記部材対応付け処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された、前記仮想建築物の仮想画像とを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、移動体を用いて建築物のデータを取得するための移動制御情報を前記仮想画像に基づき作成する処理である移動制御情報作成処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記移動制御情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記移動制御情報作成処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された前記仮想建築物の仮想画像とを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を前記仮想画像に基づき作成する処理である参照情報作成処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記参照情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記参照情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された前記仮想建築物の仮想画像と、予め取得された建築物のデータとを含み、前記仮想画像に基づき前記建築物のデータからデータオブジェクトを検出する処理であるデータオブジェクト検出処理と、前記仮想部材情報と前記実体部材データと前記データオブジェクト検出処理により検出されたデータオブジェクトとに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記データオブジェクト検出処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記データオブジェクト検出処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、予め作成された、仮想部材の代表部位を示す代表部位情報と前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、を含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を前記代表部位情報に基づき特定する処理である部分領域特定処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、前記部分領域特定処理により特定された前記部分領域は、前記計測データから前記実体部材データを生成する処理である実体部材データ生成処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された、前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と前記部材選択情報に示された前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する処理である実体部材データ生成処理とに用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられ、前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、前記施工日情報及び前記計測日情報は、前記部材対応付け処理に用いられる。
幾つかの例示的な態様は、例示的な態様に係る構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体である。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに含まれるコンピュータに、例示的な態様に係る構造を有するデータが用いられる処理を実行させるプログラムである。
幾つかの例示的な態様は、例示的な態様に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含み、前記仮想部材情報は、仮想部材位置情報を含み、前記実体部材データは、実体部材位置データを含み、前記部材対応付け部は、前記仮想部材位置情報及び前記実体部材位置データに基づいて前記複数のペアを生成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記仮想画像に基づいて、移動体を用いて建築物のデータを取得するための移動制御情報を作成する移動制御情報作成部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記移動制御情報作成部は、更に前記撮影画像に基づいて、前記移動制御情報を作成する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記移動制御情報作成部は、前記推論モデルに基づいて前記移動制御情報を作成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記仮想画像に基づいて、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を作成する参照情報作成部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記参照情報作成部は、更に前記撮影画像に基づいて、前記参照情報を作成する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記参照情報作成部は、前記推論モデルに基づいて前記参照情報を作成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、建築物のデータとを記憶する記憶部と、前記仮想画像に基づいて、前記建築物のデータからデータオブジェクトを検出するデータオブジェクト検出部と、前記仮想部材情報と前記実体部材データと前記データオブジェクトとに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記データオブジェクト検出部は、更に前記撮影画像に基づいて、前記データオブジェクトを検出する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記データオブジェクト検出部は、更に前記推論モデルに基づいて、前記データオブジェクトを検出する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記代表部位情報に基づいて、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を特定する部分領域特定部とを含む。
幾つかの例示的な態様に係るシステムであって、前記部分領域特定部により特定された前記部分領域に基づいて、前記計測データから前記実体部材データを生成する第１の実体部材データ生成部を更に含む。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記部材選択情報に基づいて、前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する第２の実体部材データ生成部とを含む。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含み、前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、前記部材対応付け部は、更に前記施工日情報及び前記計測日情報に基づいて、前記複数のペアを生成する。
例示的な態様によれば、建築物リアリティキャプチャの実用化及び運用のための新たな技術が提供される。
例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様に係る仮想部材情報の構成の一例を表す概略図である。 例示的な態様に係る仮想部材情報のデータ構造の一例を表す概略図である。 例示的な態様に係る実体部材データの構成の一例を表す概略図である。 例示的な態様に係る実体部材データのデータ構造の一例を表す概略図である。 例示的な態様に係るシステムが実行する部材対応付け処理の一例を表す概略図である。 例示的な態様に係るシステムが実行する属性対応付け処理の一例を表す概略図である。 例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様に係るシステムが実行する処理の一例を説明するための概略図である。 例示的な態様に係るシステムの構成の一例を表す概略図である。 例示的な態様の使用形態に係るシステムの構成の一例を表す概略図である。 例示的な態様の使用形態に係るシステムで用いられるデータフォーマット（データ構成）の一例を表す概略図である。 例示的な態様の使用形態に係るシステムの動作の一例を表すフローチャートである。 例示的な態様の使用形態に係るシステムの動作の一例を表すフローチャートである。 例示的な態様の使用形態に係るシステムの動作の一例を表すフローチャートである。
以下の開示では、データ構造、構造を有するデータが記録された記録媒体、プログラム、プログラムが記録された記録媒体、及びシステムについて、幾つかの例示的な態様を説明する。例示的な態様は、建築物リアリティキャプチャシステムの実用化及び運用を好適に行うために利用可能であるが、他分野のリアリティキャプチャシステムにも転用可能である。また、本明細書にて引用された文献に記載されている事項や、その他の任意の公知技術を、例示的な態様に援用することが可能である。
本開示において説明される要素の機能の少なくとも一部は、回路構成（ｃｉｒｃｕｉｔｒｙ）又は処理回路構成（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び／又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（例えば、ＳＰＬＤ（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び／又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び／又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び／又はプロセッサを構成するために使用される。
以下に説明する例示的な態様を任意に組み合わせてもよい。例えば、２つ以上の例示的な態様を少なくとも部分的に組み合わせることが可能である。
＜第１の態様＞
第１の態様では、第２～第６の態様に共通の要素や共通の事項について説明する。本態様に係るシステムの構成例を図１に示す。システム１は、建築物リアリティキャプチャシステムに含まれる。建築物リアリティキャプチャシステムは、実際の建築物を計測してデジタルデータを取得する機能を有する。本態様の建築物リアリティキャプチャシステム（システム１）は、実際の建築物の計測データと設計データとの比較を容易化するためのデータ構造（フォーマット）を提供するように構成されている。本態様のリアリティキャプチャシステム（システム１）は、例えば、データ管理システムと計測システムとを含む。
本態様に係るシステム１は、記憶部１４と処理部１５とを少なくとも含み、制御部１１、ユーザーインターフェイス１２、及びデータ取得部１３を更に含む。
制御部１１は、システム１の各種制御を実行するように構成されている。制御部１１は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部１１は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置されている。
ユーザーインターフェイス１２は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。幾つかの例示的な態様のユーザーインターフェイス１２は、タッチスクリーン、ポインティングデバイス、コンピュータグラフィクスなどを利用したグラフィカルユーザーインターフェイス（ＧＵＩ）を含む。ユーザーインターフェイス１２は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置されている。
データ取得部１３は、データ生成及びデータ受付のいずれか一方又は双方を実行するように構成されている。データ生成機能は、例えば、実体物からデータを収集する機能、実体物から収集されたデータを加工する機能、コンピュータを利用してデータを生成する機能、及び、予め生成されたデータを加工する機能のいずれかを含む。
実体物からデータを収集する機能は、例えば、無人航空機（ＵＡＶ）や作業者などの移動体に搭載されたカメラ（全周カメラ）又はビデオカメラ（全周ビデオカメラ）により実体物を撮影する機能、及び、レーザースキャナやトータルステーションにより実体物をスキャンしてデータを収集する機能のいずれか一方又は双方を含む。当該機能のデータ取得部１３は、１以上の計測装置を含んでいてよい。
実体物から収集されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、実体物の撮影画像やスキャンデータに所定の処理を適用して他のデータを生成する機能を含む。その例として、前述したＳｆＭ、ＭＶＳ、ＳＬＡＭ（Ｖ－ＳＬＡＭ；Ｖｉｓｕａｌ ＳＬＡＭ）などを用いたデータ処理機能がある。また、機械学習を利用して構築された学習済みモデルを用いたデータ処理機能もその一例である。当該機能のデータ取得部１３は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置される。
コンピュータを利用してデータを生成する機能は、例えば、ＢＩＭアプリケーションを用いてデータ（ＢＩＭデータと呼ぶ）を生成する機能、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉｓｉｇｎ）アプリケーションを用いてデータ（ＣＡＤデータと呼ぶ）を生成する機能のような、コンピュータグラフィクスを用いたデータ生成機能を含む。また、コンピュータを利用してデータを生成する機能は、施工管理アプリケーション、維持管理アプリケーション、補修管理アプリケーションなどの各種建築アプリケーションを用いてデータを生成する機能を含む。当該機能のデータ取得部１３は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置される。
予め生成されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、システム１、他の装置及び他のシステムのいずれかによって過去に取得及び／又は加工された実体物のデータに所定の処理を適用して他のデータを生成する機能を含む。当該機能に適用可能な技術は、実体物から収集されたデータを加工する機能に適用可能な技術と同様であってよい。予め生成されたデータの例としてＢＩＭデータがある。当該機能のデータ取得部１３は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置される。
データ受付機能は、外部からデータを受け付ける機能である。データ受付機能は、例えば、外部（装置、システム、データベースなど）との間でデータ通信を行うための通信デバイスを用いて実現されてもよいし、記録媒体に記録されているデータを読み出すためのドライブ装置を用いて実現されてもよい。データ取得部１３により外部から受け付けられるデータは、例えば、コンピュータを用いて生成されたデータ（ＢＩＭデータ、ＣＡＤデータなど）であってもよいし、システム１、他の装置及び他のシステムのいずれかによって過去に取得及び／又は加工されたデータでもあってもよい。また、データ受付機能に適用可能な記録媒体は、コンピュータ可読な非一時的記録媒体であり、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってよい。
本態様において、実体物は建築物である。建築物は、予め生成された設計データ（ＢＩＭデータ、設計図書、施工図、施工計画書など）に基づき施工される。本開示では、設計データに記録されている建築物データ（及び／又は、設計データを加工して得られた建築物データ）を仮想建築物と呼ぶことがあり、その構成要素（建築部材）を仮想部材と呼ぶことがある。幾つかの例示的な態様において、仮想部材はＢＩＭモデルが提供する部材モデルであり、複数の部材モデルを用いて構成された建築物が仮想建築物である。
一方、本開示において、設計データに基づき施工された建築物を実体建築物と呼ぶことがあり、その構成要素（建築部材）を実体部材と呼ぶことがある。上記の実体物はここに言う実体建築物に相当する。実体建築物は、設計データに基づき完成された建築物だけでなく、施工途中の建築物（未完成の建築物）であってもよいし、更には施工前の建築現場であってもよい。
本開示において、建築部材は、柱、梁、壁、スラブ、屋根、基礎などの構造部材に加え、窓、ドア、階段、タイル、フローリングなどの非構造部材や、各種の部品や、各種の機械や、各種の機器や、各種の設備などを含んでいてもよい。より一般に、本開示における建築部材は、仮想部材として登録可能な任意の物であってよく、また、実体部材として使用可能な任意の物であってよい。
記憶部１４は、各種のデータ（情報）を記憶するように構成されている。記憶部１４は、例えば、データ取得部１３により取得されたデータを記憶する。記憶部１４は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などの比較的大容量の記憶装置（メモリ、ストレージデバイス）を含む。記憶部１４は、１つの記憶装置又は２以上の記憶装置を含む。本態様において、記憶装置１４には設計データ１４１と実体部材データ１４２とが記憶される。
設計データ１４１は、建築物の設計に関する任意のデータや情報であってよい。設計データ１４１は、例えば、ＢＩＭデータ、設計図書、施工図、施工計画書などを含んでいてよい。また、設計データ１４１は、任意のデータや情報（例えば、ＢＩＭデータ、設計図書、施工図、施工計画書）のうちのいずれか１以上のデータから生成されたデータを含んでよい。
幾つかの例示的な態様において、設計データ１４１は、システム１の外部にあるＢＩＭアプリケーション（ＢＩＭツール）を用いて設計された仮想建築物（複数の仮想部材）のデータである。
本態様の設計データ１４１は、仮想部材情報を含む。仮想部材情報は、仮想建築物の構成要素である複数の仮想部材についての情報を含む。より詳細には、仮想部材情報は、各仮想部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、仮想部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、仮想部材の複数の属性は、例えば、仮想部材識別情報（仮想部材ＩＤ）、仮想部材形状情報、仮想部材位置情報、部材施工日情報などを含む。なお、仮想部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。
仮想部材情報の例を図２に示す。本例に係る仮想部材情報２は、仮想部材ＩＤ２１、仮想部材形状情報２２、仮想部材位置情報２３、及び部材施工日情報２４を含む。
仮想部材ＩＤ２１は、仮想部材を識別するための情報である。仮想部材ＩＤ２１は、仮想部材の種別（柱、梁、壁、スラブ、屋根、基礎、窓、ドア、階段、タイル、フローリング、部品、機械、機器、設備など）を示す。仮想部材ＩＤ２１は、例えば、実体部材に付与された識別情報（部材番号など）であってもよい。仮想部材ＩＤ２１は、例えば、ＢＩＭデータ、設計図書、施工図などから取得される。また、仮想部材ＩＤ２１は、個々にユニークな識別情報であってもよい。このような仮想部材ＩＤ２１として、中立でオープンなＣＡＤデータモデルのファイル形式であるＩｎｄｕｓｔｒｙ Ｆｏｕｎｄａｔｉｏｎ Ｃｌａｓｓｅｓ（ＩＦＣ）により提供される識別情報がある。
仮想部材形状情報２２は、仮想部材の形状を表す情報である。仮想部材形状情報２２は、仮想部材の姿勢や向きなどを表す情報を含んでいてもよい。仮想部材形状情報２２は、例えば、ＢＩＭデータ、設計図書、施工図などから取得される。
仮想部材位置情報２３は、仮想建築物における仮想部材の位置を表す。仮想部材の位置は、例えば、仮想建築物が定義された仮想空間（３次元座標系で定義された３次元仮想空間）における仮想部材の座標によって表現される。仮想部材位置情報２３は、例えば、ＢＩＭデータ、設計図書、施工図などから取得される。
部材施工日情報２４は、仮想部材に対応する実体部材を建築現場において設置する日（施工日、施工予定日）を示す。部材施工日情報２４は、例えば、施工図、施工計画書から取得される。
システム１（例えば、制御部１１及び記憶部１４）は、例えば、設計データ１４１を管理するための設計データベースを提供する。例えば、設計データベースには、ＢＩＭアプリケーションを用いて設計された仮想建築物（複数の仮想部材）のデータが格納される。設計データベースは、この仮想建築物に含まれる複数の仮想部材を一つひとつ管理するように構成されている。例えば、設計データベースには、実際のＢＩＭデータを含む設計データ１４１が格納される。設計データベースは、例えば、仮想建築物ごとに設計データ１４１を管理する。
図３は、このような設計データベースにより管理される仮想部材情報２（図２を参照）のデータ構造（フォーマット）の例を示す。本例のデータ構造３では、仮想部材情報２をテーブルで管理するようになっている。具体的には、データ構造３のテーブルは、仮想部材ＩＤが記録される複数のセルを含む仮想部材ＩＤ欄と、仮想部材形状情報が記録される複数のセルを含む仮想部材形状情報欄と、仮想部材位置情報が記録される複数のセルを含む仮想部材位置情報欄と、部材施工日情報が記録される複数のセルを含む部材施工日情報欄とを含む。例えば、或る仮想部材の仮想部材ＩＤ２１「ＢＢＢ」に対し、仮想部材形状情報２２「Ｂｂ」と、仮想部材位置情報２３「Ｃｂ」と、部材施工日情報２４「Ｄａ」とが関連付けられている。
実体部材データ１４２は、実体部材に関する任意のデータや情報であってよい。実体部材データ１４２は、例えば、設計データ１４１に基づき施工された実体建築物を計測（撮影、レーザースキャンなど）して取得された計測データ（撮影画像、点群データなど）に基づき生成される。実体建築物の計測は、データ取得部１３又は外部システムにより実行される。また、計測データに基づく実体部材データ１４２の生成は、データ取得部１３又は外部システムにより実行される。実体部材データ１４２は、例えば、設計データ１４１と同じ形式のＢＩＭデータとして生成され管理される。
実体部材データ１４２は、実体建築物の構成要素である複数の実体部材についての情報を含む。より詳細には、実体部材データ１４２は、各実体部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、実体部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、実体部材の複数の属性は、前述した仮想部材の複数の属性に対応している。例えば、実体部材の複数の属性は、実体部材識別情報（実体部材ＩＤ）、実体部材形状情報、実体部材位置情報、計測日情報などを含む。なお、実体部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。
実体部材データの例を図４に示す。本例に係る実体部材データ４は、実体部材ＩＤ４１、実体部材形状データ４２、実体部材位置データ４３、及び計測日情報４４を含む。
実体部材ＩＤ４１は、実体部材を識別するための情報である。仮想部材ＩＤ２１と同様に、実体部材ＩＤ４１は、仮想部材の種別を示す情報であり、例えば、実体部材に付与された識別情報（部材番号など）であってもよい。幾つかの例示的な態様において、実体部材ＩＤ４１は、対応する仮想部材ＩＤ２１と同じであってよい（例えば、ＩＦＣにより提供される識別情報）。或いは、実体部材ＩＤ４１は、対応する仮想部材ＩＤ２１と異なる情報であり、且つ、対応する仮想部材ＩＤ２１との関連をシステム１（及び外部システム等）が認識可能な所定の形式であってもよい。実体部材ＩＤ４１は、例えば、後述の部材対応付け処理において生成される。
実体部材形状データ４２は、計測データに基づき取得された実体部材の形状を表すデータである。実体部材形状データ４２は、実体部材の姿勢や向きなどを表すデータを含んでいてもよい。実体部在家以上データ４２は、例えば、後述の部材対応付け処理において生成される。
実体部材位置データ４３は、実体建築物における実体部材の位置を表す。実体部材の位置は、例えば、計測データに基づき作成された実体建築物のＢＩＭモデルが定義された仮想空間（３次元座標系で定義された３次元仮想空間）における実体部材の座標によって表現される。実体部材位置データ４３は、例えば、後述の部材対応付け処理において生成される。
計測日情報４４は、実体建築物の計測を実施した日を示す。計測日情報４４は、例えば、実体建築物の計測を実施する計測システム（移動体、トータルステーション、コンピュータなど）によって生成される。
部材施工日情報２４及び計測日情報４４は、少なくとも年、月、日の情報を含み、時、分、秒などの情報を更に含んでいてもよい。また、設計が行われた場所の標準時と、実体建築物が存在する場所の標準時とが異なる場合、システム１（又は外部システム等）は、部材施工日情報２４と計測日情報４４とを同じ標準時で表現するように変換を行うように構成されてよい。
システム１（例えば、制御部１１及び記憶部１４）は、例えば、実体部材データ１４２を管理するための実体部材データベースを提供する。例えば、実体部材データベースには、実体建築物の計測データを処理して得られた実体建築物のＢＩＭモデル（複数の実体部材のＢＩＭモデル）のデータが格納される。実体部材データベースは、実体建築物モデルに含まれる複数の実体部材モデルを一つひとつ管理するように構成されている。例えば、実体部材データベースには、実体建築物ＢＩＭモデルが格納される。実体部材データベースは、例えば、実体建築物ＢＩＭモデルごとに実体部材データ１４２を管理する。
図５は、このような実体部材データベースにより管理される実体部材データ４（図４を参照）のデータ構造（フォーマット）の例を示す。本例のデータ構造５では、実体部材データ４をテーブルで管理するようになっている。具体的には、データ構造５のテーブルは、実体部材ＩＤが記録される複数のセルを含む実体部材ＩＤ欄と、実体部材形状データが記録される複数のセルを含む実体部材形状データ欄と、実体部材位置データが記録される複数のセルを含む実体部材位置データ欄と、計測日情報が記録される複数のセルを含む計測日情報とを含む。例えば、或る実体部材の実体部材ＩＤ４１「２２２」に対し、実体部材形状データ４２「Ｂ２」と、実体部材位置データ４３「Ｃ２」と、計測日情報４４「Ｄ２」とが関連付けられている。
処理部１５は、データ処理を実行するように構成されている。処理部１５は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。処理部１５は、１つのコンピュータに設けられ、又は２以上のコンピュータに分散配置される。処理部１５は、部材対応付け部１５１と属性対応付け部１５２とを含む。
部材対応付け部１５１は、設計データ１４１に含まれる仮想部材情報と実体部材データに基づき複数の仮想部材と複数の実体部材との間の対応付け（部材対応付け処理）を行うように構成されている。これにより、仮想部材と実体部材との複数のペアが生成される。部材対応付け部１５１は、例えば、プロセッサ及び記憶装置を含むハードウェアと、部材対応付けソフトウェアとの協働によって実現される。
部材対応付け部１５１が実行する処理の例を説明する。まず、部材対応付け部１５１は、設計データ１４１の座標空間と実体部材データ１４２の座標空間とを一致させる。例えば、部材対応付け部１５１は、設計データ１４１の座標空間における原点又は所定の基準点と、実体部材データ１４２の座標空間における原点又は所定の基準点とを一致させる。換言すると、部材対応付け部１５１は、設計データ１４１と実体部材データ１４２との間のレジストレーションを行う。幾つかの例示的な態様において、部材対応付け部１５１は、設計データ１４１中のＢＩＭデータ（仮想建築物モデル）の定義座標系と、実体部材データ１４２中のＢＩＭデータ（実体建築物モデル）の定義座標系と対応付けるようにレジストレーションを行う。これにより、設計データ１４１を表現する座標系と、実体部材データ１４２を表現する座標系との間の座標変換が可能となる。
次に、部材対応付け部１５１は、設計データ１４１中のオブジェクト（例えば、仮想部材の面、頂点、又は中心点）と実体部材データ１４２中のオブジェクトとの対応付けを行う。例えば、部材対応付け部１５１は、設計データ１４１中の或るオブジェクトと実体部材データ１４２中の或るオブジェクトとの間の距離が所定閾値以下である場合に、これらオブジェクトを互いに対応付けるように構成されていてよい。これにより、このオブジェクト（実体部材）の実体部材位置データ（例えば、図４の実体部材位置データ４３）が生成される。
更に、部材対応付け部１５１は、実体部材データ１４２中のオブジェクトの形状を認識することができる。例えば、柱の形状（表面形状、断面形状など）、梁の形状、壁の形状、天井の形状を表すデータを取得することができる。また、部材対応付け部１５１は、実体部材データ１４２中のオブジェクトの配置（向き、姿勢）を表すデータを取得することができる。更に、部材対応付け部１５１は、オブジェクトの表面のテクスチャ、素材、材質などを把握するように構成されてもよい。オブジェクトの形状、配置、テクスチャ、素材、材質などに基づいて、このオブジェクト（実体部材）の実体部材形状データ（例えば、図４の実体部材形状データ４２）が生成される。このようにして得られた実体部材形状データを、オブジェクトの距離に応じた部材対応付け処理の向上（例えば、精度の向上、確度の向上）に利用してもよい。
加えて、部材対応付け部１５１は、実体部材データ１４２から特定された実体部材それぞれに識別情報を付与する。つまり、部材対応付け部１５１は、実体部材データ１４２に対して実体部材ＩＤを付与するように構成されていてよい。
例えば、部材対応付け部１５１は、或る仮想部材に対応付けられた実体部材に対し、この仮想部材と同じ識別情報（仮想部材ＩＤ）を付与する。この場合、互いに対応付けられた仮想部材と実体部材とのペアに対して同じ識別情報が割り当てられる。つまり、互いに対応付けられた仮想部材と実体部材とが、同じ識別情報で紐付けられる。仮想部材と実体部材に共通に割り当てられる識別情報は、例えば、ＩＦＣにおいて使用されるユニークｂな識別情報であってよい。
他の例において、部材対応付け部１５１は、或る仮想部材に対応付けられた実体部材に対し、この仮想部材に類似の識別情報を付与するように構成されてよい。例えば、この仮想部材の仮想部材ＩＤの文字列の少なくとも一部を含む文字列からなる実体部材ＩＤがこの実体部材に割り当てられる。
更に他の例において、部材対応付け部１５１は、或る仮想部材に対応付けられた実体部材に対して固有の識別情報（実体部材ＩＤ）を付与するとともに、実体部材データ中の付加的記録領域にこの仮想部材の仮想部材ＩＤを記録するように構成されてよい。
このような部材対応付け処理により、複数の仮想部材と複数の実体部材との間の対応関係が得られる。つまり、仮想部材と実体部材とのペア（部材ペア）が複数得られる。例えば、図６に示すように、図３のデータ構造３における複数の仮想部材の識別情報（仮想部材ＩＤ）と、図５のデータ構造５における複数の実体部材の識別情報（実体部材ＩＤ）との間の対応関係が得られる。
なお、図６に示す対応関係は、複数の仮想部材からなる集合と複数の実体部材からなる集合との間の全単射（ｂｉｊｅｃｔｉｏｎ）であるが、これに限定されない。例えば、或る仮想部材の近傍（所定距離以下の範囲）に実体部材が存在しない場合、この仮想部材に対応付けられる実体部材は無い。逆に、或る実体部材の近傍（所定距離以下の範囲）に仮想部材が存在しない場合、この実体部材に対応付けられる仮想部材は無い。また、或る仮想部材の近傍に２以上の実体部材が存在する場合、１つの仮想部材に対して２以上の実体部材を対応付けることができる。逆に、或る実体部材の近傍に２以上の仮想部材が存在する場合、１つの実体部材に対して２以上の仮想部材を対応付けることができる。これらの場合のように全単射が得られない場合、例えば、制御部１１は、得られた対応関係をユーザーインターフェイス１２に表示させることができる。ユーザーは、ユーザーインターフェイス１２を利用してこの対応関係を編集することができる。
属性対応付け部１５２は、部材対応付け部１５１により得られた部材ペア（仮想部材と実体部材とのペア）について、仮想部材情報と実体部材データとを複数の属性に応じて対応付けるように構成されている。属性対応付け部１５２は、例えば、プロセッサ及び記憶装置を含むハードウェアと、属性対応付けソフトウェアとの協働によって実現される。
ここで、仮想部材の複数の属性は、実体部材の複数の属性と同じであってよい。また、実体部材の複数の属性は、仮想部材の複数の属性の全てを含んでいてよい。例えば、仮想部材情報と実体部材データとで共通の属性を登録可能なメタデータ構造を予め用意しておくことができる。属性対応付け部１５２は、このようなメタデータ構造を利用して、仮想部材の属性と実体部材の属性との対応付けを行うように構成されてよい。
例えば、図７に示すように、図３のデータ構造３における各仮想部材（各仮想部材ＩＤ）の複数の属性と、図５のデータ構造５における各実体部材（各実体部材ＩＤ）の複数の属性との間の対応関係が得られる。本例では、例えば、仮想部材ＩＤ「ＡＡＡ」の仮想部材と、実体部材ＩＤ「１１１」の実体部材とのペアについて、仮想部材形状情報「Ｂａ」と実体部材形状データ「Ｂ１」とが対応付けられ、仮想部材位置情報「Ｃａ」と実体部材位置データ「Ｃ１」とが対応付けられ、部材施工日情報「Ｄａ」と計測日情報「Ｄ１」とが対応付けられる。他の部材ペアについても同様である。
このように、本態様に係るシステム１は、建築物のリアリティキャプチャのためのシステムであって、記憶部１４と、部材対応付け部１５１と、属性対応付け部１５２とを含む。記憶部１４は、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを記憶する。更に、記憶部１４は、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての複数の属性に関する実体部材データを記憶する。部材対応付け部１５１は、仮想部材情報及び実体部材データに基づき複数の仮想部材と複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成するように構成されている。属性対応付け部１５２は、部材対応付け部１５１により生成された複数のペアのそれぞれについて、複数の属性に応じて仮想部材情報と実体部材データとの間の対応付けを行うように構成されている。
また、本態様は、建築物リアリティキャプチャシステムに処理されるデータの構造を提供する。このデータ構造は、設計データと実体部材データとを含む。設計データは、予め準備され、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む。実体部材データは、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成され、複数の実体部材のそれぞれについての複数の属性に関するデータを含む。設計データ及び実体部材データは、部材対応付け処理と属性対応付け処理とに用いられる。部材対応付け処理は、仮想部材情報及び実体部材データに基づいて複数の仮想部材と複数の実体部材との間の対応関係を決定する処理である。属性対応付け処理は、部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれについて、複数の属性に応じて仮想部材情報と実体部材データとの間の対応関係を決定する処理である。更に、このような構造を有するデータが記録された、コンピュータ可読な非一時的記録媒体を作成することができる。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
また、本態様のシステム１において、仮想部材情報２は仮想部材位置情報２３を含んでいてよく、実体部材データ４は実体部材位置データ４３を含んでいてよい。更に、部材対応付け部１５１は、仮想部材位置情報２３及び実体部材位置データ４３に基づいて、仮想部材と実体部材との複数のペアを生成するように構成されていてよい。
この構成は、次の特徴を有するデータ構造を提供する：仮想部材情報２が仮想部材位置情報２３を含む；実体部材データ４が実体部材位置データ４３を含む；仮想部材位置情報２３及び実体部材位置データ４３が部材対応付け処理に用いられる。
また、本態様のシステム１において、仮想部材情報２は複数の仮想部材のそれぞれの施工日を示す施工日情報２４を含んでいてよく、実体部材データ４は実体建築物の計測日を示す計測日情報４４を含んでいてよい。更に、部材対応付け部１５１は、施工日情報２４及び計測日情報４４に基づいて、仮想部材と実体部材との複数のペアを生成するように構成されていてよい。
この構成は、次の特徴を有するデータ構造を提供する：仮想部材情報２が複数の仮想部材のそれぞれの施工日を示す施工日情報２４を含む；実体部材データ４が実体建築物の計測日を示す計測日情報４４を含む；施工日情報２４及び計測日情報４４が部材対応付け処理に用いられる。
施工日情報２４及び計測日情報４４を利用する場合、異なる複数の施工日に対応した複数の仮想部材情報と、異なる複数の計測日に対応した複数の実体部材データとの間の対応付けを、施工日と計測日とを照合することによって行うことができる。例えば、或る施工日について、部材対応付け部１５１は、この施工日以降の１以上の計測日のうちこの施工日に最も近い計測日を選択し、選択された計測日に対応した実体部材データをこの施工日に対応した仮想部材情報に対応付けることができる。これにより、仮想部材（仮想部材情報）と実体部材（実体部材データ）との対応付けを日付に基づき行うことができ、例えば施工計画書に応じた時系列データ管理が可能となる。
また、本態様は、建築物リアリティキャプチャシステムに含まれるコンピュータを、データ受付手段、部材対応付け手段、及び属性対応付け手段として機能させるためのプログラムを提供する。データ受付手段（データ取得部１３）は、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての複数の属性に関する実体部材データとを受け付ける。部材対応付け手段は、仮想部材情報及び実体部材データに基づいて複数の仮想部材と複数の実体部材との間の対応付けを行う。属性対応付け手段は、部材対応付け手段により取得された仮想部材と実体部材との複数のペアのそれぞれについて、複数の属性に応じた仮想部材情報と実体部材データとの間の対応付けを行う。更に、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を作成することができる。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、建築物の設計データと、それに基づき施工された建築物のデータとを、部材単位で（又は、一連の部材単位として）対応付けるとともに、部材の属性単位で対応付けることができる。
また、仮想部材情報は、実体建築物の計測を容易に行うために用いられる情報であり、実体部材データは、この仮想部材情報を用いた計測から得られたデータである。このような仮想部材情報と実体部材データとを部材単位且つ属性単位で対応付けることにより、設計データと実測データとの比較を容易に行うことが可能になる。例えば、設計上のＢＩＭデータ（設計ＢＩＭデータ）と、計測データに基づくＢＩＭデータ（計測ＢＩＭデータ）との比較の容易化を図ることができる。
このように、本態様によれば、各種のデータや情報の管理の統合化を図ることができ、ひいては、管理の効率化や無矛盾化を図ることが可能となる。
＜第２の態様＞
第２の態様に係るシステムの構成例を図８に示す。システム８は、第１の態様のシステム１の処理部１５に、推論モデル構築部１５３と移動制御情報作成部１５４とを付加したものである。推論モデル構築部１５３は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、移動制御情報作成部１５４は、例えば、プロセッサ及び記憶装置を含むハードウェアと、移動制御情報作成ソフトウェアとの協働によって実現される。第１の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様において、記憶部１４は、設計データ１４１及び実体部材データ１４２に加え、仮想画像１４３と撮影画像１４４とを更に記憶している。仮想画像１４３は、仮想建築物を表す画像であり、例えばＢＩＭデータ（ＣＡＤデータ）をレンダリングすることで作成される。仮想画像１４３は、例えば、所定の移動経路に沿った仮想建築物の内部及び／又は外部の複数の画像（仮想画像セット）である。撮影画像１４４は、任意の物の撮影画像及び人の撮影画像を含む。物の撮影画像の例として、建築部材の画像、梯子や脚立などの道具の画像がある。また、人の画像の例として、建築現場における作業者の画像がある。
推論モデル構築部１５３は、建築物の撮影画像から建築部材の画像を特定するための推論モデルを所定のニューラルネットワークに機械学習を適用して構築するように構成されている。推論モデルの用途として、例えば、実体建築物の計測（撮影、レーザースキャン）を行う移動体の制御、実体建築物の計測データ（撮影画像、スキャンデータ）に基づくＢＩＭデータの作成などがある。
推論モデルを構築するためのニューラルネットワークは、畳み込みニューラルネットワークを含んでいてよい。畳み込みニューラルネットワークは、例えば、画像の入力を受け、畳み込み層による特徴マップの生成とプーリング層による特徴マップの圧縮とを複数回繰り返し、最後のプーリング層からの出力を入力とするフル結合層により最終出力（画像分類、セグメンテーション、回帰など）を提供するように構成される。幾つかの例示的な態様において、畳み込みニューラルネットワークは、フル結合層を含まなくてもよいし、サポートベクターマシンを含んでいてもよい。
推論モデルを構築するための機械学習に用いられる訓練データは、例えば、少なくとも仮想画像１４３を含んでおり、撮影画像１４４を更に含んでいてよい。また、訓練データは、実体建築物の他の計測データ（スキャンデータなど）を含んでいてもよい。本態様では、ＢＩＭデータから作成された仮想画像１４３を用いることで、実体建築物の計測データを大量に収集する手間を省くことができる。特に、多数のＢＩＭデータから多数の仮想画像１４３（仮想画像セット）を作成して訓練データとすることで、機械学習の品質向上及び推論モデルの品質向上を図ることができる。
建築部材の撮影画像、建築部材以外の物の撮影画像、人の撮影画像といった撮影画像１４４を訓練データとして用いることで、道具や作業者を検出するように推論モデルを訓練することが可能である。それにより、障害物や作業者を回避するように移動体を制御することや、計測データからＢＩＭデータを作成する際に障害物や作業者のデータを除外することが可能になる。
訓練データに含まれる仮想画像１４３及び／又は計測データ（撮影画像１４４、スキャンデータ）は、建築部材の表面の状態を表すテクスチャ情報を含んでいてもよい。テクスチャ情報を用いることで、オブジェクトの表面のテクスチャが反映された最終出力を得ることができる。それにより、移動体制御やＢＩＭデータ作成の品質向上を図ることができる。
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか２以上の組み合わせであってよい。典型的には、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。
移動制御情報作成部１５４は、仮想画像１４３に基づき、又は仮想画像１４３及び撮影画像１４４に基づき、移動体を用いて建築物のデータを取得するための移動制御情報を作成するように構成されている。本態様において、移動制御情報作成部１５４は、仮想画像１４３（及び撮影画像１４４など）を用いて構築された推論モデルに基づいて、移動制御情報を作成することができる。作成された移動制御情報は、例えば、有線ネットワーク若しくは無線ネットワークを通じて、又は記録媒体を介して、移動体に提供される。
幾つかの例示的な態様において、移動制御情報作成部は、推論モデルを用いることなく、仮想画像１４３（及び撮影画像１４４など）にルールベースの処理を適用することによって移動制御情報を作成するように構成されていてよい。また、移動制御情報作成部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
移動制御情報は、例えば、設計データ１４１（ＢＩＭデータ）に基づき予め設定された、設計データ１４１に基づき施工された実体建築物の内部を計測するための移動経路を含んでいてよい。また、移動制御情報は、ＢＩＭデータをレンダリングして構築された、この移動経路に沿った仮想画像（１４３）を含んでいてよい。また、移動制御情報は、推論モデル構築部１５３により構築された推論モデル（つまり、推論モデル構築部１５３によりパラメータ（重み係数など）がチューニングされたニューラルネットワーク）を含んでいてよい。
移動経路は、例えば、ＢＩＭデータに記録されている複数の仮想部材の少なくとも一部に対する距離が所定の許容範囲に含まれるように設定されてよい。これにより、実体建築物内の実体部材を好適な距離から撮影することができる。また、移動経路は、１次元エリア、２次元エリア、及び３次元エリアのいずれかであってよい。２次元エリアや３次元エリアは、例えば、移動しつつ計測を行っている移動体が障害物を回避するために移動可能な範囲を表す。
障害物への衝突を避けるための動作は回避動作に限定されない。例えば、障害物を検知したときに移動を停止するように移動体の制御を行ってもよい。また、障害物を検知したときに聴覚情報や視覚情報を発するように移動体の制御を行ってもよい。聴覚情報は例えば警告音であり、視覚情報は例えば警告光である。また、障害物を検知したときに、移動体を操作するためのデバイス（例えば、タブレット、スマートフォン、又はノートパソコン）に聴覚情報や視覚情報を出力させるように制御を行うようにしてもよい。
本態様のシステム８は、第１の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する：予め生成された仮想建築物の仮想画像１４３を更に含む；仮想画像１４３は、移動体を用いて建築物のデータを取得するための移動制御情報の作成に用いられる。
また、本態様のシステム８は、次の特徴を更に有するデータ構造を提供する：予め取得された撮影画像１４４を更に含む；撮影画像１４４は、移動制御情報の作成に用いられる。
また、本態様のシステム８は、次の特徴を更に有するデータ構造を提供する：少なくとも仮想画像１４３を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む；この推論モデルは、移動制御情報の作成に用いられる。
更に、本態様のシステム８が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第１の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像１４３（及び撮影画像１４４）に基づき移動制御情報を作成することができるので、移動体（ＵＡＶ、自走車、人など）を用いた建築物計測を支援することが可能である。また、計測作業の省力化、短時間化を図ることが可能となる。
＜第３の態様＞
第３の態様に係るシステムの構成例を図９に示す。システム９は、第２の態様のシステム８の処理部１５の移動制御情報作成部１５４の代わりに参照情報作成部１５５を設けたものである。推論モデル構築部１５３は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、参照情報作成部１５５は、例えば、プロセッサ及び記憶装置を含むハードウェアと、参照情報作成ソフトウェアとの協働によって実現される。第２の態様と共通の要素については、特に言及しない限り説明は省略する。
参照情報作成部１５５は、仮想画像１４３（及び撮影画像１４４）に基づいて、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を作成する。本態様では、参照情報作成部１５５は、推論モデル構築部１５３により構築された推論モデルに基づいて参照情報を作成することができる。作成された参照情報は、例えば、有線ネットワーク若しくは無線ネットワークを通じて、又は記録媒体を介して、移動体に提供される。
幾つかの例示的な態様において、参照情報作成部は、推論モデルを用いることなく、仮想画像１４３（及び撮影画像１４４など）にルールベースの処理を適用することによって参照情報を作成するように構成されていてよい。また、参照情報作成部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
上記のように、参照情報は、移動体を用いて実体建築物の計測を行っているときに、この実体建築物を構成する建築部材（実体部材）のデータが取得されたか判定するために用いられる。換言すると、参照情報は、移動体を用いた計測の目的である実体部材の計測データが確実に取得されたか判定するために用いられる。
参照情報は、例えば、設計データ１４１（ＢＩＭデータ、仮想部材情報など）に基づき予め設定された、実体建築物の内部を計測するための移動経路を含んでいてよい。また、参照情報は仮想画像１４３を含んでいてよい。また、参照情報は、推論モデル構築部１５３により構築された推論モデルを含んでいてよい。
例えば、移動体は、Ｖ－ＳＬＡＭを用いて撮影画像から移動体周囲の地図（３次元モデル）を作成し、推論モデルを用いて３次元モデルから部材を検出し、検出された部材を設計データ１４１（ＢＩＭデータ、仮想部材情報など）と照合し、この照合の結果に基づいて実体部材の計測データが取得されたか否か判定することができる。移動体は、この判定の結果を示す聴覚情報や視覚情報を出力するように構成されてよい。また、移動体を操作するためのデバイスは、判定結果を示す聴覚情報や視覚情報を出力するように構成されてよい。
本態様のシステム９は、第１の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する：予め生成された仮想建築物の仮想画像１４３を更に含む；仮想画像１４３は、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報の作成に用いられる。
また、本態様のシステム９は、次の特徴を更に有するデータ構造を提供する：予め取得された撮影画像１４４を更に含む；撮影画像１４４は、参照情報の作成に用いられる。
また、本態様のシステム９は、次の特徴を更に有するデータ構造を提供する：少なくとも仮想画像１４３を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む；この推論モデルは、参照情報の作成に用いられる。
更に、本態様のシステム９が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第１の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像１４３（及び撮影画像１４４）に基づき参照情報を作成することができるので、移動体（ＵＡＶ、自走車、人など）を用いた建築物計測が適切に行われているかリアルタイムで判定することが可能である。計測が適切に行われていないときには、少なくとも部分的に再計測を行うことができる。これにより、例えば、意味の無い計測データが後段の処理に提供される事態を回避することが可能となる。また、再計測の要否判定を自動化することができるので、計測作業の省力化、短時間化を図ることが可能となる。
＜第４の態様＞
第４の態様に係るシステムの構成例を図１０に示す。システム１０は、第２の態様のシステム８の処理部１５の移動制御情報作成部１５４の代わりにデータオブジェクト検出部１５６を設けるとともに、記憶部１４に計測データ１４５が更に記憶されたものである。推論モデル構築部１５３は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、データオブジェクト検出部１５６は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データオブジェクト検出ソフトウェアとの協働によって実現される。第２の態様と共通の要素については、特に言及しない限り説明は省略する。
計測データ１４５は、建築物を実際に計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ１４５は、例えば、所定の経路に沿って建築物内を移動しながら撮影又はレーザースキャンを行うことによって取得される。
データオブジェクト検出部１５６は、仮想画像１４３（及び撮影画像１４４）に基づいて、計測データ１４５からデータオブジェクトを検出するように構成されている。計測データ１４５が撮影画像である場合、データオブジェクトは、この撮影画像中の画像オブジェクトであり、典型的には建築部材（実体部材）の画像である。また、計測データ１４５がスキャンデータである場合、データオブジェクトは、このスキャンデータ中のデータ領域であり、典型的には建築部材（実体部材）に相当する部分データである。
本態様では、データオブジェクト検出部１５６は、推論モデル構築部１５３により構築された推論モデルに基づいて計測データ１４５からデータオブジェクトを検出することができる。幾つかの例示的な態様において、データオブジェクト検出部は、推論モデルを用いることなく、計測データ１４５にルールベースの処理を適用することによってデータオブジェクトを検出するように構成されていてよい。また、データオブジェクト検出部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
データオブジェクト検出部１５６が実行する処理の例を説明する。データオブジェクト検出部１５６は、まず、計測データ１４５にＳｆＭを適用することによって計測機器（カメラ、レーザースキャナ）の位置及び姿勢を複数求め、計測データ１４５に映った環境中の物体の形状を復元する。
また、データオブジェクト検出部１５６は、計測データ１４５を推論モデルに入力することにより、計測データ１４５から建築部材に相当するデータオブジェクトを特定する。これにより、計測データ１４５に含まれる複数のデータオブジェクトが認識され、各データオブジェクトに対応する部材の属性が特定される。
続いて、データオブジェクト検出部１５６は、特定されたデータオブジェクトの外部領域にマスクを掛け、データオブジェクトの特徴点を検出し、検出された特徴点の３次元位置（３次元座標）をＭＶＳによって求める。
処理部１５は、データオブジェクト検出部１５６により得られた建築部材の３次元座標データを、設計データ１４１（ＢＩＭデータ）と比較することができる。例えば、処理部１５は、まず、データオブジェクト検出部１５６により得られた３次元座標データと、ＢＩＭデータ中の面データ（又は、点データなど）の座標情報とを、共通の３次元座標系内においてレジストレーションする。次に、処理部１５は、ＢＩＭデータ中の所定の面データについて、その近傍に位置する３次元座標点を３次元座標データから選択する。次に、処理部１５は、選択された３次元座標点を用いて３次元座標データ中の面（平面、自由曲面）を定義する。定義された面は、ＢＩＭデータ中の上記所定の面に関連付けられる。このような一連の処理により、ＢＩＭデータに表現された複数の面（典型的には、仮想部材の表面）と、このＢＩＭデータに基づき施工された建築物の複数の面（典型的には、実体部材の表面）との間に対応関係が構築される。
処理部１５は、このようにして得られた３次元座標データや面データや対応関係を用いて、新たなＢＩＭデータを作成することができる。例えば、処理部１５は、計測データ１４５から得られたデータを用いて、設計データ１４１のＢＩＭデータを変更することができる。例えば、ＢＩＭデータにおける柱の面の位置と、計測データ１４５から得られた実際の柱の面の位置とを比較し、ＢＩＭデータにおける仮想的な位置を実際の位置に置き換える。これにより、実際の柱の位置（向き、形状、姿勢など）が反映された新たなＢＩＭデータが得られる。この一連の処理において、部材対応付け部１５１は、データオブジェクト検出部１５６により検出されたデータオブジェクト（３次元座標データ、面データ、対応関係など）を用いて、設計データ１４１のＢＩＭデータ中の仮想部材と、実体部材データ１４２中の実体部材との対応付けを行うことができる。
データオブジェクト検出部１５６により検出されるデータオブジェクトは、建築部材に限定されない。例えば、データオブジェクト検出部１５６は、障害物をデータオブジェクトとして検出するように構成されてもよい。この場合、障害物に相当するデータオブジェクトを除外してＢＩＭデータの編集を行うことができる。これにより、計測データ１４５中の障害物を建築部材と混同する事態を回避することができ、ＢＩＭデータ編集の向上を図ることが可能になる。
本態様のシステム１０は、第１の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する：予め生成された仮想建築物の仮想画像１４３と、予め取得された計測データ１４５とを更に含む；仮想画像１４３は、計測データ１４５からデータオブジェクトを検出するデータオブジェクト検出処理に用いられる；データオブジェクト検出処理により検出されたデータオブジェクトは、部材対応付け処理に用いられる。
また、本態様のシステム１０は、次の特徴を更に有するデータ構造を提供する：予め取得された撮影画像１４４を更に含む；撮影画像１４４は、データオブジェクト検出処理に用いられる。
また、本態様のシステム１０は、次の特徴を更に有するデータ構造を提供する：少なくとも仮想画像１４３を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む；この推論モデルは、データオブジェクト検出処理に用いられる。
更に、本態様のシステム１０が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第１の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像１４３（及び撮影画像１４４）に基づき建築物のデータからデータオブジェクトを検出し、検出されたデータオブジェクトに基づき部材対応付け処理を実行して複数の部材ペア（仮想部材と実体部材とのペア）を生成することができるので、新たなＢＩＭデータの作成を自動化すること可能である。これにより、施工状況が反映されたＢＩＭデータを容易に取得することができ、また、施工状況に応じてＢＩＭデータを容易に蓄積及び／又は更新することが可能である。したがって、本態様は、計測作業の省力化、短時間化に寄与するものである。
＜第５の態様＞
建築物は多数の建築部材で構成されている。その一つひとつの建築部材について３Ｄモデルを作成することは、データの詳細性の観点からは好ましいが、処理のリソースや負荷を考慮すると現実的とは言えない。第４の態様でも多少触れたが、第５の態様は、このような問題に対処するための技術を提供するものである。本態様に係るシステムの構成例を図１１に示す。
システム１１０は、第１の態様のシステム１の処理部１５に部分領域特定部１５７と実体部材データ生成部１５８とを付加するとともに、記憶部１４に計測データ１４６と代表部位情報１４７とが更に記憶されたものである。部分領域特定部１５７は、例えば、プロセッサ及び記憶装置を含むハードウェアと、部分領域特定ソフトウェアとの協働によって実現される。また、実体部材データ生成部１５８は、例えば、プロセッサ及び記憶装置を含むハードウェアと、実体部材データ生成ソフトウェアとの協働によって実現される。第１の態様と共通の要素については、特に言及しない限り説明は省略する。
システム１１０は、計測データ１４６から実体部材データ１４２を生成するように構成されており、システム１１０が処理を開始する段階において記憶部１４に実体部材データ１４２が記憶されていなくてよい。一方、システム１１０が処理を開始する段階において、過去に生成された実体部材データ１４２が記憶部１４に記憶されていてもよい。
計測データ１４６は、設計データ１４１（ＢＩＭデータ）などに基づき施工された実体建築物を計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ１４６は、例えば、予め設定された経路に沿って実体建築物の内部を移動しながら撮影又はレーザースキャンを行うことで取得される。
代表部位情報１４７は、設計データ１４１の仮想部材情報に記録されている仮想部材の代表部位を示す。代表部位は、仮想部材の任意の部位であってよく、例えば、１以上の点、１以上の線、又は１以上の面であってよい。なお、代表部位は仮想部材の全体であってもよいが、処理リソースや処理負荷の低減という本態様の一つの目的を考慮すると、仮想部材情報に記録された全ての仮想部材について代表部位をその全体に設定することは合目的的ではない。よって、本態様では、仮想部材情報に記録された複数の仮想部材のうちの少なくとも１つについて、代表部位はその全体ではない。
代表部位情報１４７について幾つかの例を説明する。建築部材が水平断面が矩形の柱である場合、この柱の代表部位は、例えば、４つの側面のいずれか１つ以上、底面の中心点、及び、上面の中心点のうちのいずれか１つ以上であってよい。この柱の代表部位が２以上の側面を含む場合、これら側面を識別可能とする情報（ＩＤ）が用いられる。
建築部材が床である場合、その代表部位は上面であってよい。同様に、建築部材が天井である場合、その代表部位は底面であってよい。
他の建築部材についても、例えば、計測やデータ処理を好適に実行できるように、任意の１以上の点、任意の１以上の線、及び任意の１以上の面のいずれかが代表部位に採用される。また、１つの建築部材に対して２つ以上の代表部位が設定された場合には、これら代表部位のそれぞれに識別情報が割り当てられる。これら識別情報は、データ処理においてこれら代表部位を判別するために参照される。
部分領域特定部１５７は、代表部位情報１４７に基づいて、仮想建築物を構成する複数の仮想部材のいずれかの代表部位に対応する計測データ１４６の部分領域を特定するように構成されている。
そのために、まず、部分領域特定部１５７は、仮想部材に対応する計測データ１４６のデータ領域を特定する。つまり、部分領域特定部１５７は、この仮想部材に対応した実体部材を表すデータ領域を計測データ１４６から特定する。この処理は、例えば第４の態様のデータオブジェクト検出部１５６と同様に、ＳｆＭ及び推論モデルを用いて実行される。この処理を各仮想部材に対して実行することにより、複数の実体部材にそれぞれ対応する複数のデータ領域（複数の実体部材領域）が計測データ１４６から特定される。なお、推論モデルの代わりにルールベースの画像処理を適用してもよい。
続いて、部分領域特定部１５７は、各仮想部材について、この仮想部材に対応する実体部材領域から、この仮想部材の代表部位に対応する部分領域を特定する。ここで、計測データ１４６中の計測点の３次元座標を求めるためにＭＶＳを用いることができる。例えば、計測データ１４６中の実体部材領域の３次元座標を求めるために、また、実体部材領域中の部分領域の３次元座標を求めるために、ＭＶＳを用いることができる。
仮想部材の代表部位が点である場合、部分領域特定部１５７は、例えば、計測データ１４６中の各計測点と代表部位（点）との間の距離を求め、距離の閾値処理によって代表部位（点）に対応する部分領域を特定することができる。
また、仮想部材の代表部位が面である場合、部分領域特定部１５７は、例えば、計測データ１４６中の各計測点について、その計測点を通り代表部位（面）に直交する直線（垂線）を求め、この計測点と垂線の足との間の距離を求め、距離の閾値処理によって代表部位（面）に対応する部分領域を特定することができる。仮想部材の代表部位が線である場合においても、同じ要領で、代表部位（線）に対応する計測データ１４６中の部分領域を特定することができる。
実体部材データ生成部１５８は、部分領域特定部１５７により取得された部分領域に基づいて、計測データ１４６から実体部材データを生成する。生成された実体部材データは、例えば、図５に示すデータ構造の実体部材データ１４２として記憶部１４に格納される。このとき、システム１１０（例えば、実体部材データ生成部１５８、処理部１５、又は制御部１１）は、生成された実体部材データに、図４に示す属性（ＩＤ、形状、位置、計測日など）を付与することができる。
処理部１５は、部分領域特定部１５７により得られた実体部材の代表部位の３次元座標と、これに対応する仮想部材の代表部位の３次元座標（設計ＢＩＭデータにおける３次元座標）とを比較することができる。例えば、仮想部材の代表部位に対する実体部材の代表部材の偏位を求めることができる。この偏位は、設計上の位置に対する実際の位置のずれを示す。
更に、処理部１５は、代表位置の偏位に基づいて設計ＢＩＭデータに変更を加えることができる。例えば、処理部１５は、仮想部材の代表部位の３次元座標を実体部材の代表部位の３次元座標に置き換えて、仮想部材の位置及び／又は形状を変化させることができる。
設計ＢＩＭデータの編集の一例を図１２を参照しつつ説明する。符号１２０は仮想部材としての柱（仮想柱）である。仮想柱１２０の代表部位は、上面の中心（仮想上面中心）１２１である。符号１２２は、部分領域特定部１５７により特定された、仮想上面中心１２１に対応する計測データ１４６中の３次元座標（実体上面中心）である。符号１２３は、仮想上面中心１２１に対する実体上面中心１２２の偏位を示す矢印である。
処理部１５は、まず、実体上面中心１２２を中心とした上面領域１２４を求める。上面領域の形状及び向きは、仮想柱１２０の上面の形状及び向きと同じであってよい。或いは、偏位１２３に応じて仮想柱１２０の上面の形状及び向きの少なくとも一方を変化させることによって上面領域１２４を求めてもよい。
次に、処理部１５は、矩形の上面領域１２４の各頂点と、仮想柱１２０の底面１２５の対応する頂点とを結ぶ線１２６を求める。これにより、上面領域１２４と底面１２５とを結ぶ４本の線１２６が得られる。線１２６は、直線でもよいし、偏位１２３に応じた曲線（例えば自由曲線）でもよい。
このようにして、計測データ１４６に基づき仮想柱１２０の位置や形状（向き、姿勢など）が変更される。仮想柱１２０の変更後の情報（属性）は、対応する実体部材（柱）の実体部材データ１４２として記録される。この実体部材データ１４２は、図５に示すデータ構造を有する。
本態様のシステム１１０は、第１の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する：計測データ１４６と、予め作成された仮想部材の代表部位を示す代表部位情報１４７とを更に含む；代表部位情報１４７は、仮想建築物の複数の仮想部材のいずれかの代表部位に対応する計測データの部分領域を特定する部分領域特定処理に用いられる。
また、本態様のシステム１１０は、次の特徴を更に有するデータ構造を提供する：部分領域特定処理により特定された部分領域は、計測データ１４６から実体部材データ１４２を生成する処理に用いられる。
更に、本態様のシステム１１０が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第１の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。
更に、仮想部材の代表部位に対応する計測データの部分領域を特定することができるので、実体部材の３次元モデルを管理する代わりに、仮想部材の代表部位に対応するデータを管理することが可能である。よって、管理や処理に要するリソースの低減を図ることができる。例えば、計測データから実体部材データを生成する処理の効率化を図ることが可能である。
＜第６の態様＞
前述したように建築物は多数の建築部材で構成されているが、幾つかの部材をグループとして考えることができる。例えば、一群の柱をまとめて考えることや、互いに接触した柱と梁とをまとめて考えることができる。幾つかの部材をまとめてデータ化することで、計測や処理の効率化を図ることができる。第６の態様では、このような観点から想到された技術を説明する。本態様に係るシステムの構成例を図１３に示す。
システム１３０は、第１の態様のシステム１の処理部１５に実体部材データ生成部１５９とを付加するとともに、記憶部１４に計測データ１４８と部材選択情報１４９とが更に記憶されたものである。実体部材データ生成部１５９は、例えば、プロセッサ及び記憶装置を含むハードウェアと、実体部材データ生成ソフトウェアとの協働によって実現される。第１の態様と共通の要素については、特に言及しない限り説明は省略する。
システム１３０は、計測データ１４８から実体部材データ１４２を生成するように構成されており、システム１３０が処理を開始する段階において記憶部１４に実体部材データ１４２が記憶されていなくてよい。一方、システム１３０が処理を開始する段階において、過去に生成された実体部材データ１４２が記憶部１４に記憶されていてもよい。
計測データ１４８は、設計データ１４１（ＢＩＭデータ）などに基づき施工された実体建築物を計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ１４８は、例えば、予め設定された経路に沿って実体建築物の内部を移動しながら撮影又はレーザースキャンを行うことで取得される。
部材選択情報１４９は、設計データ１４１に基づき予め生成され、仮想建築物の複数の仮想部材のうちの一部の仮想部材を示す。部材選択情報１４９に示された各仮想部材を選択部材と呼び、それらをまとめて選択部材群と呼ぶ。選択部材群は、全ての仮想部材を代表する。また、選択部材の個数は、全ての仮想部材の個数よりも少ない。よって、或る選択部材は、複数の仮想部材を代表する。
例えば、前述したように一群の柱をグループと考えると、一群の柱のうちの１つの柱を選択部材として部材選択情報１４９に登録することができる。また、互いに接触した柱と梁とをグループと考えると、柱及び梁のいずれか一方を選択部材として部材選択情報１４９に登録することができる。部材選択情報１４９は、このようにして作成される。なお、各選択部材に対し、その選択部材が代表する複数の仮想部材を示す情報を付すことができる。
実体部材データ生成部１５９は、部材選択情報１４９に基づいて、選択部材群に対応する計測データの部分領域から実体部材データ１４２を生成するように構成されている。例えば、実体部材データ生成部１５９は、第４又は第５の態様と同じ要領で、計測データ１４８から実体部材のデータ（位置、形状など）を求めることができ、また、仮想部材と実体部材との対応付けを行うことができる。
ただし、本態様の実体部材データ生成部１５９は、全ての実体部材（つまり、仮想建築物の全ての仮想部材にそれぞれ対応した全ての実体部材）について位置や形状を求めるのではなく、部材選択情報１４９に示された選択部材に対応した実体部材についてのみ位置や形状を求める。
更に、実体部材データ生成部１５９は、選択部材に対応した実体部材について求められた属性（位置、形状など）を、図５に示すデータ構造の実体部材データ１４２として記録する。
本態様のシステム１３０は、第１の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する：計測データと、設計データに基づき予め生成された複数の仮想部材のうちの一部の仮想部材を示す部材選択情報とを更に含む；部材選択情報は、部材選択情報に示された一部の仮想部材に対応する計測データの部分領域から実体部材データを生成する処理に用いられる。
更に、本態様のシステム１３０が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第１の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。
更に、本態様は、全ての仮想部材に対応した実体部材データを生成する代わりに、一部の仮想部材のみに対応した実体部材データを生成することができるので、管理や処理に要するリソースの低減を図ることが可能である。例えば、計測データから実体部材データを生成する処理の効率化を図ることができる。
＜第７の態様＞
第７の態様では、幾つかの態様を組み合わせることで実現可能なシステムの使用形態について説明する。本システムは、建築分野の情報管理（施工管理、維持管理、補修管理など）に用いられ、移動体（ＵＡＶ、自走車、人など）、測量機器（トータルステーション、光波測距儀、セオドライト、距離計など）、データ処理技術（ＳｆＭ、ＭＶＳ、ＳＬＡＭなど）、モデリング技術（コンピュータグラフィクス、ＣＡＤ、ＢＩＭなど）の様々な技術を利用した融合的システムである。
本態様に係るシステムの構成例を図１４に示す。システム１４０は、ＵＡＶ１４１０と、ＵＡＶコントローラ１４２０と、トータルステーション１４３０と、エッジコンピュータ１４４０とを含む。クラウドコンピュータ１４５０は、システム１４０に含まれていてもよいし、システム１４０との間でデータ通信可能な外部装置であってもよい。なお、ＵＡＶ１４１０、ＵＡＶコントローラ１４２０、トータルステーション１４３０、及びエッジコンピュータ１４４０のいずれかは、システム１４０の外部装置であってもよい。
なお、本態様に対して特許文献１～１２の技術を組み合わせることが可能であり、また、特開２０１８－１３８９２２号公報、特開２０１８－１３８９２３号公報などに記載された技術を援用することが可能である。
ＵＡＶ１４１０は、小型の無人飛行体であり、（実体）建築物の内部及び／又は外部を飛行して建築物のデータを収集する。ＵＡＶ１４１０は、各種制御を行う制御部１４１１と、建築物のデータを収集するための撮影部１４１２と、Ｖ－ＳＬＡＭ処理を実行するＶ－ＳＬＡＭ部１４１３と、障害物検知処理を実行する障害物検知部１４１４とを含む。
図示は省略するが、ＵＡＶ１４１０は、一般的なＵＡＶと同様に、複数のプロペラ、各プロペラを回転させるプロペラモータなど、飛行するための要素を備えている。また、図示は省略するが、ＵＡＶ１４１０は、例えば、慣性計測装置（ＩＭＵ）、全地球航法衛星システム（ＧＮＳＳ）を用いた位置測定・航法・計時のための装置など、標準的なＵＡＶに搭載可能な任意の手段を備えていてもよい。また、図示は省略するが、ＵＡＶ１４１０は、トータルステーション１４３０によるＵＡＶ１４１０の追尾のための部材を備えていてよい。この部材は、例えば、プリズム、反射シールなどの再帰反射体であってよい。
制御部１４１１は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。ＵＡＶ１４１０は、制御部１４１１の制御の下に自律飛行が可能である。また、ＵＡＶ１４１０は、ＵＡＶコントローラ１４２０などを用いた遠隔操作飛行も可能である。その際、制御部１４１１は、ＵＡＶコントローラ１４２０などからの操作指示信号に基づいてＵＡＶ１４１０の飛行制御を行う。制御部１４１１は、他の装置（ＵＡＶコントローラ１４２０、エッジコンピュータ１４４０など）との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
撮影部１４１２は、例えば、デジタルカメラ、レーザスキャナ、及びスペクトルカメラのいずれか１つ以上を含んでいてよい。デジタルカメラとしては、典型的には、全方位カメラ（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｃａｍｅｒａ；全周カメラ、３６０度カメラとも呼ばれる）が用いられる。撮影部１４１２が全方位カメラにより周辺環境の画像（映像）を取得する場合について特に詳細に説明するが、他の場合についても同様の処理を行うことが可能である。
Ｖ－ＳＬＡＭ部１４１３は、例えば、プロセッサ及び記憶装置を含むハードウェアと、Ｖ－ＳＬＡＭソフトウェアとの協働によって実現される。Ｖ－ＳＬＡＭ部１４１３は、撮影部１４１２により取得された映像をリアルタイムで解析して、ＵＡＶ１４１０の周辺環境（建築物など）の３次元情報を生成し、且つ、ＵＡＶ１４１０（特に撮影部１４１２）の位置及び姿勢を推定する。Ｖ－ＳＬＡＭ部１４１３が実行する処理は、公知のＶ－ＳＬＡＭ処理と同様であってよい。なお、Ｖ－ＳＬＡＭと同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
障害物検知部１４１４は、例えば、プロセッサ及び記憶装置を含むハードウェアと、障害物検知ソフトウェアとの協働によって実現される。障害物検知部１４１４は、例えば、撮影部１４１２により取得された映像を構成する画像（フレーム）を前述の推論モデル（学習済みモデル）に入力することにより、障害物（道具、作業者など）に相当する画像領域を検出する。なお、障害物検知部１４１４は、障害物に相当する画像領域を検出するためにルールベースの処理を用いてもよい。また、障害物検知部１４１４は、学習済みモデルを用いた処理とルールベース処理とを組み合わせて障害物検知を行うように構成されてもよい。
障害物検知部１４１４からの出力は制御部１４１１に入力される。制御部１４１１は、障害物検知部１４１４からの出力に基づいて、検知された障害物への衝突を避けるための制御を行う。この制御は、例えば、飛行経路の変更、空中浮揚、着陸、自律飛行から他律飛行への切り替え、警告音の出力、及び、ＵＡＶコントローラ１４２０に警告情報（警告音、警告表示など）を出力させるための指示のいずれかであってよい。
ＵＡＶコントローラ１４２０は、ＵＡＶ１４１０を遠隔操作するためのリモートコントローラとして用いられる。また、ＵＡＶコントローラ１４２０は、計測対象の建築物に関する情報（ＢＩＭモデル、ＣＡＤモデル、部材の情報、施工計画など）を表示するために用いられる。また、ＵＡＶコントローラ１４２０は、ＵＡＶ１４１０に関する情報（飛行経路、撮影部１４１２により得られた映像、警告など）を出力するために用いられる。また、ＵＡＶコントローラ１４２０は、ＵＡＶ１４１０の飛行計画（飛行経路）の作成や編集に用いられてもよい。
ＵＡＶコントローラ１４２０は、制御部１４２１とユーザーインターフェイス１４２２とを含む。制御部１４２１は、ＵＡＶコントローラ１４２０の各部を制御する。プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部１４２１は、他の装置（ＵＡＶ１４１０、エッジコンピュータ１４４０など）との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
ユーザーインターフェイス１４２２は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。ユーザーインターフェイス１４２２は、典型的には、タブレット、スマートフォンなどのモバイルコンピュータであり、タッチスクリーン、ＧＵＩなどを含む。
トータルステーション１４３０は、飛行しているＵＡＶ１４１０を追尾するために用いられる。ＵＡＶ１４１０に再帰反射体が設けられている場合、トータルステーション１４３０は、追尾光（測距光）を出力し、再帰反射体による追尾光の反射光を受光することによって、再帰反射体を追尾する。トータルステーション１４３０は再帰反射体の追尾を行いつつ、トータルステーション１４３０の設置位置（又は、他の基準位置）を基準とした３次元座標（斜距離（ｓｌｏｐｅ ｄｉｓｔａｎｃｅ）、水平角、鉛直角など）を測定する。追尾機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、追尾ソフトウェアとの協働によって実現される。また、３次元座標測定機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、３次元座標測定ソフトウェアとの協働によって実現される。
ＵＡＶ１４１０に再帰反射体が設けられない場合、例えば、ＵＡＶ１４１０に複数の受光センサを設けることができる（図示は省略する）。各受光センサは、トータルステーション１４３０からの追尾光を受光可能である。複数の受光センサのうちのいずれの受光センサが追尾光を受光したか判断することで、トータルステーション１４３０に対するＵＡＶ１４１０の向きを推定することが可能である。この推定処理は、例えば、ＵＡＶ１４１０、ＵＡＶコントローラ１４２０、トータルステーション１４３０、及びエッジコンピュータ１４４０のいずれかにより実行される。
トータルステーション１４３０は、他の装置（ＵＡＶ１４１０、ＵＡＶコントローラ１４２０、エッジコンピュータ１４４０など）との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。トータルステーション１４３０は、前述の追尾とともに逐次に取得されるＵＡＶ１４１０の位置情報（３次元座標）をリアルタイムでＵＡＶ１４１０に送信することができる。
このように、ＵＡＶ１４１０は、トータルステーション１４３０から送信される情報により、自身の現在位置を認識することができる。また、ＵＡＶ１４１０は、Ｖ－ＳＬＡＭ部１４１３により得られた情報により、自身の現在位置を認識することができる。
トータルステーション１４３０による追尾の死角領域をＵＡＶ１４１０が飛行しているとき、ＵＡＶ１４１０は、Ｖ－ＳＬＡＭに基づく（比較的大まかな）位置情報のみをリアルタイムで認識する。
一方、死角領域以外の領域をＵＡＶ１４１０が飛行しているとき、ＵＡＶ１４１０は、Ｖ－ＳＬＡＭに基づく（比較的大まかな）位置情報と、トータルステーション１４３０に基づく（比較的詳細な）位置情報との双方を、リアルタイムで認識することができる。双方の位置情報をリアルタイムで取得できるとき、ＵＡＶ１４１０は、双方の位置情報を対応付けることができる。
また、ＵＡＶ１４１０は、双方の位置情報を取得可能なときにはトータルステーション１４３０に基づく（比較的詳細な）位置情報を参照して自律飛行し、それ以外のときにはＶ－ＳＬＡＭに基づく（比較的大まかな）位置情報を参照して自律飛行するように構成されていてよい。
エッジコンピュータ１４４０は、建築現場でのエッジコンピューティングを実現するためのコンピュータであり、ＵＡＶ１４１０、ＵＡＶコントローラ１４２０、トータルステーション１４３０などの装置からのデータを建築現場（又はその近く）で処理する。このようなエッジコンピューティングの導入により、システム１４０全体における負荷増大や通信遅延の解消を図ることができる。
エッジコンピュータ１４４０は、ＵＡＶ１４１０、ＵＡＶコントローラ１４２０、トータルステーション１４３０など、建築現場において用いられる装置との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
また、エッジコンピュータ１４４０は、クラウドコンピュータ１４５０との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
更に、エッジコンピュータ１４４０は、ＢＩＭデータ処理アプリケーションや建築データ管理アプリケーションを含んでいてよい。本態様において、エッジコンピュータ１４４０は、ＳｆＭ・ＭＶＳ部１４４１と施工管理部１４４２とを含む。
ＳｆＭ・ＭＶＳ部１４４１は、例えば、プロセッサ及び記憶装置を含むハードウェアと、ＳｆＭソフトウェア及びＭＶＳソフトウェアとの協働によって実現される。ＳｆＭ・ＭＶＳ部１４４１は、例えば、ＵＡＶ１４１０の撮影部１４１２により取得された映像と、ＵＡＶ１４１０のＶ－ＳＬＡＭ部１４１３により取得されたＵＡＶ１４１０の位置情報と、トータルステーション１４３０により取得されたＵＡＶ１４１０の位置情報とに基づいて、ＵＡＶ１４１０の位置情報（実際に飛行した経路）と、（実体）建築物の３次元モデルとを作成するように構成される。
ＳｆＭ・ＭＶＳ部１４４１は、ＳｆＭ処理として、ＵＡＶ１４１０が飛行しながら取得した映像から、ＵＡＶ１４１０の位置情報を推定する。より具体的には、ＳｆＭ・ＭＶＳ部１４４１は、ＵＡＶ１４１０が飛行しながら取得した映像にＳｆＭ処理を適用することにより、ＵＡＶ１４１０が実際に飛行した経路を表す時系列３次元座標と、時系列３次元座標における各３次元座標に対応したＵＡＶ１４１０の姿勢とを求める。すなわち、ＳｆＭ・ＭＶＳ部１４４１は、撮影部１４１２に含まれるカメラの移動経路を表す時系列３次元座標と、この移動経路に沿ったカメラの時系列姿勢情報とを取得する。ＳｆＭ処理において、トータルステーション１４３０により取得されたＵＡＶ１４１０の位置情報（３次元座標）を参照することができる。これにより、取得される時系列３次元座標及び時系列姿勢情報の精度の向上を図ることができる。本例のＳｆＭ処理は、公知のＳｆＭ処理と同様であってよい。なお、本例のＳｆＭ処理と同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
更に、ＳｆＭ・ＭＶＳ部１４４１は、ＭＳＶ処理として、ＳｆＭ処理で求められたＵＡＶ１４１０の位置情報（カメラの時系列位置情報及び時系列姿勢情報）と、ＵＡＶ１４１０が飛行しながら取得した映像とに基づいて、（実体）建築物の点群データを生成する。
本例において、エッジコンピュータ１４４０（ＳｆＭ・ＭＶＳ部１４４１、施工管理部１４４２、又は他のデータ処理部）は、撮影部１４１２により取得された映像を構成する画像（フレーム）を前述の推論モデルに入力することにより、建築部材に相当する画像領域（部材領域）を検出するように構成されてよい。また、エッジコンピュータ１４４０（ＳｆＭ・ＭＶＳ部１４４１、施工管理部１４４２、又は他のデータ処理部）は、検出された各部材領域に対応した部材属性（種類、識別情報（ＩＤ）、形状、位置、計測日、計測時刻など）を特定することができる。なお、エッジコンピュータ１４４０は、部材領域を検出するためにルールベースの処理を用いてもよい。また、エッジコンピュータ１４４０は、学習済みモデルを用いた処理とルールベース処理とを組み合わせて部材領域検出を行うように構成されてもよい。
施工管理部１４４２は、例えば、プロセッサ及び記憶装置を含むハードウェアと、施工管理ソフトウェアとの協働によって実現される。施工管理部１４４２は、システム１４０により扱われる各種データの管理を行うように構成されている。施工管理部１４４２が実行する処理については後述する。
クラウドコンピュータ１４５０は、コンピュータネットワークを経由して遠隔地から建築現場にコンピュータ資源をサービスの形で提供するクラウドコンピューティングを実現するためのコンピュータである。このようなクラウドコンピューティングの導入により、システム１４０に提供可能なサービスの拡張性、柔軟性、効率性などの向上を図ることができる。
クラウドコンピュータ１４５０は、例えば、ＢＩＭツール、データ管理ツール、これらツールに用いられるデータ（設計ＢＩＭ、施工情報、計測ＢＩＭなど）を管理し、エッジコンピュータ１４４０に提供するように構成される。本態様において、クラウドコンピュータ１４５０は、ＢＩＭ部１４５１とデータ管理部１４５２とを含む。
ＢＩＭ部１４５１は、ＢＩＭツールなどの各種ツールや、ＢＩＭツールに用いられるデータなどの各種データを、エッジコンピュータ１４４０に提供する。ＢＩＭ部１４５１は、例えば、プロセッサ及び記憶装置を含むハードウェアと、ＢＩＭソフトウェアとの協働によって実現される。ＢＩＭ部１４５１が実行する処理については後述する。
データ管理部１４５２は、各種ツールや各種データを管理する。データ管理部１４５２は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ管理ソフトウェアとの協働によって実現される。データ管理部１４５２が実行する処理については後述する。
このような本態様のシステム１４０により扱われるデータの構造（データフォーマット）の例を図１５に示す。データフォーマット１５０は、設計データ１５１０と、レンダリングデータ１５２０と、計測データ１５３０と、検査情報１５４０と、検査用知識ベース１５５０と、検査データ１５６０とを含む。つまり、データフォーマット１５０は、少なくともこれらの種類のデータが記録される領域を含んだデータ構造を有する。
設計データ１５１０が記録される領域には、ＢＩＭデータ（設計ＢＩＭ）、設計図など、前述した各種の設計データが記録される。
レンダリングデータ１５２０が記録される領域には、設計ＢＩＭをレンダリングして得られた画像データ（仮想画像）が記録される。レンダリングデータは、設計ＢＩＭ中の複数の位置のそれぞれについて構築される。例えば、予め設定された飛行経路上の複数の位置のそれぞれについて、その位置を視点としたボリュームレンダリングを設計ＢＩＭに適用する。それにより、設計ＢＩＭ中の飛行経路に沿った複数のレンダリングデータ（複数の仮想画像）が得られる。各レンダリングデータに対し、対応する位置情報（設計ＢＩＭ中の視点の３次元座標）を、属性情報として付帯させることができる。レンダリングデータの属性情報はこれに限定されない。例えば、レンダリングデータの属性情報は設計ＢＩＭに関する任意の情報、レンダリング処理に関する任意の情報、レンダリングデータに関する任意の情報などを含んでいてよい。
計測データ１５３０が記録される領域には、（実体）建築物を計測して取得された各種のデータが記録される。このようなデータの例として、建築物の点群データ、各計測位置の３次元座標、ＵＡＶ１４１０の撮影部１４１２により取得された映像、２次元画像、寸法情報、計測日、計測時刻などがある。また、これらのデータのいずれかに関するパラメータ情報を記録することもできる。例えば、点群データ作成処理に関するパラメータ情報や、撮影部１４１２による撮影処理に関するパラメータ情報などを記録することが可能である。
検査情報１５４０が記録される領域には、仮想部材に対応した実体部材を検査するための各種情報（検査情報）が記録される。検査情報１５４０は、例えば、各検査位置（各仮想部材の位置）における検査対象（仮想部材）の形状、寸法、施工日、施工時刻などを含む。つまり、検査情報１５４０は、各仮想部材の複数の属性に関する情報を含んでいてよい。検査情報はこれらに限定されず、検査に関する任意の情報を含んでいてよい。
検査用知識ベース１５５０が記録される領域には、仮想部材に対応した実体部材を検査するために用いられる各種の知識が記録される。検査用知識ベース１５５０は、例えば、計測経路（飛行経路に沿った複数の検査位置）、前述した推論モデル（学習済みモデルの重み係数、ニューラルネットワークモデルなど）などを含む。また、検査用知識ベース１５５０は、ルールベースのアルゴリズムを含んでいてもよい。
検査データ１５６０が記録される領域には、仮想部材に対応した実体部材を検査することにより取得された各種のデータ（検査データ）が記録される。検査データ１５６０は、例えば、検査位置における対象物の有無（仮想部材に対応する実体部材の有無）、仮想部材に対する実体部材の偏位（位置ずれの有無、位置ずれの方向、位置ずれの向きなど）、検査位置が所定条件を満足しているかの判定結果などを含む。この判定は、例えば、予め設定された飛行経路上から得たデータに基づき検査が行われたか否かの判定、換言すると、当該時点において障害物回避（又は、他の理由による飛行経路からの逸脱）が行われたか否かの判定を含んでよい。
このような本態様のシステム１４０の動作例について、図１６Ａ～図１６Ｃを更に参照して説明する。
本動作例の一連の工程（検査）を実施するタイミングは任意である。例えば、所定の施工プロセスごとに検査を実施することができる。例示的な用途として、以下の一連の工程を各工事日に実施することで、各工事日における施工進捗状況をデータ化することができる。本動作例の用途が施工進捗状況確認のみである場合、各仮想部材に対応した実体部材の有無の検査のみを実施するようにしてよい。他の用途の場合、より高い精度で検査を行うようにしてよい。
（Ｓ１：飛行経路を生成する）
本動作例ではまず、クラウドコンピュータ１４５０が、エッジコンピュータ１４４０（施工管理部１４４２）が、設計ＢＩＭ、施工情報（部材ごとの施工日情報）、ＵＡＶ１４１０を用いた検査を実施する日（計測日情報）、障害物画像（仮想的に生成された画像、実際の撮影画像）などを、エッジコンピュータ１４４０に送信する。エッジコンピュータ１４４０は、クラウドコンピュータ１４５０から提供された情報に基づいて、当該計測日におけるＵＡＶ１４１０の飛行経路を決定する。
飛行経路の生成は、クラウドコンピュータ１４５０が行ってもよいし、ＵＡＶコントローラ１４２０が行ってもよいし、他のコンピュータが行ってもよい（以下同様）。また、計測日情報をクラウドコンピュータ１４５０から取得する代わりに、エッジコンピュータ１４４０又はＵＡＶコントローラ１４２０が計測日情報を生成してもよい。飛行経路の生成は、全自動、半自動、又は手動で行われる。施工日情報は、施工時刻を含んでいてもよい。
飛行経路は、例えば、ＵＡＶ１４１０の撮影部１４１２と検査対象（部材、床、天井、壁、設備、柱など）との間の距離が許容範囲に含まれるように決定される。例えば、この距離が近いほど検査精度が向上することを考慮して許容範囲（最大距離）を設定することができる。他方、建築物の全体を撮影できるように許容範囲（最小距離）を設定することができる。
（Ｓ２：飛行経路をＵＡＶに送信する）
エッジコンピュータ１４４０は、例えばユーザーの指示を受けて、ステップＳ１で生成された飛行経路の情報をＵＡＶ１４１０に送信する。
（Ｓ３：仮想画像を生成する）
また、エッジコンピュータ１４４０は、ステップＳ１で生成された飛行経路に基づいて設計ＢＩＭをレンダリングすることにより仮想画像（レンダリングデータ）を生成する。例えば、エッジコンピュータ１４４０は、設計ＢＩＭが定義された３次元仮想空間内を仮想ＵＡＶ（仮想カメラ）が当該飛行経路に沿って飛行したときに得られる仮想的な映像を生成する。より具体的には、エッジコンピュータ１４４０は、当該飛行経路上の複数の位置のそれぞれについて、当該位置から仮想カメラで取得される仮想ＢＩＭ（仮想建築物）の画像を生成する。
（Ｓ４：推論モデルを構築する）
エッジコンピュータ１４４０は、ステップＳ３で生成された仮想画像（及び、他の複数の仮想画像）を教師データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータから部材データを特定するための推論モデル（第１の推論モデル）を構築する。
また、エッジコンピュータ１４４０は、ステップＳ１でクラウドコンピュータ１４５０から提供された障害物画像（及び、他の複数の障害物画像）を教師データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータに混入した障害物のデータを特定するための推論モデル（第２の推論モデル）を構築する。
なお、仮想画像及び障害物画像の双方を教師データとすることで、第１の推論モデル及び第２の推論モデルの双方として機能する単一の推論モデルを構築することができる。この推論モデルは、実体建築物のデータから部材データと障害物データとを特定するように訓練されたものである。以下の説明ではこのような推論モデルを採用するが、これに限定されない。また、推論モデルは他の機能を有していてもよい。
教師データは、部材のテクスチャ情報や、障害物のテクスチャ情報を含んでいてもよい。また、推論モデル構築に用いられるニューラルネットワークモデルは、典型的にはＣＮＮである。なお、推論モデル構築に用いられる手法は、本例に限定されず、例えば、サポートベクターマシン、ベイズ分類器、ブースティング、ｋ平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク（ＧＡＮ）などの任意の手法を適用することが可能である。
（Ｓ５：推論モデルをＵＡＶに送信する）
エッジコンピュータ１４４０は、ステップＳ４で構築された推論モデル（重み係数、ニューラルネットワークモデルなど）をＵＡＶ１４１０に送信する。
（Ｓ６：建築物の計測作業を開始する）
ステップＳ１～Ｓ５の準備の後、実体建築物の計測作業が開始される。
（Ｓ７：ＵＡＶとトータルステーションとを同期させる）
計測作業では、まず、ＵＡＶ１４１０とトータルステーション（ＴＳ）１４３０との同期が実施される。つまり、ＵＡＶ１４１０内の時計とトータルステーション１４３０内の時計とが同期される。これにより、ＵＡＶ１４１０により得られる映像に付帯される時刻（撮影時刻）と、トータルステーション１４３０により取得されるＵＡＶ１４１０の位置情報に付帯される時刻（計測時刻）とが同期される。ここで、撮影時刻は、Ｖ－ＳＬＡＭ処理を用いて映像から取得される位置情報に付帯される。
ＵＡＶ１４１０及びトータルステーション１４３０の双方が屋外にある場合、例えば、航法衛星からの航法信号（原子時計に基づく時刻情報を含む）を利用して双方の時計を同期させることができる。他方、ＵＡＶ１４１０及びトータルステーション１４３０の一方が屋内にある場合、例えば、ＵＡＶ１４１０及びトータルステーション１４３０の双方が接続可能なネットワーク上のタイムサーバを利用して双方の時計を同期させることができる。なお、同期の手法はこれらに限定されない。
（Ｓ８：トータルステーションによるＵＡＶの追尾を開始する）
ステップＳ７の時刻同期の後、ユーザーは、例えばＵＡＶコントローラ１４２０を用いて計測開始を指示する。トータルステーション１４３０は、ＵＡＶコントローラ１４２０からの計測開始指示を受けたＵＡＶ１４１０の追尾を開始する。また、トータルステーション１４３０は、ＵＡＶ１４１０の位置情報の生成と、この位置情報のＵＡＶ１４１０へのリアルタイム送信とを開始する。
（Ｓ９：飛行と撮影と障害物検知を開始する）
また、ステップＳ８の計測開始指示を受けたＵＡＶ１４１０は、ステップＳ２で受信した飛行経路を参照した自律飛行と、撮影部１４１２による撮影（及び、映像の保存）と、Ｖ－ＳＬＡＭ部１４１３及び障害物検知部１４１４による障害物検知処理とを開始する。
（Ｓ１０：外部からの情報に基づき飛行制御を行う）
ＵＡＶ１４１０は、トータルステーション１４３０からリアルタイムで送信される追尾情報（追尾対象であるＵＡＶ１４１０の位置情報）と、ステップＳ２で受信した飛行経路とに基づく飛行制御によって、自律飛行を行う。なお、ステップＳ１０～Ｓ１４は、ステップＳ１４で「Ｙｅｓ」と判断されるまで繰り返し実行される。
（Ｓ１１：追尾中断時は自身で得た情報に基づき飛行制御を行う）
トータルステーション１４３０による追尾の死角範囲にＵＡＶ１４１０が入ると、例えば、ＵＡＶ１４１０は、トータルステーション１４３０からの追尾情報を受信できなくなる。ＵＡＶ１４１０は、追尾情報の受信が途絶えたことに対応し、自律飛行制御のために参照する位置情報を、トータルステーション１４３０からの追尾情報から、Ｖ－ＳＬＡＭ部１４１３により逐次に取得される位置情報に切り替えるように構成されてよい。更に、ＵＡＶ１４１０は、追尾情報の受信が再開したことに対応し、自律飛行制御のために参照する位置情報を、Ｖ－ＳＬＡＭ部１４１３により逐次に取得される位置情報から、トータルステーション１４３０からの追尾情報に切り替えるように構成されてよい。
なお、トータルステーション１４３０による追尾の死角範囲にＵＡＶ１４１０が入ったとしても、電波の反射や透過などにより何らかの追尾情報がＵＡＶ１４１０に到達することも有り得る。このような場合を想定し、ＵＡＶ１４１０は、追尾情報が示す位置情報から問題を検出するように構成されていてよい。例えば、ＵＡＶ１４１０は、追尾情報が示す位置情報と、Ｖ－ＳＬＡＭ部１４１３で得られた位置情報とを照合することによって問題を検出するように構成されていてよい（前述したように、双方の位置情報は同期されている）。この構成の一例として、ＵＡＶ１４１０は、双方の位置情報（３次元座標）の間の誤差を算出し、この誤差が所定閾値以上であるときに「問題有り」と判断し、この誤差が所定閾値未満であるときに「問題無し」と判断するように構成されてよい。ＵＡＶ１４１０は、判断結果が「問題無し」から「問題有り」に移行したことに対応して、自律飛行制御のために参照する位置情報を、トータルステーション１４３０からの追尾情報から、Ｖ－ＳＬＡＭ部１４１３により逐次に取得される位置情報に切り替えるように構成されてよい。更に、ＵＡＶ１４１０は、判断結果が「問題有り」から「問題無し」に移行したことに対応して、自律飛行制御のために参照する位置情報を、Ｖ－ＳＬＡＭ部１４１３により逐次に取得される位置情報から、トータルステーション１４３０からの追尾情報に切り替えるように構成されてよい。
このような構成により、トータルステーション１４３０によるＵＡＶ１４１０の追尾が中断している間、ＵＡＶ１４１０は、Ｖ－ＳＬＡＭ部１４１３により逐次に求められる位置及び姿勢に基づいて自律飛行制御を行うことができる。
（Ｓ１２：障害物を検知したか？）
障害物検知部１４１４が障害物を検知すると（Ｓ１２：Ｙｅｓ）、動作はステップＳ１３に移行する。障害物を検知しない間は（Ｓ１２：Ｎｏ）、動作はステップＳ１３をスキップしてステップＳ１４に進む。
（Ｓ１３：障害物回避制御を行う）
ステップＳ１２で障害物が検知されると（Ｓ１２：Ｙｅｓ）、ＵＡＶ１４１０は、前述した障害物回避動作のための制御を行う。例えば、ＵＡＶ１４１０は、検知された障害物の位置、方向、寸法などを求め、この障害物への衝突を避ける経路を決定し、この経路に沿って飛行する。典型的には、この衝突回避経路の始点及び終点は、ステップＳ２で受信した飛行経路上に位置する。すなわち、ＵＡＶ１４１０は、ステップＳ２で受信した飛行経路から外れて障害物を迂回し、当該飛行経路に復帰する。
（Ｓ１４：飛行終了地点に到着したか？）
ＵＡＶ１４１０は、トータルステーション１４３０からの追尾情報や、Ｖ－ＳＬＡＭ部１４１３により取得される位置情報に基づいて、ステップＳ２で受信した飛行経路の終点（飛行終了地点）に到達したか判断することができる。飛行終了地点に到達していないと判断されたとき（Ｓ１４：Ｎｏ）、動作はステップＳ１０に戻る。一方、飛行終了地点に到達したと判断されたとき（Ｓ１４：Ｙｅｓ）、動作はステップＳ１５に進む。以上で、実体建築物の計測（撮影）は完了となる。
（Ｓ１５：撮影画像をエッジコンピュータに送信する）
飛行終了地点まで到達したら（Ｓ１４：Ｙｅｓ）、ＵＡＶ１４１０は、飛行しながら取得した撮影画像（映像）をエッジコンピュータ１４４０に送る。なお、ＵＡＶ１４１０は、飛行しながら逐次に撮影画像をエッジコンピュータ１４４０に送ってもよいし、飛行中は撮影画像を蓄積しておき飛行完了後にまとめてエッジコンピュータ１４４０に送ってもよい。また、ＵＡＶ１４１０は、所定時間ごとに撮影画像の蓄積と送信とを繰り返してもよい。或いは、ＵＡＶ１４１０は、所定のデータ量だけ撮影画像が蓄積される度に送信するようにしてもよい。
以下の工程はいずれも、ＵＡＶ１４１０で取得された画像に基づく一連の処理である（後処理）。ＵＡＶ１４１０が飛行しながら撮影画像をエッジコンピュータ１４４０に送信する場合、ＵＡＶ１４１０の飛行が完了する前に後処理を開始してもよい。つまり、撮影と後処理とを並行して逐次的に行ってもよい。これにより、作業時間の短縮を図ることが可能となる。他方、撮影完了後に後処理を開始する場合には、全ての撮影画像を参照して後処理を実行できるため、処理の精度や確度の向上を図ることが可能である。例えば、或る撮影画像を解析するときに、その前後の撮影画像を参照することが可能である。
ここで、エッジコンピュータ１４４０は、撮影画像が後処理に適しているか否か判定するができる。例えば、エッジコンピュータ１４４０は、撮影画像の品質（輝度、コントラスト、ピント、色、精細性など）を評価するように構成されていてよい。品質が不十分であると判定された場合、ＵＡＶ１４１０による撮影を再度実施することや、画質を向上させるための画像処理を撮影画像に適用することができる。この画像処理には、例えば、機械学習により構築された学習済みモデルが利用される。また、この画像処理は、前後の撮影画像を利用した補間的な処理を含んでもよい。ＵＡＶ１４１０による撮影中に画像品質評価を開始してもよい。撮影中に画像品質が不十分と判定されたとき、品質が不十分と判定された撮影画像が取得された位置（又は、飛行経路においてそれよりも上流の位置）に戻って再撮影するようにしてもよい。
同様に、トータルステーション１４３０は、ＵＡＶ１４１０の追尾とともに収集されたＵＡＶ１４１０（撮影部１４１２、再帰反射体）の時系列３次元座標及び時系列姿勢情報をエッジコンピュータ１４４０に送信する。
（Ｓ１６：カメラの位置・姿勢を求める）
エッジコンピュータ１４４０は、ＵＡＶ１４１０により取得された撮影画像（映像の各フレーム）と、トータルステーション１４３０により取得された時系列情報（時系列３次元座標、時系列姿勢情報）とに基づいてＳｆＭ処理を実行することにより、飛行経路上の複数の位置のそれぞれにおける撮影部１４１２（カメラ）の位置及び姿勢を求める。ここで、ステップＳ７においてＵＡＶ１４１０とトータルステーション１４３０とを同期させたので、映像の時刻情報と時系列情報の時刻情報とを対応付けることができる。エッジコンピュータ１４４０は、この時刻の対応付けを行うことで、映像と時系列情報との組み合わせに対してＳｆＭ処理を適用することができる。
（Ｓ１７：撮影画像から部材エリアを抽出する）
エッジコンピュータ１４４０は、ステップＳ４で構築された推論モデルを用いて、ＵＡＶ１４１０により取得された撮影画像（映像の各フレーム）から、設計ＢＩＭに含まれる部材（仮想部材）に相当する画像領域（部材エリア、部材領域）を抽出する。この抽出処理は、例えば、設計ＢＩＭ中の部材エリアを特定する処理と、特定された部材エリア以外の画像領域をマスクする処理とを含む。ここで、エッジコンピュータ１４４０は、特定された部材エリアに対応する実体部材の所定の属性を特定する処理を行ってもよい。
エッジコンピュータ１４４０は、ステップＳ１７で得られた情報がこれ以降の処理に適しているか否か判定することができる。例えば、多数の仮想部材について、対応する実体部材の部材エリアが抽出されなかった場合に「不適」と判定される。不適と判定された場合、エッジコンピュータ１４４０は、例えば、再撮影を要求するための制御を行うことができる。
（Ｓ１８：部材エリアの特徴点とその座標を求める）
エッジコンピュータ１４４０は、ステップＳ１７で抽出された部材エリアの特徴点を検出する。特徴点は、１以上の点、１以上の線、及び１以上の面のいずれかであってよい。また、特徴点は、模様などであってもよい。更に、エッジコンピュータ１４４０は、検出された特徴点の３次元座標を求める。
（Ｓ１９：部材の面データを生成する）
エッジコンピュータ１４４０は、ステップＳ１７で抽出された部材エリアに対応する実体部材の面データを生成する。例えば、エッジコンピュータ１４４０は、ステップＳ１８で検出された特徴点に基づいて、撮影位置が異なる２以上の撮影画像の位置合わせを行う（レジストレーション）。典型的には、これら撮影画像は部分的にオーバーラップしている。エッジコンピュータ１４４０は、ＭＶＳ処理を用いることで、これら撮影画像の撮影位置に基づき、これら撮影画像に共通して描出されている部材の面データを生成する。
より詳細に説明する。エッジコンピュータ１４４０は、設計ＢＩＭと映像との間のレジストレーションを行う。これにより、例えば、設計ＢＩＭが定義された３次元空間（３次元座標系）に映像の各フレーム（撮影画像）が埋め込まれる。
次に、エッジコンピュータ１４４０は、設計ＢＩＭ中の仮想部材の所定の面について、その近傍に位置する撮影画像中の点群を求める。例えば、エッジコンピュータ１４４０は、仮想部材の所定の面に対する距離が所定閾値内以下である撮影画像中の点を特定することによって点群を特定する。映像の各フレームについてこのような処理を実行することにより、仮想部材の所定の面の近傍に位置する３次元座標点群が得られる。
次に、エッジコンピュータ１４４０は、求められた３次元座標点群に基づいて、仮想部材の所定の面に対応する映像中の面を決定する。例えば、エッジコンピュータ１４４０は、３次元座標点群の少なくとも一部に基づく近似面（平面、自由曲面など）を求める。この近似面が上記の面データである。つまり、この近似面は、仮想部材の所定の面に相当する映像中の面データ（面画像）として扱われる。換言すると、この近似面は、仮想部材に対応する実体部材の部分（面）であって、この仮想部材の所定の面に対応する部分（面）として扱われる。エッジコンピュータ１４４０は、仮想部材の所定の面と、それに基づき決定された映像中の面（実体部材の面）とを対応付ける。これにより、仮想部材と実体部材とが対応付けられ、仮想部材の属性（位置、形状など）と実体部材の属性（位置、形状など）とが対応付けられる。
（Ｓ２０：計測ＢＩＭを作成する）
エッジコンピュータ１４４０は、ステップＳ１９で生成された複数の面データに基づいて３次元モデル（計測ＢＩＭ）を作成する。つまり、エッジコンピュータ１４４０は、ステップＳ１９で求められた複数の実体部材のデータに基づいて計測ＢＩＭを作成する。作成された計測ＢＩＭは、クラウドコンピュータ１４５０に送信され、保存される。計測ＢＩＭは、設計ＢＩＭとの比較、施工管理、維持管理、補修管理などに用いられる。以上で、本動作例は終了である。
以上に説明した構成は、この発明の実施態様の例に過ぎない。よって、この発明の要旨の範囲内における任意の変形（省略、置換、付加等）を施すことが可能である。
１、８、９、１０、１１０、１３０ システム
１１ 制御部
１２ ユーザーインターフェイス
１３ データ取得部
１４ 記憶部
１４１ 設計データ
１４２ 実体部材データ
１４３ 仮想画像
１４４ 撮影画像
１４５、１４６、１４８ 計測データ
１４７ 代表部位情報
１４９ 部材選択情報
１５ 処理部
１５１ 部材対応付け部
１５２ 属性対応付け部
１５３ 推論モデル構築部
１５４ 移動制御情報作成部
１５５ 参照情報作成部
１５６ データオブジェクト検出部
１５７ 部分領域特定部
１５８、１５９ 実体部材データ生成部

Claims (8)

  1. 建築物リアリティキャプチャのためのデータ処理方法であって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
    仮想部材の代表部位を示す代表部位情報を準備するステップと、
    前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
    前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
    前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
    前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと、
    前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を前記代表部位情報に基づき特定する処理である部分領域特定処理を実行するステップと
    を含む、
    データ処理方法。
  2. 建築物リアリティキャプチャのためのデータ処理方法であって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
    前記設計データに基づき予め生成された、前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報を準備するステップと、
    前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
    前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
    前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
    前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと
    前記部材選択情報に示された前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する処理である実体部材データ生成処理を実行するステップと
    を含む、
    データ処理方法。
  3. 建築物リアリティキャプチャのためのデータ処理方法であって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
    前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
    前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
    前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
    前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと、
    前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、
    前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、
    前記部材対応付け処理は、前記施工日情報及び前記計測日情報に基づいて実行される、
    データ処理方法。
  4. 建築物リアリティキャプチャシステムに含まれるコンピュータに請求項１～３のいずれかのデータ処理方法の各ステップを実行させるプログラム。
  5. 請求項４のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
  6. 建築物のリアリティキャプチャのためのシステムであって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
    前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
    前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、
    前記代表部位情報に基づいて、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を特定する部分領域特定部と
    を含むシステム。
  7. 建築物のリアリティキャプチャのためのシステムであって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
    前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
    前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、
    前記部材選択情報に基づいて、前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する第２の実体部材データ生成部と
    を含むシステム。
  8. 建築物のリアリティキャプチャのためのシステムであって、
    仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
    前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
    前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と
    を含み、
    前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、
    前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、
    前記部材対応付け部は、更に前記施工日情報及び前記計測日情報に基づいて、前記複数のペアを生成する、
    システム。

JP2024048908A 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム Pending JP2024083371A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024048908A JP2024083371A (ja) 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025808A JP2021131652A (ja) 2020-02-19 2020-02-19 データ構造、記録媒体、プログラム、及びシステム
JP2024048908A JP2024083371A (ja) 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020025808A Division JP2021131652A (ja) 2020-02-19 2020-02-19 データ構造、記録媒体、プログラム、及びシステム

Publications (1)

Publication Number Publication Date
JP2024083371A true JP2024083371A (ja) 2024-06-21

Family

ID=77272957

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020025808A Pending JP2021131652A (ja) 2020-02-19 2020-02-19 データ構造、記録媒体、プログラム、及びシステム
JP2024048908A Pending JP2024083371A (ja) 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム
JP2024048907A Pending JP2024088665A (ja) 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020025808A Pending JP2021131652A (ja) 2020-02-19 2020-02-19 データ構造、記録媒体、プログラム、及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024048907A Pending JP2024088665A (ja) 2020-02-19 2024-03-26 データ処理方法、記録媒体、プログラム、及びシステム

Country Status (2)

Country Link
US (1) US20210256679A1 (ja)
JP (3) JP2021131652A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230066897A1 (en) * 2021-09-01 2023-03-02 Electronic Arts Inc. Generating Visual Assets for Video Games
JP7403108B2 (ja) * 2021-10-28 2023-12-22 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
JP7274782B1 (ja) 2021-12-10 2023-05-17 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
WO2023145901A1 (ja) * 2022-01-27 2023-08-03 京セラ株式会社 推定装置、推定方法、及び制御装置
JP7369375B1 (ja) * 2022-08-31 2023-10-26 株式会社イクシス 建築物又は土木構造物の管理支援システム

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996503B2 (en) * 2000-04-27 2006-02-07 El-Con System Co., Ltd. System and method for take-off of materials using two-dimensional CAD interface
JP2002197166A (ja) * 2000-12-27 2002-07-12 Nec Corp 仮想不動産取引方法及びそれに用いる端末並びにその制御プログラム記録媒体
WO2003012562A1 (fr) * 2001-07-27 2003-02-13 Nippon Steel Corporation Systeme de traitement d'informations pour la fabrication de materiaux de construction, procede et installation de fabrication de materiaux de construction et systeme de circulation relatives aux informations de construction
ATE354134T1 (de) * 2003-08-28 2007-03-15 Accenture Global Services Gmbh Erfassung, zusammenstellung und/oder visualisierung von strukturellen merkmalen von architekturen
US20050252149A1 (en) * 2004-04-02 2005-11-17 Golden Star, Inc. Free-standing clear-span frame structure and components
JP4649192B2 (ja) * 2004-12-14 2011-03-09 株式会社トプコン ステレオ画像作成方法及び３次元データ作成装置
US20080120069A1 (en) * 2006-11-22 2008-05-22 Jason Martin Generating an analytical model of building for use in thermal modeling and environmental analyses
US8429871B2 (en) * 2007-04-11 2013-04-30 Erla Dögg Ingjaldsdottir Affordable, sustainable buildings comprised of recyclable materials and methods thereof
US8145578B2 (en) * 2007-04-17 2012-03-27 Eagel View Technologies, Inc. Aerial roof estimation system and method
FR2923229A1 (fr) * 2007-11-06 2009-05-08 Stephan Kumpf Bloc de construction pour mur, a montage a joints de mortier et a sec, ventile a double actions
US20100235206A1 (en) * 2008-11-14 2010-09-16 Project Frog, Inc. Methods and Systems for Modular Buildings
US20110061336A1 (en) * 2009-03-04 2011-03-17 Michael Robert Thomas Building system, concrete or OSB, pour molded or pressed molded, composite panels, trusses, and products, with engineering methods and fasteners, and related transportation, erection, and materials processing equipment
US20150213590A1 (en) * 2011-07-29 2015-07-30 Google Inc. Automatic Pose Setting Using Computer Vision Techniques
US20140195300A1 (en) * 2011-08-15 2014-07-10 Nec Corporation Site of interest extraction device, site of interest extraction method, and computer-readable recording medium
FI124153B (en) * 2012-01-11 2014-04-15 Indooratlas Oy Using magnetic field navigation
US8935222B2 (en) * 2013-01-02 2015-01-13 International Business Machines Corporation Optimizing a partition in data deduplication
US20150339823A1 (en) * 2013-01-09 2015-11-26 Telefonaktiebolaget L M Ericsson (Publ) Supporting and enhancing image-based positioning
US10909482B2 (en) * 2013-03-15 2021-02-02 Pictometry International Corp. Building materials estimation
US10140758B1 (en) * 2013-06-27 2018-11-27 The Boeing Company Texturing models of structures
US10861224B2 (en) * 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
US10089417B2 (en) * 2013-09-26 2018-10-02 Here Global B.V. Structure determination in a geographic area
US20150302529A1 (en) * 2014-04-18 2015-10-22 Marshall & Swift/Boeckh, LLC Roof condition evaluation and risk scoring system and method
US20180239322A1 (en) * 2015-07-28 2018-08-23 Panasonic Intellectual Property Management Co., Ltd. Information creation method, storage medium, information creation device, and information creation system
US10332309B2 (en) * 2015-09-23 2019-06-25 Here Global B.V. Method and apparatus for identifying buildings in textured 3D mesh data and generating 3D building models
GB2543749A (en) * 2015-10-21 2017-05-03 Nokia Technologies Oy 3D scene rendering
US11217009B2 (en) * 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10832332B1 (en) * 2015-12-11 2020-11-10 State Farm Mutual Automobile Insurance Company Structural characteristic extraction using drone-generated 3D image data
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
US11150089B2 (en) * 2015-12-31 2021-10-19 Skydio, Inc. Unmanned aerial vehicle control point selection system
WO2017124074A1 (en) * 2016-01-15 2017-07-20 Mecha Industries, Inc. Methods for automatically generating a common measurement across multiple assembly units
DK3223191T3 (da) * 2016-03-23 2021-08-16 Leica Geosystems Ag Skabelse af en 3d-bymodel ud fra skrå billeddannelses- og lidardata
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
US11392625B2 (en) * 2016-06-27 2022-07-19 Omniearth, Inc. Systems and methods for utilizing property features from images
US10127670B2 (en) * 2016-09-27 2018-11-13 Xactware Solutions, Inc. Computer vision systems and methods for detecting and modeling features of structures in images
US10354439B2 (en) * 2016-10-24 2019-07-16 Charles C. Carrington System for generating virtual building plan data based upon stored and scanned building data and related methods
EP3330924A1 (en) * 2016-12-01 2018-06-06 Thomson Licensing Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device
US20200042915A1 (en) * 2016-12-13 2020-02-06 OE CONSTRUCTION SOLUTIONS INC. (doing business as OPTIMAL EFFICIENCY) Collaboration system for construction management utilizing shared computing platforms
LU93399B1 (en) * 2016-12-23 2018-07-24 Luxembourg Inst Science & Tech List Bim modelling with flexibility attributes
JP6862194B2 (ja) * 2017-01-26 2021-04-21 株式会社トプコン 写真測量用カメラ
US11043026B1 (en) * 2017-01-28 2021-06-22 Pointivo, Inc. Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom
EP3361235A1 (en) * 2017-02-10 2018-08-15 VoxelGrid GmbH Device and method for analysing objects
JP7050425B2 (ja) * 2017-05-01 2022-04-08 株式会社トプコン 測量システム
DE102017208174A1 (de) * 2017-05-15 2018-11-15 Siemens Schweiz Ag Verfahren und Anordnung zur Berechnung von Navigationspfaden für Objekte in Gebäuden oder auf einem Campus
US20180349522A1 (en) * 2017-06-05 2018-12-06 Siteaware Systems Ltd. Adaptive Modeling of Buildings During Construction
US10419716B1 (en) * 2017-06-28 2019-09-17 Vulcan Technologies Llc Ad-hoc dynamic capture of an immersive virtual reality experience
US10297074B2 (en) * 2017-07-18 2019-05-21 Fuscoe Engineering, Inc. Three-dimensional modeling from optical capture
US10600194B2 (en) * 2017-08-24 2020-03-24 General Electric Company Image and video capture architecture for three-dimensional reconstruction
US10643399B2 (en) * 2017-08-29 2020-05-05 Target Brands, Inc. Photorealistic scene generation system and method
US10503843B2 (en) * 2017-12-19 2019-12-10 Eagle View Technologies, Inc. Supervised automatic roof modeling
US10521663B1 (en) * 2017-12-28 2019-12-31 Intel IP Corporation Iterative image position determination
CA3030513A1 (en) * 2018-01-19 2019-07-19 Sofdesk Inc. Automated roof surface measurement from combined aerial lidar data and imagery
US10904374B2 (en) * 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US10733470B2 (en) * 2018-01-25 2020-08-04 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
WO2019171824A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 撮影装置、撮影方法及び撮影プログラム並びに撮影システム
US10504283B2 (en) * 2018-03-16 2019-12-10 Here Global B.V. Method and apparatus for regularizing building footprints using taxicab distance
AU2019243837A1 (en) * 2018-03-28 2020-10-01 Fracta Processing data for predicting pipe failure
WO2019202786A1 (ja) * 2018-04-18 2019-10-24 株式会社Ｎｔｔドコモ 訪問先推定装置および訪問先推定方法
JP7228573B2 (ja) * 2018-04-18 2023-02-24 株式会社Ｎｔｔドコモ 訪問先推定装置および訪問先推定方法
US10593118B2 (en) * 2018-05-04 2020-03-17 International Business Machines Corporation Learning opportunity based display generation and presentation
CA3102618A1 (en) * 2018-06-15 2019-12-19 Geomni, Inc. Computer vision systems and methods for modeling roofs of structures using two-dimensional and partial three-dimensional data
US11087035B2 (en) * 2018-06-29 2021-08-10 Trimble Inc. System and method for detection and simulation of building models
US10755484B1 (en) * 2018-08-17 2020-08-25 Bentley Systems, Incorporated Estimating subsurface feature locations during excavation
US11468206B2 (en) * 2018-08-20 2022-10-11 Sri International Machine learning system for building renderings and building information modeling data
US10546371B1 (en) * 2018-08-22 2020-01-28 William Pyznar System and method for inspecting the condition of structures using remotely controlled devices
US20200074233A1 (en) * 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
US11195418B1 (en) * 2018-10-04 2021-12-07 Zoox, Inc. Trajectory prediction on top-down scenes and associated model
US10708507B1 (en) * 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
US10930079B1 (en) * 2019-01-15 2021-02-23 Bentley Systems, Incorporated Techniques for displaying augmentations that represent cadastral lines and other near-ground features
US20220146992A1 (en) * 2019-01-25 2022-05-12 Andrew Gilbert Miller Method, System, and Computer Program Product for Autonomous Control of Dynamical Systems
MX2021009226A (es) * 2019-02-05 2021-11-12 Artec Europe S A R L Generacion de modelos de textura con un escaner movil.
US11790773B2 (en) * 2019-02-25 2023-10-17 Quantifly Llc Vehicle parking data collection system and method
CN109934914B (zh) * 2019-03-28 2023-05-16 东南大学 一种嵌入式城市设计场景仿真方法及***
EP3723052B1 (en) * 2019-04-10 2023-10-18 Dassault Systèmes 3d reconstruction of a structure of a real scene
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
CN111858563A (zh) * 2019-04-28 2020-10-30 京东方科技集团股份有限公司 校正测量数据的方法、装置、电子设备、介质和测量装置
US11238282B2 (en) * 2019-06-07 2022-02-01 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
EP3980932A1 (en) * 2019-07-08 2022-04-13 Waymo LLC Object detection in point clouds
US20210073447A1 (en) * 2019-09-06 2021-03-11 BeamUp, Ltd. Structural design systems and methods for updating simulation and modeling results
US20210110077A1 (en) * 2019-10-09 2021-04-15 Consulting Engineers, Corp. Method and system for locating a centerline in a wall frame
JP6693616B1 (ja) * 2019-12-11 2020-05-13 計測技研株式会社 測量システム及び測量方法
US11380078B2 (en) * 2019-12-13 2022-07-05 Hover, Inc. 3-D reconstruction using augmented reality frameworks
US11508042B1 (en) * 2020-01-29 2022-11-22 State Farm Mutual Automobile Insurance Company Imputation of 3D data using generative adversarial networks
US11199404B1 (en) * 2020-12-09 2021-12-14 Baker Hughes Holdings Llc Camera triggering and multi-camera photogrammetry
US20220277418A1 (en) * 2021-02-26 2022-09-01 AeroSpect Inc. Method and electronic portal system for building façade inspection
US20220405529A1 (en) * 2021-06-11 2022-12-22 International Business Machines Corporation Learning Mahalanobis Distance Metrics from Data
US11417069B1 (en) * 2021-10-05 2022-08-16 Awe Company Limited Object and camera localization system and localization method for mapping of the real world

Also Published As

Publication number Publication date
US20210256679A1 (en) 2021-08-19
JP2024088665A (ja) 2024-07-02
JP2021131652A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
US11880943B2 (en) Photogrammetry of building using machine learning based inference
CN110287519B (zh) 一种集成bim的建筑工程施工进度监测方法及***
JP2024083371A (ja) データ処理方法、記録媒体、プログラム、及びシステム
US10989542B2 (en) Aligning measured signal data with slam localization data and uses thereof
US11315272B2 (en) Image and video capture architecture for three-dimensional reconstruction
Shang et al. Real-time 3D reconstruction on construction site using visual SLAM and UAV
EP3656138A1 (en) Aligning measured signal data with slam localization data and uses thereof
WO2018071416A1 (en) Laser scanner with real-time, online ego-motion estimation
Ibrahim et al. An interactive model-driven path planning and data capture system for camera-equipped aerial robots on construction sites
Braun et al. Process-and computer vision-based detection of as-built components on construction sites
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
Wang et al. Automated UAV path-planning for high-quality photogrammetric 3D bridge reconstruction
WO2023096588A1 (en) A system, a method and a computer program for construction progress monitoring
Braun et al. Bim-based progress monitoring
Sgrenzaroli et al. Indoor mobile mapping systems and (BIM) digital models for construction progress monitoring
KR102252295B1 (ko) 실내 토폴로지맵 생성 방법 및 이를 위한 자율주행 로봇
Tiozzo Fasiolo et al. Combining LiDAR SLAM and deep learning-based people detection for autonomous indoor mapping in a crowded environment
Debus et al. Evaluation of 3D uas flight path planning algorithms
Zhai et al. Semantic enrichment of BIM with IndoorGML for quadruped robot navigation and automated 3D scanning
Baeck et al. Drone based near real-time human detection with geographic localization
Merckx The utilisation of aerial photography and laser scanning in BIM modelling
Ojeda et al. Estimation of the Physical Progress of Work Using UAV and BIM in Construction Projects
JP7421188B2 (ja) プログラム、記録媒体、及びシステム
US20220329737A1 (en) 3d polygon scanner
Gharib et al. A review of computer vision-based techniques for construction progress monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328