JP2024083371A - データ処理方法、記録媒体、プログラム、及びシステム - Google Patents
データ処理方法、記録媒体、プログラム、及びシステム Download PDFInfo
- Publication number
- JP2024083371A JP2024083371A JP2024048908A JP2024048908A JP2024083371A JP 2024083371 A JP2024083371 A JP 2024083371A JP 2024048908 A JP2024048908 A JP 2024048908A JP 2024048908 A JP2024048908 A JP 2024048908A JP 2024083371 A JP2024083371 A JP 2024083371A
- Authority
- JP
- Japan
- Prior art keywords
- data
- virtual
- component
- information
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000005259 measurement Methods 0.000 claims abstract description 198
- 238000013461 design Methods 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims description 116
- 230000008569 process Effects 0.000 claims description 109
- 238000010276 construction Methods 0.000 claims description 88
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 92
- 238000001514 detection method Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 40
- 230000033001 locomotion Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 28
- 238000007689 inspection Methods 0.000 description 28
- 238000007726 management method Methods 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000009877 rendering Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000009430 construction management Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 239000000126 substance Substances 0.000 description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 8
- 238000011960 computer-aided design Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000013523 data management Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012951 Remeasurement Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009408 flooring Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005339 levitation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Astronomy & Astrophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】建築物リアリティキャプチャの実用化及び運用のための新たな技術を提供する。【解決手段】実施形態のデータ処理方法は、仮想建築物の各仮想部材の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、設計データに基づき施工された実体建築物から取得された計測データとを準備する。また、計測データに基づいて、各実体部材の属性に関する実体部材データを生成し、仮想部材情報及び実体部材データに基づいて仮想部材と実体部材とを対応付け、この対応付けで得られた仮想部材と実体部材との各ペアの属性に基づいて仮想部材情報と実体部材データとを対応付ける。更に、いずれかの仮想部材の代表部位に対応する計測データの部分領域を代表部位情報に基づいて特定する。【選択図】図11
Description
この発明は、建築物リアリティキャプチャのためのデータ処理方法、記録媒体、プログラム、及びシステムに関する。
リアリティキャプチャは、実体物のデータをデジタルカメラやレーザースキャナで取得して3次元モデルを構築する技術であり、計測、仮想現実、拡張現実など様々な分野で用いられている(例えば、特許文献1及び2を参照)。近年では、建築分野や土木分野におけるリアリティキャプチャの応用が注目を集めている。
建築分野では、施工管理、維持管理、補修管理などのためにリアリティキャプチャの応用が進められており、次のような技術との融合が図られている(例えば、特許文献3~12を参照):無人航空機(UAV)等の移動体;トータルステーション等の測量機器;Structure from Motion(SfM)、Multi-View Stereo(MVS)、Simultaneous Loaclization And Mapping(SLAM)などのデータ処理技術;Building Information Modeling(BIM)。
このような分野で融合的システムを実用化し運用するには、各種のデータや情報を統合的に、効率的に且つ矛盾無く管理する必要があるが、そのような管理手法やシステムは未だ実現化されていない。
この発明の一つの目的は、建築物リアリティキャプチャの実用化及び運用のための新たな技術を提供することにある。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられ、前記仮想部材情報は、仮想部材位置情報を含み、前記実体部材データは、実体部材位置データを含み、前記仮想部材位置情報及び前記実体部材位置データは、前記部材対応付け処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された、前記仮想建築物の仮想画像とを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、移動体を用いて建築物のデータを取得するための移動制御情報を前記仮想画像に基づき作成する処理である移動制御情報作成処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記移動制御情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記移動制御情報作成処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された前記仮想建築物の仮想画像とを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を前記仮想画像に基づき作成する処理である参照情報作成処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記参照情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記参照情報作成処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、予め生成された前記仮想建築物の仮想画像と、予め取得された建築物のデータとを含み、前記仮想画像に基づき前記建築物のデータからデータオブジェクトを検出する処理であるデータオブジェクト検出処理と、前記仮想部材情報と前記実体部材データと前記データオブジェクト検出処理により検出されたデータオブジェクトとに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、予め取得された撮影画像を更に含み、前記撮影画像は、前記データオブジェクト検出処理に用いられる。
幾つかの例示的な態様に係るデータ構造であって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含み、前記推論モデルは、前記データオブジェクト検出処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、予め作成された、仮想部材の代表部位を示す代表部位情報と前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、を含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を前記代表部位情報に基づき特定する処理である部分領域特定処理とに用いられる。
幾つかの例示的な態様に係るデータ構造であって、前記部分領域特定処理により特定された前記部分領域は、前記計測データから前記実体部材データを生成する処理である実体部材データ生成処理に用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された、前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理と前記部材選択情報に示された前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する処理である実体部材データ生成処理とに用いられる。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに処理されるデータの構造であって、予め準備された、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを含み、前記仮想部材情報及び前記実体部材データに基づく前記複数の仮想部材と前記複数の実体部材との間の対応付けである部材対応付け処理と、前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に応じた前記仮想部材情報と前記実体部材データとの間の対応付けである属性対応付け処理とに用いられ、前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、前記施工日情報及び前記計測日情報は、前記部材対応付け処理に用いられる。
幾つかの例示的な態様は、例示的な態様に係る構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体である。
幾つかの例示的な態様は、建築物リアリティキャプチャシステムに含まれるコンピュータに、例示的な態様に係る構造を有するデータが用いられる処理を実行させるプログラムである。
幾つかの例示的な態様は、例示的な態様に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含み、前記仮想部材情報は、仮想部材位置情報を含み、前記実体部材データは、実体部材位置データを含み、前記部材対応付け部は、前記仮想部材位置情報及び前記実体部材位置データに基づいて前記複数のペアを生成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記仮想画像に基づいて、移動体を用いて建築物のデータを取得するための移動制御情報を作成する移動制御情報作成部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記移動制御情報作成部は、更に前記撮影画像に基づいて、前記移動制御情報を作成する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記移動制御情報作成部は、前記推論モデルに基づいて前記移動制御情報を作成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記仮想画像に基づいて、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を作成する参照情報作成部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記参照情報作成部は、更に前記撮影画像に基づいて、前記参照情報を作成する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記参照情報作成部は、前記推論モデルに基づいて前記参照情報を作成する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記仮想建築物の仮想画像と、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データと、建築物のデータとを記憶する記憶部と、前記仮想画像に基づいて、前記建築物のデータからデータオブジェクトを検出するデータオブジェクト検出部と、前記仮想部材情報と前記実体部材データと前記データオブジェクトとに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含む。
幾つかの例示的な態様に係るシステムであって、前記記憶部は、撮影画像を更に記憶し、前記データオブジェクト検出部は、更に前記撮影画像に基づいて、前記データオブジェクトを検出する。
幾つかの例示的な態様に係るシステムであって、少なくとも前記仮想画像を用いた機械学習を所定のニューラルネットワークに適用して、建築物の撮影画像から建築部材の画像を特定するための推論モデルを構築する推論モデル構築部を更に含み、前記データオブジェクト検出部は、更に前記推論モデルに基づいて、前記データオブジェクトを検出する。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記代表部位情報に基づいて、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を特定する部分領域特定部とを含む。
幾つかの例示的な態様に係るシステムであって、前記部分領域特定部により特定された前記部分領域に基づいて、前記計測データから前記実体部材データを生成する第1の実体部材データ生成部を更に含む。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、前記部材選択情報に基づいて、前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する第2の実体部材データ生成部とを含む。
幾つかの例示的な態様は、建築物のリアリティキャプチャのためのシステムであって、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部とを含み、前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、前記部材対応付け部は、更に前記施工日情報及び前記計測日情報に基づいて、前記複数のペアを生成する。
例示的な態様によれば、建築物リアリティキャプチャの実用化及び運用のための新たな技術が提供される。
以下の開示では、データ構造、構造を有するデータが記録された記録媒体、プログラム、プログラムが記録された記録媒体、及びシステムについて、幾つかの例示的な態様を説明する。例示的な態様は、建築物リアリティキャプチャシステムの実用化及び運用を好適に行うために利用可能であるが、他分野のリアリティキャプチャシステムにも転用可能である。また、本明細書にて引用された文献に記載されている事項や、その他の任意の公知技術を、例示的な態様に援用することが可能である。
本開示において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
以下に説明する例示的な態様を任意に組み合わせてもよい。例えば、2つ以上の例示的な態様を少なくとも部分的に組み合わせることが可能である。
<第1の態様>
第1の態様では、第2~第6の態様に共通の要素や共通の事項について説明する。本態様に係るシステムの構成例を図1に示す。システム1は、建築物リアリティキャプチャシステムに含まれる。建築物リアリティキャプチャシステムは、実際の建築物を計測してデジタルデータを取得する機能を有する。本態様の建築物リアリティキャプチャシステム(システム1)は、実際の建築物の計測データと設計データとの比較を容易化するためのデータ構造(フォーマット)を提供するように構成されている。本態様のリアリティキャプチャシステム(システム1)は、例えば、データ管理システムと計測システムとを含む。
第1の態様では、第2~第6の態様に共通の要素や共通の事項について説明する。本態様に係るシステムの構成例を図1に示す。システム1は、建築物リアリティキャプチャシステムに含まれる。建築物リアリティキャプチャシステムは、実際の建築物を計測してデジタルデータを取得する機能を有する。本態様の建築物リアリティキャプチャシステム(システム1)は、実際の建築物の計測データと設計データとの比較を容易化するためのデータ構造(フォーマット)を提供するように構成されている。本態様のリアリティキャプチャシステム(システム1)は、例えば、データ管理システムと計測システムとを含む。
本態様に係るシステム1は、記憶部14と処理部15とを少なくとも含み、制御部11、ユーザーインターフェイス12、及びデータ取得部13を更に含む。
制御部11は、システム1の各種制御を実行するように構成されている。制御部11は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部11は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
ユーザーインターフェイス12は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。幾つかの例示的な態様のユーザーインターフェイス12は、タッチスクリーン、ポインティングデバイス、コンピュータグラフィクスなどを利用したグラフィカルユーザーインターフェイス(GUI)を含む。ユーザーインターフェイス12は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置されている。
データ取得部13は、データ生成及びデータ受付のいずれか一方又は双方を実行するように構成されている。データ生成機能は、例えば、実体物からデータを収集する機能、実体物から収集されたデータを加工する機能、コンピュータを利用してデータを生成する機能、及び、予め生成されたデータを加工する機能のいずれかを含む。
実体物からデータを収集する機能は、例えば、無人航空機(UAV)や作業者などの移動体に搭載されたカメラ(全周カメラ)又はビデオカメラ(全周ビデオカメラ)により実体物を撮影する機能、及び、レーザースキャナやトータルステーションにより実体物をスキャンしてデータを収集する機能のいずれか一方又は双方を含む。当該機能のデータ取得部13は、1以上の計測装置を含んでいてよい。
実体物から収集されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、実体物の撮影画像やスキャンデータに所定の処理を適用して他のデータを生成する機能を含む。その例として、前述したSfM、MVS、SLAM(V-SLAM;Visual SLAM)などを用いたデータ処理機能がある。また、機械学習を利用して構築された学習済みモデルを用いたデータ処理機能もその一例である。当該機能のデータ取得部13は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
コンピュータを利用してデータを生成する機能は、例えば、BIMアプリケーションを用いてデータ(BIMデータと呼ぶ)を生成する機能、CAD(Computer-Aided Disign)アプリケーションを用いてデータ(CADデータと呼ぶ)を生成する機能のような、コンピュータグラフィクスを用いたデータ生成機能を含む。また、コンピュータを利用してデータを生成する機能は、施工管理アプリケーション、維持管理アプリケーション、補修管理アプリケーションなどの各種建築アプリケーションを用いてデータを生成する機能を含む。当該機能のデータ取得部13は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
予め生成されたデータを加工する機能は、例えば、少なくともプロセッサを用いて実現され、システム1、他の装置及び他のシステムのいずれかによって過去に取得及び/又は加工された実体物のデータに所定の処理を適用して他のデータを生成する機能を含む。当該機能に適用可能な技術は、実体物から収集されたデータを加工する機能に適用可能な技術と同様であってよい。予め生成されたデータの例としてBIMデータがある。当該機能のデータ取得部13は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。
データ受付機能は、外部からデータを受け付ける機能である。データ受付機能は、例えば、外部(装置、システム、データベースなど)との間でデータ通信を行うための通信デバイスを用いて実現されてもよいし、記録媒体に記録されているデータを読み出すためのドライブ装置を用いて実現されてもよい。データ取得部13により外部から受け付けられるデータは、例えば、コンピュータを用いて生成されたデータ(BIMデータ、CADデータなど)であってもよいし、システム1、他の装置及び他のシステムのいずれかによって過去に取得及び/又は加工されたデータでもあってもよい。また、データ受付機能に適用可能な記録媒体は、コンピュータ可読な非一時的記録媒体であり、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってよい。
本態様において、実体物は建築物である。建築物は、予め生成された設計データ(BIMデータ、設計図書、施工図、施工計画書など)に基づき施工される。本開示では、設計データに記録されている建築物データ(及び/又は、設計データを加工して得られた建築物データ)を仮想建築物と呼ぶことがあり、その構成要素(建築部材)を仮想部材と呼ぶことがある。幾つかの例示的な態様において、仮想部材はBIMモデルが提供する部材モデルであり、複数の部材モデルを用いて構成された建築物が仮想建築物である。
一方、本開示において、設計データに基づき施工された建築物を実体建築物と呼ぶことがあり、その構成要素(建築部材)を実体部材と呼ぶことがある。上記の実体物はここに言う実体建築物に相当する。実体建築物は、設計データに基づき完成された建築物だけでなく、施工途中の建築物(未完成の建築物)であってもよいし、更には施工前の建築現場であってもよい。
本開示において、建築部材は、柱、梁、壁、スラブ、屋根、基礎などの構造部材に加え、窓、ドア、階段、タイル、フローリングなどの非構造部材や、各種の部品や、各種の機械や、各種の機器や、各種の設備などを含んでいてもよい。より一般に、本開示における建築部材は、仮想部材として登録可能な任意の物であってよく、また、実体部材として使用可能な任意の物であってよい。
記憶部14は、各種のデータ(情報)を記憶するように構成されている。記憶部14は、例えば、データ取得部13により取得されたデータを記憶する。記憶部14は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などの比較的大容量の記憶装置(メモリ、ストレージデバイス)を含む。記憶部14は、1つの記憶装置又は2以上の記憶装置を含む。本態様において、記憶装置14には設計データ141と実体部材データ142とが記憶される。
設計データ141は、建築物の設計に関する任意のデータや情報であってよい。設計データ141は、例えば、BIMデータ、設計図書、施工図、施工計画書などを含んでいてよい。また、設計データ141は、任意のデータや情報(例えば、BIMデータ、設計図書、施工図、施工計画書)のうちのいずれか1以上のデータから生成されたデータを含んでよい。
幾つかの例示的な態様において、設計データ141は、システム1の外部にあるBIMアプリケーション(BIMツール)を用いて設計された仮想建築物(複数の仮想部材)のデータである。
本態様の設計データ141は、仮想部材情報を含む。仮想部材情報は、仮想建築物の構成要素である複数の仮想部材についての情報を含む。より詳細には、仮想部材情報は、各仮想部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、仮想部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、仮想部材の複数の属性は、例えば、仮想部材識別情報(仮想部材ID)、仮想部材形状情報、仮想部材位置情報、部材施工日情報などを含む。なお、仮想部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。
仮想部材情報の例を図2に示す。本例に係る仮想部材情報2は、仮想部材ID21、仮想部材形状情報22、仮想部材位置情報23、及び部材施工日情報24を含む。
仮想部材ID21は、仮想部材を識別するための情報である。仮想部材ID21は、仮想部材の種別(柱、梁、壁、スラブ、屋根、基礎、窓、ドア、階段、タイル、フローリング、部品、機械、機器、設備など)を示す。仮想部材ID21は、例えば、実体部材に付与された識別情報(部材番号など)であってもよい。仮想部材ID21は、例えば、BIMデータ、設計図書、施工図などから取得される。また、仮想部材ID21は、個々にユニークな識別情報であってもよい。このような仮想部材ID21として、中立でオープンなCADデータモデルのファイル形式であるIndustry Foundation Classes(IFC)により提供される識別情報がある。
仮想部材形状情報22は、仮想部材の形状を表す情報である。仮想部材形状情報22は、仮想部材の姿勢や向きなどを表す情報を含んでいてもよい。仮想部材形状情報22は、例えば、BIMデータ、設計図書、施工図などから取得される。
仮想部材位置情報23は、仮想建築物における仮想部材の位置を表す。仮想部材の位置は、例えば、仮想建築物が定義された仮想空間(3次元座標系で定義された3次元仮想空間)における仮想部材の座標によって表現される。仮想部材位置情報23は、例えば、BIMデータ、設計図書、施工図などから取得される。
部材施工日情報24は、仮想部材に対応する実体部材を建築現場において設置する日(施工日、施工予定日)を示す。部材施工日情報24は、例えば、施工図、施工計画書から取得される。
システム1(例えば、制御部11及び記憶部14)は、例えば、設計データ141を管理するための設計データベースを提供する。例えば、設計データベースには、BIMアプリケーションを用いて設計された仮想建築物(複数の仮想部材)のデータが格納される。設計データベースは、この仮想建築物に含まれる複数の仮想部材を一つひとつ管理するように構成されている。例えば、設計データベースには、実際のBIMデータを含む設計データ141が格納される。設計データベースは、例えば、仮想建築物ごとに設計データ141を管理する。
図3は、このような設計データベースにより管理される仮想部材情報2(図2を参照)のデータ構造(フォーマット)の例を示す。本例のデータ構造3では、仮想部材情報2をテーブルで管理するようになっている。具体的には、データ構造3のテーブルは、仮想部材IDが記録される複数のセルを含む仮想部材ID欄と、仮想部材形状情報が記録される複数のセルを含む仮想部材形状情報欄と、仮想部材位置情報が記録される複数のセルを含む仮想部材位置情報欄と、部材施工日情報が記録される複数のセルを含む部材施工日情報欄とを含む。例えば、或る仮想部材の仮想部材ID21「BBB」に対し、仮想部材形状情報22「Bb」と、仮想部材位置情報23「Cb」と、部材施工日情報24「Da」とが関連付けられている。
実体部材データ142は、実体部材に関する任意のデータや情報であってよい。実体部材データ142は、例えば、設計データ141に基づき施工された実体建築物を計測(撮影、レーザースキャンなど)して取得された計測データ(撮影画像、点群データなど)に基づき生成される。実体建築物の計測は、データ取得部13又は外部システムにより実行される。また、計測データに基づく実体部材データ142の生成は、データ取得部13又は外部システムにより実行される。実体部材データ142は、例えば、設計データ141と同じ形式のBIMデータとして生成され管理される。
実体部材データ142は、実体建築物の構成要素である複数の実体部材についての情報を含む。より詳細には、実体部材データ142は、各実体部材について、予め設定された複数の属性に関する情報を含む。ここに言う属性は、実体部材が有する性質、特徴、特性などを意味する。
幾つかの例示的な態様において、実体部材の複数の属性は、前述した仮想部材の複数の属性に対応している。例えば、実体部材の複数の属性は、実体部材識別情報(実体部材ID)、実体部材形状情報、実体部材位置情報、計測日情報などを含む。なお、実体部材の属性はこれらに限定されず、例えば材質など任意の性質、特徴、特性であってよい。
実体部材データの例を図4に示す。本例に係る実体部材データ4は、実体部材ID41、実体部材形状データ42、実体部材位置データ43、及び計測日情報44を含む。
実体部材ID41は、実体部材を識別するための情報である。仮想部材ID21と同様に、実体部材ID41は、仮想部材の種別を示す情報であり、例えば、実体部材に付与された識別情報(部材番号など)であってもよい。幾つかの例示的な態様において、実体部材ID41は、対応する仮想部材ID21と同じであってよい(例えば、IFCにより提供される識別情報)。或いは、実体部材ID41は、対応する仮想部材ID21と異なる情報であり、且つ、対応する仮想部材ID21との関連をシステム1(及び外部システム等)が認識可能な所定の形式であってもよい。実体部材ID41は、例えば、後述の部材対応付け処理において生成される。
実体部材形状データ42は、計測データに基づき取得された実体部材の形状を表すデータである。実体部材形状データ42は、実体部材の姿勢や向きなどを表すデータを含んでいてもよい。実体部在家以上データ42は、例えば、後述の部材対応付け処理において生成される。
実体部材位置データ43は、実体建築物における実体部材の位置を表す。実体部材の位置は、例えば、計測データに基づき作成された実体建築物のBIMモデルが定義された仮想空間(3次元座標系で定義された3次元仮想空間)における実体部材の座標によって表現される。実体部材位置データ43は、例えば、後述の部材対応付け処理において生成される。
計測日情報44は、実体建築物の計測を実施した日を示す。計測日情報44は、例えば、実体建築物の計測を実施する計測システム(移動体、トータルステーション、コンピュータなど)によって生成される。
部材施工日情報24及び計測日情報44は、少なくとも年、月、日の情報を含み、時、分、秒などの情報を更に含んでいてもよい。また、設計が行われた場所の標準時と、実体建築物が存在する場所の標準時とが異なる場合、システム1(又は外部システム等)は、部材施工日情報24と計測日情報44とを同じ標準時で表現するように変換を行うように構成されてよい。
システム1(例えば、制御部11及び記憶部14)は、例えば、実体部材データ142を管理するための実体部材データベースを提供する。例えば、実体部材データベースには、実体建築物の計測データを処理して得られた実体建築物のBIMモデル(複数の実体部材のBIMモデル)のデータが格納される。実体部材データベースは、実体建築物モデルに含まれる複数の実体部材モデルを一つひとつ管理するように構成されている。例えば、実体部材データベースには、実体建築物BIMモデルが格納される。実体部材データベースは、例えば、実体建築物BIMモデルごとに実体部材データ142を管理する。
図5は、このような実体部材データベースにより管理される実体部材データ4(図4を参照)のデータ構造(フォーマット)の例を示す。本例のデータ構造5では、実体部材データ4をテーブルで管理するようになっている。具体的には、データ構造5のテーブルは、実体部材IDが記録される複数のセルを含む実体部材ID欄と、実体部材形状データが記録される複数のセルを含む実体部材形状データ欄と、実体部材位置データが記録される複数のセルを含む実体部材位置データ欄と、計測日情報が記録される複数のセルを含む計測日情報とを含む。例えば、或る実体部材の実体部材ID41「222」に対し、実体部材形状データ42「B2」と、実体部材位置データ43「C2」と、計測日情報44「D2」とが関連付けられている。
処理部15は、データ処理を実行するように構成されている。処理部15は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。処理部15は、1つのコンピュータに設けられ、又は2以上のコンピュータに分散配置される。処理部15は、部材対応付け部151と属性対応付け部152とを含む。
部材対応付け部151は、設計データ141に含まれる仮想部材情報と実体部材データに基づき複数の仮想部材と複数の実体部材との間の対応付け(部材対応付け処理)を行うように構成されている。これにより、仮想部材と実体部材との複数のペアが生成される。部材対応付け部151は、例えば、プロセッサ及び記憶装置を含むハードウェアと、部材対応付けソフトウェアとの協働によって実現される。
部材対応付け部151が実行する処理の例を説明する。まず、部材対応付け部151は、設計データ141の座標空間と実体部材データ142の座標空間とを一致させる。例えば、部材対応付け部151は、設計データ141の座標空間における原点又は所定の基準点と、実体部材データ142の座標空間における原点又は所定の基準点とを一致させる。換言すると、部材対応付け部151は、設計データ141と実体部材データ142との間のレジストレーションを行う。幾つかの例示的な態様において、部材対応付け部151は、設計データ141中のBIMデータ(仮想建築物モデル)の定義座標系と、実体部材データ142中のBIMデータ(実体建築物モデル)の定義座標系と対応付けるようにレジストレーションを行う。これにより、設計データ141を表現する座標系と、実体部材データ142を表現する座標系との間の座標変換が可能となる。
次に、部材対応付け部151は、設計データ141中のオブジェクト(例えば、仮想部材の面、頂点、又は中心点)と実体部材データ142中のオブジェクトとの対応付けを行う。例えば、部材対応付け部151は、設計データ141中の或るオブジェクトと実体部材データ142中の或るオブジェクトとの間の距離が所定閾値以下である場合に、これらオブジェクトを互いに対応付けるように構成されていてよい。これにより、このオブジェクト(実体部材)の実体部材位置データ(例えば、図4の実体部材位置データ43)が生成される。
更に、部材対応付け部151は、実体部材データ142中のオブジェクトの形状を認識することができる。例えば、柱の形状(表面形状、断面形状など)、梁の形状、壁の形状、天井の形状を表すデータを取得することができる。また、部材対応付け部151は、実体部材データ142中のオブジェクトの配置(向き、姿勢)を表すデータを取得することができる。更に、部材対応付け部151は、オブジェクトの表面のテクスチャ、素材、材質などを把握するように構成されてもよい。オブジェクトの形状、配置、テクスチャ、素材、材質などに基づいて、このオブジェクト(実体部材)の実体部材形状データ(例えば、図4の実体部材形状データ42)が生成される。このようにして得られた実体部材形状データを、オブジェクトの距離に応じた部材対応付け処理の向上(例えば、精度の向上、確度の向上)に利用してもよい。
加えて、部材対応付け部151は、実体部材データ142から特定された実体部材それぞれに識別情報を付与する。つまり、部材対応付け部151は、実体部材データ142に対して実体部材IDを付与するように構成されていてよい。
例えば、部材対応付け部151は、或る仮想部材に対応付けられた実体部材に対し、この仮想部材と同じ識別情報(仮想部材ID)を付与する。この場合、互いに対応付けられた仮想部材と実体部材とのペアに対して同じ識別情報が割り当てられる。つまり、互いに対応付けられた仮想部材と実体部材とが、同じ識別情報で紐付けられる。仮想部材と実体部材に共通に割り当てられる識別情報は、例えば、IFCにおいて使用されるユニークbな識別情報であってよい。
他の例において、部材対応付け部151は、或る仮想部材に対応付けられた実体部材に対し、この仮想部材に類似の識別情報を付与するように構成されてよい。例えば、この仮想部材の仮想部材IDの文字列の少なくとも一部を含む文字列からなる実体部材IDがこの実体部材に割り当てられる。
更に他の例において、部材対応付け部151は、或る仮想部材に対応付けられた実体部材に対して固有の識別情報(実体部材ID)を付与するとともに、実体部材データ中の付加的記録領域にこの仮想部材の仮想部材IDを記録するように構成されてよい。
このような部材対応付け処理により、複数の仮想部材と複数の実体部材との間の対応関係が得られる。つまり、仮想部材と実体部材とのペア(部材ペア)が複数得られる。例えば、図6に示すように、図3のデータ構造3における複数の仮想部材の識別情報(仮想部材ID)と、図5のデータ構造5における複数の実体部材の識別情報(実体部材ID)との間の対応関係が得られる。
なお、図6に示す対応関係は、複数の仮想部材からなる集合と複数の実体部材からなる集合との間の全単射(bijection)であるが、これに限定されない。例えば、或る仮想部材の近傍(所定距離以下の範囲)に実体部材が存在しない場合、この仮想部材に対応付けられる実体部材は無い。逆に、或る実体部材の近傍(所定距離以下の範囲)に仮想部材が存在しない場合、この実体部材に対応付けられる仮想部材は無い。また、或る仮想部材の近傍に2以上の実体部材が存在する場合、1つの仮想部材に対して2以上の実体部材を対応付けることができる。逆に、或る実体部材の近傍に2以上の仮想部材が存在する場合、1つの実体部材に対して2以上の仮想部材を対応付けることができる。これらの場合のように全単射が得られない場合、例えば、制御部11は、得られた対応関係をユーザーインターフェイス12に表示させることができる。ユーザーは、ユーザーインターフェイス12を利用してこの対応関係を編集することができる。
属性対応付け部152は、部材対応付け部151により得られた部材ペア(仮想部材と実体部材とのペア)について、仮想部材情報と実体部材データとを複数の属性に応じて対応付けるように構成されている。属性対応付け部152は、例えば、プロセッサ及び記憶装置を含むハードウェアと、属性対応付けソフトウェアとの協働によって実現される。
ここで、仮想部材の複数の属性は、実体部材の複数の属性と同じであってよい。また、実体部材の複数の属性は、仮想部材の複数の属性の全てを含んでいてよい。例えば、仮想部材情報と実体部材データとで共通の属性を登録可能なメタデータ構造を予め用意しておくことができる。属性対応付け部152は、このようなメタデータ構造を利用して、仮想部材の属性と実体部材の属性との対応付けを行うように構成されてよい。
例えば、図7に示すように、図3のデータ構造3における各仮想部材(各仮想部材ID)の複数の属性と、図5のデータ構造5における各実体部材(各実体部材ID)の複数の属性との間の対応関係が得られる。本例では、例えば、仮想部材ID「AAA」の仮想部材と、実体部材ID「111」の実体部材とのペアについて、仮想部材形状情報「Ba」と実体部材形状データ「B1」とが対応付けられ、仮想部材位置情報「Ca」と実体部材位置データ「C1」とが対応付けられ、部材施工日情報「Da」と計測日情報「D1」とが対応付けられる。他の部材ペアについても同様である。
このように、本態様に係るシステム1は、建築物のリアリティキャプチャのためのシステムであって、記憶部14と、部材対応付け部151と、属性対応付け部152とを含む。記憶部14は、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを記憶する。更に、記憶部14は、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての複数の属性に関する実体部材データを記憶する。部材対応付け部151は、仮想部材情報及び実体部材データに基づき複数の仮想部材と複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成するように構成されている。属性対応付け部152は、部材対応付け部151により生成された複数のペアのそれぞれについて、複数の属性に応じて仮想部材情報と実体部材データとの間の対応付けを行うように構成されている。
また、本態様は、建築物リアリティキャプチャシステムに処理されるデータの構造を提供する。このデータ構造は、設計データと実体部材データとを含む。設計データは、予め準備され、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む。実体部材データは、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成され、複数の実体部材のそれぞれについての複数の属性に関するデータを含む。設計データ及び実体部材データは、部材対応付け処理と属性対応付け処理とに用いられる。部材対応付け処理は、仮想部材情報及び実体部材データに基づいて複数の仮想部材と複数の実体部材との間の対応関係を決定する処理である。属性対応付け処理は、部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれについて、複数の属性に応じて仮想部材情報と実体部材データとの間の対応関係を決定する処理である。更に、このような構造を有するデータが記録された、コンピュータ可読な非一時的記録媒体を作成することができる。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
また、本態様のシステム1において、仮想部材情報2は仮想部材位置情報23を含んでいてよく、実体部材データ4は実体部材位置データ43を含んでいてよい。更に、部材対応付け部151は、仮想部材位置情報23及び実体部材位置データ43に基づいて、仮想部材と実体部材との複数のペアを生成するように構成されていてよい。
この構成は、次の特徴を有するデータ構造を提供する:仮想部材情報2が仮想部材位置情報23を含む;実体部材データ4が実体部材位置データ43を含む;仮想部材位置情報23及び実体部材位置データ43が部材対応付け処理に用いられる。
また、本態様のシステム1において、仮想部材情報2は複数の仮想部材のそれぞれの施工日を示す施工日情報24を含んでいてよく、実体部材データ4は実体建築物の計測日を示す計測日情報44を含んでいてよい。更に、部材対応付け部151は、施工日情報24及び計測日情報44に基づいて、仮想部材と実体部材との複数のペアを生成するように構成されていてよい。
この構成は、次の特徴を有するデータ構造を提供する:仮想部材情報2が複数の仮想部材のそれぞれの施工日を示す施工日情報24を含む;実体部材データ4が実体建築物の計測日を示す計測日情報44を含む;施工日情報24及び計測日情報44が部材対応付け処理に用いられる。
施工日情報24及び計測日情報44を利用する場合、異なる複数の施工日に対応した複数の仮想部材情報と、異なる複数の計測日に対応した複数の実体部材データとの間の対応付けを、施工日と計測日とを照合することによって行うことができる。例えば、或る施工日について、部材対応付け部151は、この施工日以降の1以上の計測日のうちこの施工日に最も近い計測日を選択し、選択された計測日に対応した実体部材データをこの施工日に対応した仮想部材情報に対応付けることができる。これにより、仮想部材(仮想部材情報)と実体部材(実体部材データ)との対応付けを日付に基づき行うことができ、例えば施工計画書に応じた時系列データ管理が可能となる。
また、本態様は、建築物リアリティキャプチャシステムに含まれるコンピュータを、データ受付手段、部材対応付け手段、及び属性対応付け手段として機能させるためのプログラムを提供する。データ受付手段(データ取得部13)は、仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、この設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての複数の属性に関する実体部材データとを受け付ける。部材対応付け手段は、仮想部材情報及び実体部材データに基づいて複数の仮想部材と複数の実体部材との間の対応付けを行う。属性対応付け手段は、部材対応付け手段により取得された仮想部材と実体部材との複数のペアのそれぞれについて、複数の属性に応じた仮想部材情報と実体部材データとの間の対応付けを行う。更に、このようなプログラムが記録された、コンピュータ可読な非一時的記録媒体を作成することができる。この非一時的記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
このような本態様によれば、建築物の設計データと、それに基づき施工された建築物のデータとを、部材単位で(又は、一連の部材単位として)対応付けるとともに、部材の属性単位で対応付けることができる。
また、仮想部材情報は、実体建築物の計測を容易に行うために用いられる情報であり、実体部材データは、この仮想部材情報を用いた計測から得られたデータである。このような仮想部材情報と実体部材データとを部材単位且つ属性単位で対応付けることにより、設計データと実測データとの比較を容易に行うことが可能になる。例えば、設計上のBIMデータ(設計BIMデータ)と、計測データに基づくBIMデータ(計測BIMデータ)との比較の容易化を図ることができる。
このように、本態様によれば、各種のデータや情報の管理の統合化を図ることができ、ひいては、管理の効率化や無矛盾化を図ることが可能となる。
<第2の態様>
第2の態様に係るシステムの構成例を図8に示す。システム8は、第1の態様のシステム1の処理部15に、推論モデル構築部153と移動制御情報作成部154とを付加したものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、移動制御情報作成部154は、例えば、プロセッサ及び記憶装置を含むハードウェアと、移動制御情報作成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
第2の態様に係るシステムの構成例を図8に示す。システム8は、第1の態様のシステム1の処理部15に、推論モデル構築部153と移動制御情報作成部154とを付加したものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、移動制御情報作成部154は、例えば、プロセッサ及び記憶装置を含むハードウェアと、移動制御情報作成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
本態様において、記憶部14は、設計データ141及び実体部材データ142に加え、仮想画像143と撮影画像144とを更に記憶している。仮想画像143は、仮想建築物を表す画像であり、例えばBIMデータ(CADデータ)をレンダリングすることで作成される。仮想画像143は、例えば、所定の移動経路に沿った仮想建築物の内部及び/又は外部の複数の画像(仮想画像セット)である。撮影画像144は、任意の物の撮影画像及び人の撮影画像を含む。物の撮影画像の例として、建築部材の画像、梯子や脚立などの道具の画像がある。また、人の画像の例として、建築現場における作業者の画像がある。
推論モデル構築部153は、建築物の撮影画像から建築部材の画像を特定するための推論モデルを所定のニューラルネットワークに機械学習を適用して構築するように構成されている。推論モデルの用途として、例えば、実体建築物の計測(撮影、レーザースキャン)を行う移動体の制御、実体建築物の計測データ(撮影画像、スキャンデータ)に基づくBIMデータの作成などがある。
推論モデルを構築するためのニューラルネットワークは、畳み込みニューラルネットワークを含んでいてよい。畳み込みニューラルネットワークは、例えば、画像の入力を受け、畳み込み層による特徴マップの生成とプーリング層による特徴マップの圧縮とを複数回繰り返し、最後のプーリング層からの出力を入力とするフル結合層により最終出力(画像分類、セグメンテーション、回帰など)を提供するように構成される。幾つかの例示的な態様において、畳み込みニューラルネットワークは、フル結合層を含まなくてもよいし、サポートベクターマシンを含んでいてもよい。
推論モデルを構築するための機械学習に用いられる訓練データは、例えば、少なくとも仮想画像143を含んでおり、撮影画像144を更に含んでいてよい。また、訓練データは、実体建築物の他の計測データ(スキャンデータなど)を含んでいてもよい。本態様では、BIMデータから作成された仮想画像143を用いることで、実体建築物の計測データを大量に収集する手間を省くことができる。特に、多数のBIMデータから多数の仮想画像143(仮想画像セット)を作成して訓練データとすることで、機械学習の品質向上及び推論モデルの品質向上を図ることができる。
建築部材の撮影画像、建築部材以外の物の撮影画像、人の撮影画像といった撮影画像144を訓練データとして用いることで、道具や作業者を検出するように推論モデルを訓練することが可能である。それにより、障害物や作業者を回避するように移動体を制御することや、計測データからBIMデータを作成する際に障害物や作業者のデータを除外することが可能になる。
訓練データに含まれる仮想画像143及び/又は計測データ(撮影画像144、スキャンデータ)は、建築部材の表面の状態を表すテクスチャ情報を含んでいてもよい。テクスチャ情報を用いることで、オブジェクトの表面のテクスチャが反映された最終出力を得ることができる。それにより、移動体制御やBIMデータ作成の品質向上を図ることができる。
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。典型的には、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。
移動制御情報作成部154は、仮想画像143に基づき、又は仮想画像143及び撮影画像144に基づき、移動体を用いて建築物のデータを取得するための移動制御情報を作成するように構成されている。本態様において、移動制御情報作成部154は、仮想画像143(及び撮影画像144など)を用いて構築された推論モデルに基づいて、移動制御情報を作成することができる。作成された移動制御情報は、例えば、有線ネットワーク若しくは無線ネットワークを通じて、又は記録媒体を介して、移動体に提供される。
幾つかの例示的な態様において、移動制御情報作成部は、推論モデルを用いることなく、仮想画像143(及び撮影画像144など)にルールベースの処理を適用することによって移動制御情報を作成するように構成されていてよい。また、移動制御情報作成部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
移動制御情報は、例えば、設計データ141(BIMデータ)に基づき予め設定された、設計データ141に基づき施工された実体建築物の内部を計測するための移動経路を含んでいてよい。また、移動制御情報は、BIMデータをレンダリングして構築された、この移動経路に沿った仮想画像(143)を含んでいてよい。また、移動制御情報は、推論モデル構築部153により構築された推論モデル(つまり、推論モデル構築部153によりパラメータ(重み係数など)がチューニングされたニューラルネットワーク)を含んでいてよい。
移動経路は、例えば、BIMデータに記録されている複数の仮想部材の少なくとも一部に対する距離が所定の許容範囲に含まれるように設定されてよい。これにより、実体建築物内の実体部材を好適な距離から撮影することができる。また、移動経路は、1次元エリア、2次元エリア、及び3次元エリアのいずれかであってよい。2次元エリアや3次元エリアは、例えば、移動しつつ計測を行っている移動体が障害物を回避するために移動可能な範囲を表す。
障害物への衝突を避けるための動作は回避動作に限定されない。例えば、障害物を検知したときに移動を停止するように移動体の制御を行ってもよい。また、障害物を検知したときに聴覚情報や視覚情報を発するように移動体の制御を行ってもよい。聴覚情報は例えば警告音であり、視覚情報は例えば警告光である。また、障害物を検知したときに、移動体を操作するためのデバイス(例えば、タブレット、スマートフォン、又はノートパソコン)に聴覚情報や視覚情報を出力させるように制御を行うようにしてもよい。
本態様のシステム8は、第1の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する:予め生成された仮想建築物の仮想画像143を更に含む;仮想画像143は、移動体を用いて建築物のデータを取得するための移動制御情報の作成に用いられる。
また、本態様のシステム8は、次の特徴を更に有するデータ構造を提供する:予め取得された撮影画像144を更に含む;撮影画像144は、移動制御情報の作成に用いられる。
また、本態様のシステム8は、次の特徴を更に有するデータ構造を提供する:少なくとも仮想画像143を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む;この推論モデルは、移動制御情報の作成に用いられる。
更に、本態様のシステム8が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第1の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像143(及び撮影画像144)に基づき移動制御情報を作成することができるので、移動体(UAV、自走車、人など)を用いた建築物計測を支援することが可能である。また、計測作業の省力化、短時間化を図ることが可能となる。
<第3の態様>
第3の態様に係るシステムの構成例を図9に示す。システム9は、第2の態様のシステム8の処理部15の移動制御情報作成部154の代わりに参照情報作成部155を設けたものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、参照情報作成部155は、例えば、プロセッサ及び記憶装置を含むハードウェアと、参照情報作成ソフトウェアとの協働によって実現される。第2の態様と共通の要素については、特に言及しない限り説明は省略する。
第3の態様に係るシステムの構成例を図9に示す。システム9は、第2の態様のシステム8の処理部15の移動制御情報作成部154の代わりに参照情報作成部155を設けたものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、参照情報作成部155は、例えば、プロセッサ及び記憶装置を含むハードウェアと、参照情報作成ソフトウェアとの協働によって実現される。第2の態様と共通の要素については、特に言及しない限り説明は省略する。
参照情報作成部155は、仮想画像143(及び撮影画像144)に基づいて、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報を作成する。本態様では、参照情報作成部155は、推論モデル構築部153により構築された推論モデルに基づいて参照情報を作成することができる。作成された参照情報は、例えば、有線ネットワーク若しくは無線ネットワークを通じて、又は記録媒体を介して、移動体に提供される。
幾つかの例示的な態様において、参照情報作成部は、推論モデルを用いることなく、仮想画像143(及び撮影画像144など)にルールベースの処理を適用することによって参照情報を作成するように構成されていてよい。また、参照情報作成部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
上記のように、参照情報は、移動体を用いて実体建築物の計測を行っているときに、この実体建築物を構成する建築部材(実体部材)のデータが取得されたか判定するために用いられる。換言すると、参照情報は、移動体を用いた計測の目的である実体部材の計測データが確実に取得されたか判定するために用いられる。
参照情報は、例えば、設計データ141(BIMデータ、仮想部材情報など)に基づき予め設定された、実体建築物の内部を計測するための移動経路を含んでいてよい。また、参照情報は仮想画像143を含んでいてよい。また、参照情報は、推論モデル構築部153により構築された推論モデルを含んでいてよい。
例えば、移動体は、V-SLAMを用いて撮影画像から移動体周囲の地図(3次元モデル)を作成し、推論モデルを用いて3次元モデルから部材を検出し、検出された部材を設計データ141(BIMデータ、仮想部材情報など)と照合し、この照合の結果に基づいて実体部材の計測データが取得されたか否か判定することができる。移動体は、この判定の結果を示す聴覚情報や視覚情報を出力するように構成されてよい。また、移動体を操作するためのデバイスは、判定結果を示す聴覚情報や視覚情報を出力するように構成されてよい。
本態様のシステム9は、第1の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する:予め生成された仮想建築物の仮想画像143を更に含む;仮想画像143は、移動体を用いて建築物のデータを取得するときに建築部材のデータが取得されたか判定するための参照情報の作成に用いられる。
また、本態様のシステム9は、次の特徴を更に有するデータ構造を提供する:予め取得された撮影画像144を更に含む;撮影画像144は、参照情報の作成に用いられる。
また、本態様のシステム9は、次の特徴を更に有するデータ構造を提供する:少なくとも仮想画像143を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む;この推論モデルは、参照情報の作成に用いられる。
更に、本態様のシステム9が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第1の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像143(及び撮影画像144)に基づき参照情報を作成することができるので、移動体(UAV、自走車、人など)を用いた建築物計測が適切に行われているかリアルタイムで判定することが可能である。計測が適切に行われていないときには、少なくとも部分的に再計測を行うことができる。これにより、例えば、意味の無い計測データが後段の処理に提供される事態を回避することが可能となる。また、再計測の要否判定を自動化することができるので、計測作業の省力化、短時間化を図ることが可能となる。
<第4の態様>
第4の態様に係るシステムの構成例を図10に示す。システム10は、第2の態様のシステム8の処理部15の移動制御情報作成部154の代わりにデータオブジェクト検出部156を設けるとともに、記憶部14に計測データ145が更に記憶されたものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、データオブジェクト検出部156は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データオブジェクト検出ソフトウェアとの協働によって実現される。第2の態様と共通の要素については、特に言及しない限り説明は省略する。
第4の態様に係るシステムの構成例を図10に示す。システム10は、第2の態様のシステム8の処理部15の移動制御情報作成部154の代わりにデータオブジェクト検出部156を設けるとともに、記憶部14に計測データ145が更に記憶されたものである。推論モデル構築部153は、例えば、プロセッサ及び記憶装置を含むハードウェアと、推論モデル構築ソフトウェアとの協働によって実現される。また、データオブジェクト検出部156は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データオブジェクト検出ソフトウェアとの協働によって実現される。第2の態様と共通の要素については、特に言及しない限り説明は省略する。
計測データ145は、建築物を実際に計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ145は、例えば、所定の経路に沿って建築物内を移動しながら撮影又はレーザースキャンを行うことによって取得される。
データオブジェクト検出部156は、仮想画像143(及び撮影画像144)に基づいて、計測データ145からデータオブジェクトを検出するように構成されている。計測データ145が撮影画像である場合、データオブジェクトは、この撮影画像中の画像オブジェクトであり、典型的には建築部材(実体部材)の画像である。また、計測データ145がスキャンデータである場合、データオブジェクトは、このスキャンデータ中のデータ領域であり、典型的には建築部材(実体部材)に相当する部分データである。
本態様では、データオブジェクト検出部156は、推論モデル構築部153により構築された推論モデルに基づいて計測データ145からデータオブジェクトを検出することができる。幾つかの例示的な態様において、データオブジェクト検出部は、推論モデルを用いることなく、計測データ145にルールベースの処理を適用することによってデータオブジェクトを検出するように構成されていてよい。また、データオブジェクト検出部は、推論モデルを用いた処理とルールベースの処理とを選択的に適用できるように構成されていてもよい。
データオブジェクト検出部156が実行する処理の例を説明する。データオブジェクト検出部156は、まず、計測データ145にSfMを適用することによって計測機器(カメラ、レーザースキャナ)の位置及び姿勢を複数求め、計測データ145に映った環境中の物体の形状を復元する。
また、データオブジェクト検出部156は、計測データ145を推論モデルに入力することにより、計測データ145から建築部材に相当するデータオブジェクトを特定する。これにより、計測データ145に含まれる複数のデータオブジェクトが認識され、各データオブジェクトに対応する部材の属性が特定される。
続いて、データオブジェクト検出部156は、特定されたデータオブジェクトの外部領域にマスクを掛け、データオブジェクトの特徴点を検出し、検出された特徴点の3次元位置(3次元座標)をMVSによって求める。
処理部15は、データオブジェクト検出部156により得られた建築部材の3次元座標データを、設計データ141(BIMデータ)と比較することができる。例えば、処理部15は、まず、データオブジェクト検出部156により得られた3次元座標データと、BIMデータ中の面データ(又は、点データなど)の座標情報とを、共通の3次元座標系内においてレジストレーションする。次に、処理部15は、BIMデータ中の所定の面データについて、その近傍に位置する3次元座標点を3次元座標データから選択する。次に、処理部15は、選択された3次元座標点を用いて3次元座標データ中の面(平面、自由曲面)を定義する。定義された面は、BIMデータ中の上記所定の面に関連付けられる。このような一連の処理により、BIMデータに表現された複数の面(典型的には、仮想部材の表面)と、このBIMデータに基づき施工された建築物の複数の面(典型的には、実体部材の表面)との間に対応関係が構築される。
処理部15は、このようにして得られた3次元座標データや面データや対応関係を用いて、新たなBIMデータを作成することができる。例えば、処理部15は、計測データ145から得られたデータを用いて、設計データ141のBIMデータを変更することができる。例えば、BIMデータにおける柱の面の位置と、計測データ145から得られた実際の柱の面の位置とを比較し、BIMデータにおける仮想的な位置を実際の位置に置き換える。これにより、実際の柱の位置(向き、形状、姿勢など)が反映された新たなBIMデータが得られる。この一連の処理において、部材対応付け部151は、データオブジェクト検出部156により検出されたデータオブジェクト(3次元座標データ、面データ、対応関係など)を用いて、設計データ141のBIMデータ中の仮想部材と、実体部材データ142中の実体部材との対応付けを行うことができる。
データオブジェクト検出部156により検出されるデータオブジェクトは、建築部材に限定されない。例えば、データオブジェクト検出部156は、障害物をデータオブジェクトとして検出するように構成されてもよい。この場合、障害物に相当するデータオブジェクトを除外してBIMデータの編集を行うことができる。これにより、計測データ145中の障害物を建築部材と混同する事態を回避することができ、BIMデータ編集の向上を図ることが可能になる。
本態様のシステム10は、第1の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する:予め生成された仮想建築物の仮想画像143と、予め取得された計測データ145とを更に含む;仮想画像143は、計測データ145からデータオブジェクトを検出するデータオブジェクト検出処理に用いられる;データオブジェクト検出処理により検出されたデータオブジェクトは、部材対応付け処理に用いられる。
また、本態様のシステム10は、次の特徴を更に有するデータ構造を提供する:予め取得された撮影画像144を更に含む;撮影画像144は、データオブジェクト検出処理に用いられる。
また、本態様のシステム10は、次の特徴を更に有するデータ構造を提供する:少なくとも仮想画像143を用いた機械学習を所定のニューラルネットワークに適用して構築された、建築物の撮影画像から建築部材の画像を特定するための推論モデルを更に含む;この推論モデルは、データオブジェクト検出処理に用いられる。
更に、本態様のシステム10が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第1の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。更に、仮想画像143(及び撮影画像144)に基づき建築物のデータからデータオブジェクトを検出し、検出されたデータオブジェクトに基づき部材対応付け処理を実行して複数の部材ペア(仮想部材と実体部材とのペア)を生成することができるので、新たなBIMデータの作成を自動化すること可能である。これにより、施工状況が反映されたBIMデータを容易に取得することができ、また、施工状況に応じてBIMデータを容易に蓄積及び/又は更新することが可能である。したがって、本態様は、計測作業の省力化、短時間化に寄与するものである。
<第5の態様>
建築物は多数の建築部材で構成されている。その一つひとつの建築部材について3Dモデルを作成することは、データの詳細性の観点からは好ましいが、処理のリソースや負荷を考慮すると現実的とは言えない。第4の態様でも多少触れたが、第5の態様は、このような問題に対処するための技術を提供するものである。本態様に係るシステムの構成例を図11に示す。
建築物は多数の建築部材で構成されている。その一つひとつの建築部材について3Dモデルを作成することは、データの詳細性の観点からは好ましいが、処理のリソースや負荷を考慮すると現実的とは言えない。第4の態様でも多少触れたが、第5の態様は、このような問題に対処するための技術を提供するものである。本態様に係るシステムの構成例を図11に示す。
システム110は、第1の態様のシステム1の処理部15に部分領域特定部157と実体部材データ生成部158とを付加するとともに、記憶部14に計測データ146と代表部位情報147とが更に記憶されたものである。部分領域特定部157は、例えば、プロセッサ及び記憶装置を含むハードウェアと、部分領域特定ソフトウェアとの協働によって実現される。また、実体部材データ生成部158は、例えば、プロセッサ及び記憶装置を含むハードウェアと、実体部材データ生成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
システム110は、計測データ146から実体部材データ142を生成するように構成されており、システム110が処理を開始する段階において記憶部14に実体部材データ142が記憶されていなくてよい。一方、システム110が処理を開始する段階において、過去に生成された実体部材データ142が記憶部14に記憶されていてもよい。
計測データ146は、設計データ141(BIMデータ)などに基づき施工された実体建築物を計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ146は、例えば、予め設定された経路に沿って実体建築物の内部を移動しながら撮影又はレーザースキャンを行うことで取得される。
代表部位情報147は、設計データ141の仮想部材情報に記録されている仮想部材の代表部位を示す。代表部位は、仮想部材の任意の部位であってよく、例えば、1以上の点、1以上の線、又は1以上の面であってよい。なお、代表部位は仮想部材の全体であってもよいが、処理リソースや処理負荷の低減という本態様の一つの目的を考慮すると、仮想部材情報に記録された全ての仮想部材について代表部位をその全体に設定することは合目的的ではない。よって、本態様では、仮想部材情報に記録された複数の仮想部材のうちの少なくとも1つについて、代表部位はその全体ではない。
代表部位情報147について幾つかの例を説明する。建築部材が水平断面が矩形の柱である場合、この柱の代表部位は、例えば、4つの側面のいずれか1つ以上、底面の中心点、及び、上面の中心点のうちのいずれか1つ以上であってよい。この柱の代表部位が2以上の側面を含む場合、これら側面を識別可能とする情報(ID)が用いられる。
建築部材が床である場合、その代表部位は上面であってよい。同様に、建築部材が天井である場合、その代表部位は底面であってよい。
他の建築部材についても、例えば、計測やデータ処理を好適に実行できるように、任意の1以上の点、任意の1以上の線、及び任意の1以上の面のいずれかが代表部位に採用される。また、1つの建築部材に対して2つ以上の代表部位が設定された場合には、これら代表部位のそれぞれに識別情報が割り当てられる。これら識別情報は、データ処理においてこれら代表部位を判別するために参照される。
部分領域特定部157は、代表部位情報147に基づいて、仮想建築物を構成する複数の仮想部材のいずれかの代表部位に対応する計測データ146の部分領域を特定するように構成されている。
そのために、まず、部分領域特定部157は、仮想部材に対応する計測データ146のデータ領域を特定する。つまり、部分領域特定部157は、この仮想部材に対応した実体部材を表すデータ領域を計測データ146から特定する。この処理は、例えば第4の態様のデータオブジェクト検出部156と同様に、SfM及び推論モデルを用いて実行される。この処理を各仮想部材に対して実行することにより、複数の実体部材にそれぞれ対応する複数のデータ領域(複数の実体部材領域)が計測データ146から特定される。なお、推論モデルの代わりにルールベースの画像処理を適用してもよい。
続いて、部分領域特定部157は、各仮想部材について、この仮想部材に対応する実体部材領域から、この仮想部材の代表部位に対応する部分領域を特定する。ここで、計測データ146中の計測点の3次元座標を求めるためにMVSを用いることができる。例えば、計測データ146中の実体部材領域の3次元座標を求めるために、また、実体部材領域中の部分領域の3次元座標を求めるために、MVSを用いることができる。
仮想部材の代表部位が点である場合、部分領域特定部157は、例えば、計測データ146中の各計測点と代表部位(点)との間の距離を求め、距離の閾値処理によって代表部位(点)に対応する部分領域を特定することができる。
また、仮想部材の代表部位が面である場合、部分領域特定部157は、例えば、計測データ146中の各計測点について、その計測点を通り代表部位(面)に直交する直線(垂線)を求め、この計測点と垂線の足との間の距離を求め、距離の閾値処理によって代表部位(面)に対応する部分領域を特定することができる。仮想部材の代表部位が線である場合においても、同じ要領で、代表部位(線)に対応する計測データ146中の部分領域を特定することができる。
実体部材データ生成部158は、部分領域特定部157により取得された部分領域に基づいて、計測データ146から実体部材データを生成する。生成された実体部材データは、例えば、図5に示すデータ構造の実体部材データ142として記憶部14に格納される。このとき、システム110(例えば、実体部材データ生成部158、処理部15、又は制御部11)は、生成された実体部材データに、図4に示す属性(ID、形状、位置、計測日など)を付与することができる。
処理部15は、部分領域特定部157により得られた実体部材の代表部位の3次元座標と、これに対応する仮想部材の代表部位の3次元座標(設計BIMデータにおける3次元座標)とを比較することができる。例えば、仮想部材の代表部位に対する実体部材の代表部材の偏位を求めることができる。この偏位は、設計上の位置に対する実際の位置のずれを示す。
更に、処理部15は、代表位置の偏位に基づいて設計BIMデータに変更を加えることができる。例えば、処理部15は、仮想部材の代表部位の3次元座標を実体部材の代表部位の3次元座標に置き換えて、仮想部材の位置及び/又は形状を変化させることができる。
設計BIMデータの編集の一例を図12を参照しつつ説明する。符号120は仮想部材としての柱(仮想柱)である。仮想柱120の代表部位は、上面の中心(仮想上面中心)121である。符号122は、部分領域特定部157により特定された、仮想上面中心121に対応する計測データ146中の3次元座標(実体上面中心)である。符号123は、仮想上面中心121に対する実体上面中心122の偏位を示す矢印である。
処理部15は、まず、実体上面中心122を中心とした上面領域124を求める。上面領域の形状及び向きは、仮想柱120の上面の形状及び向きと同じであってよい。或いは、偏位123に応じて仮想柱120の上面の形状及び向きの少なくとも一方を変化させることによって上面領域124を求めてもよい。
次に、処理部15は、矩形の上面領域124の各頂点と、仮想柱120の底面125の対応する頂点とを結ぶ線126を求める。これにより、上面領域124と底面125とを結ぶ4本の線126が得られる。線126は、直線でもよいし、偏位123に応じた曲線(例えば自由曲線)でもよい。
このようにして、計測データ146に基づき仮想柱120の位置や形状(向き、姿勢など)が変更される。仮想柱120の変更後の情報(属性)は、対応する実体部材(柱)の実体部材データ142として記録される。この実体部材データ142は、図5に示すデータ構造を有する。
本態様のシステム110は、第1の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する:計測データ146と、予め作成された仮想部材の代表部位を示す代表部位情報147とを更に含む;代表部位情報147は、仮想建築物の複数の仮想部材のいずれかの代表部位に対応する計測データの部分領域を特定する部分領域特定処理に用いられる。
また、本態様のシステム110は、次の特徴を更に有するデータ構造を提供する:部分領域特定処理により特定された部分領域は、計測データ146から実体部材データ142を生成する処理に用いられる。
更に、本態様のシステム110が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第1の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。
更に、仮想部材の代表部位に対応する計測データの部分領域を特定することができるので、実体部材の3次元モデルを管理する代わりに、仮想部材の代表部位に対応するデータを管理することが可能である。よって、管理や処理に要するリソースの低減を図ることができる。例えば、計測データから実体部材データを生成する処理の効率化を図ることが可能である。
<第6の態様>
前述したように建築物は多数の建築部材で構成されているが、幾つかの部材をグループとして考えることができる。例えば、一群の柱をまとめて考えることや、互いに接触した柱と梁とをまとめて考えることができる。幾つかの部材をまとめてデータ化することで、計測や処理の効率化を図ることができる。第6の態様では、このような観点から想到された技術を説明する。本態様に係るシステムの構成例を図13に示す。
前述したように建築物は多数の建築部材で構成されているが、幾つかの部材をグループとして考えることができる。例えば、一群の柱をまとめて考えることや、互いに接触した柱と梁とをまとめて考えることができる。幾つかの部材をまとめてデータ化することで、計測や処理の効率化を図ることができる。第6の態様では、このような観点から想到された技術を説明する。本態様に係るシステムの構成例を図13に示す。
システム130は、第1の態様のシステム1の処理部15に実体部材データ生成部159とを付加するとともに、記憶部14に計測データ148と部材選択情報149とが更に記憶されたものである。実体部材データ生成部159は、例えば、プロセッサ及び記憶装置を含むハードウェアと、実体部材データ生成ソフトウェアとの協働によって実現される。第1の態様と共通の要素については、特に言及しない限り説明は省略する。
システム130は、計測データ148から実体部材データ142を生成するように構成されており、システム130が処理を開始する段階において記憶部14に実体部材データ142が記憶されていなくてよい。一方、システム130が処理を開始する段階において、過去に生成された実体部材データ142が記憶部14に記憶されていてもよい。
計測データ148は、設計データ141(BIMデータ)などに基づき施工された実体建築物を計測して得られたデータであり、例えば撮影画像又はスキャンデータである。計測データ148は、例えば、予め設定された経路に沿って実体建築物の内部を移動しながら撮影又はレーザースキャンを行うことで取得される。
部材選択情報149は、設計データ141に基づき予め生成され、仮想建築物の複数の仮想部材のうちの一部の仮想部材を示す。部材選択情報149に示された各仮想部材を選択部材と呼び、それらをまとめて選択部材群と呼ぶ。選択部材群は、全ての仮想部材を代表する。また、選択部材の個数は、全ての仮想部材の個数よりも少ない。よって、或る選択部材は、複数の仮想部材を代表する。
例えば、前述したように一群の柱をグループと考えると、一群の柱のうちの1つの柱を選択部材として部材選択情報149に登録することができる。また、互いに接触した柱と梁とをグループと考えると、柱及び梁のいずれか一方を選択部材として部材選択情報149に登録することができる。部材選択情報149は、このようにして作成される。なお、各選択部材に対し、その選択部材が代表する複数の仮想部材を示す情報を付すことができる。
実体部材データ生成部159は、部材選択情報149に基づいて、選択部材群に対応する計測データの部分領域から実体部材データ142を生成するように構成されている。例えば、実体部材データ生成部159は、第4又は第5の態様と同じ要領で、計測データ148から実体部材のデータ(位置、形状など)を求めることができ、また、仮想部材と実体部材との対応付けを行うことができる。
ただし、本態様の実体部材データ生成部159は、全ての実体部材(つまり、仮想建築物の全ての仮想部材にそれぞれ対応した全ての実体部材)について位置や形状を求めるのではなく、部材選択情報149に示された選択部材に対応した実体部材についてのみ位置や形状を求める。
更に、実体部材データ生成部159は、選択部材に対応した実体部材について求められた属性(位置、形状など)を、図5に示すデータ構造の実体部材データ142として記録する。
本態様のシステム130は、第1の態様のデータ構造に加えて次の特徴を有するデータ構造を提供する:計測データと、設計データに基づき予め生成された複数の仮想部材のうちの一部の仮想部材を示す部材選択情報とを更に含む;部材選択情報は、部材選択情報に示された一部の仮想部材に対応する計測データの部分領域から実体部材データを生成する処理に用いられる。
更に、本態様のシステム130が提供する構造を有するデータが記録されたコンピュータ可読な非一時的記録媒体を作成することができる。プログラム、及びプログラムが記録されたコンピュータ可読な非一時的記録媒体についても同様である。
このような本態様によれば、第1の態様と同様に、各種のデータや情報の管理の統合化、効率化、無矛盾化を図ることができる。
更に、本態様は、全ての仮想部材に対応した実体部材データを生成する代わりに、一部の仮想部材のみに対応した実体部材データを生成することができるので、管理や処理に要するリソースの低減を図ることが可能である。例えば、計測データから実体部材データを生成する処理の効率化を図ることができる。
<第7の態様>
第7の態様では、幾つかの態様を組み合わせることで実現可能なシステムの使用形態について説明する。本システムは、建築分野の情報管理(施工管理、維持管理、補修管理など)に用いられ、移動体(UAV、自走車、人など)、測量機器(トータルステーション、光波測距儀、セオドライト、距離計など)、データ処理技術(SfM、MVS、SLAMなど)、モデリング技術(コンピュータグラフィクス、CAD、BIMなど)の様々な技術を利用した融合的システムである。
第7の態様では、幾つかの態様を組み合わせることで実現可能なシステムの使用形態について説明する。本システムは、建築分野の情報管理(施工管理、維持管理、補修管理など)に用いられ、移動体(UAV、自走車、人など)、測量機器(トータルステーション、光波測距儀、セオドライト、距離計など)、データ処理技術(SfM、MVS、SLAMなど)、モデリング技術(コンピュータグラフィクス、CAD、BIMなど)の様々な技術を利用した融合的システムである。
本態様に係るシステムの構成例を図14に示す。システム140は、UAV1410と、UAVコントローラ1420と、トータルステーション1430と、エッジコンピュータ1440とを含む。クラウドコンピュータ1450は、システム140に含まれていてもよいし、システム140との間でデータ通信可能な外部装置であってもよい。なお、UAV1410、UAVコントローラ1420、トータルステーション1430、及びエッジコンピュータ1440のいずれかは、システム140の外部装置であってもよい。
なお、本態様に対して特許文献1~12の技術を組み合わせることが可能であり、また、特開2018-138922号公報、特開2018-138923号公報などに記載された技術を援用することが可能である。
UAV1410は、小型の無人飛行体であり、(実体)建築物の内部及び/又は外部を飛行して建築物のデータを収集する。UAV1410は、各種制御を行う制御部1411と、建築物のデータを収集するための撮影部1412と、V-SLAM処理を実行するV-SLAM部1413と、障害物検知処理を実行する障害物検知部1414とを含む。
図示は省略するが、UAV1410は、一般的なUAVと同様に、複数のプロペラ、各プロペラを回転させるプロペラモータなど、飛行するための要素を備えている。また、図示は省略するが、UAV1410は、例えば、慣性計測装置(IMU)、全地球航法衛星システム(GNSS)を用いた位置測定・航法・計時のための装置など、標準的なUAVに搭載可能な任意の手段を備えていてもよい。また、図示は省略するが、UAV1410は、トータルステーション1430によるUAV1410の追尾のための部材を備えていてよい。この部材は、例えば、プリズム、反射シールなどの再帰反射体であってよい。
制御部1411は、例えば、プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。UAV1410は、制御部1411の制御の下に自律飛行が可能である。また、UAV1410は、UAVコントローラ1420などを用いた遠隔操作飛行も可能である。その際、制御部1411は、UAVコントローラ1420などからの操作指示信号に基づいてUAV1410の飛行制御を行う。制御部1411は、他の装置(UAVコントローラ1420、エッジコンピュータ1440など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
撮影部1412は、例えば、デジタルカメラ、レーザスキャナ、及びスペクトルカメラのいずれか1つ以上を含んでいてよい。デジタルカメラとしては、典型的には、全方位カメラ(omnidirectional camera;全周カメラ、360度カメラとも呼ばれる)が用いられる。撮影部1412が全方位カメラにより周辺環境の画像(映像)を取得する場合について特に詳細に説明するが、他の場合についても同様の処理を行うことが可能である。
V-SLAM部1413は、例えば、プロセッサ及び記憶装置を含むハードウェアと、V-SLAMソフトウェアとの協働によって実現される。V-SLAM部1413は、撮影部1412により取得された映像をリアルタイムで解析して、UAV1410の周辺環境(建築物など)の3次元情報を生成し、且つ、UAV1410(特に撮影部1412)の位置及び姿勢を推定する。V-SLAM部1413が実行する処理は、公知のV-SLAM処理と同様であってよい。なお、V-SLAMと同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
障害物検知部1414は、例えば、プロセッサ及び記憶装置を含むハードウェアと、障害物検知ソフトウェアとの協働によって実現される。障害物検知部1414は、例えば、撮影部1412により取得された映像を構成する画像(フレーム)を前述の推論モデル(学習済みモデル)に入力することにより、障害物(道具、作業者など)に相当する画像領域を検出する。なお、障害物検知部1414は、障害物に相当する画像領域を検出するためにルールベースの処理を用いてもよい。また、障害物検知部1414は、学習済みモデルを用いた処理とルールベース処理とを組み合わせて障害物検知を行うように構成されてもよい。
障害物検知部1414からの出力は制御部1411に入力される。制御部1411は、障害物検知部1414からの出力に基づいて、検知された障害物への衝突を避けるための制御を行う。この制御は、例えば、飛行経路の変更、空中浮揚、着陸、自律飛行から他律飛行への切り替え、警告音の出力、及び、UAVコントローラ1420に警告情報(警告音、警告表示など)を出力させるための指示のいずれかであってよい。
UAVコントローラ1420は、UAV1410を遠隔操作するためのリモートコントローラとして用いられる。また、UAVコントローラ1420は、計測対象の建築物に関する情報(BIMモデル、CADモデル、部材の情報、施工計画など)を表示するために用いられる。また、UAVコントローラ1420は、UAV1410に関する情報(飛行経路、撮影部1412により得られた映像、警告など)を出力するために用いられる。また、UAVコントローラ1420は、UAV1410の飛行計画(飛行経路)の作成や編集に用いられてもよい。
UAVコントローラ1420は、制御部1421とユーザーインターフェイス1422とを含む。制御部1421は、UAVコントローラ1420の各部を制御する。プロセッサ及び記憶装置を含むハードウェアと、制御ソフトウェアとの協働によって実現される。制御部1421は、他の装置(UAV1410、エッジコンピュータ1440など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
ユーザーインターフェイス1422は、例えば、表示デバイス、操作デバイス、入力デバイスなどを含む。ユーザーインターフェイス1422は、典型的には、タブレット、スマートフォンなどのモバイルコンピュータであり、タッチスクリーン、GUIなどを含む。
トータルステーション1430は、飛行しているUAV1410を追尾するために用いられる。UAV1410に再帰反射体が設けられている場合、トータルステーション1430は、追尾光(測距光)を出力し、再帰反射体による追尾光の反射光を受光することによって、再帰反射体を追尾する。トータルステーション1430は再帰反射体の追尾を行いつつ、トータルステーション1430の設置位置(又は、他の基準位置)を基準とした3次元座標(斜距離(slope distance)、水平角、鉛直角など)を測定する。追尾機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、追尾ソフトウェアとの協働によって実現される。また、3次元座標測定機能は、例えば、プロセッサ及び記憶装置を含むハードウェアと、3次元座標測定ソフトウェアとの協働によって実現される。
UAV1410に再帰反射体が設けられない場合、例えば、UAV1410に複数の受光センサを設けることができる(図示は省略する)。各受光センサは、トータルステーション1430からの追尾光を受光可能である。複数の受光センサのうちのいずれの受光センサが追尾光を受光したか判断することで、トータルステーション1430に対するUAV1410の向きを推定することが可能である。この推定処理は、例えば、UAV1410、UAVコントローラ1420、トータルステーション1430、及びエッジコンピュータ1440のいずれかにより実行される。
トータルステーション1430は、他の装置(UAV1410、UAVコントローラ1420、エッジコンピュータ1440など)との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。トータルステーション1430は、前述の追尾とともに逐次に取得されるUAV1410の位置情報(3次元座標)をリアルタイムでUAV1410に送信することができる。
このように、UAV1410は、トータルステーション1430から送信される情報により、自身の現在位置を認識することができる。また、UAV1410は、V-SLAM部1413により得られた情報により、自身の現在位置を認識することができる。
トータルステーション1430による追尾の死角領域をUAV1410が飛行しているとき、UAV1410は、V-SLAMに基づく(比較的大まかな)位置情報のみをリアルタイムで認識する。
一方、死角領域以外の領域をUAV1410が飛行しているとき、UAV1410は、V-SLAMに基づく(比較的大まかな)位置情報と、トータルステーション1430に基づく(比較的詳細な)位置情報との双方を、リアルタイムで認識することができる。双方の位置情報をリアルタイムで取得できるとき、UAV1410は、双方の位置情報を対応付けることができる。
また、UAV1410は、双方の位置情報を取得可能なときにはトータルステーション1430に基づく(比較的詳細な)位置情報を参照して自律飛行し、それ以外のときにはV-SLAMに基づく(比較的大まかな)位置情報を参照して自律飛行するように構成されていてよい。
エッジコンピュータ1440は、建築現場でのエッジコンピューティングを実現するためのコンピュータであり、UAV1410、UAVコントローラ1420、トータルステーション1430などの装置からのデータを建築現場(又はその近く)で処理する。このようなエッジコンピューティングの導入により、システム140全体における負荷増大や通信遅延の解消を図ることができる。
エッジコンピュータ1440は、UAV1410、UAVコントローラ1420、トータルステーション1430など、建築現場において用いられる装置との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
また、エッジコンピュータ1440は、クラウドコンピュータ1450との間でデータ通信を行うための通信デバイスを含む。このデータ通信は、典型的には無線通信であるが、有線通信が可能であってもよい。
更に、エッジコンピュータ1440は、BIMデータ処理アプリケーションや建築データ管理アプリケーションを含んでいてよい。本態様において、エッジコンピュータ1440は、SfM・MVS部1441と施工管理部1442とを含む。
SfM・MVS部1441は、例えば、プロセッサ及び記憶装置を含むハードウェアと、SfMソフトウェア及びMVSソフトウェアとの協働によって実現される。SfM・MVS部1441は、例えば、UAV1410の撮影部1412により取得された映像と、UAV1410のV-SLAM部1413により取得されたUAV1410の位置情報と、トータルステーション1430により取得されたUAV1410の位置情報とに基づいて、UAV1410の位置情報(実際に飛行した経路)と、(実体)建築物の3次元モデルとを作成するように構成される。
SfM・MVS部1441は、SfM処理として、UAV1410が飛行しながら取得した映像から、UAV1410の位置情報を推定する。より具体的には、SfM・MVS部1441は、UAV1410が飛行しながら取得した映像にSfM処理を適用することにより、UAV1410が実際に飛行した経路を表す時系列3次元座標と、時系列3次元座標における各3次元座標に対応したUAV1410の姿勢とを求める。すなわち、SfM・MVS部1441は、撮影部1412に含まれるカメラの移動経路を表す時系列3次元座標と、この移動経路に沿ったカメラの時系列姿勢情報とを取得する。SfM処理において、トータルステーション1430により取得されたUAV1410の位置情報(3次元座標)を参照することができる。これにより、取得される時系列3次元座標及び時系列姿勢情報の精度の向上を図ることができる。本例のSfM処理は、公知のSfM処理と同様であってよい。なお、本例のSfM処理と同様の出力を生成することが可能な他の技術を代替的に用いることが可能である。
更に、SfM・MVS部1441は、MSV処理として、SfM処理で求められたUAV1410の位置情報(カメラの時系列位置情報及び時系列姿勢情報)と、UAV1410が飛行しながら取得した映像とに基づいて、(実体)建築物の点群データを生成する。
本例において、エッジコンピュータ1440(SfM・MVS部1441、施工管理部1442、又は他のデータ処理部)は、撮影部1412により取得された映像を構成する画像(フレーム)を前述の推論モデルに入力することにより、建築部材に相当する画像領域(部材領域)を検出するように構成されてよい。また、エッジコンピュータ1440(SfM・MVS部1441、施工管理部1442、又は他のデータ処理部)は、検出された各部材領域に対応した部材属性(種類、識別情報(ID)、形状、位置、計測日、計測時刻など)を特定することができる。なお、エッジコンピュータ1440は、部材領域を検出するためにルールベースの処理を用いてもよい。また、エッジコンピュータ1440は、学習済みモデルを用いた処理とルールベース処理とを組み合わせて部材領域検出を行うように構成されてもよい。
施工管理部1442は、例えば、プロセッサ及び記憶装置を含むハードウェアと、施工管理ソフトウェアとの協働によって実現される。施工管理部1442は、システム140により扱われる各種データの管理を行うように構成されている。施工管理部1442が実行する処理については後述する。
クラウドコンピュータ1450は、コンピュータネットワークを経由して遠隔地から建築現場にコンピュータ資源をサービスの形で提供するクラウドコンピューティングを実現するためのコンピュータである。このようなクラウドコンピューティングの導入により、システム140に提供可能なサービスの拡張性、柔軟性、効率性などの向上を図ることができる。
クラウドコンピュータ1450は、例えば、BIMツール、データ管理ツール、これらツールに用いられるデータ(設計BIM、施工情報、計測BIMなど)を管理し、エッジコンピュータ1440に提供するように構成される。本態様において、クラウドコンピュータ1450は、BIM部1451とデータ管理部1452とを含む。
BIM部1451は、BIMツールなどの各種ツールや、BIMツールに用いられるデータなどの各種データを、エッジコンピュータ1440に提供する。BIM部1451は、例えば、プロセッサ及び記憶装置を含むハードウェアと、BIMソフトウェアとの協働によって実現される。BIM部1451が実行する処理については後述する。
データ管理部1452は、各種ツールや各種データを管理する。データ管理部1452は、例えば、プロセッサ及び記憶装置を含むハードウェアと、データ管理ソフトウェアとの協働によって実現される。データ管理部1452が実行する処理については後述する。
このような本態様のシステム140により扱われるデータの構造(データフォーマット)の例を図15に示す。データフォーマット150は、設計データ1510と、レンダリングデータ1520と、計測データ1530と、検査情報1540と、検査用知識ベース1550と、検査データ1560とを含む。つまり、データフォーマット150は、少なくともこれらの種類のデータが記録される領域を含んだデータ構造を有する。
設計データ1510が記録される領域には、BIMデータ(設計BIM)、設計図など、前述した各種の設計データが記録される。
レンダリングデータ1520が記録される領域には、設計BIMをレンダリングして得られた画像データ(仮想画像)が記録される。レンダリングデータは、設計BIM中の複数の位置のそれぞれについて構築される。例えば、予め設定された飛行経路上の複数の位置のそれぞれについて、その位置を視点としたボリュームレンダリングを設計BIMに適用する。それにより、設計BIM中の飛行経路に沿った複数のレンダリングデータ(複数の仮想画像)が得られる。各レンダリングデータに対し、対応する位置情報(設計BIM中の視点の3次元座標)を、属性情報として付帯させることができる。レンダリングデータの属性情報はこれに限定されない。例えば、レンダリングデータの属性情報は設計BIMに関する任意の情報、レンダリング処理に関する任意の情報、レンダリングデータに関する任意の情報などを含んでいてよい。
計測データ1530が記録される領域には、(実体)建築物を計測して取得された各種のデータが記録される。このようなデータの例として、建築物の点群データ、各計測位置の3次元座標、UAV1410の撮影部1412により取得された映像、2次元画像、寸法情報、計測日、計測時刻などがある。また、これらのデータのいずれかに関するパラメータ情報を記録することもできる。例えば、点群データ作成処理に関するパラメータ情報や、撮影部1412による撮影処理に関するパラメータ情報などを記録することが可能である。
検査情報1540が記録される領域には、仮想部材に対応した実体部材を検査するための各種情報(検査情報)が記録される。検査情報1540は、例えば、各検査位置(各仮想部材の位置)における検査対象(仮想部材)の形状、寸法、施工日、施工時刻などを含む。つまり、検査情報1540は、各仮想部材の複数の属性に関する情報を含んでいてよい。検査情報はこれらに限定されず、検査に関する任意の情報を含んでいてよい。
検査用知識ベース1550が記録される領域には、仮想部材に対応した実体部材を検査するために用いられる各種の知識が記録される。検査用知識ベース1550は、例えば、計測経路(飛行経路に沿った複数の検査位置)、前述した推論モデル(学習済みモデルの重み係数、ニューラルネットワークモデルなど)などを含む。また、検査用知識ベース1550は、ルールベースのアルゴリズムを含んでいてもよい。
検査データ1560が記録される領域には、仮想部材に対応した実体部材を検査することにより取得された各種のデータ(検査データ)が記録される。検査データ1560は、例えば、検査位置における対象物の有無(仮想部材に対応する実体部材の有無)、仮想部材に対する実体部材の偏位(位置ずれの有無、位置ずれの方向、位置ずれの向きなど)、検査位置が所定条件を満足しているかの判定結果などを含む。この判定は、例えば、予め設定された飛行経路上から得たデータに基づき検査が行われたか否かの判定、換言すると、当該時点において障害物回避(又は、他の理由による飛行経路からの逸脱)が行われたか否かの判定を含んでよい。
このような本態様のシステム140の動作例について、図16A~図16Cを更に参照して説明する。
本動作例の一連の工程(検査)を実施するタイミングは任意である。例えば、所定の施工プロセスごとに検査を実施することができる。例示的な用途として、以下の一連の工程を各工事日に実施することで、各工事日における施工進捗状況をデータ化することができる。本動作例の用途が施工進捗状況確認のみである場合、各仮想部材に対応した実体部材の有無の検査のみを実施するようにしてよい。他の用途の場合、より高い精度で検査を行うようにしてよい。
(S1:飛行経路を生成する)
本動作例ではまず、クラウドコンピュータ1450が、エッジコンピュータ1440(施工管理部1442)が、設計BIM、施工情報(部材ごとの施工日情報)、UAV1410を用いた検査を実施する日(計測日情報)、障害物画像(仮想的に生成された画像、実際の撮影画像)などを、エッジコンピュータ1440に送信する。エッジコンピュータ1440は、クラウドコンピュータ1450から提供された情報に基づいて、当該計測日におけるUAV1410の飛行経路を決定する。
本動作例ではまず、クラウドコンピュータ1450が、エッジコンピュータ1440(施工管理部1442)が、設計BIM、施工情報(部材ごとの施工日情報)、UAV1410を用いた検査を実施する日(計測日情報)、障害物画像(仮想的に生成された画像、実際の撮影画像)などを、エッジコンピュータ1440に送信する。エッジコンピュータ1440は、クラウドコンピュータ1450から提供された情報に基づいて、当該計測日におけるUAV1410の飛行経路を決定する。
飛行経路の生成は、クラウドコンピュータ1450が行ってもよいし、UAVコントローラ1420が行ってもよいし、他のコンピュータが行ってもよい(以下同様)。また、計測日情報をクラウドコンピュータ1450から取得する代わりに、エッジコンピュータ1440又はUAVコントローラ1420が計測日情報を生成してもよい。飛行経路の生成は、全自動、半自動、又は手動で行われる。施工日情報は、施工時刻を含んでいてもよい。
飛行経路は、例えば、UAV1410の撮影部1412と検査対象(部材、床、天井、壁、設備、柱など)との間の距離が許容範囲に含まれるように決定される。例えば、この距離が近いほど検査精度が向上することを考慮して許容範囲(最大距離)を設定することができる。他方、建築物の全体を撮影できるように許容範囲(最小距離)を設定することができる。
(S2:飛行経路をUAVに送信する)
エッジコンピュータ1440は、例えばユーザーの指示を受けて、ステップS1で生成された飛行経路の情報をUAV1410に送信する。
エッジコンピュータ1440は、例えばユーザーの指示を受けて、ステップS1で生成された飛行経路の情報をUAV1410に送信する。
(S3:仮想画像を生成する)
また、エッジコンピュータ1440は、ステップS1で生成された飛行経路に基づいて設計BIMをレンダリングすることにより仮想画像(レンダリングデータ)を生成する。例えば、エッジコンピュータ1440は、設計BIMが定義された3次元仮想空間内を仮想UAV(仮想カメラ)が当該飛行経路に沿って飛行したときに得られる仮想的な映像を生成する。より具体的には、エッジコンピュータ1440は、当該飛行経路上の複数の位置のそれぞれについて、当該位置から仮想カメラで取得される仮想BIM(仮想建築物)の画像を生成する。
また、エッジコンピュータ1440は、ステップS1で生成された飛行経路に基づいて設計BIMをレンダリングすることにより仮想画像(レンダリングデータ)を生成する。例えば、エッジコンピュータ1440は、設計BIMが定義された3次元仮想空間内を仮想UAV(仮想カメラ)が当該飛行経路に沿って飛行したときに得られる仮想的な映像を生成する。より具体的には、エッジコンピュータ1440は、当該飛行経路上の複数の位置のそれぞれについて、当該位置から仮想カメラで取得される仮想BIM(仮想建築物)の画像を生成する。
(S4:推論モデルを構築する)
エッジコンピュータ1440は、ステップS3で生成された仮想画像(及び、他の複数の仮想画像)を教師データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータから部材データを特定するための推論モデル(第1の推論モデル)を構築する。
エッジコンピュータ1440は、ステップS3で生成された仮想画像(及び、他の複数の仮想画像)を教師データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータから部材データを特定するための推論モデル(第1の推論モデル)を構築する。
また、エッジコンピュータ1440は、ステップS1でクラウドコンピュータ1450から提供された障害物画像(及び、他の複数の障害物画像)を教師データとした機械学習を所定のニューラルネットワークに適用することで、実体建築物のデータに混入した障害物のデータを特定するための推論モデル(第2の推論モデル)を構築する。
なお、仮想画像及び障害物画像の双方を教師データとすることで、第1の推論モデル及び第2の推論モデルの双方として機能する単一の推論モデルを構築することができる。この推論モデルは、実体建築物のデータから部材データと障害物データとを特定するように訓練されたものである。以下の説明ではこのような推論モデルを採用するが、これに限定されない。また、推論モデルは他の機能を有していてもよい。
教師データは、部材のテクスチャ情報や、障害物のテクスチャ情報を含んでいてもよい。また、推論モデル構築に用いられるニューラルネットワークモデルは、典型的にはCNNである。なお、推論モデル構築に用いられる手法は、本例に限定されず、例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)などの任意の手法を適用することが可能である。
(S5:推論モデルをUAVに送信する)
エッジコンピュータ1440は、ステップS4で構築された推論モデル(重み係数、ニューラルネットワークモデルなど)をUAV1410に送信する。
エッジコンピュータ1440は、ステップS4で構築された推論モデル(重み係数、ニューラルネットワークモデルなど)をUAV1410に送信する。
(S6:建築物の計測作業を開始する)
ステップS1~S5の準備の後、実体建築物の計測作業が開始される。
ステップS1~S5の準備の後、実体建築物の計測作業が開始される。
(S7:UAVとトータルステーションとを同期させる)
計測作業では、まず、UAV1410とトータルステーション(TS)1430との同期が実施される。つまり、UAV1410内の時計とトータルステーション1430内の時計とが同期される。これにより、UAV1410により得られる映像に付帯される時刻(撮影時刻)と、トータルステーション1430により取得されるUAV1410の位置情報に付帯される時刻(計測時刻)とが同期される。ここで、撮影時刻は、V-SLAM処理を用いて映像から取得される位置情報に付帯される。
計測作業では、まず、UAV1410とトータルステーション(TS)1430との同期が実施される。つまり、UAV1410内の時計とトータルステーション1430内の時計とが同期される。これにより、UAV1410により得られる映像に付帯される時刻(撮影時刻)と、トータルステーション1430により取得されるUAV1410の位置情報に付帯される時刻(計測時刻)とが同期される。ここで、撮影時刻は、V-SLAM処理を用いて映像から取得される位置情報に付帯される。
UAV1410及びトータルステーション1430の双方が屋外にある場合、例えば、航法衛星からの航法信号(原子時計に基づく時刻情報を含む)を利用して双方の時計を同期させることができる。他方、UAV1410及びトータルステーション1430の一方が屋内にある場合、例えば、UAV1410及びトータルステーション1430の双方が接続可能なネットワーク上のタイムサーバを利用して双方の時計を同期させることができる。なお、同期の手法はこれらに限定されない。
(S8:トータルステーションによるUAVの追尾を開始する)
ステップS7の時刻同期の後、ユーザーは、例えばUAVコントローラ1420を用いて計測開始を指示する。トータルステーション1430は、UAVコントローラ1420からの計測開始指示を受けたUAV1410の追尾を開始する。また、トータルステーション1430は、UAV1410の位置情報の生成と、この位置情報のUAV1410へのリアルタイム送信とを開始する。
ステップS7の時刻同期の後、ユーザーは、例えばUAVコントローラ1420を用いて計測開始を指示する。トータルステーション1430は、UAVコントローラ1420からの計測開始指示を受けたUAV1410の追尾を開始する。また、トータルステーション1430は、UAV1410の位置情報の生成と、この位置情報のUAV1410へのリアルタイム送信とを開始する。
(S9:飛行と撮影と障害物検知を開始する)
また、ステップS8の計測開始指示を受けたUAV1410は、ステップS2で受信した飛行経路を参照した自律飛行と、撮影部1412による撮影(及び、映像の保存)と、V-SLAM部1413及び障害物検知部1414による障害物検知処理とを開始する。
また、ステップS8の計測開始指示を受けたUAV1410は、ステップS2で受信した飛行経路を参照した自律飛行と、撮影部1412による撮影(及び、映像の保存)と、V-SLAM部1413及び障害物検知部1414による障害物検知処理とを開始する。
(S10:外部からの情報に基づき飛行制御を行う)
UAV1410は、トータルステーション1430からリアルタイムで送信される追尾情報(追尾対象であるUAV1410の位置情報)と、ステップS2で受信した飛行経路とに基づく飛行制御によって、自律飛行を行う。なお、ステップS10~S14は、ステップS14で「Yes」と判断されるまで繰り返し実行される。
UAV1410は、トータルステーション1430からリアルタイムで送信される追尾情報(追尾対象であるUAV1410の位置情報)と、ステップS2で受信した飛行経路とに基づく飛行制御によって、自律飛行を行う。なお、ステップS10~S14は、ステップS14で「Yes」と判断されるまで繰り返し実行される。
(S11:追尾中断時は自身で得た情報に基づき飛行制御を行う)
トータルステーション1430による追尾の死角範囲にUAV1410が入ると、例えば、UAV1410は、トータルステーション1430からの追尾情報を受信できなくなる。UAV1410は、追尾情報の受信が途絶えたことに対応し、自律飛行制御のために参照する位置情報を、トータルステーション1430からの追尾情報から、V-SLAM部1413により逐次に取得される位置情報に切り替えるように構成されてよい。更に、UAV1410は、追尾情報の受信が再開したことに対応し、自律飛行制御のために参照する位置情報を、V-SLAM部1413により逐次に取得される位置情報から、トータルステーション1430からの追尾情報に切り替えるように構成されてよい。
トータルステーション1430による追尾の死角範囲にUAV1410が入ると、例えば、UAV1410は、トータルステーション1430からの追尾情報を受信できなくなる。UAV1410は、追尾情報の受信が途絶えたことに対応し、自律飛行制御のために参照する位置情報を、トータルステーション1430からの追尾情報から、V-SLAM部1413により逐次に取得される位置情報に切り替えるように構成されてよい。更に、UAV1410は、追尾情報の受信が再開したことに対応し、自律飛行制御のために参照する位置情報を、V-SLAM部1413により逐次に取得される位置情報から、トータルステーション1430からの追尾情報に切り替えるように構成されてよい。
なお、トータルステーション1430による追尾の死角範囲にUAV1410が入ったとしても、電波の反射や透過などにより何らかの追尾情報がUAV1410に到達することも有り得る。このような場合を想定し、UAV1410は、追尾情報が示す位置情報から問題を検出するように構成されていてよい。例えば、UAV1410は、追尾情報が示す位置情報と、V-SLAM部1413で得られた位置情報とを照合することによって問題を検出するように構成されていてよい(前述したように、双方の位置情報は同期されている)。この構成の一例として、UAV1410は、双方の位置情報(3次元座標)の間の誤差を算出し、この誤差が所定閾値以上であるときに「問題有り」と判断し、この誤差が所定閾値未満であるときに「問題無し」と判断するように構成されてよい。UAV1410は、判断結果が「問題無し」から「問題有り」に移行したことに対応して、自律飛行制御のために参照する位置情報を、トータルステーション1430からの追尾情報から、V-SLAM部1413により逐次に取得される位置情報に切り替えるように構成されてよい。更に、UAV1410は、判断結果が「問題有り」から「問題無し」に移行したことに対応して、自律飛行制御のために参照する位置情報を、V-SLAM部1413により逐次に取得される位置情報から、トータルステーション1430からの追尾情報に切り替えるように構成されてよい。
このような構成により、トータルステーション1430によるUAV1410の追尾が中断している間、UAV1410は、V-SLAM部1413により逐次に求められる位置及び姿勢に基づいて自律飛行制御を行うことができる。
(S12:障害物を検知したか?)
障害物検知部1414が障害物を検知すると(S12:Yes)、動作はステップS13に移行する。障害物を検知しない間は(S12:No)、動作はステップS13をスキップしてステップS14に進む。
障害物検知部1414が障害物を検知すると(S12:Yes)、動作はステップS13に移行する。障害物を検知しない間は(S12:No)、動作はステップS13をスキップしてステップS14に進む。
(S13:障害物回避制御を行う)
ステップS12で障害物が検知されると(S12:Yes)、UAV1410は、前述した障害物回避動作のための制御を行う。例えば、UAV1410は、検知された障害物の位置、方向、寸法などを求め、この障害物への衝突を避ける経路を決定し、この経路に沿って飛行する。典型的には、この衝突回避経路の始点及び終点は、ステップS2で受信した飛行経路上に位置する。すなわち、UAV1410は、ステップS2で受信した飛行経路から外れて障害物を迂回し、当該飛行経路に復帰する。
ステップS12で障害物が検知されると(S12:Yes)、UAV1410は、前述した障害物回避動作のための制御を行う。例えば、UAV1410は、検知された障害物の位置、方向、寸法などを求め、この障害物への衝突を避ける経路を決定し、この経路に沿って飛行する。典型的には、この衝突回避経路の始点及び終点は、ステップS2で受信した飛行経路上に位置する。すなわち、UAV1410は、ステップS2で受信した飛行経路から外れて障害物を迂回し、当該飛行経路に復帰する。
(S14:飛行終了地点に到着したか?)
UAV1410は、トータルステーション1430からの追尾情報や、V-SLAM部1413により取得される位置情報に基づいて、ステップS2で受信した飛行経路の終点(飛行終了地点)に到達したか判断することができる。飛行終了地点に到達していないと判断されたとき(S14:No)、動作はステップS10に戻る。一方、飛行終了地点に到達したと判断されたとき(S14:Yes)、動作はステップS15に進む。以上で、実体建築物の計測(撮影)は完了となる。
UAV1410は、トータルステーション1430からの追尾情報や、V-SLAM部1413により取得される位置情報に基づいて、ステップS2で受信した飛行経路の終点(飛行終了地点)に到達したか判断することができる。飛行終了地点に到達していないと判断されたとき(S14:No)、動作はステップS10に戻る。一方、飛行終了地点に到達したと判断されたとき(S14:Yes)、動作はステップS15に進む。以上で、実体建築物の計測(撮影)は完了となる。
(S15:撮影画像をエッジコンピュータに送信する)
飛行終了地点まで到達したら(S14:Yes)、UAV1410は、飛行しながら取得した撮影画像(映像)をエッジコンピュータ1440に送る。なお、UAV1410は、飛行しながら逐次に撮影画像をエッジコンピュータ1440に送ってもよいし、飛行中は撮影画像を蓄積しておき飛行完了後にまとめてエッジコンピュータ1440に送ってもよい。また、UAV1410は、所定時間ごとに撮影画像の蓄積と送信とを繰り返してもよい。或いは、UAV1410は、所定のデータ量だけ撮影画像が蓄積される度に送信するようにしてもよい。
飛行終了地点まで到達したら(S14:Yes)、UAV1410は、飛行しながら取得した撮影画像(映像)をエッジコンピュータ1440に送る。なお、UAV1410は、飛行しながら逐次に撮影画像をエッジコンピュータ1440に送ってもよいし、飛行中は撮影画像を蓄積しておき飛行完了後にまとめてエッジコンピュータ1440に送ってもよい。また、UAV1410は、所定時間ごとに撮影画像の蓄積と送信とを繰り返してもよい。或いは、UAV1410は、所定のデータ量だけ撮影画像が蓄積される度に送信するようにしてもよい。
以下の工程はいずれも、UAV1410で取得された画像に基づく一連の処理である(後処理)。UAV1410が飛行しながら撮影画像をエッジコンピュータ1440に送信する場合、UAV1410の飛行が完了する前に後処理を開始してもよい。つまり、撮影と後処理とを並行して逐次的に行ってもよい。これにより、作業時間の短縮を図ることが可能となる。他方、撮影完了後に後処理を開始する場合には、全ての撮影画像を参照して後処理を実行できるため、処理の精度や確度の向上を図ることが可能である。例えば、或る撮影画像を解析するときに、その前後の撮影画像を参照することが可能である。
ここで、エッジコンピュータ1440は、撮影画像が後処理に適しているか否か判定するができる。例えば、エッジコンピュータ1440は、撮影画像の品質(輝度、コントラスト、ピント、色、精細性など)を評価するように構成されていてよい。品質が不十分であると判定された場合、UAV1410による撮影を再度実施することや、画質を向上させるための画像処理を撮影画像に適用することができる。この画像処理には、例えば、機械学習により構築された学習済みモデルが利用される。また、この画像処理は、前後の撮影画像を利用した補間的な処理を含んでもよい。UAV1410による撮影中に画像品質評価を開始してもよい。撮影中に画像品質が不十分と判定されたとき、品質が不十分と判定された撮影画像が取得された位置(又は、飛行経路においてそれよりも上流の位置)に戻って再撮影するようにしてもよい。
同様に、トータルステーション1430は、UAV1410の追尾とともに収集されたUAV1410(撮影部1412、再帰反射体)の時系列3次元座標及び時系列姿勢情報をエッジコンピュータ1440に送信する。
(S16:カメラの位置・姿勢を求める)
エッジコンピュータ1440は、UAV1410により取得された撮影画像(映像の各フレーム)と、トータルステーション1430により取得された時系列情報(時系列3次元座標、時系列姿勢情報)とに基づいてSfM処理を実行することにより、飛行経路上の複数の位置のそれぞれにおける撮影部1412(カメラ)の位置及び姿勢を求める。ここで、ステップS7においてUAV1410とトータルステーション1430とを同期させたので、映像の時刻情報と時系列情報の時刻情報とを対応付けることができる。エッジコンピュータ1440は、この時刻の対応付けを行うことで、映像と時系列情報との組み合わせに対してSfM処理を適用することができる。
エッジコンピュータ1440は、UAV1410により取得された撮影画像(映像の各フレーム)と、トータルステーション1430により取得された時系列情報(時系列3次元座標、時系列姿勢情報)とに基づいてSfM処理を実行することにより、飛行経路上の複数の位置のそれぞれにおける撮影部1412(カメラ)の位置及び姿勢を求める。ここで、ステップS7においてUAV1410とトータルステーション1430とを同期させたので、映像の時刻情報と時系列情報の時刻情報とを対応付けることができる。エッジコンピュータ1440は、この時刻の対応付けを行うことで、映像と時系列情報との組み合わせに対してSfM処理を適用することができる。
(S17:撮影画像から部材エリアを抽出する)
エッジコンピュータ1440は、ステップS4で構築された推論モデルを用いて、UAV1410により取得された撮影画像(映像の各フレーム)から、設計BIMに含まれる部材(仮想部材)に相当する画像領域(部材エリア、部材領域)を抽出する。この抽出処理は、例えば、設計BIM中の部材エリアを特定する処理と、特定された部材エリア以外の画像領域をマスクする処理とを含む。ここで、エッジコンピュータ1440は、特定された部材エリアに対応する実体部材の所定の属性を特定する処理を行ってもよい。
エッジコンピュータ1440は、ステップS4で構築された推論モデルを用いて、UAV1410により取得された撮影画像(映像の各フレーム)から、設計BIMに含まれる部材(仮想部材)に相当する画像領域(部材エリア、部材領域)を抽出する。この抽出処理は、例えば、設計BIM中の部材エリアを特定する処理と、特定された部材エリア以外の画像領域をマスクする処理とを含む。ここで、エッジコンピュータ1440は、特定された部材エリアに対応する実体部材の所定の属性を特定する処理を行ってもよい。
エッジコンピュータ1440は、ステップS17で得られた情報がこれ以降の処理に適しているか否か判定することができる。例えば、多数の仮想部材について、対応する実体部材の部材エリアが抽出されなかった場合に「不適」と判定される。不適と判定された場合、エッジコンピュータ1440は、例えば、再撮影を要求するための制御を行うことができる。
(S18:部材エリアの特徴点とその座標を求める)
エッジコンピュータ1440は、ステップS17で抽出された部材エリアの特徴点を検出する。特徴点は、1以上の点、1以上の線、及び1以上の面のいずれかであってよい。また、特徴点は、模様などであってもよい。更に、エッジコンピュータ1440は、検出された特徴点の3次元座標を求める。
エッジコンピュータ1440は、ステップS17で抽出された部材エリアの特徴点を検出する。特徴点は、1以上の点、1以上の線、及び1以上の面のいずれかであってよい。また、特徴点は、模様などであってもよい。更に、エッジコンピュータ1440は、検出された特徴点の3次元座標を求める。
(S19:部材の面データを生成する)
エッジコンピュータ1440は、ステップS17で抽出された部材エリアに対応する実体部材の面データを生成する。例えば、エッジコンピュータ1440は、ステップS18で検出された特徴点に基づいて、撮影位置が異なる2以上の撮影画像の位置合わせを行う(レジストレーション)。典型的には、これら撮影画像は部分的にオーバーラップしている。エッジコンピュータ1440は、MVS処理を用いることで、これら撮影画像の撮影位置に基づき、これら撮影画像に共通して描出されている部材の面データを生成する。
エッジコンピュータ1440は、ステップS17で抽出された部材エリアに対応する実体部材の面データを生成する。例えば、エッジコンピュータ1440は、ステップS18で検出された特徴点に基づいて、撮影位置が異なる2以上の撮影画像の位置合わせを行う(レジストレーション)。典型的には、これら撮影画像は部分的にオーバーラップしている。エッジコンピュータ1440は、MVS処理を用いることで、これら撮影画像の撮影位置に基づき、これら撮影画像に共通して描出されている部材の面データを生成する。
より詳細に説明する。エッジコンピュータ1440は、設計BIMと映像との間のレジストレーションを行う。これにより、例えば、設計BIMが定義された3次元空間(3次元座標系)に映像の各フレーム(撮影画像)が埋め込まれる。
次に、エッジコンピュータ1440は、設計BIM中の仮想部材の所定の面について、その近傍に位置する撮影画像中の点群を求める。例えば、エッジコンピュータ1440は、仮想部材の所定の面に対する距離が所定閾値内以下である撮影画像中の点を特定することによって点群を特定する。映像の各フレームについてこのような処理を実行することにより、仮想部材の所定の面の近傍に位置する3次元座標点群が得られる。
次に、エッジコンピュータ1440は、求められた3次元座標点群に基づいて、仮想部材の所定の面に対応する映像中の面を決定する。例えば、エッジコンピュータ1440は、3次元座標点群の少なくとも一部に基づく近似面(平面、自由曲面など)を求める。この近似面が上記の面データである。つまり、この近似面は、仮想部材の所定の面に相当する映像中の面データ(面画像)として扱われる。換言すると、この近似面は、仮想部材に対応する実体部材の部分(面)であって、この仮想部材の所定の面に対応する部分(面)として扱われる。エッジコンピュータ1440は、仮想部材の所定の面と、それに基づき決定された映像中の面(実体部材の面)とを対応付ける。これにより、仮想部材と実体部材とが対応付けられ、仮想部材の属性(位置、形状など)と実体部材の属性(位置、形状など)とが対応付けられる。
(S20:計測BIMを作成する)
エッジコンピュータ1440は、ステップS19で生成された複数の面データに基づいて3次元モデル(計測BIM)を作成する。つまり、エッジコンピュータ1440は、ステップS19で求められた複数の実体部材のデータに基づいて計測BIMを作成する。作成された計測BIMは、クラウドコンピュータ1450に送信され、保存される。計測BIMは、設計BIMとの比較、施工管理、維持管理、補修管理などに用いられる。以上で、本動作例は終了である。
エッジコンピュータ1440は、ステップS19で生成された複数の面データに基づいて3次元モデル(計測BIM)を作成する。つまり、エッジコンピュータ1440は、ステップS19で求められた複数の実体部材のデータに基づいて計測BIMを作成する。作成された計測BIMは、クラウドコンピュータ1450に送信され、保存される。計測BIMは、設計BIMとの比較、施工管理、維持管理、補修管理などに用いられる。以上で、本動作例は終了である。
以上に説明した構成は、この発明の実施態様の例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
1、8、9、10、110、130 システム
11 制御部
12 ユーザーインターフェイス
13 データ取得部
14 記憶部
141 設計データ
142 実体部材データ
143 仮想画像
144 撮影画像
145、146、148 計測データ
147 代表部位情報
149 部材選択情報
15 処理部
151 部材対応付け部
152 属性対応付け部
153 推論モデル構築部
154 移動制御情報作成部
155 参照情報作成部
156 データオブジェクト検出部
157 部分領域特定部
158、159 実体部材データ生成部
11 制御部
12 ユーザーインターフェイス
13 データ取得部
14 記憶部
141 設計データ
142 実体部材データ
143 仮想画像
144 撮影画像
145、146、148 計測データ
147 代表部位情報
149 部材選択情報
15 処理部
151 部材対応付け部
152 属性対応付け部
153 推論モデル構築部
154 移動制御情報作成部
155 参照情報作成部
156 データオブジェクト検出部
157 部分領域特定部
158、159 実体部材データ生成部
Claims (8)
- 建築物リアリティキャプチャのためのデータ処理方法であって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
仮想部材の代表部位を示す代表部位情報を準備するステップと、
前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと、
前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を前記代表部位情報に基づき特定する処理である部分領域特定処理を実行するステップと
を含む、
データ処理方法。 - 建築物リアリティキャプチャのためのデータ処理方法であって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
前記設計データに基づき予め生成された、前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報を準備するステップと、
前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと
前記部材選択情報に示された前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する処理である実体部材データ生成処理を実行するステップと
を含む、
データ処理方法。 - 建築物リアリティキャプチャのためのデータ処理方法であって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データを準備するステップと、
前記設計データに基づき施工された実体建築物から取得された計測データを準備するステップと、
前記計測データに基づいて、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データを生成するステップと、
前記仮想部材情報及び前記実体部材データに基づいて前記複数の仮想部材と前記複数の実体部材との間の対応付けをする部材対応付け処理を実行するステップと、
前記部材対応付け処理により取得された仮想部材と実体部材との複数のペアのそれぞれにおける前記複数の属性に基づいて前記仮想部材情報と前記実体部材データとの間の対応付けをする属性対応付け処理を実行するステップと、
前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、
前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、
前記部材対応付け処理は、前記施工日情報及び前記計測日情報に基づいて実行される、
データ処理方法。 - 建築物リアリティキャプチャシステムに含まれるコンピュータに請求項1~3のいずれかのデータ処理方法の各ステップを実行させるプログラム。
- 請求項4のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
- 建築物のリアリティキャプチャのためのシステムであって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、仮想部材の代表部位を示す代表部位情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、
前記代表部位情報に基づいて、前記複数の仮想部材のいずれかの代表部位に対応する前記計測データの部分領域を特定する部分領域特定部と
を含むシステム。 - 建築物のリアリティキャプチャのためのシステムであって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき予め生成された前記複数の仮想部材のうちの一部の仮想部材を示す部材選択情報と、前記設計データに基づき施工された実体建築物から取得された計測データと、前記計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と、
前記部材選択情報に基づいて、前記一部の仮想部材に対応する前記計測データの部分領域から前記実体部材データを生成する第2の実体部材データ生成部と
を含むシステム。 - 建築物のリアリティキャプチャのためのシステムであって、
仮想建築物の複数の仮想部材のそれぞれについての複数の属性に関する仮想部材情報を含む設計データと、前記設計データに基づき施工された実体建築物から取得された計測データに基づき生成された、複数の実体部材のそれぞれについての前記複数の属性に関する実体部材データとを記憶する記憶部と、
前記仮想部材情報及び前記実体部材データに基づき前記複数の仮想部材と前記複数の実体部材との間の対応付けを行って、仮想部材と実体部材との複数のペアを生成する部材対応付け部と、
前記複数のペアのそれぞれについて前記複数の属性に応じて前記仮想部材情報と前記実体部材データとの間の対応付けを行う属性対応付け部と
を含み、
前記仮想部材情報は、前記複数の仮想部材のそれぞれの施工日を示す施工日情報を含み、
前記実体部材データは、前記実体建築物の計測日を示す計測日情報を含み、
前記部材対応付け部は、更に前記施工日情報及び前記計測日情報に基づいて、前記複数のペアを生成する、
システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024048908A JP2024083371A (ja) | 2020-02-19 | 2024-03-26 | データ処理方法、記録媒体、プログラム、及びシステム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025808A JP2021131652A (ja) | 2020-02-19 | 2020-02-19 | データ構造、記録媒体、プログラム、及びシステム |
JP2024048908A JP2024083371A (ja) | 2020-02-19 | 2024-03-26 | データ処理方法、記録媒体、プログラム、及びシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025808A Division JP2021131652A (ja) | 2020-02-19 | 2020-02-19 | データ構造、記録媒体、プログラム、及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024083371A true JP2024083371A (ja) | 2024-06-21 |
Family
ID=77272957
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025808A Pending JP2021131652A (ja) | 2020-02-19 | 2020-02-19 | データ構造、記録媒体、プログラム、及びシステム |
JP2024048908A Pending JP2024083371A (ja) | 2020-02-19 | 2024-03-26 | データ処理方法、記録媒体、プログラム、及びシステム |
JP2024048907A Pending JP2024088665A (ja) | 2020-02-19 | 2024-03-26 | データ処理方法、記録媒体、プログラム、及びシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025808A Pending JP2021131652A (ja) | 2020-02-19 | 2020-02-19 | データ構造、記録媒体、プログラム、及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024048907A Pending JP2024088665A (ja) | 2020-02-19 | 2024-03-26 | データ処理方法、記録媒体、プログラム、及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210256679A1 (ja) |
JP (3) | JP2021131652A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230066897A1 (en) * | 2021-09-01 | 2023-03-02 | Electronic Arts Inc. | Generating Visual Assets for Video Games |
JP7403108B2 (ja) * | 2021-10-28 | 2023-12-22 | 株式会社 Sai | 建屋内構造物認識システム及び建屋内構造物認識方法 |
JP7274782B1 (ja) | 2021-12-10 | 2023-05-17 | 株式会社 Sai | 建屋内構造物認識システム及び建屋内構造物認識方法 |
WO2023145901A1 (ja) * | 2022-01-27 | 2023-08-03 | 京セラ株式会社 | 推定装置、推定方法、及び制御装置 |
JP7369375B1 (ja) * | 2022-08-31 | 2023-10-26 | 株式会社イクシス | 建築物又は土木構造物の管理支援システム |
Family Cites Families (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6996503B2 (en) * | 2000-04-27 | 2006-02-07 | El-Con System Co., Ltd. | System and method for take-off of materials using two-dimensional CAD interface |
JP2002197166A (ja) * | 2000-12-27 | 2002-07-12 | Nec Corp | 仮想不動産取引方法及びそれに用いる端末並びにその制御プログラム記録媒体 |
WO2003012562A1 (fr) * | 2001-07-27 | 2003-02-13 | Nippon Steel Corporation | Systeme de traitement d'informations pour la fabrication de materiaux de construction, procede et installation de fabrication de materiaux de construction et systeme de circulation relatives aux informations de construction |
ATE354134T1 (de) * | 2003-08-28 | 2007-03-15 | Accenture Global Services Gmbh | Erfassung, zusammenstellung und/oder visualisierung von strukturellen merkmalen von architekturen |
US20050252149A1 (en) * | 2004-04-02 | 2005-11-17 | Golden Star, Inc. | Free-standing clear-span frame structure and components |
JP4649192B2 (ja) * | 2004-12-14 | 2011-03-09 | 株式会社トプコン | ステレオ画像作成方法及び3次元データ作成装置 |
US20080120069A1 (en) * | 2006-11-22 | 2008-05-22 | Jason Martin | Generating an analytical model of building for use in thermal modeling and environmental analyses |
US8429871B2 (en) * | 2007-04-11 | 2013-04-30 | Erla Dögg Ingjaldsdottir | Affordable, sustainable buildings comprised of recyclable materials and methods thereof |
US8145578B2 (en) * | 2007-04-17 | 2012-03-27 | Eagel View Technologies, Inc. | Aerial roof estimation system and method |
FR2923229A1 (fr) * | 2007-11-06 | 2009-05-08 | Stephan Kumpf | Bloc de construction pour mur, a montage a joints de mortier et a sec, ventile a double actions |
US20100235206A1 (en) * | 2008-11-14 | 2010-09-16 | Project Frog, Inc. | Methods and Systems for Modular Buildings |
US20110061336A1 (en) * | 2009-03-04 | 2011-03-17 | Michael Robert Thomas | Building system, concrete or OSB, pour molded or pressed molded, composite panels, trusses, and products, with engineering methods and fasteners, and related transportation, erection, and materials processing equipment |
US20150213590A1 (en) * | 2011-07-29 | 2015-07-30 | Google Inc. | Automatic Pose Setting Using Computer Vision Techniques |
US20140195300A1 (en) * | 2011-08-15 | 2014-07-10 | Nec Corporation | Site of interest extraction device, site of interest extraction method, and computer-readable recording medium |
FI124153B (en) * | 2012-01-11 | 2014-04-15 | Indooratlas Oy | Using magnetic field navigation |
US8935222B2 (en) * | 2013-01-02 | 2015-01-13 | International Business Machines Corporation | Optimizing a partition in data deduplication |
US20150339823A1 (en) * | 2013-01-09 | 2015-11-26 | Telefonaktiebolaget L M Ericsson (Publ) | Supporting and enhancing image-based positioning |
US10909482B2 (en) * | 2013-03-15 | 2021-02-02 | Pictometry International Corp. | Building materials estimation |
US10140758B1 (en) * | 2013-06-27 | 2018-11-27 | The Boeing Company | Texturing models of structures |
US10861224B2 (en) * | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
US10089417B2 (en) * | 2013-09-26 | 2018-10-02 | Here Global B.V. | Structure determination in a geographic area |
US20150302529A1 (en) * | 2014-04-18 | 2015-10-22 | Marshall & Swift/Boeckh, LLC | Roof condition evaluation and risk scoring system and method |
US20180239322A1 (en) * | 2015-07-28 | 2018-08-23 | Panasonic Intellectual Property Management Co., Ltd. | Information creation method, storage medium, information creation device, and information creation system |
US10332309B2 (en) * | 2015-09-23 | 2019-06-25 | Here Global B.V. | Method and apparatus for identifying buildings in textured 3D mesh data and generating 3D building models |
GB2543749A (en) * | 2015-10-21 | 2017-05-03 | Nokia Technologies Oy | 3D scene rendering |
US11217009B2 (en) * | 2015-11-30 | 2022-01-04 | Photopotech LLC | Methods for collecting and processing image information to produce digital assets |
US10832332B1 (en) * | 2015-12-11 | 2020-11-10 | State Farm Mutual Automobile Insurance Company | Structural characteristic extraction using drone-generated 3D image data |
US10074214B2 (en) * | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
US11150089B2 (en) * | 2015-12-31 | 2021-10-19 | Skydio, Inc. | Unmanned aerial vehicle control point selection system |
WO2017124074A1 (en) * | 2016-01-15 | 2017-07-20 | Mecha Industries, Inc. | Methods for automatically generating a common measurement across multiple assembly units |
DK3223191T3 (da) * | 2016-03-23 | 2021-08-16 | Leica Geosystems Ag | Skabelse af en 3d-bymodel ud fra skrå billeddannelses- og lidardata |
US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
US11392625B2 (en) * | 2016-06-27 | 2022-07-19 | Omniearth, Inc. | Systems and methods for utilizing property features from images |
US10127670B2 (en) * | 2016-09-27 | 2018-11-13 | Xactware Solutions, Inc. | Computer vision systems and methods for detecting and modeling features of structures in images |
US10354439B2 (en) * | 2016-10-24 | 2019-07-16 | Charles C. Carrington | System for generating virtual building plan data based upon stored and scanned building data and related methods |
EP3330924A1 (en) * | 2016-12-01 | 2018-06-06 | Thomson Licensing | Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device |
US20200042915A1 (en) * | 2016-12-13 | 2020-02-06 | OE CONSTRUCTION SOLUTIONS INC. (doing business as OPTIMAL EFFICIENCY) | Collaboration system for construction management utilizing shared computing platforms |
LU93399B1 (en) * | 2016-12-23 | 2018-07-24 | Luxembourg Inst Science & Tech List | Bim modelling with flexibility attributes |
JP6862194B2 (ja) * | 2017-01-26 | 2021-04-21 | 株式会社トプコン | 写真測量用カメラ |
US11043026B1 (en) * | 2017-01-28 | 2021-06-22 | Pointivo, Inc. | Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom |
EP3361235A1 (en) * | 2017-02-10 | 2018-08-15 | VoxelGrid GmbH | Device and method for analysing objects |
JP7050425B2 (ja) * | 2017-05-01 | 2022-04-08 | 株式会社トプコン | 測量システム |
DE102017208174A1 (de) * | 2017-05-15 | 2018-11-15 | Siemens Schweiz Ag | Verfahren und Anordnung zur Berechnung von Navigationspfaden für Objekte in Gebäuden oder auf einem Campus |
US20180349522A1 (en) * | 2017-06-05 | 2018-12-06 | Siteaware Systems Ltd. | Adaptive Modeling of Buildings During Construction |
US10419716B1 (en) * | 2017-06-28 | 2019-09-17 | Vulcan Technologies Llc | Ad-hoc dynamic capture of an immersive virtual reality experience |
US10297074B2 (en) * | 2017-07-18 | 2019-05-21 | Fuscoe Engineering, Inc. | Three-dimensional modeling from optical capture |
US10600194B2 (en) * | 2017-08-24 | 2020-03-24 | General Electric Company | Image and video capture architecture for three-dimensional reconstruction |
US10643399B2 (en) * | 2017-08-29 | 2020-05-05 | Target Brands, Inc. | Photorealistic scene generation system and method |
US10503843B2 (en) * | 2017-12-19 | 2019-12-10 | Eagle View Technologies, Inc. | Supervised automatic roof modeling |
US10521663B1 (en) * | 2017-12-28 | 2019-12-31 | Intel IP Corporation | Iterative image position determination |
CA3030513A1 (en) * | 2018-01-19 | 2019-07-19 | Sofdesk Inc. | Automated roof surface measurement from combined aerial lidar data and imagery |
US10904374B2 (en) * | 2018-01-24 | 2021-01-26 | Magical Technologies, Llc | Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene |
US10733470B2 (en) * | 2018-01-25 | 2020-08-04 | Geomni, Inc. | Systems and methods for rapid alignment of digital imagery datasets to models of structures |
WO2019171824A1 (ja) * | 2018-03-06 | 2019-09-12 | 富士フイルム株式会社 | 撮影装置、撮影方法及び撮影プログラム並びに撮影システム |
US10504283B2 (en) * | 2018-03-16 | 2019-12-10 | Here Global B.V. | Method and apparatus for regularizing building footprints using taxicab distance |
AU2019243837A1 (en) * | 2018-03-28 | 2020-10-01 | Fracta | Processing data for predicting pipe failure |
WO2019202786A1 (ja) * | 2018-04-18 | 2019-10-24 | 株式会社Nttドコモ | 訪問先推定装置および訪問先推定方法 |
JP7228573B2 (ja) * | 2018-04-18 | 2023-02-24 | 株式会社Nttドコモ | 訪問先推定装置および訪問先推定方法 |
US10593118B2 (en) * | 2018-05-04 | 2020-03-17 | International Business Machines Corporation | Learning opportunity based display generation and presentation |
CA3102618A1 (en) * | 2018-06-15 | 2019-12-19 | Geomni, Inc. | Computer vision systems and methods for modeling roofs of structures using two-dimensional and partial three-dimensional data |
US11087035B2 (en) * | 2018-06-29 | 2021-08-10 | Trimble Inc. | System and method for detection and simulation of building models |
US10755484B1 (en) * | 2018-08-17 | 2020-08-25 | Bentley Systems, Incorporated | Estimating subsurface feature locations during excavation |
US11468206B2 (en) * | 2018-08-20 | 2022-10-11 | Sri International | Machine learning system for building renderings and building information modeling data |
US10546371B1 (en) * | 2018-08-22 | 2020-01-28 | William Pyznar | System and method for inspecting the condition of structures using remotely controlled devices |
US20200074233A1 (en) * | 2018-09-04 | 2020-03-05 | Luminar Technologies, Inc. | Automatically generating training data for a lidar using simulated vehicles in virtual space |
US11195418B1 (en) * | 2018-10-04 | 2021-12-07 | Zoox, Inc. | Trajectory prediction on top-down scenes and associated model |
US10708507B1 (en) * | 2018-10-11 | 2020-07-07 | Zillow Group, Inc. | Automated control of image acquisition via use of acquisition device sensors |
US11557060B2 (en) * | 2018-11-05 | 2023-01-17 | Wayfair Llc | Systems and methods for scanning three-dimensional objects |
US10823562B1 (en) * | 2019-01-10 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Systems and methods for enhanced base map generation |
US10930079B1 (en) * | 2019-01-15 | 2021-02-23 | Bentley Systems, Incorporated | Techniques for displaying augmentations that represent cadastral lines and other near-ground features |
US20220146992A1 (en) * | 2019-01-25 | 2022-05-12 | Andrew Gilbert Miller | Method, System, and Computer Program Product for Autonomous Control of Dynamical Systems |
MX2021009226A (es) * | 2019-02-05 | 2021-11-12 | Artec Europe S A R L | Generacion de modelos de textura con un escaner movil. |
US11790773B2 (en) * | 2019-02-25 | 2023-10-17 | Quantifly Llc | Vehicle parking data collection system and method |
CN109934914B (zh) * | 2019-03-28 | 2023-05-16 | 东南大学 | 一种嵌入式城市设计场景仿真方法及*** |
EP3723052B1 (en) * | 2019-04-10 | 2023-10-18 | Dassault Systèmes | 3d reconstruction of a structure of a real scene |
US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
CN111858563A (zh) * | 2019-04-28 | 2020-10-30 | 京东方科技集团股份有限公司 | 校正测量数据的方法、装置、电子设备、介质和测量装置 |
US11238282B2 (en) * | 2019-06-07 | 2022-02-01 | Pictometry International Corp. | Systems and methods for automated detection of changes in extent of structures using imagery |
EP3980932A1 (en) * | 2019-07-08 | 2022-04-13 | Waymo LLC | Object detection in point clouds |
US20210073447A1 (en) * | 2019-09-06 | 2021-03-11 | BeamUp, Ltd. | Structural design systems and methods for updating simulation and modeling results |
US20210110077A1 (en) * | 2019-10-09 | 2021-04-15 | Consulting Engineers, Corp. | Method and system for locating a centerline in a wall frame |
JP6693616B1 (ja) * | 2019-12-11 | 2020-05-13 | 計測技研株式会社 | 測量システム及び測量方法 |
US11380078B2 (en) * | 2019-12-13 | 2022-07-05 | Hover, Inc. | 3-D reconstruction using augmented reality frameworks |
US11508042B1 (en) * | 2020-01-29 | 2022-11-22 | State Farm Mutual Automobile Insurance Company | Imputation of 3D data using generative adversarial networks |
US11199404B1 (en) * | 2020-12-09 | 2021-12-14 | Baker Hughes Holdings Llc | Camera triggering and multi-camera photogrammetry |
US20220277418A1 (en) * | 2021-02-26 | 2022-09-01 | AeroSpect Inc. | Method and electronic portal system for building façade inspection |
US20220405529A1 (en) * | 2021-06-11 | 2022-12-22 | International Business Machines Corporation | Learning Mahalanobis Distance Metrics from Data |
US11417069B1 (en) * | 2021-10-05 | 2022-08-16 | Awe Company Limited | Object and camera localization system and localization method for mapping of the real world |
-
2020
- 2020-02-19 JP JP2020025808A patent/JP2021131652A/ja active Pending
-
2021
- 2021-02-18 US US17/178,243 patent/US20210256679A1/en not_active Abandoned
-
2024
- 2024-03-26 JP JP2024048908A patent/JP2024083371A/ja active Pending
- 2024-03-26 JP JP2024048907A patent/JP2024088665A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210256679A1 (en) | 2021-08-19 |
JP2024088665A (ja) | 2024-07-02 |
JP2021131652A (ja) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11880943B2 (en) | Photogrammetry of building using machine learning based inference | |
CN110287519B (zh) | 一种集成bim的建筑工程施工进度监测方法及*** | |
JP2024083371A (ja) | データ処理方法、記録媒体、プログラム、及びシステム | |
US10989542B2 (en) | Aligning measured signal data with slam localization data and uses thereof | |
US11315272B2 (en) | Image and video capture architecture for three-dimensional reconstruction | |
Shang et al. | Real-time 3D reconstruction on construction site using visual SLAM and UAV | |
EP3656138A1 (en) | Aligning measured signal data with slam localization data and uses thereof | |
WO2018071416A1 (en) | Laser scanner with real-time, online ego-motion estimation | |
Ibrahim et al. | An interactive model-driven path planning and data capture system for camera-equipped aerial robots on construction sites | |
Braun et al. | Process-and computer vision-based detection of as-built components on construction sites | |
Kim et al. | As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV | |
Wang et al. | Automated UAV path-planning for high-quality photogrammetric 3D bridge reconstruction | |
WO2023096588A1 (en) | A system, a method and a computer program for construction progress monitoring | |
Braun et al. | Bim-based progress monitoring | |
Sgrenzaroli et al. | Indoor mobile mapping systems and (BIM) digital models for construction progress monitoring | |
KR102252295B1 (ko) | 실내 토폴로지맵 생성 방법 및 이를 위한 자율주행 로봇 | |
Tiozzo Fasiolo et al. | Combining LiDAR SLAM and deep learning-based people detection for autonomous indoor mapping in a crowded environment | |
Debus et al. | Evaluation of 3D uas flight path planning algorithms | |
Zhai et al. | Semantic enrichment of BIM with IndoorGML for quadruped robot navigation and automated 3D scanning | |
Baeck et al. | Drone based near real-time human detection with geographic localization | |
Merckx | The utilisation of aerial photography and laser scanning in BIM modelling | |
Ojeda et al. | Estimation of the Physical Progress of Work Using UAV and BIM in Construction Projects | |
JP7421188B2 (ja) | プログラム、記録媒体、及びシステム | |
US20220329737A1 (en) | 3d polygon scanner | |
Gharib et al. | A review of computer vision-based techniques for construction progress monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |