JP2022522257A - 建造物用機械学習ツール - Google Patents
建造物用機械学習ツール Download PDFInfo
- Publication number
- JP2022522257A JP2022522257A JP2021534601A JP2021534601A JP2022522257A JP 2022522257 A JP2022522257 A JP 2022522257A JP 2021534601 A JP2021534601 A JP 2021534601A JP 2021534601 A JP2021534601 A JP 2021534601A JP 2022522257 A JP2022522257 A JP 2022522257A
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- data
- building
- database
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 373
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000013461 design Methods 0.000 claims abstract description 31
- 238000012805 post-processing Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000005484 gravity Effects 0.000 claims description 6
- 239000004567 concrete Substances 0.000 claims description 5
- 230000001052 transient effect Effects 0.000 claims description 4
- 230000006866 deterioration Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 18
- 230000011218 segmentation Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000011161 development Methods 0.000 description 11
- 230000018109 developmental process Effects 0.000 description 11
- 210000002435 tendon Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 229910000831 Steel Inorganic materials 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 239000010959 steel Substances 0.000 description 7
- 238000011960 computer-aided design Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000002023 wood Substances 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000011120 plywood Substances 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005360 mashing Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 229920006328 Styrofoam Polymers 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000008261 styrofoam Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Human Resources & Organizations (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Architecture (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Civil Engineering (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Structural Engineering (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
このセクションでは、上述したさまざまなアルゴリズムが詳細に説明される。
図20Aは、機械学習モデルツールによって解析された画像から計測を判定するためのプロセスの異なるステップを示すフローチャート2000を示す。最初に、機械学習解析の結果がステップ2004で受信される。ステップ2006で、もし画像がオブジェクト検出を使って解析されれば、ステップ2008においてオブジェクト検出結果が興味の領域として画像の他の部分から分離される。画像内のチェックに関連する画素を分離するべく、興味の領域に対してその後画像セグメンテーションが実行される。ステップ2010において、該領域は画像内のダークパッチを分離するべく変形される。その後、ステップ2012において変形済み画像から輪郭が得られ、ステップ2014において該輪郭はオリジナル画像の上に重ねられる。次に、ステップ2016において凸多面体が分離された画素の上に生成される。凸多面体は、OpenCVにおける関数minAreaRectを使って作成される。この関数は、最小面積で、すべての画素を包囲する矩形を作成し、画素の高さ、画素の幅および画素に対して描かれた矩形の回転をリターンする。この処理は、カーブし、湾曲し、傾き、旋回するオブジェクトの寸法を正確に判定するべくより小さいサブステップで実行されてよい。凸多面体はオブジェクト全体により近似して適合するように、興味のセグメント済み領域のより小さいサブセグメントに対して適合されてもよい。ステップ2018において、画素の高さ、画素の幅、およびバウンディング矩形の回転がminAreaRect関数から受信される。ステップ2020において、カメラ特性、位置および/または基準オブジェクト寸法を受信し、ステップ2022において、それは画素距離を他の単位へ変換するのに使用される。もし凸多面体が興味のセグメント化領域のより小さいサブセグメントの上に適合されれば、サブセグメントごとに個々に決定された寸法はオブジェクトの全体の寸法を判定するために組み合わされる。もし画像がステップ2004におけるセグメンテーションを使ってツールの機械学習モデルによって解析されれば、ステップ2016においてセグメントはクラスタリング最近傍アプローチを使ってグループ化され、その後、上述したようにステップ2016から2024が続く。
デジタルモデル生成は、以下のフォーマットでデジタル図面および/またはモデルを生成することに言及する。フォーマットは、ベクトルグラフィックフォーマット、任意の計算機援用設計(CAD)フォーマット、任意の3次元モデリングまたはRevit BIM、AutoCAD 3D、Tekla, Rhinoなどのビルディング情報モデリング(BIM)ソフトウエアプログラムを含む。
デジタルモデルエレメントを生成する前に、ツールの機械学習モデルからのセグメント化画像結果は、図21Aのフローチャート2100で概説した手続きに従ってクリーニングされてよい。ステップ2102において、ツールの機械学習解析の結果が受信される。ステップ2140において、ステップ2102からの画像がOpenCV関数膨張を使って膨張される。この関数は各画素で中心のカーネルに最大の画素値を見つける。ステップ2106において、画像はOpenCV関数収縮を使って収縮される。この関数は、膨張関数の反対に作用し、カーネルの領域に対する局所的最小値を計算する。両方の関数が一緒に組み合わされて、画像内のノイズを削減しかつ画像内のメインエレメントを分離するのを助ける。ステップ2108において、画素値は画像内のノイズをさらに削減するべく、最も近い整数値に丸められる。ステップ2110において、ステップ2108で取得された画像にフィルタが適用される。Pollow(PIL)関数のMaxFilterおよびMinFilterが所与のサイズのウインドウ内の最大画素値および最低画素値を判定するのにそれぞれ使用される。画像内の画素はその後、各画素が0から255までの値の範囲を有するように、単一のチャネルフォーマットに変換される。ステップ2112において、ステップ2110で取得した画像内のすべての画素は、画素値が200を超えたか否かに基づいて0または225の2つの値に再び割り当てられる。この操作は、画像内のすべての中間明るさ画素および暗い画素を除去し、極値の画素のみを保持するために実行される。ステップ2114において、画像は、赤緑青(RGB)フォーマットに変換される。ステップ2116において、PIL MaxFilter関数は、さらにノイズを削減し、かつ画像内の重要なエレメントを分離するべく、画像内の暗い画素を間引きするために再度適用されてよい。このプロセス内で概説された異なるステップが任意の順番または組み合わせで使用されてもよい。同様の技術が、フローチャート2100で概説したものに代わってまたは付加して画像をクリーニングするのに使用されてもよい。
図22Aは、セグメンテーションを使ってツールの機械学習モデルによって解析された画像からベクトルラインを生成するためのプロセスにおける異なるステップを示すフローチャート2200を示す。ステップ2202において、ツールの機械学習解析からの結果、および、もし適用可能であれば、フローチャート2100で概説した画像クリーニングプロセスの結果が受信される。ステップ2204において、ステップ2202から取得した画像内の分類に割り当てられなかった画素が除去される。ステップ2206において、画像はScikit-imageライブラリ内の細分化関数を使って細分化され、それは、画像をひとつの画素幅表示に削減する。ステップ2208において、ラスタ画像はベクトル画像に変換される。ステップ2210において、ベクトル画像内のラインはその位置および向きに応じてグループ化される。ステップ2212において、ライングループはポリラインに変換される。これらのラインまたはポリラインは、ユーザによってそのまま使用されるか、または、デジタル図面またはその選択のモデリングソフトウエアプログラムへユーザによってインポートされる。
画像からデジタルモデルコンポーネントを生成するために、機械学習結果はまずフローチャート2000で概説したプロセスに従う計測アルゴリズムを通じて処理される。ステップ2016で凸多面体の代わりまたは加えて、ワイヤ境界アウトライン(x-形状)が画素のグループの周りに生成されてよい。このアウトラインは計測、ならびに各形状の重心および角度を計算するために使用されてよい。計測、重心(位置)および角度(向き)が画像内の同定された各分類の各オブジェクトに対して取得されると、この情報は適切なデジタルモデルフォーマットで対応するモデルコンポーネントを生成するのに使用される。
図23Aは、ポイントクラウドデータからデジタルモデルコンポーネントを生成するのにツールがどのように使用されるかを示すフローチャート2300を示す。ステップ2302において、ポイントクラウドデータを異なる分類にセグメントする機械学習の結果が受信される。ステップ2304において、セグメント化ポイントがクラスタリング最近傍アプローチを使ってグループ化される。ステップ2306において、セクションが、それらの高さに対して設定されたインターバルでクラスタごとに生成される。ステップ2308において、ポイントアウトラインが凸多面体および/またはx-形状(ワイヤ境界)技術を使って各セクションにおいて生成される。ステップ2310において、形状受信および角度を計算するために形状アウトラインが使用される。ステップ2312において、形状アウトラインがセクション寸法を判定するのに使用される。ステップ2314において、垂直高さがクラスタごとに計算さえる。ステップ2316において、デジタルコンポーネントが、上で得られたクラスタ分類、重心(位置)、角度(向き)および寸法情報を使ってクラスタごとに生成される。
デジタルモデルとの比較
デジタルモデルとの比較は、上述したセクションで説明したフォーマットのデジタル図面またはモデルとの比較を包含する。
以下は、建造物用機械学習ツールの確立に使用されたオープンソースのサードパーティリソースの非徹底的リストを構成する。
Claims (13)
- 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
ユーザインターフェースであって、それを介してユーザへ情報が出力され、かつ、それを通じてユーザによって情報およびデータが入力され、前記データは、一つ以上の建造物、そのコンポーネント、またはその両方を同定するところのユーザインターフェースと、
データが格納されるデータベースと、
前記データを前記データベースに格納しかつ前記データベースから検索するべく、前記データベースと通信するデータベース管理システムと、
前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、一つ以上の予めトレーニングされた機械学習モデルおよび一つ以上の後処理アルゴリズムを含む、ところのインストラクションと
を備え、
前記一つ以上の機械学習モデルは、画像、ポイントクラウドデータ、または、その3次元表現または図面から建造物のパフォーマンスまたは設計を評価し、画像またはポイントクラウドデータから建造物のコンポーネントを同定し、画像から建造物の一つ以上のコンポーネントを同定しかつ関連するテキストを抽出し、画像もしくはポイントクラウドデータまたはそれらの任意の組み合わせから建造物内のダメージを同定かつ査定するべく、前記データベース内の前記データを処理するように予めトレーニングされ、
前記一つ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはそれらの任意の組み合わせを含む、ことを特徴とする機械学習ツール。 - 前記一つ以上の機械学習モデルは、建造物の設計を評価し、建造物のコンポーネントを同定し、建造物内のダメージを査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされる、ことを特徴とする請求項1に記載の機械学習ツール。
- 前記一つ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、およびデジタルモデル生成アルゴリズムを含む、ことを特徴とする請求項1に記載の機械学習ツール。
- 前記一つ以上の機械学習モデルは、建造物の設計を評価し、建造物のコンポーネントを同定し、および建造物のダメージを査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされ、
前記一つ以上の後処理アルゴリズムは、量アルゴリズム、計測アルゴリズム、比較アルゴリズム、およびデジタルモデル生成アルゴリズムを含む、ことを特徴とする請求項1に記載の機械学習ツール。 - 建造物の前記コンポーネントは構造コンポーネントおよび非構造コンポーネントを含む、ことを特徴とする請求項1に記載の機械学習ツール。
- 前記量アルゴリズムは、分類ごとに同定された実例の合計数を与えるべく、前記一つ以上の機械学習モデルによって同定される各分類の実例の数を合算する、ことを特徴とする請求項1に記載の機械学習ツール。
- 前記計測アルゴリズムは、
コンピュータビジョンを使って、前記一つ以上の機械学習モデルによって同定される領域内のエッジを検出するステップと、
それらの領域内の画素距離を計算し、前記画素距離をカメラの特性および建造物に対する空間的関係に基づいてユーザによって特定される距離の他の単位へ変換するステップとを有する、ことを特徴とする請求項1に記載の機械学習ツール。 - 前記比較アルゴリズムは、
前記一つ以上の機械学習モデルから抽出された情報を、ユーザによって入力され、物理的図面の機械学習解析を通じて自動的に取得され、または、デジタル図面またはデジタルモデルから自動的に取得されたベンチマークと比較するステップと、
前記オリジナルの機械学習結果と前記ベンチマークとの間の任意の偏りを報告するステップとを有することを特徴とする請求項1に記載の機械学習ツール。 - 前記デジタルモデル生成アルゴリズムは、
前記一つ以上の機械学習モデルによって同定される分類ごとの画素またはポイントをグループ化することにより同定されるエレメントの3次元デジタルモデルまたは2次元デジタル図面を生成するために前記一つ以上の機械学習モデルからの結果を使用するステップと、
画素またはポイントのグループを当該画素またはポイントのグループの中心を通過するラインまたはポリラインに削減することにより作成されるラインを有する3次元コンポーネントまたは2次元ラインへそれらを変換するステップと
を有し、
前記コンポーネントは、機械学習で同定された画素またはポイントのグループの外限界を判定し、その寸法、位置、および向きを判定し、前記分類、重心(位置)、角度(向き)および上で得られた寸法情報に基づいて適当なコンポーネントを生成することにより作成される、ことを特徴とする請求項1に記載の機械学習ツール。 - 一つ以上のデータプロセッサおよびデータプロセッサが実行可能なインストラクションを格納するメモリを有するコンピュータシステムと、
ユーザインターフェースであって、それを通じてユーザへ情報が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力される、ところのユーザインターフェースと、
データが格納されるデータベースと、
前記データベースへ前記データを格納しかつ前記データベースから前記データを検索するべく、前記データベースと通信するデータベース管理システムと、
前記メモリ内に格納された前記データプロセッサ実行可能インストラクションと
を備え、
前記データプロセッサ実行可能インストラクションは、
建造物の設計を評価し、建造物のコンポーネントを同定し、建造物内のダメージを査定し、またはその任意の組み合わせを実行するべく、予めトレーニングされた機械学習モデルを使って前記データを処理するステップと、
量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはこれらの任意の組み合わせを呼び出すことにより、前のステップからの結果を処理するステップとを有効化する、ことを特徴とする機械学習ツール。 - 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
ユーザインターフェースであって、それを通じてユーザへ情報が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力される、ところのユーザインターフェースと、
データが格納されるデータベースと、
前記データベースへ前記データを格納しかつ前記データベースから前記データを検索するために、前記データベースと通信するデータベース管理システムと、
前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションと
を備え、
実行されると、前記データプロセッサ実行可能インストラクションにより、前記ユーザインターフェースは、
機械学習解析およびデータフォーマットを選択するようユーザに促し、
前記ユーザから前記データを受信し、該データを前記データベース内に格納し、
画像、ポイントクラウドデータ、その3次元表現または図面から建造物のパフォーマンスまたは設計を評価し、画像またはポイントクラウドデータから建造物のコンポーネントを同定し、図面から建造物のコンポーネントを同定しかつ関連するテキストを抽出し、画像もしくはポイントクラウドデータ、またはそれらの任意の組み合わせから建造物内のダメージを同定しかつ査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされた一つ以上の機械学習モデルの中から選択するようユーザに促し、
選択された機械学習モデルを呼び出し、かつ呼び出したモデル生成結果を使って前記データを処理し、
量アルゴリズム、計測アルゴリズム、比較アルゴリズム、デジタルモデル生成アルゴリズム、またはこれらの任意の組み合わせを含む一つ以上の後処理アルゴリズムを選択するよう前記ユーザに促し、
各後処理アルゴリズムを呼び出す、ことを特徴とするツール。 - 具体的ダメージが、市街、国などにおけるすべての建造物の最大限まで同定され、かつ、最小限の単一の建造物において考慮されるさまざまな条件に対するより広範な復元計画に組み込まれる、ことを特徴とする請求項1に記載の機械学習ツール。
- 一つ以上のデータプロセッサおよびメモリを有するコンピュータシステムと、
ユーザインターフェースであって、それを通じてユーザに方法が出力され、かつ、それを通じて前記ユーザによって情報およびデータが入力され、前記データは一つ以上の建造物、そのコンポーネント、またはその両方を同定するところのユーザインターフェースと、
データが格納されるデータベースと、
前記データベース内に前記データを格納しかつ前記データベースから前記データを検索するべく、前記データベースと通信するデータベース管理システムと、
前記メモリ内に格納された非一過性データプロセッサ実行可能インストラクションであって、一つ以上の予めトレーニングされた機械学習モデルを含むところのインストラクションと
を備え、
前記一つ以上の機械学習モデルは、画像、ポイントクラウドデータ、またはその3次元表現もしくは図面から建造物のパフォーマンスまたは設計を評価し、画像またはポイントクラウドデータから建造物のコンポーネントを同定し、図面から建造物の一つ以上のコンポーネントを同定しかつ関連するテキストを抽出し、画像もしくはポイントクラウドデータ、またはその任意の組み合わせから建造物内のダメージを同定しかつ査定するべく、前記データベース内の前記データを処理するよう予めトレーニングされる、ことを特徴とする機械学習ツール。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962812029P | 2019-02-28 | 2019-02-28 | |
US62/812,029 | 2019-02-28 | ||
PCT/US2020/018770 WO2020176304A1 (en) | 2019-02-28 | 2020-02-19 | Machine learning tool for structures |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022522257A true JP2022522257A (ja) | 2022-04-15 |
JPWO2020176304A5 JPWO2020176304A5 (ja) | 2022-05-17 |
JP7352632B2 JP7352632B2 (ja) | 2023-09-28 |
Family
ID=69811965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021534601A Active JP7352632B2 (ja) | 2019-02-28 | 2020-02-19 | 機械学習ツール |
Country Status (6)
Country | Link |
---|---|
US (1) | US11341627B2 (ja) |
EP (1) | EP3931768A1 (ja) |
JP (1) | JP7352632B2 (ja) |
CN (1) | CN113424206B (ja) |
CA (1) | CA3125524A1 (ja) |
WO (1) | WO2020176304A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
CN113039556B (zh) | 2018-10-11 | 2022-10-21 | 特斯拉公司 | 用于使用增广数据训练机器模型的***和方法 |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
EP3980916A4 (en) * | 2019-06-06 | 2023-06-21 | Bluebeam, Inc. | METHODS AND SYSTEMS FOR AUTOMATIC DESIGN ELEMENT DETECTION IN A TWO-DIMENSIONAL DESIGN DOCUMENT |
US11904417B2 (en) * | 2019-10-15 | 2024-02-20 | International Business Machines Corporation | Automated material welding |
US20210358202A1 (en) * | 2020-05-13 | 2021-11-18 | Electronic Caregiver, Inc. | Room Labeling Drawing Interface for Activity Tracking and Detection |
US11461292B2 (en) * | 2020-07-01 | 2022-10-04 | International Business Machines Corporation | Quick data exploration |
US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
US11625141B2 (en) * | 2020-09-22 | 2023-04-11 | Servicenow, Inc. | User interface generation with machine learning |
CN112326552B (zh) * | 2020-10-21 | 2021-09-07 | 山东大学 | 基于视觉和力觉感知的隧道掉块病害检测方法和*** |
CN112580574A (zh) * | 2020-12-28 | 2021-03-30 | 北京翰立教育科技有限公司 | 一种基于识别手写文字的智能学习方法及装置 |
CN113160112B (zh) * | 2020-12-30 | 2024-02-02 | 苏州特文思达科技有限公司 | 基于机器学习的钢格板产品智能识别检测方法 |
WO2022251906A1 (en) * | 2021-05-31 | 2022-12-08 | Abyss Solutions Pty Ltd | Method and system for detecting coating degradation |
CN113533369B (zh) * | 2021-06-21 | 2024-05-17 | 国网山东省电力公司鱼台县供电公司 | 一种输电线路巡检装置 |
US20230153987A1 (en) * | 2021-11-17 | 2023-05-18 | Verizon Media Inc. | Object defect detection |
CN114863018B (zh) * | 2022-04-28 | 2024-06-25 | 北京石油化工学院 | 一种基于rgb-d深度图像的焊缝三维重建方法 |
US11710306B1 (en) * | 2022-06-24 | 2023-07-25 | Blackshark.Ai Gmbh | Machine learning inference user interface |
WO2024054815A1 (en) * | 2022-09-06 | 2024-03-14 | University Of Georgia Research Foundation, Inc. | Pavement management system using satellite data and machine learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004362333A (ja) * | 2003-06-05 | 2004-12-24 | Mitsubishi Electric Corp | 写真計測システム及び写真計測方法 |
JP2014159981A (ja) * | 2013-02-19 | 2014-09-04 | Kddi Corp | 検査補助装置 |
JP2018198053A (ja) * | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040054568A1 (en) | 2002-07-01 | 2004-03-18 | Bradley Gary J. | Automated construction project estimator tool |
US7587061B1 (en) | 2002-12-23 | 2009-09-08 | Pacenti James R | Symbol recognition system software and method |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US9582932B2 (en) * | 2012-06-05 | 2017-02-28 | Apple Inc. | Identifying and parameterizing roof types in map data |
US9230339B2 (en) * | 2013-01-07 | 2016-01-05 | Wexenergy Innovations Llc | System and method of measuring distances related to an object |
US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US9082015B2 (en) | 2013-03-15 | 2015-07-14 | State Farm Mutual Automobile Insurance Company | Automatic building assessment |
JP5867432B2 (ja) * | 2013-03-22 | 2016-02-24 | ソニー株式会社 | 情報処理装置、記録媒体および情報処理システム |
US10861224B2 (en) | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
US9536148B2 (en) | 2013-09-27 | 2017-01-03 | Real Data Guru, Inc. | Property assessment and prospecting tool |
CN103605970A (zh) | 2013-12-02 | 2014-02-26 | 华中师范大学 | 一种基于机器学习的图纸建筑元素识别方法及*** |
US20150161331A1 (en) * | 2013-12-04 | 2015-06-11 | Mark Oleynik | Computational medical treatment plan method and system with mass medical analysis |
JP6310288B2 (ja) * | 2014-03-20 | 2018-04-11 | 日本ユニシス株式会社 | 画像処理装置および3次元物体トラッキング方法 |
US10029422B2 (en) * | 2014-10-07 | 2018-07-24 | Voxel Llc | Three-dimensional modelling and/or manufacturing apparatus, and related processes |
GB2537681B (en) * | 2015-04-24 | 2018-04-25 | Univ Oxford Innovation Ltd | A method of detecting objects within a 3D environment |
US20170154314A1 (en) * | 2015-11-30 | 2017-06-01 | FAMA Technologies, Inc. | System for searching and correlating online activity with individual classification factors |
US9846915B2 (en) | 2016-03-17 | 2017-12-19 | Conduent Business Services, Llc | Image capture system for property damage assessment |
US10511676B2 (en) | 2016-03-17 | 2019-12-17 | Conduent Business Services, Llc | Image analysis system for property damage assessment and verification |
CN106204723B (zh) * | 2016-06-28 | 2019-01-11 | 浙江大学 | 一种面向三维服装模拟的纸样缝合信息自动设置方法 |
CN109716346A (zh) * | 2016-07-18 | 2019-05-03 | 河谷生物组学有限责任公司 | 分布式机器学习***、装置和方法 |
US20180082414A1 (en) | 2016-09-21 | 2018-03-22 | Astralink Ltd. | Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection |
GB2554361B8 (en) * | 2016-09-21 | 2022-07-06 | Emergent Network Intelligence Ltd | Automatic image based object damage assessment |
US10529029B2 (en) | 2016-09-23 | 2020-01-07 | Aon Benfield Inc. | Platform, systems, and methods for identifying property characteristics and property feature maintenance through aerial imagery analysis |
KR20180047232A (ko) * | 2016-10-31 | 2018-05-10 | 삼성에스디에스 주식회사 | 실시간 영상 스트리밍의 네트워크 패킷의 패턴 분석 기반 영상 분석 방법 및 그 장치 |
US10726558B2 (en) | 2017-02-27 | 2020-07-28 | Dolphin AI, Inc. | Machine learning-based image recognition of weather damage |
CA3056498A1 (en) | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
US20180373931A1 (en) * | 2017-06-21 | 2018-12-27 | Panton, Inc. | Image recognition system for roof damage detection and management |
CN108974044A (zh) * | 2018-08-09 | 2018-12-11 | 铁路愿景欧洲有限公司 | 铁路轨道资产勘测*** |
US10769429B2 (en) * | 2018-08-31 | 2020-09-08 | Wipro Limited | Method and system for extracting text from an engineering drawing |
-
2020
- 2020-02-19 JP JP2021534601A patent/JP7352632B2/ja active Active
- 2020-02-19 WO PCT/US2020/018770 patent/WO2020176304A1/en unknown
- 2020-02-19 EP EP20711463.8A patent/EP3931768A1/en active Pending
- 2020-02-19 CA CA3125524A patent/CA3125524A1/en active Pending
- 2020-02-19 US US16/794,871 patent/US11341627B2/en active Active
- 2020-02-19 CN CN202080011231.6A patent/CN113424206B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004362333A (ja) * | 2003-06-05 | 2004-12-24 | Mitsubishi Electric Corp | 写真計測システム及び写真計測方法 |
JP2014159981A (ja) * | 2013-02-19 | 2014-09-04 | Kddi Corp | 検査補助装置 |
JP2018198053A (ja) * | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200279364A1 (en) | 2020-09-03 |
CN113424206A (zh) | 2021-09-21 |
CN113424206B (zh) | 2024-05-24 |
EP3931768A1 (en) | 2022-01-05 |
JP7352632B2 (ja) | 2023-09-28 |
WO2020176304A1 (en) | 2020-09-03 |
CA3125524A1 (en) | 2020-09-03 |
US11341627B2 (en) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7352632B2 (ja) | 機械学習ツール | |
Wang et al. | Automatic damage detection of historic masonry buildings based on mobile deep learning | |
Campanaro et al. | 3D GIS for cultural heritage restoration: A ‘white box’workflow | |
Badenko et al. | Scan-to-BIM methodology adapted for different application | |
Zhang et al. | Automated progress control using laser scanning technology | |
Chen et al. | Convolutional neural networks (CNNs)-based multi-category damage detection and recognition of high-speed rail (HSR) reinforced concrete (RC) bridges using test images | |
Pocobelli et al. | Building information models for monitoring and simulation data in heritage buildings | |
Grilli et al. | From 2D to 3D supervised segmentation and classification for cultural heritage applications | |
Kassotakis et al. | Three-dimensional discrete element modelling of rubble masonry structures from dense point clouds | |
Pirchio et al. | Integrated framework to structurally model unreinforced masonry Italian medieval churches from photogrammetry to finite element model analysis through heritage building information modeling | |
Wang et al. | A graphics-based digital twin framework for computer vision-based post-earthquake structural inspection and evaluation using unmanned aerial vehicles | |
Mishra et al. | Artificial intelligence-based visual inspection system for structural health monitoring of cultural heritage | |
Talebi et al. | The development of a digitally enhanced visual inspection framework for masonry bridges in the UK | |
Santos et al. | Hbim application in historic timber structures: a systematic review | |
Mirzaei et al. | Automatic generation of structural geometric digital twins from point clouds | |
Pan | Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment | |
Hermida et al. | Two-dimensional models of variable inertia from LiDAR data for structural analysis of timber trusses | |
Koch et al. | Machine vision techniques for condition assessment of civil infrastructure | |
Saloustros et al. | Geometrical digital twins of the as-built microstructure of three-leaf stone masonry walls with laser scanning | |
Pöchtrager et al. | Bridging the gap. Digital models of historic roof structures for enhanced interdisciplinary research | |
Polat et al. | Control of Building Components by Building Information Modeling Technology and 3D Laser Scanning İntegration Technique for Sustainable Building Quality | |
Kadhim | BIM And GIS Data Integration for The Evaluation of Building Performance | |
Shen | A Simulated Point Cloud Implementation of a Machine Learning Segmentation and Classification Algorithm | |
KR102554504B1 (ko) | 3d모델 기반 철골 구조물의 자동 검수방법 | |
Hawas et al. | Integrating value map with Building Information Modeling approach for documenting historic buildings in Egypt |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7352632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |