JP7274782B1 - 建屋内構造物認識システム及び建屋内構造物認識方法 - Google Patents

Abstract

【課題】建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能な建屋内構造物認識システムを提供する。【解決手段】本発明による建屋内構造物認識システムは、少なくとも１つの測距センサと、少なくとも１つの撮像装置と、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）計測装置とを備え、前記ＳＬＡＭ計測装置は、第１の学習済モデルを用いて基準部材の認識を行う基準認識部と、第２の学習済モデルを用いて前記撮像装置の自己位置の認識を行う自己位置認識部と、第３の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部とを備える。【選択図】図１

Description

本発明は、建屋内構造物認識システムに関し、特に、ニューラルネットワークによる深層学習を用いてビル等の建築物の建屋内に配置された構造物を認識する建屋内構造物認識システム及び建屋内構造物認識方法に関するものである。

ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）とは、自己位置推定と環境地図作成を同時に行う技術であり、ＬｉＤＥＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等のセンサやカメラを環境内で移動させながら環境地図の作成を行うと同時に、環境地図内での自己位置の推定を行うものである。

ＳＬＡＭの技術は、建築分野において建屋内の環境をセンシングし、建屋内の構造物のデータを得るために用いることも期待されている。移動式のＳＬＡＭ技術を利用する方法では、建屋内でカメラや３次元スキャナを移動させながら建屋内を連続して測定し、カメラから得られる画像情報や３次元スキャナから得られる３次元情報を連続して取得する。そして、取得した連続情報をリアルタイムで、若しくは全てのデータ計測作業が終了した後に、繋げることにより、建屋内の３次元空間とその中に配置された構造物を把握する。

しかしながら、従来の移動式のＳＬＡＭ技術を建築途中の施工現場の状況を把握するために利用する場合等には、期待する精度が得られにくいという問題がある。建築途中の施工現場においては、非常に多くの部材が入り組んで配置されているため、似たようなパターンが続いたり、足場の悪さ等から予期せぬ移動による視線のズレが生じたりすることも多くなり、マッチングが取れないことによる誤認識が生じやすい。一度このような誤認識が生じると、誤認識された点を基準として次の認識が行われるため、次々にズレと誤認識の影響が大きくなり、元の正しい状態への復帰が困難となる。

また、建屋内の環境をセンシングする他の従来の方法として、複数の定点において、全天型の測定を行い、全ての定点におけるデータ計測作業が終了した後に、各定点における計測データを繋げる方法もある。

しかしながら、全天型の測定には測量の知識が必要となり、より高精度を得るためには熟練者の経験に頼る必要がある。また、全天型の測定には時間がかかり、測定後の後処理についても手間と時間がかかるという問題がある。

そのため、短時間で計測が可能な移動式のＳＬＡＭ技術のメリットを生かしつつ、誤認識による精度の問題を解決することが可能な建屋内構造物認識システムが求められる。

ＳＬＡＭ技術を利用して実空間を認識するための画像処理装置として、例えば、特許文献１では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。

また、カメラを利用して施工中の建物内のデータを取得し、合成画像を表示する方法として、例えば、特許文献２では、「携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、前記データサーバには、施工中の建物の３次元のコンピュータラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像部と、前記撮像画像を表示する表示部と、記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部とを備える」合成画像表示システムが開示されている。

しかしながら、特許文献１及び２はいずれも特徴点を基準にするものであって、建築途中の建築現場のように似たような特徴点が大量に存在する施工現場においては、十分に機能するものではなかった。

特開２０１３－２２５２４５号公報 特開２０１４－２６４５号公報

そこで、本発明は、上記課題を解決し、建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能な建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。

また、本発明は、ＡＩが単なる画像上の特徴点抽出ではなく、基準としてよいものを認識し、そのものを基準にして多くの測定画像データを接続し、建屋内の全体を把握し、測定することが可能な建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。

上記課題を解決するため、本発明では、少なくとも１つの測距センサと、少なくとも１つの撮像装置と、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）計測装置とを備え、ＳＬＡＭ計測装置は、第１の学習済モデルを用いて基準部材の認識を行う基準認識部と、第２の学習済モデルを用いて撮像装置の自己位置の認識を行う自己位置認識部と、第３の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部とを備えることを特徴とする、建屋内構造物認識システムを提供する。
本発明においては、建築現場で基準としてよいものを認識すべく学習させたＡＩにより、建築現場で基準とすべきものを認識し、その基準とすべきものの位置に基づき座標位置が重なり合う座標変換を行うことにより、複数の撮像画像を重ね合わせて、施工中の建物内のデータ全体を取得するものである。

本発明のある態様による建屋内構造物認識システムにおいて、基準認識部は、測距センサから得られたデータのうちＳＬＡＭにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を基準部材として認識する。

本発明のある態様による建屋内構造物認識システムにおいて、第１の学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものである。

本発明のある態様による建屋内構造物認識システムにおいて、基準認識部は、撮像装置から得られた画像データ及び測距センサから得られた距離データを入力データとして、基準部材の認識を行い、基準部材の基準部材の３次元特徴データを出力データとして出力する。

本発明のある態様による建屋内構造物認識システムにおいて、自己位置認識部は、撮像装置が被測定物を撮像しながら移動する際に、撮像装置の自己位置を逐次認識する。

本発明のある態様による建屋内構造物認識システムにおいて、第２の学習済モデルは、ＢＩＭデータから得られた撮像装置の現在の３次元座標と姿勢角を正解データとし、ａ）現在と過去の仮想観測画像、ｂ）現在と過去の仮想基準特徴、及びｃ）過去の前記撮像装置の３次元座標と姿勢角を観測データとして機械学習を行うことにより生成されたものである。

本発明のある態様による建屋内構造物認識システムにおいて、自己位置認識部は、ａ）撮像装置から得られた画像データと、ｂ）基準認識部から出力された基準部材の３次元特徴データと、ｃ）撮像装置の過去の３次元座標と姿勢角とを入力データとして第２の学習済モデルに入力することにより撮像装置の自己位置の認識を行い、撮像装置の現在の３次元座標と姿勢角を出力データとして出力する。

本発明のある態様による建屋内構造物認識システムにおいて、被測定物認識部は、建屋内の構造物及び物体を被測定物として認識する。

本発明のある態様による建屋内構造物認識システムにおいて、第３の学習済モデルは、ＢＩＭデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像及びＢＩＭデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成されたものである。

本発明のある態様による建屋内構造物認識システムにおいて、被測定物認識部は、撮像装置から得られた画像データと、測距センサから得られた距離データとを第３の学習済モデルに入力することにより被測定物の認識を行い、被測定物の種類及び被測定物の形状データを出力データとして出力する。

被測定物認識部は、被測定物の前記撮像装置のカメラ座標系での形状データと、自己位置認識部から出力された撮像装置の現在の３次元座標及び姿勢角とから、被測定物の建屋内の空間座標系での自己位置を算出する。

本発明のある態様による建屋内構造物認識システムにおいて、測距センサは、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ＴｏＦセンサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、ＲＡＤＡＲ（ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、超音波センサ又は赤外線センサであってもよい。

また、本発明では、第１の学習済モデルを用いて基準部材を認識するステップと、第２の学習済モデルを用いて撮像装置の自己位置を認識するステップと、第３の学習済モデルを用いて被測定物を認識するステップとを備えることを特徴とする、建屋内構造物認識方法を提供する。

また、本発明では、コンピュータに、上記の建屋内構造物認識方法の各ステップを実行させることを特徴とするプログラムを提供する。

本発明において、「ＢＩＭデータ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。ＢＩＭデータは、一般に、建物の３次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。ＢＩＭデータをレンダリングすることにより、その３次元空間の画像を得ることができる。

建築現場の画像において構造物の認識を行う場合には、特徴点抽出だけでは不十分であり、基準として良い物体もしくは部位を認識して、それらのものを基準にして複数の計測画像を接続し、繋ぎ合わせる。これは人間が実際の現場において、柱など基準として良いものからの相対位置で多くのものを測定し、全体を把握する作業と同様である。
本発明によれば、この人間が自分の持つ知識をもとに行っている作業と同様の効果をＡＩを用いて実現することが可能となり、作業の効率化を図るとともに、建屋内の構造物の高精度な認識を実現することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

図１は、本発明による建屋内構造物認識システムの全体を示す概略図である。 図２は、本発明による第１の学習済モデルの生成について説明する図である。 図３は、本発明によるＳＬＡＭ計測装置の基準認識部を示す図である。 図４は、本発明による第２の学習済モデルの生成について説明する図である。 図５は、本発明によるＳＬＡＭ計測装置の自己位置認識部を示す図である。 図６は、本発明による第３の学習済モデルの生成について説明する図である。 図７は、本発明によるＳＬＡＭ計測装置の被測定物認識部を示す図である。 図８は、本発明による基準認識部における基準認識処理の流れを示すフローチャートである。 図９は、本発明による自己位置認識部における自己位置認識処理の流れを示すフローチャートである。 図１０は、本発明による被測定物認識部における被測定物認識処理の流れを示すフローチャートである。

図１は、本発明による建屋内構造物認識システム１の全体を示す概略図である。
本発明による建屋内構造物認識システム１は、少なくとも１つの測距センサ２０と、少なくとも１つの撮像装置３０と、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）計測装置１０とを備え、ＳＬＡＭ計測装置１０は、第１の学習済モデルＭ１を用いて基準部材の認識を行う基準認識部１０１と、第２の学習済モデルＭ２を用いて撮像装置の自己位置の認識を行う自己位置認識部１０２と、第３の学習済モデルＭ３を用いて建屋内の被測定物の認識を行う被測定物認識部１０３とを備える。

測距センサ２０は、建屋内の構造物又は物体と測距センサ２０との距離を測定するために用いられる。測距センサ２０は、好ましくはＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラであるがこれに限られず、例えばＴｏＦセンサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、ＲＡＤＡＲ（ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、超音波センサ又は赤外線センサ等の任意の測距センサであってもよい。

撮像装置３０は、建屋内の画像を取得するために用いられる。撮像装置３０は、好ましくは３６０度カメラであるがこれに限られず、例えば全天球型カメラ、半天球型カメラ又は携帯端末に搭載されたＣＣＤカメラ等の任意の撮像手段であってもよい。

ＳＬＡＭ計測装置１０は、基準認識部１０１と、自己位置認識部１０２と、被測定物認識部１０３とを備える。

基準認識部１０１は、第１の学習済モデルＭ１を用いて基準部材の認識を行う。基準認識部１０１は、測距センサから得られたデータのうちＳＬＡＭにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を基準部材として認識する。

自己位置認識部１０２は、第２の学習済モデルを用いて撮像装置の自己位置の認識を行う。自己位置認識部１０２は、撮像装置が被測定物を撮像しながら移動する際に、撮像装置の自己位置を逐次認識する。

被測定物認識部１０３は、第３の学習済モデルを用いて建屋内の被測定物の認識を行う。被測定物認識部１０３は、建屋内の構造物及び物体を被測定物として認識する。被測定物は、例えば建屋内の柱、パイプ、ダクトや、机、棚等の家具等、建屋内に配置される任意の物であってよい。

第１～第３の学習済モデルＭ１、Ｍ２、Ｍ３は、ＳＬＡＭ測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。機械学習モデルを生成する機械学習モデル生成装置４０は、ＢＩＭデータから正解画像を生成する正解データ生成部４０１と、ＢＩＭデータから仮想観測データを生成する仮想観測データ生成部４０２と、正解データ生成部４０１で生成されたデータを正解データとし、仮想観測データ生成部４０２で生成されたデータを観測データとして機械学習を行い、機械学習モデルを生成する学習モデル生成部４０３とを備える。正解データ生成部４０１で生成される正解データと、仮想観測データ生成部４０２で生成される仮想観測データは、生成する学習モデルによってそれぞれ異なり、結果として、異なる第１～第３の学習済モデルＭ１、Ｍ２、Ｍ３が生成される。

図２は、本発明による第１の学習済モデルＭ１の生成について説明する図である。
第１の学習済モデルＭ１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成される。第１の学習済モデルＭ１は、ＳＬＡＭ測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。

機械学習モデル生成装置４０において第１の学習済モデルＭ１を生成する場合には、正解データ生成部４０１はＢＩＭデータから正解画像を生成する。仮想観測データ生成部４０２は、ＢＩＭデータをレンダリングすることにより仮想観測画像を生成する。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、図２で示すように、ＢＩＭデータから生成された２値化画像であってよい。図２の例では、建屋内の構造物であるパイプの領域が白で表現され、その他の部分が黒で表現されている。正解画像は、図２の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。学習モデル生成部４０３は、正解データ生成部４０１で生成された正解画像を正解データとし、仮想観測データ生成部４０２で生成された仮想観測画像を観測データとして機械学習を行い、第１の学習済モデルＭ１を生成する。

図３は、本発明によるＳＬＡＭ計測装置１０の基準認識部１０１を示す図である。
基準認識部１０１は、撮像装置３０から得られた画像データ及び測距センサ２０から得られた距離データを入力データとして、基準部材の認識を行い、基準部材の３次元特徴データを出力データとして出力する。ここで、基準認識部１０１における基準認識処理の結果として出力される３次元特徴データは、柱やパイプ、ダクトなどの基準となる部材を直線や点、平面等の特徴で表現したデータである。

図４は、本発明による第２の学習済モデルＭ２の生成について説明する図である。
第２の学習済モデルＭ２は、ＢＩＭデータから得られた撮像装置３０の現在の３次元座標と姿勢角を正解データとし、ａ）現在と過去の仮想観測画像、ｂ）現在と過去の仮想基準特徴、及びｃ）過去の撮像装置３０の３次元座標と姿勢角を観測データとして機械学習を行うことにより生成される。第２の学習済モデルＭ２は、ＳＬＡＭ測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。

機械学習モデル生成装置４０において第２の学習済モデルＭ２を生成する場合には、正解データ生成部４０１はＢＩＭデータから正解データとして撮像装置３０の現在の３次元座標と姿勢角を生成する。仮想観測データ生成部４０２は、ＢＩＭデータをレンダリングすることにより、ａ）現在と過去の仮想観測画像と、ｂ）現在と過去の仮想基準特徴と、ｃ）撮像装置３０の過去の３次元座標と姿勢角を観測データとして生成する。学習モデル生成部４０３は、正解データ生成部４０１で生成された、撮像装置３０の現在の３次元座標と姿勢角を正解データとし、仮想観測データ生成部４０２で生成された、ａ）現在と過去の仮想観測画像と、ｂ）現在と過去の仮想基準特徴と、ｃ）撮像装置３０の過去の３次元座標と姿勢角を観測データとして機械学習を行い、第２の学習済モデルＭ２を生成する。

図５は、本発明によるＳＬＡＭ計測装置１０の自己位置認識部１０２を示す図である。
自己位置認識部１０２は、ａ）撮像装置から得られた画像データと、ｂ）基準認識部１０１から出力された基準部材の３次元特徴データと、ｃ）撮像装置３０の過去の３次元座標と姿勢角とを入力データとして第２の学習済モデルＭ２に入力することにより撮像装置の自己位置の認識を行い、撮像装置３０の現在の３次元座標と姿勢角を出力データとして出力する。ここで、自己位置認識部１０２における自己位置認識処理の結果として出力される３次元座標及び姿勢角のうち、３次元座標（Ｘ座標、Ｙ座標、Ｚ座標）は、撮像装置３０が被測定物を撮像しながら建屋内を移動する際の建屋内における撮像装置３０の現在の３次元位置を示すものである。また、姿勢角（ロール角、ピッチ角、ヨー角）は、それぞれ撮像装置３０の３次元座標のＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を示すものである。

図６は、本発明による第３の学習済モデルＭ３の生成について説明する図である。
第３の学習済モデルＭ３は、ＢＩＭデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像及びＢＩＭデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成される。第３の学習済モデルＭ３は、ＳＬＡＭ測定装置１０による測定の前に予め機械学習モデル生成装置４０により生成される。

機械学習モデル生成装置４０において第３の学習済モデルＭ３を生成する場合には、正解データ生成部４０１はＢＩＭデータから正解画像と正解データを生成する。仮想観測データ生成部４０２は、ＢＩＭデータをレンダリングすることにより仮想観測画像を生成し、ＢＩＭデータから仮想距離画像を生成する。正解画像は、被測定物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、図６で示すように、ＢＩＭデータから生成された２値化画像であってよい。図６の例では、建屋内の構造物である柱の領域が白で表現され、その他の部分が黒で表現されている。正解画像は、図６の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。また、正解データは、被測定物の種類（例えば、柱、パイプ、ダクトなど）を示すデータである。被測定物の種類はＢＩＭデータの中に含まれており、正解画像により示される被測定物に対応する被測定物の種類がＢＩＭデータから抽出され、正解データとして利用される。仮想観測画像は、ＢＩＭデータをレンダリングすることにより生成される。仮想距離画像は、ＢＩＭデータの３次元座標から生成される。仮想距離画像は、カメラから被測定物の表面までの距離を例えば濃淡等により表現したものである。学習モデル生成部４０３は、正解データ生成部４０１で生成された正解画像を正解データとし、仮想観測データ生成部４０２で生成された仮想観測画像及び仮想距離画像を観測データとして機械学習を行い、第３の学習済モデルＭ３を生成する。

図７は、本発明によるＳＬＡＭ計測装置１０の被測定物認識部１０３を示す図である。
被測定物認識部１０３は、撮像装置３０から得られた画像データと、測距センサから得られた距離データとを第３の学習済モデルＭ３に入力することにより被測定物の認識を行い、被測定物の種類及び被測定物の形状データを出力データとして出力する。ここで、被測定物の種類とは、例えば柱、パイプ、ダクト等であり、被測定物の種類は被測定物の名称、カテゴリ名、ＩＤ等で示されるようにしてもよい。また、第３の学習済モデルＭ３から出力される被測定物の形状データは、撮像装置３０のカメラ座標系での形状データである。

次に、被測定物認識部１０３は、被測定物の撮像装置３０のカメラ座標系での形状データ（即ち３次元点群）と、自己位置認識部１０２から出力された撮像装置３０の現在の３次元座標及び姿勢角とから、被測定物の建屋内の空間座標系での自己位置を算出する。即ち、被測定物認識部１０３は、自己位置認識部１０２から出力された撮像装置３０の現在の３次元座標及び姿勢角を用いて、第３の学習済モデルＭ３から出力された撮像装置３０のカメラ座標系での被測定物の形状データを、被測定物のフロア内又は建屋内の空間座標系での形状データに座標変換する。これにより、被測定物認識部１０３における認識結果として、被測定物の種類と、フロア内又は建屋内の空間座標系における被測定物の形状データ（即ち３次元点群）が得られる。

以下、図８～１０を参照して、本発明による建屋内構造物認識方法の処理の流れを説明する。
本発明による建屋内構造物認識方法は、第１の学習済モデルを用いて基準部材を認識するステップと、第２の学習済モデルを用いて撮像装置の自己位置を認識するステップと、第３の学習済モデルを用いて被測定物を認識するステップとを備える。

基準部材を認識するステップは、画像データと距離データを取得するステップと、画像データと距離データを第１の学習済モデルに入力するステップと、第１の学習済モデルからの出力データとして、基準部材の３次元特徴データを出力するステップとを備える。

自己位置を認識するステップは、ａ）画像データと、ｂ）基準部材の３次元特徴データと、ｃ）撮像装置の過去の３次元座標と姿勢角とを取得するステップと、ａ）画像データと、ｂ）基準部材の３次元特徴データと、ｃ）撮像装置の過去の３次元座標と姿勢角とを入力データとして第２の学習済モデルに入力するステップと、第２の学習済モデルからの出力データとして、撮像装置の現在の建屋内での自己位置を出力するステップとを備える。

被測定物を認識するステップは、画像データと距離データを取得するステップと、画像データと距離データを第３の学習済モデルに入力するステップと、第３の学習済モデルからの出力データとして、被測定物の種類と、カメラ座標系における被特定物の形状を出力するステップと、撮像装置の現在の建屋内での自己位置を用いて、被測定物の自己位置を算出するステップと、被測定物の種類と、建屋内の空間座標系における被測定物の自己位置と、前記空間座標系における前記被測定物の形状を出力するステップとを備える。

図８は、本発明による基準認識部１０１における基準認識処理の流れを示すフローチャートである。
まず、ステップＳ８０１において、画像データと距離データを取得する。画像データは撮像装置３０から取得され、距離データは測距センサ２０から取得される（Ｓ８０１）。

次に、ステップＳ８０２において、基準の認識が行われる。基準の認識は、第１の学習済モデルＭ１を用いて行われる。第１の学習済モデルＭ１に対する入力データとして、ステップＳ８０１で撮像装置３０から取得した画像データと、測距センサ２０から取得した距離データが入力される。これにより、第１の学習済モデルＭ１を用いた予測が行われる。

次に、ステップＳ８０３において、第１の学習済モデルＭ１からの出力データとして、基準部材の３次元特徴データが出力される。基準部材の３次元特徴データとは、基準となる部材を直線や点、平面などの特徴で表現したデータである。これにより、第１の学習済モデルＭ１を用いた予測の結果として、基準となる部材を直線や点、平面などの特徴で表現したデータが得られる。この基準認識処理の結果である基準部材の３次元特徴データは、後に図９の自己位置認識処理のステップＳ９０１において、第２の学習済モデルＭ２に対する入力データとして用いられる。

図９は、本発明による自己位置認識部１０２における自己位置認識処理の流れを示すフローチャートである。
まず、ステップＳ９０１において、ａ）現在と過去の画像データ、ｂ）現在と過去の基準部材の３次元特徴データ、及びｃ）過去の建屋内の自己位置（３次元座標と姿勢角）を取得する。ａ）現在と過去の画像データは、撮像装置３０から取得される。撮像装置３０から取得した現在と過去の画像データは、撮像装置３０内のメモリ又はデータベース（図示せず）等に随時、保存される。ｂ）現在と過去の基準部材の３次元特徴データは、図８の基準認識処理の結果Ｒ１であり、基準認識部１０１から取得される。ｃ）過去の建屋内の自己位置（３次元座標と姿勢角）は、自己位置認識部１０２内のメモリ又はデータベース（図示せず）等に随時、保存される。過去の建屋内での自己位置（３次元座標と姿勢角）は、２回目以降の自己位置認識処理の際に取得されて、現在の建屋内の自己位置（３次元座標と姿勢角）を認識するために用いられる。

次に、ステップＳ９０２において、撮像装置３０の自己位置の認識が行われる。撮像装置３０の自己位置の認識は、第２の学習済モデルＭ２を用いて行われる。第２の学習済モデルＭ２に対する入力データとして、ステップＳ９０１において取得した、ａ）現在と過去の画像データ、ｂ）現在と過去の基準部材の３次元特徴データ、及びｃ）過去の建屋内の自己位置（３次元座標と姿勢角）が入力される。これにより、第２の学習済モデルＭ２を用いた予測が行われる。なお、ｃ）過去の建屋内の自己位置（３次元座標と姿勢角）については、初回の自己位置認識処理においては、過去の建屋内の自己位置の初期値として、測定開始時のカメラの原点その他の基準となる点の３次元座標と姿勢角、又は予め設定された３次元座標と姿勢角等が設定されるようにしてもよい。

次に、ステップＳ９０３において、現在の建屋内の撮像装置３０の自己位置（３次元座標と姿勢角）が出力される。これにより、第２の学習済モデルＭ２を用いた予測の結果として、現在の建屋内の撮像装置３０の自己位置（３次元座標と姿勢角）が得られる。自己位置認識処理の結果Ｒ２は、後に図１０の被測定物認識処理のステップＳ１００４において、被測定物の自己位置を算出するために用いられる。

図１０は、本発明による被測定物認識部１０３における被測定物認識処理の流れを示すフローチャートである。
まず、ステップＳ１００１において、画像データと距離データを取得する。画像データは撮像装置３０から取得され、距離データは測距センサ２０から取得される（Ｓ１００１）。

次に、ステップＳ１００２において、建屋内の被測定物の認識が行われる。被測定物は、建屋内の構造物及び物体であり、例えば建屋内の柱、パイプ、ダクトや、机、棚等の家具等、建屋内に配置される任意の物であってよい。被測定物の認識は、第３の学習済モデルＭ３を用いて行われる。第３の学習済モデルＭ３に対する入力データとして、ステップＳ１００１で撮像装置３０から取得した画像データと、測距センサ２０から取得した距離データが入力される。これにより、第３の学習済モデルＭ３を用いた予測が行われる。

次に、ステップＳ１００３において、被測定物の種類（パイプ、ダクトなど）と、カメラ座標系における被測定物の形状（３次元点群）が出力される。これにより、第３の学習済モデルＭ３を用いた予測の結果として、被測定物の種類（パイプ、ダクトなど）と、建屋内の空間座標系における被測定物の自己位置と、建屋内の空間座標系における被測定物の形状（３次元点群）が得られる。

次に、ステップＳ１００４において、被測定物の自己位置が算出される。ステップＳ１００４では、被測定物の建屋内での自己位置を算出するために、図９のステップＳ９０３において出力された自己位置認識処理の結果Ｒ２が用いられる。

次に、ステップＳ１００５において、被測定物の種類（パイプ、ダクトなど）と建屋内での被測定物の位置と形状（３次元点群）が出力される。

以上により説明した本発明による建屋内構造物認識システム１によれば、建築途中の施工現場のように似たような特徴点が大量に存在する施工現場においても高精度で建屋内の構造物を認識することが可能である。また、本発明によれば、ＡＩが単なる画像上の特徴点抽出ではなく、基準として良いものを認識し、そのものを基準にして多くの測定画像データを接続し、建屋内の全体を把握し、測定することが可能である。また、本発明によれば、人間が実際の建築現場において、柱など基準として良いものからの相対位置で多くのものを測定し、全体を把握する作業と同様の効果をＡＩを用いて実現することが可能となり、作業の効率化を図るとともに、建屋内の構造物の高精度な認識を実現することができる。

また、本発明によれば、基準認識部１０１での基準認識処理、自己位置認識部１０２での自己位置認識処理、及び被測定物認識部１０３での被測定物認識処理を、測距センサやカメラ等の撮像装置の移動速度を考慮して誤差が十分に小さくなるように同期しながらリアルタイムで測定を行うことができる。従来のSLAMによる処理では、カメラ等の計測装置の移動に伴って時間的に異なった情報を用いて処理するため、移動中に変化した姿勢や位置情報の誤差により、測定結果にエラーが生じるのに対し、本発明では測距センサやカメラ等の撮像装置の移動中の各位置において情報を完結させることができるため、誤差を小さく抑えることができる。特に、移動により生じる誤差を少なくすることができる。

また、本発明によれば、ＡＩを用いて基準となり得るものを見出す際に、基準となるものの視覚的な外観以外にも、隣接している特徴などの画像内の特徴同士の関連性を情報として用いることにより、基準としてよいもの（例えば、鉄骨の垂直部材等）の識別性を高めることが可能である。

また、上記実施例においては、例として１つの測距センサ２０及び１つの撮像装置３０が図示されているが、用いる測距センサ及び撮像装置の数はこれに限られず、例えば、測距センサ２０を２台、撮像装置３０を１台用いる構成や、測距センサ２０を移動方向に１台と移動方向と垂直な方向に左右に３台ずつ用いる構成等、種々の構成が可能である。測距センサ２０と撮像装置３０を併用することにより、例えば、エッジの色が背景の色と似ている場合や、色情報を扱えず、形状が似ているが部材としては分かれている場合等、撮像装置や測距センサの一方のみではエラーが生じやすい現場においても精度を維持することができる。

また、本発明によれば、ステレオ測定を行うことにより、時間的に連続する情報を解析しなくても一回の計測作業により、必要な測定情報を得ることができる。また、基準点を認識しながら測定を行っていることにより、同じ基準点を有する測定エリア内において、異なる測定点の情報を融合させることにより、同様の精度を得ることも可能となる。

また、本発明は移動しながらの計測を想定しているが、より高い測定精度が求められる場合に、被測定物に着目し、一旦、移動を停止して、センサやカメラを被測定物に向けて配置してから測定を行うことも可能である。この場合、更に、移動方向にもある程度の画角を有するカメラ等を用いることにより、移動の停止とカメラやセンサを被測定物に向ける操作を行わずに同様の精度を得ることも可能である。

本発明では、基準とすべきものを移動しながら認識し、その基準とすべきものを用いて画像情報や距離情報を繋げていくため、測定の確実性が増す。また、測定の途中でエラーに気づくことも可能であり、エラーが生じた際の取得データへの影響も最小限にすることができる。

また、測定前に予め見取り図上で、測定中に常に基準となる部材が見えるかどうかをシミュレーションすることもでき、基準となる部材が無い場合や見えない場合に、基準部材に代えて基準のマークを配置することも可能である。基準となるマークは、好ましくは被測定物の近くにある壁や柱に配置するが、床に配置するようにしてもよい。

さらに、本発明の他の応用として、建築現場で用いられる専門家の知識を併用し、学習の際に専門家の知識を入力データとして与えることにより、学習済モデルの精度を高めることも可能である。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。

１ 建屋内構造物認識システム
１０ ＳＬＡＭ計測装置
１０１ 基準認識部
１０２ 自己位置認識部
１０３ 被測定物認識部
Ｍ１ 第１の学習済モデル
Ｍ２ 第２の学習済モデル
Ｍ３ 第３の学習済モデル
２０ 測距センサ
３０ 撮像装置
４０ 機械学習モデル生成装置
４０１ 正解データ生成部
４０２ 仮想観測データ生成部
４０３ 学習モデル生成部

Claims (16)

1. 建屋内構造物認識システムであって、
   少なくとも１つの測距センサと、
   少なくとも１つの撮像装置と、
   ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）計測装置とを備え、
   前記ＳＬＡＭ計測装置は、
   第１の学習済モデルを用いて基準部材の認識を行う基準認識部と、
   第２の学習済モデルを用いて前記撮像装置の自己位置の認識を行う自己位置認識部と、
   第３の学習済モデルを用いて建屋内の被測定物の認識を行う被測定物認識部と、
   を備え、
   前記第１の学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、建屋内構造物認識システム。
2. 前記基準認識部は、前記測距センサから得られたデータのうちＳＬＡＭにおける自己位置推定及び環境地図作成の基準にすることが可能な点又は領域を前記基準部材として認識する、請求項１に記載の建屋内構造物認識システム。
3. 前記基準認識部は、前記撮像装置から得られた画像データ及び前記測距センサから得られた距離データを入力データとして前記第１の学習済モデルに入力することにより前記基準部材の認識を行い、前記基準部材の３次元特徴データを出力データとして出力することを特徴とする、請求項１又は２に記載の建屋内構造物認識システム。
4. 前記自己位置認識部は、前記撮像装置が前記被測定物を撮像しながら移動する際に、前記撮像装置の自己位置を逐次認識することを特徴とする、請求項１～３のいずれか一項に記載の建屋内構造物認識システム。
5. 前記第２の学習済モデルは、ＢＩＭデータから得られた前記撮像装置の現在の３次元座標と姿勢角を正解データとし、ａ）現在と過去の仮想観測画像、ｂ）現在と過去の基準部材の３次元特徴データ、及びｃ）過去の前記撮像装置の３次元座標と姿勢角を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項１～４のいずれか一項に記載の建屋内構造物認識システム。
6. 前記自己位置認識部は、ａ）前記撮像装置から得られた画像データと、ｂ）前記基準認識部から出力された基準部材の３次元特徴データと、ｃ）前記撮像装置の過去の３次元座標と姿勢角とを入力データとして第２の学習済モデルに入力することにより前記撮像装置の自己位置の認識を行い、前記撮像装置の現在の３次元座標と姿勢角を出力データとして出力することを特徴とする、請求項１～５のいずれか一項に記載の建屋内構造物認識システム。
7. 前記被測定物認識部は、建屋内の構造物及び物体を被測定物として認識することを特徴とする、請求項１～６のいずれか一項に記載の建屋内構造物認識システム。
8. 前記第３の学習済モデルは、ＢＩＭデータから生成された正解画像と被測定物の種類を示すデータを正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像及び前記ＢＩＭデータから生成した仮想距離画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、請求項１～７のいずれか一項に記載の建屋内構造物認識システム。
9. 前記被測定物認識部は、前記撮像装置から得られた画像データと、前記測距センサから得られた距離データとを第３の学習済モデルに入力することにより前記被測定物の認識を行い、前記被測定物の種類及び前記被測定物の形状データを出力データとして出力することを特徴とする、請求項１～８のいずれか一項に記載の建屋内構造物認識システム。
10. 前記被測定物認識部は、
    前記被測定物の前記撮像装置のカメラ座標系での前記形状データと、
    前記自己位置認識部から出力された前記撮像装置の現在の３次元座標及び姿勢角とから、前記被測定物の建屋内の空間座標系での自己位置を算出することを特徴とする、請求項９に記載の建屋内構造物認識システム。
11. 前記測距センサが、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ＴｏＦセンサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、ＲＡＤＡＲ（ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、超音波センサ又は赤外線センサであることを特徴とする、請求項１～１０のいずれか一項に記載の建屋内構造物認識システム。
12. 建屋内構造物認識方法であって、
    第１の学習済モデルを用いて基準部材を認識するステップと、
    第２の学習済モデルを用いて撮像装置の自己位置を認識するステップと、
    第３の学習済モデルを用いて被測定物を認識するステップと
    を備え、
    前記第１の学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、建屋内構造物認識方法。
13. 前記基準部材を認識するステップは、
    画像データと距離データを取得するステップと、
    前記画像データと前記距離データを前記第１の学習済モデルに入力するステップと、
    前記第１の学習済モデルからの出力データとして、基準部材の３次元特徴データを出力するステップと
    を備えることを特徴とする、請求項１２に記載の建屋内構造物認識方法。
14. 前記自己位置を認識するステップは、
    ａ）前記画像データと、ｂ）前記基準部材の３次元特徴データと、ｃ）前記撮像装置の過去の３次元座標と姿勢角とを取得するステップと、
    ａ）前記画像データと、ｂ）前記基準部材の３次元特徴データと、ｃ）前記撮像装置の過去の３次元座標と姿勢角とを入力データとして第２の学習済モデルに入力するステップと、
    前記第２の学習済モデルからの出力データとして、前記撮像装置の現在の建屋内での自己位置を出力するステップと
    を備えることを特徴とする、請求項１３に記載の建屋内構造物認識方法。
15. 前記被測定物を認識するステップは、
    画像データと距離データを取得するステップと、
    前記画像データと前記距離データを前記第３の学習済モデルに入力するステップと、
    前記第３の学習済モデルからの出力データとして、前記被測定物の種類と、カメラ座標系における前記被測定物の形状を出力するステップと、
    前記撮像装置の現在の建屋内での自己位置を用いて、前記被測定物の自己位置を算出するステップと、
    前記被測定物の種類と、建屋内の空間座標系における前記被測定物の自己位置と、前記空間座標系における前記被測定物の形状を出力するステップと
    を備えることを特徴とする、請求項１４に記載の建屋内構造物認識方法。
16. コンピュータに、請求項１２～１５のいずれか一項に記載の方法の各ステップを実行させることを特徴とするプログラム。

Images