JP2020149186A - 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 - Google Patents

Abstract

【課題】重量の増大を抑えつつ、かつ、精度よく建設現場における位置姿勢を求めることができる位置姿勢推定装置を提供する。【解決手段】建設現場内における何れかの位置姿勢において撮影された画像データを取得する撮像画像取得部と、前記建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、前記画像データに対応する位置姿勢情報を求める位置姿勢情報算出部と、を有する。【選択図】図１

Description

本発明は、位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法に関する。

建設現場の生産性向上のため、日々の出来形管理などにＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いたＳＬＡＭ （Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、あるいはカメラを用いたＶｉｓｕａｌ ＳＬＡＭ技術などといった、自己位置姿勢推定および現場管理方法が活用されつつある。
ＬＩＤＡＲは、直接距離を測定することができるため、写真測量（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術に比べて形状の精度が高いことが利点である。
例えば、ＬＩＤＡＲによって、毎日あるいは数日毎に、建設現場内の施工対象物の形状を測定することで、測定時において施工対象物がどのような段階まで施工されているか、また、施工状況がどのような状態であるかを把握することができる。これにより、施工の進捗管理をすることができ、また、施工状況に基づく出来形を推定することで出来形を管理することができる。
自己位置姿勢推定技術を、例えば、建設現場内において用いられる自動走行ロボットの現在位置および姿勢の推定に適用した位置姿勢推定装置がある（例えば特許文献１）。

特開２０１８−１６４９６６号公報

しかしながら、ＬＩＤＡＲは、機器が一般的に高価で重いため、軽量なロボット（例えば小型のロボットやドローン）などに搭載することができない。
また、ＬＩＤＡＲは、取得した点群のＲＧＢ情報が含まれていない欠点がある。

一方、Ｖｉｓｕａｌ ＳＬＡＭは、ＲＧＢ情報が含まれているが、視差による測量であるため、ＬＩＤＡＲに比べて一般的に測定精度が悪いという欠点がある。

施工状況の管理や出来形管理を行うために、施工対象物の形状測定を移動ロボットに行わせようとすると、自己の位置姿勢を精度良く推定する必要がある。すなわち、自己位置姿勢の推定精度が低い場合には、出来形管理の精度も低下してしまう。また、移動ロボットが移動するためには、機体の重量が増大しないことが望ましい。

本発明は、このような課題に鑑みてなされたものであり、重量の増大を抑えつつ、かつ、精度よく建設現場における位置姿勢を求めることができる位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法を提供することにある。

上述した課題を解決するために、本発明の一態様は、建設現場内における何れかの位置姿勢において撮影された画像データを取得する撮像画像取得部と、前記建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、前記画像データに対応する位置姿勢情報を求める位置姿勢情報算出部と、を有する位置姿勢推定装置である。

また、本発明の一態様は、建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得部と、一人称視点で前記三次元モデルデータにおいて前記位置姿勢から見たときの画像を取得する画像取得部と、前記位置姿勢情報と前記画像との関係性を表す条件を学習する学習部と、を有する学習装置である。

また、本発明の一態様は、上述の位置姿勢推定装置と、回避対象を表す回避対象画像データと回避対象であるか否かを識別する識別情報との関係を学習した学習済みモデルを用いて、前記撮像画像取得部によって取得された画像に回避対象である物体が含まれているか否かを判定する判定部と、前記取得された画像に、前記回避対象画像に対応する物体が含まれている場合には、当該を迂回する経路である迂回経路を生成する経路生成部と、前記位置姿勢情報算出部によって求められた位置姿勢情報が前記生成された迂回経路に沿うように移動する移動制御部と、を有する移動ロボットである。

また、本発明の一態様は、撮像画像取得部が、建設現場内における何れかの位置姿勢において撮影された画像データを取得し、位置姿勢情報算出部が、前記建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、前記画像データに対応する位置姿勢情報を求める位置姿勢推定方法である。

また、本発明の一態様は、位置姿勢情報取得部が、建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢を表す位置姿勢情報を取得し、画像取得部が、一人称視点で前記三次元モデルデータにおいて前記位置姿勢から見たときの画像を取得し、学習部が、前記位置姿勢情報と前記画像との関係性を表す条件を学習する学習方法である。

以上説明したように、この発明によれば、位置姿勢情報を推定するために必要な機器の重量が増大してしまうことを抑えつつ、かつ、精度よく建設現場における位置姿勢を求めることができる。

この発明の一実施形態による状況管理システム１の構成を示す概略ブロック図である。 状況管理システム１の処理の流れを説明する図である。 自律移動ロボット４０の処理を説明するフローチャートである。

以下、本発明の一実施形態による位置姿勢推定装置を用いた状況管理システム１について図面を参照して説明する。
図１は、この発明の一実施形態による状況管理システム１の構成を示す概略ブロック図である。
状況管理システム１は、三次元モデル画像生成装置１０、一人称視点画像データベース２０、学習装置３０、自律移動ロボット４０、状況管理装置５０を有する。

三次元モデル画像生成装置１０は、建設現場の施工対象物の三次元モデルデータを記憶している。三次元モデル画像生成装置１０は、建設現場の施工対象物の三次元モデルデータを用い、当該建設現場のいずれかの位置姿勢から一人称視点で見たときの画像を生成する。一人称視点での画像は、建設現場内において異なる多数の地点において、それぞれ生成される。例えば、一人称視点での画像を生成する位置姿勢は、施工対象物において自律移動ロボット４０が移動する経路となりうる位置姿勢であればいずれの位置姿勢であってもよい。施工対象物は、例えば構造物あるいは建築物であってもよい。施工対象物がビル等である場合には、あるフロアにおける種々の場所について一人称視点での画像を、各フロアのそれぞれにおいて生成する。

三次元モデル画像生成装置１０は、一人称視点での画像を生成する場合、施工途中の段階毎における三次元モデルデータのそれぞれにおいて、一人称視点での画像を生成する。これにより、施工途中において施工対象物がどのように見えるかを示した画像を生成することができる。

また、三次元モデル画像生成装置１０は、画像を生成したときの一人称視点における位置姿勢を示す位置姿勢情報を生成する。この位置姿勢情報は、緯度、経度、高度、姿勢角を含む情報であり、一人称視点で見たときの建設現場における位置姿勢を特定することができる。
また、三次元モデル画像生成装置１０は、例えば、緯度、経度、高度、姿勢角を表す座標系と、三次元モデルの座標系とを重ね合わせる機能を有しており、この重ね合わせを行うことで、三次元モデルにおける施工対象物におけるいずれの位置姿勢についても、緯度、経度、高度、姿勢角を把握できるようになっている。

ここで生成される画像は、全天球が望ましいが、画角の広いカメラを模擬したものであっても良い。全天球あるいは画角の広いカメラを用いることで、自律移動ロボット４０が撮影を行った向きがいずれの方向であっても位置姿勢を推定することが可能な画像を得ることができる。

三次元モデル画像生成装置１０は、当該建設現場のいずれかの位置姿勢から一人称視点で見たときの画像データと、当該画像を生成したときの一人称視点における位置姿勢を示す位置姿勢情報とを含む画像情報を出力する。
三次元モデル画像生成装置１０は、三次元モデルデータとして、ＢＩＭ（Building Information Modeling）によって表された三次元モデルデータまたはＣＡＤ（computer-aided design）によって表された三次元モデルデータを用いてもよい。

一人称視点画像データベース２０は、三次元モデル画像生成装置１０から出力される画像情報（画像データと位置姿勢情報との組み合わせ）を記憶する。

学習装置３０は、三次元モデル画像生成装置１０によって、建設現場におけるあらゆる点における十分な量の画像が生成された後、深層学習技術により画像と当該画像の位置姿勢情報とを入力し、画像と位置姿勢（緯度・経度・高度・姿勢角）との関係性を表す条件を学習する。
学習装置３０は、画像解析用ワークステーション、小型計算機等を組み合わせて構成されてもよい。

より具体的に、学習装置３０は、画像情報取得部３１、位置姿勢情報学習部３２、回避対象学習部３３、出力部３４を有する。
画像情報取得部３１は、一人称視点画像データベースから画像情報を取得する。この画像情報には、建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢を表す位置姿勢情報と、一人称視点で三次元モデルデータにおいて前記位置姿勢から見たときの画像データとが含まれる。この画像情報は、建設現場における様々な位置姿勢毎の画像データである。
位置姿勢情報学習部３２は、画像情報取得部３１によって取得された画像情報を用いて、学習アルゴリズムに基づいて、位置姿勢情報と画像との関係性を表す条件を学習し、学習済みモデルを生成する。
例えば、位置姿勢情報学習部３２は、画像情報に含まれる画像データに対して画像処理を行い、画像データに含まれる物体（柱、梁、壁、床、天井、窓、設備、什器等）の形状（輪郭など）、色、サイズ、光の反射度合い等について解析することで、これらを特徴量（特徴データ）として取得する。位置姿勢情報学習部３２は、この特徴量と位置姿勢情報との関係を学習し、学習済モデルを生成する。ここで、位置姿勢情報学習部３２における学習は、例えば、特徴量と、位置姿勢情報との関係性を示す条件を学習するようにしてもよい。位置姿勢情報学習部３２におけるこの条件とは、画像データと位置姿勢情報との相関性を表すモデル構造、あるいは、当該モデル構造を決定する種々のパラメータである。

位置姿勢情報学習部３２の学習は、どのような学習方式であってもよく、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を用いた、機械学習、強化学習、複数の中間層を含むニューラルネットワークによる深層学習技術（ディープラーニング）のうちいずれかを用いることができる。また、学習方式としては、教師あり学習であっても教師無し学習のいずれを用いるようにしてもよい。
位置姿勢情報学習部３２は、教師なし学習を行う場合には、例えば、画像データの特徴量に基づいて、画像データに含まれる物体の形状、色、サイズ、光の反射度合い等の観点に基づくクラスタ分析を行なうことで、画像データを位置姿勢情報に応じて分類するようにしてもよい。

例えば、位置姿勢情報学習部３２は、学習の開始時においては、画像データの特徴量と位置姿勢情報との相関関係は未知であるが、学習を進めるに従い、徐々に特徴を識別して相関関係を解釈する。学習が進行することにより、位置姿勢情報学習部３２は、画像データの特徴量（画像データに含まれる物体の形状（輪郭など）、色、サイズ、光の反射度合い等）と位置姿勢情報（緯度、経度、高度、姿勢角）の相関関係を表す条件を最適解に近づけることができる。なお、位置姿勢情報学習部３２は、画像データの特徴量と位置姿勢情報との関係を学習するようにしたが、画像データの特徴量を用いずに、画像データと位置姿勢情報との関係性を表す条件を学習するようにしてもよい。この場合、位置姿勢情報学習部３２は、例えば、画像データに含まれるそれぞれの画素と位置姿勢情報の関係性を表す条件を学習するようにしてもよい。

このようにして得られる学習済みモデルは、実際の現場で撮影した画像から位置姿勢を算出することができる。実際の現場で撮像した画像は、例えば、自律移動ロボットや飛行ロボットによって自律撮影された画像であってもよいし、現場内を巡回する作業員によって撮影された画像であってもよい。このように撮像された画像とその撮影された位置姿勢とを保存することができるため、簡単に状況管理をすることができる。

回避対象学習部３３は、回避対象を表す回避対象画像データと回避対象であるか否かを識別する識別情報との関係を学習することで、学習済みモデルを生成する。回避対象は、作業員、重機、建築資材等である。回避対象学習部３３は、画像情報に含まれる画像データに対して画像処理を行い、画像データに含まれる回避対象である物体（作業員、重機、一時保管された建築資材等）の形状（輪郭など）、色、サイズ、光の反射度合い等について解析することで、これらを特徴量（特徴データ）として取得する。回避対象学習部３３は、得られた特徴量と回避対象であるか否かを識別する識別情報との関係を学習する。例えば、作業員、重機、建築資材について回避対象であることを表す識別情報とを関係を学習する。回避対象画像データは、作業員、重機、一時保管された建築資材のそれぞれについて、種々の種類や、種々の角度から撮影された画像が用いられる。これにより、作業員、重機、一時保管された建築資材を精度よく識別可能な学習済みモデルを得ることができる。
また、回避対象学習部３３は、回避対象ではないことを表す識別情報と、回避しなくてもよい物体の画像（作業員が床面を汚さずに歩行することができるように床面上に敷かれた養生シート等）との関係を学習してもよい。
回避対象学習部３３の学習の方式等は、位置姿勢情報学習部３２と共通するため説明を省略する。

出力部３４は、位置姿勢情報学習部３２によって生成された学習済みモデルと回避対象学習部３３によって生成された学習済みモデルとを出力する。

自律移動ロボット４０は、位置姿勢推定部４１、撮像部４２、判定部４３、経路生成部４４、駆動部４５、移動制御部４６、通信部４７を有する。
位置姿勢推定部４１は、撮像画像取得部４１１、位置姿勢情報算出部４１２、記憶部４１３、位置姿勢情報出力部４１４を有する。
撮像画像取得部４１１は、建設現場内における何れかの位置姿勢において撮影された画像データを取得する。例えば、撮像画像取得部４１１は、撮像部４２によって撮像された画像データを取得する。この画像データは、施工対象物の内部における何れかの位置姿勢から一人称視点で見たときの画像である。また、この画像データは、少なくとも一部に建設現場の画像が含まれていればよく、施工対象物の内部から撮影された画像または施工対象物の外部から施工対象物を撮影した画像を用いることができる。

位置姿勢情報算出部４１２は、建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、画像データに対応する位置姿勢情報を求める。このとき用いられる学習済みモデルは、学習装置３０によって生成された学習済みモデルである。

記憶部４１３は、位置姿勢情報学習部３２から出力された学習済みモデルと、回避対象学習部３３から出力された学習済みモデルを記憶する。

位置姿勢情報出力部４１４は、位置姿勢情報算出部４１２によって得られた位置姿勢情報を出力する。

撮像部４２は、周囲を撮影し、撮像データ（画像データ）を出力する。撮像部４２は、例えば、カメラである。
判定部４３は、回避対象を表す回避対象画像データと回避対象であるか否かを識別する識別情報との関係を学習した学習済みモデルを用いて、撮像画像取得部によって取得された画像に回避対象である物体が含まれているか否かを判定する。判定部４３が用いる学習済みモデルは、回避対象学習部３３によって生成された学習済みモデルである。
経路生成部４４は、自律移動ロボット４０が建設現場内を移動する経路を示す経路情報を生成する。この経路情報は、例えば、建設現場の状況管理をする対象の位置姿勢を経由するルートである。
経路生成部４４は、取得された画像に、回避対象画像に対応する物体が含まれている場合には、当該を迂回する経路である迂回経路を生成する。この迂回経路は、回避対象物を回避した後、経路情報が示す経路に戻るような経路である。

駆動部４５は、自律移動ロボット４０の移動機構を駆動する。移動機構としては、自律移動ロボット４０に取り付けられた車輪を回転駆動させることで、前後方向に移動させたり、操舵輪を操舵することで左右方向への走行方向を変える。
なお、自律移動ロボット４０がドローンである場合、駆動部４５は、ドローンに設けられたローターを回転駆動させたり、飛行方向を変更する。自律移動ロボット４０は、無人航空機であればよく、ドローンの他にマルチコプターであってもよい。

移動制御部４６は、位置姿勢情報算出部４１２によって求められた位置姿勢情報が生成された迂回経路に沿うように移動する。

通信部４７は、学習装置３０や状況管理装置５０と通信を行う。状況管理装置５０に撮影された画像データと、当該画像データを撮影した位置姿勢情報とを送信する。また、通信部４７は、これらの情報を送信する際に、画像データが撮像された日時を示す情報も送信することができる。

状況管理装置５０は、自律移動ロボット４０から送信された各種情報を記憶する。状況管理装置５０に記憶された情報は、建設現場の管理者が利用する端末装置を利用することで、閲覧することができる。

上述の一人称視点画像データベース２０、記憶部４１３、状況管理装置５０に設けられた記憶部等については、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成することができ、また、例えば不揮発性メモリを用いることができる。

図２は、状況管理システム１の処理の流れを説明する図である。
三次元モデル画像生成装置１０は、三次元モデルデータを用いて、施工対象物の内部側のいずれかの位置姿勢から一人称視点で見たときの画像を生成する。ここでは、位置姿勢を変えることで多数の画像を生成する。三次元モデル画像生成装置１０は、生成された画像と、当該画像を生成した際の一人称視点の位置姿勢を示す位置姿勢情報とを画像情報として一人称視点画像データベース２０に書き込む（ステップＳ１０）。
また、ここでは回避対象画像データが所定の記憶領域に記憶される（ステップＳ１１）。所定の記憶領域は、学習装置３０の外部の記憶装置であってもよいし、状況管理装置５０の記憶領域を用いるようにしてもよい。
学習装置３０は、一人称視点で見たときの画像情報と回避対象画像データとを取得する（ステップＳ１２）。そして、学習装置３０は、位置姿勢情報学習部３２によって画像情報を用いて学習済みモデルを生成し、回避対象学習部３３によって回避対象画像データを用いて学習済みモデルを生成する（ステップＳ１３）。これらの生成された学習済みモデルは、自律移動ロボット４０の記憶部４１３に記憶される（ステップＳ１４）。

自律移動ロボット４０は、建設現場内に配置された後、撮像部４２によって周囲を撮像する（ステップＳ１５）。この撮影は、撮影タイミングが到来する毎に行われる。撮影タイミングは、一定時間毎（数秒毎、数分毎等）であってもよいし、一定の距離を移動したことを検出したタイミングであってもよいし、撮影する対象の地点に到達したタイミングであってもよい。

自律移動ロボット４０は、位置姿勢情報学習部３２によって生成された学習済みモデルを用いて（ステップＳ１６）、撮像部４２によって撮影された画像に対応する位置姿勢情報を得る（ステップＳ１７）。自律移動ロボット４０は、得られた位置姿勢情報が、予め定められた経路情報に沿うように駆動部４５を駆動させる。また、自律移動ロボット４０は、回避対象学習部３３によって生成された学習済みモデルを用いて、撮像部４２によって撮影された画像に回避対象があるか否かを判定し、回避対象がある場合には、回避経路を生成する（ステップＳ１８）。

図３は、自律移動ロボット４０の処理を説明するフローチャートである。
自律移動ロボット４０は、建設現場の状況管理をする対象の位置姿勢を経由するルートを示す経路情報を経路生成部４４によって生成し、その経路情報に沿って移動を開始する。そして自律移動ロボット４０は、建設現場内において移動しつつ、撮像部４２によって周囲を撮影し、画像データを得る（ステップＳ５０）。自律移動ロボット４０は、得られた画像データについて画像処理等を行うことで解析を行い（ステップＳ５１）、学習済みモデルを用いて、位置姿勢情報を得る。ここで、位置姿勢情報算出部４１２は、得られた位置姿勢情報が、正しく認識できたか否かを判定する（ステップＳ５２）。例えば、前回位置姿勢情報を算出した時刻から今回位置姿勢情報を算出した時刻までの時間と、前回得られた位置姿勢情報と今回得られた位置姿勢情報との間の距離と、から得られる速度が、自律移動ロボット４０が移動する際の移動速度から一定以上超えている場合には、正しく認識されないと判断する。この場合、得られた位置姿勢情報が正しくないものとして採用しないようにすることができ、位置姿勢情報算出の精度が低下することを防止することができる。なお、ここでは、移動速度を基に判断するようにしたが、前回得られた位置姿勢情報と今回得られた位置姿勢情報との間の距離が一定以上の距離である場合には、正しく認識されないと判断するようにしてもよい。
一方、位置姿勢情報が正しく認識できた場合には、この位置姿勢情報の算出に用いた画像データに、回避対象である物体があるか否かを、回避対象学習部３３によって得られた学習済みモデルを用いて認識する（ステップＳ５４）。

経路生成部４４は、回避対象があるか否かの認識結果と経路情報とを基に、移動ルート（経路情報）を生成する。ここでは、回避対象がない場合には、ステップＳ５２において認識された現在位置姿勢から建設現場の状況管理をする対象の位置姿勢まで移動するための経路情報を生成する（ステップＳ５５）。経路情報を生成する場合、例えば、ＢＩＭやＣＡＤ等の三次元モデルデータを用い、自律移動ロボット４０の周囲の環境（通路や壁、柱等）を基に、移動可能な経路を生成する。一方、回避対象がある場合、経路生成部４４は、回避対象を回避しつつ建設現場の状況管理をする対象の位置姿勢まで移動するための経路情報を生成する。これにより、三次元モデルデータには存在しない作業員・資材・重機などの画像が、画像データに含まれていたとしても、回避対象として認識し、回避するような迂回ルートを生成し、迂回することができる。
自律移動ロボット４０は、経路情報が生成されると、生成された経路情報に沿って移動するように駆動することで位置姿勢制御をする（ステップＳ５６）。

自律移動ロボット４０は、このようにして、建設現場の状況管理をする対象の位置姿勢を複数箇所通過した後、スタート位置姿勢に戻り、撮影された画像データと、当該画像データを撮影した位置姿勢情報とを状況管理装置５０に送信する。ここでは、画像データを撮像した日時を表す日時データも一緒に送信する。これにより、状況管理装置５０は、自律移動ロボット４０から得られた画像データと位置姿勢情報と、画像データが撮影された日時とを対応付けて記憶することができる。

以上説明した実施形態によれば、近年導入が進んでいるＢＩＭを効果的に用いて位置姿勢情報を学習させることで、特殊な装置を必要とせず、また、安価なカメラと計算機を用いるだけで、深層学習技術の活用により位置姿勢情報の取得と現場進捗管理を同時に達成することができる。これにより、自律移動ロボットなどの導入も容易となり、建設業の生産性向上に貢献できる。

また、本実施形態によれば、ロボットの移動などに必要な位置姿勢情報の取得、また進捗管理等に必要な位置姿勢情報が紐付けられた写真の取得が、軽量なシステムにより実現することができる。また、その結果をＢＩＭに戻すことで、日々の出来形管理をすることが可能となり、より良い現場管理や、学習装置３０の学習精度の向上に寄与させることが可能である。

また、従来において、ＬＩＤＡＲやＶｉｓｕａｌ ＳＬＡＭは、シーケンシャルに位置姿勢を推定する手法であり、常に絶対的な位置姿勢を算出するものではない。また、いずれも建設現場の進捗管理（出来形管理）に用いることが行われているが、絶対的な自己位置姿勢推定と、進捗管理の両方を併せ持つ軽量なシステムとなっていない。

これに対し、本実施形態では、近年導入が進んでいるＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）やＣＡＤデータより一人称視点画像を生成し、深層学習技術により位置姿勢情報を学習させ、現場内において軽量なカメラ画像から自己位置姿勢を推定するとともに、位置姿勢情報の紐付いた画像を保存することで、進捗管理を容易とすることができる。また、自己位置姿勢の推定に必要な機器の重量の増大を抑えることができることから、自己位置姿勢の推定に必要な機材を移動ロボット等に搭載することが可能となる。

また、建設現場の状況は、日々変化するため、学習装置３０における学習は、数日毎に実施することが望ましい。また、状況管理装置５０に画像データが蓄積されることで、この画像データを基に出来形を管理し、また、三次元モデルデータに反映させることで、学習モデルを利用した位置姿勢情報の推定精度も向上していくことが期待できる。

なお、上述した位置姿勢推定部４１は、自律移動ロボット４０の内部に設けられた１つの機能として説明したが、自律移動ロボット４０とは別の独立した装置として構成されるようにしてもよい。この場合、位置姿勢推定部４１の機能を有する装置が、既存の自律移動ロボットに搭載することで、既存の自律移動ロボットであっても、上述の自律移動ロボット４０として機能することができる。

上述した実施形態における学習装置３０、位置姿勢推定部４１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…状況管理システム、１０…三次元モデル画像生成装置、２０…一人称視点画像データベース、３０…学習装置、３１…画像情報取得部、３２…位置姿勢情報学習部、３３…回避対象学習部、３４…出力部、４０…自律移動ロボット、４１…位置姿勢推定部、４２…撮像部、４３…判定部、４４…経路生成部、４５…駆動部、４６…移動制御部、４７…通信部、５０…状況管理装置、４１１…撮像画像取得部、４１２…位置姿勢情報算出部、４１３…記憶部、４１４…位置姿勢情報出力部

Claims (6)

1. 建設現場内における何れかの位置姿勢において撮影された画像データを取得する撮像画像取得部と、
   前記建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、前記画像データに対応する位置姿勢情報を求める位置姿勢情報算出部と、
   を有する位置姿勢推定装置。
2. 前記画像は、前記施工対象物の内部における何れかの位置姿勢から一人称視点で見たときの画像である
   請求項１記載の位置姿勢推定装置。
3. 建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得部と、
   一人称視点で前記三次元モデルデータにおいて前記位置姿勢から見たときの画像を取得する画像取得部と、
   前記位置姿勢情報と前記画像との関係性を表す条件を学習する学習部と、
   を有する学習装置。
4. 請求項１または請求項２に記載の位置姿勢推定装置と、
   回避対象を表す回避対象画像データと回避対象であるか否かを識別する識別情報との関係を学習した学習済みモデルを用いて、前記撮像画像取得部によって取得された画像に回避対象である物体が含まれているか否かを判定する判定部と、
   前記取得された画像に、前記回避対象である物体が含まれている場合には、当該物体を迂回する経路である迂回経路を生成する経路生成部と、
   前記位置姿勢情報算出部によって求められた位置姿勢情報が前記生成された迂回経路に沿うように移動する移動制御部と、
   を有する移動ロボット。
5. 撮像画像取得部が、建設現場内における何れかの位置姿勢において撮影された画像データを取得し、
   位置姿勢情報算出部が、前記建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢と当該位置姿勢から一人称視点で見たときの画像との関係を学習した学習済みモデルを用いて、前記画像データに対応する位置姿勢情報を求める
   位置姿勢推定方法。
6. 位置姿勢情報取得部が、建設現場の施工対象物の三次元モデルデータにおいて当該建設現場のいずれかの位置姿勢を表す位置姿勢情報を取得し、
   画像取得部が、一人称視点で前記三次元モデルデータにおいて前記位置姿勢から見たときの画像を取得し、
   学習部が、前記位置姿勢情報と前記画像との関係性を表す条件を学習する
   学習方法。

Images