JP7095232B2 - 作業支援システム、作業支援方法及び作業支援プログラム - Google Patents

Description

本発明は、構造物の施工現場における作業を支援する作業支援システム、作業支援方法及び作業支援プログラムに関する。

建築物の施工に必要となる作業量、作業時間、コスト、材料、資材、材料や資材の量、必要となる機器の種類や大きさなどを推測するための技術が検討されている（例えば、特許文献１参照）。これらの文献に記載の技術においては、施工補助装置は、施工対象物の画像に基づいて、施工対象物の所定領域の面積を算出し、施工対象物の周辺情報を記憶する。そして、施工対象物の施工に必要となる要素である施工要素を記憶し、所定領域の面積、周辺情報及び施工要素の少なくとも２以上に基づいて、施工対象物の施工特性を算出する。

また、建設現場では、多様な資機材が用いられている。このような資機材を画像により認識する技術も検討されている（例えば、非特許文献１参照）。この文献に記載の技術においては、資機材が被写体として撮影された画像を機械学習により認識して、資機材を特定する。

特開２０１３－８８８９５号公報

株式会社大林組、「ロボティクスコンストラクション０２施工現場の無人化を進める」、［online］、［平成２９年４月７日検索］、インターネット<https://www.obayashi.co.jp/technofair2016/03robotics/03_02.html>

特許文献１に記載されているように、施工対象範囲の面積により作業量や作業内容が異なる。しかしながら、この文献に記載された技術では、面積を算出する範囲を指定する必要があり、手間がかかる。また、非特許文献１に記載された技術においては、搬入された資機材の種類を特定することを目的としており、このような資機材を用いた作業の作業量や作業内容の評価は想定されていない。

・上記課題を解決する作業支援システムは、被写体を撮影した撮影画像を生成する撮影部と、資材を用いた作業を評価するための管理情報を記録した管理情報記憶部とに接続された制御部とを備える。そして、前記制御部が、前記撮影部から、作業現場の撮影画像を取得し、前記撮影画像に含まれる作業対象の資材を特定し、前記撮影画像において前記資材が撮影された領域を特定し、前記領域の実面積を算出し、前記実面積及び前記管理情報記憶部に記録された管理情報に基づいて、前記資材を用いた作業の作業評価情報を算出する。これにより、撮影画像に写り込んだ資材に基づいて面積を算出し、この資材に関する作業を効率的に評価することができる。

・上記作業支援システムにおいて、前記制御部が、撮影画像の撮影条件を取得し、前記撮影条件を用いて、前記領域の実面積を算出することが好ましい。これにより、撮影画像に基づいて資材が施工された実面積を算出することができる。

・上記作業支援システムにおいて、前記制御部が、前記資材に応じた分割粗度を用いて、前記撮影画像を分割した分割画像を生成し、前記分割画像毎に、撮影された資材を特定することが好ましい。これにより、資材の認識精度を考慮して、資材領域を特定するための分割グリッドを生成することができる。

・上記作業支援システムにおいて、前記制御部が、前記実面積に基づいて、前記資材を用いた作業の進捗状況を、前記作業評価情報として算出することが好ましい。これにより、撮影画像に基づいて、作業の進捗状況を把握することができる。

・上記作業支援システムにおいて、前記制御部が、作業対象範囲の出来形マップにおける前記資材の実面積と、前記領域の実面積とを比較した評価結果を、前記作業評価情報として算出することが好ましい。これにより、模範画像との比較により、作業状況を把握することができる。

・上記作業支援システムにおいて、前記制御部が、作業対象範囲の出来形マップにおける画素毎の資材と、前記撮影画像において前記資材が撮影された領域とを比較し、一致しない資材の画素の位置情報を出力することが好ましい。これにより、資材の配置の的確性を確認することができる。

・上記作業支援システムにおいて、前記制御部が、前記作業対象範囲において特定した資材の面積を算出し、前記面積が判定閾値よりも小さい場合には、警告情報を出力することが好ましい。これにより、資材が配置された面積に基づいて、施工作業の的確性を確認することができる。

・上記作業支援システムにおいて、前記制御部が、前記実面積における、前記資材を用いた作業負荷を、前記作業評価情報として算出することが好ましい。これにより、効率的に作業負荷を予測することができる。

・上記作業支援システムにおいて、前記制御部が、前記撮影画像において、前記資材の劣化状況を特定し、更に、前記劣化状況に応じて、前記作業負荷を算出することが好ましい。これにより、資材の劣化を補修するための作業負荷を予測することができる。

・上記作業支援システムにおいて、前記制御部が、前記撮影画像において、前記作業の難易度を特定し、更に、前記難易度に応じて、前記作業負荷を算出することが好ましい。これにより、作業の難易度を考慮して作業負荷を予測することができる。

本発明によれば、構造物の施工現場における作業を支援することができる。

第１の実施形態における作業支援システムの説明図。 第１の実施形態における管理システムの各記憶部に記憶された情報の説明図であって、（ａ）は学習情報記憶部、（ｂ）は資材情報記憶部、（ｃ）は作業情報記憶部、（ｄ）は評価情報記憶部の説明図。 第１の実施形態における処理手順の説明図。 第１の実施形態における説明図であって、（ａ）は作業対象の建物、（ｂ）は撮影画像、（ｃ）は撮影条件の説明図。 第１の実施形態における撮影画像の説明図。 第２の実施形態における処理手順の説明図。 第２の実施形態における処理手順の説明図。 第２の実施形態における説明図であって、（ａ）撮影条件、（ｂ）撮影画像、（ｃ）は資材が異なるグリッドの説明図。

（第１の実施形態）
以下、図１～図５を用いて、建物（構造物）の施工現場において、作業面積に応じて見積り概算金額を算出する作業支援システム、作業支援方法及び作業支援プログラムを具体化した第１の実施形態を説明する。本実施形態では、既存建物の壁面を撮影し、この壁面における作業対象領域の面積を算出する。更に、この面積に応じて、補修作業（資材を用いた施工作業）の見積り概算金額を算出する。ここでは、壁面における作業対象として、特定の資材（例えば、建物の壁面に貼付された外壁タイル等）を用いる。

図１に示すように、本実施形態の作業支援システムは、ユーザ端末１０に接続された管理サーバ２０を含んで構成される。
ユーザ端末１０は、見積り概算金額を算出する担当者が用いるコンピュータ端末であり、カメラ１１、タッチパネルディスプレイ１２及び通信部１３を備える。

カメラ１１は、被写体を撮影する撮影部として機能する。本実施形態では、既存建物について、補修対象の領域（壁面）を撮影した撮影画像を生成する。
タッチパネルディスプレイ１２は、各種情報を入力するための入力部として機能するとともに、管理サーバ２０から取得した各種情報を出力するための出力部として機能する。

通信部１３は、タッチパネルディスプレイ１２に入力された情報を管理サーバ２０に送信するとともに、管理サーバ２０から各種情報を受信する。
管理サーバ２０は、担当者の作業を支援するためのコンピュータシステムである。この管理サーバ２０は、制御部２１、学習情報記憶部２２、資材情報記憶部２３、作業情報記憶部２４、評価情報記憶部２５を備えている。本実施形態では、資材情報記憶部２３、作業情報記憶部２４が管理情報記憶部として機能する。

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（作業支援段階、画像取得段階、資材予測段階、面積管理段階等の各処理）を行なう。そのための作業支援プログラムを実行することにより、制御部２１は、作業支援部２１１、画像取得部２１２、資材予測部２１３、面積管理部２１４として機能する。

作業支援部２１１は、ユーザ端末１０を用いた作業を支援する処理を実行する。
画像取得部２１２は、ユーザ端末１０のカメラ１１を用いて撮影された撮影画像を取得する処理を実行する。画像取得部２１２は、撮影画像において、画像歪を修正するための歪パターンを保持している。

資材予測部２１３は、撮影画像に含まれる各領域の資材を予測する処理を実行する。本実施形態では、ディープラーニングによって、撮影画像に含まれる資材を予測する。この資材予測部２１３は、分割粗度に応じて機械学習した推定モデルを用いて、撮影画像に含まれる資材を予測する。
面積管理部２１４は、撮影画像において補修作業対象の資材が写っている領域の面積を算出する処理を実行する。

図２（ａ）に示すように、学習情報記憶部２２には、資材の予測に用いる識別モデルデータ２２０が記録される。この識別モデルデータ２２０は、資材画像について学習を行なった場合に記録される。識別モデルデータ２２０は、分割粗度、識別モデルに関するデータを含んで構成される。

分割粗度データ領域には、撮影画像を複数のグリッドに分割する大きさ（画素数）に関するデータが記録される。
識別モデルデータ領域には、資材を認識するためのモデルであって、機械学習（ディープラーニング）における学習結果が記録される。この機械学習においては、ラベリング済みの教師データを用いて、被写体を判定するための識別モデルを生成する。識別モデルを用いることにより、未識別の被写体について、資材種別（資材コード）を予測する。

図２（ｂ）に示すように、資材情報記憶部２３には、補修対象の資材についての資材管理レコード２３０が記録されている。この資材管理レコード２３０は、補修対象となる資材が登録された場合に記録される。この資材管理レコード２３０は、資材コード、資材単価に関するデータを含んで構成される。

資材コードデータ領域には、各資材を特定するための識別子に関するデータが記録される。
資材単価データ領域には、この資材の単位面積当たりの価格（単価）に関するデータが記録される。

図２（ｃ）に示すように、作業情報記憶部２４には、補修対象の資材についての作業管理レコード２４０が記録されている。この作業管理レコード２４０は、補修に必要な作業が登録された場合に記録される。この作業管理レコード２４０は、資材コード、作業種別、作業単価に関するデータを含んで構成される。

資材コードデータ領域には、補修対象の各資材を特定するための識別子に関するデータが記録される。
作業種別データ領域には、各資材の補修のために必要な作業を特定するための識別子に関するデータが記録される。例えば、タイルの場合には、「貼り替え」等の作業内容が記録されている。
作業単価データ領域には、この作業に要する単位面積当たりの作業単価に関するデータが記録される。

図２（ｄ）に示すように、評価情報記憶部２５には、補修対象の資材についての評価管理レコード２５０が記録されている。この評価管理レコード２５０は、補修に必要な作業が登録された場合に記録される。この評価管理レコード２５０は、評価対象、評価日、資材、面積、概算金額に関するデータを含んで構成される。

評価対象データ領域には、補修作業を特定するための識別子に関するデータが記録される。
評価日データ領域には、概算金額を算出した年月日に関するデータが記録される。

資材データ領域には、補修対象の資材を特定するための識別子（資材コード）に関するデータが記録される。
面積データ領域には、補修対象領域の面積に関するデータが記録される。
概算金額データ領域には、補修作業の見積り概算金額に関するデータが記録される。

（見積もり概算処理）
次に、図３～図５を用いて、作業支援システムにおいて実行される見積もり概算処理について説明する。
ここでは、図４（ａ）に示すように、建物５０の壁面５１におけるタイル５２を補修する場合を想定する。
まず、図３に示すように、管理サーバ２０の制御部２１は、対象範囲の撮影処理を実行する（ステップＳ１－１）。具体的には、担当者は、ユーザ端末１０を用いて、補修対象の建物５０を撮影する。この場合、ユーザ端末１０は、通信部１３を介して、カメラ１１によって撮影された撮影画像を管理サーバ２０に送信する。そして、管理サーバ２０の制御部２１の画像取得部２１２は、ユーザ端末１０から撮影画像を取得する。
ここでは、図４（ｂ）に示す撮影画像５００を取得する。この撮影画像５００には、被写体として、建物５０の壁面５１におけるタイル５２の画像が含まれる。

次に、管理サーバ２０の制御部２１は、画像の歪み補正処理を実行する（ステップＳ１－２）。具体的には、制御部２１の画像取得部２１２は、歪パターンを用いて、撮影画像において、カメラ１１のレンズにより画像歪みを補正する。

次に、管理サーバ２０の制御部２１は、判定対象資材の選定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０のタッチパネルディスプレイ１２に、資材選択画面を出力する。この画面には、撮影画像において検出する資材の入力欄が設けられている。例えば、建物５０の壁面５１のタイル５２を補修する場合には、資材選択画面の入力欄に「タイル」を設定する。

次に、管理サーバ２０の制御部２１は、算定対象範囲の入力処理を実行する（ステップＳ１－４）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０のタッチパネルディスプレイ１２に、範囲入力画面を出力する。この範囲入力画面には、撮影場所から算定対象範囲（ここでは、被写体としての建物の壁面）までの距離、視線方向に対する被写体の角度及び被写体の幅長の撮影条件入力欄が設けられている。なお、撮影条件（距離、視角度及び幅長）については、３つの変数の内の２つを入力することにより、残りの１つの変数を算出するようにしてもよい。

図４（ｃ）は、建物５０を上から見た図である。ここでは、位置５５から壁面５１を撮影する場合を想定する。この場合、撮影条件入力欄に、撮影場所から算定対象範囲（被写体）までの距離Ｌ１、視線方向に対する算定対象範囲の角度ｒ１、算定対象範囲の幅長Ｌ２を入力する。

次に、管理サーバ２０の制御部２１は、分割粗度の特定処理を実行する（ステップＳ１－５）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０のタッチパネルディスプレイ１２に、分割粗度画面を出力する。この分割粗度画面には、撮影画像を分割するグリッドのサイズを設定するための入力欄が設けられている。例えば、比較的小さな領域で資材を認識できる場合には、分割粗度を小さくする。この場合には、撮影画像を分割するグリッドを小さくして、資材領域の端部においてもグリッドを対応させることができ、面積の算出時の誤差を小さくすることができる。一方、比較的大きな領域を用いることにより、的確に資材を認識できる場合には、分割粗度を大きくする。この場合には、資材領域の端部においてグリッドとのずれが大きくなり、面積の算出時の誤差は大きくなるが、資材の認識精度を向上させることができる。そして、作業支援部２１１は、分割粗度画面に入力された分割粗度を取得する。

次に、管理サーバ２０の制御部２１は、分割粗度に応じて推定モデルの選定処理を実行する（ステップＳ１－６）。具体的には、制御部２１の資材予測部２１３は、撮影画像を、指定された分割粗度に応じた画素数で構成されたグリッドで、撮影画像を分割する。そして、資材予測部２１３は、学習情報記憶部２２において、分割粗度に応じた推定モデルを選定する。

図５に示すように、撮影画像５００において、指定された分割粗度で、複数のグリッド５０１が生成される。そして、各グリッド５０１において、選定された推定モデルを用いて、各グリッド５０１に含まれる資材画像を推定する。

次に、管理サーバ２０の制御部２１は、画像に含まれる資材範囲の特定処理を実行する（ステップＳ１－７）。具体的には、制御部２１の資材予測部２１３は、撮影画像に含まれる各グリッドについて、推定モデルを用いて特定した推定資材と、ユーザ端末１０において指定された判定対象資材とを比較する。そして、推定資材と判定対象資材とが一致したグリッドを特定し、資材範囲を特定する。図５に示す撮影画像５００においては、グリッド５０２により資材範囲を構成する。

次に、管理サーバ２０の制御部２１は、算定対象面積の計算処理を実行する（ステップＳ１－８）。具体的には、制御部２１の面積管理部２１４は、特定した資材範囲のグリッド数を計数する。更に、面積管理部２１４は、範囲入力画面に入力された距離、視線方向に対する角度に基づいて、一つのグリッドの面積とグリッド数とを乗算することにより、判定対象資材の実面積（算定対象面積）を算出する。

次に、管理サーバ２０の制御部２１は、資材単価に基づく見積りの概算処理を実行する（ステップＳ１－９）。具体的には、制御部２１の作業支援部２１１は、資材情報記憶部２３から、判定対象資材の資材コードに関連付けられた資材単価を取得する。更に、作業情報記憶部２４から、判定対象資材の資材コード、作業種別に関連付けられた作業単価を取得する。そして、作業支援部２１１は、資材単価と作業単価との合計額に、算定対象面積を乗算することにより、補修の見積り概算金額（作業評価情報）を算出する。

次に、管理サーバ２０の制御部２１は、概算結果の出力処理を実行する（ステップＳ１－１０）。具体的には、制御部２１の作業支援部２１１は、評価対象、評価日、資材、面積、概算金額に関するデータを含めた評価管理レコード２５０を生成し、評価情報記憶部２５に記録する。更に、作業支援部２１１は、ユーザ端末１０のタッチパネルディスプレイ１２に、評価結果画面を出力する。この評価結果画面には、算出した作業見積りの概算金額を含める。

本実施形態によれば、以下のような効果を得ることができる。
（１－１）本実施形態では、管理サーバ２０の制御部２１は、対象範囲の撮影処理（ステップＳ１－１）、判定対象資材の選定処理（ステップＳ１－３）、画像に含まれる資材範囲（ステップＳ１－７）、算定対象面積の計算処理（ステップＳ１－８）を実行する。これにより、撮影画像に含まれる資材を特定し、この資材に基づいて、作業対象の面積を算出することができる。

（１－２）本実施形態では、管理サーバ２０の制御部２１は、資材単価に基づく見積りの概算処理（ステップＳ１－９）、概算結果の出力処理（ステップＳ１－１０）を実行する。これにより、作業対象の資材を考慮して、効率的に概算見積りを算出することができる。

（１－３）本実施形態では、管理サーバ２０の制御部２１は、画像の歪み補正処理を実行する（ステップＳ１－２）。これにより、カメラレンズの影響により、画像領域によっては画像に歪が生じることがあるが、画像歪を考慮して、的確な面積を算出することができる。

（１－４）本実施形態では、管理サーバ２０の制御部２１は、算定対象範囲の入力処理を実行する（ステップＳ１－４）。これにより、画像に含まれる被写体の絶対値を算出することができる。

（１－５）本実施形態では、管理サーバ２０の制御部２１は、分割粗度の特定処理（ステップＳ１－５）、分割粗度に応じて推定モデルの選定処理（ステップＳ１－６）を実行する。これにより、資材に応じて、面積の算出精度を調整することができる。

（第２の実施形態）
次に、図６～図８を用いて、作業支援システム、作業支援方法及び作業支援プログラムを具体化した第２の実施形態について説明する。上述した第１の実施形態においては、撮影画像を用いて、補修対象の面積を算出し、この面積に応じた補修費の見積り金額を概算する作業支援を行なう場合を説明した。本実施形態においては、資材を用いた作業として、出来形の確認に用いる場合を説明する。

ここでは、建物の室内（建築現場）の施工現場においては、ＬＧＳ（Light Gauge Steel：軽量鉄骨）、ＰＢ（石膏ボード）、ガラス、木材、金属パネル、制御盤、配管材、グラスウール、コンクリート等の資材が用いられる。そして、室内壁の施工時に室内を撮影し、出来形を確認する。
この場合、ユーザ端末１０のカメラ１１には、視野範囲が３６０度の全天球画像を撮影可能な全天球カメラを用いる。

更に、図６に示すように、作業情報記憶部２４には、出来形管理レコード２４１を記録する。この出来形管理レコード２４１は、出来形マップ登録処理を実行した場合に記録される。出来形管理レコード２４１には、工程コード、撮影範囲、分割粗度、確認方法、出来形マップに関するデータを含める。

工程コードデータ領域には、出来形を確認する工程を特定するための識別子に関するデータが記録される。
撮影範囲データ領域には、出来形の確認場所において、出来形を確認する撮影範囲を特定するためのデータが記録される。例えば、部屋の壁の出来形を撮影する場合には、部屋の幅、奥行き、高さに関するデータが記録される。

分割粗度データ領域には、撮影画像を複数のグリッドに分割する場合のサイズに関するデータが記録される。
確認方法データ領域には、資材を確認する場合の方法を特定するためのフラグに関するデータが記録される。本実施形態では、確認方法として、資材種別による確認又は資材面積による確認の何れかを用いる。このため、本実施形態では、資材面積による確認の場合には、確認方法データ領域に、面積確認フラグが記録される。
出来形マップデータ領域には、先行構築における天球画像（模範画像）に含まれる各被写体の資材の配置に関するデータが記録される。

（出来形マップ登録処理）
図６～図８を用いて、本実施形態の作業支援処理としての出来形マップ登録処理を説明する。
まず、出来形マップを作成するために、モデルルームの先行構築を行なう。この先行構築において、出来形を確認する必要がある各工程において、出来形マップ登録処理を実行する。

この出来形マップ登録処理において、まず、管理サーバ２０の制御部２１は、撮影方向の確認処理を実行する（ステップＳ２－１）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０に出来形を確認する部屋のサイズを入力するための撮影範囲設定画面を出力する。この撮影範囲設定画面には、出来形を確認する工程、部屋の幅、奥行き、高さに関する撮影範囲情報の入力欄を含める。そして、作業支援部２１１は、ユーザ端末１０において入力された撮影範囲情報を取得する。

図８（ａ）に示すように、部屋６０の幅Ｌ１１、奥行き長さＬ１２、高さＬ１３を撮影確認画面に入力する。そして、作業支援部２１１は、工程コードに関連付けて、入力された撮影範囲情報を作業情報記憶部２４に記録する。

次に、管理サーバ２０の制御部２１は、対象範囲の撮影処理を実行する（ステップＳ２－２）。具体的には、制御部２１の画像取得部２１２は、ユーザ端末１０に対して、撮影指示を出力する。この場合、ユーザ端末１０は、カメラ１１を用いて、部屋６０内を撮影した視野範囲３６０度の全天球撮影画像を生成する。そして、画像取得部２１２は、ユーザ端末１０から全天球撮影画像を取得する。

次に、管理サーバ２０の制御部２１は、ステップＳ１－５と同様に、分割粗度の特定処理を実行する（ステップＳ２－３）。更に、作業支援部２１１は、取得した分割粗度を、工程コードに関連付けて、作業情報記憶部２４の出来形管理レコード２４１に記録する。なお、分割粗度は、予め定められた固定値を用いるようにしてもよい。

次に、管理サーバ２０の制御部２１は、ステップＳ１－６と同様に、分割粗度に応じて推定モデルの選定処理を実行する（ステップＳ２－４）。
この場合、図８（ｂ）に示すように、撮影画像６００において、指定された分割粗度で、複数のグリッド６０１が生成される。ここでは、全天球画像において、撮影範囲情報で指定された幅、奥行き、高さの被写体（壁）を特定し、被写体画像を分割粗度で複数のグリッド６０１に分割する。

次に、管理サーバ２０の制御部２１は、資材判定処理を実行する（ステップＳ２－５）。具体的には、制御部２１の資材予測部２１３は、全天球撮影画像に含まれるグリッド毎に資材を特定する。

次に、管理サーバ２０の制御部２１は、出来形マップの作成処理を実行する（ステップＳ２－６）。具体的には、制御部２１の作業支援部２１１は、全天球撮影画像に基づいて、部屋モデルを生成し、この部屋モデルにおける各壁に対して、特定した資材を割り当てた出来形マップを生成する。

次に、管理サーバ２０の制御部２１は、工程に関連付けて出来形マップの記録処理を実行する（ステップＳ２－７）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０のタッチパネルディスプレイに、確認方法設定画面を出力する。この確認方法設定画面には、出来形において、資材種別の確認又は資材面積による確認の何れかを選択することができる。そして、作業支援部２１１は、確認方法設定画面に入力された確認方法を取得し、この確認方法（フラグ）を、先行工程の工程コードに関連付けて、生成した出来形マップとともに作業情報記憶部２４に記録する。

（出来形確認処理）
次に、図７を用いて、出来形確認処理を説明する。
ここでは、管理サーバ２０の制御部２１は、対象範囲の出来形マップの読み込み処理を実行する（ステップＳ３－１）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０のディスプレイに、確認工程入力画面を出力する。この確認工程入力画面には、出来形を確認する工程の入力欄が設けられている。そして、作業支援部２１１は、ユーザ端末１０において、入力された工程コードを取得し、作業情報記憶部２４から、取得した工程コードに関連付けられた出来形マップを取得する。

次に、管理サーバ２０の制御部２１は、撮影方向の確認処理を実行する（ステップＳ３－２）。具体的には、制御部２１の作業支援部２１１は、工程コードに関連付けられた撮影範囲情報を、作業情報記憶部２４から取得する。

次に、管理サーバ２０の制御部２１は、ステップＳ２－２と同様に、対象範囲の撮影処理を実行する（ステップＳ３－３）。
次に、管理サーバ２０の制御部２１は、ステップＳ２－３と同様に、分割粗度の特定処理を実行する（ステップＳ３－４）。具体的には、制御部２１の作業支援部２１１は、工程コードに関連付けられた分割粗度を、作業情報記憶部２４から取得する。

次に、管理サーバ２０の制御部２１は、ステップＳ２－４と同様に、分割粗度に応じて推定モデルの選定処理を実行する（ステップＳ３－５）。
次に、管理サーバ２０の制御部２１は、ステップＳ２－５と同様に、資材判定処理を実行する（ステップＳ３－６）。

次に、管理サーバ２０の制御部２１は、面積によるチェックが必要かどうかについての判定処理を実行する（ステップＳ３－７）。具体的には、制御部２１の作業支援部２１１は、作業情報記憶部２４において、この工程に対する面積確認フラグの記録の有無を確認する。面積確認フラグが記録されている場合には、面積によるチェックが必要と判定する。

面積確認フラグが記録されておらず、面積によるチェックは不要と判定した場合（ステップＳ３－７において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、グリッド毎に正誤判定処理を実行する（ステップＳ３－８）。具体的には、制御部２１の作業支援部２１１は、グリッド毎の資材が出来形マップに記録されている資材との一致を判定する。

一方、面積確認フラグが記録されており、面積によるチェックが必要と判定した場合（ステップＳ３－７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、判定対象資材範囲の面積の計算処理を実行する（ステップＳ３－９）。具体的には、制御部２１の作業支援部２１１は、ユーザ端末１０から取得した撮影範囲情報に基づいて、全天球撮影画像に含まれる各資材の面積を算出する。

次に、管理サーバ２０の制御部２１は、判定閾値との面積比較処理を実行する（ステップＳ３－１０）。具体的には、制御部２１の作業支援部２１１は、算出した各資材の面積を算出する。そして、作業支援部２１１は、出来形マップに登録されている資材の面積と比較して、判定閾値以上の差異がある場合には、誤りがあると判定する。

次に、管理サーバ２０の制御部２１は、誤っている部分があるかどうかについての判定処理を実行する（ステップＳ３－１１）。具体的には、制御部２１の作業支援部２１１は、ステップＳ３－８における資材の不一致がある場合や、ステップＳ３－１０において面積比較において判定閾値以上の差異がある場合には、誤っている部分があると判定する。

誤っている部分があると判定した場合（ステップＳ３－１１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、該当箇所の表示処理を実行する（ステップＳ３－１２）。具体的には、制御部２１の作業支援部２１１は、一致しない資材の画素（誤りがある資材領域）を全天球画像において表示した作業評価情報を生成し、ユーザ端末１０のタッチパネルディスプレイ１２に出力する。

この場合、図８（ｃ）に、出来形マップ登録処理時の撮影画像６００に対応した出来形確認処理時の撮影画像６１０を示す。この撮影画像６１０においては、簡略化のために、グリッド６１１のみを表示している。この撮影画像６１０では、指定された分割粗度で、複数のグリッド６１１が生成される。そして、識別できるように網掛け表示されたグリッド６１２において、一致しない資材を示している。

本実施形態によれば、以下のような効果を得ることができる。
（２－１）本実施形態では、管理サーバ２０の制御部２１は、出来形マップの作成処理を実行する（ステップＳ２－６）。これにより、先行構築により、効率的に模範情報を生成することができる。

（２－２）本実施形態では、出来形マップ登録処理において、管理サーバ２０の制御部２１は、撮影方向の確認処理（ステップＳ２－１）、分割粗度の特定処理（ステップＳ２－３）を実行する。この場合、工程コードに関連付けて、撮影範囲情報や分割粗度を作業情報記憶部２４に記録する。更に、出来形確認処理において、管理サーバ２０の制御部２１は、撮影方向の確認処理（ステップＳ３－２）、分割粗度の特定処理（ステップＳ３－４）を実行する。これにより、出来形マップ登録処理における条件を、出来形確認処理において用いることができる。

（２－３）本実施形態では、管理サーバ２０の制御部２１は、面積によるチェック必要かどうかについての判定処理を実行する（ステップＳ３－７）。面積によるチェックが不要と判定した場合（ステップＳ３－７において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、グリッド毎に正誤判定処理を実行する（ステップＳ３－８）。これにより、使用されている資材の種類に基づいて、的確な施工を判定することができる。

（２－４）本実施形態では、面積によるチェックが必要と判定した場合（ステップＳ３－７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、判定対象資材範囲の面積の計算処理（ステップＳ３－９）、判定閾値との面積比較処理（ステップＳ３－１０）を実行する。これにより、資材の使用量に基づいて、的確な施工を判定することができる。

（２－５）本実施形態では、誤っている部分があると判定した場合（ステップＳ３－１１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、該当箇所の表示処理を実行する（ステップＳ３－１２）。これにより、施工の間違いを指摘し、是正を促すことができる。

（２－６）本実施形態では、ユーザ端末１０のカメラ１１として、全天球画像を撮影可能なカメラを用いる。これにより、施工領域全体の画像を効率的に取得することができる。

また、上記実施形態は、以下のように変更してもよい。
・上記各実施形態においては、管理サーバ２０の制御部２１は、分割粗度に応じて推定モデルの選定処理を実行する。具体的には、制御部２１の資材予測部２１３は、撮影画像を、分割粗度画面において指定された分割粗度に応じた画素数で構成されたグリッドで、撮影画像を分割する。資材が配置された領域を特定する方法は、グリッドを用いる場合に限定されるものではない。例えば、撮影画像に含まれる被写体を分類するセグメンテーションや、撮影画像に含まれるエッジを用いて、撮影画像に含まれる被写体の範囲を特定するようにしてもよい。

・上記各実施形態においては、ユーザ端末１０及び管理サーバ２０を用いるが、ハードウェア構成はこれらに限定されるものではない。例えば、ユーザ端末１０に、管理サーバ２０が備える各種機能を設けるようにしてもよい。

・上記各実施形態においては、管理サーバ２０の制御部２１は、分割粗度の特定処理を実行する。ここで、分割粗度は、距離、資材の単位サイズに基づいて、制御部２１が選択するようにしてもよい。

・上記各実施形態においては、識別モデルを、機械学習（ディープラーニング）により生成する。識別モデルの生成方法は、ディープラーニングに限定されるものではない。例えば、一つの教師データに含まれる複数の特徴量をまとめたクラスタについて、特徴量の分布（ヒストグラム）からなる識別モデルを生成する。この識別モデルには、学習用画像のインデックス（被写体の種類）が付与される。そして、未識別の撮影画像に含まれる複数の特徴量を算出し、この特徴量の分布と識別モデルとの比較に基づいて、撮影画像に含まれる被写体を予測するようにしてもよい。

・上記第１の実施形態においては、管理サーバ２０の制御部２１は、画像に含まれる資材範囲の特定処理（ステップＳ１－７）、算定対象面積の計算処理（ステップＳ１－８）を実行する。ここでは、撮影画像に含まれる資材の面積を算定する。撮影画像に含まれる資材に基づいて面積を算出できるものであれば、算定対象資材が撮影されたすべての領域を算定対象範囲として特定する場合に限定されるものではない。例えば、資材の劣化状況に基づいて、面積を算出するようにしてもよい。具体的には、撮影画像において被写体として資材が撮影された領域を特定し、この資材領域において、算定対象状態の資材が含まれる面積を算出する。算定対象の状態としては、例えば、資材の劣化等がある。この劣化は、資材の状態（変色、割れ、汚れ等）を用いて評価することができる。また、資材の状態は、資材の表面だけではなく、資材の内側の状態に基づいて評価するようにしてもよい。例えば、タイルの壁面への付着状態によって、所定の波長光の反射率や吸収率が変化する。そこで、所定の波長の光線（例えば、赤外光）を用いて撮影した評価対象物の撮影画像において、内部状態を評価し、これにより作業範囲（算定対象範囲）を特定するようにしてもよい。

また、撮影画像に基づいて、見えない部分における施工状態を評価するようにしてもよい。例えば、撮影画像の前面の被写体の影になって隠れている構造物の状態を予測して、面積を算出するようにしてもよい。例えば、構造物の前面においてタイル貼りが施工されている場合、タイル貼りの配置に基づいて、構造物の側面のタイル貼りを機械学習により予測し、この予測に基づいて面積を算出する。

・上記第１の実施形態においては、管理サーバ２０の制御部２１は、算定対象範囲の入力処理を実行する（ステップＳ１－４）。また、上記第２の実施形態においては、管理サーバ２０の制御部２１は、撮影方向の確認処理を実行する（ステップＳ２－１）。面積の算出に必要な情報は、撮影条件に基づいて算出するようにしてもよい。例えば、撮影時の焦点距離を利用して、撮影画像に含まれる被写体までの距離や配置角度を算出するようにしてもよい。

また、予め大きさを把握している基準物を作業対象面に貼り付けて撮影し、撮影画像に写り込んだ基準物の大きさや形状に基づいて、撮影条件を特定するようにしてもよい。この場合、基準物の本来の大きさと撮影画像内における基準物画像の大きさとの比較に基づいて距離を算出することができる。また、基準物の本来の形状と基準物画像の形状との比較に基づいて、傾きを算出することができる。

・上記第１の実施形態においては、管理サーバ２０の制御部２１は、分割粗度に応じて推定モデルの選定処理（ステップＳ１－６）、画像に含まれる資材範囲の特定処理（ステップＳ１－７）を実行する。ここで、一つのグリッドにおいて複数の資材を特定した場合には、このグリッドに含まれる各資材の面積割合を算出し、資材範囲を特定するようにしてもよい。例えば、面積割合が基準値（例えば、半分）を超えている場合には、算定対象範囲に含める。また、面積割合の基準値を小さくすることにより、資材不足を抑制することができる。

・上記第１の実施形態においては、管理サーバ２０の制御部２１は、見積りの概算処理を実行する（ステップＳ１－９）。算定対象面積ではなく、資材の補修が必要な補修面積、補修の難易度に基づいた作業単価を用いてもよい。ここでは、作業情報記憶部２４に、この資材に対して複数の作業種別が記録されている場合には、ユーザ端末１０のタッチパネルディスプレイ１２に、作業種別確認画面を出力する。そして、作業支援部２１１は、作業種別確認画面に入力された作業種別に応じて、面積に乗算する単価を変更するようにしてもよい。例えば、難易度の高い作業種別に対しては、作業単価を高くする。また、資材の交換が必要でない作業については、資材単価を含めず、作業単価のみで概算見積りを算出する。

・上記第２の実施形態においては、ユーザ端末１０のカメラ１１には、全天球画像を撮影可能なカメラを用いる。周囲を撮影する手段は、全天球カメラに限定されるものではない。例えば、視野範囲が限られるカメラを回転させて、撮影画像を取得してもよい。そして、これらの撮影画像をつなぎ合わせたパノラマ画像を生成し、このパノラマ画像を用いる。

・上記第２の実施形態においては、管理サーバ２０の制御部２１は、対象範囲の出来形マップの読み込み処理を実行する（ステップＳ３－１）。この場合、ユーザ端末１０に、工程コードを入力する。これに代えて、撮影画像に含まれる資材の配置に基づいて、作業の進捗状況を特定するようにしてもよい。この場合には、出来形確認処理において撮影した撮影画像に含まれる資材種別や資材面積を特定し、この資材の配置や面積に最も近い出来形を作業情報記憶部２４から取得する。これにより、撮影画像に基づいて、進捗状況を予測することができる。

１０…ユーザ端末、１１…カメラ、１２…タッチパネルディスプレイ、１３…通信部、２０…管理サーバ、２１…制御部、２１１…作業支援部、２１２…画像取得部、２１３…資材予測部、２１４…面積管理部、２２…学習情報記憶部、２３…資材情報記憶部、２４…作業情報記憶部、２５…評価情報記憶部、５００，６００，６１０…撮影画像。

Claims (10)

1. 被写体を撮影した撮影画像を生成する撮影部と、
   分割粗度に応じた識別モデルが記録された学習情報記憶部と、
   資材を用いた作業を評価するための管理情報を記録した管理情報記憶部とに接続された制御部とを備えた作業支援システムであって、
   前記制御部が、
   前記撮影部から、作業現場の撮影画像、撮影条件を取得し、
   前記資材に応じた分割粗度を用いて、前記撮影画像を分割した分割画像を生成し、
   前記学習情報記憶部に記録された前記分割粗度に応じた識別モデルを用いて、前記分割画像毎に含まれる作業対象の資材を特定し、
   前記各分割画像において前記資材が撮影された各分割画像を特定し、前記各分割画像の撮影条件に応じて実面積を算出し、
   前記実面積及び前記管理情報記憶部に記録された管理情報に基づいて、前記資材を用いた作業の作業評価情報を算出することを特徴とする作業支援システム。
2. 前記制御部が、前記実面積に基づいて、前記資材を用いた作業の進捗状況を、前記作業評価情報として算出することを特徴とする請求項１に記載の作業支援システム。
3. 前記制御部が、作業対象範囲の出来形マップにおける前記資材の面積と、前記資材が撮影された分割画像の実面積とを比較した評価結果を、前記作業評価情報として算出することを特徴とする請求項１又は２に記載の作業支援システム。
4. 前記制御部が、作業対象範囲の出来形マップにおける画素毎の資材と、前記撮影画像において前記資材が撮影された領域とを比較し、一致しない資材の画素の位置情報を出力することを特徴とする請求項３に記載の作業支援システム。
5. 前記制御部が、前記作業対象範囲において特定した資材の面積を算出し、前記面積が判定閾値よりも小さい場合には、警告情報を出力することを特徴とする請求項４に記載の作業支援システム。
6. 前記制御部が、前記実面積における、前記資材を用いた作業負荷を、前記作業評価情報として算出することを特徴とする請求項１又は２に記載の作業支援システム。
7. 前記制御部が、前記撮影画像において、前記資材の劣化状況を特定し、
   更に、前記劣化状況に応じて、前記作業負荷を算出することを特徴とする請求項６に記載の作業支援システム。
8. 前記制御部が、前記撮影画像において、前記作業の難易度を特定し、
   更に、前記難易度に応じて、前記作業負荷を算出することを特徴とする請求項６又は７に記載の作業支援システム。
9. 被写体を撮影した撮影画像を生成する撮影部と、
   分割粗度に応じた識別モデルが記録された学習情報記憶部と、
   資材を用いた作業を評価するための管理情報を記録した管理情報記憶部とに接続された制御部とを備えた作業支援システムを用いて、作業状況を評価する作業支援方法であって、
   前記制御部が、
   前記撮影部から、作業現場の撮影画像、撮影条件を取得し、
   前記資材に応じた分割粗度を用いて、前記撮影画像を分割した分割画像を生成し、
   前記学習情報記憶部に記録された前記分割粗度に応じた識別モデルを用いて、前記分割画像毎に含まれる作業対象の資材を特定し、
   前記各分割画像において前記資材が撮影された各分割画像を特定し、前記各分割画像の撮影条件に応じて実面積を算出し、
   前記実面積及び前記管理情報記憶部に記録された管理情報に基づいて、前記資材を用いた作業の作業評価情報を算出することを特徴とする作業支援方法。
10. 被写体を撮影した撮影画像を生成する撮影部と、
    分割粗度に応じた識別モデルが記録された学習情報記憶部と、
    資材を用いた作業を評価するための管理情報を記録した管理情報記憶部とに接続された制御部とを備えた作業支援システムを用いて、作業状況を評価する作業支援プログラムであって、
    前記制御部を、
    前記撮影部から、作業現場の撮影画像、撮影条件を取得し、
    前記資材に応じた分割粗度を用いて、前記撮影画像を分割した分割画像を生成し、
    前記学習情報記憶部に記録された前記分割粗度に応じた識別モデルを用いて、前記分割画像毎に含まれる作業対象の資材を特定し、
    前記各分割画像において前記資材が撮影された各分割画像を特定し、前記各分割画像の撮影条件に応じて実面積を算出し、
    前記実面積及び前記管理情報記憶部に記録された管理情報に基づいて、前記資材を用いた作業の作業評価情報を算出する手段として機能させることを特徴とする作業支援プログラム。

Images