JP7487020B2 - 工事進捗状況管理システム、工事進捗状況管理方法 - Google Patents

Description

本発明は、工事進捗状況管理システム、工事進捗状況管理方法に関する。

現場管理業務において、作業プロセスは、例えば、作業日毎の施工数量が記録される。毎日の職長打ち合わせが行われることで日々の作業エリアが配分される。職長は、その配分された範囲を基本としながら、状況に応じて柔軟に施工を進めるよう管理する。
毎日の作業終了時に、専門工事業者ごとに作業日報を提出してもらうことで、当日の作業メンバーリストと当日に完了した作業内容とかかった工数（人数と早出残業時間）とを申告してもらう。
職長は、これらを受け取り、一日の終わりに日報に投入人工と完了数量（例えば、「５人日・５階Ａ工区柱５本完了」等）を手書きで記入して提出し、係員は、その紙をファイルに綴じ込む。このようにして、現場管理業務が行われている。
作業結果をコンピュータに入力することで、工程計画が適正であるかを検討可能なシステムも提案されている（例えば、特許文献１参照）。

特開２００４－０８６３７７号公報

しかしながら、作業結果は、日報を作成して提出してもらうことで把握される。そのため、申告された内容について把握することは可能であるが、申告されない内容については、把握することができない。例えば、朝から夕方まで作業があった場合には、その間において、作業者がいた場所や時間帯や移動したタイミング、滞在した時間等を詳細に日報に反映させるようにすると、日報の作成が煩雑であるだけでなく、作業者毎の行動を把握することが煩雑であり、精度に欠ける。そのため、作業内容について具体的に振り返りをしようとしても、検討材料が十分でない。
そのため、作業者の作業状況をより詳細にかつ、簡単に把握できることが望ましい。

本発明は、このような事情に鑑みてなされたもので、その目的は、作業者の作業状況をより詳細にかつ、簡単に把握できる工事進捗状況管理システム、工事進捗状況管理方法を提供することにある。

上述した課題を解決するために、本発明の一態様は、作業現場を撮影するカメラから得られる撮像画像を取得する撮像画像取得部と、三次元位置座標と工区名との関係を示す工区座標データを記憶する工区座標データ記憶部と、工区名と作業予定設置期間と作業名との関係を示す作業表データを記憶する作業表データ記憶部と、前記撮像画像から作業者を検出する作業者検出部と、前記工区座標データ記憶部を参照し、前記検出された作業者の三次元位置座標に対応する工区名がいずれであるかを判定する工区判定部と、前記作業表データ記憶部を参照し、前記判定された工区名と前記撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定する作業判定部と、前記撮像画像が撮像された時刻と前記工区名と前記作業名とを含む進捗データを出力する出力部と、前記撮像画像に含まれる作業者の画像に基づいて当該作業者を識別する作業者ＩＤを特定する作業者特定部と、前記特定された作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者が移動しているか否かを判定する移動判定部と、前記撮像画像に含まれる作業者の画像の外周に基づいて当該作業者の鉛直方向における長さを推定する身長推定部と、前記作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者の鉛直方向における前記推定された長さが変化する速度を求め、長さの増減の有無を判定する身長増減判定部と前記移動判定部の判定の結果と前記身長増減判定部の判定結果との組み合わせに基づいて、前記作業者の動作を分類する動作分類部と、を有し、前記出力部は、前記動作分類部によって分類された動作とともに前記進捗データを出力する工事進捗状況管理システムである。

また、本発明の一態様は、撮像画像取得部が、作業現場を撮影するカメラから得られる撮像画像を取得し、作業者検出部が、前記撮像画像から作業者を検出し、工区判定部が、三次元位置座標と工区名との関係を示す工区座標データを記憶する工区座標データ記憶部を参照し、前記検出された作業者の三次元位置座標に対応する工区名がいずれであるかを判定し、作業判定部が、工区名と作業予定設置期間と作業名との関係を示す作業表データを記憶する作業表データ記憶部を参照し、前記判定された工区名と前記撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定し、作業者特定部が、前記撮像画像に含まれる作業者の画像に基づいて当該作業者を識別する作業者ＩＤを特定し、移動判定部が、前記特定された作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者が移動しているか否かを判定し、身長推定部が、前記撮像画像に含まれる作業者の画像の外周に基づいて当該作業者の鉛直方向における長さを推定し、身長増減判定部が、前記作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者の鉛直方向における前記推定された長さが変化する速度を求め、長さの増減の有無を判定し、動作分類部が、前記移動判定部の判定の結果と前記身長増減判定部の判定結果との組み合わせに基づいて、前記作業者の動作を分類し、出力部が、前記動作分類部によって分類された動作とともに、前記撮像画像が撮像された時刻と前記工区名と前記作業名とを含む進捗データを出力する工事進捗状況管理方法である。

以上説明したように、この発明によれば、作業者の作業状況をより具体的にかつ、簡単に把握できる。

この発明の一実施形態による工事進捗状況管理システム１の構成を示す概略ブロック図である。 工区座標データ記憶部３０２１に記憶される工区座標データの一例を示す図である。 作業表データ記憶部３０２２に記憶される作業表データの一例を示す図である。 カメラ座標と作業者座標との関係を説明する図である。 動作分類ルールの一例を示す図である。 工事進捗状況管理システム１の動作を説明するフローチャートである。 表示データが表示された端末装置２０の表示画面の一例を示す図である。

以下、本発明の一実施形態による工事進捗状況管理システムについて図面を参照して説明する。図１は、この発明の一実施形態による工事進捗状況管理システム１の構成を示す概略ブロック図である。
工事進捗状況管理システム１は、カメラ１０と端末装置２０とが工事進捗状況管理装置３０に通信可能に接続される。

カメラ１０は、作業現場を撮像可能な位置に固定設置される。カメラ１０は固定的に設置され、この設置された位置（座標）と姿勢（仰俯角、水平方向における向き）は、予め把握可能（既知）である。カメラ１０は、作業現場を撮像した撮像画像を出力する。
カメラ１０は、撮像画像を、所定の間隔で出力する。例えばカメラ１０は、１秒当たりに決められたフレーム数に従って、撮像されたフレーム毎に撮像画像を出力する。
作業現場は、作業が行われる現場であり、例えば、建築現場、工事現場等であってもよい。
カメラ１０の台数は、１台であってもよいし、複数台であってもよい。

端末装置２０は、工事進捗状況管理装置３０から出力される各種データを表示する。端末装置２０は、液晶表示装置を内部または外部に有し、その液晶表示装置に各種データを表示させるようにしてもよい。また、端末装置２０は、外部に接続されるプロジェクタ等に各種データを表示するようにしてもよい。端末装置２０は、例えば、コンピュータであり、作業現場における現場事務所、詰所、現場を管理する管理会社のビル等のいずれに設けられてもよい。
また、端末装置２０として、スマートフォンまたはタブレットを用いるようにしてもよい。この場合、端末装置２０は、作業現場内の任意の位置で表示内容を確認することが可能であり、また、作業現場外においても表示内容を確認することが可能である。
また、端末装置２０には、キーボード、マウス、タッチパネル等の入力装置が設けられる。

工事進捗状況管理装置３０は、撮像画像取得部３０１、記憶部３０２、作業者特定部３０３、移動判定部３０４、移動工区判定部３０５、身長推定部３０６、身長増減判定部３０７、工区判定部３０８、作業判定部３０９、動作分類部３１０、入力部３１１、出力部３１２を含む。撮像画像取得部３０１、作業者特定部３０３、移動判定部３０４、移動工区判定部３０５、身長推定部３０６、身長増減判定部３０７、工区判定部３０８、作業判定部３０９、動作分類部３１０、入力部３１１、出力部３１２は、例えばＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成されてよい。

撮像画像取得部３０1は、カメラ１０によって作業現場が撮像された撮像画像を取得する。

記憶部３０２は、各種データを記憶する。記憶部３０２は、工区座標データ記憶部３０２１と、作業表データ記憶部３０２２、撮像画像記憶部３０２３、作業履歴記憶部３０２４とを含む。
工区座標データ記憶部３０２１は、三次元位置座標と工区名との関係を示す工区座標データを記憶する。この工区座標データを予め記憶しておくことで、事前に三次元位置座標と工区名の対応関係を定義することができる。工区座標データは、工区ＩＤ、工区名、工区の最小座標点（Ｘ軸方向における座標の最小値Ｘｍｉｎ，Ｙ軸方向における座標の最小値Ｙｍｉｎ,Ｚ軸方向における座標の最小値Ｚｍｉｎ）、工区の最大座標点（Ｘ軸方向における座標の最大値Ｘｍａｘ，Ｙ軸方向における座標の最大値Ｙｍａｘ,Ｚ軸方向における座標の最大値Ｚｍａｘ）、工区の設置期間（最小日付時刻、最大日付時刻）を含む。
工区の最小座標点と最大座標点の２点が対角となるようにして定められる矩形状の領域が三次元空間における工区の領域として定義される。また、工区の設置期間が定められていることで、工区の開始時刻（最小日付時刻）から終了時刻（最大日付時刻）を定義することができる。
ここでは、工区の空間が矩形状ではなく凹凸がある場合には、その凹凸形状を表現するために、工区名と同一として座標を定義するデータが複数行存在してもよい。

図２は、工区座標データ記憶部３０２１に記憶される工区座標データの一例を示す図である。この図では、工区座標データが三次元空間ではなく、水平面上である２次元空間において工区を定義する場合が一例として示されている。また、工区の設置期間については図示されていないが別途定義される。この図における工区座標データは、一例として、工区ＩＤと、工区名と、座標データとが対応付けられたデータである。すなわち、工区の設置期間がいずれであるかを識別しなくてもよい場合（明らかに特定の工区であることが特定できる場合等）には、工区の設置期間について定義されていなくてもよい。
工区ＩＤは、工区を個別に識別する識別情報である。工区名は、工区に付与された名称である。座標データは、作業現場における水平面上における位置座標を示す。例えば、地上面のみにおいて作業を行う場合や、１つのフロアにおける作業を行う場合には、高さ方向への移動がないため、ＸＹ平面座標における位置座標を用いることができる。また、座標データには、「ｌｏｗｘ」、「ｌｏｗｙ」、「ｈｉｇｈｘ」、「ｈｉｇｈｙ」が含まれており、工区の二次元領域における対向する２点の座標を示す。
「ｌｏｗｘ」と「ｌｏｗｙ」は、工区の最小座標点を示すことができ、対向する２点のうち、第１点について、水平面（ＸＹ平面）におけるＸ軸における座標（ｌｏｗｘ）とＹ軸における座標（ｌｏｗｙ）を表している。「ｈｉｇｈｘ」と「ｈｉｇｈｙ」は、工区の最大座標点を示すことができ、対向する２点のうち第２点について、水平面におけるＸ軸における座標（ｈｉｇｈｘ）とＹ軸における座標（ｈｉｇｈｙ）を表す。

次に、作業表データ記憶部３０２２は、工区名と作業予定設置期間と作業名との関係を示す作業表データを記憶する。この作業表データを予め記憶しておくことで、事前に工区名と作業予定設置期間と作業名との対応関係を定義することができる。
図３は、作業表データ記憶部３０２２に記憶される作業表データの一例を示す図である。この図において、一例としての作業表データは、工区ＩＤと、作業名と、開始時刻と、終了時刻と、工区名とが対応付けられたデータである。
作業名は、行われる作業の名称を示す。開始時刻は、作業を行う開始時刻（最小日付時刻）を示す。終了時刻は、作業を終了する時刻（最大日付時刻）を示す。作業予定設置期間は、この開始時刻と終了時刻とで示すことができる。
作業の中断と再開の予定を設置する場合には、作業名を同一として異なる作業予定設置期間を複数行設けるようにしてもよい。

撮像画像記憶部３０２３は、カメラ１０から得られた撮像画像を撮像時刻とともに記憶する。撮像時刻に基づくことで、撮像画像は、時系列順に把握することが可能である。

作業履歴記憶部３０２４は、作業履歴データを記憶する。作業履歴データは、作業者ＩＤと、時刻と、工区と、作業名と、動作分類と、作業者の位置とを対応づけたデータである。作業履歴データには、後述する「移動開始フラグ」と「移動終了フラグ」を対応づけて記憶することもできる。
撮像画像記憶部３０２３と作業履歴記憶部３０２４は、別の機能として図示しているが、撮像画像を作業履歴データに含めることで、作業履歴記憶部３０２４で構成するようにしてもよい。

また、記憶部３０２は、上記以外の各種データを記憶することもできる。
この記憶部３０２は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部３０２は、例えば、不揮発性メモリを用いることができる。

作業者特定部３０３は、撮像画像から作業者に該当する画像を検出し、検出された作業者の画像に基づいて当該作業者を識別する作業者ＩＤを特定する。例えば、作業者特定部３０３は、撮像画像から特徴量に基づいて作業者の画像を抽出し、その特徴量に基づいて、作業者を識別する。作業者を特定することができるのであれば、特徴量としては、どのようなデータを用いるようにしてもよいが、例えば、作業者の画像に含まれる色、形状、顔画像等を用いることができる。また、画像に作業者の名前が特定できる情報（ヘルメットに記載された氏名、作業服に取り付けられたネームプレート等）からテキストを抽出し、そのテキストデータを用いて氏名や社員番号等を特定し、これを特徴量として用いるようにしてもよい。また、画像に含まれる作業者の画像に基づいて、作業者の動き（歩き方、資材の持ち上げ方や下ろし方、等）を特徴量として抽出してもよい。このような特徴量は、予め作業者毎に抽出し、特徴量と作業者ＩＤとを対応付けて記憶部３０２に記憶しておき、これを作業者特定部３０３が参照するようにしてもよい。

また、作業者特定部３０３は、カメラ１０で取得された撮像画像から作業者を検出し、検出された作業者の画像を取り囲む図形を付与する。付与する図形としては、例えば、矩形状の枠である。
また、作業者特定部３０３は、矩形の枠を表す情報とカメラの座標／姿勢から、検出された作業者の現実世界でのＸＹＺ座標を推定する数値計算プログラムを実行することで、作業者の現実世界での座標における作業者の位置を示すＸＹＺ座標を推定する。
作業者特定部３０３は、撮像画像が得られる毎に、作業者の位置を順次推定することで、作業者の位置（ＺＹＺ座標）の時系列のデータを含む時系列位置データを生成する。
なお、作業者特定部３０３における作業者を検出する機能を、別の構成（例えばカメラ１０等）に設けるようにしてもよい。作業者特定部３０３は、作業者を検出した結果に基づいて作業者を識別するようにしてもよい。また、作業者特定部３０３における時系列値データ生成機能を別の構成として分けてもよい。

移動判定部３０４は、特定された作業者の撮像画像が撮像された時系列の履歴に基づいて、当該作業者が移動しているか否かを判定する。
また、移動判定部３０４は、作業者特定部３０３によって推定された作業者の時系列位置データに基づいて、同一の作業者ＩＤの２つの時系列位置データのそれぞれのＸＹＺ座標の間の距離と、時間間隔から移動速度を計算し、得られた移動速度が速度基準値を超えるか否かを判定し、得られた移動速度が速度基準値を超える場合には、当該時刻は「移動あり」、超えない場合には「移動なし」と判定する。

移動工区判定部３０５は、移動判定部３０４の判定結果において「移動あり」と判定された場合に移動工区判定処理を実行し、「移動なし」と判定された場合には、移動工区判定処理を行わない。移動工区判定部３０５は、移動工区判定処理を行う場合、時系列位置データの同一作業者ＩＤの連続した「移動あり」の期間を特定し、「移動あり」の連続が始まった時刻に対する「移動開始フラグ」に「Ｔｒｕｅ」を付与し、連続した「移動あり」から「移動なし」となった時刻の一つ前の時刻に対する「移動終了フラグ」に「Ｔｒｕｅ」を付与する。移動工区判定部３０５は、「Ｔｒｕｅ」を付与する時刻以外の時刻に対する移動開始フラグ及び移動終了フラグは全て「Ｆａｌｓｅ」を付与する。

身長推定部３０６は、撮像画像に含まれる作業者の画像の外周を取り囲む図形に基づいて当該作業者の鉛直方向における長さを推定する。
外周は、例えば、作業者の画像に内接するように付与される矩形の外周であってもよいし、作業者の画像そのものの外周（輪郭）を用いてもよい。この実施形態においては矩形の外周を用いる場合について説明する。矩形の外周を付与する機能は、一般的な画像処理を利用した検出機能であってもよい。

ここで、図４を用いて身長推定部３０６の機能についてさらに説明する。図４は、カメラ座標と作業者座標との関係を説明する図である。この図において、Ｘ軸は、紙面に向かって左右方向、Ｙ軸は紙面に向かって奥行き方向、Ｚ軸は紙面に向かって上下方向（高さ方向）であるとする。
身長推定部３０６は、撮像画像中の作業者の周囲に付された矩形の枠情報を用いて作業者の身長Ｈを推定する。例えば、身長推定部３０６は、矩形の枠で囲まれた領域の中心位置Ｗｐのピクセルを対象として、基準平面Ｚ＝０の座標（Ａ点）を計算する。より具体的には、実空間の座標において、カメラ１０が設置された位置の座標を（Ｘｃ,Ｙｃ,Ｚｃ）とし、実空間における作業者の下端（足下）から上端（頭頂部）までの長さＨの半分の位置Ｗ０における作業者腰部座標（Ｘｗ,Ｙｗ,Ｚｗ）とした場合、カメラ座標（Ｘｃ,Ｙｃ,Ｚｃ）から作業者の高さ方向における半分の位置（Ｚ＝Ｚｗ＝Ｈ／２）における座標（Ｘｗ,Ｙｗ,Ｚｗ）を通り、基準面（地上面あるいは床面）まで延長した場合の位置Ａにおける基準面上における座標を（Ｘａ,Ｙａ）とする。身長推定部３０６は、カメラ座標（Ｘｃ,Ｙｃ,Ｚｃ）から、カメラ１０によって撮像された画像から検出された矩形の枠の中心位置Ｗｐを求める。この中心位置Ｗｐの座標は、撮像画像の座標であるスクリーン座標における（ｕ,ｖ）とする。そして、このスクリーン座標における中心位置Ｗｐ（ｕ,ｖ）を三次元空間（実空間）におけるＺ軸における高さが０となるＸＹ平面に投影した場合における位置Ａ（Ｘａ,Ｙａ）を求める。ここでは、Ｚ＝０となるＸＹ平面とカメラ座標（Ｘｃ,Ｙｃ,Ｚｃ）とスクリーン座標系との関係を予め定義しておき、スクリーン座標系におけるスクリーン座標ＷｐをＸＹ平面に投影することで、位置Ａ（Ｘａ,Ｙａ）を求めることができる。
身長推定部３０６は、カメラ座標（Ｘｃ,Ｙｃ,Ｚｃ）と位置Ａとを結ぶ線分上に、実空間における作業者の身長半分の高さの点Ｗ０（Ｚ＝Ｚｗ＝Ｈ／２）があると仮定して、位置Ａ、カメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）、位置Ｃ（Ｘｃ，Ｙｃ）を結ぶ三角形と、位置Ａ、座標（Ｘｗ,Ｙｗ）、点Ｗ０を結ぶ三角形との相似から作業者腰部座標（Ｘｗ,Ｙｗ,Ｚｗ）を計算する。そして、作業者の足下に対応するＸＹ平面上の位置を示す足元座標（Ｘｗ,Ｙｗ,０）と、作業者の頭頂部の位置を示す頭頂部座標（Ｘｗ,Ｙｗ,Ｈ）とをスクリーン座標に投影し、スクリーン座標における矩形の枠内に収まるかを判定する。身長推定部３０６は、投影された点が矩形の枠内に収まる場合には、この仮定された身長を推定身長として決定する。収まらない場合には身長Ｈを減じて再度上記推定計算を実行する。

上述した作業者特定部３０３と身長推定部３０６との処理を、カメラ１０から順次得られる時系列の撮像画像を用い、少なくとも１秒に一度実行することで、撮像画像中の作業者の矩形の枠の情報と、作業者のＸＹＺ座標を取得することができる。これにより、「時系列位置データ」として、データ取得時刻、映像データファイル名、作業者ＩＤ、撮像画像中の矩形の枠（２Ｄ）の頂点の位置を示す位置座標（ｘ１，ｙ１，ｘ２，ｙ２）、現実空間における（３Ｄ）位置座標（Ｚｗ，Ｙｗ，０）、推定身長Ｈを含むデータを、所定の時間毎に（少なくとも１秒毎に）得ることができる。

身長増減判定部３０７は、作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者の鉛直方向における推定された長さが変化する速度を求め、長さの増減の有無を判定する。
身長増減判定部３０７は、同一の作業者ＩＤの時系列位置データにおいて、いずれか２つの時系列位置データが得られた時点のそれぞれの推定身長データと、時系列に基づく時間間隔とから、身長変化速度を計算し、身長基準値を超えているか否かを判定し、身長基準値を超えかつ増加している場合に当該時刻は身長が増加していることを示す「身長増加」であると判定し、身長基準値を超えかつ減少している場合には身長が減少していることを示す「身長減少」であると判定し、身長基準値を超えていない場合には身長の変化がないことを示す「身長変化なし」であると判定する。ここで、「身長増加」は、しゃがむ姿勢から立ち上がった場合に該当し、「身長減少」は、立っている姿勢からしゃがんだ姿勢となった場合に該当するものである。すなわち、身長の増減は、実際の身長が増減していなくてもよく、作業者の姿勢の変化に伴う、足下から頭頂部までの鉛直方向における距離の増減が把握できればよい。

工区判定部３０８は、工区座標データ記憶部３０２１を参照し、撮像画像から得られる作業者の実空間における位置を示すＸＹＺ座標に対応する工区名がいずれであるかを判定する。

作業判定部３０９は、作業表データ記憶部３０２２を参照し、工区判定部３０８によって判定された工区名と撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定する。

動作分類部３１０は、動作分類ルールに基づいて、移動判定結果ならびに身長変化判定結果をクロス判定することで、動作分類を付与する。図５は、動作分類ルールの一例を示す図である。このような動作分類ルールは記憶部３０２に記憶しておいてもよい。ここでは、移動判定部３０４において判定された結果として「移動あり」と「移動なし」の場合と、身長増減判定部３０７において判定された結果として「身長変化なし」、「身長減少」、「身長増加」との組み合わせに応じて、いずれの分類に該当する動作であるかを特定でききるようになっている。
動作分類部３１０は、この動作分類ルールを参照することで、移動判定部３０４において作業者の移動がないと判定された場合であって、身長増減判定部３０７によって判定された結果において当該作業者の推定された長さの増加があったと判定された場合には、当該作業者の動作について、立ち上がる動作として分類し、当該作業者の推定された長さの減少があったと判定された場合には、当該作業者の動作について、しゃがむ動作として分類し、当該作業者の推定された長さの変化がないと判定された場合には、停滞（上下方向のける姿勢の維持）であると分類する。また、動作分類部３１０は、この動作分類ルールを参照することで、移動判定部３０４において作業者の移動ありと判定された場合には、身長増減に関わらず、動作が移動であると分類する。

入力部３１１は、端末装置２０から入力される各種入力データを入力する。入力部３１１は、例えば、閲覧対象の期間を指定する期間指定データを取得する。

出力部３１２は、外部に各種データを出力する。例えば、出力部３１２は、表示データを端末装置２０に対して出力する。これにより、端末装置２０の表示画面に表示データを表示することができる。出力部３１２は、撮像画像が撮像された時刻と工区名と作業名とを含む進捗データ（表示データ）を出力する。出力部３１２は、動作分類部３１０によって分類された動作とともに進捗データ（表示データ）を出力することもできる。

また、出力部３１２は、前記作業現場の平面図に対して、期間指定データに対応する作業予定設置期間に応じた工区名を特定し特定された工区名に応じた工区情報をレイアウトするとともに、前記作業現場の平面図に対して、閲覧対象として選択された期間と作業判定部によって判定された作業名を、当該作業名の判定に用いられた撮像画像に基づいて特定される作業者の位置に基づいて前記平面図にレイアウトすることで得られる表示データを出力する。

また、出力部３１２は、期間指定データに対応する作業予定設置期間について、工区毎の作業者の人数と、一定時間毎の作業名とのうち、少なくともいずれか１つを表示データとともに出力する。

次に、上述した工事進捗状況管理システム１の基本的な動作について説明する。図６は、工事進捗状況管理システム１の動作の一例を説明するフローチャートである。ここでは、作業者の動作分類の判定、工区名の判定、作業名の判定、移動工区の判定等を行うことができれば、フローチャートにおける処理の順序は入れ替わっていてもよい。
カメラ１０は、作業現場を所定の時間毎に撮像し、撮像画像が得られる毎に、工事進捗状況管理装置３０に出力する（ステップＳ１０１）。
工事進捗状況管理装置３０の撮像画像取得部３０１は、カメラ１０から出力される撮像画像を順次取得する（ステップＳ１０２）。作業者特定部３０３は、取得された撮像画像に作業者に該当する画像を検出し（ステップＳ１０３）、作業者を識別することで作業者ＩＤを付与する（ステップＳ１０４）。ここで、ステップＳ１０４では作業者ＩＤを付与する場合について説明しているが、作業者を識別することで作業者ＩＤが得られれば付与しなくてもよい。また、ステップＳ１０３における作業者の検出結果を用いて作業者を識別することができればステップＳ１０４の処理を行わなくてもよい。
次に、作業者特定部３０３は、作業者に該当する画像を取り囲む矩形の枠情報を付与し（ステップＳ１０５）、作業者のＸＹＺ座標を推定する（ステップＳ１０６）。
作業者特定部３０３は、作業者ＩＤと撮像時刻とＸＹＺ座標が得られる毎に作業履歴記憶部３０２４に記憶する。

次に、移動判定部３０４は、推定された作業者のＸＹＺ座標の時系列の履歴に基づいて、この作業者が移動しているか否かを判定し（ステップＳ１０７）、判定結果を作業者ＩＤと移動の判定に用いられた撮像画像に関連づけて作業履歴記憶部３０２４に記憶する。
一方、身長推定部３０６は、作業者の画像を取り囲む矩形の枠に基づいて、当該作業者の身長を推定し（ステップＳ１０８）、推定結果を作業者ＩＤと身長の推定に用いられた撮像画像に対応付けて作業履歴記憶部３０２４に記憶する。身長が推定されると、身長増減判定部３０７は、推定された身長の時系列の履歴に基づいて、身長増大、身長減少、身長変化なしのいずれに該当するかを判定する（ステップＳ１０９）。判定結果については、判定に用いられた撮像画像に対応付けて作業履歴記憶部３０２４に記憶する。
動作分類部３１０は、移動判定の結果と、身長増減の判定結果に基づいて作業分類を判定し（ステップＳ１１０）、判定結果である作業分類を、作業分類に用いられた撮像画像と作業者ＩＤとに対応付けて作業履歴記憶部３０２４に記憶する。

次に、工区判定部３０８は、工区座標データ記憶部３０２１を参照し、作業者特定部３０３によって推定された作業者のＸＹＺ座標に対応する工区名がいずれであるかを判定する（ステップＳ１１１）。例えば、工区判定部３０８は、図２に示す工区座標データを参照し、作業者のＸＹＺ座標が、ｌｏｗｘ＝０,ｌｏｗｙ＝０,ｈｉｇｈｘ＝８０４０,ｈｉｇｈｙ＝８５３０の範囲に含まれる場合には、この作業者がいる工区名が「第１エリアＡ工区」であると判定する。そして工区判定部３０８は、工区名「第１エリアＡ工区」を作業者ＩＤとＸＹＺ座標とに対応づけて作業履歴記憶部３０２４に記憶する。

次に、作業判定部３０９は、作業表データ記憶部３０２２を参照し、工区判定部３０８によって判定された工区名と撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定する（ステップＳ１１２）。例えば、工区判定部３０８は、工区名が「第１エリアＡ工区」であるとして判定されており、撮像画像が撮像された時刻が、２０１８年９月８日１５時００分である場合には、開始時刻「２０１８／９／８ ０：００」から終了時刻「２０１８／０９／８ ２３：５９」の間に該当するため、作業名が「外壁貼り」であると判定する。そして作業判定部３０９は、ステップＳ１１２において判定された工区名「第１エリアＡ工区」に「外壁貼り」を対応付けて、作業履歴記憶部３０２４に記憶する。

次に、移動工区判定部３０５は、ステップＳ１０７において「移動あり」と判定されていた場合には、移動工区判定処理を行う（ステップＳ１１３）。移動工区判定部３０５は、時系列位置データの同一作業者ＩＤの連続した「移動あり」の期間を特定し、「移動あり」の連続が始まった時刻に対する「移動開始フラグ」に「Ｔｒｕｅ」を付与し、連続した「移動あり」から「移動なし」となった時刻の一つ前の時刻に対する「移動終了フラグ」に「Ｔｒｕｅ」を付与する。移動工区判定部３０５は、「Ｔｒｕｅ」を付与する時刻以外の時刻に対する移動開始フラグ及び移動終了フラグは全て「Ｆａｌｓｅ」を付与する。

出力部３１２は、平面図に対し、判定によって得られた工区名と作業名とを、当該平面図の座標の位置に応じた領域にレイアウトした表示データを端末装置２０に出力する（ステップＳ１１４）。

図７は、表示データが表示された端末装置２０の表示画面７００の一例を示す図である。
表示画面７００には、進捗状況を表示する対象の期間における工区名と工区の範囲（領域）とが建築現場における平面図に対して重ねられて表示される。
この図において、表示画面７００には、作業現場の平面図等が表示される背景領域７１０と、工程図が表示される工程図領域７２０と、カメラ１０によって撮像された撮像画像が表示される映像領域７３０と、統計データが表示される統計データ表示領域７４０と、が表示される。
背景領域７１０には、閲覧対象として選択された範囲の平面図等の図面を表示する。図面は、現実空間における座標系（ＸＹＺ座標）に合わせて表示する。すなわち、推定された作業者のＸＹＺ座標が平面図等の図面の対応する位置にプロットすることや、平面図におけるどの領域（作業エリア）に対応するかを特定できるようになっている。
この背景領域７１０には、平面図に重なるようにして、４つの工区（符号７１１、符号７１２、符号７１３、符号７１４）が異なる表示態様で表示されている。符号７１１に示す工区の領域内には、工区名「第１エリアＡ工区」が表示される。この工区名は、工区判定部３０８によって得られた工区名が表示される。さらに、符号７１１に示す工区の領域内のうち、推定された作業者のＸＹＺ座標の履歴によって示される各位置を内接するように囲まれた作業範囲（符号７１１ａ）が工区の領域とは異なる表示態様で表示されている。これにより、平面図を元に、作業が行われた当日における各工区の名称とその範囲、および作業者が移動した範囲を直感的に簡単に把握することができる。また、作業者のＸＹＺ座標の時系列の経過に基づくことで、作業者が作業エリアのうち、西側において作業を開始し、時間の経過とともに東側に移動しつつ作業を行った、等の履歴も把握することができる。
工程図領域７２０には、閲覧対象として選択した期間を含む、現場管理者と作業者とが作業計画の合意に用いた工程図が表示される。この工程図は、記憶部３０２に予め記憶されており、閲覧対象として選択された期間を含む工程図が読み出されて表示される。
映像領域７３０には、閲覧対象として選択された期間を含む、カメラ１０において撮像された撮像画像が時系列に従って動画のように表示される。
統計データ表示領域７４０には、閲覧対象として選択された期間を含む、統計情報を表示する。統計情報としては、例えば、工区ごとの人数の推移、一定時間ごとの作業名構成、などである。

また、表示画面において、作業者の動作分類の時系列データを表示するようにしてもよい。例えば、入力部３１１から入力される期間指定データに基づいて、出力部３１２が、この期間指定データによって指定される期間において、作業者がしゃがんだ回数、しゃがんでいる時間等を求めた上で、作業者毎に表示するようにしてもよい。

以上説明したように、撮像画像に基づいて、作業者の位置を推定し、その推定された位置に基づいて、工区名と作業名を特定し、表示データに含むようにして表示するようにした。これにより、従来の日報管理では把握できなかった作業プロセスが閲覧可能となる。
また、従来の工程管理業務におけるＰＤＣＡ（ｐｌａｎ－ｄｏ－ｃｈｅｃｋ－ａｃｔ）サイクルにおいて、このインタフェースを用いることで、円滑な合意形成を図ることが可能となる。

また、上述した実施形態によれば、作業者がどの作業エリアにいたかについて簡単に把握することができるとともに、作業エリアのどの位置にどの程度の時間滞在したあと、どのような移動ルートを通り、次の作業を行ったかなど、作業状況をより詳細に把握することができる。例えば、「５人日・５階Ａ工区柱５本完了」という作業終了時点の施工数量が、朝から夕方までどのように達成されていったかをあとから類推できるようなデータを生成することもできる。この生成されたデータを参照することで、「Ａ工区内移動領域」という位置変化を１時間毎にヒートマップ表示して柱が東側から順当につけられたのかイレギュラーな順序になっていたのか、等を把握することも可能となる。

例えば、上述した実施形態によれば、例えば、作業者がＡ作業とＢ作業を行った場合であっても、それら作業の作業時間がそれぞれどの程度であったか、また、各々の作業時間の合計だけでなく、移動を伴い交互に作業した切り替わりタイミング等も把握できることができる。これを参考にすることで、作業効率がよいか否か、作業効率の向上のための検討等をすることができる。また、カメラ１０によって撮像された画像を用いて作業の進捗を把握するようにしたので、作業日報等において申告されなかった内容も取り込むことが可能となり、これにより、振り返りをする検討材料となる情報を広く収集でき、また、より精度のよい情報を収集することができる。

また、上述した実施形態によれば、作業の進捗・プロセスを従来よりも詳細に把握することができるため、詳細を振り返って遅延の発生原因を発見する手がかりとして用いることもできる。例えば、移動したりしゃがんだりする動作のタイミング、場所、頻度から今日の何時何分にどこでどのような作業が行われていたかを振り返る材料として用いることが可能となり、現場の次工程の改善につなげることもできる。

上述した実施形態における工事進捗状況管理装置３０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…工事進捗状況管理システム，１０…カメラ，２０…端末装置，３０…工事進捗状況管理装置，３０１…撮像画像取得部，３０２…記憶部，３０３…作業者特定部，３０４…移動判定部，３０５…移動工区判定部，３０６…身長推定部，３０７…身長増減判定部，３０８…工区判定部，３０９…作業判定部，３１０…動作分類部，３１１…入力部，３１２…出力部，３０２１…工区座標データ記憶部，３０２２…作業表データ記憶部，３０２３…撮像画像記憶部，３０２４…作業履歴記憶部

Claims (5)

1. 作業現場を撮影するカメラから得られる撮像画像を取得する撮像画像取得部と、
   三次元位置座標と工区名との関係を示す工区座標データを記憶する工区座標データ記憶部と、
   工区名と作業予定設置期間と作業名との関係を示す作業表データを記憶する作業表データ記憶部と、
   前記撮像画像から作業者を検出する作業者検出部と、
   前記工区座標データ記憶部を参照し、前記検出された作業者の三次元位置座標に対応する工区名がいずれであるかを判定する工区判定部と、
   前記作業表データ記憶部を参照し、前記判定された工区名と前記撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定する作業判定部と、
   前記撮像画像が撮像された時刻と前記工区名と前記作業名とを含む進捗データを出力する出力部と、
   前記撮像画像に含まれる作業者の画像に基づいて当該作業者を識別する作業者ＩＤを特定する作業者特定部と、
   前記特定された作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者が移動しているか否かを判定する移動判定部と、
   前記撮像画像に含まれる作業者の画像の外周に基づいて当該作業者の鉛直方向における長さを推定する身長推定部と、
   前記作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者の鉛直方向における前記推定された長さが変化する速度を求め、長さの増減の有無を判定する身長増減判定部と
   前記移動判定部の判定の結果と前記身長増減判定部の判定結果との組み合わせに基づいて、前記作業者の動作を分類する動作分類部と、を有し、
   前記出力部は、前記動作分類部によって分類された動作とともに前記進捗データを出力する
   工事進捗状況管理システム。
2. 前記動作分類部は、
   前記作業者の移動がなく当該作業者の推定された長さの増加があった場合には立ち上がる動作として分類し、前記作業者の移動がなく、当該作業者の推定された長さの減少があった場合にはしゃがむ動作として分類する
   請求項１に記載の工事進捗状況管理システム。
3. 閲覧対象の期間を指定する期間指定データを取得する期間指定データ取得部を有し、
   前記出力部は、
   前記作業現場の平面図に対して、前記期間指定データに対応する作業予定設置期間に応じた工区名を特定し特定された工区名に応じた工区情報をレイアウトするとともに、
   前記作業現場の平面図に対して、閲覧対象として選択された期間と作業判定部によって判定された作業名を、当該作業名の判定に用いられた撮像画像に基づいて特定される作業者の位置に基づいて前記平面図にレイアウトすることで得られる表示データを出力する
   請求項１または請求項２に記載の工事進捗状況管理システム。
4. 前記出力部は、
   閲覧対象の期間を指定する期間指定データに対応する作業予定設置期間について、工区毎の作業者の人数と、一定時間毎の作業名とのうち、少なくともいずれか１つを表示データとともに出力する
   請求項１から請求項３のうちいずれか１項に記載の工事進捗状況管理システム。
5. 撮像画像取得部が、作業現場を撮影するカメラから得られる撮像画像を取得し、
   作業者検出部が、前記撮像画像から作業者を検出し、
   工区判定部が、三次元位置座標と工区名との関係を示す工区座標データを記憶する工区座標データ記憶部を参照し、前記検出された作業者の三次元位置座標に対応する工区名がいずれであるかを判定し、
   作業判定部が、工区名と作業予定設置期間と作業名との関係を示す作業表データを記憶する作業表データ記憶部を参照し、前記判定された工区名と前記撮像画像が撮像された時刻との組み合わせに対応する作業名がいずれであるかを判定し、
   作業者特定部が、前記撮像画像に含まれる作業者の画像に基づいて当該作業者を識別する作業者ＩＤを特定し、
   移動判定部が、前記特定された作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者が移動しているか否かを判定し、
   身長推定部が、前記撮像画像に含まれる作業者の画像の外周に基づいて当該作業者の鉛直方向における長さを推定し、
   身長増減判定部が、前記作業者の撮像画像が撮像された時系列の履歴に基づいて当該作業者の鉛直方向における前記推定された長さが変化する速度を求め、長さの増減の有無を判定し、
   動作分類部が、前記移動判定部の判定の結果と前記身長増減判定部の判定結果との組み合わせに基づいて、前記作業者の動作を分類し、
   出力部が、前記動作分類部によって分類された動作とともに、前記撮像画像が撮像された時刻と前記工区名と前記作業名とを含む進捗データを出力する
   工事進捗状況管理方法。

Images