JP7510768B2 - 工程判別システム、及び工程判別方法 - Google Patents

Description

特許法第３０条第２項適用 ・令和元年度土木学会全国大会講演概要集（令和１年８月１日） ・令和元年度土木学会全国大会の発表（令和１年９月５日） ・建設機械施工１月号の掲載（令和２年１月２５日） ・株式会社安藤・間のウェブサイトに掲載（令和１年１０月１０日） ・建設通信新聞の掲載（令和１年１０月１１日） ・日刊建設産業新聞の掲載（令和１年１０月１１日） ・日刊建設工業新聞の掲載（令和１年１０月１１日）

本願発明は、建設現場を撮影した動画等から個別工程を判別する技術に関するものであり、より具体的には、２種類の学習済みモデルを用いて画像認識及びオブジェクト識別を行うことによって個別工程を判別する工程判別システムとこれを用いた工程判別方法に関するものである。

我が国の国土は、およそ２／３が山地であるといわれており、そのため道路や線路など（以下、「道路等」という。）は必ずといっていいほど山地部を通過する区間がある。この山地部で道路等を構築するには、斜面の一部を掘削する切土工法か、地山の内部をくり抜くトンネル工法のいずれかを採用するのが一般的である。トンネル工法は、切土工法に比べて施工単価（道路等延長当たりの工事費）が高くなる傾向にある一方で、切土工法よりも掘削土量（つまり排土量）が少なくなる傾向にあるうえ、道路等の線形計画の自由度が高い（例えば、ショートカットできる）といった特長があり、これまでに建設された国内のトンネルは１０，０００を超えるといわれている。

山岳トンネルの施工方法としては、昭和５０年代までは鋼アーチ支保工に木矢板を組み合わせて地山を支保する「矢板工法」が主流であったが、現在では地山強度を積極的に活かすＮＡＴＭ（Ｎｅｗ Ａｕｓｔｒｉａｎ Ｔｕｎｎｅｌｌｉｎｇ Ｍｅｔｈｏｄ）が主流となっている。ＮＡＴＭは、地山が有する強度（アーチ効果）に期待する設計思想が主な特徴であり、そのため従来の矢板工法に比べトンネル支保工の規模を小さくすることができ、しかも施工速度を上げることができることから施工コストを減縮することができる。

また我が国におけるＮＡＴＭは、本格的に実施されて以来、飛躍的に掘削技術が進歩しており、種々の補助工法が開発されることによって様々な地山に対応することができるようになり、さらに掘削機械（特に、自由断面掘削機）の進歩によって発破掘削のほか機械掘削も選択できるようになった。この機械掘削は、掘削断面積や線形にもよるものの一般的には比較的低い強度（例えば、一軸圧縮強度が４９Ｎ／ｍｍ^２以下）の地山に対して採用されることが多く、一方、対象地山に岩盤が存在する場合はやはり発破掘削が採用されることが多い。

ここでＮＡＴＭによる掘削手順について簡単に説明する。はじめに、トンネル切羽の掘削を行う。発破掘削の場合は、ドリルジャンボによって削孔して火薬（ダイナマイト）を装填し、作業員と機械が退避したうえで発破する。一方、機械掘削の場合は、自由断面掘削機によってトンネル切羽を切削していく。１回（１サイクル）の掘削進行長（１スパン長）は地山の強度に応じて設定される支保パターンによって異なるが、一般的には１．０～２．０ｍのスパン長で掘削が行われる。１スパン長の掘削を行うと、不安化した地山部分（浮石など）を落とす「こそく」を行いながらダンプトラック（あるいはレール工法）によってずりを搬出（ずり出し）する。そしてずり出し後に、鏡吹付けや１次コンクリート吹付けを行ったうえで必要に応じて（支保パターンによって）鋼製支保工を建て込み、２次コンクリート吹付けを行った後にロックボルトの打設を行う。なお、１次コンクリート吹付けと２次コンクリート吹付けは、掘進したスパン長分、すなわち素掘り部分のトンネル内周面（側壁から天端にかけた周面）に対して行われる。

このようにＮＡＴＭは、削岩（例えば、切羽削孔～発破）、ずり出し、鋼製支保工建て込み、コンクリート吹付け、ロックボルト打設といった一連の工程（以下、便宜上ここでは「個別工程」という。）を繰り返し行うことによって、１スパン（１．０～２．０ｍ）ずつ掘進していく工法である。そしてこれら一連の個別工程の流れは「掘削サイクル」と呼ばれ、また１の掘削サイクルをタイムテーブルで表したものを「サイクルタイム」と呼んでいる。掘削サイクルを構成する各個別工程はそれぞれクリティカルパスとなっており、これらの個別工程にかかる時間を把握し、サイクルタイムを分析することは、トンネル掘削の効率化にとって極めて重要である。すなわち、サイクルタイムを分析することによって、トンネル掘削における無理や無駄を把握することができ、その結果、実績に基づく適切な原価管理と工程管理を行うことができるようになるわけである。そのため、多くのトンネル掘削現場でサイクルタイムの調査が実施されている。

従来、サイクルタイムの調査を行う、つまり個別工程（削岩、ずり出し、鋼製支保工建て込み、コンクリート吹付け、ロックボルト打設）ごとに施工時間を計測するにあたっては、トンネル周辺にいる調査者が目視観察を行いながらストップウォッチなどでその時間を計測して野帳等に記録していた。しかしながら、トンネル掘削における各個別工程を判別するには相当の専門知識が求められるうえ、さらに建設業界における近年の人手不足を考えると、サイクルタイム調査のためトンネル切羽に調査者を常時配置することは難しく、ましてやトンネル掘削は昼夜２交代制で行われることが多く、この手法で夜勤番を含めたサイクルタイムを把握することは現実的とはいい難い。

そこで、トンネル切羽に調査者を配置することなく、サイクルタイムを自動取得することが考えられる。例えば、重機にＩＣタグ（ＲＦＩＤなど）を取り付け、そのＩＣタグからのログ情報を取得すれば、サイクルタイムを自動取得することができる。しかしながら、このようにＩＣタグを利用する手法では、実際に稼働する重機等に新たな設備を設ける必要があり、モデル現場では実施することができたとしても、すべてのトンネル掘削現場に適用するとなるとその設置費やメンテナンスなどの面から容易ではない。

またサイクルタイムを自動取得する手法としては、画像を利用することも考えられる。つまり、トンネル切羽を撮影した映像や画像を自動認識することによってトンネル切羽での作業状況（個別工程の別）を把握するとともに、撮影時間に基づいて当該作業にかかった時間を把握することができるわけである。近年のトンネル掘削工事では、トンネル切羽を監視するための「切羽監視カメラ」を常設するのが一般的となっており、この切羽監視カメラを利用すればサイクルタイムの自動取得のために新たな設備等を用意する必要がなく、この点においても効率的である。

例えば特許文献１では、トンネル切羽で稼働している作業機械を撮影した動画を用いてディープラーニング（機械学習）を行い、作業段階（発破削孔やロックボルト打設など）を判定するとともに、各作業段階における注意事項などを提示する技術について提案している。

特開２０１７－１１７１４７号公報

特許文献１に開示される技術のように、ディープラーニングをはじめとする人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用することで画像から各個別工程を自動認識することができれば、サイクルタイム調査のためトンネル切羽に調査者を常時配置することが回避でき、しかも昼夜２交代制であっても長時間にわたってサイクルタイムを調査することができて好適となる。

しかしながら、トンネル切羽のように狭隘な建設現場を撮影した画像から、人工知能（特に画像認識技術）を利用して正確に各個別工程を判別することは極めて困難である。なぜなら、狭隘な建設現場であるが故に取得される画像のうちほとんどを建設機械が占めることとなり、そして異なる個別工程であっても同じ建設機械が使用されるからである。例えば、削岩工程とロックボルト打設工程では同じドリルジャンボが使用され、鋼製支保工建込工程とコンクリート吹付け工程では同じエレクタ吹付け機が使用される（鋼製支保工建込工程でもドリルジャンボが使用されることもある）。そのため、画像認識技術により個別工程を判別しようとすると、建設機械の判別を行うにとどまり、各個別工程を正確に判別することまではできない。すなわち、削岩工程とロックボルト打設工程との区別、鋼製支保工建込工程とコンクリート吹付け工程との区別ができないわけである。

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、同一の建設機械が異なる個別工程で使用されるケースであっても、これら異なる個別工程を判別することができる工程判別システムとこれを用いた工程判別方法を提供することである。

本願発明は、２種類の学習済みモデルを用いて画像認識を行うとともにオブジェクト識別を行うことによって個別工程を判別する、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

本願発明の工程判別システムは、複数の異なる個別工程が交代制で行われる建設現場を撮影した動画や連続静止画（以下、「動画等」という。）を構成する単画像に収められた個別工程を判別するシステムであり、大分類手段と細分類手段を備えたものである。このうち大分類手段は、機械学習により構築された「第１の学習済みモデル」を用いた画像認識を行うことによって、単画像を機械別分類に分類する手段である。一方の細分類手段は、機械学習により構築された「第２の学習済みモデル」を用いたオブジェクト識別を行うことによって、単画像を個別工程に分類する手段である。なお、異なる個別工程であっても使用する建設機械が共通する個別工程は、同一の機械別分類とされる。また細分類手段は、単画像に対して分類された機械別分類が複数の異なる個別工程を含んで構成されるとき、この機械別分類ごとに用意されたオブジェクトを画像から識別することによって、個別工程に分類する。

本願発明の工程判別システムは、トンネル掘削中の切羽を撮影した動画等を用いて個別工程を判別するものとすることもできる。この場合、切羽削孔工程とロックボルト工程からなる「削孔系分類」とコンクリート吹付工程と鋼製支保工建込工程からなる「支保系分類」を機械別分類に設けたうえで、単画像が削孔系分類に分類されたとき削孔系分類に用意されたオブジェクトを用いて切羽削孔工程かロックボルト工程のいずれかに分類するとともに、単画像が支保系分類に分類されたとき支保系分類に用意された前記オブジェクトを用いてコンクリート吹付工程か鋼製支保工建込工程のいずれかに分類するものとすることもできる。また、発破工程のみからなる「発破分類」とずり出し工程のみからなる「ずり出し分類」を機械別分類に設けたうえで、単画像が発破分類に分類されたとき発破工程に分類するとともに、単画像がずり出しに分類されたときずり出し工程に分類するものとすることもできる。

本願発明の工程判別システムは、動作検知手段をさらに備えたものとすることもできる。この動作検知手段は、時間的に連続する複数の単画像を用いて動態検知を行う手段である。この場合、細分類手段は、動作検知手段が前後の単画像間で動作を検知しないときに、その単画像を「休止工程（トンネル切羽で作業が行われていない工程）」に分類する。

本願発明の工程判別システムは、適否判定手段をさらに備えたものとすることもできる。この適否判定手段は、単画像に対して分類された個別工程が、単画像を基準とする「一定期間」内に分類された個別工程のうち最頻出の前記個別工程であって、しかもこの一定期間内に分類されたすべての個別工程のうち所定の割合を超えるとき、細分類手段によって分類された個別工程を適正として判定する手段である。また適否判定手段は、単画像に対して分類された個別工程に先行する個別工程が、当該単画像から遡った「所定期間」に得られた単画像のうち所定期間以上にわたる単画像に対して分類されたとき、細分類手段によって分類された個別工程を適正として判定することもできる。

本願発明の工程判別システムは、分類不能画像（個別工程の分類が不能とされた画像）の前後の画像が同一の個別工程に分類されたとき、この分類不能画像も前後と同じ個別工程に分類するものとすることもできる。

本願発明の工程判別方法は、本願発明の工程判別システムを用いて個別工程を判別する方法であり、撮影工程と大分類工程、細分類工程を備えた方法である。このうち撮影工程では建設現場の撮影を行い、大分類工程では、本願発明の工程判別システムを用いて単画像を機械別分類に分類し、細分類工程では本願発明の工程判別システムを用いて単画像を個別工程に分類する。

本願発明の工程判別方法は、トンネル掘削中の切羽を撮影した動画等を用いて個別工程を判別する方法とすることもできる。画像に対して分類された個別工程が、単画像を基準とする一定期間内に分類された個別工程のうち最頻出の前記個別工程であって、しかもこの一定期間内に分類されたすべての個別工程のうち所定の割合を超えるとき、細分類手段によって分類された個別工程を適正として判定する手段である。

本願発明の工程判別システム、及び工程判別方法には、次のような効果がある。
（１）同一の建設機械が異なる個別工程で使用されるケースであっても、これら異なる個別工程を判別することができる。
（２）建設現場にサイクルタイム調査者を常時配置することなく、しかも昼夜２交代制であっても長時間にわたってサイクルタイムを調査することができる。
（３）適正なサイクルタイム分析を行うことができるため、トンネル掘削における無理や無駄を把握することができ、その結果、実績に基づく適切な原価管理と工程管理を行うことができる。
（４）個別工程を判別するために２段階で学習モデルを利用することから各学習モデルにかかる負担が軽減され、したがって従来の画像認識技術等に比して機械学習に用いる教師データの数を大幅に低減することができる。
（５）一度形成された工程判別システムは、簡易なチューニングを実行するだけで、他の建設現場でも利用することができる。

動画や連続静止画を構成する単画像を模式的に示すモデル図。 トンネル切羽で火薬装填のための削孔を行っている状況を撮影した対象単画像から、切羽削孔用オブジェクトとして検出された「火薬運搬車」を示すモデル図。 本願発明の工程判別システムの主な構成を示すブロック図。 本願発明の工程判別システムの主な処理の流れを示すフロー図。 トンネル掘削工事を対象とした場合の工程判別システムの主な処理の流れを示すフロー図。 トンネル切羽でロックボルトのための削孔を行っている状況を撮影した対象単画像から、オブジェクトとして検出された「ドリフタ」を示すモデル図。 トンネル切羽でコンクリート吹付けを行っている状況を撮影した対象単画像から、オブジェクトとして検出された「アジテータ車」を示すモデル図。 トンネル切羽で鋼製支保工の建て込みを行っている状況を撮影した対象単画像から、オブジェクトとして検出された「エレクタ」を示すモデル図。 動作検知の処理を行ったうえで個別工程を判別する場合の主な処理の流れを示すフロー図。 頻度判定を説明するモデル図。 前工程判定を説明するモデル図。 分類不能とされた単画像の個別固定を推定する手法を説明するモデル図。 オブジェクト未検出とされた単画像のオブジェクトを推定する手法を説明するモデル図。 削孔系分類期間（削孔系分類に分類された一連の単画像で構成される期間）にある複数の単画像のうち、いくつかの単画像で「ドリフタ」が検出され、削孔系分類期間で最初に得られた単画像では「ドリフタ」が検出されていないことを示すモデル図。 本願発明の工程判別方法の主な工程を示すフロー図。

本願発明の工程判別システム、及び工程判別方法の実施の例を図に基づいて説明する。なお、本願発明の工程判別システム、及び工程判別方法は、土工事やコンクリート工事など複数の異なる個別工程が交代制で行われる建設現場で実施することができるが、便宜上ここではトンネル掘削工事を対象とした例で説明する。

１．全体概要
本願発明は、例えばトンネル切羽を撮影した動画や連続静止画に基づいて個別工程の工種を判別する技術である。より詳しくは、図１に示すように動画や連続静止画を構成する個々の画像（以下、便宜上ここでは「単画像」という。）に収められた施工状況の個別工程を判別する。例えば、図２に示す単画像にはドリルジャンボによって切羽削孔が行われている状況が収められており、この単画像から「切羽削孔工程」を自動的に判別するわけである。なお、「動画」、「連続静止画」ともに極めて短い間隔で並べられた単画像（フレーム）を順に表示していくものであるが、「動画」が毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）の単画像による構成とされることもあるため、ここでは特に２４ｆｐｓ未満あるいは６０ｆｐｓを超える単画像で構成されるものを「連続静止画」としている。

また本願発明は、機械学習によって構築された２種類の学習済みモデルを用いることを一つの特徴としている。より詳しくは、第１の学習済みモデル（以下、単に「第１学習済みモデル」という。）を用いた画像認識処理を行うことによって単画像に収められた個別工程を「機械別分類」のうちいずれかに分類し、第２の学習済みモデル（以下、単に「第２学習済みモデル」という。）を用いたオブジェクト識別処理を行うことによって機械別分類が付与された単画像から個別工程を判別する。

ここで「機械別分類」とは、それぞれの個別工程に主として使用される建設機械に応じた分類であり、そのため異なる個別工程であっても使用する主要建設機械が共通する場合は同一の機械別分類とされる。すなわち、１の機械別分類が１の個別工程で構成されることもあるし、１の機械別分類に複数の個別工程が含まれることもある。例えばトンネル掘削の場合、「ずり出し工程」で主に用いられるダンプトラックは他の個別工程では主には使用されないため１の機械別分類が１の個別工程で構成され、また「発破工程（火薬が爆発している工程）」では建設機械が退避している（つまり、使用する主要な単画像がない）ため他の個別工程とは異なりやはり機械別分類が１の個別工程で構成される。一方、「切羽削孔工程（火薬装填のための削孔）」と「ロックボルト工程」では主に使用するドリルジャンボが共通し、「コンクリート吹付工程」と「鋼製支保工建込工程」では主に使用するエレクタ吹付け機が共通することから、それぞれ１の機械別分類に２つの個別工程が含まれる。便宜上ここでは、発破工程のみからなる機械分類を「発破分類」と、ずり出し工程のみからなる分類を「ずり出し分類」と、切羽削孔工程とロックボルト工程からなる分類を「削孔系分類」と、コンクリート吹付工程と鋼製支保工建込工程からなる分類を「支保系分類」ということとする。ただし、鋼製支保工建込工程でもドリルジャンボが使用されることもあり、この場合は切羽削孔工程とロックボルト工程、鋼製支保工建込工程からなる分類が削孔系分類であり、コンクリート吹付工程のみからなる分類が支保系分類となる。

２．工程判別システム
次に、本願発明の工程判別システムについて詳しく説明する。なお、本願発明の工程判別方法は、本願発明の工程判別システムを用いて各個別工程を判別する方法である。したがって、まずは本願発明の工程判別システムについて説明し、その後に本願発明の工程判別方法について説明することとする。

図３は、本願発明の工程判別システム１００の主な構成を示すブロック図である。この図に示すように本願発明の工程判別システム１００は、大分類手段１０１と細分類手段１０２を含んで構成され、さらに動作検知手段１０３や適否判定手段１０４、動画等記憶手段１０５、第１モデル記憶手段１０６、第２モデル記憶手段１０７を含んで構成することもできる。

工程判別システム１００を構成する主な要素のうち大分類手段１０１と細分類手段１０２、動作検知手段１０３、適否判定手段１０４は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイを具備するもので、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。

また、第１学習済みモデルを記憶する第１モデル記憶手段１０６や、第２学習済みモデルを記憶する第２モデル記憶手段１０７は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバとすることもできる。

次に、図４を参照しながら本願発明の工程判別システム１００を使用したときの主な処理の流れについて説明する。図４は、工程判別システム１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。

まずは大分類手段１０１（図３）が動画等記憶手段１０５（図３）から単画像を読み出し、その単画像に収められている施工状況を所定の機械分類に分類する（図４のＳｔｅｐ１１０）。このとき、画像認識処理を行うよう機械学習された「第１学習済みモデル」を用い、対象となる単画像について画像認識することによっていずれかの機械別分類に分類する。「第１学習済みモデル」を構築するための機械学習は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をはじめ従来用いられている種々の技術を採用することができ、例えば既存の学習済みモデルを転移学習させることによって「第１学習済みモデル」を構築することもできる。なお、個別工程を判別しようとする単画像のことを、便宜上ここでは「対象単画像」ということとする。

既述したとおり、１の個別工程で構成される機械別分類（以下、「単一機械別分類」という。）もあるし、２以上の個別工程で構成される機械別分類（以下、「多種機械別分類」という。）もある。したがって、大分類手段１０１によって単一機械別分類に分類された場合（図４のＳｔｅｐ１２０のＮｏ）は、そのまま対象単画像の個別工程を決定することができる（図４のＳｔｅｐ１４０）。

一方、大分類手段１０１によって多種機械別分類に分類された場合（図４のＳｔｅｐ１２０のＹｅｓ）は、細分類手段１０２（図３）が対象単画像の個別工程を判別する（図４のＳｔｅｐ１３０）。このとき、オブジェクト識別処理を行うよう機械学習された「第２学習済みモデル」を用い、対象単画像についてオブジェクト識別することによって、多種機械別分類に含まれるいずれかの個別工程に判別する。「第２学習済みモデル」を構築するための機械学習は、リアルタイムオブジェクト検出アルゴリズムとして知られているＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｓｅ）をはじめ従来用いられている種々の技術を採用することができる。

「第２学習済みモデル」は多種機械別分類に含まれる個別工程を判別するものであるから、これを構築するための機械学習では多種機械別分類ごとに用意されたオブジェクトを教師データとして学習することになる。例えば、多種機械別分類に含まれる個別工程に特徴的なオブジェクトを教師データとして機械学習させるとよい。この場合、多種機械別分類に含まれる個別工程の数、あるいは個別工程数×ｎ（ｎは２以上の自然数）だけオブジェクトが用意され、用意されたオブジェクトについて機械学習させることになる。したがって、細分類手段１０２が対象単画像の個別工程を判別するときも、やはりその多種機械別分類に用意されたオブジェクトに基づいて対象単画像の識別処理を行う。

図４に基づいてここまで説明した工程判別システム１００の処理は、トンネル掘削工事をはじめ土工事やコンクリート工事などを含む一般的な建設現場を対象としたものである。以下、トンネル掘削工事を例に、さらに詳しく工程判別システム１００について説明する。図５は、トンネル掘削工事を対象とした場合の工程判別システムの主な処理の流れを示すフロー図である。

（大分類）
図４のケースと同様、まず大分類手段１０１が対象単画像に収められている施工状況を所定の機械分類に分類する（図５のＳｔｅｐ１１０）。より詳しくは、第１学習済みモデルを用いた画像認識によって対象単画像を、「発破分類（発破工程のみ）」、「ずり出し分類（ずり出し工程のみ）」、「削孔系分類（切羽削孔工程とロックボルト工程）」、「支保系分類（コンクリート吹付工程と鋼製支保工建込工程）」のうちいずれかに分類する。なお、大分類手段１０１がいずれかの機械分類に判別することができないときもあり、この場合はその対象単画像を「分類不能」とするとよい。

大分類手段１０１によって、「発破分類」とされた対象単画像はそのまま「発破工程」として決定され、「ずり出し分類」とされた対象単画像はそのまま「ずり出し工程」として決定される（図５のＳｔｅｐ１４０）。なお、「発破工程」とトンネル切羽で作業が行われていない「休止工程」は、それぞれトンネル切羽に主要な建設機械が存在しないことから、これらを区別できるように「第１学習済みモデル」を構築するとよい。例えば、トンネル切羽に多数の装薬孔が設けられた画像や、大量の噴煙が収められた画像などを機械学習させることによって「第１学習済みモデル」を構築するとよい。

（細分類）
一方、大分類手段１０１によって、「削孔系分類」や「支保系分類」に分類された対象単画像は、細分類手段１０２が対象単画像の個別工程を判別する（図５のＳｔｅｐ１３０）。すなわち、「削孔系分類」とされた対象単画像を切羽削孔工程とロックボルト工程のいずれかに判別し、「支保系分類」とされた対象単画像をコンクリート吹付工程と鋼製支保工建込工程のいずれかに判別する。「削孔系分類」には、切羽削孔工程に特徴的なオブジェクト（以下、「切羽削孔用オブジェクト」という。）とロックボルト工程に特徴的なオブジェクト（以下、「ロックボルト用オブジェクト」という。）が用意されており、「削孔系分類」とされた対象単画像に対しては、切羽削孔用オブジェクトとロックボルト用オブジェクトに基づいてオブジェクトの識別を行うことによって個別工程を判別する。同様に、「支保系分類」には、コンクリート吹付工程に特徴的なオブジェクト（以下、「コンクリート吹付用オブジェクト」という。）と鋼製支保工建込工程に特徴的なオブジェクト（以下、「鋼製支保工建込用オブジェクト」という。）が用意されており、「支保系分類」とされた対象単画像に対しては、コンクリート吹付用オブジェクトと鋼製支保工建込用オブジェクトに基づいてオブジェクトの識別を行うことによって個別工程を判別する。

例えば図２では、トンネル切羽で火薬装填のための削孔を行っている状況が収められた対象単画像から、切羽削孔用オブジェクトとして用意された「火薬運搬車」が検出されており、したがってこの対象単画像は切羽削孔工程と判別される。以下同様に、図６ではトンネル切羽でロックボルトのための削孔を行っている状況が収められた対象単画像から、ロックボルト用オブジェクトとして用意された「ドリフタ」が検出されており、この対象単画像はロックボルト工程と判別される。図７ではトンネル切羽でコンクリート吹付けを行っている状況が収められた対象単画像から、コンクリート吹付用オブジェクトとして用意された「アジテータ車」が検出されており、この対象単画像はコンクリート吹付工程と判別される。図８ではトンネル切羽で鋼製支保工の建て込みを行っている状況が収められた対象単画像から、鋼製支保工建込用オブジェクトとして用意された「エレクタ」が検出されており、この対象単画像は鋼製支保工建込工程と判別される。

ところで、画像認識技術を用いた大分類手段１０１による判別結果には、例えば誤って「休止工程」として判別するなど誤認識が含まれることも考えられる。そのため、図５に示すように大分類手段１０１によって判別された機械分類に基づいてそのまま細分類手段１０２が個別工程を判別する仕様としてもよいし、あるいは図９に示すように動作検知手段１０３（図３）が「動作検知」を行ったうえで細分類手段１０２が個別工程を判別する仕様とすることもできる。

図９は、動作検知の処理を行ったうえで個別工程を判別する場合の主な処理の流れを示すフロー図である。この場合、図に示すように大分類手段１０１によって機械分類が付与された対象単画像に対して、動作検知手段１０３が動体検知を行う（図９のＳｔｅｐ１５０）。なおここで実行される動体検知は、フレーム間差分法をはじめとする種々の技術を利用することができる。具体的には、対象単画像とその対象単画像の前に連続する単画像との差分画像を求めるとともに、対象単画像とその対象単画像の後に連続する単画像との差分画像を求め、これら２種類の差分画像の論理積に基づいて動体の有無を自動抽出する。そして動体が検知されないときは、トンネル切羽に主要な建設機械が存在しないとして、細分類手段１０２がその対象単画像を「休止工程」に分類する（図９のＳｔｅｐ１６０）。一方、動体が検知されたときは、トンネル切羽で何等かの建設機械が作業しているとして、その対象単画像をいずれかの個別工程に分類する。すなわち、大分類手段１０１によって対象単画像が「ずり出し分類」とされているときはその対象単画像を「ずり出し工程」とし（図９のＳｔｅｐ１４０）、大分類手段１０１によって対象単画像が「削孔系分類」や「支保系分類」に分類されているときは細分類手段１０２がその対象単画像を「切羽削孔工程」か「ロックボルト工程」、あるいは「コンクリート吹付工程」か「鋼製支保工建込工程」に分類する（図９のＳｔｅｐ１３０）。なお、発破の前後の待避時間では単画像間の変化が乏しいことから動体が検知され難く、したがって図９に示すように大分類手段１０１によって「発破工程」が付与された対象単画像については動態検知を行わない仕様にするとよい。また、トンネル掘削における「休止工程」は、一般的にある程度の期間が継続し、それほど長時間連続しない。したがって、「休止工程」とされた対象単画像が下限閾値を上回るだけ連続した（つまり、相当の期間が継続した）場合に限って、これら対象単画像を「休止工程」と判別することができる。同様に、「休止工程」とされた対象単画像が上限閾値を下回るだけ連続した（つまり、長時間連続しない）場合に限って、これら対象単画像を「休止工程」と判別することもできる。

（適否判定）
図４や図５では、大分類手段１０１や細分類手段１０２によって判別された対象単画像の個別工程をそのまま決定している。もちろん、このようにそのまま決定する仕様とすることもできるし、大分類手段１０１や細分類手段１０２によって判別された個別工程の適否を、適否判定手段１０４（図３）が判定する仕様とすることもできる。なお、個別工程の適否判定は、対象単画像の画像に対して判別された個別工程に基づいて適否判定する手法（以下、「頻度判定」という。）と、個別工程の順序に基づいて適否判定する手法（以下、「前工程判定」という。）を挙げることができる。以下、頻度判定と前工程判定について順に説明する。

図１０は、頻度判定を説明するモデル図である。頻度判定によって個別工程の適否を判定するには、この図に示すように対象単画像を基準とした一定期間（以下、「頻度判定期間」という。）を設定する。例えば、対象単画像の前後に７．５分程度（計１５分程度）の頻度判定期間を設定するとよい。そして、この頻度判定期間にあって対象単画像でない単画像（以下、「頻度判定用単画像」という。）に対して分類された個別工程に基づいて、対象単画像の個別工程の適否を判定する。より詳しくは、対象単画像の個別工程が、すべての頻度判定用単画像の個別工程のうち最頻出のもの（最多のもの）であって、しかもその最頻出の個別工程がすべての頻度判定用単画像の個別工程の「所定の割合（例えば、７０％）」を超えるとき、対象単画像の個別工程は適正と判定し、そうでないときは不適と判定する。例えば、所定の割合を７０％とし、頻度判定期間に１００枚の頻度判定用単画像があり、これら頻度判定用単画像のうち７５枚（つまり、最頻出）に対して「ロックボルト工程」が分類されているケースでは、対象単画像が「ロックボルト工程」に分類されているときその分類は適正と判定し、対象単画像が「切羽削孔工程」に分類されているときその分類は不適と判定するわけである。また、所定の割合を７０％とし、頻度判定期間に１００枚の頻度判定用単画像があり、頻度判定用単画像のうち６５枚に対して「ロックボルト工程」が分類されているケースでは、たとえ対象単画像の個別工程が最頻出の「ロックボルト工程」であっても、頻度判定期間における「ロックボルト工程」が所定の割合を超えていないため不適と判定される。ここで不適と判定された対象単画像は、「分類不能」などとするとよい。なお、適否判定手段１０４による頻度判定処理は、大分類手段１０１によって機械分類が分類された対象単画像に対して実行することもできる。

図１１は、前工程判定を説明するモデル図である。前工程判定によって個別工程の適否を判定するには、この図に示すように対象単画像から遡った所定期間（以下、「前工程判定期間」という。）を設定する。例えば、対象単画像から１５分程度遡った期間を頻度判定期間として設定するとよい。そして、この前工程判定期間内にあって対象単画像でない単画像（以下、「前工程判定用単画像」という。）に対して分類された個別工程に基づいて、対象単画像の個別工程の適否を判定する。より詳しくは、対象単画像に対して分類された個別工程に先行する個別工程（以下、「先行工程」という。）が、前工程判定用単画像のうちいずれか（あるいはすべて）に対して分類され、しかもその先行工程とされた前工程判定用単画像が「所定期間」以上にわたって得られたとき、対象単画像の個別工程は適正と判定し、そうでないときは不適と判定する。例えば、対象単画像の個別工程が「発破工程」に分類され、所定期間を３分と設定したケースでは、発破工程の先行工程である「ロックボルト工程」とされた前工程判定用単画像が３分以上にわたって得られたとき、つまりロックボルト工程とされた前工程判定用単画像を取得した時間間隔が３分以上であれば、対象単画像を発破工程とした分類は適正と判定し、この条件を満たさないときはその分類は不適と判定するわけである。なお所定期間は、先行工程に応じて設定するとよい。また、発破工程分類された対象単画像が前工程判定によって不適と判定された場合、その対象単画像を「休止工程」に分類することもできる。なお、適否判定手段１０４による前工程判定処理は、大分類手段１０１によって機械分類が分類された対象単画像に対して実行することもできる。

ところで、大分類手段１０１によって「削孔系分類」に分類された対象単画像に対して、細分類手段１０２がオブジェクト識別を行った結果、切羽削孔用オブジェクト（例えば、火薬運搬車）とロックボルト用オブジェクト（例えば、ドリフタ）に両方が検出されることも考えられる。このように、同じ対象単画像から異なる個別工程に係るオブジェクトが検出された場合、あらかじめ定めた一方のオブジェクトは誤認識であると判定するとよい。例えば、上記のように火薬運搬車とドリフタが検出された場合はドリフタ（もちろん火薬運搬車でもよい）を誤認識と判定する仕様とし、アジテータ車とエレクタが検出された場合はエレクタ（もちろんアジテータ車でもよい）を誤認識と判定する仕様とするわけである。

（個別工程の推定）
大分類手段１０１がいずれかの機械分類に判別することができないとき、あるいは適否判定手段１０４によって不適と判定されたとき、その対象単画像は「分類不能」とすることができる。この対象単画像は「分類不能」のまま扱うこともできるが、前後の単画像の個別工程に基づいて分類不能とされた対象単画像の個別固定を推定する仕様とすることもできる。

図１２は、分類不能とされた単画像の個別固定を推定する手法を説明するモデル図である。この図では、分類不能とされた４つの単画像の前後に、「発破工程」に分類された単画像があるため、これら分類不能の単画像は「発破工程」に分類することが自然である。このように本願発明の工程判別システム１００は、同一の個別工程に分類された単画像の間に分類不能とされた画像があるとき、その分類不能の単画像も前後と同じ個別工程に分類する仕様とすることができる。ただし、異なる（つまり２つの）掘削サイクル（例えば、切羽削孔～発破）にわたって得られた「発破工程」の間にある分類不能の単画像を、そのまま発破工程として推定することはできない。そこで、図１２に示すようにあらかじめ期間閾値を設定しておくとよい。すなわち、同一の個別工程に分類された単画像の間に分類不能とされた画像があり、しかもその同一の個別工程に分類された単画像を取得した時間間隔が期間閾値を下回るときに、分類不能の単画像も前後と同じ個別工程に分類するわけである。なお、発破工程の期間閾値は５分、休止工程の期間閾値は１時間とするなど、期間閾値は個別工程に応じて適宜設定するとよい。

また、細分類手段１０２によってオブジェクトが未検出とされた単画像に対して、検出されるべきオブジェクトを推定することもできる。図１３は、オブジェクト未検出とされた単画像のオブジェクトを推定する手法を説明するモデル図である。この図では、オブジェクト未検出とされた４つの単画像の前後に、「ドリフタ（ロックボルト用オブジェクト）」が検出された単画像があるため、これらオブジェクト未検出の単画像は「ドリフタ」を含むと推定することが自然である。このように本願発明の工程判別システム１００は、同一のオブジェクトが検出された単画像の間にオブジェクト未検出とされた画像があるとき、そのオブジェクト未検出の単画像も前後と同じオブジェクトが検出されたと推定する仕様とすることができる。この場合も、あらかじめ期間閾値を設定しておくとよい。すなわち、同一のオブジェクトが検出された画像の間にオブジェクト未検出とされた画像があり、しかもその同一のオブジェクトが検出された単画像を取得した時間間隔が期間閾値を下回るときに、オブジェクト未検出の単画像も前後と同じオブジェクトが検出されたこととするわけである。なお、「火薬運搬車（切羽削孔用オブジェクト）」の検出に係る期間閾値は３０分、「ドリフタ（ロックボルト用オブジェクト）」の検出に係る期間閾値は３０分、「エレクタ（鋼製支保工建込用オブジェクト）」の検出に係る期間閾値は５分とするなど、期間閾値は個別工程のオブジェクトに応じて適宜設定するとよい。

大分類手段１０１によって多種機械別分類とされた複数の単画像のなかには、その多種機械別分類に用意されたオブジェクトが検出されるものもあれば、そのオブジェクトが検出されないものもある。例えば図１４では、削孔系分類期間（削孔系分類に分類された一連の単画像で構成される期間）にある複数の単画像のうち、いくつか（図では３枚のみ示す）の単画像では「ドリフタ（ロックボルト用オブジェクト）」が検出されているものの、削孔系分類期間で最初に得られた単画像Ａでは「ドリフタ」が検出されていない。この場合、単画像Ａは「ドリフタ」を含むと推定することが自然である。このように本願発明の工程判別システム１００は、同一の機械別分類とされた一連の単画像で構成される期間において、その機械別分類に用意されたオブジェクトが検出された単画像よりも前にオブジェクト未検出の単画像があるとき、そのオブジェクト未検出の単画像も後の単画像で検出されたものと同じブジェクトが検出されたと推定する仕様とすることができる。

３．工程判別方法
続いて本願発明の工程判別方法について図１５を参照しながら説明する。なお、本願発明の工程判別方法は、ここまで説明した工程判別システム１００を用いて各個別工程を判別する方法であり、したがって工程判別システム１００で説明した内容と重複する説明は避け、本願発明の工程判別方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「２．工程判別システム」で説明したものと同様である。

図１５は、本願発明の工程判別方法の主な工程を示すフロー図である。この図に示すように、まずはトンネル切羽など複数の異なる個別工程が交代制で行われる建設現場の動画や連続静止画（以下、単に「動画等」という。）を撮影する（図１５のＳｔｅｐ１０）。このとき、トンネル切羽を監視するための切羽監視カメラが常設されていれば、この切羽監視カメラを利用すると好適である。

トンネル切羽などを撮影すると、本願発明の工程判別システム１００の大分類手段１０１を用いて対象単画像に収められている施工状況を所定の機械分類に分類する（図１５のＳｔｅｐ２０）。そして大分類手段１０１によって単一機械別分類に分類された場合は、そのまま対象単画像の個別工程を決定し、一方、大分類手段１０１によって多種機械別分類に分類された場合は、本願発明の工程判別システム１００によって対象単画像の個別工程を判別する（図１５のＳｔｅｐ３０）。対象単画像の個別工程が決定すると、本願発明の工程判別システム１００の適否判定手段１０４によってその個別工程の適否を判定する（図１５のＳｔｅｐ４０）。このとき、頻度判定や前工程判定によって判定するとよい。また既述したとおり、分類不能とされた単画像の個別工程を推定することもできるし、細分類手段１０２によってオブジェクトが未検出とされた単画像に他の単画像で検出されたオブジェクトが含まれると推定することもできる。

本願発明の工程判別システム、及び工程判別方法は、トンネル掘削のほか、土工事やコンクリート工事など複数の異なる個別工程が交代制で行われる建設現場で利用することができる。本願発明によれば、工事のサイクルタイムを効率的に分析することができ、その結果、実績に基づく適切な原価管理を行うことができるようになり、ひいては建設インフラストラクチャーにかかる費用の低減化を図ることができることを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明である。

１００ 本願発明の工程判別システム
１０１ （工程判別システムの）大分類手段
１０２ （工程判別システムの）細分類手段
１０３ （工程判別システムの）動作検知手段
１０４ （工程判別システムの）適否判定手段
１０５ （工程判別システムの）動画等記憶手段
１０６ （工程判別システムの）第１モデル記憶手段
１０７ （工程判別システムの）第２モデル記憶手段

Claims (7)

1. 掘削中のトンネル切羽を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められたトンネル掘削に係る各個別工程を判別するシステムであって、
   機械学習によって構築された第１の学習済みモデルを用いて画像認識を行うことで、前記単画像を機械別分類に分類する大分類手段と、
   機械学習によって構築された第２の学習済みモデルを用いてオブジェクトの識別を行うことで、前記単画像を前記個別工程に分類する細分類手段と、を備え、
   前記機械別分類には、切羽削孔工程とロックボルト工程からなる削孔系分類と、コンクリート吹付工程と鋼製支保工建込工程からなる支保系分類と、が設けられ、
   異なる前記個別工程であっても使用する建設機械が共通する該個別工程は同一の前記機械別分類とされ、
   前記細分類手段は、前記単画像が前記削孔系分類に分類されたとき、該削孔系分類に用意された前記オブジェクトを用いて前記切羽削孔工程又は前記ロックボルト工程のいずれかに分類し、前記単画像が前記支保系分類に分類されたとき、該支保系分類に用意された前記オブジェクトを用いて前記コンクリート吹付工程又は前記鋼製支保工建込工程のいずれかに分類する、
   ことを特徴とする工程判別システム。
2. 前記機械別分類には、発破工程のみからなる発破分類と、ずり出し工程のみからなるずり出し分類と、が設けられ、
   前記細分類手段は、前記単画像が前記発破分類に分類されたとき前記発破工程に分類し、前記単画像がずり出しに分類されたとき前記ずり出し工程に分類する、
   ことを特徴とする請求項１記載の工程判別システム。
3. 時間的に連続する複数の前記単画像を用いて動態検知を行う動作検知手段を、さらに備え、
   前記細分類手段は、前記動作検知手段が前後の前記単画像間で動作を検知しないときに、前記単画像を前記トンネル切羽で作業が行われていない休止工程に分類する、
   ことを特徴とする請求項１又は請求項２記載の工程判別システム。
4. 前記細分類手段によって分類された前記個別工程の適否を判定する適否判定手段を、さらに備え、
   前記適否判定手段は、前記単画像に対して分類された前記個別工程が、該単画像を基準とする一定期間内に分類された前記個別工程のうち最頻出の前記個別工程であって、該一定期間内に分類されたすべての前記個別工程の所定の割合を超えるとき、前記細分類手段によって分類された前記個別工程を適正として判定する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の工程判別システム。
5. 前記細分類手段によって分類された前記個別工程の適否を判定する適否判定手段を、さらに備え、
   前記適否判定手段は、前記単画像に対して分類された前記個別工程に先行する前記個別工程が、当該単画像から遡った所定期間に得られた前記単画像のうち所定期間以上にわたる該単画像に対して分類されたとき、前記細分類手段によって分類された前記個別工程を適正として判定する、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の工程判別システム。
6. 前記細分類手段は、前記個別工程の分類が不能とされた前記単画像の前後の前記単画像が同一の前記個別工程に分類されたとき、分類不能とされた該単画像も前後と同じ該個別工程に分類する、
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の工程判別システム。
7. 掘削中のトンネル切羽を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められたトンネル掘削に係る各個別工程を判別する方法であって、
   請求項１乃至請求項６のいずれかに記載の前記工程判別システムを用い、前記単画像を機械別分類に分類する大分類工程と、
   請求項１乃至請求項６のいずれかに記載の前記工程判別システムを用い、前記単画像を前記個別工程に分類する細分類工程と、を備え、
   前記機械別分類には、切羽削孔工程とロックボルト工程からなる削孔系分類と、コンクリート吹付工程と鋼製支保工建込工程からなる支保系分類と、が設けられ、
   前記単画像が前記削孔系分類に分類されたとき、該削孔系分類に用意された前記オブジェクトを用いて前記切羽削孔工程又は前記ロックボルト工程のいずれかに分類され、前記単画像が前記支保系分類に分類されたとき、該支保系分類に用意された前記オブジェクトを用いて前記コンクリート吹付工程又は前記鋼製支保工建込工程のいずれかに分類される、
   ことを特徴とする工程判別方法。

Images