JP6902188B2 - 搬送管理システム、搬送管理方法及び搬送管理プログラム - Google Patents

Description

本発明は、積載物の搬送状況を管理する搬送管理システム、搬送管理方法及び搬送管理プログラムに関する。

建設現場では、建築材料や建設機械等の資機材が用いられている。そして、これらの資機材を建設現場に搬入した場合、資機材の使用場所に搬送する必要がある。例えば、複数階層からなる建設現場においては、建設現場に設置された仮設エレベータを使用して、資機材を使用する階層に揚重する。この仮設エレベータを使用する場合、資機材を使用する作業者は、資機材管理者に、揚重目標階への資機材の揚重を依頼する。資機材管理者の管理の下で、仮設エレベータのオペレータは、作業者と協同して、揚重対象の資機材を乗り篭（搬器）内に搬入する。そして、乗り篭が揚重目標階に到着した場合、オペレータ及び工事担当者は、資機材を乗り篭内から揚重目標階のフロアへ搬出する。オペレータは、揚重した資機材を目視確認して、資機材の名称や製品番号等を揚重実績として記録する。

このような資機材の状況を管理するための技術が検討されている（例えば、非特許文献１、特許文献１参照。）。これらの文献に記載の技術においては、建設作業員が携帯するＩＣタグや機材などに取り付けたＩＣタグを、エレベータに設置されたＩＣタグリーダで読み取る。これにより、移動させた資機材、移動時期及び移動先等を記録する。

特開２０１３−１２９５０３号公報

株式会社大林組、「資機材の搬入状況が一目で分かる「揚重管理システム」を開発」、［online］、［平成２８年１２月２５日検索］、インターネット<http://www.obayashi.co.jp/press/news20160328_1>

先行技術文献に記載の技術を用いて資機材を管理する場合、管理する対象の資機材のそれぞれにＩＣタグを取り付ける必要がある。従って、ＩＣタグが取り付けられていない資機材を管理することができない。

本発明は、上記課題に鑑みてなされ、その目的は、資機材の搬送状況を効率的に管理するための搬送管理システム、搬送管理方法及び搬送管理プログラムを提供することにある。

・上記課題を解決する搬送管理システムは、搬器を利用した搬送情報を記憶する搬送情報記憶部と、前記搬器の内部を撮影する撮影部に接続された制御部とを備える。そして、前記制御部が、搬器の積載物を撮影した撮影画像に基づいて、積載物種類候補を特定し、前記積載物について、搬器を用いての搬送開始場所及び搬送終了場所を特定し、前記積載物の利用日時及び利用者を特定し、前記搬器の利用日時、利用者に関連付けて、積載物種類候補において決定された資機材種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録する。これにより、撮影画像に基づいて、積載物種類を特定し、搬送状況を管理することができる。

・上記搬送管理システムにおいて、積載物種類に対して、荷姿種類を記憶した荷姿情報記憶部を更に備え、前記制御部が、前記撮影画像において荷姿種類を特定した場合、前記荷姿種類に関連付けられた積載物種類候補を特定することが好ましい。これにより、荷姿に基づいて、積載物種類を特定することができる。

・上記搬送管理システムにおいて、前記積載物の重量情報を取得し、前記重量情報に基づいて、積載物種類候補の中から積載物種類を特定することが好ましい。これにより、重量を考慮して、積載物種類を特定することができる。

・上記搬送管理システムにおいて、前記撮影画像に基づいて、前記積載物の体積を予測し、前記体積と前記重量情報とを用いて、前記積載物種類候補の中から積載物種類を特定することが好ましい。これにより、密度を考慮して、積載物種類を特定することができる。

・上記搬送管理システムにおいて、前記利用者に関連付けて、前記利用者が使用する資機材情報を記憶した利用者情報記憶部を更に備え、前記搬器の利用者に基づいて、前記利用者情報記憶部から資機材情報を取得し、前記資機材情報を用いて積載物種類候補の中から積載物種類を特定することが好ましい。これにより、搬器の利用者を考慮して、積載物種類を特定することができる。

本発明によれば、資機材の搬送状況を効率的に管理することができる。

実施形態における搬送管理システムの説明図。 実施形態における搬送管理システムの各記憶部の説明図であって、（ａ）は利用者情報記憶部、（ｂ）は荷姿情報記憶部、（ｃ）は密度情報記憶部、（ｄ）は搬送情報記憶部の説明図。 実施形態における処理手順の説明図。 実施形態における処理手順の説明図。 実施形態における体積の算出方法の説明図であって、（ａ）積載物の俯瞰画像、（ｂ）直方体の予測、（ｃ）他の積載物の俯瞰画像、（ｄ）他の直方体の予測の説明図。 実施形態における撮影画像の説明図。 実施形態における他の撮影画像の説明図。

以下、図１〜図７を用いて、積載物の搬送状況を管理する搬送管理システム、搬送管理方法及び搬送管理プログラムを具体化した一実施形態を説明する。本実施形態では、複数階層からなる建設現場に設置された仮設エレベータによって搬送される資機材（以下、資材と呼ぶ）を管理対象として管理する。ここでは、資材として、ＬＧＳ（Light Gauge Steel、軽量鉄骨）、ＰＢ（石膏ボード）、ガラス、木材、金属パネル、制御盤、配管材、グラスウール、コンクリート、高所作業車等を搬送する。また、これらの資材は、梱包なしの素地で搬送される場合の他、梱包材等の搬送部材によって梱包された荷姿で搬送される場合がある。荷姿においては、ダンボール、単管台車、メッシュ、パレット、ランニングボックス、ビニル緩衝材等が用いられる。

図１に示すように、本実施形態の搬送管理システムは、仮設エレベータ内の搬器１０を管理する管理サーバ２０を含んで構成される。
この搬器１０は、積載物を積載する乗り篭によって構成される。この搬器１０は、例えば鋼製網目状の箱体であって、積載物を搬入や搬出を行なうための開口部が設けられている。更に、この開口部には、シャッター（扉）が設けられている。この搬器１０は、揚重制御装置１５によって制御される電動モータやエレベータシャフト等からなる昇降駆動機構によって上下昇降される。資材を揚重する場合、各階に設置された操作パネルを用いて、資材が仮置きされた揚重開始階（搬送開始場所）に搬器１０を移動させる。そして、資材を搬器１０に搬入する。次に、搬器１０内の操作パネルにおいて、資材を搬送する揚重目標階（搬送終了場所）の階ボタンを選択する。そして、揚重制御装置１５は、搬器１０のシャッターの閉鎖を検知した場合、搬器１０を揚重開始階から揚重目標階まで揚重する。

この搬器１０には、カメラ１１及び荷重表示部１２が設けられている。
カメラ１１は、搬器１０内部を撮影する撮影部として機能する。本実施形態では、搬器１０内全体を撮影できるように、広角レンズを用いる。なお、搬器１０内に、複数のカメラ１１を設置し、内部全体を異なる角度から撮影するようにしてもよい。
荷重表示部１２は、搬器１０に積載された重量（資材や作業員等）を表示する。この重量は、エレベータシャフト等に設けられた重量計を用いて計測される。

管理サーバ２０は、搬送状況を管理するためのコンピュータシステムである。この管理サーバ２０は、制御部２１、学習情報記憶部２２、利用者情報記憶部２３、荷姿情報記憶部２４、密度情報記憶部２５、搬送情報記憶部２６を備えている。

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（状況管理段階、画像取得段階、画像認識段階、資材予測段階等の各処理）を行なう。そのための搬送管理プログラムを実行することにより、制御部２１は、状況管理部２１１、画像取得部２１２、画像認識部２１３、資材予測部２１４として機能する。

状況管理部２１１は、搬器１０を用いた揚重状況を管理する処理を実行する。
画像取得部２１２は、搬器１０のカメラ１１から撮影画像を取得する処理を実行する。画像取得部２１２は、搬器１０内の撮影画像において、積載物とは無関係の領域（不要部分）を排除するためのマスクを保持している。このマスクを用いることにより、例えば、撮影画像に含まれる搬器１０の外部が写り込んだ領域を排除する。

画像認識部２１３は、撮影画像において撮影された被写体を特定する処理を実行する。本実施形態では、被写体として、会社毎の人物画像、資材（素地）画像、荷姿画像を、機械学習した認識モデルを用いて認識する。

資材予測部２１４は、搬器１０内の資材を予測する処理を実行する。本実施形態では、ディープラーニングによって、撮影画像に含まれる資材を予測する。また、資材予測部２１４は、積載物を搬入する前の搬器１０の内部の撮影画像（背景画像）を保持している。この背景画像を用いることにより、積載物の搬入後の撮影画像と背景画像との差分において、積載物の状況を特定する。

学習情報記憶部２２には、資材の予測に用いる識別モデルが記録される。この識別モデルは、機械学習（ディープラーニング）における学習によって記録される。この機械学習においては、ラベリング済みの教師データを用いて、被写体を判定するための識別モデルを生成する。識別モデルを用いることにより、未識別の被写体について、人物の有無、ユニフォームやヘルメットの外観による人物の所属会社、資材（素地）、荷姿等を予測する。

図２（ａ）に示すように、利用者情報記憶部２３には、各会社によって搬送される資材についての利用者管理レコード２３０が記録されている。この利用者管理レコード２３０は、各会社によって搬送される資材が登録された場合に記録される。この利用者管理レコード２３０は、利用会社コード、搬送候補に関するデータを含んで構成される。

利用会社コードデータ領域には、資材を搬送する利用者である利用会社を特定するための識別子に関するデータが記録される。
搬送候補データ領域には、この会社が搬送する資材候補（資機材情報）を特定するための識別子に関するデータが記録される。この会社が複数種類の資材を搬送する可能性がある場合には、このデータ領域には、すべての資材に関する情報が記録される。

図２（ｂ）に示すように、荷姿情報記憶部２４には、資材が搬送される場合の荷姿（外観）に関する荷姿状態テーブル２４０が記録されている。この荷姿状態テーブル２４０は、搬送候補毎に荷姿が登録された場合に記録される。この荷姿状態テーブル２４０は、資材（搬送候補）、荷姿候補に関するデータを含んで構成される。

荷姿状態テーブル２４０においては、資材（ＰＢ）は、梱包なしの状態（素地荷姿）で搬送されることを示している。また、資材（木材）は、ダンボール、単管台車、ビニル緩衝材に収納された状態（梱包荷姿）で搬送されることを示している。資材（ガラス）については、単管台車、ビニル緩衝材に収納された状態（梱包荷姿）で搬送され、資材（配管材）については、梱包なしの状態（素地荷姿）やダンボールの収納状態（梱包荷姿）で搬送されることを示している。

図２（ｃ）に示すように、密度情報記憶部２５には、密度マップ２５０が記録されている。この密度マップ２５０は、資材の荷重と体積との関係を算出した場合に記録される。この密度マップ２５０は、搬送される資材の荷重範囲と体積範囲とに関するデータが記録される。例えば、この密度マップ２５０では、配管、木材、ＬＳＧ、ガラス、ＰＢについて、取りうる荷重及び体積の範囲が記録されている。

図２（ｄ）に示すように、搬送情報記憶部２６には、搬器１０を用いての揚重状況（搬器１０の利用状況）に関する搬送管理レコード２６０が記録されている。この搬送管理レコード２６０は、後述する積載物判定処理を行なった場合に記録される。この搬送管理レコード２６０は、開始日時、揚重開始階、終了日時、揚重目標階、搬送物、利用会社コード、体積、重量に関するデータを含んで構成される。

開始日時データ領域には、搬器１０内に積載物を搬入した年月日及び時刻に関するデータが記録される。
揚重開始階データ領域には、搬器１０内に積載物を搬入した搬送開始場所（階）を特定するための識別子に関するデータが記録される。

終了日時データ領域には、搬器１０から積載物を搬出した年月日及び時刻に関するデータが記録される。
揚重目標階データ領域には、搬器１０から積載物を搬出した場所（階）を特定するための識別子に関するデータが記録される。

搬送物データ領域には、搬器１０の積載物（資機材）を特定するための識別子（資機材種類）に関するデータが記録される。
利用会社コードデータ領域には、積載物の揚重のために、搬器１０を利用した会社を特定するための識別子に関するデータが記録される。

体積データ領域には、搬器１０の積載物について予測した体積に関するデータが記録される。
重量データ領域には、搬器１０の積載物について予測した重量に関するデータが記録される。

（積載物判定処理）
次に、図３、図４を用いて、搬送管理システムにおいて実行される積載物判定処理について説明する。

まず、図３に示すように、管理サーバ２０の制御部２１は、シャッター閉鎖処理を実行する（ステップＳ１−１）。具体的には、制御部２１の状況管理部２１１は、揚重制御装置１５から、搬器１０のシャッターが閉鎖されたことについての検知情報を取得する。

次に、管理サーバ２０の制御部２１は、階数の特定処理を実行する（ステップＳ１−２）。具体的には、制御部２１の状況管理部２１１は、揚重制御装置１５から、搬器１０の揚重開始階及び揚重目標階に関する情報を取得する。そして、状況管理部２１１は、搬送管理レコード２６０を生成し、揚重開始階及び揚重目標階を記録する。なお、積載物判定処理とは別に、状況管理部２１１は、揚重制御装置１５から、揚重開始や揚重終了に関する情報を取得した場合には、開始日時及び終了日時を、搬送管理レコード２６０に記録する。

次に、管理サーバ２０の制御部２１は、搬器内の画像の取得処理を実行する（ステップＳ１−３）。具体的には、制御部２１の画像取得部２１２は、揚重の開始及び終了の何れかのタイミングで、カメラ１１によって撮影された搬器１０内の撮影画像を取得する。

次に、管理サーバ２０の制御部２１は、マスク処理を実行する（ステップＳ１−４）。具体的には、制御部２１の画像取得部２１２は、マスクを撮影画像に対して適用し、積載物とは無関係の不要部分を排除する。

次に、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。具体的には、制御部２１の画像認識部２１３は、学習情報記憶部２２に記録された認識モデル（人物、会社）を用いて、撮影画像において、人物（作業員）が撮影された領域（人物画像、会社）を特定する。そして、画像認識部２１３は、撮影画像において人物が撮影された領域（人物画像）を特定する。更に、画像認識部２１３は、認識モデルを用いて、この人物画像のユニフォームやヘルメットの外観（色彩や模様等）等により、人物が属する会社を特定する。そして、状況管理部２１１は、搬送管理レコード２６０の利用者データ領域に、特定した利用会社コードを記録する。

次に、管理サーバ２０の制御部２１は、グリッド分割処理を実行する（ステップＳ１−６）。具体的には、制御部２１の資材予測部２１４は、撮影画像を、予め定められた画素数で構成されたグリッドに分割された積載物範囲を生成する。

次に、管理サーバ２０の制御部２１は、背景画像のグリッドの除外処理を実行する（ステップＳ１−７）。具体的には、制御部２１の資材予測部２１４は、学習情報記憶部２２から、予め撮影された背景画像を取得する。次に、資材予測部２１４は、撮影画像と背景画像とを比較し、背景画像が含まれるグリッドを特定する。そして、資材予測部２１４は、背景画像が含まれるグリッドを、資機材を予測に用いる積載物範囲から除外する。

次に、管理サーバ２０の制御部２１は、人物画像を含むグリッドの削除処理を実行する（ステップＳ１−８）。具体的には、制御部２１の資材予測部２１４は、画像認識部２１３によって認識した人物画像が含まれるグリッドを特定する。そして、資材予測部２１４は、基準値（例えば、５０％）以上で人物画像が含まれるグリッドを、資材予測に用いる積載物範囲から除外する。

次に、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。具体的には、制御部２１の資材予測部２１４は、撮影画像において、荷重表示部１２が撮影されている領域を特定する。そして、資材予測部２１４は、荷重表示部１２に表示されている文字の文字認識を行なう。次に、資材予測部２１４は、文字認識された数字によって、搬器１０における荷重を取得する。次に、資材予測部２１４は、人物画像の人物数に応じて仮想体重（作業員の平均的な体重）を乗算した人物重量を算出する。次に、資材予測部２１４は、取得した荷重から人物重量を差し引いて、積載物重量を算出する。そして、状況管理部２１１は、搬送管理レコード２６０の重量データ領域に、積載物重量を記録する。

次に、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。具体的には、制御部２１の資材予測部２１４は、撮影画像において、評価対象グリッド（積載物範囲）において、資材の寸法を予測する。ここでは、資材予測部２１４は、撮影画像において、積載物範囲の鉛直方向と水平面において直交する２軸（縦横）を特定する。次に、資材予測部２１４は、鉛直方向の高さと直交する２軸（縦横）の長さを概算する。次に、資材予測部２１４は、縦横の長さ及び高さからなる直方体を想定し、積載物体積を概算する。そして、状況管理部２１１は、搬送管理レコード２６０の体積データ領域に、概算した積載物体積を記録する。

例えば、図５（ａ）に示す撮影画像５００においては、積載物の俯瞰画像５０１が含まれる。この俯瞰画像５０１においては、図５（ｂ）に示す直方体５０２と仮定して、積載物の体積を概算する。図５（ｃ）に示す撮影画像５１０においては、積載物の俯瞰画像５１１が含まれる。この俯瞰画像５１１においては、図５（ｄ）に示す直方体５１２と仮定して、積載物の体積を概算する。

次に、管理サーバ２０の制御部２１は、各評価対象グリッドの認識処理を実行する（ステップＳ１−１１）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する各評価対象グリッドにおいて、学習情報記憶部２２に記録された学習済の識別モデルを用いて、資材（素地）、荷姿の種類を認識する。

次に、図４に示すように、積載物範囲の大部分が同一資材かどうかについての判定処理を実行する（ステップＳ２−１）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する評価対象グリッド数（積載物範囲グリッド数）において、資材（素地）が撮影されたグリッド数（資材グリッド数）の割合を算出する。そして、資材予測部２１４は、〔資材グリッド数／積載物範囲グリッド数〕が基準値（例えば７０％）以上の場合には、積載物範囲の大部分が同一資材と判定する。

積載物範囲の大部分が同一資材と判定した場合（ステップＳ２−１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、素地荷姿により揚重資材候補の特定処理を実行する（ステップＳ２−２）。具体的には、制御部２１の資材予測部２１４は、資材（素地）が撮影されたグリッドにおいて特定した素地荷姿により候補資材を特定する。

一方、積載物範囲の大部分が同一資材でないと判定した場合（ステップＳ２−１において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、積載物範囲の大部分が荷姿かどうかについての判定処理を実行する（ステップＳ２−３）。具体的には、制御部２１の資材予測部２１４は、積載物範囲を構成する評価対象グリッド数（積載物範囲グリッド数）において、荷姿が撮影されたグリッド数（荷姿グリッド数）の割合を算出する。なお、積載物範囲において、異なる荷姿画像（例えば、ダンボール及び単管台車）が含まれる場合にも、荷姿が撮影されたすべての評価対象グリッドを合計して荷姿グリッド数を算出する。そして、資材予測部２１４は、〔荷姿グリッド数／積載物範囲グリッド数〕が基準値（例えば７０％）以上の場合には、積載物範囲の大部分が荷姿（梱包荷姿）と判定する。

積載物範囲の大部分が荷姿と判定した場合（ステップＳ２−３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、荷姿領域の抽出処理を実行する（ステップＳ２−４）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、同じ荷姿と判定された荷姿グリッド毎に、共通荷姿画像のグリッド数を算出する。そして、資材予測部２１４は、算出した共通荷姿画像のグリッド数が、積載物範囲グリッド数に対して基準値（例えば、３０％）以上の荷姿候補を特定する。なお、基準値以上の共通荷姿画像を、複数、抽出した場合には、すべての荷姿について荷姿候補を特定する。

次に、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−５）。具体的には、制御部２１の資材予測部２１４は、荷姿情報記憶部２４に記録された荷姿状態テーブル２４０を用いて、積載物範囲において特定したすべての荷姿候補に対応した候補資材（搬送対象）を特定する。

一方、積載物範囲の大部分が荷姿でないと判定した場合（ステップＳ２−３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、資材、荷姿の抽出処理を実行する（ステップＳ２−６）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、共通する認識画像のグリッド数の割合が基準値（例えば、３０％）以上の資材及び荷姿を特定する。

次に、管理サーバ２０の制御部２１は、候補資材があるかどうかについての判定処理を実行する（ステップＳ２−７）。具体的には、制御部２１の資材予測部２１４は、積載物範囲において、共通する認識画像のグリッド数の割合が基準値以上の資材及び荷姿を特定できない場合には、候補資材がないと判定する。

候補資材がないと判定した場合（ステップＳ２−７において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、エラー処理を実行する（ステップＳ２−８）。具体的には、制御部２１の資材予測部２１４は、搬送管理レコード２６０の搬送物データ領域にエラーを記録する。

一方、候補資材があると判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−９）。具体的には、制御部２１の資材予測部２１４は、荷姿情報記憶部２４の荷姿状態テーブル２４０を用いて、特定した資材及び荷姿の組み合わせからなる候補資材を特定する。

次に、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。具体的には、制御部２１の資材予測部２１４は、利用者情報記憶部２３の利用者管理レコード２３０から、搬器１０の利用者（会社）が搬送する可能性がある搬送候補を特定する。また、資材予測部２１４は、密度マップ２５０において、積載物重量及び積載物体積を用いて積載物候補を特定する。そして、資材予測部２１４は、利用者管理レコード２３０を用いて特定した搬送候補と、密度マップ２５０を用いて特定した積載物候補とにおいて共通する候補資材を、揚重物（搬送資材）として確定する。そして、資材予測部２１４は、確定した搬送資材を搬送管理レコード２６０の搬送物データ領域に記録する。なお、候補資材が、利用者管理レコード２３０を用いて特定した搬送候補や、密度マップ２５０を用いて特定した積載物候補に含まれない場合には、資材予測部２１４は、候補資材を搬送管理レコード２６０に記録するとともに、注意フラグを記録する。

次に、図６、図７を用いて、積載物判定処理の具体例を説明する。
搬器１０における撮影画像においては、図６に示すように、横１１個、縦８個のグリッドに分割されている。また、別の搬器１０における撮影画像においては、図７に示すように、横１１個、縦１１個のグリッドに分割されている。

そして、図６に示す撮影画像においては、背景、作業員、資材、荷重表示を認識している。また、図７に示す画像においては、背景、作業員、資材、荷姿を認識している。このように、認識した資材や荷姿により、候補資材を特定することができる。

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、階数の特定処理（ステップＳ１−２）、搬器内の画像の取得処理（ステップＳ１−３）、各評価対象グリッドの認識処理（ステップＳ１−１１）を実行する。これにより、撮影画像を用いて、積載物や搬送状況を特定することができる。

（２）本実施形態では、管理サーバ２０の制御部２１は、マスク処理を実行する（ステップＳ１−４）。これにより、撮影画像において、積載物の特定に関係がない領域を削除し、効率的に積載物を特定することができる。

（３）本実施形態では、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。これにより、撮影画像を用いて、作業員が撮影された領域や作業員が属する会社を特定することができる。更に、管理サーバ２０の制御部２１は、人物画像を含むグリッドの削除処理を実行する（ステップＳ１−８）。これにより、撮影画像において、積載物の特定に関係がない領域を削除し、効率的に積載物を特定することができる。

（４）本実施形態では、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。これにより、撮影画像を用いて、積載物の重量を予測することができる。

（５）本実施形態では、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。これにより、撮影画像を用いて、積載物の体積を予測することができる。

（６）本実施形態では、積載物範囲の大部分が同一資材と判定した場合（ステップＳ２−１において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、素地荷姿により揚重資材候補の特定処理を実行する（ステップＳ２−２）。これにより、撮影画像を用いて、素地の資材を特定することができる。

（７）本実施形態では、積載物範囲の大部分が同一資材でないと判定した場合（ステップＳ２−１において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、積載物範囲の大部分が荷姿かどうかについての判定処理を実行する（ステップＳ２−３）。積載物範囲の大部分が荷姿と判定した場合（ステップＳ２−３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、荷姿領域の抽出処理（ステップＳ２−４）、候補資材の抽出処理（ステップＳ２−５）を実行する。これにより、資材が梱包されている場合にも、荷姿に基づいて、搬送される候補資材を特定することができる。

（８）本実施形態では、積載物範囲の大部分が荷姿でないと判定した場合（ステップＳ２−３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、資材、荷姿の抽出処理を実行する（ステップＳ２−６）。候補資材があると判定した場合（ステップＳ２−７において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、候補資材の抽出処理を実行する（ステップＳ２−９）。これにより、資材や梱包荷姿が混在する場合にも、搬送される候補資材を特定することができる。

（９）本実施形態では、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。これにより、積載物の体積や重量（密度）や、搬器１０の利用者に基づいて、候補資材の中で搬送資材を確定することができる。

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、資材予測部２１４は、積載物を搬入する前の搬器１０の内部の撮影画像（背景画像）を保持している。これに代えて、背景画像は、搬器１０に資材が搬入される直前に撮影するようにしてもよい。この場合には、例えば、資材の搬出を終了し、停止状態において、次に搬器１０のシャッターが開放された場合に撮影した撮影画像を背景画像として用いる。また、荷重表示部１２において荷重が増加し、資材の搬入が開始されたことを検知した場合に撮影した画像を背景画像として用いてもよい。

・上記実施形態においては、管理サーバ２０の制御部２１は、積載物体積の予測処理を実行する（ステップＳ１−１０）。この場合、搬器１０のフレーム（縦、横、高さ）の方向を利用したり、予め記憶したフレーム長を基準にして縦横の長さや高さを算出したりしてもよい。

・上記実施形態においては、管理サーバ２０の制御部２１は、荷重情報の取得処理を実行する（ステップＳ１−９）。ここでは、荷重表示部１２に表示されている文字の文字認識により、荷重情報を取得する。荷重情報の取得方法は、画像認識を用いる場合に限定されるものではない。例えば、搬送を制御する揚重制御装置１５から、荷重情報を取得するようにしてもよい。

・上記実施形態においては、移動体として仮設エレベータ内の搬器１０を用いた。移動体は仮設エレベータに限定されるものではない。例えば、平面移動する搬送装置に適用することも可能である。

・上記実施形態においては、管理サーバ２０の制御部２１は、人物認識処理を実行する（ステップＳ１−５）。ここで、画像認識により作業員が属する会社を特定する。会社の特定方法は、画像認識によるものに限定されるものではない。例えば、搬器１０の利用時間帯に基づいて、利用者を特定するようにしてもよい。この場合には、仮設エレベータの利用予定（利用時間帯、利用者情報）を予め記憶した利用管理テーブルを準備しておく。そして、搬器１０内の撮影日時に基づいて、利用管理テーブルから利用者を特定する。

また、仮設エレベータの搬器１０の利用時に、利用者の利用者識別情報を入力したり、ＩＤカードに記録された利用者識別情報を読み取ったりして、利用者を特定するようにしてもよい。

・上記実施形態においては、建設現場で用いる資機材の搬送状況を管理する。管理対象は、建設現場で用いる資機材に限定されるものではない。
・上記実施形態においては、管理サーバ２０の制御部２１は、資材の確定処理を実行する（ステップＳ２−１０）。資材の確定に用いる情報は、利用者情報や密度情報等に限定されるものではなく、これらの一部や他の情報の組み合わせでもよい。例えば、積載物重量のみを用いて資材を確定してもよい。この場合には、各資材において予測される積載物重量範囲に関連付けて、資機材種類の候補を記録した候補情報記憶部を用いる。
・上記実施形態においては、管理サーバ２０の制御部２１は、搬器内の画像の取得処理を実行する（ステップＳ１−３）。この場合、搬器内の画像取得は、搬入又は搬出を検知する度に行なうようにしてもよい。例えば、複数の資機材を複数の階層に搬送する場合には、搬器１０の停止場所毎に撮影画像を取得し、この撮影画像に基づいて、資機材の増減を特定する。撮影画像を用いて、先行の停止場所から後続の停止場所までの積載物の搬送管理レコード２６０を生成し、搬送情報記憶部２６に記録する。

・上記実施形態においては、識別モデルを、機械学習（ディープラーニング）により生成する。識別モデルの生成方法は、ディープラーニングに限定されるものではない。例えば、一つの教師データに含まれる複数の特徴量をまとめたクラスタについて、特徴量の分布（ヒストグラム）からなる識別モデルを生成する。この識別モデルには、学習用画像のインデックス（被写体の種類）が付与される。そして、未識別の撮影画像に含まれる複数の特徴量を算出し、この特徴量の分布と識別モデルとの比較に基づいて、撮影画像に含まれる被写体（人物、会社、資材（素地）、荷姿）を予測するようにしてもよい。

・上記実施形態においては、管理サーバ２０の制御部２１は、揚重資材候補の特定処理（ステップＳ２−２）、候補資材の抽出処理（ステップＳ２−５，Ｓ２−９）を実行する。ここで、複数の資材を揚重する場合に、個々の資材候補を特定するようにしてもよい。複数の資材を識別する方法としては、例えば、以下の方法がある。
（ａ）搬器１０に個別に資材を積み込む場合、管理サーバ２０の制御部２１が、荷重増加を検知し、荷重増加に応じてまとまりがあるグループ（単位資材）を特定し、グループ毎に資材候補を特定する。
（ｂ）搬器１０の内部の撮影画像について、ディープラーニング等により、資材毎のまとまりを機械学習する。そして、管理サーバ２０の制御部２１が、揚重開始後に、機械学習による認識結果に基づいて、撮影画像を資材毎にグリッドをまとめたグループを生成し、グループ毎に資材候補を特定する。
（ｃ）管理サーバ２０の制御部２１が、搬器１０の内部の撮影画像においてエッジ抽出やセグメンテーションにより、まとまりがあるグループ（まとまりがある物）を認識し、グループ毎に資材候補を特定する。

１０…搬器、１１…カメラ、１２…荷重表示部、１５…揚重制御装置、２０…管理サーバ、２１…制御部、２１１…状況管理部、２１２…画像取得部、２１３…画像認識部、２１４…資材予測部、２２…学習情報記憶部、２３…利用者情報記憶部、２４…荷姿情報記憶部、２５…密度情報記憶部、２６…搬送情報記憶部。

Claims (5)

1. 搬器を利用した搬送情報を記憶する搬送情報記憶部と、
   積載物種類に対して、荷姿種類を記憶した荷姿情報記憶部と、
   前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムであって、
   前記制御部が、
   前記撮影部を用いて前記搬器に搭載された積載物を撮影した撮影画像において荷姿種類を特定した場合、前記荷姿情報記憶部を用いて前記荷姿種類に関連付けられた積載物種類を積載物種類候補として特定し、
   前記積載物の重量情報を取得し、
   前記積載物について、前記搬器を用いての搬送開始場所及び搬送終了場所を特定し、
   前記積載物の利用日時及び利用者を特定し、
   前記撮影画像に基づいて前記積載物の体積を予測し、前記体積と前記重量情報とを用いて、前記積載物種類候補の中から積載物種類を特定し、
   前記搬器の利用日時、利用者に関連付けて、前記特定された積載物種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録することを特徴とする搬送管理システム。
2. 前記積載物の荷重範囲と体積範囲とに関する密度マップが記憶された密度情報記憶部を更に備え、
   前記制御部は、前記積載物種類候補の中から前記積載物種類を特定する場合に、前記体積と前記重量情報と前記密度情報記憶部に記録された前記密度マップとを用いることを特徴とする請求項１に記載の搬送管理システム。
3. 前記利用者に関連付けて、前記利用者が使用する資機材情報を記憶した利用者情報記憶部を更に備え、
   前記搬器の利用者に基づいて、前記利用者情報記憶部から資機材情報を取得し、前記資機材情報を用いて、前記積載物種類候補の中から前記積載物種類を特定することを特徴とする請求項１又は２に記載の搬送管理システム。
4. 搬器を利用した搬送情報を記憶する搬送情報記憶部と、
   積載物種類に対して、荷姿種類を記憶した荷姿情報記憶部と、
   前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムを用いて、搬送状況を管理する搬送管理方法であって、
   前記制御部は、
   前記撮影部を用いて前記搬器に搭載された積載物を撮影した撮影画像において荷姿種類を特定した場合、前記荷姿情報記憶部を用いて前記荷姿種類に関連付けられた積載物種類を積載物種類候補として特定し、
   前記積載物の重量情報を取得し、
   前記積載物について、前記搬器を用いての搬送開始場所及び搬送終了場所を特定し、
   前記積載物の利用日時及び利用者を特定し、
   前記撮影画像に基づいて前記積載物の体積を予測し、前記体積と前記重量情報とを用いて、前記積載物種類候補の中から積載物種類を特定し、
   前記搬器の利用日時、利用者に関連付けて、前記特定された積載物種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録することを特徴とする搬送管理方法。
5. 搬器を利用した搬送情報を記憶する搬送情報記憶部と、
   積載物種類に対して、荷姿種類を記憶した荷姿情報記憶部と、
   前記搬器の内部を撮影する撮影部に接続された制御部とを備えた搬送管理システムを用いて、搬送状況を管理する搬送管理プログラムであって、
   前記制御部を、
   前記撮影部を用いて前記搬器に搭載された積載物を撮影した撮影画像において荷姿種類を特定した場合、前記荷姿情報記憶部を用いて前記荷姿種類に関連付けられた積載物種類を積載物種類候補として特定し、
   前記積載物の重量情報を取得し、
   前記積載物について、前記搬器を用いての搬送開始場所及び搬送終了場所を特定し、
   前記積載物の利用日時及び利用者を特定し、
   前記撮影画像に基づいて前記積載物の体積を予測し、前記体積と前記重量情報とを用いて、前記積載物種類候補の中から積載物種類を特定し、
   前記搬器の利用日時、利用者に関連付けて、前記特定された積載物種類、搬送開始場所、搬送終了場所に関する情報を前記搬送情報記憶部に記録する手段として機能させることを特徴とする搬送管理プログラム。

Images