JP2018163556A - 作業管理装置、作業管理方法およびプログラム - Google Patents

Abstract

【課題】作業者が作業の進捗を登録することなく、進捗を把握、管理できるようにする。【解決手段】本発明の実施形態は、作業者の動作を検知するセンサと、前記センサが検知した前記動作の特徴量を抽出する特徴量抽出部と、前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量に基づき、前記作業者が行っている作業を識別する作業識別部と、前記作業識別部が識別した前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定する作業進捗推定部と、を備える作業管理装置である。【選択図】図１

Description

本発明は、作業管理装置、作業管理方法およびプログラムに関する。

特許文献１は、作業管理装置の一例を開示する。特許文献１に記載されている作業管理装置は、複数のセンサを用いて、作業者の動きと位置を検知するとともに、物品の動きと位置を検知する。そして、特許文献１に記載されている作業管理装置は、検知した作業者の動きおよび位置と物品の動きおよび位置とを関連付けることで、作業内容を把握する。特許文献１に記載されている作業管理装置では、作業内容の把握結果に基づき、作業内容が適切かどうか、が評価される。

ところで、例えば製品の組み立て作業等においては、上述した作業内容の管理とともに、作業の進捗の管理が重要な課題の一つである。作業の進捗の管理は、例えば次のように行うことができる。すなわち、例えば、作業者が携帯端末から作業の着手や完了などの進捗状況を登録し、管理者が作業の進捗状況を把握し、管理するというようにすることができる。しかしながら、このような手法では、携帯端末による作業実績入力が煩雑で徹底されないということが考えられる。この場合、作業進捗の把握に時間差が生じたり、進捗遅れの対応が後手に回ったりするケースが生じるおそれが考えられる。

特許第４８８４２５６号公報

本発明は、上記事情に鑑みてなされたものであり、作業者が作業の進捗を登録することなく、進捗を把握、管理することができる作業管理装置、作業管理方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明の一態様によれば、作業管理装置は、作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出する特徴量抽出部と、前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量に基づき、前記作業者が行っている作業を識別する作業識別部と、前記作業識別部が識別した前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定する作業進捗推定部と、を備える。

また、本発明の一態様によれば、上記作業管理装置において、前記作業が、複数の要素作業を含み、前記データベースが、前記要素作業の各々の特徴量と前記標準時間とを対応づけて記憶し、前記作業識別部が、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量に基づき、前記作業者が行っている作業を前記要素作業毎に識別し、前記作業進捗推定部が、前記作業識別部が識別した前記要素作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定する。

また、本発明の一態様によれば、上記作業管理装置において、前記作業進捗推定部が、さらに、前記作業の着手時刻と完了時刻を推定する。

また、本発明の一態様によれば、上記作業管理装置において、前記センサが、前記作業者の動作を検知するとともに前記作業者の位置を検知し、前記データベースが、前記動作の特徴量と前記位置と前記作業と当該作業の標準時間とを対応づけて記憶し、前記作業識別部が、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量と前記センサが検知した前記位置とに基づき、前記作業者が行っている前記作業を識別する。

また、本発明の一態様によれば、上記作業管理装置において、前記作業進捗推定部が、さらに、１の前記作業について当該作業が含む前記要素作業が識別された時間と、当該作業が含む前記要素作業が識別されない時間とに基づいて、正味作業時間比率を推定する。

また、本発明の一態様によれば、作業管理装置は、作業空間の状態を検知するセンサから検知した前記作業空間の状態の特徴量を抽出する特徴量抽出部と、前記作業空間の状態の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、前記データベースを参照し、前記特徴量抽出部が抽出した前記作業空間の状態の特徴量に基づき、作業者が行っている作業を識別する作業識別部と、前記作業識別部が識別した前記作業と、前記データベースに登録されている前記標準時間と応じて、作業の進捗を推定する作業進捗推定部と、を備える。

また、本発明の一態様によれば、作業管理方法は、作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出するステップと、前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースを参照し、抽出された前記動作の特徴量に基づき、前記作業者が行っている作業を識別するステップと、識別された前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定するステップと、を有する。

また、本発明の一態様によれば、プログラムは、作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出するステップと、前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースを参照し、抽出された前記動作の特徴量に基づき、前記作業者が行っている作業を識別するステップと、識別された前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定するステップと、をコンピュータに実行させるプログラム。

本発明の一態様によれば、作業者が作業の進捗を登録することなく、進捗を把握、管理することができる。

本発明の一実施形態に係る作業管理装置の基本的構成例を示すブロック図である。 図１に示すセンサ１１の構成例を示すブロック図である。 図１に示す作業管理装置１の動作例を説明するための模式図である。 図１に示す作業管理装置１の機能とデータの流れを示すシステム図である。 図１に示す特徴量データベース１５１の構成例を示す図である。 図１に示す標準時間データベース１５２の構成例を示す図である。 図１に示す作業着手／完了時刻データベース１５３の構成例を示す図である。 図１に示す作業管理装置１の動作例を示すフローチャートである。 図１に示す作業管理装置１の動作例を示すフローチャートである。 図１に示す作業管理装置１の動作例を説明するための模式図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態に係る作業管理装置１の基本的構成例を示すブロック図である。図１に示す作業管理装置１は、コンピュータとその周辺装置を含むハードウェアと、そのハードウェアを用いて所定のプログラムを実行することで実現される機能や所定の記憶装置に記憶されているデータをブロックに分けて示す。すなわち、図１に示す各ブロックは、ハードウェアまたはハードウェアとソフトウェアとを組み合わせた構成に対応する。本実施形態の作業管理装置１は、例えば交通車両、民間機等の組立作業の進捗を管理する際に用いることができる。ただし、進捗を管理する対象の作業は、組立作業に限定されず、人が行う仕事全般にわたることができる。

図１に示す作業管理装置１は、１または複数のセンサ１１と、特徴量抽出部１２と、作業識別部１３と、作業進捗推定部１４と、作業データベース１５を備える。作業データベース１５は、特徴量データベース１５１と、標準時間データベース１５２と、作業着手／完了時刻データベース１５３を含む。

センサ１１は、例えば図２に示すように、モーションセンサ１１１と、撮像部１１２と、位置情報生成部１１３を備える。センサ１１は、例えば、特徴量抽出部１２等を構成するコンピュータの外部周辺装置として構成されていて、そのコンピュータに対して有線または無線の通信線を介して、検知した結果を通知する。

モーションセンサ１１１は、作業者の動作を検知し、検知した結果を出力する。モーションセンサ１１１は、既存の製品を用いたり、既存の技術を用いて構成したりすることができる。モーションセンサ１１１は、例えば一体的に設置されたデプスカメラ（奥行きカメラ）とカラーカメラを用いて構成することができる。デプスカメラは、例えば赤外線ドットパターンプロジェクタと赤外線カメラを用いて被写体までの距離を画素単位で測定し、奥行き情報を有するデプス画像ストリームを生成する。カラーカメラは、カラーカメラ映像であるカラー画像ストリームを生成する。また、モーションセンサ１１１（あるいはモーションセンサ１１１に接続されたコンピュータ）は、デプス画像ストリームとカラー画像ストリームに基づいて、撮影した作業者の３次元の骨格情報（関節座標情報）を生成し、作業者の動作を検知した結果として出力する。ただし、モーションセンサ１１１は、デプスカメラとカラーカメラを用いる構成に限らず、例えば、作業者に装着した１または複数の３次元の加速度センサを用いる構成、複数のカラーまたはモノクロカメラを用いる構成等であってもよい。

撮像部１１２は、作業空間の状態を検知し、検知した結果を出力する。撮像部１１２は、１または複数のカラーカメラまたはモノクロカメラを有し、撮影した画像情報を、作業空間の状態を検知した結果として出力する。あるいは、撮像部１１２（あるいは撮像部１１２に接続されたコンピュータ）は、撮影した画像情報に対して所定の画像認識処理を実行し、作業者の姿勢を認識したり、作業者が把持している部品や工具を認識したり、作業者が作業を行っている対象物を認識したりした認識結果を、作業空間の状態を検知した結果として出力する。

位置情報生成部１１３は、作業者の位置あるいは作業者の作業場所を検知し、検知した結果を出力する。位置情報生成部１１３は、例えばセンサ１１が予め決められた位置に固定的に設置されている場合、センサ１１の識別符号等の識別情報やセンサ１１の位置情報を、検知した結果として出力する。また、位置情報生成部１１３は、例えばセンサ１１が移動して用いられる場合、所定の手法で取得したセンサ１１の位置情報を、検知した結果として出力する。この場合、位置情報生成部１１３は、例えば、作業者が携帯する携帯端末に内蔵する形で構成されたり、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）または屋内ＧＮＳＳを用いて位置情報を取得するよう構成されたりすることができる。

なお、センサ１１は、モーションセンサ１１１と、撮像部１１２と、位置情報生成部１１３のうち少なくとも１つを備えていればよい。すなわち、センサ１１は、例えば、モーションセンサ１１１と位置情報生成部１１３を有する構成であったり、撮像部１１２と位置情報生成部１１３を有する構成であったり、モーションセンサ１１１と撮像部１１２を有する構成であったり、モーションセンサ１１１と撮像部１１２と位置情報生成部１１３のいずれかを有する構成であったりすることができる。

ここで、図３を参照して、本実施形態の作業管理装置１が進捗を管理する作業について説明する。図３は、作業管理装置１が作業進捗率を０〜１００％として管理する一連の作業を作業順に作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mとして示す。作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mは、全体として、例えば製品や部品の組立作業の全工程に対応したり、全工程を複数に区分した各区分工程に対応したりする。作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mは、全工程あるいは区分工程に対応する一連の作業を１または複数に分解した作業である（図３は一連の作業をＭ個の作業から構成する場合を示す）。ここで、添え字ｍは１以上Ｍ以下の自然数である（ただし図３は一例としてｍが３以上の自然数である場合を示す）。また、添え字Ｍは自然数である（ただし図３は一例としてＭが４以上の自然数である場合を示す）。例えば、作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mは、「穴あけ」、「打鋲」や「塗装」等の作業である。なお、図３に示す例では、作業ｐ_mより前の作業ｐ₁、ｐ₂、…が実施済み（完了済み）であり、作業ｐ_mが実施中（着手済み）であり、作業ｐ_mより後の…、作業ｐ_Mが未実施（未着手）である。

また、各作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mは、１または複数の要素作業から構成される。図３に示す例では、作業ｐ_mが、作業順に並べられた要素作業ｐ_m1、…、ｐ_mn-1、ｐ_mn、…、ｐ_{mN_m}から構成されている。ここで、ｎおよびＮ＿ｍ（＝Ｎ_m）は自然数であり、Ｎ＿ｍは作業ｐ_mが含む要素作業の個数を表す。例えば、作業ｐ_mを「穴あけ」とする場合、要素作業ｐ_m1は「工具を準備する」、要素作業ｐ_m2は「穴あけの位置を決める」等である。作業と要素作業の関係は相対的であり、例えば、作業が他の作業の要素作業であってもよい。また、例えば、作業ｐ_mを「治具工具準備」とする場合、要素作業ｐ_m1は「はさみを用意する」、要素作業ｐ_m2は「ハーネスを持ってくる」、要素作業ｐ_m3は「持ってきたハーネスを使う場所に置く」等である。また、例えば、作業ｐ_mを「ハーネス取り付け」とする場合、要素作業ｐ_m1は「持ってきたハーネスから必要量のハーネスを取る」、要素作業ｐ_m2は「ハーネスを仮締めする」、要素作業ｐ_m3は「ハーネスを本締めする」等である。なお、図３に示す例では、要素作業ｐ_m1、…、ｐ_mn-1が実施済み（完了済み）であり、作業ｐ_mnが実施中（着手済み）であり、作業ｐ_mnより後の…、作業ｐ_{mN_m}が未実施（未着手）である。

また、本実施形態では、作業ｐ_i（ｉ＝１〜Ｍ）の要素作業ｐ_ij（ｊ＝１〜Ｎ_i）の標準時間をＴ_ijと定義すると、作業ｐ_iの標準時間Ｔ_iは次式（１）で表される。

なお、ｉおよびｊは自然数、Ｎ_iは作業ｐ_iが含む要素作業ｐ_ijの個数である。また、標準時間は、その仕事に適性をもち、習熟した作業者が、所定の作業条件のもとで、必要な余裕をもち、正常な作業ペースによって仕事を遂行するために必要とされる時間である。

また、実施中の作業ｐ_mにおいて実施中の現在の要素作業が要素作業ｐ_mnであるとき、作業ｐ_mの作業進捗率ｒ_mを以下の通り定義する。

ここで、Ｔ_mjは作業ｐ_mが含むｊ番目の要素作業ｐ_mjの標準時間である。また、Ｔ_mは作業ｐ_mを構成する全Ｎ_m個の要素作業ｐ_m1、…、ｐ_mn-1、ｐ_mn、…、ｐ_{mN_m}の各標準時間の合計値であり、次式で表される。

なお、一連の作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_M全体に対する作業進捗率ｒは、実施中の作業ｐ_mの作業進捗率ｒ_mと標準時間Ｔ_mを用いて、次式で求めることができる。すなわち、作業進捗率ｒは、ｒ＝｛（実施済みの作業ｐ₁、ｐ₂、…、ｐ_2m-1の各標準時間の合計値）＋（ｒ_m×Ｔ_m／１００）｝／（全作業ｐ₁、ｐ₂、…、ｐ_m、…、ｐ_Mの各標準時間の合計値）×１００で求めることができる。

一方、図１に示す特徴量抽出部１２は、センサ１１が検知した作業者の動作を表す時系列の検知結果から作業者の動作の特徴量（以下では動作特徴量ともいう）を抽出する。あるいは、特徴量抽出部１２は、センサ１１が検知した作業空間の状態を表す時系列の検知結果から作業空間の状態の特徴量を抽出する。特徴量抽出部１２による特徴量の抽出手法には既存の手法を用いることができる。この特徴量抽出部１２が抽出した特徴量に対する処理は事前準備時と作業時とで異なる。事前準備時の処理は、機械学習における教師データとなる特徴量を生成し、特徴量データベース１５１に登録する処理である。事前準備時には、指定した要素作業が行われている状態におけるセンサ１１による検知結果に基づき特徴量抽出部１２が特徴量を抽出する。次に、特徴量抽出部１２は、１つの要素作業に対して複数の特徴量を抽出した場合、他の要素作業の特徴量から特異（識別容易）である特徴量を特徴的動作（以下ではキーポーズともいう）（あるいは特徴的空間状態）として抽出する。そして、特徴量抽出部１２が抽出した特徴量と特徴的動作（あるいは特徴的空間状態）を示す情報が特徴量データベース１５１に登録される。一方、作業時には、未知の要素作業が行われている状態におけるセンサ１１による検知結果に基づき特徴量抽出部１２が特徴量を抽出する。そして、特徴量抽出部１２が抽出した特徴量が、作業識別部１３によって事前準備時に特徴量データベース１５１に登録された特徴的動作（もしくは特徴的空間状態）あるいは特徴量と比較される。なお、特徴量は、複数の要素からなる特徴ベクトルで表される。また、本実施形態において、動作特徴量の場合、特徴ベクトルを構成する各要素は、例えば、腕の角度、頭の位置等、作業者の身体の部位の状態を数値化したデータである。

作業識別部１３は、特徴量データベース１５１を参照し、特徴量抽出部１２が抽出した特徴量に基づき、作業者が行っている作業を識別する。また、特徴量データベース１５１が特徴量と作業とを要素作業毎に対応づけて記憶している場合に、作業識別部１３は、特徴量データベース１５１を参照し、特徴量抽出部１２が抽出した特徴量に基づき、作業者が行っている作業を要素作業毎に識別する。あるいは、作業識別部１３は、特徴量データベース１５１を参照し、特徴量抽出部１２が抽出した特徴量とセンサ１１が検知した位置とに基づき、作業者が行っている作業を識別する。

作業進捗推定部１４は、作業識別部１３が識別した作業と、標準時間データベース１５２に登録されている各標準時間とに基づき、作業の進捗（作業進捗率）を推定し、推定した結果を作業着手／完了時刻データベース１５３に記録する。また、標準時間データベース１５２が作業と標準時間とを要素作業毎に対応づけて記憶している場合に、作業進捗推定部１４は、作業識別部１３が識別した要素作業と、標準時間データベース１５２に登録されている各要素作業の標準時間とに基づき、作業の進捗（作業進捗率）を推定する。また、作業進捗推定部１４は、作業の着手時刻と完了時刻を推定する。作業進捗推定部１４は、さらに、１の作業について当該作業が含む要素作業が識別された時間と、当該作業が含む要素作業が識別されない時間とに基づいて、次式にて正味作業時間比率を推定する。

本実施形態では、作業ｐ_iの着手時刻ｔ_{s_i}から完了時刻ｔ_{f_i}の間で特徴量Ｘ_t（例えば動作特徴量Ｘ_t）が要素作業ｐ_ijの特徴的動作（キーポーズ）あるいは特徴的空間状態のいずれかに合致している時間長をＴ_{s_i}とするとき、作業ｐ_iの正味作業時間比率ｑ_iを以下の通り定義する。

作業データベース１５は、特徴量データベース１５１と標準時間データベース１５２と作業着手／完了時刻データベース１５３を含む。なお、本実施形態においてデータベースとは、複数のデータを蓄積したファイルもしくはファイルの集合またはそれを処理するソフトウェアを含むデータであるとする。

特徴量データベース１５１は、事前準備時に特徴量抽出部１２が抽出した特徴量と、当該特徴量が特徴的であるか否かを示す情報と、作業とを要素作業毎に対応づけて記憶するファイルである。図５は、特徴量データベース１５１の構成例を示す。図５に示す特徴量データベース１５１は、要素作業ｐ_ijと１または複数の特徴量Ｘ_ijkと各特徴量Ｘ_ijkが特徴的である（Ｙ）か否か（Ｎ）を示す情報とを対応づけて含んでいる。特徴量データベース１５１は、要素作業ｐ_ijを、例えば要素作業ｐ_ijを示す所定の識別データの形態で含む。また、特徴量データベース１５１は、特徴量Ｘ_ijkを、例えば特徴量Ｘ_ijkを表す各要素の数値データを配列させた形態で含む。要素作業ｐ_ijは作業ｐ_iに含まれているｊ番目の要素作業である。特徴量Ｘ_ijkは、要素作業ｐ_ijに対応して抽出されたｋ番目の特徴量である。図５に示す例では、要素作業ｐ₁₁に対して特徴的である特徴量Ｘ₁₁₁と特徴的ではない特徴量Ｘ₁₁₂が対応づけられている。

標準時間データベース１５２は、作業と当該作業の標準時間とを要素作業毎に対応づけて記憶するファイルである。図６は、標準時間データベース１５２の構成例を示す。図６に示す標準時間データベース１５２は、要素作業ｐ_ijと当該要素作業ｐ_ijの標準時間Ｔ_ijとを対応づけて含んでいる。

作業着手／完了時刻データベース１５３は、図７に示すように、作業ｐ_iと当該作業ｐ_iの着手時刻ｔ_{s_i}、完了時刻ｔ_{f_i}および作業進捗率ｒ_iとを対応づけて記憶するファイルである。図７は、作業着手／完了時刻データベース１５３の構成例を示す。着手時刻ｔ_{s_i}および完了時刻ｔ_{f_i}は、例えば年月日および時分秒を表すデータである。

次に、図８を参照して、図１に示す作業管理装置１の事前準備時の動作例について説明する。図８に示すフローチャートは、作業者が図３に示す一連の作業ｐ_i（ｉ＝１〜Ｍ）を行う動作をセンサ１１で検知し、センサ１１の検知結果に基づいて作業者の動作の特徴量を抽出して要素作業ｐ_ij（ｊ＝１〜Ｎ_i）毎に特徴量データベース１５１に登録するとともに、特徴的動作（キーポーズともいう）を抽出して記録する処理の流れを示す。ここで、Ｎ_iは作業ｐ_iが含む要素作業ｐ_ijの個数である。また、Ｍは作業ｐ_iの個数である。

図８に示す処理では、まず、センサ１１によって一連の作業の動作データｘ_t（１．．．Ｔ）を所定の時間間隔で計測する（ステップＳ１０１）。ここで、Ｔは動作データｘ_tの個数を示す。次に、特徴量抽出部１２によって、時系列の動作データｘ_t（１．．．Ｔ）から動作特徴量Ｘ_t（１．．．Ｔ）を抽出する（ステップＳ１０２）。次に、操作者の指示にしたがい、動作特徴量Ｘ_t（１．．．Ｔ）に各要素作業ｐ_ijを関連付けて特徴量データベース１５１に登録する（ステップＳ１０３）。ステップＳ１０３における動作特徴量Ｘ_t（１．．．Ｔ）と各要素作業ｐ_ijとの関連付けは例えば所定の入力操作によって操作者が指示する。

次に、特徴量抽出部１２は、ステップＳ１０４〜Ｓ１２１で特徴的動作（キーポーズ）を抽出する。特徴量抽出部１２は、まず、変数ｉを１に初期化する（ステップＳ１０４）。次に、特徴量抽出部１２は、変数ｊを１に初期化する（ステップＳ１０５）。次に、特徴量抽出部１２は、要素作業ｐ_ijに関連付けられている全ての動作特徴量（図５では特徴量）Ｘ_k（＝Ｘ_ijk）（ｋ＝１．．．Ｎ_ij）を特徴量データベース１５１から抽出する（ステップＳ１０６）。ここで、Ｎ_ijは要素作業ｐ_ijに関連付けられている動作特徴量（特徴量）の個数である。

次に、特徴量抽出部１２は、動作特徴量Ｘ_kの距離（半径）Ｒ₁以内にＬ件以上の動作特徴量が存在するか否かを判定する（ステップＳ１０７）。ここで、距離Ｒ₁は、動作特徴量Ｘ_kが含む各要素と、特徴量データベース１５１に登録されている他の各動作特徴量が含む各要素とから算出される距離（ユークリッド距離）であり、動作特徴量の類似度を判定する際のしきい値である。距離Ｒ₁は、例えば測定結果やシミュレーション結果等に基づいて決定することができる。また、Ｌは類似する動作特徴量の個数についてのしきい値である。Ｌ件以上に制限することでばらつきによる誤差の影響を低減することができる。

動作特徴量Ｘ_kの距離Ｒ₁以内にＬ件以上の動作特徴量が存在する場合（ステップＳ１０７で「Ｙ」の場合）、特徴量抽出部１２は、動作特徴量Ｘ_kの距離Ｒ₁以内に存在する動作特徴量のうち、最も近いＬ件の動作特徴量Ｘ_l（ｌ＝１．．．Ｌ）を抽出する（ステップＳ１０８）。次に、特徴量抽出部１２は、ステップＳ１０９〜Ｓ１１３で、Ｌ件の動作特徴量Ｘ_l（ｌ＝１．．．Ｌ）に含まれている要素作業ｐ_ijの動作特徴量の個数を変数ｑに計数する。すなわち、特徴量抽出部１２は、まず、変数ｌを１に初期化するとともに、変数ｑを０に初期化する（ステップＳ１０９）。次に、特徴量抽出部１２は、動作特徴量Ｘ_lが要素作業ｐ_ijの動作特徴量か否かを判定する（ステップＳ１１０）。

動作特徴量Ｘ_lが要素作業ｐ_ijの動作特徴量である場合（ステップＳ１１０で「Ｙ」の場合）、特徴量抽出部１２は、変数ｑを１だけ増分し（ステップＳ１１１）、変数ｌを１だけ増分して（ステップＳ１１２）、変数ｌがＬ以下であるときに（ステップＳ１１３で「Ｙ」のときに）、ステップＳ１１０の判定処理を再度行う。一方、動作特徴量Ｘ_lが要素作業ｐ_ijの動作特徴量でない場合（ステップＳ１１０で「Ｎ」の場合）、特徴量抽出部１２は、変数ｌを１だけ増分して（ステップＳ１１２）、変数ｌがＬ以下であるときに（ステップＳ１１３で「Ｙ」のときに）、ステップＳ１１０の判定処理を再度行う。

また、変数ｌがＬより大きくなった場合（ステップＳ１１３で「Ｎ」の場合）、特徴量抽出部１２は、変数ｑがしきい値Ｑ以上か否かを判定する（ステップＳ１１４）。しきい値Ｑは、動作特徴量Ｘ_kを特徴的動作（キーポーズ）とするか否かを決定する際の判定基準である。すなわち、特徴量抽出部１２は、動作特徴量Ｘ_kから距離Ｒ₁以内で最も近いＬ件の動作特徴量にＱ件以上の要素作業ｐ_ijの動作特徴量が含まれていた場合に動作特徴量Ｘ_kを要素作業ｐ_ijの特徴的動作（キーポーズ）にすると判定する（ステップＳ１１４で「Ｙ」）。

変数ｑがしきい値Ｑ以上の場合（ステップＳ１１４で「Ｙ」の場合）、特徴量抽出部１２は、動作特徴量Ｘ_kを要素作業ｐ_ijの特徴的動作（キーポーズ）として特徴量データベース１５１に記録する（ステップＳ１１５）。

特徴量抽出部１２は、一連の作業ｐ_i（ｉ＝１〜Ｍ）の要素作業ｐ_ij（ｊ＝１〜Ｎ_i）すべてに対して上記の処理（ステップＳ１０６〜Ｓ１１５）を実行する。すなわち、動作特徴量Ｘ_kの距離Ｒ₁以内にＬ件以上の動作特徴量が存在しない場合（ステップＳ１０７で「Ｎ」の場合）、特徴量抽出部１２は、変数ｋを１だけ増分し（ステップＳ１１６）、変数ｋがＮ_ij以下か否かを判定する（ステップＳ１１７）。変数ｋがＮ_ij以下の場合（ステップＳ１１７で「Ｙ」の場合）、特徴量抽出部１２は、ステップＳ１０７以降の処理を実行する。他方、変数ｋがＮ_ij以下でない場合（ステップＳ１１７で「Ｎ」の場合）、特徴量抽出部１２は、変数ｊを１だけ増分し（ステップＳ１１８）、変数ｊがＮ_i以下か否かを判定する（ステップＳ１１９）。変数ｊがＮ_i以下の場合（ステップＳ１１９で「Ｙ」の場合）、特徴量抽出部１２は、ステップＳ１０６以降の処理を実行する。他方、変数ｊがＮ_i以下でない場合（ステップＳ１１９で「Ｎ」の場合）、特徴量抽出部１２は、変数ｉを１だけ増分し（ステップＳ１２０）、変数ｉがＭ以下か否かを判定する（ステップＳ１２１）。変数ｉがＭ以下の場合（ステップＳ１２１で「Ｙ」の場合）、特徴量抽出部１２は、ステップＳ１０５以降の処理を実行する。他方、変数ｉがＭ以下でない場合（ステップＳ１２１で「Ｎ」の場合）、特徴量抽出部１２は、処理を終了する。

以上の処理によって、図１に示す作業管理装置１では、センサ１１が図３に示す一連の作業ｐ_i（ｉ＝１〜Ｍ）を作業者が行う動作を検知し、センサ１１の検知結果に基づいて特徴量抽出部１２が作業者の動作の特徴量を抽出して要素作業ｐ_ij（ｊ＝１〜Ｎ_i）毎に特徴量データベース１５１に登録するとともに、特徴的動作（キーポーズ）を抽出して記録する。

次に、図９を参照して、図１に示す作業管理装置１の作業時の動作例について説明する。図９に示すフローチャートは、作業者が図３に示す一連の作業ｐ_i（ｉ＝１〜Ｍ）を行う際に、作業管理装置１が、作業者の動作を検知し（ステップＳ２０１）、検知した結果に基づいて作業者の動作の特徴量を抽出し（ステップＳ２０２）、抽出した特徴量に基づいて要素作業ｐ_ij（ｊ＝１〜Ｎ_i）を識別し（ステップＳ２０３〜Ｓ２０８）、識別結果に基づいて作業の進捗を推定し（ステップＳ２０９）、推定した作業着手時刻と作業完了時刻を記録する（ステップＳ２１０〜Ｓ２１８）処理の流れを示す。ここで、Ｎ_iは作業ｐ_iが含む要素作業ｐ_ijの個数である。また、Ｍは作業ｐ_iの個数である。なお、以下の動作例では、作業者が予め決められた手順で一連の作業ｐ_i（ｉ＝１〜Ｍ）を連続的に行うこととする。また、図９に示す処理は、作業時に所定の時間間隔ΔＴで繰り返し実行される。

図９に示す処理では、まず、センサ１１が、作業の動作データｘ_tを計測する（ステップＳ２０１）。次に、特徴量抽出部１２が、動作データｘ_tに基づき動作特徴量Ｘ_tを抽出する（ステップＳ２０２）。次に、作業識別部１３が、特徴量データベース１５１を参照し、動作特徴量Ｘ_tの距離Ｒ₂以内に作業の特徴的動作（キーポーズ）が存在するか否かを判定する（ステップＳ２０３）。動作特徴量Ｘ_tの距離Ｒ₂以内に作業の特徴的動作（キーポーズ）が存在する場合（ステップＳ２０３で「Ｙ」の場合）、作業識別部１３は、動作特徴量Ｘ_tの距離Ｒ₂以内に存在するキーポーズのうち、最も近いキーポーズＸ_tを特徴量データベース１５１から取得する（ステップＳ２０４）。次に、作業識別部１３は、キーポーズＸｔに関連付けられた要素作業を特徴量データベース１５１から取得する（ステップＳ２０５）。一方、動作特徴量Ｘ_tの距離Ｒ₂以内に作業の特徴的動作（キーポーズ）が存在しない場合（ステップＳ２０３で「Ｎ」の場合）、作業識別部１３は、不明な作業と判断する（ステップＳ２０６）。

ステップＳ２０５の処理またはステップＳ２０６の処理の後、作業識別部１３は、ステップＳ２０５で少なくともＮ件分要素作業を取得したか否かを判定する（ステップＳ２０７）。ここでＮは要素作業を識別する際に必要とする要素作業の取得数である。Ｎ件分要素作業を取得していない場合（ステップＳ２０７で「Ｎ」の場合）、作業識別部１３は、一定時間ΔＴの経過を待機し（ステップＳ２１５）、時刻に対応する変数ｔを１だけ増分し（ステップＳ２１６）、最後の作業ｐ_Mが完了していない場合（ステップＳ２１７で「Ｎ」の場合）、ステップＳ２０１へ戻りセンサ１１によって作業の動作データｘ_tを計測する（ステップＳ２０１）。

一方、Ｎ件分の要素作業を取得していた場合（ステップＳ２０７で「Ｙ」の場合）、作業識別部１３は、時刻ｔまでのＮ件の要素作業の取得結果のうち、最も多い要素作業ｐ_mnを識別結果とする（ステップＳ２０８）。すなわち、ステップＳ２０８において、作業識別部１３は、取得された直近Ｎ件の要素作業のうち最も多い要素作業ｐ_mnを識別結果とする。

次に、作業進捗推定部１４が、識別結果ｐ_mnに基づき作業ｐ_mの作業進捗率ｒ_mを式（２）を用いて計算し、作業着手／完了時刻データベース１５３に記憶する（ステップＳ２０９）。次に、作業進捗推定部１４は、識別結果ｐ_mnが新規に識別された要素作業であるか否かを判定する（ステップＳ２１０）。新規に識別された要素作業であるということは、ΔＴ時間前の前回の処理で識別されていた要素作業の次の要素作業が今回識別されたことを意味する。ステップＳ２１０の判定処理は、ステップＳ２１２での作業着手時刻の設定とステップＳ２１４での作業完了時刻の設定が重複して実行されないようにするために設けられている。

識別結果ｐ_mnが新規に識別された要素作業である場合（ステップＳ２１０で「Ｙ」の場合）、作業進捗推定部１４は、識別結果ｐ_mnの添え字の変数ｎが１であるか否かを判定する（ステップＳ２１１）。変数ｎが１である場合、識別された要素作業が、要素作業ｐ_m1であり、作業ｐ_mの最初の要素作業であることを意味する。変数ｎが１である場合（ステップＳ２１１で「Ｙ」の場合）、作業進捗推定部１４は、作業ｐ_mの作業着手時刻に現在時刻を設定し、作業着手／完了時刻データベース１５３に記憶する（ステップＳ２１２）。次に、作業進捗推定部１４は、識別結果ｐ_mnの添え字の変数ｍが１より大きいか否かを判定する（ステップＳ２１３）。変数ｍが１より大きい場合、識別された要素作業ｐ_mnを含む作業ｐ_mが、作業ｐ₂以降の作業であることを意味する。変数ｍが１より大きい場合（ステップＳ２１３で「Ｙ」の場合）、作業進捗推定部１４は、作業ｐ_mの先行作業ｐ_m-1の作業完了時刻に現在時刻を設定し、作業着手／完了時刻データベース１５３に記憶する（ステップＳ２１４）。

ステップＳ２１４の処理を実行した場合、または、ステップＳ２１０、ステップＳ２１１もしくはステップＳ２１３の判定結果が「Ｎ」の場合、作業進捗推定部１４は、一定時間ΔＴの経過を待機し（ステップＳ２１５）、時刻に対応する変数ｔを１だけ増分し（ステップＳ２１６）、最後の作業ｐ_Mが完了したか否かを判定する（ステップＳ２１７）。ステップＳ２１７では、例えば、作業者が所定の動作を行った場合、作業者が携帯端末等に所定の操作を行った場合、最後の要素作業ｐ_{MN_M}に着手後、要素作業ｐ_{MN_M}の標準時間Ｔ_{MN_M}が経過した後、所定時間作業者の動きが検知されない場合等に、作業進捗推定部１４は最後の作業ｐ_Mが完了したと判定する。最後の作業ｐ_Mが完了していない場合（ステップＳ２１７で「Ｎ」の場合）、ステップＳ２０１へ戻りセンサ１１によって作業の動作データｘ_tを計測する（ステップＳ２０１）。一方、最後の作業ｐ_Mが完了していた場合（ステップＳ２１７で「Ｙ」の場合）、作業進捗推定部１４は、最後の作業ｐ_Mの作業完了時刻に現在時刻を設定する（ステップＳ２１８）。

以上の処理によって、図１に示す作業管理装置１は、作業者が一連の作業ｐ_i（ｉ＝１〜Ｍ）を行う際に、作業者の動作を検知し、検知した結果に基づいて作業者の動作の特徴量を抽出し、抽出した特徴量に基づいて要素作業ｐ_ij（ｊ＝１〜Ｎ_i）を識別し、識別結果に基づいて作業の進捗を推定し、推定した作業着手時刻と作業完了時刻を記録することができる。

次に、図４を参照して、図１に示す作業管理装置１が有する機能とデータの流れについて説明する。なお、図４において、破線のブロック１００内の機能は事前準備時に用いられる機能である。また、図４は、作業管理装置１において、センサ１１が作業者の動きを検知し、特徴量抽出部１２が動作特徴量を抽出する場合を示す。

事前準備時には、作業管理装置１は、センサ１１が有する動作計測機能２０１を用いて、作業者の動作を計測し、要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作データ４０１を生成する。また、作業管理装置１は、特徴量抽出部１２が有する特徴量抽出機能２０２を用いて、要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作データ４０１に基づき、要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作特徴量４０２を生成する。また、作業管理装置１は、特徴量抽出部１２が有する特徴的動作抽出機能２０３を用いて、要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作特徴量４０２から特徴的動作（キーポーズ）を抽出し、特徴的動作であるか否かを示す情報を付加した要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作特徴量４０３を特徴量データベース（ＤＢ）１５１に記録する。

一方、作業時には、作業管理装置１は、センサ１１が有する動作計測機能３０１を用いて、作業者の動作を計測し、動作データ５０１を生成する。また、作業管理装置１は、特徴量抽出部１２が有する特徴量抽出機能３０２を用いて、動作データ５０１に基づき動作特徴量５０２を生成する。また、作業管理装置１は、作業識別部１３が有する作業識別機能３０３を用いて、特徴量データベース１５１に記録されている要素作業ｐ_ij（ｉ＝１．．．Ｍ、ｊ＝１．．．Ｎ_i）の動作特徴量４０４を参照し、動作特徴量５０２に基づいて作業者が行っている要素作業を識別し、作業識別結果（ｐ_mn）５０３を決定する。次に、作業管理装置１は、作業進捗推定部１４が有する作業進捗推定機能３０４を用いて、標準時間データベース（ＤＢ）１５２に記録されている要素作業ｐ_mj（ｊ＝１．．．Ｎ_m）の標準時間Ｔ_mj（ｊ＝１．．．Ｎ_m）を参照し、作業識別結果（ｐ_mn）５０３に基づき、作業ｐ_mの作業進捗率推定結果（ｒ_m）５０４を求める。また、作業管理装置１は、作業進捗推定部１４が有する作業着手／完了記録機能３０５を用いて、作業ｐｍの着手時刻ｔ_{s_m}と完了時刻ｔ_{f_m}を求め、作業進捗率推定結果（ｒ_m）５０４とともに、作業着手／完了時刻データベース（ＤＢ）１５３に記録する。

次に、図１０を参照して、本実施形態における特徴量と特徴的動作（キーポーズ）について説明する。図１０は、特徴量の要素を特徴量要素ａと特徴量要素ｂとする場合の特徴量と特徴的動作の位置関係を模式的に示す。図１０では、特徴量データベース１５１に登録されている教師データである特徴量を円で示し、作業の種類の違いを網掛けによる塗りつぶしの有無で表す。また、円で示す特徴量のうちの特徴的動作は、特徴量ＫＰ１および特徴量ＫＰ２であるとする。また、図１０は、評価対象データである特徴量ｔｐ１、ｔｐ２およびｔｐ３を三角で示す。本実施形態において、図１０に示す例では、例えば特徴量ｔｐ１は、それに最も近いキーポーズは特徴量ＫＰ１であるが、距離が距離判定基準より大きいため、特徴量ＫＰ１の要素作業とは無関係な作業と推定される。また、例えば特徴量ｔｐ２は、それに最も近いキーポーズは特徴量ＫＰ１であり、距離が距離判定基準より小さいため、特徴量ＫＰ１の要素作業と同じ要素作業であると推定される。

以上のように、本実施形態の作業管理装置１では、例えば特徴量を動作特徴量とする場合、モーションセンサ１１１により、作業の特徴的動作を検出し、作業を自動判別することができる。作業管理装置１では、予め、モーションセンサ１１１により作業を観測し、作業毎の動作特徴量を記録した特徴量データベース１５１を準備しておく。また、作業管理装置１は、作業時の動作特徴量を特徴量データベース１５１と照合して、作業を識別する。また、作業管理装置１は、作業の識別結果に基づき、標準時間の比率から進捗率を推定する。この構成によれば、作業者が作業の進捗を登録することなく、進捗を把握、管理することが可能となる。

また、作業管理装置１には、測位センサ等の位置情報生成部１１３による位置データを特徴量として追加することができ、これによれば、動作データに対して位置情報を付加することにより、作業進捗の推定精度を向上させることができる。

また、作業管理装置１は、予め登録されている作業以外の動作をしている（予め登録されている動作として識別できない）場合に、作業者が本来与えられた作業をしていないとみなし、作業者に本来与えられた作業をしている時間の割合（正味作業時間比率）を算出することができる。これによれば、正味作業時間比率を求めることにより、作業のムダ（または非定常作業の割合）を管理することができる。

なお、上記では、作業管理装置１の動作例について、特徴量を動作特徴量とする場合を例に挙げて説明した。これに対し、特徴量を作業空間の状態の特徴量とする場合については、「動作特徴量」を「作業空間の状態の特徴量」、「特徴的動作」を「特徴的空間状態」にそれぞれ置き換えることで作業管理装置１の動作例を理解することができる。また、本実施形態において、特徴量は、動作特徴量と作業空間の状態の特徴量のいずれか一方としてもよいし、両者を組み合わせて用いてもよい。

なお、上記実施形態においては、作業管理装置１の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。更に、作業管理装置１は、それぞれ、１台のコンピュータで構成されていても良いし、通信可能に接続された複数のコンピュータで構成されていてもよい。

以上のとおり、本発明に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 作業管理装置
１１ センサ
１２ 特徴量抽出部
１３ 作業識別部
１４ 作業進捗推定部
１５ 作業データベース（データベース）
１１１ モーションセンサ
１１２ 撮像部
１１３ 位置情報生成部
１５１ 特徴量データベース
１５２ 標準時間データベース
１５３ 作業着手／完了時刻データベース

Claims (8)

1. 作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出する特徴量抽出部と、
   前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、
   前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量に基づき、前記作業者が行っている作業を識別する作業識別部と、
   前記作業識別部が識別した前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定する作業進捗推定部と、
   を備える作業管理装置。
2. 前記作業が、複数の要素作業を含み、
   前記データベースが、前記要素作業の各々の特徴量と前記標準時間とを対応づけて記憶し、
   前記作業識別部が、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量に基づき、前記作業者が行っている作業を前記要素作業毎に識別し、
   前記作業進捗推定部が、前記作業識別部が識別した前記要素作業と、前記データベースに登録されている前記標準時間とに応じて、前記作業の進捗を推定する
   請求項１に記載の作業管理装置。
3. 前記作業進捗推定部が、さらに、前記作業の着手時刻と完了時刻を推定する
   請求項２に記載の作業管理装置。
4. 前記センサが、前記作業者の動作を検知するとともに前記作業者の位置を検知し、
   前記データベースが、前記動作の特徴量と前記位置と前記作業と当該作業の標準時間とを対応づけて記憶し、
   前記作業識別部が、前記データベースを参照し、前記特徴量抽出部が抽出した前記動作の特徴量と前記センサが検知した前記位置とに基づき、前記作業者が行っている前記作業を識別する
   請求項１から３のいずれか１項に記載の作業管理装置。
5. 前記作業進捗推定部が、さらに、１の前記作業について当該作業が含む前記要素作業が識別された時間と、当該作業が含む前記要素作業が識別されない時間とに基づいて、正味作業時間比率を推定する
   請求項２または３に記載の作業管理装置。
6. 作業空間の状態を検知するセンサから検知した前記作業空間の状態の特徴量を抽出する特徴量抽出部と、
   前記作業空間の状態の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、
   前記データベースを参照し、前記特徴量抽出部が抽出した前記作業空間の状態の特徴量に基づき、作業者が行っている作業を識別する作業識別部と、
   前記作業識別部が識別した前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定する作業進捗推定部と、
   を備える作業管理装置。
7. 作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出するステップと、
   前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベース
   を参照し、抽出された前記動作の特徴量に基づき、前記作業者が行っている作業を識別するステップと、
   識別された前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定するステップと、を有する作業管理方法。
8. 作業者の動作を検知するセンサが検知した前記動作の特徴量を抽出するステップと、
   前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベース
   を参照し、抽出された前記動作の特徴量に基づき、前記作業者が行っている作業を識別するステップと、
   識別された前記作業と、前記データベースに登録されている前記標準時間とに応じて、作業の進捗を推定するステップと、
   をコンピュータに実行させるプログラム。

Images