JP4752721B2 - 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 - Google Patents

Description

本発明は、例えば生産ラインにおける作業者の特定の部位の移動を入力パターンとして検出し、標準パターンとの対応付けを行う生産管理装置として適用可能な移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体に関するものである。

商品ライフサイクルの短期化、ユーザニーズの多様化に伴い、製造業では、多品種少量生産、短納期生産、変量生産などへの対応が迫られている。そうした環境変化を受けて、機械が自動で製品の加工・組立てを行う自動化ラインから、人が手作業で加工・組立て作業を行う手組みラインへとシフトする工場が増えている。

手組みラインとは、小規模構成のラインの中で多能工の作業者が臨機応変に作業を分担し合う生産方式である。セル生産方式は手組みラインの一形態である。

手組みラインでは、製品の生産に必要な一連の作業が複数の工程に分割され、工程毎に作業場所、作業手順が定められる。各工程には作業者が配置され、先頭工程から最終工程まで全ての作業が順に実行されると製品が完成する。ライン全体に配置する作業者の人数や、一人の作業者が担当する工程の数には様々な形態が存在する。

一般に、工場のラインにおける生産の改善活動は、現状把握、課題発見、要因分析、改善実施、および効果評価といった処理が繰り返し行われることによって実現される。この改善活動の第一歩としての現状把握では、ラインの生産能力を定量的に把握することが必要とされる。ここで、上記した手組みラインでは、多種多様な作業方法を直接定量化することは困難であるので、定量化の手法として、各工程での作業時間を計測することが行われている。そして、この作業時間の計測は、生産管理者の負担を軽減するために、自動で計測されることが好ましい。

これに対して、生産の状況を撮影するカメラを設置し、このカメラによって撮影された動画像に基づいて各工程を判別する手法が提案されている。例えば特許文献１には、マーカーを取り付けた作業員の作業動作を撮影装置によって撮影し、マーカーが移動した軌跡の特徴と、予め作業毎に記憶されている基準軌跡の特徴とを比較して作業内容を特定する作業分析装置が開示されている。

また、例えば特許文献２には、識別マーカーが装着された作業員の作業動作を撮影した撮影画像から標準作業時間を算出する手法が開示されている。この手法では、識別マーカーの移動距離に対応した標準時間が、距離と時間との対応表を用いて算出されるようになっている。

また、例えば特許文献３には、標準パターンの特徴パラメータ系列と、認識対象の入力パターンの特徴パラメータ系列との間の距離計算を行って、最も距離の近い標準パターンの識別名をジェスチャの認識結果とするジェスチャ認識装置が開示されている。ここでは、標準パターンの動画像と認識対象の動画像とを比較する手法として、連続ＤＰマッチングが用いられている。
特開2000-180162公報（2000.6.30公開） 特開2002-310617公報（2002.10.23公開） 特許第3603919号公報（2004.12.22発行）

特許文献１には、マーカーが移動した軌跡の特徴から、基準軌跡に基づいて作業を特定する方法として、次の２つの方法が開示されている。第１の方法は、基準となる動作特徴点軌跡の周波数特性に基づいて作業内容を特定する方法である。詳しく説明すると、予め各々の作業について周波数特性からピーク周波数を調べておき、撮影した作業の動作特徴点軌跡の周波数特性と比較してピーク周波数が近い動作特徴点が多い作業を、撮影した作業と特定する処理が行われる。第２の方法は、動作特徴点軌跡を一定時間毎にサンプリングし、各サンプリングデータの軌跡の時間変化を定量化して、基準軌跡データと比較する方法である。しかしながら、第１の方法の場合、まったく同じ作業であっても動作のスピードが違う作業同士は周波数が異なるため、比較できないという問題がある。また、第２の方法では、似た作業同士の比較（大きな動作が似ていて細かい動作が含まれているような複雑な作業、きわめてシンプルな作業）、作業と作業の間などの作業でない動きが含まれている場合などに対応できないという問題がある。

また、特許文献２に開示されている方法は、速度が遅い動作を見つけ、そのときの絶対座標によって動作（注：作業ではない）の開始・終了を判別するものである。つまり、この方法では、移動と静止とを判別し、静止時の座標で動作の開始・終了を区別している。これは、部品や治工具を作業者が取ったり置いたりするときに動作スピードが落ち、方向が変わることと、そのときの置いてある箇所、設置箇所が同じということに着目していることになる。ただ、これはあくまで「ものを取って、置く」という動作のスピードが計測できるだけであり、実際の作業は多くの「ものを取って、置く」という動作を含んでいるので、実際の作業との関係は人間が見て分析することになる。すなわち、たとえば、細かな動作が多く含まれる作業の分析には効果が得られないという問題がある。

また、動作に対しても、“近い位置から始まる（終わる）動作の区別が出来ない”、たとえば、工具の取り方の違いなど動作のズレによるマーカーのズレによって、絶対座標の一定範囲を定義した際に、その大きさ以下の位置に(部品取得などの)作業箇所があった場合に対応できない。また、作業（これは手順書などによって人間が決めるもの）を定義する機能がないので、そもそも“作業と紐付けられる作業の標準時間は導き出せない”などの問題がある。

また、特許文献２および特許文献３に開示されている方法では、基本的にマーカの移動距離に基づいて時間の把握や標準パターンとの比較が行われている。このような手法の例として、Dynamic Time WarpingやＤＰマッチングと呼ばれる手法がある。

図２２は、この手法における、標準パターンと入力パターンとのマッチング処理の概念を説明している。同図において、標準パターンと入力パターンとは時系列変化として示されている。このように時系列変化として標準パターンと入力パターンとを比較すると、特に後半部分で両者はマッチングしないことになるが、実際には、標準パターンと入力パターンとでは、所要時間が異なっているのみで、移動軌跡としては類似していることになる。これに対して、ＤＰマッチングでは、入力パターンと標準パターンの各点をすべての点を紐付ける際、各点距離の総和が最小になる組み合わせを見つけることによって両者をマッチングさせる。

しかしながら、このＤＰマッチングを単純に用いる場合、次のような問題がある。まず、例えば図２３に示すように、入力パターンにおける比較的多くの点が、標準パターンにおける１つの点に対応づけられてしまうことがありうる。すなわち、必要以上に各点の対応付けが行われることによって、マッチングが正確に行われない可能性がある。これを防止するために、例えば図２４に示すように、標準パターンにおける各点に対応づけられる入力パターンの数を制限する、というような処理を行うことが考えられるが、処理が複雑になるとともに、このような処理を行うことによるマッチングの誤判定なども考えられる。

また、入力パターンにおいて、変化が少ない区間が比較的長く継続する場合、その変化が少ない区間の長さによる影響がマッチングに影響を与えて誤判定する可能性がある。例えば図２５に示すような標準パターンとしての２種類の教師信号（教師信号１、教師信号２）があり、これに対して入力パターンとしての認識信号が入力されたとする。ここで、実際には認識信号に対応する教師信号は教師信号１であるが、変化が少ない区間の長さが教師信号２に近いことによって、教師信号２に対応しているという誤判定が行われる可能性がある。

このような不具合を防ぐために、図２６に示すように、教師信号および認識信号に対して、変化が大きい区間と変化が小さい区間とで分割しておき、各分割区間でマッチングさせることによって対応付けを行う手法が考えられる。しかしながら、この手法の場合、処理が複雑になるとともに、区間の分割に関する設計が困難であり、どのような信号でも適切に対応できるようにすることは難しい。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、煩雑な場合分けや条件などを設けることなく、入力された移動パターンと標準の移動パターンとの対応付けを的確に行うことが可能な移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体を提供することにある。

本発明に係る移動パターン特定装置は、上記課題を解決するために、対象物の位置を検出する位置取得手段と、上記位置取得部によって得られた上記対象物の位置の時間変化を示す入力時系列データに基づいて、上記対象物の位置の移動距離を算出する移動距離算出手段と、上記移動距離算出手段によって算出された移動距離に基づいて、入力時系列データを、移動距離変化に対する上記対象物の位置の変化を示す入力距離系列データに変換する距離系列データ変換手段と、上記距離系列データ変換手段によって得られた入力距離系列データのうちの少なくとも一部が、複数種類の対象物移動パターン毎に予め登録されている標準距離系列データのうちのどの標準距離系列データに対応するかを特定し、特定結果をユーザに提示する特定処理手段とを備える構成である。

また、本発明に係る移動パターン特定方法は、対象物の位置を検出する位置取得ステップと、上記位置取得ステップによって得られた上記対象物の位置の時間変化を示す入力時系列データに基づいて、上記対象物の位置の移動距離を算出する移動距離算出ステップと、上記移動距離算出ステップによって算出された移動距離に基づいて、入力時系列データを、移動距離変化に対する上記対象物の位置の変化を示す入力距離系列データに変換する距離系列データ変換ステップと、上記距離系列データ変換ステップによって得られた入力距離系列データのうちの少なくとも一部が、複数種類の対象物移動パターン毎に予め登録されている標準距離系列データのうちのどの標準距離系列データに対応するかを特定し、特定結果をユーザに提示する特定処理ステップとを有する方法である。

上記の構成または方法では、まず対象物の位置の時間変化を示す入力時系列データに基づいて、対象物の位置の移動距離が算出されるようになっている。そして、入力時系列データが、算出された移動距離に基づいて入力距離系列データに変換され、この入力距離系列データと標準距離系列データとが比較されることによって、入力距離系列データに対応する標準距離系列データが特定されるようになっている。

ここで、特定の種類の対象物移動パターンに対応する移動がなされた場合でも、該移動パターンの完了までに要した時間が、標準の移動パターンと異なる場合が考えられる。この場合、時系列データを単純に比較したのみでは、入力された移動パターンが標準の移動パターンと同じ種類の移動が行われていると認識することは困難である。これに対して、上記のように、距離系列変換処理を行うことによって、移動に要した時間の相違に影響を受けることなく、入力された移動パターンと標準の移動パターンとの対応付けを的確に行うことが可能となる。

また、上記の構成または方法は、単純に距離を基準に対応付けを行うのではなく、移動距離変化に対する上記対象物の位置の変化を示す距離系列データに基づいて対応付けを行うものである。よって、前記した従来手法において生じていた、必要以上に各点の対応付けが行われるという問題は、原理的に生じないことになる。また、同じく前記した従来手法において生じていた次の問題、すなわち、変化が少ない区間が比較的長く継続する場合、その変化が少ない区間の長さによる影響がマッチングに影響を与えて誤判定する問題についても、上記の構成または方法では、距離系列データに変換することによって変化が少ない期間の影響が消されることになり、該問題も解消されていることになる。

すなわち、上記の構成または方法によれば、煩雑な場合分けや条件などを設けることなく、入力された移動パターンと標準の移動パターンとの対応付けを的確に行うことが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、上記入力距離系列データと、上記標準距離系列データとの類似度を尤度として算出する尤度算出手段をさらに備え、上記特定処理手段が、上記尤度算出手段によって算出された尤度に基づいて、入力距離系列データに対応する標準距離系列データを特定する構成としてもよい。

上記の構成によれば、入力距離系列データと、上記標準距離系列データとの類似度を示す尤度に基づいて、入力距離系列データに対応する標準距離系列データが特定されるようになっている。よって、入力された移動パターンと標準の移動パターンとの対応付けを、尤度という明確な基準によって行うことが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、上記複数種類の対象物移動パターンにそれぞれ対応する標準距離系列データと、各標準距離系列データに対応する対象物移動パターンの情報とを対応づけて記録する標準距離系列データ記憶部をさらに備え、上記特定処理手段が、上記入力距離系列データに対応する標準距離系列データを特定すると、上記標準距離系列データ記憶部から、該標準距離系列データに対応する対象物移動パターンの情報を読み出し、該対象物移動パターンの情報を特定結果としてユーザに提示する構成としてもよい。

上記の構成によれば、特定処理手段による特定結果を対象物移動パターンの情報としてユーザに提示することができるので、ユーザにとってより把握しやすい情報を提示することが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、上記標準距離系列データを設定する標準距離系列データ設定手段をさらに備え、上記標準距離系列データ設定手段が、標準となる対象物移動パターンが実施されたときの入力時系列データに基づいて、上記移動距離算出手段および上記距離系列データ変換手段を用いることによって標準距離系列データを設定する構成としてもよい。

上記の構成によれば、上記移動距離算出手段および上記距離系列データ変換手段を、標準距離系列データの設定処理にも利用することが可能となる。すなわち、標準距離系列データの設定は、標準となる対象物移動パターンを実際に実施して、これを位置取得手段によって位置を検出させることによって実現することが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、上記特定処理手段による特定結果に基づいて、入力時系列データに含まれている対象物移動パターンの種類毎に、該対象物移動パターンの開始時刻および終了時刻を特定する開始・終了時刻特定手段をさらに備えている構成としてもよい。

上記の構成によれば、入力時系列データに含まれている対象物移動パターンの種類毎に、その開始時刻および終了時刻をユーザが把握することが可能となる。よって、例えば特定のタイミングで行われた対象物移動パターンの開始時刻および終了時刻を正確に特定することが可能となるので、例えば該対象物移動パターンの状況が撮影された期間を含む長時間の動画データが存在する場合などに、効率よく該当対象物移動パターンの箇所のみの再生処理などを行うことが可能となる。

また、開始時刻および終了時刻から所要時間を求めることも可能であるので、入力時系列データに含まれている対象物移動パターンの種類毎の所要時間をユーザが把握することが可能となる。よって、ある一連の対象物の移動に関して、どの対象物移動パターンの種類でどれだけ時間がかかっているかについての情報をユーザが認識することができるので、対象物の移動の状況分析などに用いることが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、移動パターンの特定対象としての対象物の移動の状況を撮影した入力パターン動画像データを記録する入力動画像データ記憶部と、上記特定処理手段による特定結果に基づいて、ユーザによって指定された特定の対象物移動パターンに対応する入力パターン動画像データを上記入力動画像データ記憶部から読み出し、表示装置に表示されるように制御を行う表示制御手段とをさらに備えている構成としてもよい。

上記の構成によれば、ユーザは、特定処理手段によって特定された対象物移動パターンの中から特定の対象物移動パターンを特定することによって、該対象物移動パターンに対応する入力パターン動画像データを表示させることが可能となる。よって、動画による確認が必要とされる対象物移動パターンのみを的確に、かつ効率的に動画表示させることが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、移動パターンの特定対象としての対象物の移動の状況を撮影した入力パターン動画像データを記録する入力動画像データ記憶部と、予め設定されている上記複数種類の対象物移動パターン毎の対象物の移動の状況を撮影した標準パターン動画像データを記録する標準動画像データ記憶部と、上記特定処理手段による特定結果に基づいて、上記入力動画像データ記憶部および上記標準動画像データ記憶部から入力パターン動画像データおよび標準パターン動画像データを読み出し、入力パターン動画像データと、それに対応する標準パターン動画像データとが、対応する対象物移動パターンに関してほぼ同じ所要時間で表示装置に表示されるように制御を行う表示制御手段とをさらに備えている構成としてもよい。

上記の構成によれば、表示装置には、入力パターン動画像データと出力パターン動画像データとが同時に表示されるとともに、対応する対象物移動パターンがほぼ同じタイミングで表示されることになる。よって、ユーザは、入力パターンと標準パターンとの対象物の移動の相違を、所要時間による影響を除外した状態で確認することが可能となる。

また、本発明に係る移動パターン特定装置は、上記の構成において、上記位置取得手段が、対象物の移動の状況を撮影した入力パターン動画像データを画像解析することによって対象物の位置を検出する構成としてもよい。

上記の構成によれば、対象物の移動の状況を撮影した入力パターン動画像データに基づいて対象物の位置を検出することが可能となるので、比較的簡素な構成によって対象物の位置の検出を実現することができる。

なお、上記移動パターン特定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記移動パターン特定装置をコンピュータにて実現させる移動パターン特定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る移動パターン特定装置は、以上のように、対象物の位置を検出する位置取得手段と、上記位置取得部によって得られた上記対象物の位置の時間変化を示す入力時系列データに基づいて、上記対象物の位置の移動距離を算出する移動距離算出手段と、上記移動距離算出手段によって算出された移動距離に基づいて、入力時系列データを、移動距離変化に対する上記対象物の位置の変化を示す入力距離系列データに変換する距離系列データ変換手段と、上記距離系列データ変換手段によって得られた入力距離系列データのうちの少なくとも一部が、複数種類の対象物移動パターン毎に予め登録されている標準距離系列データのうちのどの標準距離系列データに対応するかを特定し、特定結果をユーザに提示する特定処理手段とを備える構成である。これにより、煩雑な場合分けや条件などを設けることなく、入力された移動パターンと標準の移動パターンとの対応付けを的確に行うことが可能となるという効果を奏する。

本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、複数の工程からなる手組み生産ラインを有する生産システムに適用される、生産管理装置について説明する。

（生産システムの概略構成）
まず、本実施形態に係る生産管理装置２が適用される、ある製品の生産システム１について、図２に基づいて説明する。図２に示す例では、生産システム１は、生産管理装置（移動パターン特定装置）２、カメラ３…、および作業場６…を備えた構成となっている。また、図３は、生産システム１における生産ラインの具体的な例を示している。図３に示す例では、生産ラインは、組立工程（半田付け作業、組み付け作業などを含む）、検査工程、および梱包工程が行われる作業場６…が設けられており、組立工程および梱包工程に対して、作業状況を撮影するカメラ３…が複数設けられている。

各作業場６には、作業台および治工具などが設定されており、生産対象物としてのワーク（被対象物）に対して１つ以上の工程が行われる。基本的には、ある作業場６で行われる工程が全て完了すると、次の作業場６にワークが移動され、該作業場６での工程が行われる、という処理が繰り返されることによって、生産が実施される。各工程には作業者が配置されるが、生産ライン全体に配置する作業者の人数や、一人の作業者が担当する工程の数には様々な形態が存在する。

カメラ３は、各作業場６に対応して設けられ、該作業場６において実施される１つ以上の工程の作業状況を動画撮影するものである。作業員の特定の部位（手、胴体、頭、足など）にはマーカーが取り付けられており、カメラ３によって撮影された動画像データには、このマーカーの移動状況が記録されていることになる。各カメラ３は、通信手段を介して撮影した動画像データを生産管理装置２に送信する。ここで、各カメラ３は、撮影して得られた動画像データをバッファなどを介してそのまま生産管理装置２に送信するようになっていてもよいし、各カメラ３が記録部を有しており、撮影した動画像データを記録部に記録した後に、適時に生産管理装置２に送信するようになっていてもよい。また、図２に示す例では、１つの作業場６に対して１つのカメラ３が設けられているが、１つのカメラ３が複数の作業場６…の作業状況を撮影するようになっていてもよい。

生産管理装置２は、カメラ３から送られてきた動画像データに基づいて、各作業場６で行われている各工程を特定し、作業状況の管理を行う装置である。この生産管理装置２では、まず標準パターンの登録処理が事前処理として行われる。標準パターン（対象物移動パターン）とは、基準となる作業が行われた際の特徴点の移動に関するデータである。そして、実際に作業内容を特定すべき入力パターンが生産管理装置２に入力されると、標準パターンと比較することによって作業内容を特定する処理が行われる。

生産管理装置２は、例えば一般的なＰＣ（Personal Computer）によって構成される。この場合、生産管理装置２は、生産管理装置２に対する各種入力に要する表示や処理結果などの表示が行われる表示装置５、および、利用者からの入力を受け付ける入力装置４を備えた構成としてもよい。表示装置５としては、情報の表示が可能な表示装置であればどのような装置でもよく、例えばＣＲＴ（Cathode Ray Tube）、液晶表示装置などが挙げられる。また、入力装置４としては、利用者からの情報の入力が可能な入力装置であればどのような装置でもよく、例えばマウス、キーボードなどが挙げられる。

生産管理装置２とカメラ３…とは、通信手段によって互いに接続されている。この通信手段としては、有線通信、赤外線通信、Bluetooth（登録商標）、および無線ＬＡＮ（Local Area Network）等が挙げられる。

（生産管理装置の機能構成）
次に、生産管理装置２の機能構成について、図１に示すブロック図を参照しながら説明する。同図に示すように、生産管理装置２は、特徴点位置取得部（位置取得手段）１１、標準データ処理部１２、入力データ処理部１３、距離系列変換部１４、および作業特定処理部１５を備えた構成となっている。

（特徴点位置取得部）
特徴点位置取得部１１は、カメラ３…から送られてきた動画像データに基づいて、撮影されているマーカーを特徴点として認識し、この特徴点の位置および移動軌跡を取得する処理を行う。具体的には、特徴点位置取得部１１は、データ取得部２１、特徴点抽出部２２、座標抽出部２３、および座標変換部２４を備えている。

データ取得部２１は、カメラ３から送られてきた動画像データを通信手段から通信インターフェースを介して取得する処理を行う。データ取得部２１は、動画像データを取得すると、該動画像データが標準パターンとしてのデータである場合には、該動画像データを標準データ処理部１２に伝送し、入力パターンとしてのデータである場合には、該動画像データを入力データ処理部１３に伝送する。

特徴点抽出部２２は、データ取得部２１によって取得された動画像データの中から、特徴点を抽出する処理を行う。そして、座標抽出部２３は、特徴点抽出部２２によって抽出された特徴点の動画像データ内での座標を抽出する処理を行う。

座標変換部２４は、座標抽出部２３によって抽出された座標を、実空間での座標に変換する処理を行う。なお、本実施形態では、特徴点の位置を実空間での座標として認識して作業の特定処理が行われるようになっているが、動画像データ内での座標に基づいて作業の特定処理が行われるようになっていてもよい。しかしながら、動画像データ内での座標に基づいて作業の特定処理が行われる場合、例えばカメラ３の位置を移動させたとすると、それに応じて標準パターンのデータも変更する必要が生じることになる。これに対して、座標変換部２４による上記のような座標変換処理が行われる場合には、座標変換方法を変更するのみで、標準パターンのデータを変更しなくてもよいことになる。

（標準データ処理部）
標準データ処理部１２は、標準パターンの登録処理を行う。具体的には、標準データ処理部１２は、標準データ記憶部（標準動画像データ記憶部）３１、標準時系列データ記憶部３２、区切り候補抽出部３３、区切り位置設定部３４、標準データ設定部（標準距離系列データ設定手段）３５、および標準距離系列データ記憶部３６を備えている。

標準データ記憶部３１は、データ取得部２１によって標準パターンとして取得された動画像データを記憶する記憶部である。標準時系列データ記憶部３２は、座標変換部２４によって座標変換された座標データを時系列のデータとして記憶する記憶部である。以降、この標準パターンに対応する時系列の座標データを標準時系列データと称する。

区切り候補抽出部３３は、標準時系列データの中から、作業の区切りの候補となる点（区切り候補点）を抽出する処理を行う。この区切り候補点の抽出処理の詳細については後述する。区切り位置設定部３４は、区切り候補抽出部３３によって抽出された区切り候補点の近傍の動画像データを標準データ記憶部３１から読み出し、これを表示装置５に表示させる制御を行う。そして、区切り位置設定部３４は、表示している区切り候補点が区切り位置であるか否かについて入力装置４を介してユーザから指示入力を受け付け、これに基づいて区切り位置を設定する。

標準データ設定部３５は、区切り位置設定部３４によって設定された区切り位置に挟まれる区間毎に、標準時系列データを標準距離系列データに変換する処理を距離系列変換部１４に行わせる。そして、標準データ設定部３５は、距離系列変換部１４によって変換された標準距離系列データを標準パターンに対応する標準データとして設定する処理を行う。標準距離系列データ記憶部３６は、標準データ設定部３５によって設定された標準距離系列データを記憶する記憶部である。

（入力データ処理部）
入力データ処理部１３は、入力パターンが入力された際の処理を行う。具体的には、入力データ処理部１３は、入力データ記憶部（入力動画像データ記憶部）４１、入力時系列データ記憶部４２、入力データ設定部４３、および入力距離系列データ記憶部４４を備えている。

入力データ記憶部４１は、データ取得部２１によって入力パターンとして取得された動画像データを記憶する記憶部である。入力時系列データ記憶部４２は、座標変換部２４によって座標変換された座標データを時系列のデータとして記憶する記憶部である。以降、この入力パターンに対応する時系列の座標データを入力時系列データと称する。

入力データ設定部４３は、入力時系列データを入力距離系列データに変換する処理を距離系列変換部１４に行わせる。そして、入力データ設定部４３は、距離系列変換部１４によって変換された入力距離系列データを入力パターンに対応する入力データとして設定する処理を行う。入力距離系列データ記憶部４４は、入力データ設定部４３によって設定された入力距離系列データを記憶する記憶部である。

（距離系列変換部）
距離系列変換部１４は、標準データ設定部３５または入力データ設定部４３から入力された時系列データを距離系列データに変換する処理を行う。具体的には、距離系列変換部１４は、移動距離算出部（移動距離算出手段）５１、および距離系列データ変換部（距離系列データ変換手段）５２を備えている。

移動距離算出部５１は、標準データ設定部３５または入力データ設定部４３から入力された時系列データに対して、各点の移動距離を算出する処理を行う。距離系列データ変換部５２は、移動距離算出部５１によって算出された移動距離に基づいて、入力された時系列データを、移動距離変化に対する各点の位置の変化を示す距離系列データに変換する処理を行う。この距離系列変換処理の詳細については後述する。

（作業特定処理部）
作業特定処理部１５は、入力距離系列データが、どの標準距離系列データと対応するものであるかを判断し、該入力距離系列データに対応する作業がどの種類の作業であるかを特定する処理を行う、具体的には、作業特定処理部１５は、尤度算出部（尤度算出手段）６１、作業特定結果出力部（特定処理手段）６２、および作業時間出力部（所要時間算出手段）６３を備えている。

尤度算出部６１は、入力距離系列データ記憶部４４から入力距離系列データを読み出し、該入力距離系列データと、標準距離系列データ記憶部３６に記憶されている標準距離系列データとの尤度を算出する処理を行う。この尤度算出処理の詳細については後述する。

作業特定結果出力部６２は、尤度算出部６１による尤度算出結果に基づいて、入力パターンに対応する作業を特定するとともに、その特定結果をユーザに対して出力する処理を行う。特定結果の出力は表示装置５によって行われるが、その他、ユーザに対して特定結果を提示することが可能な任意の出力形式であってもよい。

作業時間出力部６３は、作業特定結果出力部６２による特定結果に基づいて、入力パターンに含まれている作業の種類毎に、作業開始時刻および作業終了時刻を特定し、該作業に要した作業時間を算出し、これをユーザに対して出力する処理を行う。この作業時間算出処理の詳細については後述する。作業時間の出力は表示装置５によって行われるが、その他、ユーザに対して特定結果を提示することが可能な任意の出力形式であってもよい。なお、作業時間を出力する必要がない場合には、作業時間出力部６３を設けなくても良い。

（標準パターンの登録処理）
次に、標準パターンの登録処理の流れについて図４に示すフローチャートを参照しながら説明する。まずステップ１（以降、Ｓ１のように称する）において、データ取得部２１が、カメラ３から送られてきた動画像データを標準パターンとしてのデータとして取得する。ここで、データ取得部２１は、例えばユーザから標準パターンとしての動画像データの入力開始指示を受け付けることによって、入力された動画像データを標準パターンとしてのデータと認識する。標準パターンとしての動画像データを取得すると、データ取得部２１は、これを標準データ記憶部３１に記憶する。

次に、Ｓ２において、特徴点抽出部２２が、データ取得部２１によって取得された動画像データの中から、特徴点を抽出する処理を行う。図６は、データ取得部２１によって取得された動画像データの一画面の一例を示している。同図に示すように、動画像データの画像内には作業者が映し出されており、作業者にはマーカーＭＲ・ＭＬが付けられている。同図に示す例では、作業者の右手にマーカーＭＲ、左手にマーカーＭＬが付されている。これらのマーカーＭＲ・ＭＬを特徴点として特徴点抽出部２２が抽出する。

次に、Ｓ３において、座標抽出部２３が、特徴点抽出部２２によって抽出された特徴点の動画像データ内での座標を抽出する処理を行う。その後、Ｓ４において、座標変換部２４が、座標抽出部２３によって抽出された座標を、実空間での座標に変換する処理を行う。これにより、各特徴点の実空間での座標位置が認識され、これらの座標位置情報を動画像データにおける時間経過とともに記録していくことによって時系列データが生成される。このようにして生成された時系列データが、標準時系列データとして標準時系列データ記憶部３２に記憶される（Ｓ５）。

図７は、図６に示すマーカーＭ１・Ｍ２の移動軌跡に基づいて、右手および左手のＸ座標およびＹ座標の移動を示す時系列データの一例を示している。同図において横軸が時間経過、縦軸が位置を示している。このような時系列データによれば、各特徴点（右手および左手のマーカー）が時間経過とともにどのように移動したかを認識することができる。

以上のように標準時系列データが記憶されると、次にＳ６において、区切り候補抽出部３３が、標準時系列データの中から、区切り候補点を抽出する処理を行う。ここで、区切り候補抽出部３３は、例えば標準距離系列データを関数とみなし、該関数の微分値が所定の閾値以上となる点を抽出することによって区切り候補点を設定する。なお、区切り候補点の抽出処理は、この手法に限らず、作業の区切りの候補とみなすことができる点を抽出可能な任意の手法が用いられても良い。

次に、区切り位置設定部３４が、区切り候補抽出部３３によって抽出された複数の区切り候補点の中から順次区切り候補点を読み出す。そして、区切り位置設定部３４は、読み出した区切り候補点を基準とする所定の時系列位置範囲を表示範囲として設定する。所定の時系列位置範囲は、例えば区切り候補位置を中心とする所定の時間範囲というように予め設定されているものとする。この所定の時系列位置範囲は、ユーザがその範囲の動画像を見て、作業の区切りであるか否かを判断できる程度に設定される。

次に、区切り位置設定部３４は、上記のようにして設定した所定の時系列位置範囲の動画像データを表示装置５に表示させる制御を行う（Ｓ７）。そして、Ｓ８において、区切り位置設定部３４が、その時点で表示されている所定の時系列位置範囲に区切り位置が存在するか否かに関するユーザからの指示入力を入力受付部を介して受け付ける。

ここで、その時点で表示されている所定の時系列位置範囲に区切り位置が存在しないという指示入力をユーザから受け付けた場合、区切り位置設定部３４は、Ｓ６で読み出された区切り候補点のうちの次の区切り候補点に対応する所定の時系列位置範囲を動画表示させるように制御し、再度Ｓ８の処理を行う。ここで、ある所定の時系列位置範囲から次の所定の時系列位置範囲に動画表示を移行させる際には、その間をスキップさせてもよいし、早送り表示させてもよい。

Ｓ８において、その時点で表示されている所定の時系列位置範囲に区切り位置が存在するという指示入力をユーザから受け付けた場合、区切り位置設定部３４は、該区切り位置の内容を示す区切り内容情報をユーザから入力装置４を介して受け付ける。この区切り内容情報は、該当区切り位置によって示される作業の種類の情報および該作業の開始であるか終了であるかを示す情報を含んでいる。区切り位置設定部３４によって受け付けられた区切り内容情報は、標準データ設定部３５に伝送される。

次に、Ｓ９において、標準データ設定部３５は、特定した区切り位置を示す区切り位置情報、および該区切り位置に対応する区切り内容情報に基づいて、作業の種類、および作業の開始時刻・終了時刻の情報を含む作業情報を標準距離系列データ記憶部３６に記録する。

以上の処理が、Ｓ８で設定された１以上の区切り位置全てに関して行われると、次にＳ１０において、標準データ設定部３５は、区切り位置で特定される各作業毎に、対応する時系列データを標準時系列データ記憶部３２から抽出する。そして、標準データ設定部３５は、抽出した時系列データを移動距離算出部５１に伝送する。

移動距離算出部５１は、標準データ設定部３５から入力された時系列データに対して、各点の移動距離を算出する処理を行う（Ｓ１１）。そして、距離系列データ変換部５２は、移動距離算出部５１によって算出された移動距離に基づいて、入力された時系列データを、移動距離変化に対する各点の位置の変化を示す距離系列データに変換する処理を行う（Ｓ１２）。この距離系列変換処理の詳細については後述する。距離系列データ変換部５２は、距離系列データを生成すると、これを、対応する作業情報と組み合わせて標準距離系列データ記憶部３６に記録する（Ｓ１３）。この距離系列データの生成処理が、各作業の種類毎に行われる。

（入力パターンの入力処理）
次に、入力パターンの入力処理の流れについて図５に示すフローチャートを参照しながら説明する。まずＳ２１において、データ取得部２１が、カメラ３から送られてきた動画像データを入力パターンとしてのデータとして取得する。ここで、データ取得部２１は、例えばユーザから入力パターンとしての動画像データの入力開始指示を受け付けることによって、入力された動画像データを入力パターンとしてのデータと認識する。入力パターンとしての動画像データを取得すると、データ取得部２１は、これを入力データ記憶部４１に記憶する。

次に、Ｓ２２において、特徴点抽出部２２が、データ取得部２１によって取得された動画像データの中から、特徴点を抽出する処理を行う。この特徴点の抽出処理は、図６を参照しながら上記で説明した内容と同様である。

次に、Ｓ２３において、座標抽出部２３が、特徴点抽出部２２によって抽出された特徴点の動画像データ内での座標を抽出する処理を行う。その後、Ｓ２４において、座標変換部２４が、座標抽出部２３によって抽出された座標を、実空間での座標に変換する処理を行う。これにより、各特徴点の実空間での座標位置が認識され、これらの座標位置情報を動画像データにおける時間経過とともに記録していくことによって時系列データが生成される。このようにして生成された時系列データが、入力時系列データとして入力時系列データ記憶部４２に記憶される（Ｓ２５）。

次に、Ｓ２６において、入力データ設定部４３は、入力時系列データを入力時系列データ記憶部４２から抽出する。そして、入力データ設定部４３は、抽出した時系列データを移動距離算出部５１に伝送する。

移動距離算出部５１は、入力データ設定部４３から入力された時系列データに対して、各点の移動距離を算出する処理を行う（Ｓ２７）。そして、距離系列データ変換部５２は、移動距離算出部５１によって算出された移動距離に基づいて、入力された時系列データを、移動距離変化に対する各点の位置の変化を示す距離系列データに変換する処理を行う（Ｓ２８）。この距離系列変換処理の詳細については後述する。距離系列データ変換部５２は、距離系列データを生成すると、これを入力距離系列データ記憶部４４に記録する（Ｓ２９）。また、距離系列データ変換部５２は、生成した距離系列データの各点に対して、時刻情報を対応させた時刻対応テーブルを生成し、該時刻対応テーブルを入力距離系列データ記憶部４４に記録する。

（距離系列変換処理）
次に距離系列変換処理の詳細について説明する。図８は、実空間におけるマーカーＭＲ・ＭＬの位置をｘ，ｙ座標系で表した例を示している。同図に示すように、マーカーＭＲの時間ｔにおけるｘ座標およびｙ座標をそれぞれｘ_Ｒ（ｔ）およびｙ_Ｒ（ｔ）とし、マーカーＭＬのｘ座標およびｙ座標をそれぞれｘ_Ｌ（ｔ）およびｙ_Ｌ（ｔ）とする。

図９は、時間ｔ＋１におけるマーカーＭＲ・ＭＬの位置を示している。ここで、時間ｔから時間ｔ＋１までの間にマーカーＭＲが移動した際のｘ方向およびｙ方向での移動距離をそれぞれΔｘ_Ｒ（ｔ＋１）およびΔｙ_Ｒ（ｔ＋１）とする。この場合、図１０に示すように、時間ｔから時間ｔ＋１までの間にマーカーＭＲが移動した距離をｄ_Ｒとすると、このｄ_Ｒは、ｄ_Ｒ＝√（Δｘ_Ｒ ^２＋Δｙ_Ｒ ^２）なる式によって求めることができる。同様に、時間ｔから時間ｔ＋１までの間にマーカーＭＬが移動した距離をｄ_Ｌとすると、このｄ_Ｌは、ｄ_Ｌ＝√（Δｘ_Ｌ ^２＋Δｙ_Ｌ ^２）なる式によって求めることができる。

すなわち、移動距離算出部５１は、標準データ設定部３５または入力データ設定部４３から入力された時系列データに基づいて、各特徴点間の移動距離を算出する。例えば図１１に示すｘ_Ｒ（ｔ）の時系列データにおいて、各特徴点間の距離ｄ_Ｒが移動距離算出部５１によって算出される。そして、距離系列データ変換部５２は、移動距離算出部５１によって算出された移動距離に基づいて、入力された時系列データを、移動距離変化に対する各点の位置の変化を示す距離系列データに変換する処理を行う。例えば図１１に示すｘ_Ｒ（ｔ）の時系列データは、同じく図１１に示すｘ_Ｒ（τ）の距離系列データに変換される。ここでτは移動距離を示している。なお、距離系列データ変換部５２は、距離系列データを生成する際に、時系列データを構成する特徴点に対応する点同士の間となる点を補間演算によって算出するようにしてもよい。

ここで、距離系列データを整数値単位などの離散値によって取り扱う必要がある場合、各特徴点間の距離ｄ_Ｒが整数値ではない値となった場合に工夫する必要がある。例えば図１２に示す例のように、移動距離が４．２と算出された場合、端数としての小数点以下の値を次の移動距離に加算し、次の移動の始点を現在の移動終点直近の整数値点とすればよい。

（作業特定処理）
次に、作業特定処理の流れについて図１３に示すフローチャートを参照しながら説明する。まずＳ３１において、尤度算出部６１が、入力距離系列データ記憶部４４から単位区間の入力距離系列データを読み出す。ここで、単位区間は、作業特定処理において標準パターンとの対応付けが可能となる程度の長さで予め設定されているものとする。具体的には、この単位区間の長さは、標準距離系列データに対応する標準時系列データのうちで、その長さが最も長いものと等しくなるように設定することが好ましい。

また、尤度算出部６１は、標準距離系列データ記憶部３６に記憶されている、各作業に対応する標準距離系列データを順次読み出し、読み出している入力距離系列データと各標準距離系列データとの尤度を算出する（Ｓ３２）。なお、ここでの「尤度」とは、値が小さいほど入力距離系列データと各標準距離系列データとの類似性が高いことを示すものである。

以上のようにして尤度算出部６１は各作業に対応する標準距離系列データとの尤度を算出し、これらの中から尤度が所定の閾値よりも小さくなる標準距離系列データに対応する作業を作業特定結果出力部６２が特定する（Ｓ３３）。

その後、Ｓ３４において、入力距離系列データ記憶部４４に記憶されている入力距離系列データの全ての区間について作業特定が完了したか否かが作業特定結果出力部６２によって判定される。全ての区間について終了していない場合には、所定の距離、例えば一距離単位分だけ単位区間の位置をシフトさせて、Ｓ３１からの処理、すなわち、尤度算出部６１が、入力距離系列データ記憶部４４から単位区間の入力距離系列データを読み出す処理が順次行われる。つまり、Ｓ３１〜Ｓ３３の処理が、入力距離系列データにおける単位区間の位置を所定の距離ずつ順にずらしながら行われることになる。

図１４は、Ｘ座標およびＹ座標の情報からなる入力距離系列データと１つの標準距離系列データとの尤度をＫ−Ｍｅａｎｓ法によって算出した結果の例を示している。同図において、縦軸が尤度を示しており、横軸が尤度最小値探索における移動距離探索位置を示している。なお、入力距離系列データと標準距離系列データとの移動距離軸における相対位置を変化させることによって、尤度が最も小さくなる相対位置を見つける必要があるが、この相対位置関係を示す値を移動距離探索位置としている。

同図に示す例において、Ｐ１で示される位置がＸ座標Ｙ座標ともに尤度が最も小さくなる位置となっている。よって、Ｐ１における尤度を、この例における入力距離系列データと標準距離系列データとの尤度として尤度算出部６１が算出することになる。

全ての区間について作業特定が完了すると、Ｓ３５において、作業特定結果出力部６２が、その特定結果をユーザに対して出力する処理を行う。出力の手法としては、例えば、入力パターンに含まれている作業の種類およびその順番を提示するような形態が考えられる。

なお、上記の例では、入力距離系列データと標準距離系列データとの尤度をＫ−Ｍｅａｎｓ法によって算出することによってマッチングを行っているが、入力距離系列データと標準距離系列データとのマッチングをＤＰマッチングによって行ってもよい。この場合、時系列データに対してＤＰマッチングを行う場合と比較して、対象物の動きと直結する距離座標化による解像度向上により、マッチングの精度を向上させることができる。

また、ＤＰマッチングを用いる方が、Ｋ−Ｍｅａｎｓ法を用いる場合と比較して、計算量は多いが、標準パターンと入力パターンとの移動距離のズレには対応しやすいというメリットがある。

また、入力距離系列データと標準距離系列データとのマッチングの手法として、その他、ＨＭＭ（Hidden Markov Model）、ニューラルネットワークなどを用いてもよい。

また、作業時間出力部６３が設けられている場合には、Ｓ３６において、作業特定結果出力部６２による特定結果に基づいて、入力パターンに含まれている作業の種類毎に、作業開始時刻および作業終了時刻を特定し、該作業に要した作業時間を算出し、これをユーザに対して出力する処理を行う。具体的には、作業時間出力部６３は、まず作業との対応付け結果に基づいて、入力距離系列データにおける作業の開始位置としての移動距離位置および終了位置としての移動距離位置を特定する。そして、これらの移動距離位置に対応する時刻を、入力距離系列データ記憶部４４に記憶されている時刻対応テーブルを参照することによって特定する。以上のようにして、作業時間出力部６３は、作業開始時刻および作業終了時刻を特定し、作業開始時刻と作業終了時刻との間の時間を算出することによって作業時間を特定する。

このように、作業時間出力部６３によって作業時間が出力されることによって、ユーザは各作業にどれだけの時間が費やされているかを明確に把握することが可能となる。これにより、一般的に用いられているＩＥ(Industrial Engineering)手法を行う際に、上記のように作業時間を計測し、作業時間にばらつきのある箇所など、時間から把握することができる問題のある作業を特定することが可能となる。また、このように特定された作業に対応する動画像を作業特定処理部１５が表示制御することによって、ユーザは容易に改善するべき箇所とその原因を見つけることが可能となる。また、各作業の作業時間を詳細に把握することが可能となるので、生産の進捗状況を今までになく細かく管理することが可能となる。

例えば作業時間が比較的長くかかっている作業がユーザによって特定された場合、作業特定処理部１５がユーザによって特定された作業の動画を入力データ記憶部４１から読み出して再生する、というような処理を行うようになっていてもよい。この場合、ユーザが動画を確認することによって、その作業に何らかの問題がないかを検討し、改善策を検討する、などの工程改善処理を効率的に行うことが可能となる。

また、生産された製品に不良品が発生した場合、該不良品が生産ラインへ投入された時刻と、作業時間出力部６３によって特定された作業開始時刻および作業終了時刻とに基づいて、該不良品に対して行われた各作業を正確に特定することが可能となる。よって、不良品に対して行われた各作業の動画を確認することよって、不良発生要因を効率よく調査することが可能となる。

（標準パターンと入力パターンとの対応付けの具体例）
次に、標準パターンと入力パターンとの対応付けの具体例について説明する。図１５は、複数の作業を含んだ標準パターンの標準時系列データの一例を示している。また、図１６は、図１５に示す標準パターンと同じ作業が行われた場合における、入力パターンの入力時系列データの一例を示している。図１６では、標準時系列データと入力時系列データとを同じタイミングで開始したものとして重ねてグラフ化している。この例では、標準パターンと比較して、入力パターンにおける各作業に要した時間が長くなっている。よって、時間の経過とともに標準時系列データと入力時系列データとの相違が大きくなっている。すなわち、時系列データを単純に比較したのみでは、入力パターンが標準パターンと同じ作業が行われていると認識することは難しくなっていることがわかる。

図１７は、図１５に示す標準パターンにおいて、作業４３に関する区間の標準時系列データを示している。また、図１８は、図１６に示す入力パターンのうち、同じく作業４３に関する区間の入力時系列データを示している。図１８では、標準時系列データにおける作業４３の開始時点と入力時系列データにおける作業４３の開始時点とを同じタイミングとして重ねてグラフ化している。図１８に示すように、特定の作業に関する時系列データを見ても、標準パターンと比較して、入力パターンにおける各作業に要した時間が長くなっており、作業４３の終了のタイミングは、標準時系列データと入力時系列データとで大きく異なっている。すなわち、作業単位で比較したとしても、時系列データを単純に比較したのみでは、入力パターンが標準パターンと同じ作業が行われているものであると認識することは難しくなっていることがわかる。

これに対して、図１９は、標準時系列データおよび入力時系列データを前記した距離系列変換処理した標準距離系列データおよび入力距離系列データを示している。同図に示すように、距離系列変換処理が施されると、標準パターンと入力パターンとの相違が小さくなっている。すなわち、距離系列変換処理を行うことによって、作業に要した時間の相違に影響を受けることなく、入力パターンと標準パターンとの対応付けを的確に行うことが可能となることがわかる。

（動画同期表示を行う構成例）
次に、入力パターンの動画像データと、該入力パターンに対応する標準パターンの動画像データとを互いに同期した状態で並べて表示する構成について説明する。図２０は、この動画同期表示を実現する生産管理装置２の機能構成を示している。この生産管理装置２は、図１に示す生産管理装置２と比較して、作業特定処理部１５が備えている機能ブロックが異なっている。その他の特徴点位置取得部１１、標準データ処理部１２、入力データ処理部１３、および距離系列変換部１４については、前記した構成と同様であるので、ここではその説明を省略する。

この構成例における作業特定処理部１５は、同図に示すように、尤度算出部６１、作業特定部（特定処理手段）７１、動画同期演算部（表示制御手段）７２、および動画同期表示制御部（表示制御手段）７３を備えている。なお、尤度算出部６１は、前記した構成と同様であるので、ここではその説明を省略する。

作業特定部７１は、尤度算出部６１による尤度算出結果に基づいて、入力パターンに対応する作業を特定する処理を行う。なお、作業特定部７１は、前記した作業特定結果出力部６２のように、特定結果をユーザに対して出力する処理まで行う構成であっても構わない。

動画同期演算部７２は、入力パターンの動画像データと、それに対応する標準パターンの動画像データとを同期して表示させるために必要な演算を行う。この入力パターンおよび標準パターンの動画像データを同期して表示させるためには、両者において対応する作業を同じタイミングで表示させることが必要である。この場合、入力パターンおよび標準パターンの動画像データの少なくとも一方の時間を変換する必要がある。この時間変換に関する演算を動画同期演算部７２が行う。この処理の詳細については後述する。

動画同期表示制御部７３は、入力データ記憶部４１および標準データ記憶部３１からそれぞれ入力パターンおよび標準パターンの動画像データを読み出し、動画同期演算部７２による時間変換結果に従って各動画像データを互いに同期した状態で表示装置５に表示させる制御を行う。

（動画同期表示処理の流れ）
次に、動画同期表示処理の流れについて図２１に示すフローチャートを参照しながら説明する。Ｓ４１〜Ｓ４４の処理は、図１３に示すＳ３１〜Ｓ３４の処理と同様であるので、ここではその説明を省略する。

全ての単位区間について作業特定が完了すると、Ｓ４５において、作業特定部７１による特定結果に基づいて、動画同期演算部７２が、入力パターンに含まれている作業の種類毎に、作業開始時刻および作業終了時刻を特定する。具体的には、動画同期演算部７２は、まず作業との対応付け結果に基づいて、入力距離系列データにおける作業の開始位置としての移動距離位置および終了位置としての移動距離位置を特定する。そして、これらの移動距離位置に対応する時刻を、入力時系列データ記憶部４２に記憶されている入力時系列データを参照することによって特定する。

また、動画同期演算部７２は、入力パターンに含まれている作業にそれぞれ対応する、標準パターンにおける各作業の作業開始時刻および作業終了時刻を特定する。この特定は、標準時系列データ記憶部３２に記憶されている、対応する作業の標準時系列データを参照することによって行われる。

その後、Ｓ４６において、動画同期演算部７２は、入力パターンに含まれる各作業と、それに対応する標準パターンにおける各作業との作業時間が一致するように、入力パターンにおける各作業の動画像データの単位時間長さおよび標準パターンにおける各作業の動画像データの単位時間長さの少なくとも一方を時間変換する。単位時間長さの変換とは、動画像データを再生する上での単位時間の長さを長くしたり短くしたりすることであり、これによって、再生速度を遅くしたり早くしたりすることが可能となる。

ここで、入力パターンの単位時間長さを標準パターンの単位時間長さに合わせるようにしてもよいし、入力パターンの単位時間長さを標準パターンの単位時間長さに合わせるようにしてもよいし、入力パターンおよび標準パターンの両方の単位時間長さを所定の単位時間長さに合わせるようにしてもよい。また、ユーザからの指示によって、入力パターンに合わせるか、標準パターンに合わせるか、あるいは所望の再生速度とするかが設定されたり切り替えられたりすることが可能となっていてもよい。

以上のようにして動画同期演算部７２によって時間変換処理が行われると、Ｓ４７において、動画同期表示制御部７３が、入力パターンの動画像データと標準パターンの動画像データとを同期させた状態で表示装置５に表示させる制御を行う。これにより、表示装置５には、入力パターンの動画像データと標準パターンの動画像データとが並んで同時に表示されるとともに、対応する作業がほぼ同じタイミングで表示されることになる。よって、ユーザは、入力パターンと標準パターンとの作業の仕方の相違を、作業に要した時間による影響を除外した状態で確認することが可能となる。

なお、上記の例では、動画表示は、入力パターンの動画像データと標準パターンの動画像データとを同期させた状態で行われるようになっているが、前記したように、単に、ユーザによって指定された特定の作業に対応する入力パターンの動画像データが表示されるようになっていてもよい。この場合、特定された作業に対応する動画像を作業特定処理部１５が表示制御することになる。

（特徴点情報の取得方法の他の例）
上記の例では、特徴点の位置は、動画像データに撮像画像として含まれているマーカーの位置を検出することによって取得しているが、その他、例えば以下に示すような手法であってもよい。まず、マーカーを特徴点に取り付けることをせずに、作業者自体にもともと備わっている特徴点の認識、例えば顔、鼻、目、手などの画像認識を動画像データに対して行うことによって特徴点の位置を取得しても良い。また、マーカーとして、近赤外線マーカーや電波式座標センサなどを用いて、各マーカーの位置を直接測定するようにしてもよい。また、特徴点の移動の範囲が比較的広い場合には、ＧＰＳを用いて特徴点の位置を検出するようにしてもよい。

（移動検出対象の他の例）
上記の例では、生産ラインにおける作業者の特定の部位の移動を入力パターンとして検出し、標準パターンとの対応付けを行うようになっているが、相対的または絶対的な座標によって移動を分類することが可能な対象であれば、どのような対象にも本発明を適用することができる。例えば、ダンスの動きの同定、手話における指の動きの同定、ゲーム機器などにおける手の動きによるコマンド入力の同定、テニスのスイングの同定（サーブ、スマッシュ、ボレー、フォアハンドなどを区別）、ＧＰＳによる人の移動の同定（児童の通学路からの逸脱の検出など）、生物の移動の同定（海洋調査における鯨などの移動検出）、および、飛行機の航路の同定（通常の航路からの逸脱の検出など）などが挙げられる。

（ソフトウェアによる構成）
前記した生産管理装置２の各機能ブロック、特に、特徴点位置取得部１１、標準データ処理部１２、入力データ処理部１３、距離系列変換部１４、および作業特定処理部１５における記憶部以外の機能ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、生産管理装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである生産管理装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記生産管理装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、生産管理装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係る移動パターン特定装置は、生産ラインにおける作業者の特定の部位の移動を入力パターンとして検出し、標準パターンとの対応付けを行う生産管理装置として適用可能であるとともに、人間の体の特定箇所の動きのパターン特定や、各種移動物体（人、生物、移動構造物など）の移動パターンの特定などに利用可能である。

本発明の一実施形態に係る生産管理装置の機能構成の概略を示すブロック図である。 本発明の一実施形態に係る生産システムの概略構成を示すブロック図である。 生産システム１における生産ラインの具体的な例を示す図である。 標準パターンの登録処理の流れを示すフローチャートである。 入力パターンの入力処理の流れを示すフローチャートである。 動画像データの一画面の一例を示す図である。 図６に示すマーカーの移動軌跡に基づいて、右手および左手のＸ座標およびＹ座標の移動を示す時系列データの一例を示すグラフである。 実空間におけるマーカーの位置をｘ，ｙ座標系で表した例を示す図である。 図８に示すマーカーの位置から所定時間経過後におけるマーカーの位置をｘ，ｙ座標系で表した例を示す図である。 所定時間にマーカーが移動した距離を示す図である。 時系列データから距離系列データに変換する例を示す図である。 各特徴点間の距離が整数値ではない値となった場合の距離系列データ変換の例を示す図である。 作業特定処理の流れを示すフローチャートである。 Ｘ座標およびＹ座標の情報からなる入力距離系列データと１つの標準距離系列データとの尤度をＫ−Ｍｅａｎｓ法によって算出した結果の例を示す図である。 複数の作業を含んだ標準パターンの標準時系列データの一例を示すグラフである。 標準時系列データと入力時系列データとを同じタイミングで開始したものとして重ねて示したグラフである。 特定の作業に関する区間の標準時系列データの例を示す図である。 特定の作業に関する区間の標準時系列データの開始時点と入力時系列データの開始時点とを同じタイミングとして重ねて示したグラフである。 標準時系列データおよび入力時系列データを距離系列変換処理した標準距離系列データおよび入力距離系列データを示したグラフである。 動画同期表示を実現する生産管理装置の機能構成を示すブロック図である。 動画同期表示処理の流れを示すフローチャートである。 従来の手法における、標準パターンと入力パターンとのマッチング処理の概念を説明する図である。 従来の手法における、標準パターンと入力パターンとのマッチング処理における問題点を説明する図である。 従来の手法における、標準パターンにおける各点に対応づけられる入力パターンの数を制限する処理を説明する図である。 従来の手法における、入力パターンと標準パターンとの対応付けに失敗した例を示す図である。 従来の手法における、教師信号および認識信号に対して、変化が大きい区間と変化が小さい区間とで分割しておき、各分割区間でマッチングさせることによって対応付けを行う手法を示す図である。

符号の説明

１ 生産システム
２ 生産管理装置（移動パターン特定装置）
３ カメラ
４ 入力装置
５ 表示装置
６ 作業場
１１ 特徴点位置取得部（位置取得手段）
１２ 標準データ処理部
１３ 入力データ処理部
１４ 距離系列変換部
１５ 作業特定処理部（表示制御手段）
２１ データ取得部
２２ 特徴点抽出部
２３ 座標抽出部
２４ 座標変換部
３１ 標準データ記憶部（標準動画像データ記憶部）
３２ 標準時系列データ記憶部
３３ 区切り候補抽出部
３４ 区切り位置設定部
３５ 標準データ設定部（標準距離系列データ設定手段）
３６ 標準距離系列データ記憶部
４１ 入力データ記憶部（入力動画像データ記憶部）
４２ 入力時系列データ記憶部
４３ 入力データ設定部
４４ 入力距離系列データ記憶部
５１ 移動距離算出部（移動距離算出手段）
５２ 距離系列データ変換部（距離系列データ変換手段）
６１ 尤度算出部（尤度算出手段）
６２ 作業特定結果出力部（特定処理手段）
６３ 作業時間出力部（所要時間算出手段）
７１ 作業特定部（特定処理手段）
７２ 動画同期演算部（表示制御手段）
７３ 動画同期表示制御部（表示制御手段）

Claims (11)

1. 対象物の位置を取得する位置取得手段と、
   上記位置取得手段によって取得された上記対象物の位置座標の時間に対する変化を示す入力時系列データに基づいて、上記対象物の位置の移動距離を算出する移動距離算出手段と、
   上記移動距離算出手段によって算出された移動距離に基づいて、上記入力時系列データを、上記移動距離に対する上記対象物の位置座標の変化を示す入力距離系列データに変換する距離系列データ変換手段と、
   上記距離系列データ変換手段によって得られた入力距離系列データのうちの少なくとも一部が、複数種類の対象物移動パターン毎に予め登録されている標準距離系列データのうちのどの標準距離系列データに対応するかを特定し、特定結果をユーザに提示する特定処理手段とを備えることを特徴とする移動パターン特定装置。
2. 上記入力距離系列データと、上記標準距離系列データとの類似度を尤度として算出する尤度算出手段をさらに備え、
   上記特定処理手段が、上記尤度算出手段によって算出された尤度に基づいて、入力距離系列データに対応する標準距離系列データを特定することを特徴とする請求項１記載の移動パターン特定装置。
3. 上記複数種類の対象物移動パターンにそれぞれ対応する標準距離系列データと、各標準距離系列データに対応する対象物移動パターンの情報とを対応づけて記録する標準距離系列データ記憶部をさらに備え、
   上記特定処理手段が、上記入力距離系列データに対応する標準距離系列データを特定すると、上記標準距離系列データ記憶部から、該標準距離系列データに対応する対象物移動パターンの情報を読み出し、該対象物移動パターンの情報を特定結果としてユーザに提示することを特徴とする請求項１または２に記載の移動パターン特定装置。
4. 上記標準距離系列データを設定する標準距離系列データ設定手段をさらに備え、
   上記標準距離系列データ設定手段が、標準となる対象物移動パターンが実施されたときの入力時系列データに基づいて、上記移動距離算出手段および上記距離系列データ変換手段を用いることによって標準距離系列データを設定することを特徴とする請求項１から３のいずれか１項に記載の移動パターン特定装置。
5. 上記特定処理手段による特定結果に基づいて、入力時系列データに含まれている対象物移動パターンの種類毎に、該対象物移動パターンの開始時刻および終了時刻を特定する開始・終了時刻特定手段をさらに備えていることを特徴とする請求項１から４のいずれか１項に記載の移動パターン特定装置。
6. 移動パターンの特定対象としての対象物の移動の状況を撮影した入力パターン動画像データを記録する入力動画像データ記憶部と、
   上記特定処理手段による特定結果に基づいて、ユーザによって指定された特定の対象物移動パターンに対応する入力パターン動画像データを上記入力動画像データ記憶部から読み出し、表示装置に表示されるように制御を行う表示制御手段とをさらに備えていることを特徴とする請求項１から５のいずれか１項に記載の移動パターン特定装置。
7. 移動パターンの特定対象としての対象物の移動の状況を撮影した入力パターン動画像データを記録する入力動画像データ記憶部と、
   予め設定されている上記複数種類の対象物移動パターン毎の対象物の移動の状況を撮影した標準パターン動画像データを記録する標準動画像データ記憶部と、
   上記特定処理手段による特定結果に基づいて、上記入力動画像データ記憶部および上記標準動画像データ記憶部から入力パターン動画像データおよび標準パターン動画像データを読み出し、入力パターン動画像データと、それに対応する標準パターン動画像データとが、対応する対象物移動パターンに関してほぼ同じ所要時間で表示装置に表示されるように制御を行う表示制御手段とをさらに備えていることを特徴とする請求項１から５のいずれか１項に記載の移動パターン特定装置。
8. 上記位置取得手段が、対象物の移動の状況を撮影した入力パターン動画像データを画像解析することによって対象物の位置を検出することを特徴とする請求項１から７のいずれか１項に記載の移動パターン特定装置。
9. 対象物の位置を取得する位置取得ステップと、
   上記位置取得ステップによって取得された上記対象物の位置座標の時間に対する変化を示す入力時系列データに基づいて、上記対象物の位置の移動距離を算出する移動距離算出ステップと、
   上記移動距離算出ステップによって算出された移動距離に基づいて、上記入力時系列データを、上記移動距離に対する上記対象物の位置座標の変化を示す入力距離系列データに変換する距離系列データ変換ステップと、
   上記距離系列データ変換ステップによって得られた入力距離系列データのうちの少なくとも一部が、複数種類の対象物移動パターン毎に予め登録されている標準距離系列データのうちのどの標準距離系列データに対応するかを特定し、特定結果をユーザに提示する特定処理ステップとを有することを特徴とする移動パターン特定方法。
10. 請求項１から８のいずれか１項に記載の移動パターン特定装置を動作させる移動パターン特定プログラムであって、コンピュータを上記の各手段として機能させるための移動パターン特定プログラム。
11. 請求項１０に記載の移動パターン特定プログラムを記録したコンピュータ読み取り可能な記録媒体。