JP7080285B2 - 動作特定装置、動作特定方法及び動作特定プログラム - Google Patents

Description

この発明は、対象者が撮影された画像データから対象者の動作内容を特定する技術に関する。

産業分野において、作業者が製品を組み立てる時間であるサイクルタイムの計測と、作業の抜け又は定常的な作業ではない非定常作業の検知のための作業内容の分析といった処理に対するニーズがある。現在これらの処理は人手で行うことが主流となっている。そのため多くの人的コストがかかるとともに、限定的な範囲についてしか処理の対象とすることができなかった。

特許文献１には、人の頭部に付けたカメラ及び三次元センサを用いて、人の動作の特徴量を抽出し、自動的に動作分析を行うことが記載されている。

特開２０１６－０９９９８２号公報 特開２０１７－１９９３０３号公報 特開２０１７－１７４０９３号公報 特開２０１６－４２３３２号公報

特許文献１では、人の頭部にカメラを付けている。しかし、産業分野においては、作業中に作業者の体の一部に作業に不要な物を付けることは作業の妨げとなる可能性があるとして、敬遠されている。
この発明は、作業者の体に作業に不要な物を付けることなく、一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定することを可能にすることを目的とする。

この発明に係る動作特定装置は、
複数の作業から構成される一連の作業を行った作業者を撮影した学習用の映像データについて、前記学習用の映像データを構成する各時刻の画像データと、前記各時刻における前記作業者の動作内容を示すラベル情報とを取得する画像取得部と、
前記画像取得部によって取得された前記学習用の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報である動作情報を抽出する骨格抽出部と、
前記各時刻の画像データを対象として、前記骨格抽出部によって対象の時刻の画像データから抽出された動作情報と、対象の時刻における前記作業者の動作を示すラベル情報との組を学習データとして学習させることにより、前記骨格情報が入力されると、入力された前記骨格情報に類似する前記動作情報を特定して、特定された前記動作情報に対応する前記ラベル情報を出力する学習モデルを生成する学習部と
を備え、
前記画像取得部は、複数の作業から構成される一連の作業を行った対象の作業者を撮影した対象の映像データについて、前記対象の映像データを構成する各時刻の画像データを取得し、
前記骨格抽出部は、前記対象の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報である対象情報を抽出し、
さらに、
前記対象の映像データを構成する前記各時刻の画像データを対象として、前記学習部によって生成された前記学習モデルに対象の時刻の画像データから抽出された前記対象情報を入力し、前記学習モデルから出力された前記ラベル情報を取得して、取得された前記ラベル情報が示す動作内容を、前記対象の作業者が行っている動作内容として特定することにより、前記一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定する動作特定部
を備える。

この発明では、画像データから対象者の体勢を表した骨格情報である対象情報を抽出し、対象情報と類似する骨格情報である動作情報が示す動作内容を、対象者が行っている動作内容として特定する。そのため、作業者の体に作業に不要な物を付けることなく、一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定することが可能になる。

実施の形態１に係る動作特定装置１０の構成図。 実施の形態１に係る登録処理のフローチャート。 実施の形態１に係る画像データの説明図。 実施の形態１に係る骨格情報４３の説明図。 実施の形態１に係る登録処理の説明図。 実施の形態１に係る動作情報テーブル３１の説明図。 実施の形態１に係る特定処理のフローチャート。 実施の形態１に係る特定処理の説明図。 変形例１に係る動作特定装置１０の構成図。 変形例３に係る動作特定装置１０の構成図。 実施の形態２に係る動作特定装置１０の構成図。 実施の形態２に係る学習処理のフローチャート。 実施の形態２に係る特定処理のフローチャート。 変形例５に係る動作特定装置１０の構成図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る動作特定装置１０の構成を説明する。
動作特定装置１０は、コンピュータである。
動作特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。なお、通信インタフェース１４は、通信されるデータ毎に別々に設けられていてもよい。例えば、後述する画像データを通信するためにＨＤＭＩ（登録商標）が設けられ、後述するラベル情報を通信するためにＵＳＢが設けられてもよい。

動作特定装置１０は、機能構成要素として、画像取得部２１と、骨格抽出部２２と、動作情報登録部２３と、動作特定部２４と、出力部２５とを備える。動作特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、動作特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、動作特定装置１０の各機能構成要素の機能が実現される。

また、ストレージ１３は、動作情報テーブル３１を記憶する。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
具体例としては、動作特定装置１０は、プロセッサ１１として、ＣＰＵと、ＧＰＵとを備えてもよい。この場合には、後述するように画像処理を行う骨格抽出部２２に関しては、ＧＰＵにより実現され、残りの画像取得部２１と、動作情報登録部２３と、動作特定部２４と、出力部２５とに関しては、ＣＰＵにより実現されてもよい。

＊＊＊動作の説明＊＊＊
図２から図８を参照して、実施の形態１に係る動作特定装置１０の動作を説明する。
実施の形態１に係る動作特定装置１０の動作は、実施の形態１に係る動作特定方法に相当する。また、実施の形態１に係る動作特定装置１０の動作は、実施の形態１に係る動作特定プログラムの処理に相当する。
実施の形態１に係る動作特定装置１０の動作は、登録処理と、特定処理とを含む。

図２を参照して、実施の形態１に係る登録処理を説明する。
（ステップＳ１１：画像取得処理）
画像取得部２１は、撮影装置４１によって対象動作をしている人４２が撮影された画像データと、対象動作を示すラベル情報との１つ以上の組を、通信インタフェース１４を介して取得する。図３に示すように、実施の形態１では、画像データは、撮影装置４１によって対象動作をしている人４２の身体全体が対象者の正面から撮影されて取得される。
画像取得部２１は、取得された画像データとラベル情報との組をメモリ１２に書き込む。

（ステップＳ１２：骨格抽出処理）
骨格抽出部２２は、ステップＳ１１で取得された画像データをメモリ１２から読み出す。骨格抽出部２２は、画像データから人４２の体勢を表した骨格情報４３を動作情報として抽出する。図４に示すように、実施の形態１では、骨格情報４３は、人４２の首及び肩といった複数の関節の座標、又は、複数の関節の相対的な位置関係を示す。
骨格抽出部２２は、抽出された動作情報をメモリ１２に書き込む。

（ステップＳ１３：動作情報登録処理）
動作情報登録部２３は、ステップＳ１２で抽出された動作情報と、動作情報の抽出元の画像データと同じ組のラベル情報とをメモリ１２から読み出す。動作情報登録部２３は、読み出された動作情報とラベル情報とを対応付けて、動作情報テーブル３１に書き込む。

（ステップＳ１４：終了判定処理）
骨格抽出部２２は、ステップＳ１１で取得された全ての組について処理をしたか否かを判定する。
骨格抽出部２２は、全ての組について処理をした場合には、登録処理を終了する。一方、骨格抽出部２２は、処理していない組がある場合には、処理をステップＳ１２に戻して、次の組についての処理を実行する。

登録処理を実行することにより、複数の動作情報とラベル情報との組が動作情報テーブル３１に蓄積される。
例えば、図５に示すように、ステップＳ１１で画像取得部２１は、一連の作業を行った人を撮影した映像データを構成する各時刻の画像データについて、その時刻の画像データと、その時刻の画像データが示す人の動作を示すラベル情報との組を取得する。そして、ステップＳ１２で骨格抽出部２２は、処理対象の画像データから動作情報を抽出し、ステップＳ１３で動作情報登録部２３は、処理対象の画像データと同じ組のラベル情報と動作情報を対応付けて動作情報テーブル３１に書き込む。これにより、図６に示すように、一連の作業における各時刻の動作について、対応付けられた動作情報とラベル情報とが動作情報テーブル３１に蓄積される。
なお、ステップＳ１１で画像取得部２１は、一連の作業において通常は行われない非定常作業を行った人を撮影した映像データを構成する各時刻の画像データについても、その時刻の画像データと、その時刻の画像データが示す人の動作を示すラベル情報との組を取得してもよい。これにより、非定常作業に関しても、各時刻の動作について、対応付けられた動作情報とラベル情報とが動作情報テーブル３１に蓄積される。

図７を参照して、実施の形態１に係る特定処理を説明する。
（ステップＳ２１：画像取得処理）
画像取得部２１は、対象者が撮影された１つ以上の画像データを、通信インタフェース１４を介して取得する。実施の形態１では、ステップＳ１１で取得される画像データと同様に、ステップＳ２１で取得される画像データは、撮影装置４１によって対象者の身体全体が対象者の正面から撮影されて取得される。
画像取得部２１は、取得された画像データをメモリ１２に書き込む。

（ステップＳ２２：骨格抽出処理）
骨格抽出部２２は、ステップＳ２１で取得された画像データをメモリ１２から読み出す。骨格抽出部２２は、画像データから対象者の体勢を表した骨格情報４３を対象情報として抽出する。
骨格抽出部２２は、抽出された対象情報をメモリ１２に書き込む。

（ステップＳ２３：動作特定処理）
動作特定部２４は、ステップＳ２２で抽出された対象情報と類似する骨格情報である動作情報が示す動作内容を、対象者が行っている動作内容として特定する。
具体的には、動作特定部２４は、動作情報テーブル３１から対象情報と類似する動作情報を検索する。類似するとは、骨格情報４３が複数の関節の座標を示す場合には、対象情報と動作情報とにおいて同じ関節の座標間のユークリッド距離が短いという意味である。また、骨格情報４３が複数の関節の相対的な位置関係を示す場合には、対象情報が示す各関節間のユークリッド距離と、動作情報が示す各関節間のユークリッド距離とが近いという意味である。そして、動作特定部２４は、検索にヒットした動作情報と対応付けられたラベル情報が示す動作内容を、対象者が行っている動作内容として特定する。

例えば、動作特定部２４は、動作情報テーブル３１に蓄積された全ての動作情報について、対象情報との類似度を計算する。そして、動作特定部２４は、類似度が最も高かった動作情報を検索にヒットした動作情報として扱う。なお、動作特定部２４は、類似度が閾値よりも高い動作情報がなかった場合には、検索にヒットした動作情報はないとしてもよい。
なお、特定の関節間の相対位置関係が動作を特徴付ける場合には、特定の関節についてのユークリッド距離の差が類似度に大きく影響するように重み付けを行ってもよい。つまり、骨格情報４３が複数の関節の座標を示す場合には、特定の関節についての対象情報における座標と動作情報における座標との間のユークリッド距離の差が類似度に大きく影響するように重み付けを行ってもよい。また、骨格情報４３が複数の関節の相対的な位置関係を示す場合には、特定の関節間のユークリッド距離の差が類似度に大きく影響するように重み付けを行ってもよい。

（ステップＳ２４：出力処理）
出力部２５は、ステップＳ２３で特定された動作内容を、通信インタフェース１４を介して接続された表示装置等に出力する。出力部２５は、動作内容を示すラベル情報を出力してもよい。
なお、検索にヒットした動作情報がない場合には、出力部２５は、動作内容を特定できないことを示す情報を出力する。

（ステップＳ２５：終了判定処理）
骨格抽出部２２は、ステップＳ２１で取得された全ての画像データについて処理をしたか否かを判定する。
骨格抽出部２２は、全ての画像データについて処理をした場合には、登録処理を終了する。一方、骨格抽出部２２は、処理していない画像データがある場合には、処理をステップＳ２２に戻して、次の画像データについての処理を実行する。

例えば、図８に示すように、ステップＳ２１で画像取得部２１は、一連の作業を行った人を撮影した映像データを構成する各時刻の画像データについて、その時刻の画像データを取得する。そして、ステップＳ２２で骨格抽出部２２は、処理対象の画像データから対象情報を抽出し、ステップＳ２３で動作情報登録部２３は、対象情報と類似する動作情報を検索して、動作内容を特定する。これにより、一連の作業における各時刻の動作内容を特定することができる。
この際、対象とする作業がいつ開始され、いつ終了したかということも特定可能である。また、対象者が一連の作業中に非定常作業を行った場合には、非定常作業を行ったことも特定することが可能である。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る動作特定装置１０は、対象者を正面から撮影した画像データから対象者の体勢を表した骨格情報である対象情報を抽出し、対象情報と類似する骨格情報である動作情報が示す動作内容を、対象者が行っている動作内容として特定する。そのため、実施の形態１に係る動作特定装置１０は、複数の画像データを含む映像データを入力として、各画像データについての動作内容を特定することにより、一連の動作を分析することが可能である。その結果、作業者の体に作業に不要な物を付けることなく、サイクルタイムの計測と作業内容の分析といった処理が可能になる。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、図１に示すように、動作特定装置１０は、１つの装置であった。しかし、動作特定装置１０は、複数の装置によって構成されたシステムであってもよい。
具体例としては、図９に示すように、動作特定装置１０は、登録処理に関する機能を有する登録装置と、特定処理に関する機能を有する特定装置とによって構成されるシステムであってもよい。この場合には、動作情報テーブル３１は、登録装置及び特定装置の外部に設けられた記憶装置に記憶されてもよいし、登録装置と特定装置とのいずれかのストレージに記憶されてもよい。
なお、図９では、登録装置及び特定装置におけるハードウェアは省略されている。登録装置及び特定装置は、動作特定装置１０と同様に、ハードウェアとして、プロセッサとメモリとストレージと通信インタフェースとを備える。

＜変形例２＞
実施の形態１では、画像データとして、撮影装置４１によって撮影されたデータを用いた。しかし、画像データとして、深度センサといったセンサにより得られた３次元画像データを用いてもよい。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図１０を参照して、変形例３に係る動作特定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、動作特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、動作情報とラベル情報とに基づいて学習モデル３２を生成し、学習モデル３２により対象情報に対応するラベル情報を特定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１１を参照して、実施の形態２に係る動作特定装置１０の構成を説明する。
動作特定装置１０は、動作情報登録部２３に代えて、学習部２６を備える点が図１に示す動作特定装置１０と異なる。また、動作特定装置１０は、ストレージ１３が動作情報テーブル３１に代えて、学習モデル３２を記憶する点が図１に示す動作特定装置１０と異なる。

＊＊＊動作の説明＊＊＊
図１２から図１３を参照して、実施の形態２に係る動作特定装置１０の動作を説明する。
実施の形態２に係る動作特定装置１０の動作は、実施の形態２に係る動作特定方法に相当する。また、実施の形態２に係る動作特定装置１０の動作は、実施の形態２に係る動作特定プログラムの処理に相当する。
実施の形態２に係る動作特定装置１０の動作は、学習処理と、特定処理とを含む。

図１２を参照して、実施の形態２に係る学習処理を説明する。
ステップＳ３１からステップＳ３２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。また、ステップＳ３４の処理は、図２のステップＳ１４の処理と同じである。

（ステップＳ３３：学習モデル生成処理）
学習部２６は、ステップＳ３２で抽出された動作情報と、動作情報の抽出元の画像データと同じ組のラベル情報との複数の組を学習データとして学習させる。これにより、学習部２６は、骨格情報４３が入力されると、入力された骨格情報４３に類似する動作情報を特定して、特定された動作情報に対応するラベル情報を出力する学習モデル３２を生成する。学習データに基づく学習の方法については既存の機械学習モデル等を用いればよい。学習部２６は、生成された学習モデル３２をストレージ１３に書き込む。
既に学習モデル３２が生成されている場合には、学習部２６は、生成済の学習モデル３２に対して学習データを与えることにより、学習モデル３２を更新する。

なお、ステップＳ３１では、画像データとラベル情報とのペアだけではなく、画像データのみが入力されてもよい。この場合には、ステップＳ３２で画像データから動作情報が抽出され、ステップＳ３３で動作情報のみが学習データとして学習モデル３２に与えられる。このように、ラベル情報が存在しない場合であっても、一定の学習効果を得ることが可能である。

図１３を参照して、実施の形態２に係る特定処理を説明する。
ステップＳ４１からステップＳ４２の処理は、図７のステップＳ２１からステップＳ２２の処理と同じである。また、ステップＳ４４からステップＳ４５の処理は、図７のステップＳ２４からステップＳ２５の処理と同じである。

（ステップＳ４３：動作特定処理）
動作特定部２４は、ストレージ１３に記憶された学習モデル３２に、ステップＳ４２で抽出された対象情報を入力し、学習モデル３２から出力されたラベル情報を取得する。そして、動作特定部２４は、取得されたラベル情報が示す動作内容を、対象者が行っている動作内容として特定する。つまり、動作特定部２４は、学習モデル３２によって対象情報から推論され出力されたラベル情報が示す動作内容を、対象者が行っている動作内容として特定する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る動作特定装置１０は、学習モデル３２を生成し、学習モデル３２により対象情報に対応するラベル情報を特定する。そのため、対象情報に対応するラベル情報の特定を効率的に実行することが可能になる。

＊＊＊他の構成＊＊＊
＜変形例５＞
実施の形態２では、図１１に示すように、動作特定装置１０は、１つの装置であった。しかし、変形例１と同様に、動作特定装置１０は、複数の装置によって構成されたシステムであってもよい。
具体例としては、図１４に示すように、動作特定装置１０は、学習処理に関する機能を有する登録装置と、特定処理に関する機能を有する特定装置とによって構成されるシステムであってもよい。この場合には、学習モデル３２は、学習装置及び特定装置の外部に設けられた記憶装置に記憶されてもよいし、学習装置と特定装置とのいずれかのストレージに記憶されてもよい。
なお、図１４では、登録装置及び特定装置におけるハードウェアは省略されている。学習装置及び特定装置は、動作特定装置１０と同様に、ハードウェアとして、プロセッサとメモリとストレージと通信インタフェースとを備える。

＜変形例６＞
実施の形態２では、図１１に示すように、動作特定装置１０は、ハードウェアとして、プロセッサ１１とメモリ１２とストレージ１３と通信インタフェース１４とを備えた。動作特定装置１０は、プロセッサ１１として、ＣＰＵと、ＧＰＵと、学習処理用のプロセッサと、推論処理用のプロセッサとを備えてもよい。この場合には、画像処理を行う骨格抽出部２２に関しては、ＧＰＵにより実現され、学習モデル３２の学習に関する学習部２６に関しては学習処理用のプロセッサにより実現され、学習モデル３２により推論を行う動作特定部２４に関しては推論処理用のプロセッサにより実現され、残りの画像取得部２１と、学習部２６とに関しては、ＣＰＵにより実現されてもよい。

以上をまとめると、次のようになる。
実施の形態１，２に係る動作特定装置は、
対象者についての画像データを取得する画像取得部と、
前記画像取得部によって取得された前記画像データから、前記対象者の体勢を表した骨格情報である対象情報を抽出する骨格抽出部と、
前記骨格抽出部によって抽出された前記対象情報と類似する前記骨格情報である動作情報が示す動作内容を、前記対象者が行っている動作内容として特定する動作特定部と
を備える。

前記骨格情報は、前記対象者の複数の関節の座標を示す。

前記骨格情報は、前記対象者の複数の関節の相対的な位置関係を示す。

前記動作特定部は、前記動作情報と作業内容を示すラベル情報とを対応付けて記憶した記憶装置から、前記対象情報と類似する前記動作情報を検索し、検索にヒットした前記動作情報と対応付けられた前記ラベル情報が示す動作内容を、前記対象者が行っている動作内容として特定する。

前記動作特定装置は、さらに、
対象動作をしている人についての画像データから抽出された前記骨格情報である前記動作情報と、前記対象動作を示す前記ラベル情報とを対応付けて前記記憶装置に登録する動作情報登録部
を備える。

前記動作特定装置は、さらに、
対象動作をしている人についての画像データから抽出された前記骨格情報である前記動作情報と、前記対象動作を示すラベル情報との複数の組を学習データとして学習させることにより、前記骨格情報が入力されると、入力された前記骨格情報に類似する前記動作情報を特定して、特定された前記動作情報に対応する前記ラベル情報を出力する学習モデルを生成する学習部
を備え、
前記動作特定部は、前記学習部によって生成された前記学習モデルに前記対象情報を入力し、前記学習モデルから出力された前記ラベル情報を取得して、取得された前記ラベル情報が示す動作内容を、前記対象者が行っている動作内容として特定する。

前記画像取得部は、対象者についての複数の画像データを含む映像データを取得し、
前記骨格抽出部は、前記映像データに含まれる前記複数の画像データそれぞれを対象として、対象の画像データから前記対象情報を抽出し、
前記動作特定部は、前記複数の画像データそれぞれを対象として、対象の画像データから抽出された前記対象情報に基づき、前記対象の画像データが示す前記対象者が行っている動作内容を特定する。

実施の形態１，２に係る動作特定方法は、
動作特定装置の画像取得部が、対象者についての画像データを取得し、
前記動作特定装置の骨格抽出部が、前記画像データから、前記対象者の体勢を表した骨格情報である対象情報を抽出し、
前記動作特定装置の動作特定部が、前記対象情報と類似する前記骨格情報である動作情報が示す動作内容を、前記対象者が行っている動作内容として特定する。

実施の形態１，２に係る動作特定プログラムは、
画像取得部が、対象者についての画像データを取得する画像取得処理と、
骨格抽出部が、前記画像取得処理によって取得された前記画像データから、前記対象者の体勢を表した骨格情報である対象情報を抽出する骨格抽出処理と、
動作特定部が、前記骨格抽出処理によって抽出された前記対象情報と類似する前記骨格情報である動作情報が示す動作内容を、前記対象者が行っている動作内容として特定する動作特定処理と
を行う動作特定装置としてコンピュータを機能させる。

１０ 動作特定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ 骨格抽出部、２３ 動作情報登録部、２４ 動作特定部、２５ 出力部、２６ 学習部、３１ 動作情報テーブル、３２ 学習モデル、４１ 撮影装置、４２ 人、４３ 骨格情報。

Claims (4)

1. 複数の作業から構成される一連の作業を行った作業者を撮影した学習用の映像データについて、前記学習用の映像データを構成する各時刻の画像データと、前記各時刻における前記作業者の動作内容を示すラベル情報とを取得する画像取得部と、
   前記画像取得部によって取得された前記学習用の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である動作情報を抽出する骨格抽出部と、
   前記各時刻の画像データを対象として、前記骨格抽出部によって対象の時刻の画像データから抽出された動作情報と、対象の時刻における前記作業者の動作を示すラベル情報との組を学習データとして学習させることにより、前記骨格情報が入力されると、入力された前記骨格情報に類似する前記動作情報を特定して、特定された前記動作情報に対応する前記ラベル情報を出力する学習モデルを生成する学習部と
   を備え、
   前記画像取得部は、複数の作業から構成される一連の作業を行った対象の作業者を撮影した対象の映像データについて、前記対象の映像データを構成する各時刻の画像データを取得し、
   前記骨格抽出部は、前記対象の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である対象情報を抽出し、
   さらに、
   前記対象の映像データを構成する前記各時刻の画像データを対象として、前記学習部によって生成された前記学習モデルに対象の時刻の画像データから抽出された前記対象情報を入力し、前記学習モデルから出力された前記ラベル情報を取得して、取得された前記ラベル情報が示す動作内容を、前記対象の作業者が行っている動作内容として特定することにより、前記一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定する動作特定部
   を備える動作特定装置。
2. 前記学習モデルは、前記一連の作業を構成する動作内容を示すラベル情報だけでなく、前記一連の作業を構成しない動作内容である非定常作業を示すラベル情報も出力する
   請求項１に記載の動作特定装置。
3. 動作特定装置の画像取得部が、複数の作業から構成される一連の作業を行った作業者を撮影した学習用の映像データについて、前記学習用の映像データを構成する各時刻の画像データと、前記各時刻における前記作業者の動作内容を示すラベル情報とを取得し、
   前記動作特定装置の骨格抽出部が、前記学習用の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である動作情報を抽出し、
   前記動作特定装置の学習部が、前記各時刻の画像データを対象として、前記骨格抽出部によって対象の時刻の画像データから抽出された動作情報と、対象の時刻における前記作業者の動作を示すラベル情報との組を学習データとして学習させることにより、前記骨格情報が入力されると、入力された前記骨格情報に類似する前記動作情報を特定して、特定された前記動作情報に対応する前記ラベル情報を出力する学習モデルを生成し、
   前記動作特定装置の前記画像取得部は、複数の作業から構成される一連の作業を行った対象の作業者を撮影した対象の映像データについて、前記対象の映像データを構成する各時刻の画像データを取得し、
   前記動作特定装置の前記骨格抽出部は、前記対象の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である対象情報を抽出し、
   前記動作特定装置の動作特定部は、前記対象の映像データを構成する前記各時刻の画像データを対象として、前記学習モデルに対象の時刻の画像データから抽出された前記対象情報を入力し、前記学習モデルから出力された前記ラベル情報を取得して、取得された前記ラベル情報が示す動作内容を、前記対象の作業者が行っている動作内容として特定することにより、前記一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定する動作特定方法。
4. 画像取得部が、複数の作業から構成される一連の作業を行った作業者を撮影した学習用の映像データについて、前記学習用の映像データを構成する各時刻の画像データと、前記各時刻における前記作業者の動作内容を示すラベル情報とを取得する画像取得処理と、
   骨格抽出部が、前記画像取得処理によって取得された前記学習用の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である動作情報を抽出する骨格抽出処理と、
   前記各時刻の画像データを対象として、前記骨格抽出処理によって対象の時刻の画像データから抽出された動作情報と、対象の時刻における前記作業者の動作を示すラベル情報との組を学習データとして学習させることにより、前記骨格情報が入力されると、入力された前記骨格情報に類似する前記動作情報を特定して、特定された前記動作情報に対応する前記ラベル情報を出力する学習モデルを生成する学習処理と
   を行い、
   前記画像取得処理では、複数の作業から構成される一連の作業を行った対象の作業者を撮影した対象の映像データについて、前記対象の映像データを構成する各時刻の画像データを取得し、
   前記骨格抽出処理では、前記対象の映像データを構成する前記各時刻の画像データを対象として、対象の時刻の画像データから、前記作業者の体勢を表した骨格情報であって、前記作業者の複数の関節の相対的な位置関係を示す骨格情報である対象情報を抽出し、
   さらに、
   動作特定部が、前記対象の映像データを構成する前記各時刻の画像データを対象として、前記学習処理によって生成された前記学習モデルに対象の時刻の画像データから抽出された前記対象情報を入力し、前記学習モデルから出力された前記ラベル情報を取得して、取得された前記ラベル情報が示す動作内容を、前記対象の作業者が行っている動作内容として特定することにより、前記一連の作業を構成する各作業がいつ開始し、いつ終了したかを特定する動作特定処理
   を行う動作特定装置としてコンピュータを機能させる動作特定プログラム。

Images