JP7335044B2 - 作業スキル判定システム、作業スキル判定方法、及び作業スキル判定プログラム - Google Patents

Description

本発明は、作業スキル判定システム、作業スキル判定方法、及び作業スキル判定プログラムに関する。

特許文献１は、作業支援システムに関するものであり、「熟練者２が行う作業の映像を取得する映像取得装置１１と、作業中の熟練者の音声を取得する音声取得装置１２と、映像取得装置１１により取得された作業の映像および音声取得装置１２により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成する作業チェック情報生成装置と、作業者３が行う作業の映像を取得する映像取得装置２１と、作業者３の作業の成否を判定する判定装置と、判定装置による判定結果を作業支援情報として出力する支援情報出力装置２３と、を備える。判定装置は、作業チェック情報に基づき熟練者２の作業の映像と作業者３の作業の映像を対比することにより作業の成否を判定する。」ことが記載されている。特許文献１では、不慣れと判断された作業者に対して、一律に同じ映像を提供するため、実際に作業を行う不慣れな作業者と作業熟練者との間に大きなスキルレベルの差が存在している場合には作業映像があまり参考にならず、作業スキルの向上に大きな効果を発揮できない場合がある。

特許文献２は、ノウハウ情報処理システム、方法及び装置に関するものであり、「生体情報取得部（３４）により取得された生体情報に基づいて対象者の感情状態を示す感情情報を取得する感情情報取得部（５８）」が記載されている。

特許文献３は、作業支援装置に関するものであり、「作業支援装置（１０）は、作業者の視線情報を計測する視線計測部（１１１）と、視線計測部（１１１）による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部（１１２）と、前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部（１１４）と、熟練度判定部（１１４）で判定された熟練度に応じた内容の作業支援情報を情報出力部（ＳＰ，１３）から出力させる出力制御部（１０２）とを備える。」ことが記載されている。特許文献３では、記載の発明は、熟練度を判定するためには、予め作業対象となる機器ごとに画像情報を取得しておく必要があり、限られた機器しか作業対象候補にならないのであれば大きな問題にはならないが、多くの機器が作業対象候補になる場合には、機器を認識するための下準備に大きな手間がかかる。

特許文献４は、作業要領表示装置に関するものであり、「製造作業現場で実施される製造または検査の作業要領を、指導もしくは学習するのに用いられる作業要領表示装置Ａであって、手本となる作業の画像Ｉａを表示部４に表示させることが可能なデータ処理手段１と、作業学習者の作業状況を撮像可能な撮像手段６と、を備えており、データ処理手段１は、撮像手段６によって撮像された作業学習者の作業状況の画像Ｉｂと手本となる作業の画像Ｉａとを表示部４に同時に表示させる処理が実行可能である。」ことが記載されている。特許文献４では、不慣れと判断された作業者に対して、一律に同じ映像を提供するため、実際に作業を行う不慣れな作業者と作業熟練者との間に大きなスキルレベルの差が存在している場合には作業映像があまり参考にならず、作業スキルの向上に大きな効果を発揮できない場合がある。

国際公開第２０２０／２３５１２０号 再公表特許第２０１８／２２１４８８号 再公表特許第２０１７／１１９１２７号 特開２０１５－００５２０６号公報

以下の分析は、本発明によって与えられたものである。一般にオフィスや店舗に導入されている機器やシステムには、複数のメーカの製品が混在しており、ベンダごとに保守サービスの窓口が異なると、窓口との対応に大きな負担がかかり、また保守契約の管理が複雑になると共に保守費用もかさんでしまう。

そこで、現在では、複数のメーカの製品の保守窓口を一本化した、マルチベンダ保守サービスが普及しつつある。

このマルチベンダ保守サービスを展開するにあたり、作業者が様々なメーカの製品に対して保守作業を円滑に行えるように、保守サービス事業者は、作業者の作業スキルの向上を目的とした社内教育に、より一層力を入れている。

但し、作業者によって作業スキルにバラツキがあるため、作業者に作業スキルに応じた教育を実施することが好ましく、そのためには各作業者の作業スキルを正確に判定することが望まれる。

本発明は、作業者の作業スキルを正確に判定することに貢献する、作業スキル判定システム、作業スキル判定方法、及び作業スキル判定プログラムを提供することを目的とする。

本発明の第１の視点によれば、複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定システムであって、
外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析部と、
作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析部と、
前記バイタルデータ分析部から出力される感情データを取得し、且つ前記映像解析部から出力される前記第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合部と、
前記データ照合部から出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定部と、
前記判定部で判定された判定結果を通知する通知部と、
前記判定部から出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理部と、
を含むことを特徴とする、作業スキル判定システムを、提供できる。

本発明の第２の視点によれば、複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定方法であって、
外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析ステップと、
作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析ステップと、
前記バイタルデータ分析ステップで出力される感情データを取得し、且つ前記映像解析ステップで出力される第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合ステップと、
前記データ照合ステップで出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定ステップと、
前記判定ステップで判定された判定結果を通知する通知ステップと、
前記判定ステップで出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理ステップと、
を含むことを特徴とする、作業スキル判定方法を、提供できる。

本発明の第３の視点によれば、コンピュータに、複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定処理を実行させるプログラムであって、前記作業スキル判定処理は、
外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析処理と、
作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析処理と、
前記バイタルデータ分析処理で出力される感情データを取得し、且つ前記映像解析処理で出力される第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合処理と、
前記データ照合処理で出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定処理と、
前記判定処理で判定された判定結果を通知する通知処理と、
前記判定処理で出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理処理と、
を含む、ことを特徴とする、プログラムを提供できる。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ－ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、作業者の作業スキルを正確に判定することに貢献する、作業スキル判定システム、作業スキル判定方法、及び作業スキル判定プログラムを提供することができる。

本発明の一実施形態の作業スキル判定システムの構成を示す図である。 本発明の第１の実施形態の作業スキル判定システムを含む全体構成の一例を示す図である。 本発明の第１の実施形態の作業スキル判定システムの結合データの一例を示す図である。 本発明の第１の実施形態の作業スキル判定システムの動作のフローチャートを示す図である。 本発明の第２の実施形態の作業スキル判定システムのバイタルデータ分析部の構成の一例を示す図である。 本発明の第３の実施形態の作業スキル判定システムの映像解析部の構成の一例を示す図である。 本発明の第４の実施形態の作業スキル判定システムのデータ照合部の構成の一例を示す図である。 本発明の第５の実施形態の作業スキル判定システムの判定部の構成の一例を示す図である。 本発明の第６の実施形態の作業スキル判定システムの通知部の構成の一例を示す図である。 本発明の第７の実施形態の作業スキル判定システムの映像管理部の構成の一例を示す図である。 本発明の作業スキル判定システムを構成するコンピュータの構成を示す図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

図１は、本発明の一実施形態の作業スキル判定システムの構成を示す図である。本発明は、その一実施形態において、図１に示すように、バイタルデータ分析部１０１、映像解析部１０２、データ照合部１０３、判定部１０４、通知部１０５、及び、映像管理部１０６と、を含む作業スキル判定システム１にて実現できる。

より具体的には、本発明の一実施形態の作業スキル判定システム１は以下の通り、複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する。

作業スキル判定システム１のバイタルデータ分析部１０１は、外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力する。

映像解析部１０２は、作業状況を撮影した作業映像データを取得し、作業映像データに含まれている挙動に基づいて、作業項目ごとに作業映像データを区切り、区切られた作業映像データを有する第１映像解析データを出力する。

データ照合部１０３は、バイタルデータ分析部１０１から出力される感情データを取得し、且つ映像解析部１０２から出力される第１映像解析データを取得し、感情データと第１映像解析データを結合した結合データを出力する。

判定部１０４は、データ照合部１０３から出力される結合データに基づいて、作業項目ごとの作業者の作業スキルを判定する。

通知部１０５は、判定部１０４で判定された判定結果を通知する。

映像管理部１０６は、判定部１０４から出力される判定結果において得意と判定された作業項目に対応する第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された作業者に対して、格納されている第２映像解析データを送信する。

上記の様に、本発明の一実施形態の作業スキル判定システム１によれば、作業映像データとバイタルデータに基づいて、作業者が行った作業のうち作業項目ごとに得意か不得意か正確に判定することができるので、作業者の作業スキルを正確に判定することに貢献する、作業スキル判定システム１を提供できる。

［第１の実施形態］
次に、本発明の第１の実施形態の作業スキル判定システム１について、図面を参照して説明する。図２は、本発明の第１の実施形態の作業スキル判定システム１を含む全体構成の一例を示す図である。図２において、図１と同一の参照符号を付した構成要素は、図１と同一の構成要素を示すものとする。

図２を参照すると、作業者２０１の装着するウェアラブルデバイス２０２と、作業者２０１の作業映像を撮影する撮影機材２０３へ接続された作業スキル判定システム１を含む全体構成が示されている。作業スキル判定システム１は、バイタルデータ分析部１０１と、映像解析部１０２と、データ照合部１０３と、判定部１０４と、通知部１０５、及び、映像管理部１０６を含む。なお、作業スキル判定システム１による判定結果は、上司２１１及び、作業者２０１本人（作業映像が撮影された作業者２０１）へ通知される。

バイタルデータ分析部１０１は、ウェアラブルデバイス２０２で収集されたバイタルデータを分析し、分析結果を感情データＤＥとしてデータ照合部１０３へ出力する。

具体的には、バイタルデータ分析部１０１は、例えば、バイタルデータに含まれる脈拍の一定期間における変動を解析することで、イライラや焦り等の感情を判断し、判断結果を感情データＤＥとして出力する。

映像解析部１０２は、カメラ等で撮影された作業映像データＤＭを受け取り、更に作業項目ごとに編集した第１映像解析データＤＭ１を生成して、データ照合部１０３へ出力する。

具体的には、映像解析部１０２は、予め作業項目ごとに作業者の挙動に関するデータ（以下、挙動データと記す）を記憶しており、挙動データと作業映像データＤＭを比較することで、作業者が実施している作業項目を特定することができる。例えば、作業項目ａを完了するためには挙動ａ１～ａ３が必要である場合、作業映像データＤＭに挙動ａ１～ａ３の挙動データが含まれていれば、映像解析部１０２は、作業者は作業項目ａを完了したと判断することができる。なお、検出された挙動データの順番も考慮して判断するのが好ましい。

更に映像解析部１０２は、作業映像データＤＭに、特定した作業項目ごとにチャプターを追加した、第１映像解析データＤＭ１を生成して、データ照合部１０３に出力する。

なお、映像解析部１０２は、予め作業項目ごとに適切でない挙動データを記録しておくこともできる。具体的には、作業スペースを散らかしたまま作業を進めている挙動や、確認すべきタイミングで確認を怠っている挙動等に関するデータを記憶しておくことができる。映像解析部１０２は、取得した作業映像データＤＭ内にこれらの挙動が含まれているか否かを確認し、その確認結果は、データ照合部１０３を介して判定部１０４に出力される。

続いてデータ照合部１０３は、バイタルデータ分析部１０１から感情データＤＥを受け取り、映像解析部１０２から第１映像解析データＤＭ１を受け取る。受け取った２つのデータを作業項目ごとに照合し、結合させた（第１映像解析データと感情データを結合させた）結合データＤＣ（図３を参照）として判定部１０４へ出力する。

図３は、本発明の第１の実施形態の作業スキル判定システムの結合データの一例を示す図である。第１映像解析データと感情データについて、それぞれ、ａと１、ｂと２、ｃと３、ｄと４が照合され、第１映像解析データａ、ｂ、ｃ、ｄのそれぞれが、感情データ１、２、３、４のそれぞれと結合された、結合データを構成する。なお、水平方向の軸は、時間軸を示すものとする。

判定部１０４は、結合データＤＣに基づいて、作業項目ごとに得意な作業か否かを判定する。そして、判定結果を通知部１０５と映像管理部１０６へ出力する。

具体的には、結合データＤＣのうち感情データＤＥから作業者に焦り等があったか否かということと、結合データＤＣのうち第１映像解析データＤＭ１から所定時間内に作業が完了したか否かということに基づいて、作業項目ごとに得意な作業か否かを判定することができる。なお、作業が完了した時間や焦り等の有無によって、作業スキルを判定することもできる。なお、作業スキルを、複数のレベルに分けて判定することも可能である。

また、判定部１０４は、適切でない挙動が含まれているか否かの確認結果を含んだ第１映像解析データＤＭ１をデータ照合部１０３から受け取り、得意・不得意の判定に活用する。判定結果は通知部１０５と映像管理部１０６へ出力される。

通知部１０５は、判定部１０４から受けた判定結果を、判定の対象である作業者及びその上司へ通知する。この結果、作業者は、自身の作業スキルを再確認できるとともに、上司は作業スキルに応じた適正な評価を行うことができる。

映像管理部１０６は、判定結果から不得意と判定された作業項目に対応した参考映像データを作業者へ転送する。この結果、作業者は、自身の作業スキルの向上を図ることができる。

また、映像管理部１０６は、第１映像解析データＤＭ１も受け取り、判定部１０４から受けた判定結果が得意であった場合には、第１映像解析データＤＭ１のうち得意と判定されたデータを第２映像解析データＤＭ２として格納し、管理することができる。即ち、第２映像解析データＤＭ２は、参考映像データとして用いられることが可能である。より具体的には、当該作業項目について不得意と判定された作業者に対して、映像管理部１０６は、格納されている第２映像解析データＤＭ２を送信することが可能である。

さらに映像管理部１０６は、判定部１０４が作業スキルを判定する場合、第２映像解析データＤＭ２を作業スキルのレベルごとに格納し、作業者に合わせた作業スキルのレベルの作業映像を提供することができる。この結果、作業者は、より効率良く作業スキルを向上させることができる。

次に、図４を参照して、図３に示す本発明の第１の実施形態の動作について詳細に説明する。図４は、本発明の第１の実施形態の作業スキル判定システム１の動作のフローチャートを示す図である。

まず、バイタルデータ分析部１０１は、ウェアラブルデバイス２０２からバイタルデータＤＶを受信して、記録されている感情ごとに対応するバイタルデータ値に基づいて、感情データを生成する（ステップＳ０１）。生成された感情データはデータ照合部１０３へ出力される。

次に、映像解析部１０２は、撮影機材２０３で撮影された作業映像データＤＭを受信して、作業項目ごとにチャプターを追加する（ステップＳ０２）。映像解析部１０２は、作業項目ごとに行われる挙動を予め記憶しておき、その挙動を確認することで作業が完了したことを判断することができ、これにより、作業映像データＤＭに、作業項目を区切るチャプターを追加することができる。

次に、データ照合部１０３は、バイタルデータ分析部１０１から感情データＤＥを受信し、映像解析部１０２から第１映像解析データＤＭ１を受信する。データ照合部１０３は、第１映像解析データの各チャプターに感情データＤＥを結合した、結合データＤＣを生成する。結合データＤＣは判定部１０４に出力される（ステップＳ０３）。

その後、判定部１０４は、データ照合部１０３から結合データＤＣを受け取り、結合データＤＣの中の感情データの部分と第１映像解析データＤＭ１の部分とに基づいて作業項目ごとの得意不得意を判定する（ステップＳ０４）。具体的には、作業項目ごとに、第１映像解析データＤＭ１の部分から、作業者がどのくらいの作業時間で作業を完了させたのか、またどのような振舞い（挙動）を行い完了させたのかを把握することができる。更に、感情データＤＥの部分から、作業者がどのような感情をもって作業に取り組んでいたかを把握することができる。つまり、判定部１０４は、作業時間、作業時の挙動、作業時の感情の３要素に基づいて、得意不得意を判定する。なお、判定部１０４は、作業項目ごとに得意不得意の２択だけでなく、複数のレベルからなる作業スキルのレベルを判定するようにしてもよい。判定結果は、通知部１０５へ出力する。

また判定部１０４が、結合データＤＣに基づいて、得意と判定した場合には（ステップＳ０４のＹｅｓ）、第１映像解析データＤＭ１のうち得意と判定された部分のみを切り出した第２映像解析データＤＭ２を映像管理部１０６に送信する。送信された第２映像解析データＤＭ２は、映像管理部１０６内に格納される（ステップＳ０５）。

続いて、通知部１０５は、判定部１０４から判定結果を受信して、作業者２０１と作業者の上司２１１へ判定結果を通知する（ステップＳ０６）。具体的には、通知部１０５は、判定部１０４から受信した判定結果が得意であった場合には、その旨を作業者２０１本人及びその上司２１１に通知する。一方、判定部１０４から受信した判定結果が不得意であった場合には、その旨を作業者２０１本人及びその上司に通知するだけでなく、不得意と判定された作業項目に対応する格納されている第２映像解析データＤＭ２を作業者２０１本人に送信することができる。

なお、本発明は、上記説明に限定されるものではない。例えば、上記説明では便宜上、バイタルデータの分析を終えてから映像データを解析すると説明しているが、いずれが先であっても構わない。また映像解析部１０２は、作業映像データＤＭから音声を抽出し、保守対応機器や作業機器を丁寧に取り扱っているか否かの判断材料にすることもできる。この音声による判断結果は、適切でない挙動が含まれているか否かの確認結果と同様、第１映像解析データＤＭ１に含まれてもよい。

本発明の第１の実施形態によれば、作業映像データとバイタルデータに基づいて、作業者が行った作業のうち作業項目ごとに得意か不得意か正確に判定することができる。また作業者が不得意と判定された場合には、得意と判定された作業者の作業映像（参照映像）を提供し、作業者の作業スキルを向上させることができる。
さらに本発明によれば、複数のレベルからなる作業スキルを判定することができる場合には、作業者の作業スキルのレベルに応じた作業映像（参照映像）を提供することもできる。

［第２の実施形態］
次に、本発明の第２の実施形態の作業スキル判定システムのバイタルデータ分析部１０１について、図面を参照して説明する。図５は、本発明の第２の実施形態の作業スキル判定システム１のバイタルデータ分析部１０１の構成の一例を示す図である。図５において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図５によれば、本発明の第２の実施形態の作業スキル判定システム１のバイタルデータ分析部１０１は、バイタルデータ受信部５０１と、感情データ抽出部５０２と、感情データ出力部５０３を含む。

バイタルデータ受信部５０１は、図２に記載のウェアラブルデバイス２０２で収集されたバイタルデータを受信し、感情データ抽出部５０２へ出力する。感情データ抽出部５０２は、バイタルデータを分析し、分析結果を感情データＤＥとして、感情データ出力部５０３へ出力する。具体的には、感情データ抽出部５０２は、例えば、バイタルデータに含まれる脈拍の一定期間における変動を解析することで、イライラや焦り等の感情を判断し、判断結果を感情データＤＥとして出力する。感情データ出力部５０３は、受け取った感情データＤＥを、図２に記載のデータ照合部１０３へ出力する。

本発明の第２の実施形態により、作業スキル判定システム１のバイタルデータ分析部１０１を構成することができる。

［第３の実施形態］
次に、本発明の第３の実施形態の作業スキル判定システム１の映像解析部１０２について、図面を参照して説明する。図６は、本発明の第３の実施形態の作業スキル判定システム１の映像解析部１０２の構成の一例を示す図である。図６において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図６によれば、本発明の第３の実施形態の作業スキル判定システム１の映像解析部１０２は、作業映像データ受信部６０１と、挙動抽出部６０２と、挙動データ記憶部６０３と、映像区切り部６０４を含む。

作業映像データ受信部６０１は、図２に記載の撮影機材２０３から、作業映像データを受信し、挙動抽出部６０２と映像区切り部６０４へ出力する。挙動抽出部６０２は、挙動データ記憶部６０３に予め記憶されている作業項目ごとの作業者の挙動に関するデータ（以下、挙動データと記す）と作業映像データＤＭを比較することで、作業者が実施している作業項目を特定することができる。映像区切り部６０４は、作業映像データＤＭに、特定した作業項目ごとにチャプターを追加した、第１映像解析データＤＭ１を生成して、図２に記載のデータ照合部１０３に出力する。

本発明の第３の実施形態により、作業スキル判定システム１の映像解析部１０２を構成することができる。

［第４の実施形態］
次に、本発明の第４の実施形態の作業スキル判定システム１のデータ照合部１０３について、図面を参照して説明する。図７は、本発明の第４の実施形態の作業スキル判定システム１のデータ照合部１０３の構成の一例を示す図である。図７において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図７によれば、本発明の第４の実施形態の作業スキル判定システム１のデータ照合部１０３は、感情データ受信部７０１と、第１映像解析データ受信部７０２と、照合部７０３と、結合部７０４を含む。

感情データ受信部７０１は、バイタルデータ分析部１０１から感情データＤＥを受け取り、第１映像解析データ受信部７０２は、映像解析部１０２から第１映像解析データＤＭ１を受け取る。照合部７０３は、感情データ受信部７０１から感情データＤＥを受け取り、第１映像解析データ受信部７０２から第１映像解析データＤＭ１を受け取り、図３を参照して説明したように、２つのデータを作業項目ごとに照合して結果を結合部７０４へ送る。結合部７０４では、図３を参照して説明したように、照合部７０３から受け取った照合したデータを結合させた（第１映像解析データに感情データを結合した）結合データＤＣを出力する。

本発明の第４の実施形態により、作業スキル判定システム１のデータ照合部１０３を構成することができる。

［第５の実施形態］
次に、本発明の第５の実施形態の作業スキル判定システム１の判定部１０４について、図面を参照して説明する。図８は、本発明の第５の実施形態の作業スキル判定システム１の判定部１０４の構成の一例を示す図である。図８において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図８によれば、本発明の第５の実施形態の作業スキル判定システム１の判定部１０４は、結合データ受信部８０１と、作業項目ごとの判定部８０２と、判定結果出力部８０３とを含む。

結合データ受信部８０１は、データ照合部１０３から、第１映像解析データ（ＤＭ１）と感情データが結合された結合データＤＣを受け取る。作業項目ごとの判定部８０２は、結合データＤＣに基づいて、作業項目ごとに得意な作業か否かを判定し、判定結果と第１映像解析データ（ＤＭ１）を、判定結果出力部８０３へ出力する。判定結果出力部８０３は、受け取った判定結果と第１映像解析データ（ＤＭ１）を出力する。

本発明の第５の実施形態により、作業スキル判定システム１の判定部１０４を構成することができる。

［第６の実施形態］
次に、本発明の第６の実施形態の作業スキル判定システム１の通知部１０５について、図面を参照して説明する。図９は、本発明の第６の実施形態の作業スキル判定システム１の通知部１０５の構成の一例を示す図である。図９において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図９によれば、本発明の第６の実施形態の作業スキル判定システム１の通知部１０５は、判定結果受信部９０１と判定結果通知部９０２とを含む。

判定結果受信部９０１は、判定部１０４から判定結果を受け取り、判定結果通知部９０２へ出力する。判定結果通知部９０２は、判定結果を、判定の対象である作業者とその上司へ通知する。

本発明の第６の実施形態により、作業スキル判定システム１の通知部１０５を構成することができる。

［第７の実施形態］
次に、本発明の第７の実施形態の作業スキル判定システム１の映像管理部１０６について、図面を参照して説明する。図１０は、本発明の第７の実施形態の作業スキル判定システム１の映像管理部１０６の構成の一例を示す図である。図１０において、図１及び図２と同一の参照符号を付した構成要素は、図１及び図２と同一の構成要素を示すものとする。

図１０によれば、本発明の第７の実施形態の作業スキル判定システム１の映像管理部１０６は、判定結果受信部１００１と、第１映像解析データ受信部１００２と、第２映像解析データ決定部１００３と、第２映像解析データ格納部１００４と、参照映像データ出力部１００５とを含む。

映像管理部１０６は、判定部１０４から、第１映像解析データＤＭ１と判定結果を受け取る。判定結果受信部１００１は、判定部１０４から受け取った、第１映像解析データＤＭ１と判定結果のうちの、判定結果を受け取る。第１映像解析データ受信部１００２は、判定部１０４から受け取った、第１映像解析データＤＭ１と判定結果のうちの、第１映像解析データを受け取る。第２映像解析データ決定部１００３は、判定結果受信部１００１の受け取った判定結果が、得意であった場合には、第１映像解析データ受信部１００２の受け取った第１映像解析データのうち得意と判定されたデータを、第２映像解析データＤＭ２として、第２映像解析データ格納部１００４へ格納する。第２映像解析データ格納部１００４へ格納されたデータは、参考映像データとして使用される。また、参照映像データ出力部１００５は、判定結果受信部１００１の受け取った判定結果が不得意であった場合には、不得意と判定された作業項目に対応した参考映像データを第２映像解析データ格納部１００４の中から取り出し、作業者へ転送する。

本発明の第７の実施形態により、作業スキル判定システム１の映像管理部１０６を構成することができる。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢの少なくともいずれかという意味で用いる。

また、上記した第１から７の実施形態に示した手順は、作業スキル判定システム１として機能するコンピュータ（図１１の９０００）に、作業スキル判定システム１としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１１のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１１のＣＰＵ９０１０にて、作業スキル判定プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。

メモリ９０３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。

即ち、上記した第１～第７の実施形態に示した作業スキル判定システムの各部（処理手段、機能）は、上記コンピュータのプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による作業スキル判定システム参照）
［第２の形態］
第１の形態に記載の作業スキル判定システムの前記映像解析部は、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認する、ことが好ましい。
［第３の形態］
第１又は２の形態に記載の作業スキル判定システムの前記判定部は、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定する、ことが好ましい。
［第４の形態］
第１から３の形態のいずれかに記載の作業スキル判定システムの、
前記判定部は、複数のレベルに分けて前記作業スキルを判定することができ、
前記映像管理部は、各レベルごとに前記第２映像解析データを格納し、各レベルに応じた前記第２映像解析データを、作業者に送信する、ことが好ましい。
［第５の形態］
（上記第２の視点による作業スキル判定方法参照）
［第６の形態］
第５の形態に記載の作業スキル判定方法の前記映像解析ステップは、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認するステップを含む、ことが好ましい。
［第７の形態］
第５又は６の形態に記載の作業スキル判定方法の前記判定ステップは、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定するステップを含む、ことが好ましい。
［第８の形態］
（上記第３の視点によるプログラム参照）
［第９の形態］
第８の形態に記載のプログラムの前記映像解析処理は、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認する処理を含む、ことが好ましい。
［第１０の形態］
第８又は９の形態に記載のプログラムの前記判定処理は、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定する処理を含む、ことが好ましい。

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１ 作業スキル判定システム
１０１ バイタルデータ分析部
１０２ 映像解析部
１０３ データ照合部
１０４ 判定部
１０５ 通知部
１０６ 映像管理部
２０１ 作業者
２０２ ウェアラブルデバイス
２０３ 撮影機材
２１１ 上司
５０１ バイタルデータ受信部
５０２ 感情データ抽出部
５０３ 感情データ出力部
６０１ 作業映像データ受信部
６０２ 挙動抽出部
６０３ 挙動データ記憶部
６０４ 映像区切り部
７０１ 感情データ受信部
７０２ 第１映像解析データ受信部
７０３ 照合部
７０４ 結合部
８０１ 結合データ受信部
８０２ 作業項目ごとの判定部
８０３ 判定結果出力部
９０１ 判定結果受信部
９０２ 判定結果通知部
１００１ 判定結果受信部
１００２ 第１映像解析データ受信部
１００３ 第２映像解析データ決定部
１００４ 第２映像解析データ格納部
１００５ 参照映像データ出力部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (10)

1. 複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定システムであって、
   外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析部と、
   作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析部と、
   前記バイタルデータ分析部から出力される感情データを取得し、且つ前記映像解析部から出力される前記第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合部と、
   前記データ照合部から出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定部と、
   前記判定部で判定された判定結果を通知する通知部と、
   前記判定部から出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理部と、
   を含むことを特徴とする、作業スキル判定システム。
2. 前記映像解析部は、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認することを特徴とする、請求項１に記載の作業スキル判定システム。
3. 前記判定部は、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定することを特徴とする、請求項１又は２に記載の作業スキル判定システム。
4. 前記判定部は、複数のレベルに分けて前記作業スキルを判定することができ、
   前記映像管理部は、各レベルごとに前記第２映像解析データを格納し、各レベルに応じた前記第２映像解析データを、作業者に送信することを特徴とする、請求項１から３のいずれかに記載の作業スキル判定システム。
5. 複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定方法であって、
   外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析ステップと、
   作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析ステップと、
   前記バイタルデータ分析ステップで出力される感情データを取得し、且つ前記映像解析ステップで出力される第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合ステップと、
   前記データ照合ステップで出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定ステップと、
   前記判定ステップで判定された判定結果を通知する通知ステップと、
   前記判定ステップで出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理ステップと、
   を含むことを特徴とする、作業スキル判定方法。
6. 前記映像解析ステップは、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認するステップを含む、ことを特徴とする、請求項５に記載の作業スキル判定方法。
7. 前記判定ステップは、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定するステップを含む、ことを特徴とする、請求項５又は６に記載の作業スキル判定方法。
8. コンピュータに、複数の作業項目を含む一連の作業を行う作業者の作業スキルを判定し、判定結果に基づいて参考映像を提供する作業スキル判定処理を実行させるプログラムであって、前記作業スキル判定処理は、
   外部からバイタルデータを取得し、特定の感情を判断できる感情データを出力するバイタルデータ分析処理と、
   作業状況を撮影した作業映像データを取得し、前記作業映像データに含まれている挙動に基づいて、作業項目ごとに前記作業映像データを区切り、前記区切られた作業映像データを有する第１映像解析データを出力する映像解析処理と、
   前記バイタルデータ分析処理で出力される感情データを取得し、且つ前記映像解析処理で出力される第１映像解析データを取得し、前記感情データと前記第１映像解析データを結合した結合データを出力するデータ照合処理と、
   前記データ照合処理で出力される前記結合データに基づいて、作業項目ごとの前記作業者の作業スキルを判定する判定処理と、
   前記判定処理で判定された判定結果を通知する通知処理と、
   前記判定処理で出力される前記判定結果において得意と判定された作業項目に対応する前記第１映像解析データを、第２映像解析データとして格納し、当該作業項目について不得意と判定された前記作業者に対して、格納されている前記第２映像解析データを送信する映像管理処理と、
   を含む、ことを特徴とする、プログラム。
9. 前記映像解析処理は、予め記憶した作業項目ごとの適切でない作業に関する情報に基づいて、取得した前記作業映像データ内に、前記適切でない作業に関する情報が含まれているか否かを確認する処理を含む、ことを特徴とする、請求項８に記載のプログラム。
10. 前記判定処理は、前記結合データのうち感情データ部分から作業者の感情を確認し、且つ前記結合データのうち前記第１映像解析データ部分から作業時間と作業時の挙動を確認することにより、前記作業スキルを判定する処理を含む、ことを特徴とする、請求項８又は９に記載のプログラム。

Images