JP7011569B2

JP7011569B2 - 熟練度判定システム

Info

Publication number: JP7011569B2
Application number: JP2018222187A
Authority: JP
Inventors: 光太郎三之宮; 勝川崎; 靖貴賀来
Original assignee: Hitachi Building Systems Co Ltd
Current assignee: Hitachi Building Systems Co Ltd
Priority date: 2018-11-28
Filing date: 2018-11-28
Publication date: 2022-02-10
Anticipated expiration: 2038-11-28
Also published as: JP2020087091A

Description

本発明は、作業者の視点を検出・分析することで、設備の保守作業などに関する熟練度を判定する技術に関する。

従来、例えば昇降機などの保守作業における作業方法の教育研修は、顧客の作業現場や教育研修設備などの限られた場所で実機を使用して実施されたり、紙面上またはネットワーク上に保存された作業手順書によって実施されたりしている。

また昇降機は、次々と新機種が生産され各施設に施工されている中、稼働台数自体は多くないが３０年以上前に施工された古い機種も現存しており、保守対象となる種類も多岐に渡る。これにより、教育項目が日々増大する一方、古い機種に精通した熟練作業者も減少している。これに加え、既に製品の生産が終了している機種も保守対象となることから、教育用実機の不足による実機を使用した熟練作業者の技術伝承が困難であるという問題がある。

また、作業の中には、人の目視で機械部品の摩耗状態や発錆状態などを判断している項目があり、このような作業項目は熟練度に依拠することから、保守作業の質のばらつきにつながる可能性がある。

また関連のある技術として、以下のものが開示されている。

特開２０１７－２０４０９４号公報

機械部品の摩耗状態や発錆状態について目視判定を実施する作業では、対象物を注視する必要がある。これに対し、特許文献１の技術では、例えば経験不十分な作業者の迷いによる視線の揺らぎによって視点が対象物上を通過しただけでも、対象物を注視した時間（停留時間）としてカウントする。よって、特許文献１の技術では、対象物を注視せずとも優秀な熟練作業者と判定される場合がある。

本発明は、このような従来技術の事情に鑑みてなされたもので、その目的は、作業者の視点を検出し、これに基づき高い精度で保守作業に関する熟練度を判定する技術を提供することにある。

本発明の熟練度判定システムは、作業者の熟練度を判定する熟練度判定システムであって、作業者の視野映像を撮像する外部撮像部と、前記作業者の視点の位置を検出する視点検出部と、前記外部撮像部により撮像される映像から、当該映像を構成するフレーム画像をそれぞれ切り出し、切り出し画像ごとに、映し出された作業対象物を認識するとともに、当該作業対象物の描画領域を、前記切り出し画像ごとに特定する対象物認識処理部と、前記対象物認識処理部によって特定される前記描画領域内に、前記視点検出部により検出された視点が位置しているか否かを、前記切り出し画像ごとに判定するマッチング処理部と、前記マッチング処理部の判定結果に基づき、前記作業者が規定時間を超えて前記描画領域内を注視していた注視時間、および、前記規定時間注視せずに前記描画領域を前記視点が通過した回数を導出し、前記注視時間および前記通過した回数に基づき、前記作業者による作業が適正に行われたか否かを判定する判定部と、前記判定部により判定される結果を表示する表示部と、を有する。

本発明によれば、作業者の視点に基づき高い精度で作業者の熟練度を判定することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

実施形態に係る熟練度判定システムの構成の一例を示す概略構成図である。実施形態に係る熟練度判定システムの使用態様の一例を示す模式図である。実施形態に係る視点検出デバイスのハードウェア構成例を示す図である。実施形態に係る熟練度判定システムの動作例を示すフローチャートである。実施形態に係る注視状態および通過状態（不注視状態）の一例を示す説明図である。実施形態に係る判定結果のデータ構成例を示す図である。実施形態に係る判定処理の一例を示すフローチャートである。実施形態に係る判定結果の表示画面の一例を示す図である。

以下、図面を参照しつつ、本発明に係る実施形態について詳細に説明する。

図１は、本実施形態に係る熟練度判定システムを示す概略構成図である。また、図２は本実施形態に係る熟練度判定システムの使用状態の一例を示す模式図である。熟練度判定システム１は、視点検出デバイス１０と、現場端末２０とを有し、これらが無線もしくは有線により接続されている構成となっている。

視点検出デバイス１０は、本実施形態ではメガネ型のウェアラブル端末であるスマートグラスとするが、装着者の視点を検出する公知なアイトラッカーを適用してもよい。視点検出デバイス１０は、視点検出部２と、外部撮像部３とを有する。視点検出部２は、作業者１１の眼球の動きの映像を例えばＣＣＤ（Charge Coupled Device）カメラなどを用いて取得し、作業者１１の視点の位置情報（以下、視点座標と称する）を検出する。外部撮像部３は、作業対象物１３を含んだ視野映像である視野内画像１２を、例えばＣＣＤカメラなどを用いて取得する。視点検出部２により得られる視点座標および外部撮像部３により得られる映像データは、逐次現場端末２０に送信される。

現場端末２０は、ノート型やタブレット型のコンピュータもしくはスマートフォンであり、対象物認識処理部４と、マッチング処理部５と、判定部６と、指標値登録部７と、表示部８と、蓄積部９とを有する。

対象物認識処理部４は、外部撮像部３が撮像した映像データを構成するフレーム画像を、数フレームごとに切り出し、この切り出し画像内における作業対象物１３やその周囲に映し出されている各周辺部品の輪郭を、それぞれ抽出する。この「周辺部品」には、作業者の手など身体の一部や作業に用いる工具なども含むものとする。そして対象物認識処理部４は、例えば既存の自動学習プログラムを用いて、作業対象物１３や各周辺部品が何であるかを特定するとともに、切り出し画像内での作業対象物１３や周辺部品が占める描画領域の座標を取得する。対象物認識処理部４は、特定した各物体の識別情報と、各描画領域座標とを対応付けて、マッチング処理部５、判定部６に出力する。

マッチング処理部５は、視点検出部２が検出した視点座標、映し出された各物体（作業対象物１３や各周辺部品）の識別情報、各描画領域座標を取得する。そしてマッチング処理部５は、視点座標がいずれの領域内にあるのか判定することで、作業者１１が何を見ていたかを判定するマッチング処理を行う。マッチング処理部５は、作業者１１が見ていた物体の識別情報を、判定結果として出力する。

判定部６は、マッチング処理部５の判定結果を切り出し画像ごとに取得し、フレームレートなど、切り出した画像間の時間間隔（ここでは規定値とする）を用いて、作業対象物１３上やその周辺部品上に視点があった時間、もしくは視点が無かった時間を算出する。また判定部６は、指標値登録部７に事前に記憶されている、熟練作業者の指標値を用いて、作業者１１による作業が適正に行われたか否かを判定する。この判定手法については後述する。

上記に加え、判定部６は、対象物認識処理部４から得られる、作業対象物１３や各周辺部品の識別情報と各領域座標とに基づき、各物体の画像内の配置関係に基づきいずれの作業項目を行っているのかを判定する。

表示部８は、判定部６での判定結果を表示し、作業者１１に提示する。蓄積部９は、判定部６での判定結果を格納して蓄積する。

尚、視点検出デバイス１０は、教育研修に実機を用いない場合に、作業対象物１３をＶＲ(バーチャルリアリティ)上で３Ｄモデルとして再現し表示させるために、図示しない３Ｄ表示部を更に備えてもよい。また熟練度判定システム１は、ＶＲ上の３Ｄモデルを操作するための図示しない入力装置を更に有してもよい。この３Ｄ表示部および入力装置には制限はなく、例えばＶＲの３Ｄ表示を実施するのに公知なヘッドマウントディスプレイを適用してもよい。

現場端末２０の対象物認識処理部４、マッチング処理部５、判定部６、指標値登録部７、表示部８および蓄積部９の各機能を、視点検出デバイス１０（スマートグラス）内で実施してもよい。また、蓄積部９については、サーバなどの処理装置を別途設けて、この処理装置内に蓄積する構成であってもよい。

図３は、視点検出デバイス１０のハードウェア構成例を示す図である。視点検出デバイス１０は、コントローラ１０１、入力デバイス１１０、出力デバイス１１１を有する。コントローラ１０１は、視点検出デバイス１０の内部で動作する各ハードウェアを制御する。コントローラ１０１は、以下の構成を有する。

ＣＰＵ１０２（ＣＰＵ：Central Processing Unit）は、フラッシュメモリ１０４に記憶されているプログラムを、ＲＡＭ１０３（ＲＡＭ：Random access memory）に展開し、演算実行する処理装置である。ＣＰＵ１０２は、プログラムを演算実行することで、コントローラ１０１内部の各ハードウェアを統括的に制御する。ＲＡＭ１０３は、揮発性メモリであり、ＣＰＵ１０２が処理する際のワークメモリである。ＲＡＭ１０３は、ＣＰＵ１０２がプログラムを演算実行している間、必要なデータを一時的に記憶する。

フラッシュメモリ１０４は、データを不揮発的に記憶する、データの書き替え可能な補助記憶装置である。フラッシュメモリ１０４は、ＣＰＵ１０２が演算実行するプログラムや、制御データを記憶する。本実施形態では、以降に説明する各機能を提供するプログラムや各種データが事前にフラッシュメモリ１０４内に導入されている。

ネットワークＩ／Ｆ１０６は、現場端末２０などの外部機器との間で行われるデータ通信の制御を担う機器である。ネットワークＩ／Ｆ１０６によるデータ通信は、例えばＩＥＥＥ８０２．１１系やＩＥＥＥ８０２．１５．１系などの通信規格に適合した無線通信で行われるものとするが、ケーブル接続による有線通信であっても構わない。

入力Ｉ／Ｆ１０７は、入力デバイス１１０との間で信号の入出力を制御するインターフェイスである。出力Ｉ／Ｆ１０８は、ＣＰＵ１０２から指示を受けて、出力デバイス１１１に画像を描画させるか、音声を出力させる。

入力デバイス１１０は、視点を検出するための内向きのＣＣＤセンサ、外部（視野内画像）を撮像する外向きのＣＣＤセンサ、音声を集音するマイク、物理的な押下スイッチなどのデバイス群やセンサ群である。出力デバイス１１１は、音声を出力するためのスピーカや、スマートグラスのレンズ部上に映像を映し出す小型プロジェクタなどである。

尚、現場端末２０も、従前のコンピュータであることから、図３に示すハードウェア構成と同様に、ＣＰＵ、ＲＡＭ、フラッシュメモリ、ネットワークＩ／Ｆ、入出力用のＩ／Ｆ、各種入力デバイス、出力デバイスを有している。尚、補助記憶装置として、例えばハードディスクドライブが備えられてもよい。また、入力デバイスとしては、マウス、キーボード、タッチパネルであってもよい。出力デバイスとしては、液晶モニタなどであってもよい。

以下、熟練度判定システム１の動作例について説明する。尚、ここでは、昇降機であるエレベーターの保守作業におけるブレーキ整備の教習訓練を例にして説明する。また、作業対象物１３は、ブレーキの摺動部品の１つであるコアであるものとして説明する。

エレベーターのブレーキは、エレベーターの停止動作を担うため重要部品の一つであるため、定期的な整備作業が実施されており、分解、清掃、点検、組立の４つの作業項目により構成されている。作業項目内では、例えば下記のＳ１～Ｓ６に示す重要ポイント(バイタルポイント)など、目視で判定する項目が含まれている。本実施形態では、これらＳ１～Ｓ６の項目ごとに熟練度の判定処理を行うものとする。
Ｓ１．主レバーの汚れ錆、傷、摩耗、固渋を確認したか。
Ｓ２．ピンの汚れ錆、傷、摩耗、固渋を確認したか。
Ｓ３．コイルボビンの摩耗を確認したか。
Ｓ４．コアの傷を確認したか。
Ｓ５．プッシュロッドの傷、摩耗、錆、緩みを確認したか。
Ｓ６．ＤＵブッシュの摩耗を確認したか。

図４は、実施形態に係る熟練度判定システム１の動作例を示すフローチャートである。作業者１１は、作業の前に、まずは視点検出デバイス１０を頭に装着し、システムの起動操作を行う。そして視野内画像取得工程（Ｓ００１）において、外部撮像部３は、作業者１１の視野映像を逐次取得してこれを現場端末２０に送信する。

一方、視線検出工程（Ｓ００２）において、視点検出部２は作業者１１の視点座標を検出して、これを逐次現場端末２０に送信する。

対象物認識工程（Ｓ００３）において、対象物認識処理部４は、外部撮像部３が撮像した映像データから数フレームごとに画像データを切り出す。そして対象物認識処理部４は、切り出された視野内画像１２から、作業対象物１３および周辺部品の認識を行う。自動認識の方法は、例えば、対象物認識処理部４が自動学習プログラムを実行することで行われる。対象物認識処理部４は、事前に、作業対象物１３について視点方向、角度、照度および背景情報の条件を変化させた複数の画像データに対して、画像データに映し出された作業対象物１３、作業者１１の身体なども含めた周辺部品をアノテーションし、アノテーション結果を自動学習させておくことで、視野内画像１２内に何が写っているかを認識する。

マッチング処理工程（Ｓ００４）において、マッチング処理部５は、視野内画像１２に視点座標を重ね合わせる。これにより、作業者１１が視野内画像１２内のどこを見ており、何を見ていたかを認識することができる。マッチング処理部５は、例えば作業対象物１３の領域と視点座標とが重なる場合、作業者１１は作業対象物１３を見ていたと判定し、重ならない場合、作業者１１は作業対象物１３を見ていなかったと判定する。周辺部品についても同様であり、視野内画像１２内に映し出された周辺部品の領域と視点座標とが重なる場合、作業者１１は当該周辺部品を見ていたと判定する。尚、ここでの「見ていた」は、単に視点が作業対象物１３や周辺部品の上に位置していたことを意味し、「注視していたか」を問うものではない。

作業認識工程（Ｓ００５）において、判定部６は、ブレーキ整備作業手順の中で、ブレーキ整備作業手順の順番と、その作業の主体となる対象物を見ていた注視率の高さと、視野内画像１２の領域内に図示しない作業者の手または図示しない工具が認識されていること、とを条件として、作業者１１がブレーキ整備作業手順のどの工程（ここでは上記のＳ１～Ｓ６）を実施しているかを認識する。

判定部６は、熟練度の判定工程（Ｓ００６）において、得られる各種データと指標値登録部７に登録されている熟練作業者（経験者）の視点分析結果（指標値）とを基に、作業者１１の熟練度を判定する。

熟練度の判定は、例えば、作業者１１の視点が作業対象物１３や他の周辺部品に重なる時間と、作業者１１の視点が作業対象物１３や他の周辺部品を通過する回数と、を用いて実施する。

図５は実施形態に係る視点の軌跡を例示する図であり、図５（Ａ）は、作業対象物１３の表面の摩耗や錆を目視判定すべく注視していることを図示している。作業者１１が注視している場合、視点２３の軌跡２４ａは、作業対象物１３の描画領域の範囲内をなぞる。または、視点２３の軌跡２４ａは、作業者１１の手、把持している工具、その他周辺部品の描画領域の範囲内を、必要に応じてなぞる。これに対して、図５（Ｂ）は、作業対象物１３に対して視点２３の軌跡２４ｂが単に通過し、作業対象物１３を注視していないことを例示している。

本実施形態では、作業者１１の視点が作業対象物１３や周辺部品に重なる時間と、作業者１１の視点が作業対象物１３上や周辺部品を通過する回数と、をそれぞれ導出し、目視判定の伴う作業項目ごとに、点数化して作業の良否判定を行う。

この熟練度の判定工程（Ｓ００６）において、判定部６は、熟練作業者の指標値（「良」判定とするか「否」判定とするかの指標値）を指標値登録部７から取得し、例えば次式(１Ａ)、(１Ｂ)、(１Ｃ)の各数式を用いて判定する。いずれかが「否」判定となった場合、判定部６は、総合判定を「否」判定とし不合格とする。
「良」判定：Δｔ_Ｍ＋Δｔ_Ｓ＞Δｔ_Ｂ１×８０（％）・・・ (１Ａ)
「良」判定：（Δｔ_Ｍ＋Δｔ_Ｓ）／Δt_Ａ＞Δt_Ｂ２×８０（％）・・・ (１Ｂ)
「良」判定：Ｎ_Ｍ＜（Ｎ_ＢＭ＋ｃｎｓｔ）・・・ (１Ｃ)
ただし、Δｔ_Ｍ：作業対象物１３を注視していた時間
Δｔ_Ｓ：作業対象物１３の周辺部品を注視していた時間
Δｔ_Ｂ１、Δｔ_Ｂ２：熟練作業者の作業分析結果(指標値)
Δｔ_Ａ：作業項目ごとの総作業時間
Ｎ_Ｍ：視点が作業対象物１３を通過した回数
Ｎ_ＢＭ：熟練作業者の作業分析結果(指標値)
ｃｎｓｔ：定数
尚、Δｔ_Ｂ１は、熟練作業者が同じ作業を実施したときに得られた、作業対象物を注視していた時間と周辺部品を注視していた時間との合計値である。またΔｔ_Ｂ２は、この合計値を、熟練作業者が同作業を実施したときの総作業時間で除算した値である。Ｎ_ＢＭは、熟練作業者が同作業を実施したときの、視点が作業対象物を通過した回数である。本実施形態では、このように指標値を設けるが、これに限らない。

例えば作業対象物１３上を視点が規定時間以内に横切った場合、注視せずに通過したものとみなす。例えば、視点が、作業対象物１３の領域に進入したその瞬間とする切り出し画像と、当該視点が、作業対象物１３の領域から外れた瞬間とする切り出し画像との時間差が、上記の規定時間を超えない場合、判定部６は、注視せずに視点が作業対象物１３を単に横切ったものとして判定する。作業対象物１３の周辺部品に関しても同様の判定手法とする。そして判定部６は、単に横切った時間については、上記のΔｔ_Ｍ、Δｔ_Ｓには加算せず、Ｎ_Ｍを１つカウントアップする。

逆に、視点が作業対象物１３の領域に進入したその瞬間とする切り出し画像と、外れた瞬間とする切り出し画像との時間差が、上記の規定時間を超えた場合、作業者１１は作業対象物１３を注視しているものとして扱い、この時間をΔｔ_Ｍに累積加算する（周辺部品に関しても同様）。尚、このように注視していると判定する場合、Ｎ_Ｍをカウントアップしない。

判定部６は、前式(１Ａ)、(１Ｂ)、(１Ｃ)を用いて、作業項目（上記のＳ１～Ｓ６）ごとに判定を行う。そして判定部６は、前式(１Ａ)、(１Ｂ)、(１Ｃ)の算出結果のうち、全てが「良」判定となる場合、総合判定を「良」として合格とし、いずれか一つでも「否」判定となった場合、総合判定を「否」として不合格とする。

図６は、判定部６による判定結果のデータ構成例を示した図である。判定テーブル２５は、作業項目ごとに割り振られた管理番号２６と、作業項目（上記のＳ１～Ｓ６）の内容を記述した作業工程２７と、前式(１Ａ)、(１Ｂ)、(１Ｃ)の左辺の算出値となる作業者測定結果２８とを含む。また判定テーブル２５は、指標値登録部７から読み出した指標値に、例えば８０（％）などの係数を演算した判定値２９（前式(１Ａ)、(１Ｂ)、(１Ｃ)の右辺の値）と、判定値２９を基準（＝１００）とした場合の作業者測定結果２８との割合（上限１００）を算出したスコア値３０とを含む。判定テーブル２５は、前式(１Ａ)、(１Ｂ)、(１Ｃ)による判定結果３１と、判定結果３１の全てが「良」判定となった場合は「良」判定とし、判定結果３１のいずれかが「否」判定となった場合は「否」判定とする総合判定３２とを有する。

尚、判定結果３１の判定方法は、スコア値３０を使用し、一定の数値以上を「良」判定としてもよい。また、総合判定３２の判定方法は、判定結果３１の「良」判定の個数が一定以上ある場合を「良」判定としてもよい。

また、図６に示す作業工程２７については、上記のＳ１～Ｓ６の重要ポイント(バイタルポイント)ごとに分けて格納されている。仮に上記のＳ１～Ｓ６の順で保守作業を行う必要がある場合、本実施形態では、管理番号２６もこの順序に応じて若い番号から順に採番される。そして判定部６は、ステップＳ００５で得られる作業認識結果を用いて、管理番号２６の順序（Ｓ１～Ｓ６の順序）のとおりに作業が行われたかも判定する。

図７は、実施形態に係る判定部６による判定方法の一例を示すフローチャートである。各値算出工程（Ｓ１０１）において、判定部６は、マッチング処理工程（Ｓ００４）での出力結果から判定に必要な各値(＝Δｔ_Ｍ、Δｔ_Ｓ、Δｔ_Ａ、Ｎ_Ｍ)を算出する。そして判定部６は、スコア算出工程（Ｓ１０２）において、判定値２９を基準（＝１００）とした場合の作業者測定結果２８との割合（上限１００）から、スコア値３０を算出する。

また判定式による判定工程（Ｓ１０３）において、判定部６は、前式(１Ａ)、(１Ｂ)、(１Ｃ)を用いた良否判定を行い、総合判定工程（Ｓ１０４、Ｓ１０５、Ｓ１０６）において、判定部６は、判定結果３１の全てが「良」判定となった場合は「良」判定とし、判定結果３１のいずれかが「否」判定となった場合は「否」判定とする。

上記の工程を終え、図４の判定結果の表示工程（Ｓ００７）において、表示部８は、各判定結果を表示する。これにより、作業者１１に作業項目ごとの熟練度と判定結果を示すことができる。

図８は、実施形態に係る判定結果表示画面の一例を示す図である。判定結果表示画面３７は、判定テーブル２５に格納された情報と同じ情報である作業工程２７、スコア値３０、判定結果３１を表示する判定テーブル表示領域３８を含む。このように良否の判定結果３１のみならず、スコア値３０を表示することで、作業者１１は自身の行いがどの程度達しているのか（もしくは達していないのか）を、数値で把握することができる。また判定結果表示画面３７は、総合判定結果３２を表示する総合判定結果表示領域３８ａと、例えば作業工程２７に対応した作業者１１の作業時の視野内画像１２を表示する作業振返り表示領域３９とを表示する。

作業振返り表示領域３９は、作業者１１への学習のために、図示しない熟練作業者の視野内画像を併せて表示してもよい。また作業振返り表示領域３９は、作業項目ごとの総作業時間（Δｔ_Ａ）に対する時系列データとして、作業対象物１３を注視していた注視時間（Δｔ_Ｍ）、周辺部品を注視していた時間（Δｔ_Ｓ）、視点が作業対象物１３を通過した回数（Ｎ_Ｍ）を、例えばガントチャートのように時系列でグラフ化して表示してもよい。このように表示することで、作業者１１自身に熟練度の低い作業を認識させることができ、効率よく教育を実施することが可能である。

図４の判定結果の蓄積工程（Ｓ００８）では、熟練度の判定工程（Ｓ００６）での良否判定結果とともに、作業対象物１３を注視していた注視時間（Δｔ_Ｍ）、周辺部品を注視していた時間（Δｔ_Ｓ）、視点が作業対象物１３を通過した回数（Ｎ_Ｍ）、作業項目ごとの総作業時間（Δｔ_Ａ）を含めたデータが、蓄積部９に蓄積される。この蓄積されたデータは、今後行われる同作業の良否判定に用いられてもよい。すなわち判定部６は、蓄積した過去のデータの中で、「良」判定のデータを１もしくは複数読み出し、指標値や判定値を算出し（複数読み出した場合はその平均値を算出）、今現在行われている作業の結果とこの算出した指標値や判定値とを比較する機能を有してもよい。

本実施形態では、自動学習プログラムを実行するなど、人工知能技術を用いて物体の識別を行っているが、例えば作業対象物に二次元バーコードなどの機械読取可能なマークを事前に貼り付けておき、これを読み取って当該作業対象物を特定する実装でもよい。

また本実施形態では、「良」判定、「否」判定の２つを判定結果としているが、判定値を複数設けることで、「良」判定と「否」判定との間の中間層の結果を得る実装でもよい。

また、対象物認識工程（Ｓ００３）において、切り出し画像内に作業マニュアルが映し出されており、マッチング処理工程（Ｓ００４）や熟練度の判定工程（Ｓ００６）において、作業マニュアルが注視されていると判定する場合、この作業マニュアルを注視した時間を累積し、この累積時間が閾値を超える場合は、「否」判定などとしてもよい。

尚、上記実施形態における「熟練作業者」がどの程度熟練しているのかについては、特に限定されない。すなわち「熟練作業者」は、少なくとも１回は、作業者１１が行った作業と同じ作業を実施したことのある経験者を含む。

上記実施形態では、エレベーターなどの昇降機設備についての保守作業や保守作業の教育に適用させた態様を一例にして説明したが、対象となる設備は、これに限定されない。また、本実施形態の使用用途は、教育や技術伝承などに限定されず、保守作業全般に適用される。

また上記実施形態では、「作業対象物」を、設備の部品（より具体的にはエレベーターのコア）とし、この「作業対象物」の描画領域を注視したか否かを判定する態様について説明したが、これに限らない。例えば、部品に付着した汚れや錆、傷、摩耗した部分など、部品の特異箇所を特定し、これを「作業対象物」として扱ってもよい。このように扱うことで、部品全体のみならず、その特異箇所（汚れや錆、傷、摩耗した部分）を注視したか否かの判定を行うことができる。

また、図６に示すとおり、本実施形態ではいずれの作業項目に対しても同じ係数（８０％など）を用いて判定値を算出しているが、作業項目ごとに異なる係数を設けても構わない。

本実施形態により、迷いによる視点の揺らぎなどの影響を取り除き、熟練度の判定精度を向上させることができる。

尚、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１：熟練度判定システム
２：視点検出部
３：外部撮像部
４：対象物認識処理部
５：マッチング処理部
６：判定部
７：指標値登録部
８：表示部
９：蓄積部
１０：視点検出デバイス
２０：現場端末

Claims

作業者の熟練度を判定する熟練度判定システムであって、
作業者の視野映像を撮像する外部撮像部と、
前記作業者の視点の位置を検出する視点検出部と、
前記外部撮像部により撮像される映像から、当該映像を構成するフレーム画像をそれぞれ切り出し、切り出し画像ごとに、映し出された作業対象物を認識するとともに、当該作業対象物の描画領域を、前記切り出し画像ごとに特定する対象物認識処理部と、
前記対象物認識処理部によって特定される前記描画領域内に、前記視点検出部により検出された視点が位置しているか否かを、前記切り出し画像ごとに判定するマッチング処理部と、
前記マッチング処理部の判定結果に基づき、前記作業者が規定時間を超えて前記描画領域内を注視していた注視時間、および、前記規定時間注視せずに前記描画領域を前記視点が通過した回数を導出し、前記注視時間および前記通過した回数に基づき、前記作業者による作業が適正に行われたか否かを判定する判定部と、
前記判定部により判定される結果を表示する表示部と、
を有する熟練度判定システム。
請求項１に記載の熟練度判定システムにおいて、
前記作業者が行う作業と同じ作業を経験者が実施した際の注視時間および通過した回数に関する数値を、指標値として記憶する指標値登録部を有し、
前記判定部は、前記指標値登録部に記憶されている指標値に基づき、前記作業者による作業が適正に行われたか否かを判定することを特徴とする熟練度判定システム。
請求項１に記載の熟練度判定システムにおいて、
さらに、前記判定部による判定結果、注視時間、通過した回数を対応付けたデータを蓄積する蓄積部を有し、
前記判定部は、前記蓄積部に蓄積された過去のデータの中で、作業が適正に行われたとの判定結果に対応した注視時間および通過した回数を取得し、これらを用いて、前記作業者による作業が適正に行われたか否かを判定することを特徴とする熟練度判定システム。
請求項１に記載の熟練度判定システムにおいて、
前記判定部は、さらに、前記注視時間および前記通過した回数を用いて、前記作業についてのスコア値を算出し、
前記表示部は、前記スコア値を表示することを特徴とする熟練度判定システム。
請求項１に記載の熟練度判定システムにおいて、
前記判定部は、前記作業者が行う作業項目ごとに、前記注視時間および前記通過した回数を導出し、前記作業項目ごとに、作業が適正に行われたか否かを判定し、
前記表示部は、前記作業項目ごとに、前記判定部による判定結果を表示することを特徴とする熟練度判定システム。