JP2021152759A - 情報処理システム、情報処理方法及び学習モデルの生成方法 - Google Patents

Abstract

【課題】手洗い動作の種類を精度よく特定することが可能な情報処理システム等を提供する。【解決手段】情報処理システムは、手洗いを行う作業者の手指を撮影する撮影部、又は、手洗いを行う作業者の手指までの距離を計測する測距部を備える。情報処理システムは、撮影部によって撮影した撮影画像、又は、測距部によって計測した距離データに基づいて、前記作業者による手洗い動作の種類を特定する。また、情報処理システムは、特定した手洗い動作の種類毎に、手洗い動作の進捗度を判定し、判定した進捗度を通知する。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法及び学習モデルの生成方法に関する。

医薬品、食料品、化粧品等を製造又は販売する工場又は店舗、医療機関、各種研究所等に従事する者は、身体を清潔に保つことが求められ、特に手指を清潔に保つために作業を行う際に、また作業終了後等に手洗いを行っている。特許文献１では、所定の洗い方で手洗いが行われたか否かを画像処理によって判定するシステムが開示されている。特許文献１に開示されたシステムでは、作業者は所定の洗い方で手洗いを行うだけで、適切に手洗いが行われたか否かの判定を行うことが可能である。

特許第６３０５４４８号公報

特許文献１に開示されたシステムでは、洗い方を認識する際に、指の数等の条件を用いるので、予め設定された条件の洗い方しか認識できない。また、肌色領域と背景領域とに基づいて手領域を抽出するので、撮影環境、石鹸の泡立ち状態又は着用した手袋の色等によっては、撮影画像から手領域を正確に抽出できない場合があり、この場合、洗い方を適切に認識できない虞がある。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、手洗い動作の種類を精度よく特定することが可能な情報処理システム等を提供することにある。

本発明の一態様に係る情報処理システムは、手洗いを行う作業者の手指を撮影する撮影部、又は、手洗いを行う作業者の手指までの距離を計測する測距部と、前記撮影部が撮影した撮影画像、又は、前記測距部が計測した距離データに基づいて、前記作業者による手洗い動作の種類を特定する特定部と、特定した前記手洗い動作の種類毎に、前記手洗い動作の進捗度を判定する判定部と、前記手洗い動作の進捗度を通知する通知部とを備える。

本発明の一態様にあっては、撮影環境、石鹸の泡立ち状態又は着用した手袋の色等にかかわらず、作業者が行う手洗い動作の種類を精度よく特定することができる。

監視装置の構成例を示すブロック図である。 監視装置による撮影状態の例を示す模式図である。 手洗い動作判別モデルの構成例を示す模式図である。 判定処理手順の一例を示すフローチャートである。 判定処理を説明するための模式図である。 画面例を示す模式図である。 学習装置の構成例を示すブロック図である。 手洗い動作判別モデルの生成処理手順の一例を示すフローチャートである。 動作順序ＤＢの構成例を示す模式図である。 実施形態２の判定処理手順の一例を示すフローチャートである。 実施形態４の監視装置の構成例を示すブロック図である。

以下に、本開示の情報処理システム、情報処理方法及び学習モデルの生成方法について、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
手指を清潔に保つための手洗い動作が適切に行われているか否かを、作業者を撮影した撮影画像に基づいて監視する監視装置に適用した実施形態について説明する。図１は監視装置の構成例を示すブロック図、図２は監視装置による撮影状態の例を示す模式図である。図２Ａは、食品工場、薬品工場、医療機関、各種研究所、調理施設、店舗等の各施設に設けられた手洗いシンク（手洗い場）を天井側から見た状態を示しており、図２Ｂは、手洗いシンクを図２Ａの右側から見た状態を示している。作業者は、例えば図２Ａにおける下側、図２Ｂにおける左側に立った状態で手洗い動作を行う。なお、図２Ａにおける上側及び図２Ｂにおける右側を作業者の正面側とする。

監視装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、通知部１６、カメラ１７、読み取り部１８等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、監視装置１０が行うべき種々の情報処理及び制御処理を実行する。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、機械学習によって学習させた学習済みモデルである手洗い動作判別モデルＭを記憶している。手洗い動作判別モデルＭは、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。

通信部１３は、有線通信又は無線通信によってインターネット等のネットワークに接続するためのインタフェースを有し、ネットワークを介して他の装置との間で情報の送受信を行う。入力部１４は、監視装置１０を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。なお、表示部１５は、例えば図２Ａに示すようにそれぞれの手洗いシンクを使用する作業者が視認できる位置にそれぞれ設けられていてもよく、複数人の作業者（複数の手洗いシンク）毎に１つの表示部１５が設けられていてもよい。

通知部１６は、ランプ、ブザー、スピーカ又はバイブレータ等を含み、ランプの点灯又は点滅、ブザーの鳴動、スピーカによるメッセージの音声出力、バイブレータによる振動等を行うことにより、手洗い動作を行っている作業者に所定の状況（手洗い動作が適切に行われているか否か等の状況）を通知する。また通知部１６は、表示部１５にメッセージを表示することにより、作業者に所定の状況を通知してもよい。

カメラ１７は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ１７は、制御部１１からの指示に従って撮影を行い、１枚（１フレーム）の画像データ（撮影画像）を順次取得する。カメラ１７は、例えば１秒間に６０フレーム、３０フレーム又は１５フレームの映像データを取得するように構成されており、取得された映像データは順次記憶部１２に記憶される。なお、カメラ１７は、監視装置１０に内蔵される構成のほかに、監視装置１０に外付けされる構成でもよく、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して監視装置１０と接続される構成でもよい。この場合、監視装置１０は、外部カメラの接続が可能な接続部又は外部カメラとの無線通信が可能なカメラ通信部を備え、外部カメラが撮影した映像データを接続部又はカメラ通信部を介して取得する。本実施形態では、カメラ１７は、手洗いシンクで手洗い動作を行う作業者の手指（手洗い動作の状況）を撮影できる位置に設けられており、例えば図２Ａ及び図２Ｂに示すように、作業者の正面側の上方から作業者の手指を撮影するように設けられている。なお、図２Ａ及び図２Ｂでは、カメラ１７の撮影範囲のイメージを直線で示している。本実施形態では、２人の作業者を撮影するために１つのカメラ１７を用いるが、１つのカメラ１７を用いて１人の作業者を撮影する構成でもよい。また、カメラ１７は、少なくとも作業者の手指を撮影できればよく、作業者の全身を撮影するように構成されていてもよい。更に、カメラ１７は、作業者の正面側の上方からだけでなく横方向の上方からも撮影するように構成されていてもよく、また、横方向の上方からのみ撮影するように構成されていてもよい。

読み取り部１８は、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１８を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

図３は手洗い動作判別モデルＭの構成例を示す模式図である。手洗い動作判別モデルＭは例えばＣＮＮ（Convolution Neural Network）で構成することができる。手洗い動作判別モデルＭは、衛生的な手洗い動作を実行中の作業者の手指を撮影した撮影画像（動画データ）を入力とし、入力された撮影画像に基づいて、撮影されている作業者が実行中の手洗い動作の種類（手洗いの対象となる手指の部位）を判別する演算を行い、演算した結果を出力するように学習した学習済みモデルである。具体的には、手洗い動作判別モデルＭは、入力された撮影画像に対してフィルタ処理及び圧縮処理を行い、更に各種の関数及び閾値等を用いて出力値を算出し、算出した出力値を出力する。本実施形態の手洗い動作判別モデルＭは６つの出力ノードを有しており、出力ノード０は撮影画像中の作業者が手のひら及び手の腹面に対する手洗い動作を行っていると判別すべき確率を出力し、出力ノード１は手の甲及び指の背に対する手洗い動作を行っていると判別すべき確率を出力する。また出力ノード２は指の間及び股に対する手洗い動作を行っていると判別すべき確率を出力し、出力ノード３は親指及び親指の付け根に対する手洗い動作を行っていると判別すべき確率を出力する。更に出力ノード４は指先に対する手洗い動作を行っていると判別すべき確率を出力し、出力ノード５は手首に対する手洗い動作を行っていると判別すべき確率を出力する。各出力ノードの出力値は例えば０〜１．０の値であり、全ての出力ノードから出力される判別確率の合計が１．０となる。手洗い動作判別モデルＭは上述した構成に限定されず、例えば手洗い動作判別モデルＭが判別する手洗い動作の種類は６つに限定されない。手洗い動作判別モデルＭが判別する手洗い動作の種類は、各施設で用いられる衛生管理基準で規定された手洗い動作の種類であり、判別すべき種類の数は施設毎に異なる数であってもよい。また、手洗い動作判別モデルＭを、手洗い動作の種類に加えて、手洗い動作前に洗浄剤を手指に付ける動作、手洗い動作後に洗浄剤を流水で流す動作等を行っているか否かを判別するように構成されていてもよい。具体的には、手洗い動作判別モデルＭに、洗浄剤を手指に付ける動作を行っていると判別すべき確率を出力する出力ノード、又は洗浄剤を流水で流す動作を行っていると判別すべき確率を出力する出力ノード等が設けられていてもよい。

手洗い動作判別モデルＭは、衛生的な手洗い動作の種類（正解ラベル）と、それぞれの手洗い動作を行っている作業者の手指を撮影した撮影画像とを含む訓練データを用いて学習する。手洗い動作判別モデルＭは、訓練データに含まれる撮影画像が入力された場合に、訓練データに含まれる正解ラベルが示す種類に対応する出力ノードから１．０の出力値が出力され、他の出力ノードから０．０の出力値が出力されるように学習する。学習処理において手洗い動作判別モデルＭは、実行すべきフィルタ処理及び圧縮処理における各種の係数、並びに関数の係数及び重み付け係数等を最適化するように学習する。これにより、撮影画像が入力された場合に、撮影画像中に写っている作業者が実行中の手洗い動作の種類を特定（判別）するように学習された学習済みの手洗い動作判別モデルＭが得られる。手洗い動作判別モデルＭの学習は、他の学習装置で行われるが、監視装置１０で行われてもよい。また手洗い動作判別モデルＭは、種々の機械学習アルゴリズムを用いて構築することができる。

なお、手洗い動作判別モデルＭは、所定の単位時間に亘る複数フレーム（時系列の画像データ）を処理するように構成されていてもよい。この場合、手洗い動作判別モデルＭは、ＣＮＮ及びＲＮＮ（Recurrent Neural Network）を組み合わせて構成することができ、また３次元ＣＮＮ（３Ｄ−ＣＮＮ）を用いて構成されていてもよい。このような構成の手洗い動作判別モデルＭでは、手洗い動作を実行中の作業者の手指を撮影した時系列の撮影画像（動画データ）が入力され、入力された撮影画像に基づいて、撮影されている作業者が実行中の手洗い動作の種類（手洗いの対象となる手指の部位）が判別され、判別結果が出力されるように構成することができる。

以下に、本実施形態の監視装置１０がカメラ１７を用いて作業者の手指を撮影した撮影画像に基づいて、作業者が衛生的な手洗い動作を行っているか否かを判定する処理について説明する。図４は判定処理手順の一例を示すフローチャート、図５は判定処理を説明するための模式図、図６は画面例を示す模式図である。以下の処理は、監視装置１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の監視装置１０において、制御部１１は、カメラ１７（撮影部）を用いて手洗いシンクを撮影する（Ｓ１１）。制御部１１はカメラ１７による撮影を常時行っていてもよい。また、監視装置１０に、手洗いシンク又は手洗いシンク周辺における人の有無を検知する人感センサが接続されている場合、制御部１１は、人感センサによって人の存在が検知された後にカメラ１７による撮影を開始してもよい。制御部１１は、カメラ１７によって手洗いシンクを撮影し、手洗いシンクで手洗い動作を行っている作業者の手指の撮影画像を取得し、取得した撮影画像を順次記憶部１２に記憶する。図５Ａは撮影画像の例を示している。

本実施形態の監視装置１０は１つのカメラ１７で２つの手洗いシンク（手洗い動作を行う作業者）を撮影するので、制御部１１は、取得した撮影画像から、それぞれの手洗いシンクの撮影領域を抽出するトリミング処理を実行する（Ｓ１２）。例えば制御部１１は、図５Ａに示す撮影画像から図５Ｂに示すような２つの撮影領域を抽出する。なお、１つのカメラ１７で１つの手洗いシンクを撮影する場合、制御部１１はステップＳ１２の処理を行う必要はない。また、制御部１１は、例えば撮影画像に基づいて各手洗いシンクで手洗い動作が行われているか否かを判断し、手洗い動作が行われていない手洗いシンク、具体的には作業者の手指が写っていない手洗いシンクについてはトリミング処理を行わないように構成されていてもよい。

制御部１１は、撮影処理及びトリミング処理を所定のタイミング（例えば撮影タイミングに応じたタイミング）で繰り返し行いつつ、ステップＳ１３以降の処理を行う。まず制御部１１（検出部）は、いずれかの手洗いシンクにおいて手洗い動作が開始されたか否かを判断（検出）する（Ｓ１３）。例えば各手洗いシンクに人感センサを設置し、人感センサによって作業者の手指が検知された場合に、この人感センサが設置された手洗いシンクで手洗い動作が開始されると判断してもよい。この場合、作業者は手洗い動作を開始する際に人感センサに自身の手指をかざすことによって手洗い動作の開始を入力することができる。なお、このような人感センサは、蛇口からの吐水及び止水を自動的に行う際にユーザの手指を感知するセンサを用いることができる。また、各手洗いシンクに、手洗い動作の開始を入力するための操作ボタンを設け、操作ボタンが操作された場合に、この操作ボタンが設置された手洗いシンクで手洗い動作が開始されると判断してもよい。また、トリミング処理によって抽出された各手洗いシンクの撮影領域に、作業者の手指が写っている場合、又は写っている作業者の手指が所定の動きをしている場合に、この手洗いシンクで手洗い動作が開始されると判断してもよい。この場合、作業者はカメラ１７の撮影範囲内に自身の手指を入れるだけ、又はカメラ１７の撮影範囲内で手洗い動作を開始するだけで、手洗い動作の開始を入力することができる。

手洗い動作が開始されていないと判断した場合（Ｓ１３：ＮＯ）、制御部１１はステップＳ１１の処理に戻り、ステップＳ１１〜Ｓ１３の処理を繰り返す。手洗い動作が開始されたと判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、手洗い動作が開始された手洗いシンクのそれぞれについてステップＳ１４以降の処理を行う。まず制御部１１（特定部）は、手洗い動作が開始された各手洗いシンクについて、開始された手洗い動作の種類を特定する（Ｓ１４）。ここでは、制御部１１は、開始された手洗い動作が、予め規定された複数種類の手洗い動作のいずれであるかを判断する。なお、予め規定された手洗い動作とは、各施設における衛生管理基準で規定された手洗い動作であり、例えば、手のひら及び指の腹面を洗う手洗い動作、手の甲及び指の背を洗う手洗い動作、指の間（側面）及び股（付け根）を洗う手洗い動作、親指及び親指の付け根のふくらんだ部分を洗う手洗い動作、指先を洗う手洗い動作、手首を洗う手洗い動作の６種類がある。なお、このような手洗い動作の種類は一例であり、施設毎に規定された手洗い動作の種類を用いることができる。

本実施形態では、制御部１１は、手洗い動作が開始された手洗いシンクに対して、ステップＳ１２のトリミング処理によって抽出した撮影領域に基づいて、この手洗いシンクで開始された手洗い動作の種類を特定する。具体的には、制御部１１は、この手洗いシンクの撮影領域を手洗い動作判別モデルＭに入力し、手洗い動作判別モデルＭからの出力情報に基づいて、撮影領域中の作業者が行っている手洗い動作の種類を特定（認識）する。例えば制御部１１は、手洗い動作判別モデルＭにおいて、最大の出力値（判別確率）が所定値（例えば０．７）以上であった場合に、最大出力値を出力した出力ノードに対応する種類を、撮影領域中の作業者が行っている手洗い動作の種類に特定する。なお、最大出力値が所定値未満であった場合、制御部１１は、撮影領域中の作業者が行っている手洗い動作の種類を特定できないと判断する。

制御部１１は、手洗い動作判別モデルＭからの出力情報に基づいて、撮影領域中の作業者が行っている手洗い動作の種類を特定できたか否かを判断する（Ｓ１５）。制御部１１は、手洗い動作の種類を特定できないと判断した場合（Ｓ１５：ＮＯ）、ステップＳ１４の処理に戻り、順次取得する撮影画像に基づいてステップＳ１４の処理を繰り返す。制御部１１は、手洗い動作の種類を特定できたと判断した場合（Ｓ１５：ＹＥＳ）、特定した種類に対する手洗い動作の動作時間（手洗い時間）を計時する（Ｓ１６）。例えば制御部１１は、各手洗い動作についての手洗い時間を、処理対象の撮影画像のフレーム数から算出することができる。具体的には１秒間に３０フレームの撮影が行われた撮影画像において、例えば３フレーム毎に１フレームの撮影画像を手洗い動作判別モデルＭに入力して手洗い動作の種類を判別する構成の場合、制御部１１は、手洗い動作の種類を１回特定する都度、特定した手洗い動作の動作時間として０．１秒を加算する。これにより、各手洗い動作についての手洗い時間を計時することができる。また制御部１１は、各手洗い動作について計時する手洗い時間を記憶部１２に記憶しておく。

制御部１１（通知部）は、計時する手洗い時間に基づいて、各種類の手洗い動作における進捗度を算出し、各手洗い動作の進捗状況を示す画面を表示部１５に表示する（Ｓ１７）。例えば制御部１１（判定部）は、特定した手洗い動作に対する動作完了時間を記憶部１２から読み出し、動作完了時間に対して、計時した手洗い時間の割合を算出することにより、手洗い動作の進捗度を算出する。なお、本実施形態では、手洗い時間に基づいて、各手洗い動作の進捗度を算出する構成であるが、例えば手洗い動作判別モデルＭに入力した撮影画像のフレーム数に基づいて各手洗い動作の進捗度を算出する構成としてもよい。この場合、各手洗い動作に対して実行すべき手洗い時間に相当する画像フレーム数（具体的には単位時間毎に撮影されるフレーム数に応じた手洗い時間に相当するフレーム数）を記憶部１２に記憶しておく。そして制御部１１は、特定した手洗い動作に対する動作完了フレーム数を記憶部１２から読み出し、動作完了フレーム数に対して、カウントしたフレーム数（手洗い時間に相当するフレーム数）の割合を算出することにより、手洗い動作の進捗度を判定してもよい。

図６Ａは、進捗状況を示す画面例を示しており、６種類の手洗い動作のそれぞれにおける進捗度（手洗い動作の種類毎の進捗度）を表示する。図６Ａに示す画面では、１つの手洗いシンクで手洗い動作を行う作業者の撮影画像と、６種類の手洗い動作の進捗度を示すプログレスバー（インジケータ）と、手洗い動作の手本を示すお手本画像とが表示されている。制御部１１は、作業者をカメラ１７で撮影してトリミング処理によって撮影領域を抽出する都度、図６Ａに示す画面中の撮影画像の表示領域に、抽出した撮影領域を表示する。また制御部１１は、各手洗い動作の進捗度を算出する都度、図６Ａに示す画面中の進捗状況の表示領域において、進捗度を算出した手洗い動作に対応するプログレスバーによって、算出した進捗度を表示する。図６Ａに示す画面中のプログレスバーは、各手洗い動作に設定された動作完了時間を破線で示し、実行された手洗い時間をハッチングで示しており、このような構成により、各手洗い動作の進捗度を容易に把握できる。

なお、制御部１１は、各手洗い動作の進捗度を判定する際に、実行された手洗い時間だけでなく、手洗い動作判別モデルＭからの出力値（判別確率）を考慮してもよい。例えば、手洗い動作判別モデルＭからの出力値が所定値（例えば０．９５）以上であれば、この手洗い動作に設定されている動作完了時間を短くし（例えば動作完了時間×０．９）、短くした動作完了時間に対する手洗い時間の進捗度を算出してもよい。また逆に、手洗い動作判別モデルＭからの出力値が所定値（例えば０．９）未満であれば（即ち、出力値が０．７以上０．９未満であれば）、この手洗い動作に設定されている動作完了時間を長くし（例えば動作完了時間×１．１）、長くした動作完了時間に対する手洗い時間の進捗度を算出してもよい。

図６Ａに示す画面中のお手本画像は予め記憶部１２に記憶してある。図６Ａに示す画面において、お手本画像の１〜６の各番号と、各プログレスバーに付けられた１〜６の各番号とは対応している。制御部１１は、実行中の手洗い動作を特定した場合、図６Ａに示す画面において、実行中の手洗い動作に対応するプログレスバーの番号と、お手本画像の番号とを、他の番号とは異なる態様で表示する。これにより、現在実行中の手洗い動作がどれであるかを通知できる。具体的には、図６Ａに示す画面は、作業者が手の甲及び指の背を洗っている場合の表示例を示しており、プログレスバー及びお手本画像において２番が反転表示されており、２番の手洗い動作が実行中であることを示している。

制御部１１は、手洗い時間の計時を行っている手洗いシンクにおいて手洗い動作が終了されたか否かを判断する（Ｓ１８）。例えば制御部１１は、全ての手洗い動作の進捗度が１００％となった場合に、手洗い動作が終了したと判断する。また例えば各手洗いシンクに設置された人感センサによって作業者又は作業者の手指の不在（いない状況）が検知された場合、又は撮影画像（撮影領域）から作業者又は作業者の手指がいなくなった場合に、手洗い動作が終了されたと判断してもよい。また例えば人感センサによって作業者の手指が検知された回数が２回目であった場合に、手洗い動作が終了されたと判断してもよい。更に、各手洗いシンクに、手洗い動作の終了を入力するための操作ボタンを設け、操作ボタンが操作された場合に、手洗い動作が終了されると判断してもよい。手洗い動作が終了していないと判断した場合（Ｓ１８：ＮＯ）、制御部１１は、ステップＳ１４の処理に戻り、ステップＳ１４〜Ｓ１７の処理を繰り返す。これにより、制御部１１は、撮影処理及びトリミング処理、各手洗い動作の時間を計時する処理等を繰り返し、図６Ａに示す画面において、逐次撮影される撮影画像（撮影領域）が表示されると共に、各手洗い動作のプログレスバーが示す進捗度が更新される。よって、手洗い動作を行っている作業者は、各手洗い動作のプログレスバーによって、自身の手洗い動作の進捗状況を容易に把握できる。

手洗い動作が終了されたと判断した場合（Ｓ１８：ＹＥＳ）、制御部１１は、全ての手洗い動作が正常に終了したか否かを判断する（Ｓ１９）。ここでは、制御部１１は、記憶部１２に記憶してあり画面に表示されている各手洗い動作の進捗度が全て１００％となった場合に、正常に終了したと判断する。正常に終了したと判断した場合（Ｓ１９：ＹＥＳ）、制御部１１は、手洗い動作が正常に終了したことを通知し（Ｓ２０）、処理を終了する。例えば制御部１１は、「適切な手洗い動作が完了しました」のようなメッセージを表示部１５に表示して通知する。なお、通知部１６がスピーカを有する場合、制御部１１は、上述のようなメッセージをスピーカから音声出力してもよい。

手洗い動作が正常に終了していない（中断された）と判断した場合（Ｓ１９：ＮＯ）、制御部１１（異常通知部）は、手洗い動作が中断されたこと（動作の中断、異常終了）を通知する（Ｓ２１）。例えば制御部１１は、「手洗い動作がまだ完了していません」、「手洗いが不十分です」のようなメッセージを表示部１５に表示して通知する。なお、通知部１６がスピーカを有する場合、制御部１１は、上述のようなメッセージをスピーカから音声出力してもよく、また、通知部１６がランプ、ブザー又はバイブレータを有する場合、制御部１１は、ランプの点灯又は点滅、ブザーの鳴動、又はバイブレータによる振動によって、作業者に異常を通知してもよい。

制御部１１は、中断された（正常に終了しなかった）手洗い動作が再開されたか否かを判断する（Ｓ２２）。例えば制御部１１は、ステップＳ１３と同様の処理によって手洗い動作が開始されたか否かを判断する処理を行い、ステップＳ２１の通知を行ってから所定時間（例えば数秒間）以内に手洗い動作が開始されたと判断した場合、同じ作業者による手洗い動作として、中断された手洗い動作が再開されたと判断する。手洗い動作が再開されたと判断した場合（Ｓ２２：ＹＥＳ）、制御部１１は、ステップＳ１４の処理に戻る。これにより、制御部１１は、再開された手洗い動作を行う作業者の撮影処理及びトリミング処理、手洗い動作の種類の特定処理、手洗い時間の計時処理等を行う。なお、ここでのステップＳ１６では、中断される前に計時していた手洗い時間を引き継ぎ、記憶部１２に記憶してある各手洗い動作の時間から計時処理を再開する。なお、手洗い動作が中断された場合、中断されるまでに計時していた手洗い時間をリセットしてもよい。この場合、手洗い動作を中断した作業者は、手洗い作業を最初からやり直す必要がある。手洗い動作が再開されていないと判断した場合（Ｓ２２：ＮＯ）、制御部１１は処理を終了する。このとき制御部１１は、この作業者について記憶部１２に記憶していた各手洗い動作の時間をリセットしてもよい。

上述した処理により、監視装置１０は、作業者の手洗い動作の状態を撮影した撮影画像に基づいて、この作業者が行う手洗い動作を監視し、手洗い動作の進捗状況を管理する。そして、監視装置１０は、予め規定された手洗い動作を作業者が適切に行った場合に、その旨（正常終了）を作業者に通知する。また監視装置１０は、作業者が手洗い動作を途中で中断した場合に、その旨（中断）を作業者に通知する。よって、作業者は、自身の判断だけでなく、監視装置１０による判定処理によって自身の手洗い動作が適切であるか否かを判断できる。本実施形態では、図６Ａに示す画面中のプログレスバーによって、各手洗い動作の進捗度が通知されるので、手洗い動作を行っている作業者は、各手洗い動作に対する自身の進捗状況を容易に把握できる。よって、作業者は進捗度を確認しながら手洗い動作を行うことにより、同じ箇所を過剰に洗う手洗い動作又は洗い不足等のように洗い方（手洗い動作の種類）による清潔度合のばらつきが発生することを抑制し、効率のよい手洗い動作の実施が可能となる。

本実施形態では、図６Ａに示すような画面を表示部１５に表示することによって、作業者が実行中の手洗い動作の進捗度を作業者に通知するが、このような構成に限定されない。図６Ｂは進捗状況の他の表示例を示しており、例えばランプを用いて各手洗い動作の進捗度を表示する例を示す。図６Ｂに示すランプパネルを用いる場合、ランプパネルが、表示部１５の代わりに、図２Ａ中の表示部１５の設置位置に設けられている。図６Ｂに示すランプパネルは、手洗い動作の開始及び終了を示す状態ランプＬ１と、６種類の手洗い動作の進捗度を示す進捗度ランプＬ２１〜Ｌ２６とを有する。監視装置１０の制御部１１は、図４中のステップＳ１３で手洗い動作が開始されたと判断した場合（Ｓ１３：ＹＥＳ）、状態ランプＬ１を点灯させ、手洗い動作の開始を通知する。また制御部１１は、図４中のステップＳ１９で手洗い動作が正常に終了したと判断した場合（Ｓ１９：ＹＥＳ）、状態ランプＬ１を消灯させ、手洗い動作の終了を通知する。またステップＳ１７において、制御部１１は、各手洗い動作について計時した手洗い時間に基づく進捗度に応じた態様で、各手洗い動作に対応する進捗度ランプＬ２１〜Ｌ２６を点灯又は点滅させることにより、作業者に各手洗い動作の進捗度を通知する。例えば制御部１１は、進捗度に応じた色又は輝度で各進捗度ランプＬ２１〜Ｌ２６を点灯させてもよく、進捗度に応じた点滅速度で各進捗度ランプＬ２１〜Ｌ２６を点滅させてもよい。また制御部１１は、実行中の手洗い動作に対応する進捗度ランプＬ２１〜Ｌ２６を点滅させることによって、実行中の手洗い動作を作業者に通知してもよい。なお、図６Ｂに示すようなランプパネルを用いる場合、図６Ａに示すようなお手本画像を印刷したポスターを、手洗い動作を行う作業者が視認できる位置に貼付しておくことにより、手本の手洗い動作を作業者に通知できる。

本実施形態では、手洗い動作判別モデルＭを用いて撮影画像中の作業者が行っている手洗い動作の種類を判別する。よって、手洗いシンク及び背景の色、作業者の手指の色等の影響、及び撮影環境の影響を受けづらく、撮影画像中の作業者が行う手洗い動作を精度よく判別することが可能である。また、判別すべき手洗い動作の種類が変更された場合であっても、手洗い動作判別モデルＭを適切に学習させることにより、設定されている洗い方（手洗い動作）を柔軟に変更できる。また、本実施形態において、手洗い動作判別モデルＭは、撮影画像中の作業者が行っている手洗い動作の種類を判別する構成のほかに、例えば撮影画像中の作業者が規定された手洗い動作を行っているか否かを判別するように構成されていてもよい。例えば手洗い動作判別モデルＭは、撮影画像を入力とし、入力された撮影画像中の作業者が規定の手洗い動作を行っていると判別すべき確率を出力するように構成されていてもよい。このような手洗い動作判別モデルＭを用いた場合、撮影された作業者が規定の手洗い動作を行っているか否かを監視できる。

本実施形態において、監視装置１０は、作業者を、予め登録してある従業員の中から特定する構成を更に備えてもよい。例えば、監視装置１０に音声入力機能を設け、作業者が手洗い動作を開始する前に自身の氏名を音声入力することにより、監視装置１０は、作業者を、音声入力された氏名の従業員に特定してもよい。また、作業者の氏名が記載された名札が作業着に取り付けられており、カメラ１７で名札を撮影できる場合、監視装置１０は、撮影画像から名札の領域を抽出し、抽出した領域からＯＣＲ（Optical Character Recognition）にてテキストデータを生成することによって作業者の氏名を取得してもよい。また、各従業員の顔画像を予め登録しておき、カメラ１７で作業者の顔を撮影できる構成とした場合、監視装置１０は、撮影画像中の作業者の顔画像に基づいて、撮影画像中の作業者を従業員の中から特定してもよい。このように作業者を特定する構成を有する場合、各従業員の手洗い動作の実行実績等を収集することができ、衛生指導及び衛生管理の改善に利用することができる。

（実施形態２）
実施形態１の監視装置１０で使用した手洗い動作判別モデルＭの生成処理について説明する。なお、手洗い動作判別モデルＭの学習は例えば所定の学習装置で行われ、学習装置で学習が行われて生成された学習済みの手洗い動作判別モデルＭは、ネットワーク経由又は可搬型記憶媒体１ａ経由で学習装置から監視装置１０にダウンロードされて記憶部１２に記憶される。図７は、学習装置の構成例を示すブロック図である。学習装置５０は、パーソナルコンピュータ、サーバコンピュータ等で構成されており、制御部５１、記憶部５２、通信部５３、入力部５４、表示部５５、読み取り部５６等を含み、これらの各部はバスを介して相互に接続されている。学習装置５０の各部５１〜５６は、実施形態１の監視装置１０の各部１１〜１５，１８と同様であるので詳細な説明は省略する。なお、学習装置５０の記憶部５２は、制御プログラム５２Ｐ及び手洗い動作判別モデルＭのほかに、手洗い動作判別モデルＭの学習に用いる訓練データが記憶してある訓練データＤＢ（データベース）５２ａを記憶する。訓練データＤＢ５２ａには、手洗い動作の種類を示す情報（正解ラベル）と、各種類の手洗い動作を実行中の作業者の手指を撮影した撮影画像とが対応付けられた訓練データが記憶されている。

図８は手洗い動作判別モデルＭの生成処理手順の一例を示すフローチャートである。学習装置５０の制御部５１は、訓練データＤＢ５２ａから訓練データを１つ取得する（Ｓ３１）。制御部５１は、読み出した訓練データを用いて手洗い動作判別モデルＭの学習処理を行う（Ｓ３２）。ここでは、制御部５１は、訓練データに含まれる撮影画像を手洗い動作判別モデルＭに入力した場合に、訓練データに含まれる正解ラベルに対応する出力ノードからの出力値が１．０に近づき、他の出力ノードからの出力値が０に近づくように手洗い動作判別モデルＭを学習させる。なお、学習処理において手洗い動作判別モデルＭは、実行すべきフィルタ処理及び圧縮処理における各種の係数、並びに関数の係数等を最適化するように学習する。

制御部５１は、訓練データＤＢ５２ａに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断し（Ｓ３３）、未処理の訓練データがあると判断した場合（Ｓ３３：ＹＥＳ）、ステップＳ３１の処理に戻る。そして、制御部５１は、未処理の訓練データを訓練データＤＢ５２ａから読み出し、読み出した訓練データを用いた学習処理を繰り返す。未処理の訓練データがないと判断した場合（Ｓ３３：ＮＯ）、制御部５１は学習処理を終了する。これにより、撮影画像が入力された場合に、撮影画像中の作業者が行っている手洗い動作の判別結果として、手洗い動作の各種類に対する判別確率を出力するように学習された手洗い動作判別モデルＭが生成される。なお、既に学習済みの手洗い動作判別モデルＭについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い手洗い動作判別モデルＭを生成できる。また、訓練データＤＢ５２ａに記憶してある訓練データを用いて、図８に示す学習処理を繰り返し行うことにより、手洗い動作判別モデルＭを最適化することができる。

上述したような手洗い動作判別モデルＭを用いて作業者の手洗い動作の種類を判別する場合、撮影環境等に依存せずに、撮影画像中の作業者が行う手洗い動作を精度よく判別できる。また、膨大な訓練データを用いて手洗い動作判別モデルＭを学習させた場合には、より正確に撮影画像中の作業者が行う手洗い動作を判別できる手洗い動作判別モデルＭを実現できる。

上述した学習処理によって生成された手洗い動作判別モデルＭは、監視装置１０が設置される施設において収集した訓練データを用いて転移学習（追加学習）させることができる。具体的には、手洗い動作の種類を示す情報（正解ラベル）と、監視装置１０が設置される施設の手洗いシンク（所定の手洗い場）で各種類の手洗い動作を行う作業者の手指を撮影した撮影画像とが対応付けられた訓練データを、転移学習用の訓練データとして用いる。転移学習においても図８と同様の処理により、手洗い動作判別モデルＭは、演算に用いる各種の関数の係数及び重み付け係数等を最適化する学習処理を行う。転移学習用の訓練データを用いて、図８と同様の処理によって手洗い動作判別モデルＭを転移学習させることにより、監視装置１０が設置される施設に適した判別処理が可能な手洗い動作判別モデルＭを実現できる。従って、一般的な手洗いシンクでの手洗い動作の撮影画像を用いて手洗い動作判別モデルＭを学習させた後に、各施設の手洗いシンクでの手洗い動作の撮影画像を用いて転移学習させることにより、施設に適した手洗い動作判別モデルＭを効率よく生成することができる。

手洗い動作判別モデルＭの学習処理において、例えば手の甲及び指の背を洗う手洗い動作、親指及び親指の付け根を洗う手洗い動作、指先を洗う手洗い動作、手首を洗う手洗い動作等、左右の手指のそれぞれに洗い方が存在する手洗い動作については、左右の手指を各別に学習させてもよい。この場合、手洗い動作判別モデルＭは、左右の手指それぞれについて、上述した手洗い動作が行われているか否かを判別することになる。また、手洗い動作判別モデルＭは、例えば作業者の手指を作業者の正面側の上方から撮影した撮影画像を入力とするモデル、作業者の手指を作業者の左側又は右側の上方から撮影した撮影画像を入力とするモデル、作業者の手指を作業者の斜め上方から撮影した撮影画像を入力とするモデル等を各別に生成してもよい。この場合、カメラ１７による撮影状況に応じた手洗い動作判別モデルＭを使用することができ、高精度の判別処理が可能となる。

また手洗い動作判別モデルＭは、時系列の撮影画像（動画データ）の代わりに、１つの撮影画像と、撮影画像中の作業者の動きをベクトルで示したオプティカルフローとを入力とする構成としてもよい。この場合にも、手洗い動作判別モデルＭは、入力された撮影画像及びオプティカルフローに基づいて、撮影されている作業者が行う手洗い動作の種類を判別するように構成することができる。また、監視装置１０が、深度センサを用いて作業者の手指までの距離を計測する構成を有する場合、手洗い動作判別モデルＭは、撮影画像と、撮影画像から抽出したオプティカルフロー（動きベクトル）と、深度センサによる深度情報（距離情報）とを入力とする構成としてもよい。この場合、手洗い動作判別モデルＭは、入力された撮影画像の特徴量を出力する学習モデル（ニューラルネットワーク）、入力されたオプティカルフローの特徴量を出力する学習モデル、入力された深度情報の特徴量を出力する学習モデルの３つの学習モデルを備え、３つの学習モデルから出力された各特徴量に基づいて手洗い動作の種類を判別するマルチモーダルモデルによって構成されていてもよい。

（実施形態３）
複数種類の手洗い動作に対して行うべき順序が決められている場合に、作業者を撮影した撮影画像に基づいて、各手洗い動作が適切に行われているか否かを監視する監視装置について説明する。本実施形態の監視装置は、実施形態１の監視装置１０と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の監視装置１０は、図１に示す実施形態１の構成に加えて、記憶部１２に動作順序ＤＢ１２ａを記憶している。

図９は動作順序ＤＢ１２ａの構成例を示す模式図である。動作順序ＤＢ１２ａは、手指の各部に対して手洗い動作を行う順序を記憶する。図９に示す動作順序ＤＢ１２ａは、順序列、手洗い動作列、動作完了時間列等を含み、順序に対応付けて手洗い動作の種類（手洗いすべき手指の部位）及び動作完了時間を記憶する。順序列には１〜６の各順序が予め記憶してあり、手洗い動作列は各順序に手洗いを行うべき手指の部位（手洗い動作の種類）を記憶し、動作完了時間列は各手洗い動作に対して設定された手洗いすべき時間（動作完了時間）を記憶する。動作順序ＤＢ１２ａに記憶される手洗い動作（手指の部位）及び動作完了時間は、制御部１１が通信部１３又は入力部１４を介して、各順序に対する手洗い動作及び動作完了時間を取得した場合に、制御部１１によって記憶される。なお、動作順序ＤＢ１２ａに記憶される内容は、監視装置１０が設置される施設における衛生管理基準に従って登録され、適宜変更が可能である。動作順序ＤＢ１２ａの記憶内容は図９に示す例に限定されず、順序の数、即ち、判別すべき手洗い動作の種類の数は６つに限定されない。

以下に、本実施形態の監視装置１０が、作業者の手指を撮影した撮影画像に基づいて、作業者が手洗い動作を適切に行っているか否かを判定する処理について説明する。図１０は実施形態２の判定処理手順の一例を示すフローチャートである。図１０に示す処理は、図４に示す処理において、ステップＳ１５のＹＥＳ及びステップＳ１６の間にステップＳ４１〜Ｓ４２を追加し、ステップＳ１８〜Ｓ１９の代わりにステップＳ４３〜Ｓ４６を追加したものである。図４と同じステップについては説明を省略し、図１０では図４中のステップＳ１１〜Ｓ１３の図示を省略している。

本実施形態の監視装置１０において、制御部１１は、実施形態１で説明した図４中のステップＳ１１〜Ｓ１５の処理を行う。これにより、制御部１１は、カメラ１７で撮影した撮影画像からトリミング処理によって抽出した撮影領域に基づいて、作業者が実行中の手洗い動作を特定する。ステップＳ１５で撮影領域中の作業者が実行中の手洗い動作の種類を特定できたと判断した場合（Ｓ１５：ＹＥＳ）、制御部１１は、特定した手洗い動作が、動作順序ＤＢ１２ａに登録されている順序に従った適切な動作であるか否かを判断する（Ｓ４１）。例えば、初めて手洗い動作を特定した場合、制御部１１は、動作順序ＤＢ１２ａから１番目の手洗い動作として「手のひら及び指の腹面」を読み出し、特定した手洗い動作が、手のひら及び指の腹面を洗う動作（読み出した動作）に一致するか否かを判断する。そして制御部１１は、一致する場合、特定した手洗い動作は適切な動作であると判断し、一致しない場合、特定した手洗い動作は適切な動作ではないと判断する。

適切な動作であると判断した場合（Ｓ４１：ＹＥＳ）、制御部１１は、ステップＳ１６の処理に移行し、実施形態１で説明した図４中のステップＳ１６〜Ｓ１７の処理を行う。これにより、制御部１１は、図６Ａに示すような画面を表示部１５に表示し、各手洗い動作の進捗度を作業者に通知する。適切な動作でないと判断した場合（Ｓ４１：ＮＯ）、制御部１１は、適切な手洗い動作ではないこと（不適切）を通知する（Ｓ４２）。ここでは制御部１１は、例えば「手洗いの順番が間違っています。マニュアルに従って手洗いを行って下さい」のようなメッセージを表示部１５に表示又はスピーカ（通知部１６）から音声出力して作業者に通知する。また、制御部１１は、「手のひら・指の腹面から洗って下さい」、「次は指先を洗って下さい」のように手洗いすべき箇所（部位）を指定するメッセージを表示部１５に表示又は音声出力して通知してもよい。ステップＳ４２の処理後、制御部１１は、ステップＳ１４の処理に戻り、撮影画像に基づいて、作業者が実行中の手洗い動作を特定する処理、特定した手洗い動作が、設定された順序に従った適切な動作であるか否かを判断する処理を繰り返す。

ステップＳ１７の処理後、制御部１１は、手洗い時間の計時を行っている手洗いシンクにおいて、適切な手洗い動作が正常に完了したか否かを判断する（Ｓ４３）。ここでは、制御部１１は、手洗い時間を計時中の手洗い動作の進捗度が１００％となった場合に、ここでの手洗い動作が正常に完了したと判断する。手洗い時間を計時中の手洗い動作が正常に完了していない（中断された）と判断した場合（Ｓ４３：ＮＯ）、制御部１１は、ステップＳ２１の処理に移行し、手洗い動作が中断されたことを通知する（Ｓ２１）。そして制御部１１は、中断された手洗い動作が再開されたと判断した場合（Ｓ２２：ＹＥＳ）、ステップＳ１４の処理に戻り、再開された手洗い動作が、動作順序ＤＢ１２ａに登録されている順序に従った適切な動作であれば、中断される前までの手洗い時間を引き継いで、再開された手洗い動作の手洗い時間の計時処理を再開する。

手洗い時間を計時中の手洗い動作が正常に完了したと判断した場合（Ｓ４３：ＹＥＳ）、制御部１１は、実行中の手洗い動作に対する動作完了時間を経過したこと（手洗い動作が正常に完了したこと）を通知する（Ｓ４４）。例えば制御部１１は、「手洗い中の箇所は十分に洗えました」のようなメッセージを表示部１５に表示又はスピーカ（通知部１６）から音声出力して作業者に通知する。次に制御部１１は、動作順序ＤＢ１２ａに記憶してある手洗い動作のうちで、未完了の手洗い動作があるか否かを判断する（Ｓ４５）。ここでは、制御部１１は、ステップＳ４３で正常に完了したと判断した手洗い動作が、順序が６番目の手洗い動作（手首を洗う手洗い動作）であるか否かを判断し、６番目の手洗い動作であれば、未完了の手洗い動作はないと判断し、６番目の手洗い動作でなければ、未完了の手洗い動作があると判断する。

未完了の手洗い動作があると判断した場合（Ｓ４５：ＹＥＳ）、制御部１１は、手洗い動作の種類の変更を促す通知を行う（Ｓ４６）。例えば制御部１１は、「次の洗い方で手洗いを行って下さい」、「次は指先を洗って下さい」のようなメッセージを表示部１５に表示又は音声出力して作業者に通知する。その後、制御部１１はステップＳ１４の処理に戻り、順次撮影される撮影画像に基づいて、作業者が実行中の手洗い動作を特定する処理、特定した手洗い動作が、設定された順序に従った適切な動作であるか否かを判断する処理、適切な手洗い動作である場合に手洗い時間を計時する処理を繰り返す。そして、ステップＳ４５で未完了の手洗い動作がないと判断した場合（Ｓ４５：ＮＯ）、制御部１１は、ステップＳ２０の処理に移行し、全ての手洗い動作が正常に終了したことを通知し（Ｓ２０）、処理を終了する。

上述した処理により、本実施形態の監視装置１０では、作業者が、予め設定された各手洗い動作を適切に行っているか否かだけでなく、予め設定された順序に従って作業者が各手洗い動作を適切に行っているか否かを監視できる。また、本実施形態においても、監視装置１０は、作業者による手洗い動作の進捗状況を作業者に通知できる。よって、作業者は、自身の判断だけでなく、監視装置１０による判定処理によって自身の手洗い動作が適切であるか否かを確認できると共に、実行中の手洗い動作については残りの手洗い時間等を把握できるので効率的な手洗い動作が可能となる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、洗い方（各手洗い動作）に対して予め設定された動作順序も考慮して、作業者が、所定の順序で各手洗い動作を適切に行っているか否かを監視できる。よって、監視装置１０が設置される施設において、手洗い動作（手指の部位）に対する手洗い順序が、衛生管理基準で規定されている場合であっても、衛生管理基準に従った監視処理が可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。また本実施形態における手洗い動作判別モデルＭについても、実施形態２で説明した生成処理によって生成可能である。

（実施形態４）
上述した実施形態１〜３の監視装置１０において、カメラ１７の代わりに深度センサを用いる監視装置１０について説明する。図１１は、実施形態４の監視装置１０の構成例を示すブロック図である。本実施形態の監視装置１０は、図１に示す実施形態１の監視装置１０において、カメラ１７の代わりに深度センサ１９を有する。深度センサ１９以外の構成は、実施形態１と同様の構成であるので、詳細な説明は省略する。

深度センサ１９（測距部）は、例えばレーザー光、近赤外光又は赤外光等の光を出射する発光部と、発光部が出射した光の対象物による反射光を受光する受光部とを有し、受光した反射光に基づいて対象物までの距離を計測する。深度センサ１９は、制御部１１からの指示に従って対象物までの距離を計測し、計測した距離を示す距離データを取得する。深度センサ１９は、例えば１秒間に３０フレーム又は１５フレームの距離データを取得するように構成されており、取得された距離データは順次記憶部１２に記憶される。なお、深度センサ１９は、監視装置１０に内蔵される構成のほかに、監視装置１０に外付けされる構成でもよく、ＬＡＮ又はインターネット等のネットワークを介して監視装置１０と接続される構成でもよい。この場合、監視装置１０は、外部センサの接続が可能な接続部又は外部センサとの無線通信が可能なセンサ通信部を備え、外部センサが取得した距離データを接続部又はセンサ通信部を介して取得する。

本実施形態では、深度センサ１９は、手洗いシンクで手洗い動作を行う作業者の手指までの距離を計測できる位置に設けられており、例えば図２Ａ及び図２Ｂ中のカメラ１７と同様の位置に設けられている。なお、深度センサ１９は、図２Ａに示すように２人の作業者までの距離を計測するように構成されていてもよく、１つの深度センサ１９を用いて１人の作業者までの距離を計測する構成でもよい。また、深度センサ１９は、少なくとも作業者の手指を測距対象として設けられていればよく、作業者の全身を測距対象として設けられていてもよい。更に、深度センサ１９は、作業者の正面側の上方からだけでなく横方向の上方からも測距を行うように構成されていてもよく、また、横方向の上方からのみ測距を行うように構成されていてもよい。

本実施形態の手洗い動作判別モデルＭは、実施形態１の手洗い動作判別モデルＭと同様の構成によって実現されるが、本実施形態の手洗い動作判別モデルＭでは、手洗い動作を実行中の作業者の手指までの距離を深度センサ１９にて計測した距離データを入力とする。即ち、本実施形態の手洗い動作判別モデルＭは、深度センサ１９によって取得した距離データが入力された場合に、入力された距離データに基づいて、測距対象の作業者が実行中の手洗い動作の種類（手洗いの対象となる手指の部位）を判別し、判別結果を出力するように学習した学習済みモデルである。このような構成の手洗い動作判別モデルＭを用いる場合であっても、作業者が実行中の手洗い動作の種類を特定することができる。

深度センサ１９を備える本実施形態の監視装置１０は、図４に示す処理と同様の処理の実行が可能である。なお、本実施形態の監視装置１０では、図４中のステップＳ１１において、制御部１１は、深度センサ１９を用いて、手洗いシンクで手洗い動作を行う作業者の手指までの測距処理を実行する。即ち、制御部１１は、作業者の手指までの距離を計測して距離データを取得し、取得した距離データからトリミング処理によって作業者の領域を抽出する。また図４中のステップＳ１４において、制御部１１は、作業者の領域の距離データを手洗い動作判別モデルＭに入力し、手洗い動作判別モデルＭからの出力情報に基づいて、測距対象の作業者が行っている手洗い動作の種類を特定する。

上述した処理により、本実施形態の監視装置１０においても、実施形態１と同様の効果が得られる。具体的には、本実施形態では、手洗い動作を行う作業者の手指までの距離を計測した距離データに基づいて、この作業者が行う手洗い動作を監視し、手洗い動作の進捗状況を管理できる。また、監視装置１０が手洗い動作の進捗状況を作業者に通知できるので、作業者は、自身が行っている手洗い動作の進捗状況を把握でき、自身の判断だけでなく、監視装置１０による判定処理によって効率のよい手洗い動作の実施が可能となる。

本実施形態における手洗い動作判別モデルＭは、実施形態２で説明した生成処理によって生成可能である。なお、本実施形態の手洗い動作判別モデルＭの生成処理では、手洗い動作の種類（正解ラベル）と、それぞれの手洗い動作を行っている作業者の手指までの距離を深度センサ１９にて計測した距離データとを含む訓練データが用いられる。また、本実施形態の構成は、上述した実施形態３の監視装置１０にも適用できる。実施形態３の監視装置１０に適用した場合、深度センサ１９にて取得した距離データに基づいて、各手洗い動作に対して予め設定された順序に従って、作業者が各手洗い動作を適切に行っているか否かを監視できる。

上述した各実施形態において、監視装置１０が撮影画像又は距離データに基づいて、作業者が実行中の手洗い動作の種類を判別する処理を、ネットワークに接続された所定のサーバで行うように構成してもよい。この場合、監視装置１０の制御部１１は、逐次取得する撮影画像又は距離データをネットワーク経由で所定のサーバへ送信し、所定のサーバで判定された判定結果（撮影画像又は距離データ中の作業者が実行中の手洗い動作の種類）を取得し、取得した判定結果に従って、撮影画像又は距離データ中の作業者が実行中の手洗い動作を特定してもよい。このとき、サーバは、手洗い動作判別モデルＭを記憶部に記憶しておき、手洗い動作判別モデルＭを用いて、監視装置１０から受信した撮影画像又は距離データに基づいて、作業者が実行中の手洗い動作の種類を判別すればよい。なお、ここでのサーバは、サーバコンピュータ又はパーソナルコンピュータを用いて実現されてもよく、１台のサーバ内に設けられた複数の仮想マシンを用いて実現されてもよく、クラウドサーバを用いて実現されてもよい。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 監視装置
１１ 制御部
１２ 記憶部
１５ 表示部
１６ 通知部
１７ カメラ
１９ 深度センサ
Ｍ 手洗い動作判別モデル

Claims (12)

1. 手洗いを行う作業者の手指を撮影する撮影部、又は、手洗いを行う作業者の手指までの距離を計測する測距部と、
   前記撮影部が撮影した撮影画像、又は、前記測距部が計測した距離データに基づいて、前記作業者による手洗い動作の種類を特定する特定部と、
   特定した前記手洗い動作の種類毎に、前記手洗い動作の進捗度を判定する判定部と、
   前記手洗い動作の進捗度を通知する通知部と
   を備える情報処理システム。
2. 前記通知部は、前記手洗い動作の種類毎に進捗度を通知し、
   前記手洗い動作の種類毎に手本画像を表示する表示部
   を更に備える請求項１に記載の情報処理システム。
3. 前記通知部は、前記手洗い動作の種類毎に進捗度を示すインジケータを含む
   請求項２に記載の情報処理システム。
4. 前記判定部は、前記手洗い動作の動作時間に基づき進捗度を判定する
   請求項１から３までのいずれかひとつに記載の情報処理システム。
5. 前記特定部は、撮影画像又は距離データが入力された場合に前記手洗い動作の種類に関する値を出力するように学習された学習モデルに、前記撮影部が撮影した撮影画像又は前記測距部が計測した距離データを入力して、前記学習モデルからの出力値に基づいて、前記手洗い動作の種類を特定する
   請求項１から４までのいずれかひとつに記載の情報処理システム。
6. 前記判定部は、前記学習モデルからの出力値に基づいて、前記手洗い動作の進捗度を判定する
   請求項５に記載の情報処理システム。
7. 前記判定部は、複数種類の手洗い動作について所定の順序で進捗度を判定する
   請求項１から６までのいずれかひとつに記載の情報処理システム。
8. 前記作業者による手洗い動作の開始を検出する検出部
   を更に備える請求項１から７までのいずれかひとつに記載の情報処理システム。
9. 前記判定部が前記手洗い動作の完了を判定する前に前記手洗い動作が中断された場合、異常終了を通知する異常通知部
   を更に備える請求項１から８までのいずれかひとつに記載の情報処理システム。
10. 手洗いを行う作業者の手指を撮影した撮影画像、又は、手洗いを行う作業者の手指までの距離を計測した距離データを取得し、
    撮影画像又は距離データが入力された場合に手洗い動作の種類に関する値を出力するように学習された学習モデルに、取得した撮影画像又は距離データを入力して前記作業者による手洗い動作の種類を特定する
    処理をコンピュータが実行する情報処理方法。
11. 手洗いを行う作業者の手指を撮影した撮影画像、又は手洗いを行う作業者の手指までの距離を計測した距離データと、前記作業者による手洗い動作の種類とを含む訓練データを取得し、
    取得した訓練データを用いて、撮影画像又は距離データが入力された場合に手洗い動作の種類に関する値を出力する学習モデルを生成する
    処理をコンピュータが実行する学習モデルの生成方法。
12. 所定の手洗い場で手洗いを行う作業者の手指を撮影した撮影画像、又は所定の手洗い場で手洗いを行う作業者の手指までの距離を計測した距離データと、前記作業者による手洗い動作の種類とを含む転移学習用の訓練データを取得し、
    取得した前記転移学習用の訓練データを用いて前記学習モデルの転移学習を行い、前記手洗い場に応じた学習モデルを生成する
    処理を前記コンピュータが実行する請求項１１に記載の学習モデルの生成方法。

Images