JP7492850B2 - 衛生管理システム - Google Patents
衛生管理システム Download PDFInfo
- Publication number
- JP7492850B2 JP7492850B2 JP2020079904A JP2020079904A JP7492850B2 JP 7492850 B2 JP7492850 B2 JP 7492850B2 JP 2020079904 A JP2020079904 A JP 2020079904A JP 2020079904 A JP2020079904 A JP 2020079904A JP 7492850 B2 JP7492850 B2 JP 7492850B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- washing
- worker
- posture
- fingers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005406 washing Methods 0.000 claims description 220
- 230000036544 posture Effects 0.000 claims description 162
- 238000004140 cleaning Methods 0.000 claims description 47
- 238000013136 deep learning model Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 25
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 17
- 239000003599 detergent Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 230000005057 finger movement Effects 0.000 claims 1
- 230000004044 response Effects 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 103
- 210000004247 hand Anatomy 0.000 description 60
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004916 vomit Anatomy 0.000 description 2
- 230000008673 vomiting Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010016952 Food poisoning Diseases 0.000 description 1
- 208000019331 Foodborne disease Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Accommodation For Nursing Or Treatment Tables (AREA)
- Image Analysis (AREA)
Description
洗浄スペース25は手指洗浄作業に必要な流水や洗剤の供給装置(図1には図示せず)が設けられた作業場である(例えば洗面台)。洗浄スペース25は、作業者20の一人一人が個別のスペースを利用できるように、一人分のスペースごとに区分けされている。その一人分の洗浄スペース25ごとに、手指撮影器30と、顔撮影器36と、作業用モニタ12が配置されている。
手指撮影器30は、実際には手指22単体ではなく手指22を含む領域を撮影する。そのため、手指撮影器30が撮影によって出力する手指画像には、手指22のほかに作業者20の腕(手首よりも体幹側)や洗浄スペース25に配置された各種機器(例えば流水の蛇口や洗剤のディスペンサー)が写りこんでしまう。
こうして切り出された手指領域の画像は、衛生管理システム10の姿勢判別部40に送信される。姿勢判別部40は画像を扱う機能を備えたシステムの構成要素であり、典型的には洗浄スペース25に設けられたコンピュータによって実装される。ただし姿勢判別部40は手指撮影器30(および手指領域切出部34)と通信可能なものであればよいので、洗浄スペース25に設けられた通信ユニットとネットワークを介して通信可能な遠隔地のコンピュータ(例えばサーバ装置)によって姿勢判別部40が実装されていてもよい。姿勢判別部40は、送信されてきた画像(手指画像の一部)に含まれている手指22の姿勢が、予め定められた洗浄姿勢に該当するか否かの判別を行う。
姿勢判別部40は、手指画像内の手指22が取っている姿勢が、洗浄姿勢のいずれかに該当しているか否かの判別を行う。このとき、姿勢判別部40は、手指22の姿勢判別のために構築されたディープラーニング・モデル48を用いて姿勢判別を行う。
姿勢判別部40がディープラーニング・モデル48を用いて手指22の姿勢を判別したら、その判別結果(例えば、撮影された手指22の姿勢に該当する洗浄姿勢の識別番号)が衛生管理システム10の合否判定部50へ送信される。合否判定部50は、送信されてきた判別結果に基づいて、作業者20の行っている手指洗浄作業の合否(望ましい形で手指洗浄作業が行われているか否か)を判定する。
手指洗浄作業においては、手指22が単に洗浄姿勢を取るだけでは手指22は洗浄されず、手指22の擦り合わせが行われるなどして、手指22が動いている必要がある。合否判定部50は、手指22の動きが望ましいものとなっているかどうかについての判定が可能である。
そして、洗浄工程のそれぞれには、その洗浄工程が行われるべき総計の時間としての所要時間が設定されている。進行時間がこの所要時間に達した洗浄工程について、合否判定部50はその洗浄工程が完了したものと判定する。さらに、手指洗浄作業に含まれる洗浄工程の全てが完了したのであれば、合否判定部50は、判定対象となっている洗浄スペース25における手指洗浄作業が合格であると判定する。
手指洗浄作業が合格である旨の通知は、図1,図2に示す作業用モニタ12を用いて作業者20に対して行われるようになっていてもよい。例えば作業用モニタ12に「洗浄完了」という文字を表示させてもよい。
上記の手指洗浄作業を開始するにあたっては、作業者20から衛生管理システム10に対して何らかの働きかけを行う必要がある。例えば手指洗浄用の機器として洗浄スペース25に流水を供給する蛇口が設けられているならば、作業者20がその蛇口のハンドルを手動で操作することで、流水の供給が開始されるとともに、手指洗浄作業を開始することができる。しかしながら、手指洗浄作業の開始前は、作業者20の手指の衛生状態は十分でない可能性があるため、その手指でハンドルなどの衛生管理システム10の構成要素に触れてしまうと、衛生管理システム10の衛生状態が悪化する可能性がある。そのため、手指洗浄作業は作業者20が素手での接触を行うことなく(タッチレスで)開始されることが望ましい。例えば、図1,図2に示す顔撮影器36を用いることで、タッチレスでの手指洗浄作業の開始が可能となる。
なお、顔撮影器36に作業者20の顔24が撮影されただけで即座に蛇口から流水が流れ出したりすると誤作動のおそれがあるため、手指洗浄作業の開始が許可された後、作業者20が何らかのジェスチャーを行ったことが顔撮影器36および作業者識別部38によって検出された場合に、手指洗浄作業が開始されるものであってもよい。この場合、顔撮影部36は作業者20の顔24だけでなく、手指22を撮影することも可能であり、作業者識別部38は、撮影された手指22が予め定められた複数のジェスチャー(特別な姿勢)のいずれかに該当しているか否かについての識別が可能であるとよい。ここで、ジェスチャーの検出については、姿勢判別部40によって可能であってもよい。すなわち、複数の洗浄姿勢のほかに、特別な姿勢として複数のジェスチャーが予め定められているとよい。そして、姿勢判別部40は、手指撮影器30が撮影した手指画像に含まれる手指22の姿勢が、いずれかのジェスチャーに該当するか否かについての判別を行うことが可能であるとよい。例えば作業者20が顔撮影器36または手指撮影器22に、片手の人差し指と親指で輪を作った手指22の姿勢(「OK」のポーズ)を撮影させて、作業者識別部38または姿勢判別部40が「OK」のポーズを確認した場合に手指洗浄作業が開始されるようになっているとよい。
上記の通り、作業者20が衛生管理システム10に対して伝える(通知する)情報に応じて、様々なジェスチャーが予め定められているとよい。例えば作業者20が手指洗浄作業中に、トイレなどの原因で離席する必要がある場合には、手指洗浄作業を完了することなく(全洗浄工程を100%にすることなく)強制終了する旨をジェスチャーによって衛生管理システム10へ通知する。例えば、一方の手の掌を下向きにし、その掌へ他方の手が指先を揃えて上向きに接する手指22の姿勢(「T」のポーズ)を顔撮影器36または手指撮影器22に撮影させることで、手指洗浄作業が強制終了される。その後、トイレなどから戻ってきた作業者20が、また別のジェスチャーにより、手指洗浄作業をもう一度行いたい旨を衛生管理システム10へ申し出ることで、改めて手指洗浄作業が開始される。
上記実施形態においては、合否判定部50は手指の動きに関する判定、いわば動画に対する判定を行うものとなっているが、静止画に対する判定を行うものであってもよい。例えば各洗浄工程に属する大量の洗浄姿勢の全て、あるいは所定の割合(例えば洗浄姿勢定義データの8割以上)に該当する姿勢を手指22が取ったならば、その洗浄工程が完了したものとみなすようになっていてもよい。この場合、1つの洗浄姿勢を1回だけ取ればよいのではなく、重要な洗浄姿勢については複数回(例えば10回)の該当が認められたときにその洗浄姿勢による洗浄が完了したとみなされるようになっていてもよい。
12 作業用モニタ
20 作業者
22 手指
24 顔
30 手指撮影器
32 深度検出部
34 手指領域切出部
36 顔撮影器
38 作業者識別部
40 姿勢判別部
48 ディープラーニング・モデル
50 合否判定部
60 学習データ
Claims (5)
- 作業者の手指洗浄作業を管理するための衛生管理システムであって、
前記作業者の手指を含む領域を撮影して手指画像を出力する少なくとも1つの手指撮影器と、
前記手指画像に含まれる前記手指の姿勢が、前記手指洗浄作業において前記手指が取るべき姿勢として定められた複数の洗浄姿勢のいずれかに該当するか否かを判別する姿勢判別部と、
前記姿勢判別部による判別の結果に基づいて、前記作業者の行う前記手指洗浄作業の合否を判定する合否判定部と、
を備え、
前記姿勢判別部は、ディープラーニング・モデルを用いて前記手指画像に含まれる前記手指の姿勢に関する判別を行い、
前記ディープラーニング・モデルは、前記手指画像において前記手指がどのような状態で現れるのかについての学習データに基づいて作成されたディープラーニング・モデルであって、前記手指画像を入力データとして、それに対応する前記洗浄姿勢の情報を出力データとして返すものであり、
前記姿勢判別部は、前記手指画像に含まれる前記手指の姿勢が、前記作業者から前記衛生管理システムに対して行われる複数の種類の通知に対応して予め定められた複数のジェスチャーのいずれかに該当するか否かについての判別を行うことが可能であり、
前記複数の種類の通知には、前記手指洗浄作業の開始と、前記手指洗浄作業の強制終了が含まれ、
前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別すると、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われ、
前記作業者が前記手指洗浄作業を行う場所として定められた1人分の洗浄スペースごとに、前記手指撮影器と、前記作業者の顔画像を撮影する顔撮影器が設けられており、
前記顔撮影器が撮影した前記作業者の顔画像に基づき、当該顔撮影器が設けられている前記洗浄スペースにおいて前記手指洗浄作業を行っている前記作業者の個人識別を行う作業者識別部が設けられており、
前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別して、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われた場合に、
前記ジェスチャーに対応する通知の種類と共に、その通知を行った前記作業者の個人識別情報が記録されること
を特徴とする衛生管理システム。 - 前記手指撮影器は、前記手指撮影器から撮影対象までの距離を深度データとして検出する深度検出部を備えており、
前記手指撮影器が出力した手指画像に含まれる領域のうち、前記作業者の手指が存在すると期待される手指領域を、前記深度データに基づいて切り出して、切り出した前記手指領域の画像を前記ディープラーニング・モデルへの入力データとする、手指領域切出部が設けられていること
を特徴とする請求項1に記載の衛生管理システム。 - 前記合否判定部において、前記手指洗浄作業は、複数の洗浄工程を含むものとして管理されており、また、前記洗浄工程のそれぞれは、その洗浄工程において手指が取るべき姿勢として、複数の前記洗浄姿勢と対応付けられており、
前記合否判定部は、
複数の前記手指画像を用いて、前記作業者の前記手指の動きに関する判定を行うものであり、
前記手指の動きが、特定の洗浄工程と対応付けられている複数の前記洗浄姿勢を含む動きである場合に、当該洗浄工程が進行しているものとして判定して、当該洗浄工程の進行時間を測定し、
特定の洗浄工程の前記進行時間が、当該洗浄工程について予め定められた所要時間に達した場合に、当該洗浄工程が完了したものと判定し、
前記手指洗浄作業に含まれる前記洗浄工程の全てが完了したと判定された場合に、手指洗浄作業が合格であると判定すること
を特徴とする請求項1または請求項2に記載の衛生管理システム。 - 前記作業者が前記手指洗浄作業を行う場所として定められた1人分の洗浄スペースごとに、前記手指撮影器と、前記作業者に対して画像を表示可能な作業用モニタが設けられており、
前記作業用モニタには、当該作業用モニタが設けられている前記洗浄スペースにおいて行われている前記手指洗浄作業に含まれる複数の前記洗浄工程のそれぞれの進行度合いが表示されること
を特徴とする請求項3に記載の衛生管理システム。 - 前記ディープラーニング・モデルの基となる学習データには、手指単体の画像のほか、洗剤が付いた状態の手指の画像、および流水を浴びている状態の手指の画像も含まれること
を特徴とする請求項1ないし請求項4のいずれか1項に記載の衛生管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020079904A JP7492850B2 (ja) | 2020-04-30 | 2020-04-30 | 衛生管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020079904A JP7492850B2 (ja) | 2020-04-30 | 2020-04-30 | 衛生管理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174415A JP2021174415A (ja) | 2021-11-01 |
JP7492850B2 true JP7492850B2 (ja) | 2024-05-30 |
Family
ID=78279928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020079904A Active JP7492850B2 (ja) | 2020-04-30 | 2020-04-30 | 衛生管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7492850B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129289A1 (en) | 2006-05-04 | 2007-11-15 | Provost Fellows And Scholars Of The College Of The Holy And Undivided Trinity Of Queen Elizabeth Near Dublin | A hand washing monitoring system |
US20150302769A1 (en) | 2011-12-05 | 2015-10-22 | Raymond C. Johnson | Virtual Hand-Washing Coach |
JP2017134712A (ja) | 2016-01-29 | 2017-08-03 | アース環境サービス株式会社 | 手洗い監視システム |
CN108071837A (zh) | 2017-11-24 | 2018-05-25 | 深圳市磐石科技工程技术有限公司 | 一种智能水龙头推送信息的方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019039864A (ja) * | 2017-08-28 | 2019-03-14 | 富士通株式会社 | 手認識方法、手認識プログラム及び情報処理装置 |
-
2020
- 2020-04-30 JP JP2020079904A patent/JP7492850B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129289A1 (en) | 2006-05-04 | 2007-11-15 | Provost Fellows And Scholars Of The College Of The Holy And Undivided Trinity Of Queen Elizabeth Near Dublin | A hand washing monitoring system |
US20150302769A1 (en) | 2011-12-05 | 2015-10-22 | Raymond C. Johnson | Virtual Hand-Washing Coach |
JP2017134712A (ja) | 2016-01-29 | 2017-08-03 | アース環境サービス株式会社 | 手洗い監視システム |
CN108071837A (zh) | 2017-11-24 | 2018-05-25 | 深圳市磐石科技工程技术有限公司 | 一种智能水龙头推送信息的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP2021174415A (ja) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6305448B2 (ja) | 手洗い監視システム | |
JP5097965B2 (ja) | 手指衛生励行システム | |
KR102241804B1 (ko) | 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램 | |
Nagalakshmi Vallabhaneni | The analysis of the impact of yoga on healthcare and conventional strategies for human pose recognition | |
CN105940428A (zh) | 信息处理装置、信息处理方法及程序 | |
Czarnuch et al. | A real-world deployment of the COACH prompting system | |
JP2021174488A (ja) | 手洗い評価装置および手洗い評価プログラム | |
CN109543390A (zh) | 一种信息安全管理方法和*** | |
JP7492850B2 (ja) | 衛生管理システム | |
Kim et al. | Analyzing activity recognition uncertainties in smart home environments | |
WO2020115930A1 (ja) | 手順検知装置、および手順検知プログラム | |
JP7420240B2 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
Vallabhaneni et al. | Analysis of the impact of yoga on health care applications and human pose recognition | |
JP6875028B1 (ja) | 手洗い評価装置および手洗い評価プログラム | |
JP7356954B2 (ja) | 手洗い評価システムとその方法 | |
JP7447998B2 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
JP7463792B2 (ja) | 情報処理システム、情報処理装置及び情報処理方法 | |
JP7476599B2 (ja) | 情報処理システム、及び情報処理方法 | |
JP2018190012A (ja) | 接客要否判定装置、接客要否判定方法、及びプログラム | |
WO2021086235A1 (en) | Sanitary control system | |
JP2022187267A (ja) | 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置 | |
EP4310760A1 (en) | Display control program, display control method, and information processing apparatus | |
WO2023140024A1 (ja) | 画像診断システム、画像診断方法、及び画像診断プログラム | |
CN118176530A (zh) | 行动辨识方法、行动辨识装置以及行动辨识程序 | |
Edgcomb | Automated video-based fall detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7492850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |