JP7426606B2 - Device for visualizing hand-washing status and method for visualizing hand-washing status - Google Patents

Device for visualizing hand-washing status and method for visualizing hand-washing status Download PDF

Info

Publication number
JP7426606B2
JP7426606B2 JP2020038464A JP2020038464A JP7426606B2 JP 7426606 B2 JP7426606 B2 JP 7426606B2 JP 2020038464 A JP2020038464 A JP 2020038464A JP 2020038464 A JP2020038464 A JP 2020038464A JP 7426606 B2 JP7426606 B2 JP 7426606B2
Authority
JP
Japan
Prior art keywords
unwashed
hand
area
washing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038464A
Other languages
Japanese (ja)
Other versions
JP2021140053A (en
Inventor
直樹 今
久 井川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido Research Organization
Original Assignee
Hokkaido Research Organization
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido Research Organization filed Critical Hokkaido Research Organization
Priority to JP2020038464A priority Critical patent/JP7426606B2/en
Publication of JP2021140053A publication Critical patent/JP2021140053A/en
Application granted granted Critical
Publication of JP7426606B2 publication Critical patent/JP7426606B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、手洗いの仕方を訓練・教育するために、被験者が手洗いした手洗い状態を数値化且つ可視化し、又、合否を判定する手洗い状態の判定装置および手洗い状態の可視化判定方法を提供する技術に関する。 The present invention provides a hand-washing condition determination device and a hand-washing condition visualization determination method for quantifying and visualizing the hand-washing condition of a test subject and determining pass/fail in order to train and educate people on how to wash their hands. Regarding.

飲食店や食品加工工場、生鮮業や青果業などの食品関連産業、病院や保健所や薬品工場などの医療関連産業、コンビニやスーパーなどのサービス関連産業などの従事者にとって食の安全安心を担保することは重要な課題である。
具体的な動向としては2020年6月から食品衛生法の改訂により、いわゆるHACCPによる衛生管理の手法が食品事業者に義務化されることになった。HACCPでは、食品事業の従事者に対して衛生教育を行うことが求められており、かかる教育の実施記録を残すことや、教育効果を確認することが重要となっている。
Ensuring food safety and security for workers in restaurants, food processing factories, food-related industries such as fresh produce and fruit and vegetables, medical-related industries such as hospitals, public health centers, and drug factories, and service-related industries such as convenience stores and supermarkets. This is an important issue.
Specifically, starting in June 2020, the Food Sanitation Act will be revised, making it mandatory for food business operators to use the so-called HACCP hygiene management method. HACCP requires hygiene education to be provided to food business workers, and it is important to keep records of the implementation of such education and to confirm the effectiveness of the education.

これらの動向に鑑みて特に留意すべき点は、2019年4月から外国人の在留に関する法律が改訂され、外国人労働者の受け入れが可能となったことである。これまでの外国人技能実習生も合わせると、数十万人の外国人が食品関係の製造現場などで働くことになる。このような状況において、外国人労働者の主な出身地は、東南アジアの国々が多く、これらの多くの国々は水道水が飲めないといった衛生環境が良くない国である。このため、これらの国々の人は食品衛生に関する意識、特に手洗いの重要性に対する意識が極めて乏しいという課題がある。手洗いの仕方は衛生管理上、重要且つ極めて基本的な事柄である。 In light of these trends, it is particularly important to note that the law regarding the residence of foreign nationals was revised in April 2019, making it possible to accept foreign workers. Including the foreign technical interns who have been trained thus far, hundreds of thousands of foreigners will be working at food-related manufacturing sites. Under these circumstances, many foreign workers come from countries in Southeast Asia, and many of these countries have poor sanitary conditions such as undrinkable tap water. As a result, people in these countries have an extremely low awareness of food hygiene, especially the importance of hand washing. How to wash your hands is an important and extremely basic matter for hygiene management.

従来から、適正な手洗いの仕方を確立するために種々の方法が提案されている。例えば、前述のような各施設には、適正な手洗いのためのマニュアルが準備され、それに基づいて教育されてきた。しかしながら、マニュアル通りに実行するかどうかは各従事者の主観にゆだねられるので、実際に適正な手洗いが実行されたかどうかは不明である。 Various methods have been proposed to establish proper hand washing techniques. For example, each of the facilities mentioned above has prepared a manual for proper hand washing, and has provided education based on this manual. However, since it is left to the subjective opinion of each worker whether to follow the instructions in the manual, it is unclear whether proper hand washing was actually carried out.

食堂や病院などの手洗いと、家庭などの手洗いとは、求められる衛生管理状況が異なるので、人がすべき手洗い動作は個々人がおかれる状況によって異なる。
そこで、特許文献1には、手洗いを行う状況に応じて、人に対して適切な手洗い動作を促すことを可能とする手洗いモニタの発明が開示されている。この手洗いモニタは、人の手洗い動作を撮像した画像における手の動作を認識し、さらにこの認識した手の動作が、人がすべき手洗い動作に関する手洗い情報に基づいて規定された手洗い動作を行ったか否かを判定することで、人に対して適切な手洗い動作を促すものである。
Hand washing in cafeterias and hospitals requires different sanitary management conditions than hand washing at home, so the hand washing actions that a person should perform will differ depending on the situation in which the individual is placed.
Therefore, Patent Document 1 discloses an invention of a hand-washing monitor that can prompt a person to perform appropriate hand-washing actions depending on the hand-washing situation. This hand-washing monitor recognizes hand movements in images of people's hand-washing movements, and also determines whether the recognized hand movements are a prescribed hand-washing action based on hand-washing information about the hand-washing action that a person should perform. By determining whether or not this is the case, the system prompts the person to wash their hands appropriately.

また、特許文献2に記載された衛生指導装置に関する発明は、手洗いの順序を複数の図を用いて説明する表示部と、手洗いの順序の各過程における手洗い時間を利用者に知らせるタイマ部と、を備えている。利用者は、この衛生指導装置の表示部に表示される手洗い順序と、手洗い順序の各過程における手洗い時間の案内に従って手洗いを行うように構成され、これにより、誰もが同じように衛生的で確実な手洗いをすることが可能になるとされている。 Further, the invention related to the hygiene instruction device described in Patent Document 2 includes a display unit that explains the hand washing order using a plurality of diagrams, a timer unit that informs the user of the hand washing time in each step of the hand washing order, It is equipped with Users are configured to wash their hands according to the hand washing order displayed on the display of this hygiene instruction device and the hand washing time guidance for each step of the hand washing order, so that everyone can wash their hands in the same hygienic manner. It is said to make it possible to wash hands reliably.

特開2013-180046号公報Japanese Patent Application Publication No. 2013-180046 実用新案登録第3133257公報Utility model registration No. 3133257 publication

しかしながら、特許文献1記載の発明は、手洗い動作を訓練し教育することで適正な手洗いの仕方を確立しようとしているのであるが、利用者は自分の手洗い動作がどれほど汚れを落とす効果があるかをビジブルに認識することができない。そのために利用者に対して手洗いをすべき動機付けを与えることが難しい。 However, the invention described in Patent Document 1 attempts to establish an appropriate way to wash hands by training and educating the user on hand-washing actions, but the user does not know how effective his or her hand-washing actions are at removing dirt. cannot be visually recognized. Therefore, it is difficult to motivate users to wash their hands.

また、特許文献2記載の発明は、手洗い順序やその手洗い順序の各過程における手洗い時間の案内に従って手洗いをするように促すもので、特許文献1記載の発明と同様に、利用者に対して自分の手洗い動作が、どれほど汚れを落とす効果があるかをビジブルに認識することができない。そのために利用者に対して手洗いをすべき動機付けを与えることが難しい。 Furthermore, the invention described in Patent Document 2 prompts users to wash their hands in accordance with the hand-washing order and the hand-washing time in each step of the hand-washing order. It is difficult to visually recognize how effective hand washing is at removing dirt. Therefore, it is difficult to motivate users to wash their hands.

確かに手洗い手順や手洗い動作の仕方を教育し訓練することは必要であるが、それだけでは不十分である。実際に手洗いを行うのは利用者であるので、利用者が手洗いの重要性を意識し、手洗いをする意欲を持つことが、適正な手洗いの仕方を確立するための重要な鍵となる。
さらに、利用者が実際に手洗いを行って、汚れが落ちているかどうかをビジブルにチェックできるとしても、利用者が主観的に判断することになる。その際、利用者の体調や気分によって判断が異なってくるので、どれほど適正に汚れが落ちているかを合否判定することは難しい。このような理由から、従来の各特許文献1,2記載の発明では、利用者に対して適正な手洗いをすべき意欲的な動機付けを与えて訓練・教育することに課題があった。
While education and training on handwashing procedures and handwashing behaviors is certainly necessary, it is not sufficient. Since it is the users who actually wash their hands, it is important for users to be aware of the importance of hand washing and have the motivation to wash their hands in order to establish proper hand washing methods.
Furthermore, even if the user actually washes his/her hands and can visibly check whether the dirt is removed, the user will still have to make a subjective judgment. At that time, it is difficult to determine whether the dirt has been removed properly or not, as the judgment will differ depending on the user's physical condition and mood. For these reasons, in the conventional inventions described in Patent Documents 1 and 2, there is a problem in training and educating users by giving them motivation to properly wash their hands.

本発明はこのような事情に鑑みてなされたものであって、各人が手洗いの重要性を意識し、手洗いをすべき動機付けを与えることで、手洗いをする意欲を持つように訓練・教育することを可能とする手洗い状態の可視化判定装置および手洗い状態の可視化判定方法を提供することを目的とする。 The present invention was made in view of these circumstances, and aims to provide training and education to make each person aware of the importance of hand washing and to motivate them to wash their hands so that they will have the desire to wash their hands. The present invention aims to provide a hand-washing state visualization determination device and a hand-washing state visualization determination method that make it possible to do so.

請求項1記載の発明は、装置本体の内部に被験者の手を入出可能な開口部を形成した手洗い状態の可視化判定装置である。
すなわち、前記装置本体の内部に蛍光物質を発光させる光を照射する照明装置と、被験者が蛍光物質を塗布した手を洗った後に、前記装置本体の内部に差し入れた前記被験者の手に前記照明装置の光を照射するために形成した照射エリアと、前記照射エリアにある被験者の手の蛍光状態を撮像する第一撮像装置と、 前記第一撮像装置で撮像した画像から被験者の手の洗い残し状態を数値化する画像処理装置と、前記画像処理装置で数値化したデータを予め設定した合否判断基準値と比較して合否判定する比較判断装置と、前記比較判断装置で判断した合否判定を表示する表示装置とを具備し、
前記画像処理装置は、
前記画像から洗い残しエリアを抽出する洗い残しエリア抽出部と、
前記画像から手エリアを抽出する手エリア抽出部と、
前記手エリアに対する前記洗い残しエリアの面積割合を計算する洗い残し面積割合算出部と、
前記洗い残しエリアを多数に分割した単位エリア毎に蛍光の輝度値を算出し、これらの輝度値の平均値を洗い残し量として算出する洗い残し量算出部と、を備え、
前記比較判断装置は、前記洗い残し面積割合と前記洗い残し量の両方又はいずれかをデータとし、前記合否判断基準値と比較して合否判定することを特徴とする。
The invention according to claim 1 is a visual determination device for hand washing state, in which an opening through which a subject's hand can enter and exit is formed inside the device main body.
That is, a lighting device that irradiates light that causes a fluorescent substance to emit light into the inside of the device body, and a hand of the subject that is inserted into the device body after the subject washes his or her hand coated with the fluorescent substance. an irradiation area formed to irradiate light, a first imaging device that images the fluorescence state of the subject's hand in the irradiation area, and an unwashed state of the subject's hand from the image captured by the first imaging device. an image processing device that digitizes the data, a comparison judgment device that compares the data digitized by the image processing device with a preset pass/fail judgment reference value to make a pass/fail judgment, and displays the pass/fail judgment judged by the comparison judgment device. a display device ;
The image processing device includes:
an unwashed area extraction unit that extracts an unwashed area from the image;
a hand area extraction unit that extracts a hand area from the image;
an unwashed area ratio calculation unit that calculates an area ratio of the unwashed area to the hand area;
an unwashed amount calculation unit that calculates a luminance value of fluorescence for each unit area obtained by dividing the unwashed area into a large number of units, and calculates an average value of these brightness values as an unwashed amount,
The comparative judgment device is characterized in that it uses both or either of the unwashed area ratio and the unwashed amount as data, and compares it with the pass/fail judgment reference value to judge pass/fail .

請求項2記載の発明は、前記装置本体は、折り畳み可能に形成したことを特徴とする。 The invention according to claim 2 is characterized in that the device main body is formed to be foldable.

請求項3記載の発明は、請求項1に記載の手洗い状態の可視化判定装置を用いた手洗い状態の可視化判定方法である。
すなわち、被験者の手に蛍光物質を塗布した後に手洗いを行う蛍光物質の塗布および手洗い工程と、手洗い状態の可視化判定装置において装置本体の内部の照射エリアに前記被験者の手を差し入れて前記蛍光物質を発光させる光を照射し、被験者の手の蛍光状態を撮像する洗い残し画像取得工程と、前記画像から洗い残しエリアを抽出する洗い残しエリア抽出工程と、前記画像から手エリアを抽出する手エリア抽出工程と、前記手エリアに対する前記洗い残しエリアの面積割合を計算する洗い残し面積割合の算出工程と、前記洗い残しエリアを多数に分割した単位エリア毎に蛍光の輝度値を算出し、これらの測定輝度値の平均値を洗い残し量として算出する洗い残し量の算出工程と、前記洗い残し面積割合と前記洗い残し量の両方又はいずれかをデータとし、このデータを予め設定した合否判断基準値と比較して合否判定する洗い残し状態の合否判定工程と、を備えていることを特徴とする。
The invention according to claim 3 is a method for visualizing and determining the state of hand washing using the device for visualizing and determining the state of hand washing according to claim 1.
That is, there is a process of applying a fluorescent substance and washing hands after applying a fluorescent substance to the subject's hand, and a process of applying the fluorescent substance to the subject's hand and washing the subject's hand, and a process of applying the fluorescent substance to the subject's hand by inserting the subject's hand into the irradiation area inside the main body of the device in the hand-washing state visualization judgment device. An unwashed image acquisition step of irradiating light to emit light to image the fluorescent state of the subject's hand; an unwashed area extraction step of extracting an unwashed area from the image; and a hand area extraction step of extracting a hand area from the image. a step of calculating an area ratio of the unwashed area to the hand area; a step of calculating the unwashed area ratio of the unwashed area to the hand area; and a step of calculating the luminance value of fluorescence for each unit area by dividing the unwashed area into a large number of parts, and measuring these. A step of calculating the amount of unwashed parts in which the average value of the brightness values is calculated as the amount of unwashed parts, and both or either of the unwashed area ratio and the unwashed amount are used as data, and this data is used as a preset pass/fail judgment standard value. The present invention is characterized by comprising a step of determining pass/fail of an unwashed state by comparing the pass/fail.

請求項4記載の発明は、前記洗い残し状態の合否判定工程は、前記洗い残し面積割合と前記洗い残し量との総合評価値を計算し、この総合評価値を前記合否判断基準値と比較して合否判定することを備えていることを特徴とする。
In the invention according to claim 4 , the pass/fail judgment step for the unwashed state calculates a comprehensive evaluation value of the unwashed area ratio and the unwashed amount, and compares this comprehensive evaluation value with the pass/fail judgment standard value. The method is characterized in that it is provided with a pass/fail determination.

本発明の手洗い状態の可視化判定装置によれば、各被験者が蛍光物質を塗布した手を洗った後の洗い残しの状態を数値化し、かつ合否判定するので、被験者は表示装置の画面に表示した判定結果を確認することができる。被験者は自分の判定結果を確認することで、洗い残しを少なくするべく手洗いの仕方を工夫するように促される。その結果、被験者は手洗いの重要性を意識し、手洗いをすべき動機付けを与えられるので、被験者自身が意欲的に手洗いの仕方を習得するように訓練・教育される。指導者は被験者に対して手洗いの訓練及び指導を容易にかつ効果的に実施することができる。 According to the hand-washing state visualization judgment device of the present invention, the state of unwashed hands after each subject washes their hands coated with a fluorescent substance is quantified and judged as pass/fail. You can check the judgment results. By checking their own judgment results, subjects are encouraged to devise ways to wash their hands in order to reduce the amount of washing left behind. As a result, the subjects become aware of the importance of hand washing and are motivated to wash their hands, so they are trained and educated to learn how to wash their hands willingly. The instructor can easily and effectively train and instruct subjects on hand washing.

また、画像処理装置では、画像から手エリアと洗い残しエリアを計算し、手エリアに対する洗い残しエリアの割合として洗い残し面積割合を計算できる。さらに、画像から洗い残し量を蛍光の輝度で数値化できる。したがって、比較判断装置では、洗い残し面積割合と洗い残し量の両方又はいずれかをデータとし、合否判断基準値と比較して正確に合否判定できる。 Furthermore, the image processing device can calculate the hand area and the unwashed area from the image, and calculate the unwashed area ratio as the ratio of the unwashed area to the hand area. Furthermore, the amount of unwashed tissue can be quantified from the image using fluorescence brightness. Therefore, the comparison and judgment device uses both or either of the unwashed area ratio and the unwashed amount as data, and compares it with the pass/fail judgment reference value to accurately judge pass/fail.

また、装置本体は、折り畳み可能に形成したので、例えばトランクなどの収納ボックスにコンパクトに収納し、全国各地並びに外国に容易に運搬することができる。その結果、各地で被験者に対して手洗いの訓練及び指導を容易にかつ効果的に実施することができる。 Further, since the main body of the device is formed to be foldable, it can be stored compactly in a storage box such as a trunk, and easily transported to various parts of the country and to foreign countries. As a result, hand-washing training and guidance can be easily and effectively carried out for subjects in various locations.

また、表示装置は、洗い残し状態の合否判定の表示内容に加えて、測定の年月日、被験者名や、顔認識表示部にて被験者の顔写真を表示するので、被験者自身が意欲的に手洗いの仕方を習得するように訓練・教育することができる。 In addition, the display device displays the date of measurement, the subject's name, and a photo of the subject's face on the facial recognition display section, in addition to displaying the pass/fail judgment for the unwashed condition, so that the subject himself/herself can be motivated. Children can be trained and educated to learn how to wash their hands.

また、種々のデータは記憶装置に記憶されるので、手洗いの訓練・教育の履歴の教育実施記録を蓄積することができ、また今後の手洗いの訓練・教育に役立たせることが可能である。さらに、HACCPによる教育実施記録を残すことや、教育効果を確認することの指示にも的確に応じることができる。 In addition, since various data are stored in the storage device, it is possible to accumulate educational implementation records of the history of hand washing training and education, and it is also possible to use it for future hand washing training and education. Furthermore, it is possible to accurately respond to instructions such as keeping records of educational implementation using HACCP and confirming educational effects.

また、被験者の手を保持するための手保持部は、照明装置から被験者の手までの距離を所定長さで安定させるので、安定した画像を取得することができ、より正確に合否判定することができる。 In addition, the hand holding unit for holding the subject's hand stabilizes the distance from the illumination device to the subject's hand at a predetermined length, making it possible to obtain stable images and more accurate pass/fail determination. I can do it.

本発明の手洗い状態の可視化判定方法によれば、前述の手洗い状態の可視化判定装置を用いて行うようにしていることから、前記と同様の作用・効果を奏する。すなわち、各被験者が蛍光物質を塗布した手を洗った後の洗い残しの状態を数値化し、かつ合否判定するので、被験者は表示装置の画面に表示した判定結果を確認することができる。被験者は自分の判定結果を確認することで、洗い残しを少なくするべく手洗いの仕方を工夫するように促される。その結果、被験者は手洗いの重要性を意識し、手洗いをすべき動機付けを与えられるので、被験者自身が意欲的に手洗いの仕方を習得するように訓練・教育される。指導者は被験者に対して手洗いの訓練及び指導を、容易にかつ効果的に実施することができる。 According to the method for visualizing hand-washing status determination of the present invention, the above-described visual determination device for hand-washing status is used, so that the same operations and effects as described above can be achieved. That is, since each test subject digitizes the state of unwashed hands after washing hands coated with fluorescent material and makes a pass/fail judgment, the test subject can confirm the judgment results displayed on the screen of the display device. By checking their own judgment results, subjects are encouraged to devise ways to wash their hands in order to reduce the amount of leftover washing. As a result, the subjects become aware of the importance of hand washing and are motivated to wash their hands, so they are trained and educated to learn how to wash their hands willingly. The instructor can easily and effectively train and instruct subjects on hand washing.

また、画像から手エリアと洗い残しエリアを計算し、手エリアに対する洗い残しエリアの割合として洗い残し面積割合を計算できる。さらに、画像から洗い残し量を蛍光の輝度で数値化できる。したがって、洗い残し面積割合と洗い残し量の両方又はいずれかをデータとし、合否判断基準値と比較して正確に合否判定できる。 Furthermore, the hand area and the unwashed area can be calculated from the image, and the unwashed area ratio can be calculated as the ratio of the unwashed area to the hand area. Furthermore, the amount of unwashed tissue can be quantified from the image using fluorescence brightness. Therefore, by using both or either of the unwashed area ratio and the unwashed amount as data, it is possible to accurately determine pass/fail by comparing with the pass/fail judgment reference value.

本発明に係る手洗い状態の可視化判定装置の一部を示す斜視図である。1 is a perspective view showing a part of a hand-washing state visualization determination device according to the present invention. 図1の手洗い状態の可視化判定装置の概略的な正面図、並びに、回路構成を示すブロック図である。2 is a schematic front view and a block diagram showing a circuit configuration of the hand washing state visualization determination device of FIG. 1. FIG. 図3(a)~図3(e)は、装置本体の折り畳み並びに組立状態を示す斜視図である。3(a) to 3(e) are perspective views showing the folded and assembled state of the device main body. 手洗い状態の可視化判定装置における画像処理を示すフローチャートである。It is a flowchart which shows the image processing in the visualization determination device of a hand-washing state. 図5(a)~図5(e)は、図4のステップS1,S2,S4~S8を示す説明図である。5(a) to 5(e) are explanatory diagrams showing steps S1, S2, and S4 to S8 in FIG. 4. 図6(a)~図6(e)は、図4のステップS9,S10,S11を示す説明図である。6(a) to 6(e) are explanatory diagrams showing steps S9, S10, and S11 in FIG. 4. 図4のステップS12を示す説明図である。5 is an explanatory diagram showing step S12 in FIG. 4. FIG. 表示装置の画面に表示される合否判定表示部と顔認識表示部を示す概略図である。FIG. 2 is a schematic diagram showing a pass/fail determination display section and a face recognition display section displayed on the screen of the display device. 図9(a)は、未手洗いの状態と総合評価点を示す模式図で、図9(b)は、手洗い1回目の状態と総合評価点を示す模式図である。FIG. 9(a) is a schematic diagram showing the state of unwashed hands and the overall evaluation score, and FIG. 9(b) is a schematic diagram showing the state of hand washing for the first time and the overall evaluation score. 図10(a)は、手洗い2回目の状態と総合評価点を示す模式図で、図10(b)は、手洗い3回目の状態と総合評価点を示す模式図である。FIG. 10(a) is a schematic diagram showing the state of hand washing for the second time and the overall evaluation score, and FIG. 10(b) is a schematic diagram showing the state of the hand washing for the third time and the overall evaluation score. 表示装置の合否判定表示部の他の実施例を示す概略図である。FIG. 7 is a schematic diagram showing another embodiment of the pass/fail determination display section of the display device.

以下、本発明の実施形態に係る手洗い状態の可視化判定装置について図面を参照して説明する。
手洗い状態の可視化判定装置1は、図1及び図2に示すように、主として装置本体10、照明装置20、照射エリア30、第一のカメラ40(第一撮像装置)、第二のカメラ50(第二撮像装置)、画像処理装置60、比較判断装置71及び記憶装置72を備えた制御装置70、合否判定表示部81及び顔認識表示部82を有する表示装置80とを備えている。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a hand washing state visualization determination device according to an embodiment of the present invention will be described with reference to the drawings.
As shown in FIGS. 1 and 2, the hand washing state visualization determination device 1 mainly includes a device body 10, a lighting device 20, an irradiation area 30, a first camera 40 (first imaging device), and a second camera 50 ( A second imaging device), an image processing device 60, a control device 70 having a comparison/determination device 71 and a storage device 72, and a display device 80 having a pass/fail determination display section 81 and a face recognition display section 82.

装置本体10は箱型形状であり、図1において右斜め下側の正面の下部に、開口部16が形成されている。この開口部16は、被験者が両手を広げて出し入れ可能な大きさを有している。さらに、装置本体10は正面の上部に前部側板11が形成されている。さらに、装置本体10は、左側板12、右側板13、後部側板14、底板15によって閉塞されている。装置本体10の上面は天井開口部17が形成されており、この天井開口部17は天井蓋部18で被蓋されている。 The device main body 10 has a box shape, and an opening 16 is formed at the lower part of the front surface on the diagonally lower right side in FIG. This opening 16 has a size that allows the subject to put in and take out the test subject with both hands outstretched. Further, the device main body 10 has a front side plate 11 formed at the upper part of the front. Furthermore, the device main body 10 is closed off by a left side plate 12, a right side plate 13, a rear side plate 14, and a bottom plate 15. A ceiling opening 17 is formed in the upper surface of the apparatus main body 10, and this ceiling opening 17 is covered with a ceiling cover 18.

装置本体10は、本実施形態では、図3(a)~図3(e)に示すように折り畳み可能に構成されており、持ち運び自由なトランクなどの収納ボックスに収納可能である。例えば、前部側板11と左側板12と右側板13と後部側板14と底板15は、互いにヒンジ部19,・・・,19を介して折り畳み可能に連結されており、左側板12と右側板13は、それぞれ前後方向のほぼ中央で互いに向き合うように折り畳み可能である。底板15は後部側板14の下端縁でヒンジ部19を介して折り畳み可能に連結している。天井蓋部18は下面を開口した箱型形状である。 In this embodiment, the device main body 10 is configured to be foldable as shown in FIGS. 3(a) to 3(e), and can be stored in a storage box such as a trunk that can be carried freely. For example, the front side plate 11, the left side plate 12, the right side plate 13, the rear side plate 14, and the bottom plate 15 are foldably connected to each other via hinge parts 19, . . . , 19, and the left side plate 12 and the right side plate 13 can be folded so as to face each other approximately at the center in the front-rear direction. The bottom plate 15 is foldably connected to the lower edge of the rear side plate 14 via a hinge portion 19. The ceiling cover portion 18 has a box-like shape with an open bottom.

図3(a)では、天井蓋部18は開口を上に向けた状態である。前部側板11と左側板12と右側板13と後部側板14と底板15は折り畳まれた状態で、天井蓋部18の開口から内部へ収納されている。 In FIG. 3A, the ceiling cover portion 18 is in a state with its opening facing upward. The front side plate 11, the left side plate 12, the right side plate 13, the rear side plate 14, and the bottom plate 15 are stored inside through the opening of the ceiling cover part 18 in a folded state.

図3(b)~図3(d)では、前部側板11を引き上げると、左側板12と右側板13が互いに向き合うように、折り畳んだ状態から広げられて立設された状態が形成される。
なお、左側板12は、前後方向のほぼ中央で2つの分割左側板12aと分割左側板12bがヒンジ部19を介して折り畳み可能に連結されている。一方、右側板13は、前後方向のほぼ中央で2つの分割右側板13aと分割右側板13bがヒンジ部19を介して折り畳み可能に連結されている。
In FIGS. 3(b) to 3(d), when the front side plate 11 is pulled up, the left side plate 12 and the right side plate 13 are unfolded from the folded state so as to face each other to form an upright state. .
In the left side plate 12, two divided left side plates 12a and 12b are foldably connected via a hinge portion 19 at approximately the center in the front-rear direction. On the other hand, in the right side plate 13, the two divided right side plates 13a and 13b are foldably connected via a hinge portion 19 at approximately the center in the front-rear direction.

図3(d)にて示されるように、前部側板11をさらに引き上げると、底板15が天井蓋部18の開口から、後部側板14の下端縁のヒンジ部19を介して広げられるように外側へ回動する。 As shown in FIG. 3(d), when the front side plate 11 is further pulled up, the bottom plate 15 is extended outward from the opening of the ceiling lid part 18 via the hinge part 19 at the lower edge of the rear side plate 14. Rotate to.

図3(e)では、底板15を下にしながら左側板12と右側板13を回動させて、前記底板15の上に載せた状態で固定する。天井開口部17が前部側板11と左側板12と右側板13と後部側板14の上面に形成される。天井蓋部18は、その開口を下に向けた状態で、天井開口部17を塞ぐように被蓋することで、装置本体10が図1に示すように箱型形状に形成される。 In FIG. 3(e), the left side plate 12 and the right side plate 13 are rotated with the bottom plate 15 facing down, and then fixed while being placed on the bottom plate 15. Ceiling openings 17 are formed on the upper surfaces of the front side plate 11, the left side plate 12, the right side plate 13, and the rear side plate 14. By covering the ceiling opening 17 with its opening facing downward, the apparatus main body 10 is formed into a box shape as shown in FIG. 1.

以上のように、装置本体10が折り畳み可能に形成されることで、本実施形態の手洗い状態の可視化判定装置1は、装置本体10と他の付属品も一括して、例えばトランクなどの収納ボックスにコンパクトに収納し、全国各地並びに外国に容易に運搬することができる。その結果、各地で被験者に対して手洗いの訓練及び指導を容易にかつ効果的に実施することができる。 As described above, since the device main body 10 is formed to be foldable, the hand washing state visualization determination device 1 of this embodiment can be stored together with the device main body 10 and other accessories in a storage box such as a trunk. It can be stored compactly and easily transported all over the country and abroad. As a result, hand-washing training and guidance can be easily and effectively carried out for subjects in various locations.

図1及び図2に示される照明装置20は、蛍光物質を発光させる光を照射するためのもので、本実施形態では図1に示すように4本のブラックライト22,・・・,22を使用している。各ブラックライト22,・・・,22は、紫外線(波長は395~400nm)を発するUVライトである。 The illumination device 20 shown in FIGS. 1 and 2 is for irradiating light that causes fluorescent substances to emit light, and in this embodiment, four black lights 22, . . . , 22 are used as shown in FIG. I am using it. Each of the black lights 22, . . . , 22 is a UV light that emits ultraviolet light (wavelength: 395 to 400 nm).

より詳しく説明すると、照明装置20は、図1および図2に示すように直方体形状の照明用本体21の内側下方に取り付けられているとともに、装置本体10の天井開口部17に対し、上側から着脱可能に装着できる構成である。照明用本体21の下面には、4本のブラックライト22,・・・,22が横方向且つ長手方向となるよう、前後に並列状態で装着されており、ブラックライト22,・・・,22の紫外線光が下方の被験者の両手に照射される構成である。ブラックライト22,・・・,22の紫外線光が当たると、被験者の両手に予め塗布されたローションに含まれる蛍光物質の水色が発光するようになっている。 More specifically, as shown in FIGS. 1 and 2, the lighting device 20 is attached to the lower inside of a rectangular parallelepiped-shaped lighting main body 21, and can be attached to and removed from the upper side of the ceiling opening 17 of the device main body 10. It has a configuration that allows it to be installed. Four black lights 22, . . . , 22 are attached to the lower surface of the illumination main body 21 in a parallel state in the front and back so that the black lights 22, . The configuration is such that ultraviolet light is irradiated onto both hands of the subject below. When the ultraviolet light from the black lights 22, .

照射エリア30は、図1および図2に示すように装置本体10の底板15に両手載置台31が着脱可能に配置されており、この両手載置台31の上面の手保持部32に被験者の両手を広げて載せられると共に、この被験者の両手にブラックライト22,・・・,22の紫外線光を照射するために形成したエリアである。したがって、両手載置台31は手保持部32が4本のブラックライト22,・・・,22から両手までの距離を所定長さに適正に保持するように高さ位置を予め設定している。これによって安定した画像を取得することができ、より正確に合否判定することができる。また、照射エリア30は被験者の両手を出し入れするために装置本体10の正面の開口部16に臨んでいる。 In the irradiation area 30, as shown in FIGS. 1 and 2, a both-hands stand 31 is removably arranged on the bottom plate 15 of the apparatus main body 10, and both hands of the subject are placed on the hand-holding portion 32 on the upper surface of this both-hands stand 31. This is an area formed so that the test subject's hands can be spread out and irradiated with ultraviolet light from the black lights 22, . . . , 22. Therefore, the height position of the both-hand mounting table 31 is set in advance so that the hand-holding section 32 appropriately maintains the distance from the four black lights 22, . . . , 22 to both hands at a predetermined length. As a result, a stable image can be obtained, and a pass/fail determination can be made more accurately. Furthermore, the irradiation area 30 faces the opening 16 at the front of the apparatus main body 10 for putting in and taking out both hands of the subject.

なお、被験者は両手に蛍光物質を含有するローションを塗布した後、このローションを所謂“汚れ”とみなして両手のローションを落とすように手洗いする。その後に両手を広げて両手載置台31の上面の手保持部32に載せる。ブラックライト22,・・・,22の紫外線光が被験者の両手に照射されると、洗い残しがあれば両手に残っている蛍光物質が発光する。 After applying the lotion containing the fluorescent substance to both hands, the test subject considered the lotion to be "dirt" and washed his hands to remove the lotion. Thereafter, the user spreads both hands and places them on the hand holding section 32 on the upper surface of the both hand mounting table 31. When the ultraviolet light from the black lights 22, .

第一のカメラ40は、図1に示すように照射エリア30にある被験者の両手に紫外線光を照射した際に、両手に残っている蛍光物質が発光する蛍光状態を撮像する第一撮像装置である。
第一のカメラ40は、装置本体10の天井開口部17を被蓋した天井蓋部18のほぼ中央位置に着脱可能に配置しており、第一のカメラ40の下端のレンズ部41が照明用本体21の中央の2本のブラックライト22,22の間から下方に露出して照射エリア30の手保持部32に載せた両手を撮像できる構成である。
The first camera 40 is a first imaging device that images the fluorescence state in which fluorescent substances remaining on both hands emit light when both hands of a subject in the irradiation area 30 are irradiated with ultraviolet light, as shown in FIG. be.
The first camera 40 is removably disposed approximately at the center of the ceiling cover 18 that covers the ceiling opening 17 of the device main body 10, and the lens section 41 at the lower end of the first camera 40 is used for illumination. The configuration is such that it is possible to image both hands placed on the hand holding part 32 of the irradiation area 30 by exposing them downward from between the two black lights 22, 22 at the center of the main body 21.

第二のカメラ50は、被験者の顔を撮像する第二撮像装置であり、本実施形態では、図1に示すように例えば、装置本体10の天井蓋部18の上に着脱可能に設置される。しかも、第二のカメラ50のレンズの向きが被験者の顔を撮像可能に調整できる市販のカメラを利用しており、特に限定されない。この第二のカメラは、場合によっては設置せずに、被験者を識別する他の装置、例えばバーコードリーダなどの識別装置で代用することも可能である。 The second camera 50 is a second imaging device that images the subject's face, and in this embodiment, as shown in FIG. . In addition, a commercially available camera is used in which the direction of the lens of the second camera 50 can be adjusted to capture an image of the subject's face, and there is no particular limitation. Depending on the case, the second camera may not be installed and may be replaced by another device for identifying the subject, for example, an identification device such as a barcode reader.

図2に示される画像処理装置60は、第一のカメラ40で撮像した画像から、被験者の両手の洗い残し状態を数値化する装置である。この画像処理装置60は、洗い残しエリア抽出部61と、手エリア抽出部62と、洗い残し面積割合算出部63と、洗い残し量算出部64とを備えている。 The image processing device 60 shown in FIG. 2 is a device that digitizes the state of unwashed hands of the subject from the images captured by the first camera 40. The image processing device 60 includes an unwashed area extraction section 61, a hand area extraction section 62, an unwashed area ratio calculation section 63, and an unwashed amount calculation section 64.

画像処理方法の一例を説明すると、図5(e)に示すように、手エリア抽出部62では画像から両手の全体面積の手エリアAaを計算する。さらに洗い残しエリア抽出部61では、図5(c)に示すように、両手の洗い残しエリアAuを計算する。次いで、洗い残し面積割合算出部63では、手エリアAaに対する洗い残しエリアAuの割合を計算する。本実施形態では、この割合を“洗い残し面積割合”とする。 To explain an example of the image processing method, as shown in FIG. 5(e), the hand area extraction unit 62 calculates the hand area Aa of the entire area of both hands from the image. Furthermore, the unwashed area extraction unit 61 calculates the unwashed area Au of both hands, as shown in FIG. 5(c). Next, the unwashed area ratio calculation unit 63 calculates the ratio of the unwashed area Au to the hand area Aa. In this embodiment, this ratio is referred to as "unwashed area ratio".

さらに、洗い残し量算出部64では、両手の洗い残しエリアAuの画像から、洗い残し量(蛍光物質の残量)を蛍光の輝度(濃さ)で数値化する。つまり、洗い残し量が多くなるほど蛍光の輝度(濃さ)が高くなることから、洗い残しエリアAuを多数の測定用単位エリアに分割することで、各測定用単位エリア毎に蛍光の輝度値を測定する。これらの測定輝度値の平均値を、洗い残しエリアAuにおける“洗い残し量(濃さ)”とする。 Furthermore, the unwashed amount calculation unit 64 digitizes the unwashed amount (remaining amount of fluorescent substance) from the image of the unwashed area Au of both hands using the brightness (density) of fluorescence. In other words, the brightness (density) of the fluorescence increases as the amount of unwashed areas increases, so by dividing the unwashed area Au into multiple measurement unit areas, the fluorescence brightness value can be calculated for each measurement unit area. Measure. The average value of these measured brightness values is defined as the "unwashed amount (density)" in the unwashed area Au.

比較判断装置71は、図2に示すように制御装置70に内蔵、若しくは接続されており、画像処理装置60で数値化したデータを予め設定した合否判断基準値と比較して合否判定する装置である。
前述のように画像処理装置60で数値化した“洗い残し面積割合”と“洗い残し量(濃さ)”から総合評価値を算出する。洗い残し状態を総合評価する際に、本実施形態では“洗い残し面積割合”の重要度を高くする。例えば、“洗い残し面積割合”の評価値を8割とし、“洗い残し量(濃さ)”の評価値を2割とすることで、総合評価値は0~100点の点数で表すことができる。なお、この重要度の割合は特に限定されない。
一方、合否判断基準値は、例えば総合評価値を5段階に分けてA判定~E判定の判定基準値とすることができる。なお、この判定基準値の設定は特に限定されない。
The comparison and judgment device 71 is built in or connected to the control device 70 as shown in FIG. 2, and is a device that compares the data digitized by the image processing device 60 with a preset pass/fail judgment reference value to judge pass/fail. be.
As described above, a comprehensive evaluation value is calculated from the "unwashed area ratio" and "unwashed amount (density)" digitized by the image processing device 60. In this embodiment, when comprehensively evaluating the unwashed state, the importance of the "unwashed area ratio" is increased. For example, by setting the evaluation value of “unwashed area ratio” to 80% and the evaluation value of “unwashed amount (density)” to 20%, the overall evaluation value can be expressed as a score from 0 to 100 points. can. Note that this importance ratio is not particularly limited.
On the other hand, the pass/fail judgment standard value can be, for example, the comprehensive evaluation value divided into five stages and used as the judgment standard value for A judgment to E judgment. Note that the setting of this determination reference value is not particularly limited.

なお、比較判断装置71では、前述のように洗い残し面積割合と洗い残し量の両方を使用することが望ましいが、いずれか一方をデータとして使用することもできる。 In addition, although it is desirable that the comparison/judgment device 71 uses both the unwashed area ratio and the unwashed amount as described above, it is also possible to use either one as data.

記憶装置72は、図2に示すように制御装置70に内蔵、若しくは接続されており、比較判断装置71で判断した合否判定のデータ、第二のカメラ50(第二撮像装置)で撮像した被験者の顔のデータ、並びに他のデータを記憶する装置である。 The storage device 72 is built in or connected to the control device 70, as shown in FIG. It is a device that stores face data and other data.

図2に示される表示装置80は、例えばモニタなどの画面に表示する装置であり、比較判断装置71で判断した合否判定を表示する合否判定表示部81と、第二のカメラ50(第二撮像装置)で撮像した被験者の顔を表示する顔認識表示部82を有する。
合否判定表示部81は、図8に示すように例えば被験者名および社員番号、測定の年月日、手のひら(表)の評価点とその判定結果の欄、手の甲(裏)の評価点とその判定結果の欄、手の表裏の合計評価点およびその合計評価点を総合的に判定した総合判定の欄などが表示される。顔認識表示部82は例えば被験者の顔写真が表示される。
なお、本実施形態では第一及び第二のカメラ40,50を具備する構成としているが、前述したように、第二のカメラ50を設けず、被験者の情報を特定し関連付けるためにバーコードリーダなど、他の識別手段を用いた構成も可能である。或いは、このような識別手段を設けず、手洗いの状態を可視化する純然たる合否の判定装置とすることもでき、用途に応じた構成が可能である。
The display device 80 shown in FIG. 2 is a device that displays on a screen such as a monitor, and includes a pass/fail determination display unit 81 that displays the pass/fail determination determined by the comparison determination device 71, and a second camera 50 (second imaging device). It has a face recognition display section 82 that displays the subject's face imaged by the device.
As shown in FIG. 8, the pass/fail judgment display section 81 displays, for example, the subject name and employee number, the date of measurement, the evaluation score of the palm (front) and its judgment result, the evaluation score of the back (back) of the hand and its judgment. A result column, a total evaluation score for the front and back of the hand, and a comprehensive judgment column for comprehensively determining the total evaluation score are displayed. The face recognition display section 82 displays, for example, a photograph of the subject's face.
Note that although this embodiment is configured to include the first and second cameras 40 and 50, as described above, the second camera 50 is not provided and a barcode reader is used to identify and correlate the information of the subject. A configuration using other identification means is also possible. Alternatively, it is possible to use a pure pass/fail determination device that visualizes the state of hand washing without providing such an identification means, and the configuration can be configured according to the purpose.

次に、本実施形態の手洗い状態の可視化判定方法について、前述の手洗い状態の可視化判定装置1を用いて説明する。
手洗い状態の可視化判定方法は、各被験者が手洗いの重要性を意識し、手洗いをすべき動機付けを与えることで、手洗いをする意欲を持つように訓練・教育するものである。実際の手洗いの状態を監視したり検査したりするためのものではない。
蛍光物質を含有するローションを所謂“汚れ”とみなして、各人が両手のローションを水洗いで落とした後に、残存した蛍光物質の所謂“汚れ”がどの程度落ちたかを各人がビジブルに確認できるようにする。しかも、単に各人が目視で個人的な判断で合否判定するのではなく、洗い残しの状態を数値化し、予め設定した判断基準値に対する合否判定を与えるものである。その合否判定結果から、各人がどうすれば“汚れ”が落ちるかを考え工夫することで、手洗いの仕方を習得するものである。
Next, a method for visualizing and determining a hand-washing state according to the present embodiment will be described using the above-described hand-washing state visualization and determining device 1.
The visual judgment method for hand washing conditions trains and educates each subject to become conscious of the importance of hand washing and to motivate them to wash their hands. It is not intended to monitor or test actual hand washing conditions.
Lotion containing fluorescent substances is regarded as so-called "dirt", and after each person washes the lotion off their hands with water, each person can visibly check how much of the remaining fluorescent substance so-called "dirt" has been removed. Do it like this. Furthermore, rather than simply making a pass/fail judgment based on personal judgment by each person visually, the state of unwashed parts is digitized and a pass/fail judgment is given based on a preset judgment reference value. Based on the pass/fail results, each person learns how to wash their hands by thinking about how to remove the dirt.

〔蛍光物質の塗布および手洗い工程〕
まず、被験者は蛍光物質を含有するローションを両手に満遍なく塗布する。その後、ローションを所謂“汚れ”とみなして両手のローションを落とすように手洗いする。この時、洗い残し(蛍光物質の付着)があっても被験者の目視では分からない状態である。
[Applying fluorescent material and hand washing process]
First, the test subject applied a lotion containing a fluorescent substance evenly on both hands. After that, consider the lotion to be "dirt" and wash your hands to remove the lotion from your hands. At this time, even if there is any unwashed residue (adhesion of fluorescent substance), it is not visible to the subject's eyes.

〔洗い残し画像取得工程〕
次いで、被験者は、図1に示すように両手を広げて装置本体10の開口部16から照射エリア30内の両手載置台31の上面の手保持部32に載せる。ブラックライト22の紫外線光(波長は395~400nm)が被験者の両手に照射されると、図5(a)に示すように洗い残しがあれば両手に付着して残っている蛍光物質が水色で発光する。
両手の蛍光状態を第一のカメラ40で撮像して画像を取得する(図4のステップS1)。この画像はRGB表色系である。RGB表色系とは、赤・緑・青(RGB)の3つの単色光を3原色としたものである。すなわち、赤色(R)は波長700.0nmで、緑色(G)は波長546.1nmで、青色(B)は波長435.5nmである。
[Unwashed image acquisition process]
Next, as shown in FIG. 1, the subject spreads both hands and places them on the hand holding section 32 on the upper surface of the both hand mounting table 31 in the irradiation area 30 through the opening 16 of the apparatus main body 10. When the subject's hands are irradiated with ultraviolet light (wavelength: 395-400 nm) from the black light 22, the remaining fluorescent material on both hands becomes light blue, as shown in Figure 5(a). Emits light.
An image is acquired by capturing the fluorescent state of both hands with the first camera 40 (step S1 in FIG. 4). This image has an RGB color system. The RGB color system uses three monochromatic lights of red, green, and blue (RGB) as three primary colors. That is, red (R) has a wavelength of 700.0 nm, green (G) has a wavelength of 546.1 nm, and blue (B) has a wavelength of 435.5 nm.

〔洗い残しエリア抽出工程〕
画像処理装置60では、図5(a)に示すようにRGB表色系からHSV(色相・彩度・明度)表色系へ変換する(図4のステップS2)。なお、RGB表色系は画像に用いられるが、認識には有効ではない。一方、より人間の感覚に近いHSV表色系は、認識に適している。
さらに、画像処理装置60では、図5(b)に示すように前記の取得した画像に対して色相で水色付近の領域を抽出するように閾値を設定することで、洗い残しエリアAuを抽出する(図4のステップS3,S4)。一例としての洗い残しエリアAuは、図5(c)に示すように57933pixelとなった(図4のステップS5)。
[Unwashed area extraction process]
The image processing device 60 converts the RGB color system to the HSV (hue, saturation, brightness) color system as shown in FIG. 5A (step S2 in FIG. 4). Note that although the RGB color system is used for images, it is not effective for recognition. On the other hand, the HSV color system, which is closer to human senses, is suitable for recognition.
Further, the image processing device 60 extracts the unwashed area Au by setting a threshold value for the acquired image so as to extract an area near light blue in terms of hue, as shown in FIG. 5(b). (Steps S3 and S4 in FIG. 4). As an example, the unwashed area Au has 57933 pixels as shown in FIG. 5(c) (step S5 in FIG. 4).

〔手のエリア抽出工程〕
また、手エリアAaにおける洗い残しエリアAuの割合を求めるために、図5(a)に示すように装置本体10内面の照射エリア30内に、ローションの蛍光物質の水色とは異なる色を発色する蛍光物質を使用することで、手エリアAaを抽出する。本実施形態では、図5(d)に示すように紫色を発色する蛍光物質を使用した。手エリアAaは、色相で紫色付近以外の領域を抽出するように閾値を設定することで、手エリアAaの面積を抽出する(図4のステップS3,S6)。一例としての手エリアAaは、図5(e)に示すように87093pixelとなった(図4のステップS7)。
なお、手エリアAaを抽出するために発色する蛍光物質は、水色近傍以外の色であればよく、例えば赤色、もしくはまったく色を返さない黒でもよい。
[Hand area extraction process]
In addition, in order to determine the proportion of the unwashed area Au in the hand area Aa, a color different from the light blue of the fluorescent material of the lotion is developed in the irradiation area 30 on the inner surface of the device main body 10, as shown in FIG. 5(a). The hand area Aa is extracted by using a fluorescent substance. In this embodiment, a fluorescent material that emits a purple color was used as shown in FIG. 5(d). For the hand area Aa, the area of the hand area Aa is extracted by setting a threshold value to extract a region other than around purple in hue (steps S3 and S6 in FIG. 4). The hand area Aa as an example has 87093 pixels as shown in FIG. 5(e) (step S7 in FIG. 4).
Note that the fluorescent substance that develops a color to extract the hand area Aa may be any color other than light blue, for example, red, or black that does not return any color at all.

〔洗い残し面積割合の算出工程〕
洗い残し面積割合は、手エリアAaに対する洗い残しエリアAuの割合を計算する。すなわち、一例としての洗い残し面積割合は、図5に示すように前述の洗い残しエリアAuのピクセル数と手エリアAaのピクセル数で計算する。すなわち、洗い残し面積割合(%)=(洗い残しエリアAuのピクセル数÷手エリアAaのピクセル数)×100=(57933pixel/87093pixel)×100=67(%)となった(図4のステップS8)。
[Calculation process of unwashed area ratio]
The unwashed area ratio is calculated by calculating the ratio of the unwashed area Au to the hand area Aa. That is, as an example, the unwashed area ratio is calculated from the number of pixels in the unwashed area Au and the pixel number in the hand area Aa, as shown in FIG. That is, the unwashed area ratio (%) = (number of pixels in unwashed area Au ÷ number of pixels in hand area Aa) x 100 = (57933 pixels/87093 pixels) x 100 = 67 (%) (Step S8 in Fig. 4). ).

〔洗い残し量(蛍光物質の残量)の算出工程〕
洗い残しエリアAuにおける洗い残し量(蛍光物質の残量)は、両手の洗い残しエリアAuの画像を蛍光の輝度(濃さ)で数値化することで、洗い残し量の判定のバロメータとする。
[Calculation process of amount left after washing (remaining amount of fluorescent substance)]
The unwashed amount (remaining amount of fluorescent material) in the unwashed area Au is determined by digitizing the image of the unwashed area Au of both hands using the luminance (density) of fluorescence, which is used as a barometer for determining the unwashed amount.

一例を説明すると、両手の洗い残しエリアAuの色相画像は、図6(a)から図6(b)に示すようにグレースケール化する。すなわち、グレースケール化された画像は、光が最も強い白から最も弱い黒までの間の灰色の明暗も含めて表示される。
洗い残しエリアAuは、図6(c)に示すように測定用単位エリアに分割し、各測定用単位エリア毎に蛍光の輝度値(0~255)を測定する。なお、図6(c)の表は、図6(b)の洗い残しエリアAuの一部を各測定用単位エリア毎に測定した輝度値を示している。
To explain an example, the hue image of the unwashed area Au of both hands is converted into grayscale as shown in FIGS. 6(a) to 6(b). That is, the grayscaled image is displayed including bright and dark shades of gray between white, where the light is the strongest, and black, where the light is the weakest.
The unwashed area Au is divided into measurement unit areas as shown in FIG. 6(c), and the fluorescence brightness value (0 to 255) is measured for each measurement unit area. Note that the table in FIG. 6(c) shows the luminance values measured for each measurement unit area in a part of the unwashed area Au in FIG. 6(b).

さらに各測定輝度値は、図6(c)の表から図6(d)の表に示すように蛍光の最大輝度値(255)に対する割合に変換して正規化する。すなわち、正規化した数値は輝度値(0~1)で変換され、本実施形態では“正規化輝度値”と称する。 Further, each measured brightness value is normalized by converting it into a ratio with respect to the maximum brightness value (255) of fluorescence, as shown in the table of FIG. 6(c) to the table of FIG. 6(d). That is, the normalized numerical value is converted into a brightness value (0 to 1), which is referred to as a "normalized brightness value" in this embodiment.

したがって、洗い残しエリアAuの全体の洗い残し量は、図6(e)に示すように正規化輝度値のヒストグラムで示すことができる。この正規化輝度値のヒストグラムの平均値が、洗い残しエリアAuにおける“洗い残し量(濃さ)”となる。
この図6の例では、正規化輝度値の平均値が0.4955であるので、%に変換すると、洗い残し量(濃さ)は約50%となる。
Therefore, the total amount of unwashed areas Au can be represented by a histogram of normalized brightness values as shown in FIG. 6(e). The average value of the histogram of the normalized luminance values becomes the "unwashed amount (density)" in the unwashed area Au.
In the example of FIG. 6, the average value of the normalized brightness values is 0.4955, so when converted to %, the amount of unwashed water (density) is approximately 50%.

〔洗い残し状態の総合評価値の合否判定工程〕
前述の数値化した “洗い残し面積割合”と“洗い残し量(濃さ)”から総合評価値を算出する。例えば、“洗い残し面積割合”と“洗い残し量(濃さ)”はいずれも数値が小さくなるほど洗い残しが少なくなることを示すものである。総合評価としては、洗い残しが少なくなるほど評価点が高くなるように100点を上限として計算する。
[Pass/fail judgment process for overall evaluation value of unwashed condition]
A comprehensive evaluation value is calculated from the previously quantified “unwashed area ratio” and “unwashed amount (density)”. For example, both the "unwashed area ratio" and the "unwashed amount (density)" indicate that the smaller the numerical value, the less the unwashed area. The overall evaluation is calculated with an upper limit of 100 points so that the fewer the amount left unwashed, the higher the evaluation score.

例えば、(1-“洗い残し面積割合”)を面積割合の評価値とし、(1-“洗い残し量(濃さ)”)を量(濃さ)の評価値とすると、各評価値は洗い残しが少なくなるほど数値が上昇する。さらに面積割合に対する評価の重要度を上げるために、各評価値に対して重み係数をつける。例えば、面積割合の評価値を8割とし、量(濃さ)の評価値を2割とする。
したがって、総合評価としては、総合評価点={(1-“洗い残し面積割合”)×0.8+(1-“洗い残し量(濃さ)”)×0.2}×100として表わされる。
For example, if (1 - "unwashed area ratio") is the evaluation value of the area ratio, and (1 - "unwashed amount (thickness)") is the evaluation value of the amount (thickness), then each evaluation value is The value increases as there is less left. Furthermore, in order to increase the importance of evaluation with respect to area ratio, a weighting coefficient is attached to each evaluation value. For example, the evaluation value of the area ratio is set to 80%, and the evaluation value of the amount (density) is set to 20%.
Therefore, the overall evaluation is expressed as: Overall evaluation score = {(1-"unwashed area ratio") x 0.8 + (1 - "unwashed amount (density)") x 0.2} x 100.

一例として、図7で示される処理結果の画像では、“洗い残し面積割合”が0.6651で、洗い残し量(濃さ)” が0.4955である場合、総合評価点={(1-0.6651)×0.8+(1-0.4955)×0.2}×100=37(点)となる。 As an example, in the image of the processing result shown in FIG. 7, if the "unwashed area ratio" is 0.6651 and the "unwashed amount (density)" is 0.4955, the total evaluation score = {(1- 0.6651)×0.8+(1-0.4955)×0.2}×100=37 (points).

また、合否判断基準値としては、例えば上記の総合評価点が、5段階に分けて81~100点でA判定、61~80点でB判定、41~60点でC判定、21~40点でD判定、0~20点でE判定とすることができる。
したがって、図7で示される処理結果の画像に対する判定結果はD判定である。
さらに、一人の被験者に対しては、手のひら(表)の評価点と手の甲(裏)の評価点を総合的に判定する総合判定基準値を設定し、総合判定することができる。
In addition, as a pass/fail judgment standard value, for example, the above overall evaluation score is divided into 5 stages: 81 to 100 points is A grade, 61 to 80 points is B grade, 41 to 60 points is C grade, 21 to 40 points A score of 0 to 20 can be graded as a D, and a score of 0 to 20 can be graded as an E.
Therefore, the determination result for the image of the processing result shown in FIG. 7 is a D determination.
Further, for one subject, a comprehensive judgment can be made by setting a comprehensive judgment standard value that comprehensively judges the evaluation score of the palm (front) and the back (back) of the hand.

以上のように判定した総合評価点は、図8に示すように表示装置80の画面に表示される。すなわち、合否判定表示部81は、測定の年月日、被験者名、総合評価点などが表示され、顔認識表示部82は被験者の顔写真が表示される。 The comprehensive evaluation score determined as described above is displayed on the screen of the display device 80 as shown in FIG. That is, the pass/fail judgment display section 81 displays the date of measurement, the subject's name, the overall evaluation score, etc., and the face recognition display section 82 displays the subject's facial photograph.

以上のことから、指導者が被験者に対して手洗いの訓練及び指導を行う際に、手洗い状態の可視化判定装置1を用いると、各被験者がローションを塗布した両手を洗った結果が表示装置80のモニタに数値的に表示され、かつ合否判定されるので、被験者が洗い残しを少なくするように手洗いの仕方を工夫するように促される。その結果、被験者が手洗いの重要性を意識し、手洗いをすべき動機付けを与えられるので、被験者自身が意欲的に手洗いの仕方を習得するように訓練・教育される。指導者は被験者に対して手洗いの訓練及び指導を容易にかつ効果的に実施することができる。 From the above, when the instructor uses the hand-washing state visualization/judgment device 1 when training and instructing the subjects on hand-washing, the display device 80 shows the results of each subject washing both hands with lotion applied. Since the results are numerically displayed on the monitor and pass/fail judgments are made, the test subjects are encouraged to devise ways to wash their hands so that there is less leftover washing. As a result, the subjects become aware of the importance of hand washing and are motivated to wash their hands, so they are trained and educated to learn how to wash their hands themselves. The instructor can easily and effectively train and instruct subjects on hand washing.

また、種々のデータは記憶装置72に記憶されるので、手洗いの訓練・教育の履歴の教育実施記録を蓄積することができ、また今後の手洗いの訓練・教育に役立たせることが可能である。さらに、HACCPによる教育実施記録を残すことや、教育効果を確認することの指示にも的確に応じることができる。 Moreover, since various data are stored in the storage device 72, it is possible to accumulate educational implementation records of the history of hand-washing training and education, and it is also possible to use it for future hand-washing training and education. Furthermore, it is possible to accurately respond to instructions such as keeping records of educational implementation using HACCP and confirming educational effects.

一例として、一人の被験者は、図9および図10に示すように手洗い1回目と手洗い2回目と手洗い3回目におけるそれぞれの総合評価を確認しながら手洗いの仕方を訓練・教育されていることが分かる。 As an example, as shown in Figures 9 and 10, it can be seen that one subject was trained and educated on how to wash his hands while checking the overall evaluation of each of the first, second, and third hand washes. .

また、表示装置80の画面に表示される合否判定表示部81は、図11に示すように被験者の氏名と、手のひら(表)と手の甲(裏)の処理結果の画像を表示し、例えば各画像の中に、例えば図11では画像の左上に100点満点中の何点かの評価点を表示する。さらに、総合評価点の判定はA,B,C,D,Eの5段階評価とした場合、被験者の総合評価点をA,B,C,D,Eの文字やイラストで明確に表示することができる。さらに、図11に示すように前述の顔認識表示部82の顔写真はなくてもよい。
以上のように、合否判定表示部81の表示の仕方は、被験者に対して手洗いをすべき動機付けを与えるために様々な工夫をすることができる。
In addition, the pass/fail determination display section 81 displayed on the screen of the display device 80 displays the subject's name and images of the processing results of the palm (front) and back of the hand (back), as shown in FIG. For example, in FIG. 11, several evaluation points out of 100 are displayed at the upper left of the image. Furthermore, if the overall evaluation score is determined on a 5-level scale of A, B, C, D, and E, the test subject's overall evaluation score must be clearly displayed in the letters or illustrations of A, B, C, D, and E. I can do it. Further, as shown in FIG. 11, the face photograph in the face recognition display section 82 described above may not be provided.
As described above, various ways of displaying the pass/fail judgment display section 81 can be devised in order to motivate the subject to wash his/her hands.

本発明は、飲食店や食品製造業などの食品関係、介護施設や保育園や学校など多くの人が集まる施設、病院や保健所や薬局や薬品工場などの医療関連施設、コンビニやスーパーなどのサービス業など広範囲の分野において、利用可能性を有する。 The present invention is applicable to food-related facilities such as restaurants and food manufacturing industries, facilities where many people gather such as nursing care facilities, nursery schools, and schools, medical-related facilities such as hospitals, health centers, pharmacies, and drug factories, and service industries such as convenience stores and supermarkets. It can be used in a wide range of fields such as

1 手洗い状態の可視化判定装置
10 装置本体 11 前部側板
12 左側板 13 右側板
14 後部側板 15 底板
16 開口部 17 天井開口部
18 天井蓋部 19 ヒンジ部
20 照明装置 21 照明用本体
22 ブラックライト
30 照射エリア 31 両手載置台
32 手保持部
40 第一のカメラ(第一撮像装置) 41 レンズ部
50 第二のカメラ(第二撮像装置)
60 画像処理装置 61 洗い残しエリア抽出部
62 手エリア抽出部 63 洗い残し面積割合算出部
64 洗い残し量算出部
70 制御装置 71 比較判断装置
72 記憶装置
80 表示装置 81 合否判定表示部
82 顔認識表示部
Aa 手のエリア
Au 洗い残しエリア
1 Hand washing state visualization determination device 10 Device body 11 Front side plate 12 Left side plate 13 Right side plate 14 Rear side plate 15 Bottom plate 16 Opening 17 Ceiling opening 18 Ceiling cover 19 Hinge 20 Lighting device 21 Lighting main body 22 Black light 30 Irradiation area 31 Both hands mounting table 32 Hand holding section 40 First camera (first imaging device) 41 Lens section 50 Second camera (second imaging device)
60 Image processing device 61 Unwashed area extraction section 62 Hand area extraction section 63 Unwashed area ratio calculation section 64 Unwashed amount calculation section 70 Control device 71 Comparison judgment device 72 Storage device 80 Display device 81 Pass/fail judgment display section 82 Face recognition display Part Aa Hand area Au Unwashed area

Claims (4)

装置本体の内部に被験者の手を入出可能な開口部を形成した手洗い状態の可視化判定装置であって、
前記装置本体の内部に蛍光物質を発光させる光を照射する照明装置と、
被験者が蛍光物質を塗布した手を洗った後に、前記装置本体の内部に差し入れた前記被験者の手に前記照明装置の光を照射するために形成した照射エリアと、
前記照射エリアにある被験者の手の蛍光状態を撮像する第一撮像装置と、
前記第一撮像装置で撮像した画像から被験者の手の洗い残し状態を数値化する画像処理装置と、
前記画像処理装置で数値化したデータを予め設定した合否判断基準値と比較して合否判定する比較判断装置と、
前記比較判断装置で判断した合否判定を表示する表示装置とを具備し、
前記画像処理装置は、
前記画像から洗い残しエリアを抽出する洗い残しエリア抽出部と、
前記画像から手エリアを抽出する手エリア抽出部と、
前記手エリアに対する前記洗い残しエリアの面積割合を計算する洗い残し面積割合算出部と、
前記洗い残しエリアを多数に分割した単位エリア毎に蛍光の輝度値を算出し、これらの輝度値の平均値を洗い残し量として算出する洗い残し量算出部と、を備え、
前記比較判断装置は、前記洗い残し面積割合と前記洗い残し量の両方又はいずれかをデータとし、前記合否判断基準値と比較して合否判定することを特徴とする手洗い状態の可視化判定装置。
A hand-washing state visualization determination device having an opening through which a subject's hand can be put in and taken out inside the device body,
an illumination device that irradiates light that causes a fluorescent substance to emit light inside the device main body;
an irradiation area formed to irradiate the subject's hand inserted into the device main body with light from the illumination device after the subject washes his or her hands coated with a fluorescent substance;
a first imaging device that images the fluorescent state of the subject's hand in the irradiation area;
an image processing device that digitizes the state of unwashed hands of the subject from the image captured by the first imaging device;
a comparison judgment device that compares the data digitized by the image processing device with a preset pass/fail judgment reference value to judge pass/fail;
and a display device that displays the pass/fail judgment determined by the comparative judgment device,
The image processing device includes:
an unwashed area extraction unit that extracts an unwashed area from the image;
a hand area extraction unit that extracts a hand area from the image;
an unwashed area ratio calculation unit that calculates an area ratio of the unwashed area to the hand area;
an unwashed amount calculation unit that calculates a luminance value of fluorescence for each unit area obtained by dividing the unwashed area into a large number of units, and calculates an average value of these brightness values as an unwashed amount,
The comparison/judgment device uses both or either of the unwashed area ratio and the unwashed amount as data, and compares it with the pass/fail determination reference value to determine pass/fail .
前記装置本体は、折り畳み可能に形成したことを特徴とする請求項1に記載の手洗い状態の可視化判定装置。 The device for visualizing hand washing status according to claim 1 , wherein the device main body is foldable. 被験者の手に蛍光物質を塗布した後に手洗いを行う蛍光物質の塗布および手洗い工程と、
手洗い状態の可視化判定装置において装置本体の内部の照射エリアに前記被験者の手を差し入れて前記蛍光物質を発光させる光を照射し、被験者の手の蛍光状態を撮像する洗い残し画像取得工程と、
前記画像から洗い残しエリアを抽出する洗い残しエリア抽出工程と、
前記画像から手エリアを抽出する手エリア抽出工程と、
前記手エリアに対する前記洗い残しエリアの面積割合を計算する洗い残し面積割合の算出工程と、
前記洗い残しエリアを多数に分割した単位エリア毎に蛍光の輝度値を算出し、これらの測定輝度値の平均値を洗い残し量として算出する洗い残し量の算出工程と、
前記洗い残し面積割合と前記洗い残し量の両方又はいずれかをデータとし、このデータを予め設定した合否判断基準値と比較して合否判定する洗い残し状態の合否判定工程と、
を備えていることを特徴とする手洗い状態の可視化判定方法。
A fluorescent substance application and hand washing step of applying the fluorescent substance to the subject's hands and then washing the hands;
an unwashed image acquisition step of inserting the subject's hand into an irradiation area inside the device main body in the hand washing state visualization determination device and irradiating the subject's hand with light that causes the fluorescent substance to emit light, and capturing an image of the fluorescent state of the subject's hand;
an unwashed area extraction step of extracting an unwashed area from the image;
a hand area extraction step of extracting a hand area from the image;
a step of calculating an area ratio of the unwashed area to the hand area;
a step of calculating an amount of unwashed parts by dividing the unwashed area into a large number of units, calculating a fluorescence brightness value for each unit area, and calculating an average value of these measured brightness values as an unwashed amount;
A pass/fail determination step for an unwashed state, using both or either of the unwashed area ratio and the unwashed amount as data, and compares this data with a preset pass/fail determination reference value to determine pass/fail;
A method for visualizing hand washing status, characterized by comprising:
前記洗い残し状態の合否判定工程は、前記洗い残し面積割合と前記洗い残し量との総合評価値を計算し、この総合評価値を前記合否判断基準値と比較して合否判定することを備えていることを特徴とする請求項3に記載の手洗い状態の可視化判定方法。 The pass/fail determination step for the unwashed state includes calculating a comprehensive evaluation value of the unwashed area ratio and the unwashed amount, and compares this comprehensive evaluation value with the pass/fail determination reference value to determine pass/fail. 4. The method for visualizing hand-washing status according to claim 3 .
JP2020038464A 2020-03-06 2020-03-06 Device for visualizing hand-washing status and method for visualizing hand-washing status Active JP7426606B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020038464A JP7426606B2 (en) 2020-03-06 2020-03-06 Device for visualizing hand-washing status and method for visualizing hand-washing status

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038464A JP7426606B2 (en) 2020-03-06 2020-03-06 Device for visualizing hand-washing status and method for visualizing hand-washing status

Publications (2)

Publication Number Publication Date
JP2021140053A JP2021140053A (en) 2021-09-16
JP7426606B2 true JP7426606B2 (en) 2024-02-02

Family

ID=77668495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038464A Active JP7426606B2 (en) 2020-03-06 2020-03-06 Device for visualizing hand-washing status and method for visualizing hand-washing status

Country Status (1)

Country Link
JP (1) JP7426606B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212217A (en) 2002-12-27 2004-07-29 Tokai Denshi Kk Alcohol detection system
JP2016186438A (en) 2015-03-27 2016-10-27 高電工業株式会社 Hygiene management system, mixture, and discharge vessel
JP3209337U (en) 2016-12-27 2017-03-09 ハンドインスキャン ゼットアールティー. Device for evaluating the quality of hand sanitization
US20180321153A1 (en) 2017-05-06 2018-11-08 Maria Victoria Llamido 100/% Bacteria Hands Free Censoring Machine
JP2019075043A (en) 2017-10-19 2019-05-16 株式会社モレーンコーポレーション Hygiene evaluation device, hygiene evaluation photographing system, photographing frame, and hygiene evaluation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212217A (en) 2002-12-27 2004-07-29 Tokai Denshi Kk Alcohol detection system
JP2016186438A (en) 2015-03-27 2016-10-27 高電工業株式会社 Hygiene management system, mixture, and discharge vessel
JP3209337U (en) 2016-12-27 2017-03-09 ハンドインスキャン ゼットアールティー. Device for evaluating the quality of hand sanitization
US20180321153A1 (en) 2017-05-06 2018-11-08 Maria Victoria Llamido 100/% Bacteria Hands Free Censoring Machine
JP2019075043A (en) 2017-10-19 2019-05-16 株式会社モレーンコーポレーション Hygiene evaluation device, hygiene evaluation photographing system, photographing frame, and hygiene evaluation method

Also Published As

Publication number Publication date
JP2021140053A (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US7764303B2 (en) Imaging apparatus and methods for capturing and analyzing digital images of the skin
DE19882120B4 (en) Apparatus and method for monitoring hand washing
US20080212894A1 (en) Method and apparatus for simulation of facial skin aging and de-aging
Bartling et al. Automated quality evaluation of digital fundus photographs
JP3984912B2 (en) Method for assessing the area around the eye and instrument for implementing such a method
EP1739586A2 (en) Apparatus & method for donducting large scale clinical trials
JP2004201797A (en) Skin analysis method
KR20100117039A (en) Method and apparatus for characterizing pigment spots, and its application in a method of assessing the pigmenting or depigmenting effect of a cosmetic, dermatological or pharmaceutical product
JP2021532915A (en) How to identify the color of the pores
Cox et al. Occupational health: control and monitoring of psychosocial and organisational hazards at work
JP7426606B2 (en) Device for visualizing hand-washing status and method for visualizing hand-washing status
JP2002140429A (en) Identification and reaction measuring method and its device and computer readable recording medium with identification and reaction measurement program recorded
O’Mahony et al. A validated photonumeric scale for infraorbital dark circles and its application in evaluating the efficacy of a cosmetic treatment product in a split‐face randomized clinical trial
JP3755384B2 (en) Skin color information display method
CN110251074B (en) Multifunctional medical detection system
JP2020154985A (en) Hygiene management device, hygiene management method and hygiene management program
KR20140140934A (en) Method, system and recording medium for analysing tongue diagnosis using a quantifying evalution indicator of tongue diagnosis image
Unzueta-Arce et al. Visual form-processing deficits: a global clinical classification
KR101989964B1 (en) Method and System for detecting public emotion
Miyamoto et al. Development of new in vivo imaging methodology and system for the rapid and quantitative evaluation of the visual appearance of facial skin firmness
JP2001112741A (en) Skin diagnosis system
CN111931612A (en) Indoor flame identification method and device based on image processing
Sunyavivat et al. Essential of pictograms for effective hospital signage
Chirimuuta Naturalism and the philosophy of colour ontology and perception
JP2019107071A (en) Makeup advice method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230221

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R150 Certificate of patent or registration of utility model

Ref document number: 7426606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150