JP2018036351A - Medical care procedure training system - Google Patents
Medical care procedure training system Download PDFInfo
- Publication number
- JP2018036351A JP2018036351A JP2016167581A JP2016167581A JP2018036351A JP 2018036351 A JP2018036351 A JP 2018036351A JP 2016167581 A JP2016167581 A JP 2016167581A JP 2016167581 A JP2016167581 A JP 2016167581A JP 2018036351 A JP2018036351 A JP 2018036351A
- Authority
- JP
- Japan
- Prior art keywords
- action
- procedure
- trainer
- captured image
- training system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
Abstract
Description
本発明は、医療従事者や学生等が、複数の行為を順に行う医療手技を訓練する際に、当該行為の正確な手順の習得に寄与する医療手技訓練システムに関する。 The present invention relates to a medical technique training system that contributes to the acquisition of an accurate procedure of an action when a medical worker, a student, or the like trains a medical technique that sequentially performs a plurality of actions.
看護師が健康診断の被検者や患者等に対して行う静脈血採血は、看護において最も基礎的な医療手技の一つであるが、不適切な手技は、患者等の苦痛を増大させるだけではなく、感染症等の合併を引き起こす恐れがあり、看護師は、十分な訓練によって正しい手技を習得する必要がある。近年、注射手技の訓練を行う場合、患者や健常ボランティアの協力の下に行われる臨床での実地訓練に代わって、シミュレータと呼ばれる模型(例えば、特許文献1参照)を用いた訓練が普及している。このシミュレータによる訓練は、安全面及び倫理面での問題が少ない反面、人間のように痛みに反応する機能が無いため、訓練者へのフィードバックが乏しいという欠点がある。 Venous blood collection performed by nurses on patients and patients undergoing medical checkups is one of the most basic medical procedures in nursing, but improper procedures only increase patient pain. However, there is a risk of complications such as infectious diseases, and nurses need to acquire the correct technique through sufficient training. In recent years, when performing injection technique training, training using a model called a simulator (see, for example, Patent Document 1) has been widely used in place of clinical on-site training performed in cooperation with patients and healthy volunteers. Yes. The training by the simulator has few safety and ethical problems, but has a defect that feedback to the trainer is scarce because there is no function to respond to pain like a human being.
ところで、一般的な静脈血採血の手技としては、注射器等を用いて肘正皮静脈から静脈血を採取する手技があり、この手技は、患者の上腕部へのゴム製の駆血帯の装着に始まり、指を使った静脈の位置確認、穿刺領域付近の皮膚の消毒、穿刺、採血、駆血帯の解除、針の抜去の順に行われる。これら各行為は、この順序で実行される必要があり、当該順序を誤ると患者の苦痛や合併症のリスクが増大する。例えば、駆血帯を巻き付ける前に静脈位置の確認を行うと、静脈の発見が困難になり発見までに多くの時間を要することになる。また、駆血帯の解除前に針の抜去を行うと、穿刺部分から血液が噴き出し、患者に不安を与え、また、患者の感染症のリスクを増大させる。このように、静脈血採血の手技においては、各行為の順序が非常に重要になる。 By the way, as a general technique for collecting venous blood, there is a technique for collecting venous blood from the dermis vein using a syringe or the like, and this technique involves attaching a rubber tourniquet to the upper arm of a patient. First, the position of the vein using the finger is checked, the skin in the vicinity of the puncture area is disinfected, puncture, blood sampling, tourniquet release, and needle removal are performed in this order. Each of these actions needs to be performed in this order, which can increase patient risk of pain and complications. For example, if the vein position is confirmed before the tourniquet is wound, it becomes difficult to find the vein and it takes a long time to find it. Further, if the needle is removed before the tourniquet is released, blood squirts from the puncture portion, which causes anxiety to the patient and increases the patient's risk of infection. Thus, the order of each action becomes very important in the technique of collecting venous blood.
ところで、特許文献2には、看護動作のトレーニングに対して実際の看護に近い臨場感を継続して与えることのできる看護シミュレータが開示されている。 By the way, Patent Literature 2 discloses a nursing simulator that can continuously give a sense of reality close to actual nursing to nursing operation training.
しかしながら、前記特許文献2の看護シミュレータにあっては、看護者の患者に対する観察について評価するようになっており、行為の実施順が重要となる医療手技について、正確な手順で行われているか否かについての評価を行うものではない。 However, the nursing simulator of Patent Document 2 evaluates the observation of the nurse with respect to the patient, and whether or not the medical procedure in which the order of performing the actions is important is performed in an accurate procedure. It is not intended to be evaluated.
本発明は、以上の課題に着目して案出されたものであり、その目的は、訓練者が、複数の行為を順に行う医療手技について、自身が行った各行為の順序が正確か否かについて把握しながら訓練できる医療手技訓練システムを提供することにある。 The present invention has been devised by paying attention to the above problems, and the purpose of the present invention is to determine whether or not the order of each action performed by the trainer is correct for a medical technique in which a plurality of actions are performed in order. It is to provide a medical technique training system that can train while grasping about the above.
前記目的を達成するため、本発明は、主として、複数の行為を順に行う医療手技を訓練するための医療手技訓練システムであって、
訓練者が前記医療手技を行う人体模型と、訓練者が前記人体模型に対して前記医療手技を行う様子を撮像する撮像装置と、当該撮像装置で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者に認識させるための処理を行う処理装置とを備える、という構成を採っている。
In order to achieve the above object, the present invention is mainly a medical procedure training system for training a medical procedure for sequentially performing a plurality of actions,
When the captured image is acquired from the human body model where the trainee performs the medical procedure, the imaging device which captures how the trainer performs the medical procedure on the human body model, and the captured image acquired by the imaging device And a processing device that performs processing for recognizing whether or not the procedure is performed according to a predetermined accurate procedure.
本発明によれば、医療手技を構成する各行為の撮像画像により、現在の行為の種類が自動的に認識された後、当該行為が正確な順序か否かが自動的に判断されるため、その判断結果を訓練者に提示する等、訓練者に認識させることができ、訓練者は、自己の医療手技の実施手順が正確か否かを把握しながら訓練することができる。 According to the present invention, since the type of the current action is automatically recognized by the captured image of each action constituting the medical procedure, it is automatically determined whether or not the actions are in the correct order. The trainee can be made to recognize the judgment result by presenting it to the trainee, and the trainee can train while grasping whether or not the procedure for performing his / her medical procedure is accurate.
また、行為認識手段として、位置計測装置で計測された手の位置情報に基づいて撮像画像中の手の位置を特定し、当該手の位置から一定範囲での撮像画像の画像情報に基づき、当該撮像画像の取得時における行為の種類を特定する部分画像処理部を備えた構成を採用することにより、撮像画像のうち、明らかに使用しない領域を除いて絞り込んだ領域のみで、前記行為の種類を特定するための画像処理を行うことが可能になる。その結果、画像処理の高速化を図ることができ、一連の行為毎に、その行為が適切か否かの判定を迅速に行うことが可能になる。 Further, as the action recognition means, the position of the hand in the captured image is specified based on the position information of the hand measured by the position measuring device, and based on the image information of the captured image in a certain range from the position of the hand, By adopting a configuration that includes a partial image processing unit that identifies the type of action at the time of acquisition of the captured image, the type of the action is limited to only the area of the captured image that is narrowed down except the area that is not clearly used. Image processing for identification can be performed. As a result, it is possible to increase the speed of image processing, and for each series of actions, it is possible to quickly determine whether the action is appropriate.
更に、撮像装置として複数のカメラを利用し、行為認識手段として、カメラ毎の撮像画像について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を備えた構成によれば、性質、目的、使用器具等の異なる行為毎に特有となる画像処理やカメラ配置等をそれぞれ別個に行うことができる。このため、1台のカメラでこれら別個の処理を行った場合に比べ、処理時における複雑な切り替え等を必要とせずに、簡単な処理で各種行為の特定が可能になる。 In addition, a configuration is provided that includes a plurality of cameras as an imaging device, and as an action recognition means, performs a different image process on a captured image for each camera, and includes an overall image processing unit that identifies a different type of action for each image process. According to this, it is possible to separately perform image processing, camera arrangement, and the like that are specific to different actions such as properties, purposes, and appliances used. For this reason, compared with the case where these separate processes are performed by one camera, various actions can be identified by simple processes without requiring complicated switching at the time of processing.
また、判定手段として、行為毎に、次に行うべき適切な行為と、各行為の中から訓練者が誤り易い一部の行為のみとが予め設定され、特定された現在の行為が、前記誤り易い行為に該当する場合に、訓練者を適切な行為に導くための助言が提示される構成を採用した場合には、認識された現在の行為が、医療手技を構成する全ての行為に該当するか否かについて判定する必要がなく、当該判定を迅速且つ低処理負荷にて行うことができる。 In addition, as the determination means, for each action, an appropriate action to be performed next and only some of the actions that are easily mistaken by the trainer are set in advance. If a configuration is adopted in which advice is given to guide the trainer to an appropriate action when it falls under an easy action, the recognized current action falls under all actions that constitute the medical procedure It is not necessary to determine whether or not, and the determination can be performed quickly and with a low processing load.
以下、本発明の実施形態について図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1には、本実施形態に係る医療手技訓練システムの概略構成図が示されており、この図において、前記医療手技訓練システム10は、看護師等の訓練者Tが静脈血採血の手技を訓練するためのシステムである。ここで、静脈血採血の手技は、患者の上腕部にゴム製の駆血帯を装着する駆血帯装着行為と、指を使って患者の静脈の位置を確認する静脈位置確認行為と、穿刺部位付近の皮膚を消毒する消毒行為と、穿刺針を刺入する穿刺行為と、注射器等で採血を行う採血行為と、駆血帯を解除する駆血帯解除行為と、穿刺針を抜く抜去行為とからなり、これら7行為が順に行われる。
FIG. 1 shows a schematic configuration diagram of a medical technique training system according to the present embodiment. In this figure, the medical
この医療手技訓練システム10では、以下に詳述するように、訓練者Tが静脈血採血の手技訓練を行う際に、前述の7行為が正確な順序で行われているかを自動的に判定し、当該手順が誤っている場合に訓練者Tに助言を提示するようになっている。
In this medical
前記医療手技訓練システム10は、訓練者Tが手技を行う人体模型としての腕模型11と、訓練者Tの身体の各部位の位置を計測可能な位置計測装置12と、訓練者Tが腕模型11に対して手技を行う様子を撮像する撮像装置13と、撮像装置13で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者Tに認識させるための処理を行う処理装置14とを備えている。
The medical
前記腕模型11は、人間の片側の腕及び手を模擬した形状に設けられ、人間の皮膚の柔らかさを再現した軟性樹脂により形成されており、臨床で用いられる駆血帯、消毒用ガーゼ、及び注射針の使用が可能となっている。なお、腕模型11の前腕部11Aと上腕部11Bの間の肘上皮領域が、穿刺針が刺入される穿刺領域11Cとなる。
The
前記位置計測装置12は、訓練者Tの全身の動きを認識可能な位置に設けられており、腕模型11の傍に立って手技を行う訓練者Tの手を認識して、当該手の位置情報、すなわち、所定の基準座標系における3次元位置ベクトルを検出可能となっている。
The
なお、位置計測装置12としては、特に限定されるものではなく、カメラ、赤外線、磁気等を用いて訓練者Tの手の位置ベクトルを検出可能なモーションセンサ装置であれば何でも良く、本実施形態では、RGB−Dカメラや深度センサ等を用いた既存のモーションセンサが用いられる。
The
前記撮像装置13は、相互に別の行為の認識に用いられる3台の第1〜第3のカメラ13A、13B、13Cからなる。なお、撮像装置13を構成するカメラとしては、3台に限定されるものではなく、更に増減することもできる。
The
前記第1のカメラ13Aは、前記穿刺行為、前記採血行為、及び前記抜去行為の何れかを認識する目的で設けられており、それら行為時に使用される注射器を横から撮像できるように、穿刺領域11Cの上方空間を真横から撮像可能な位置に設置されている。
The
前記第2のカメラ13Bは、前記消毒行為を認識する目的で設けられており、穿刺領域11Cを俯瞰的に撮像可能な位置に設置されている。また、第2のカメラ13Bの近傍には、後述するように、消毒行為に使用するガーゼの色による認識を容易にする目的で、穿刺領域11Cに光を照射するLED照明16が設置されている。
The
前記第3のカメラ13Cは、前記駆血帯装着行為及び前記駆血帯解除行為を認識する目的で設けられており、駆血帯が装着される上腕部11Bを俯瞰的に撮像可能な位置に設置されている。
The
前記処理装置14は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。
The
この処理装置14は、位置計測装置12での計測結果と各カメラ13A〜13Cで取得された撮像画像とから、現時点の行為を認識するための各種処理を行う行為認識手段18と、行為認識手段18で認識された現時点の行為が適切か否かを判定する判定手段19とを備えている。
The
前記行為認識手段18は、第1〜第3のカメラ13A〜13C毎の撮像画像について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する第1、第2及び第3の処理部21、22、23と、位置計測装置12で計測された手の位置情報の経時的変化のみに基づいて、撮像画像の取得時における行為の種類を特定する位置情報処理部としての第4の処理部24とからなる。
The action recognition means 18 performs different image processing on the captured images of the first to
前記第1の処理部21は、位置計測装置12で計測された手の位置情報に基づいて第1のカメラ13Aで取得した撮像画像中の手の位置を特定し、当該手の位置から一定範囲での撮像画像の画像情報に基づき、次のようにして、前記撮像画像の取得時における行為の種類のうち、前記穿刺行為、前記採血行為、及び前記抜去行為を特定する部分画像処理部を構成する。ここでは、手の位置情報として、訓練者Tの手指領域の中心点の位置情報が用いられる。
The
先ず、位置計測装置12と第1のカメラ13Aとの相対的な位置及び姿勢の関係が一定で既知であることから、位置計測装置12で計測された基準座標系における手指領域の中心点の位置ベクトルが、第1のカメラ13Aの撮像画像における2次元のカメラ座標系の位置ベクトルに変換され、撮像画像中の手指領域の中心点の位置が特定される。
First, since the relationship between the relative position and orientation of the
次に、図2に示されるように、第1のカメラ13Aで得られた撮像画像Vのうち、手指領域の中心点Pより一定範囲の画像領域Aが、撮像関心領域(以下、「ROI」と称する。)として設定される。そして、このROIに対して次の画像処理を行うことにより、撮像画像Vに写った訓練者Tの行為が、前記穿刺行為、前記採血行為、及び前記抜去行為の何れかの行為に該当するかが認識される。
Next, as shown in FIG. 2, among the captured images V obtained by the
そこで、先ず、時系列の各フレームにおけるROIのフレーム間差分により、各フレーム間のROIにおいて動いている物体のみが抽出される。 Therefore, first, only an object moving in the ROI between the frames is extracted based on the inter-frame difference of the ROI in each frame in time series.
そして、予め記憶された複数種類の注射器の画像と、ROI内で抽出された動く物体の画像との間でテンプレートマッチングが行われ、第1のカメラ13Aで得られた撮像画像Vの中で、注射器Sの画像領域が特定され、当該注射器Sの位置が判明し、注射器Sの先端に取り付けられた穿刺針Nの撮像画像V上の位置が特定される。更に、第1のカメラ13A及び腕模型11は固定配置され、第1のカメラ13Aの撮像画像V中の腕模型11の位置姿勢は常時不変であるため、撮像画像Vにおいて一定時間連続するフレーム間(以下、単に、「連続フレーム間」と称する。)で、穿刺針Nが腕模型11の表面に接触すると判定されれば、これら撮像画像Vでは、訓練者Tにより穿刺行為が行われていると認識される。逆に、連続フレーム間で、穿刺針Nが腕模型11の表面から離れると判定されれば、これら撮像画像Vでは、訓練者Tにより抜去行為が行われていると認識される。また、前記テンプレートマッチングにより、連続フレーム間で、注射器Sのピストンが引かれていると判定されれば、これら撮像画像Vでは、訓練者Tにより採血行為が行われていると認識される。
Then, template matching is performed between the images of a plurality of types of syringes stored in advance and the images of moving objects extracted in the ROI, and in the captured image V obtained by the
なお、本実施形態では、静脈血採血として、注射器Sを用いた手技について説明しているが、真空採血管を利用した手技についても、同様の手法で穿刺行為、抜去行為及び採血行為の認識が可能となる。 In the present embodiment, the procedure using the syringe S is described as the venous blood collection, but the puncture act, the removal act, and the blood collection act are recognized by the same method for the procedure using the vacuum blood collection tube. It becomes possible.
以上の第1の処理部21では、画像処理対象を撮像画像全体ではなく、手指領域の中心点から一定範囲のROIのみとしたことにより、画像処理対象を撮像画像全体にするよりも、画像処理速度を向上させることができる。また、訓練者Tの手で注射器Sを保持していることから、当該注射器Sは、訓練者Tの手から一定範囲内に存在していることは明らかであり、その一定範囲をROIとすることで、撮像画像全体に対して前述のテンプレートマッチングを行うよりも、画像認識がし難い透明の注射器Sを特定できる確率が高くなり、より正確な行為判定に寄与できる。更に、位置計測装置12で検出された訓練者Tの手の位置情報を利用してROIを設定することにより、第1のカメラ13Aの画角を広くしたとき等において、テンプレートマッチングを用いて訓練者Tの手指領域を検出してROIを設定するよりも、短時間での検出が可能であり、また、手指領域を誤検出する可能性を低減できる。
In the
前記第2の処理部22では、第2のカメラ13Bで取得した撮像画像から、消毒用のガーゼの有無と位置を検出し、穿刺領域11C内での前記消毒行為を認識するための次の処理が行われる。
The
すなわち、ここでは、消毒行為に白色のガーゼが用いられることから、ガーゼの白色を検出し易くするように、第2のカメラ13Bで取得された撮像画像のコントラストを最大にした上で、当該撮像画像中にガーゼの白色の領域の有無が判別される。そして、当該白色領域がガーゼの存在領域とされ、第2のカメラ13Bのカメラ座標系におけるガーゼの位置が特定される。そして、当該カメラ座標系における穿刺領域11Cの位置は不変で既知であるから、これらカメラ座標系の位置から、穿刺領域11Cにガーゼが存在していると判定された場合に、訓練者Tにより消毒行為が行われていると認識される。
That is, here, since white gauze is used for the disinfection action, the contrast of the captured image acquired by the
前記第3の処理部23では、第3のカメラ13Cで取得した撮像画像から、駆血帯の有無を検出し、上腕部11Bに対する前記駆血帯装着行為及び前記駆血帯解除行為を認識するための次の処理が行われる。
The
すなわち、ここでは、第3のカメラ13Cで取得した撮像画像に対し2値化した2値化画像が生成される。そして、当該2値化画像と、予め記憶された2値化画像テンプレートとの間でテンプレートマッチングが行われ、駆血帯の有無が検出される。ここでの2値化テンプレートとしては、駆血帯が装着された状態の腕模型11において、駆血帯の装着状態等の態様の異なる2値化画像からなる複数のテンプレートと、駆血帯が装着されていない状態の腕模型11の2値化画像からなるテンプレートとが予め記憶されている。そこで、前記連続フレーム間で、駆血帯が無い状態から存在する状態に変化したと判定された場合には、訓練者Tにより駆血帯装着行為が行われていると認識される。逆に、駆血帯が存在する状態から無い状態に変化したと判定された場合には、訓練者Tにより前記駆血帯解除行為が行われていると認識される。
That is, here, a binarized image is generated by binarizing the captured image acquired by the
以上の第2及び第3の処理部22,23は、カメラ13B,13C毎の撮像画像全体について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を構成する。
The second and
前記第4の処理部24では、位置計測装置12で検出された訓練者Tの指先の位置情報と、位置が不変となっている穿刺領域11Cの基準座標系における位置情報とから、前記静脈位置確認行為を認識するための次の処理が行われる。
The
すなわち、ここでは、前記指先の位置情報が穿刺領域11C内で経時的に移動していると判定された場合には、静脈位置確認行為が行われていると認識される。
That is, here, when it is determined that the position information of the fingertip has moved with time in the
前記判定手段19では、次のようにして、現時点の行為が適切か否かを判定し、現時点で不適切な行為がなされたと判定された場合に、不適切な行為を改めるように訓練者Tに促し、訓練者Tを適切な行為に導くための助言が提示される。なお、ここでの提示は、特に限定されるものではないが、図示しないスピーカを通じた音声やディスプレイを通じた文字等により行われる。 The determination means 19 determines whether or not the current action is appropriate as follows, and if it is determined that an inappropriate action has been made at the present time, the trainer T And advice to guide the trainer T to the appropriate action is presented. Here, the presentation is not particularly limited, but is performed by voice through a speaker (not shown), characters through a display, or the like.
この判定手段19では、図3のフローチャートに示される静脈血採血の手技の正しい手順が予め記憶され、この正しい手順に基づいて現時点の行為の適否が判断される。この正しい手順としては、手技開始後、第1手順として駆血帯装着行為が行われ、第2手順として静脈位置確認行為が行われ、第3手順として消毒行為が行われ、第4手順として穿刺行為が行われ、第5手順として採血行為が行われ、第6手順として駆血帯解除行為が行われ、第7手順として穿刺針の抜去行為が行われ、手技が終了する。 In this determination means 19, the correct procedure of the venous blood sampling procedure shown in the flowchart of FIG. 3 is stored in advance, and the suitability of the current action is determined based on this correct procedure. As a correct procedure, after starting the procedure, a tourniquet wearing action is performed as the first procedure, a vein position confirmation act is performed as the second procedure, a disinfection act is performed as the third procedure, and a puncture is performed as the fourth procedure. The act is performed, the blood collecting action is performed as the fifth procedure, the tourniquet releasing action is performed as the sixth procedure, the puncture needle is removed as the seventh procedure, and the procedure is finished.
そして、判定手段19では、図4のフローチャートに沿った処理が行われる。この処理では、行為毎に、次に行うべき適切な行為と、各行為の中から訓練者Tが誤り易い行為のみとが予め設定され、行為認識手段18で認識された現在の行為が、予め絞り込まれた誤り易い行為に該当する場合に、訓練者Tを適切な行為に導くための助言が提示される。 And in the determination means 19, the process along the flowchart of FIG. 4 is performed. In this process, for each action, an appropriate action to be performed next and only an action that the trainer T is likely to make an error from among the actions are set in advance, and the current action recognized by the action recognition means 18 is determined in advance. In the case of a narrowed action that is likely to be mistaken, advice for guiding the trainer T to an appropriate action is presented.
すなわち、先ず、訓練者T等により手技の開始が入力されると、その直後に第1手順である駆血帯装着行為が行われているか否かが判定される(ステップS101)。このステップS101では、駆血帯装着行為の認識を行う第3の処理部23での処理を指令し、駆血帯装着行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、駆血帯装着行為が認識されない場合には、第1手順よりも先に第2手順である静脈位置確認行為が行われているか否かが判定される(ステップS102)。このステップS102では、静脈位置確認行為の認識を行う第4の処理部24での処理を指令し、静脈位置確認行為が認識された場合に、不適切な手順と判定され、助言のためのメッセージ(以下、「助言メッセージ」と称する。)が提示され(ステップS103)、訓練者Tによる行為修正に足りる一定時間後に再びステップ101の処理が行われる。ここでの助言メッセージとしては、例えば、「駆血帯をセットして下さい」等のメッセージが挙げられる。また、ここでの処理により、駆血帯装着行為も静脈位置確認行為も認識されない場合は、エラーメッセージが提示され(ステップS201)、全処理が終了する。ここでのエラーメッセージとしては、例えば、「正しい手順を復習し、最初からやり直して下さい」等が挙げられる。
That is, first, when the start of the procedure is input by the trainer T or the like, it is determined immediately after that whether or not the tourniquet wearing action as the first procedure is being performed (step S101). In this step S101, when the
前記ステップS101にて、第1手順である駆血帯装着行為が正しく行われたと判断された後に、第2手順である静脈位置確認行為が行われているか否かが判定される(ステップS104)。このステップS104では、静脈位置確認行為の認識を行う第4の処理部24での処理を指令し、静脈位置確認行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、静脈位置確認行為が認識されない場合には、第2手順よりも先に第3手順である消毒行為が行われているか否かが判定される(ステップS105)。このステップS105では、消毒行為の認識を行う第2の処理部22での処理を指令し、消毒行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され(ステップS106)、訓練者Tによる行為修正に足りる一定時間後に再びステップ104の処理が行われる。ここでの助言メッセージとしては、例えば、「静脈位置を確認して下さい」等のメッセージが挙げられる。また、ここでの処理により、静脈位置確認行為も消毒行為も認識されない場合は、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
In step S101, after it is determined that the tourniquet wearing action as the first procedure is correctly performed, it is determined whether or not the vein position confirming action as the second procedure is performed (step S104). . In this step S104, when the processing in the
前記ステップS104にて、第2手順である静脈位置確認行為が正しく行われたと判断された後、第3手順である消毒行為が行われているか否かが判定される(ステップS107)。このステップS107では、消毒行為の認識を行う第2の処理部22での処理を指令し、消毒行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、消毒行為が認識されない場合には、第3手順よりも先に第4手順である穿刺行為が行われているか否かが判定される(ステップS108)。このステップS108では、穿刺行為の認識を行う第1の処理部21での処理を指令し、穿刺行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され(ステップS109)、訓練者Tによる行為修正に足りる一定時間後に再びステップ107の処理が行われる。ここでの助言メッセージとしては、例えば、「感染症を起こす可能性があります」等のメッセージが挙げられる。また、ここでの処理により、消毒行為も穿刺行為も認識されない場合は、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
After it is determined in step S104 that the vein position confirmation act as the second procedure has been correctly performed, it is determined whether or not the disinfection act as the third procedure has been performed (step S107). In step S107, a process in the
前記ステップS107にて、第3手順である消毒行為が正しく行われたと判断された後、第4手順である穿刺行為が行われているか否かが判定される(ステップS110)。このステップS110では、穿刺行為の認識を行う第1の処理部21での処理を指令し、穿刺行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、穿刺行為が認識されない場合には、第2手順である静脈位置確認行為が再び行われているか否かが判定される(ステップS111)。このステップS111では、静脈位置確認行為の認識を行う第4の処理部24での処理を指令し、静脈位置確認行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され(ステップS112)、訓練者Tによる行為修正に足りる一定時間後に再びステップ110の処理が行われる。ここでの助言メッセージとしては、例えば、「感染症を起こす可能性があります」等のメッセージが挙げられる。また、ここでの処理により、穿刺行為も静脈位置確認行為も認識されない場合は、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
After it is determined in step S107 that the sterilization action as the third procedure has been correctly performed, it is determined whether or not the puncture action as the fourth procedure is being performed (step S110). In this step S110, the process in the
前記ステップS110にて、第4手順である穿刺行為が正しく行われたと判断された後、第5手順である採血行為が行われているか否かが判定される(ステップS113)。このステップS113では、採血行為の認識を行う第1の処理部21での処理を指令し、採血行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、採血行為が認識されない場合には、第5手順よりも先に第6手順である駆血帯解除行為が行われているか否かが判定される(ステップS114)。このステップS114では、駆血帯解除行為の認識を行う第3の処理部23での処理を指令し、駆血帯解除行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され(ステップS115)、訓練者Tによる行為修正に足りる一定時間後に再びステップ113の処理が行われる。ここでの助言メッセージとしては、例えば、「採血困難です」等のメッセージが挙げられる。また、ここでの処理により、採血行為も駆血帯解除行為も認識されない場合は、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
In step S110, after it is determined that the puncture action as the fourth procedure has been correctly performed, it is determined whether or not the blood collection action as the fifth procedure is being performed (step S113). In this step S113, the process in the
前記ステップS113にて、第5手順である採血行為が正しく行われたと判断された後、第6手順である駆血帯解除行為が行われているか否かが判定される(ステップS116)。このステップS116では、駆血帯解除行為の認識を行う第3の処理部23での処理を指令し、駆血帯解除行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、駆血帯解除行為が認識されない場合には、第6手順よりも先に第7手順である穿刺針の抜去行為が行われているか否かが判定される(ステップS117)。このステップS117では、抜去行為の認識を行う第1の処理部21での処理を指令し、当該抜去行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され(ステップS118)、訓練者Tによる行為修正に足りる一定時間後に再びステップ116の処理が行われる。ここでの助言メッセージとしては、例えば、「針を抜くと血液が噴出します」等のメッセージが挙げられる。また、ここでの処理により、駆血帯解除行為も抜去行為も認識されない場合は、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
In step S113, after it is determined that the blood sampling action as the fifth procedure has been performed correctly, it is determined whether or not the tourniquet releasing action as the sixth procedure has been performed (step S116). In step S116, when the
前記ステップS116にて、第6手順である駆血帯解除行為が正しく行われたと判断された後、第7手順である抜去行為が行われているか否かが判定される(ステップS119)。このステップS119では、抜去行為の認識を行う第1の処理部21での処理が指令され、当該抜去行為が認識された場合に、適切な手順と判定され、全処理が終了する。その一方、抜去行為が認識されない場合には、前述と同様のエラーメッセージが提示され(ステップS201)、全処理が終了する。
After it is determined in step S116 that the tourniquet release action as the sixth procedure has been correctly performed, it is determined whether or not the removal action as the seventh procedure has been performed (step S119). In this step S119, when the process in the
なお、前記各ステップでの処理において、エラーメッセージが提示される場合には、助言メッセージが提示される場合と同様に、訓練者Tによる行為修正に足りる一定時間後に再び当該ステップの処理を行えるようにしても良い。また、助言メッセージが提示された場合も、続いてエラーメッセージが提示され、全ての処理が終了するようにしても良い。 In the process at each step, when an error message is presented, the process at the step can be performed again after a certain time period sufficient for the action correction by the trainer T, as in the case where the advice message is presented. Anyway. Also, when an advice message is presented, an error message may be subsequently presented, and all processing may be terminated.
従って、以上の実施形態によれば、各行為の適否判断に用いるためのカメラ13A〜13Cを複数台設け、得られた撮像画像について異なる画像処理が行われるため、例えば、第2の処理部22で白色のガーゼを検出するために、第2のカメラ13Bに赤外線フィルタを設ける等、カメラ毎にその検出対象に合わせた配置や設定を行うことができる。
Therefore, according to the above embodiment, a plurality of
また、各手順での適切な行為の判断に際し、前の行為に続いて行われる可能性の高い1つ若しくは2つの行為についての認識処理に絞り込んでおり、第1〜第4の処理部21〜24での処理を常時全て行う必要がないため、各手順で行為の適否判断をスピーディー且つ低処理負荷にて行うことができる。
Further, when determining an appropriate action in each procedure, the recognition process for one or two actions that are likely to be performed following the previous action is narrowed down to the first to
なお、前記実施形態では、医療手技訓練システム10として、看護師等の訓練者が静脈血採血の手技を訓練するシステムとして構成したが、本発明はこれに限らず、対象を変えた同様の処理に基づいて、複数の行為を順に行う医療手技の訓練システムに適用することもできる。
In the above-described embodiment, the medical
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.
10 医療手技訓練システム
11 腕模型(人体模型)
12 位置計測装置
13 撮像装置
13A 第1のカメラ
13B 第2のカメラ
13C 第3のカメラ
14 処理装置
18 行為認識手段
19 判定手段
21 第1の処理部(部分画像処理部)
22 第2の処理部(全体画像処理部)
23 第3の処理部(全体画像処理部)
24 第4の処理部(位置情報処理部)
T 訓練者
10 Medical
DESCRIPTION OF
22 Second processing unit (overall image processing unit)
23 Third processing unit (overall image processing unit)
24 4th processing part (position information processing part)
T trainer
Claims (7)
訓練者が前記医療手技を行う人体模型と、訓練者が前記人体模型に対して前記医療手技を行う様子を撮像する撮像装置と、当該撮像装置で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者に認識させるための処理を行う処理装置とを備えたことを特徴とする医療手技訓練システム。 A medical technique training system for training a medical technique for sequentially performing a plurality of actions,
When the captured image is acquired from the human body model where the trainee performs the medical procedure, the imaging device which captures how the trainer performs the medical procedure on the human body model, and the captured image acquired by the imaging device A medical procedure training characterized by comprising a processing device for identifying a type of act in the patient and performing a process for allowing the trainee to recognize whether or not the procedure is performed with a predetermined accurate procedure system.
前記処理装置は、前記位置計測装置での計測結果と前記撮像画像とから、現時点の行為を認識する行為認識手段を含み、
前記行為認識手段は、前記位置計測装置で計測された手の位置情報に基づいて前記撮像画像中の手の位置を特定し、当該手の位置から一定範囲での前記撮像画像の画像情報に基づき、前記撮像画像の取得時における行為の種類を特定する部分画像処理部を備えたことを特徴とする請求項1記載の医療手技訓練システム。 Further comprising a position measuring device for measuring the position of a trainee's hand when performing the medical procedure,
The processing device includes an action recognition unit that recognizes a current action from the measurement result of the position measurement device and the captured image.
The action recognition means identifies the position of the hand in the captured image based on the position information of the hand measured by the position measuring device, and based on the image information of the captured image within a certain range from the position of the hand. The medical technique training system according to claim 1, further comprising a partial image processing unit that identifies a type of action at the time of acquiring the captured image.
前記行為認識手段は、前記カメラ毎の前記撮像画像全体について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を更に備えたことを特徴とする請求項2記載の医療手技訓練システム。 The imaging device comprises a plurality of cameras provided for recognition of different actions,
The said action recognition means is further provided with the whole image process part which performs different image processing about the said whole captured image for every said camera, and pinpoints the kind of action different for every said image processing. Medical technique training system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167581A JP2018036351A (en) | 2016-08-30 | 2016-08-30 | Medical care procedure training system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167581A JP2018036351A (en) | 2016-08-30 | 2016-08-30 | Medical care procedure training system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018036351A true JP2018036351A (en) | 2018-03-08 |
Family
ID=61567401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167581A Pending JP2018036351A (en) | 2016-08-30 | 2016-08-30 | Medical care procedure training system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018036351A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188908A1 (en) * | 2018-03-28 | 2019-10-03 | 富士フイルム株式会社 | Specimen acquisition information management device, specimen acquisition information management system, and specimen acquisition information management method |
KR102298505B1 (en) * | 2020-06-09 | 2021-09-03 | 강릉원주대학교산학협력단 | Apparatus and method of intravenous injection performance evaluation |
KR20220103213A (en) * | 2021-01-14 | 2022-07-22 | 동명대학교산학협력단 | virtual reality-based self-directed practice program for medication education on nursing |
-
2016
- 2016-08-30 JP JP2016167581A patent/JP2018036351A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188908A1 (en) * | 2018-03-28 | 2019-10-03 | 富士フイルム株式会社 | Specimen acquisition information management device, specimen acquisition information management system, and specimen acquisition information management method |
US20210010998A1 (en) * | 2018-03-28 | 2021-01-14 | Fujifilm Corporation | Sample acquisition information management device, sample acquisition information management system, and sample acquisition information management method |
JPWO2019188908A1 (en) * | 2018-03-28 | 2021-03-18 | 富士フイルム株式会社 | Specimen acquisition information management device, sample acquisition information management system and sample acquisition information management method |
JP7125980B2 (en) | 2018-03-28 | 2022-08-25 | 富士フイルム株式会社 | Specimen Acquisition Information Management Device, Specimen Acquisition Information Management System, and Specimen Acquisition Information Management Method |
KR102298505B1 (en) * | 2020-06-09 | 2021-09-03 | 강릉원주대학교산학협력단 | Apparatus and method of intravenous injection performance evaluation |
KR20220103213A (en) * | 2021-01-14 | 2022-07-22 | 동명대학교산학협력단 | virtual reality-based self-directed practice program for medication education on nursing |
KR102434159B1 (en) | 2021-01-14 | 2022-08-19 | 동명대학교산학협력단 | virtual reality-based self-directed practice program for medication education on nursing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101302595B1 (en) | System and method for predict to surgery progress step | |
US9710920B2 (en) | Motion information processing device | |
JP6334925B2 (en) | Motion information processing apparatus and method | |
CN104856649B (en) | It is a kind of that the device with puncture vessel is identified by infrared imaging and pressure change | |
US11355232B2 (en) | Automated personnel identification and location, and automated procedure monitoring | |
US20170076042A1 (en) | Method and system for monitoring activity of an individual | |
JP7005305B2 (en) | Use of infrared light absorption for vein detection and patient identification | |
JP2018036351A (en) | Medical care procedure training system | |
CN111369879A (en) | Central venous puncture intelligent training method and system | |
US20240212836A1 (en) | Medical devices, methods and systems for monitoring the medical devices | |
Brewer | Improving peripheral iv catheterization through robotics: From simple assistive devices to a fully-autonomous system | |
KR102354629B1 (en) | An apparatus for wound management and operations thereof | |
CN110638524B (en) | Tumor puncture real-time simulation system based on VR glasses | |
KR101716352B1 (en) | Method and apparatus for guiding adjust position for sensing terminal | |
KR101383060B1 (en) | Method, apparatus and system for automatic control of infusor | |
JP6481622B2 (en) | Palpation support device, palpation support method, and palpation support program | |
EP3598933A1 (en) | Monitoring swallowing in a subject | |
KR102246966B1 (en) | Method for Recognizing Object Target of Body | |
CN104739370A (en) | Electronic device with blood vessel identifying and positioning functions and blood vessel identifying and positioning method | |
CN112739257A (en) | Apparatus, system, and method for providing a skeletal model | |
JP2015159912A (en) | Program, device and method for suppressing extraction of infusion needle | |
KR20200002076A (en) | Method and beam projector for seeing through blood vessel using smartphone | |
EP4035644B1 (en) | Acupuncture or optical stimulation system | |
CN215954322U (en) | Finger vein image acquisition and recognition system | |
CN211698992U (en) | Multi-angle vein collection equipment |