JP2018036351A - Medical care procedure training system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a medical care procedure training system which allows a trainer to perform a training while grasping whether or not, an order of each behavior which the trainer performed, in a medical care procedure in which the trainer performs plural behaviors in order.SOLUTION: A medical care procedure training system 10 of the invention comprises: a human phantom 11 by which a trainer T performs a medical care procedure; a position measurement device 12 for measuring positions of hands of the trainer T when the trainer performs the medical care procedure; an imaging device 13 for imaging a state in which the trainer T performs the medical care procedure to the human phantom 11; and a processor 14 for, based on a measurement result of the position measurement device 12 and a picked up image acquired by the imaging device 13, identifying a kind of a behavior when the picked up image is acquired, and performing processing for allowing the trainer T to recognize whether or not, the procedure is performed in a predetermined correct order.SELECTED DRAWING: Figure 1

Description

本発明は、医療従事者や学生等が、複数の行為を順に行う医療手技を訓練する際に、当該行為の正確な手順の習得に寄与する医療手技訓練システムに関する。   The present invention relates to a medical technique training system that contributes to the acquisition of an accurate procedure of an action when a medical worker, a student, or the like trains a medical technique that sequentially performs a plurality of actions.

看護師が健康診断の被検者や患者等に対して行う静脈血採血は、看護において最も基礎的な医療手技の一つであるが、不適切な手技は、患者等の苦痛を増大させるだけではなく、感染症等の合併を引き起こす恐れがあり、看護師は、十分な訓練によって正しい手技を習得する必要がある。近年、注射手技の訓練を行う場合、患者や健常ボランティアの協力の下に行われる臨床での実地訓練に代わって、シミュレータと呼ばれる模型（例えば、特許文献１参照）を用いた訓練が普及している。このシミュレータによる訓練は、安全面及び倫理面での問題が少ない反面、人間のように痛みに反応する機能が無いため、訓練者へのフィードバックが乏しいという欠点がある。   Venous blood collection performed by nurses on patients and patients undergoing medical checkups is one of the most basic medical procedures in nursing, but improper procedures only increase patient pain. However, there is a risk of complications such as infectious diseases, and nurses need to acquire the correct technique through sufficient training. In recent years, when performing injection technique training, training using a model called a simulator (see, for example, Patent Document 1) has been widely used in place of clinical on-site training performed in cooperation with patients and healthy volunteers. Yes. The training by the simulator has few safety and ethical problems, but has a defect that feedback to the trainer is scarce because there is no function to respond to pain like a human being.

ところで、一般的な静脈血採血の手技としては、注射器等を用いて肘正皮静脈から静脈血を採取する手技があり、この手技は、患者の上腕部へのゴム製の駆血帯の装着に始まり、指を使った静脈の位置確認、穿刺領域付近の皮膚の消毒、穿刺、採血、駆血帯の解除、針の抜去の順に行われる。これら各行為は、この順序で実行される必要があり、当該順序を誤ると患者の苦痛や合併症のリスクが増大する。例えば、駆血帯を巻き付ける前に静脈位置の確認を行うと、静脈の発見が困難になり発見までに多くの時間を要することになる。また、駆血帯の解除前に針の抜去を行うと、穿刺部分から血液が噴き出し、患者に不安を与え、また、患者の感染症のリスクを増大させる。このように、静脈血採血の手技においては、各行為の順序が非常に重要になる。   By the way, as a general technique for collecting venous blood, there is a technique for collecting venous blood from the dermis vein using a syringe or the like, and this technique involves attaching a rubber tourniquet to the upper arm of a patient. First, the position of the vein using the finger is checked, the skin in the vicinity of the puncture area is disinfected, puncture, blood sampling, tourniquet release, and needle removal are performed in this order. Each of these actions needs to be performed in this order, which can increase patient risk of pain and complications. For example, if the vein position is confirmed before the tourniquet is wound, it becomes difficult to find the vein and it takes a long time to find it. Further, if the needle is removed before the tourniquet is released, blood squirts from the puncture portion, which causes anxiety to the patient and increases the patient's risk of infection. Thus, the order of each action becomes very important in the technique of collecting venous blood.

ところで、特許文献２には、看護動作のトレーニングに対して実際の看護に近い臨場感を継続して与えることのできる看護シミュレータが開示されている。   By the way, Patent Literature 2 discloses a nursing simulator that can continuously give a sense of reality close to actual nursing to nursing operation training.

特開２００２−３２５８３９号公報JP 2002-325839 A 特開２００８−２４２３３１号公報JP 2008-242331 A

しかしながら、前記特許文献２の看護シミュレータにあっては、看護者の患者に対する観察について評価するようになっており、行為の実施順が重要となる医療手技について、正確な手順で行われているか否かについての評価を行うものではない。   However, the nursing simulator of Patent Document 2 evaluates the observation of the nurse with respect to the patient, and whether or not the medical procedure in which the order of performing the actions is important is performed in an accurate procedure. It is not intended to be evaluated.

本発明は、以上の課題に着目して案出されたものであり、その目的は、訓練者が、複数の行為を順に行う医療手技について、自身が行った各行為の順序が正確か否かについて把握しながら訓練できる医療手技訓練システムを提供することにある。   The present invention has been devised by paying attention to the above problems, and the purpose of the present invention is to determine whether or not the order of each action performed by the trainer is correct for a medical technique in which a plurality of actions are performed in order. It is to provide a medical technique training system that can train while grasping about the above.

前記目的を達成するため、本発明は、主として、複数の行為を順に行う医療手技を訓練するための医療手技訓練システムであって、
訓練者が前記医療手技を行う人体模型と、訓練者が前記人体模型に対して前記医療手技を行う様子を撮像する撮像装置と、当該撮像装置で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者に認識させるための処理を行う処理装置とを備える、という構成を採っている。 In order to achieve the above object, the present invention is mainly a medical procedure training system for training a medical procedure for sequentially performing a plurality of actions,
When the captured image is acquired from the human body model where the trainee performs the medical procedure, the imaging device which captures how the trainer performs the medical procedure on the human body model, and the captured image acquired by the imaging device And a processing device that performs processing for recognizing whether or not the procedure is performed according to a predetermined accurate procedure.

本発明によれば、医療手技を構成する各行為の撮像画像により、現在の行為の種類が自動的に認識された後、当該行為が正確な順序か否かが自動的に判断されるため、その判断結果を訓練者に提示する等、訓練者に認識させることができ、訓練者は、自己の医療手技の実施手順が正確か否かを把握しながら訓練することができる。   According to the present invention, since the type of the current action is automatically recognized by the captured image of each action constituting the medical procedure, it is automatically determined whether or not the actions are in the correct order. The trainee can be made to recognize the judgment result by presenting it to the trainee, and the trainee can train while grasping whether or not the procedure for performing his / her medical procedure is accurate.

また、行為認識手段として、位置計測装置で計測された手の位置情報に基づいて撮像画像中の手の位置を特定し、当該手の位置から一定範囲での撮像画像の画像情報に基づき、当該撮像画像の取得時における行為の種類を特定する部分画像処理部を備えた構成を採用することにより、撮像画像のうち、明らかに使用しない領域を除いて絞り込んだ領域のみで、前記行為の種類を特定するための画像処理を行うことが可能になる。その結果、画像処理の高速化を図ることができ、一連の行為毎に、その行為が適切か否かの判定を迅速に行うことが可能になる。   Further, as the action recognition means, the position of the hand in the captured image is specified based on the position information of the hand measured by the position measuring device, and based on the image information of the captured image in a certain range from the position of the hand, By adopting a configuration that includes a partial image processing unit that identifies the type of action at the time of acquisition of the captured image, the type of the action is limited to only the area of the captured image that is narrowed down except the area that is not clearly used. Image processing for identification can be performed. As a result, it is possible to increase the speed of image processing, and for each series of actions, it is possible to quickly determine whether the action is appropriate.

更に、撮像装置として複数のカメラを利用し、行為認識手段として、カメラ毎の撮像画像について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を備えた構成によれば、性質、目的、使用器具等の異なる行為毎に特有となる画像処理やカメラ配置等をそれぞれ別個に行うことができる。このため、１台のカメラでこれら別個の処理を行った場合に比べ、処理時における複雑な切り替え等を必要とせずに、簡単な処理で各種行為の特定が可能になる。   In addition, a configuration is provided that includes a plurality of cameras as an imaging device, and as an action recognition means, performs a different image process on a captured image for each camera, and includes an overall image processing unit that identifies a different type of action for each image process. According to this, it is possible to separately perform image processing, camera arrangement, and the like that are specific to different actions such as properties, purposes, and appliances used. For this reason, compared with the case where these separate processes are performed by one camera, various actions can be identified by simple processes without requiring complicated switching at the time of processing.

また、判定手段として、行為毎に、次に行うべき適切な行為と、各行為の中から訓練者が誤り易い一部の行為のみとが予め設定され、特定された現在の行為が、前記誤り易い行為に該当する場合に、訓練者を適切な行為に導くための助言が提示される構成を採用した場合には、認識された現在の行為が、医療手技を構成する全ての行為に該当するか否かについて判定する必要がなく、当該判定を迅速且つ低処理負荷にて行うことができる。   In addition, as the determination means, for each action, an appropriate action to be performed next and only some of the actions that are easily mistaken by the trainer are set in advance. If a configuration is adopted in which advice is given to guide the trainer to an appropriate action when it falls under an easy action, the recognized current action falls under all actions that constitute the medical procedure It is not necessary to determine whether or not, and the determination can be performed quickly and with a low processing load.

本実施形態に係る医療手技訓練システムの概略構成図。The schematic block diagram of the medical technique training system which concerns on this embodiment. 撮像関心領域（ＲＯＩ）を説明するために模式的に表した撮像画像の図。The figure of the captured image typically expressed in order to demonstrate an imaging region of interest (ROI). システムに記憶される静脈血採血の手技手順を表すフローチャート。The flowchart showing the procedure procedure of the venous blood collection memorize | stored in a system. 処理装置での処理手順を表すフローチャート。The flowchart showing the process sequence in a processing apparatus.

以下、本発明の実施形態について図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１には、本実施形態に係る医療手技訓練システムの概略構成図が示されており、この図において、前記医療手技訓練システム１０は、看護師等の訓練者Ｔが静脈血採血の手技を訓練するためのシステムである。ここで、静脈血採血の手技は、患者の上腕部にゴム製の駆血帯を装着する駆血帯装着行為と、指を使って患者の静脈の位置を確認する静脈位置確認行為と、穿刺部位付近の皮膚を消毒する消毒行為と、穿刺針を刺入する穿刺行為と、注射器等で採血を行う採血行為と、駆血帯を解除する駆血帯解除行為と、穿刺針を抜く抜去行為とからなり、これら７行為が順に行われる。   FIG. 1 shows a schematic configuration diagram of a medical technique training system according to the present embodiment. In this figure, the medical technique training system 10 is used by a trainer T such as a nurse to perform a technique for collecting venous blood. It is a system for training. Here, venous blood sampling techniques include a tourniquet wearing act of wearing a rubber tourniquet on the patient's upper arm, a vein location checking act of checking the position of the patient's vein using a finger, and a puncture Disinfection action to disinfect the skin near the site, puncture action to insert a puncture needle, blood collection action to collect blood with a syringe, etc., tourniquet release action to release the tourniquet, and removal action to remove the puncture needle These seven actions are performed in order.

この医療手技訓練システム１０では、以下に詳述するように、訓練者Ｔが静脈血採血の手技訓練を行う際に、前述の７行為が正確な順序で行われているかを自動的に判定し、当該手順が誤っている場合に訓練者Ｔに助言を提示するようになっている。   In this medical technique training system 10, as will be described in detail below, when the trainer T performs a venous blood sampling technique training, it automatically determines whether the above seven actions are performed in the correct order. If the procedure is wrong, advice is given to the trainer T.

前記医療手技訓練システム１０は、訓練者Ｔが手技を行う人体模型としての腕模型１１と、訓練者Ｔの身体の各部位の位置を計測可能な位置計測装置１２と、訓練者Ｔが腕模型１１に対して手技を行う様子を撮像する撮像装置１３と、撮像装置１３で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者Ｔに認識させるための処理を行う処理装置１４とを備えている。   The medical technique training system 10 includes an arm model 11 as a human body model on which the trainer T performs a procedure, a position measuring device 12 capable of measuring the position of each part of the body of the trainer T, and the trainer T using the arm model. 11, the type of action at the time of acquisition of the captured image is identified from the imaging device 13 that captures the state of performing the procedure on the imaging device 11 and the captured image acquired by the imaging device 13, and the procedure is performed according to a predetermined accurate procedure. And a processing device 14 that performs processing for causing the trainer T to recognize whether or not the training is being performed.

前記腕模型１１は、人間の片側の腕及び手を模擬した形状に設けられ、人間の皮膚の柔らかさを再現した軟性樹脂により形成されており、臨床で用いられる駆血帯、消毒用ガーゼ、及び注射針の使用が可能となっている。なお、腕模型１１の前腕部１１Ａと上腕部１１Ｂの間の肘上皮領域が、穿刺針が刺入される穿刺領域１１Ｃとなる。   The arm model 11 is provided in a shape simulating a human arm and hand, and is formed of a soft resin that reproduces the softness of human skin. A tourniquet used in clinical practice, a sanitizing gauze, And the use of an injection needle is possible. Note that the elbow epithelial region between the forearm portion 11A and the upper arm portion 11B of the arm model 11 is a puncture region 11C into which the puncture needle is inserted.

前記位置計測装置１２は、訓練者Ｔの全身の動きを認識可能な位置に設けられており、腕模型１１の傍に立って手技を行う訓練者Ｔの手を認識して、当該手の位置情報、すなわち、所定の基準座標系における３次元位置ベクトルを検出可能となっている。   The position measuring device 12 is provided at a position where the movement of the entire body of the trainee T can be recognized. The position measuring device 12 recognizes the hand of the trainer T performing a procedure while standing by the arm model 11, and the position of the hand. Information, that is, a three-dimensional position vector in a predetermined reference coordinate system can be detected.

なお、位置計測装置１２としては、特に限定されるものではなく、カメラ、赤外線、磁気等を用いて訓練者Ｔの手の位置ベクトルを検出可能なモーションセンサ装置であれば何でも良く、本実施形態では、ＲＧＢ−Ｄカメラや深度センサ等を用いた既存のモーションセンサが用いられる。   The position measuring device 12 is not particularly limited and may be any motion sensor device that can detect the position vector of the hand of the trainee T using a camera, infrared rays, magnetism, or the like. Then, an existing motion sensor using an RGB-D camera, a depth sensor, or the like is used.

前記撮像装置１３は、相互に別の行為の認識に用いられる３台の第１〜第３のカメラ１３Ａ、１３Ｂ、１３Ｃからなる。なお、撮像装置１３を構成するカメラとしては、３台に限定されるものではなく、更に増減することもできる。   The imaging device 13 includes three first to third cameras 13A, 13B, and 13C that are used for recognizing different actions. In addition, as a camera which comprises the imaging device 13, it is not limited to 3 units | sets, It can also increase / decrease further.

前記第１のカメラ１３Ａは、前記穿刺行為、前記採血行為、及び前記抜去行為の何れかを認識する目的で設けられており、それら行為時に使用される注射器を横から撮像できるように、穿刺領域１１Ｃの上方空間を真横から撮像可能な位置に設置されている。   The first camera 13A is provided for the purpose of recognizing any of the puncture action, the blood collection action, and the removal action, and the puncture area is used so that the syringe used at the time can be imaged from the side. It is installed at a position where the upper space of 11C can be imaged from the side.

前記第２のカメラ１３Ｂは、前記消毒行為を認識する目的で設けられており、穿刺領域１１Ｃを俯瞰的に撮像可能な位置に設置されている。また、第２のカメラ１３Ｂの近傍には、後述するように、消毒行為に使用するガーゼの色による認識を容易にする目的で、穿刺領域１１Ｃに光を照射するＬＥＤ照明１６が設置されている。   The second camera 13B is provided for the purpose of recognizing the disinfecting action, and is installed at a position where the puncture region 11C can be imaged in a bird's-eye view. In addition, as will be described later, an LED illumination 16 that irradiates light to the puncture region 11C is installed in the vicinity of the second camera 13B for the purpose of facilitating recognition by the color of the gauze used for disinfection. .

前記第３のカメラ１３Ｃは、前記駆血帯装着行為及び前記駆血帯解除行為を認識する目的で設けられており、駆血帯が装着される上腕部１１Ｂを俯瞰的に撮像可能な位置に設置されている。   The third camera 13C is provided for the purpose of recognizing the tourniquet attaching action and the tourniquet releasing action, and is in a position where the upper arm portion 11B to which the tourniquet is attached can be imaged in a bird's-eye view. is set up.

前記処理装置１４は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。   The processing device 14 is configured by a computer including an arithmetic processing device such as a CPU and a storage device such as a memory and a hard disk, and a program for causing the computer to function as the following units is installed.

この処理装置１４は、位置計測装置１２での計測結果と各カメラ１３Ａ〜１３Ｃで取得された撮像画像とから、現時点の行為を認識するための各種処理を行う行為認識手段１８と、行為認識手段１８で認識された現時点の行為が適切か否かを判定する判定手段１９とを備えている。   The processing device 14 includes an action recognizing unit 18 that performs various processes for recognizing a current action from a measurement result obtained by the position measuring device 12 and captured images acquired by the cameras 13A to 13C, and an action recognizing unit. And determining means 19 for determining whether or not the current action recognized at 18 is appropriate.

前記行為認識手段１８は、第１〜第３のカメラ１３Ａ〜１３Ｃ毎の撮像画像について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する第１、第２及び第３の処理部２１、２２、２３と、位置計測装置１２で計測された手の位置情報の経時的変化のみに基づいて、撮像画像の取得時における行為の種類を特定する位置情報処理部としての第４の処理部２４とからなる。   The action recognition means 18 performs different image processing on the captured images of the first to third cameras 13A to 13C, and specifies first, second, and third processes that specify different types of actions for each image processing. 4th as a position information processing part which specifies the kind of act at the time of acquisition of a picked-up image based only on temporal changes of position information of parts 21, 22, and 23 and a hand measured by position measuring device 12 And a processing unit 24.

前記第１の処理部２１は、位置計測装置１２で計測された手の位置情報に基づいて第１のカメラ１３Ａで取得した撮像画像中の手の位置を特定し、当該手の位置から一定範囲での撮像画像の画像情報に基づき、次のようにして、前記撮像画像の取得時における行為の種類のうち、前記穿刺行為、前記採血行為、及び前記抜去行為を特定する部分画像処理部を構成する。ここでは、手の位置情報として、訓練者Ｔの手指領域の中心点の位置情報が用いられる。   The first processing unit 21 specifies the position of the hand in the captured image acquired by the first camera 13A based on the position information of the hand measured by the position measuring device 12, and is within a certain range from the position of the hand. Based on the image information of the captured image, the partial image processing unit for specifying the puncture action, the blood sampling action, and the removal action among the types of actions at the time of acquisition of the captured image is configured as follows. To do. Here, the position information of the center point of the finger region of the trainer T is used as the position information of the hand.

先ず、位置計測装置１２と第１のカメラ１３Ａとの相対的な位置及び姿勢の関係が一定で既知であることから、位置計測装置１２で計測された基準座標系における手指領域の中心点の位置ベクトルが、第１のカメラ１３Ａの撮像画像における２次元のカメラ座標系の位置ベクトルに変換され、撮像画像中の手指領域の中心点の位置が特定される。   First, since the relationship between the relative position and orientation of the position measuring device 12 and the first camera 13A is constant and known, the position of the center point of the finger region in the reference coordinate system measured by the position measuring device 12 The vector is converted into a position vector of a two-dimensional camera coordinate system in the captured image of the first camera 13A, and the position of the center point of the finger region in the captured image is specified.

次に、図２に示されるように、第１のカメラ１３Ａで得られた撮像画像Ｖのうち、手指領域の中心点Ｐより一定範囲の画像領域Ａが、撮像関心領域（以下、「ＲＯＩ」と称する。）として設定される。そして、このＲＯＩに対して次の画像処理を行うことにより、撮像画像Ｖに写った訓練者Ｔの行為が、前記穿刺行為、前記採血行為、及び前記抜去行為の何れかの行為に該当するかが認識される。   Next, as shown in FIG. 2, among the captured images V obtained by the first camera 13 </ b> A, an image region A within a certain range from the center point P of the finger region is an imaging region of interest (hereinafter “ROI”). It is set as). Then, by performing the following image processing on this ROI, does the action of the trainee T shown in the captured image V correspond to any of the puncturing action, the blood sampling action, and the removal action? Is recognized.

そこで、先ず、時系列の各フレームにおけるＲＯＩのフレーム間差分により、各フレーム間のＲＯＩにおいて動いている物体のみが抽出される。   Therefore, first, only an object moving in the ROI between the frames is extracted based on the inter-frame difference of the ROI in each frame in time series.

そして、予め記憶された複数種類の注射器の画像と、ＲＯＩ内で抽出された動く物体の画像との間でテンプレートマッチングが行われ、第１のカメラ１３Ａで得られた撮像画像Ｖの中で、注射器Ｓの画像領域が特定され、当該注射器Ｓの位置が判明し、注射器Ｓの先端に取り付けられた穿刺針Ｎの撮像画像Ｖ上の位置が特定される。更に、第１のカメラ１３Ａ及び腕模型１１は固定配置され、第１のカメラ１３Ａの撮像画像Ｖ中の腕模型１１の位置姿勢は常時不変であるため、撮像画像Ｖにおいて一定時間連続するフレーム間（以下、単に、「連続フレーム間」と称する。）で、穿刺針Ｎが腕模型１１の表面に接触すると判定されれば、これら撮像画像Ｖでは、訓練者Ｔにより穿刺行為が行われていると認識される。逆に、連続フレーム間で、穿刺針Ｎが腕模型１１の表面から離れると判定されれば、これら撮像画像Ｖでは、訓練者Ｔにより抜去行為が行われていると認識される。また、前記テンプレートマッチングにより、連続フレーム間で、注射器Ｓのピストンが引かれていると判定されれば、これら撮像画像Ｖでは、訓練者Ｔにより採血行為が行われていると認識される。   Then, template matching is performed between the images of a plurality of types of syringes stored in advance and the images of moving objects extracted in the ROI, and in the captured image V obtained by the first camera 13A, The image area of the syringe S is specified, the position of the syringe S is determined, and the position on the captured image V of the puncture needle N attached to the tip of the syringe S is specified. Further, the first camera 13A and the arm model 11 are fixedly arranged, and the position and orientation of the arm model 11 in the captured image V of the first camera 13A are always unchanged, so that the captured image V has a continuous time interval between frames. If it is determined that the puncture needle N is in contact with the surface of the arm model 11 (hereinafter simply referred to as “between successive frames”), a puncture action is performed by the trainee T in these captured images V. It is recognized. On the other hand, if it is determined that the puncture needle N is separated from the surface of the arm model 11 between successive frames, it is recognized in these captured images V that the trainee T is performing an extraction action. In addition, if it is determined by the template matching that the piston of the syringe S is pulled between successive frames, it is recognized in the captured image V that blood is being collected by the trainee T.

なお、本実施形態では、静脈血採血として、注射器Ｓを用いた手技について説明しているが、真空採血管を利用した手技についても、同様の手法で穿刺行為、抜去行為及び採血行為の認識が可能となる。   In the present embodiment, the procedure using the syringe S is described as the venous blood collection, but the puncture act, the removal act, and the blood collection act are recognized by the same method for the procedure using the vacuum blood collection tube. It becomes possible.

以上の第１の処理部２１では、画像処理対象を撮像画像全体ではなく、手指領域の中心点から一定範囲のＲＯＩのみとしたことにより、画像処理対象を撮像画像全体にするよりも、画像処理速度を向上させることができる。また、訓練者Ｔの手で注射器Ｓを保持していることから、当該注射器Ｓは、訓練者Ｔの手から一定範囲内に存在していることは明らかであり、その一定範囲をＲＯＩとすることで、撮像画像全体に対して前述のテンプレートマッチングを行うよりも、画像認識がし難い透明の注射器Ｓを特定できる確率が高くなり、より正確な行為判定に寄与できる。更に、位置計測装置１２で検出された訓練者Ｔの手の位置情報を利用してＲＯＩを設定することにより、第１のカメラ１３Ａの画角を広くしたとき等において、テンプレートマッチングを用いて訓練者Ｔの手指領域を検出してＲＯＩを設定するよりも、短時間での検出が可能であり、また、手指領域を誤検出する可能性を低減できる。   In the first processing unit 21 described above, the image processing target is not the entire captured image, but only the ROI within a certain range from the center point of the finger region. Speed can be improved. Further, since the syringe S is held by the hand of the trainee T, it is clear that the syringe S exists within a certain range from the hand of the trainee T, and the certain range is defined as ROI. Thus, the probability that the transparent syringe S that is difficult to recognize an image can be specified is higher than that in the above-described template matching for the entire captured image, and this contributes to more accurate action determination. Furthermore, training is performed using template matching when the angle of view of the first camera 13A is widened by setting the ROI using the position information of the hand of the trainer T detected by the position measuring device 12. The detection can be performed in a shorter time than detecting the finger region of the person T and setting the ROI, and the possibility of erroneous detection of the finger region can be reduced.

前記第２の処理部２２では、第２のカメラ１３Ｂで取得した撮像画像から、消毒用のガーゼの有無と位置を検出し、穿刺領域１１Ｃ内での前記消毒行為を認識するための次の処理が行われる。   The second processing unit 22 detects the presence and position of the gauze for disinfection from the captured image acquired by the second camera 13B, and recognizes the disinfecting action in the puncture region 11C. Is done.

すなわち、ここでは、消毒行為に白色のガーゼが用いられることから、ガーゼの白色を検出し易くするように、第２のカメラ１３Ｂで取得された撮像画像のコントラストを最大にした上で、当該撮像画像中にガーゼの白色の領域の有無が判別される。そして、当該白色領域がガーゼの存在領域とされ、第２のカメラ１３Ｂのカメラ座標系におけるガーゼの位置が特定される。そして、当該カメラ座標系における穿刺領域１１Ｃの位置は不変で既知であるから、これらカメラ座標系の位置から、穿刺領域１１Ｃにガーゼが存在していると判定された場合に、訓練者Ｔにより消毒行為が行われていると認識される。   That is, here, since white gauze is used for the disinfection action, the contrast of the captured image acquired by the second camera 13B is maximized so that the white color of the gauze is easily detected. The presence or absence of a white region of gauze in the image is determined. And the said white area | region is made into the presence area | region of a gauze, and the position of the gauze in the camera coordinate system of the 2nd camera 13B is specified. Since the position of the puncture region 11C in the camera coordinate system is unchanged and known, when it is determined from these camera coordinate systems that gauze is present in the puncture region 11C, disinfection by the trainer T It is recognized that an action is being performed.

前記第３の処理部２３では、第３のカメラ１３Ｃで取得した撮像画像から、駆血帯の有無を検出し、上腕部１１Ｂに対する前記駆血帯装着行為及び前記駆血帯解除行為を認識するための次の処理が行われる。   The third processing unit 23 detects the presence or absence of a tourniquet from the captured image acquired by the third camera 13C, and recognizes the tourniquet attachment act and the tourniquet release act on the upper arm portion 11B. The following processing is performed.

すなわち、ここでは、第３のカメラ１３Ｃで取得した撮像画像に対し２値化した２値化画像が生成される。そして、当該２値化画像と、予め記憶された２値化画像テンプレートとの間でテンプレートマッチングが行われ、駆血帯の有無が検出される。ここでの２値化テンプレートとしては、駆血帯が装着された状態の腕模型１１において、駆血帯の装着状態等の態様の異なる２値化画像からなる複数のテンプレートと、駆血帯が装着されていない状態の腕模型１１の２値化画像からなるテンプレートとが予め記憶されている。そこで、前記連続フレーム間で、駆血帯が無い状態から存在する状態に変化したと判定された場合には、訓練者Ｔにより駆血帯装着行為が行われていると認識される。逆に、駆血帯が存在する状態から無い状態に変化したと判定された場合には、訓練者Ｔにより前記駆血帯解除行為が行われていると認識される。   That is, here, a binarized image is generated by binarizing the captured image acquired by the third camera 13C. Then, template matching is performed between the binarized image and a binarized image template stored in advance, and the presence or absence of a tourniquet is detected. As the binarized template here, in the arm model 11 in a state where the tourniquet is attached, a plurality of templates composed of binarized images having different aspects such as the state of wearing the tourniquet and the tourniquet A template composed of a binarized image of the arm model 11 that is not worn is stored in advance. Therefore, if it is determined that the tourniquet has changed from a state where there is no tourniquet to a state where there is a tourniquet, the trainer T recognizes that the tourniquet is being worn. Conversely, if it is determined that the tourniquet has changed from a state in which the tourniquet exists to a state in which it does not exist, the trainee T recognizes that the tourniquet release action has been performed.

以上の第２及び第３の処理部２２，２３は、カメラ１３Ｂ，１３Ｃ毎の撮像画像全体について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を構成する。   The second and third processing units 22 and 23 described above perform overall image processing on the entire captured image for each of the cameras 13B and 13C, and configure an overall image processing unit that identifies different types of actions for each image processing. .

前記第４の処理部２４では、位置計測装置１２で検出された訓練者Ｔの指先の位置情報と、位置が不変となっている穿刺領域１１Ｃの基準座標系における位置情報とから、前記静脈位置確認行為を認識するための次の処理が行われる。   The fourth processing unit 24 uses the position information of the fingertip of the trainee T detected by the position measuring device 12 and the position information in the reference coordinate system of the puncture region 11C where the position is unchanged, to determine the vein position. The following process for recognizing the confirmation action is performed.

すなわち、ここでは、前記指先の位置情報が穿刺領域１１Ｃ内で経時的に移動していると判定された場合には、静脈位置確認行為が行われていると認識される。   That is, here, when it is determined that the position information of the fingertip has moved with time in the puncture region 11C, it is recognized that a vein position confirmation act is being performed.

前記判定手段１９では、次のようにして、現時点の行為が適切か否かを判定し、現時点で不適切な行為がなされたと判定された場合に、不適切な行為を改めるように訓練者Ｔに促し、訓練者Ｔを適切な行為に導くための助言が提示される。なお、ここでの提示は、特に限定されるものではないが、図示しないスピーカを通じた音声やディスプレイを通じた文字等により行われる。   The determination means 19 determines whether or not the current action is appropriate as follows, and if it is determined that an inappropriate action has been made at the present time, the trainer T And advice to guide the trainer T to the appropriate action is presented. Here, the presentation is not particularly limited, but is performed by voice through a speaker (not shown), characters through a display, or the like.

この判定手段１９では、図３のフローチャートに示される静脈血採血の手技の正しい手順が予め記憶され、この正しい手順に基づいて現時点の行為の適否が判断される。この正しい手順としては、手技開始後、第１手順として駆血帯装着行為が行われ、第２手順として静脈位置確認行為が行われ、第３手順として消毒行為が行われ、第４手順として穿刺行為が行われ、第５手順として採血行為が行われ、第６手順として駆血帯解除行為が行われ、第７手順として穿刺針の抜去行為が行われ、手技が終了する。   In this determination means 19, the correct procedure of the venous blood sampling procedure shown in the flowchart of FIG. 3 is stored in advance, and the suitability of the current action is determined based on this correct procedure. As a correct procedure, after starting the procedure, a tourniquet wearing action is performed as the first procedure, a vein position confirmation act is performed as the second procedure, a disinfection act is performed as the third procedure, and a puncture is performed as the fourth procedure. The act is performed, the blood collecting action is performed as the fifth procedure, the tourniquet releasing action is performed as the sixth procedure, the puncture needle is removed as the seventh procedure, and the procedure is finished.

そして、判定手段１９では、図４のフローチャートに沿った処理が行われる。この処理では、行為毎に、次に行うべき適切な行為と、各行為の中から訓練者Ｔが誤り易い行為のみとが予め設定され、行為認識手段１８で認識された現在の行為が、予め絞り込まれた誤り易い行為に該当する場合に、訓練者Ｔを適切な行為に導くための助言が提示される。   And in the determination means 19, the process along the flowchart of FIG. 4 is performed. In this process, for each action, an appropriate action to be performed next and only an action that the trainer T is likely to make an error from among the actions are set in advance, and the current action recognized by the action recognition means 18 is determined in advance. In the case of a narrowed action that is likely to be mistaken, advice for guiding the trainer T to an appropriate action is presented.

すなわち、先ず、訓練者Ｔ等により手技の開始が入力されると、その直後に第１手順である駆血帯装着行為が行われているか否かが判定される（ステップＳ１０１）。このステップＳ１０１では、駆血帯装着行為の認識を行う第３の処理部２３での処理を指令し、駆血帯装着行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、駆血帯装着行為が認識されない場合には、第１手順よりも先に第２手順である静脈位置確認行為が行われているか否かが判定される（ステップＳ１０２）。このステップＳ１０２では、静脈位置確認行為の認識を行う第４の処理部２４での処理を指令し、静脈位置確認行為が認識された場合に、不適切な手順と判定され、助言のためのメッセージ（以下、「助言メッセージ」と称する。）が提示され（ステップＳ１０３）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１０１の処理が行われる。ここでの助言メッセージとしては、例えば、「駆血帯をセットして下さい」等のメッセージが挙げられる。また、ここでの処理により、駆血帯装着行為も静脈位置確認行為も認識されない場合は、エラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。ここでのエラーメッセージとしては、例えば、「正しい手順を復習し、最初からやり直して下さい」等が挙げられる。   That is, first, when the start of the procedure is input by the trainer T or the like, it is determined immediately after that whether or not the tourniquet wearing action as the first procedure is being performed (step S101). In this step S101, when the third processing unit 23 for recognizing the tourniquet wearing action is instructed and the tourniquet wearing action is recognized, it is determined as an appropriate procedure, and the procedure to be performed next. Proceed to the determination. On the other hand, when the tourniquet wearing action is not recognized, it is determined whether or not the vein position confirmation act which is the second procedure is performed prior to the first procedure (step S102). In this step S102, when the processing in the fourth processing unit 24 for recognizing the vein position confirmation action is instructed and the vein position confirmation action is recognized, it is determined as an inappropriate procedure, and a message for advice is given. (Hereinafter, referred to as “advice message”) is presented (step S103), and the process of step 101 is performed again after a certain period of time sufficient to correct the action by the trainee T. As the advice message here, for example, a message such as “Please set a tourniquet” can be cited. Further, if neither the tourniquet wearing action nor the vein position confirmation action is recognized by the process here, an error message is presented (step S201), and the entire process ends. An example of the error message here is “Review the correct procedure and start again”.

前記ステップＳ１０１にて、第１手順である駆血帯装着行為が正しく行われたと判断された後に、第２手順である静脈位置確認行為が行われているか否かが判定される（ステップＳ１０４）。このステップＳ１０４では、静脈位置確認行為の認識を行う第４の処理部２４での処理を指令し、静脈位置確認行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、静脈位置確認行為が認識されない場合には、第２手順よりも先に第３手順である消毒行為が行われているか否かが判定される（ステップＳ１０５）。このステップＳ１０５では、消毒行為の認識を行う第２の処理部２２での処理を指令し、消毒行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され（ステップＳ１０６）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１０４の処理が行われる。ここでの助言メッセージとしては、例えば、「静脈位置を確認して下さい」等のメッセージが挙げられる。また、ここでの処理により、静脈位置確認行為も消毒行為も認識されない場合は、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   In step S101, after it is determined that the tourniquet wearing action as the first procedure is correctly performed, it is determined whether or not the vein position confirming action as the second procedure is performed (step S104). . In this step S104, when the processing in the fourth processing unit 24 for recognizing the vein position confirmation action is instructed and the vein position confirmation action is recognized, it is determined as an appropriate procedure, and the procedure to be performed next is determined. Proceed to On the other hand, when the vein position confirmation act is not recognized, it is determined whether or not the disinfection act that is the third procedure is performed prior to the second procedure (step S105). In this step S105, the process in the second processing unit 22 for recognizing the sterilization action is instructed. When the sterilization action is recognized, it is determined as an inappropriate procedure, and an advice message is presented (step S106). The process of step 104 is performed again after a predetermined time sufficient for the acter's T to correct the action. As the advice message here, for example, a message such as “Please check the vein position” can be cited. Further, if neither the vein position confirmation action nor the disinfection action is recognized by the process here, an error message similar to the above is presented (step S201), and the entire process ends.

前記ステップＳ１０４にて、第２手順である静脈位置確認行為が正しく行われたと判断された後、第３手順である消毒行為が行われているか否かが判定される（ステップＳ１０７）。このステップＳ１０７では、消毒行為の認識を行う第２の処理部２２での処理を指令し、消毒行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、消毒行為が認識されない場合には、第３手順よりも先に第４手順である穿刺行為が行われているか否かが判定される（ステップＳ１０８）。このステップＳ１０８では、穿刺行為の認識を行う第１の処理部２１での処理を指令し、穿刺行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され（ステップＳ１０９）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１０７の処理が行われる。ここでの助言メッセージとしては、例えば、「感染症を起こす可能性があります」等のメッセージが挙げられる。また、ここでの処理により、消毒行為も穿刺行為も認識されない場合は、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   After it is determined in step S104 that the vein position confirmation act as the second procedure has been correctly performed, it is determined whether or not the disinfection act as the third procedure has been performed (step S107). In step S107, a process in the second processing unit 22 that recognizes the disinfection action is instructed, and when the disinfection action is recognized, it is determined as an appropriate procedure, and the process proceeds to determination of the next procedure to be performed. On the other hand, when the disinfection action is not recognized, it is determined whether or not the puncture action that is the fourth procedure is performed prior to the third procedure (step S108). In this step S108, the process in the first processing unit 21 for recognizing the puncture action is instructed. When the puncture action is recognized, it is determined as an inappropriate procedure, and an advice message is presented (step S109). The process of step 107 is performed again after a predetermined time sufficient for the acter's T to correct the action. As the advice message here, for example, a message such as “There is a possibility of causing an infection” is cited. If neither the disinfection action nor the puncture action is recognized by the process here, an error message similar to that described above is presented (step S201), and the entire process ends.

前記ステップＳ１０７にて、第３手順である消毒行為が正しく行われたと判断された後、第４手順である穿刺行為が行われているか否かが判定される（ステップＳ１１０）。このステップＳ１１０では、穿刺行為の認識を行う第１の処理部２１での処理を指令し、穿刺行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、穿刺行為が認識されない場合には、第２手順である静脈位置確認行為が再び行われているか否かが判定される（ステップＳ１１１）。このステップＳ１１１では、静脈位置確認行為の認識を行う第４の処理部２４での処理を指令し、静脈位置確認行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され（ステップＳ１１２）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１１０の処理が行われる。ここでの助言メッセージとしては、例えば、「感染症を起こす可能性があります」等のメッセージが挙げられる。また、ここでの処理により、穿刺行為も静脈位置確認行為も認識されない場合は、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   After it is determined in step S107 that the sterilization action as the third procedure has been correctly performed, it is determined whether or not the puncture action as the fourth procedure is being performed (step S110). In this step S110, the process in the first processing unit 21 that recognizes the puncturing action is instructed, and when the puncturing action is recognized, it is determined as an appropriate procedure, and the procedure proceeds to the determination of the next procedure to be performed. On the other hand, if the puncture action is not recognized, it is determined whether or not the vein position confirmation action which is the second procedure is performed again (step S111). In this step S111, when the processing in the fourth processing unit 24 for recognizing the vein position confirmation action is instructed and the vein position confirmation action is recognized, it is determined as an inappropriate procedure and an advice message is presented ( Step S112), the process of step 110 is performed again after a certain time sufficient for the action correction by the trainee T. As the advice message here, for example, a message such as “There is a possibility of causing an infection” is cited. If neither the puncture action nor the vein position confirmation action is recognized by the process here, an error message similar to that described above is presented (step S201), and the entire process ends.

前記ステップＳ１１０にて、第４手順である穿刺行為が正しく行われたと判断された後、第５手順である採血行為が行われているか否かが判定される（ステップＳ１１３）。このステップＳ１１３では、採血行為の認識を行う第１の処理部２１での処理を指令し、採血行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、採血行為が認識されない場合には、第５手順よりも先に第６手順である駆血帯解除行為が行われているか否かが判定される（ステップＳ１１４）。このステップＳ１１４では、駆血帯解除行為の認識を行う第３の処理部２３での処理を指令し、駆血帯解除行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され（ステップＳ１１５）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１１３の処理が行われる。ここでの助言メッセージとしては、例えば、「採血困難です」等のメッセージが挙げられる。また、ここでの処理により、採血行為も駆血帯解除行為も認識されない場合は、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   In step S110, after it is determined that the puncture action as the fourth procedure has been correctly performed, it is determined whether or not the blood collection action as the fifth procedure is being performed (step S113). In this step S113, the process in the first processing unit 21 for recognizing the blood collection action is instructed. When the blood collection action is recognized, it is determined as an appropriate procedure, and the process proceeds to determination of the next procedure to be performed. On the other hand, if the blood collecting action is not recognized, it is determined whether or not the tourniquet releasing action, which is the sixth procedure, is performed prior to the fifth procedure (step S114). In this step S114, if the third processing unit 23 for recognizing the tourniquet release action is instructed and the tourniquet release action is recognized, it is determined that the procedure is inappropriate and an advice message is presented. Then (step S115), the process of step 113 is performed again after a predetermined time sufficient for the act of the trainer T to correct the action. Examples of the advice message here include a message such as “It is difficult to collect blood”. If neither the blood collection action nor the tourniquet release action is recognized by the process here, an error message similar to that described above is presented (step S201), and the entire process ends.

前記ステップＳ１１３にて、第５手順である採血行為が正しく行われたと判断された後、第６手順である駆血帯解除行為が行われているか否かが判定される（ステップＳ１１６）。このステップＳ１１６では、駆血帯解除行為の認識を行う第３の処理部２３での処理を指令し、駆血帯解除行為が認識された場合に、適切な手順と判定され、次に行う手順の判定に進む。その一方で、駆血帯解除行為が認識されない場合には、第６手順よりも先に第７手順である穿刺針の抜去行為が行われているか否かが判定される（ステップＳ１１７）。このステップＳ１１７では、抜去行為の認識を行う第１の処理部２１での処理を指令し、当該抜去行為が認識された場合、不適切な手順と判定され、助言メッセージが提示され（ステップＳ１１８）、訓練者Ｔによる行為修正に足りる一定時間後に再びステップ１１６の処理が行われる。ここでの助言メッセージとしては、例えば、「針を抜くと血液が噴出します」等のメッセージが挙げられる。また、ここでの処理により、駆血帯解除行為も抜去行為も認識されない場合は、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   In step S113, after it is determined that the blood sampling action as the fifth procedure has been performed correctly, it is determined whether or not the tourniquet releasing action as the sixth procedure has been performed (step S116). In step S116, when the third processing unit 23 that performs recognition of the tourniquet release action is instructed and the tourniquet release action is recognized, it is determined as an appropriate procedure, and the procedure to be performed next. Proceed to the determination. On the other hand, if the tourniquet release action is not recognized, it is determined whether or not the puncture needle removal action, which is the seventh procedure, is performed prior to the sixth procedure (step S117). In this step S117, the process in the first processing unit 21 for recognizing the removal action is instructed, and when the removal action is recognized, it is determined as an inappropriate procedure and an advice message is presented (step S118). Then, the process of step 116 is performed again after a fixed time sufficient for the acter T to correct the action. As the advice message here, for example, a message such as “blood is ejected when the needle is pulled out” can be cited. If neither the tourniquet release action nor the removal action is recognized by the process here, an error message similar to that described above is presented (step S201), and the entire process ends.

前記ステップＳ１１６にて、第６手順である駆血帯解除行為が正しく行われたと判断された後、第７手順である抜去行為が行われているか否かが判定される（ステップＳ１１９）。このステップＳ１１９では、抜去行為の認識を行う第１の処理部２１での処理が指令され、当該抜去行為が認識された場合に、適切な手順と判定され、全処理が終了する。その一方、抜去行為が認識されない場合には、前述と同様のエラーメッセージが提示され（ステップＳ２０１）、全処理が終了する。   After it is determined in step S116 that the tourniquet release action as the sixth procedure has been correctly performed, it is determined whether or not the removal action as the seventh procedure has been performed (step S119). In this step S119, when the process in the first processing unit 21 that recognizes the removal action is instructed and the removal action is recognized, it is determined as an appropriate procedure, and all the processes are completed. On the other hand, if the removal action is not recognized, an error message similar to that described above is presented (step S201), and the entire process ends.

なお、前記各ステップでの処理において、エラーメッセージが提示される場合には、助言メッセージが提示される場合と同様に、訓練者Ｔによる行為修正に足りる一定時間後に再び当該ステップの処理を行えるようにしても良い。また、助言メッセージが提示された場合も、続いてエラーメッセージが提示され、全ての処理が終了するようにしても良い。   In the process at each step, when an error message is presented, the process at the step can be performed again after a certain time period sufficient for the action correction by the trainer T, as in the case where the advice message is presented. Anyway. Also, when an advice message is presented, an error message may be subsequently presented, and all processing may be terminated.

従って、以上の実施形態によれば、各行為の適否判断に用いるためのカメラ１３Ａ〜１３Ｃを複数台設け、得られた撮像画像について異なる画像処理が行われるため、例えば、第２の処理部２２で白色のガーゼを検出するために、第２のカメラ１３Ｂに赤外線フィルタを設ける等、カメラ毎にその検出対象に合わせた配置や設定を行うことができる。   Therefore, according to the above embodiment, a plurality of cameras 13A to 13C for use in determining the suitability of each action are provided, and different image processing is performed on the obtained captured image. For example, the second processing unit 22 In order to detect white gauze, an arrangement or setting suitable for the detection target can be made for each camera, such as providing an infrared filter in the second camera 13B.

また、各手順での適切な行為の判断に際し、前の行為に続いて行われる可能性の高い１つ若しくは２つの行為についての認識処理に絞り込んでおり、第１〜第４の処理部２１〜２４での処理を常時全て行う必要がないため、各手順で行為の適否判断をスピーディー且つ低処理負荷にて行うことができる。   Further, when determining an appropriate action in each procedure, the recognition process for one or two actions that are likely to be performed following the previous action is narrowed down to the first to fourth processing units 21 to 21. Since it is not necessary to always perform all the processing at 24, it is possible to quickly determine whether the action is appropriate in each procedure with a low processing load.

なお、前記実施形態では、医療手技訓練システム１０として、看護師等の訓練者が静脈血採血の手技を訓練するシステムとして構成したが、本発明はこれに限らず、対象を変えた同様の処理に基づいて、複数の行為を順に行う医療手技の訓練システムに適用することもできる。   In the above-described embodiment, the medical technique training system 10 is configured as a system in which a trainer such as a nurse trains a technique for collecting venous blood. However, the present invention is not limited to this, and similar processing with different targets is performed. Based on the above, it can be applied to a training system for medical procedures in which a plurality of actions are sequentially performed.

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。   In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.

１０ 医療手技訓練システム
１１ 腕模型（人体模型）
１２ 位置計測装置
１３ 撮像装置
１３Ａ 第１のカメラ
１３Ｂ 第２のカメラ
１３Ｃ 第３のカメラ
１４ 処理装置
１８ 行為認識手段
１９ 判定手段
２１ 第１の処理部（部分画像処理部）
２２ 第２の処理部（全体画像処理部）
２３ 第３の処理部（全体画像処理部）
２４ 第４の処理部（位置情報処理部）
Ｔ 訓練者 10 Medical technique training system 11 Arm model (human body model)
DESCRIPTION OF SYMBOLS 12 Position measuring device 13 Imaging device 13A 1st camera 13B 2nd camera 13C 3rd camera 14 Processing apparatus 18 Action recognition means 19 Judgment means 21 1st processing part (partial image processing part)
22 Second processing unit (overall image processing unit)
23 Third processing unit (overall image processing unit)
24 4th processing part (position information processing part)
T trainer

Claims (7)

複数の行為を順に行う医療手技を訓練するための医療手技訓練システムであって、
訓練者が前記医療手技を行う人体模型と、訓練者が前記人体模型に対して前記医療手技を行う様子を撮像する撮像装置と、当該撮像装置で取得した撮像画像から、当該撮像画像の取得時における行為の種類を特定し、予め定められている正確な手順で手技が行われているか否かを訓練者に認識させるための処理を行う処理装置とを備えたことを特徴とする医療手技訓練システム。 A medical technique training system for training a medical technique for sequentially performing a plurality of actions,
When the captured image is acquired from the human body model where the trainee performs the medical procedure, the imaging device which captures how the trainer performs the medical procedure on the human body model, and the captured image acquired by the imaging device A medical procedure training characterized by comprising a processing device for identifying a type of act in the patient and performing a process for allowing the trainee to recognize whether or not the procedure is performed with a predetermined accurate procedure system. 前記医療手技を行っている際の訓練者の手の位置を計測する位置計測装置を更に備え、
前記処理装置は、前記位置計測装置での計測結果と前記撮像画像とから、現時点の行為を認識する行為認識手段を含み、
前記行為認識手段は、前記位置計測装置で計測された手の位置情報に基づいて前記撮像画像中の手の位置を特定し、当該手の位置から一定範囲での前記撮像画像の画像情報に基づき、前記撮像画像の取得時における行為の種類を特定する部分画像処理部を備えたことを特徴とする請求項１記載の医療手技訓練システム。 Further comprising a position measuring device for measuring the position of a trainee's hand when performing the medical procedure,
The processing device includes an action recognition unit that recognizes a current action from the measurement result of the position measurement device and the captured image.
The action recognition means identifies the position of the hand in the captured image based on the position information of the hand measured by the position measuring device, and based on the image information of the captured image within a certain range from the position of the hand. The medical technique training system according to claim 1, further comprising a partial image processing unit that identifies a type of action at the time of acquiring the captured image. 前記撮像装置は、それぞれ別の行為の認識のために設けられた複数のカメラからなり、
前記行為認識手段は、前記カメラ毎の前記撮像画像全体について異なる画像処理を行い、当該画像処理毎に異なる行為の種類を特定する全体画像処理部を更に備えたことを特徴とする請求項２記載の医療手技訓練システム。 The imaging device comprises a plurality of cameras provided for recognition of different actions,
The said action recognition means is further provided with the whole image process part which performs different image processing about the said whole captured image for every said camera, and pinpoints the kind of action different for every said image processing. Medical technique training system. 前記行為認識手段は、前記位置計測装置で計測された手の位置情報の経時的変化のみに基づいて、当該位置情報の取得時における行為の種類を特定する位置情報処理部を更に備え、特定対象の行為に応じて、前記部分画像処理部、前記全体画像処理部及び前記位置情報処理部の何れかでの処理が行われることを特徴とする請求項３記載の医療手技訓練システム。   The action recognition means further includes a position information processing unit that specifies a type of action at the time of acquisition of the position information based only on a temporal change in the position information of the hand measured by the position measurement device, The medical technique training system according to claim 3, wherein processing is performed in any one of the partial image processing unit, the whole image processing unit, and the position information processing unit in accordance with the act. 前記処理装置は、予め記憶された前記医療手技の正しい手順に基づき、前記行為認識手段で認識された現時点の行為が適切か否かを判定する判定手段を更に備えたことを特徴とする請求項２、３又は４記載の医療手技訓練システム。   The said processing apparatus is further provided with the determination means which determines whether the present action recognized by the said action recognition means is appropriate based on the correct procedure of the said medical procedure memorize | stored previously. The medical procedure training system according to 2, 3, or 4. 前記判定手段では、現時点で不適切な行為がなされたと判定されたときに、当該不適切な行為を改めるように訓練者に促す助言が提示されることを特徴とする請求項５記載の医療手技訓練システム。   6. The medical procedure according to claim 5, wherein, when it is determined that an inappropriate act has been performed at the present time, the determination means presents advice that prompts the trainee to change the inappropriate action. Training system. 前記判定手段では、行為毎に、次に行うべき適切な行為と、各行為の中から訓練者が誤り易い一部の行為とが予め設定され、特定された現在の行為が、前記誤り易い行為に該当する場合に、訓練者を適切な行為に導くための助言が提示されることを特徴とする請求項５記載の医療手技訓練システム。   In the determination means, for each action, an appropriate action to be performed next and a part of each action that is easy for a trainer to make an error are set in advance, and the specified current action is the action that is easy to make an error. 6. The medical procedure training system according to claim 5, wherein, in the case of the above, advice for guiding the trainer to an appropriate action is presented.

Images