JP2023142154A - プログラム、モデルの生成方法、情報処理装置、および情報処理方法 - Google Patents
プログラム、モデルの生成方法、情報処理装置、および情報処理方法 Download PDFInfo
- Publication number
- JP2023142154A JP2023142154A JP2022048885A JP2022048885A JP2023142154A JP 2023142154 A JP2023142154 A JP 2023142154A JP 2022048885 A JP2022048885 A JP 2022048885A JP 2022048885 A JP2022048885 A JP 2022048885A JP 2023142154 A JP2023142154 A JP 2023142154A
- Authority
- JP
- Japan
- Prior art keywords
- puncture
- image
- information
- positional deviation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000010365 information processing Effects 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000002439 hemostatic effect Effects 0.000 claims abstract description 66
- 230000023597 hemostasis Effects 0.000 claims description 95
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000006073 displacement reaction Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 21
- 238000011282 treatment Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000003825 pressing Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】止血器具の位置ずれを推定するプログラム等を提供すること。【解決手段】プログラムは、穿刺後の止血器具40を含む画像を取得し、穿刺位置に関する位置情報を取得し、画像および位置情報を入力した場合に、前記止血器具40の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する。好適には、プログラムは、穿刺位置と該穿刺位置に隣接する第一関節との第一距離、および、前記穿刺位置と該穿刺位置に前記第一関節側とは逆の位置で隣接する第二関節との第二距離に基づき穿刺位置に関する位置情報を特定する。【選択図】図1
Description
本発明は、プログラム、モデルの生成方法、情報処理装置、および情報処理方法に関する。
医療現場では、カテーテル等の治療器具を患者の血管に挿入する治療または検査がおこなわれている。医療従事者は、治療器具が挿入された穿刺部位を止血するため、患者に止血器具を装着する等して止血処置をおこなう。
そこで、止血処置を支援するための技術がいくつか提案されている。たとえば、医療用装着器具の監視システムが提案されている(特許文献1)。
しかし、特許文献1に開示された提案では、医療用装着器具の自己抜去を監視するにとどまり、穿刺部位からの止血器具の位置ずれを早期に発見することは実現できていない。
一つの側面では、止血器具の位置ずれを推定するプログラム等を提供することを目的とする。
一つの側面に係るプログラムは、穿刺後の止血器具を含む画像を取得し、穿刺位置に関する位置情報を取得し、画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する。
一つの側面では、止血器具の位置ずれを推定するプログラム等を提供できる。
本実施の形態では、医療現場で使用される位置ずれ検出システムについて説明する。
患者は止血処置を受けた後、医療従事者が在室する処置室とは異なる部屋で過ごすことがある。その部屋では、周囲の物との接触等により、止血器具が適切な位置からずれてしまう可能性がある。そこで、位置ずれ検出システムは、止血器具の装着状態を機械学習モデルにより判定し、位置ずれの有無に関する判定結果を医療従事者に通知する。本システムにより、好適に止血処置をおこなうことができる。
本明細書では、「治療器具を挿入した箇所」を「穿刺部位」といい、「止血が必要な穿刺部位の位置」を「穿刺位置」という。
以下、本発明の実施の形態を図面に基づいて説明する。
[実施の形態1]
図1は、位置ずれ検出システムの構成例を示す模式図である。位置ずれ検出システムは、情報処理装置10、端末20、撮像装置30、および止血器具40を含む。
図1は、位置ずれ検出システムの構成例を示す模式図である。位置ずれ検出システムは、情報処理装置10、端末20、撮像装置30、および止血器具40を含む。
情報処理装置10、端末20、および撮像装置30は、インターネットまたはLAN(Local Area Network)等の通信ネットワークNWに接続されている。医療従事者による止血処置を受けた患者は、撮像装置30が設置された部屋で自由に過ごしながら、止血が完了するのを待つ。
情報処理装置10(以下、サーバ10という)はサーバコンピュータまたはパーソナルコンピュータ等であり、位置ずれ検出システムを提供する。サーバ10は所定の訓練データを学習する機械学習をおこない、機械学習モデル(以下、モデルという)を生成する。本実施の形態では、一つのコンピュータが処理をおこなうものとして説明するが、複数のコンピュータが分散して処理をおこなってもよい。
端末20は医療従事者が操作する情報処理端末であり、スマートフォン、パーソナルコンピュータ、またはタブレット端末等である。端末20は、インターネットまたはLAN等の通信ネットワークNWを介して、サーバ10が提供する位置ずれ検出システムを利用できる。
撮像装置30は、止血処置後の患者が過ごす部屋に設置される監視カメラ等である。撮像装置30は患者の撮像用として一または二以上設置され、撮像した画像をサーバ10または端末20に送信する。
医療従事者は、患者の止血処置をおこなう処置室にて、端末20を用いて患者の穿刺位置周辺の画像を撮像する。本実施の形態では、端末20が患者の穿刺位置周辺の画像を撮像する形態について説明するが、処置室に設置された別のカメラ等が撮像してもよい。
止血器具40は、バンドおよび押圧部を有する止血用の医療機器である。止血器具40は、患者の肢体にバンドを巻き付けて固定される。止血器具40は、空気または液体等の流体が押圧部に注入されることにより、穿刺部位を押圧する。止血を行う際、医療従事者は穿刺位置を覆うようにして、止血器具40を患者の肢体に装着する。
なお、上記の止血器具40は例示であり、流体により押圧する止血器具のほか、プラスチック等の硬質部材により押圧する止血器具が挙げられる。本実施の形態では、止血器具の形態は特に限定されず、任意の止血器具が位置ずれ検出システムを構成してもよい。
図2は、サーバ10の構成例を示すブロック図である。サーバ10は、制御部11、主記憶部12、通信部13、および補助記憶部14を含む。
制御部11は一または二以上のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。
主記憶部12はSRAM(Static Random Access Memory)またはDRAM(Dynamic Random Access Memory)等の一時記憶領域であり、制御部11が処理を実行するうえで必要なデータを一時的に記憶する。
通信部13は、インターネットまたはLAN等の通信ネットワークNWに接続するための通信インターフェイスである。
補助記憶部14は、SSD(Solid State Drive)またはHDD(Hard Disk Drive)等のメモリである。補助記憶部14は、サーバ10に処理を実行させるプログラム140(プログラム製品)、モデル141、患者DB(data base)150、止血器具DB160、およびその他のデータを記憶している。
補助記憶部14は、止血器具40の位置ずれを推定するモデル141を記憶する。補助記憶部14は、モデル141について、ニューラルネットワークの構成情報ならびに各ニューロンの係数および閾値等を含むデータを記憶する。
補助記憶部14は、モデル141の生成処理に用いる訓練データを記憶する。訓練データは、たとえばモデル141の入力情報と出力情報とを対応付けたデータである。本実施の形態では、入力情報が穿刺位置に関する位置情報と穿刺後の止血器具40を含む画像とであり、出力情報が止血器具40の位置ずれに関する位置ずれ情報である。
なお、サーバ10は可搬型記憶媒体10aを読み取る読取部を備え、可搬型記憶媒体10aからプログラム140を読み込んでもよい。また、サーバ10は、通信ネットワークNWを介して他のコンピュータからプログラム140をダウンロードしてもよい。
図3は、端末20の構成例を示すブロック図である。端末20は、制御部21、記憶部22、第一通信部23、第二通信部24、表示部25、入力部26、および撮像部27を含む。
制御部21は一または二以上のCPU、MPU、GPU、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。
記憶部22はSRAMまたはDRAM等の一時記憶領域であり、制御部21が処理を実行するうえで必要なデータを一時的に記憶する。
第一通信部23は、インターネットまたはLAN等の通信ネットワークNWに接続するための通信インターフェイスである。第二通信部24は、撮像装置30と通信をおこなうための通信インターフェイスである。撮像装置30との通信は、たとえばRFID(Radio Frequency Identifier)またはBluetooth(登録商標)等によりおこなう。
表示部25は液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイ等の表示画面であり、後述する通知画面等の画像を表示する(図9参照)。
入力部26はタッチパネルまたは機械式操作ボタン等の入力インターフェイスであり、医療従事者から操作入力を受け付ける。なお、入力部26は、医療従事者の音声指令を収集するマイクロフォンであってもよい。
撮像部27はCCD(Charge-Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を備えたカメラであり、画像を撮像する。
図4は、撮像装置30の構成例を示す模式図である。撮像装置30は、制御部31、記憶部32、第一通信部33、第二通信部34、および撮像部35を含む。
制御部31は一または二以上のCPU、MPU、GPU、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。
記憶部32はSRAMまたはDRAM等の一時記憶領域であり、制御部31が処理を実行するうえで必要なデータを一時的に記憶する。
第一通信部33は、インターネットまたはLAN等の通信ネットワークNWに接続するための通信インターフェイスである。第二通信部34は、端末20と通信をおこなうための通信インターフェイスである。端末20との通信は、たとえばRFIDまたはBluetooth(登録商標)等によりおこなう。
撮像部35はCCDセンサまたはCMOSセンサ等の撮像素子を備えたカメラであり、画像を撮像する。
図5は、患者DB150のデータレイアウトを示す説明図である。患者DB150は、患者ID、氏名、止血開始時刻、止血終了時刻、穿刺位置に関する位置情報、止血器具の位置情報、および装着状態のフィールドを記憶するDBである。
患者IDフィールドには、患者を識別するための識別情報(以下、患者IDという)が記憶される。氏名フィールドには、患者IDに対応する患者の氏名が記憶される。
止血開始時刻フィールドには、止血を開始した時刻が記憶される。止血開始時刻は、たとえば、端末20が穿刺位置周辺の画像を撮像した時刻、または、流体が押圧部に注入されて止血器具40が穿刺部位の押圧を開始する時刻等である。止血終了時刻フィールドには、止血が終了した時刻が記憶される。止血終了時刻は、たとえば医療従事者が患者から止血器具40を取り外した時刻等である。
穿刺位置に関する位置情報フィールドには、後述する所定の計測方法(図6参照)により算出した比率が記憶される。止血器具の位置情報フィールドには、止血器具40、穿刺位置に隣接する第一関節、および第一関節側とは逆の位置で穿刺位置に隣接する第二関節を含む画像が記憶される。装着状態フィールドには、止血器具40の位置ずれに関する位置ずれ情報(以下、位置ずれ情報という)が記憶される。位置ずれ情報には、「正常」、「軽微ずれ」、「中程度ずれ」、および「重度ずれ」が含まれる。
以下、所定の計測方法について説明する。
医療従事者は、患者に対して治療または検査等をおこなった後、止血処置に移る。医療従事者は穿刺位置を覆うようにして、患者に止血器具40を装着する。医療従事者は端末20を操作して、穿刺位置周辺の画像を撮像する。当該画像には、手首、穿刺位置、および肘が含まれる。なお、止血器具40が患者の脚に装着されている場合は、穿刺位置が含まれるように股関節から膝までを撮像すればよい。
端末20は、第一通信部23を介して、撮像した画像をサーバ10に送信する。サーバ10は、端末20から送信された画像を受信する。サーバ10は、当該画像を補助記憶部14に記憶する。
図6は、穿刺位置の特定処理を説明するための模式図である。本実施の形態では、止血器具40が患者の腕に装着される場合を例示するが、患者の脚に装着された場合も同様である。
サーバ10は、医療従事者が撮像した穿刺位置周辺の画像をもとに、パターンマッチングまたはOpenPose等により患者の関節点を特定する。図6では、説明を簡潔にするため、穿刺位置をA、手首の関節点をP、肘の関節点をQとして例示している。穿刺位置に隣接する二つの関節は、腕に医療器具を挿入した場合、肘および手首であり、脚に医療器具を挿入した場合、股関節および膝である。
図6の各点は二次元平面におけるX座標およびY座標として、A(XA,YA)、P(XP,YP)、Q(XQ,YQ)と表される。サーバ10は、手首の関節位置から穿刺位置までの距離(以下、APとする)と、穿刺位置から肘の関節位置までの距離(以下、AQとする)とを計測した後、これらの比率を求める。
たとえば、2点間の距離を求める式を用いて、AP=√{(XA-XP)2+(YA-YP)2}=3、AQ=√{(XA-XQ)2+(YA-YQ)2}=27 と算出された場合、サーバ10は、穿刺位置をAP:AQ=1:9の地点にあると特定する。特定された穿刺位置は、患者DB150の穿刺位置に関する位置情報フィールドに記憶される。
以上の処理により、患者の穿刺位置が特定される。なお、本実施の形態では、二次元の画像に基づいて穿刺位置を特定しているが、これに限定されない。たとえば、様々な方向から穿刺位置を撮像して構築した三次元の画像に基づき、穿刺位置を特定してもよい。また、穿刺位置を特定する際に算出される比率は整数比であることに限定されず、割合等で位置情報を表してもよい。
次に、モデル141を生成するために用いる訓練データの詳細について説明する。
訓練データは、穿刺位置に関する位置情報と穿刺後の止血器具40を含む画像と、位置ずれ情報との組み合わせである。
穿刺位置に関する位置情報は、カテーテル等の医療器具を挿入した箇所に隣接するそれぞれの関節間において特定される。穿刺位置に関する位置情報は、患者が止血器具40を装着する前または患者が止血器具40を装着した後に、患者の穿刺位置を撮像して得られる画像から取得する。当該画像には、止血器具40と穿刺位置に隣接する二つの関節とが含まれる。
穿刺後の止血器具40を含む画像は、止血器具40が適切な穿刺位置からどの程度すれているかを評価するための画像である。穿刺後の止血器具40を含む画像は、止血処置後に部屋で過ごす患者を撮像した画像から取得する。
位置ずれ情報は、止血が適切におこなわれているか否かを示す指標のひとつである。補助記憶部14は、位置ずれ情報について、医療従事者の評価に応じた情報を記憶する。医療従事者は、止血器具40がずれていないと判断した場合に正常と評価する。また、医療従事者は、止血器具40がずれていると判断した場合、位置ずれの度合いに応じて、軽微ずれ、中程度ずれ、または重度ずれと多段階の評価をおこなう。
サーバ10は以上の訓練データを用いて機械学習をおこない、モデル141を生成する。なお、止血器具40がずれている際の位置ずれ情報は多段階であることに限定されず、軽微ずれ、中程度ずれ、および重度ずれをまとめて「異常あり」と評価してもよい。
図7は、モデル141の構成例を示す模式図である。
モデル141は、たとえば複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。ニューロンは複数の入力に対して演算をおこない、演算結果として一つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数および閾値等の情報を有している。
モデル141は、一または二以上のデータの入力を受け付ける入力層と、入力層にて受け付けたデータに対して演算処理をおこなう中間層と、中間層の演算結果を集約して一または二以上の値を出力する出力層とを備える。図7に示すように、本実施の形態では、穿刺位置に関する位置情報と穿刺後の止血器具を含む画像とが入力され、位置ずれ情報が出力される。
サーバ10は、穿刺後の止血器具40を含む画像と穿刺位置に関する位置情報とをモデル141に入力して、位置ずれ情報を出力として取得する。
サーバ10は、モデル141から出力された位置ずれ情報を、医療従事者から取得した実際の評価と比較する。サーバ10は、位置ずれ情報と実際の評価とに差異が生じなくなるように、たとえば誤差逆伝播法(Backpropagation)を用いてニューロン間の重みを更新する。サーバ10は、後述する止血器具40の情報と射影歪みを補正した画像とをモデル141に追加入力した後、ニューロン間の重み等を更新していく。サーバ10は、止血器具40の位置ずれを推定する最終的なモデル141を生成する。
なお、モデル141はニューラルネットワークの他に、CNN(Convolutional Neural Network)、トランスフォーマ、U-Net、オートエンコーダ、決定木、ランダムフォレスト、勾配ブースティング、またはSVM(Support Vector Machine)等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。
図8は、モデル141の生成処理手順を示すフローチャートである。サーバ10の制御部11は、プログラム140に基づき以下の処理を実行する。
制御部11は、端末20を通じて、穿刺後の止血器具40を含む画像を取得する(ステップS101)。制御部11は、当該画像から、穿刺位置および穿刺位置に隣接する関節の位置を特定する(ステップS102)。制御部11は、特定した位置関係に基づき、穿刺位置に関する位置情報を算出する(ステップS103)。
制御部11は、入力データとして、穿刺後の止血器具40を含む画像と穿刺位置に関する位置情報とを患者DB150に記憶する(ステップS104)。
医療従事者は、止血器具40の位置ずれが許容できる場合に正常と評価し、許容できない場合に、軽微ずれ、中程度ずれ、または重度ずれ等、位置ずれの度合いを多段階で評価する。
制御部11は、上述した医療従事者からの評価を受け付ける(ステップS105)。制御部11は、出力データとして、止血器具40の装着状態に対する医療従事者の評価を患者DB150に記憶する(ステップS106)。制御部11は多数の患者について同様の処理をおこない、訓練データセットを補助記憶部14に記憶する(ステップS107)。
制御部11は、補助記憶部14に記憶してある訓練データに基づき、止血器具40の位置ずれを推定するモデル141を生成する(ステップS108)。
次に、医療従事者が止血器具40の位置ずれを患者ごとに把握する際の詳細について説明する。
患者は止血処置を受けた後、撮像装置30が設置された部屋に入室する。撮像装置30は、入室後の患者に対して、顔画像の検出およびトラッキングをおこなう。撮像装置30は、検出した患者の顔画像をサーバ10に送信する。なお、撮像装置30は、患者の顔画像のほか、患者の顔画像の特徴量をサーバ10に送信してもよい。
撮像装置30は、患者が装着している止血器具40周辺の画像を撮像する。画像の撮像は、所定の時間で継続的におこなわれる。撮像装置30は、撮像して得られた画像をサーバ10に送信する。サーバ10は、当該画像を受信する。
サーバ10は、トラッキングされた患者の顔画像に基づき患者本人を特定する。サーバ10は、継続的に撮像された止血器具40周辺の画像を、当該画像を受信する度に最新の画像に書き換える。サーバ10は、患者DB150に記憶してある穿刺位置に関する位置情報(たとえば1:9の比率)と、撮像装置30から送信された画像とをモデル141に入力する。
モデル141は、各患者が装着している止血器具40の装着状態を出力する。具体的には、モデル141は、正常、軽微ずれ、中程度ずれ、または重度ずれと位置ずれの度合いを多段階で出力する。サーバ10は、特定された患者本人に対応付けて、止血器具40の装着状態を患者DB150に記憶する。
サーバ10は、患者DB150に記憶してある患者ID、氏名、止血器具40の装着状態、および最新の止血器具40周辺の画像を読み出す。サーバ10は、各患者のこれら情報を端末20の表示部25に表示させる。医療従事者は端末20の表示内容を確認して、各患者の止血器具40の装着状態を把握する。
図9は、端末20が表示する通知画面の一例である。
本実施の形態では、正常、軽微ずれ、中程度ずれ、または重度ずれと位置ずれの度合いを多段階で出力する場合を例示する。なお、端末20は、各患者の止血器具40の装着状態について、「正常」または「異常あり」の二段階で出力してもよい。
端末20の表示部25は、患者ごとの位置ずれ情報を患者カード250に表示する。患者カード250には、患者ID、氏名、止血器具40の装着状態、軽微ずれランプ251、中程度ずれランプ252、重度ずれランプ253、および画像エリア254が含まれる。
軽微ずれランプ251、中程度ずれランプ252、および重度ずれランプ253は、止血器具40に位置ずれが発生している場合に点灯する。各ランプは、位置ずれ情報に基づきサーバ10が出力した位置ずれの度合いに応じて点灯する。軽微ずれランプ251は、止血器具40の位置ずれが軽微である場合に点灯する。中程度ずれランプ252は、止血器具40の位置ずれが中程度である場合に点灯する。重度ずれランプ253は、止血器具40の位置ずれが重度である場合に点灯する。
なお、位置ずれの度合いは三段階であることに限定されず、二段階または四段階以上であってもよい。また、位置ずれが発生している確率等の情報を出力してもよい。
画像エリア254は、止血器具40を含む患者の肢体の画像を表示する。画像エリア254は、サーバ10が異常の有無を判定する際に用いた画像を表示する。医療従事者は画像エリア254を確認することにより、実際の止血器具40の装着状態を把握できる。
図9上部の患者カード250には、山田太郎(患者ID:A001)の止血器具40の装着状態が軽微ずれであるため、「軽微ずれ」のテキストが表示され、軽微ずれランプ251が点灯している。図9中央部の患者カード250には、佐藤花子(患者ID:A002)の止血器具40の装着状態に異常がないため、「正常」のテキストが表示され、各ランプは点灯していない。図9下部の患者カード250には、鈴木一郎(患者ID:A003)の止血器具40の装着状態が重度ずれであるため、「重度ずれ」のテキストが表示され、重度ずれランプ253が点灯している。それぞれの画像エリア254には、実際に各患者が装着している止血器具40が表示されている。
なお、端末20は位置ずれ情報を画面に表示するほか、音声等により通知してもよい。また、医療従事者は、位置ずれの生じている止血器具40を適切な位置に直した際、端末20を通じて異常を解消した旨を入力してもよい。その場合、サーバ10は、患者DB150のレコードを「軽微ずれ」、「中程度ずれ」、または「重度ずれ」から「正常」に書き換える。
なお、止血器具40の位置ずれの度合いに応じて、医療従事者への通知方法を変えてもよい。たとえば、モデル141が止血器具40に位置ずれが発生していると出力した場合のみ、止血器具40周辺の画像が表示されてもよい。また、モデル141が軽微ずれと出力した場合、撮像装置30または止血器具40からアラートが出力されてもよい。一方、モデル141が中程度ずれまたは重度ずれと出力した場合、止血器具40周辺の画像が端末20に表示されてもよい。
図10は、サーバ10が実行するプログラム140の処理手順を示すフローチャートである。サーバ10の制御部11は、プログラム140に基づき以下の処理を実行する。
制御部11は、補助記憶部14からモデル141を読み出す(ステップS201)。撮像装置30は、入室後の患者に対して、顔画像の検出およびトラッキングをおこなう。制御部11は、撮像装置30の第一通信部33を介して、トラッキングされた患者の顔画像を取得する(ステップS202)。
制御部11は、取得した画像に基づき患者を特定する(ステップS203)。制御部11は、特定した患者に対応する患者IDを読み出す(ステップS204)。制御部11は、患者IDに対応した穿刺位置に関する位置情報を読み出す(ステップS205)。制御部11は、撮像装置30の第一通信部33を介して、止血器具40周辺の画像を取得する(ステップS206)。
制御部11は、穿刺位置に関する位置情報と止血器具40周辺の画像とをモデル141に入力する(ステップS207)。制御部11は、モデル141から出力された位置ずれ情報を取得する(ステップS208)。制御部11は、取得した位置ずれ情報に基づき、止血器具40に位置ずれが発生しているか否かを判定する(ステップS209)。
制御部11は、止血器具40に位置ずれが発生していないと判定した場合(ステップS209:NO)、ステップS206の処理に戻り、画像の取得を続ける。一方、制御部11は、止血器具40の位置ずれが発生していると判定した場合(ステップS209:YES)、患者氏名、患者ID、位置ずれ情報、および止血器具40周辺の画像を含む情報を端末20に送信する(ステップS210)。
以上、実施の形態1によれば、止血器具40の装着状態を機械学習モデルにより判定し、判定結果を医療従事者に通知することができる。なお、端末20または撮像装置30がサーバ10の機能を有していてもよい。
[実施の形態2]
実施の形態2では、穿刺位置を精確に特定するために撮像装置30が撮像した画像に対して正射変換をおこなう形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
実施の形態2では、穿刺位置を精確に特定するために撮像装置30が撮像した画像に対して正射変換をおこなう形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
図6にて説明した穿刺位置の特定方法は、処置室にて患者を真上から撮像した画像に対して適用する方法である。これに対し、止血処置後の患者が自由に過ごす部屋では、必ずしも患者を真上から撮像できるわけではなく、斜めから撮像された画像上に図6の特定方法を適用しても、本来のAPおよびAQの長さとならない。
撮像装置30により撮像された画像は、レンズの中心に光束が集まる中心投影であるため、レンズの中心から患者までの距離の違いにより、画像上にずれが生じる。たとえば、画像に写る患者が床から高い位置にあるほど、また画像の中心から周縁部に向かう位置にあるほど、このずれは大きくなる。
そこで、撮像装置30により撮像された画像を真上から撮像した場合と同様の画像に正射変換することにより、本来のAPおよびAQの長さを得る。
撮像装置30は、止血処置を受けた患者の画像を撮像する。サーバ10は、撮像装置30が撮像した画像を取得する。サーバ10は当該画像から特定される穿刺位置と、患者DB150に記憶されている穿刺位置に関する位置情報とを比較して、穿刺位置の比率にずれが生じているか否かを判定する。穿刺位置の比率にずれが生じるのは、たとえば撮像装置30の真下にいない患者の腕または患者の脚を撮像した場合である。
サーバ10は、穿刺位置の比率にずれが生じていると判定した場合、当該画像を正射変換した後、正射変換後の画像(以下、補正画像という)を取得する。補正画像は、患者を真上から撮像した場合に得られる画像と同様の画像であるため、サーバ10は、本来のAPおよびAQの長さを算出できる。サーバ10は、患者DB150に記憶してある穿刺位置に関する位置情報および補正画像をモデル141に入力した後、モデル141から出力される位置ずれ情報を取得する。
一方、サーバ10が穿刺位置の比率にずれが生じていないと判定した場合、正射変換の処理はおこなわず、撮像装置30が撮像した画像および穿刺位置に関する位置情報をモデル141に入力する。
図11は、サーバ10が実行するプログラム140の処理手順を示すフローチャートである。サーバ10の制御部11は、プログラム140に基づき以下の処理を実行する。
制御部11は、撮像装置30の第一通信部33を介して、止血器具40周辺の画像を取得する(ステップS301)。制御部11は、患者DB150から穿刺位置に関する位置情報を読み出す(ステップS302)。
制御部11は、撮像装置30が撮像した画像をもとに、穿刺位置に関する位置情報を算出する(ステップS303)。制御部11は患者DB150に記憶してある穿刺位置に関する位置情報と、新たに算出した穿刺位置に関する位置情報とを比較して、比率にずれが生じているか否かを判定する(ステップS304)。
比率にずれが生じていないと判定した場合(ステップS304:NO)、制御部11は、撮像装置30が撮像した画像と患者DB150から読み出した位置情報とをモデル141に入力する(ステップS305)。制御部11は、モデル141から出力された位置ずれ情報を取得する(ステップS306)。
一方、比率にずれが生じていると判定した場合(ステップS304:YES)、制御部11は、正射変換の処理をおこなう(ステップS307)。制御部11は、正射変換された補正画像を取得する(ステップS308)。制御部11は、患者DB150から読み出した位置情報および補正画像をモデル141に入力する(ステップS309)。制御部11は、モデル141から出力された位置ずれ情報を取得する(ステップS310)。
以上、実施の形態2によれば、患者を真上から撮像しなくとも穿刺位置を精確に特定できるため、止血器具40の位置ずれの推定精度が高いモデルを生成できる。
[実施の形態3]
実施の形態3では、実施の形態1にて説明した訓練データに止血器具40に関する情報を追加する形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
実施の形態3では、実施の形態1にて説明した訓練データに止血器具40に関する情報を追加する形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
図12は、止血器具DB160のデータレイアウトを示す説明図である。止血器具DB160は、止血器具ID、製品名、および押圧部の表面積のフィールドを記憶するDBである。
止血器具IDフィールドには、止血器具40を識別するための識別番号(以下、止血器具IDという)が記憶される。製品名フィールドには、止血器具40の製品名が記憶される。押圧部の表面積フィールドには、止血器具40が有する押圧部の表面積が記憶される。
押圧部の表面積は、止血器具40に関する情報のひとつである。表面積が広ければ広いほど穿刺位置を覆いやすくなるため、位置ずれが生じにくくなる。
医療従事者は、止血処置をおこなう際に、端末20を操作して患者に装着する止血器具40の情報(たとえば止血器具ID等)を入力する。サーバ10は、入力された止血器具IDを止血器具DB160に記憶する。サーバ10は、止血器具IDに対応する製品名および押圧部の表面積の情報を取得する。
サーバ10は、穿刺位置に関する位置情報と穿刺後の止血器具40を含む画像とに加え、止血器具DB160に記憶してある押圧部の表面積を訓練データに追加する。サーバ10は、新たな訓練データセットを機械学習することにより、止血器具40の位置ずれを推定するモデル141を生成する。
サーバ10は、生成されたモデル141に、穿刺位置に関する位置情報、穿刺後の止血器具40を含む画像、および止血器具40に関する情報(たとえば押圧部の表面積等)を入力した後、モデル141から出力される位置ずれ情報を取得する。
なお、訓練データに追加される止血器具40に関する情報は押圧部の表面積に限定されず、押圧部の形態(たとえば円形または四角形等)または押圧部の中心位置等であってもよい。
以上、実施の形態3によれば、止血器具40に関する情報を訓練データに追加することにより、止血器具40の位置ずれの推定精度が高いモデルを生成できる。
以上、実施の形態1から実施の形態3によれば、止血器具40の位置ずれを推定するプログラム等を提供できる。
今回開示された実施の形態はすべての点において例示であり、制限的なものではない。本発明の技術的範囲は上記のように開示された意味ではなく、特許請求の範囲の記載に基づいて定められ、特許請求の範囲と均等の意味および範囲内において、すべての変更が含まれる。
10 情報処理装置(サーバ)
10a 可搬型記憶媒体
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
140 プログラム(プログラム製品)
141 モデル
150 患者DB
160 止血器具DB
20 端末
21 制御部
22 記憶部
23 第一通信部
24 第二通信部
25 表示部
250 患者カード
251 軽微ずれランプ
252 中程度ずれランプ
253 重度ずれランプ
254 画像エリア
26 入力部
27 撮像部
30 撮像装置
31 制御部
32 記憶部
33 第一通信部
34 第二通信部
35 撮像部
40 止血器具
NW 通信ネットワーク
10a 可搬型記憶媒体
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
140 プログラム(プログラム製品)
141 モデル
150 患者DB
160 止血器具DB
20 端末
21 制御部
22 記憶部
23 第一通信部
24 第二通信部
25 表示部
250 患者カード
251 軽微ずれランプ
252 中程度ずれランプ
253 重度ずれランプ
254 画像エリア
26 入力部
27 撮像部
30 撮像装置
31 制御部
32 記憶部
33 第一通信部
34 第二通信部
35 撮像部
40 止血器具
NW 通信ネットワーク
Claims (12)
- 穿刺後の止血器具を含む画像を取得し、
穿刺位置に関する位置情報を取得し、
画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する
処理をコンピュータに実行させるプログラム。 - 穿刺位置と該穿刺位置に隣接する第一関節との第一距離、および、前記穿刺位置と該穿刺位置に前記第一関節側とは逆の位置で隣接する第二関節との第二距離に基づき穿刺位置に関する位置情報を特定する
請求項1に記載のプログラム。 - 前記止血器具、前記第一関節、および前記第二関節を含む画像を取得する
請求項2に記載のプログラム。 - 前記モデルは前記止血器具に位置ずれが発生しているか否かの判定結果を出力する
請求項1から請求項3のいずれか一項に記載のプログラム。 - 前記モデルは前記止血器具の位置ずれの度合いを多段階で出力する
請求項1から請求項4のいずれか一項に記載のプログラム。 - 位置ずれ情報に基づき位置ずれが発生したと判定した場合に、判定時に取得した穿刺後の止血器具を含む画像と患者を識別するための識別情報とを出力する
請求項1から請求項5のいずれか一項に記載のプログラム。 - 穿刺後の第一時点における位置情報を取得し、
前記第一時点より後の時点における穿刺後の止血器具を含む画像を継続的に取得し、
継続的に取得した止血器具を含む画像と第一時点における位置情報とを前記モデルに入力する
請求項1から請求項6のいずれか一項に記載のプログラム。 - 前記第一時点より後に取得した前記画像を、撮像装置と前記止血器具が装着された患者との位置関係に応じて補正し、
第一時点における位置情報および補正後の画像をモデルに入力する
請求項7に記載のプログラム。 - 前記モデルは、穿刺位置に関する位置情報、穿刺後の止血器具を含む画像、および止血器具に関する情報を入力した場合に、止血器具の位置ずれ情報を出力するよう学習されており、
穿刺位置に関する位置情報、穿刺後の止血器具を含む画像、および止血器具に関する情報を前記モデルに入力する
請求項1から請求項8のいずれか一項に記載のプログラム。 - 穿刺後の止血器具を含む画像および穿刺位置に関する位置情報と、前記止血器具の位置ずれに関する位置ずれ情報とを含む訓練データを取得し、
取得した訓練データに基づき、穿刺後の止血器具を含む画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するモデルを生成する
モデルの生成方法。 - 穿刺後の止血器具を含む画像を取得する第一取得部と、
穿刺位置に関する位置情報を取得する第二取得部と、
画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する出力部と
を備える情報処理装置。 - 穿刺後の止血器具を含む画像を取得し、
穿刺位置に関する位置情報を取得し、
画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022048885A JP2023142154A (ja) | 2022-03-24 | 2022-03-24 | プログラム、モデルの生成方法、情報処理装置、および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022048885A JP2023142154A (ja) | 2022-03-24 | 2022-03-24 | プログラム、モデルの生成方法、情報処理装置、および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023142154A true JP2023142154A (ja) | 2023-10-05 |
Family
ID=88206612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022048885A Pending JP2023142154A (ja) | 2022-03-24 | 2022-03-24 | プログラム、モデルの生成方法、情報処理装置、および情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023142154A (ja) |
-
2022
- 2022-03-24 JP JP2022048885A patent/JP2023142154A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10600204B1 (en) | Medical environment bedsore detection and prevention system | |
US9710920B2 (en) | Motion information processing device | |
EP2726164B1 (en) | Augmented-reality range-of-motion therapy system and method of operation thereof | |
US20230371905A1 (en) | Systems and methods for use in diagnosing a medical condition of a patient | |
US20160100790A1 (en) | Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly | |
WO2014112631A1 (ja) | 動作情報処理装置及びプログラム | |
US20160081594A1 (en) | Range of motion system, and method | |
CN106132291A (zh) | 监测脚部发炎的方法和设备 | |
US20140276095A1 (en) | System and method for enhanced goniometry | |
KR20080064155A (ko) | 표면 특징을 모니터링하는 방법 및 장치 | |
Lin et al. | Toward unobtrusive patient handling activity recognition for injury reduction among at-risk caregivers | |
US20200337628A1 (en) | Sensing device for controlling the delivery of care to immobile patients | |
US20170181689A1 (en) | System and Method for Measuring the Muscle Tone | |
Rahman | Multimedia environment toward analyzing and visualizing live kinematic data for children with hemiplegia | |
CN113366529A (zh) | 护理记录装置、护理记录***、护理记录程序及护理记录方法 | |
US12009083B2 (en) | Remote physical therapy and assessment of patients | |
Lopez et al. | Statistical Validation for Clinical Measures: Repeatability and Agreement of Kinect™‐Based Software | |
JP6558820B2 (ja) | 計測装置、計測方法、及びプログラム | |
JP2023142154A (ja) | プログラム、モデルの生成方法、情報処理装置、および情報処理方法 | |
CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
CN116013548B (zh) | 基于计算机视觉的智慧病房监测方法和装置 | |
JP7090327B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6922768B2 (ja) | 情報処理装置 | |
EP4120284A2 (en) | Image-based risk analysis of individuals in clinical settings | |
WO2021149629A1 (ja) | 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット |