JP2023142154A - プログラム、モデルの生成方法、情報処理装置、および情報処理方法 - Google Patents

Abstract

【課題】止血器具の位置ずれを推定するプログラム等を提供すること。【解決手段】プログラムは、穿刺後の止血器具４０を含む画像を取得し、穿刺位置に関する位置情報を取得し、画像および位置情報を入力した場合に、前記止血器具４０の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する。好適には、プログラムは、穿刺位置と該穿刺位置に隣接する第一関節との第一距離、および、前記穿刺位置と該穿刺位置に前記第一関節側とは逆の位置で隣接する第二関節との第二距離に基づき穿刺位置に関する位置情報を特定する。【選択図】図１

Description

本発明は、プログラム、モデルの生成方法、情報処理装置、および情報処理方法に関する。

医療現場では、カテーテル等の治療器具を患者の血管に挿入する治療または検査がおこなわれている。医療従事者は、治療器具が挿入された穿刺部位を止血するため、患者に止血器具を装着する等して止血処置をおこなう。

そこで、止血処置を支援するための技術がいくつか提案されている。たとえば、医療用装着器具の監視システムが提案されている（特許文献１）。

特開２０２１－０２９６７３号公報

しかし、特許文献１に開示された提案では、医療用装着器具の自己抜去を監視するにとどまり、穿刺部位からの止血器具の位置ずれを早期に発見することは実現できていない。

一つの側面では、止血器具の位置ずれを推定するプログラム等を提供することを目的とする。

一つの側面に係るプログラムは、穿刺後の止血器具を含む画像を取得し、穿刺位置に関する位置情報を取得し、画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する。

一つの側面では、止血器具の位置ずれを推定するプログラム等を提供できる。

位置ずれ検出システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 端末の構成例を示すブロック図である。 撮像装置の構成例を示す模式図である。 患者ＤＢのデータレイアウトを示す説明図である。 穿刺位置の特定処理を説明するための模式図である。 モデルの構成例を示す模式図である。 モデルの生成処理手順を示すフローチャートである。 端末が表示する通知画面の一例である。 サーバが実行するプログラムの処理手順を示すフローチャートである。 サーバが実行するプログラムの処理手順を示すフローチャートである。 止血器具ＤＢのデータレイアウトを示す説明図である。

本実施の形態では、医療現場で使用される位置ずれ検出システムについて説明する。

患者は止血処置を受けた後、医療従事者が在室する処置室とは異なる部屋で過ごすことがある。その部屋では、周囲の物との接触等により、止血器具が適切な位置からずれてしまう可能性がある。そこで、位置ずれ検出システムは、止血器具の装着状態を機械学習モデルにより判定し、位置ずれの有無に関する判定結果を医療従事者に通知する。本システムにより、好適に止血処置をおこなうことができる。

本明細書では、「治療器具を挿入した箇所」を「穿刺部位」といい、「止血が必要な穿刺部位の位置」を「穿刺位置」という。

以下、本発明の実施の形態を図面に基づいて説明する。

[実施の形態１]
図１は、位置ずれ検出システムの構成例を示す模式図である。位置ずれ検出システムは、情報処理装置１０、端末２０、撮像装置３０、および止血器具４０を含む。

情報処理装置１０、端末２０、および撮像装置３０は、インターネットまたはＬＡＮ（Local Area Network）等の通信ネットワークＮＷに接続されている。医療従事者による止血処置を受けた患者は、撮像装置３０が設置された部屋で自由に過ごしながら、止血が完了するのを待つ。

情報処理装置１０（以下、サーバ１０という）はサーバコンピュータまたはパーソナルコンピュータ等であり、位置ずれ検出システムを提供する。サーバ１０は所定の訓練データを学習する機械学習をおこない、機械学習モデル（以下、モデルという）を生成する。本実施の形態では、一つのコンピュータが処理をおこなうものとして説明するが、複数のコンピュータが分散して処理をおこなってもよい。

端末２０は医療従事者が操作する情報処理端末であり、スマートフォン、パーソナルコンピュータ、またはタブレット端末等である。端末２０は、インターネットまたはＬＡＮ等の通信ネットワークＮＷを介して、サーバ１０が提供する位置ずれ検出システムを利用できる。

撮像装置３０は、止血処置後の患者が過ごす部屋に設置される監視カメラ等である。撮像装置３０は患者の撮像用として一または二以上設置され、撮像した画像をサーバ１０または端末２０に送信する。

医療従事者は、患者の止血処置をおこなう処置室にて、端末２０を用いて患者の穿刺位置周辺の画像を撮像する。本実施の形態では、端末２０が患者の穿刺位置周辺の画像を撮像する形態について説明するが、処置室に設置された別のカメラ等が撮像してもよい。

止血器具４０は、バンドおよび押圧部を有する止血用の医療機器である。止血器具４０は、患者の肢体にバンドを巻き付けて固定される。止血器具４０は、空気または液体等の流体が押圧部に注入されることにより、穿刺部位を押圧する。止血を行う際、医療従事者は穿刺位置を覆うようにして、止血器具４０を患者の肢体に装着する。

なお、上記の止血器具４０は例示であり、流体により押圧する止血器具のほか、プラスチック等の硬質部材により押圧する止血器具が挙げられる。本実施の形態では、止血器具の形態は特に限定されず、任意の止血器具が位置ずれ検出システムを構成してもよい。

図２は、サーバ１０の構成例を示すブロック図である。サーバ１０は、制御部１１、主記憶部１２、通信部１３、および補助記憶部１４を含む。

制御部１１は一または二以上のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

主記憶部１２はＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が処理を実行するうえで必要なデータを一時的に記憶する。

通信部１３は、インターネットまたはＬＡＮ等の通信ネットワークＮＷに接続するための通信インターフェイスである。

補助記憶部１４は、ＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）等のメモリである。補助記憶部１４は、サーバ１０に処理を実行させるプログラム１４０（プログラム製品）、モデル１４１、患者ＤＢ（data base）１５０、止血器具ＤＢ１６０、およびその他のデータを記憶している。

補助記憶部１４は、止血器具４０の位置ずれを推定するモデル１４１を記憶する。補助記憶部１４は、モデル１４１について、ニューラルネットワークの構成情報ならびに各ニューロンの係数および閾値等を含むデータを記憶する。

補助記憶部１４は、モデル１４１の生成処理に用いる訓練データを記憶する。訓練データは、たとえばモデル１４１の入力情報と出力情報とを対応付けたデータである。本実施の形態では、入力情報が穿刺位置に関する位置情報と穿刺後の止血器具４０を含む画像とであり、出力情報が止血器具４０の位置ずれに関する位置ずれ情報である。

なお、サーバ１０は可搬型記憶媒体１０ａを読み取る読取部を備え、可搬型記憶媒体１０ａからプログラム１４０を読み込んでもよい。また、サーバ１０は、通信ネットワークＮＷを介して他のコンピュータからプログラム１４０をダウンロードしてもよい。

図３は、端末２０の構成例を示すブロック図である。端末２０は、制御部２１、記憶部２２、第一通信部２３、第二通信部２４、表示部２５、入力部２６、および撮像部２７を含む。

制御部２１は一または二以上のＣＰＵ、ＭＰＵ、ＧＰＵ、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

記憶部２２はＳＲＡＭまたはＤＲＡＭ等の一時記憶領域であり、制御部２１が処理を実行するうえで必要なデータを一時的に記憶する。

第一通信部２３は、インターネットまたはＬＡＮ等の通信ネットワークＮＷに接続するための通信インターフェイスである。第二通信部２４は、撮像装置３０と通信をおこなうための通信インターフェイスである。撮像装置３０との通信は、たとえばＲＦＩＤ（Radio Frequency Identifier）またはBluetooth（登録商標）等によりおこなう。

表示部２５は液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等の表示画面であり、後述する通知画面等の画像を表示する（図９参照）。

入力部２６はタッチパネルまたは機械式操作ボタン等の入力インターフェイスであり、医療従事者から操作入力を受け付ける。なお、入力部２６は、医療従事者の音声指令を収集するマイクロフォンであってもよい。

撮像部２７はＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を備えたカメラであり、画像を撮像する。

図４は、撮像装置３０の構成例を示す模式図である。撮像装置３０は、制御部３１、記憶部３２、第一通信部３３、第二通信部３４、および撮像部３５を含む。

制御部３１は一または二以上のＣＰＵ、ＭＰＵ、ＧＰＵ、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

記憶部３２はＳＲＡＭまたはＤＲＡＭ等の一時記憶領域であり、制御部３１が処理を実行するうえで必要なデータを一時的に記憶する。

第一通信部３３は、インターネットまたはＬＡＮ等の通信ネットワークＮＷに接続するための通信インターフェイスである。第二通信部３４は、端末２０と通信をおこなうための通信インターフェイスである。端末２０との通信は、たとえばＲＦＩＤまたはBluetooth（登録商標）等によりおこなう。

撮像部３５はＣＣＤセンサまたはＣＭＯＳセンサ等の撮像素子を備えたカメラであり、画像を撮像する。

図５は、患者ＤＢ１５０のデータレイアウトを示す説明図である。患者ＤＢ１５０は、患者ＩＤ、氏名、止血開始時刻、止血終了時刻、穿刺位置に関する位置情報、止血器具の位置情報、および装着状態のフィールドを記憶するＤＢである。

患者ＩＤフィールドには、患者を識別するための識別情報（以下、患者ＩＤという）が記憶される。氏名フィールドには、患者ＩＤに対応する患者の氏名が記憶される。

止血開始時刻フィールドには、止血を開始した時刻が記憶される。止血開始時刻は、たとえば、端末２０が穿刺位置周辺の画像を撮像した時刻、または、流体が押圧部に注入されて止血器具４０が穿刺部位の押圧を開始する時刻等である。止血終了時刻フィールドには、止血が終了した時刻が記憶される。止血終了時刻は、たとえば医療従事者が患者から止血器具４０を取り外した時刻等である。

穿刺位置に関する位置情報フィールドには、後述する所定の計測方法（図６参照）により算出した比率が記憶される。止血器具の位置情報フィールドには、止血器具４０、穿刺位置に隣接する第一関節、および第一関節側とは逆の位置で穿刺位置に隣接する第二関節を含む画像が記憶される。装着状態フィールドには、止血器具４０の位置ずれに関する位置ずれ情報（以下、位置ずれ情報という）が記憶される。位置ずれ情報には、「正常」、「軽微ずれ」、「中程度ずれ」、および「重度ずれ」が含まれる。

以下、所定の計測方法について説明する。

医療従事者は、患者に対して治療または検査等をおこなった後、止血処置に移る。医療従事者は穿刺位置を覆うようにして、患者に止血器具４０を装着する。医療従事者は端末２０を操作して、穿刺位置周辺の画像を撮像する。当該画像には、手首、穿刺位置、および肘が含まれる。なお、止血器具４０が患者の脚に装着されている場合は、穿刺位置が含まれるように股関節から膝までを撮像すればよい。

端末２０は、第一通信部２３を介して、撮像した画像をサーバ１０に送信する。サーバ１０は、端末２０から送信された画像を受信する。サーバ１０は、当該画像を補助記憶部１４に記憶する。

図６は、穿刺位置の特定処理を説明するための模式図である。本実施の形態では、止血器具４０が患者の腕に装着される場合を例示するが、患者の脚に装着された場合も同様である。

サーバ１０は、医療従事者が撮像した穿刺位置周辺の画像をもとに、パターンマッチングまたはOpenPose等により患者の関節点を特定する。図６では、説明を簡潔にするため、穿刺位置をＡ、手首の関節点をＰ、肘の関節点をＱとして例示している。穿刺位置に隣接する二つの関節は、腕に医療器具を挿入した場合、肘および手首であり、脚に医療器具を挿入した場合、股関節および膝である。

図６の各点は二次元平面におけるＸ座標およびＹ座標として、Ａ（Ｘ_A，Ｙ_A）、Ｐ（Ｘ_P，Ｙ_P）、Ｑ（Ｘ_Q，Ｙ_Q）と表される。サーバ１０は、手首の関節位置から穿刺位置までの距離（以下、ＡＰとする）と、穿刺位置から肘の関節位置までの距離（以下、ＡＱとする）とを計測した後、これらの比率を求める。

たとえば、２点間の距離を求める式を用いて、ＡＰ＝√{（Ｘ_A－Ｘ_P）^２＋（Ｙ_A－Ｙ_P）^２}＝３、ＡＱ＝√{（Ｘ_A－Ｘ_Q）^２＋（Ｙ_A－Ｙ_Q）^２}＝２７ と算出された場合、サーバ１０は、穿刺位置をＡＰ：ＡＱ＝１：９の地点にあると特定する。特定された穿刺位置は、患者ＤＢ１５０の穿刺位置に関する位置情報フィールドに記憶される。

以上の処理により、患者の穿刺位置が特定される。なお、本実施の形態では、二次元の画像に基づいて穿刺位置を特定しているが、これに限定されない。たとえば、様々な方向から穿刺位置を撮像して構築した三次元の画像に基づき、穿刺位置を特定してもよい。また、穿刺位置を特定する際に算出される比率は整数比であることに限定されず、割合等で位置情報を表してもよい。

次に、モデル１４１を生成するために用いる訓練データの詳細について説明する。

訓練データは、穿刺位置に関する位置情報と穿刺後の止血器具４０を含む画像と、位置ずれ情報との組み合わせである。

穿刺位置に関する位置情報は、カテーテル等の医療器具を挿入した箇所に隣接するそれぞれの関節間において特定される。穿刺位置に関する位置情報は、患者が止血器具４０を装着する前または患者が止血器具４０を装着した後に、患者の穿刺位置を撮像して得られる画像から取得する。当該画像には、止血器具４０と穿刺位置に隣接する二つの関節とが含まれる。

穿刺後の止血器具４０を含む画像は、止血器具４０が適切な穿刺位置からどの程度すれているかを評価するための画像である。穿刺後の止血器具４０を含む画像は、止血処置後に部屋で過ごす患者を撮像した画像から取得する。

位置ずれ情報は、止血が適切におこなわれているか否かを示す指標のひとつである。補助記憶部１４は、位置ずれ情報について、医療従事者の評価に応じた情報を記憶する。医療従事者は、止血器具４０がずれていないと判断した場合に正常と評価する。また、医療従事者は、止血器具４０がずれていると判断した場合、位置ずれの度合いに応じて、軽微ずれ、中程度ずれ、または重度ずれと多段階の評価をおこなう。

サーバ１０は以上の訓練データを用いて機械学習をおこない、モデル１４１を生成する。なお、止血器具４０がずれている際の位置ずれ情報は多段階であることに限定されず、軽微ずれ、中程度ずれ、および重度ずれをまとめて「異常あり」と評価してもよい。

図７は、モデル１４１の構成例を示す模式図である。

モデル１４１は、たとえば複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。ニューロンは複数の入力に対して演算をおこない、演算結果として一つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数および閾値等の情報を有している。

モデル１４１は、一または二以上のデータの入力を受け付ける入力層と、入力層にて受け付けたデータに対して演算処理をおこなう中間層と、中間層の演算結果を集約して一または二以上の値を出力する出力層とを備える。図７に示すように、本実施の形態では、穿刺位置に関する位置情報と穿刺後の止血器具を含む画像とが入力され、位置ずれ情報が出力される。

サーバ１０は、穿刺後の止血器具４０を含む画像と穿刺位置に関する位置情報とをモデル１４１に入力して、位置ずれ情報を出力として取得する。

サーバ１０は、モデル１４１から出力された位置ずれ情報を、医療従事者から取得した実際の評価と比較する。サーバ１０は、位置ずれ情報と実際の評価とに差異が生じなくなるように、たとえば誤差逆伝播法（Backpropagation）を用いてニューロン間の重みを更新する。サーバ１０は、後述する止血器具４０の情報と射影歪みを補正した画像とをモデル１４１に追加入力した後、ニューロン間の重み等を更新していく。サーバ１０は、止血器具４０の位置ずれを推定する最終的なモデル１４１を生成する。

なお、モデル１４１はニューラルネットワークの他に、ＣＮＮ（Convolutional Neural Network）、トランスフォーマ、Ｕ－Ｎet、オートエンコーダ、決定木、ランダムフォレスト、勾配ブースティング、またはＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

図８は、モデル１４１の生成処理手順を示すフローチャートである。サーバ１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

制御部１１は、端末２０を通じて、穿刺後の止血器具４０を含む画像を取得する（ステップＳ１０１）。制御部１１は、当該画像から、穿刺位置および穿刺位置に隣接する関節の位置を特定する（ステップＳ１０２）。制御部１１は、特定した位置関係に基づき、穿刺位置に関する位置情報を算出する（ステップＳ１０３）。

制御部１１は、入力データとして、穿刺後の止血器具４０を含む画像と穿刺位置に関する位置情報とを患者ＤＢ１５０に記憶する（ステップＳ１０４）。

医療従事者は、止血器具４０の位置ずれが許容できる場合に正常と評価し、許容できない場合に、軽微ずれ、中程度ずれ、または重度ずれ等、位置ずれの度合いを多段階で評価する。

制御部１１は、上述した医療従事者からの評価を受け付ける（ステップＳ１０５）。制御部１１は、出力データとして、止血器具４０の装着状態に対する医療従事者の評価を患者ＤＢ１５０に記憶する（ステップＳ１０６）。制御部１１は多数の患者について同様の処理をおこない、訓練データセットを補助記憶部１４に記憶する（ステップＳ１０７）。

制御部１１は、補助記憶部１４に記憶してある訓練データに基づき、止血器具４０の位置ずれを推定するモデル１４１を生成する（ステップＳ１０８）。

次に、医療従事者が止血器具４０の位置ずれを患者ごとに把握する際の詳細について説明する。

患者は止血処置を受けた後、撮像装置３０が設置された部屋に入室する。撮像装置３０は、入室後の患者に対して、顔画像の検出およびトラッキングをおこなう。撮像装置３０は、検出した患者の顔画像をサーバ１０に送信する。なお、撮像装置３０は、患者の顔画像のほか、患者の顔画像の特徴量をサーバ１０に送信してもよい。

撮像装置３０は、患者が装着している止血器具４０周辺の画像を撮像する。画像の撮像は、所定の時間で継続的におこなわれる。撮像装置３０は、撮像して得られた画像をサーバ１０に送信する。サーバ１０は、当該画像を受信する。

サーバ１０は、トラッキングされた患者の顔画像に基づき患者本人を特定する。サーバ１０は、継続的に撮像された止血器具４０周辺の画像を、当該画像を受信する度に最新の画像に書き換える。サーバ１０は、患者ＤＢ１５０に記憶してある穿刺位置に関する位置情報（たとえば１：９の比率）と、撮像装置３０から送信された画像とをモデル１４１に入力する。

モデル１４１は、各患者が装着している止血器具４０の装着状態を出力する。具体的には、モデル１４１は、正常、軽微ずれ、中程度ずれ、または重度ずれと位置ずれの度合いを多段階で出力する。サーバ１０は、特定された患者本人に対応付けて、止血器具４０の装着状態を患者ＤＢ１５０に記憶する。

サーバ１０は、患者ＤＢ１５０に記憶してある患者ＩＤ、氏名、止血器具４０の装着状態、および最新の止血器具４０周辺の画像を読み出す。サーバ１０は、各患者のこれら情報を端末２０の表示部２５に表示させる。医療従事者は端末２０の表示内容を確認して、各患者の止血器具４０の装着状態を把握する。

図９は、端末２０が表示する通知画面の一例である。

本実施の形態では、正常、軽微ずれ、中程度ずれ、または重度ずれと位置ずれの度合いを多段階で出力する場合を例示する。なお、端末２０は、各患者の止血器具４０の装着状態について、「正常」または「異常あり」の二段階で出力してもよい。

端末２０の表示部２５は、患者ごとの位置ずれ情報を患者カード２５０に表示する。患者カード２５０には、患者ＩＤ、氏名、止血器具４０の装着状態、軽微ずれランプ２５１、中程度ずれランプ２５２、重度ずれランプ２５３、および画像エリア２５４が含まれる。

軽微ずれランプ２５１、中程度ずれランプ２５２、および重度ずれランプ２５３は、止血器具４０に位置ずれが発生している場合に点灯する。各ランプは、位置ずれ情報に基づきサーバ１０が出力した位置ずれの度合いに応じて点灯する。軽微ずれランプ２５１は、止血器具４０の位置ずれが軽微である場合に点灯する。中程度ずれランプ２５２は、止血器具４０の位置ずれが中程度である場合に点灯する。重度ずれランプ２５３は、止血器具４０の位置ずれが重度である場合に点灯する。

なお、位置ずれの度合いは三段階であることに限定されず、二段階または四段階以上であってもよい。また、位置ずれが発生している確率等の情報を出力してもよい。

画像エリア２５４は、止血器具４０を含む患者の肢体の画像を表示する。画像エリア２５４は、サーバ１０が異常の有無を判定する際に用いた画像を表示する。医療従事者は画像エリア２５４を確認することにより、実際の止血器具４０の装着状態を把握できる。

図９上部の患者カード２５０には、山田太郎（患者ＩＤ：Ａ００１）の止血器具４０の装着状態が軽微ずれであるため、「軽微ずれ」のテキストが表示され、軽微ずれランプ２５１が点灯している。図９中央部の患者カード２５０には、佐藤花子（患者ＩＤ：Ａ００２）の止血器具４０の装着状態に異常がないため、「正常」のテキストが表示され、各ランプは点灯していない。図９下部の患者カード２５０には、鈴木一郎（患者ＩＤ：Ａ００３）の止血器具４０の装着状態が重度ずれであるため、「重度ずれ」のテキストが表示され、重度ずれランプ２５３が点灯している。それぞれの画像エリア２５４には、実際に各患者が装着している止血器具４０が表示されている。

なお、端末２０は位置ずれ情報を画面に表示するほか、音声等により通知してもよい。また、医療従事者は、位置ずれの生じている止血器具４０を適切な位置に直した際、端末２０を通じて異常を解消した旨を入力してもよい。その場合、サーバ１０は、患者ＤＢ１５０のレコードを「軽微ずれ」、「中程度ずれ」、または「重度ずれ」から「正常」に書き換える。

なお、止血器具４０の位置ずれの度合いに応じて、医療従事者への通知方法を変えてもよい。たとえば、モデル１４１が止血器具４０に位置ずれが発生していると出力した場合のみ、止血器具４０周辺の画像が表示されてもよい。また、モデル１４１が軽微ずれと出力した場合、撮像装置３０または止血器具４０からアラートが出力されてもよい。一方、モデル１４１が中程度ずれまたは重度ずれと出力した場合、止血器具４０周辺の画像が端末２０に表示されてもよい。

図１０は、サーバ１０が実行するプログラム１４０の処理手順を示すフローチャートである。サーバ１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

制御部１１は、補助記憶部１４からモデル１４１を読み出す（ステップＳ２０１）。撮像装置３０は、入室後の患者に対して、顔画像の検出およびトラッキングをおこなう。制御部１１は、撮像装置３０の第一通信部３３を介して、トラッキングされた患者の顔画像を取得する（ステップＳ２０２）。

制御部１１は、取得した画像に基づき患者を特定する（ステップＳ２０３）。制御部１１は、特定した患者に対応する患者ＩＤを読み出す（ステップＳ２０４）。制御部１１は、患者ＩＤに対応した穿刺位置に関する位置情報を読み出す（ステップＳ２０５）。制御部１１は、撮像装置３０の第一通信部３３を介して、止血器具４０周辺の画像を取得する（ステップＳ２０６）。

制御部１１は、穿刺位置に関する位置情報と止血器具４０周辺の画像とをモデル１４１に入力する（ステップＳ２０７）。制御部１１は、モデル１４１から出力された位置ずれ情報を取得する（ステップＳ２０８）。制御部１１は、取得した位置ずれ情報に基づき、止血器具４０に位置ずれが発生しているか否かを判定する（ステップＳ２０９）。

制御部１１は、止血器具４０に位置ずれが発生していないと判定した場合（ステップＳ２０９：ＮＯ）、ステップＳ２０６の処理に戻り、画像の取得を続ける。一方、制御部１１は、止血器具４０の位置ずれが発生していると判定した場合（ステップＳ２０９：ＹＥＳ）、患者氏名、患者ＩＤ、位置ずれ情報、および止血器具４０周辺の画像を含む情報を端末２０に送信する（ステップＳ２１０）。

以上、実施の形態１によれば、止血器具４０の装着状態を機械学習モデルにより判定し、判定結果を医療従事者に通知することができる。なお、端末２０または撮像装置３０がサーバ１０の機能を有していてもよい。

［実施の形態２］
実施の形態２では、穿刺位置を精確に特定するために撮像装置３０が撮像した画像に対して正射変換をおこなう形態について説明する。なお、実施の形態１と重複する内容は、同一の符号を付して説明を省略する。

図６にて説明した穿刺位置の特定方法は、処置室にて患者を真上から撮像した画像に対して適用する方法である。これに対し、止血処置後の患者が自由に過ごす部屋では、必ずしも患者を真上から撮像できるわけではなく、斜めから撮像された画像上に図６の特定方法を適用しても、本来のＡＰおよびＡＱの長さとならない。

撮像装置３０により撮像された画像は、レンズの中心に光束が集まる中心投影であるため、レンズの中心から患者までの距離の違いにより、画像上にずれが生じる。たとえば、画像に写る患者が床から高い位置にあるほど、また画像の中心から周縁部に向かう位置にあるほど、このずれは大きくなる。

そこで、撮像装置３０により撮像された画像を真上から撮像した場合と同様の画像に正射変換することにより、本来のＡＰおよびＡＱの長さを得る。

撮像装置３０は、止血処置を受けた患者の画像を撮像する。サーバ１０は、撮像装置３０が撮像した画像を取得する。サーバ１０は当該画像から特定される穿刺位置と、患者ＤＢ１５０に記憶されている穿刺位置に関する位置情報とを比較して、穿刺位置の比率にずれが生じているか否かを判定する。穿刺位置の比率にずれが生じるのは、たとえば撮像装置３０の真下にいない患者の腕または患者の脚を撮像した場合である。

サーバ１０は、穿刺位置の比率にずれが生じていると判定した場合、当該画像を正射変換した後、正射変換後の画像（以下、補正画像という）を取得する。補正画像は、患者を真上から撮像した場合に得られる画像と同様の画像であるため、サーバ１０は、本来のＡＰおよびＡＱの長さを算出できる。サーバ１０は、患者ＤＢ１５０に記憶してある穿刺位置に関する位置情報および補正画像をモデル１４１に入力した後、モデル１４１から出力される位置ずれ情報を取得する。

一方、サーバ１０が穿刺位置の比率にずれが生じていないと判定した場合、正射変換の処理はおこなわず、撮像装置３０が撮像した画像および穿刺位置に関する位置情報をモデル１４１に入力する。

図１１は、サーバ１０が実行するプログラム１４０の処理手順を示すフローチャートである。サーバ１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

制御部１１は、撮像装置３０の第一通信部３３を介して、止血器具４０周辺の画像を取得する（ステップＳ３０１）。制御部１１は、患者ＤＢ１５０から穿刺位置に関する位置情報を読み出す（ステップＳ３０２）。

制御部１１は、撮像装置３０が撮像した画像をもとに、穿刺位置に関する位置情報を算出する（ステップＳ３０３）。制御部１１は患者ＤＢ１５０に記憶してある穿刺位置に関する位置情報と、新たに算出した穿刺位置に関する位置情報とを比較して、比率にずれが生じているか否かを判定する（ステップＳ３０４）。

比率にずれが生じていないと判定した場合（ステップＳ３０４：ＮＯ）、制御部１１は、撮像装置３０が撮像した画像と患者ＤＢ１５０から読み出した位置情報とをモデル１４１に入力する（ステップＳ３０５）。制御部１１は、モデル１４１から出力された位置ずれ情報を取得する（ステップＳ３０６）。

一方、比率にずれが生じていると判定した場合（ステップＳ３０４：ＹＥＳ）、制御部１１は、正射変換の処理をおこなう（ステップＳ３０７）。制御部１１は、正射変換された補正画像を取得する（ステップＳ３０８）。制御部１１は、患者ＤＢ１５０から読み出した位置情報および補正画像をモデル１４１に入力する（ステップＳ３０９）。制御部１１は、モデル１４１から出力された位置ずれ情報を取得する（ステップＳ３１０）。

以上、実施の形態２によれば、患者を真上から撮像しなくとも穿刺位置を精確に特定できるため、止血器具４０の位置ずれの推定精度が高いモデルを生成できる。

［実施の形態３］
実施の形態３では、実施の形態１にて説明した訓練データに止血器具４０に関する情報を追加する形態について説明する。なお、実施の形態１と重複する内容は、同一の符号を付して説明を省略する。

図１２は、止血器具ＤＢ１６０のデータレイアウトを示す説明図である。止血器具ＤＢ１６０は、止血器具ＩＤ、製品名、および押圧部の表面積のフィールドを記憶するＤＢである。

止血器具ＩＤフィールドには、止血器具４０を識別するための識別番号（以下、止血器具ＩＤという）が記憶される。製品名フィールドには、止血器具４０の製品名が記憶される。押圧部の表面積フィールドには、止血器具４０が有する押圧部の表面積が記憶される。

押圧部の表面積は、止血器具４０に関する情報のひとつである。表面積が広ければ広いほど穿刺位置を覆いやすくなるため、位置ずれが生じにくくなる。

医療従事者は、止血処置をおこなう際に、端末２０を操作して患者に装着する止血器具４０の情報（たとえば止血器具ＩＤ等）を入力する。サーバ１０は、入力された止血器具ＩＤを止血器具ＤＢ１６０に記憶する。サーバ１０は、止血器具ＩＤに対応する製品名および押圧部の表面積の情報を取得する。

サーバ１０は、穿刺位置に関する位置情報と穿刺後の止血器具４０を含む画像とに加え、止血器具ＤＢ１６０に記憶してある押圧部の表面積を訓練データに追加する。サーバ１０は、新たな訓練データセットを機械学習することにより、止血器具４０の位置ずれを推定するモデル１４１を生成する。

サーバ１０は、生成されたモデル１４１に、穿刺位置に関する位置情報、穿刺後の止血器具４０を含む画像、および止血器具４０に関する情報（たとえば押圧部の表面積等）を入力した後、モデル１４１から出力される位置ずれ情報を取得する。

なお、訓練データに追加される止血器具４０に関する情報は押圧部の表面積に限定されず、押圧部の形態（たとえば円形または四角形等）または押圧部の中心位置等であってもよい。

以上、実施の形態３によれば、止血器具４０に関する情報を訓練データに追加することにより、止血器具４０の位置ずれの推定精度が高いモデルを生成できる。

以上、実施の形態１から実施の形態３によれば、止血器具４０の位置ずれを推定するプログラム等を提供できる。

今回開示された実施の形態はすべての点において例示であり、制限的なものではない。本発明の技術的範囲は上記のように開示された意味ではなく、特許請求の範囲の記載に基づいて定められ、特許請求の範囲と均等の意味および範囲内において、すべての変更が含まれる。

１０ 情報処理装置（サーバ）
１０ａ 可搬型記憶媒体
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１４０ プログラム（プログラム製品）
１４１ モデル
１５０ 患者ＤＢ
１６０ 止血器具ＤＢ
２０ 端末
２１ 制御部
２２ 記憶部
２３ 第一通信部
２４ 第二通信部
２５ 表示部
２５０ 患者カード
２５１ 軽微ずれランプ
２５２ 中程度ずれランプ
２５３ 重度ずれランプ
２５４ 画像エリア
２６ 入力部
２７ 撮像部
３０ 撮像装置
３１ 制御部
３２ 記憶部
３３ 第一通信部
３４ 第二通信部
３５ 撮像部
４０ 止血器具
ＮＷ 通信ネットワーク

Claims (12)

1. 穿刺後の止血器具を含む画像を取得し、
   穿刺位置に関する位置情報を取得し、
   画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する
   処理をコンピュータに実行させるプログラム。
2. 穿刺位置と該穿刺位置に隣接する第一関節との第一距離、および、前記穿刺位置と該穿刺位置に前記第一関節側とは逆の位置で隣接する第二関節との第二距離に基づき穿刺位置に関する位置情報を特定する
   請求項１に記載のプログラム。
3. 前記止血器具、前記第一関節、および前記第二関節を含む画像を取得する
   請求項２に記載のプログラム。
4. 前記モデルは前記止血器具に位置ずれが発生しているか否かの判定結果を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
5. 前記モデルは前記止血器具の位置ずれの度合いを多段階で出力する
   請求項１から請求項４のいずれか一項に記載のプログラム。
6. 位置ずれ情報に基づき位置ずれが発生したと判定した場合に、判定時に取得した穿刺後の止血器具を含む画像と患者を識別するための識別情報とを出力する
   請求項１から請求項５のいずれか一項に記載のプログラム。
7. 穿刺後の第一時点における位置情報を取得し、
   前記第一時点より後の時点における穿刺後の止血器具を含む画像を継続的に取得し、
   継続的に取得した止血器具を含む画像と第一時点における位置情報とを前記モデルに入力する
   請求項１から請求項６のいずれか一項に記載のプログラム。
8. 前記第一時点より後に取得した前記画像を、撮像装置と前記止血器具が装着された患者との位置関係に応じて補正し、
   第一時点における位置情報および補正後の画像をモデルに入力する
   請求項７に記載のプログラム。
9. 前記モデルは、穿刺位置に関する位置情報、穿刺後の止血器具を含む画像、および止血器具に関する情報を入力した場合に、止血器具の位置ずれ情報を出力するよう学習されており、
   穿刺位置に関する位置情報、穿刺後の止血器具を含む画像、および止血器具に関する情報を前記モデルに入力する
   請求項１から請求項８のいずれか一項に記載のプログラム。
10. 穿刺後の止血器具を含む画像および穿刺位置に関する位置情報と、前記止血器具の位置ずれに関する位置ずれ情報とを含む訓練データを取得し、
    取得した訓練データに基づき、穿刺後の止血器具を含む画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するモデルを生成する
    モデルの生成方法。
11. 穿刺後の止血器具を含む画像を取得する第一取得部と、
    穿刺位置に関する位置情報を取得する第二取得部と、
    画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する出力部と
    を備える情報処理装置。
12. 穿刺後の止血器具を含む画像を取得し、
    穿刺位置に関する位置情報を取得し、
    画像および位置情報を入力した場合に、前記止血器具の位置ずれに関する位置ずれ情報を出力するよう学習されたモデルに、取得した画像および位置情報を入力して位置ずれ情報を出力する
    情報処理方法。

Images