JP2023136949A - Learning model generation method, information output method, information output device, and computer program - Google Patents
Learning model generation method, information output method, information output device, and computer program Download PDFInfo
- Publication number
- JP2023136949A JP2023136949A JP2022042902A JP2022042902A JP2023136949A JP 2023136949 A JP2023136949 A JP 2023136949A JP 2022042902 A JP2022042902 A JP 2022042902A JP 2022042902 A JP2022042902 A JP 2022042902A JP 2023136949 A JP2023136949 A JP 2023136949A
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- information
- probability
- prolapse
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004590 computer program Methods 0.000 title claims abstract description 26
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 293
- 208000012287 Prolapse Diseases 0.000 claims abstract description 225
- 238000012276 Endovascular treatment Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 33
- 238000011282 treatment Methods 0.000 abstract description 18
- 238000004364 calculation method Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 238000002608 intravascular ultrasound Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002966 stenotic effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000036262 stenosis Effects 0.000 description 2
- 208000037804 stenosis Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
本発明は、血管内治療に関連する学習モデル生成方法、情報出力方法、情報出力装置及びコンピュータプログラムに関する。 The present invention relates to a learning model generation method, an information output method, an information output device, and a computer program related to endovascular treatment.
血管に生じた狭窄又は閉塞等の病変部分を治療する方法の一つとして、血管に経皮的に挿入されたデバイスを使用して血管内から治療を行う血管内治療がある。血管内治療では、ガイディングカテーテル、ガイドワイヤ、マイクロカテーテル、バルーンカテーテル及びステント等の、血管に挿入される種々のデバイスを組み合わせて治療が行われる。血管内治療の一例では、施術者は、ガイドワイヤを血管内に挿入し、ガイドワイヤに沿ってバルーンカテーテルを挿入し、血管が狭窄した病変部分で、バルーンカテーテルの有するバルーンを膨張させ、病変部分を拡張する。特許文献1には、血管内治療を行うための技術の例が開示されている。
One method for treating diseased areas such as stenosis or occlusion occurring in blood vessels is endovascular treatment, in which treatment is performed from within the blood vessel using a device percutaneously inserted into the blood vessel. In endovascular treatment, treatment is performed using a combination of various devices inserted into blood vessels, such as guiding catheters, guide wires, microcatheters, balloon catheters, and stents. In an example of endovascular treatment, a practitioner inserts a guide wire into a blood vessel, inserts a balloon catheter along the guide wire, and inflates the balloon of the balloon catheter at the diseased area where the blood vessel is narrowed. Expand.
血管内治療では、デバイスは、経皮的に血管内に挿入された後、血管内を通って狭窄又は閉塞した病変部分に到達する必要がある。血管の形状は、患者によって異なり、血管が分岐している場合もある。狭窄又は閉塞が生じた病変部分の周辺に血管の分岐がある場合、デバイスは、分岐を通過する際に、デバイスの剛性が大きく変化している部分で座屈し、座屈したデバイスの一部が血管の側枝に入るプロラプスが発生することがある。プロラプスが発生した場合は、デバイスは、それ以上進むことができずに目的の病変部分に到達できないことがある。また、プロラプスの発生に伴いデバイスが急激にかつ大きく座屈した場合、デバイスは、血管壁と擦れることにより血管壁を損傷させ、患者の病態を悪化させることがある。プロラプスの発生確率は、患者の血管の状態及びデバイスの特性等によって変化する。血管内治療を実施する施術者は、プロラプスの発生確率を把握した上で治療を行うことが望ましい。 Endovascular treatment requires a device to be percutaneously inserted into a blood vessel and then passed through the blood vessel to reach a stenotic or occluded lesion. The shape of blood vessels varies depending on the patient, and in some cases, blood vessels have branches. If there is a branch of a blood vessel around a lesion where stenosis or occlusion has occurred, the device will buckle at the part where the stiffness of the device changes significantly as it passes through the branch, and the buckled part of the device will Prolapse into side branches of blood vessels may occur. If prolapse occurs, the device may be unable to advance further to reach the desired lesion. Furthermore, if the device buckles rapidly and significantly due to the occurrence of prolapse, the device may rub against the blood vessel wall, damaging the blood vessel wall and worsening the patient's condition. The probability of occurrence of prolapse changes depending on the condition of the patient's blood vessels, the characteristics of the device, etc. It is desirable for practitioners who perform endovascular treatment to understand the probability of prolapse occurring before performing treatment.
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、血管内治療におけるプロラプスの発生確率を使用者に提示するための学習モデル生成方法、情報出力方法、情報出力装置及びコンピュータプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to provide a learning model generation method, an information output method, and an information output method for presenting to a user the probability of occurrence of prolapse in endovascular treatment. The purpose of this invention is to provide output devices and computer programs.
本発明の一形態に係る学習モデル生成方法は、患者の血管の状態に関する血管画像と、血管内治療で使用するデバイスに関するデバイス情報と、血管内治療におけるプロラプスの発生確率とを含んだ訓練データを取得し、前記訓練データに基づいた学習により、血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルを生成することを特徴とする。 A learning model generation method according to an embodiment of the present invention uses training data that includes a blood vessel image regarding the state of a patient's blood vessels, device information regarding a device used in endovascular treatment, and the probability of occurrence of prolapse in endovascular treatment. The method is characterized in that, by learning based on the acquired training data, a learning model is generated that outputs the probability of occurrence of prolapse in endovascular treatment when blood vessel images and device information are input.
本発明の一形態においては、患者の血管の状態に関する血管画像と、血管内治療で使用するデバイスに関する情報と、血管内治療におけるプロラプスの発生確率とを含んだ訓練データを用いた学習により、学習モデルを生成する。血管内治療におけるプロラプスの発生確率は、血管の状態とデバイスの特性との組み合わせによって異なる。このため、血管画像とデバイスに関する情報とに応じてプロラプスの発生確率を出力する学習モデルを生成することが可能である。 In one form of the present invention, learning is performed using training data that includes vascular images regarding the state of a patient's blood vessels, information regarding devices used in endovascular treatment, and the probability of occurrence of prolapse during endovascular treatment. Generate the model. The probability of prolapse occurring in endovascular treatment varies depending on the combination of the vascular condition and device characteristics. Therefore, it is possible to generate a learning model that outputs the prolapse occurrence probability according to the blood vessel image and information regarding the device.
本発明の一形態に係る情報出力方法は、患者の血管の状態に関する血管画像と、血管内治療で使用するデバイスに関するデバイス情報とを取得し、血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルへ、取得した血管画像及びデバイス情報を入力し、前記学習モデルが出力した前記確率を取得し、取得した前記確率に応じた情報を出力することを特徴とする。 An information output method according to one embodiment of the present invention acquires a blood vessel image related to a patient's blood vessel condition and device information related to a device used in endovascular treatment, and when the blood vessel image and device information are input, endovascular treatment is performed. The acquired blood vessel image and device information are input to a learning model that outputs the probability of occurrence of prolapse in the learning model, the probability outputted by the learning model is obtained, and information corresponding to the obtained probability is outputted. do.
本発明の一形態に係る情報出力装置は、患者の血管の状態に関する血管画像と、血管内治療で使用するデバイスに関するデバイス情報とを取得する情報取得部と、血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルと、取得した血管画像及びデバイス情報を前記学習モデルへ入力し、前記学習モデルが出力した前記確率を取得する確率取得部と、取得した前記確率に応じた情報を出力する出力部とを備えることを特徴とする。 An information output device according to one embodiment of the present invention includes an information acquisition unit that acquires a blood vessel image related to a patient's blood vessel condition and device information related to a device used in endovascular treatment; a learning model that outputs the probability of occurrence of prolapse in endovascular treatment; a probability acquisition unit that inputs the acquired blood vessel image and device information to the learning model and acquires the probability output by the learning model; The apparatus is characterized by comprising an output section that outputs information according to the probability.
本発明の一形態に係るコンピュータプログラムは、患者の血管の状態に関する血管画像と、血管内治療で使用するデバイスに関するデバイス情報とを取得し、血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルへ、取得した血管画像及びデバイス情報を入力し、前記学習モデルが出力した前記確率を取得し、取得した前記確率に応じた情報を出力する処理をコンピュータに実行させることを特徴とする。 A computer program according to an embodiment of the present invention acquires a blood vessel image related to a patient's blood vessel condition and device information related to a device used in endovascular treatment, and when the blood vessel image and device information are input, Input the acquired blood vessel image and device information into a learning model that outputs the probability of prolapse occurrence, acquire the probability output by the learning model, and execute a process on the computer to output information according to the acquired probability. It is characterized by causing
本発明の一形態においては、血管画像とデバイス情報に応じて、血管内治療におけるプロラプスの発生確率を取得し、確率又はプロラプスが発生する可能性が高いことの警告等、プロラプスの発生確率に応じた情報を出力する。使用者は、血管内治療におけるプロラプスの発生確率を認識することができる。 In one embodiment of the present invention, the probability of occurrence of prolapse in endovascular treatment is obtained according to the blood vessel image and device information, and the probability or warning that prolapse is likely to occur is determined depending on the probability of occurrence of prolapse. Output the information. The user can recognize the probability of prolapse occurring during endovascular treatment.
本発明にあっては、血管内治療におけるプロラプスの発生確率に応じて、プロラプスが発生しないように使用者が行動することが可能となる。このため、本発明は、血管内治療の安全性が向上する等、優れた効果を奏する。 According to the present invention, the user can take actions to prevent prolapse from occurring, depending on the probability of prolapse occurring during endovascular treatment. Therefore, the present invention has excellent effects such as improving the safety of endovascular treatment.
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
(実施形態1)
図1は、血管内治療を行うために使用される治療システム100の概略を示す模式図である。患者4は血管に疾患を有しており、患者4の血管に経皮的に挿入されるデバイス3を用いて治療が行われる。治療では、単一のデバイス3に限らず、複数のデバイス3の組み合わせが用いられてもよい。治療システム100は、情報出力装置1と、画像生成装置21と、表示装置22と、音声出力装置23とを備える。画像生成装置21は、患者4の血管の状態に関する血管画像を生成する。血管画像は、患者4の血管を表した画像である。例えば、画像生成装置21は、患者4へX線を照射し、患者4を透過したX線を検出し、血管画像として、患者4の血管を撮影したX線透過画像を生成する。なお、画像生成装置21は、音波を利用して生成されるエコー画像等、血管画像としてX線透過画像以外の画像を生成する形態であってもよい。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be specifically described below based on drawings showing embodiments thereof.
(Embodiment 1)
FIG. 1 is a schematic diagram showing an outline of a
表示装置22は、画像を表示する。表示装置22は、例えば、液晶ディスプレイ又はELディスプレイ(Electroluminescent Display)である。音声出力装置23は、音声を発声させる。例えば、音声出力装置23はスピーカである。情報出力装置1は、画像生成装置21、表示装置22及び音声出力装置23に接続されている。情報出力装置1は、画像生成装置21が生成した血管画像を取得し、血管画像を表示装置22に表示させる。治療システム100を使用する使用者は、例えば、血管内治療を実施する施術者5、又は他の医療従事者である。デバイス3は、施術者5の操作によって患者4の血管へ挿入される。施術者5は、表示装置22に表示された血管画像を視認しながら、デバイス3を操作する。
The
血管内治療には、ガイディングカテーテル、ガイドワイヤ、マイクロカテーテル、バルーンカテーテル及びステント等、複数種類のデバイス3が使用され得る。血管内治療では、複数種類のデバイス3を組み合わせて使用することもある。図2は、血管内においてガイドワイヤにプロラプスが発生した状況を表す模式的断面図である。本実施形態では、血管内治療において、デバイス3が血管内に挿入され、血管内を進行している時に、デバイス3が座屈し、デバイス3の座屈した部分が血管の側枝に入り込むことをプロラプスとする。
A plurality of types of
プロラプスは、図2に示すように、施術者が血管41の狭窄部分44にデバイス3の先端を通過させようとしてデバイス3を押し込んだ際に、発生することがある。デバイス3の先端が狭窄部分44に阻まれて進行しにくい場合に、施術者5がデバイス3を更に押し込むと、デバイス3の先端部が座屈する。デバイス3の座屈した部分が狭窄部分44の手前に存在する血管41の側枝43に入り込むことにより、プロラプスが発生する。プロラプスが発生すると、デバイス3は、進行が困難になり、血管内治療の継続が妨げられることがある。又は、デバイス3の座屈した部分が血管41を損傷させ、患者の病態を悪化させることがある。したがって、施術者5は、プロラプスが発生しないように血管内治療を実施する必要がある。
As shown in FIG. 2, prolapse may occur when the practitioner pushes the
血管内治療におけるプロラプスの発生確率は、患者4の血管の状態とデバイス3の特性との組み合わせによって異なる。また、プロラプスの発生確率は、デバイス3の血管内での位置によっても異なる。プロラプスの発生確率に関係する血管の状態は、血管が直線状であるか否か、血管に分岐があるか否か、血管の狭窄部分から分岐までの距離等である。プロラプスの発生確率に関係するデバイス3の特性は、デバイス3の種類、滑り性又は長軸に沿った剛性の分布等である。
The probability of prolapse occurring in endovascular treatment differs depending on the combination of the patient's 4 vascular condition and the
例えば、デバイス3の剛性の長軸方向に沿った遷移は、デバイス3に用いられる素材又はデバイス3の構造によって異なるが、デバイス3の先端から基端に向かって長軸方向に沿って剛性が徐々に増加する傾向が知られている。デバイス3によっては、長軸方向に沿った剛性が大きく変化する部分を有する。以下、長軸方向に沿ってデバイス3の剛性が大きく変化する部分を剛性変化点という。デバイス3は、デバイス3の長軸方向に沿って剛性が大きく変化する剛性変化点で座屈しやすい。したがって、デバイス3は、デバイス3の剛性変化点が血管の分岐に位置した場合に、プロラプスの発生確率が高くなる。
For example, the transition of the stiffness of the
図3は、情報出力装置1の内部の機能構成例を示すブロック図である。情報出力装置1は、サーバ装置又はパーソナルコンピュータ等のコンピュータである。情報出力装置1は、演算部11と、メモリ12と、記憶部13と、ドライブ部14と、操作部15と、インタフェース部16とを備えている。演算部11は、例えば、CPU(Central Processing Unit )、GPU(Graphics Processing Unit)、又はマルチコアCPUを用いて構成されている。演算部11は、量子コンピュータを用いて構成されていてもよい。メモリ12は、演算に伴って発生する一時的なデータを記憶する。メモリ12は、例えば、RAM(Random Access Memory)である。記憶部13は、不揮発性であり、例えば、ハードディスク又は不揮発性半導体メモリである。ドライブ部14は、光ディスク又は可搬型メモリ等の記録媒体10から情報を読み取る。
FIG. 3 is a block diagram showing an example of the internal functional configuration of the
演算部11は、記録媒体10に記録されたコンピュータプログラム131をドライブ部14に読み取らせ、読み取ったコンピュータプログラム131を記憶部13に記憶させる。演算部11は、コンピュータプログラム131に従って、情報出力装置1に必要な処理を実行する。コンピュータプログラム131は、コンピュータプログラム製品であってもよい。コンピュータプログラム131は、情報出力装置1の外部からダウンロードされてもよい。又は、コンピュータプログラム131は、情報出力装置1に予め記憶されていてもよい。これらの場合は、情報出力装置1はドライブ部14を備えていなくてもよい。
The
操作部15は、使用者からの操作を受け付けることにより、テキスト等の情報の入力を受け付ける。操作部15は、例えば、タッチパネル、ペンタブレット、キーボード又はポインティングデバイスである。インタフェース部16は、画像生成装置21、表示装置22及び音声出力装置23に接続されている。画像生成装置21は、生成した血管画像を情報出力装置1へ送信し、情報出力装置1は、画像生成装置21から送信された血管画像をインタフェース部16で受信する。情報出力装置1は、インタフェース部16から血管画像を表示装置22へ送信し、表示装置22は、情報出力装置1から受信した血管画像を表示する。なお、操作部15は、情報出力装置1の外部に設けられており、インタフェース部16に接続されていてもよい。
The
情報出力装置1は、複数のコンピュータにより構成され、データが複数のコンピュータによって分散して記憶されていてもよく、処理が複数のコンピュータによって分散して実行されてもよい。情報出力装置1は、クラウドコンピューティングを利用して実現されてもよく、一台のコンピュータ内に設けられた複数の仮想マシンによって実現されてもよい。
The
情報出力装置1は、プロラプスの発生確率を得るために用いられる学習モデル132を備えている。学習モデル132は、コンピュータプログラム131に従って演算部11が情報処理を実行することにより実現される。記憶部13は、学習モデル132を実現するために必要なデータを記憶している。学習モデル132は、ハードウェアを用いて構成されていてもよい。例えば、学習モデル132は、プロセッサと、必要なプログラムおよびデータを記憶するメモリとを含んだハードウェアにより構成されていてもよい。又は、学習モデル132は、量子コンピュータを用いて実現されてもよい。或いは、学習モデル132は情報出力装置1の外部に設けられており、情報出力装置1は、外部の学習モデル132を利用して処理を実行する形態であってもよい。例えば、学習モデル132はクラウドを利用して実現されてもよい。
The
図4は、学習モデル132の機能を示す概念図である。学習モデル132には、患者4の血管を表した血管画像と、デバイス3の特性を示すデバイス情報とが入力される。例えば、血管画像は、病変部分を含んだ血管を表した画像である。学習モデル132は、血管画像とデバイス情報とが入力された場合に、血管内治療におけるプロラプスの発生確率を出力するように、予め学習されている。
FIG. 4 is a conceptual diagram showing the functions of the
図5は、血管画像の例を示す模式図である。血管画像は、画像生成装置21によって生成された画像である。血管画像には、患者4の血管の状態及び狭窄部分の位置等の血管の状態が表現されている。血管画像は、血管の分岐を表した画像を含んでいる。血管画像は、血管内治療中に生成される。血管画像は、血管内に挿入されたデバイス3の一部の画像を含む。特に、血管画像は、デバイス3の先端を含む先端部分34の画像を含む。デバイス3の先端部分34は、デバイス3の一部分である。デバイス3の先端部分34は、X線が透過しない物質で形成されており、血管画像は、X線不透過部分として、デバイス3の先端部分34の画像を含む。
FIG. 5 is a schematic diagram showing an example of a blood vessel image. The blood vessel image is an image generated by the
学習モデル132へ入力される血管画像は、単一の画像であってもよく、複数の画像であってもよい。複数の血管画像は、血管の複数の箇所を表した複数の血管画像である。複数の血管画像は、生成された時点が異なる時系列的な複数の血管画像である。時系列的な複数の血管画像は、血管の同一部分を表し、時間の経過に応じて繰り返し生成される画像である。時系列的な複数の血管画像は、動画像に含まれる連続的な複数のフレームであってもよく、動画像から非連続的に抽出された複数のフレームであってもよい。学習モデル132へ入力される血管画像は、患者4の血管の複数の部分を表した複数の画像であってもよい。なお、血管画像は、IVUS(intravascular ultrasound)によって生成された画像であってもよい。
The blood vessel image input to the
図6は、デバイス情報の内容例を示す概念図である。図6Aは、デバイス情報が単一のデバイス3に関する情報からなる例を示す。デバイス情報には、ガイディングカテーテル、ガイドワイヤ、マイクロカテーテル、バルーンカテーテル、又はステントといったデバイス3の種類と、デバイス3の製品名とが含まれる。また、デバイス情報には、デバイス3の外径、滑り性、所定の先端部分の荷重である先端荷重、及び剛性が大きく変化する剛性変化点の位置等の複数種類の要素からなるデバイス3の特性が記録されている。デバイス3の外径は、デバイス3のサイズの例であり、剛性変化点の位置は、デバイス3の長軸方向に沿った剛性の分布の例である。デバイス3の外径、滑り性、先端荷重及び剛性変化点の位置について、数値が記録されている。剛性変化点の位置は、デバイス3の先端から剛性変化点までの長軸方向の長さで表されている。デバイス情報は、デバイス3の各部分の剛性の数値等、デバイス3の特性に含まれる他の要素を含んでいてもよい。
FIG. 6 is a conceptual diagram showing an example of the contents of device information. FIG. 6A shows an example in which the device information consists of information regarding a
図6Bは、デバイス情報が、血管内治療で使用される複数のデバイス3の組み合わせを含む例を示す。複数種類のデバイス3の組み合わせが使用される場合は、デバイス情報は、デバイス3の組み合わせに含まれる夫々のデバイス3に関する情報を含む。デバイス情報には、夫々のデバイス3の特性を示す情報が含まれる。血管内治療で使用されるデバイス3の組み合わせがガイドワイヤ及びバルーンカテーテルからなる場合は、夫々のデバイス3の種類、外径、滑り性、先端荷重及び剛性変化点の位置等の要素からなる特性が、デバイス情報に含まれている。
FIG. 6B shows an example in which the device information includes a combination of
血管内治療におけるプロラプスの発生確率は、数値で表される。プロラプスが発生する可能性が高い場合にプロラプスの発生確率の数値は高くなり、プロラプスが発生する可能性が低い場合にプロラプスの発生確率の数値は低くなる。例えば、プロラプスの発生確率は、0%から100%までの数値で表される。プロラプスの発生確率は、その他の範囲の数値で表されてもよい。学習モデル132は、CNN(Convolutional Neural Network)、LSTM(Long short-term memory)又はトランスフォーマ等のニューラルネットワークを用いて構成されている。学習モデル132は、ニューラルネットワーク以外の方法を用いたモデルであってもよい。
The probability of prolapse occurring in endovascular treatment is expressed numerically. When the possibility of prolapse occurring is high, the numerical value of the probability of prolapse occurring is high, and when the possibility of prolapse occurring is low, the numerical value of the probability of prolapse occurring is low. For example, the probability of prolapse occurring is expressed as a numerical value from 0% to 100%. The probability of occurrence of prolapse may be expressed as a numerical value in other ranges. The
学習モデル132の学習は、学習装置6によって行われる。図7は、学習装置6の内部の機能構成例を示すブロック図である。学習装置6は、サーバ装置又はパーソナルコンピュータ等のコンピュータである。学習装置6は、演算部61と、メモリ62と、ドライブ部63と、記憶部64と、操作部65と、表示部66と、インタフェース部67とを備えている。演算部61は、例えばCPU、GPU、又はマルチコアCPUを用いて構成されている。演算部61は、量子コンピュータを用いて構成されていてもよい。メモリ62は、演算に伴って発生する一時的なデータを記憶する。メモリ62は、例えば、RAMである。ドライブ部63は、光ディスク又は可搬型メモリ等の記録媒体60から情報を読み取る。記憶部64は、不揮発性であり、例えば、ハードディスク又は不揮発性半導体メモリである。
Learning of the
演算部61は、記録媒体60に記録されたコンピュータプログラム641をドライブ部63に読み取らせ、読み取ったコンピュータプログラム641を記憶部64に記憶させる。演算部61は、コンピュータプログラム641に従って、学習装置6に必要な処理を実行する。コンピュータプログラム641は、コンピュータプログラム製品であってもよい。コンピュータプログラム641は、学習装置6の外部からダウンロードされてもよく、学習装置6に予め記憶されていてもよい。これらの場合は、学習装置6はドライブ部63を備えていなくてもよい。
The
操作部65は、使用者からの操作を受け付けることにより、情報の入力を受け付ける。操作部15は、例えば、タッチパネル、ペンタブレット、キーボード又はポインティングデバイスである。表示部66は、情報を表示する。表示部66は、例えば、液晶ディスプレイ又はELディスプレイである。操作部65及び表示部66は、一体になっていてもよい。インタフェース部67は、データの入力を受け付ける。学習装置6は、複数のコンピュータにより構成されていてもよく、クラウドコンピューティングを利用して実現されてもよい。学習装置6は、情報出力装置1により実現されてもよい。
The
記憶部64は、学習モデルを学習させるための訓練データを記憶する。図8は、訓練データの内容例を示す概念図である。訓練データは、血管内治療の結果からなる。訓練データは、患者の血管を表した血管画像と、血管画像で表される血管に対して行われた血管内治療で用いられたデバイス3に関するデバイス情報とを含む。血管画像は、血管内に挿入されたデバイス3の画像を含むことが望ましい。特に、血管画像は、デバイス3の先端部分の画像を含むことが望ましい。血管画像は、血管内でのデバイス3の先端位置、又はデバイス3の長軸方向に沿った剛性が大きく変化する剛性変化点の血管内での位置を示す情報を含んでいてもよい。血管画像は、血管の同一部分を表した時系列的な複数の血管画像を含んでいてもよく、血管の複数の箇所を表した複数の血管画像を含んでいてもよい。デバイス情報は、血管内治療で用いられた複数のデバイス3の組み合わせに関する情報を含んでいてもよい。また、訓練データは、プロラプスの発生確率を含む。訓練データに含まれるプロラプスの発生確率は、血管画像で表される血管に対してデバイス情報に係るデバイス3を用いて行う血管内治療においてプロラプスが発生する確率である。
The
訓練データに含まれる血管画像、デバイス情報、及びプロラプスの発生確率は、互いに関連付けられている。訓練データは、血管画像、デバイス情報、及びプロラプスの発生確率からなる情報セットを複数含んでいる。訓練データは、プロラプスの発生確率が低い情報セットと、プロラプスの発生確率が高い情報セットとを両方含んでいる。訓練データに含まれる情報は、過去に行われた血管内治療に基づいて生成された情報である。例えば、訓練データに含まれる情報は、実際に治療システム100を使用して血管内治療を行った際に得られた情報である。例えば、訓練データに含まれる情報は、論文に記載された血管内治療に関する情報である。
The blood vessel image, device information, and prolapse occurrence probability included in the training data are associated with each other. The training data includes multiple information sets including blood vessel images, device information, and prolapse occurrence probabilities. The training data includes both an information set with a low probability of prolapse occurrence and an information set with a high probability of prolapse occurrence. The information included in the training data is information generated based on endovascular treatments performed in the past. For example, the information included in the training data is information obtained when endovascular treatment is actually performed using the
訓練データは、プロラプスが発生せずに安全に血管内治療を行うことができたときの血管画像及びデバイス情報に関連付けて、プロラプスの発生確率として0%等の低い数値を含んでいる。訓練データは、血管内治療においてプロラプスの危険があったとき又は実際にプロラプスが発生したときの血管画像及びデバイス情報に関連付けて、プロラプスの発生確率として100%等の高い数値を含んでいる。実際にプロラプスが発生したときの血管画像としては、プロラプスが発生した後に得られた血管画像ではなく、プロラプスが発生する前の血管の状態を表した血管画像が訓練データに含まれている。訓練データに含まれるプロラプスの発生確率は、数値ではなく、大中小等の確率の度合いを示す情報であってもよい。又は、訓練データに含まれるプロラプスの発生確率は、実際に血管内治療を行った際にプロラプスが発生したか否かを示す情報であってもよい。訓練データに含まれる夫々の情報は、使用者が操作部65を操作することにより、又はインタフェース部67により入力され、記憶部64に記憶される。
The training data includes a low probability of prolapse, such as 0%, in association with blood vessel images and device information when endovascular treatment can be performed safely without prolapse. The training data includes a high probability of prolapse, such as 100%, in association with blood vessel images and device information when there is a risk of prolapse during endovascular treatment or when prolapse actually occurs. As the blood vessel image when prolapse actually occurs, the training data includes a blood vessel image that represents the state of the blood vessel before prolapse occurs, rather than a blood vessel image obtained after prolapse occurs. The prolapse occurrence probability included in the training data may be information indicating the degree of probability, such as large, medium, or small, instead of a numerical value. Alternatively, the prolapse occurrence probability included in the training data may be information indicating whether prolapse occurs when endovascular treatment is actually performed. Each piece of information included in the training data is input by the user operating the operating
学習装置6は、学習モデル生成方法を実行する。図9は、学習装置6が実行する処理の手順を示すフローチャートである。以下、ステップをSと略す。演算部61がコンピュータプログラム641に従って情報処理を実行することにより、学習装置6は以下の処理を実行する。演算部61が記憶部64に記憶している訓練データを読み出すことにより、学習装置6は、訓練データを取得する(S11)。S11において、学習装置6は、学習装置6の外部に記憶された訓練データをインタフェース部16を介して読み出すことにより、訓練データを取得してもよい。
The
学習装置6は、次に、訓練データに基づいた学習により、血管画像及びデバイス情報を入力した場合にプロラプスの発生確率を出力する学習モデルを生成する(S12)。学習モデルは、コンピュータプログラム641に従って演算部61が情報処理を実行することにより実現される。記憶部64は、学習モデルを実現するために必要なデータを記憶している。なお、学習モデルは、ハードウェアにより構成されていてもよい。学習モデルは、量子コンピュータを用いて実現されてもよい。
Next, the
S12では、演算部61は、訓練データに含まれる血管画像及びデバイス情報を学習モデルへ入力し、学習モデルの学習を行う。演算部61は、血管の同一部分を表した時系列的な複数の血管画像、又は血管の複数の箇所を表した複数の血管画像等、複数の血管画像を学習モデルへ入力してもよい。演算部61は、デバイス情報として、単一のデバイス3に関する情報、又は複数のデバイス3の組み合わせに関する情報を学習モデルへ入力する。学習モデルは、血管画像及びデバイス情報の入力に応じて、演算を行い、血管内治療におけるプロラプスの発生確率を出力する。演算部61は、学習モデルが出力したプロラプスの発生確率と、学習モデルへ入力された血管画像及びデバイス情報に関連付けられたプロラプスの発生確率との誤差が小さくなるように、学習モデルの演算のパラメータを調整する。
In S12, the
演算部61において、プロラプスの発生確率は、プロラプスが発生した場合を100%、発生しなかった場合を0%として処理を行う。プロラプスの発生確率の度合いを示す情報が訓練データに含まれている場合は、演算部61は、情報をプロラプスの発生確率に換算して処理を行う。例えば、プロラプスの発生確率が大きい、中程度、小さいとあった場合、プロラプスの発生確率を70%以上、30%以上70%未満、0%以上30%未満として処理を行ってもよい。
The
学習モデルが出力したプロラプスの発生確率の数値と、訓練データに含まれるプロラプスの発生確率に相当する数値との誤差が小さくなるように、パラメータが調整される。例えば、プロラプスが発生しなかったことを示す情報に関連付けられた血管画像及びデバイス情報を学習モデルへ入力した場合に、ほぼ0%の確率を学習モデルが出力するように、パラメータが調整される。なお、プロラプスが発生したか否かを示す情報は、0%又は100%以外の確率に換算されてS12の処理が行われてもよい。 The parameters are adjusted so that the error between the numerical value of the prolapse occurrence probability output by the learning model and the numerical value corresponding to the prolapse occurrence probability included in the training data is reduced. For example, when a blood vessel image and device information associated with information indicating that prolapse has not occurred are input to the learning model, the parameters are adjusted so that the learning model outputs a probability of approximately 0%. Note that the information indicating whether or not prolapse has occurred may be converted into a probability other than 0% or 100% before the process of S12 is performed.
演算部61は、訓練データに含まれる、血管画像、デバイス情報、及びプロラプスの発生確率からなる複数の情報セットを用いて、処理を繰り返し、学習モデルのパラメータを調整することにより、学習モデルの機械学習を行う。演算部61は、このように学習モデルの演算のパラメータを調整することによって、学習モデル132を生成する。演算部61は、調整された最終的なパラメータを記憶部64に記憶する。S12が終了した後は、学習装置6は、処理を終了する。
The
情報出力装置1が備える学習モデル132は、S11~S12により生成された学習モデルである。例えば、S12で調整された最終的なパラメータが、インタフェース部16を通じて情報出力装置1へ入力され、記憶部13に記憶される。記憶されたパラメータを利用した情報処理を演算部11が実行することにより、学習モデル132が実現される。
The
血管画像は、血管の形状等の血管の状態を表し、血管内に挿入されたデバイス3の画像を含んだ血管画像は、血管内でのデバイス3の位置を示す。また、デバイス情報はデバイス3の特性を示す。プロラプスの発生確率は、血管の形状と、血管内でのデバイス3の位置と、デバイス3の特性との組み合わせによって異なる。このため、血管の状態及びデバイス3の位置を表した血管画像と、デバイス3の特性を示したデバイス情報とは、プロラプスの発生確率に関連する。このため、血管画像及びデバイス情報に応じてプロラプスの発生確率を出力する学習モデル132を生成することが可能である。
The blood vessel image represents the state of the blood vessel such as the shape of the blood vessel, and the blood vessel image including the image of the
血管の同一部分を表した時系列的な複数の血管画像は、血管の状態と血管中のデバイス3の位置との時間変化を示す。この時間変化は、プロラプスの発生確率に関係し得る。例えば、血管の分岐とデバイス3の剛性変化点との間の距離が近い場合は、プロラプスの発生確率は高くなる。逆に、血管の分岐とデバイス3の剛性変化点との間の距離が遠い場合は、プロラプスの発生確率は低くなる。このため、時系列的な複数の血管画像を含む訓練データを用いた学習を行うことにより、時間経過に応じて変化するプロラプスの発生確率を出力する学習モデル132を生成することができる。
A plurality of time-series blood vessel images representing the same portion of the blood vessel indicate temporal changes in the state of the blood vessel and the position of the
訓練データは、血管内治療におけるプロラプスの発生確率が低いときの血管画像及びデバイス情報を含む。これらの血管画像及びデバイス情報を学習モデルへ入力した場合に学習モデルから出力されるプロラプスの発生確率が低くなるように、学習モデルの学習が行われる。この結果、学習された学習モデル132は、プロラプスの発生確率が低くなるような状況での血管画像及びデバイス情報を入力された場合に、低い確率を出力するようになる。また、訓練データは、血管内治療におけるプロラプスの発生確率が高いときの血管画像及びデバイス情報を含む。これらの血管画像及びデバイス情報を学習モデルへ入力した場合に学習モデルから出力されるプロラプスの発生確率が高くなるように、学習モデルの学習が行われる。この結果、学習された学習モデル132は、プロラプスの発生確率が高くなるような状況での血管画像及びデバイス情報を入力された場合に、高い確率を出力するようになる。このため、血管内治療におけるプロラプスの発生確率が、学習モデル132によって精度良く得られるようになる。
The training data includes blood vessel images and device information when the probability of prolapse occurring in endovascular treatment is low. The learning model is trained so that when these blood vessel images and device information are input to the learning model, the probability of prolapse output from the learning model is low. As a result, the learned
次に、治療システム100が実行する処理を説明する。治療システム100は、医療機関に設置されている。情報出力装置1は、血管内治療中に、プロラプスの発生確率を出力するための情報出力方法を実行する。図10は、実施形態1に係る情報出力装置1が行う処理の手順を示すフローチャートである。演算部11がコンピュータプログラム131に従って情報処理を実行することにより、情報出力装置1は以下の処理を実行する。
Next, the processing executed by the
患者4の血管内にデバイス3が挿入され、血管内治療が行われる。情報出力装置1は、血管内治療で使用しているデバイス3の特性を示すデバイス情報を取得する(S21)。例えば、S21では、演算部11は、使用者による操作部15の操作で入力された、血管内治療で使用するデバイス3のデバイス情報を取得し、記憶部13に記憶させる。例えば、S21では、演算部11は、記憶部13に予め記憶された、血管内治療で使用するデバイス3のデバイス情報を記憶部13から読み出すことにより、デバイス情報を取得する。血管内治療でデバイス3の組み合わせが用いられる場合は、演算部11は、デバイス3の組み合わせに含まれる複数のデバイス3に関するデバイス情報を取得する。S21の処理は、情報取得部に対応する。
The
画像生成装置21は、デバイス3が挿入された血管の状態に関する血管画像を生成し、情報出力装置1へ入力する。血管画像は、血管内に挿入されたデバイス3の一部の画像を含む。画像生成装置21は、血管の同一部分を表した時系列的な複数の血管画像、又は血管の複数の箇所を表した複数の血管画像を生成し、情報出力装置1へ入力する。情報出力装置1は、画像生成装置21から入力された血管画像を取得する(S22)。S22では、インタフェース部16が血管画像を受け付け、演算部11が血管画像を記憶部13に記憶させる。S22の処理は、画像取得部に対応する。
The
情報出力装置1は、血管内でのデバイス3の先端位置を特定する(S23)。デバイス3の先端を含む先端部分は、X線が透過しない物質で形成されている。S23では、演算部11は、血管画像の中からX線不透過部分を検出することにより、デバイス3の先端部分の画像を検出し、先端部分の血管画像内の位置に基づいて、血管内でのデバイス3の先端位置を特定する。
The
情報出力装置1は、次に、デバイス3の先端位置を示す情報を血管画像に付加する(S24)。S24では、演算部11は、S23で特定したデバイス3の先端位置を示す情報を、血管画像に含ませる。例えば、演算部11は、血管画像の中に、デバイス3の先端位置を示す印を追加する。
The
S23及びS24により、血管内でのデバイス3の先端位置が明確となる。デバイス3の剛性が大きく変化する剛性変化点の位置は、デバイス3の先端から剛性変化点までの長軸方向の長さで表されてデバイス情報に含まれているので、デバイス3の先端位置に応じて剛性変化点の位置も明確になる。デバイス3の剛性変化点の位置はプロラプスの発生確率に大きく影響する。このため、情報出力装置1は、デバイス3の剛性変化点の位置が明確になることにより、プロラプスの発生確率を精度良く得ることができる。なお、情報出力装置1は、S23及びS24の代わりに、デバイス3の先端位置及びデバイス情報に基づいて血管画像内でのデバイス3の剛性変化点の位置を特定し、デバイス3の剛性変化点の位置を示す情報を血管画像に付加する処理を行ってもよい。或いは、情報出力装置1は、S23及びS24を省略してもよい。S23及びS24を省略した場合でも、血管画像に含まれるデバイス3の画像により、デバイス3の位置に応じてプロラプスの発生確率を得ることができる。
Through S23 and S24, the position of the tip of the
情報出力装置1は、血管画像及びデバイス情報を学習モデル132へ入力する(S25)。S25では、演算部11は、血管画像及びデバイス情報を学習モデル132へ入力し、学習モデル132に処理を実行させる。演算部11は、血管の同一部分を表した時系列的な複数の血管画像、又は血管の複数の箇所を表した複数の血管画像を学習モデル132へ入力してもよい。学習モデル132は、血管画像及びデバイス情報の入力に応じて、血管内治療におけるプロラプスの発生確率を出力する。情報出力装置1は、プロラプスの発生確率を取得する(S26)。演算部11は、学習モデル132が出力したプロラプスの発生確率を取得する。S26の処理は、確率取得部に対応する。
The
情報出力装置1は、取得したプロラプスの発生確率が閾値を超過しているか否かを判定する(S27)。S27では、演算部11は、所定の閾値とプロラプスの発生確率とを比較する。閾値は予め定められて、記憶部13に記憶されている。閾値はコンピュータプログラム131に含まれていてもよい。なお、S27では、情報出力装置1は、プロラプスの発生確率が閾値以上であるか否かを判定の条件としてもよい。
The
プロラプスの発生確率が閾値以下である場合は(S27:NO)、情報出力装置1は、血管内治療を終了するか否かを判定する(S28)。S28では、使用者による操作部15の操作により、血管内治療の終了の指示が入力された場合に、演算部11は、血管内治療を終了すると判定する。プロラプスの発生確率が閾値以下であっても、情報出力装置1は、プロラプスの発生確率の数値を示す情報を表示装置22へ表示し、表示装置22がプロラプスの発生確率の数値を表示してもよい。
If the probability of occurrence of prolapse is less than or equal to the threshold (S27: NO), the
血管内治療を終了しない場合(S28:NO)、情報出力装置1は、処理をS22へ戻す。S22では、情報出力装置1は、画像生成装置21が新たに生成した血管画像を取得する。血管内治療が行われている間、S22~S28の処理が繰り返し実行される。血管内治療を終了する場合は(S28:YES)、情報出力装置1は、処理を終了する。
If the endovascular treatment is not completed (S28: NO), the
プロラプスの発生確率が閾値を超過する場合は(S27:YES)、情報出力装置1は、プロラプスが発生する可能性が高いことを警告する警告情報を出力する(S29)。S29では、演算部11は、血管画像及び警告情報をインタフェース部16から表示装置22へ送信する。表示装置22は、血管画像を表示し、警告情報に基づいて、プロラプスが発生する可能性が高いことを表した画像を表示する。また、演算部11は、警告情報を音声出力装置23へ送信する。音声出力装置23は、警告情報に基づいて、プロラプスが発生する可能性が高いことを示す音声を出力する。このようにして、情報出力装置1は、警告情報を出力する。プロラプスの発生確率が高い場合に警告情報が出力されることにより、プロラプスの発生する可能性の高いことが使用者に通知される。S29の処理は、出力部に対応する。
When the probability of occurrence of prolapse exceeds the threshold (S27: YES), the
図11は、警告情報の出力例を示す模式図である。表示装置22は、図11に示すように、デバイス3の先端位置が示された血管画像と、プロラプスの発生する確率が高いことを文字で表した画像とが表示されている。S29では、情報出力装置1は、プロラプスの発生確率の数値を表示装置22へ送信し、表示装置22は、図11に示すように、プロラプスの発生確率を含む画像を出力してもよい。警告情報に基づいた画像が表示されることにより、使用者は、プロラプスの発生する可能性が高いことを目視で確認することができる。表示装置22は、複数の血管画像を表示してもよく、IVUS画像等の他の画像を更に表示してもよい。或いは、表示装置22は、血管画像を表示せずに警告を表示してもよく、プロラプスの発生確率を表示せずに警告を表示してもよい。
FIG. 11 is a schematic diagram showing an example of outputting warning information. As shown in FIG. 11, the
音声出力装置23が発生する音声は、ブザー音等の使用者の注意をひきやすい音声である。情報出力装置1は、音声を利用して警告情報を出力することにより、表示装置22に表示される画像を見ていない使用者に対しても、プロラプスの発生する可能性が高いことを知らせることができる。
The sound generated by the
S29が終了した後は、情報出力装置1は、処理を終了する。血管内治療は、情報出力装置1による警告情報の出力に伴って、一旦停止されてもよい。プロラプスの発生する可能性が高いことを使用者が確認した上で血管内治療が続行された場合は、情報出力装置1によるS21~S29の処理が再度実行されてもよい。
After S29 ends, the
以上のように、情報出力装置1は、血管内に挿入されたデバイス3の一部の画像を含んだ血管画像とデバイス情報に応じて、血管内治療におけるプロラプスの発生確率を取得する。学習モデル132を利用することにより、情報出力装置1は、プロラプスの発生確率を容易に取得することができる。
As described above, the
また、情報出力装置1は、プロラプスの発生確率が高い場合に、プロラプスが発生する可能性が高いことを警告する警告情報を出力する。これにより、使用者は、警告情報が出力された時点でプロラプスが発生する可能性が高いことを認識することができる。すなわち、使用者は、警告情報が出力された時点で実行中のデバイス3の操作を不注意に継続した場合、プロラプスが発生する可能性が高いことを認識することができる。プロラプスが発生する可能性が高いことを認識した使用者は、血管内治療を一旦停止することにより、プロラプスの発生を防止することができる。又は、プロラプスが発生する可能性が高いことを確認した使用者は、プロラプスが発生しないように注意しながらデバイス3を操作することにより、プロラプスの発生を防止しながら血管内治療を行うことができる。このため、血管内治療の安全性が向上する。
Furthermore, when the probability of prolapse occurring is high, the
血管画像には血管の分岐を表した画像が含まれており、デバイス情報には、デバイス3の剛性変化点の位置に関する情報が含まれている。デバイス3は、剛性変化点で座屈が発生し易く、血管の分岐に存在する血管の側枝にデバイス3の座屈した部分が入り込むことによってプロラプスが発生する。したがって、血管の分岐とデバイス3の剛性変化点との位置関係はプロラプスの発生確率に大きく影響する。学習モデル132が血管の分岐に関する情報を含んだ血管画像と、デバイス3の剛性変化点に関する情報を含んだデバイス情報とに応じてプロラプスの発生確率を出力することにより、情報出力装置1は、プロラプスの発生確率を精度良く提示することができる。
The blood vessel image includes an image representing the branching of the blood vessel, and the device information includes information regarding the position of the stiffness change point of the
血管の同一部分を表した時系列的な複数の血管画像は、血管の状態と血管内でのデバイス3の位置との時間変化を示す。したがって、情報出力装置1は、血管画像として時系列的な複数の血管画像を用いることにより、血管の状態と血管内でのデバイス3の位置との時間変化に応じたプロラプスの発生確率を取得できる。具体的には、デバイス3の剛性変化点が血管の分岐に近づいている場合は、プロラプスの発生確率が高くなり、デバイス3の剛性変化点が血管の分岐から遠ざかっている場合は、プロラプスの発生確率が低くなる。情報出力装置1は、時間経過に応じて変化するプロラプスの発生確率を取得することによって、プロラプスの発生確率を精度良く使用者に提示することができる。使用者は、情報出力装置1が取得したプロラプスの発生確率に応じてデバイス3を操作することにより、血管内治療の安全性をより向上させることができる。
A plurality of time-series blood vessel images representing the same portion of the blood vessel indicate temporal changes in the state of the blood vessel and the position of the
なお、情報出力装置1は、患者4の既往歴に応じてプロラプスの発生確率を得る形態であってもよい。患者4の既往歴は、プロラプスの発生確率に影響することがある。例えば、血管が狭窄し易くなる疾患を患者4が有する場合、血管内をデバイス3が移動する際にデバイス3と血管壁との摩擦抵抗が大きくなるので、デバイス3は座屈しやすくなり、プロラプスの発生確率が高くなることがある。図12は、学習モデル132の第2の例の機能を示す概念図である。学習モデル132には、血管画像と、デバイス情報と、患者4の既往歴とが入力される。患者4の既往歴には、患者4の年齢、健康診断の結果、病歴又は治療歴等が含まれる。学習モデル132は、血管画像とデバイス情報と患者4既往歴とが入力された場合に、血管内治療におけるプロラプスの発生確率を出力するように、予め学習されている。
Note that the
学習装置6は、血管画像と、デバイス情報と、患者4の既往歴と、プロラプスの発生確率とが互いに関連付けられた訓練データを用いた学習により、学習モデル132を生成する。S12では、学習装置6は、訓練データに含まれる血管画像、デバイス情報及び患者4既往歴を学習モデルへ入力する。学習モデルは、血管画像、デバイス情報及び患者4既往歴の入力に応じて、演算を行い、血管内治療におけるプロラプスの発生確率を出力する。演算部61は、学習モデルが出力したプロラプスの発生確率と訓練データに含まれるプロラプスの発生確率との誤差が小さくなるように、学習モデルの演算のパラメータを調整する。演算部61は、訓練データに含まれる、血管画像、デバイス情報、既往歴及びプロラプスの発生確率を含む複数の情報セットを用いて、処理を繰り返し、学習モデルのパラメータを調整することにより、学習モデルの機械学習を行う。学習装置6は、このように演算のパラメータを調整することによって、学習モデル132を生成する。
The
情報出力装置1は、学習モデル132を用いたS21~S29の処理により、患者4の既往歴に応じたプロラプスの発生確率を取得する。S25の前に、情報出力装置1は、患者4の既往歴を取得する。例えば、患者4の既往歴を記憶部13に記憶しておき、演算部11は、既往歴を記憶部13から読み出すことにより、患者4の既往歴を取得する。S25では、情報出力装置1は、取得した血管画像、デバイス情報及び既往歴を学習モデル132へ入力し、学習モデル132に処理を実行させる。学習モデル132は、血管画像、デバイス情報及び患者4の既往歴の入力に応じて、血管内治療におけるプロラプスの発生確率を出力する。
The
この形態においては、情報出力装置1は、患者4の既往歴に応じたプロラプスの発生確率を取得し、プロラプスの発生確率に応じて警告情報を出力する。これにより、使用者は、プロラプスの発生確率を認識することができる。プロラプスの発生確率が高い場合は、使用者は、血管内治療を一旦停止するか、又は、プロラプスが発生しないように注意しながら血管内治療を行うことができる。このように、使用者は、患者4の既往歴に応じて血管内治療を安全に実施することが可能になる。
In this embodiment, the
実施形態1においては、情報出力装置1が、X線不透過部分を検出することにより、血管画像中でのデバイス3の先端部分の画像を検出し、血管内でのデバイス3の先端位置を特定する形態を示した。デバイス3は、先端部分以外の部分がX線の透過しない物質で形成されていてもよい。この場合、情報出力装置1は、先端部分以外のデバイス3の一部分の画像を検出し、検出した画像に基づいてデバイス3の先端位置を特定する。情報出力装置1は、X線不透過部分以外のデバイス3の一部分の画像を検出する形態であってもよい。或いは、情報出力装置1は、S23でデバイス3の先端以外の部分の位置を特定し、特定した当該部分の位置をS24で血管画像に付加してもよい。例えば、情報出力装置1は、S23で、血管画像内でのX線不透過部分の位置に基づいて、デバイス3の血管画像内に含まれている部分全体の位置を特定してもよい。
In the first embodiment, the
実施形態1においては、情報出力装置1が、デバイス3の先端等のデバイス3の一部の位置を特定し、特定した位置を血管画像に付加する形態を示した。情報出力装置1は、デバイス3の一部の位置を示す情報を、血管画像に付加せずに、学習モデル132へ入力する形態であってもよい。この形態では、学習モデル132は、血管画像、デバイス情報及びデバイス3の一部の位置を示す情報が入力された場合にプロラプスの発生確率を出力するように、予め学習されている。情報出力装置1は、血管画像、デバイス情報及びデバイス3の一部の位置を示す情報を学習モデル132へ入力し、学習モデル132が出力したプロラプスの発生確率を取得する。この形態でも、情報出力装置1は、血管内治療におけるプロラプスの発生確率を取得することができ、血管内治療の安全性を向上させることができる。
In the first embodiment, the
実施形態1は、学習モデル132を用いてプロラプスの発生確率を得る形態を示したが、情報出力装置1は、ルールベースの処理をも利用する形態であってもよい。例えば、情報出力装置1は、血管画像に基づいて、デバイス3の剛性変化点の位置を特定し、血管の分岐とデバイス3の剛性変化点との間の距離を特定し、特定した距離に応じて、プロラプスの発生確率を取得する。このとき、情報出力装置1は、血管の分岐及びデバイス3の剛性変化点の間の距離とプロラプスの発生確率との関係を定めた所定のルールに従って、プロラプスの発生確率を決定する。
In the first embodiment, the
情報出力装置1は、ルールベースでの処理によりプロラプスの発生確率を取得し、プロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理との両方を行い、いずれか一方の処理で得られたプロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理とで得られた両方のプロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理とで得られた両方のプロラプスの発生確率を表示装置22に表示してもよい。
The
(実施形態2)
実施形態2においては、血管内治療を行う前に、血管内治療におけるプロラプスの発生確率を取得する形態を示す。治療システム100及び情報出力装置1の構成は、実施形態1と同様である。学習モデル132は、デバイス3が挿入されていない血管を表した血管画像と血管内治療で使用予定のデバイス3の特性を示すデバイス情報とを入力した場合に、血管内治療におけるプロラプスの発生確率を出力するように、予め学習されている。
(Embodiment 2)
In the second embodiment, a mode is shown in which the probability of occurrence of prolapse in endovascular treatment is obtained before performing endovascular treatment. The configurations of the
学習装置6の構成は、実施形態1と同様である。学習装置6が用いる訓練データに含まれる血管画像は、血管内に挿入されたデバイス3の画像を含んでいなくてもよい。学習装置6は、S11~S12の処理を実行することにより、学習モデル132を生成する。血管画像は、血管の形状等の血管の状態を表し、デバイス情報は、デバイス3の特性を示す。血管にデバイス3が挿入されていない段階であっても、血管内治療におけるプロラプスの発生確率は、血管の形状とデバイス3の特性との組み合わせによって異なる。例えば、デバイス3が病変部分まで移動する途中の血管に分岐が多い場合は、プロラプスの発生確率は高くなる。このため、血管の状態を表した血管画像と、デバイス3の特性を示したデバイス情報とは、プロラプスの発生確率に関連する。したがって、学習装置6は、血管画像及びデバイス情報に応じてプロラプスの発生確率を出力する学習モデル132を生成できる。
The configuration of the
情報出力装置1は、血管内治療を行う前に、血管内治療におけるプロラプスの発生確率を出力するための情報出力方法を実行する。図13は、実施形態2に係る情報出力装置1が行う処理の手順を示すフローチャートである。演算部11がコンピュータプログラム131に従って情報処理を実行することにより、情報出力装置1は以下の処理を実行する。
Before performing endovascular treatment, the
血管内治療を行う前の段階で、情報出力装置1は、血管内治療で使用予定のデバイス3の特性を示すデバイス情報を取得する(S31)。例えば、S31では、演算部11は、使用者による操作部15の操作で入力された、血管内治療で使用予定のデバイス3のデバイス情報を取得する。例えば、演算部11は、記憶部13に予め記憶された血管内治療で使用するデバイス3のデバイス情報を記憶部13から読み出すことにより、デバイス情報を取得する。S31の処理は、情報取得部に対応する。
Before performing endovascular treatment, the
画像生成装置21は、血管内治療を行う前の段階で、患者4の血管の状態に関する血管画像を生成する。血管画像には、血管内に挿入されたデバイス3の画像は含まれない。情報出力装置1は、画像生成装置21から入力された血管画像を取得する(S32)。S32の処理は、画像取得部に対応する。
The
情報出力装置1は、血管画像及びデバイス情報を学習モデル132へ入力する(S33)。S33では、演算部11は、血管画像及びデバイス情報を学習モデル132へ入力し、学習モデル132に処理を実行させる。学習モデル132は、血管画像及びデバイス情報の入力に応じて、血管内治療におけるプロラプスの発生確率を出力する。情報出力装置1は、プロラプスの発生確率を取得する(S34)。演算部11は、学習モデル132が出力したプロラプスの発生確率を取得する。S34の処理は、確率取得部に対応する。
The
情報出力装置1は、血管内治療におけるプロラプスの発生確率を出力する(S35)。S35では、演算部11は、取得したプロラプスの発生確率をインタフェース部16から表示装置22へ送信する。表示装置22は、プロラプスの発生確率に応じて、血管内治療におけるプロラプスの発生確率の数値を含む画像を表示する。演算部11は、取得したプロラプスの発生確率をインタフェース部16から音声出力装置23へ送信し、音声出力装置23は、プロラプスの発生確率を示す音声を出力してもよい。S35の処理は、出力部に対応する。S35が終了した後は、情報出力装置1は、処理を終了する。
The
以上のように、実施形態2では、行われる予定の血管内治療におけるプロラプスの発生確率が出力される。学習モデル132を利用することにより、情報出力装置1は、プロラプスの発生確率を容易に取得することができる。使用者は、血管内治療を行う前に、プロラプスの発生確率を認識することができる。プロラプスの発生確率が高い場合に血管内治療を行わないようにすることにより、プロラプスの発生を防止することができる。又は、プロラプスの発生確率が高いことを確認した使用者は、プロラプスが発生しないように注意しながらデバイス3を操作することにより、プロラプスの発生を防止しながら血管内治療を行うことができる。このため、血管内治療の安全性が向上する。
As described above, in the second embodiment, the probability of occurrence of prolapse in the endovascular treatment scheduled to be performed is output. By using the
実施形態2では、情報出力装置1は、複数種類のデバイス3又は複数組のデバイス3の組み合わせに関する複数のデバイス情報を用いて、血管内治療におけるプロラプスの発生確率を取得してもよい。S31では、情報出力装置1は、複数のデバイス情報を取得する。S33では、情報出力装置1は、複数種類のデバイス3又は複数組のデバイス3の組み合わせに関する複数のデバイス情報と血管画像とを学習モデル132へ入力し、S34では、複数のデバイス情報に応じた複数のプロラプスの発生確率を取得する。S35では、情報出力装置1は、複数のデバイス情報に係る複数種類のデバイス3又は複数組のデバイス3の組み合わせの夫々について、プロラプスの発生確率を出力する。使用者は、複数種類のデバイス3又は複数組のデバイス3の組み合わせの夫々について、プロラプスの発生確率を認識することができる。使用者は、プロラプスの発生確率が最も低いデバイス3又はデバイス3の組み合わせを使用して血管内治療を行うことにより、安全にまた確実に血管内治療を行うことが可能となる。
In the second embodiment, the
実施形態2においても、情報出力装置1は、患者4の既往歴に応じてプロラプスの発生確率を得る形態であってもよい。学習モデル132は、血管画像と、デバイス情報と、患者4の既往歴とが入力された場合に、血管内治療におけるプロラプスの発生確率を出力するように、予め学習されている。情報出力装置1は、学習モデル132を用いて、患者4の既往歴に応じたプロラプスの発生確率を取得する。S33の前に、情報出力装置1は、患者4の既往歴を取得する。S33では、情報出力装置1は、血管画像、デバイス情報及び患者4の既往歴を学習モデル132へ入力し、学習モデル132に処理を実行させる。学習モデル132は、血管画像、デバイス情報及び患者4の既往歴が入力されたことに応じて、血管内治療におけるプロラプスの発生確率を出力する。
In the second embodiment as well, the
この形態においては、使用者は、患者4の既往歴に応じたプロラプスの発生確率を認識することができる。使用者は、プロラプスの発生確率に応じた行動をとることにより、患者4の既往歴に応じて血管内治療を安全に実施することが可能になる。 In this form, the user can recognize the probability of prolapse occurring depending on the patient's 4 past medical history. By taking actions according to the probability of occurrence of prolapse, the user can safely perform endovascular treatment according to the medical history of the patient 4.
情報出力装置1は、ルールベースの処理をも利用する形態であってもよい。例えば、情報出力装置1は、血管画像に基づいて、血管の狭窄部分と血管の分岐との間の距離を特定し、デバイス3の先端から剛性変化点までの距離を特定し、特定した二つの距離の差に応じて、プロラプスの発生確率を取得する。このとき、情報出力装置1は、二つの距離の差とプロラプスの発生確率との関係を定めた所定のルールに従って、プロラプスの発生確率を決定する。例えば、二つの距離の差が小さいほどプロラプスの発生確率が高いとする。
The
情報出力装置1は、ルールベースでの処理によりプロラプスの発生確率を取得し、プロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理との両方を行い、いずれか一方の処理で得られたプロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理とで得られた両方のプロラプスの発生確率が所定の条件を満たした場合に、警告情報を出力してもよい。情報出力装置1は、学習モデル132を用いた処理とルールベースでの処理とで得られた両方のプロラプスの発生確率の数値を表示装置22に表示してもよい。
The
情報出力装置1は、実施形態1に係る処理と、実施形態2に係る処理との両方を実行してもよい。血管内治療を行う前に、情報出力装置1は、実施形態2に係る処理を実行し、使用者は、プロラプスの発生確率を認識し、プロラプスの発生確率に応じた血管内治療を開始する。血管内治療中には、情報出力装置1は、実施形態1に係る処理を実行し、使用者は、状況に応じて変化するプロラプスの発生確率を認識し、プロラプスの発生確率に応じた対処を行う。これにより、使用者は、より安全に血管内治療を行うことが可能となる。
The
実施形態1及び2においては、表示装置22及び音声出力装置23が使用される形態を示したが、情報を出力するために表示装置22及び音声出力装置23の内の一方のみが使用されてもよい。
In the first and second embodiments, the
今回開示された実施形態は全ての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。 The embodiments disclosed herein are illustrative in all respects and should not be considered restrictive. The scope of the present invention is indicated by the claims rather than the above-mentioned meaning, and is intended to include meanings equivalent to the claims and all changes within the scope.
100 治療システム
1 情報出力装置
10 記録媒体
131 コンピュータプログラム
132 学習モデル
21 画像生成装置
22 表示装置
3 デバイス
4 患者
41 血管
42 病変部分
5 施術者
6 学習装置
100
Claims (14)
前記訓練データに基づいた学習により、血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルを生成する
ことを特徴とする学習モデルの生成方法。 Obtaining training data including a blood vessel image regarding the patient's blood vessel condition, device information regarding the device used in endovascular treatment, and the probability of occurrence of prolapse in endovascular treatment,
A method for generating a learning model, characterized in that, by learning based on the training data, a learning model is generated that outputs the probability of occurrence of prolapse in endovascular treatment when blood vessel images and device information are input.
ことを特徴とする請求項1に記載の学習モデルの生成方法。 The learning model generation method according to claim 1, wherein the training data includes a blood vessel image that includes an image of a part of a device inserted into a blood vessel.
血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルへ、取得した血管画像及びデバイス情報を入力し、前記学習モデルが出力した前記確率を取得し、
取得した前記確率に応じた情報を出力する
ことを特徴とする情報出力方法。 Obtaining a blood vessel image regarding the patient's blood vessel condition and device information regarding the device used in endovascular treatment,
inputting the acquired blood vessel image and device information to a learning model that outputs the probability of prolapse occurring in endovascular treatment when the blood vessel image and device information are input, and acquiring the probability output by the learning model;
An information output method, comprising: outputting information according to the obtained probability.
血管内治療中に、前記患者の血管内に挿入されたデバイスの一部の画像を含んだ血管画像を取得し、
前記血管画像の取得と前記確率の取得とを繰り返し、
取得した前記確率が所定の条件を満たした場合に、プロラプスが発生する可能性が高いことを警告する警告情報を出力する
ことを特徴とする請求項3に記載の情報出力方法。 The learning model is trained in advance so as to output the probability when a blood vessel image including a partial image of a device inserted into a blood vessel and device information are input,
acquiring a blood vessel image including an image of a portion of a device inserted into the blood vessel of the patient during endovascular treatment;
repeating the acquisition of the blood vessel image and the acquisition of the probability;
4. The information output method according to claim 3, further comprising outputting warning information warning that prolapse is likely to occur when the obtained probability satisfies a predetermined condition.
時系列的な複数の血管画像を取得し、
取得した前記複数の血管画像及び前記デバイス情報を前記学習モデルへ入力し、前記学習モデルが出力した前記確率を取得する
ことを特徴とする請求項4に記載の情報出力方法。 The learning model is trained in advance to output the probability when a plurality of time-series blood vessel images and device information are input,
Acquire multiple blood vessel images in time series,
The information output method according to claim 4, further comprising inputting the plurality of acquired blood vessel images and the device information to the learning model, and acquiring the probability output by the learning model.
ことを特徴とする請求項4又は5に記載の情報出力方法。 The information output method according to claim 4 or 5, wherein the warning information is output when the acquired probability exceeds a predetermined threshold.
前記血管画像と、プロラプスが発生する可能性が高いことを表した画像とを前記表示装置に表示することによって、前記警告情報を出力する
ことを特徴とする請求項4乃至6のいずれか一つに記載の情報出力方法。 Using a display device that displays images,
Any one of claims 4 to 6, wherein the warning information is output by displaying the blood vessel image and an image indicating that there is a high possibility that prolapse will occur on the display device. Information output method described in.
ことを特徴とする請求項4乃至7のいずれか一つに記載の情報出力方法。 8. The information output method according to claim 4, wherein the warning information is output by outputting a sound indicating that prolapse is highly likely to occur.
前記デバイスの位置を示す情報を前記血管画像に付加する
ことを特徴とする請求項4乃至8のいずれか一つに記載の情報出力方法。 locating the device based on the blood vessel image;
The information output method according to any one of claims 4 to 8, further comprising adding information indicating the position of the device to the blood vessel image.
ことを特徴とする請求項4乃至9のいずれか一つに記載の情報出力方法。 The information output method according to any one of claims 4 to 9, wherein the blood vessel image includes an image showing branching of blood vessels.
患者の既往歴を更に取得し、
取得した血管画像、デバイス情報及び既往歴を前記学習モデルへ入力し、前記学習モデルが出力した前記確率を取得する
ことを特徴とする請求項3乃至10のいずれか一つに記載の情報出力方法。 The learning model is trained in advance to output the probability when inputting a patient's blood vessel image, device information, and patient's medical history,
Obtain further medical history of the patient,
The information output method according to any one of claims 3 to 10, characterized in that the acquired blood vessel image, device information, and past history are input to the learning model, and the probability output by the learning model is acquired. .
ことを特徴とする請求項3乃至6のいずれか一つに記載の情報出力方法。 7. The information output method according to claim 3, wherein the device information includes a position of a stiffness change point where stiffness changes along the longitudinal direction.
血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルと、
取得した血管画像及びデバイス情報を前記学習モデルへ入力し、前記学習モデルが出力した前記確率を取得する確率取得部と、
取得した前記確率に応じた情報を出力する出力部と
を備えることを特徴とする情報出力装置。 an information acquisition unit that acquires a blood vessel image regarding a patient's blood vessel condition and device information regarding a device used in endovascular treatment;
a learning model that outputs the probability of occurrence of prolapse in endovascular treatment when blood vessel images and device information are input;
a probability acquisition unit that inputs the acquired blood vessel image and device information to the learning model and acquires the probability output by the learning model;
An information output device comprising: an output unit that outputs information according to the acquired probability.
血管画像及びデバイス情報を入力した場合に血管内治療におけるプロラプスの発生確率を出力する学習モデルへ、取得した血管画像及びデバイス情報を入力し、前記学習モデルが出力した前記確率を取得し、
取得した前記確率に応じた情報を出力する
処理をコンピュータに実行させることを特徴とするコンピュータプログラム。 Obtaining a blood vessel image regarding the patient's blood vessel condition and device information regarding the device used in endovascular treatment,
inputting the acquired blood vessel image and device information to a learning model that outputs the probability of prolapse occurring in endovascular treatment when the blood vessel image and device information are input, and acquiring the probability output by the learning model;
A computer program that causes a computer to execute a process of outputting information according to the obtained probability.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022042902A JP2023136949A (en) | 2022-03-17 | 2022-03-17 | Learning model generation method, information output method, information output device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022042902A JP2023136949A (en) | 2022-03-17 | 2022-03-17 | Learning model generation method, information output method, information output device, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023136949A true JP2023136949A (en) | 2023-09-29 |
Family
ID=88146332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022042902A Pending JP2023136949A (en) | 2022-03-17 | 2022-03-17 | Learning model generation method, information output method, information output device, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023136949A (en) |
-
2022
- 2022-03-17 JP JP2022042902A patent/JP2023136949A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11490963B2 (en) | Route selection assistance system, recording medium on which route selection assistance program is recorded, route selection assistance method, and diagnosis method | |
JP2019510547A (en) | System and method for routing a catheter-like conduit line in a vessel | |
JP2019130191A (en) | Treatment method and medical system | |
US11553923B2 (en) | Endovascular device with distal electrode | |
Ní Ghriallais et al. | Deformation of the femoropopliteal segment: effect of stent length, location, flexibility, and curvature | |
US20230230252A1 (en) | Information processing device, information processing method, program, and model generation method | |
EP4218598A1 (en) | Information processing device, information processing method, and program | |
JP2023136949A (en) | Learning model generation method, information output method, information output device, and computer program | |
WO2021193019A1 (en) | Program, information processing method, information processing device, and model generation method | |
JP2023136948A (en) | Learning model generation method, information output method, information output device, and computer program | |
US20210068704A1 (en) | Diagnostic method, diagnostic system, and control method of diagnostic system | |
JP2021516108A (en) | Determining Focus Decomposition and Steering in Machine Learning-Based Vascular Imaging | |
EP4248404B1 (en) | Determining interventional device shape | |
WO2023110801A1 (en) | Guidewire and catheter selection and real-time guidance | |
US20240020877A1 (en) | Determining interventional device position | |
JP2023136947A (en) | Learning model generation method, information processing method, information processing device, and computer program | |
WO2024047935A1 (en) | Computer program, information processing device, and information processing method | |
EP4254428A1 (en) | Intravascular procedure step prediction | |
EP4353176A1 (en) | Providing biomechanical plaque data for an interventional device simulation system | |
Hartquist et al. | Stability of navigation in catheter-based endovascular procedures | |
JP2023151428A (en) | Program, leaned model generation method, information processing method and information processing device | |
JP2024084448A (en) | PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING APPARATUS AND MODEL GENERATION METHOD | |
EP4173585A1 (en) | Method for identifying a vascular access site | |
JP2023130134A (en) | Program, information processing method, and information processing device | |
WO2021193018A1 (en) | Program, information processing method, information processing device, and model generation method |