以下、図面を参照して、実施形態に係る医用画像処理装置、Ｘ線診断装置及び医用画像処理プログラムを説明する。
Hereinafter, a medical image processing apparatus, an X-ray diagnostic apparatus, and a medical image processing program according to embodiments will be described with reference to the drawings.
（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用画像処理システム１について説明する。また、第１の実施形態では、医用画像データの例として、Ｘ線診断装置１０により収集されるＸ線画像データについて説明する。
(First embodiment)
First, a first embodiment will be described. In the first embodiment, a medical image processing system 1 including an X-ray diagnostic apparatus 10, an image storage apparatus 20, and a medical image processing apparatus 30 will be described. Furthermore, in the first embodiment, X-ray image data collected by the X-ray diagnostic apparatus 10 will be described as an example of medical image data.
図１は、第１の実施形態に係る医用画像処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用画像処理システム１は、Ｘ線診断装置１０と、画像保管装置２０と、医用画像処理装置３０とを備える。図１に示すように、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０は、ネットワークＮＷを介して相互に接続される。
FIG. 1 is a block diagram showing an example of the configuration of a medical image processing system 1 according to the first embodiment. As shown in FIG. 1, the medical image processing system 1 according to the first embodiment includes an X-ray diagnostic device 10, an image storage device 20, and a medical image processing device 30. As shown in FIG. 1, an X-ray diagnostic apparatus 10, an image storage apparatus 20, and a medical image processing apparatus 30 are interconnected via a network NW.
Ｘ線診断装置１０は、被検体からＸ線画像データを収集する装置である。具体的には、Ｘ線診断装置１０は、被検体をＸ線撮像してＸ線画像データを収集し、収集したＸ線画像データを画像保管装置２０及び医用画像処理装置３０に対して出力する。なお、Ｘ線診断装置１０の構成については後述する。
The X-ray diagnostic device 10 is a device that collects X-ray image data from a subject. Specifically, the X-ray diagnostic device 10 collects X-ray image data by taking an X-ray image of the subject, and outputs the collected X-ray image data to the image storage device 20 and the medical image processing device 30. . Note that the configuration of the X-ray diagnostic apparatus 10 will be described later.
画像保管装置２０は、医用画像処理システム１に含まれる装置により収集された各種の医用画像データを保管する装置である。例えば、画像保管装置２０は、Ｘ線診断装置１０により収集されたＸ線画像データや、医用画像処理装置３０による画像処理後のＸ線画像データを受け付けて、装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置２０は、サーバ装置等のコンピュータ機器によって実現される。
The image storage device 20 is a device that stores various types of medical image data collected by devices included in the medical image processing system 1. For example, the image storage device 20 receives X-ray image data collected by the X-ray diagnostic device 10 and X-ray image data after image processing by the medical image processing device 30, and is installed inside or outside the device. store in memory. For example, the image storage device 20 is realized by computer equipment such as a server device.
医用画像処理装置３０は、ネットワークＮＷを介して、Ｘ線診断装置１０により収集されたＸ線画像データを取得し、取得したＸ線画像データを用いた種々の処理を実行する。例えば、医用画像処理装置３０は、Ｘ線画像データ上で、医療デバイスに付されたマーカを特定する。また、例えば、医用画像処理装置３０は、特定したマーカに基づいて、Ｘ線画像データに対する画像処理を実行する。なお、医用画像処理装置３０が行なう処理については後述する。例えば、医用画像処理装置３０は、ワークステーション等のコンピュータ機器によって実現される。
The medical image processing device 30 acquires X-ray image data collected by the X-ray diagnostic device 10 via the network NW, and executes various processes using the acquired X-ray image data. For example, the medical image processing apparatus 30 identifies a marker attached to a medical device on the X-ray image data. Furthermore, for example, the medical image processing apparatus 30 executes image processing on the X-ray image data based on the identified marker. Note that the processing performed by the medical image processing device 30 will be described later. For example, the medical image processing device 30 is realized by computer equipment such as a workstation.
なお、ネットワークＮＷを介して接続可能であれば、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０が設置される場所は任意である。例えば、医用画像処理装置３０は、Ｘ線診断装置１０と異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。また、図１においてはＸ線診断装置１０を１つ示すが、医用画像処理システム１は複数のＸ線診断装置１０を含んでもよい。
Note that the X-ray diagnostic device 10, the image storage device 20, and the medical image processing device 30 can be installed at any location as long as they can be connected via the network NW. For example, the medical image processing device 30 may be installed in a different hospital from the X-ray diagnostic device 10. That is, the network NW may be configured as a local network closed within the hospital, or may be a network via the Internet. Furthermore, although one X-ray diagnostic apparatus 10 is shown in FIG. 1, the medical image processing system 1 may include a plurality of X-ray diagnostic apparatuses 10.
図１に示すように、医用画像処理装置３０は、入力インターフェース３１と、ディスプレイ３２と、記憶回路３３と、モデル記憶回路３４と、処理回路３５とを有する。
As shown in FIG. 1, the medical image processing device 30 includes an input interface 31, a display 32, a storage circuit 33, a model storage circuit 34, and a processing circuit 35.
入力インターフェース３１は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３５に出力する。例えば、入力インターフェース３１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース３１は、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース３１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置３０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路３５へ出力する電気信号の処理回路も入力インターフェース３１の例に含まれる。
The input interface 31 receives various input operations from an operator, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 35. For example, the input interface 31 may include a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad that performs input operations by touching the operation surface, a touchscreen that integrates a display screen and a touchpad, and an optical sensor. This is realized by using a non-contact input circuit, a voice input circuit, etc. Note that the input interface 31 may be configured with a tablet terminal or the like that can wirelessly communicate with the main body of the medical image processing apparatus 30. Furthermore, the input interface 31 is not limited to one that includes physical operating components such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the medical image processing device 30 and outputs this electrical signal to the processing circuit 35 is also included in the input interface 31 . Included in the example.
ディスプレイ３２は、各種の情報を表示する。例えば、ディスプレイ３２は、入力インターフェース３１を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。また、ディスプレイ３２は、被検体について収集された各種の画像データを表示する。例えば、ディスプレイ３２は、処理回路３５による画像処理後のＸ線画像データを表示させる。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。ディスプレイ３２は、デスクトップ型でもよいし、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
The display 32 displays various information. For example, the display 32 displays a GUI (Graphical User Interface) for receiving various instructions, various settings, etc. from the operator via the input interface 31. Further, the display 32 displays various image data collected about the subject. For example, the display 32 displays X-ray image data after image processing by the processing circuit 35. For example, the display 32 is a liquid crystal display or a CRT (Cathode Ray Tube) display. The display 32 may be of a desktop type, or may be composed of a tablet terminal or the like that can wirelessly communicate with the main body of the medical image processing apparatus 30.
記憶回路３３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路３３は、医用画像処理装置３０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、記憶回路３３は、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
The storage circuit 33 is realized by, for example, a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, a hard disk, an optical disk, or the like. For example, the storage circuit 33 stores a program for a circuit included in the medical image processing apparatus 30 to realize its function. Note that the storage circuit 33 may be realized by a server group (cloud) connected to the medical image processing device 30 via the network NW.
モデル記憶回路３４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、モデル記憶回路３４は、画像データの入力を受けて入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を記憶する。なお、学習済みモデルＭ１については後述する。モデル記憶回路３４は、クラウドにより実現されることとしてもよい。
The model storage circuit 34 is realized by, for example, a RAM, a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like. For example, the model storage circuit 34 stores a trained model M1 that is configured to receive input image data and output an analysis result of the input image data. Note that the trained model M1 will be described later. The model storage circuit 34 may be realized by the cloud.
処理回路３５は、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６、画像処理機能３５７及び制御機能３５８を実行することで、医用画像処理装置３０全体の動作を制御する。ここで、取得機能３５１は、取得部の一例である。また、検出機能３５２は、検出部の一例である。また、抽出機能３５３は、抽出部の一例である。また、解析機能３５４は、解析部の一例である。また、特定機能３５５は、特定部の一例である。また、モデル生成機能３５６は、モデル生成部の一例である。また、画像処理機能３５７は、画像処理部の一例である。また、処理回路３５は、処理部の一例である。
The processing circuit 35 executes an acquisition function 351, a detection function 352, an extraction function 353, an analysis function 354, a specific function 355, a model generation function 356, an image processing function 357, and a control function 358, thereby controlling the entire medical image processing apparatus 30. control the behavior of Here, the acquisition function 351 is an example of an acquisition unit. Further, the detection function 352 is an example of a detection unit. Further, the extraction function 353 is an example of an extraction unit. Furthermore, the analysis function 354 is an example of an analysis section. Further, the specific function 355 is an example of a specific section. Further, the model generation function 356 is an example of a model generation unit. Further, the image processing function 357 is an example of an image processing section. Furthermore, the processing circuit 35 is an example of a processing section.
例えば、処理回路３５は、取得機能３５１に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線診断装置１０により収集されたＸ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０から、複数のマーカを有する医療デバイスを撮像した時系列の複数のＸ線画像データを取得する。また、例えば、処理回路３５は、検出機能３５２に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線画像データ上で、医療デバイスに付されたマーカの候補点を少なくとも３つ検出する。また、処理回路３５は、抽出機能３５３に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線画像データから検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、処理回路３５は、解析機能３５４に対応するプログラムを記憶回路３３から読み出して実行することにより、学習済みモデルＭ１を用いて、Ｘ線画像データから抽出した複数の領域それぞれを解析する。また、処理回路３５は、特定機能３５５に対応するプログラムを記憶回路３３から読み出して実行することにより、解析結果に基づいて、複数の候補対の中から一又は複数の対を特定する。また、処理回路３５は、モデル生成機能３５６に対応するプログラムを記憶回路３３から読み出して実行することにより、学習済みモデルＭ１を生成する。また、処理回路３５は、画像処理機能３５７に対応するプログラムを記憶回路３３から読み出して実行することにより、特定機能３５５が特定した一又は複数の対に基づいて、Ｘ線画像データに対する画像処理を実行する。なお、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６及び画像処理機能３５７による処理については後に詳述する。
For example, the processing circuit 35 acquires the X-ray image data collected by the X-ray diagnostic apparatus 10 by reading a program corresponding to the acquisition function 351 from the storage circuit 33 and executing it. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data obtained by imaging a medical device having a plurality of markers from the X-ray diagnostic apparatus 10. Further, for example, the processing circuit 35 reads out a program corresponding to the detection function 352 from the storage circuit 33 and executes it, thereby detecting at least three candidate points for markers attached to the medical device on the X-ray image data. do. Further, the processing circuit 35 selects a plurality of candidate pairs from at least three candidate points detected from the X-ray image data by reading out and executing a program corresponding to the extraction function 353 from the storage circuit 33; A plurality of regions corresponding to each of the plurality of selected candidate pairs are extracted from the X-ray image data. Further, the processing circuit 35 reads out a program corresponding to the analysis function 354 from the storage circuit 33 and executes it, thereby analyzing each of the plurality of regions extracted from the X-ray image data using the learned model M1. Furthermore, the processing circuit 35 reads a program corresponding to the specific function 355 from the storage circuit 33 and executes it, thereby specifying one or more pairs from among the plurality of candidate pairs based on the analysis result. Furthermore, the processing circuit 35 generates the trained model M1 by reading out a program corresponding to the model generation function 356 from the storage circuit 33 and executing it. Furthermore, the processing circuit 35 performs image processing on the X-ray image data based on one or more pairs specified by the specific function 355 by reading a program corresponding to the image processing function 357 from the storage circuit 33 and executing it. Execute. Note that processing by the acquisition function 351, detection function 352, extraction function 353, analysis function 354, identification function 355, model generation function 356, and image processing function 357 will be described in detail later.
また、例えば、処理回路３５は、制御機能３５８に対応するプログラムを記憶回路３３から読み出して実行することにより、画像処理機能３５７による画像処理後のＸ線画像データをディスプレイ３２に表示させる。また、制御機能３５８は、画像処理機能３５７による画像処理後のＸ線画像データを、Ｘ線診断装置１０及び画像保管装置２０に対して送信する。
Further, for example, the processing circuit 35 causes the display 32 to display the X-ray image data after image processing by the image processing function 357 by reading a program corresponding to the control function 358 from the storage circuit 33 and executing it. Further, the control function 358 transmits the X-ray image data after image processing by the image processing function 357 to the X-ray diagnostic apparatus 10 and the image storage apparatus 20.
図１に示す医用画像処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路３３へ記憶されている。処理回路３５は、記憶回路３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５は、読み出したプログラムに対応する機能を有することとなる。
In the medical image processing apparatus 30 shown in FIG. 1, each processing function is stored in the storage circuit 33 in the form of a program executable by a computer. The processing circuit 35 is a processor that reads programs from the storage circuit 33 and executes them to realize functions corresponding to each program. In other words, the processing circuit 35 that has read each program has a function corresponding to the read program.
なお、図１においては単一の処理回路３５にて、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６、画像処理機能３５７及び制御機能３５８が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３５を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３５が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
In addition, in FIG. 1, an acquisition function 351, a detection function 352, an extraction function 353, an analysis function 354, a specific function 355, a model generation function 356, an image processing function 357, and a control function 358 are realized by a single processing circuit 35. However, the processing circuit 35 may be configured by combining a plurality of independent processors, and functions may be realized by each processor executing a program. Further, each processing function of the processing circuit 35 may be realized by being appropriately distributed or integrated into a single or multiple processing circuits.
次に、図２を用いて、Ｘ線診断装置１０について説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、記憶回路１０７と、ディスプレイ１０８と、入力インターフェース１０９と、処理回路１１０とを備える。
Next, the X-ray diagnostic apparatus 10 will be explained using FIG. 2. FIG. 2 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 10 according to the first embodiment. As shown in FIG. 2, the X-ray diagnostic apparatus 10 includes an X-ray high voltage device 101, an X-ray tube 102, an X-ray diaphragm 103, a top plate 104, a C-arm 105, and an X-ray detector 106. , a storage circuit 107 , a display 108 , an input interface 109 , and a processing circuit 110 .
Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
The X-ray high voltage device 101 supplies high voltage to the X-ray tube 102 under the control of the processing circuit 110 . For example, the X-ray high-voltage device 101 includes an electric circuit such as a transformer and a rectifier, and includes a high-voltage generator that generates a high voltage to be applied to the X-ray tube 102 and a high-voltage generator that generates the high voltage that the X-ray tube 102 emits. and an X-ray control device that controls the output voltage according to the X-rays. Note that the high voltage generator may be of a transformer type or an inverter type.
Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。
The X-ray tube 102 is a vacuum tube that has a cathode (filament) that generates thermoelectrons and an anode (target) that generates X-rays upon collision with the thermoelectrons. The X-ray tube 102 uses the high voltage supplied from the X-ray high voltage device 101 to generate X-rays by irradiating thermoelectrons from the cathode to the anode.
Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。
The X-ray restrictor 103 includes a collimator that narrows down the irradiation range of the X-rays generated by the X-ray tube 102 and a filter that adjusts the X-rays emitted from the X-ray tube 102.
Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。
The collimator in the X-ray diaphragm 103 has, for example, four slidable aperture blades. The collimator narrows down the X-rays generated by the X-ray tube 102 and irradiates the subject P by sliding the aperture blades. Here, the aperture blade is a plate-like member made of lead or the like, and is provided near the X-ray irradiation port of the X-ray tube 102 in order to adjust the X-ray irradiation range.
Ｘ線絞り器１０３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。
The filter in the X-ray diaphragm 103 changes the quality of the transmitted X-rays depending on the material and thickness of the filter, and absorbs the This reduces soft line components that are easily detected, and reduces high energy components that cause a decrease in the contrast of X-ray image data. In addition, the filter changes the X-ray dose and irradiation range depending on its material, thickness, position, etc., so that the X-rays irradiated from the X-ray tube 102 to the subject P have a predetermined distribution. attenuate.
例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。
For example, the X-ray diaphragm 103 has a drive mechanism such as a motor and an actuator, and controls X-ray irradiation by operating the drive mechanism under the control of a processing circuit 110, which will be described later. For example, the X-ray diaphragm 103 applies a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110, adjusts the opening degree of the diaphragm blades of the collimator, and irradiates the subject P. control the irradiation range of X-rays. Further, for example, the X-ray diaphragm 103 applies a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110 to adjust the position of the filter, thereby irradiating the subject P. Controls the distribution of X-ray doses.
天板１０４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。
The top plate 104 is a bed on which the subject P is placed, and is placed on a bed (not shown). Note that the subject P is not included in the X-ray diagnostic apparatus 10. For example, the bed has a drive mechanism such as a motor and an actuator, and the movement and inclination of the top plate 104 is controlled by operating the drive mechanism under the control of a processing circuit 110, which will be described later. For example, the bed moves or tilts the top plate 104 by applying a drive voltage to a drive mechanism according to a control signal received from the processing circuit 110.
Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
The C-arm 105 holds the X-ray tube 102, the X-ray diaphragm 103, and the X-ray detector 106 so as to face each other with the subject P in between. For example, the C-arm 105 has a drive mechanism such as a motor and an actuator, and rotates or moves by operating the drive mechanism under the control of a processing circuit 110, which will be described later. For example, the C-arm 105 connects the X-ray tube 102, the X-ray diaphragm 103, and the X-ray detector 106 to the subject by applying a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110. It is rotated and moved relative to P to control the X-ray irradiation position and irradiation angle. Although FIG. 2 illustrates an example in which the X-ray diagnostic apparatus 10 is a single plane, the embodiment is not limited to this, and may be a biplane.
Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
The X-ray detector 106 is, for example, an X-ray flat panel detector (FPD) having detection elements arranged in a matrix. The X-ray detector 106 detects the X-rays emitted from the X-ray tube 102 and transmitted through the subject P, and outputs a detection signal corresponding to the detected X-ray dose to the processing circuit 110. Note that the X-ray detector 106 may be an indirect conversion type detector having a grid, a scintillator array, and a photosensor array, or a direct conversion type detector having a semiconductor element that converts incident X-rays into electrical signals. It may be a detector.
記憶回路１０７は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路１０７は、処理回路１１０によって収集されたＸ線画像データを受け付けて記憶する。また、記憶回路１０７は、処理回路１１０によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、記憶回路１０７は、クラウドにより実現されることとしてもよい。
The storage circuit 107 is realized by, for example, a RAM, a semiconductor memory element such as a flash memory, a hard disk, an optical disk, or the like. For example, the storage circuit 107 receives and stores X-ray image data collected by the processing circuit 110. Furthermore, the storage circuit 107 stores programs corresponding to various functions read and executed by the processing circuit 110. Note that the storage circuit 107 may be realized by a cloud.
ディスプレイ１０８は、各種の情報を表示する。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、操作者の指示を受け付けるためのＧＵＩや、各種のＸ線画像を表示する。例えば、ディスプレイ１０８は、液晶ディスプレイやＣＲＴディスプレイである。なお、ディスプレイ１０８はデスクトップ型でもよいし、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。
Display 108 displays various information. For example, the display 108 displays a GUI for receiving instructions from an operator and various X-ray images under the control of the processing circuit 110. For example, display 108 is a liquid crystal display or a CRT display. Note that the display 108 may be of a desktop type, or may be configured of a tablet terminal or the like that can communicate wirelessly with the processing circuit 110.
入力インターフェース１０９は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。例えば、入力インターフェース１０９は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース１０９は、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１０９は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１０へ出力する電気信号の処理回路も入力インターフェース１０９の例に含まれる。
The input interface 109 receives various input operations from an operator, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 110. For example, the input interface 109 includes a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad that performs input operations by touching the operation surface, a touchscreen that integrates a display screen and a touchpad, and an optical sensor. This is realized by using a non-contact input circuit, a voice input circuit, etc. Note that the input interface 109 may be configured with a tablet terminal or the like that can communicate wirelessly with the processing circuit 110. Further, the input interface 109 is not limited to one that includes physical operation parts such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the X-ray diagnostic apparatus 10 and outputs this electrical signal to the processing circuit 110 is also included in the input interface 109 . Included in the example.
処理回路１１０は、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃを実行することで、Ｘ線診断装置１０全体の動作を制御する。
The processing circuit 110 controls the overall operation of the X-ray diagnostic apparatus 10 by executing an acquisition function 110a, a display control function 110b, and a transmission function 110c.
例えば、処理回路１１０は、記憶回路１０７から収集機能１１０ａに相当するプログラムを読み出して実行することにより、被検体ＰをＸ線撮像して、Ｘ線画像データを収集する。例えば、収集機能１１０ａは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。
For example, the processing circuit 110 reads out and executes a program corresponding to the collection function 110a from the storage circuit 107, thereby capturing an X-ray image of the subject P and collecting X-ray image data. For example, the acquisition function 110a controls the X-ray high voltage device 101 and adjusts the voltage supplied to the X-ray tube 102, thereby controlling the amount of X-rays irradiated to the subject P and the on/off state.
また、例えば、収集機能１１０ａは、Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６の動作を制御することにより、Ｘ線の照射範囲やＸ線の線量の分布、Ｘ線の照射角度等を制御する。具体的には、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ａは、Ｃアーム１０５を回転させたり、移動させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、天板１０４を移動させたり、傾斜させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データを生成し、生成したＸ線画像データを記憶回路１０７に格納する。
Furthermore, for example, the acquisition function 110a controls the operation of the X-ray tube 102, X-ray diaphragm 103, top plate 104, C-arm 105, and X-ray detector 106, thereby controlling the X-ray irradiation range and X-ray Controls dose distribution, X-ray irradiation angle, etc. Specifically, the acquisition function 110a controls the operation of the X-ray diaphragm 103 and adjusts the opening degree of the diaphragm blades of the collimator, thereby controlling the irradiation range of the X-rays irradiated onto the subject P. Control. The acquisition function 110a also controls the X-ray dose distribution by controlling the operation of the X-ray diaphragm 103 and adjusting the position of the filter. Furthermore, the acquisition function 110a controls the irradiation range and irradiation angle of X-rays by rotating or moving the C-arm 105. Furthermore, the acquisition function 110a controls the irradiation range and irradiation angle of X-rays by moving or tilting the top plate 104. The collection function 110a also generates X-ray image data based on the detection signal received from the X-ray detector 106, and stores the generated X-ray image data in the storage circuit 107.
また、処理回路１１０は、記憶回路１０７から表示制御機能１１０ｂに相当するプログラムを読み出して実行することにより、各種のＸ線画像データをディスプレイ１０８に表示させる。例えば、表示制御機能１１０ｂは、収集機能１１０ａが収集したＸ線画像データや、医用画像処理装置３０による画像処理後のＸ線画像データをディスプレイ１０８に表示させる。また、処理回路１１０は、記憶回路１０７から送信機能１１０ｃに相当するプログラムを読み出して実行することにより、収集機能１１０ａが収集したＸ線画像データを、医用画像処理装置３０に対して送信する。
Furthermore, the processing circuit 110 displays various X-ray image data on the display 108 by reading out and executing a program corresponding to the display control function 110b from the storage circuit 107. For example, the display control function 110b causes the display 108 to display the X-ray image data collected by the collection function 110a or the X-ray image data after image processing by the medical image processing device 30. Furthermore, the processing circuit 110 transmits the X-ray image data collected by the collection function 110a to the medical image processing apparatus 30 by reading out and executing a program corresponding to the transmission function 110c from the storage circuit 107.
図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路１０７へ記憶されている。処理回路１１０は、記憶回路１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。
In the X-ray diagnostic apparatus 10 shown in FIG. 2, each processing function is stored in the storage circuit 107 in the form of a program executable by a computer. The processing circuit 110 is a processor that reads programs from the storage circuit 107 and executes them to realize functions corresponding to each program. In other words, the processing circuit 110 in a state where the program has been read has a function corresponding to the read program.
なお、図２においては単一の処理回路１１０にて、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
In FIG. 2, the collection function 110a, display control function 110b, and transmission function 110c are realized by a single processing circuit 110. However, the processing circuit 110 may be configured by combining a plurality of independent processors. , functions may be realized by each processor executing a program. Further, each processing function of the processing circuit 110 may be realized by being appropriately distributed or integrated into a single or multiple processing circuits.
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路３３又は記憶回路１０７に保存されたプログラムを読み出し実行することで機能を実現する。
The term "processor" used in the above explanation refers to, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an Application Specific Integrated Circuit (ASIC), a programmable logic device (for example, Refers to circuits such as a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA). The processor realizes its functions by reading and executing programs stored in the memory circuit 33 or the memory circuit 107.
なお、図１及び図２においては、単一の記憶回路３３又は記憶回路１０７が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数の記憶回路３３を分散して配置し、処理回路３５は、個別の記憶回路３３から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路１０７を分散して配置し、処理回路１１０は、個別の記憶回路１０７から対応するプログラムを読み出す構成としても構わない。また、記憶回路３３及び記憶回路１０７にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
Note that in FIGS. 1 and 2, the explanation has been made assuming that the single storage circuit 33 or the storage circuit 107 stores programs corresponding to each processing function. However, embodiments are not limited thereto. For example, a configuration may be adopted in which a plurality of memory circuits 33 are arranged in a distributed manner, and the processing circuit 35 reads a corresponding program from each individual memory circuit 33. Similarly, a configuration may be adopted in which a plurality of memory circuits 107 are arranged in a distributed manner and the processing circuit 110 reads the corresponding program from each individual memory circuit 107. Further, instead of storing the program in the memory circuit 33 and the memory circuit 107, the program may be directly incorporated into the processor circuit. In this case, the processor realizes its functions by reading and executing a program built into the circuit.
また、処理回路３５及び処理回路１１０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路３５は、記憶回路３３から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図１に示す各機能を実現する。
Furthermore, the processing circuit 35 and the processing circuit 110 may realize their functions by using a processor of an external device connected via the network NW. For example, the processing circuit 35 reads and executes a program corresponding to each function from the storage circuit 33, and uses a server group (cloud) connected to the medical image processing device 30 via the network NW as a computing resource. Thus, each function shown in FIG. 1 is realized.
以上、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用画像処理システム１について説明した。かかる構成のもと、医用画像処理システム１における医用画像処理装置３０は、処理回路３５による処理によって、Ｘ線画像データ上でのマーカ特定の精度を向上させる。
The medical image processing system 1 including the X-ray diagnostic device 10, the image storage device 20, and the medical image processing device 30 has been described above. With this configuration, the medical image processing device 30 in the medical image processing system 1 improves the accuracy of marker identification on X-ray image data through processing by the processing circuit 35.
まず、Ｘ線診断装置１０における収集機能１１０ａは、複数のマーカを有する医療デバイスを撮像したＸ線画像データを収集する。ここで、マーカとは、例えば、医療デバイスに付されるＸ線不透過の金属であり、Ｘ線画像データ上に比較的明瞭に描出される。従って、Ｘ線画像データ上の医療デバイスが不明瞭な場合でも、マーカによりＸ線画像データ上の医療デバイスを特定することができる。なお、マーカが１つのみである場合、Ｘ線画像データ上で医療デバイスの位置は特定できるにしても、向きが特定できないため、通常は複数のマーカが医療デバイスに付される。以下では一例として、医療デバイスに２つのマーカが付されているものとして説明する。
First, the collection function 110a in the X-ray diagnostic apparatus 10 collects X-ray image data obtained by imaging a medical device having a plurality of markers. Here, the marker is, for example, an X-ray opaque metal attached to a medical device, and is relatively clearly depicted on X-ray image data. Therefore, even if the medical device on the X-ray image data is unclear, the medical device on the X-ray image data can be specified by the marker. Note that when there is only one marker, even if the position of the medical device can be specified on the X-ray image data, the orientation cannot be specified, so a plurality of markers are usually attached to the medical device. In the following description, as an example, it is assumed that two markers are attached to a medical device.
また、医療デバイスとは、例えば、被検体Ｐの体内に挿入されるカテーテルやガイドワイヤ、ステント等である。なお、マーカが付される医療デバイスの種類は、治療対象部位や手技の目的に応じて変化する。即ち、マーカは、カテーテルに付される場合もあれば、ガイドワイヤに付される場合もあり、ステントに付される場合もある。一例を挙げると、バルーン付きカテーテルを用いたステント留置術では、バルーン付きカテーテルのバルーン部分にマーカが付される。別の例を挙げると、被検体Ｐの脳内血管に対するステント留置術では、ステント自体にマーカが付される。
Further, the medical device is, for example, a catheter, a guide wire, a stent, etc. that is inserted into the body of the subject P. Note that the type of medical device to which the marker is attached changes depending on the region to be treated and the purpose of the procedure. That is, the marker may be attached to a catheter, a guidewire, or a stent. For example, in stent placement using a balloon catheter, a marker is attached to the balloon portion of the balloon catheter. To give another example, in a stent placement procedure for an intracerebral blood vessel of a subject P, a marker is attached to the stent itself.
次に、送信機能１１０ｃは、収集機能１１０ａが収集したＸ線画像データを医用画像処理装置３０に対して送信する。ここで、取得機能３５１は、Ｘ線診断装置１０から送信されたＸ線画像データを受信することにより、Ｘ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０によりＸ線画像データが収集されるごとに、収集されたＸ線画像データを順次取得する。即ち、取得機能３５１は、時系列の複数のＸ線画像データを取得する。
Next, the transmission function 110c transmits the X-ray image data collected by the collection function 110a to the medical image processing apparatus 30. Here, the acquisition function 351 acquires X-ray image data by receiving the X-ray image data transmitted from the X-ray diagnostic apparatus 10. For example, the acquisition function 351 sequentially acquires the collected X-ray image data each time the X-ray diagnostic apparatus 10 collects the X-ray image data. That is, the acquisition function 351 acquires a plurality of time-series X-ray image data.
次に、検出機能３５２は、取得機能３５１が取得したＸ線画像データ上で、医療デバイスが有する２つのマーカの候補点を検出する。例えば、検出機能３５２は、パターンマッチングにより、２つのマーカの候補点を検出する。一例を挙げると、検出機能３５２は、マーカの形状を模したカーネルを用いて、Ｘ線画像データ上の各位置について類似度を算出し、類似度が閾値以上となる位置を候補点として検出する。
Next, the detection function 352 detects two marker candidate points of the medical device on the X-ray image data acquired by the acquisition function 351. For example, the detection function 352 detects two marker candidate points by pattern matching. For example, the detection function 352 uses a kernel that mimics the shape of a marker to calculate the degree of similarity for each position on the X-ray image data, and detects a position where the degree of similarity is equal to or greater than a threshold value as a candidate point. .
ここで、２つのマーカに対応する２つの候補点のみ検出されることが理想ではあるものの、種々の要因により、マーカの誤検出が生じる場合がある。例えば、検出機能３５２は、Ｘ線画像データに生じたノイズを候補点として検出してしまう場合がある。また、例えば、検出機能３５２は、Ｘ線画像データに現れた被検体Ｐの骨のエッジを候補点として検出してしまう場合がある。即ち、検出機能３５２は、２つのマーカに対して、３つ以上の候補点を検出してしまう場合がある。なお、パターンマッチングにおける類似度の閾値を高く設定することにより、検出する候補点の数を制限することが可能である。しかしながら、この場合、検出機能３５２は、マーカに対応する候補点を検出し損ねる場合がある。
Here, although it is ideal that only two candidate points corresponding to two markers are detected, erroneous detection of markers may occur due to various factors. For example, the detection function 352 may detect noise occurring in X-ray image data as a candidate point. Further, for example, the detection function 352 may detect an edge of a bone of the subject P that appears in the X-ray image data as a candidate point. That is, the detection function 352 may detect three or more candidate points for two markers. Note that by setting a high similarity threshold in pattern matching, it is possible to limit the number of candidate points to be detected. However, in this case, the detection function 352 may fail to detect the candidate point corresponding to the marker.
そこで、抽出機能３５３、解析機能３５４及び特定機能３５５は、検出機能３５２が３つ以上の候補点を検出した場合、検出された３つ以上の候補点の中から、医療デバイスが有する２つのマーカに対応する２つの候補点を特定する。具体的には、抽出機能３５３は、検出された３つ以上の候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、学習済みモデルＭ１に複数の領域を入力することによって、複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスが有する２つのマーカに対応する一の対を特定する。なお、検出機能３５２が２つの候補点を検出した場合、例えば、抽出機能３５３は、検出された２つの候補点から候補対を作成し、特定機能３５５は、作成された候補対を、医療デバイスが有する２つのマーカに対応する一の対として特定することができる。
Therefore, when the detection function 352 detects three or more candidate points, the extraction function 353, analysis function 354, and identification function 355 select two markers that the medical device has from among the detected three or more candidate points. Identify two candidate points corresponding to . Specifically, the extraction function 353 selects a plurality of candidate pairs from among the detected three or more candidate points, and extracts a plurality of regions corresponding to each of the selected candidate points from the X-ray image data. do. Furthermore, the analysis function 354 analyzes each of the plurality of regions by inputting the plurality of regions to the trained model M1. Further, the identification function 355 identifies one pair corresponding to two markers possessed by the medical device from among the plurality of candidate pairs, based on the analysis result. Note that when the detection function 352 detects two candidate points, for example, the extraction function 353 creates a candidate pair from the two detected candidate points, and the specific function 355 selects the created candidate pair from the medical device. can be specified as one pair corresponding to two markers that have.
以下、検出機能３５２が検出した少なくとも３つの候補点の中から２つの候補点を特定する処理について詳細に説明する。まず、学習済みモデルＭ１の生成処理について、図３を用いて説明する。図３は、第１の実施形態に係る学習済みモデルＭ１の生成処理について説明するための図である。モデル生成機能３５６は、被検体ＰからのＸ線画像データの収集が開始されるよりも前に学習済みモデルＭ１を生成し、生成した学習済みモデルＭ１をモデル記憶回路３４に記憶させる。
The process of identifying two candidate points from at least three candidate points detected by the detection function 352 will be described in detail below. First, the generation process of the learned model M1 will be explained using FIG. 3. FIG. 3 is a diagram for explaining the generation process of the trained model M1 according to the first embodiment. The model generation function 356 generates a learned model M1 before the collection of X-ray image data from the subject P is started, and stores the generated learned model M1 in the model storage circuit 34.
まず、モデル生成機能３５６は、学習済みモデルＭ１の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査においてマーカの特定が行われた複数のＸ線画像データを取得する。ここで、モデル生成機能３５６が取得するＸ線画像データは、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
First, the model generation function 356 generates a learning data set to be used for learning the trained model M1. For example, the model generation function 356 acquires a plurality of X-ray image data in which markers have been identified in past examinations. Here, the X-ray image data acquired by the model generation function 356 may be X-ray image data of the subject P, or may be X-ray image data of another subject.
図３においては一例として、モデル生成機能３５６が、Ｘ線画像データＩ１１及びＸ線画像データＩ１２を含む複数のＸ線画像データを取得した場合について説明する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２は、マーカＤ１１及びマーカＤ１２を有するガイドワイヤＤ１４を撮像した画像データである。なお、マーカＤ１１とマーカＤ１２との間には、ステントＤ１３が配置される。ステントＤ１３は、血管内に留置するために拡張されている途中のものであってもよいし、拡張前のものであってもよい。
In FIG. 3, as an example, a case will be described in which the model generation function 356 acquires a plurality of X-ray image data including X-ray image data I11 and X-ray image data I12. The X-ray image data I11 and the X-ray image data I12 are image data obtained by imaging the guide wire D14 having the marker D11 and the marker D12. Note that a stent D13 is arranged between the marker D11 and the marker D12. The stent D13 may be in the process of being expanded for placement in a blood vessel, or may be a stent that has not yet been expanded.
次に、モデル生成機能３５６は、過去の検査におけるマーカの特定結果に基づいて、各Ｘ線画像データから領域を抽出する。例えば、モデル生成機能３５６は、図３に示すように、Ｘ線画像データＩ１１上に点線で示す矩形領域を、画像データＩ１１１として抽出する。ここで、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ間の距離に応じて、画像データＩ１１１を抽出する。即ち、モデル生成機能３５６は、マーカ間の距離に応じてサイズを調整した矩形領域を、画像データＩ１１１として抽出する。また、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ対の向きに応じて、画像データＩ１１１を抽出する。即ち、モデル生成機能３５６は、マーカ対の向きに応じて回転させた矩形領域を、画像データＩ１１１として抽出する。
Next, the model generation function 356 extracts regions from each X-ray image data based on the marker identification results in past examinations. For example, as shown in FIG. 3, the model generation function 356 extracts a rectangular area indicated by a dotted line on the X-ray image data I11 as image data I111. Here, the model generation function 356 extracts image data I111 according to the distance between markers specified on the X-ray image data I11. That is, the model generation function 356 extracts a rectangular area whose size is adjusted according to the distance between markers as image data I111. Furthermore, the model generation function 356 extracts image data I111 according to the orientation of the marker pair specified on the X-ray image data I11. That is, the model generation function 356 extracts a rectangular area rotated according to the orientation of the marker pair as image data I111.
ここで、Ｘ線画像データＩ１１は、マーカが正しく特定された画像データの例である。この場合、Ｘ線画像データＩ１１から抽出される画像データＩ１１１においては、所定の位置にマーカＤ１１及びマーカＤ１２が配置されることとなる。例えば、図３に示す場合、画像データＩ１１１におけるマーカＤ１１及びマーカＤ１２は、いずれも画像のふち近傍に位置し、且つ、画像中央で縦に並ぶように配置される。
Here, the X-ray image data I11 is an example of image data in which markers are correctly identified. In this case, in the image data I111 extracted from the X-ray image data I11, the marker D11 and the marker D12 are placed at predetermined positions. For example, in the case shown in FIG. 3, markers D11 and D12 in image data I111 are both located near the edges of the image and are arranged vertically in the center of the image.
同様に、モデル生成機能３５６はＸ線画像データＩ１２上に点線で示す矩形領域を、画像データＩ１２１として抽出する。ここで、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ間の距離に応じて、画像データＩ１２１を抽出する。また、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ対の向きに応じて、画像データＩ１２１を抽出する。
Similarly, the model generation function 356 extracts a rectangular area indicated by a dotted line on the X-ray image data I12 as image data I121. Here, the model generation function 356 extracts image data I121 according to the distance between markers specified on the X-ray image data I11. Furthermore, the model generation function 356 extracts image data I121 according to the orientation of the marker pair specified on the X-ray image data I11.
ここで、Ｘ線画像データＩ１２は、マーカが正しく特定されなかった画像データの例である。具体的には、Ｘ線画像データＩ１２は、マーカＤ１２については正しく特定されたものの、マーカＤ１１と誤って骨のエッジ部分を特定してしまった場合を示す。この場合、Ｘ線画像データＩ１２から抽出される画像データＩ１２１において、マーカＤ１１は、所定の位置に配置されないこととなる。例えば、図３に示す場合、マーカＤ１１は画像データＩ１２１に含まれていない。
Here, the X-ray image data I12 is an example of image data in which the marker was not correctly specified. Specifically, the X-ray image data I12 shows a case where the marker D12 is correctly specified, but the edge of the bone is mistakenly specified as the marker D11. In this case, the marker D11 will not be placed at a predetermined position in the image data I121 extracted from the X-ray image data I12. For example, in the case shown in FIG. 3, the marker D11 is not included in the image data I121.
次に、モデル生成機能３５６は、複数のＸ線画像データから抽出した各画像データについて、画像サイズを調整する。具体的には、モデル生成機能３５６は、図３に示すように、画像データＩ１１１や画像データＩ１２１について画像サイズが一定となるようにリサイズを行なう。以下、画像サイズを調整した画像データＩ１１１を、画像データＩ１１１’と記載する。また、画像サイズを調整した画像データＩ１２１を、画像データＩ１２１’と記載する。
Next, the model generation function 356 adjusts the image size of each image data extracted from the plurality of X-ray image data. Specifically, the model generation function 356 resizes the image data I111 and the image data I121 so that the image sizes are constant, as shown in FIG. Hereinafter, the image data I111 whose image size has been adjusted will be referred to as image data I111'. Furthermore, the image data I121 whose image size has been adjusted is referred to as image data I121'.
次に、モデル生成機能３５６は、画像サイズを調整した画像データについて、マーカが正しく特定されたか否かを示す情報を付加することにより、学習データを生成する。即ち、モデル生成機能３５６は、画像データＩ１１１’や画像データＩ１２１’等の画像データと、マーカが正しく特定されたか否かを示す情報とを組み合わせることにより、学習データを生成する。
Next, the model generation function 356 generates learning data by adding information indicating whether or not the marker has been correctly identified to the image data whose image size has been adjusted. That is, the model generation function 356 generates learning data by combining image data such as image data I111' and image data I121' with information indicating whether a marker has been correctly identified.
例えば、Ｘ線画像データＩ１１においてはマーカが正しく特定されているため、モデル生成機能３５６は、Ｘ線画像データＩ１１に基づく画像データＩ１１１’に対して、マーカが正しく特定されたことを示す情報「○」を付加する。一方で、Ｘ線画像データＩ１２においてはマーカが正しく特定されていないため、モデル生成機能３５６は、Ｘ線画像データＩ１２に基づく画像データＩ１２１’に対して、マーカが正しく特定されていないことを示す情報「×」を付加する。
For example, since the marker is correctly specified in the X-ray image data I11, the model generation function 356 generates information " Add “○”. On the other hand, since the marker is not correctly specified in the X-ray image data I12, the model generation function 356 indicates that the marker is not correctly specified for the image data I121' based on the X-ray image data I12. Add information "x".
なお、各Ｘ線画像データについてマーカが正しく特定されたか否かの判定は、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。一例を挙げると、モデル生成機能３５６は、Ｘ線画像データと、マーカの特定結果に基づく矩形領域との重畳画像を表示させる。そして、操作者は、矩形領域内の所定の位置にマーカが現れているか否かに応じてマーカが正しく特定されているか否かを判定し、入力インターフェース１０９を介して、判定の結果を入力する。
Note that the determination as to whether the marker has been correctly identified for each X-ray image data may be made by the operator or automatically by the model generation function 356. For example, the model generation function 356 displays a superimposed image of X-ray image data and a rectangular area based on the marker identification results. Then, the operator determines whether the marker has been correctly specified depending on whether the marker appears at a predetermined position within the rectangular area, and inputs the determination result via the input interface 109. .
別の例を挙げると、モデル生成機能３５６は、時系列の複数のＸ線画像データを、マーカの特定結果に基づいて表示位置を補正しながら、連続的に表示させる。ここで、操作者は、表示に乱れが生じているか否かを判断する。即ち、時系列の複数のＸ線画像データにおいてマーカが正しく特定されている場合、表示位置は適切に補正され、マーカが付された医療デバイスの表示位置は固定される。一方で、時系列の複数のＸ線画像データの中にマーカが正しく特定されていないＸ線画像データがある場合、このＸ線画像データが表示される時のみ、医療デバイスが異なる位置及び向きで表示され、或いは医療デバイスが画像内に表示されなくなる。
To give another example, the model generation function 356 continuously displays a plurality of time-series X-ray image data while correcting the display position based on the marker identification results. Here, the operator determines whether or not there is any disturbance in the display. That is, if the marker is correctly identified in a plurality of time-series X-ray image data, the display position is appropriately corrected, and the display position of the medical device to which the marker is attached is fixed. On the other hand, if there is X-ray image data in which markers are not correctly identified among multiple time-series X-ray image data, the medical device may be displayed in a different position and orientation only when this X-ray image data is displayed. or the medical device disappears from the image.
例えば、表示に乱れが生じなかった場合、操作者は、表示された時系列の複数のＸ線画像データについてマーカが正しく特定されていると判定し、入力インターフェース１０９を介して判定の結果を入力する。一方で、表示に乱れが生じた場合、操作者は、乱れが生じた時に表示されていたＸ線画像データについてマーカが正しく特定されていないと判定するとともに、他のＸ線画像データについてはマーカが正しく特定されていると判定して、判定の結果を入力する。
For example, if no disturbance occurs in the display, the operator determines that the markers have been correctly identified for the displayed multiple time-series X-ray image data, and inputs the determination result via the input interface 109. do. On the other hand, if a disturbance occurs in the display, the operator determines that the marker has not been correctly identified for the X-ray image data that was being displayed when the disturbance occurred, and also determines that the marker is not correctly identified for the X-ray image data that was being displayed when the disturbance occurred. is determined to be correctly specified, and the result of the determination is input.
別の例を挙げると、モデル生成機能３５６は、時系列の複数のＸ線画像データのそれぞれについて、マーカの特定結果に基づいて表示位置を補正した場合の表示領域を特定する。次に、モデル生成機能３５６は、各表示領域の中の平均画素値を算出する。ここで、時系列の複数のＸ線画像データについてマーカが正しく特定されている場合、表示領域内の平均画素値は、時間的に連続的な変化を示す。一方で、時系列の複数のＸ線画像データの中にマーカが正しく特定されていないＸ線画像データがある場合、このＸ線画像データの表示領域内の平均画素値は、前後のＸ線画像データの表示領域内の平均画素値と比較して大幅に変化する。
To give another example, the model generation function 356 specifies, for each of a plurality of time-series X-ray image data, a display area when the display position is corrected based on the marker identification result. Next, model generation function 356 calculates the average pixel value within each display area. Here, if markers are correctly specified for a plurality of time-series X-ray image data, the average pixel value within the display area shows a continuous change over time. On the other hand, if there is X-ray image data in which markers are not correctly specified among multiple time-series X-ray image data, the average pixel value within the display area of this X-ray image data is The data changes significantly compared to the average pixel value within the display area.
従って、モデル生成機能３５６は、表示領域内の平均画素値の変化に応じて、各Ｘ線画像データについてマーカが正しく特定されているか否かを判定することができる。例えば、モデル生成機能３５６は、表示領域内の平均画素値の変化量について閾値を設け、変化量が閾値を超えるＸ線画像データについてマーカが正しく特定されていないと判定する。なお、表示領域内の平均画素値を例に説明したが、モデル生成機能３５６は、表示領域内の画素値に関する他の統計量を用いてもよい。また、モデル生成機能３５６は、表示領域内の画素値についてヒストグラムを作成し、ヒストグラムの変化に応じて、各Ｘ線画像データについてマーカが正しく特定されているか否かを判定することとしてもよい。
Therefore, the model generation function 356 can determine whether the marker is correctly specified for each X-ray image data according to the change in the average pixel value within the display area. For example, the model generation function 356 sets a threshold value for the amount of change in the average pixel value within the display area, and determines that the marker is not correctly specified for X-ray image data in which the amount of change exceeds the threshold value. Although the explanation has been given using the average pixel value within the display area as an example, the model generation function 356 may use other statistics regarding the pixel values within the display area. The model generation function 356 may also create a histogram for pixel values within the display area, and determine whether markers are correctly identified for each X-ray image data according to changes in the histogram.
上述したように、モデル生成機能３５６は、画像サイズを調整した画像データ（画像データＩ１１１’や画像データＩ１２１’等）と、マーカが正しく特定されたか否かを示す情報との組み合わせから成る学習データを生成する。モデル生成機能３５６は、このような学習データを複数生成することで、図４に示す学習データセットを生成する。なお、図４は、第１の実施形態に係る学習データセットの例を示す図である。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ１を生成する。
As described above, the model generation function 356 generates learning data consisting of a combination of image data whose image size has been adjusted (image data I111', image data I121', etc.) and information indicating whether or not a marker has been correctly identified. generate. The model generation function 356 generates a learning data set shown in FIG. 4 by generating a plurality of such learning data. Note that FIG. 4 is a diagram showing an example of a learning data set according to the first embodiment. Next, the model generation function 356 generates a learned model M1 by performing machine learning using the generated learning data set.
学習済みモデルＭ１は、例えば、ニューラルネットワーク（Neural Network）により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、モデル生成機能３５６は、図４に示した入力側データ（画像データＩ１１１’や画像データＩ１２１’等）をニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。
The learned model M1 can be configured by, for example, a neural network. A neural network is a network that has a structure in which adjacent layers arranged in a layered manner are connected, and information is propagated from the input layer side to the output layer side. For example, the model generation function 356 inputs the input side data (image data I111', image data I121', etc.) shown in FIG. 4 to the neural network. Here, in a neural network, information propagates in one direction from the input layer side to the output layer side, connecting only between adjacent layers.
例えば、モデル生成機能３５６は、図４に示した学習データセットを用いて、多層のニューラルネットワークについて深層学習（ディープラーニング）を実行することで、学習済みモデルＭ１を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層（隠れ層）と、出力層とにより構成される。このようなニューラルネットワークでは、パラメータを調整することにより、任意の関数を表現することができる。
For example, the model generation function 356 generates the learned model M1 by performing deep learning on a multilayer neural network using the learning data set shown in FIG. Note that a multilayer neural network includes, for example, an input layer, a plurality of intermediate layers (hidden layers), and an output layer. Such a neural network can express any function by adjusting parameters.
例えば、ニューラルネットワークは、入力された画像データと、マーカが正しく特定されている確度との関係を示したロジスティック曲線を表現することができる。この場合、ニューラルネットワークは、例えば、確度に基づく分類結果を出力することができる。例えば、ニューラルネットワークは、画像データの入力を受けて、マーカが正しく特定されていることを示すクラス「○」と、マーカが正しく特定されていないことを示すクラス「×」とへの確度付き二値分類を行なうことができる。
For example, a neural network can represent a logistic curve that represents the relationship between input image data and the probability that a marker is correctly identified. In this case, the neural network can output classification results based on accuracy, for example. For example, upon receiving input image data, a neural network divides the class ``○'', which indicates that the marker has been correctly identified, and the class ``x'', which indicates that the marker has not been correctly identified, into two classes with accuracy. Value classification can be performed.
そして、モデル生成機能３５６は、画像データＩ１１１’や画像データＩ１２１’等の入力側データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。例えば、モデル生成機能３５６は、ニューラルネットワークからの出力と、図４に示した出力側データとの不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、モデル生成機能３５６は、画像データの入力を受けて確度付き二値分類を実行するように機能付けられた学習済みモデルＭ１を生成することができる。換言すると、モデル生成機能３５６は、入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を生成することができる。
Then, the model generation function 356 adjusts the parameters of the neural network so that the neural network can output a preferable result when input side data such as image data I111' and image data I121' are input. For example, the model generation function 356 adjusts the parameters of the neural network so as to eliminate the mismatch between the output from the neural network and the output data shown in FIG. 4 . Thereby, the model generation function 356 can generate a trained model M1 that is equipped with a function to perform binary classification with accuracy upon receiving input of image data. In other words, the model generation function 356 can generate a trained model M1 that is equipped with a function to output an analysis result of input image data.
なお、学習済みモデルＭ１がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、モデル生成機能３５６は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルＭ１を生成してもよい。例えば、モデル生成機能３５６は、ＳＶＭ（サポートベクターマシン）等のデータの分類を行う機械学習手法によって、入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を生成してもよい。
Note that although the learned model M1 has been described as being configured by a neural network, the embodiment is not limited to this. That is, the model generation function 356 may generate the learned model M1 using a machine learning method other than the neural network. For example, the model generation function 356 generates a trained model M1 that is equipped with a function to output an analysis result of input image data using a machine learning method such as SVM (support vector machine) that classifies data. You can.
モデル生成機能３５６が学習済みモデルＭ１を生成してモデル記憶回路３４に記憶させた後、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０から時系列の複数のＸ線画像データを取得する。以下、被検体Ｐから収集されたＸ線画像データの例として、図５Ａに示すＸ線画像データＩ２１について説明する。図５Ａは、第１の実施形態に係るＸ線画像データの一例を示す図である。図５に示すように、Ｘ線画像データＩ２１は、マーカＤ２１及びマーカＤ２２を有するガイドワイヤＤ２４を撮像した画像データである。なお、マーカＤ２１とマーカＤ２２との間には、ステントＤ２３が配置される。
After the model generation function 356 generates the learned model M1 and stores it in the model storage circuit 34, the X-ray diagnostic apparatus 10 collects X-ray image data from the subject P, and the acquisition function 351 X-ray image data is acquired from 10. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data from the X-ray diagnostic apparatus 10. Hereinafter, as an example of the X-ray image data collected from the subject P, the X-ray image data I21 shown in FIG. 5A will be described. FIG. 5A is a diagram showing an example of X-ray image data according to the first embodiment. As shown in FIG. 5, the X-ray image data I21 is image data of a guide wire D24 having a marker D21 and a marker D22. Note that a stent D23 is arranged between the marker D21 and the marker D22.
検出機能３５２は、取得機能３５１が取得したＸ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点を検出する。例えば、検出機能３５２は、パターンマッチングにより、マーカＤ２１及びマーカＤ２２の候補点を検出する。一例を挙げると、検出機能３５２は、マーカＤ２１及びマーカＤ２２の形状を模したカーネルを用いて、Ｘ線画像データＩ２１上の各位置について類似度を算出し、類似度が閾値以上となる位置を、マーカＤ２１及びマーカＤ２２の候補点として検出する。
The detection function 352 detects candidate points for the marker D21 and the marker D22 on the X-ray image data I21 acquired by the acquisition function 351. For example, the detection function 352 detects candidate points for the marker D21 and the marker D22 by pattern matching. For example, the detection function 352 calculates the degree of similarity for each position on the X-ray image data I21 using a kernel that imitates the shape of the marker D21 and the marker D22, and selects a position where the degree of similarity is equal to or higher than a threshold value. , are detected as candidate points for marker D21 and marker D22.
なお、検出機能３５２は、パターンマッチングに加え、種々の手法を用いてマーカＤ２１及びマーカＤ２２の候補点を検出することができる。例えば、検出機能３５２は、パターンマッチング及び固定物除去処理を実行することで、マーカＤ２１及びマーカＤ２２の候補点を検出する。ここで、固定物とは、時系列の複数のＸ線画像データにおいて、Ｘ線画像データ上の位置が時間方向に固定されている対象物である。
Note that the detection function 352 can detect candidate points for the marker D21 and the marker D22 using various methods in addition to pattern matching. For example, the detection function 352 detects candidate points for the marker D21 and the marker D22 by performing pattern matching and fixed object removal processing. Here, the fixed object is an object whose position on the X-ray image data is fixed in the time direction in a plurality of time-series X-ray image data.
例えば、検出機能３５２は、パターンマッチングにより、骨のエッジ部分を検出してしまうことがある。ここで、通常、被検体Ｐの心拍や呼吸等に応じて動いてしまう医療デバイスとは異なり、骨の位置は固定されている。従って、検出機能３５２は、パターンマッチングにより検出したＸ線画像データ上の位置のうち固定物を除く位置を候補点として検出することで、候補点検出の精度を向上させることができる。なお、以下では一例として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点が検出されたものとして説明する。
For example, the detection function 352 may detect an edge portion of a bone by pattern matching. Here, unlike a medical device that normally moves in response to the subject P's heartbeat, breathing, etc., the position of the bone is fixed. Therefore, the detection function 352 can improve the accuracy of candidate point detection by detecting, as candidate points, positions on the X-ray image data detected by pattern matching, excluding fixed objects. Note that, as an example, the following description assumes that four candidate points, candidate point C11, candidate point C12, candidate point C13, and candidate point C14, are detected.
また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上に、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれを示すラベルを付加する。以下、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１を、Ｘ線画像データＩ２１ａと記載する。
Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. For example, the detection function 352 adds labels indicating each of the candidate point C11, candidate point C12, candidate point C13, and candidate point C14 to the X-ray image data I21. Hereinafter, the X-ray image data I21 to which information indicating the detection result of the candidate point is added will be referred to as X-ray image data I21a.
次に、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を選択する。換言すると、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を作成する。例えば、抽出機能３５３は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の中から、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１１，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１２，Ｃ１４）、及び、候補対（Ｃ１３，Ｃ１４）の６つの候補対を選択する。なお、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から全ての候補対を選択してもよいし、一部の候補対のみを選択してもよい。例えば、抽出機能３５３は、候補対における候補点間の距離について閾値を設け、閾値を満たす候補対のみを選択するようにしてもよい。
Next, the extraction function 353 selects a plurality of candidate pairs from among the four candidate points detected by the detection function 352. In other words, the extraction function 353 creates a plurality of candidate pairs from among the four candidate points detected by the detection function 352. For example, the extraction function 353 selects candidate pair (C11, C12), candidate pair (C11, C13), candidate pair (C11, C14), candidate point C11, candidate point C12, candidate point C13, and candidate point C14. Six candidate pairs are selected: candidate pair (C12, C13), candidate pair (C12, C14), and candidate pair (C13, C14). Note that the extraction function 353 may select all candidate pairs from among the four candidate points detected by the detection function 352, or may select only some candidate pairs. For example, the extraction function 353 may set a threshold value for the distance between candidate points in a candidate pair, and select only candidate pairs that satisfy the threshold value.
次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１ａから抽出する。例えば、抽出機能３５３は、図５Ｂに示すように、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２１２を抽出する。ここで、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）における候補点間の距離に応じて、領域Ｉ２１２を抽出する。例えば、抽出機能３５３は、候補点間の距離に応じてサイズを調整した矩形領域を、領域Ｉ２１２として抽出する。また、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）の向きに応じて、領域Ｉ２１２を抽出する。例えば、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）の向きに応じて回転させた矩形領域を、領域Ｉ２１２として抽出する。なお、図５Ｂは、第１の実施形態に係る抽出処理について説明するための図である。
Next, the extraction function 353 extracts a plurality of regions corresponding to each of the plurality of selected candidate pairs from the X-ray image data I21a. For example, the extraction function 353 extracts a region I212 corresponding to the candidate pair (C11, C13) from the X-ray image data I21a, as shown in FIG. 5B. Here, the extraction function 353 extracts the region I212 according to the distance between the candidate points in the candidate pair (C11, C13). For example, the extraction function 353 extracts a rectangular area whose size is adjusted according to the distance between candidate points as area I212. Further, the extraction function 353 extracts the region I212 according to the orientation of the candidate pair (C11, C13). For example, the extraction function 353 extracts a rectangular area rotated according to the orientation of the candidate pair (C11, C13) as the area I212. Note that FIG. 5B is a diagram for explaining the extraction process according to the first embodiment.
なお、図５Ｂはあくまで一例であり、Ｘ線画像データＩ２１ａからの領域抽出については種々の変形が可能である。例えば、図５Ｂに示す領域Ｉ２１２においては、候補点Ｃ１１及び候補点Ｃ１３がいずれも画像のふち近傍に位置し、且つ、画像中央で縦に並ぶように配置されている。しかしながら、抽出機能３５３は、例えば、候補点Ｃ１１及び候補点Ｃ１３が画像のふちの上に位置するように領域Ｉ２１２を抽出してもよいし、候補点Ｃ１１及び候補点Ｃ１３が画像外に位置するように領域Ｉ２１２を抽出してもよい。なお、後述する解析機能３５４による解析精度を向上させる上で、Ｘ線画像データＩ２１ａからの領域抽出は、学習済みモデルＭ１の生成に用いられた学習データ（図３の画像データＩ１１１’や画像データＩ１２１’等）と同様の条件で行われることが好ましい。
Note that FIG. 5B is just an example, and various modifications are possible for region extraction from the X-ray image data I21a. For example, in region I212 shown in FIG. 5B, candidate point C11 and candidate point C13 are both located near the edge of the image and are arranged vertically in the center of the image. However, the extraction function 353 may extract the region I212 such that the candidate point C11 and the candidate point C13 are located on the edge of the image, or the candidate point C11 and the candidate point C13 are located outside the image. Region I212 may be extracted as follows. Note that in order to improve the analysis accuracy by the analysis function 354, which will be described later, region extraction from the X-ray image data I21a is based on the learning data (image data I111' in FIG. 3 and the image data I121' etc.) is preferably carried out under the same conditions.
また、図５Ｂに示す領域Ｉ２１２は、略正方形の形状を有している。しかしながら、抽出機能３５３は、例えば、候補点Ｃ１１及び候補点Ｃ１３が並ぶ方向に長い長方形の領域を、領域Ｉ２１２として抽出してもよい。これにより、抽出した領域Ｉ２１２の中に他の対象物（例えば、ステントＤ２３とは別のステント等）が含まれる可能性を低減し、後述する解析機能３５４による解析精度を向上させることができる。
Further, the region I212 shown in FIG. 5B has a substantially square shape. However, the extraction function 353 may extract, for example, a rectangular region that is long in the direction in which the candidate points C11 and C13 are lined up as the region I212. This reduces the possibility that other objects (for example, a stent different from the stent D23, etc.) will be included in the extracted region I212, and improves the accuracy of analysis by the analysis function 354, which will be described later.
同様に、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２１４を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２１１（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２１３（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２１５（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２１６（図示せず）を抽出する。
Similarly, the extraction function 353 extracts a region I214 corresponding to the candidate pair (C12, C13) from the X-ray image data I21a. Further, the extraction function 353 extracts a region I211 (not shown) corresponding to the candidate pair (C11, C12) from the X-ray image data I21a. Further, the extraction function 353 extracts a region I213 (not shown) corresponding to the candidate pair (C11, C14) from the X-ray image data I21a. Furthermore, the extraction function 353 extracts a region I215 (not shown) corresponding to the candidate pair (C12, C14) from the X-ray image data I21a. Furthermore, the extraction function 353 extracts a region I216 (not shown) corresponding to the candidate pair (C13, C14) from the X-ray image data I21a.
次に、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて、画像サイズを調整する。例えば、解析機能３５４は、図５Ｂに示すように、領域Ｉ２１２や領域Ｉ２１４について画像サイズが一定となるようにリサイズを行なう。ここで、解析機能３５４は、図３に示した画像データＩ１１１’や画像データＩ１２１’と画像サイズを揃えるようにリサイズを行なう。即ち、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて、学習済みモデルＭ１における学習データと画像サイズを揃える。以下、画像サイズを調整した領域Ｉ２１１、領域Ｉ２１２、領域Ｉ２１３、領域Ｉ２１４、領域Ｉ２１５及び領域Ｉ２１６を、それぞれ、領域Ｉ２１１’、領域Ｉ２１２’、領域Ｉ２１３’、領域Ｉ２１４’、領域Ｉ２１５’及び領域Ｉ２１６’と記載する。
Next, the analysis function 354 adjusts the image size for each of the plurality of regions extracted by the extraction function 353. For example, the analysis function 354 resizes the area I212 and the area I214 so that the image size is constant, as shown in FIG. 5B. Here, the analysis function 354 performs resizing so that the image size is the same as that of the image data I111' and the image data I121' shown in FIG. That is, the analysis function 354 aligns the learning data and the image size in the trained model M1 for each of the plurality of regions extracted by the extraction function 353. Hereinafter, areas I211, I212, I213, I214, I215, and I216 whose image sizes have been adjusted are shown as areas I211', I212', I213', I214', I215', and I216, respectively. '
次に、解析機能３５４は、領域Ｉ２１１’～領域Ｉ２１６’それぞれを解析する。例えば、解析機能３５４は、モデル記憶回路３４から学習済みモデルＭ１を読み出し、読み出した学習済みモデルＭ１に領域Ｉ２１１’～領域Ｉ２１６’を入力することによって、領域Ｉ２１１’～領域Ｉ２１６’それぞれを解析する。
Next, the analysis function 354 analyzes each of the regions I211' to I216'. For example, the analysis function 354 reads out the trained model M1 from the model storage circuit 34, and inputs the regions I211' to I216' to the read trained model M1, thereby analyzing each of the regions I211' to I216'. .
例えば、解析機能３５４は、図６Ａに示すように、学習済みモデルＭ１に領域Ｉ２１２’を入力する。ここで、学習済みモデルＭ１は、領域Ｉ２１２’の入力を受けて、領域Ｉ２１２’における候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示すクラス「○」と、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応しないことを示すクラス「×」とへの確度付き二値分類を行なう。なお、図６Ａは、第１の実施形態に係る解析処理について説明するための図である。
For example, the analysis function 354 inputs region I212' to trained model M1, as shown in FIG. 6A. Here, the trained model M1 receives the input of the region I212', and enters the class "○" indicating that the candidate pair (C11, C13) in the region I212' corresponds to the marker D21 and the marker D22, and the candidate pair ( Binary classification with accuracy is performed into a class "x" indicating that C11, C13) do not correspond to markers D21 and D22. Note that FIG. 6A is a diagram for explaining analysis processing according to the first embodiment.
即ち、解析機能３５４は、学習済みモデルＭ１に領域Ｉ２１２’を入力することによって、領域Ｉ２１２’について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ１は、図６Ａに示すように、領域Ｉ２１２’の解析結果として、「○（９２％）」を出力する。解析結果「○（９２％）」は、「９２％」の確度で、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示す。
That is, the analysis function 354 performs binary classification with accuracy on the area I212' by inputting the area I212' into the learned model M1, and determines the probability that the candidate pair (C11, C13) corresponds to the marker D21 and the marker D22. Calculate. For example, as shown in FIG. 6A, the trained model M1 outputs "○ (92%)" as the analysis result of the region I212'. The analysis result "○ (92%)" indicates that the candidate pair (C11, C13) corresponds to the marker D21 and the marker D22 with an accuracy of "92%".
同様に、解析機能３５４は、学習済みモデルＭ１に領域Ｉ２１１’を入力することによって、領域Ｉ２１１’について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１２）についてマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ１は、図６Ｂに示すように、領域Ｉ２１１’の解析結果として、「×（８３％）」を出力する。解析結果「×（８３％）」は、「８３％」の確度で、候補対（Ｃ１１，Ｃ１２）がマーカＤ２１及びマーカＤ２２に対応しないことを示す。同様に、学習済みモデルＭ１は、領域Ｉ２１３’の解析結果として「×（７８％）」を出力し、領域Ｉ２１４’の解析結果として「×（６６％）」を出力し、領域Ｉ２１５’の解析結果として「×（９７％）」を出力し、領域Ｉ２１６’の解析結果として「○（５５％）」を出力する。なお、図６Ｂは、第１の実施形態に係る解析処理について説明するための図である。
Similarly, the analysis function 354 performs binary classification with accuracy on the region I211' by inputting the region I211' into the learned model M1, and identifies the candidate pair (C11, C12) corresponding to the marker D21 and the marker D22. Calculate accuracy. For example, as shown in FIG. 6B, the trained model M1 outputs "x (83%)" as the analysis result of the region I211'. The analysis result "x (83%)" indicates that the candidate pair (C11, C12) does not correspond to the marker D21 and the marker D22 with a probability of "83%". Similarly, the learned model M1 outputs "x (78%)" as the analysis result of region I213', "x (66%)" as the analysis result of region I214', and As a result, "x (97%)" is output, and as an analysis result of region I216', "○ (55%)" is output. Note that FIG. 6B is a diagram for explaining the analysis process according to the first embodiment.
次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、まず、解析機能３５４による解析結果に基づいて、領域Ｉ２１１’～領域Ｉ２１６’の中から、クラス「○」に分類され且つ確度が最も高い領域を特定する。例えば、図６Ｂに示す場合、特定機能３５５は、領域Ｉ２１１’～領域Ｉ２１６’の中から、領域Ｉ２１２’を特定する。そして、特定機能３５５は、領域Ｉ２１２’における候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。換言すると、特定機能３５５は、候補点Ｃ１１及び候補点Ｃ１３を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定する。
Next, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 from among the plurality of candidate pairs based on the analysis result by the analysis function 354. For example, the specifying function 355 first specifies, based on the analysis result by the analysis function 354, the area that is classified into the class "○" and has the highest accuracy from among the areas I211' to I216'. For example, in the case shown in FIG. 6B, the specifying function 355 specifies area I212' from area I211' to area I216'. Then, the specifying function 355 specifies the candidate pair (C11, C13) in the region I212' as a pair corresponding to the marker D21 and the marker D22. In other words, the specifying function 355 specifies the candidate point C11 and the candidate point C13 as candidate points corresponding to the marker D21 and the marker D22.
次に、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、Ｘ線画像データＩ２１に対する画像処理を実行する。例えば、画像処理機能３５７は、特定機能３５５が特定した候補対（Ｃ１１，Ｃ１３）に応じて、Ｘ線画像データＩ２１の表示位置を補正する処理を実行する。
Next, the image processing function 357 executes image processing on the X-ray image data I21 based on the pair specified by the specific function 355. For example, the image processing function 357 executes a process of correcting the display position of the X-ray image data I21 according to the candidate pair (C11, C13) specified by the specific function 355.
例えば、画像処理機能３５７は、まず、候補対（Ｃ１１，Ｃ１３）に応じてＸ線画像データＩ２１の領域を抽出する。一例を挙げると、画像処理機能３５７は、所定のサイズを有する矩形領域であって、候補対（Ｃ１１，Ｃ１３）を所定の位置及び向きで含む領域を、Ｘ線画像データＩ２１から抽出する。次に、制御機能３５８は、画像処理機能３５７が抽出した領域をディスプレイ３２に表示させる。Ｘ線画像データＩ２１の後に収集された時系列の複数のＸ線画像データについても同様に、画像処理機能３５７は、特定機能３５５が特定した対に応じて領域を抽出し、制御機能３５８は、画像処理機能３５７が抽出した領域をディスプレイ３２に表示させる。これにより、マーカＤ２１及びマーカＤ２２について表示位置が固定される。即ち、画像処理機能３５７は、特定機能３５５が特定した対に基づく画像処理により、マーカＤ２１及びマーカＤ２２を有する医療デバイスの表示位置を固定することができる。
For example, the image processing function 357 first extracts a region of the X-ray image data I21 according to the candidate pair (C11, C13). For example, the image processing function 357 extracts a rectangular area having a predetermined size and including the candidate pair (C11, C13) at a predetermined position and orientation from the X-ray image data I21. Next, the control function 358 causes the display 32 to display the area extracted by the image processing function 357. Similarly, regarding the plurality of time-series X-ray image data collected after the X-ray image data I21, the image processing function 357 extracts regions according to the pairs specified by the specifying function 355, and the control function 358 The area extracted by the image processing function 357 is displayed on the display 32. Thereby, the display positions of the marker D21 and the marker D22 are fixed. That is, the image processing function 357 can fix the display position of the medical device having the marker D21 and the marker D22 by image processing based on the pair specified by the specific function 355.
また、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、時間方向のフィルタ処理を更に行なってもよい。例えば、Ｘ線画像データＩ２１の後に、Ｘ線画像データＩ２２、Ｘ線画像データＩ２３及びＸ線画像データＩ２４が順次収集された場合、画像処理機能３５７は、Ｘ線画像データＩ２１、Ｘ線画像データＩ２２、Ｘ線画像データＩ２３及びＸ線画像データＩ２４のそれぞれについて、特定機能３５５が特定した対に応じて領域を抽出する。次に、画像処理機能３５７は、時間方向に連続する複数のＸ線画像データから抽出した複数の領域を加算する。例えば、画像処理機能３５７は、Ｘ線画像データＩ２３から抽出した領域に対して、Ｘ線画像データＩ２１から抽出した領域、及び、Ｘ線画像データＩ２２から抽出した領域を加算する。また、例えば、画像処理機能３５７は、Ｘ線画像データＩ２４から抽出した領域に対して、Ｘ線画像データＩ２２から抽出した領域、及び、Ｘ線画像データＩ２３から抽出した領域を加算する。そして、制御機能３５８は、画像処理機能３５７による加算処理後の領域を、ディスプレイ３２に表示させる。
Further, the image processing function 357 may further perform filter processing in the time direction based on the pair specified by the specific function 355. For example, if X-ray image data I22, X-ray image data I23, and X-ray image data I24 are collected sequentially after X-ray image data I21, the image processing function 357 collects X-ray image data I21, X-ray image data For each of the X-ray image data I22, the X-ray image data I23, and the X-ray image data I24, regions are extracted according to the pairs specified by the specific function 355. Next, the image processing function 357 adds a plurality of regions extracted from a plurality of X-ray image data that are continuous in the time direction. For example, the image processing function 357 adds the area extracted from the X-ray image data I21 and the area extracted from the X-ray image data I22 to the area extracted from the X-ray image data I23. For example, the image processing function 357 adds the area extracted from the X-ray image data I22 and the area extracted from the X-ray image data I23 to the area extracted from the X-ray image data I24. Then, the control function 358 causes the display 32 to display the area after the addition process by the image processing function 357.
なお、時間方向に連続する複数の画像データを加算する処理については、リカーシブフィルタ処理とも記載する。即ち、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、リカーシブフィルタ処理を行なう。これにより、画像処理機能３５７は、マーカＤ２１及びマーカＤ２２を有する医療デバイスの表示位置を固定するとともに、医療デバイスを明瞭に表示させることができる。
Note that the process of adding a plurality of pieces of image data that are continuous in the time direction is also referred to as recursive filter processing. That is, the image processing function 357 performs recursive filter processing based on the pair specified by the specific function 355. Thereby, the image processing function 357 can fix the display position of the medical device having the marker D21 and the marker D22, and can clearly display the medical device.
例えば、Ｘ線画像データにおいてステントを示す信号は比較的弱く、収集されたＸ線画像データをそのまま表示させる場合には、通常、操作者がステントの形状を認識することはできない。ここで、リカーシブフィルタ処理によって、複数のＸ線画像データにおけるステントの信号を加算して表示することにより、操作者がステントの形状を認識することが可能となる。
For example, the signal indicating a stent in X-ray image data is relatively weak, and when the collected X-ray image data is displayed as is, the operator usually cannot recognize the shape of the stent. Here, by adding and displaying the signals of the stent in a plurality of X-ray image data using recursive filter processing, it becomes possible for the operator to recognize the shape of the stent.
なお、特定機能３５５は、解析機能３５４による解析結果に応じて、マーカＤ２１及びマーカＤ２２に対応する対を特定するか否かを判定してもよい。一例を挙げると、特定機能３５５は、解析機能３５４が算出する確度について閾値を設ける。次に、特定機能３５５は、図６Ｂに示した領域Ｉ２１１’～領域Ｉ２１６’の中から、クラス「○」に分類され且つ確度が最も高い２つの領域を特定する。ここで、特定した２つの領域の確度が閾値に満たない場合、特定機能３５５は、Ｘ線画像データＩ２１についてはマーカＤ２１及びマーカＤ２２に対応する対を特定しないこととする。この場合、画像処理機能３５７は、対が特定されなかったＸ線画像データＩ２１をスキップする。例えば、画像処理機能３５７は、リカーシブフィルタ処理において、Ｘ線画像データＩ２１の使用を回避する。
Note that the identification function 355 may determine whether or not to identify the pair corresponding to the marker D21 and the marker D22, depending on the analysis result by the analysis function 354. For example, the specific function 355 sets a threshold value for the accuracy calculated by the analysis function 354. Next, the specifying function 355 specifies two areas classified into the class "○" and having the highest accuracy from the areas I211' to I216' shown in FIG. 6B. Here, if the accuracy of the two identified areas is less than the threshold value, the specifying function 355 does not specify the pair corresponding to the marker D21 and the marker D22 for the X-ray image data I21. In this case, the image processing function 357 skips the X-ray image data I21 for which no pair has been identified. For example, the image processing function 357 avoids using the X-ray image data I21 in recursive filter processing.
また、学習済みモデルＭ１は、医療デバイスの種類ごとに生成されてもよい。例えば、モデル生成機能３５６は、医療デバイスの用途ごとに、複数の学習済みモデルＭ１を生成する。一例を挙げると、モデル生成機能３５６は、カテーテル用の学習済みモデルＭ１、ガイドワイヤ用の学習済みモデルＭ１、及び、ステント用の学習済みモデルＭ１をそれぞれ生成して、モデル記憶回路３４に記憶させる。或いは、モデル生成機能３５６は、医療デバイスの型番ごとに複数の学習済みモデルＭ１を生成することとしてもよい。
Further, the trained model M1 may be generated for each type of medical device. For example, the model generation function 356 generates a plurality of trained models M1 for each application of the medical device. For example, the model generation function 356 generates a trained model M1 for a catheter, a trained model M1 for a guidewire, and a trained model M1 for a stent, and stores them in the model storage circuit 34. . Alternatively, the model generation function 356 may generate a plurality of trained models M1 for each model number of the medical device.
モデル記憶回路３４が医療デバイスの種類ごとに生成された複数の学習済みモデルＭ１を記憶する場合、解析機能３５４は、Ｘ線画像データＩ２１に現れた医療デバイスの種類に応じて、学習済みモデルＭ１をモデル記憶回路３４から読み出す。例えば、解析機能３５４は、操作者からの入力操作を受け付けることで、医療デバイスの種類を取得することができる。また、例えば、解析機能３５４は、ＨＩＳ（Hospital Information System）やＲＩＳ（Radiology Information System）等の情報システムから被検体Ｐに関する検査情報を取得し、取得した検査情報に基づいて医療デバイスの種類を自動取得することができる。そして、解析機能３５４は、医療デバイスの種類に応じて読み出した学習済みモデルＭ１に領域Ｉ２１１’～ 領域Ｉ２１６’を入力することによって、複数の領域それぞれを解析する。
When the model storage circuit 34 stores a plurality of learned models M1 generated for each type of medical device, the analysis function 354 stores the learned models M1 according to the type of medical device appearing in the X-ray image data I21. is read out from the model storage circuit 34. For example, the analysis function 354 can acquire the type of medical device by accepting an input operation from an operator. For example, the analysis function 354 acquires test information regarding the subject P from an information system such as a HIS (Hospital Information System) or a RIS (Radiology Information System), and automatically determines the type of medical device based on the acquired test information. can be obtained. Then, the analysis function 354 analyzes each of the plurality of regions by inputting the regions I211' to I216' into the learned model M1 read according to the type of medical device.
また、画像処理機能３５７による画像処理後のＸ線画像データをディスプレイ３２に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、画像処理後のＸ線画像データをＸ線診断装置１０が表示することとしてもよい。
Further, although a case has been described in which X-ray image data after image processing by the image processing function 357 is displayed on the display 32, the embodiment is not limited to this. For example, the control function 358 may transmit the image-processed X-ray image data to the X-ray diagnostic apparatus 10, and the X-ray diagnostic apparatus 10 may display the image-processed X-ray image data.
例えば、Ｘ線診断装置１０における収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集したＸ線画像データを、医用画像処理装置３０に対して順次送信する。また、取得機能３５１は、Ｘ線診断装置１０から送信されたＸ線画像データを順次取得する。また、検出機能３５２は、取得機能３５１がＸ線画像データを取得するごとに、少なくとも３つの候補点を順次検出する。また、抽出機能３５３は、検出機能３５２が少なくとも３つの候補点を検出するごとに、複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を順次抽出する。また、解析機能３５４は、抽出機能３５３が複数の領域を抽出するごとに、複数の領域それぞれを順次解析する。また、特定機能３５５は、解析機能３５４が複数の領域それぞれを解析するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能３５７は、特定機能３５５が対を特定するごとに、Ｘ線画像データに対する画像処理を実行する。また、制御機能３５８は、画像処理機能３５７が画像処理を実行するごとに、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信する。また、表示制御機能１１０ｂは、医用画像処理装置３０から送信された画像処理後のＸ線画像データを順次取得し、取得したＸ線画像データをディスプレイ１０８に順次表示させる。なお、収集と並行して表示されるＸ線画像データについては、透視像とも記載する。
For example, the collection function 110a in the X-ray diagnostic apparatus 10 collects a plurality of time-series X-ray image data, and sequentially transmits the collected X-ray image data to the medical image processing apparatus 30. Further, the acquisition function 351 sequentially acquires X-ray image data transmitted from the X-ray diagnostic apparatus 10. Further, the detection function 352 sequentially detects at least three candidate points each time the acquisition function 351 acquires X-ray image data. Further, the extraction function 353 selects a plurality of candidate pairs every time the detection function 352 detects at least three candidate points, and sequentially extracts a plurality of regions corresponding to each of the selected candidate pairs. Furthermore, the analysis function 354 sequentially analyzes each of the plurality of regions each time the extraction function 353 extracts a plurality of regions. Further, the identification function 355 sequentially identifies one or more pairs from among the plurality of candidate pairs each time the analysis function 354 analyzes each of the plurality of regions. Further, the image processing function 357 executes image processing on the X-ray image data every time the specifying function 355 specifies a pair. Moreover, the control function 358 transmits the X-ray image data after image processing to the X-ray diagnostic apparatus 10 every time the image processing function 357 executes image processing. Furthermore, the display control function 110b sequentially acquires the image-processed X-ray image data transmitted from the medical image processing apparatus 30, and causes the display 108 to display the acquired X-ray image data one after another. Note that X-ray image data displayed in parallel with acquisition is also referred to as a fluoroscopic image.
また、特定機能３５５が特定した対に基づく画像処理を画像処理機能３５７が実行するものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した対を示す情報とをＸ線診断装置１０に対して送信し、特定機能３５５が特定した対に基づく画像処理をＸ線診断装置１０が実行することとしてもよい。
Furthermore, although the description has been made assuming that the image processing function 357 executes image processing based on the pair specified by the specific function 355, the embodiment is not limited to this. For example, the control function 358 transmits the X-ray image data before image processing and information indicating the pair specified by the specific function 355 to the X-ray diagnostic apparatus 10, and generates an image based on the pair specified by the specific function 355. The processing may be executed by the X-ray diagnostic apparatus 10.
例えば、特定機能３５５は、対を特定した後、特定した対を示すラベルをＸ線画像データ上に付加する。次に、制御機能３５８は、ラベル付きのＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、ラベル付きのＸ線画像データを取得する。そして、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
For example, after identifying the pair, the identifying function 355 adds a label indicating the identified pair to the X-ray image data. Next, the control function 358 transmits the labeled X-ray image data to the X-ray diagnostic apparatus 10, and the X-ray diagnostic apparatus 10 acquires the labeled X-ray image data. Then, the X-ray diagnostic apparatus 10 executes image processing based on the pair specified by the specific function 355, and displays the X-ray image data after the image processing.
次に、医用画像処理装置３０による処理の手順の一例を、図７を用いて説明する。図７は、第１の実施形態に係る医用画像処理装置３０の処理の一連の流れを説明するためのフローチャートである。なお、図７においては、特定機能３５５が特定した対に基づく画像処理、及び、画像処理後のＸ線画像データの表示を、医用画像処理装置３０が実行する場合について説明する。
Next, an example of a processing procedure by the medical image processing apparatus 30 will be described using FIG. 7. FIG. 7 is a flowchart for explaining a series of processing steps of the medical image processing apparatus 30 according to the first embodiment. In FIG. 7, a case will be described in which the medical image processing apparatus 30 performs image processing based on the pair specified by the specific function 355 and displays the X-ray image data after the image processing.
ステップＳ１０１及びステップＳ１０２は、取得機能３５１に対応するステップである。ステップＳ１０３は、検出機能３５２に対応するステップである。ステップＳ１０４は、抽出機能３５３に対応するステップである。ステップＳ１０５は、解析機能３５４に対応するステップである。ステップＳ１０６は、特定機能３５５に対応するステップである。ステップＳ１０７及びステップＳ１０８は、画像処理機能３５７に対応するステップである。ステップＳ１０９は、制御機能３５８に対応するステップである。
Step S101 and step S102 are steps corresponding to the acquisition function 351. Step S103 is a step corresponding to the detection function 352. Step S104 is a step corresponding to the extraction function 353. Step S105 is a step corresponding to the analysis function 354. Step S106 is a step corresponding to the specific function 355. Step S107 and step S108 are steps corresponding to the image processing function 357. Step S109 is a step corresponding to the control function 358.
まず、処理回路３５は、Ｘ線診断装置１０において撮像が開始されたか否かを判定し（ステップＳ１０１）、撮像が開始されていない場合には（ステップＳ１０１否定）、待機状態となる。一方で、撮像が開始された場合（ステップＳ１０１肯定）、処理回路３５は、Ｘ線診断装置１０からＸ線画像データを取得したか否かを判定する（ステップＳ１０２）。
First, the processing circuit 35 determines whether imaging has started in the X-ray diagnostic apparatus 10 (step S101), and if imaging has not started (No in step S101), the processing circuit 35 enters a standby state. On the other hand, when imaging has started (Yes at step S101), the processing circuit 35 determines whether or not X-ray image data has been acquired from the X-ray diagnostic apparatus 10 (step S102).
Ｘ線診断装置１０からＸ線画像データを取得した場合（ステップＳ１０２肯定）、処理回路３５は、取得したＸ線画像データ上で少なくとも３つの候補点を検出する（ステップＳ１０３）。次に、処理回路３５は、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する（ステップＳ１０４）。次に、処理回路３５は、Ｘ線画像データから抽出した複数の領域それぞれを解析する（ステップＳ１０５）。次に、処理回路３５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対応する対を特定する（ステップＳ１０６）。
When the X-ray image data is acquired from the X-ray diagnostic apparatus 10 (Yes at Step S102), the processing circuit 35 detects at least three candidate points on the acquired X-ray image data (Step S103). Next, the processing circuit 35 selects a plurality of candidate pairs from at least three candidate points, and extracts a plurality of regions corresponding to each of the selected candidate pairs from the X-ray image data (step S104). Next, the processing circuit 35 analyzes each of the plurality of regions extracted from the X-ray image data (step S105). Next, the processing circuit 35 identifies a pair corresponding to the marker attached to the medical device from among the plurality of candidate pairs based on the analysis result (step S106).
次に、処理回路３５は、特定した対に応じてＸ線画像データから領域を抽出し（ステップＳ１０７）、抽出した領域を加算処理する（ステップＳ１０８）。即ち、処理回路３５は、特定した対に基づいてＸ線画像データに対する画像処理を実行する。次に、処理回路３５は、画像処理後のＸ線画像データを表示させる（ステップＳ１０９）。次に、処理回路３５は、再度ステップＳ１０２に移行して、新たにＸ線画像データを取得したか否かを判定する。ここで、Ｘ線画像データを取得しない場合（ステップＳ１０２否定）、処理回路３５は、処理を終了する。
Next, the processing circuit 35 extracts regions from the X-ray image data according to the identified pairs (step S107), and performs addition processing on the extracted regions (step S108). That is, the processing circuit 35 executes image processing on the X-ray image data based on the specified pair. Next, the processing circuit 35 displays the X-ray image data after image processing (step S109). Next, the processing circuit 35 moves to step S102 again and determines whether new X-ray image data has been acquired. Here, if X-ray image data is not acquired (No in step S102), the processing circuit 35 ends the process.
上述したように、第１の実施形態によれば、検出機能３５２は、Ｘ線画像データ上で少なくとも３つの候補点を検出する。また、抽出機能３５３は、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、Ｘ線画像データから抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対応する対を特定する。従って、第１の実施形態に係る医用画像処理装置３０は、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
As mentioned above, according to the first embodiment, the detection function 352 detects at least three candidate points on the X-ray image data. Further, the extraction function 353 selects a plurality of candidate pairs from at least three candidate points, and extracts a plurality of regions corresponding to each of the selected candidate pairs from the X-ray image data. Furthermore, the analysis function 354 analyzes each of a plurality of regions extracted from the X-ray image data. Further, the specifying function 355 specifies a pair corresponding to the marker attached to the medical device from among the plurality of candidate pairs based on the analysis result. Therefore, the medical image processing apparatus 30 according to the first embodiment can improve the accuracy of marker identification on X-ray image data.
また、上述したように、第１の実施形態によれば、抽出機能３５３は、検出機能３５２による検出結果に基づいて複数の領域をＸ線画像データから抽出し、解析機能３５４は、抽出された複数の領域を解析する。即ち、解析機能３５４は、検出機能３５２によって絞り込まれた対象について解析を行なう。例えば、解析機能３５４は、パターンマッチングや固定物除去処理等の演繹的手法によって絞り込まれた対象について解析を行なう。従って、第１の実施形態に係る医用画像処理装置３０は、単にＸ線画像データの全体を解析する場合と比較して解析に要する処理負荷を軽減し、Ｘ線画像データ上でマーカを容易に特定することができる。
Further, as described above, according to the first embodiment, the extraction function 353 extracts a plurality of regions from the X-ray image data based on the detection result by the detection function 352, and the analysis function 354 extracts a plurality of regions from the Analyze multiple areas. That is, the analysis function 354 analyzes the targets narrowed down by the detection function 352. For example, the analysis function 354 analyzes targets narrowed down by a deductive method such as pattern matching or fixed object removal processing. Therefore, the medical image processing apparatus 30 according to the first embodiment reduces the processing load required for analysis compared to simply analyzing the entire X-ray image data, and easily marks markers on the X-ray image data. can be specified.
また、上述したように、第１の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対間の距離に応じて抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。例えば、モデル生成機能３５６は、図３のＸ線画像データＩ１１からマーカ対間の距離に応じて抽出され、画像サイズが調整された画像データＩ１１１’を入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、各候補対における候補点間の距離に応じて、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて画像サイズを調整し、調整後の複数の領域を学習済みモデルＭ１に入力することによって、複数の領域それぞれを解析する。
Further, as described above, according to the first embodiment, the model generation function 356 generates image data extracted from image data obtained by imaging a medical device having a plurality of markers according to the distance between a pair of markers. Then, a learned model M1 is generated by executing machine learning using the image data whose image size has been adjusted as input data. For example, the model generation function 356 executes machine learning using as input data image data I111' extracted from the X-ray image data I11 in FIG. 3 according to the distance between the marker pairs and whose image size is adjusted. Thus, a trained model M1 is generated. Further, the extraction function 353 selects a plurality of candidate pairs from among the at least three candidate points detected by the detection function 352, and corresponds to each of the plurality of candidate pairs according to the distance between the candidate points in each candidate pair. A plurality of regions are extracted from the X-ray image data. Furthermore, the analysis function 354 analyzes each of the plurality of regions by adjusting the image size of each of the plurality of regions extracted by the extraction function 353 and inputting the plurality of adjusted regions to the trained model M1.
即ち、モデル生成機能３５６は、画像内のマーカ対間の距離及び画像サイズを揃えた学習データを用いて、学習済みモデルＭ１を生成する。また、解析機能３５４は、画像内の候補対間の距離及び画像サイズを学習済みモデルＭ１の学習データと揃えた状態で、複数の候補対それぞれに対応する複数の領域を学習済みモデルＭ１に入力する。従って、医用画像処理装置３０は、学習済みモデルＭ１で解く問題を簡単にし、学習済みモデルＭ１を容易に生成するとともに、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
That is, the model generation function 356 generates the learned model M1 using learning data in which the distance between the marker pairs in the image and the image size are made the same. In addition, the analysis function 354 inputs a plurality of regions corresponding to each of the plurality of candidate pairs to the trained model M1, with the distance between the candidate pairs in the image and the image size aligned with the training data of the trained model M1. do. Therefore, the medical image processing device 30 can simplify the problem to be solved with the trained model M1, easily generate the trained model M1, and further improve the accuracy of marker identification on X-ray image data.
また、上述したように、第１の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対の向きに応じて抽出された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。例えば、モデル生成機能３５６は、図３のＸ線画像データＩ１１からマーカ対間の向きに応じて抽出され、画像サイズが調整された画像データＩ１１１’を入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、各候補対の向きに応じて、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出された複数の領域を学習済みモデルＭ１に入力することによって、複数の領域それぞれを解析する。
Further, as described above, according to the first embodiment, the model generation function 356 generates image data extracted from image data obtained by imaging a medical device having a plurality of markers according to the orientation of the marker pair. A trained model M1 is generated by executing machine learning using the data. For example, the model generation function 356 executes machine learning using as input data image data I111' extracted from the X-ray image data I11 in FIG. 3 according to the orientation between the marker pairs and whose image size is adjusted. Thus, a trained model M1 is generated. Further, the extraction function 353 selects a plurality of candidate pairs from among the at least three candidate points detected by the detection function 352, and selects a plurality of regions corresponding to each of the plurality of candidate pairs according to the orientation of each candidate pair. is extracted from the X-ray image data. Furthermore, the analysis function 354 analyzes each of the plurality of regions by inputting the plurality of extracted regions into the trained model M1.
即ち、モデル生成機能３５６は、画像内のマーカ対の向きを揃えた学習データを用いて、学習済みモデルＭ１を生成する。また、解析機能３５４は、画像内の候補対の向きを学習済みモデルＭ１の学習データと揃えた状態で、複数の候補対それぞれに対応する複数の領域を学習済みモデルＭ１に入力する。従って、医用画像処理装置３０は、学習済みモデルＭ１で解く問題を簡単にし、学習済みモデルＭ１を容易に生成するとともに、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
That is, the model generation function 356 generates the learned model M1 using the learning data in which the orientations of the marker pairs in the image are aligned. Furthermore, the analysis function 354 inputs a plurality of regions corresponding to each of the plurality of candidate pairs to the trained model M1, with the orientations of the candidate pairs in the image aligned with the learning data of the trained model M1. Therefore, the medical image processing device 30 can simplify the problem to be solved with the trained model M1, easily generate the trained model M1, and further improve the accuracy of marker identification on X-ray image data.
また、上述したように、第１の実施形態によれば、モデル記憶回路３４は、医療デバイスの種類ごとに生成された学習済みモデルＭ１を記憶する。また、解析機能３５４は、Ｘ線画像データに現れた医療デバイスの種類に応じて学習済みモデルＭ１をモデル記憶回路３４から読み出し、読み出した学習済みモデルＭ１に、Ｘ線画像データから抽出された複数の領域を入力することによって、複数の領域それぞれを解析する。従って、医用画像処理装置３０は、医療デバイスの種類ごとに生成された学習済みモデルＭ１を用いて適切に解析を行ない、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
Further, as described above, according to the first embodiment, the model storage circuit 34 stores the trained model M1 generated for each type of medical device. The analysis function 354 also reads out the trained model M1 from the model storage circuit 34 according to the type of medical device appearing in the X-ray image data, and adds multiple models extracted from the X-ray image data to the read out trained model M1. Analyze each of the multiple regions by inputting the region. Therefore, the medical image processing apparatus 30 can appropriately perform analysis using the trained model M1 generated for each type of medical device, and further improve the accuracy of marker identification on X-ray image data.
なお、上述した実施形態では、Ｘ線画像データ上で検出された複数の候補点の中に、医療デバイスに付されたマーカに対応する対が含まれるものとして説明した。即ち、上述した実施形態では、検出された複数の候補点の中に対象とする対が含まれるものとして説明した。しかしながら、検出された複数の候補点の中に対象とする対が含まれていない場合も想定される。そこで、医用画像処理装置３０は、解析結果に応じて、検出された複数の候補点の中に対象とする対が含まれているか否かを判定してもよい。
Note that the above-described embodiment has been described on the assumption that the plurality of candidate points detected on the X-ray image data include a pair corresponding to a marker attached to a medical device. That is, in the embodiments described above, it is assumed that the target pair is included among the plurality of detected candidate points. However, it is also assumed that the target pair is not included among the plurality of detected candidate points. Therefore, the medical image processing device 30 may determine whether or not the target pair is included among the plurality of detected candidate points, depending on the analysis result.
例えば、まず、例えば、検出機能３５２は、Ｘ線画像データ上で３つの候補点を検出する。次に、抽出機能３５３は、検出された３つの候補点の中から複数の候補対を作成し、作成した候補対に対応する複数の領域をＸ線画像データから抽出する。次に、解析機能３５４は、抽出された複数の領域それぞれを解析する。次に、特定機能３５５は、解析機能３５４による解析結果に基づき、作成された複数の候補対それぞれについて、対象とする対であるか否かを判定する。一例を挙げると、解析機能３５４は、学習済みモデルＭ１を用いて確度付き二値分類を行ない、複数の候補対それぞれについて、対象とする対であるか否かを示す確度を算出する。次に、特定機能３５５は、解析機能３５４による解析結果に基づき、複数の候補対それぞれについて算出された確度が閾値を超えているか否かを判定する。ここで、確度が閾値を超えている候補対が１つのみである場合、特定機能３５５は、当該候補対を、対象とする対として特定する。また、確度が閾値を超えている候補対が複数ある場合、特定機能３５５は、最も確度が高い候補対を、対象とする対として特定する。また、確度が閾値を超えている候補対がない場合、特定機能３５５は、検出機能３５２により検出された複数の候補点の中に対象とする対が含まれないと判定する。
For example, first, for example, the detection function 352 detects three candidate points on the X-ray image data. Next, the extraction function 353 creates a plurality of candidate pairs from among the three detected candidate points, and extracts a plurality of regions corresponding to the created candidate pairs from the X-ray image data. Next, the analysis function 354 analyzes each of the plurality of extracted regions. Next, the specific function 355 determines whether or not each of the plurality of created candidate pairs is a target pair based on the analysis result by the analysis function 354 . For example, the analysis function 354 performs binary classification with accuracy using the trained model M1, and calculates the accuracy indicating whether or not each of the plurality of candidate pairs is a target pair. Next, the specific function 355 determines whether the accuracy calculated for each of the plurality of candidate pairs exceeds a threshold value based on the analysis result by the analysis function 354. Here, if there is only one candidate pair whose accuracy exceeds the threshold value, the specifying function 355 specifies the candidate pair as the target pair. Furthermore, if there are multiple candidate pairs whose accuracy exceeds the threshold, the identification function 355 identifies the candidate pair with the highest accuracy as the target pair. Further, if there is no candidate pair whose accuracy exceeds the threshold value, the specific function 355 determines that the target pair is not included among the plurality of candidate points detected by the detection function 352.
別の例を挙げると、例えば、検出機能３５２は、Ｘ線画像データ上で２つの候補点を検出する。次に、抽出機能３５３は、検出された２つの候補点から候補対を作成し、作成した候補対に対応する領域をＸ線画像データから抽出する。次に、解析機能３５４は、抽出された領域を解析する。次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、作成された候補対が対象とする対であるか否かを判定する。一例を挙げると、解析機能３５４は、学習済みモデルＭ１を用いて確度付き二値分類を行ない、作成された候補対について、対象とする対であるか否かを示す確度を算出する。次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、算出された確度が閾値を超えているか否かを判定する。ここで、確度が閾値を超えている場合、特定機能３５５は、当該候補対を、対象とする対として特定する。一方で、確度が閾値を超えていない場合、特定機能３５５は、検出機能３５２により検出された複数の候補点の中に対象とする対が含まれないと判定する。
To give another example, for example, the detection function 352 detects two candidate points on the X-ray image data. Next, the extraction function 353 creates a candidate pair from the two detected candidate points, and extracts a region corresponding to the created candidate pair from the X-ray image data. Next, the analysis function 354 analyzes the extracted region. Next, the specific function 355 determines whether the created candidate pair is a target pair based on the analysis result by the analysis function 354. For example, the analysis function 354 performs binary classification with accuracy using the learned model M1, and calculates the accuracy indicating whether or not the created candidate pair is a target pair. Next, the specific function 355 determines whether the calculated accuracy exceeds a threshold value based on the analysis result by the analysis function 354. Here, if the accuracy exceeds the threshold, the specifying function 355 specifies the candidate pair as a target pair. On the other hand, if the accuracy does not exceed the threshold, the specific function 355 determines that the target pair is not included among the plurality of candidate points detected by the detection function 352.
なお、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、当該Ｘ線画像データについては使用しないこととしてもよい。例えば、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、画像処理機能３５７は、当該Ｘ線画像データに対する画像処理を実行しないこととしてもよい。或いは、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、検出機能３５２は、当該Ｘ線画像データから候補点を再度検出することとしてもよい。
Note that if it is determined that the target pair is not included among the plurality of detected candidate points, the X-ray image data may not be used. For example, if it is determined that the target pair is not included among the plurality of detected candidate points, the image processing function 357 may not perform image processing on the X-ray image data. Alternatively, if it is determined that the target pair is not included among the plurality of detected candidate points, the detection function 352 may detect candidate points again from the X-ray image data.
（第２の実施形態）
上述した第１の実施形態では、学習済みモデルＭ１を用いて解析処理を実行する場合について説明した。これに対し、第２の実施形態では、解析処理に用いる学習済みモデルの変形例について説明する。
(Second embodiment)
In the first embodiment described above, a case has been described in which the analysis process is executed using the learned model M1. On the other hand, in the second embodiment, a modified example of the trained model used for analysis processing will be described.
第２の実施形態に係る医用画像処理システム１は、図１～図２に示した第１の実施形態に係る医用画像処理システム１と同様の構成を有し、モデル生成機能３５６、抽出機能３５３及び解析機能３５４による処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１～図２と同一の符号を付し、説明を省略する。
The medical image processing system 1 according to the second embodiment has the same configuration as the medical image processing system 1 according to the first embodiment shown in FIGS. 1 and 2, and includes a model generation function 356, an extraction function 353 A part of the processing by the analysis function 354 is different. Components having the same configurations as those described in the first embodiment are designated by the same reference numerals as in FIGS. 1 and 2, and the description thereof will be omitted.
以下、図８Ａ及び図８Ｂを用いて、学習済みモデルＭ２の生成処理について説明する。図８Ａ及び図８Ｂは、第２の実施形態に係る学習済みモデルＭ２の生成処理について説明するための図である。モデル生成機能３５６は、被検体ＰからのＸ線画像データの収集が開始されるよりも前に学習済みモデルＭ２を生成し、生成した学習済みモデルＭ２をモデル記憶回路３４に記憶させる。
Hereinafter, the generation process of the learned model M2 will be described using FIGS. 8A and 8B. FIGS. 8A and 8B are diagrams for explaining the generation process of the trained model M2 according to the second embodiment. The model generation function 356 generates a learned model M2 before the collection of X-ray image data from the subject P is started, and stores the generated learned model M2 in the model storage circuit 34.
まず、モデル生成機能３５６は、過去の検査においてマーカの特定が行われたＸ線画像データを取得する。例えば、モデル生成機能３５６は、図３と同様に、Ｘ線画像データＩ１１及びＸ線画像データＩ１２を含む複数のＸ線画像データを取得する。次に、モデル生成機能３５６は、過去の検査におけるマーカの特定結果に基づいて、各Ｘ線画像データから領域を抽出する。
First, the model generation function 356 acquires X-ray image data in which markers have been identified in past examinations. For example, the model generation function 356 acquires a plurality of X-ray image data including X-ray image data I11 and X-ray image data I12, similarly to FIG. 3. Next, the model generation function 356 extracts regions from each X-ray image data based on the marker identification results in past examinations.
例えば、モデル生成機能３５６は、図８Ａに示すように、Ｘ線画像データＩ１１上に点線で示す３つの矩形領域を、それぞれ、画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４として抽出する。即ち、モデル生成機能３５６は、Ｘ線画像データＩ１１上のマーカ対について、複数の画像サイズで複数の画像データを抽出する。
For example, as shown in FIG. 8A, the model generation function 356 extracts three rectangular areas indicated by dotted lines on the X-ray image data I11 as image data I112, image data I113, and image data I114, respectively. That is, the model generation function 356 extracts a plurality of image data in a plurality of image sizes for the marker pair on the X-ray image data I11.
次に、モデル生成機能３５６は、Ｘ線画像データＩ１１から複数の画像サイズで抽出した画像データについて、画像サイズを調整する。例えば、モデル生成機能３５６は、画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４の画像サイズが一定となるようにリサイズを行なう。以下、画像サイズを調整した画像データＩ１１２を画像データＩ１１２’と記載する。また、画像サイズを調整した画像データＩ１１３を画像データＩ１１３’と記載する。また、画像サイズを調整した画像データＩ１１４を画像データＩ１１４’と記載する。
Next, the model generation function 356 adjusts the image size of the image data extracted from the X-ray image data I11 in a plurality of image sizes. For example, the model generation function 356 resizes the image data I112, image data I113, and image data I114 so that the image sizes are constant. Hereinafter, the image data I112 whose image size has been adjusted will be referred to as image data I112'. Furthermore, the image data I113 whose image size has been adjusted will be referred to as image data I113'. Furthermore, the image data I114 whose image size has been adjusted will be referred to as image data I114'.
同様に、モデル生成機能３５６は、Ｘ線画像データＩ１２から、複数の画像サイズで画像データＩ１２２、画像データＩ１２３及び画像データＩ１２４を抽出する。また、モデル生成機能３５６は、抽出した画像データについて画像サイズを調整する。以下、画像サイズを調整した画像データＩ１２２を画像データＩ１２２’と記載する。また、画像サイズを調整した画像データＩ１２３を画像データＩ１２３’と記載する。また、画像サイズを調整した画像データＩ１２４を画像データＩ１２４’と記載する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２以外の他のＸ線画像データについても同様に、モデル生成機能３５６は、各Ｘ線画像データから複数の画像サイズで複数の画像データを抽出し、抽出した画像データについて画像サイズを調整する。
Similarly, the model generation function 356 extracts image data I122, image data I123, and image data I124 in a plurality of image sizes from the X-ray image data I12. The model generation function 356 also adjusts the image size of the extracted image data. Hereinafter, the image data I122 whose image size has been adjusted will be referred to as image data I122'. Furthermore, the image data I123 whose image size has been adjusted will be referred to as image data I123'. Furthermore, the image data I124 whose image size has been adjusted will be referred to as image data I124'. Similarly, for other X-ray image data other than the X-ray image data I11 and the X-ray image data I12, the model generation function 356 extracts a plurality of image data in a plurality of image sizes from each X-ray image data, and Adjust the image size of the image data.
また、例えば、モデル生成機能３５６は、図８Ｂに示すように、Ｘ線画像データＩ１１上に点線で示す３つの矩形領域を、それぞれ、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７として抽出する。即ち、モデル生成機能３５６は、Ｘ線画像データＩ１１上のマーカ対について、複数の向きで複数の画像データを抽出する。ここで、モデル生成機能３５６は、例えば、画像データＩ１１２’、画像データＩ１１３’及び画像データＩ１１４’と同じ画像サイズで、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７を抽出する。
For example, as shown in FIG. 8B, the model generation function 356 extracts three rectangular areas indicated by dotted lines on the X-ray image data I11 as image data I115, image data I116, and image data I117, respectively. That is, the model generation function 356 extracts a plurality of image data in a plurality of directions regarding the marker pair on the X-ray image data I11. Here, the model generation function 356 extracts, for example, image data I115, image data I116, and image data I117 with the same image size as image data I112', image data I113', and image data I114'.
同様に、モデル生成機能３５６は、Ｘ線画像データＩ１２から、複数の向きで画像データＩ１２５、画像データＩ１２６及び画像データＩ１２７を抽出する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２以外の他のＸ線画像データについても同様に、モデル生成機能３５６は、各Ｘ線画像データから複数の向きで複数の画像データを抽出する。
Similarly, the model generation function 356 extracts image data I125, image data I126, and image data I127 in a plurality of orientations from the X-ray image data I12. Similarly, for other X-ray image data other than the X-ray image data I11 and the X-ray image data I12, the model generation function 356 extracts a plurality of image data in a plurality of directions from each X-ray image data.
次に、モデル生成機能３５６は、各Ｘ線画像データから抽出した画像データについて、マーカが正しく特定されたか否かを示す情報を付加することにより、学習データを生成する。即ち、モデル生成機能３５６は、各Ｘ線画像データから抽出した画像データと、マーカが正しく特定されたか否かを示す情報とを組み合わせることにより、学習データを生成する。
Next, the model generation function 356 generates learning data by adding information indicating whether or not the marker has been correctly identified to the image data extracted from each X-ray image data. That is, the model generation function 356 generates learning data by combining image data extracted from each X-ray image data and information indicating whether or not a marker has been correctly identified.
例えば、Ｘ線画像データＩ１１は、マーカが正しく特定された画像データの例である。この場合、モデル生成機能３５６は、Ｘ線画像データＩ１１から抽出された画像データＩ１１２’、画像データＩ１１３’、画像データＩ１１４’、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７のそれぞれに対して、マーカが正しく特定されたことを示す情報「○」を付加する。
For example, the X-ray image data I11 is an example of image data in which markers are correctly identified. In this case, the model generation function 356 performs the following operations on each of the image data I112', image data I113', image data I114', image data I115, image data I116, and image data I117 extracted from the X-ray image data I11. Information "○" indicating that the marker has been correctly specified is added.
また、例えば、図３に示したＸ線画像データＩ１２は、マーカが正しく特定されていない画像データの例である。この場合、モデル生成機能３５６は、Ｘ線画像データＩ１２から抽出された画像データＩ１２２’、画像データＩ１２３’、画像データＩ１２４’、画像データＩ１２５、画像データＩ１２６及び画像データＩ１２７のそれぞれに対して、マーカが正しく特定されていないことを示す情報「×」を付加する。
Further, for example, the X-ray image data I12 shown in FIG. 3 is an example of image data in which markers are not correctly specified. In this case, the model generation function 356 performs the following operations on each of the image data I122', image data I123', image data I124', image data I125, image data I126, and image data I127 extracted from the X-ray image data I12. Add information "x" indicating that the marker has not been correctly identified.
そして、モデル生成機能３５６は、Ｘ線画像データから抽出した画像データと、マーカが正しく特定されたか否かを示す情報との組み合わせから成る学習データを複数生成することにより、図９に示す学習データセットを生成する。なお、図９は、第２の実施形態に係る学習データセットの例を示す図である。次に、モデル生成機能３５６は、図９の学習データセットを用いて機械学習を実行することによって学習済みモデルＭ２を生成し、生成した学習済みモデルＭ２をモデル記憶回路３４に記憶させる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ２を生成してもよい。
Then, the model generation function 356 generates the learning data shown in FIG. Generate a set. Note that FIG. 9 is a diagram showing an example of a learning data set according to the second embodiment. Next, the model generation function 356 generates a learned model M2 by performing machine learning using the learning data set of FIG. 9, and stores the generated learned model M2 in the model storage circuit 34. Note that the model generation function 356 may generate a learned model M2 for each type of medical device.
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、パターンマッチングにより、取得機能３５１が取得したＸ線画像データ上で候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１ａについては、Ｘ線画像データＩ２１ａと記載する。
Next, the X-ray diagnostic apparatus 10 collects X-ray image data from the subject P, and the acquisition function 351 acquires the X-ray image data from the X-ray diagnostic apparatus 10. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data including the X-ray image data I21 shown in FIG. 5A. Next, the detection function 352 detects candidate points on the X-ray image data acquired by the acquisition function 351 by pattern matching. For example, the detection function 352 detects four candidate points, candidate point C11, candidate point C12, candidate point C13, and candidate point C14, as candidate points for marker D21 and marker D22 on X-ray image data I21. Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. Note that the X-ray image data I21a to which information indicating the detection result of the candidate point is added is written as X-ray image data I21a.
次に、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を選択する。次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１ａから抽出する。例えば、抽出機能３５３は、図１０に示すように、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２２２を抽出する。なお、図１０は、第２の実施形態に係る抽出処理について説明するための図である。
Next, the extraction function 353 selects a plurality of candidate pairs from among the four candidate points detected by the detection function 352. Next, the extraction function 353 extracts a plurality of regions corresponding to each of the plurality of selected candidate pairs from the X-ray image data I21a. For example, the extraction function 353 extracts a region I222 corresponding to the candidate pair (C11, C13) from the X-ray image data I21a, as shown in FIG. Note that FIG. 10 is a diagram for explaining the extraction process according to the second embodiment.
同様に、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２２４を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２２１（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２２３（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２２５（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２２６（図示せず）を抽出する。
Similarly, the extraction function 353 extracts a region I224 corresponding to the candidate pair (C12, C13) from the X-ray image data I21a. Furthermore, the extraction function 353 extracts a region I221 (not shown) corresponding to the candidate pair (C11, C12) from the X-ray image data I21a. Furthermore, the extraction function 353 extracts a region I223 (not shown) corresponding to the candidate pair (C11, C14) from the X-ray image data I21a. Further, the extraction function 353 extracts a region I225 (not shown) corresponding to the candidate pair (C12, C14) from the X-ray image data I21a. Furthermore, the extraction function 353 extracts a region I226 (not shown) corresponding to the candidate pair (C13, C14) from the X-ray image data I21a.
ここで、抽出機能３５３は、領域Ｉ２２１～領域Ｉ２２６を所定の画像サイズで抽出する。例えば、図１０に示すように、領域Ｉ２２２及び領域Ｉ２２４の画像サイズは同じである。一例を挙げると、抽出機能３５３は、学習済みモデルＭ２の生成に用いられた画像データ（画像データＩ１１２’、画像データＩ１１３’、画像データＩ１１４’、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７等）と同じ画像サイズで、領域Ｉ２２１～領域Ｉ２２６を抽出する。
Here, the extraction function 353 extracts regions I221 to I226 with a predetermined image size. For example, as shown in FIG. 10, the image sizes of area I222 and area I224 are the same. For example, the extraction function 353 extracts image data (image data I112', image data I113', image data I114', image data I115, image data I116, image data I117, etc.) used to generate the trained model M2. ), regions I221 to I226 are extracted with the same image size.
また、抽出機能３５３は、領域Ｉ２２１～領域Ｉ２２６を所定の向きで抽出する。例えば、図１０に示すように、Ｘ線画像データＩ２１ａに対する領域Ｉ２２２及び領域Ｉ２２４の向きは同じである。一例を挙げると、抽出機能３５３は、矩形のＸ線画像データＩ２１ａに対して各辺が平行となる矩形領域として、領域Ｉ２２１～領域Ｉ２２６を抽出する。
Further, the extraction function 353 extracts regions I221 to I226 in a predetermined orientation. For example, as shown in FIG. 10, the orientations of region I222 and region I224 with respect to X-ray image data I21a are the same. For example, the extraction function 353 extracts regions I221 to I226 as rectangular regions whose sides are parallel to the rectangular X-ray image data I21a.
次に、解析機能３５４は、領域Ｉ２２１～領域Ｉ２２６それぞれを解析する。例えば、解析機能３５４は、モデル記憶回路３４から学習済みモデルＭ２を読み出し、読み出した学習済みモデルＭ２に領域Ｉ２２１～領域Ｉ２２６を入力することによって、領域Ｉ２２１～領域Ｉ２２６それぞれを解析する。
Next, the analysis function 354 analyzes each of regions I221 to I226. For example, the analysis function 354 reads the trained model M2 from the model storage circuit 34, and inputs the regions I221 to I226 to the read trained model M2, thereby analyzing each of the regions I221 to I226.
例えば、解析機能３５４は、図１１に示すように、学習済みモデルＭ２に領域Ｉ２２２を入力する。ここで、学習済みモデルＭ２は、領域Ｉ２２２の入力を受けて、領域Ｉ２２２における候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示すクラス「○」と、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応しないことを示すクラス「×」とへの確度付き二値分類を行なう。なお、図１１は、第２の実施形態に係る解析処理について説明するための図である。
For example, the analysis function 354 inputs region I222 to trained model M2, as shown in FIG. Here, the trained model M2 receives the input of the region I222, and sets the candidate pair (C11, Binary classification with accuracy is performed into a class "x" indicating that C13) does not correspond to markers D21 and D22. Note that FIG. 11 is a diagram for explaining analysis processing according to the second embodiment.
即ち、解析機能３５４は、学習済みモデルＭ２に領域Ｉ２２２を入力することによって、領域Ｉ２２２について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ２は、図１１に示すように、領域Ｉ２２２の解析結果として、「○（９２％）」を出力する。同様に、解析機能３５４は、領域Ｉ２２１、領域Ｉ２２３、領域Ｉ２２４、領域Ｉ２２５及び領域Ｉ２２６のそれぞれについて確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１４）及び候補対（Ｃ１３，Ｃ１４）のそれぞれについて、マーカＤ２１及びマーカＤ２２に対応する確度を算出する。
That is, the analysis function 354 inputs the region I222 into the trained model M2, performs binary classification with accuracy on the region I222, and calculates the probability that the candidate pair (C11, C13) corresponds to the marker D21 and the marker D22. do. For example, as shown in FIG. 11, the learned model M2 outputs "○ (92%)" as the analysis result of the region I222. Similarly, the analysis function 354 performs binary classification with accuracy for each of region I221, region I223, region I224, region I225, and region I226, and performs candidate pair (C11, C12), candidate pair (C12, C13), candidate pair The accuracy corresponding to the marker D21 and the marker D22 is calculated for each of the pair (C11, C14), the candidate pair (C12, C14), and the candidate pair (C13, C14).
次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、まず、解析機能３５４による解析結果に基づいて、領域Ｉ２２１～領域Ｉ２２６の中から、クラス「○」に分類され且つ確度が最も高い領域を特定する。そして、特定機能３５５は、特定した領域における候補対を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。
Next, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 from among the plurality of candidate pairs based on the analysis result by the analysis function 354. For example, the specifying function 355 first specifies, based on the analysis result by the analysis function 354, the area that is classified into the class "○" and has the highest accuracy from among the areas I221 to I226. Then, the specifying function 355 specifies the candidate pair in the specified area as the pair corresponding to the marker D21 and the marker D22.
次に、画像処理機能３５７は、特定機能３５５が特定した対に基づいてＸ線画像データＩ２１に対する画像処理を実行し、制御機能３５８は、画像処理後のＸ線画像データをディスプレイ３２に表示させる。或いは、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、画像処理後のＸ線画像データを表示させる。或いは、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した対を示す情報とをＸ線診断装置１０に対して送信する。この場合、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
Next, the image processing function 357 executes image processing on the X-ray image data I21 based on the pair specified by the specific function 355, and the control function 358 displays the X-ray image data after image processing on the display 32. . Alternatively, the control function 358 transmits the image-processed X-ray image data to the X-ray diagnostic apparatus 10, and the X-ray diagnostic apparatus 10 displays the image-processed X-ray image data. Alternatively, the control function 358 transmits the X-ray image data before image processing and information indicating the pair specified by the specific function 355 to the X-ray diagnostic apparatus 10. In this case, the X-ray diagnostic apparatus 10 executes image processing based on the pair specified by the specific function 355, and displays the X-ray image data after the image processing.
上述したように、第２の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の画像サイズで抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。例えば、モデル生成機能３５６は、図８Ａに示したように、Ｘ線画像データＩ１１から異なる複数の画像サイズで画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４を抽出し、抽出した各画像データの画像サイズを調整する。そして、モデル生成機能３５６は、画像サイズが調整された画像データＩ１１２’、画像データＩ１１３’及び画像データＩ１１４’を入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、所定の画像サイズで、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出機能３５３が抽出した複数の領域を学習済みモデルＭ２に入力することによって、複数の領域それぞれを解析する。
As described above, according to the second embodiment, the model generation function 356 generates image data extracted in a plurality of image sizes for each marker pair from image data obtained by imaging a medical device having a plurality of markers. , a learned model M2 is generated by executing machine learning using the image data whose image size has been adjusted as input data. For example, as shown in FIG. 8A, the model generation function 356 extracts image data I112, image data I113, and image data I114 in a plurality of different image sizes from the X-ray image data I11, and creates an image of each extracted image data. Adjust size. Then, the model generation function 356 generates a learned model M2 by executing machine learning using the image data I112', image data I113', and image data I114' whose image sizes have been adjusted as input data. Further, the extraction function 353 selects a plurality of candidate pairs from among the at least three candidate points detected by the detection function 352, and X-rays a plurality of regions corresponding to each of the plurality of candidate pairs in a predetermined image size. Extract from image data. Furthermore, the analysis function 354 analyzes each of the plurality of regions by inputting the plurality of regions extracted by the extraction function 353 into the learned model M2.
即ち、モデル生成機能３５６は、画像内のマーカ対間の距離が異なる種々の学習データを用いて、学習済みモデルＭ２を生成する。これにより、学習済みモデルＭ２は、画像内の候補対間の距離が異なる複数の領域が入力された場合でも適切に解析を行なうことができるように機能付けられる。また、抽出機能３５３及び解析機能３５４は、学習済みモデルＭ２を用いて解析処理を実行する際、所定のサイズでＸ線画像データから複数の領域を抽出し、リサイズ等の処理を行うことなく、学習済みモデルＭ２に複数の領域を入力する。即ち、医用画像処理装置３０は、学習済みモデルＭ２に複数の領域を入力するまでの処理工程を削減し、迅速に解析結果を得ることができる。
That is, the model generation function 356 generates the learned model M2 using various learning data with different distances between pairs of markers in the image. Thereby, the trained model M2 is given a function so that it can perform analysis appropriately even when a plurality of regions in an image with different distances between candidate pairs are input. Furthermore, when executing the analysis process using the learned model M2, the extraction function 353 and the analysis function 354 extract multiple regions from the X-ray image data at a predetermined size, without performing processing such as resizing. A plurality of regions are input to the trained model M2. That is, the medical image processing apparatus 30 can reduce the processing steps up to inputting a plurality of regions into the learned model M2, and can quickly obtain analysis results.
また、上述したように、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の向きで抽出された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。例えば、モデル生成機能３５６は、図８Ｂに示したように、異なる向きでＸ線画像データＩ１１から抽出した画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７を入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、複数の候補対それぞれに対応する複数の領域を所定の向きで抽出する。また、解析機能３５４は、抽出された複数の領域を学習済みモデルＭ２に入力することによって、複数の領域それぞれを解析する。即ち、モデル生成機能３５６は、画像内のマーカ対の向きが異なる種々の学習データを用いて、学習済みモデルＭ２を生成する。これにより、学習済みモデルＭ２は、画像内の候補対の向きが異なる複数の領域が入力された場合でも適切に解析を行なうことができるように機能付けられる。
Furthermore, as described above, the model generation function 356 executes machine learning using, as input data, image data extracted in a plurality of orientations for each marker pair from image data obtained by imaging a medical device having a plurality of markers. By doing so, a learned model M2 is generated. For example, as shown in FIG. 8B, the model generation function 356 executes machine learning using image data I115, image data I116, and image data I117 extracted from the X-ray image data I11 in different directions as input data. Thus, a trained model M2 is generated. Further, the extraction function 353 selects a plurality of candidate pairs from among the at least three candidate points detected by the detection function 352, and extracts a plurality of regions corresponding to each of the plurality of candidate pairs in a predetermined direction. Furthermore, the analysis function 354 analyzes each of the plurality of regions by inputting the plurality of extracted regions into the trained model M2. That is, the model generation function 356 generates the trained model M2 using various learning data in which the orientation of marker pairs in the image is different. As a result, the learned model M2 is given a function so that it can perform analysis appropriately even when a plurality of regions in which candidate pairs in an image have different orientations are input.
また、抽出機能３５３及び解析機能３５４は、学習済みモデルＭ２を用いて解析処理を実行する際、所定の向きでＸ線画像データから複数の領域を抽出し、学習済みモデルＭ２に複数の領域を入力する。これにより、医用画像処理装置３０は、Ｘ線画像データの端に候補点が位置する場合においても、適切に複数の領域を抽出することができる。例えば、矩形のＸ線画像データから矩形領域を抽出する際、Ｘ線画像データに対して矩形領域が傾いていると、Ｘ線画像データの端に位置する候補対について矩形領域を設定できない場合がある。これに対し、Ｘ線画像データと矩形領域との向きが揃っていれば、Ｘ線画像データの端に位置する候補対についても矩形領域を設定することが可能である。
Furthermore, when executing analysis processing using the learned model M2, the extraction function 353 and the analysis function 354 extract a plurality of regions from the X-ray image data in a predetermined orientation, and add the plurality of regions to the learned model M2. input. Thereby, the medical image processing apparatus 30 can appropriately extract a plurality of regions even when the candidate point is located at the edge of the X-ray image data. For example, when extracting a rectangular region from rectangular X-ray image data, if the rectangular region is tilted with respect to the X-ray image data, it may not be possible to set the rectangular region for a candidate pair located at the edge of the X-ray image data. be. On the other hand, if the directions of the X-ray image data and the rectangular area are aligned, it is possible to set a rectangular area even for a candidate pair located at the end of the X-ray image data.
また、上述したように、モデル生成機能３５６は、一の画像データから、学習済みモデルＭ２の生成に用いる複数の学習データを取得することができる。従って、医用画像処理装置３０は、より多くの学習データを用いて学習済みモデルＭ２を生成し、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
Further, as described above, the model generation function 356 can acquire a plurality of pieces of learning data used to generate the learned model M2 from one image data. Therefore, the medical image processing apparatus 30 can generate the learned model M2 using more learning data and improve the accuracy of marker identification on the X-ray image data.
（第３の実施形態）
上述した第１～第２の実施形態では、パターンマッチングを実行することによってＸ線画像データから候補点を検出し、検出結果に基づく複数の領域について学習済みモデルを用いて解析することで、マーカを特定する場合について説明した。これに対し、第３の実施形態では、パターンマッチングを実行することによってＸ線画像データから候補点を検出するとともに、学習済みモデルを用いてＸ線画像データから候補点を検出することで、マーカを特定する場合について説明する。
(Third embodiment)
In the first and second embodiments described above, candidate points are detected from X-ray image data by performing pattern matching, and multiple regions based on the detection results are analyzed using a trained model to determine marker points. We have explained the case of specifying. On the other hand, in the third embodiment, candidate points are detected from X-ray image data by performing pattern matching, and candidate points are detected from X-ray image data using a trained model, thereby detecting marker points. The case of specifying will be explained.
第３の実施形態に係る医用画像処理システム１は、図１～図２に示した第１の実施形態に係る医用画像処理システム１と同様の構成を有し、検出機能３５２、特定機能３５５及びモデル生成機能３５６による処理の一部が相違する。なお、本実施形態における検出機能３５２は、第１検出部及び第２検出部の一例である。以下、第１の実施形態において説明した構成と同様の構成を有する点については、図１～図２と同一の符号を付し、説明を省略する。
The medical image processing system 1 according to the third embodiment has the same configuration as the medical image processing system 1 according to the first embodiment shown in FIGS. 1 and 2, and includes a detection function 352, a specific function 355, and A part of the processing by the model generation function 356 is different. Note that the detection function 352 in this embodiment is an example of the first detection section and the second detection section. Hereinafter, the same reference numerals as those in FIGS. 1 and 2 will be used to denote the same components as those described in the first embodiment, and the explanation will be omitted.
例えば、検出機能３５２は、Ｘ線画像データＩ２１についてパターンマッチングを実行することによって少なくとも３つの候補点を検出し、検出結果及びＸ線画像データＩ２１を学習済みモデルＭ３に入力することによって、パターンマッチングにより検出した少なくとも３つの候補点の中から２つの候補点を検出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
For example, the detection function 352 detects at least three candidate points by performing pattern matching on the X-ray image data I21, and performs pattern matching by inputting the detection results and the X-ray image data I21 into the trained model M3. Two candidate points are detected from among the at least three candidate points detected by. Then, the specifying function 355 specifies a pair corresponding to the marker D21 and the marker D22 based on the detection result by the detecting function 352.
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ３を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。例えば、モデル生成機能３５６は、学習済みモデルＭ３の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査において、パターンマッチングや固定物除去処理等の演繹的手法に基づいてマーカの検出が行われたＸ線画像データを取得する。ここで、モデル生成機能３５６が取得するＸ線画像データは、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
Specifically, first, the model generation function 356 generates a learned model M3, and stores the generated learned model M3 in the model storage circuit 34. For example, the model generation function 356 generates a learning data set used for learning the learned model M3. For example, the model generation function 356 acquires X-ray image data in which markers have been detected based on a priori techniques such as pattern matching and fixed object removal processing in past examinations. Here, the X-ray image data acquired by the model generation function 356 may be X-ray image data of the subject P, or may be X-ray image data of another subject.
一例を挙げると、モデル生成機能３５６は、２つのマーカを有する医療デバイスを撮像したＸ線画像データであって、３つ以上のマーカが検出されたＸ線画像データを取得する。以下、かかるＸ線画像データを、Ｘ線画像データＩ１３と記載する。即ち、モデル生成機能３５６は、マーカの誤検出が生じたＸ線画像データＩ１３を取得する。次に、モデル生成機能３５６は、Ｘ線画像データＩ１３上に、検出された３つ以上のマーカをそれぞれ示すラベルを付加する。以下、検出された３つ以上のマーカをそれぞれ示すラベルを付加したＸ線画像データＩ１３を、画像データＩ１３１と記載する。
For example, the model generation function 356 acquires X-ray image data in which a medical device having two markers is imaged, and three or more markers are detected. Hereinafter, such X-ray image data will be referred to as X-ray image data I13. That is, the model generation function 356 acquires the X-ray image data I13 in which the marker has been erroneously detected. Next, the model generation function 356 adds labels indicating each of the three or more detected markers to the X-ray image data I13. Hereinafter, the X-ray image data I13 to which labels each indicating three or more detected markers are added will be referred to as image data I131.
次に、モデル生成機能３５６は、Ｘ線画像データＩ１３において検出された３つ以上のマーカのうち、医療デバイスに付された２つのマーカに対応する正解マーカを特定する。正解マーカの特定については、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。例えば、モデル生成機能３５６は、検出された３つ以上のマーカのうちの任意の２つのマーカを選択し、選択したマーカに基づく画像処理を実行し、画像処理後のＸ線画像データＩ１３を評価することで、選択した２つのマーカが正解マーカであるか否かを判定することができる。次に、モデル生成機能３５６は、Ｘ線画像データＩ１３上に、特定した２つの正解マーカをそれぞれ示すラベルを付加する。以下、特定した２つの正解マーカをそれぞれ示すラベルを付加したＸ線画像データＩ１３を、画像データＩ１３２と記載する。
Next, the model generation function 356 identifies correct markers corresponding to the two markers attached to the medical device among the three or more markers detected in the X-ray image data I13. The correct marker may be identified by the operator or automatically by the model generation function 356. For example, the model generation function 356 selects any two markers among the detected three or more markers, executes image processing based on the selected markers, and evaluates the X-ray image data I13 after image processing. By doing so, it is possible to determine whether the two selected markers are correct markers. Next, the model generation function 356 adds labels indicating the two identified correct markers to the X-ray image data I13. Hereinafter, the X-ray image data I13 to which labels indicating the two identified correct markers are added will be referred to as image data I132.
モデル生成機能３５６は、画像データＩ１３１及び画像データＩ１３２を、学習済みモデルＭ３の学習データとして生成する。また、モデル生成機能３５６は、複数のＸ線画像データに基づいて複数の学習データを同様に生成することにより、学習データセットを生成する。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ３を生成する。具体的には、モデル生成機能３５６は、画像データＩ１３１を含む複数の画像データを入力側データとし、画像データＩ１３２を含む複数の画像データを出力側データとする機械学習を実行することにより、学習済みモデルＭ３を生成する。
The model generation function 356 generates the image data I131 and the image data I132 as learning data for the learned model M3. Furthermore, the model generation function 356 generates a learning data set by similarly generating a plurality of learning data based on a plurality of X-ray image data. Next, the model generation function 356 generates a learned model M3 by performing machine learning using the generated learning data set. Specifically, the model generation function 356 performs learning by executing machine learning using a plurality of image data including the image data I131 as input data and a plurality of image data including the image data I132 as output data. A completed model M3 is generated.
学習済みモデルＭ３は、例えば、ニューラルネットワークにより構成することができる。例えば、モデル生成機能３５６は、上述した学習データセットを用いて、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルＭ３を生成する。例えば、ニューラルネットワークは、入力された画像データ（画像データＩ１３１等）にラベル付された３つ以上のマーカそれぞれについて、正解マーカであることを示すクラス「○」と正解マーカでないことを示すクラス「×」とへの確度付き二値分類を行ない、確度に基づいて２つのマーカを検出する。そして、モデル生成機能３５６は、ニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。
The trained model M3 can be configured by, for example, a neural network. For example, the model generation function 356 generates the trained model M3 by performing deep learning on a multilayer neural network using the above-described training data set. For example, for each of three or more markers labeled in the input image data (image data I131, etc.), the neural network uses a class "○" to indicate that the marker is a correct marker, and a class "○" to indicate that it is not a correct marker. Binary classification with accuracy is performed into "x" and two markers are detected based on the accuracy. The model generation function 356 then adjusts the parameters of the neural network so that the neural network can output desirable results.
これにより、モデル生成機能３５６は、画像データの入力を受けて、入力された画像データ上で２つの候補点を検出するように機能付けられた学習済みモデルＭ３を生成することができる。より具体的には、学習済みモデルＭ３は、パターンマッチング等の演繹的手法による検出結果及び画像データの入力を受けて、検出された３つ以上の候補点の中から２つの候補点を検出するように機能付けられる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ３を生成してもよい。
Thereby, the model generation function 356 can receive input of image data and generate a trained model M3 equipped with a function to detect two candidate points on the input image data. More specifically, the learned model M3 receives detection results and image data based on a deductive method such as pattern matching, and detects two candidate points from among the detected three or more candidate points. It can be functioned as follows. Note that the model generation function 356 may generate a learned model M3 for each type of medical device.
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、パターンマッチングを実行することによって、取得機能３５１が取得したＸ線画像データ上で候補点を検出する。なお、検出機能３５２は、パターンマッチングに加えて、固定物除去処理を更に実行することで、候補点を検出してもよい。
Next, the X-ray diagnostic apparatus 10 collects X-ray image data from the subject P, and the acquisition function 351 acquires the X-ray image data from the X-ray diagnostic apparatus 10. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data including the X-ray image data I21 shown in FIG. 5A. Next, the detection function 352 detects candidate points on the X-ray image data acquired by the acquisition function 351 by performing pattern matching. Note that the detection function 352 may detect candidate points by further performing fixed object removal processing in addition to pattern matching.
例えば、検出機能３５２は、Ｘ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１ａについては、Ｘ線画像データＩ２１ａと記載する。
For example, the detection function 352 detects four candidate points, candidate point C11, candidate point C12, candidate point C13, and candidate point C14, as candidate points for marker D21 and marker D22 on X-ray image data I21. Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. Note that the X-ray image data I21a to which information indicating the detection result of the candidate point is added is written as X-ray image data I21a.
次に、検出機能３５２は、図１２に示すように、Ｘ線画像データＩ２１ａを学習済みモデルＭ３に入力する。即ち、検出機能３５２は、パターンマッチング等の演繹的手法による検出結果、及び、Ｘ線画像データＩ２１を学習済みモデルＭ３に入力する。これにより、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点の中から、２つの候補点を検出する。
Next, the detection function 352 inputs the X-ray image data I21a to the trained model M3, as shown in FIG. That is, the detection function 352 inputs the detection result by a deductive method such as pattern matching and the X-ray image data I21 to the learned model M3. Thereby, the detection function 352 detects two candidate points from among the four candidate points: candidate point C11, candidate point C12, candidate point C13, and candidate point C14.
例えば、検出機能３５２は、図１２に示すように、候補点Ｃ２１及び候補点Ｃ２２の２つの候補点を検出する。なお、候補点Ｃ２１は、Ｘ線画像データＩ２１ａ上にラベル付された候補点Ｃ１１に対応するものであり、候補点Ｃ２２は、Ｘ線画像データＩ２１ａ上にラベル付された候補点Ｃ１３に対応するものである。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。以下、候補点Ｃ２１及び候補点Ｃ２２をそれぞれ示すラベルを付加したＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｂと記載する。なお、図１２は、第３の実施形態に係る候補点の検出処理を説明するための図である。
For example, the detection function 352 detects two candidate points, candidate point C21 and candidate point C22, as shown in FIG. Note that the candidate point C21 corresponds to the candidate point C11 labeled on the X-ray image data I21a, and the candidate point C22 corresponds to the candidate point C13 labeled on the X-ray image data I21a. It is something. The detection function 352 also adds labels indicating the two detected candidate points to the X-ray image data I21. Hereinafter, the X-ray image data I21 with labels indicating the candidate points C21 and C22, respectively, will be referred to as X-ray image data I21b. Note that FIG. 12 is a diagram for explaining candidate point detection processing according to the third embodiment.
そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出された４つの候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。即ち、特定機能３５５は、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１１，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１２，Ｃ１４）、及び、候補対（Ｃ１３，Ｃ１４）の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
Based on the detection result by the detection function 352, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 from among the plurality of candidate pairs included in the four detected candidate points. That is, the specific function 355 selects candidate pairs (C11, C12), candidate pairs (C11, C13), candidate pairs (C11, C14), candidate pairs (C12, C13), candidate pairs (C12, C14), and candidate pairs. A pair corresponding to marker D21 and marker D22 is identified from the pair (C13, C14).
例えば、図１２に示す場合、検出機能３５２は、Ｘ線画像データＩ２１ａを学習済みモデルＭ３に入力することによって、４つの候補点（候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４）の中から、候補点Ｃ２１及び候補点Ｃ２２を検出する。この場合、特定機能３５５は、候補点Ｃ２１及び候補点Ｃ２２に対応する候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ３による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
For example, in the case shown in FIG. 12, the detection function 352 generates four candidate points (candidate point C11, candidate point C12, candidate point C13, and candidate point C14) by inputting the X-ray image data I21a into the trained model M3. The candidate point C21 and the candidate point C22 are detected from among the candidate points C21 and C22. In this case, the specifying function 355 specifies the candidate pair (C11, C13) corresponding to the candidate point C21 and the candidate point C22 as the pair corresponding to the marker D21 and the marker D22. That is, the specifying function 355 specifies the pair corresponding to the marker D21 and the marker D22 based on the detection result by the detecting function 352. In other words, the processing circuit 35 specifies a pair of feature points corresponding to the marker D21 and the marker D22 by performing a combination of pattern matching and extraction using the trained model M3 on the X-ray image data.
別の例を挙げると、検出機能３５２は、学習済みモデルＭ４にＸ線画像データＩ２１を入力することによって少なくとも３つの候補点を検出し、Ｘ線画像データＩ２１についてパターンマッチングを実行することによって、学習済みモデルＭ４を用いて検出した少なくとも３つの候補点の中から２つの候補点を検出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
To give another example, the detection function 352 detects at least three candidate points by inputting the X-ray image data I21 into the trained model M4, and performs pattern matching on the X-ray image data I21. Two candidate points are detected from at least three candidate points detected using the learned model M4. Then, the specifying function 355 specifies a pair corresponding to the marker D21 and the marker D22 based on the detection result by the detecting function 352.
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ４を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。例えば、モデル生成機能３５６は、学習済みモデルＭ４の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査において２つのマーカを有する医療デバイスを撮像したＸ線画像データＩ１４を取得する。ここで、Ｘ線画像データＩ１４は、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
Specifically, first, the model generation function 356 generates a trained model M4, and stores the generated trained model M3 in the model storage circuit 34. For example, the model generation function 356 generates a learning data set used for learning the trained model M4. For example, the model generation function 356 acquires X-ray image data I14 obtained by imaging a medical device having two markers in a past examination. Here, the X-ray image data I14 may be X-ray image data of the subject P, or may be X-ray image data of another subject.
次に、モデル生成機能３５６は、Ｘ線画像データＩ１４において、医療デバイスに付された２つのマーカに対応する正解マーカを特定する。正解マーカの特定については、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。以下、特定した２つの正解マーカをそれぞれ示すラベルを付加したＸ線画像データＩ１４を、画像データＩ１４１と記載する。
Next, the model generation function 356 identifies correct markers corresponding to the two markers attached to the medical device in the X-ray image data I14. The correct marker may be identified by the operator or automatically by the model generation function 356. Hereinafter, the X-ray image data I14 to which labels indicating the two identified correct markers are added will be referred to as image data I141.
モデル生成機能３５６は、Ｘ線画像データＩ１４及び画像データＩ１４１の組み合わせを、学習済みモデルＭ４の学習データとして特定する。また、モデル生成機能３５６は、複数のＸ線画像データのそれぞれについて同様にラベルを付加し、複数の学習データを特定することにより、学習データセットを生成する。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ４を生成する。具体的には、モデル生成機能３５６は、Ｘ線画像データＩ１４を含む複数の画像データを入力側データとし、画像データＩ１４１を含む複数の画像データを出力側データとする機械学習を実行することにより、学習済みモデルＭ４を生成する。
The model generation function 356 specifies the combination of the X-ray image data I14 and the image data I141 as learning data of the learned model M4. Furthermore, the model generation function 356 generates a learning data set by similarly adding a label to each of the plurality of X-ray image data and specifying the plurality of learning data. Next, the model generation function 356 generates a learned model M4 by performing machine learning using the generated learning data set. Specifically, the model generation function 356 executes machine learning using a plurality of image data including the X-ray image data I14 as input side data and a plurality of image data including the image data I141 as output side data. , generates a trained model M4.
学習済みモデルＭ４は、例えば、ニューラルネットワークにより構成することができる。例えば、モデル生成機能３５６は、上述した学習データセットを用いて、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルＭ４を生成する。例えば、ニューラルネットワークは、入力された画像データ（Ｘ線画像データＩ１４等）の各位置について、正解マーカであることを示すクラス「○」と正解マーカでないことを示すクラス「×」とへの確度付き二値分類を行ない、確度に基づいて少なくとも３つのマーカを検出する。そして、モデル生成機能３５６は、ニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。一例を挙げると、モデル生成機能３５６は、Ｘ線画像データＩ１４の入力を受けてニューラルネットワークが検出した少なくとも３つのマーカの中に画像データＩ１４１にラベル付された２つの正解マーカが含まれるよう、ニューラルネットワークのパラメータを調整する。これにより、モデル生成機能３５６は、画像データの入力を受けて、入力された画像データ上で少なくとも３つの候補点を検出するように機能付けられた学習済みモデルＭ４を生成することができる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ４を生成してもよい。
The trained model M4 can be configured by, for example, a neural network. For example, the model generation function 356 generates the trained model M4 by performing deep learning on a multilayer neural network using the above-described training data set. For example, the neural network determines the accuracy of each position of input image data (X-ray image data I14, etc.) into a class "○" indicating that it is a correct marker and a class "×" indicating that it is not a correct marker. At least three markers are detected based on their accuracy. The model generation function 356 then adjusts the parameters of the neural network so that the neural network can output desirable results. For example, the model generation function 356 generates a model such that the two correct markers labeled in the image data I141 are included in at least three markers detected by the neural network upon receiving the input of the X-ray image data I14. Adjust the neural network parameters. Thereby, the model generation function 356 can receive input of image data and generate a learned model M4 that is equipped with a function to detect at least three candidate points on the input image data. Note that the model generation function 356 may generate a learned model M4 for each type of medical device.
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。
Next, the X-ray diagnostic apparatus 10 collects X-ray image data from the subject P, and the acquisition function 351 acquires the X-ray image data from the X-ray diagnostic apparatus 10. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data including the X-ray image data I21 shown in FIG. 5A. Next, the detection function 352 detects at least three candidate points on the X-ray image data by inputting the X-ray image data into the trained model M4.
例えば、検出機能３５２は、図１３Ａに示すように、Ｘ線画像データＩ２１を学習済みモデルＭ４に入力することによって、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４の４つの候補点を検出する。なお、図１３Ａは、第３の実施形態に係る候補点の検出処理を説明するための図である。
また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上に、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４のそれぞれを示すラベルを付加する。以下、学習済みモデルＭ４に基づく検出結果がラベル付けされたＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｃと記載する。
For example, as shown in FIG. 13A, the detection function 352 inputs the X-ray image data I21 into the trained model M4, and selects candidate points C31, C32, and C32 as candidate points for the marker D21 and the marker D22. Four candidate points, C33 and candidate point C34, are detected. Note that FIG. 13A is a diagram for explaining candidate point detection processing according to the third embodiment.
Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. For example, the detection function 352 adds labels indicating each of the candidate point C31, candidate point C32, candidate point C33, and candidate point C34 to the X-ray image data I21. Hereinafter, the X-ray image data I21 labeled with the detection result based on the learned model M4 will be referred to as X-ray image data I21c.
次に、検出機能３５２は、図１３Ｂに示すように、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行することによって、学習済みモデルＭ４を用いて検出した４つの候補点の中から、２つの候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ２１ｃのうち、候補点を示すラベルが付加された位置の近傍についてのみパターンマッチングを実行して類似度を算出し、類似度が最も高くなる２つの位置を候補点として検出する。なお、図１３Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。
Next, as shown in FIG. 13B, the detection function 352 selects two candidate points from among the four candidate points detected using the trained model M4 by performing pattern matching on the X-ray image data I21c. Detect. For example, the detection function 352 calculates the degree of similarity by performing pattern matching only on the vicinity of a position to which a label indicating a candidate point is added in the X-ray image data I21c, and calculates the degree of similarity between two positions with the highest degree of similarity. is detected as a candidate point. Note that FIG. 13B is a diagram for explaining candidate point detection processing according to the third embodiment.
例えば、検出機能３５２は、図１３Ｂに示すように、候補点Ｃ４１及び候補点Ｃ４２の２つの候補点を検出する。なお、候補点Ｃ４１は、Ｘ線画像データＩ２１ｃ上にラベル付された候補点Ｃ３１に対応するものであり、候補点Ｃ４２は、Ｘ線画像データＩ２１ｃ上にラベル付された候補点Ｃ３２に対応するものである。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。以下、候補点Ｃ４１及び候補点Ｃ４２をそれぞれ示すラベルを付加したＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｄと記載する。
For example, the detection function 352 detects two candidate points, candidate point C41 and candidate point C42, as shown in FIG. 13B. Note that the candidate point C41 corresponds to the candidate point C31 labeled on the X-ray image data I21c, and the candidate point C42 corresponds to the candidate point C32 labeled on the X-ray image data I21c. It is something. The detection function 352 also adds labels indicating the two detected candidate points to the X-ray image data I21. Hereinafter, the X-ray image data I21 with labels indicating the candidate points C41 and C42, respectively, will be referred to as X-ray image data I21d.
そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出された４つの候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。即ち、特定機能３５５は、候補対（Ｃ３１，Ｃ３２）、候補対（Ｃ３１，Ｃ３３）、候補対（Ｃ３１，Ｃ３４）、候補対（Ｃ３２，Ｃ３３）、候補対（Ｃ３２，Ｃ３４）、及び、候補対（Ｃ３３，Ｃ３４）の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
Based on the detection result by the detection function 352, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 from among the plurality of candidate pairs included in the four detected candidate points. That is, the specific function 355 selects candidate pairs (C31, C32), candidate pairs (C31, C33), candidate pairs (C31, C34), candidate pairs (C32, C33), candidate pairs (C32, C34), and candidate pairs. A pair corresponding to marker D21 and marker D22 is identified from the pair (C33, C34).
例えば、図１３Ｂに示す場合、検出機能３５２は、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行することによって、４つの候補点（候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４）の中から、候補点Ｃ４１及び候補点Ｃ４２を検出する。この場合、特定機能３５５は、候補点Ｃ４１及び候補点Ｃ４２に対応する候補対（Ｃ３１，Ｃ３３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ４による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
For example, in the case shown in FIG. 13B, the detection function 352 performs pattern matching on the X-ray image data I21c to determine which of the four candidate points (candidate point C31, candidate point C32, candidate point C33, and candidate point C34) is selected. , candidate point C41 and candidate point C42 are detected. In this case, the specifying function 355 specifies the candidate pair (C31, C33) corresponding to the candidate point C41 and the candidate point C42 as the pair corresponding to the marker D21 and the marker D22. That is, the specifying function 355 specifies the pair corresponding to the marker D21 and the marker D22 based on the detection result by the detecting function 352. In other words, the processing circuit 35 specifies a pair of feature points corresponding to the marker D21 and the marker D22 by performing a combination of pattern matching and extraction using the learned model M4 on the X-ray image data.
なお、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検出機能３５２は、Ｘ線画像データＩ２１ｃを二値化することによってＸ線画像データＩ２１ｃ’を生成し、Ｘ線画像データＩ２１ｃ’についてパターンマッチングを行なってもよい。Ｘ線画像データＩ２１ｃ’は、例えば、図１４Ａに示すように、各画素が「０」又は「１」のいずれか一方の情報を有するデータである。一例を挙げると、検出機能３５２は、図１４Ｂに示すカーネルＡ１を用いて、Ｘ線画像データＩ２１ｃ’上の各位置について類似度を算出し、類似度が最も高くなる２つの位置を候補点として検出する。なお、図１４Ａ及び図１４Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。
Although a case has been described in which pattern matching is performed on the X-ray image data I21c, the embodiment is not limited to this. For example, the detection function 352 may generate X-ray image data I21c' by binarizing the X-ray image data I21c, and perform pattern matching on the X-ray image data I21c'. The X-ray image data I21c' is, for example, data in which each pixel has information of either "0" or "1", as shown in FIG. 14A. For example, the detection function 352 uses the kernel A1 shown in FIG. 14B to calculate the degree of similarity for each position on the X-ray image data I21c', and selects the two positions with the highest degree of similarity as candidate points. To detect. Note that FIGS. 14A and 14B are diagrams for explaining candidate point detection processing according to the third embodiment.
別の例を挙げると、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによってＸ線画像データ上で少なくとも３つの候補点を検出するとともに、検出した各候補点がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。更に、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによってＸ線画像データ上で少なくとも３つの候補点を検出するとともに、検出した各候補点がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
To give another example, the detection function 352 detects at least three candidate points on the X-ray image data by inputting the X-ray image data into the trained model M4, and each detected candidate point is connected to the marker D21. and calculate the accuracy corresponding to marker D22. Further, the detection function 352 detects at least three candidate points on the X-ray image data by performing pattern matching on the X-ray image data, and determines the probability that each detected candidate point corresponds to the marker D21 and the marker D22. Calculate. Then, the specifying function 355 specifies a pair corresponding to the marker D21 and the marker D22 based on the detection result by the detecting function 352.
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ４を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。
Specifically, first, the model generation function 356 generates a trained model M4, and stores the generated trained model M3 in the model storage circuit 34. Next, the X-ray diagnostic apparatus 10 collects X-ray image data from the subject P, and the acquisition function 351 acquires the X-ray image data from the X-ray diagnostic apparatus 10. For example, the acquisition function 351 acquires a plurality of time-series X-ray image data including the X-ray image data I21 shown in FIG. 5A. Next, the detection function 352 detects at least three candidate points on the X-ray image data by inputting the X-ray image data into the trained model M4.
例えば、検出機能３５２は、Ｘ線画像データＩ２１を学習済みモデルＭ４に入力することによって、Ｘ線画像データＩ２１の各位置について、マーカＤ２１及びマーカＤ２２に対応する確度を算出する。そして、検出機能３５２は、算出した確度が閾値以上となるＸ線画像データＩ２１上の位置を、マーカＤ２１及びマーカＤ２２の候補点として検出する。
For example, the detection function 352 calculates the accuracy corresponding to the marker D21 and the marker D22 for each position of the X-ray image data I21 by inputting the X-ray image data I21 into the learned model M4. Then, the detection function 352 detects positions on the X-ray image data I21 where the calculated accuracy is equal to or higher than the threshold value as candidate points for the marker D21 and the marker D22.
一例を挙げると、検出機能３５２は、図１３Ａに示したように、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４を示す情報が付加されたＸ線画像データＩ２１については、Ｘ線画像データＩ２１ｃと記載する。
For example, as shown in FIG. 13A, the detection function 352 detects four candidate points, candidate point C31, candidate point C32, candidate point C33, and candidate point C34, as candidate points for marker D21 and marker D22. do. Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. Note that the X-ray image data I21 to which information indicating the candidate points C31, C32, C33, and C34 is added is referred to as X-ray image data I21c.
また、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。例えば、検出機能３５２は、マーカＤ２１及びマーカＤ２２の形状を模したカーネルを用いて、Ｘ線画像データＩ２１上の各位置について類似度を算出する。次に、検出機能３５２は、Ｘ線画像データＩ２１上の各位置について、算出した類似度を閾値と比較し、類似度が閾値以上となる位置をマーカＤ２１及びマーカＤ２２の候補点として検出する。
The detection function 352 also detects at least three candidate points on the X-ray image data by performing pattern matching on the X-ray image data. For example, the detection function 352 calculates the degree of similarity for each position on the X-ray image data I21 using a kernel that imitates the shapes of the marker D21 and the marker D22. Next, the detection function 352 compares the calculated degree of similarity with a threshold value for each position on the X-ray image data I21, and detects positions where the degree of similarity is greater than or equal to the threshold value as candidate points for the marker D21 and the marker D22.
一例を挙げると、検出機能３５２は、図５Ｂに示したように、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。なお、候補点Ｃ１１の位置について算出された類似度は、候補点Ｃ１１がマーカＤ２１及びマーカＤ２２に対応する確度を示す。同様に、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の各位置について算出された類似度は、それぞれ、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４がマーカＤ２１及びマーカＤ２２に対応する確度を示す。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４を示す情報が付加されたＸ線画像データＩ２１については、Ｘ線画像データＩ２１ａと記載する。
For example, as shown in FIG. 5B, the detection function 352 detects four candidate points, candidate point C11, candidate point C12, candidate point C13, and candidate point C14, as candidate points for marker D21 and marker D22. do. Note that the degree of similarity calculated for the position of the candidate point C11 indicates the probability that the candidate point C11 corresponds to the marker D21 and the marker D22. Similarly, the similarity calculated for each position of candidate point C12, candidate point C13, and candidate point C14 indicates the probability that candidate point C12, candidate point C13, and candidate point C14 correspond to marker D21 and marker D22, respectively. . Furthermore, the detection function 352 adds information indicating the detection result of the candidate point to the X-ray image data I21. Note that the X-ray image data I21 to which information indicating the candidate points C11, C12, C13, and C14 is added is referred to as X-ray image data I21a.
次に、特定機能３５５は、図１５に示すように、Ｘ線画像データＩ２１ａとＸ線画像データＩ２１ｃとに基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する候補対を特定する。なお、図１５は、第３の実施形態に係る候補対の特定処理について説明するための図である。例えば、特定機能３５５は、Ｘ線画像データＩ２１ａにラベル付された複数の候補点それぞれについて算出された確度、及び、Ｘ線画像データＩ２１ｃにラベル付された複数の候補点それぞれについて算出された確度に基づいて、マーカＤ２１及びマーカＤ２２に対応する候補対を特定する。
Next, as shown in FIG. 15, the specific function 355 determines which of the plurality of candidate pairs included in the plurality of candidate points detected by the detection function 352 is based on the X-ray image data I21a and the X-ray image data I21c. From this, a candidate pair corresponding to marker D21 and marker D22 is identified. Note that FIG. 15 is a diagram for explaining candidate pair identification processing according to the third embodiment. For example, the specific function 355 calculates the accuracy calculated for each of the plurality of candidate points labeled in the X-ray image data I21a, and the accuracy calculated for each of the plurality of candidate points labeled in the X-ray image data I21c. Based on this, a candidate pair corresponding to marker D21 and marker D22 is identified.
例えば、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれについて、パターンマッチングを実行することにより、類似度を算出している。即ち、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれについて、マーカＤ２１及びマーカＤ２２に対応する確度を算出している。以下、候補点Ｃ１１について算出された確度を、確度Ｌ１１とする。また、候補点Ｃ１２について算出された確度を、確度Ｌ１２とする。また、候補点Ｃ１３について算出された確度を、確度Ｌ１３とする。また、候補点Ｃ１４について算出された確度を、確度Ｌ１４とする。
For example, the detection function 352 calculates the degree of similarity by performing pattern matching for each of the candidate points C11, C12, C13, and C14. That is, the detection function 352 calculates the accuracy corresponding to the marker D21 and the marker D22 for each of the candidate point C11, the candidate point C12, the candidate point C13, and the candidate point C14. Hereinafter, the accuracy calculated for the candidate point C11 will be referred to as accuracy L11. Furthermore, the accuracy calculated for the candidate point C12 is assumed to be accuracy L12. Furthermore, the accuracy calculated for the candidate point C13 is assumed to be accuracy L13. Furthermore, the accuracy calculated for the candidate point C14 is assumed to be accuracy L14.
また、検出機能３５２は、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４のそれぞれについて、学習済みモデルＭ４を用いた確度付き二値分類により、マーカＤ２１及びマーカＤ２２に対応する確度を算出している。以下、候補点Ｃ３１について算出された確度を、確度Ｌ３１とする。また、候補点Ｃ３２について算出された確度を、確度Ｌ３２とする。また、候補点Ｃ３３について算出された確度を、確度Ｌ３３とする。また、候補点Ｃ３４について算出された確度を、確度Ｌ３４とする。
In addition, the detection function 352 calculates the accuracy corresponding to the marker D21 and the marker D22 by binary classification with accuracy using the trained model M4 for each of the candidate points C31, C32, C33, and C34. It is being calculated. Hereinafter, the accuracy calculated for the candidate point C31 will be referred to as accuracy L31. Furthermore, the accuracy calculated for the candidate point C32 is assumed to be accuracy L32. Furthermore, the accuracy calculated for the candidate point C33 is assumed to be accuracy L33. Furthermore, the accuracy calculated for the candidate point C34 is assumed to be accuracy L34.
特定機能３５５は、検出機能３５２が検出した複数の候補点のうち、対応する候補点間で確度の和を算出する。例えば、Ｘ線画像データＩ２１ａにおける候補点Ｃ１１とＸ線画像データＩ２１ｃにおける候補点Ｃ３１とは位置が対応していることから、特定機能３５５は、候補点Ｃ１１について算出された確度Ｌ１１と候補点Ｃ３１について算出された確度Ｌ３１との和を算出する。以下、確度Ｌ１１と確度Ｌ３１との和を、確度Ｌｓ１とする。
The specific function 355 calculates the sum of probabilities between corresponding candidate points among the plurality of candidate points detected by the detection function 352. For example, since the candidate point C11 in the X-ray image data I21a and the candidate point C31 in the X-ray image data I21c correspond in position, the specific function 355 calculates the accuracy L11 calculated for the candidate point C11 and the candidate point C31 in the X-ray image data I21a. The sum with the accuracy L31 calculated for . Hereinafter, the sum of accuracy L11 and accuracy L31 will be referred to as accuracy Ls1.
同様に、特定機能３５５は、候補点Ｃ１３について算出された確度Ｌ１３と候補点Ｃ３２について算出された確度Ｌ３２との和を算出する。以下、確度Ｌ１３と確度Ｌ３２との和を確度Ｌｓ２とする。同様に、特定機能３５５は、候補点Ｃ１２について算出された確度Ｌ１２と候補点Ｃ３３について算出された確度Ｌ３３との和を算出する。以下、確度Ｌ１２と確度Ｌ３３との和を確度Ｌｓ３とする。なお、図１５は、候補点Ｃ１４に対応する候補点がＸ線画像データＩ２１ｃ上には無い場合を示す。また、図１５は、候補点Ｃ３４に対応する候補点がＸ線画像データＩ２１ａ上には無い場合を示す。
Similarly, the specific function 355 calculates the sum of the accuracy L13 calculated for the candidate point C13 and the accuracy L32 calculated for the candidate point C32. Hereinafter, the sum of accuracy L13 and accuracy L32 will be referred to as accuracy Ls2. Similarly, the specific function 355 calculates the sum of the accuracy L12 calculated for the candidate point C12 and the accuracy L33 calculated for the candidate point C33. Hereinafter, the sum of accuracy L12 and accuracy L33 will be referred to as accuracy Ls3. Note that FIG. 15 shows a case where there is no candidate point corresponding to the candidate point C14 on the X-ray image data I21c. Further, FIG. 15 shows a case where there is no candidate point corresponding to the candidate point C34 on the X-ray image data I21a.
次に、特定機能３５５は、算出した確度の和、又は、各候補点について算出された確度のうち、最も値の大きい２つを特定する。即ち、特定機能３５５は、確度Ｌ１１と確度Ｌ３１との和である確度Ｌｓ１、確度Ｌ１３と確度Ｌ３２との和である確度Ｌｓ２、確度Ｌ１３と確度Ｌ３２との和である確度Ｌｓ３、候補点Ｃ１４について算出された確度Ｌ１４、及び、候補点Ｃ３４について算出された確度Ｌ３４のうち、最も値の大きい２つを特定する。また、特定機能３５５は、特定した確度に基づいて、マーカＤ２１及びマーカＤ２２に対応する２つの候補点を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ４による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
Next, the specifying function 355 specifies the sum of the calculated accuracies or the two with the largest values among the accuracies calculated for each candidate point. That is, the specific function 355 determines the accuracy Ls1 which is the sum of accuracy L11 and accuracy L31, the accuracy Ls2 which is the sum of accuracy L13 and accuracy L32, the accuracy Ls3 which is the sum of accuracy L13 and accuracy L32, and the candidate point C14. Among the calculated accuracy L14 and the accuracy L34 calculated for the candidate point C34, the two with the largest values are identified. Further, the specifying function 355 specifies two candidate points corresponding to the marker D21 and the marker D22 based on the specified accuracy. In other words, the processing circuit 35 specifies a pair of feature points corresponding to the marker D21 and the marker D22 by performing a combination of pattern matching and extraction using the learned model M4 on the X-ray image data.
これにより、特定機能３５５は、パターンマッチングによる候補点の検出結果と、学習済みモデルＭ４を用いた候補点の検出結果との双方を適切に考慮して、マーカＤ２１及びマーカＤ２２に対応する２つの候補点を精度良く特定することができる。例えば、通常、各候補点について算出された確度（確度Ｌ１４等）より、確度の和（確度Ｌｓ１等）の方が値は大きくなる。即ち、特定機能３５５は、パターンマッチングによる候補点検出と、学習済みモデルＭ４を用いた候補点検出との双方で検出された候補点を、優先的に特定することができる。
As a result, the specific function 355 appropriately considers both the candidate point detection result by pattern matching and the candidate point detection result using the trained model M4, and selects the two corresponding markers D21 and D22. Candidate points can be identified with high accuracy. For example, the value of the sum of the accuracies (accuracy Ls1, etc.) is usually larger than the accuracy calculated for each candidate point (accuracy L14, etc.). That is, the specifying function 355 can preferentially specify candidate points detected by both candidate point detection by pattern matching and candidate point detection using the trained model M4.
以下では、確度Ｌｓ１及び確度Ｌｓ２の値が最も大きかったものとして説明する。この場合、特定機能３５５は、例えば、Ｘ線画像データＩ２１ａにおける候補点Ｃ１１及び候補点Ｃ１３を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定する。即ち、特定機能３５５は、候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、検出機能３５２が検出した複数の候補点には候補対（Ｃ１１，Ｃ１２）や候補対（Ｃ３１，Ｃ３２）等の複数の候補対が含まれるところ、特定機能３５５は、これら複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対として、候補対（Ｃ１１，Ｃ１３）を特定する。
In the following description, it will be assumed that the accuracy Ls1 and the accuracy Ls2 have the largest values. In this case, the specifying function 355 specifies, for example, the candidate point C11 and the candidate point C13 in the X-ray image data I21a as candidate points corresponding to the marker D21 and the marker D22. That is, the specifying function 355 specifies the candidate pair (C11, C13) as a pair corresponding to the marker D21 and the marker D22. That is, while the plurality of candidate points detected by the detection function 352 include a plurality of candidate pairs such as candidate pair (C11, C12) and candidate pair (C31, C32), the specific function 355 A candidate pair (C11, C13) is identified as a pair corresponding to marker D21 and marker D22.
或いは、特定機能３５５は、Ｘ線画像データＩ２１ｃにおける候補点Ｃ３１及び候補点Ｃ３２を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定してもよい。即ち、特定機能３５５は、候補対（Ｃ３１，Ｃ３２）を、マーカＤ２１及びマーカＤ２２に対応する対として特定してもよい。
Alternatively, the specifying function 355 may specify the candidate point C31 and the candidate point C32 in the X-ray image data I21c as the candidate points corresponding to the marker D21 and the marker D22. That is, the specifying function 355 may specify the candidate pair (C31, C32) as a pair corresponding to the marker D21 and the marker D22.
即ち、候補対（Ｃ１１，Ｃ１３）と候補対（Ｃ３１，Ｃ３２）とは、Ｘ線画像データＩ２１上の同じ位置を示すものであり、特定機能３５５は、マーカＤ２１及びマーカＤ２２に対応する対としていずれを特定してもよい。以下では、候補点Ｃ１１と候補点Ｃ３１とを総称して、候補点Ｃ５１と記載する。また、以下では、候補点Ｃ１３と候補点Ｃ３２とを総称して、候補点Ｃ５２と記載する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、候補対（Ｃ５１，Ｃ５２）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。候補点Ｃ５１及び候補点Ｃ５２をそれぞれ示すラベルを付加したＸ線画像データＩ２１については、図１５に示すように、Ｘ線画像データＩ２１ｅと記載する。
That is, the candidate pair (C11, C13) and the candidate pair (C31, C32) indicate the same position on the X-ray image data I21, and the specific function 355 specifies the pair corresponding to the marker D21 and the marker D22. Either one may be specified. Below, the candidate point C11 and the candidate point C31 are collectively referred to as a candidate point C51. Furthermore, below, the candidate point C13 and the candidate point C32 are collectively referred to as a candidate point C52. That is, the identification function 355 identifies the candidate pair (C51, C52) as a pair corresponding to the marker D21 and the marker D22, based on the detection result by the detection function 352. The detection function 352 also adds labels indicating the two detected candidate points to the X-ray image data I21. As shown in FIG. 15, the X-ray image data I21 to which labels indicating the candidate point C51 and the candidate point C52 are added is written as X-ray image data I21e.
次に、画像処理機能３５７は、特定機能３５５が特定した候補対（Ｃ５１，Ｃ５２）に基づいてＸ線画像データＩ２１に対する画像処理を実行し、制御機能３５８は、画像処理後のＸ線画像データをディスプレイ３２に表示させる。或いは、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、画像処理後のＸ線画像データを表示させる。或いは、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した候補対（Ｃ５１，Ｃ５２）を示す情報とをＸ線診断装置１０に対して送信する。この場合、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
Next, the image processing function 357 executes image processing on the X-ray image data I21 based on the candidate pair (C51, C52) specified by the specific function 355, and the control function 358 executes image processing on the X-ray image data I21 after the image processing. is displayed on the display 32. Alternatively, the control function 358 transmits the image-processed X-ray image data to the X-ray diagnostic apparatus 10, and the X-ray diagnostic apparatus 10 displays the image-processed X-ray image data. Alternatively, the control function 358 transmits the X-ray image data before image processing and information indicating the candidate pair (C51, C52) specified by the specific function 355 to the X-ray diagnostic apparatus 10. In this case, the X-ray diagnostic apparatus 10 executes image processing based on the pair specified by the specific function 355, and displays the X-ray image data after the image processing.
上述したように、第３の実施形態によれば、モデル記憶回路３４は、Ｘ線画像データの入力を受けて、入力されたＸ線画像データ上で複数の候補点を検出するように機能付けられた学習済みモデルＭ３又は学習済みモデルＭ４を記憶する。また、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で複数の候補点を検出する。また、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによって、Ｘ線画像データ上で複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。そして、医用画像処理装置３０は、パターンマッチング及び機械学習の２つの手法を併せて用いることにより、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
As described above, according to the third embodiment, the model storage circuit 34 is configured to receive input of X-ray image data and detect a plurality of candidate points on the input X-ray image data. The trained model M3 or M4 that has been trained is stored. Furthermore, the detection function 352 detects a plurality of candidate points on the X-ray image data by inputting the X-ray image data to the trained model M3 or the trained model M4. Furthermore, the detection function 352 detects a plurality of candidate points on the X-ray image data by performing pattern matching on the X-ray image data. Further, based on the detection result by the detection function 352, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 from among the plurality of candidate pairs included in the plurality of candidate points detected by the detection function 352. . The medical image processing apparatus 30 can improve the accuracy of marker identification on X-ray image data by using both pattern matching and machine learning techniques.
（第４の実施形態）
さて、これまで第１～第３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
(Fourth embodiment)
Although the first to third embodiments have been described so far, the present invention may be implemented in various different forms in addition to the embodiments described above.
上述した実施形態では、マーカＤ２１及びマーカＤ２２に対応する対を特定する場合について説明した。即ち、上述した実施形態では、一の対を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、特定機能３５５は、複数の候補対の中から、複数のマーカ対に対応する複数の対を特定してもよい。
In the embodiment described above, a case has been described in which a pair corresponding to the marker D21 and the marker D22 is specified. That is, in the embodiment described above, the case where one pair is specified has been described. However, embodiments are not limited thereto. That is, the specifying function 355 may specify a plurality of pairs corresponding to a plurality of marker pairs from among a plurality of candidate pairs.
例えば、取得機能３５１は、まず、各々が複数のマーカを有する、複数の医療デバイスを撮像したＸ線画像データを取得する。複数の医療デバイスを撮像したＸ線画像データが収集される手技の例としては、例えば、ＫＢＴ（Kissing Balloon Technique）が挙げられる。ＫＢＴは、分岐する血管のそれぞれに対してバルーンを配置し、血管の分岐部分をまとめて拡張する手技である。かかる手技を実行する際、操作者は、被検体Ｐの血管内に２つのバルーンを挿入して血管の分岐部分まで進行させた後、バルーンを拡張する。なお、これら２つのバルーンは、それぞれが複数のマーカを有する。この場合、Ｘ線診断装置１０は、それぞれが複数のマーカを有する２つのバルーンを撮像したＸ線画像データを収集する。
For example, the acquisition function 351 first acquires X-ray image data obtained by imaging a plurality of medical devices, each of which has a plurality of markers. An example of a technique in which X-ray image data obtained by imaging a plurality of medical devices is collected is, for example, KBT (Kissing Balloon Technique). KBT is a procedure in which a balloon is placed in each branching blood vessel to dilate the branched parts of the blood vessel all at once. When performing such a procedure, the operator inserts two balloons into the blood vessel of the subject P, advances the balloons to the bifurcation of the blood vessel, and then inflates the balloons. Note that each of these two balloons has a plurality of markers. In this case, the X-ray diagnostic apparatus 10 collects X-ray image data obtained by imaging two balloons each having a plurality of markers.
また、複数の医療デバイスを撮像したＸ線画像データが収集される手技の他の例としては、例えば、ＹＳＴ（Y stenting Technique）が挙げられる。ＹＳＴは、血管の分岐部分に生じた動脈瘤に対するステント留置術であり、操作者は、２つのステントを分岐する血管のそれぞれに留置する。具体的には、操作者は、２つのガイドワイヤを用いて被検体Ｐの血管内に２つのステントを挿入し、動脈瘤の位置に留置する。なお、これら２つのガイドワイヤは、それぞれが複数のマーカを有する。この場合、Ｘ線診断装置１０は、それぞれが複数のマーカを有する２つのガイドワイヤを撮像したＸ線画像データを収集する。
Further, another example of a procedure in which X-ray image data obtained by imaging a plurality of medical devices is collected is YST (Y stenting Technique), for example. YST is a stent placement technique for aneurysms occurring at branching portions of blood vessels, and an operator places two stents in each of the branching blood vessels. Specifically, the operator inserts two stents into the blood vessel of the subject P using two guide wires and indwells them at the location of the aneurysm. Note that each of these two guide wires has a plurality of markers. In this case, the X-ray diagnostic apparatus 10 collects X-ray image data obtained by imaging two guide wires each having a plurality of markers.
例えば、取得機能３５１は、マーカＤ３１及びマーカＤ３２を有する医療デバイスと、マーカＤ３３及びマーカＤ３４を有する医療デバイスとを撮像したＸ線画像データＩ３１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ３１についてパターンマッチングを実行することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ３１上で５つ以上の候補点を検出する。次に、抽出機能３５３は、検出された複数の候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ３１から抽出する。また、解析機能３５４は、Ｘ線画像データＩ３１から抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対する２つの対を特定する。
For example, the acquisition function 351 acquires X-ray image data I31 obtained by imaging a medical device having markers D31 and D32, and a medical device having markers D33 and D34. Next, the detection function 352 detects a plurality of candidate points on the X-ray image data I31 by performing pattern matching on the X-ray image data I31. For example, the detection function 352 detects five or more candidate points on the X-ray image data I31. Next, the extraction function 353 selects a plurality of candidate pairs from among the plurality of detected candidate points, and extracts a plurality of regions corresponding to each of the selected candidate points from the X-ray image data I31. Furthermore, the analysis function 354 analyzes each of the plurality of regions extracted from the X-ray image data I31. Further, the specifying function 355 specifies two pairs corresponding to the marker attached to the medical device from among the plurality of candidate pairs based on the analysis result.
或いは、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データＩ３１を入力することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。また、検出機能３５２は、Ｘ線画像データＩ３１についてパターンマッチングを実行することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、医療デバイスに付されたマーカに対する２つの対を特定する。
Alternatively, the detection function 352 detects a plurality of candidate points on the X-ray image data I31 by inputting the X-ray image data I31 into the learned model M3 or the learned model M4. Furthermore, the detection function 352 detects a plurality of candidate points on the X-ray image data I31 by performing pattern matching on the X-ray image data I31. Further, based on the detection result by the detection function 352, the specific function 355 selects two pairs corresponding to the marker attached to the medical device from among the plurality of candidate pairs included in the plurality of candidate points detected by the detection function 352. Identify.
なお、特定機能３５５は、時系列の複数のＸ線画像データについて、フレーム間でのマーカ対の特定を更に行なうこととしてもよい。例えば、取得機能３５１は、マーカＤ３１及びマーカＤ３２を有する医療デバイスと、マーカＤ３３及びマーカＤ３４を有する医療デバイスとを撮像した時系列の複数のＸ線画像データであるＸ線画像データＩ３１及びＸ線画像データＩ３２を取得する。次に、特定機能３５５は、Ｘ線画像データＩ３１上で、マーカＤ３１～マーカＤ３４に対する２つの対として、候補対（Ｃ６１，Ｃ６２）と、候補対（Ｃ６３，Ｃ６４）とを特定する。また、特定機能３５５は、Ｘ線画像データＩ３２上で、マーカＤ３１～マーカＤ３４に対する２つの対として、候補対（Ｃ７１，Ｃ７２）と、候補対（Ｃ７３，Ｃ７４）とを特定する。
Note that the specifying function 355 may further specify marker pairs between frames for a plurality of time-series X-ray image data. For example, the acquisition function 351 includes X-ray image data I31 and X-ray Image data I32 is acquired. Next, the specifying function 355 specifies a candidate pair (C61, C62) and a candidate pair (C63, C64) as two pairs for markers D31 to D34 on the X-ray image data I31. Further, the specifying function 355 specifies a candidate pair (C71, C72) and a candidate pair (C73, C74) as two pairs for markers D31 to D34 on the X-ray image data I32.
ここで、特定機能３５５は、Ｘ線画像データＩ３１とＸ線画像データＩ３２との間において、各Ｘ線画像データ上で特定した２つの対の対応関係を特定する。即ち、特定機能３５５は、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
Here, the specifying function 355 specifies the correspondence between the two pairs specified on each X-ray image data, between the X-ray image data I31 and the X-ray image data I32. That is, the specifying function 355 specifies the correspondence between the candidate pair (C61, C62) and the candidate pair (C63, C64) and the candidate pair (C71, C72) and the candidate pair (C73, C74).
例えば、特定機能３５５は、Ｘ線画像データＩ３１とＸ線画像データＩ３２との間で、特定した２つの対（即ち、４つの候補点）の位置がほぼ一致するように、Ｘ線画像データＩ３１を変形させる。一例を挙げると、特定機能３５５は、Ｘ線画像データＩ３１における４つの候補点Ｃ６１～Ｃ６４に対するアフィン変換を実行し、写像後の４つの候補点Ｃ６１～Ｃ６４の位置が、Ｘ線画像データＩ３２における４つの候補点Ｃ７１～Ｃ７４の位置に略一致するように回転／平行移動させた写像を特定する。なお、特定機能３５５は、回転／平行移動に加え、拡大／縮小を行なってもよい。そして、特定機能３５５は、特定した写像に基づいて、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
For example, the specifying function 355 selects the X-ray image data I31 and the X-ray image data I32 so that the positions of the two specified pairs (i.e., four candidate points) almost match between the X-ray image data I31 and the X-ray image data I32. transform. For example, the specific function 355 executes affine transformation on the four candidate points C61 to C64 in the X-ray image data I31, and the positions of the four candidate points C61 to C64 after mapping are determined in the X-ray image data I32. A mapping that has been rotated/translated so as to substantially match the positions of the four candidate points C71 to C74 is specified. Note that the specific function 355 may perform enlargement/reduction in addition to rotation/translation. Then, the specific function 355 determines the correspondence between the candidate pair (C61, C62) and the candidate pair (C63, C64) and the candidate pair (C71, C72) and the candidate pair (C73, C74) based on the specified mapping. Identify.
別の例を挙げると、特定機能３５５は、各候補対に関する特徴量を比較することで、各Ｘ線画像データ上で特定した２つの対の対応関係を特定してもよい。ここで、候補対に関する特徴量とは、例えば、候補点間の距離や、候補点間を繋いだ線分の傾き等である。例えば、特定機能３５５は、候補対（Ｃ６１，Ｃ６２）、候補対（Ｃ６３，Ｃ６４）、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）のそれぞれについて特徴量を算出する。そして、特定機能３５５は、算出した特徴量を比較することによって、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
To give another example, the identification function 355 may identify the correspondence between the two pairs identified on each X-ray image data by comparing the feature amounts regarding each candidate pair. Here, the feature amount related to the candidate pair is, for example, the distance between the candidate points, the slope of a line segment connecting the candidate points, or the like. For example, the specific function 355 calculates feature amounts for each of the candidate pair (C61, C62), the candidate pair (C63, C64), the candidate pair (C71, C72), and the candidate pair (C73, C74). Then, by comparing the calculated feature amounts, the specific function 355 identifies the candidate pair (C61, C62) and the candidate pair (C63, C64), and the candidate pair (C71, C72) and the candidate pair (C73, C74). Identify the correspondence between
別の例を挙げると、特定機能３５５は、各候補対に対応する領域をＸ線画像データから抽出し、抽出した領域の類似度を算出することで、各Ｘ線画像データ上で特定した２つの対の対応関係を特定してもよい。例えば、特定機能３５５は、Ｘ線画像データＩ３１から、候補対（Ｃ６１，Ｃ６２）に対応する領域Ｉ３１１と、候補対（Ｃ６３，Ｃ６４）に対応する領域Ｉ３１２とを抽出する。また、特定機能３５５は、Ｘ線画像データＩ３２から、候補対（Ｃ７１，Ｃ７２）に対応する領域Ｉ３２１と、候補対（Ｃ７３，Ｃ７４）に対応する領域Ｉ３２２とを抽出する。次に、特定機能３５５は、領域Ｉ３１１と領域Ｉ３２１との類似度、領域Ｉ３１１と領域Ｉ３２２との類似度、領域Ｉ３１２と領域Ｉ３２１との類似度、及び、領域Ｉ３１２と領域Ｉ３２２との類似度をそれぞれ算出する。そして、特定機能３５５は、算出した類似度に基づいて、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
To give another example, the identification function 355 extracts a region corresponding to each candidate pair from the X-ray image data, and calculates the degree of similarity between the extracted regions. A pairwise correspondence may be specified. For example, the specific function 355 extracts a region I311 corresponding to the candidate pair (C61, C62) and a region I312 corresponding to the candidate pair (C63, C64) from the X-ray image data I31. The specific function 355 also extracts a region I321 corresponding to the candidate pair (C71, C72) and a region I322 corresponding to the candidate pair (C73, C74) from the X-ray image data I32. Next, the specific function 355 determines the similarity between the region I311 and the region I321, the similarity between the region I311 and the region I322, the similarity between the region I312 and the region I321, and the similarity between the region I312 and the region I322. Calculate each. The specific function 355 then associates the candidate pair (C61, C62) and the candidate pair (C63, C64) with the candidate pair (C71, C72) and the candidate pair (C73, C74) based on the calculated similarity. Identify relationships.
また、上述した実施形態では、１つの医療デバイスが２つのマーカを有するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、３つ以上のマーカを有するデバイスについても適用が可能である。
Furthermore, in the embodiments described above, one medical device has been described as having two markers. However, embodiments are not limited thereto. That is, the present invention can also be applied to devices having three or more markers.
例えば、取得機能３５１は、遠位側（先端側）からマーカＤ４１、マーカＤ４２及びマーカＤ４３が順に付されたガイドワイヤを撮像したＸ線画像データＩ４１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ４１についてパターンマッチングを実行することで、Ｘ線画像データＩ４１上で、マーカＤ４１、マーカＤ４２及びマーカＤ４３の候補点を少なくとも３つ検出する。そして、特定機能３５５は、複数の候補対の中から、マーカＤ４１、マーカＤ４２及びマーカＤ４３のうち所定の２つのマーカに対応する対を特定する。
For example, the acquisition function 351 acquires X-ray image data I41 obtained by imaging a guidewire to which markers D41, D42, and D43 are sequentially attached from the distal side (distal end side). Next, the detection function 352 detects at least three candidate points of the marker D41, the marker D42, and the marker D43 on the X-ray image data I41 by performing pattern matching on the X-ray image data I41. Then, the specifying function 355 specifies a pair corresponding to two predetermined markers among the marker D41, the marker D42, and the marker D43 from among the plurality of candidate pairs.
例えば、モデル生成機能３５６は、予め、医療デバイスの種類ごと且つ選択される２つのマーカごとに学習済みモデルＭ１を生成する。一例を挙げると、モデル生成機能３５６は、３つのマーカが付されたガイドワイヤ用の学習済みモデルＭ１であって、遠位側から２つのマーカの解析に用いられる学習済みモデルＭ１１、遠位側のマーカと近位側のマーカとの解析に用いられる学習済みモデルＭ１２、及び、近位側から２つのマーカの解析に用いられる学習済みモデルＭ１３をそれぞれ生成し、モデル記憶回路３４に記憶させる。
For example, the model generation function 356 generates in advance a learned model M1 for each type of medical device and for each of the two selected markers. For example, the model generation function 356 generates a trained model M1 for a guide wire with three markers, a trained model M11 used for analyzing two markers from the distal side, and a trained model M11 used for analyzing two markers from the distal side. A trained model M12 used to analyze the marker and the proximal marker, and a trained model M13 used to analyze the two proximal markers are generated and stored in the model storage circuit 34.
次に、取得機能３５１はＸ線画像データＩ４１を取得する。また、操作者は、ガイドワイヤに付された３つのマーカのうち、２つのマーカを選択する。なお、以下では一例として、ガイドワイヤに付された３つのマーカのうち、マーカＤ４１及びマーカＤ４２が選択されたものとして説明する。
Next, the acquisition function 351 acquires the X-ray image data I41. Furthermore, the operator selects two markers from among the three markers attached to the guide wire. Note that, as an example, the following description will be made assuming that the marker D41 and the marker D42 are selected from among the three markers attached to the guide wire.
次に、検出機能３５２は、Ｘ線画像データＩ４１上で少なくとも３つの候補点を検出する。次に、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択する。ここで、抽出機能３５３は、検出機能３５２が検出した少なくとも３つの候補点の中から全ての候補対を選択してもよいし、一部の候補対のみを選択してもよい。例えば、抽出機能３５３は、候補対における候補点間の距離について閾値を設け、閾値を満たす候補対のみを選択するようにしてもよい。ここで、抽出機能３５３は、選択された２つのマーカに応じて、候補点間の距離の閾値を変化させてもよい。例えば、マーカＤ４１及びマーカＤ４２が選択された場合、抽出機能３５３は、マーカＤ４１及びマーカＤ４３が選択された場合よりも小さい閾値を設け、閾値を下回る候補対のみを選択する。次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ４１から抽出する。
Next, the detection function 352 detects at least three candidate points on the X-ray image data I41. Next, the extraction function 353 selects a plurality of candidate pairs from among the at least three detected candidate points. Here, the extraction function 353 may select all candidate pairs from the at least three candidate points detected by the detection function 352, or may select only some candidate pairs. For example, the extraction function 353 may set a threshold value for the distance between candidate points in a candidate pair, and select only candidate pairs that satisfy the threshold value. Here, the extraction function 353 may change the threshold value of the distance between the candidate points depending on the two selected markers. For example, when markers D41 and D42 are selected, the extraction function 353 sets a smaller threshold than when markers D41 and D43 are selected, and selects only candidate pairs below the threshold. Next, the extraction function 353 extracts a plurality of regions corresponding to each of the plurality of selected candidate pairs from the X-ray image data I41.
次に、解析機能３５４は、医療デバイスの種類、及び、選択された２つのマーカに応じて学習済みモデルＭ１をモデル記憶回路３４から読み出す。例えば、医療デバイスの種類がガイドワイヤであり、遠位側に付された２つのマーカであるマーカＤ４１及びマーカＤ４２が選択された場合、解析機能３５４は、学習済みモデルＭ１１を読み出す。次に、解析機能３５４は、Ｘ線画像データＩ４１から抽出された複数の領域を学習済みモデルＭ１１に入力することによって複数の領域それぞれを解析する。
Next, the analysis function 354 reads out the trained model M1 from the model storage circuit 34 according to the type of medical device and the two selected markers. For example, when the type of medical device is a guide wire and two markers attached to the distal side, marker D41 and marker D42, are selected, the analysis function 354 reads out the learned model M11. Next, the analysis function 354 analyzes each of the plurality of regions by inputting the plurality of regions extracted from the X-ray image data I41 into the trained model M11.
そして、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中からマーカＤ４１及びマーカＤ４２に対応する対を特定する。また、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、Ｘ線画像データＩ４１に対する画像処理を実行する。例えば、画像処理機能３５７は、特定機能３５５が特定した対に応じて、Ｘ線画像データＩ４１の表示位置を補正する処理を実行する。この場合、画像処理機能３５７は、Ｘ線画像データＩ４１に現れたガイドワイヤのうち、マーカＤ４１及びマーカＤ４２が付された部分の表示位置を固定することができる。即ち、画像処理機能３５７は、ガイドワイヤ先端の表示位置を固定することができる。
Then, the specifying function 355 specifies a pair corresponding to the marker D41 and the marker D42 from among the plurality of candidate pairs based on the analysis result by the analysis function 354. Furthermore, the image processing function 357 executes image processing on the X-ray image data I41 based on the pair specified by the specific function 355. For example, the image processing function 357 executes a process of correcting the display position of the X-ray image data I41 according to the pair specified by the specific function 355. In this case, the image processing function 357 can fix the display position of the portion of the guidewire appearing in the X-ray image data I41 to which the marker D41 and the marker D42 are attached. That is, the image processing function 357 can fix the display position of the guide wire tip.
なお、学習済みモデルＭ１を用いるものとして説明したが、学習済みモデルＭ１に代えて学習済みモデルＭ２を用いる場合であってもよい。この場合、検出機能３５２は、Ｘ線画像データＩ４１上で少なくとも３つの候補点を検出し、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を、所定の画像サイズで抽出する。ここで、検出機能３５２は、抽出する領域の画像サイズを、選択された２つのマーカに応じて変化させることができる。例えば、マーカＤ４１及びマーカＤ４２が選択された場合、検出機能３５２は、マーカＤ４１及びマーカＤ４３が選択された場合よりも小さい画像サイズで、複数の領域を抽出する。次に、解析機能３５４は、医療デバイスの種類、及び、選択された２つのマーカに応じて学習済みモデルＭ２をモデル記憶回路３４から読み出し、複数の領域を学習済みモデルＭ２に入力することによって複数の領域それぞれを解析する。そして、特定機能３５５は、複数の候補対の中から、選択された２つのマーカに対応する対を特定する。
Although the description has been made assuming that the trained model M1 is used, the trained model M2 may be used instead of the trained model M1. In this case, the detection function 352 detects at least three candidate points on the X-ray image data I41, and the extraction function 353 selects a plurality of candidate pairs from among the detected at least three candidate points. A plurality of regions corresponding to each of the plurality of candidate pairs are extracted with a predetermined image size. Here, the detection function 352 can change the image size of the area to be extracted depending on the two selected markers. For example, when markers D41 and D42 are selected, the detection function 352 extracts multiple regions with a smaller image size than when markers D41 and D43 are selected. Next, the analysis function 354 reads out the learned model M2 from the model storage circuit 34 according to the type of medical device and the two selected markers, and inputs the plurality of regions into the learned model M2 to create a plurality of trained models M2. Analyze each area. Then, the specifying function 355 specifies a pair corresponding to the selected two markers from among the plurality of candidate pairs.
また、上述した実施形態では、学習済みモデルＭ１又は学習済みモデルＭ２を用いて、抽出機能３５３が抽出した複数の領域それぞれを解析するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。
Furthermore, in the embodiment described above, each of the plurality of regions extracted by the extraction function 353 is analyzed using the trained model M1 or the trained model M2. However, embodiments are not limited thereto.
例えば、解析機能３５４は、機械学習以外の手法で、抽出機能３５３が抽出した複数の領域それぞれを解析してもよい。一例を挙げると、まず、取得機能３５１は、Ｘ線診断装置１０から、Ｘ線画像データＩ２１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ２１上で少なくとも３つの候補点を検出する。次に、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１から抽出する。例えば、抽出機能３５３は、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２１１、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２１２、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２１３、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２１４、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２１５及び候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２１６の６つの領域を、Ｘ線画像データＩ２１から抽出する。
For example, the analysis function 354 may analyze each of the plurality of regions extracted by the extraction function 353 using a method other than machine learning. To give an example, first, the acquisition function 351 acquires the X-ray image data I21 from the X-ray diagnostic apparatus 10. Next, the detection function 352 detects at least three candidate points on the X-ray image data I21. Next, the extraction function 353 selects a plurality of candidate pairs from among the detected at least three candidate points, and extracts a plurality of regions corresponding to each of the selected candidate pairs from the X-ray image data I21. For example, the extraction function 353 extracts a region I211 corresponding to the candidate pair (C11, C12), a region I212 corresponding to the candidate pair (C11, C13), a region I213 corresponding to the candidate pair (C11, C14), a region I213 corresponding to the candidate pair (C12, , C13), a region I215 corresponding to the candidate pair (C12, C14), and a region I216 corresponding to the candidate pair (C13, C14) are extracted from the X-ray image data I21.
次に、解析機能３５４は、学習済みモデルＭ１及び学習済みモデルＭ２を用いずに、抽出された６つの領域それぞれを解析する。例えば、解析機能３５４は、領域Ｉ２１１～領域Ｉ２１６のそれぞれについて、候補点間の領域における信号を解析する。例えば、図５Ａに示したように、マーカＤ２１とマーカＤ２２との間は、ガイドワイヤＤ２４で接続されている。即ち、正解の候補対においては、候補点間の領域に、ガイドワイヤＤ２４に基づく信号が存在することとなる。そこで、解析機能３５４は、領域Ｉ２１１～領域Ｉ２１６のそれぞれについて候補点間の領域における信号を解析し、線状信号の強度や高周波成分の強度を算出する。そして、特定機能３５５は、解析機能３５４による解析結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、候補点間の領域において線状信号の強度や高周波成分の強度が最も大きかった候補対を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。
Next, the analysis function 354 analyzes each of the six extracted regions without using the learned model M1 and the learned model M2. For example, the analysis function 354 analyzes signals in regions between candidate points for each of regions I211 to I216. For example, as shown in FIG. 5A, the marker D21 and the marker D22 are connected by a guide wire D24. That is, in the correct candidate pair, a signal based on the guide wire D24 exists in the region between the candidate points. Therefore, the analysis function 354 analyzes the signal in the area between the candidate points for each of the areas I211 to I216, and calculates the intensity of the linear signal and the intensity of the high frequency component. Then, the identification function 355 identifies a pair corresponding to the marker D21 and the marker D22 based on the analysis result by the analysis function 354. For example, the specifying function 355 specifies a candidate pair in which the strength of the linear signal or the strength of the high frequency component is the highest in the region between the candidate points as the pair corresponding to the marker D21 and the marker D22.
また、上述した実施形態では、Ｘ線診断装置１０がＸ線画像データを収集するごとに取得機能３５１がＸ線画像データを順次取得し、取得機能３５１がＸ線画像データを取得するごとに特定機能３５５が対を順次特定するものとして説明した。即ち、上述した実施形態では、収集される時系列の複数のＸ線画像データをリアルタイムに処理するものとして説明した。しかしながら、実施形態はこれに限定されるものではなく、ポストプロセスで処理してもよい。
Furthermore, in the embodiment described above, each time the X-ray diagnostic apparatus 10 collects X-ray image data, the acquisition function 351 sequentially acquires X-ray image data, and each time the acquisition function 351 acquires X-ray image data, Function 355 has been described as sequentially identifying pairs. That is, in the embodiment described above, the multiple X-ray image data collected in a time series are processed in real time. However, the embodiments are not limited to this, and may be processed by post-processing.
一例を挙げると、医用画像処理装置３０は、図１６に示すように、入力インターフェース３１、ディスプレイ３２、記憶回路３３、モデル記憶回路３４及び処理回路３５に加えて、画像記憶回路３６を更に備える。画像記憶回路３６は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。なお、画像記憶回路３６は、画像記憶部の一例である。また、図１６は、第４の実施形態に係る医用画像処理装置３０の構成の一例を示すブロック図である。
For example, as shown in FIG. 16, the medical image processing apparatus 30 further includes an image storage circuit 36 in addition to an input interface 31, a display 32, a storage circuit 33, a model storage circuit 34, and a processing circuit 35. The image storage circuit 36 is realized by, for example, a RAM, a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like. Note that the image storage circuit 36 is an example of an image storage section. Further, FIG. 16 is a block diagram showing an example of the configuration of a medical image processing apparatus 30 according to the fourth embodiment.
例えば、取得機能３５１は、Ｘ線診断装置１０によって取集された時系列の複数のＸ線画像データを取得し、画像記憶回路３６に記憶させる。次に、検出機能３５２は、画像記憶回路３６から複数のＸ線画像データを読み出す。例えば、検出機能３５２は、操作者による入力操作をトリガとして、画像記憶回路３６から複数のＸ線画像データを読み出す。
For example, the acquisition function 351 acquires a plurality of time-series X-ray image data collected by the X-ray diagnostic apparatus 10 and stores it in the image storage circuit 36. Next, the detection function 352 reads a plurality of X-ray image data from the image storage circuit 36. For example, the detection function 352 reads out a plurality of X-ray image data from the image storage circuit 36 using an input operation by an operator as a trigger.
次に、検出機能３５２は、読み出した複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点を検出する。また、抽出機能３５３は、複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を抽出する。また、解析機能３５４は、複数のＸ線画像データのそれぞれについて、抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析機能３５４による解析結果に基づいて、医療デバイスに付されたマーカに対応する対を複数のＸ線画像データのそれぞれについて特定する。
Next, the detection function 352 detects at least three candidate points for each of the plurality of read X-ray image data. Further, the extraction function 353 selects a plurality of candidate pairs from at least three candidate points for each of the plurality of X-ray image data, and extracts a plurality of regions corresponding to each of the selected plurality of candidate pairs. Furthermore, the analysis function 354 analyzes each of the plurality of extracted regions for each of the plurality of X-ray image data. Further, the specifying function 355 specifies, for each of the plurality of X-ray image data, a pair corresponding to a marker attached to a medical device based on the analysis result by the analysis function 354.
或いは、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、読み出した複数のＸ線画像データのそれぞれについて、複数の候補点を検出する。また、検出機能３５２は、パターンマッチングを実行することによって、読み出した複数のＸ線画像データのそれぞれについて、複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、医療デバイスに付されたマーカに対応する対を複数のＸ線画像データのそれぞれについて特定する。
Alternatively, the detection function 352 detects a plurality of candidate points for each of the plurality of read X-ray image data by inputting the X-ray image data into the learned model M3 or the learned model M4. Furthermore, the detection function 352 detects a plurality of candidate points for each of the plurality of read X-ray image data by performing pattern matching. Further, the specifying function 355 specifies, for each of the plurality of X-ray image data, a pair corresponding to the marker attached to the medical device, based on the detection result by the detecting function 352.
そして、画像処理機能３５７は、特定機能３５５が特定した一又は複数の対に基づいて、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、制御機能３５８は、画像処理後の複数のＸ線画像データをディスプレイ３２に表示させる。例えば、制御機能３５８は、画像処理後の複数のＸ線画像データを動画像として表示させる。
Then, the image processing function 357 performs image processing on each of the plurality of X-ray image data based on one or more pairs specified by the specific function 355. Further, the control function 358 causes the display 32 to display the plurality of X-ray image data after image processing. For example, the control function 358 displays a plurality of X-ray image data after image processing as a moving image.
また、上述した実施形態では、医用画像処理装置３０における処理回路３５が、Ｘ線画像データ上でマーカを特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０における処理回路１１０が、Ｘ線画像データ上でマーカを特定する場合であってもよい。
Furthermore, in the embodiment described above, a case has been described in which the processing circuit 35 in the medical image processing apparatus 30 specifies a marker on X-ray image data. However, embodiments are not limited thereto. For example, the processing circuit 110 in the X-ray diagnostic apparatus 10 may identify a marker on the X-ray image data.
例えば、処理回路１１０は、図１７に示すように、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃに加えて、検出機能１１０ｄ、抽出機能１１０ｅ、解析機能１１０ｆ、特定機能１１０ｇ、モデル生成機能１１０ｈ及び画像処理機能１１０ｉを更に有する。ここで、検出機能１１０ｄは、検出機能３５２に対応した機能である。また、抽出機能１１０ｅは、抽出機能３５３に対応した機能である。また、解析機能１１０ｆは、解析機能３５４に対応した機能である。また、特定機能１１０ｇは、特定機能３５５に対応した機能である。また、モデル生成機能１１０ｈは、モデル生成機能３５６に対応した機能である。また、画像処理機能１１０ｉは、画像処理機能３５７に対応した機能である。また、Ｘ線診断装置１０は、図１７に示すように、モデル記憶回路１１１及び画像記憶回路１１２を更に備える。なお、図１７は、第４の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。
For example, as shown in FIG. 17, in addition to a collection function 110a, a display control function 110b, and a transmission function 110c, the processing circuit 110 includes a detection function 110d, an extraction function 110e, an analysis function 110f, a specific function 110g, and a model generation function 110h. and an image processing function 110i. Here, the detection function 110d is a function corresponding to the detection function 352. Further, the extraction function 110e is a function corresponding to the extraction function 353. Furthermore, the analysis function 110f is a function corresponding to the analysis function 354. Further, the specific function 110g is a function corresponding to the specific function 355. Further, the model generation function 110h is a function corresponding to the model generation function 356. Further, the image processing function 110i is a function corresponding to the image processing function 357. Furthermore, the X-ray diagnostic apparatus 10 further includes a model storage circuit 111 and an image storage circuit 112, as shown in FIG. Note that FIG. 17 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 10 according to the fourth embodiment.
一例を挙げると、モデル生成機能１１０ｈは、学習済みモデルＭ１又は学習済みモデルＭ２を事前に生成してモデル記憶回路１１１に記憶させる。次に、収集機能１１０ａは、時系列の複数のＸ線画像データを収集する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、少なくとも３つの候補点を順次検出する。また、抽出機能１１０ｅは、検出機能１１０ｄが少なくとも３つの候補点を検出するごとに複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を順次抽出する。また、解析機能１１０ｆは、抽出機能１１０ｅが複数の領域を抽出するごとに、学習済みモデルＭ１又は学習済みモデルＭ２に複数の領域を入力することによって、複数の領域それぞれを順次解析する。また、特定機能１１０ｇは、解析機能１１０ｆが複数の領域それぞれを解析するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能１１０ｉは、特定機能１１０ｇが対を特定するごとに、Ｘ線画像データに対する画像処理を順次実行する。また、表示制御機能１１０ｂは、画像処理機能１１０ｉが画像処理を実行するごとに、画像処理後のＸ線画像データをディスプレイ１０８に順次表示させる。
For example, the model generation function 110h generates a trained model M1 or a trained model M2 in advance and stores it in the model storage circuit 111. Next, the collection function 110a collects a plurality of time-series X-ray image data. Furthermore, the detection function 110d sequentially detects at least three candidate points every time the collection function 110a collects X-ray image data. Further, the extraction function 110e selects a plurality of candidate pairs each time the detection function 110d detects at least three candidate points, and sequentially extracts a plurality of regions corresponding to each of the selected candidate pairs. Moreover, the analysis function 110f sequentially analyzes each of the plurality of regions by inputting the plurality of regions into the learned model M1 or the learned model M2 each time the extraction function 110e extracts a plurality of regions. Further, the specifying function 110g sequentially specifies one or more pairs from among the plurality of candidate pairs each time the analysis function 110f analyzes each of the plurality of regions. Further, the image processing function 110i sequentially performs image processing on the X-ray image data each time the specific function 110g specifies a pair. Further, the display control function 110b sequentially displays the X-ray image data after image processing on the display 108 every time the image processing function 110i executes image processing.
或いは、収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集した複数のＸ線画像データを画像記憶回路１１２に記憶させる。次に、検出機能１１０ｄは、画像記憶回路１１２から複数のＸ線画像データを読み出し、読み出した複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点を検出する。また、抽出機能１１０ｅは、複数のＸ線画像データのそれぞれについて複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を抽出する。また、解析機能１１０ｆは、複数のＸ線画像データのそれぞれについて、学習済みモデルＭ１又は学習済みモデルＭ２に複数の領域を入力することによって、複数の領域それぞれを解析する。また、特定機能１１０ｇは、複数のＸ線画像データのそれぞれについて、複数の候補対の中から一又は複数の対を特定する。また、画像処理機能１１０ｉは、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、表示制御機能１１０ｂは、画像処理後の複数のＸ線画像データをディスプレイ１０８に表示させる。
Alternatively, the collection function 110a collects a plurality of time-series X-ray image data and stores the collected plurality of X-ray image data in the image storage circuit 112. Next, the detection function 110d reads a plurality of X-ray image data from the image storage circuit 112, and detects at least three candidate points for each of the plurality of read X-ray image data. Further, the extraction function 110e selects a plurality of candidate pairs for each of the plurality of X-ray image data, and extracts a plurality of regions corresponding to each of the selected plurality of candidate pairs. Furthermore, the analysis function 110f analyzes each of the plurality of regions by inputting the plurality of regions to the learned model M1 or the learned model M2 for each of the plurality of X-ray image data. Further, the specifying function 110g specifies one or more pairs from among the plurality of candidate pairs for each of the plurality of X-ray image data. Further, the image processing function 110i executes image processing on each of the plurality of X-ray image data. Furthermore, the display control function 110b causes the display 108 to display the plurality of X-ray image data after image processing.
別の例を挙げると、モデル生成機能１１０ｈは、学習済みモデルＭ３又は学習済みモデルＭ４を事前に生成してモデル記憶回路１１１に記憶させる。次に、収集機能１１０ａは、時系列の複数のＸ線画像データを収集する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、複数の候補点を順次検出する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、Ｘ線画像データについてパターンマッチングを実行することによって、複数の候補点を順次検出する。また、特定機能１１０ｇは、検出機能１１０ｄが複数の候補点を検出するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能１１０ｉは、特定機能１１０ｇが対を特定するごとに、Ｘ線画像データに対する画像処理を実行する。また、表示制御機能１１０ｂは、画像処理機能１１０ｉが画像処理を実行するごとに、画像処理後のＸ線画像データをディスプレイ１０８に順次表示させる。
To give another example, the model generation function 110h generates the learned model M3 or the learned model M4 in advance and stores it in the model storage circuit 111. Next, the collection function 110a collects a plurality of time-series X-ray image data. Furthermore, the detection function 110d sequentially detects a plurality of candidate points by inputting the X-ray image data to the learned model M3 or the learned model M4 every time the collection function 110a collects the X-ray image data. Furthermore, the detection function 110d sequentially detects a plurality of candidate points by performing pattern matching on the X-ray image data every time the collection function 110a collects X-ray image data. Further, the specifying function 110g sequentially specifies one or more pairs from among the plurality of candidate pairs each time the detection function 110d detects a plurality of candidate points. Furthermore, the image processing function 110i executes image processing on the X-ray image data every time the specifying function 110g specifies a pair. Further, the display control function 110b sequentially displays the X-ray image data after image processing on the display 108 every time the image processing function 110i executes image processing.
或いは、収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集した複数のＸ線画像データを画像記憶回路１１２に記憶させる。次に、検出機能１１０ｄは、画像記憶回路１１２から複数のＸ線画像データを読み出し、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、読み出した複数のＸ線画像データのそれぞれについて複数の候補点を検出する。また、検出機能１１０ｄは、パターンマッチングを実行することによって、読み出した複数のＸ線画像データのそれぞれについて複数の候補点を検出する。また、特定機能１１０ｇは、検出機能１１０ｄによる検出結果に基づいて、複数のＸ線画像データのそれぞれについて複数の候補対の中から一又は複数の対を特定する。また、画像処理機能１１０ｉは、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、表示制御機能１１０ｂは、画像処理後の複数のＸ線画像データをディスプレイ１０８に表示させる。
Alternatively, the collection function 110a collects a plurality of time-series X-ray image data and stores the collected plurality of X-ray image data in the image storage circuit 112. Next, the detection function 110d reads out a plurality of X-ray image data from the image storage circuit 112, and inputs the X-ray image data into the learned model M3 or the learned model M4. Detect multiple candidate points for each of the points. Furthermore, the detection function 110d detects a plurality of candidate points for each of the plurality of read X-ray image data by performing pattern matching. Further, the specifying function 110g specifies one or more pairs from among the plurality of candidate pairs for each of the plurality of X-ray image data, based on the detection result by the detection function 110d. Further, the image processing function 110i executes image processing on each of the plurality of X-ray image data. Furthermore, the display control function 110b causes the display 108 to display the plurality of X-ray image data after image processing.
第１～第４の実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
Each component of each device according to the first to fourth embodiments is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings. In other words, the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured. Furthermore, all or any part of each processing function performed by each device can be realized by a CPU and a program that is analyzed and executed by the CPU, or can be realized as hardware using wired logic.
また、第１～第４の実施形態で説明した医用画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
Further, the medical image processing methods described in the first to fourth embodiments can be realized by executing a medical image processing program prepared in advance on a computer such as a personal computer or a workstation. This medical image processing program can be distributed via a network such as the Internet. Further, this medical image processing program is recorded on a computer-readable non-transitory recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO, DVD, etc., and is readable from the recording medium by the computer. It can also be executed by
以上説明した少なくとも一つの実施形態によれば、医用画像データ上でのマーカ特定の精度を向上させることができる。
According to at least one embodiment described above, it is possible to improve the accuracy of marker identification on medical image data.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.
