JP2020044266A - Medical information processing device, x-ray diagnostic device and medical information processing program - Google Patents
Medical information processing device, x-ray diagnostic device and medical information processing program Download PDFInfo
- Publication number
- JP2020044266A JP2020044266A JP2018177260A JP2018177260A JP2020044266A JP 2020044266 A JP2020044266 A JP 2020044266A JP 2018177260 A JP2018177260 A JP 2018177260A JP 2018177260 A JP2018177260 A JP 2018177260A JP 2020044266 A JP2020044266 A JP 2020044266A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic probe
- ray
- image data
- ray image
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 146
- 239000000523 sample Substances 0.000 claims abstract description 457
- 238000003384 imaging method Methods 0.000 claims description 81
- 238000002604 ultrasonography Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 description 432
- 238000012545 processing Methods 0.000 description 165
- 230000015654 memory Effects 0.000 description 105
- 230000005540 biological transmission Effects 0.000 description 44
- 238000009877 rendering Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000013175 transesophageal echocardiography Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
Images
Abstract
Description
本発明の実施形態は、医用情報処理装置、Ｘ線診断装置及び医用情報処理プログラムに関する。 Embodiments of the present invention relate to a medical information processing apparatus, an X-ray diagnostic apparatus, and a medical information processing program.
Ｘ線画像と超音波画像とは互いに異なる性質を有することから、１つの検査において併用される場合がある。例えば、超音波画像は、Ｘ線画像と比較して、軟組織をより明瞭に描出することが可能である。また、Ｘ線画像は、超音波画像と比較して、高解像度かつ高フレームレートで収集することが可能である。 Since an X-ray image and an ultrasonic image have different properties from each other, they may be used together in one examination. For example, an ultrasound image can depict soft tissue more clearly than an X-ray image. Further, an X-ray image can be acquired at a higher resolution and a higher frame rate than an ultrasonic image.
ここで、Ｘ線画像と超音波画像とを位置合わせして表示することにより、医師等の操作者は、Ｘ線画像と超音波画像とをより効率的に利用することができる。しかしながら、Ｘ線画像と超音波画像との性質の違いから、各画像に描出された対象物を基準として位置合わせを行なうことは容易でない。例えば、超音波画像には軟組織が明瞭に描出されるものの、Ｘ線画像には軟組織が明瞭には描出されないため、軟組織を基準として位置合わせを行なうことは容易でない。 Here, by aligning and displaying the X-ray image and the ultrasonic image, an operator such as a doctor can use the X-ray image and the ultrasonic image more efficiently. However, due to the difference in properties between the X-ray image and the ultrasonic image, it is not easy to perform positioning with reference to an object depicted in each image. For example, although soft tissue is clearly depicted in an ultrasonic image, soft tissue is not clearly depicted in an X-ray image, so that it is not easy to perform positioning with reference to the soft tissue.
本発明が解決しようとする課題は、Ｘ線画像と超音波画像との位置合わせを可能とすることである。 The problem to be solved by the present invention is to enable alignment between an X-ray image and an ultrasonic image.
実施形態の医用情報処理装置は、第１の特定部と、第２の特定部とを備える。第１の特定部は、超音波プローブの位置を特定する。第２の特定部は、前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する。 The medical information processing apparatus according to the embodiment includes a first specifying unit and a second specifying unit. The first specifying unit specifies a position of the ultrasonic probe. The second specifying unit is configured to determine a position at the position specified by the first specifying unit based on three-dimensional data indicating a structure of the ultrasonic probe and a two-dimensional X-ray image obtained by imaging the ultrasonic probe. The direction of the ultrasonic probe is specified.
以下、図面を参照して、医用情報処理装置、Ｘ線診断装置及び医用情報処理プログラムの実施形態について詳細に説明する。 Hereinafter, embodiments of a medical information processing apparatus, an X-ray diagnostic apparatus, and a medical information processing program will be described in detail with reference to the drawings.
（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、Ｘ線診断装置１０、超音波診断装置２０、画像保管装置３０及び医用情報処理装置４０を含んだ医用情報処理システム１を一例として説明する。
(First embodiment)
First, a first embodiment will be described. In the first embodiment, a medical information processing system 1 including an X-ray
図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、Ｘ線診断装置１０と、超音波診断装置２０と、画像保管装置３０と、医用情報処理装置４０とを備える。Ｘ線診断装置１０、超音波診断装置２０、画像保管装置３０及び医用情報処理装置４０は、ネットワークＮＷを介して相互に接続される。
FIG. 1 is a block diagram illustrating an example of a configuration of the medical information processing system 1 according to the first embodiment. As shown in FIG. 1, the medical information processing system 1 according to the first embodiment includes an X-ray
Ｘ線診断装置１０は、被検体からＸ線画像を収集する装置である。例えば、Ｘ線診断装置１０は、被検体からＸ線画像を収集し、収集したＸ線画像を画像保管装置３０及び医用情報処理装置４０に送信する。なお、Ｘ線診断装置１０の構成については後述する。また、超音波診断装置２０は、被検体から超音波画像を収集する装置である。例えば、超音波診断装置２０は、被検体から超音波画像を収集し、収集した超音波画像を画像保管装置３０及び医用情報処理装置４０に送信する。なお、超音波診断装置２０の構成については後述する。また、以下では、データとして処理される画像については、画像データとも記載する。
The X-ray
画像保管装置３０は、Ｘ線診断装置１０や超音波診断装置２０等の医用画像診断装置によって収集された医用画像データを保管する装置である。例えば、画像保管装置３０は、ネットワークＮＷを介してＸ線診断装置１０からＸ線画像データを取得し、取得したＸ線画像データを装置内又は装置外に設けられたメモリに記憶させる。また、例えば、画像保管装置３０は、ネットワークＮＷを介して超音波診断装置２０から超音波画像データを取得し、取得した超音波画像データを装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置３０は、サーバ装置等のコンピュータ機器によって実現される。
The image storage device 30 is a device that stores medical image data collected by a medical image diagnostic device such as the X-ray
医用情報処理装置４０は、ネットワークＮＷを介して医用画像データを取得し、取得した医用画像データを用いた種々の処理を実行する。例えば、医用情報処理装置４０は、ネットワークＮＷを介して、Ｘ線診断装置１０又は画像保管装置３０からＸ線画像データを取得する。また、例えば、医用情報処理装置４０は、ネットワークＮＷを介して超音波診断装置２０又は画像保管装置３０から超音波画像データを取得する。また、例えば、医用情報処理装置４０は、Ｘ線画像データと超音波画像データとを位置合わせして操作者に提示する。具体的には、医用情報処理装置４０は、超音波診断装置２０が有する超音波プローブ２０１の位置及び向きを特定することにより、Ｘ線画像データと超音波画像データとを位置合わせして操作者に提示する。なお、医用情報処理装置４０の構成については後述する。例えば、医用情報処理装置４０は、ワークステーション等のコンピュータ機器によって実現される。
The medical information processing apparatus 40 acquires medical image data via the network NW, and executes various processes using the acquired medical image data. For example, the medical information processing apparatus 40 acquires X-ray image data from the X-ray
なお、ネットワークＮＷを介してＸ線診断装置１０及び超音波診断装置２０と接続可能であれば、医用情報処理装置４０が設置される場所は任意である。例えば、医用情報処理装置４０は、Ｘ線診断装置１０及び超音波診断装置２０と異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。
The location where the medical information processing apparatus 40 is installed is arbitrary as long as it can be connected to the X-ray
次に、図２を用いて、Ｘ線診断装置１０について説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、メモリ１０７と、ディスプレイ１０８と、入力インターフェース１０９と、処理回路１１０とを備える。
Next, the X-ray
Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
The X-ray high voltage device 101 supplies a high voltage to the
Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。
The
Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。
The
Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。
The collimator in the
Ｘ線絞り器１０３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。
The filter in the
例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。
For example, the
天板１０４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。
The
Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
The C-
Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
The
メモリ１０７は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ１０７は、処理回路１１０によって収集されたＸ線画像データを受け付けて記憶する。また、メモリ１０７は、処理回路１１０によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、メモリ１０７は、Ｘ線診断装置１０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
The memory 107 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, a hard disk, an optical disk, or the like. For example, the memory 107 receives and stores the X-ray image data collected by the processing circuit 110. The memory 107 stores programs corresponding to various functions read and executed by the processing circuit 110. The memory 107 may be realized by a server group (cloud) connected to the X-ray
ディスプレイ１０８は、各種の情報を表示する。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、各種のＸ線画像を表示する。例えば、ディスプレイ１０８は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。なお、ディスプレイ１０８はデスクトップ型でもよいし、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。 The display 108 displays various information. For example, the display 108 displays a GUI (Graphical User Interface) for receiving an operator's instruction and various X-ray images under the control of the processing circuit 110. For example, the display 108 is a liquid crystal display or a CRT (Cathode Ray Tube) display. Note that the display 108 may be a desktop type, or may be configured by a tablet terminal or the like that can wirelessly communicate with the processing circuit 110.
入力インターフェース１０９は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。例えば、入力インターフェース１０９は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース１０９は、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１０９は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１０へ出力する電気信号の処理回路も入力インターフェース１０９の例に含まれる。
The
処理回路１１０は、制御機能１１０ａ、収集機能１１０ｂ、送信機能１１０ｃ、受信機能１１０ｄ及び表示制御機能１１０ｅを実行することで、Ｘ線診断装置１０全体の動作を制御する。
The processing circuit 110 controls the entire operation of the X-ray
例えば、処理回路１１０は、メモリ１０７から制御機能１１０ａに相当するプログラムを読み出して実行することにより、入力インターフェース１０９を介して操作者から受け付けた入力操作に基づいて、処理回路１１０の各種機能を制御する。また、例えば、処理回路１１０は、メモリ１０７から収集機能１１０ｂに相当するプログラムを読み出して実行することにより、２次元のＸ線画像データを収集する。
For example, the processing circuit 110 controls the various functions of the processing circuit 110 based on an input operation received from the operator via the
例えば、収集機能１１０ｂは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。また、例えば、収集機能１１０ｂは、Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６の動作を制御することにより、Ｘ線の照射範囲やＸ線の線量の分布、Ｘ線の照射角度等を制御する。なお、以下では、Ｘ線診断装置１０において撮像に用いられる機構（Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６）を、撮像部とも記載する。
For example, the acquisition function 110b controls the X-ray high-voltage device 101 and adjusts the voltage supplied to the
具体的には、収集機能１１０ｂは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ｂは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ｂは、Ｃアーム１０５を回転させたり、移動させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ｂは、天板１０４を移動させたり、傾斜させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。
Specifically, the collection function 110b controls the operation of the
また、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データを生成し、生成したＸ線画像データをメモリ１０７に格納する。ここで、収集機能１１０ｂは、メモリ１０７が記憶するＸ線画像データに対して各種画像処理を行なってもよい。例えば、収集機能１１０ｂは、Ｘ線画像データに対して、画像処理フィルタによるノイズ低減処理や、散乱線補正を実行する。
The acquisition function 110b generates X-ray image data based on the detection signal received from the
ここで、収集機能１１０ｂは、被検体Ｐを超音波走査する超音波プローブ２０１を撮像した２次元のＸ線画像データを収集する。例えば、収集機能１１０ｂは、被検体Ｐ内に挿入されたＴＥＥ（transesophageal echocardiography：経食道心エコー用超音波）プローブが撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御して、Ｘ線画像データを収集する。なお、超音波プローブ２０１については後述する。
Here, the collection function 110b collects two-dimensional X-ray image data obtained by imaging the
また、処理回路１１０は、メモリ１０７から送信機能１１０ｃに相当するプログラムを読み出して実行することにより、Ｘ線画像データを画像保管装置３０及び医用情報処理装置４０に送信する。また、処理回路１１０は、メモリ１０７から受信機能１１０ｄに相当するプログラムを読み出して実行することにより、医用情報処理装置４０から超音波プローブ２０１の位置及び向きを受信する。なお、超音波プローブ２０１の位置及び向きについては後述する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データを受信する。
In addition, the processing circuit 110 transmits the X-ray image data to the image storage device 30 and the medical information processing device 40 by reading and executing a program corresponding to the transmission function 110c from the memory 107. Further, the processing circuit 110 reads the program corresponding to the reception function 110d from the memory 107 and executes the program, thereby receiving the position and the orientation of the
また、処理回路１１０は、メモリ１０７から表示制御機能１１０ｅに相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ２０３に表示させる。例えば、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データ上に、超音波診断装置２０から受信した超音波画像データを表示させる。なお、超音波プローブ２０１の位置及び向きに基づく表示画像については後述する。
Further, the processing circuit 110 reads out a program corresponding to the display control function 110e from the memory 107 and executes the program, so that a GUI for receiving various instructions and various settings from the operator and various image data are displayed on the
図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１０７へ記憶されている。処理回路１１０は、メモリ１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。
In the X-ray
なお、図２においては、制御機能１１０ａ、収集機能１１０ｂ、送信機能１１０ｃ、受信機能１１０ｄ及び表示制御機能１１０ｅの各処理機能が単一の処理回路１１０によって実現される場合を示したが、実施形態はこれに限られるものではない。例えば、処理回路１１０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。 FIG. 2 illustrates a case where each processing function of the control function 110a, the collection function 110b, the transmission function 110c, the reception function 110d, and the display control function 110e is realized by a single processing circuit 110. Is not limited to this. For example, the processing circuit 110 may be configured by combining a plurality of independent processors, and each processor may execute each program to realize each processing function. Further, each processing function of the processing circuit 110 may be implemented by being appropriately distributed or integrated in a single or a plurality of processing circuits.
次に、図３を用いて、超音波診断装置２０について説明する。図３は、第１の実施形態に係る超音波診断装置２０の構成の一例を示すブロック図である。図３に示すように、超音波診断装置２０は、装置本体２００と、超音波プローブ２０１と、入力インターフェース２０２と、ディスプレイ２０３とを備える。また、図３に示すように、超音波プローブ２０１、入力インターフェース２０２及びディスプレイ２０３は、それぞれ装置本体２００に接続される。なお、図３は、第１の実施形態に係る超音波診断装置２０の構成例を示すブロック図である。
Next, the ultrasonic
超音波プローブ２０１は、複数の振動素子（圧電振動子）を有する。超音波プローブ２０１は、被検体Ｐの体表面に接触され、超音波の送受信（超音波走査）を行う。複数の振動素子は、後述する送信回路２１０から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐ内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号（受信エコー）として複数の振動素子にて受信される。超音波プローブ２０１は、複数の振動素子にて受信した反射波信号を受信回路２２０へ送る。
The
なお、超音波プローブ２０１は、マトリクス状（格子状）に配列された複数の振動素子を有する２次元超音波プローブ（２Ｄアレイプローブ）でもよいし、所定方向に１次元で配列された複数の振動素子を有する１次元超音波プローブ（１Ｄアレイプローブ）でもよい。例えば、超音波診断装置２０を備える病院等は、形状や送信する超音波の周波数が異なる複数種類の超音波プローブ２０１を備える。一例を挙げると、病院等は、リニアプローブやコンベックスプローブ、セクタプローブ、体腔内プローブ等の各種の超音波プローブ２０１を備える。ここで、体表血管や甲状腺の検査を行なう場合、操作者は、例えば、リニアプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、腹部の検査を行なう場合、操作者は、コンベックスプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、心臓の検査を行なう場合、操作者は、セクタプローブを装置本体２００に接続して、超音波走査を実行する。また、例えば、経食道で心臓の検査を行なう場合、操作者は、ＴＥＥプローブ等の体腔内プローブを装置本体２００に接続して、超音波走査を実行する。以下では、超音波プローブ２０１がＴＥＥプローブである場合を一例として説明する。
The
入力インターフェース２０２は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路２６０に出力する。例えば、入力インターフェース２０２は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース２０２は、処理回路２６０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース２０２は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置本体２００とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路２６０へ出力する電気信号の処理回路も入力インターフェース２０２の例に含まれる。
The input interface 202 receives various input operations from the operator, converts the received input operations into electric signals, and outputs the electric signals to the processing circuit 260. For example, the input interface 202 includes a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad for performing an input operation by touching an operation surface, a touch screen in which a display screen and a touchpad are integrated, and an optical sensor. It is realized by the non-contact input circuit, the voice input circuit and the like used. Note that the input interface 202 may be configured by a tablet terminal or the like that can wirelessly communicate with the processing circuit 260. Further, the input interface 202 is not limited to one having physical operation components such as a mouse and a keyboard. For example, an electric signal processing circuit that receives an electric signal corresponding to an input operation from an external input device provided separately from the device
ディスプレイ２０３は、超音波診断装置２０の操作者が入力インターフェース２０２を用いて各種設定要求を入力するためのＧＵＩを表示したり、装置本体２００において生成された超音波画像データ等を表示したりする。例えば、ディスプレイ２０３は、液晶ディスプレイやＣＲＴディスプレイ等によって構成される。ディスプレイ２０３は、デスクトップ型でもよいし、処理回路２６０と無線通信可能なタブレット端末等で構成されることにしても構わない。
The
装置本体２００は、超音波プローブ２０１が受信した反射波信号に基づいて、超音波画像データを生成する。例えば、装置本体２００は、図３に示すように、送信回路２１０と、受信回路２２０と、Ｂモード処理回路２３０と、ドプラ処理回路２４０と、メモリ２５０と、処理回路２６０とを有する。送信回路２１０、受信回路２２０、Ｂモード処理回路２３０、ドプラ処理回路２４０、メモリ２５０及び処理回路２６０は、互いに通信可能に接続される。
The apparatus
送信回路２１０は、パルサ回路等を有する。パルサ回路は、所定のレート周波数（ＰＲＦ：Pulse Repetition Frequency）で、送信超音波を形成するためのレートパルスを繰り返し発生し、発生したレートパルスを超音波プローブ２０１に出力する。また、パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ２０１に駆動信号（駆動パルス）を印加する。また、送信回路２１０は、処理回路２６０による制御を受けて、パルサ回路が出力する駆動信号の振幅の値を出力する。また、送信回路２１０は、処理回路２６０による制御を受けて、超音波プローブ２０１に、超音波プローブ２０１から送信される超音波に対する遅延量を送信する。
The transmission circuit 210 has a pulsar circuit and the like. The pulser circuit repeatedly generates a rate pulse for forming a transmission ultrasonic wave at a predetermined rate frequency (PRF: Pulse Repetition Frequency), and outputs the generated rate pulse to the
受信回路２２０は、Ａ／Ｄ変換器及び受信ビームフォーマを有する。例えば、超音波プローブ２０１から反射波信号を受信した後、Ａ／Ｄ変換器は、反射波信号をデジタルデータに変換する。次に、受信ビームフォーマは、これらの各チャンネルからのデジタルデータに対して整相加算処理を行なって、反射波データを生成する。そして、受信ビームフォーマは、生成した反射波データをＢモード処理回路２３０及びドプラ処理回路２４０に送信する。
The receiving
Ｂモード処理回路２３０は、受信回路２２０から出力された反射波データを受信し、受信した反射波データに対して対数増幅、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。
The B-
ドプラ処理回路２４０は、受信回路２２０から出力された反射波データを受信し、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
The Doppler processing circuit 240 receives the reflected wave data output from the receiving
メモリ２５０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ２５０は、Ｂモード処理回路２３０及びドプラ処理回路２４０が生成したデータ（Ｂモードデータ、ドプラデータ等）や、処理回路２６０が生成した画像データ（Ｂモード画像データ、ドプラ画像データ等）を記憶する。また、例えば、メモリ２５０は、超音波診断装置２０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、メモリ２５０は、超音波診断装置２０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
The
処理回路２６０は、超音波診断装置２０全体の動作を制御する。例えば、処理回路２６０は、制御機能２６１、収集機能２６２、表示制御機能２６３及び送信機能２６４を実行する。
The processing circuit 260 controls the operation of the entire ultrasonic
例えば、処理回路２６０は、メモリ２５０から制御機能２６１に相当するプログラムを読み出して実行することにより、入力インターフェース２０２を介して操作者から受け付けた入力操作に基づいて、処理回路２６０の各種機能を制御する。また、例えば、処理回路２６０は、メモリ２５０から収集機能２６２に相当するプログラムを読み出して実行することにより、超音波画像データを収集する。
For example, the processing circuit 260 reads a program corresponding to the control function 261 from the
例えば、収集機能２６２は、操作者から受け付けた各種設定要求に基づいて、送信回路２１０、受信回路２２０、Ｂモード処理回路２３０及びドプラ処理回路２４０の処理を制御して、Ｂモードデータやドプラデータを収集する。また、例えば、収集機能２６２は、Ｂモードデータやドプラデータから超音波画像データを生成する。例えば、収集機能２６２は、Ｂモード処理回路２３０が生成したＢモードデータから、反射波の強度を輝度で表したＢモード画像データを生成する。また、例えば、収集機能２６２は、ドプラ処理回路２４０が生成したドプラデータから、移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。
For example, the
ここで、収集機能２６２は、生成した超音波画像データに対する種々の処理を更に行なうこととしてもよい。例えば、収集機能２６２は、超音波プローブ２０１による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。一例を挙げると、収集機能２６２は、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）することで、表示用の超音波画像データを生成する。また、例えば、収集機能２６２は、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、例えば、収集機能２６２は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
Here, the
また、例えば、処理回路２６０は、メモリ２５０から表示制御機能２６３に相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ２０３に表示させる。また、例えば、処理回路２６０は、メモリ２５０から送信機能２６４に相当するプログラムを読み出して実行することにより、超音波画像データをＸ線診断装置１０及び画像保管装置３０に送信する。
Further, for example, the processing circuit 260 reads out a program corresponding to the
図３に示す超音波診断装置２０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ２５０へ記憶されている。図３の各回路は、メモリ２５０からプログラムを読み出して実行することで、各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。
In the ultrasonic
なお、図３においては、制御機能２６１、収集機能２６２、表示制御機能２６３及び送信機能２６４の各処理機能が単一の処理回路２６０によって実現される場合を示したが、実施形態はこれに限られるものではない。例えば、処理回路２６０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより、各処理機能を実現するものとしても構わない。また、処理回路２６０が有する各処理機能は、単一又は複数の回路に適宜に分散又は統合されて実現されてもよい。
Although FIG. 3 shows a case where each processing function of the control function 261, the
次に、図４を用いて、医用情報処理装置４０について説明する。図４は、第１の実施形態に係る医用情報処理装置４０の構成の一例を示すブロック図である。図４に示すように、医用情報処理装置４０は、入力インターフェース４１と、ディスプレイ４２と、メモリ４３と、処理回路４４とを有する。なお、図４は、第１の実施形態に係る医用情報処理装置４０の構成例を示すブロック図である。 Next, the medical information processing apparatus 40 will be described with reference to FIG. FIG. 4 is a block diagram illustrating an example of a configuration of the medical information processing apparatus 40 according to the first embodiment. As shown in FIG. 4, the medical information processing apparatus 40 includes an input interface 41, a display 42, a memory 43, and a processing circuit 44. FIG. 4 is a block diagram illustrating a configuration example of the medical information processing apparatus 40 according to the first embodiment.
入力インターフェース４１は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路４４に出力する。例えば、入力インターフェース４１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース４１は、処理回路４４と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース４１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置４０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４４へ出力する電気信号の処理回路も入力インターフェース４１の例に含まれる。 The input interface 41 receives various input operations from the operator, converts the received input operations into electric signals, and outputs the electric signals to the processing circuit 44. For example, the input interface 41 includes a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad for performing an input operation by touching an operation surface, a touch screen in which a display screen and a touchpad are integrated, and an optical sensor. It is realized by the non-contact input circuit, the voice input circuit and the like used. Note that the input interface 41 may be configured by a tablet terminal or the like that can wirelessly communicate with the processing circuit 44. In addition, the input interface 41 is not limited to one having physical operation components such as a mouse and a keyboard. For example, a processing circuit for receiving an electric signal corresponding to an input operation from an external input device provided separately from the medical information processing apparatus 40 and outputting the electric signal to the processing circuit 44 is also provided by the input interface 41. Included in the example.
ディスプレイ４２は、各種の情報を表示する。例えば、ディスプレイ４２は、処理回路４４による制御の下、Ｘ線診断装置１０により収集されたＸ線画像データや、超音波診断装置２０により収集された超音波画像データを表示する。また、ディスプレイ４２は、入力インターフェース４１を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩを表示する。例えば、ディスプレイ４２は、液晶ディスプレイやＣＲＴディスプレイである。ディスプレイ４２は、デスクトップ型でもよいし、処理回路４４と無線通信可能なタブレット端末等で構成されることにしても構わない。
The display 42 displays various information. For example, the display 42 displays the X-ray image data collected by the X-ray
メモリ４３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ４３は、Ｘ線診断装置１０又は画像保管装置３０から取得したＸ線画像データを記憶する。また、例えば、メモリ４３は、医用情報処理装置４０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、メモリ４３は、医用情報処理装置４０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
The memory 43 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, a hard disk, an optical disk, or the like. For example, the memory 43 stores X-ray image data obtained from the X-ray
処理回路４４は、制御機能４４ａ、受信機能４４ｂ、第１の特定機能４４ｃ、第２の特定機能４４ｄ、送信機能４４ｅ及び表示制御機能４４ｆを実行することで、医用情報処理装置４０全体の動作を制御する。ここで、第１の特定機能４４ｃは、第１の特定部の一例である。また、第２の特定機能４４ｄは、第２の特定部の一例である。 The processing circuit 44 executes the control function 44a, the reception function 44b, the first specific function 44c, the second specific function 44d, the transmission function 44e, and the display control function 44f to control the operation of the entire medical information processing apparatus 40. Control. Here, the first specifying function 44c is an example of a first specifying unit. The second specifying function 44d is an example of a second specifying unit.
例えば、処理回路４４は、メモリ４３から制御機能４４ａに相当するプログラムを読み出して実行することにより、入力インターフェース４１を介して操作者から受け付けた入力操作に基づいて、処理回路４４の各種機能を制御する。また、例えば、処理回路４４は、メモリ４３から受信機能４４ｂに相当するプログラムを読み出して実行することにより、Ｘ線診断装置１０から、超音波プローブ２０１を撮像したＸ線画像データを受信する。
For example, the processing circuit 44 controls the various functions of the processing circuit 44 based on an input operation received from the operator via the input interface 41 by reading and executing a program corresponding to the control function 44a from the memory 43. I do. Further, for example, the processing circuit 44 reads out a program corresponding to the reception function 44b from the memory 43 and executes the program, thereby receiving X-ray image data obtained by imaging the
また、例えば、処理回路４４は、メモリ４３から第１の特定機能４４ｃに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の位置を特定する。また、例えば、処理回路４４は、メモリ４３から第２の特定機能４４ｄに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の向きを特定する。なお、超音波プローブ２０１の位置及び向きの特定については後述する。
Further, for example, the processing circuit 44 specifies the position of the
また、例えば、処理回路４４は、メモリ４３から送信機能４４ｅに相当するプログラムを読み出して実行することにより、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に送信する。また、例えば、処理回路４４は、メモリ４３から表示制御機能４４ｆに相当するプログラムを読み出して実行することにより、操作者から各種指示や各種設定等を受け付けるためのＧＵＩや、各種の画像データをディスプレイ４２に表示させる。
Further, for example, the processing circuit 44 reads the program corresponding to the transmission function 44 e from the memory 43 and executes the program, thereby transmitting the position and the orientation of the
図４に示す医用情報処理装置４０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ４３へ記憶されている。処理回路４４は、メモリ４３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路４４は、読み出したプログラムに対応する機能を有することとなる。 In the medical information processing apparatus 40 shown in FIG. 4, each processing function is stored in the memory 43 in the form of a computer-executable program. The processing circuit 44 is a processor that reads out a program from the memory 43 and executes the program to realize a function corresponding to each program. In other words, the processing circuit 44 in a state in which each program is read has a function corresponding to the read program.
なお、図４においては単一の処理回路４４にて、制御機能４４ａ、受信機能４４ｂ、第１の特定機能４４ｃ、第２の特定機能４４ｄ、送信機能４４ｅ及び表示制御機能４４ｆが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路４４を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路４４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。 In FIG. 4, it is assumed that the control function 44a, the reception function 44b, the first specific function 44c, the second specific function 44d, the transmission function 44e, and the display control function 44f are realized by a single processing circuit 44. As described above, the processing circuit 44 may be configured by combining a plurality of independent processors, and each processor may execute each program to realize each processing function. Further, each processing function of the processing circuit 44 may be realized by being appropriately distributed or integrated in a single or a plurality of processing circuits.
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、メモリ１０７、メモリ２５０又はメモリ４３に保存されたプログラムを読み出し実行することで機能を実現する。
The term “processor” used in the above description may be, for example, a CPU, a GPU (Graphics Processing Unit), an application specific integrated circuit (ASIC), a programmable logic device (for example, a simple programmable logic device (ASIC)). It means a circuit such as a Simple Programmable Logic Device (SPLD), a Complex Programmable Logic Device (CPLD), and a Field Programmable Gate Array (FPGA). The processor realizes functions by reading and executing programs stored in the memory 107, the
なお、図２、図３及び図４においては、単一のメモリ１０７、メモリ２５０又はメモリ４３が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、複数のメモリ１０７を分散して配置し、処理回路１１０は、個別のメモリ４３から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ２５０を分散して配置し、処理回路２６０は、個別のメモリ２５０から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ４３を分散して配置し、処理回路４４は、個別のメモリ４３から対応するプログラムを読み出す構成としても構わない。また、メモリ１０７、メモリ２５０又はメモリ４３にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
2, 3, and 4, it has been described that the single memory 107, the
また、処理回路１１０、処理回路２６０及び処理回路４４は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路４４は、メモリ４３から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置４０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図４に示す各機能を実現する。 The processing circuit 110, the processing circuit 260, and the processing circuit 44 may realize functions using a processor of an external device connected via a network NW. For example, the processing circuit 44 reads a program corresponding to each function from the memory 43, executes the program, and uses a server group (cloud) connected to the medical information processing apparatus 40 via the network NW as a calculation resource. 4 are realized.
以上、医用情報処理システム１の構成の一例について説明した。かかる構成の下、医用情報処理システム１における医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定し、Ｘ線画像データと超音波画像データとの位置合わせを可能とする。以下、第１の実施形態に係る医用情報処理装置４０が行なう処理について詳細に説明する。
The example of the configuration of the medical information processing system 1 has been described above. With such a configuration, the medical information processing apparatus 40 in the medical information processing system 1 specifies the position and the direction of the
例えば、医用情報処理装置４０は、図５に示すように、Ｘ線診断装置１０において生成されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１を用いて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図５は、第１の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。
For example, as shown in FIG. 5, the medical information processing apparatus 40 receives the X-ray image data I11 generated by the X-ray
具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ１１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。
Specifically, first, the acquisition function 110b of the X-ray
次に、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ１２）。次に、Ｘ線診断装置１０における送信機能１１０ｃは、図５に示すように、生成されたＸ線画像データＩ１１を医用情報処理装置４０に対して送信する（ステップＳ１３）。
Next, the acquisition function 110b generates X-ray image data I11 based on the detection signal received from the
図５に示すように、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０から送信されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１をメモリ４３に格納する（ステップＳ１４）。次に、医用情報処理装置４０における第１の特定機能４４ｃ及び第２の特定機能４４ｄは、超音波プローブ２０１の位置及び向きを特定する（ステップＳ１５）。次に、医用情報処理装置４０における送信機能４４ｅは、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ１６）。
As shown in FIG. 5, the reception function 44b of the medical information processing apparatus 40 receives the X-ray image data I11 transmitted from the X-ray
ここで、医用情報処理装置４０における処理について、図６を用いてより詳細に説明する。図６は、第１の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。 Here, the processing in the medical information processing apparatus 40 will be described in more detail with reference to FIG. FIG. 6 is a flowchart for explaining a series of processing flows of the medical information processing apparatus 40 according to the first embodiment.
図６において、ステップＳ１０１は、受信機能４４ｂに対応するステップである。また、ステップＳ１０２及びステップＳ１０３は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ１０４及びステップＳ１０５は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ１０６は、送信機能４４ｅに対応するステップである。 In FIG. 6, step S101 is a step corresponding to the reception function 44b. Steps S102 and S103 are steps corresponding to the first specific function 44c. Steps S104 and S105 are steps corresponding to the second specific function 44d. Step S106 is a step corresponding to the transmission function 44e.
まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信したか否かを判定する（ステップＳ１０１）。Ｘ線画像データＩ１１を受信した場合（ステップＳ１０１肯定）、受信機能４４ｂは、受信したＸ線画像データＩ１１をメモリ４３に格納する。 First, the receiving function 44b determines whether or not the X-ray image data I11 has been received from the X-ray diagnostic apparatus 10 (Step S101). When receiving the X-ray image data I11 (Yes at Step S101), the receiving function 44b stores the received X-ray image data I11 in the memory 43.
ここで、Ｘ線画像データＩ１１は、図７に示すように、超音波プローブ２０１を含む２次元のＸ線画像データである。超音波プローブ２０１は、通常、図７に示すように、ケーブルと接続された状態で使用される。また、超音波プローブ２０１及びケーブルは、通常、被検体Ｐよりも暗く描出される。即ち、超音波プローブ２０１及びケーブルは、図７に示すように、Ｘ線画像データＩ１１において被検体Ｐよりも小さい画素値で描出される。なお、図７は、第１の実施形態に係る超音波プローブ２０１の位置の特定について説明するための図である。
Here, the X-ray image data I11 is two-dimensional X-ray image data including the
次に、第１の特定機能４４ｃは、メモリ４３に格納されたＸ線画像データＩ１１を読み出し、Ｘ線画像データＩ１１に基づいて超音波プローブ２０１の位置を特定する。具体的には、第１の特定機能４４ｃは、Ｘ線画像データＩ１１に対する２値化処理を実行して、図７に示す画像データＩ２１を生成する（ステップＳ１０２）。より具体的には、第１の特定機能４４ｃは、Ｘ線画像データＩ１１の各画素について、画素値が閾値を超える場合には白、画素値が閾値を超えない場合には黒に変換することで、画像データＩ２１を生成する。なお、画像データＩ２１は、２値化画像の一例である。
Next, the first specifying function 44c reads out the X-ray image data I11 stored in the memory 43, and specifies the position of the
例えば、第１の特定機能４４ｃは、２値化処理における閾値を、超音波プローブ２０１及びケーブルに相当する画素の画素値のうちの最大値に設定する。そして、第１の特定機能４４ｃは、Ｘ線画像データＩ１１の各画素について、画素値が閾値より大きい画素は白、画素値が閾値以下である画素は黒に変換する。これにより、第１の特定機能４４ｃは、超音波プローブ２０１及びケーブルに相当する画素を黒で表し、他の画素を白で表した画像データＩ２１を生成する。
For example, the first specifying function 44c sets the threshold value in the binarization process to the maximum value among the pixel values of the pixels corresponding to the
次に、第１の特定機能４４ｃは、図７に示す図形データＧ１を用いて、超音波プローブ２０１の位置を特定する（ステップＳ１０３）。具体的には、第１の特定機能４４ｃは、図形データＧ１と画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。ここで、図形データＧ１は、超音波プローブ２０１に類似した形状の図形であり、例えば、メモリ４３に事前に記憶される。なお、図形データＧ１は、所定の図形の一例である。
Next, the first specifying function 44c specifies the position of the
一例を挙げると、第１の特定機能４４ｃは、画像データＩ２１において、図形データＧ１に類似するパターンの位置を検索することにより、超音波プローブ２０１の画像データＩ２１上での位置を特定する。ここで、画像データＩ２１はＸ線画像データＩ１１を２値化したものであり、Ｘ線画像データＩ１１上での位置と画像データＩ２１上での位置との対応関係は明らかである。従って、第１の特定機能４４ｃは、超音波プローブ２０１の画像データＩ２１上での位置を特定することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定することができる。
As an example, the first specifying function 44c specifies the position of the
次に、第２の特定機能４４ｄは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の画像データＩ２１上での位置に基づいて、図７に示す特定領域Ｒ１を切り出す（ステップＳ１０４）。即ち、第２の特定機能４４ｄは、画像データＩ２１のうち、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。なお、図７においては特定領域Ｒ１を矩形で示すが、特定領域Ｒ１の形状は任意である。
Next, the second specifying function 44d cuts out the specific region R1 shown in FIG. 7 based on the position on the image data I21 of the
次に、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３次元データＭ１を用いて、特定領域Ｒ１において超音波プローブ２０１の向きを特定する（ステップＳ１０５）。具体的には、第２の特定機能４４ｄは、３次元データＭ１と特定領域Ｒ１とをマッチングすることにより、特定領域Ｒ１における超音波プローブ２０１の向きを特定する。
Next, the second specifying function 44d specifies the direction of the
例えば、第２の特定機能４４ｄは、まず、３次元データＭ１を回転させながら、３次元データＭ１と特定領域Ｒ１とを比較する。一例を挙げると、第２の特定機能４４ｄは、３次元データＭ１に対して複数の投影方向からレンダリング処理を実行することで、複数のレンダリング画像を生成する。そして、第２の特定機能４４ｄは、複数のレンダリング画像と特定領域Ｒ１とでパターンを比較し、パターンが類似するレンダリング画像の投影方向を、特定領域Ｒ１における超音波プローブ２０１の向きとして特定する。ここで、３次元データＭ１は超音波プローブ２０１のモデルデータであり、例えば、メモリ４３に事前に記憶される。３次元データＭ１は、超音波プローブ２０１の設計情報（ＣＡＤ（computer-aided design）データ等）であってもよいし、超音波プローブ２０１を光学カメラ等により複数方向から撮影してモデリングしたものであってもよい。或いは、３次元データＭ１は、超音波プローブ２０１をＸ線診断装置１０等の医用画像診断装置により複数方向から撮影してモデリングしたものであってもよい。なお、３次元データＭ１は、超音波プローブ２０１の構造を示す３次元データの一例である。
For example, the second specifying function 44d first compares the three-dimensional data M1 with the specific region R1 while rotating the three-dimensional data M1. For example, the second specific function 44d generates a plurality of rendering images by executing a rendering process on the three-dimensional data M1 from a plurality of projection directions. Then, the second specifying function 44d compares the patterns between the plurality of rendering images and the specific region R1, and specifies the projection direction of the rendering image having a similar pattern as the direction of the
次に、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ１０６）。その後、処理回路４４は、再度ステップＳ１０１に移行し、Ｘ線診断装置１０から更にＸ線画像データＩ１１を受信したか否かを判定する。即ち、収集機能１１０ｂがＸ線画像データＩ１１を時系列的に収集する場合、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、時系列のＸ線画像データＩ１１のそれぞれについて超音波プローブ２０１の位置及び向きを順次特定する。ここで、Ｘ線診断装置１０からＸ線画像データＩ１１を受信しない場合（ステップＳ１０１否定）、処理回路４４は、処理を終了する。
Next, the transmitting function 44e sends the position of the
なお、図６及び図７では、所定の図形として図形データＧ１について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、楕円形状の図形データＧ１に代えて、他の形状の図形（例えば、棒状の図形）を用いてもよい。即ち、第１の特定機能４４ｃは、超音波プローブ２０１に類似した形状の所定の図形と、画像データＩ２１とをマッチングすることにより、超音波プローブ２０１の位置を特定する。また、所定の図形をメモリ４３が複数記憶する場合、第１の特定機能４４ｃは、超音波プローブ２０１の種類等に応じて選択した所定の図形と、画像データＩ２１とをマッチングすることにより、超音波プローブ２０１の位置を特定することとしてもよい。
In FIGS. 6 and 7, the graphic data G1 is described as a predetermined graphic, but the embodiment is not limited to this. For example, the first specific function 44c may use a graphic of another shape (for example, a bar-shaped graphic) instead of the elliptical graphic data G1. That is, the first specifying function 44c specifies the position of the
また、図６及び図７では、所定の図形と、Ｘ線画像データＩ１１に基づく画像データＩ２１（２値化画像）とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、所定の図形とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。
6 and 7, by matching a predetermined figure with image data I21 (binary image) based on the X-ray image data I11, the X-ray image data of the
また、図６及び図７では、３次元データＭ１と、画像データＩ２１（２値化画像）から切り出した特定領域Ｒ１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１から超音波プローブ２０１の位置を含む領域を切り出し、切り出した領域と３次元データＭ１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での向きを特定してもよい。
In FIGS. 6 and 7, by matching the three-dimensional data M1 with the specific region R1 cut out from the image data I21 (binarized image), the X-ray image data I11 of the
図５の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ１７）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。なお、超音波画像データＩ３１は、ステップＳ１１と略同時に行われた超音波走査に基づく超音波画像データである。即ち、Ｘ線画像データＩ１１と超音波画像データＩ３１とは、略同時に撮像された画像データである。
Returning to the description of FIG. The receiving function 110d of the X-ray
そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ１８）。例えば、表示制御機能１１０ｅは、図８に示すように、Ｘ線画像データＩ１１をディスプレイ１０８に表示させ、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。なお、図８は、第１の実施形態に係るＸ線画像データ及び超音波画像データの表示の一例を示す図である。
Then, the display control function 110e displays the ultrasonic image data I31 captured using the
具体的には、表示制御機能１１０ｅは、Ｘ線画像データＩ１１上で特定された超音波プローブ２０１の位置及び向きに基づいて、Ｘ線画像データＩ１１が撮像された撮像空間における座標系（Ｘ線座標系）と、超音波画像データＩ３１が撮像された撮像空間における座標系（超音波座標系）とを関連付ける。これにより、表示制御機能１１０ｅは、Ｘ線画像データＩ１１に対する超音波画像データＩ３１の位置及び向きを特定し、特定した位置及び向きで、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。
Specifically, based on the position and orientation of the
なお、収集機能１１０ｂがＸ線画像データＩ１１を時系列的に収集する場合、表示制御機能１１０ｅは、収集されたＸ線画像データＩ１１を順次表示させる。同様に、収集機能２６２が超音波画像データＩ３１を時系列的に収集する場合、表示制御機能１１０ｅは、収集された超音波画像データＩ３１を順次表示させる。即ち、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じてＸ線画像データＩ１１と超音波画像データＩ３１とを位置合わせしつつ、Ｘ線画像データＩ１１及び超音波画像データＩ３１をリアルタイム表示する。
When the collection function 110b collects the X-ray image data I11 in time series, the display control function 110e causes the collected X-ray image data I11 to be sequentially displayed. Similarly, when the
また、図８においては、超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、表示制御機能１１０ｅは、超音波画像データＩ３１に代えて、超音波プローブ２０１の撮像領域を表示させる場合であってもよい。一例を挙げると、表示制御機能１１０ｅは、Ｘ線画像データＩ１１をディスプレイ１０８に表示させ、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１の撮像領域を示す輪郭線をＸ線画像データＩ１１上に表示させる。
In FIG. 8, the case where the ultrasonic image data I31 is displayed on the X-ray image data I11 has been described. However, embodiments are not limited to this. For example, the display control function 110e may display the imaging area of the
また、図５においては、Ｘ線診断装置１０における表示制御機能１１０ｅが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１又は超音波プローブ２０１の撮像領域を表示させる場合であってもよい。
FIG. 5 illustrates a case where the display control function 110e of the X-ray
具体的には、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信し、メモリ４３に格納する。また、受信機能４４ｂは、超音波診断装置２０から超音波画像データＩ３１を受信し、メモリ４３に格納する。また、第１の特定機能４４ｃは、所定の図形（図形データＧ１等）と、Ｘ線画像データＩ１１又は画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。また、第２の特定機能４４ｄは、３次元データＭ１とＸ線画像データＩ１１とに基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。そして、表示制御機能４４ｆは、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データＩ１１上に超音波画像データＩ３１又は超音波プローブ２０１の撮像領域を表示させる。一例を挙げると、表示制御機能４４ｆは、Ｘ線画像データＩ１１をディスプレイ４２に表示させ、超音波プローブ２０１の位置及び向きに応じて、超音波画像データＩ３１又は超音波プローブ２０１の撮像領域をＸ線画像データＩ１１上に表示させる。
Specifically, the reception function 44b of the medical information processing apparatus 40 receives the X-ray image data I11 from the X-ray
上述したように、第１の実施形態によれば、第１の特定機能４４ｃは、所定の図形とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する。また、第２の特定機能４４ｄは、３次元データＭ１とＸ線画像データＩ１１とに基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。従って、第１の実施形態に係る医用情報処理装置４０は、Ｘ線画像データＩ１１と、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１との位置合わせを可能とすることができる。
As described above, according to the first embodiment, the first specifying function 44c matches the predetermined figure with the X-ray image data I11 to obtain the X-ray image data I11 of the
また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と、超音波プローブ２０１の向きの特定とを切り離して実行することにより、計算量を低減して処理時間を短縮することができる。例えば、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合には、３次元データＭ１に基づいて生成した複数のレンダリング画像を用いたパターンマッチングを、Ｘ線画像データＩ１１上の各位置において実行する必要がある。即ち、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合、位置と向きとの２つの自由度があるため、位置と向きとを繰り返し検出する必要があり、計算量が増大する。これに対し、医用情報処理装置４０は、超音波プローブ２０１の位置を特定した後、特定した位置における超音波プローブ２０１の向きを特定することにより、処理ごとの自由度を１つとして、計算量を低減することができる。
In addition, the medical information processing apparatus 40 can separate the identification of the position of the
また、医用情報処理装置４０は、超音波プローブ２０１が小型であり、形状特徴が少ない場合であっても、超音波プローブ２０１の位置及び向きを特定することができる。例えば、３次元データＭ１を用いて超音波プローブ２０１の位置及び向きを特定する場合、位置と向きとの２つの自由度があるため、位置と向きとを繰り返し検出して精度を上げる必要がある。この場合、計算量の制約に起因して精度にも限界が生じるため、超音波プローブ２０１が小型である場合、超音波プローブ２０１の位置及び向きを特定できない場合がある。これに対し、医用情報処理装置４０は、超音波プローブ２０１の位置を特定した後、特定した位置における超音波プローブ２０１の向きを特定することによって、計算量を低減することができる。即ち、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と、超音波プローブ２０１の向きの特定とを切り離して、それぞれをより高い精度で実行することができる。従って、医用情報処理装置４０は、超音波プローブ２０１が小型であり、形状特徴が少ない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。
Further, the medical information processing apparatus 40 can specify the position and the orientation of the
（第２の実施形態）
上述した第１の実施形態では、所定の図形と、Ｘ線画像データＩ１１又は画像データＩ２１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明した。これに対し、第２の実施形態では、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する点又は領域を指定する操作を受け付け、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データにおいて、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する場合について説明する。
(Second embodiment)
In the above-described first embodiment, a case will be described in which the position of the
第２の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１〜図４と同一の符号を付し、説明を省略する。 The medical information processing apparatus 40 according to the second embodiment has the same configuration as the medical information processing apparatus 40 according to the first embodiment shown in FIG. 4, and includes a first specifying function 44c and a second specifying function. A part of the processing in the function 44d is different. Components having the same configuration as that described in the first embodiment are denoted by the same reference numerals as in FIGS. 1 to 4, and description thereof will be omitted.
まず、Ｘ線診断装置１０は、Ｘ線画像データＩ１２を含む複数のＸ線画像データを時系列的に撮像する。例えば、収集機能１１０ｂは、超音波プローブ２０１が挿入された被検体Ｐに対してＸ線パルスを繰り返し照射させる。この際、Ｘ線検出器１０６は、各Ｘ線パルスを検出して、検出信号を処理回路１１０へと出力する。そして、収集機能１１０ｂは、Ｘ線検出器１０６から出力された検出信号に基づいて、Ｘ線パルスごとにＸ線画像データを生成する。また、送信機能１１０ｃは、Ｘ線画像データが撮像されるごとに、Ｘ線画像データを医用情報処理装置４０に対して順次送信する。
First, the X-ray
以下では、Ｘ線画像データＩ１２が撮像された後、Ｘ線画像データＩ１ｍからＸ線画像データＩ１ｎまでの複数のＸ線画像データが時系列的に撮像される場合について説明する。即ち、以下では、所定のＸ線パルス（最初のＸ線パルス等）に基づいてＸ線画像データＩ１２が生成され、所定のＸ線パルスの後に照射される複数のＸ線パルスに基づいて、Ｘ線画像データＩ１ｍからＸ線画像データＩ１ｎまでの複数のＸ線画像データが時系列的に生成される場合について説明する。 Hereinafter, a case where a plurality of X-ray image data from X-ray image data I1m to X-ray image data I1n are imaged in time series after X-ray image data I12 is imaged will be described. That is, in the following, X-ray image data I12 is generated based on a predetermined X-ray pulse (such as the first X-ray pulse), and X-ray image data I12 is generated based on a plurality of X-ray pulses irradiated after the predetermined X-ray pulse. A case where a plurality of X-ray image data from the line image data I1m to the X-ray image data I1n are generated in time series will be described.
また、以下では、図９を用いて、医用情報処理装置４０における処理について説明する。図９は、第２の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図９において、ステップＳ２０１は、受信機能４４ｂに対応するステップである。また、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６及びステップＳ２０７は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ２０８及びステップＳ２０９は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ２１０は、送信機能４４ｅに対応するステップである。 In the following, processing in the medical information processing apparatus 40 will be described with reference to FIG. FIG. 9 is a flowchart for explaining a series of processing flows of the medical information processing apparatus 40 according to the second embodiment. In FIG. 9, step S201 is a step corresponding to the reception function 44b. Step S202, step S203, step S204, step S205, step S206, and step S207 are steps corresponding to the first specific function 44c. Steps S208 and S209 are steps corresponding to the second specific function 44d. Step S210 is a step corresponding to the transmission function 44e.
まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データを受信したか否かを判定する（ステップＳ２０１）。Ｘ線画像データを受信した場合（ステップＳ２０１肯定）、受信機能４４ｂは、受信したＸ線画像データをメモリ４３に格納する。次に、第１の特定機能４４ｃは、後述のテンプレートＴ１を生成済みであるか否かを判定する（ステップＳ２０２）。 First, the receiving function 44b determines whether or not X-ray image data has been received from the X-ray diagnostic apparatus 10 (Step S201). When receiving the X-ray image data (Yes at Step S201), the receiving function 44b stores the received X-ray image data in the memory 43. Next, the first specifying function 44c determines whether a template T1 described later has been generated (step S202).
テンプレートＴ１を生成済みでない場合（ステップＳ２０２否定）、第１の特定機能４４ｃは、ステップＳ２０３に移行する。一方で、テンプレートＴ１を生成済みである場合（ステップＳ２０２肯定）、第１の特定機能４４ｃは、ステップＳ２０６に移行する。ここで、テンプレートＴ１は、後述する指定領域Ｒ２の指定操作を受け付けたＸ線画像データから生成される画像データである。以下では一例として、Ｘ線画像データＩ１２に基づいてテンプレートＴ１が生成される場合について説明する。この場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データがＸ線画像データＩ１２である場合にはステップＳ２０３に移行し、ステップＳ２０１において受信したＸ線画像データがＸ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎのうちのいずれかである場合にはステップＳ２０６に移行する。 If the template T1 has not been generated (No at Step S202), the first specifying function 44c proceeds to Step S203. On the other hand, when the template T1 has been generated (Yes at Step S202), the first specifying function 44c proceeds to Step S206. Here, the template T1 is image data generated from X-ray image data that has received a designation operation of a designation region R2 described later. Hereinafter, a case where the template T1 is generated based on the X-ray image data I12 will be described as an example. In this case, if the X-ray image data received in step S201 is the X-ray image data I12, the first specifying function 44c proceeds to step S203, and the X-ray image data received in step S201 is If it is any of the data I1m... X-ray image data I1n, the process proceeds to step S206.
ステップＳ２０２においてテンプレートＴ１を生成済みでないと判定した場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データ（Ｘ線画像データＩ１２）において、超音波プローブ２０１に対応する領域（指定領域Ｒ２）の指定操作を受け付ける（ステップＳ２０３）。これにより、第１の特定機能４４ｃは、超音波プローブ２０１のＸ線画像データＩ１２上での位置を特定する。
If it is determined in step S202 that the template T1 has not been generated, the first specifying function 44c determines in the X-ray image data (X-ray image data I12) received in step S201 the area (designation) corresponding to the
例えば、表示制御機能４４ｆは、ディスプレイ４２にＸ線画像データＩ１２を表示させ、第１の特定機能４４ｃは、Ｘ線画像データＩ１２を参照した操作者から、入力インターフェース４１を介して指定領域Ｒ２の指定操作を受け付ける。一例を挙げると、操作者はマウスを操作して、超音波プローブ２０１に対応する領域の中心位置においてクリック操作を行なう。そして、第１の特定機能４４ｃは、クリックされた位置を中心とする領域であって、所定の形状及び大きさを有する領域を指定領域Ｒ２として受け付ける。
For example, the display control function 44f causes the display 42 to display the X-ray image data I12, and the first specific function 44c allows the operator who referred to the X-ray image data I12 to display the X-ray image data I12 via the input interface 41 in the designated area R2. Accept specified operation. For example, the operator operates the mouse to perform a click operation at the center position of the region corresponding to the
次に、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の指定領域Ｒ２を切り出す（ステップＳ２０４）。また、第１の特定機能４４ｃは、Ｘ線画像データＩ１２から切り出した指定領域Ｒ２に対する２値化処理により、テンプレートＴ１を生成する。即ち、テンプレートＴ１は、Ｘ線画像データＩ１２に描出された超音波プローブ２０１を２諧調で表した画像データである。
Next, the first specifying function 44c cuts out the designated region R2 of the X-ray image data I12 (Step S204). Further, the first specifying function 44c generates the template T1 by performing a binarization process on the designated region R2 cut out from the X-ray image data I12. That is, the template T1 is image data representing the
一方で、ステップＳ２０２においてテンプレートＴ１を生成済みであると判定した場合、第１の特定機能４４ｃは、ステップＳ２０１において受信したＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）に対する２値化処理を実行して画像データを生成する。例えば、ステップＳ２０１においてＸ線画像データＩ１ｍを受信した場合、第１の特定機能４４ｃは、Ｘ線画像データＩ１ｍに対する２値化処理を実行して、画像データＩ２ｍを生成する。 On the other hand, if it is determined in step S202 that the template T1 has been generated, the first specifying function 44c determines whether the X-ray image data (X-ray image data I1m... X-ray image data I1n) received in step S201. Is executed to generate image data. For example, when the X-ray image data I1m is received in step S201, the first specifying function 44c executes a binarization process on the X-ray image data I1m to generate image data I2m.
次に、第１の特定機能４４ｃは、テンプレートＴ１を用いて、超音波プローブ２０１の位置を特定する（ステップＳ２０７）。例えば、ステップＳ２０１においてＸ線画像データＩ１ｍを受信した場合、第１の特定機能４４ｃは、テンプレートＴ１と画像データＩ２ｍとをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１ｍ上での位置を特定する。一例を挙げると、第１の特定機能４４ｃは、画像データＩ２ｍにおいてテンプレートＴ１に類似するパターンの位置を検索することにより、超音波プローブ２０１のＸ線画像データＩ１ｍ上での位置を特定する。
Next, the first specifying function 44c specifies the position of the
上述したように、第１の特定機能４４ｃは、Ｘ線画像データＩ１２については、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する指定領域Ｒ２を指定する操作を受け付けることにより、超音波プローブ２０１の位置を特定する。また、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）については、指定領域Ｒ２に基づくテンプレートＴ１とのマッチングにより、超音波プローブ２０１の位置を特定する。即ち、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）については、Ｘ線画像データＩ１２上で指定された指定領域Ｒ２を追跡することにより、超音波プローブ２０１の位置を特定する。
As described above, for the X-ray image data I12, the first specific function 44c accepts the operation of specifying the designated region R2 corresponding to the
次に、第２の特定機能４４ｄは、特定領域Ｒ１を切り出す（ステップＳ２０８）。例えば、第２の特定機能４４ｄは、Ｘ線画像データＩ１２に対する２値化処理によって画像データＩ２２を生成し、画像データＩ２２から、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。なお、第２の特定機能４４ｄは、指定領域Ｒ２を特定領域Ｒ１として用いることとしてもよい。また、例えば、第２の特定機能４４ｄは、ステップＳ２０６において生成された画像データから、超音波プローブ２０１の位置を含む特定領域Ｒ１を切り出す。
Next, the second specific function 44d cuts out the specific region R1 (step S208). For example, the second specific function 44d generates image data I22 by performing a binarization process on the X-ray image data I12, and cuts out the specific region R1 including the position of the
次に、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３次元データＭ１を用いて、特定領域Ｒ１における超音波プローブ２０１の向きを特定する（ステップＳ２０９）。具体的には、第２の特定機能４４ｄは、３次元データＭ１と特定領域Ｒ１とをマッチングすることにより、特定領域Ｒ１における超音波プローブ２０１の向きを特定する。そして、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ２１０）。その後、処理回路４４は、再度ステップＳ２０１に移行し、Ｘ線診断装置１０から更にＸ線画像データを受信したか否かを判定する。ここで、Ｘ線診断装置１０からＸ線画像データを受信しない場合（ステップＳ２０１否定）、処理回路４４は、処理を終了する。
Next, the second specifying function 44d specifies the direction of the
Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データを受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データをＸ線画像データ上に表示させる。ここで、表示制御機能１１０ｅは、時系列的に収集されたＸ線画像データ及び超音波画像データを順次表示させる。即ち、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じてＸ線画像データと超音波画像データとを位置合わせしつつ、Ｘ線画像データ及び超音波画像データをリアルタイム表示する。
The receiving function 110d of the X-ray
或いは、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１の撮像領域をＸ線画像データ上に表示させる。或いは、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１の位置及び向きに応じて、Ｘ線画像データ上に超音波画像データ又は超音波プローブ２０１の撮像領域を表示させる場合であってもよい。
Alternatively, the display control function 110e displays the imaging region of the
なお、図９においては、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する領域（指定領域Ｒ２）を指定する操作を受け付ける場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する１又は複数の点（指定点）を指定する操作を受け付ける場合であってもよい。
Note that, in FIG. 9, a case has been described in which an operation of designating a region (designated region R2) corresponding to the
この場合、第１の特定機能４４ｃは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定点を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２において、指定点に対応する画素の画素値や周辺画素との画素値の差を、指定点の特徴情報として取得する。そして、第１の特定機能４４ｃは、複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、同様の特徴情報を有する画素の位置を特定することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。
In this case, the first specific function 44c is to track a designated point in a plurality of pieces of X-ray image data (X-ray image data I1m... X-ray image data I1n) captured after the X-ray image data I12. Thereby, the position of the
上述したように、第２の実施形態によれば、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で超音波プローブ２０１に対応する点又は領域を指定する操作を受け付け、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。従って、第２の実施形態に係る医用情報処理装置４０は、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。
As described above, according to the second embodiment, the first specifying function 44c receives an operation of specifying a point or an area corresponding to the
また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と超音波プローブ２０１の向きの特定とを切り離して実行することにより、計算量を低減して処理時間を短縮することができる。また、医用情報処理装置４０は、超音波プローブ２０１の位置の特定と超音波プローブ２０１の向きの特定とを切り離して、それぞれをより高い精度で実行することにより、超音波プローブ２０１が小型であり、形状特徴が少ない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。
In addition, the medical information processing apparatus 40 can separate the identification of the position of the
なお、これまで、３次元データＭ１を用いて超音波プローブ２０１の向きを特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、Ｘ線画像データＩ１２の後に撮像された複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置及び向きを特定する場合であってもよい。
The case where the direction of the
具体的には、まず、第１の特定機能４４ｃは、Ｘ線画像データＩ１２上で、超音波プローブ２０１に対応する点（指定点）を少なくとも３つ指定する操作を受け付ける。次に、第１の特定機能４４ｃは、複数のＸ線画像データ（Ｘ線画像データＩ１ｍ・・・Ｘ線画像データＩ１ｎ）において、少なくとも３つの指定点を追跡する。これにより、第１の特定機能４４ｃは、複数のＸ線画像データにおいて、超音波プローブ２０１の位置を特定する。更に、第２の特定機能４４ｄは、少なくとも３つの指定点の相対的な位置関係に基づいて、第１の特定機能４４ｃによって特定された位置における超音波プローブ２０１の向きを特定する。
Specifically, first, the first specifying function 44c receives an operation of designating at least three points (designated points) corresponding to the
（第３の実施形態）
上述した第１〜第２の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データを用いて、超音波プローブ２０１のＸ線画像データ上での位置を特定する場合について説明した。これに対し、第３の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データを用いずに、超音波プローブ２０１の位置を特定する場合について説明する。
(Third embodiment)
In the above-described first and second embodiments, the case where the position of the
第３の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１〜図４と同一の符号を付し、説明を省略する。 The medical information processing apparatus 40 according to the third embodiment has the same configuration as the medical information processing apparatus 40 according to the first embodiment shown in FIG. 4, and includes a first specifying function 44c and a second specifying function 44c. A part of the processing in the function 44d is different. Components having the same configuration as that described in the first embodiment are denoted by the same reference numerals as in FIGS. 1 to 4, and description thereof will be omitted.
例えば、医用情報処理装置４０は、図１０に示すように、Ｘ線診断装置１０からの通知に応じて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図１０は、第３の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。
For example, as shown in FIG. 10, the medical information processing apparatus 40 specifies the position and the direction of the
具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ２１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。
Specifically, first, the collection function 110b of the X-ray
また、Ｘ線診断装置１０における送信機能１１０ｃは、医用情報処理装置４０への通知を行なう。例えば、送信機能１１０ｃは、Ｘ線が照射された時刻を医用情報処理装置４０に通知する。即ち、送信機能１１０ｃは、Ｘ線画像データＩ１１の撮像時間を医用情報処理装置４０に通知する。また、医用情報処理装置４０における第１の特定機能４４ｃ及び第２の特定機能４４ｄは、Ｘ線診断装置１０からの通知に基づいて、Ｘ線照射が照射された時刻における超音波プローブ２０１の位置及び向きを特定する（ステップＳ２２）。また、Ｘ線診断装置１０における収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ２３）。また、医用情報処理装置４０における送信機能４４ｅは、超音波プローブ２０１の位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ２４）。
The transmission function 110c of the X-ray
ここで、医用情報処理装置４０における処理について、図１１を用いてより詳細に説明する。図１１は、第３の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図１１において、ステップＳ３０１は、受信機能４４ｂに対応するステップである。また、ステップＳ３０２は、第１の特定機能４４ｃに対応するステップである。また、ステップＳ３０３は、第２の特定機能４４ｄに対応するステップである。また、ステップＳ３０４は、送信機能４４ｅに対応するステップである。 Here, the processing in the medical information processing apparatus 40 will be described in more detail with reference to FIG. FIG. 11 is a flowchart for explaining a series of flows of processing of the medical information processing apparatus 40 according to the third embodiment. In FIG. 11, step S301 is a step corresponding to the reception function 44b. Step S302 is a step corresponding to the first specific function 44c. Step S303 is a step corresponding to the second specific function 44d. Step S304 is a step corresponding to the transmission function 44e.
まず、受信機能４４ｂは、Ｘ線診断装置１０から撮像時間の通知を受けたか否かを判定する（ステップＳ３０１）。ここで、通知を受けた場合（ステップＳ３０１肯定）、第１の特定機能４４ｃは、磁気センサ等の位置センサを用いて、通知された撮像時間における超音波プローブ２０１の位置を特定する（ステップＳ３０２）。
First, the reception function 44b determines whether or not a notification of the imaging time has been received from the X-ray diagnostic apparatus 10 (Step S301). Here, when the notification is received (Yes at Step S301), the first specifying function 44c specifies the position of the
例えば、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。この場合、第１の特定機能４４ｃは、事前にＸ線診断装置１０に対する位置センサの位置校正を行なう。例えば、第１の特定機能４４ｃは、超音波プローブ２０１が被検体Ｐに挿入されるより前に位置校正を行なう。
For example, the first specifying function 44c specifies the position of the
一例を挙げると、まず、位置センサを備える超音波プローブ２０１がＸ線診断装置１００により撮像される。次に、第１の特定機能４４ｃは、撮像されたＸ線画像データに含まれる超音波プローブ２０１の位置に基づいて、Ｘ線座標系における超音波プローブ２０１の座標を算出する。より具体的には、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサのＸ線座標系における座標を算出する。ここで、位置センサがＸ線画像データに描出される場合、第１の特定機能４４ｃは、Ｘ線画像データに基づいて、位置センサのＸ線座標系における座標を算出することができる。また、位置センサがＸ線画像データに描出されない場合、第１の特定機能４４ｃは、超音波プローブ２０１の設計情報等に基づいて、位置センサの超音波プローブ２０１上での位置を取得することにより、位置センサのＸ線座標系における座標を算出することができる。更に、受信機能４４ｂは、Ｘ線画像データの撮像時における位置センサの位置情報を超音波診断装置２０から受信する。これにより、第１の特定機能４４ｃは、位置センサにより検出される位置情報をＸ線座標系に対応付ける。
As an example, first, the X-ray diagnostic apparatus 100 captures an image of the
校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。ここで、メモリ２５０は、位置センサにより検出される超音波プローブ２０１の位置情報を時刻に対応付けて順次記憶する。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報を取得する。例えば、第１の特定機能４４ｃは、メモリ２５０に記憶された位置情報の中から、通知された撮像時間に対応付いた位置情報を取得する。そして、第１の特定機能４４ｃは、取得した位置情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の位置をＸ線座標系において特定する。
After the calibration is completed, the
更に、第２の特定機能４４ｄは、ハンドル信号を用いて、通知された撮像時間における超音波プローブ２０１の向きを特定する（ステップＳ３０３）。ここで、ハンドル信号は、超音波プローブ２０１の向きを操作するために用いられる信号である。例えば、超音波プローブ２０１は、ケーブルを介してハンドル部に接続され、操作者は、ハンドル部を操作してハンドル信号を入力することにより、超音波プローブ２０１の向きを操作する。ここで、ハンドル部は、超音波プローブ２０１の回転及び移動を検出する第１センサ（ポテンショメータ等）を備える。
Further, the second specifying function 44d specifies the direction of the
例えば、第２の特定機能４４ｄは、事前にハンドル部が備えるセンサの校正を行なう。一例を挙げると、ハンドル部は、超音波プローブ２０１の回転及び移動を検出する第１センサに加えて、位置センサ（以下、第２センサ）を複数備える。この場合、まず、ハンドル部がＸ線診断装置１００により撮像され、第２の特定機能４４ｄは、Ｘ線画像データに基づいて、ハンドル部が備える複数の第２センサのＸ線座標系における座標を算出する。これにより、第２の特定機能４４ｄは、ハンドル部の位置及び向きをＸ線座標系に対応付ける。ここで、ハンドル部に対する超音波プローブ２０１の向きはハンドル信号により制御されるため、ハンドル部の位置及び向きをＸ線座標系に対応付けることで、超音波プローブ２０１の回転及び移動を検出する第１センサを校正することが可能となる。例えば、第２の特定機能４４ｄは、超音波プローブ２０１が被検体Ｐに挿入されるより前に、天井方向（鉛直方向）を「０」とするように、第１センサの校正を行なう。これにより、第２の特定機能４４ｄは、ハンドル部が備える第１センサにより検出される超音波プローブ２０１の配向情報をＸ線座標系に対応付ける。
For example, the second specific function 44d performs calibration of a sensor provided in the handle in advance. For example, the handle unit includes a plurality of position sensors (hereinafter, second sensors) in addition to the first sensors that detect the rotation and movement of the
校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。ここで、Ｘ線座標系に対してハンドル部の位置及び向きが対応付いており、かつ、ハンドル部に対する超音波プローブ２０１の向きはハンドル信号により制御されるものであることから、ハンドル信号に基づいて、超音波プローブ２０１の配向情報をＸ線座標系において算出することが可能である。例えば、メモリ２５０は、ハンドル信号に基づく配向情報を時刻に対応付けて順次記憶する。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第２の特定機能４４ｄは、ハンドル信号に基づく配向情報を取得する。例えば、第２の特定機能４４ｄは、メモリ２５０に記憶された配向情報の中から、通知された撮像時間に対応付いた配向情報を取得する。そして、第２の特定機能４４ｄは、取得した配向情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の向きをＸ線座標系において特定する。
After the calibration is completed, the
なお、ハンドル部の位置及び向きをＸ線座標系に対応付けることで超音波プローブ２０１の回転及び移動を検出する第１センサを校正する場合について説明したが、実施形態はこれに限定されるものではない。例えば、ハンドル部と超音波プローブ２０１とを接続するケーブルにおいて屈曲等しない部分（非可動部）がある場合、第２の特定機能４４ｄは、ケーブルの非可動部の位置及び向きをＸ線座標系に対応付けることで、第１センサを校正してもよい。
The case where the first sensor for detecting the rotation and the movement of the
次に、送信機能４４ｅは、第１の特定機能４４ｃにより特定された超音波プローブ２０１の位置、及び、第２の特定機能４４ｄにより特定された超音波プローブ２０１の向きをＸ線診断装置１０に対して送信する（ステップＳ３０４）。その後、処理回路４４は、再度ステップＳ３０１に移行し、Ｘ線診断装置１０から更に通知を受けたか否かを判定する。ここで、Ｘ線診断装置１０から通知を受けない場合（ステップＳ３０１否定）、処理回路４４は、処理を終了する。
Next, the transmitting function 44e sends the position of the
図１０の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ２５）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ２６）。
Returning to the description of FIG. The receiving function 110d of the X-ray
なお、図１１においては、ハンドル信号に基づいて超音波プローブ２０１の向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、超音波プローブ２０１がジャイロセンサを備える場合、第２の特定機能４４ｄは、ジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定してもよい。
Although FIG. 11 illustrates the case where the direction of the
一例を挙げると、第２の特定機能４４ｄは、超音波プローブ２０１が被検体Ｐに挿入されるより前に、天井方向（鉛直方向）を「０」とするようにジャイロセンサの校正を行なう。これにより、第２の特定機能４４ｄは、ジャイロセンサにより検出される回転情報をＸ線座標系に対応付ける。そして、校正が完了した後、被検体Ｐに超音波プローブ２０１が挿入される。更に、Ｘ線診断装置１０から撮像時間の通知を受けた場合、第２の特定機能４４ｄは、ジャイロセンサにより検出された回転情報に基づいて、Ｘ線画像データＩ１１の撮像時間における超音波プローブ２０１の向きをＸ線座標系において特定する。
For example, the second specific function 44d performs calibration of the gyro sensor so that the ceiling direction (vertical direction) is set to “0” before the
また、第２の特定機能４４ｄは、超音波プローブ２０１の回転及び移動のみならず、超音波プローブ２０１が超音波ビームを送信する方向を考慮して、超音波プローブ２０１の向きを特定してもよい。即ち、第２の特定機能４４ｄは、超音波プローブ２０１から送信される超音波がビーム状に集束される超音波ビームの向きを、超音波プローブ２０１の向きとして特定してもよい。
In addition, the second specifying function 44d specifies not only the rotation and movement of the
具体的には、まず、操作者は、入力インターフェース２０２を介して、ビーム配向信号を入力する。次に、送信回路２１０のパルサ回路は、ビーム配向信号に基づいて、圧電振動子ごとの送信遅延時間を各レートパルスに付与し、超音波プローブ２０１に出力する。これにより、操作者は、各レートパルスに与える送信遅延時間を変化させて、圧電振動子面からの超音波ビームの送信方向を任意に調整することができる。ここで、送信機能２６４は、操作者により入力されたビーム配向信号を医用情報処理装置４０に対して送信し、受信機能４４ｂは、ビーム配向信号を受信する。次に、第２の特定機能４４ｄは、ハンドル信号や、ジャイロセンサにより検出された回転情報に基づいて超音波プローブ２０１の送受信面の向きを算出する。そして、第２の特定機能４４ｄは、算出した超音波プローブ２０１の送受信面の向きとビーム配向信号とに基づいて超音波ビームの向きを算出し、算出した超音波ビームの向きを超音波プローブ２０１の向きとして特定する。
Specifically, first, the operator inputs a beam orientation signal via the input interface 202. Next, the pulser circuit of the transmission circuit 210 gives a transmission delay time for each piezoelectric vibrator to each rate pulse based on the beam orientation signal, and outputs the rate pulse to the
上述したように、第３の実施形態によれば、第１の特定機能４４ｃは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。また、第２の特定機能４４ｄは、超音波プローブ２０１の向きの操作に用いられるハンドル信号に基づいて、超音波プローブ２０１の向きを特定する。或いは、第２の特定機能４４ｄは、超音波プローブ２０１が備えるジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定する。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。
As described above, according to the third embodiment, the first specifying function 44c specifies the position of the
また、第２の特定機能４４ｄは、更に、超音波プローブ２０１から送信される超音波ビームの向きの操作に用いられるビーム配向信号に基づいて、超音波プローブ２０１の向きを特定する。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の向きをより高い精度で特定して、Ｘ線画像データと超音波画像データとの位置合わせの精度を向上させることができる。
Further, the second specifying function 44d further specifies the direction of the
また、第２の特定機能４４ｄは、超音波プローブ２０１を撮像したＸ線画像データを用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が小型であり、Ｘ線画像データに形状特徴が描出されにくい場合においても、超音波プローブ２０１の位置及び向きを特定することができる。また、第３の実施形態に係る医用情報処理装置４０は、Ｘ線診断装置１０と医用情報処理装置４０との間で送受信されるデータのサイズを低減することができる。
Further, the second specifying function 44d can specify the position and the direction of the
また、上述したように、第３の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第３の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。
As described above, according to the third embodiment, the first specifying function 44c and the second specifying function 44d specify the position and the direction of the
なお、位置センサを用いて超音波プローブ２０１の位置を特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の特定機能４４ｃは、所定の図形と、超音波プローブ２０１を撮像した２次元のＸ線画像データ、又は、Ｘ線画像データに基づく２値化画像とをマッチングすることにより、超音波プローブ２０１の位置を特定してもよい。また、例えば、第１の特定機能４４ｃは、超音波プローブ２０１を撮像した２次元のＸ線画像データ上で超音波プローブ２０１に対応する指定点又は指定領域を指定する操作を受け付け、後に撮像された複数のＸ線画像データにおいて指定点又は指定領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定してもよい。
Although the case where the position of the
また、ハンドル信号又はジャイロセンサにより検出された回転情報に基づいて超音波プローブ２０１の向きを特定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、第２の特定機能４４ｄは、超音波プローブ２０１の構造を示す３Ｄデータと、超音波プローブ２０１を撮像した２次元のＸ線画像データとに基づいて、超音波プローブ２０１の向きを特定してもよい。
Further, the case where the direction of the
（第４の実施形態）
第４の実施形態では、異なる方向から超音波プローブ２０１を撮像した複数の画像データと、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する場合について説明する。
(Fourth embodiment)
In the fourth embodiment, by matching a plurality of image data obtained by imaging the
第４の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１〜図４と同一の符号を付し、説明を省略する。 The medical information processing apparatus 40 according to the fourth embodiment has the same configuration as the medical information processing apparatus 40 according to the first embodiment shown in FIG. 4, and includes a first specifying function 44c and a second specifying function. A part of the processing in the function 44d is different. Components having the same configuration as that described in the first embodiment are denoted by the same reference numerals as in FIGS. 1 to 4, and description thereof will be omitted.
医用情報処理装置４０は、図５と同様に、Ｘ線診断装置１０において生成されたＸ線画像データＩ１１を受信し、受信したＸ線画像データＩ１１を用いて超音波プローブ２０１の位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。以下、図１２を用いて、医用情報処理装置４０における処理について詳細に説明する。図１２は、第４の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。
The medical information processing apparatus 40 receives the X-ray image data I11 generated by the X-ray
図１２において、ステップＳ４０１は、受信機能４４ｂに対応するステップである。また、ステップＳ４０２、ステップＳ４０３、ステップＳ４０４、ステップＳ４０５及びステップＳ４０６は、第１の特定機能４４ｃ及び第２の特定機能４４ｄに対応するステップである。なお、本実施形態では、第１の特定機能４４ｃと第２の特定機能４４ｄとを総称して、特定機能４４ｇとも記載する。特定機能４４ｇは、特定部の一例である。また、ステップＳ４０７は、送信機能４４ｅに対応するステップである。 In FIG. 12, step S401 is a step corresponding to the reception function 44b. Steps S402, S403, S404, S405, and S406 are steps corresponding to the first specific function 44c and the second specific function 44d. In the present embodiment, the first specific function 44c and the second specific function 44d are collectively referred to as a specific function 44g. The specifying function 44g is an example of a specifying unit. Step S407 is a step corresponding to the transmission function 44e.
まず、受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信したか否かを判定する（ステップＳ４０１）。Ｘ線画像データＩ１１を受信した場合（ステップＳ４０１肯定）、受信機能４４ｂは、受信したＸ線画像データＩ１１をメモリ４３に格納する。また、特定機能４４ｇは、Ｘ線画像データＩ１１に対する２値化処理を実行して、画像データＩ２１を生成する（ステップＳ４０２）。 First, the reception function 44b determines whether or not the X-ray image data I11 has been received from the X-ray diagnostic apparatus 10 (Step S401). When receiving the X-ray image data I11 (Yes at Step S401), the receiving function 44b stores the received X-ray image data I11 in the memory 43. Further, the specifying function 44g executes binarization processing on the X-ray image data I11 to generate image data I21 (step S402).
次に、特定機能４４ｇは、メモリ４３から、テンプレートＴ２を取得する（ステップＳ４０３）。ここで、テンプレートＴ２は、超音波プローブ２０１を撮像した画像データ（Ｘ線画像データや、Ｘ線画像データに基づく２値化画像等）である。例えば、メモリ４３は、異なる方向から超音波プローブ２０１を撮像した複数のテンプレートＴ２を事前に記憶し、特定機能４４ｇは、メモリ４３に記憶された複数のテンプレートＴ２のうちいずれかを取得する。
Next, the specifying function 44g acquires the template T2 from the memory 43 (Step S403). Here, the template T2 is image data (X-ray image data, a binary image based on the X-ray image data, and the like) obtained by imaging the
例えば、Ｘ線診断装置１０は、被検体Ｐに超音波プローブ２０１を挿入するよりも前に、複数方向から超音波プローブ２０１を撮像する。次にＸ線診断装置１０は、撮像した複数のＸ線画像データのそれぞれを２値化し、複数の２値化画像を医用情報処理装置４０に送信する。この場合、メモリ４３は、Ｘ線診断装置１０から送信された複数の２値化画像を、複数のテンプレートＴ２として記憶する。或いは、Ｘ線診断装置１０は、撮像した複数のＸ線画像データを医用情報処理装置４０に送信する。この場合、特定機能４４ｇは、複数のＸ線画像データのそれぞれを２値化し、メモリ４３は、特定機能４４ｇにより生成された複数の２値化画像を、複数のテンプレートＴ２として記憶する。
For example, the X-ray
例えば、超音波プローブ２０１が経食道で心臓の検査に用いられるＴＥＥプローブである場合、メモリ４３は、ＬＡＯ（左前斜位：left anterior oblique）、ＲＡＯ（右前斜位：right anterior oblique）、ＣＲＡ（頭部方向：cranial）、ＣＡＵ（尾部方向：caudal）等の各臨床角に対応付けて、複数のテンプレートＴ２を記憶する。一例を挙げると、メモリ４３は、異なる方向を向いた超音波プローブ２０１をＬＡＯ方向から複数撮像し、撮像した複数のＸ線画像データに基づく複数のテンプレートＴ２を、ＬＡＯ方向に対応付けて記憶する。
For example, when the
次に、特定機能４４ｇは、テンプレートＴ２を用いてマッチング処理を実行する（ステップＳ４０４）。即ち、特定機能４４ｇは、テンプレートＴ２と画像データＩ２１とをマッチングして、画像データＩ２１においてテンプレートＴ２に類似するパターンの位置及び向きを検索する。 Next, the specifying function 44g executes a matching process using the template T2 (Step S404). That is, the specifying function 44g matches the template T2 with the image data I21, and searches the image data I21 for the position and orientation of a pattern similar to the template T2.
次に、特定機能４４ｇは、超音波プローブ２０１の位置及び向きを特定したか否かを判定する（ステップＳ４０５）。ここで、超音波プローブ２０１の位置及び向きを特定しなかったと判定した場合（ステップＳ４０５否定）、特定機能４４ｇは、新たなテンプレートＴ２を取得して（ステップＳ４０６）、再度ステップＳ４０６に移行する。例えば、第１方向を向いた超音波プローブ２０１をＬＡＯ方向から撮像したＸ線画像データに基づくテンプレートＴ２１を用いてマッチング処理を実行して、超音波プローブ２０１の位置及び向きを特定しなかったと判定した場合、特定機能４４ｇは、第１方向と異なる第２方向を向いた超音波プローブ２０１をＬＡＯ方向から撮像したＸ線画像データに基づくテンプレートＴ２２を用いて、マッチング処理を再度実行する。なお、テンプレートＴ２１及びテンプレートＴ２２は、テンプレートＴ２の一例である。
Next, the specifying function 44g determines whether the position and the direction of the
一方で、超音波プローブ２０１の位置及び向きを特定したと判定した場合（ステップＳ４０５肯定）、特定機能４４ｇは、特定した超音波プローブ２０１の位置及び向きをＸ線診断装置１０に送信して（ステップＳ４０７）、再度ステップＳ４０１に移行する。例えば、画像データＩ２１において、第１方向を向いた超音波プローブ２０１を撮像したＸ線画像データに基づくテンプレートＴ２１に類似するパターンの位置を検出した場合、特定機能４４ｇは、検出した位置を、超音波プローブ２０１のＸ線画像データＩ１１上での位置として特定する。更に、特定機能４４ｇは、第１方向を、超音波プローブ２０１の向きとして特定する。また、ステップＳ４０１においてＸ線診断装置１０からＸ線画像データＩ１１を受信しない場合（ステップＳ４０１否定）、処理回路４４は、処理を終了する。
On the other hand, when it is determined that the position and the direction of the
医用情報処理装置４０から超音波プローブ２０１の位置及び向きが送信された場合、Ｘ線診断装置１０における受信機能１１０ｄは、超音波プローブ２０１の位置及び向きを受信して、メモリ１０７に格納する。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる。
When the position and the direction of the
なお、テンプレートＴ２がＸ線画像データに基づく２値化画像であるものとして説明したが、実施形態はこれに限定されるものではない。例えば、テンプレートＴ２は、Ｘ線画像データであってもよい。即ち、テンプレートＴ２の生成に当たって、２値化処理は行われない場合であってもよい。この場合、特定機能４４ｇは、図１２のステップＳ４０２を省略し、テンプレートＴ２とＸ線画像データＩ１１とをマッチングすることにより、超音波プローブ２０１の位置及び向きを特定する。
Although the description has been made assuming that the template T2 is a binarized image based on the X-ray image data, the embodiment is not limited to this. For example, the template T2 may be X-ray image data. That is, the binarization process may not be performed when generating the template T2. In this case, the specifying function 44g omits step S402 in FIG. 12 and specifies the position and the orientation of the
また、例えば、テンプレートＴ２は、超音波プローブ２０１を光学カメラにより撮像した画像データ、又は、この画像データに基づく２値化画像であってもよい。また、例えば、テンプレートＴ２は、超音波プローブ２０１をＸ線診断装置１０以外の医用画像診断装置により撮像した医用画像データ、又は、この医用画像データに基づく２値化画像であってもよい。一例を挙げると、テンプレートＴ２は、超音波プローブ２０１をＸ線ＣＴ装置により撮像した画像データ（投影データ、ＣＴ画像データに基づくレンダリング画像等）であってもよい。
Further, for example, the template T2 may be image data obtained by capturing the
上述したように、第４の実施形態によれば、メモリ４３は、異なる方向から超音波プローブ２０１を撮像した複数の画像データ（テンプレートＴ２）を記憶する。また、特定機能４４ｇは、テンプレートＴ２と、超音波プローブ２０１を撮像した２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。従って、第４の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。
As described above, according to the fourth embodiment, the memory 43 stores a plurality of image data (template T2) obtained by imaging the
また、上述したように、特定機能４４ｇは、２次元の画像データであるテンプレートＴ２を用いて、マッチング処理を実行する。従って、第４の実施形態に係る医用情報処理装置４０は、３次元データＭ１に基づくレンダリング画像を用いてマッチング処理を実行する場合と比較して、レンダリング画像を生成する処理を省略し、計算量を低減することができる。 Further, as described above, the specifying function 44g performs the matching process using the template T2 which is two-dimensional image data. Therefore, the medical information processing apparatus 40 according to the fourth embodiment omits the processing of generating a rendering image, as compared with the case where the matching processing is performed using the rendering image based on the three-dimensional data M1, and the amount of calculation is Can be reduced.
また、上述したように、第４の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第４の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。
As described above, according to the fourth embodiment, the first specifying function 44c and the second specifying function 44d specify the position and the direction of the
（第５の実施形態）
第５の実施形態では、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きを３次元の医用画像データにおいて特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きを３次元の医用画像データにおいて特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する場合について説明する。
(Fifth embodiment)
In the fifth embodiment, the position and orientation of the two-dimensional X-ray image data I11 obtained by imaging the
第５の実施形態に係る医用情報処理装置４０は、図４に示した第１の実施形態に係る医用情報処理装置４０と同様の構成を有し、第１の特定機能４４ｃ及び第２の特定機能４４ｄにおける処理の一部が相違する。また、第５の実施形態に係る医用情報処理システム１は、図１に示した医用情報処理システム１と比較して、Ｘ線ＣＴ装置５０（図示せず）を更に含む点で相違する。以下、第１の実施形態において説明した構成と同様の構成を有する点については、図１〜図４と同一の符号を付し、説明を省略する。 The medical information processing apparatus 40 according to the fifth embodiment has the same configuration as the medical information processing apparatus 40 according to the first embodiment shown in FIG. 4, and includes a first specifying function 44c and a second specifying function. A part of the processing in the function 44d is different. Further, the medical information processing system 1 according to the fifth embodiment is different from the medical information processing system 1 shown in FIG. 1 in that the medical information processing system 1 further includes an X-ray CT apparatus 50 (not shown). Hereinafter, points having the same configuration as that described in the first embodiment are denoted by the same reference numerals as those in FIGS. 1 to 4, and description thereof will be omitted.
例えば、医用情報処理装置４０は、図１３に示すように、Ｘ線診断装置１０、超音波診断装置２０及び画像保管装置３０からＸ線画像データＩ１１、超音波画像データＩ３１及びＣＴ画像データＩ４１を受信し、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定し、特定した位置及び向きをＸ線診断装置１０に送信する。ここで、図１３は、第５の実施形態に係る医用情報処理システム１の処理の一連の流れを説明するためのフローチャートである。
For example, as shown in FIG. 13, the medical information processing apparatus 40 transmits X-ray image data I11, ultrasonic image data I31, and CT image data I41 from the X-ray
具体的には、まず、Ｘ線診断装置１０における収集機能１１０ｂは、ＴＥＥプローブである超音波プローブ２０１が挿入された被検体Ｐに対して、Ｘ線管１０２からＸ線を照射する（ステップＳ３１）。この際、収集機能１１０ｂは、Ｘ線診断装置１０の撮像部を制御することによって、超音波プローブ２０１が撮像領域に含まれるようにＸ線の照射範囲及び照射角度を制御する。また、この際、Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。次に、収集機能１１０ｂは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データＩ１１を生成し、生成したＸ線画像データＩ１１をメモリ１０７に格納する（ステップＳ３２）。次に、Ｘ線診断装置１０における送信機能１１０ｃは、図１３に示すように、生成されたＸ線画像データＩ１１を医用情報処理装置４０に対して送信する（ステップＳ３３）。
Specifically, first, the collection function 110b in the X-ray
また、超音波診断装置２０における収集機能２６２は、被検体Ｐに挿入された超音波プローブ２０１を用いて超音波走査を実行し、Ｂモードデータやドプラデータを収集する（ステップＳ３４）。また、収集機能２６２は、超音波走査により収集したデータから超音波画像データＩ３１を生成し、生成した超音波画像データＩ３１をメモリ２５０に格納する（ステップＳ３５）。なお、本実施形態では、超音波画像データＩ３１が３次元の超音波画像データである場合について説明する。次に、超音波診断装置２０における送信機能２６４は、図１３に示すように、生成された超音波画像データＩ３１を医用情報処理装置４０に対して送信する（ステップＳ３６）。なお、ステップＳ３１とステップＳ３４とは略同時に行われる。即ち、Ｘ線画像データＩ１１と超音波画像データＩ３１とは、略同時に撮像される。
The
図１３に示すように、医用情報処理装置４０における受信機能４４ｂは、Ｘ線診断装置１０からＸ線画像データＩ１１を受信し、超音波診断装置２０から超音波画像データＩ３１を受信し、画像保管装置３０からＣＴ画像データＩ４１を受信して、受信した画像データをメモリ４３に格納する（ステップＳ３７）。
As shown in FIG. 13, the reception function 44b of the medical information processing apparatus 40 receives the X-ray image data I11 from the X-ray
ここで、ＣＴ画像データＩ４１は、Ｘ線ＣＴ装置５０によって、被検体Ｐから事前に収集される。例えば、Ｘ線ＣＴ装置５０は、図１３のステップＳ３１及びステップＳ３４よりも前に、被検体Ｐに対するＣＴスキャンを実行する。即ち、Ｘ線ＣＴ装置５０は、被検体Ｐに対して複数方向からＸ線を照射し、被検体Ｐを透過したＸ線をＸ線検出器により検出して、検出データを収集する。また、Ｘ線ＣＴ装置５０は、検出データに基づいて再構成処理を実行し、ＣＴ画像データ（ボリュームデータ）を生成する。そして、Ｘ線ＣＴ装置５０は、ネットワークＮＷを介して、生成したＣＴ画像データを画像保管装置３０に送信する。なお、ＣＴ画像データは、３次元医用画像の一例である。 Here, the CT image data I41 is collected in advance from the subject P by the X-ray CT apparatus 50. For example, the X-ray CT apparatus 50 performs a CT scan on the subject P before steps S31 and S34 in FIG. That is, the X-ray CT apparatus 50 irradiates the subject P with X-rays from a plurality of directions, detects the X-rays transmitted through the subject P with an X-ray detector, and collects detection data. Further, the X-ray CT apparatus 50 performs a reconstruction process based on the detection data, and generates CT image data (volume data). Then, the X-ray CT device 50 transmits the generated CT image data to the image storage device 30 via the network NW. The CT image data is an example of a three-dimensional medical image.
次に、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、ＣＴ画像データＩ４１を用いて、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定し（ステップＳ３８）、送信機能４４ｅは、特定された位置及び向きをＸ線診断装置１０に対して送信する（ステップＳ３９）。
Next, the first specific function 44c and the second specific function 44d specify the position and the orientation of the
ここで、医用情報処理装置４０における処理について、図１４を用いてより詳細に説明する。図１４は、第５の実施形態に係る医用情報処理装置４０の処理の一連の流れを説明するためのフローチャートである。図１４において、ステップＳ５０１及びステップＳ５０２は、受信機能４４ｂに対応するステップである。また、ステップＳ５０３、ステップＳ５０４、ステップＳ５０５、ステップＳ５０６及びステップＳ５０７は、第１の特定機能４４ｃ及び第２の特定機能４４ｄに対応するステップである。なお、本実施形態では、第１の特定機能４４ｃと第２の特定機能４４ｄとを総称して、特定機能４４ｇとも記載する。特定機能４４ｇは、特定部の一例である。また、ステップＳ５０８は、送信機能４４ｅに対応するステップである。 Here, the processing in the medical information processing apparatus 40 will be described in more detail with reference to FIG. FIG. 14 is a flowchart for explaining a series of flows of processing of the medical information processing apparatus 40 according to the fifth embodiment. In FIG. 14, steps S501 and S502 are steps corresponding to the reception function 44b. Steps S503, S504, S505, S506, and S507 are steps corresponding to the first specific function 44c and the second specific function 44d. In the present embodiment, the first specific function 44c and the second specific function 44d are collectively referred to as a specific function 44g. The specifying function 44g is an example of a specifying unit. Step S508 is a step corresponding to the transmission function 44e.
まず、受信機能４４ｂは、画像保管装置３０から被検体ＰのＣＴ画像データＩ４１を受信して、ＣＴ画像データＩ４１をメモリ４３に格納する（ステップＳ５０１）。また、受信機能４４ｂは、Ｘ線画像データＩ１１及び超音波画像データＩ３１を受信したか否かを判定する（ステップＳ５０２）。ここで、Ｘ線画像データＩ１１及び超音波画像データＩ３１を受信した場合（ステップＳ５０２肯定）、受信機能４４ｂは、受信した画像データをメモリ４３に格納する。 First, the receiving function 44b receives the CT image data I41 of the subject P from the image storage device 30, and stores the CT image data I41 in the memory 43 (Step S501). Further, the reception function 44b determines whether or not the X-ray image data I11 and the ultrasonic image data I31 have been received (step S502). Here, when the X-ray image data I11 and the ultrasonic image data I31 are received (Yes at Step S502), the receiving function 44b stores the received image data in the memory 43.
次に、特定機能４４ｇは、ＣＴ画像データＩ４１に基づくレンダリング画像と、Ｘ線画像データＩ１１とでマッチング処理を実行し（ステップＳ５０３）、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きを特定する（ステップＳ５０４）。 Next, the specifying function 44g executes a matching process between the rendering image based on the CT image data I41 and the X-ray image data I11 (step S503), and determines the position and orientation of the X-ray image data I11 with respect to the CT image data I41. It is specified (step S504).
例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に対して複数の投影方向からレンダリング処理を実行することで、複数のレンダリング画像を生成する。ここで、特定機能４４ｇは、所定の範囲内の投影方向についてレンダリング処理を実行することとしてもよい。例えば、特定機能４４ｇは、Ｘ線画像データＩ１１の撮像時における撮像部（Ｃアーム１０５や天板１０４等）の配置に基づいて、ＣＴ画像データＩ４１に対してＸ線画像データＩ１１が取り得る向きの範囲を設定し、設定した範囲内における複数の投影方向についてレンダリング処理を実行する。
For example, the specifying function 44g generates a plurality of rendering images by executing a rendering process on the CT image data I41 from a plurality of projection directions. Here, the specifying function 44g may execute a rendering process for a projection direction within a predetermined range. For example, the specific function 44g is a direction in which the X-ray image data I11 can be taken with respect to the CT image data I41 based on the arrangement of the imaging units (such as the C-
次に、特定機能４４ｇは、複数のレンダリング画像とＸ線画像データＩ１１とでパターンを比較して、複数のレンダリング画像のうちＸ線画像データＩ１１とパターンが類似するレンダリング画像を特定する。これにより、特定機能４４ｇは、特定したレンダリング画像のレンダリング方向を、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の向きとして特定する。また、特定機能４４ｇは、特定したレンダリング画像においてＸ線画像データＩ１１とパターンが類似する位置に基づいて、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置を特定する。 Next, the specifying function 44g compares a pattern between the plurality of rendering images and the X-ray image data I11, and specifies a rendering image having a pattern similar to the X-ray image data I11 among the plurality of rendering images. Accordingly, the specifying function 44g specifies the rendering direction of the specified rendering image as the direction of the X-ray image data I11 with respect to the CT image data I41. Further, the specifying function 44g specifies the position of the X-ray image data I11 with respect to the CT image data I41 based on the position where the pattern is similar to the X-ray image data I11 in the specified rendering image.
次に、特定機能４４ｇは、ＣＴ画像データＩ４１と超音波画像データＩ３１とで、レジストレーション処理（位置合わせ）を実行し（ステップＳ５０５）、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きを特定する（ステップＳ５０６）。ここで、特定機能４４ｇは、任意の方法により、ＣＴ画像データＩ４１と超音波画像データＩ３１とのレジストレーションを実行することができる。 Next, the specifying function 44g executes a registration process (alignment) between the CT image data I41 and the ultrasonic image data I31 (step S505), and the position and orientation of the ultrasonic image data I31 with respect to the CT image data I41. Is specified (step S506). Here, the specifying function 44g can execute registration between the CT image data I41 and the ultrasonic image data I31 by an arbitrary method.
例えば、特定機能４４ｇは、ＣＴ画像データＩ４１及び超音波画像データＩ３１のそれぞれから複数の特徴点（ランドマーク）を検出する。一例を挙げると、超音波プローブ２０１が経食道で心臓の検査に用いられるＴＥＥプローブである場合、特定機能４４ｇは、ＣＴ画像データＩ４１及び超音波画像データＩ３１のそれぞれから、特徴点として、血管の分岐点や弁（僧帽弁、大動脈弁等）を検出する。そして、特定機能４４ｇは、検出した特徴点を基準として、ＣＴ画像データＩ４１と超音波画像データＩ３１とのレジストレーション処理を実行する。なお、ステップＳ５０３及びステップＳ５０４と、ステップＳ５０５及びステップＳ５０６とを行なう順序は任意であり、並行して行なう場合であってもよい。
For example, the specifying function 44g detects a plurality of feature points (landmarks) from each of the CT image data I41 and the ultrasonic image data I31. As an example, when the
次に、特定機能４４ｇは、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きと、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きとに基づいて、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定する（ステップＳ５０７）。例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に対するＸ線画像データＩ１１の位置及び向きと、ＣＴ画像データＩ４１に対する超音波画像データＩ３１の位置及び向きとに基づいて、Ｘ線画像データＩ１１に対する超音波画像データＩ３１の位置及び向きを特定する。ここで、超音波画像データＩ３１に対する超音波プローブ２０１の位置及び向きは明らかであるから、特定機能４４ｇは、Ｘ線画像データＩ１１に対する超音波プローブ２０１の位置及び向きを特定することができる。即ち、特定機能４４ｇは、ＣＴ画像データＩ４１を介して、Ｘ線座標系と超音波座標系とを対応付けることができる。そして、送信機能４４ｅは、超音波プローブ２０１の位置及び向きを、Ｘ線診断装置１０に対して送信する（ステップＳ５０８）。
Next, the specifying function 44g performs the superposition on the X-ray image data I11 based on the position and the orientation of the X-ray image data I11 with respect to the CT image data I41 and the position and the orientation of the ultrasonic image data I31 with respect to the CT image data I41. The position and the direction of the
図１３の説明に戻る。Ｘ線診断装置１０における受信機能１１０ｄは、医用情報処理装置４０から送信された超音波プローブ２０１の位置及び向きを受信し、メモリ１０７に格納する（ステップＳ４０）。また、受信機能１１０ｄは、超音波診断装置２０から、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１を受信し、メモリ１０７に格納する。そして、表示制御機能１１０ｅは、超音波プローブ２０１の位置及び向きに応じて、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１をＸ線画像データＩ１１上に表示させる（ステップＳ４１）。
Returning to the description of FIG. The receiving function 110d of the X-ray
上述したように、第５の実施形態によれば、特定機能４４ｇは、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きをＣＴ画像データＩ４１において特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きをＣＴ画像データＩ４１において特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する。従って、第５の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１の位置及び向きを特定して、Ｘ線画像データと、超音波プローブ２０１を用いて撮像された超音波画像データとの位置合わせを可能とすることができる。
As described above, according to the fifth embodiment, the specifying function 44g specifies the position and the direction of the two-dimensional X-ray image data I11 obtained by imaging the
また、上述したように、第５の実施形態によれば、第１の特定機能４４ｃ及び第２の特定機能４４ｄは、３次元データＭ１を用いずとも、超音波プローブ２０１の位置及び向きを特定することができる。従って、第５の実施形態に係る医用情報処理装置４０は、超音波プローブ２０１が他のメーカの製品であり、超音波プローブ２０１の設計情報を保持しない場合においても、超音波プローブ２０１の位置及び向きを特定することができる。
Further, as described above, according to the fifth embodiment, the first specifying function 44c and the second specifying function 44d specify the position and the direction of the
なお、図１３及び図１４においては、３次元医用画像の一例として、ＣＴ画像データＩ４１について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、特定機能４４ｇは、ＣＴ画像データＩ４１に代えて、ＭＲＩ（Magnetic Resonance Imaging）装置等の他の医用画像診断装置によって収集された３次元画像データを用いてもよいし、Ｘ線診断装置１０によって収集された３次元Ｘ線画像データを用いてもよい。
13 and 14, the CT image data I41 has been described as an example of the three-dimensional medical image. However, embodiments are not limited to this. For example, the specifying function 44g may use three-dimensional image data collected by another medical image diagnostic apparatus such as an MRI (Magnetic Resonance Imaging) apparatus, instead of the CT image data I41, or the X-ray
例えば、Ｘ線診断装置１０は、図１３のステップＳ３１及びステップＳ３４よりも前に、被検体Ｐに対する回転撮影を実行する。即ち、Ｘ線診断装置１０は、Ｃアーム１０５を被検体Ｐの周囲で回転させながら所定のフレームレートで投影データを収集し、収集した投影データから３次元Ｘ線画像データを再構成して、画像保管装置３０に送信する。そして、特定機能４４ｇは、超音波プローブ２０１を撮像した２次元のＸ線画像データＩ１１の位置及び向きを３次元Ｘ線画像データにおいて特定し、超音波プローブ２０１を用いて撮像された超音波画像データＩ３１の位置及び向きを３次元Ｘ線画像データにおいて特定することで、超音波プローブ２０１のＸ線画像データＩ１１上での位置及び向きを特定する。
For example, the X-ray
（第６の実施形態）
さて、これまで第１〜第５の実施形態について説明したが、上述した第１〜第５の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
(Sixth embodiment)
The first to fifth embodiments have been described above, but may be implemented in various different forms other than the first to fifth embodiments described above.
図７においては、Ｘ線画像データＩ１１又は画像データＩ２１において超音波プローブ２０１を検出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。
In FIG. 7, a case has been described where the position of the
例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１又は画像データＩ２１において、超音波プローブ２０１に接続されるケーブルを抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。一例を挙げると、第１の特定機能４４ｃは、まず、Ｘ線画像データＩ１１の端部においてケーブルを抽出する。次に、第１の特定機能４４ｃは、抽出したケーブルの位置（Ｘ線画像データＩ１１の端部）を始点として、画素値の連続性に基づいてケーブルをトレースする。そして、第１の特定機能４４ｃは、トレースしたケーブルの終点の位置を、超音波プローブ２０１のＸ線画像データＩ１１上での位置として特定する。
For example, the first specific function 44c extracts the cable connected to the
また、例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１において、超音波プローブ２０１が有する部品（例えば、トランジスタ等）を抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。また、例えば、第１の特定機能４４ｃは、Ｘ線画像データＩ１１において、超音波プローブ２０１に付されたマーカ（例えば、星形の金属等）を抽出することにより、超音波プローブ２０１のＸ線画像データＩ１１上での位置を特定してもよい。
Further, for example, the first specific function 44c extracts a component (for example, a transistor or the like) included in the
また、上述した実施形態では、Ｘ線診断装置１０における表示制御機能１１０ｅ、又は、医用情報処理装置４０における表示制御機能４４ｆが、超音波プローブ２０１を撮像した２次元のＸ線画像データ上に、超音波プローブ２０１を用いて撮像された超音波画像データ、又は、超音波プローブ２０１の撮像領域を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、超音波診断装置２０における表示制御機能２６３が、超音波プローブ２０１を撮像した２次元のＸ線画像データ上に、超音波プローブ２０１を用いて撮像された超音波画像データ、又は、超音波プローブ２０１の撮像領域を表示させる場合であってもよい。
Further, in the above-described embodiment, the display control function 110e in the X-ray
また、上述した実施形態では、医用情報処理装置４０の処理回路４４が、第１の特定機能４４ｃ及び第２の特定機能４４ｄを有するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０や超音波診断装置２０等の他の装置が、第１の特定機能４４ｃ及び第２の特定機能４４ｄに相当する機能を有する場合であってもよい。
In the above-described embodiment, the processing circuit 44 of the medical information processing apparatus 40 has been described as having the first specific function 44c and the second specific function 44d. However, embodiments are not limited to this. For example, another device such as the X-ray
一例を挙げると、Ｘ線診断装置１０の処理回路１１０は、図２に示した各機能に加えて、第１の特定機能１１０ｆ及び第２の特定機能１１０ｇを有する。この場合、収集機能１１０ｂは、超音波プローブ２０１を撮像した２次元のＸ線画像データを収集する。また、第１の特定機能１１０ｆは、例えば、所定の図形と、収集機能１１０ｂにより収集された２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。或いは、第１の特定機能１１０ｆは、所定の図形と、収集機能１１０ｂにより収集された２次元のＸ線画像データに基づく２値化画像とをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。或いは、第１の特定機能１１０ｆは、収集機能１１０ｂにより収集された２次元のＸ線画像データにおいて、超音波プローブ２０１に接続されるケーブルを抽出することにより、超音波プローブ２０１のＸ線画像データ上での位置を特定する。
To give an example, the processing circuit 110 of the X-ray
或いは、第１の特定機能１１０ｆは、収集機能１１０ｂにより収集された２次元のＸ線画像データ上で、超音波プローブ２０１に対応する点又は領域を指定する操作を受け付ける。更に、第１の特定機能１１０ｆは、収集機能１１０ｂにより後に収集された複数のＸ線画像データにおいて、指定された点又は領域を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置を特定する。ここで、第１の特定機能１１０ｆ及び第２の特定機能１１０ｇは、超音波プローブ２０１に対応する点を少なくとも３つ指定する操作を受け付けて、これら少なくとも３つの点を追跡することにより、超音波プローブ２０１の複数のＸ線画像データ上での位置及び向きを特定してもよい。或いは、第１の特定機能１１０ｆは、超音波プローブ２０１が備える位置センサにより検出された位置情報に基づいて、超音波プローブ２０１の位置を特定する。
Alternatively, the first specifying function 110f accepts an operation of designating a point or an area corresponding to the
また、第２の特定機能１１０ｇは、超音波プローブ２０１の向きを特定する。例えば、第２の特定機能１１０ｇは、超音波プローブ２０１の構造を示す３次元データＭ１と、超音波プローブ２０１を撮像した２次元のＸ線画像データとに基づいて、第１の特定機能１１０ｆによって特定された位置における超音波プローブ２０１の向きを特定する。
The second specifying function 110g specifies the direction of the
また、例えば、第２の特定機能１１０ｇは、超音波プローブ２０１の向きの操作に用いられるハンドル信号に基づいて、超音波プローブ２０１の向きを特定する。また、例えば、第２の特定機能１１０ｇは、超音波プローブ２０１が備えるジャイロセンサにより検出された回転情報に基づいて、超音波プローブ２０１の向きを特定する。ここで、第２の特定機能１１０ｇは、超音波プローブ２０１から送信される超音波ビームの向きの操作に用いられるビーム配向信号を更に用いて、超音波プローブ２０１の向きを特定してもよい。
Further, for example, the second specifying function 110g specifies the direction of the
別の例を挙げると、Ｘ線診断装置１０の処理回路１１０は、図２に示した各機能に加えて、特定機能１１０ｈを有する。この場合、例えば、Ｘ線診断装置１０のメモリ１０７は、異なる方向から超音波プローブ２０１を撮像した複数の画像データを記憶する。ここで、メモリ１０７が記憶する複数の画像データは、Ｘ線画像データであってもよいし、Ｘ線診断装置１０以外の医用画像診断装置により撮像される医用画像データであってもよいし、光学カメラにより撮像される画像データであってもよいし、これらの２値化画像であってもよい。また、特定機能１１０ｈは、メモリ１０７が記憶する複数の画像データと、超音波プローブ２０１を撮像した２次元のＸ線画像データとをマッチングすることにより、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。或いは、特定機能１１０ｈは、超音波プローブ２０１を撮像した２次元のＸ線画像データの位置及び向きを３次元医用画像において特定し、超音波プローブ２０１を用いて撮像された超音波画像データの位置及び向きを３次元医用画像において特定することで、超音波プローブ２０１のＸ線画像データ上での位置及び向きを特定する。
As another example, the processing circuit 110 of the X-ray
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。 Each component of each device according to the above-described embodiment is functionally conceptual and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the illustrated one, and all or a part thereof may be functionally or physically distributed / arbitrarily divided into arbitrary units according to various loads and usage conditions. Can be integrated and configured. Furthermore, all or any part of each processing function performed by each device can be realized by a CPU and a program analyzed and executed by the CPU, or can be realized as hardware by wired logic.
また、上述した実施形態で説明した超音波プローブの位置及び向きの特定方法は、予め用意された医用情報処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、この医用情報処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 Further, the method of specifying the position and orientation of the ultrasonic probe described in the above embodiment can be realized by executing a prepared medical information processing program on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The medical information processing program is recorded on a non-transitory computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD, and is read from the recording medium by the computer. Can also be performed by
以上説明した少なくとも１つの実施形態によれば、Ｘ線画像と超音波画像との位置合わせを可能とすることができる。 According to at least one embodiment described above, alignment between an X-ray image and an ultrasonic image can be enabled.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and equivalents thereof.
１ 医用情報処理システム
１０ Ｘ線診断装置
１０７ メモリ
１０８ ディスプレイ
１０９ 入力インターフェース
１１０ 処理回路
１１０ａ 制御機能
１１０ｂ 収集機能
１１０ｃ 送信機能
１１０ｄ 受信機能
１１０ｅ 表示制御機能
２０ 超音波診断装置
２００ 装置本体
２０１ 超音波プローブ
２０２ 入力インターフェース
２０３ ディスプレイ
２５０ メモリ
２６０ 処理回路
２６１ 制御機能
２６２ 収集機能
２６３ 表示制御機能
２６４ 送信機能
３０ 画像保管装置
４０ 医用情報処理装置
４１ 入力インターフェース
４２ ディスプレイ
４３ メモリ
４４ 処理回路
４４ａ 制御機能
４４ｂ 受信機能
４４ｃ 第１の特定機能
４４ｄ 第２の特定機能
４４ｅ 送信機能
４４ｆ 表示制御機能
DESCRIPTION OF SYMBOLS 1 Medical
Claims (26)
前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
を備える、医用情報処理装置。 A first specifying unit that specifies the position of the ultrasonic probe;
Based on three-dimensional data indicating the structure of the ultrasonic probe and a two-dimensional X-ray image obtained by imaging the ultrasonic probe, determine the direction of the ultrasonic probe at the position specified by the first specifying unit. And a second specifying unit for specifying.
前記超音波プローブの向きの操作に用いられるハンドル信号に基づいて、前記超音波プローブの向きを特定する第２の特定部と
を備える、医用情報処理装置。 A first specifying unit that specifies the position of the ultrasonic probe;
A second specifying unit that specifies the direction of the ultrasonic probe based on a handle signal used for operation of the direction of the ultrasonic probe.
前記超音波プローブが備えるジャイロセンサにより検出された回転情報に基づいて、前記超音波プローブの向きを特定する第２の特定部と
を備える、医用情報処理装置。 A first specifying unit that specifies the position of the ultrasonic probe;
A second specifying unit that specifies the direction of the ultrasonic probe based on rotation information detected by a gyro sensor included in the ultrasonic probe.
前記画像と、前記超音波プローブを撮像した２次元のＸ線画像、又は、当該Ｘ線画像に基づく２値化画像とをマッチングすることにより、前記超音波プローブの前記Ｘ線画像上での位置及び向きを特定する特定部と
を備える、医用情報処理装置。 A storage unit that stores a plurality of images obtained by imaging the ultrasound probe from different directions,
By matching the image with a two-dimensional X-ray image obtained by imaging the ultrasonic probe, or a binarized image based on the X-ray image, the position of the ultrasonic probe on the X-ray image And a specifying unit for specifying the direction.
を備える、医用情報処理装置。 The position and orientation of the two-dimensional X-ray image obtained by imaging the ultrasonic probe are specified in the three-dimensional medical image, and the position and direction of the ultrasonic image picked up using the ultrasonic probe are specified in the three-dimensional medical image. A medical information processing apparatus, comprising: a specifying unit configured to specify a position and an orientation of the ultrasonic probe on the X-ray image.
前記超音波プローブの構造を示す３次元データと、前記超音波プローブを撮像した２次元のＸ線画像とに基づいて、前記第１の特定部によって特定された位置における前記超音波プローブの向きを特定する第２の特定部と
を備える、Ｘ線診断装置。 A first specifying unit that specifies the position of the ultrasonic probe;
Based on three-dimensional data indicating the structure of the ultrasonic probe and a two-dimensional X-ray image obtained by imaging the ultrasonic probe, determine the orientation of the ultrasonic probe at the position specified by the first specifying unit. An X-ray diagnostic apparatus, comprising: a second specifying unit for specifying.
前記超音波プローブの向きの操作に用いられるハンドル信号に基づいて、前記超音波プローブの向きを特定する第２の特定部と
を備える、Ｘ線診断装置。 A first specifying unit that specifies the position of the ultrasonic probe;
A second specifying unit that specifies the direction of the ultrasonic probe based on a handle signal used to operate the direction of the ultrasonic probe.
前記超音波プローブが備えるジャイロセンサにより検出された回転情報に基づいて、前記超音波プローブの向きを特定する第２の特定部と
を備える、Ｘ線診断装置。 A first specifying unit that specifies the position of the ultrasonic probe;
A second identification unit that identifies the direction of the ultrasonic probe based on rotation information detected by a gyro sensor included in the ultrasonic probe.
前記画像と、前記超音波プローブを撮像した２次元のＸ線画像、又は、当該Ｘ線画像に基づく２値化画像とをマッチングすることにより、前記超音波プローブの前記Ｘ線画像上での位置及び向きを特定する特定部と
を備える、Ｘ線診断装置。 A storage unit that stores a plurality of images obtained by imaging the ultrasound probe from different directions,
By matching the image with a two-dimensional X-ray image obtained by imaging the ultrasonic probe, or a binarized image based on the X-ray image, the position of the ultrasonic probe on the X-ray image An X-ray diagnostic apparatus comprising: and a specification unit that specifies a direction.
を備える、Ｘ線診断装置。 The position and orientation of the two-dimensional X-ray image obtained by imaging the ultrasonic probe are specified in the three-dimensional medical image, and the position and direction of the ultrasonic image picked up using the ultrasonic probe are specified in the three-dimensional medical image. An X-ray diagnostic apparatus comprising: a specifying unit configured to specify a position and an orientation of the ultrasonic probe on the X-ray image.
特定した位置における前記超音波プローブの向きを、前記超音波プローブの構造を示す３次元データと前記超音波プローブを撮像した２次元のＸ線画像とに基づいて特定する、
各処理をコンピュータに実行させる、医用情報処理プログラム。 Locate the ultrasound probe,
Specifying the orientation of the ultrasonic probe at the specified position based on three-dimensional data indicating the structure of the ultrasonic probe and a two-dimensional X-ray image of the ultrasonic probe,
A medical information processing program that causes a computer to execute each process.
前記超音波プローブの向きの操作に用いられるハンドル信号に基づいて、前記超音波プローブの向きを特定する
各処理をコンピュータに実行させる、医用情報処理プログラム。 Locate the ultrasound probe,
A medical information processing program for causing a computer to execute each process of specifying the direction of the ultrasonic probe based on a handle signal used for operating the direction of the ultrasonic probe.
前記超音波プローブが備えるジャイロセンサにより検出された回転情報に基づいて、前記超音波プローブの向きを特定する
各処理をコンピュータに実行させる、医用情報処理プログラム。 Locate the ultrasound probe,
A medical information processing program for causing a computer to execute each process of specifying the direction of the ultrasonic probe based on rotation information detected by a gyro sensor included in the ultrasonic probe.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177260A JP7233874B2 (en) | 2018-09-21 | 2018-09-21 | Medical information processing device, X-ray diagnostic device and medical information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177260A JP7233874B2 (en) | 2018-09-21 | 2018-09-21 | Medical information processing device, X-ray diagnostic device and medical information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020044266A true JP2020044266A (en) | 2020-03-26 |
| JP7233874B2 JP7233874B2 (en) | 2023-03-07 |
Family
ID=69898997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018177260A Active JP7233874B2 (en) | 2018-09-21 | 2018-09-21 | Medical information processing device, X-ray diagnostic device and medical information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7233874B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021225247A1 (en) * | 2020-05-07 | 2021-11-11 | 한국과학기술연구원 | Apparatus and method for generating three-dimensional ultrasound image |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097247A1 (en) * | 2006-02-24 | 2007-08-30 | Hrs Consultant Service, Inc. | Transesophageal echocardiographic diagnosis education device |
| JP2008212241A (en) * | 2007-02-28 | 2008-09-18 | Toshiba Corp | X-ray diagnostic apparatus and image display method |
| JP2013513412A (en) * | 2009-12-09 | 2013-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combination of ultrasound and X-ray system |
| US20160048958A1 (en) * | 2014-08-18 | 2016-02-18 | Vanderbilt University | Method and system for real-time compression correction for tracked ultrasound and applications of same |
| WO2017090097A1 (en) * | 2015-11-25 | 2017-06-01 | 株式会社日立製作所 | Outside recognition device for vehicle |
| JP2018108413A (en) * | 2008-10-27 | 2018-07-12 | キヤノンメディカルシステムズ株式会社 | X-ray diagnostic apparatus |
| JP2018134197A (en) * | 2017-02-21 | 2018-08-30 | 株式会社日立製作所 | Medical procedure navigation system and method |
-
2018
- 2018-09-21 JP JP2018177260A patent/JP7233874B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007097247A1 (en) * | 2006-02-24 | 2007-08-30 | Hrs Consultant Service, Inc. | Transesophageal echocardiographic diagnosis education device |
| JP2008212241A (en) * | 2007-02-28 | 2008-09-18 | Toshiba Corp | X-ray diagnostic apparatus and image display method |
| JP2018108413A (en) * | 2008-10-27 | 2018-07-12 | キヤノンメディカルシステムズ株式会社 | X-ray diagnostic apparatus |
| JP2013513412A (en) * | 2009-12-09 | 2013-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combination of ultrasound and X-ray system |
| US20160048958A1 (en) * | 2014-08-18 | 2016-02-18 | Vanderbilt University | Method and system for real-time compression correction for tracked ultrasound and applications of same |
| WO2017090097A1 (en) * | 2015-11-25 | 2017-06-01 | 株式会社日立製作所 | Outside recognition device for vehicle |
| JP2018134197A (en) * | 2017-02-21 | 2018-08-30 | 株式会社日立製作所 | Medical procedure navigation system and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021225247A1 (en) * | 2020-05-07 | 2021-11-11 | 한국과학기술연구원 | Apparatus and method for generating three-dimensional ultrasound image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7233874B2 (en) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190046153A1 (en) | Ultrasonic diagnostic apparatus | |
| JP6309376B2 (en) | Medical information processing system, medical information processing program, and ultrasonic diagnostic apparatus | |
| JP6608232B2 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and medical information display control method | |
| JP6288996B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic imaging program | |
| US11266380B2 (en) | Medical ultrasound image processing device | |
| JP5897674B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing program | |
| JP2011078625A (en) | Ultrasonic diagnosis apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
| JP6382050B2 (en) | Medical image diagnostic apparatus, image processing apparatus, image processing method, and image processing program | |
| JP6071599B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and program | |
| US9990725B2 (en) | Medical image processing apparatus and medical image registration method using virtual reference point for registering images | |
| JP2018020107A (en) | Analyzer and analysis program | |
| JP5566841B2 (en) | Image processing apparatus and program | |
| JP6858485B2 (en) | Medical information processing device | |
| JP7432296B2 (en) | Medical information processing system | |
| JP2012075794A (en) | Ultrasonic diagnostic apparatus, medical image processor, and medical image processing program | |
| JP7233874B2 (en) | Medical information processing device, X-ray diagnostic device and medical information processing program | |
| JP6334013B2 (en) | Ultrasonic diagnostic equipment | |
| JP2013143978A (en) | Ultrasonic diagnostic apparatus | |
| JP2013009832A (en) | Ultrasonic diagnostic device, medical image processing device, and medical image processing program | |
| JP2021186237A (en) | Medical image diagnostic apparatus and medical image processing apparatus | |
| JP2019195447A (en) | Ultrasound diagnosis apparatus and medical information processing program | |
| JP2021053200A (en) | Ultrasonic diagnostic apparatus, ultrasonic diagnostic method, and ultrasonic diagnostic program | |
| JP7144184B2 (en) | Ultrasound diagnostic device, image processing device and image processing program | |
| JP7387482B2 (en) | Medical information processing equipment | |
| JP6419413B2 (en) | Ultrasonic diagnostic apparatus and alignment program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7233874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |