JP7341667B2 - Medical image processing equipment, X-ray diagnostic equipment, and medical information processing systems - Google Patents

Description

本発明の実施形態は、医用画像処理装置、Ｘ線診断装置及び医用情報処理システムに関する。 Embodiments of the present invention relate to a medical image processing device, an X-ray diagnostic device, and a medical information processing system.

従来、Ｘ線診断装置を用いた検査において、撮影条件を設定するためにＸ線透視が用いられている。具体的には、Ｘ線診断装置は、操作者による操作の下、撮影位置や撮影角度等の撮影条件を変更しながら透視像を表示する。そして、操作者は、透視像を参照することで、検査対象部位を観察しやすい撮影条件を選択することができる。しかしながら、Ｘ線透視により撮影条件を設定する場合、撮影条件の設定段階において透視像を収集するための被ばくを生じることとなる。 Conventionally, in an examination using an X-ray diagnostic apparatus, X-ray fluoroscopy has been used to set imaging conditions. Specifically, the X-ray diagnostic apparatus displays a fluoroscopic image while changing imaging conditions such as an imaging position and an imaging angle under the operation of an operator. Then, by referring to the fluoroscopic image, the operator can select imaging conditions that make it easier to observe the region to be examined. However, when setting imaging conditions using X-ray fluoroscopy, radiation exposure occurs in order to collect fluoroscopic images at the stage of setting imaging conditions.

撮影条件の設定段階における被ばく量を低減するため、ＬＩＨ（Ｌａｓｔ Ｉｍａｇｅ Ｈｏｌｄ）が用いた手法が知られている。具体的には、Ｘ線診断装置は、ＬＩＨをディスプレイに表示するとともに、ＬＩＨ上に撮影位置を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を表示させる。そして、操作者は、検査対象部位を観察しやすいようにＬＩＨ上のＲＯＩを調整することで、撮影位置を設定することができる。しかしながら、ＬＩＨにより撮影条件を設定する場合、ＬＩＨに含まれない位置の画像やＬＩＨと異なる角度の画像は表示されないため、撮影条件を設定しにくい場合があった。 A method used by LIH (Last Image Hold) is known to reduce the amount of radiation exposure at the stage of setting imaging conditions. Specifically, the X-ray diagnostic apparatus displays the LIH on the display and also displays a ROI (Region of Interest) indicating the imaging position on the LIH. Then, the operator can set the imaging position by adjusting the ROI on the LIH so that the region to be examined can be easily observed. However, when setting imaging conditions using the LIH, images at positions not included in the LIH or images at angles different from the LIH are not displayed, which may make it difficult to set the imaging conditions.

特表２０１２－５２９３１９号公報Special Publication No. 2012-529319

本発明が解決しようとする課題は、被ばく量を低減しつつ、撮影条件の設定を容易にすることである。 The problem to be solved by the present invention is to facilitate the setting of imaging conditions while reducing the amount of radiation exposure.

実施形態の医用画像処理装置は、取得部と、付加部と、生成部とを備える。取得部は、２次元Ｘ線画像データを取得する。付加部は、前記２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する。生成部は、前記３次元データを投影することにより、前記２次元Ｘ線画像データと異なる撮影角度で収集されるＸ線画像データを擬似的に示した擬似画像データを生成する。 The medical image processing apparatus of the embodiment includes an acquisition section, an addition section, and a generation section. The acquisition unit acquires two-dimensional X-ray image data. The addition unit generates three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data. The generation unit generates pseudo image data that pseudo-illustrates X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data by projecting the three-dimensional data.

図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of a medical information processing system according to the first embodiment. 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus according to the first embodiment. 図３は、第１の実施形態に係る２次元Ｘ線画像データを示す図である。FIG. 3 is a diagram showing two-dimensional X-ray image data according to the first embodiment. 図４は、第１の実施形態に係る撮影条件の設定の一例を示す図である。FIG. 4 is a diagram illustrating an example of setting shooting conditions according to the first embodiment. 図５Ａは、第１の実施形態に係るアイソセンターを通る軸を示す図である。FIG. 5A is a diagram showing an axis passing through the isocenter according to the first embodiment. 図５Ｂは、第１の実施形態に係る擬似画像データの生成処理の一例を示す図である。FIG. 5B is a diagram illustrating an example of pseudo image data generation processing according to the first embodiment. 図６は、第１の実施形態に係る擬似画像データの生成処理の一例を示す図である。FIG. 6 is a diagram illustrating an example of the pseudo image data generation process according to the first embodiment. 図７Ａは、第１の実施形態に係るアイソセンターを通る軸を示す図である。FIG. 7A is a diagram showing an axis passing through the isocenter according to the first embodiment. 図７Ｂは、第１の実施形態に係る擬似画像データの生成処理の一例を示す図である。FIG. 7B is a diagram illustrating an example of the pseudo image data generation process according to the first embodiment. 図８は、第１の実施形態に係る２次元Ｘ線画像データを示す図である。FIG. 8 is a diagram showing two-dimensional X-ray image data according to the first embodiment. 図９は、第１の実施形態に係る医用画像処理装置の処理の一連の流れを説明するためのフローチャートである。FIG. 9 is a flowchart for explaining a series of processing steps of the medical image processing apparatus according to the first embodiment. 図１０は、第２の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。FIG. 10 is a block diagram showing an example of the configuration of a medical image processing apparatus according to the second embodiment. 図１１は、第２の実施形態に係る学習済みモデルの生成処理について説明するための図である。FIG. 11 is a diagram for explaining a trained model generation process according to the second embodiment. 図１２は、第２の実施形態に係る学習済みモデルを用いた処理について説明するための図である。FIG. 12 is a diagram for explaining processing using a learned model according to the second embodiment. 図１３は、第２の実施形態に係る学習済みモデルの生成処理について説明するための図である。FIG. 13 is a diagram for explaining a trained model generation process according to the second embodiment. 図１４は、第２の実施形態に係る医用画像処理装置の処理の一連の流れを説明するためのフローチャートである。FIG. 14 is a flowchart for explaining a series of processing steps of the medical image processing apparatus according to the second embodiment. 図１５は、第３の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。FIG. 15 is a block diagram showing an example of the configuration of a medical image processing apparatus according to the third embodiment. 図１６は、第３の実施形態に係る被検体マップの一例を示す図である。FIG. 16 is a diagram illustrating an example of a subject map according to the third embodiment. 図１７は、第３の実施形態に係る撮影条件の設定の一例を示す図である。FIG. 17 is a diagram illustrating an example of setting photographing conditions according to the third embodiment. 図１８は、第３の実施形態に係る擬似画像データの生成処理の一例を示す図である。FIG. 18 is a diagram illustrating an example of pseudo image data generation processing according to the third embodiment. 図１９は、第４の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。FIG. 19 is a block diagram showing an example of the configuration of an X-ray diagnostic apparatus according to the fourth embodiment.

以下、図面を参照して、実施形態に係る医用画像処理装置、Ｘ線診断装置及び医用情報処理システムを説明する。 Hereinafter, a medical image processing device, an X-ray diagnostic device, and a medical information processing system according to embodiments will be described with reference to the drawings.

（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用情報処理システム１について説明する。 (First embodiment)
First, a first embodiment will be described. In the first embodiment, a medical information processing system 1 including an X-ray diagnostic apparatus 10, an image storage apparatus 20, and a medical image processing apparatus 30 will be described.

図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、Ｘ線診断装置１０と、画像保管装置２０と、医用画像処理装置３０とを備える。図１に示すように、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０は、ネットワークＮＷを介して相互に接続される。 FIG. 1 is a block diagram showing an example of the configuration of a medical information processing system 1 according to the first embodiment. As shown in FIG. 1, the medical information processing system 1 according to the first embodiment includes an X-ray diagnostic device 10, an image storage device 20, and a medical image processing device 30. As shown in FIG. 1, an X-ray diagnostic apparatus 10, an image storage apparatus 20, and a medical image processing apparatus 30 are interconnected via a network NW.

なお、第１の実施形態では、医用画像処理装置３０においてＸ線診断装置１０の撮影条件の設定を行なう場合について説明する。即ち、医用画像処理装置３０は設定した撮影条件をＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、医用画像処理装置３０から受け付けた撮影条件に基づいてＸ線画像データの収集を実行する。 Note that in the first embodiment, a case will be described in which imaging conditions for the X-ray diagnostic apparatus 10 are set in the medical image processing apparatus 30. That is, the medical image processing device 30 transmits the set imaging conditions to the X-ray diagnostic device 10, and the X-ray diagnostic device 10 collects X-ray image data based on the imaging conditions received from the medical image processing device 30. Execute.

Ｘ線診断装置１０は、被検体からＸ線画像データを収集する装置である。例えば、Ｘ線診断装置１０は、撮影条件の設定段階において被検体から２次元Ｘ線画像データを収集し、収集したＸ線画像データを医用画像処理装置３０に対して送信する。また、例えば、Ｘ線診断装置１０は、被検体から３次元Ｘ線画像データを収集し、収集した３次元Ｘ線画像データを画像保管装置２０に対して送信する。また、例えば、Ｘ線診断装置１０は、医用画像処理装置３０から受け付けた撮影条件に基づいて、２次元Ｘ線画像データの収集を実行する。なお、Ｘ線診断装置１０の構成については後述する。 The X-ray diagnostic device 10 is a device that collects X-ray image data from a subject. For example, the X-ray diagnostic apparatus 10 collects two-dimensional X-ray image data from the subject during the imaging condition setting stage, and transmits the collected X-ray image data to the medical image processing apparatus 30. Further, for example, the X-ray diagnostic apparatus 10 collects three-dimensional X-ray image data from the subject and transmits the collected three-dimensional X-ray image data to the image storage apparatus 20. Further, for example, the X-ray diagnostic apparatus 10 collects two-dimensional X-ray image data based on the imaging conditions received from the medical image processing apparatus 30. Note that the configuration of the X-ray diagnostic apparatus 10 will be described later.

画像保管装置２０は、医用情報処理システム１に含まれる装置により収集された各種の医用画像データを保管する装置である。例えば、画像保管装置２０は、Ｘ線診断装置１０等の医用画像診断装置により収集された被検体の３次元画像データを受け付けて、装置内又は装置外に設けられたメモリに記憶させる。なお、被検体の３次元画像データについては後述する。例えば、画像保管装置２０は、サーバ装置等のコンピュータ機器によって実現される。 The image storage device 20 is a device that stores various types of medical image data collected by devices included in the medical information processing system 1. For example, the image storage device 20 receives three-dimensional image data of a subject collected by a medical image diagnostic device such as the X-ray diagnostic device 10, and stores it in a memory provided within the device or outside the device. Note that the three-dimensional image data of the subject will be described later. For example, the image storage device 20 is realized by computer equipment such as a server device.

医用画像処理装置３０は、撮影条件の設定段階において、Ｘ線診断装置１０から被検体の２次元Ｘ線画像データを取得し、取得した２次元Ｘ線画像データに基づいて撮影条件の設定を行なう。例えば、医用画像処理装置３０は、２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する。また、医用画像処理装置３０は、生成した３次元データを投影することにより、２次元Ｘ線画像データと異なる撮影角度で収集されるＸ線画像データを擬似的に示した擬似画像データを生成する。また、医用画像処理装置３０は、生成した擬似画像データを表示し、擬似画像データを参照した操作者からの入力操作を受け付けることで撮影条件を設定する。なお、医用画像処理装置３０が行なう処理については後述する。例えば、医用画像処理装置３０は、ワークステーション等のコンピュータ機器によって実現される。 In the imaging condition setting stage, the medical image processing device 30 acquires two-dimensional X-ray image data of the subject from the X-ray diagnostic device 10, and sets imaging conditions based on the acquired two-dimensional X-ray image data. . For example, the medical image processing device 30 generates three-dimensional data to which depth information is added for each position in two-dimensional X-ray image data. Furthermore, by projecting the generated three-dimensional data, the medical image processing device 30 generates pseudo image data that pseudo-represents the X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data. . Furthermore, the medical image processing device 30 displays the generated pseudo image data and sets imaging conditions by accepting an input operation from an operator who refers to the pseudo image data. Note that the processing performed by the medical image processing device 30 will be described later. For example, the medical image processing device 30 is realized by computer equipment such as a workstation.

なお、ネットワークＮＷを介して接続可能であれば、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０が設置される場所は任意である。例えば、医用画像処理装置３０は、Ｘ線診断装置１０と異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。また、図１においてはＸ線診断装置１０を１つ示すが、医用情報処理システム１は複数のＸ線診断装置１０を含んでもよい。 Note that the X-ray diagnostic device 10, the image storage device 20, and the medical image processing device 30 can be installed at any location as long as they can be connected via the network NW. For example, the medical image processing device 30 may be installed in a different hospital from the X-ray diagnostic device 10. That is, the network NW may be configured as a local network closed within the hospital, or may be a network via the Internet. Further, although one X-ray diagnostic apparatus 10 is shown in FIG. 1, the medical information processing system 1 may include a plurality of X-ray diagnostic apparatuses 10.

図１に示すように、医用画像処理装置３０は、入力インターフェース３１と、ディスプレイ３２と、記憶回路３３と、処理回路３４とを有する。 As shown in FIG. 1, the medical image processing device 30 includes an input interface 31, a display 32, a storage circuit 33, and a processing circuit 34.

入力インターフェース３１は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３４に出力する。例えば、入力インターフェース３１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース３１は、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース３１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置３０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路３４へ出力する電気信号の処理回路も入力インターフェース３１の例に含まれる。 The input interface 31 receives various input operations from an operator, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 34 . For example, the input interface 31 may include a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad that performs input operations by touching the operation surface, a touchscreen that integrates a display screen and a touchpad, and an optical sensor. This is realized by using a non-contact input circuit, a voice input circuit, etc. Note that the input interface 31 may be configured with a tablet terminal or the like that can wirelessly communicate with the main body of the medical image processing apparatus 30. Furthermore, the input interface 31 is not limited to one that includes physical operating components such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the medical image processing device 30 and outputs this electrical signal to the processing circuit 34 is also included in the input interface 31 . Included in the example.

ディスプレイ３２は、各種の情報を表示する。例えば、ディスプレイ３２は、入力インターフェース３１を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。また、ディスプレイ３２は、被検体について収集された各種の画像データを表示する。例えば、ディスプレイ３２は、Ｘ線診断装置１０によって収集された被検体の２次元Ｘ線画像データや、処理回路３４によって生成された擬似画像データを表示する。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。ディスプレイ３２は、デスクトップ型でもよいし、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。 The display 32 displays various information. For example, the display 32 displays a GUI (Graphical User Interface) for receiving various instructions, various settings, etc. from the operator via the input interface 31. Further, the display 32 displays various image data collected about the subject. For example, the display 32 displays two-dimensional X-ray image data of the subject collected by the X-ray diagnostic apparatus 10 or pseudo image data generated by the processing circuit 34. For example, the display 32 is a liquid crystal display or a CRT (Cathode Ray Tube) display. The display 32 may be of a desktop type, or may be composed of a tablet terminal or the like that can wirelessly communicate with the main body of the medical image processing apparatus 30.

記憶回路３３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路３３は、Ｘ線診断装置１０から取得した被検体の２次元Ｘ線画像データや、画像保管装置２０から取得した被検体の３次元画像データを記憶する。また、例えば、記憶回路３３は、医用画像処理装置３０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、記憶回路３３は、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。 The storage circuit 33 is realized by, for example, a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, a hard disk, an optical disk, or the like. For example, the storage circuit 33 stores two-dimensional X-ray image data of the subject obtained from the X-ray diagnostic apparatus 10 and three-dimensional image data of the subject obtained from the image storage device 20. Further, for example, the storage circuit 33 stores a program for a circuit included in the medical image processing apparatus 30 to realize its function. Note that the storage circuit 33 may be realized by a server group (cloud) connected to the medical image processing device 30 via the network NW.

処理回路３４は、取得機能３４１、付加機能３４２、生成機能３４３、表示制御機能３４４及び制御機能３４５を実行することで、医用画像処理装置３０全体の動作を制御する。ここで、取得機能３４１は、取得部の一例である。また、付加機能３４２は、付加部の一例である。また、生成機能３４３は、生成部の一例である。 The processing circuit 34 controls the overall operation of the medical image processing apparatus 30 by executing an acquisition function 341, an additional function 342, a generation function 343, a display control function 344, and a control function 345. Here, the acquisition function 341 is an example of an acquisition unit. Additionally, the additional function 342 is an example of an additional section. Further, the generation function 343 is an example of a generation unit.

例えば、処理回路３４は、取得機能３４１に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線診断装置１０から２次元Ｘ線画像データを取得する。また、例えば、処理回路３４は、付加機能３４２に対応するプログラムを記憶回路３３から読み出して実行することにより、２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する。また、例えば、処理回路３４は、生成機能３４３に対応するプログラムを記憶回路３３から読み出して実行することにより、擬似画像データを生成する。また、例えば、処理回路３４は、表示制御機能３４４に対応するプログラムを記憶回路３３から読み出して実行することにより、擬似画像データをディスプレイ３２に表示させる。また、例えば、処理回路３４は、制御機能３４５に対応するプログラムを記憶回路３３から読み出して実行することにより、操作者から受け付けた入力操作に応じて撮影位置や撮影角度等の撮影条件を設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。なお、取得機能３４１、付加機能３４２、生成機能３４３、表示制御機能３４４及び制御機能３４５による処理については後述する。 For example, the processing circuit 34 acquires two-dimensional X-ray image data from the X-ray diagnostic apparatus 10 by reading a program corresponding to the acquisition function 341 from the storage circuit 33 and executing it. Further, for example, the processing circuit 34 reads a program corresponding to the additional function 342 from the storage circuit 33 and executes it, thereby generating three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data. Further, for example, the processing circuit 34 generates pseudo image data by reading out a program corresponding to the generation function 343 from the storage circuit 33 and executing it. Further, for example, the processing circuit 34 displays the pseudo image data on the display 32 by reading out a program corresponding to the display control function 344 from the storage circuit 33 and executing it. Further, for example, the processing circuit 34 reads out a program corresponding to the control function 345 from the storage circuit 33 and executes it, thereby setting photographing conditions such as a photographing position and a photographing angle according to input operations received from the operator. , transmits the set imaging conditions to the X-ray diagnostic apparatus 10. Note that processing by the acquisition function 341, additional function 342, generation function 343, display control function 344, and control function 345 will be described later.

図１に示す医用画像処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路３３へ記憶されている。処理回路３４は、記憶回路３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３４は、読み出したプログラムに対応する機能を有することとなる。 In the medical image processing apparatus 30 shown in FIG. 1, each processing function is stored in the storage circuit 33 in the form of a program executable by a computer. The processing circuit 34 is a processor that reads programs from the storage circuit 33 and executes them to implement functions corresponding to each program. In other words, the processing circuit 34 that has read each program has a function corresponding to the read program.

なお、図１においては単一の処理回路３４にて、取得機能３４１、付加機能３４２、生成機能３４３、表示制御機能３４４及び制御機能３４５が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３４を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。 Note that in FIG. 1, the acquisition function 341, additional function 342, generation function 343, display control function 344, and control function 345 are realized by a single processing circuit 34; They may be combined to form the processing circuit 34, and functions may be realized by each processor executing a program. Further, each processing function of the processing circuit 34 may be realized by being appropriately distributed or integrated into a single or multiple processing circuits.

次に、図２を用いて、Ｘ線診断装置１０について説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、記憶回路１０７と、ディスプレイ１０８と、入力インターフェース１０９と、処理回路１１０とを備える。 Next, the X-ray diagnostic apparatus 10 will be explained using FIG. 2. FIG. 2 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 10 according to the first embodiment. As shown in FIG. 2, the X-ray diagnostic apparatus 10 includes an X-ray high voltage device 101, an X-ray tube 102, an X-ray diaphragm 103, a top plate 104, a C-arm 105, and an X-ray detector 106. , a storage circuit 107 , a display 108 , an input interface 109 , and a processing circuit 110 .

Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。 The X-ray high voltage device 101 supplies high voltage to the X-ray tube 102 under the control of the processing circuit 110 . For example, the X-ray high-voltage device 101 includes an electric circuit such as a transformer and a rectifier, and includes a high-voltage generator that generates a high voltage to be applied to the X-ray tube 102 and a high-voltage generator that generates the high voltage that the X-ray tube 102 emits. and an X-ray control device that controls the output voltage according to the X-rays. Note that the high voltage generator may be of a transformer type or an inverter type.

Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。 The X-ray tube 102 is a vacuum tube that has a cathode (filament) that generates thermoelectrons and an anode (target) that generates X-rays upon collision with the thermoelectrons. The X-ray tube 102 uses the high voltage supplied from the X-ray high voltage device 101 to generate X-rays by irradiating thermoelectrons from the cathode to the anode.

Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。 The X-ray restrictor 103 includes a collimator that narrows down the irradiation range of the X-rays generated by the X-ray tube 102 and a filter that adjusts the X-rays emitted from the X-ray tube 102.

Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。 The collimator in the X-ray diaphragm 103 has, for example, four slidable aperture blades. The collimator narrows down the X-rays generated by the X-ray tube 102 and irradiates the subject P by sliding the aperture blades. Here, the aperture blade is a plate-like member made of lead or the like, and is provided near the X-ray irradiation port of the X-ray tube 102 in order to adjust the X-ray irradiation range.

Ｘ線絞り器１０３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。 The filter in the X-ray diaphragm 103 changes the quality of the transmitted X-rays depending on the material and thickness of the filter, and absorbs the This reduces soft line components that are easily detected, and reduces high energy components that cause a decrease in the contrast of X-ray image data. In addition, the filter changes the X-ray dose and irradiation range depending on its material, thickness, position, etc., so that the X-rays irradiated from the X-ray tube 102 to the subject P have a predetermined distribution. attenuate.

例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。 For example, the X-ray diaphragm 103 has a drive mechanism such as a motor and an actuator, and controls X-ray irradiation by operating the drive mechanism under the control of a processing circuit 110, which will be described later. For example, the X-ray diaphragm 103 applies a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110, adjusts the opening degree of the diaphragm blades of the collimator, and irradiates the subject P. control the irradiation range of X-rays. Further, for example, the X-ray diaphragm 103 applies a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110 to adjust the position of the filter, thereby irradiating the subject P. Controls the distribution of X-ray doses.

天板１０４は、被検体Ｐを載せるベッドであり、図示しない寝台駆動装置の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台駆動装置は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台駆動装置は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。 The top plate 104 is a bed on which the subject P is placed, and is placed on a bed driving device (not shown). Note that the subject P is not included in the X-ray diagnostic apparatus 10. For example, the bed driving device has a driving mechanism such as a motor and an actuator, and controls the movement and inclination of the top plate 104 by operating the driving mechanism under the control of a processing circuit 110, which will be described later. For example, the bed driving device moves or tilts the top plate 104 by applying a driving voltage to the driving mechanism according to a control signal received from the processing circuit 110.

なお、本実施形態では、図２に示すように、天板１０４の短手方向をＸ軸方向とする。また、Ｘ軸方向に直交し、天板１０４に対して水平な方向をＹ軸方向とする。Ｙ軸方向は、天板１０４の長手方向に対応する。また、Ｘ軸方向及びＹ軸方向に直交する方向をＺ軸方向とする。即ち、天板１０４に対して垂直な方向をＺ軸方向とする。また、天板１０４を基準としたＸＹＺ座標系については、基準座標系とも記載する。 In this embodiment, as shown in FIG. 2, the lateral direction of the top plate 104 is the X-axis direction. Further, the direction perpendicular to the X-axis direction and horizontal to the top plate 104 is defined as the Y-axis direction. The Y-axis direction corresponds to the longitudinal direction of the top plate 104. Further, the direction perpendicular to the X-axis direction and the Y-axis direction is defined as the Z-axis direction. That is, the direction perpendicular to the top plate 104 is defined as the Z-axis direction. Furthermore, the XYZ coordinate system based on the top plate 104 is also referred to as a reference coordinate system.

Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。 The C-arm 105 holds the X-ray tube 102, the X-ray diaphragm 103, and the X-ray detector 106 so as to face each other with the subject P in between. For example, the C-arm 105 has a drive mechanism such as a motor and an actuator, and rotates or moves by operating the drive mechanism under the control of a processing circuit 110, which will be described later. For example, the C-arm 105 connects the X-ray tube 102, the X-ray diaphragm 103, and the X-ray detector 106 to the subject by applying a drive voltage to the drive mechanism according to a control signal received from the processing circuit 110. It is rotated and moved relative to P to control the X-ray irradiation position and irradiation angle. Although FIG. 2 illustrates an example in which the X-ray diagnostic apparatus 10 is a single plane, the embodiment is not limited to this, and may be a biplane.

Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。 The X-ray detector 106 is, for example, an X-ray flat panel detector (FPD) having detection elements arranged in a matrix. The X-ray detector 106 detects the X-rays emitted from the X-ray tube 102 and transmitted through the subject P, and outputs a detection signal corresponding to the detected X-ray dose to the processing circuit 110. Note that the X-ray detector 106 may be an indirect conversion type detector having a grid, a scintillator array, and a photosensor array, or a direct conversion type detector having a semiconductor element that converts incident X-rays into electrical signals. It may be a detector.

記憶回路１０７は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路１０７は、処理回路１１０によって収集されたＸ線画像データを受け付けて記憶する。また、記憶回路１０７は、処理回路１１０によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、記憶回路１０７は、Ｘ線診断装置１０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。 The storage circuit 107 is realized by, for example, a RAM, a semiconductor memory element such as a flash memory, a hard disk, an optical disk, or the like. For example, the storage circuit 107 receives and stores X-ray image data collected by the processing circuit 110. Furthermore, the storage circuit 107 stores programs corresponding to various functions read and executed by the processing circuit 110. Note that the storage circuit 107 may be realized by a server group (cloud) connected to the X-ray diagnostic apparatus 10 via a network.

ディスプレイ１０８は、各種の情報を表示する。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、操作者の指示を受け付けるためのＧＵＩや、各種のＸ線画像を表示する。例えば、ディスプレイ１０８は、液晶ディスプレイやＣＲＴディスプレイである。なお、ディスプレイ１０８はデスクトップ型でもよいし、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。 Display 108 displays various information. For example, the display 108 displays a GUI for receiving instructions from an operator and various X-ray images under the control of the processing circuit 110. For example, display 108 is a liquid crystal display or a CRT display. Note that the display 108 may be of a desktop type, or may be configured of a tablet terminal or the like that can communicate wirelessly with the processing circuit 110.

入力インターフェース１０９は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。例えば、入力インターフェース１０９は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース１０９は、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１０９は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１０へ出力する電気信号の処理回路も入力インターフェース１０９の例に含まれる。 The input interface 109 receives various input operations from an operator, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 110. For example, the input interface 109 includes a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad that performs input operations by touching the operation surface, a touchscreen that integrates a display screen and a touchpad, and an optical sensor. This is realized by using a non-contact input circuit, a voice input circuit, etc. Note that the input interface 109 may be configured with a tablet terminal or the like that can communicate wirelessly with the processing circuit 110. Further, the input interface 109 is not limited to one that includes physical operation parts such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the X-ray diagnostic apparatus 10 and outputs this electrical signal to the processing circuit 110 is also included in the input interface 109 . Included in the example.

処理回路１１０は、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃを実行することで、Ｘ線診断装置１０全体の動作を制御する。 The processing circuit 110 controls the overall operation of the X-ray diagnostic apparatus 10 by executing an acquisition function 110a, a display control function 110b, and a transmission function 110c.

例えば、処理回路１１０は、記憶回路１０７から収集機能１１０ａに相当するプログラムを読み出して実行することにより、被検体ＰからＸ線画像データを収集する。例えば、収集機能１１０ａは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。 For example, the processing circuit 110 collects X-ray image data from the subject P by reading out a program corresponding to the collection function 110a from the storage circuit 107 and executing it. For example, the acquisition function 110a controls the X-ray high voltage device 101 and adjusts the voltage supplied to the X-ray tube 102, thereby controlling the amount of X-rays irradiated to the subject P and the on/off state.

また、例えば、収集機能１１０ａは、Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６の動作を制御することにより、撮影位置や撮影角度、Ｘ線条件（管電流値や管電圧値等）等の撮影条件を制御する。以下では、Ｘ線診断装置１０においてＸ線画像データの収集に用いられる機構（Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６）を、撮影系とも記載する。 Furthermore, for example, the acquisition function 110a controls the operations of the X-ray tube 102, X-ray diaphragm 103, top plate 104, C-arm 105, and X-ray detector 106 to control the imaging position, imaging angle, and X-ray conditions. Controls imaging conditions such as (tube current value, tube voltage value, etc.). Below, the mechanisms used to collect X-ray image data in the X-ray diagnostic apparatus 10 (X-ray tube 102, X-ray diaphragm 103, top plate 104, C-arm 105, and X-ray detector 106) are also referred to as the imaging system. Describe it.

具体的には、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ａは、Ｃアーム１０５を回転させたり、移動させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、天板１０４を移動させたり、傾斜させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データを生成し、生成したＸ線画像データを記憶回路１０７に格納する。 Specifically, the acquisition function 110a controls the operation of the X-ray diaphragm 103 and adjusts the opening degree of the diaphragm blades of the collimator, thereby controlling the irradiation range of the X-rays irradiated onto the subject P. Control. The acquisition function 110a also controls the X-ray dose distribution by controlling the operation of the X-ray diaphragm 103 and adjusting the position of the filter. Furthermore, the acquisition function 110a controls the irradiation range and irradiation angle of X-rays by rotating or moving the C-arm 105. Furthermore, the acquisition function 110a controls the irradiation range and irradiation angle of X-rays by moving or tilting the top plate 104. The collection function 110a also generates X-ray image data based on the detection signal received from the X-ray detector 106, and stores the generated X-ray image data in the storage circuit 107.

また、処理回路１１０は、記憶回路１０７から表示制御機能１１０ｂに相当するプログラムを読み出して実行することにより、ＧＵＩや各種のＸ線画像をディスプレイ１０８に表示させる。また、処理回路１１０は、記憶回路１０７から送信機能１１０ｃに相当するプログラムを読み出して実行することにより、収集機能１１０ａによって収集されたＸ線画像データを、画像保管装置２０又は医用画像処理装置３０に対して送信する。 Furthermore, the processing circuit 110 displays the GUI and various X-ray images on the display 108 by reading out and executing a program corresponding to the display control function 110b from the storage circuit 107. Furthermore, the processing circuit 110 reads out and executes a program corresponding to the transmission function 110c from the storage circuit 107, thereby transmitting the X-ray image data collected by the collection function 110a to the image storage device 20 or the medical image processing device 30. Send to.

図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路１０７へ記憶されている。処理回路１１０は、記憶回路１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。 In the X-ray diagnostic apparatus 10 shown in FIG. 2, each processing function is stored in the storage circuit 107 in the form of a program executable by a computer. The processing circuit 110 is a processor that reads programs from the storage circuit 107 and executes them to realize functions corresponding to each program. In other words, the processing circuit 110 in a state where the program has been read has a function corresponding to the read program.

なお、図２においては単一の処理回路１１０にて、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。 In FIG. 2, the collection function 110a, display control function 110b, and transmission function 110c are realized by a single processing circuit 110. However, the processing circuit 110 may be configured by combining a plurality of independent processors. , functions may be realized by each processor executing a program. Further, each processing function of the processing circuit 110 may be realized by being appropriately distributed or integrated into a single or multiple processing circuits.

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路３３又は記憶回路１０７に保存されたプログラムを読み出し実行することで機能を実現する。 The term "processor" used in the above explanation refers to, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an Application Specific Integrated Circuit (ASIC), a programmable logic device (for example, Refers to circuits such as a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA). The processor realizes its functions by reading and executing programs stored in the memory circuit 33 or the memory circuit 107.

なお、図１及び図２においては、単一の記憶回路３３又は記憶回路１０７が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数の記憶回路３３を分散して配置し、処理回路３４は、個別の記憶回路３３から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路１０７を分散して配置し、処理回路１１０は、個別の記憶回路１０７から対応するプログラムを読み出す構成としても構わない。また、記憶回路３３及び記憶回路１０７にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。 Note that in FIGS. 1 and 2, the explanation has been made assuming that the single storage circuit 33 or the storage circuit 107 stores programs corresponding to each processing function. However, embodiments are not limited thereto. For example, a configuration may be adopted in which a plurality of memory circuits 33 are arranged in a distributed manner, and the processing circuit 34 reads a corresponding program from each individual memory circuit 33. Similarly, a configuration may be adopted in which a plurality of memory circuits 107 are arranged in a distributed manner and the processing circuit 110 reads the corresponding program from each individual memory circuit 107. Further, instead of storing the program in the memory circuit 33 and the memory circuit 107, the program may be directly incorporated into the processor circuit. In this case, the processor realizes its functions by reading and executing a program built into the circuit.

また、処理回路３４及び処理回路１１０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路３４は、記憶回路３３から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図１に示す各機能を実現する。 Further, the processing circuit 34 and the processing circuit 110 may realize their functions by using a processor of an external device connected via the network NW. For example, the processing circuit 34 reads and executes a program corresponding to each function from the storage circuit 33, and uses a server group (cloud) connected to the medical image processing device 30 via the network NW as a computing resource. Thus, each function shown in FIG. 1 is realized.

以上、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用情報処理システム１について説明した。かかる構成のもと、医用情報処理システム１における医用画像処理装置３０は、処理回路３４による処理によって、被ばく量を低減しつつ、Ｘ線診断装置１０における撮影条件の設定を容易にする。 The medical information processing system 1 including the X-ray diagnostic device 10, the image storage device 20, and the medical image processing device 30 has been described above. With this configuration, the medical image processing device 30 in the medical information processing system 1 facilitates setting of imaging conditions in the X-ray diagnostic device 10 while reducing the amount of radiation exposure through processing by the processing circuit 34.

まず、図３及び図４を用いて、医用画像処理装置３０における撮影条件の設定の例を説明する。例えば、医用画像処理装置３０は、撮影条件の設定段階において、図３に示す２次元Ｘ線画像データＩ１１をＸ線診断装置１０から取得し、取得した２次元Ｘ線画像データＩ１１に基づいて撮影条件の設定を行なう。なお、図３は、第１の実施形態に係る２次元Ｘ線画像データＩ１１を示す図である。また、図４は、第１の実施形態に係る撮影条件の設定の一例を示す図である。 First, an example of setting imaging conditions in the medical image processing apparatus 30 will be explained using FIGS. 3 and 4. For example, in the imaging condition setting stage, the medical image processing device 30 acquires two-dimensional X-ray image data I11 shown in FIG. Set conditions. Note that FIG. 3 is a diagram showing two-dimensional X-ray image data I11 according to the first embodiment. Further, FIG. 4 is a diagram illustrating an example of setting of photographing conditions according to the first embodiment.

例えば、取得機能３４１は、図３に示す２次元Ｘ線画像データＩ１１として、ＬＩＨを取得する。具体的には、Ｘ線診断装置１０における収集機能１１０ａは、時系列的に複数の２次元Ｘ線画像データを収集し、収集した２次元Ｘ線画像データを、医用画像処理装置３０に対して順次送信する。また、取得機能３４１は、Ｘ線診断装置１０から送信された２次元Ｘ線画像データを順次取得する。また、表示制御機能３４４は、取得機能３４１が取得した２次元Ｘ線画像データを、ディスプレイ３２に順次表示させる。なお、２次元Ｘ線画像データの収集及び表示を並行して実行する処理については、Ｘ線透視とも記載する。また、収集と並行して表示される２次元Ｘ線画像データについては、透視像とも記載する。次に、操作者は、所望のタイミングで、Ｘ線透視を停止する旨の入力操作を行なう。例えば、操作者は、ディスプレイ３２に表示される透視像を参照しつつ、撮影位置や撮影角度を適宜変更する。そして、操作者は、透視像上に検査対象部位が現れたタイミングで入力インターフェース３１が備える停止ボタンを押下することにより、透視を停止する旨の入力操作を行なう。一例を挙げると、図３に示す部位Ａ１が検査対象部位である場合において、操作者は、透視像上に部位Ａ１が現れたタイミングで停止ボタンを押下する。ここで、表示制御機能３４４は、停止ボタンが押下された際に表示されていた２次元Ｘ線画像データを、ディスプレイ３２に表示させたままとする。即ち、表示制御機能３４４は、ＬＩＨをディスプレイ３２に表示させる。また、取得機能３４１は、ＬＩＨを、２次元Ｘ線画像データＩ１１として特定する。 For example, the acquisition function 341 acquires LIH as the two-dimensional X-ray image data I11 shown in FIG. Specifically, the collection function 110a in the X-ray diagnostic apparatus 10 collects a plurality of two-dimensional X-ray image data in time series, and sends the collected two-dimensional X-ray image data to the medical image processing apparatus 30. Send sequentially. Further, the acquisition function 341 sequentially acquires two-dimensional X-ray image data transmitted from the X-ray diagnostic apparatus 10. Further, the display control function 344 sequentially displays the two-dimensional X-ray image data acquired by the acquisition function 341 on the display 32. Note that the process of collecting and displaying two-dimensional X-ray image data in parallel is also referred to as X-ray fluoroscopy. Furthermore, two-dimensional X-ray image data displayed in parallel with acquisition is also referred to as a fluoroscopic image. Next, the operator performs an input operation to stop the X-ray fluoroscopy at a desired timing. For example, the operator changes the photographing position and photographing angle as appropriate while referring to the perspective image displayed on the display 32. Then, the operator performs an input operation to stop the fluoroscopy by pressing a stop button provided on the input interface 31 at the timing when the region to be inspected appears on the fluoroscopic image. For example, in a case where site A1 shown in FIG. 3 is the site to be inspected, the operator presses the stop button at the timing when site A1 appears on the fluoroscopic image. Here, the display control function 344 causes the display 32 to continue displaying the two-dimensional X-ray image data that was being displayed when the stop button was pressed. That is, the display control function 344 causes the LIH to be displayed on the display 32. Furthermore, the acquisition function 341 specifies LIH as two-dimensional X-ray image data I11.

次に、表示制御機能３４４は、図４の左図に示すように、２次元Ｘ線画像データＩ１１上に、撮影位置を示すＲＯＩを表示させる。ここで、操作者は、検査対象部位を観察しやすいように２次元Ｘ線画像データＩ１１上のＲＯＩを調整することで、撮影位置の設定を行なうことができる。例えば、部位Ａ１が検査対象部位である場合において、操作者は、ＲＯＩの中心に部位Ａ１が位置するように２次元Ｘ線画像データＩ１１上でＲＯＩを移動させることで、部位Ａ１を観察しやすいように撮影位置の設定を行なうことができる。 Next, the display control function 344 displays an ROI indicating the imaging position on the two-dimensional X-ray image data I11, as shown in the left diagram of FIG. Here, the operator can set the imaging position by adjusting the ROI on the two-dimensional X-ray image data I11 so that the region to be examined can be easily observed. For example, when part A1 is the part to be examined, the operator can easily observe part A1 by moving the ROI on the two-dimensional X-ray image data I11 so that part A1 is located at the center of the ROI. You can set the shooting position as follows.

図４に示したように、操作者は、２次元Ｘ線画像データＩ１１上のＲＯＩを調整することで、直感的に撮影位置の設定を行なうことができる。また、操作者が２次元Ｘ線画像データＩ１１上のＲＯＩを調整している間はＸ線透視の必要がないため、Ｘ線透視のみによって撮影位置を設定する場合と比較して、被ばく量を低減することができる。 As shown in FIG. 4, the operator can intuitively set the imaging position by adjusting the ROI on the two-dimensional X-ray image data I11. Furthermore, since there is no need for X-ray fluoroscopy while the operator is adjusting the ROI on the two-dimensional X-ray image data I11, the amount of radiation exposure can be reduced compared to the case where the imaging position is set only by X-ray fluoroscopy. can be reduced.

ここで、撮影位置の設定に加えて、或いは撮影位置の設定に代えて、撮影角度の設定が行われる場合がある。即ち、２次元Ｘ線画像データＩ１１を参照した操作者が撮影角度の変更を希望する場合がある。例えば、２次元Ｘ線画像データＩ１１において検査対象部位に対して奥行き方向に骨などの背景成分が重なっている場合、操作者は、より検査対象部位を観察しやすくなるように、Ｃアーム１０５を被検体Ｐに対して回転させることを希望する場合がある。 Here, in addition to or instead of setting the photographing position, the photographing angle may be set. That is, the operator who has referred to the two-dimensional X-ray image data I11 may wish to change the imaging angle. For example, in the two-dimensional X-ray image data I11, when background components such as bones overlap in the depth direction with respect to the region to be examined, the operator may move the C-arm 105 to make it easier to observe the region to be examined. There are cases where it is desired to rotate the subject P.

しかしながら、２次元Ｘ線画像データＩ１１を参照しても、変更後の撮影角度を直感的に理解することはできない。即ち、撮影角度に応じてＸ線画像データ上に現れる各部位（例えば、図３の部位Ａ１や部位Ａ２等）の配置は変化するため、撮影角度を変更した場合、２次元Ｘ線画像データＩ１１とは各部位の配置が異なるＸ線画像データが収集されることとなる。そして、変更後の撮影角度のＸ線画像データについて操作者が想像するしかないとなれば、その撮影角度が適切であるか否かを直感的に判断することはできない。このため、操作者にとって、２次元Ｘ線画像データＩ１１のみを参照して撮影角度を設定することは容易でない。また、Ｘ線透視を再開すれば、追加収集した透視像によって変更後の撮影角度を直感的に理解することはできるものの、被検体Ｐの被ばく量が増加する。 However, even by referring to the two-dimensional X-ray image data I11, it is not possible to intuitively understand the changed imaging angle. That is, since the arrangement of each region (for example, region A1 and region A2 in FIG. 3) that appears on the X-ray image data changes depending on the imaging angle, when the imaging angle is changed, the two-dimensional X-ray image data I11 This means that X-ray image data with different locations for each part will be collected. If the operator has no choice but to imagine the X-ray image data at the changed imaging angle, it will not be possible to intuitively determine whether the imaging angle is appropriate. Therefore, it is not easy for the operator to set the imaging angle by referring only to the two-dimensional X-ray image data I11. Moreover, if X-ray fluoroscopy is restarted, although the changed imaging angle can be intuitively understood from the additionally collected fluoroscopic images, the amount of radiation exposure of the subject P increases.

そこで、医用画像処理装置３０は、透視像の追加収集によらず、変更後の撮影角度を直感的に理解することができる画像データを生成することで、被ばく量を低減しつつ、撮影角度の設定を容易にする。具体的には、医用画像処理装置３０は、２次元Ｘ線画像データＩ１１と異なる撮影角度で収集されるＸ線画像データを擬似的に示した画像データを生成することで、被ばく量を低減しつつ、撮影角度の設定を容易にする。なお、以下では、２次元Ｘ線画像データＩ１１と異なる撮影角度で収集されるＸ線画像データを、回転画像データとも記載する。また、以下では、回転画像データを擬似的に示した画像データを、擬似画像データと記載する。 Therefore, the medical image processing device 30 generates image data that allows the user to intuitively understand the changed imaging angle without additional collection of fluoroscopic images, thereby reducing the amount of radiation exposure and changing the imaging angle. Make configuration easier. Specifically, the medical image processing device 30 reduces the amount of radiation exposure by generating image data that pseudo-represents X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data I11. It also makes it easier to set the shooting angle. Note that, hereinafter, X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data I11 will also be referred to as rotated image data. Furthermore, hereinafter, image data that pseudo-represents rotated image data will be referred to as pseudo-image data.

以下、擬似画像データの生成処理の一例について、図５Ａ及び図５Ｂを用いて説明する。図５Ａに示す軸ｙ’は、図２等に示したＹ軸方向（天板１０４の長手方向）と平行であり、且つ、アイソセンター（Ｃアーム１０５の回転中心）を通る軸である。以下では一例として、軸ｙ’を回転軸としてＣアーム１０５を回転させることにより、撮影角度を変化させる場合について説明する。なお、図５Ａは、第１の実施形態に係るアイソセンターを通る軸ｙ’を示す図である。また、図５Ｂは、第１の実施形態に係る擬似画像データの生成処理の一例を示す図である。 An example of the process of generating pseudo image data will be described below with reference to FIGS. 5A and 5B. The axis y' shown in FIG. 5A is parallel to the Y-axis direction (longitudinal direction of the top plate 104) shown in FIG. As an example, a case will be described below in which the photographing angle is changed by rotating the C-arm 105 with axis y' as the rotation axis. Note that FIG. 5A is a diagram showing an axis y' passing through the isocenter according to the first embodiment. Further, FIG. 5B is a diagram illustrating an example of the pseudo image data generation process according to the first embodiment.

例えば、生成機能３４３は、まず、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係を特定する。一例を挙げると、生成機能３４３は、天板１０４を基準とする基準座標系において、実空間におけるアイソセンターに対応する点を特定する。ここで、アイソセンターはＣアーム１０５の配置に応じて決まるものであるため、生成機能３４３は、Ｘ線診断装置１０からＣアーム１０５の制御情報を取得することにより、アイソセンターに対応する点を特定することができる。また、生成機能３４３は、プリセットされた条件に基づいて、基準座標系における２次元Ｘ線画像データＩ１１の位置を特定する。例えば、生成機能３４３は、天板１０４の上方（＋Ｚ方向）に「１０ｃｍ」の位置を、２次元Ｘ線画像データＩ１１の位置として特定する。 For example, the generation function 343 first specifies the positional relationship between the isocenter and the two-dimensional X-ray image data I11. For example, the generation function 343 identifies a point corresponding to the isocenter in real space in a reference coordinate system based on the top plate 104. Here, since the isocenter is determined according to the arrangement of the C-arm 105, the generation function 343 obtains the point corresponding to the isocenter by acquiring the control information of the C-arm 105 from the X-ray diagnostic apparatus 10. can be specified. Furthermore, the generation function 343 specifies the position of the two-dimensional X-ray image data I11 in the reference coordinate system based on preset conditions. For example, the generation function 343 specifies a position “10 cm” above the top plate 104 (in the +Z direction) as the position of the two-dimensional X-ray image data I11.

なお、生成機能３４３は、被検体Ｐの体格に基づいて、基準座標系における２次元Ｘ線画像データＩ１１の位置を特定してもよい。例えば、生成機能３４３は、ＨＩＳ（Hospital Information System）やＲＩＳ（Radiology Information System）等のシステムから、被検体Ｐの体格に関わるパラメータ（年齢や性別、体重、身長など）を取得する。そして、生成機能３４３は、取得したパラメータに基づいて、基準座標系における２次元Ｘ線画像データＩ１１の位置を特定する。例えば、生成機能３４３は、取得したパラメータに対応付いた高さ「１２ｃｍ」に基づき、天板１０４の上方「１２ｃｍ」の位置を２次元Ｘ線画像データＩ１１の位置として特定する。 Note that the generation function 343 may specify the position of the two-dimensional X-ray image data I11 in the reference coordinate system based on the physique of the subject P. For example, the generation function 343 acquires parameters related to the physique of the subject P (age, sex, weight, height, etc.) from a system such as a HIS (Hospital Information System) or a RIS (Radiology Information System). The generation function 343 then identifies the position of the two-dimensional X-ray image data I11 in the reference coordinate system based on the acquired parameters. For example, the generation function 343 specifies a position "12 cm" above the top plate 104 as the position of the two-dimensional X-ray image data I11 based on the height "12 cm" associated with the acquired parameter.

基準座標系においてアイソセンターに対応する点及び２次元Ｘ線画像データＩ１１の位置をそれぞれ特定することにより、生成機能３４３は、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係を特定することができる。また、軸ｙ’は、Ｙ軸方向と平行であり且つアイソセンターを通る軸である。従って、生成機能３４３は、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係を特定することにより、軸ｙ’と２次元Ｘ線画像データＩ１１との位置関係を特定することができる。 By specifying the point corresponding to the isocenter in the reference coordinate system and the position of the two-dimensional X-ray image data I11, the generation function 343 specifies the positional relationship between the isocenter and the two-dimensional X-ray image data I11. I can do it. Further, the axis y' is an axis that is parallel to the Y-axis direction and passes through the isocenter. Therefore, the generation function 343 can specify the positional relationship between the axis y' and the two-dimensional X-ray image data I11 by specifying the positional relationship between the isocenter and the two-dimensional X-ray image data I11.

別の例を挙げると、生成機能３４３は、被検体Ｐの３次元画像データに基づいて、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係を特定する。ここで、３次元画像データとは、例えば、Ｘ線ＣＴ（Computed Tomography）装置により収集されるＣＴ画像データや、ＭＲＩ（Magnetic Resonance Imaging）装置により収集されるＭＲ画像データ、Ｘ線診断装置１０により収集される３次元Ｘ線画像データ等である。 To give another example, the generation function 343 specifies the positional relationship between the isocenter and the two-dimensional X-ray image data I11 based on the three-dimensional image data of the subject P. Here, the three-dimensional image data is, for example, CT image data collected by an X-ray CT (Computed Tomography) device, MR image data collected by an MRI (Magnetic Resonance Imaging) device, or This includes collected three-dimensional X-ray image data, etc.

以下では、３次元画像データの例として、Ｘ線診断装置１０により収集される３次元Ｘ線画像データＶ１１について説明する。例えば、Ｘ線診断装置１０は、２次元Ｘ線画像データＩ１１の収集に先立って、被検体Ｐに対する回転撮影を実行し、３次元Ｘ線画像データＶ１１を収集する。具体的には、収集機能１１０ａは、Ｃアーム１０５を回転させることにより、Ｘ線管１０２及びＸ線検出器１０６を被検体Ｐの周囲で回転移動させながら、所定のフレームレートでＸ線管１０２からＸ線を照射させる。ここで、Ｘ線検出器１０６は、検出したＸ線量に対応した検出信号を出力し、収集機能１１０ａは、Ｘ線検出器１０６から受信した検出信号に基づいて複数の投影データを生成する。即ち、収集機能１１０ａは、回転撮影を実行することによって、所定のフレームレートで複数の投影データを収集する。そして、収集機能１１０ａは、収集した複数の投影データから３次元Ｘ線画像データＶ１１を再構成する。なお、３次元Ｘ線画像データＶ１１は、天板１０４の上に載置された被検体Ｐについて収集されたものであるため、天板１０４を基準とする基準座標系における３次元Ｘ線画像データＶ１１の位置は既知である。また、送信機能１１０ｃは、再構成された３次元Ｘ線画像データＶ１１を、画像保管装置２０に対して送信する。 Below, three-dimensional X-ray image data V11 collected by the X-ray diagnostic apparatus 10 will be described as an example of three-dimensional image data. For example, prior to collecting the two-dimensional X-ray image data I11, the X-ray diagnostic apparatus 10 performs rotational imaging on the subject P and collects the three-dimensional X-ray image data V11. Specifically, the collection function 110a rotates the C-arm 105 to rotate the X-ray tube 102 and the X-ray detector 106 around the subject P, and rotates the X-ray tube 102 at a predetermined frame rate. irradiate with X-rays. Here, the X-ray detector 106 outputs a detection signal corresponding to the detected X-ray dose, and the acquisition function 110a generates a plurality of projection data based on the detection signal received from the X-ray detector 106. That is, the collection function 110a collects a plurality of pieces of projection data at a predetermined frame rate by executing rotational imaging. The acquisition function 110a then reconstructs three-dimensional X-ray image data V11 from the plurality of acquired projection data. Note that the three-dimensional X-ray image data V11 is collected for the subject P placed on the top plate 104, and therefore the three-dimensional X-ray image data in the reference coordinate system with the top plate 104 as a reference. The position of V11 is known. Furthermore, the transmission function 110c transmits the reconstructed three-dimensional X-ray image data V11 to the image storage device 20.

また、取得機能３４１は、２次元Ｘ線画像データＩ１１を取得した後、ネットワークＮＷを介して、画像保管装置２０から３次元Ｘ線画像データＶ１１を取得する。次に、生成機能３４３は、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせすることで、３次元Ｘ線画像データＶ１１に対する２次元Ｘ線画像データＩ１１の位置を特定する。これにより、生成機能３４３は、基準座標系における２次元Ｘ線画像データＩ１１の位置を特定する。また、生成機能３４３は、基準座標系において、実空間におけるアイソセンターに対応する点を特定する。そして、基準座標系においてアイソセンターに対応する点及び２次元Ｘ線画像データＩ１１の位置をそれぞれ特定することにより、生成機能３４３は、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係を特定することができる。また、生成機能３４３は、アイソセンターと２次元Ｘ線画像データＩ１１との位置関係に基づいて、軸ｙ’と２次元Ｘ線画像データＩ１１との位置関係を特定することができる。 Further, after acquiring the two-dimensional X-ray image data I11, the acquisition function 341 acquires the three-dimensional X-ray image data V11 from the image storage device 20 via the network NW. Next, the generation function 343 identifies the position of the two-dimensional X-ray image data I11 with respect to the three-dimensional X-ray image data V11 by aligning the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11. do. Thereby, the generation function 343 specifies the position of the two-dimensional X-ray image data I11 in the reference coordinate system. Furthermore, the generation function 343 identifies a point corresponding to the isocenter in real space in the reference coordinate system. Then, by specifying the point corresponding to the isocenter in the reference coordinate system and the position of the two-dimensional X-ray image data I11, the generation function 343 specifies the positional relationship between the isocenter and the two-dimensional X-ray image data I11. can do. Furthermore, the generation function 343 can specify the positional relationship between the axis y' and the two-dimensional X-ray image data I11 based on the positional relationship between the isocenter and the two-dimensional X-ray image data I11.

なお、図５Ｂにおいては一例として、２次元Ｘ線画像データＩ１１がＹ軸に対して平行であり、且つ、アイソセンターに対応する点が２次元Ｘ線画像データＩ１１上に位置している場合について説明する。即ち、図５Ｂにおいては、軸ｙ’と２次元Ｘ線画像データＩ１１とが平行であり、且つ、軸ｙ’が２次元Ｘ線画像データＩ１１を通る場合について説明する。 In addition, in FIG. 5B, as an example, the two-dimensional X-ray image data I11 is parallel to the Y axis, and the point corresponding to the isocenter is located on the two-dimensional X-ray image data I11. explain. That is, in FIG. 5B, a case will be described in which the axis y' and the two-dimensional X-ray image data I11 are parallel and the axis y' passes through the two-dimensional X-ray image data I11.

例えば、２次元Ｘ線画像データＩ１１を参照した操作者は、入力インターフェース３１を介して、撮影角度の変更操作を入力する。なお、以下では、２次元Ｘ線画像データＩ１１の撮影角度を、撮影角度Ｗ１１と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度Ｗ１２と記載する。また、以下では、撮影角度Ｗ１２で収集されるＸ線画像データを、回転画像データＩ１２と記載する。図５Ｂに示す場合、２次元Ｘ線画像データＩ１１の撮影角度Ｗ１１は、Ｚ軸方向に一致する。また、図５Ｂに示す場合、変更後の撮影角度Ｗ１２（即ち、回転画像データＩ１２の撮影角度）は、撮影角度Ｗ１１から角度「θ１」だけ変更された角度である。 For example, an operator who refers to the two-dimensional X-ray image data I11 inputs an operation to change the imaging angle via the input interface 31. In addition, below, the imaging angle of the two-dimensional X-ray image data I11 will be described as the imaging angle W11. Furthermore, hereinafter, the photographing angle after being changed by the operator will be referred to as photographing angle W12. Furthermore, hereinafter, the X-ray image data collected at the imaging angle W12 will be referred to as rotated image data I12. In the case shown in FIG. 5B, the imaging angle W11 of the two-dimensional X-ray image data I11 coincides with the Z-axis direction. Further, in the case shown in FIG. 5B, the changed photographing angle W12 (that is, the photographing angle of the rotated image data I12) is an angle that is changed from the photographing angle W11 by an angle "θ1".

生成機能３４３は、２次元Ｘ線画像データＩ１１に基づいて、回転画像データＩ１２を擬似的に示す擬似画像データを生成する。例えば、生成機能３４３は、図５Ｂに示すように、軸ｙ’を回転軸として２次元Ｘ線画像データＩ１１を角度「θ１」だけ回転させる。即ち、生成機能３４３は、アイソセンターに対応する点まわりに、２次元Ｘ線画像データＩ１１を角度「θ１」だけ回転させる。次に、生成機能３４３は、回転後の２次元Ｘ線画像データＩ１１をＸＹ平面上に投影することで、擬似画像データＩ１３ａを生成する。即ち、生成機能３４３は、角度「θ１」に応じて２次元Ｘ線画像データＩ１１を正射影することで、回転画像データＩ１２を擬似した擬似画像データＩ１３ａを生成する。また、表示制御機能３４４は、生成機能３４３が生成した擬似画像データＩ１３ａをディスプレイ３２に表示させる。 The generation function 343 generates pseudo image data that pseudo-represents the rotated image data I12 based on the two-dimensional X-ray image data I11. For example, as shown in FIG. 5B, the generation function 343 rotates the two-dimensional X-ray image data I11 by an angle "θ1" using the axis y' as the rotation axis. That is, the generation function 343 rotates the two-dimensional X-ray image data I11 by an angle "θ1" around a point corresponding to the isocenter. Next, the generation function 343 generates pseudo image data I13a by projecting the rotated two-dimensional X-ray image data I11 onto the XY plane. That is, the generation function 343 orthogonally projects the two-dimensional X-ray image data I11 according to the angle "θ1" to generate pseudo image data I13a that simulates the rotated image data I12. Further, the display control function 344 causes the display 32 to display the pseudo image data I13a generated by the generation function 343.

しかしながら、図５Ｂに示す擬似画像データＩ１３ａにおいては、２次元Ｘ線画像データＩ１１に含まれる各部位（部位Ａ１や部位Ａ２等）の奥行き方向の位置が考慮されていない。即ち、擬似画像データＩ１３ａにおいては、２次元Ｘ線画像データＩ１１における各位置の深度情報が考慮されていない。このため、擬似画像データＩ１３ａは、回転画像データＩ１２と大きく異なる画像となってしまう場合がある。ひいては、擬似画像データＩ１３ａを参照した操作者が、変更後の撮影角度Ｗ１２を直感的に理解することができない場合がある。 However, in the pseudo image data I13a shown in FIG. 5B, the position in the depth direction of each part (part A1, part A2, etc.) included in the two-dimensional X-ray image data I11 is not taken into account. That is, in the pseudo image data I13a, depth information at each position in the two-dimensional X-ray image data I11 is not taken into account. Therefore, the pseudo image data I13a may end up being an image that is significantly different from the rotated image data I12. Furthermore, the operator who refers to the pseudo image data I13a may not be able to intuitively understand the changed photographing angle W12.

そこで、処理回路３４は、２次元Ｘ線画像データＩ１１における各位置の深度情報を考慮した擬似画像データを生成することにより、変更後の撮影角度Ｗ１２を直感的に理解することを可能とする。具体的には、処理回路３４は、図６に示すように、２次元Ｘ線画像データＩ１１における各位置について深度情報を付加した３次元データＤ１１を生成し、生成した３次元データＤ１１を投影することにより、深度情報を考慮した擬似画像データＩ１３ｂを生成する。なお、図６は、第１の実施形態に係る擬似画像データＩ１３ｂの生成処理の一例を示す図である。 Therefore, the processing circuit 34 makes it possible to intuitively understand the changed imaging angle W12 by generating pseudo image data that takes into account the depth information of each position in the two-dimensional X-ray image data I11. Specifically, as shown in FIG. 6, the processing circuit 34 generates three-dimensional data D11 with depth information added for each position in the two-dimensional X-ray image data I11, and projects the generated three-dimensional data D11. By doing so, pseudo image data I13b is generated in consideration of depth information. Note that FIG. 6 is a diagram illustrating an example of the process of generating the pseudo image data I13b according to the first embodiment.

以下、処理回路３４による擬似画像データＩ１３ｂの生成処理について詳細に説明する。まず、付加機能３４２は、２次元Ｘ線画像データＩ１１における各位置について深度情報を付加した３次元データＤ１１を生成する。ここで、深度情報は、２次元Ｘ線画像データＩ１１の奥行き方向の位置を示す情報である。例えば、図６に示す場合、深度情報は、Ｚ軸方向の位置を示す情報である。一例を挙げると、深度情報は、Ｚ座標である。 Hereinafter, the generation process of the pseudo image data I13b by the processing circuit 34 will be described in detail. First, the additional function 342 generates three-dimensional data D11 to which depth information is added for each position in the two-dimensional X-ray image data I11. Here, the depth information is information indicating the position of the two-dimensional X-ray image data I11 in the depth direction. For example, in the case shown in FIG. 6, the depth information is information indicating the position in the Z-axis direction. For example, the depth information is a Z coordinate.

例えば、付加機能３４２は、２次元Ｘ線画像データＩ１１と同じ被検体Ｐについて収集された３次元画像データに基づいて、２次元Ｘ線画像データＩ１１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ１１の各位置に付加することで３次元データＤ１１を生成する。以下、３次元画像データの例として、Ｘ線診断装置１０により収集される３次元Ｘ線画像データＶ１１について説明する。 For example, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I11 based on three-dimensional image data collected for the same subject P as the two-dimensional X-ray image data I11, and Three-dimensional data D11 is generated by adding depth information to each position of two-dimensional X-ray image data I11. Three-dimensional X-ray image data V11 collected by the X-ray diagnostic apparatus 10 will be described below as an example of three-dimensional image data.

例えば、Ｘ線診断装置１０は、２次元Ｘ線画像データＩ１１の収集に先立って、被検体Ｐから３次元Ｘ線画像データＶ１１を収集し、収集した３次元Ｘ線画像データＶ１１を画像保管装置２０に対して送信する。また、取得機能３４１は、２次元Ｘ線画像データＩ１１を取得した後、ネットワークＮＷを介して、画像保管装置２０から３次元Ｘ線画像データＶ１１を取得する。次に、付加機能３４２は、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせすることで、２次元Ｘ線画像データＩ１１における各位置について深度情報を推定する。 For example, prior to collecting the two-dimensional X-ray image data I11, the X-ray diagnostic apparatus 10 collects three-dimensional X-ray image data V11 from the subject P, and stores the collected three-dimensional X-ray image data V11 in the image storage device. 20. Further, after acquiring the two-dimensional X-ray image data I11, the acquisition function 341 acquires the three-dimensional X-ray image data V11 from the image storage device 20 via the network NW. Next, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I11 by aligning the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11.

例えば、付加機能３４２は、まず、２次元Ｘ線画像データＩ１１のうち骨に対応する領域の輪郭データＬｃを抽出する。一例を挙げると、付加機能３４２は、２次元Ｘ線画像データＩ１１についてエッジ抽出処理を行なうことにより、輪郭データＬｃを抽出する。輪郭データＬｃは、例えば、２次元座標値を持つ頂点の集合として表現される。また、付加機能３４２は、３次元Ｘ線画像データＶ１１を平面に投影した投影画像データを複数生成する。ここで、付加機能３４２は、位置及び向きを変化させつつ３次元Ｘ線画像データＶ１１を平面に透視することで、様々な投影画像データを生成する。次に、付加機能３４２は、複数の投影画像データそれぞれについて、投影画像データのうち骨に対応する領域の輪郭データＬｖを抽出する。輪郭データＬｖは、例えば、２次元座標値を持つ頂点の集合として表現される。次に、付加機能３４２は、複数の投影画像データそれぞれについて、輪郭データＬｃ上の各頂点と、その頂点から最短距離にある輪郭データＬｖの頂点との間の距離値の総和を算出する。次に、付加機能３４２は、算出した距離値の総和が最小となる投影画像データを特定する。そして、付加機能３４２は、特定した投影画像データの生成時における３次元Ｘ線画像データＶ１１の位置及び向きを、２次元Ｘ線画像データＩ１１に対する３次元Ｘ線画像データＶ１１の位置及び向きとして特定する。 For example, the additional function 342 first extracts contour data Lc of a region corresponding to a bone from the two-dimensional X-ray image data I11. For example, the additional function 342 extracts contour data Lc by performing edge extraction processing on the two-dimensional X-ray image data I11. The contour data Lc is expressed, for example, as a set of vertices having two-dimensional coordinate values. Further, the additional function 342 generates a plurality of projection image data obtained by projecting the three-dimensional X-ray image data V11 onto a plane. Here, the additional function 342 generates various projection image data by viewing the three-dimensional X-ray image data V11 on a plane while changing the position and orientation. Next, the additional function 342 extracts contour data Lv of a region corresponding to a bone from among the projection image data for each of the plurality of projection image data. The contour data Lv is expressed, for example, as a set of vertices having two-dimensional coordinate values. Next, the additional function 342 calculates, for each of the plurality of projection image data, the sum of distance values between each vertex on the contour data Lc and the vertex of the contour data Lv that is the shortest distance from the vertex. Next, the additional function 342 identifies the projection image data for which the sum of the calculated distance values is the minimum. The additional function 342 then specifies the position and orientation of the three-dimensional X-ray image data V11 at the time of generation of the specified projection image data as the position and orientation of the three-dimensional X-ray image data V11 with respect to the two-dimensional X-ray image data I11. do.

即ち、付加機能３４２は、２次元Ｘ線画像データＩ１１から抽出した輪郭データＬｃの頂点と、３次元Ｘ線画像データＶ１１から抽出した輪郭データＬｖの頂点との間の距離値の総和を、３次元Ｘ線画像データＶ１１の位置及び向きを変数とする評価関数として定義する。そして、付加機能３４２は、評価関数の最小化を図ることで、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせする。 That is, the additional function 342 calculates the sum of the distance values between the vertices of the contour data Lc extracted from the 2-dimensional X-ray image data I11 and the vertices of the contour data Lv extracted from the 3-dimensional X-ray image data V11 by 3. It is defined as an evaluation function whose variables are the position and orientation of the dimensional X-ray image data V11. The additional function 342 then aligns the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 by minimizing the evaluation function.

なお、評価関数の変数は、３次元Ｘ線画像データＶ１１の位置及び向きに限定されるものではない。例えば、付加機能３４２は、３次元Ｘ線画像データＶ１１の位置及び向きと、３次元Ｘ線画像データＶ１１の変形度とを変数として、評価関数を定義してもよい。即ち、付加機能３４２は、３次元Ｘ線画像データＶ１１を剛体として２次元Ｘ線画像データＩ１１と位置合わせしてもよいし、３次元Ｘ線画像データＶ１１を変形させながら２次元Ｘ線画像データＩ１１と位置合わせしてもよい。 Note that the variables of the evaluation function are not limited to the position and orientation of the three-dimensional X-ray image data V11. For example, the additional function 342 may define an evaluation function using the position and orientation of the three-dimensional X-ray image data V11 and the degree of deformation of the three-dimensional X-ray image data V11 as variables. That is, the additional function 342 may align the three-dimensional X-ray image data V11 with the two-dimensional X-ray image data I11 as a rigid body, or may align the three-dimensional X-ray image data V11 with the two-dimensional X-ray image data I11 while deforming the three-dimensional X-ray image data V11. It may be aligned with I11.

また、付加機能３４２は、血管造影の有無に応じて、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１との位置合わせを行なってもよい。例えば、２次元Ｘ線画像データＩ１１が血管非造影画像であり、３次元Ｘ線画像データＶ１１が血管造影画像である場合、付加機能３４２は、３次元Ｘ線画像データＶ１１を、血管モデルと非血管モデルとに分離する。次に、付加機能３４２は、３次元Ｘ線画像データＶ１１に基づく非血管モデルと、２次元Ｘ線画像データＩ１１とを位置合わせる。これにより、付加機能３４２は、２次元Ｘ線画像データＩ１１が血管非造影画像であり、３次元Ｘ線画像データＶ１１が血管造影画像である場合においても、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを精度良く位置合わせすることができる。 Further, the additional function 342 may align the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 depending on the presence or absence of angiography. For example, when the two-dimensional X-ray image data I11 is a blood vessel non-contrast image and the three-dimensional X-ray image data V11 is an angiographic image, the additional function 342 converts the three-dimensional X-ray image data V11 into a blood vessel model and a non-contrast image. Separate into blood vessel model. Next, the additional function 342 aligns the non-vascular model based on the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11. As a result, the additional function 342 allows the 3D X-ray image data V11 and the 2D It is possible to align the position with the X-ray image data I11 with high accuracy.

また、付加機能３４２は、他の医用画像データを介して、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせしてもよい。例えば、付加機能３４２は、被検体Ｐを撮像した３次元超音波画像データＶ１２を用いて、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせする。一例を挙げると、付加機能３４２は、３次元Ｘ線画像データＶ１１と３次元超音波画像データＶ１２との位置合わせを実行し、３次元Ｘ線画像データＶ１１に対する３次元超音波画像データＶ１２の位置及び向きを特定する。また、付加機能３４２は、２次元Ｘ線画像データＩ１１において、３次元超音波画像データＶ１２の撮像に用いられる超音波プローブの位置及び向きを特定することにより、２次元Ｘ線画像データＩ１１に対する３次元超音波画像データＶ１２の位置及び向きを特定する。例えば、付加機能３４２は、超音波プローブの構造を示す３次元モデルを２次元Ｘ線画像データＩ１１に対してマッチングすることにより、２次元Ｘ線画像データＩ１１において超音波プローブの位置及び向きを特定する。そして、付加機能３４２は、３次元Ｘ線画像データＶ１１に対する３次元超音波画像データＶ１２の位置及び向きと、２次元Ｘ線画像データＩ１１に対する３次元超音波画像データＶ１２の位置及び向きとに基づいて、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせする。 Further, the additional function 342 may align the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 via other medical image data. For example, the additional function 342 aligns the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 using the three-dimensional ultrasound image data V12 obtained by imaging the subject P. For example, the additional function 342 executes alignment between the three-dimensional X-ray image data V11 and the three-dimensional ultrasound image data V12, and positions the three-dimensional ultrasound image data V12 relative to the three-dimensional X-ray image data V11. and specify the orientation. Additionally, the additional function 342 specifies the position and orientation of the ultrasound probe used for imaging the three-dimensional ultrasound image data V12 in the two-dimensional X-ray image data I11. The position and orientation of the dimensional ultrasound image data V12 are specified. For example, the additional function 342 identifies the position and orientation of the ultrasound probe in the two-dimensional X-ray image data I11 by matching a three-dimensional model showing the structure of the ultrasound probe to the two-dimensional X-ray image data I11. do. The additional function 342 is based on the position and orientation of the three-dimensional ultrasound image data V12 with respect to the three-dimensional X-ray image data V11, and the position and orientation of the three-dimensional ultrasound image data V12 with respect to the two-dimensional X-ray image data I11. Then, the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 are aligned.

また、付加機能３４２は、操作者からの入力操作に基づいて、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせしてもよい。一例を挙げると、操作者は、ディスプレイ３２に表示された３次元Ｘ線画像データＶ１１及び２次元Ｘ線画像データＩ１１を参照しつつ、入力インターフェース３１を介して、２次元Ｘ線画像データＩ１１に対する３次元Ｘ線画像データＶ１１の位置及び向きを変化させる。そして、操作者は、２次元Ｘ線画像データＩ１１に対する３次元Ｘ線画像データＶ１１の位置及び向き決定する操作を入力することにより、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせする。 Further, the additional function 342 may align the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 based on an input operation from the operator. For example, while referring to the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11 displayed on the display 32, the operator inputs the two-dimensional X-ray image data I11 via the input interface 31. The position and orientation of the three-dimensional X-ray image data V11 are changed. Then, the operator inputs an operation to determine the position and orientation of the 3-dimensional X-ray image data V11 relative to the 2-dimensional X-ray image data I11, thereby allowing the 3-dimensional X-ray image data V11 and the 2-dimensional X-ray image data I11 to be Align.

３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１とを位置合わせした後、付加機能３４２は、２次元Ｘ線画像データＩ１１における各位置について、深度情報を推定する。例えば、付加機能３４２は、３次元Ｘ線画像データＶ１１において部位Ａ１の位置を特定する。次に、付加機能３４２は、３次元Ｘ線画像データＶ１１と２次元Ｘ線画像データＩ１１との位置合わせの結果に基づいて、２次元Ｘ線画像データＩ１１から、３次元Ｘ線画像データＶ１１における部位Ａ１までの距離を算出する。なお、２次元Ｘ線画像データＩ１１から３次元Ｘ線画像データＶ１１における部位Ａ１までの距離は、例えば、２次元Ｘ線画像データＩ１１の奥行き方向（即ち、図６に示すＺ方向）の距離である。 After aligning the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I11. For example, the additional function 342 specifies the position of part A1 in three-dimensional X-ray image data V11. Next, the additional function 342 converts the two-dimensional X-ray image data I11 into the three-dimensional X-ray image data V11 based on the result of alignment between the three-dimensional X-ray image data V11 and the two-dimensional X-ray image data I11. Calculate the distance to site A1. Note that the distance from the two-dimensional X-ray image data I11 to the part A1 in the three-dimensional X-ray image data V11 is, for example, the distance in the depth direction of the two-dimensional X-ray image data I11 (that is, the Z direction shown in FIG. 6). be.

即ち、付加機能３４２は、２次元Ｘ線画像データＩ１１から３次元Ｘ線画像データＶ１１における部位Ａ１までの距離を、２次元Ｘ線画像データＩ１１における部位Ａ１の位置の深度情報として推定する。同様に、付加機能３４２は、２次元Ｘ線画像データＩ１１における他の位置（部位Ａ２の位置等）の深度情報を推定する。 That is, the additional function 342 estimates the distance from the two-dimensional X-ray image data I11 to the part A1 in the three-dimensional X-ray image data V11 as depth information of the position of the part A1 in the two-dimensional X-ray image data I11. Similarly, the additional function 342 estimates depth information at other positions (such as the position of site A2) in the two-dimensional X-ray image data I11.

次に、付加機能３４２は、推定した深度情報を２次元Ｘ線画像データＩ１１における各位置に付加することで、図６に示す３次元データＤ１１を生成する。例えば、２次元Ｘ線画像データＩ１１における各画素は、それぞれがＸ座標及びＹ座標を有している。ここで、付加機能３４２は、２次元Ｘ線画像データＩ１１における各画素に対して、推定した深度情報をＺ座標として付加する。これにより、付加機能３４２は、３次元データＤ１１として、２次元Ｘ線画像データＩ１１における各画素を３次元空間に配置した３次元画像データを生成する。即ち、付加機能３４２は、深度情報に応じて２次元Ｘ線画像データＩ１１を３次元に拡張することで、３次元データＤ１１を生成する。なお、３次元データＤ１１の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。 Next, the additional function 342 generates three-dimensional data D11 shown in FIG. 6 by adding the estimated depth information to each position in the two-dimensional X-ray image data I11. For example, each pixel in the two-dimensional X-ray image data I11 has an X coordinate and a Y coordinate. Here, the additional function 342 adds the estimated depth information as a Z coordinate to each pixel in the two-dimensional X-ray image data I11. Thereby, the additional function 342 generates, as three-dimensional data D11, three-dimensional image data in which each pixel in the two-dimensional X-ray image data I11 is arranged in a three-dimensional space. That is, the additional function 342 generates three-dimensional data D11 by expanding the two-dimensional X-ray image data I11 into three dimensions according to the depth information. Note that the generation of the three-dimensional data D11 may be performed before the operator performs an operation to change the photographing angle, or may be performed after the operator performs an operation to change the photographic angle.

次に、生成機能３４３は、図６に示すように、生成した３次元データＤ１１を角度「θ１」だけ回転させる。例えば、生成機能３４３は、基準座標系における３次元データＤ１１の位置に基づき、３次元データＤ１１において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能３４３は、アイソセンターを通る軸ｙ’を回転軸として、３次元データＤ１１を角度「θ１」だけ回転させる。即ち、生成機能３４３は、アイソセンターに対応する点まわりに、３次元データＤ１１を角度「θ１」だけ回転させる。 Next, the generation function 343 rotates the generated three-dimensional data D11 by an angle "θ1", as shown in FIG. For example, the generation function 343 identifies a point corresponding to the isocenter in real space in the three-dimensional data D11 based on the position of the three-dimensional data D11 in the reference coordinate system. Next, the generation function 343 rotates the three-dimensional data D11 by an angle "θ1" using the axis y' passing through the isocenter as the rotation axis. That is, the generation function 343 rotates the three-dimensional data D11 by an angle "θ1" around a point corresponding to the isocenter.

次に、生成機能３４３は、図６に示すように、回転後の３次元データＤ１１をＸＹ平面上に投影することで、擬似画像データＩ１３ｂを生成する。また、表示制御機能３４４は、生成機能３４３が生成した擬似画像データＩ１３ｂをディスプレイ３２に表示させる。ここで、擬似画像データＩ１３ｂは、上述したように、２次元Ｘ線画像データＩ１１における各位置の深度情報を考慮して生成されたものである。このため、擬似画像データＩ１３ｂは、回転画像データＩ１２を十分に近似した画像となる。ひいては、擬似画像データＩ１３ｂを参照した操作者は、変更後の撮影角度Ｗ１２を直感的に理解することができる。 Next, as shown in FIG. 6, the generation function 343 generates pseudo image data I13b by projecting the rotated three-dimensional data D11 onto the XY plane. Further, the display control function 344 causes the display 32 to display the pseudo image data I13b generated by the generation function 343. Here, the pseudo image data I13b is generated in consideration of the depth information of each position in the two-dimensional X-ray image data I11, as described above. Therefore, the pseudo image data I13b becomes an image that sufficiently approximates the rotated image data I12. Furthermore, the operator who refers to the pseudo image data I13b can intuitively understand the changed photographing angle W12.

なお、変更後の撮影角度Ｗ１２が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。例えば、擬似画像データＩ１３ｂにおいて検査対象部位に背景成分が重なっている場合、操作者は、より検査対象部位を観察しやすくなるように、再度撮影角度の変更操作を行なう。この場合、生成機能３４３は、変更後の撮影角度に応じて３次元データＤ１１を回転させ、回転後の３次元データＤ１１を投影することにより、変更後の撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する。また、表示制御機能３４４は、生成された擬似画像データをディスプレイ３２に表示させる。 Note that if the operator determines that the changed photographing angle W12 is not appropriate, the operator performs the photographing angle changing operation again. For example, if a background component overlaps the region to be inspected in the pseudo image data I13b, the operator performs an operation to change the imaging angle again to make it easier to observe the region to be inspected. In this case, the generation function 343 rotates the three-dimensional data D11 according to the changed shooting angle, and projects the rotated three-dimensional data D11 to generate rotated image data collected at the changed shooting angle. Generate pseudo image data that is shown in a pseudo manner. Furthermore, the display control function 344 causes the display 32 to display the generated pseudo image data.

一方で、変更後の撮影角度Ｗ１２が適切であると判断した場合、操作者は、撮影角度Ｗ１２を撮影条件とする旨の入力操作を行なう。この場合、制御機能３４５は、撮影角度Ｗ１２を撮影条件として設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。また、収集機能１１０ａは、医用画像処理装置３０から受け付けた撮影条件に基づいて、２次元Ｘ線画像データの収集を実行する。即ち、収集機能１１０ａは、回転画像データＩ１２の収集を実行する。 On the other hand, if it is determined that the changed photographing angle W12 is appropriate, the operator performs an input operation to set the photographing angle W12 as the photographing condition. In this case, the control function 345 sets the imaging angle W12 as the imaging condition, and transmits the set imaging condition to the X-ray diagnostic apparatus 10. Furthermore, the collection function 110a executes collection of two-dimensional X-ray image data based on the imaging conditions received from the medical image processing device 30. That is, the collection function 110a executes collection of rotated image data I12.

例えば、収集機能１１０ａは、まず、医用画像処理装置３０から受け付けた撮影条件に基づいて、Ｃアーム１０５等の撮影系を配置する。一例を挙げると、収集機能１１０ａは、アイソセンターまわりにＣアーム１０５を角度「θ１」だけ回転させる。次に、収集機能１１０ａは、Ｘ線高電圧装置１０１を制御して、Ｘ線管１０２から被検体Ｐに対してＸ線を照射させる。そして、収集機能１１０ａは、Ｘ線検出器１０６から受信した検出信号に基づいて回転画像データＩ１２を生成する。 For example, the collection function 110a first arranges an imaging system such as the C-arm 105 based on the imaging conditions received from the medical image processing device 30. In one example, acquisition function 110a rotates C-arm 105 about the isocenter by an angle "θ1." Next, the collection function 110a controls the X-ray high voltage device 101 to irradiate the subject P with X-rays from the X-ray tube 102. The acquisition function 110a then generates rotated image data I12 based on the detection signal received from the X-ray detector 106.

一例を挙げると、収集機能１１０ａは、被検体Ｐに対する手技の間、医用画像処理装置３０から受け付けた撮影角度をワーキングアングルとして、複数の回転画像データＩ１２を順次収集する。また、表示制御機能１１０ｂは、収集された回転画像データＩ１２を順次表示させる。即ち、収集機能１１０ａは、回転画像データＩ１２を透視像として収集する。 For example, the collection function 110a sequentially collects a plurality of rotated image data I12 during a procedure on the subject P, using the imaging angle received from the medical image processing device 30 as a working angle. Furthermore, the display control function 110b sequentially displays the collected rotated image data I12. That is, the collection function 110a collects the rotated image data I12 as a perspective image.

なお、図６に示した擬似画像データＩ１３ｂにおいては、２次元Ｘ線画像データＩ１１と比較して、部位Ａ１が＋Ｘ方向にずれるとともに、部位Ａ２が－Ｘ方向にずれている。
このため、擬似画像データＩ１３ｂのうち部位Ａ１の－Ｘ方向側に近接する箇所の画素は、２次元Ｘ線画像データＩ１１に基づく情報を有していない場合がある。以下、擬似画像データＩ１３ｂの画素のうち、２次元Ｘ線画像データＩ１１に基づく情報を有していない画素を、空白画素と記載する。即ち、擬似画像データＩ１３ｂにおいては、部位Ａ１の－Ｘ方向側に近接する箇所の画素が空白画素となっている場合がある。また、部位Ａ２の＋Ｘ方向側に近接する箇所の画素も同様に、空白画素となっている場合がある。 In the pseudo image data I13b shown in FIG. 6, compared to the two-dimensional X-ray image data I11, the region A1 is shifted in the +X direction, and the region A2 is shifted in the −X direction.
Therefore, pixels in the pseudo image data I13b located close to the region A1 in the −X direction may not have information based on the two-dimensional X-ray image data I11. Hereinafter, among the pixels of the pseudo image data I13b, pixels that do not have information based on the two-dimensional X-ray image data I11 will be referred to as blank pixels. That is, in the pseudo image data I13b, there are cases where pixels near the region A1 in the −X direction are blank pixels. Similarly, pixels in locations adjacent to the +X direction side of portion A2 may also be blank pixels.

そこで、生成機能３４３は、擬似画像データＩ１３ｂの空白画素の補完処理を行なうこととしてもよい。例えば、生成機能３４３は、空白画素の画素値を、擬似画像データＩ１３ｂにおける背景画素の画素値の平均値により置換することで、空白画素の補完処理を行なう。なお、背景画素とは、例えば、擬似画像データＩ１３ｂの画素のうち、部位Ａ１の位置の画素、部位Ａ２の位置の画素、及び、空白画素を除く画素である。別の例を挙げると、生成機能３４３は、空白画素の画素値をプリセット値により置換することで、空白画素の補完処理を行なう。 Therefore, the generation function 343 may perform complementation processing for blank pixels in the pseudo image data I13b. For example, the generation function 343 performs blank pixel complementation processing by replacing the pixel value of the blank pixel with the average value of the pixel values of the background pixels in the pseudo image data I13b. Note that the background pixels are, for example, the pixels of the pseudo image data I13b excluding the pixels at the position of part A1, the pixels at the position of part A2, and blank pixels. To give another example, the generation function 343 performs blank pixel complementation processing by replacing the pixel value of the blank pixel with a preset value.

また、図６においては、アイソセンターに対応する点が２次元Ｘ線画像データＩ１１上に位置している場合について説明した。即ち、図６においては、軸ｙ’が２次元Ｘ線画像データＩ１１を通る場合について説明した。しかしながら、実施形態はこれに限定されるものではない。以下、アイソセンターに対応する点が２次元Ｘ線画像データＩ１１上に位置していない場合における擬似画像データの生成処理について説明する。 Further, in FIG. 6, a case has been described in which the point corresponding to the isocenter is located on the two-dimensional X-ray image data I11. That is, in FIG. 6, the case where the axis y' passes through the two-dimensional X-ray image data I11 has been described. However, embodiments are not limited thereto. The process of generating pseudo image data when the point corresponding to the isocenter is not located on the two-dimensional X-ray image data I11 will be described below.

例えば、アイソセンターに対応する点は、２次元Ｘ線画像データＩ１１に対してＺ方向にずれている場合がある。この場合、Ｙ軸方向と平行であり且つアイソセンターを通る軸ｙ’は、図７Ａに示すように、Ｚ方向から見れば２次元Ｘ線画像データＩ１１と重なって見えるものの、Ｚ方向にずれているため、２次元Ｘ線画像データＩ１１を通らない。なお、図７Ａは、第１の実施形態に係るアイソセンターを通る軸ｙ’を示す図である。 For example, the point corresponding to the isocenter may be shifted in the Z direction with respect to the two-dimensional X-ray image data I11. In this case, as shown in FIG. 7A, the axis y' that is parallel to the Y-axis direction and passes through the isocenter appears to overlap with the two-dimensional X-ray image data I11 when viewed from the Z direction, but it is shifted in the Z direction. Therefore, the two-dimensional X-ray image data I11 is not passed through. Note that FIG. 7A is a diagram showing an axis y' passing through the isocenter according to the first embodiment.

この場合、付加機能３４２は、まず、図７Ｂに示すように、２次元Ｘ線画像データＩ１１における各位置について深度情報を付加した３次元データＤ１１を生成する。例えば、付加機能３４２は、３次元Ｘ線画像データＶ１１に基づいて２次元Ｘ線画像データＩ１１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ１１の各位置に付加することで３次元データＤ１１を生成する。なお、図７Ｂは、第１の実施形態に係る擬似画像データの生成処理の一例を示す図である。図７Ｂにおいては、アイソセンターに対応する点が３次元データＤ１１の外部領域に位置しているものとして説明する。即ち、図７Ｂにおいては、軸ｙ’が３次元データＤ１１を通らないものとして説明する。 In this case, the additional function 342 first generates three-dimensional data D11 to which depth information is added for each position in the two-dimensional X-ray image data I11, as shown in FIG. 7B. For example, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I11 based on the three-dimensional X-ray image data V11, and applies the estimated depth information to each position in the two-dimensional X-ray image data I11. By adding, three-dimensional data D11 is generated. Note that FIG. 7B is a diagram illustrating an example of the pseudo image data generation process according to the first embodiment. In FIG. 7B, the explanation will be made assuming that the point corresponding to the isocenter is located in the external area of the three-dimensional data D11. That is, in FIG. 7B, the explanation will be made assuming that the axis y' does not pass through the three-dimensional data D11.

次に、生成機能３４３は、図７Ｂに示すように、生成した３次元データＤ１１を角度「θ１」だけ回転させる。例えば、生成機能３４３は、基準座標系における３次元データＤ１１の位置に基づき、３次元データＤ１１において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能３４３は、アイソセンターを通る軸ｙ’を回転軸として、３次元データＤ１１を角度「θ１」だけ回転させる。即ち、生成機能３４３は、アイソセンターに対応する点まわりに、３次元データＤ１１を角度「θ１」だけ回転させる。なお、アイソセンターに対応する点が３次元データＤ１１の外部領域に位置している場合においては、アイソセンターに対応する点まわりに３次元データＤ１１を回転させる際、３次元データＤ１１は、アイソセンターに対応する点を中心とする円軌道に沿って移動することとなる。 Next, the generation function 343 rotates the generated three-dimensional data D11 by an angle "θ1", as shown in FIG. 7B. For example, the generation function 343 identifies a point corresponding to the isocenter in real space in the three-dimensional data D11 based on the position of the three-dimensional data D11 in the reference coordinate system. Next, the generation function 343 rotates the three-dimensional data D11 by an angle "θ1" using the axis y' passing through the isocenter as the rotation axis. That is, the generation function 343 rotates the three-dimensional data D11 by an angle "θ1" around a point corresponding to the isocenter. Note that when the point corresponding to the isocenter is located in the external area of the three-dimensional data D11, when rotating the three-dimensional data D11 around the point corresponding to the isocenter, the three-dimensional data D11 is located at the isocenter. It will move along a circular orbit centered on the point corresponding to .

次に、生成機能３４３は、図７Ｂに示すように、回転後の３次元データＤ１１をＸＹ平面上に投影することで、擬似画像データＩ１３ｃを生成する。また、表示制御機能３４４は、生成機能３４３が生成した擬似画像データＩ１３ｃをディスプレイ３２に表示させる。ここで、擬似画像データＩ１３ｃは、上述したように、２次元Ｘ線画像データＩ１１における各位置の深度情報を考慮して生成されたものである。このため、擬似画像データＩ１３ｃは、回転画像データＩ１２を十分に近似した画像となる。ひいては、擬似画像データＩ１３ｃを参照した操作者は、変更後の撮影角度Ｗ１２を直感的に理解し、変更後の撮影角度Ｗ１２が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度Ｗ１２が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。また、変更後の撮影角度Ｗ１２が適切であると判断した場合、操作者は、撮影角度Ｗ１２を撮影条件とする旨の入力操作を行なう。 Next, as shown in FIG. 7B, the generation function 343 generates pseudo image data I13c by projecting the rotated three-dimensional data D11 onto the XY plane. Furthermore, the display control function 344 causes the display 32 to display the pseudo image data I13c generated by the generation function 343. Here, the pseudo image data I13c is generated in consideration of the depth information of each position in the two-dimensional X-ray image data I11, as described above. Therefore, the pseudo image data I13c becomes an image that sufficiently approximates the rotated image data I12. Furthermore, the operator who refers to the pseudo image data I13c can intuitively understand the changed shooting angle W12 and easily determine whether the changed shooting angle W12 is appropriate. For example, if the operator determines that the changed photographing angle W12 is not appropriate, the operator performs the photographing angle changing operation again. Further, when it is determined that the changed photographing angle W12 is appropriate, the operator performs an input operation to set the photographing angle W12 as the photographing condition.

なお、図７Ｂに示したように、アイソセンターに対応する点まわりに３次元データＤ１１を回転させる際、３次元データＤ１１は、アイソセンターに対応する点を中心とする円軌道に沿って＋Ｘ方向に移動する。このため、擬似画像データＩ１３ｃにおいては、２次元Ｘ線画像データＩ１１と比較して、部位Ａ１や部位Ａ２等の各部位が全体的に＋Ｘ方向に移動している。ここで、擬似画像データＩ１３ｃのうち－Ｘ方向側の端部の画素は、２次元Ｘ線画像データＩ１１に基づく情報を有していない場合がある。即ち、擬似画像データＩ１３ｃにおいては、－Ｘ方向側の端部の画素が空白画素となっている場合がある。そこで、生成機能３４３は、擬似画像データＩ１３ｃの空白画素の補完処理を行なうこととしてもよい。例えば、生成機能３４３は、空白画素の画素値を、擬似画像データＩ１３ｃにおける背景画素の画素値の平均値や、プリセット値により置換することで、空白画素の補完処理を行なう。 Note that, as shown in FIG. 7B, when rotating the three-dimensional data D11 around a point corresponding to the isocenter, the three-dimensional data D11 rotates in the +X direction along a circular orbit centered on the point corresponding to the isocenter. Move to. Therefore, in the pseudo image data I13c, compared to the two-dimensional X-ray image data I11, each part such as part A1 and part A2 has moved in the +X direction as a whole. Here, pixels at the end of the pseudo image data I13c on the -X direction side may not have information based on the two-dimensional X-ray image data I11. That is, in the pseudo image data I13c, pixels at the end on the −X direction side may be blank pixels. Therefore, the generation function 343 may perform complementation processing for blank pixels in the pseudo image data I13c. For example, the generation function 343 performs blank pixel complementation processing by replacing the pixel value of the blank pixel with the average value of the pixel values of background pixels in the pseudo image data I13c or a preset value.

なお、図６及び図７Ｂにおいては、説明の便宜のため、３次元データＤ１１を３次元画像データとして示したが、実施形態はこれに限定されるものではない。例えば、３次元データＤ１１は、２次元Ｘ線画像データＩ１１における各画素に深度情報を付帯させたデータであってもよい。即ち、３次元データＤ１１は、２次元画像データであってもよい。この場合、生成機能３４３は、軸ｙ’を回転軸として３次元データＤ１１を角度「θ１」だけ回転させ、回転後の３次元データＤ１１をＸＹ平面上に投影する。この際、生成機能３４３は、付帯する深度情報に応じて投影方向を画素ごとにシフトさせる。これにより、生成機能３４３は、２次元Ｘ線画像データＩ１１における各位置の深度情報を考慮した擬似画像データを生成することができる。 Note that in FIGS. 6 and 7B, for convenience of explanation, the three-dimensional data D11 is shown as three-dimensional image data, but the embodiments are not limited to this. For example, the three-dimensional data D11 may be data in which depth information is attached to each pixel in the two-dimensional X-ray image data I11. That is, the three-dimensional data D11 may be two-dimensional image data. In this case, the generation function 343 rotates the three-dimensional data D11 by an angle "θ1" using the axis y' as the rotation axis, and projects the rotated three-dimensional data D11 onto the XY plane. At this time, the generation function 343 shifts the projection direction for each pixel according to the accompanying depth information. Thereby, the generation function 343 can generate pseudo image data that takes into account the depth information of each position in the two-dimensional X-ray image data I11.

また、これまで、３次元Ｘ線画像データＶ１１等の３次元画像データに基づいて、２次元Ｘ線画像データＩ１１における各位置の深度情報を推定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、付加機能３４２は、２次元Ｘ線画像データＩ１１における各位置について、画素値に基づいて深度情報を推定してもよい。 Furthermore, so far, a case has been described in which depth information at each position in the two-dimensional X-ray image data I11 is estimated based on three-dimensional image data such as the three-dimensional X-ray image data V11. However, embodiments are not limited thereto. For example, the additional function 342 may estimate depth information for each position in the two-dimensional X-ray image data I11 based on pixel values.

ここで、画素値に基づく深度情報の推定について、図８を用いて説明する。図８は、第１の実施形態に係る２次元Ｘ線画像データＩ１１ａを示す図である。図８に示す２次元Ｘ線画像データＩ１１ａは、被検体Ｐの右股関節における動脈を造影した血管画像であり、２次元Ｘ線画像データＩ１１の一例である。 Here, estimation of depth information based on pixel values will be explained using FIG. 8. FIG. 8 is a diagram showing two-dimensional X-ray image data I11a according to the first embodiment. The two-dimensional X-ray image data I11a shown in FIG. 8 is a blood vessel image obtained by contrasting the artery in the right hip joint of the subject P, and is an example of the two-dimensional X-ray image data I11.

図８に示すように、２次元Ｘ線画像データＩ１１ａにおいては、造影された血管を示す画素は低い画素値を有し、血管以外の背景画素（骨など）は高い画素値を有する。即ち、２次元Ｘ線画像データＩ１１ａにおいては、血管を示す画素は黒に近い色を有し、背景画素は白に近い色を有する。例えば、付加機能３４２は、２次元Ｘ線画像データＩ１１ａにおける各画素の画素値が閾値を超えるか否かに応じて、各画素を、血管を示す画素と背景画素とに分離する。ここで、股関節における動脈（大腿動脈等）は、股関節を構成する骨に対して、被検体Ｐの前方に位置することが知られている。そこで、付加機能３４２は、２次元Ｘ線画像データＩ１１において、血管を示す画素が背景画素よりも前方（即ち、＋Ｚ方向）に位置することを示すように、２次元Ｘ線画像データＩ１１における各位置の深度情報を推定する。即ち、付加機能３４２は、２次元Ｘ線画像データＩ１１における各位置について、画素値に基づいて血管を示す画素か背景画素かを判定し、判定の結果に応じて深度情報を推定する。 As shown in FIG. 8, in the two-dimensional X-ray image data I11a, pixels indicating contrasted blood vessels have low pixel values, and background pixels other than blood vessels (bones, etc.) have high pixel values. That is, in the two-dimensional X-ray image data I11a, pixels indicating blood vessels have a color close to black, and background pixels have a color close to white. For example, the additional function 342 separates each pixel into a pixel indicating a blood vessel and a background pixel depending on whether the pixel value of each pixel in the two-dimensional X-ray image data I11a exceeds a threshold value. Here, it is known that the arteries in the hip joint (such as the femoral artery) are located in front of the subject P with respect to the bones that make up the hip joint. Therefore, the additional function 342 allows each pixel in the two-dimensional X-ray image data I11 to indicate that, in the two-dimensional Estimate the depth information of the location. That is, the additional function 342 determines whether each position in the two-dimensional X-ray image data I11 is a pixel indicating a blood vessel or a background pixel based on the pixel value, and estimates depth information according to the result of the determination.

また、これまで、２次元Ｘ線画像データＩ１１がＬＩＨであるものとして説明したが、実施形態はこれに限定されるものではない。例えば、２次元Ｘ線画像データＩ１１は、ＬＩＨ以外の透視像であってもよいし、透視像以外の２次元Ｘ線画像データであってもよい。例えば、Ｘ線診断装置１０は、撮影条件の設定段階において２次元Ｘ線画像データを１つだけ収集し、取得機能３４１は、収集された２次元Ｘ線画像データを、２次元Ｘ線画像データＩ１１として取得してもよい。 Further, although the two-dimensional X-ray image data I11 has been described as LIH, the embodiments are not limited to this. For example, the two-dimensional X-ray image data I11 may be a fluoroscopic image other than LIH, or may be two-dimensional X-ray image data other than a fluoroscopic image. For example, the X-ray diagnostic apparatus 10 collects only one piece of two-dimensional X-ray image data in the imaging condition setting stage, and the acquisition function 341 converts the collected two-dimensional X-ray image data into two-dimensional X-ray image data. It may be acquired as I11.

次に、医用画像処理装置３０による処理の手順の一例を、図９を用いて説明する。図９は、第１の実施形態に係る医用画像処理装置３０の処理の一連の流れを説明するためのフローチャートである。ステップＳ１０１は、取得機能３４１に対応するステップである。ステップＳ１０７は、付加機能３４２に対応するステップである。ステップＳ１０９は、生成機能３４３に対応するステップである。ステップＳ１０３及びステップＳ１１０は、表示制御機能３４４に対応するステップである。ステップＳ１０２、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８、ステップＳ１１１及びステップＳ１１２は、制御機能３４５に対応するステップである。 Next, an example of a processing procedure by the medical image processing apparatus 30 will be described using FIG. 9. FIG. 9 is a flowchart for explaining a series of processing steps of the medical image processing apparatus 30 according to the first embodiment. Step S101 is a step corresponding to the acquisition function 341. Step S107 is a step corresponding to the additional function 342. Step S109 is a step corresponding to the generation function 343. Step S103 and step S110 are steps corresponding to the display control function 344. Step S102, step S104, step S105, step S106, step S108, step S111, and step S112 are steps corresponding to the control function 345.

まず、処理回路３４は、Ｘ線診断装置１０から、２次元Ｘ線画像データＩ１１を取得する（ステップＳ１０１）。次に、処理回路３４は、操作者からの入力操作を受け付けることにより、撮影位置を変更するか否かを判定する（ステップＳ１０２）。即ち、処理回路３４は、２次元Ｘ線画像データＩ１１の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合（ステップＳ１０２肯定）、処理回路３４は、２次元Ｘ線画像データＩ１１、及び、撮影位置を示すＲＯＩをディスプレイ３２に表示させる（ステップＳ１０３）。次に、処理回路３４は、操作者から、２次元Ｘ線画像データＩ１１上のＲＯＩを調整する操作を受け付ける（ステップＳ１０４）。 First, the processing circuit 34 acquires two-dimensional X-ray image data I11 from the X-ray diagnostic apparatus 10 (step S101). Next, the processing circuit 34 determines whether or not to change the photographing position by accepting an input operation from the operator (step S102). That is, the processing circuit 34 determines whether or not the imaging position of the two-dimensional X-ray image data I11 is to be used as is as the imaging condition. If the imaging position is to be changed (Yes at step S102), the processing circuit 34 causes the display 32 to display the two-dimensional X-ray image data I11 and the ROI indicating the imaging position (step S103). Next, the processing circuit 34 receives an operation for adjusting the ROI on the two-dimensional X-ray image data I11 from the operator (step S104).

次に、処理回路３４は、撮影位置の変更操作を終了するか否かを判定する（ステップＳ１０５）。ここで、撮影位置の変更操作を終了しない場合（ステップＳ１０５否定）、処理回路３４は、再度ステップＳ１０３に移行する。一方で、撮影位置の変更操作を終了する場合（ステップＳ１０５肯定）、処理回路３４は、調整後のＲＯＩに応じた撮影位置を撮影条件として設定する。なお、撮影位置を変更しない場合（ステップＳ１０２否定）、処理回路３４は、２次元Ｘ線画像データＩ１１の撮影位置をそのまま撮影条件として設定する。 Next, the processing circuit 34 determines whether or not to end the photographing position changing operation (step S105). Here, if the photographing position changing operation is not completed (No in step S105), the processing circuit 34 moves to step S103 again. On the other hand, when the operation for changing the photographing position is to be completed (Yes in step S105), the processing circuit 34 sets the photographing position according to the adjusted ROI as the photographing condition. Note that if the imaging position is not changed (No in step S102), the processing circuit 34 sets the imaging position of the two-dimensional X-ray image data I11 as it is as the imaging condition.

次に、処理回路３４は、操作者からの入力操作を受け付けることにより、撮影角度を変更するか否かを判定する（ステップＳ１０６）。即ち、処理回路３４は、２次元Ｘ線画像データＩ１１の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合（ステップＳ１０６肯定）、処理回路３４は、２次元Ｘ線画像データＩ１１における各位置について深度情報を付加した３次元データＤ１１を生成し（ステップＳ１０７）、撮影角度の変更操作を受け付ける（ステップＳ１０８）。次に、処理回路３４は、３次元データＤ１１を投影することにより、変更後の撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する（ステップＳ１０９）。次に、処理回路３４は、生成した擬似画像データをディスプレイ３２に表示させる（ステップＳ１１０）。 Next, the processing circuit 34 determines whether or not to change the photographing angle by accepting an input operation from the operator (step S106). That is, the processing circuit 34 determines whether or not the imaging angle of the two-dimensional X-ray image data I11 is to be used as is as the imaging condition. Here, when changing the imaging angle (Yes in step S106), the processing circuit 34 generates three-dimensional data D11 to which depth information is added for each position in the two-dimensional X-ray image data I11 (step S107), and The change operation is accepted (step S108). Next, the processing circuit 34 projects the three-dimensional data D11 to generate pseudo image data that pseudo-illustrates the rotated image data collected at the changed photographing angle (step S109). Next, the processing circuit 34 displays the generated pseudo image data on the display 32 (step S110).

ここで、処理回路３４は、撮影角度の変更操作を終了するか否かを判定する（ステップＳ１１１）。ここで、撮影角度の変更操作を終了しない場合（ステップＳ１１１否定）、処理回路３４は、再度ステップＳ１０８に移行する。即ち、処理回路３４は、操作者から撮影角度の変更操作を受け付けるごとに、入力された撮影角度に応じた擬似画像データを生成してディスプレイ３２に表示させる。 Here, the processing circuit 34 determines whether or not to end the photographing angle changing operation (step S111). Here, if the photographing angle changing operation is not completed (No in step S111), the processing circuit 34 moves to step S108 again. That is, each time the processing circuit 34 receives an operation to change the photographing angle from the operator, the processing circuit 34 generates pseudo image data according to the input photographing angle and causes the display 32 to display the generated pseudo image data.

一方で、撮影角度の変更操作を終了する場合（ステップＳ１１１肯定）、処理回路３４は、変更後の撮影角度を撮影条件として設定する。なお、撮影角度を変更しない場合（ステップＳ１０６否定）、処理回路３４は、２次元Ｘ線画像データＩ１１の撮影角度をそのまま撮影条件として設定する。そして、処理回路３４は、撮影条件として設定した撮影位置及び撮影角度をＸ線診断装置１０に対して送信し（ステップＳ１１２）、処理を終了する。 On the other hand, when the operation for changing the photographing angle is ended (Yes at step S111), the processing circuit 34 sets the changed photographing angle as the photographing condition. Note that if the imaging angle is not changed (No in step S106), the processing circuit 34 sets the imaging angle of the two-dimensional X-ray image data I11 as it is as the imaging condition. Then, the processing circuit 34 transmits the imaging position and imaging angle set as imaging conditions to the X-ray diagnostic apparatus 10 (step S112), and ends the process.

なお、図９においては、撮影位置を設定した後に撮影角度を設定するものとして説明したが、実施形態はこれに限定されるものではない。例えば、処理回路３４は、撮影角度を設定した後に撮影位置を設定してもよい。また、撮影位置の設定及び撮影角度の設定は、繰り返し行われてもよい。例えば、処理回路３４は、２次元Ｘ線画像データＩ１１及び撮影位置を示すＲＯＩに基づいて撮影位置の設定を行なった後、擬似画像データに基づいて撮影角度を設定し、更に、擬似画像データ及び撮影位置を示すＲＯＩに基づいて撮影位置の再設定を行なってもよい。また、３次元データＤ１１の生成（ステップＳ１０７）と、撮影角度の変更操作の受け付け（ステップＳ１０８）とを行なう順序は任意であり、並行して行なってもよい。 In addition, in FIG. 9, the description has been made assuming that the photographing angle is set after the photographing position is set, but the embodiment is not limited to this. For example, the processing circuit 34 may set the shooting position after setting the shooting angle. Further, the setting of the photographing position and the setting of the photographing angle may be repeated. For example, the processing circuit 34 sets the imaging position based on the two-dimensional X-ray image data I11 and the ROI indicating the imaging position, sets the imaging angle based on the pseudo image data, and further sets the imaging angle based on the pseudo image data and the The photographing position may be reset based on the ROI indicating the photographing position. Moreover, the order in which the generation of the three-dimensional data D11 (step S107) and the reception of the photographing angle changing operation (step S108) are performed is arbitrary, and they may be performed in parallel.

上述したように、第１の実施形態によれば、取得機能３４１は、２次元Ｘ線画像データＩ１１を取得する。また、付加機能３４２は、２次元Ｘ線画像データＩ１１における各位置について深度情報を付加した３次元データＤ１１を生成する。また、生成機能３４３は、３次元データＤ１１を投影することにより、２次元Ｘ線画像データＩ１１と異なる撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する。従って、第１の実施形態に係る医用画像処理装置３０は、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。即ち、医用画像処理装置３０は、透視像の追加収集を行なわずとも、擬似画像データによって変更後の撮影角度を直感的に理解することを可能とし、撮影角度の設定を容易にすることができる。 As described above, according to the first embodiment, the acquisition function 341 acquires the two-dimensional X-ray image data I11. Further, the additional function 342 generates three-dimensional data D11 to which depth information is added for each position in the two-dimensional X-ray image data I11. Furthermore, the generation function 343 generates pseudo image data that pseudo-illustrates rotated image data collected at a different imaging angle from the two-dimensional X-ray image data I11 by projecting the three-dimensional data D11. Therefore, the medical image processing apparatus 30 according to the first embodiment can facilitate setting of imaging conditions while reducing the amount of radiation exposure. In other words, the medical image processing device 30 allows the user to intuitively understand the changed imaging angle using the pseudo image data without additionally collecting fluoroscopic images, making it easy to set the imaging angle. .

また、上述したように、生成機能３４３は、３次元データＤ１１を投影することにより、擬似画像データを生成する。このため、生成機能３４３は、擬似画像データにおいて、画像の歪みを抑制することができる。例えば、深度情報に応じて２次元Ｘ線画像データＩ１１を変形させる場合、２次元Ｘ線画像データＩ１１上の部位が変形してしまったり、部位の変形に引きずられて背景が歪んでしまったりする。これに対して、擬似画像データは投影によって生成されるものであるため、このような画像の歪みは生じない。即ち、生成機能３４３は、３次元データＤ１１を投影することにより、擬似画像データにおいて画像の歪みを抑制することができる。 Further, as described above, the generation function 343 generates pseudo image data by projecting the three-dimensional data D11. Therefore, the generation function 343 can suppress image distortion in the pseudo image data. For example, when deforming the two-dimensional X-ray image data I11 according to depth information, the part on the two-dimensional X-ray image data I11 may be deformed, or the background may be distorted due to the deformation of the part. . On the other hand, since pseudo image data is generated by projection, such image distortion does not occur. That is, the generation function 343 can suppress image distortion in the pseudo image data by projecting the three-dimensional data D11.

（第２の実施形態）
上述した第１の実施形態では、被検体Ｐについて収集された３次元画像データ又は画素値に基づいて、２次元Ｘ線画像データにおける各位置の深度情報を推定する場合について説明した。これに対し、第２の実施形態では、深度情報を推定するように機能付けられた学習済みモデルを用いて、２次元Ｘ線画像データにおける各位置の深度情報を推定する場合について説明する。 (Second embodiment)
In the first embodiment described above, a case has been described in which depth information at each position in two-dimensional X-ray image data is estimated based on three-dimensional image data or pixel values collected for the subject P. In contrast, in the second embodiment, a case will be described in which depth information at each position in two-dimensional X-ray image data is estimated using a trained model that is equipped with a function to estimate depth information.

第２の実施形態に係る医用情報処理システム１は、図１～図２に示した第１の実施形態に係る医用情報処理システム１と比較して、医用画像処理装置３０がモデル記憶回路３５を更に有するとともに、処理回路３４がモデル生成機能３４６を更に有する点で相違する。例えば、第２の実施形態に係る医用画像処理装置３０は、図１０に示すように、入力インターフェース３１と、ディスプレイ３２と、記憶回路３３と、処理回路３４と、モデル記憶回路３５とを有する。また、第２の実施形態に係る処理回路３４は、取得機能３４１、付加機能３４２、生成機能３４３、表示制御機能３４４及び制御機能３４５に加えて、モデル生成機能３４６を更に実行する。なお、図１０は、第２の実施形態に係る医用画像処理装置３０の構成の一例を示すブロック図である。以下、第１の実施形態において説明した構成と同様の構成を有する点については図１～図２と同一の符号を付し、説明を省略する。 The medical information processing system 1 according to the second embodiment is different from the medical information processing system 1 according to the first embodiment shown in FIGS. The difference is that the processing circuit 34 further includes a model generation function 346. For example, the medical image processing apparatus 30 according to the second embodiment includes an input interface 31, a display 32, a storage circuit 33, a processing circuit 34, and a model storage circuit 35, as shown in FIG. Furthermore, the processing circuit 34 according to the second embodiment further executes a model generation function 346 in addition to the acquisition function 341, additional function 342, generation function 343, display control function 344, and control function 345. Note that FIG. 10 is a block diagram showing an example of the configuration of the medical image processing apparatus 30 according to the second embodiment. Hereinafter, the same reference numerals as those in FIGS. 1 and 2 will be used to denote the same configurations as those described in the first embodiment, and the explanation will be omitted.

まず、モデル生成機能３４６は、深度情報を推定するように機能付けられた学習済みモデルを生成して、モデル記憶回路３５に記憶させる。例えば、モデル生成機能３４６は、図１１に示すように、第１画像データと第２画像データとを用いて学習済みモデルＭ１を生成し、モデル記憶回路３５に記憶させる。なお、図１１は、第２の実施形態に係る学習済みモデルＭ１の生成処理について説明するための図である。 First, the model generation function 346 generates a trained model equipped with a function to estimate depth information, and stores it in the model storage circuit 35. For example, as shown in FIG. 11, the model generation function 346 generates a trained model M1 using the first image data and second image data, and stores it in the model storage circuit 35. Note that FIG. 11 is a diagram for explaining the generation process of the learned model M1 according to the second embodiment.

図１１に示す第１画像データは、２次元で収集されたＸ線画像データである。第１画像データは、被検体Ｐから収集されたＸ線画像データであってもよいし、他の被検体から収集されたＸ線画像データであってもよい。また、第１画像データは、Ｘ線診断装置１０によって収集されたＸ線画像データであってもよいし、他の装置によって収集されたＸ線画像データであってもよい。一例を挙げると、第１画像データは、図３に示した２次元Ｘ線画像データＩ１１である。また、図１１に示す第２画像データは、第１画像データにおける各位置について深度情報を付加したデータである。例えば、取得機能３４１は、まず、Ｘ線診断装置１０によって収集された２次元Ｘ線画像データを第１画像データとして取得する。次に、付加機能３４２は、第１画像データにおける各位置について深度情報を付加することにより、第２画像データを生成する。 The first image data shown in FIG. 11 is X-ray image data collected two-dimensionally. The first image data may be X-ray image data collected from the subject P, or may be X-ray image data collected from another subject. Moreover, the first image data may be X-ray image data collected by the X-ray diagnostic apparatus 10, or may be X-ray image data collected by another apparatus. For example, the first image data is the two-dimensional X-ray image data I11 shown in FIG. 3. Further, the second image data shown in FIG. 11 is data to which depth information is added for each position in the first image data. For example, the acquisition function 341 first acquires two-dimensional X-ray image data collected by the X-ray diagnostic apparatus 10 as first image data. Next, the additional function 342 generates second image data by adding depth information to each position in the first image data.

一例を挙げると、付加機能３４２は、操作者から、第１画像データの各位置に深度情報を付加する操作を受け付けることにより、第２画像データを生成する。例えば、まず、表示制御機能３４４は、第１画像データをディスプレイ３２に表示させる。次に、付加機能３４２は、操作者から、第１画像データの各位置に深度情報を付加する操作を受け付ける。なお、付加機能３４２は、第１画像データの全画素について深度情報を付加する操作を受け付けてもよいし、一部の画素についてのみ深度情報を付加する操作を受け付けてもよい。一部の画素についてのみ深度情報が付加された場合、付加機能３４２は、例えば、深度情報が付加されなかった画素を背景画素とし、背景画素についてはプリセットされた深度情報を付加する。 For example, the additional function 342 generates the second image data by receiving an operation from the operator to add depth information to each position of the first image data. For example, first, the display control function 344 displays the first image data on the display 32. Next, the addition function 342 receives an operation from the operator to add depth information to each position of the first image data. Note that the additional function 342 may accept an operation to add depth information to all pixels of the first image data, or may accept an operation to add depth information to only some pixels. When depth information is added to only some pixels, the addition function 342, for example, sets the pixels to which no depth information is added as background pixels, and adds preset depth information to the background pixels.

別の例を挙げると、付加機能３４２は、付加機能３４２は、第１画像データと同じ被検体について収集された３次元画像データに基づいて、第１画像データにおける各位置について深度情報を推定し、推定した深度情報を第１画像データの各位置に付加することで第２画像データを生成する。例えば、取得機能３４１は、第１画像データを取得した後、ネットワークＮＷを介して、画像保管装置２０から第１画像データと同じ被検体について収集された３次元画像データ（ＣＴ画像データ、ＭＲ画像データ、３次元Ｘ線画像データ等）を取得する。次に、付加機能３４２は、第１画像データと３次元画像データとを位置合わせすることで、第１画像データにおける各位置について深度情報を推定する。そして、付加機能３４２は、推定した深度情報を第１画像データの各位置に付加することで、第２画像データを生成する。 To give another example, the additional function 342 estimates depth information for each position in the first image data based on three-dimensional image data collected for the same subject as the first image data. , the second image data is generated by adding the estimated depth information to each position of the first image data. For example, after acquiring the first image data, the acquisition function 341 transmits three-dimensional image data (CT image data, MR image data, data, three-dimensional X-ray image data, etc.). Next, the additional function 342 estimates depth information for each position in the first image data by aligning the first image data and the three-dimensional image data. Then, the additional function 342 generates second image data by adding the estimated depth information to each position of the first image data.

次に、モデル生成機能３４６は、第１画像データと第２画像データとを用いて、深度情報を推定する学習済みモデルＭ１を生成する。例えば、モデル生成機能３４６は、図１１に示すように、第１画像データを入力側データとし、第２画像データを出力側データとする機械学習により、学習済みモデルＭ１を生成する。即ち、モデル生成機能３４６は、第２画像データの各位置に付加されている深度情報を正解出力とする教師付き学習により、深度情報を推定する学習済みモデルＭ１を生成する。 Next, the model generation function 346 uses the first image data and the second image data to generate a learned model M1 that estimates depth information. For example, as shown in FIG. 11, the model generation function 346 generates the learned model M1 by machine learning using the first image data as input data and the second image data as output data. That is, the model generation function 346 generates a trained model M1 for estimating depth information by supervised learning in which the depth information added to each position of the second image data is used as the correct answer output.

図１１に示す学習済みモデルＭ１は、例えば、ニューラルネットワーク（Neural Network）により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、モデル生成機能３４６によって入力側データ（第１画像データ）が入力された場合、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。このようなニューラルネットワークは、パラメータに応じて変化する関数として表現することができる。 The learned model M1 shown in FIG. 11 can be configured by, for example, a neural network. A neural network is a network that has a structure in which adjacent layers arranged in a layered manner are connected, and information is propagated from the input layer side to the output layer side. For example, when input side data (first image data) is input by the model generation function 346, in the neural network, information is transmitted in one direction from the input layer side to the output layer side, connecting only between adjacent layers. propagate. Such a neural network can be expressed as a function that changes depending on a parameter.

例えば、モデル生成機能３４６は、第１画像データ及び第２画像データを学習データとし、多層のニューラルネットワークについて深層学習（ディープラーニング）を実行することで、学習済みモデルＭ１を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層と、出力層とにより構成される。 For example, the model generation function 346 uses the first image data and the second image data as learning data, and generates the learned model M1 by performing deep learning on a multilayer neural network. Note that a multilayer neural network includes, for example, an input layer, a plurality of intermediate layers, and an output layer.

例えば、モデル生成機能３４６は、第１画像データを入力した際にニューラルネットワークが好ましい結果を出力することができるように、ニューラルネットワークのパラメータを調整する。例えば、モデル生成機能３４６は、第１画像データを入力した際のニューラルネットワークからの出力と、出力側データ（第２画像データ）との近さを表す関数（誤差関数）を用いて、ニューラルネットワークのパラメータを調整する。一例を挙げると、モデル生成機能３４６は、パラメータを変化させながら誤差関数を繰り返し算出して、誤差関数が極小となるようにパラメータを調整する。即ち、モデル生成機能３４６は、誤差関数が極小となるように、ニューラルネットワークを学習させる。これにより、モデル生成機能３４６は、深度情報を推定する学習済みモデルＭ１を生成することができる。 For example, the model generation function 346 adjusts the parameters of the neural network so that the neural network can output favorable results when inputting the first image data. For example, the model generation function 346 uses a function (error function) representing the proximity between the output from the neural network when the first image data is input and the output side data (second image data) to create a neural network. Adjust the parameters of For example, the model generation function 346 repeatedly calculates the error function while changing the parameters, and adjusts the parameters so that the error function becomes minimum. That is, the model generation function 346 trains the neural network so that the error function becomes minimum. Thereby, the model generation function 346 can generate a learned model M1 that estimates depth information.

なお、図１１においては、第１画像データを入力側データとし、第２画像データを出力側データとする場合について説明したが、実施形態はこれに限定されるものではない。例えば、モデル生成機能３４６は、入力側データとして、第１画像データに基づくデータを用いてもよい。一例を挙げると、モデル生成機能３４６は、第１画像データに対する前処理（例えば、入力側データの画素数を揃えるためのリサイズ処理、空間フィルタやコンボリューションフィルタを用いた画像処理等）を実行し、前処理後の画像データを入力側データとして、学習済みモデルＭ１の生成処理を実行する。また、例えば、モデル生成機能３４６は、出力側データとして、第２画像データに基づくデータを用いてもよい。一例を挙げると、モデル生成機能３４６は、第２画像データから深度情報を抽出し、抽出した深度情報を出力側データとして、学習済みモデルＭ１の生成処理を実行する。 Although FIG. 11 describes the case where the first image data is the input data and the second image data is the output data, the embodiment is not limited to this. For example, the model generation function 346 may use data based on the first image data as the input side data. For example, the model generation function 346 performs preprocessing on the first image data (for example, resizing processing to make the number of pixels of input side data the same, image processing using a spatial filter or a convolution filter, etc.). , executes the generation process of the learned model M1 using the preprocessed image data as input side data. Furthermore, for example, the model generation function 346 may use data based on the second image data as the output side data. For example, the model generation function 346 extracts depth information from the second image data, uses the extracted depth information as output data, and executes the generation process of the learned model M1.

また、学習済みモデルＭ１がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、モデル生成機能３４６は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルＭ１を生成してもよい。例えば、モデル生成機能３４６は、ＳＶＭ（サポートベクターマシン）等のデータの分類を行う機械学習手法によって、深度情報を推定する学習済みモデルＭ１を生成してもよい。一例を挙げると、モデル生成機能３４６は、第１画像データを入力側データとし、分類先のクラスを深度情報の数値範囲とする。そして、モデル生成機能３４６は、第２画像データが示す深度情報が分類先のクラスに含まれるよう学習させることで、学習済みモデルＭ１を生成する。 Further, although the learned model M1 has been described as being configured by a neural network, the embodiment is not limited to this. That is, the model generation function 346 may generate the trained model M1 using a machine learning method other than the neural network. For example, the model generation function 346 may generate the learned model M1 for estimating depth information using a machine learning method such as a support vector machine (SVM) that classifies data. For example, the model generation function 346 uses the first image data as input data and uses the class to be classified as the numerical range of the depth information. Then, the model generation function 346 generates a learned model M1 by performing learning so that the depth information indicated by the second image data is included in the classification destination class.

モデル生成機能３４６が学習済みモデルＭ１をモデル記憶回路３５に記憶させた後、取得機能３４１は、Ｘ線診断装置１０から被検体Ｐの２次元Ｘ線画像データを取得する。以下、取得機能３４１が取得した２次元Ｘ線画像データの例として、２次元Ｘ線画像データＩ２１について説明する。２次元Ｘ線画像データＩ２１は、例えば、ＬＩＨである。 After the model generation function 346 stores the learned model M1 in the model storage circuit 35, the acquisition function 341 acquires two-dimensional X-ray image data of the subject P from the X-ray diagnostic apparatus 10. The two-dimensional X-ray image data I21 will be described below as an example of the two-dimensional X-ray image data acquired by the acquisition function 341. The two-dimensional X-ray image data I21 is, for example, LIH.

次に、表示制御機能３４４は、２次元Ｘ線画像データＩ２１をディスプレイ３２に表示させる。ここで、２次元Ｘ線画像データＩ２１を参照した操作者は、入力インターフェース３１を介して、撮影角度の変更操作を入力することができる。なお、以下では、２次元Ｘ線画像データＩ２１の撮影角度を、撮影角度Ｗ２１と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度Ｗ２２と記載する。例えば、変更後の撮影角度Ｗ２２は、撮影角度Ｗ２１から角度「θ２」だけ変更された角度である。また、以下では、撮影角度Ｗ２２で収集されるＸ線画像データを、回転画像データＩ２２と記載する。 Next, the display control function 344 causes the display 32 to display the two-dimensional X-ray image data I21. Here, the operator who has referred to the two-dimensional X-ray image data I21 can input an operation to change the imaging angle via the input interface 31. In addition, below, the imaging angle of the two-dimensional X-ray image data I21 will be described as the imaging angle W21. Furthermore, hereinafter, the photographing angle after being changed by the operator will be referred to as photographing angle W22. For example, the changed photographing angle W22 is an angle that is changed by an angle "θ2" from the photographing angle W21. Furthermore, hereinafter, the X-ray image data collected at the imaging angle W22 will be referred to as rotated image data I22.

また、付加機能３４２は、２次元Ｘ線画像データＩ２１における各位置について深度情報を付加した３次元データＤ２１を生成する。例えば、付加機能３４２は、図１２に示すように、２次元Ｘ線画像データＩ２１を学習済みモデルＭ１に入力することで２次元Ｘ線画像データＩ２１における各位置について深度情報を推定させ、推定させた深度情報を２次元Ｘ線画像データＩ２１の各位置に付加することで、３次元データＤ２１を生成する。なお、図１２は、第２の実施形態に係る学習済みモデルＭ１を用いた処理について説明するための図である。３次元データＤ２１の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。 Further, the additional function 342 generates three-dimensional data D21 to which depth information is added for each position in the two-dimensional X-ray image data I21. For example, as shown in FIG. 12, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I21 by inputting the two-dimensional X-ray image data I21 into the trained model M1. The three-dimensional data D21 is generated by adding the depth information to each position of the two-dimensional X-ray image data I21. Note that FIG. 12 is a diagram for explaining processing using the trained model M1 according to the second embodiment. The generation of the three-dimensional data D21 may be performed before the operator performs an operation to change the photographing angle, or may be performed after the operator performs an operation to change the photographic angle.

次に、生成機能３４３は、３次元データＤ２１を投影することにより、回転画像データＩ２２を擬似的に示した擬似画像データＩ２３を生成する。また、表示制御機能３４４は、生成された擬似画像データＩ２３をディスプレイ３２に表示させる。ここで、擬似画像データＩ２３は、２次元Ｘ線画像データＩ２１における各位置の深度情報を考慮して生成されたものであり、回転画像データＩ２２を十分に近似した画像となる。従って、擬似画像データＩ２３を参照した操作者は、変更後の撮影角度Ｗ２２を直感的に理解し、変更後の撮影角度Ｗ２２が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度Ｗ２２が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。 Next, the generation function 343 generates pseudo image data I23 that pseudo-represents the rotated image data I22 by projecting the three-dimensional data D21. Furthermore, the display control function 344 causes the display 32 to display the generated pseudo image data I23. Here, the pseudo image data I23 is generated in consideration of the depth information of each position in the two-dimensional X-ray image data I21, and is an image that sufficiently approximates the rotated image data I22. Therefore, the operator who refers to the pseudo image data I23 can intuitively understand the changed photographing angle W22 and easily determine whether the changed photographic angle W22 is appropriate. For example, if the operator determines that the changed photographing angle W22 is not appropriate, the operator performs an operation to change the photographing angle again.

一方で、変更後の撮影角度Ｗ２２が適切であると判断した場合、操作者は、撮影角度Ｗ２２を撮影条件とする旨の入力操作を行なう。この場合、制御機能３４５は、撮影角度Ｗ２２を撮影条件として設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。また、Ｘ線診断装置１０は、医用画像処理装置３０から受け付けた撮影条件に基づいて、２次元Ｘ線画像データの収集を実行する。即ち、Ｘ線診断装置１０は、回転画像データＩ２２の収集を実行する。 On the other hand, if it is determined that the changed photographing angle W22 is appropriate, the operator performs an input operation to set the photographing angle W22 as the photographing condition. In this case, the control function 345 sets the imaging angle W22 as the imaging condition, and transmits the set imaging condition to the X-ray diagnostic apparatus 10. Furthermore, the X-ray diagnostic apparatus 10 collects two-dimensional X-ray image data based on the imaging conditions received from the medical image processing apparatus 30. That is, the X-ray diagnostic apparatus 10 collects the rotational image data I22.

ここで、モデル生成機能３４６は、Ｘ線診断装置１０により収集された回転画像データＩ２２に基づいて、再度、学習済みモデルＭ１を生成することができる。即ち、モデル生成機能３４６は、収集された回転画像データＩ２２に基づいて、学習済みモデルＭ１を更新することができる。 Here, the model generation function 346 can generate the learned model M1 again based on the rotated image data I22 collected by the X-ray diagnostic apparatus 10. That is, the model generation function 346 can update the trained model M1 based on the collected rotated image data I22.

例えば、Ｘ線診断装置１０により回転画像データＩ２２が収集された後、付加機能３４２は、図１２に示すように、回転画像データＩ２２に基づいて３次元データＤ２１を補正する。一例を挙げると、付加機能３４２は、回転画像データＩ２２を逆投影して生成した３次元データと３次元データＤ２１との不整合を解消するように、３次元データＤ２１を補正する。別の例を挙げると、付加機能３４２は、３次元データＤ２１を投影して生成した２次元データ（擬似画像データＩ２３等）と回転画像データＩ２２との不整合を解消するように、３次元データＤ２１を補正する。以下では、回転画像データＩ２２に基づいて補正された３次元データＤ２１を、３次元データＤ２１’とも記載する。 For example, after the rotated image data I22 is collected by the X-ray diagnostic apparatus 10, the additional function 342 corrects the three-dimensional data D21 based on the rotated image data I22, as shown in FIG. For example, the additional function 342 corrects the three-dimensional data D21 so as to eliminate the mismatch between the three-dimensional data D21 and the three-dimensional data generated by back projecting the rotated image data I22. To give another example, the additional function 342 uses the three-dimensional data so as to eliminate the mismatch between the two-dimensional data (pseudo image data I23, etc.) generated by projecting the three-dimensional data D21 and the rotated image data I22. Correct D21. In the following, the three-dimensional data D21 corrected based on the rotated image data I22 will also be referred to as three-dimensional data D21'.

なお、３次元データＤ２１の補正とは、例えば、深度情報の補正である。即ち、付加機能３４２は、回転画像データＩ２２に基づいて、２次元Ｘ線画像データＩ２１における各位置について付加された深度情報を補正することで、補正後の３次元データＤ２１’を生成する。別の例を挙げると、３次元データＤ２１の補正とは、画像変形処理である。即ち、３次元データＤ２１が３次元画像データである場合において、付加機能３４２は、回転画像データＩ２２に基づいて３次元データＤ２１を変形させることで、補正後の３次元データＤ２１’を生成する。 Note that the correction of the three-dimensional data D21 is, for example, correction of depth information. That is, the additional function 342 generates corrected three-dimensional data D21' by correcting the depth information added for each position in the two-dimensional X-ray image data I21 based on the rotated image data I22. To give another example, the correction of the three-dimensional data D21 is image deformation processing. That is, when the three-dimensional data D21 is three-dimensional image data, the additional function 342 generates corrected three-dimensional data D21' by transforming the three-dimensional data D21 based on the rotated image data I22.

次に、モデル生成機能３４６は、図１３に示すように、２次元Ｘ線画像データＩ２１と、補正後の３次元データＤ２１’とを用いて、学習済みモデルＭ１を生成する。なお、図１３は、第２の実施形態に係る学習済みモデルＭ１の生成処理について説明するための図である。即ち、モデル生成機能３４６は、２次元Ｘ線画像データＩ２１を第１画像データとし、補正後の３次元データＤ２１’を第２画像データとして用いて、学習済みモデルＭ１を生成する。これにより、モデル生成機能３４６は、学習済みモデルＭ１による深度情報推定の精度を向上させることができる。 Next, as shown in FIG. 13, the model generation function 346 generates a learned model M1 using the two-dimensional X-ray image data I21 and the corrected three-dimensional data D21'. Note that FIG. 13 is a diagram for explaining the generation process of the learned model M1 according to the second embodiment. That is, the model generation function 346 generates the learned model M1 using the two-dimensional X-ray image data I21 as first image data and the corrected three-dimensional data D21' as second image data. Thereby, the model generation function 346 can improve the accuracy of depth information estimation using the trained model M1.

次に、医用画像処理装置３０による処理の手順の一例を、図１４を用いて説明する。図１４は、第２の実施形態に係る医用画像処理装置３０の処理の一連の流れを説明するためのフローチャートである。ステップＳ２０１及びステップＳ２１４は、取得機能３４１に対応するステップである。ステップＳ２０７、ステップＳ２０８及びステップＳ２１５は、付加機能３４２に対応するステップである。ステップＳ２１０は、生成機能３４３に対応するステップである。ステップＳ２０３及びステップＳ２１１は、表示制御機能３４４に対応するステップである。ステップＳ２０２、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６、ステップＳ２０９、ステップＳ２１２及びステップＳ２１３は、制御機能３４５に対応するステップである。ステップＳ２１６は、モデル生成機能３４６に対応するステップである。 Next, an example of a processing procedure by the medical image processing apparatus 30 will be described using FIG. 14. FIG. 14 is a flowchart for explaining a series of processing steps of the medical image processing apparatus 30 according to the second embodiment. Step S201 and step S214 are steps corresponding to the acquisition function 341. Step S207, step S208, and step S215 are steps corresponding to the additional function 342. Step S210 is a step corresponding to the generation function 343. Step S203 and step S211 are steps corresponding to the display control function 344. Step S202, step S204, step S205, step S206, step S209, step S212, and step S213 are steps corresponding to the control function 345. Step S216 is a step corresponding to the model generation function 346.

まず、処理回路３４は、Ｘ線診断装置１０から、２次元Ｘ線画像データＩ２１を取得する（ステップＳ２０１）。次に、処理回路３４は、操作者からの入力操作を受け付けることにより、撮影位置を変更するか否かを判定する（ステップＳ２０２）。即ち、処理回路３４は、２次元Ｘ線画像データＩ２１の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合（ステップＳ２０２肯定）、処理回路３４は、２次元Ｘ線画像データＩ２１、及び、撮影位置を示すＲＯＩをディスプレイ３２に表示させる（ステップＳ２０３）。次に、処理回路３４は、操作者から、２次元Ｘ線画像データＩ２１上のＲＯＩを調整する操作を受け付ける（ステップＳ２０４）。 First, the processing circuit 34 acquires two-dimensional X-ray image data I21 from the X-ray diagnostic apparatus 10 (step S201). Next, the processing circuit 34 determines whether or not to change the photographing position by accepting an input operation from the operator (step S202). That is, the processing circuit 34 determines whether or not the imaging position of the two-dimensional X-ray image data I21 is to be used as is as the imaging condition. Here, when changing the imaging position (Yes at step S202), the processing circuit 34 causes the display 32 to display the two-dimensional X-ray image data I21 and the ROI indicating the imaging position (step S203). Next, the processing circuit 34 receives an operation for adjusting the ROI on the two-dimensional X-ray image data I21 from the operator (step S204).

次に、処理回路３４は、撮影位置の変更操作を終了するか否かを判定する（ステップＳ２０５）。ここで、撮影位置の変更操作を終了しない場合（ステップＳ２０５否定）、処理回路３４は、再度ステップＳ２０３に移行する。一方で、撮影位置の変更操作を終了する場合（ステップＳ２０５肯定）、処理回路３４は、調整後のＲＯＩに応じた撮影位置を撮影条件として設定する。なお、撮影位置を変更しない場合（ステップＳ２０２否定）、処理回路３４は、２次元Ｘ線画像データＩ２１の撮影位置をそのまま撮影条件として設定する。 Next, the processing circuit 34 determines whether to end the photographing position changing operation (step S205). Here, if the photographing position changing operation is not completed (No in step S205), the processing circuit 34 moves to step S203 again. On the other hand, when the operation for changing the photographing position is to be completed (Yes at step S205), the processing circuit 34 sets the photographing position according to the adjusted ROI as the photographing condition. Note that if the imaging position is not changed (No in step S202), the processing circuit 34 sets the imaging position of the two-dimensional X-ray image data I21 as it is as the imaging condition.

次に、処理回路３４は、操作者からの入力操作を受け付けることにより、撮影角度を変更するか否かを判定する（ステップＳ２０６）。即ち、処理回路３４は、２次元Ｘ線画像データＩ２１の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合（ステップＳ２０６肯定）、処理回路３４は、２次元Ｘ線画像データＩ２１を学習済みモデルＭ１に入力し（ステップＳ２０７）、３次元データＤ２１を生成する（ステップＳ２０８）。 Next, the processing circuit 34 determines whether or not to change the photographing angle by accepting an input operation from the operator (step S206). That is, the processing circuit 34 determines whether or not the imaging angle of the two-dimensional X-ray image data I21 is to be used as is as the imaging condition. Here, when changing the imaging angle (Yes in step S206), the processing circuit 34 inputs the two-dimensional X-ray image data I21 to the trained model M1 (step S207), and generates three-dimensional data D21 (step S208). ).

次に、処理回路３４は、撮影角度の変更操作を受け付ける（ステップＳ２０９）。次に、処理回路３４は、３次元データＤ２１を投影することにより、変更後の撮影角度で収集される回転画像データＩ２２を擬似的に示した擬似画像データを生成する（ステップＳ２１０）。次に、処理回路３４は、生成した擬似画像データをディスプレイ３２に表示させる（ステップＳ２１１）。 Next, the processing circuit 34 receives an operation to change the photographing angle (step S209). Next, the processing circuit 34 generates pseudo image data that pseudo-represents the rotated image data I22 collected at the changed shooting angle by projecting the three-dimensional data D21 (step S210). Next, the processing circuit 34 displays the generated pseudo image data on the display 32 (step S211).

ここで、処理回路３４は、撮影角度の変更操作を終了するか否かを判定する（ステップＳ２１２）。ここで、撮影角度の変更操作を終了しない場合（ステップＳ２１２否定）、処理回路３４は、再度ステップＳ２０９に移行する。一方で、撮影角度の変更操作を終了する場合（ステップＳ２１２肯定）、処理回路３４は、変更後の撮影角度を撮影条件として設定する。なお、撮影角度を変更しない場合（ステップＳ２０６否定）、処理回路３４は、２次元Ｘ線画像データＩ２１の撮影角度をそのまま撮影条件として設定する。次に、処理回路３４は、撮影条件として設定した撮影位置及び撮影角度をＸ線診断装置１０に対して送信する（ステップＳ２１３）。 Here, the processing circuit 34 determines whether or not to end the photographing angle changing operation (step S212). Here, if the photographing angle changing operation is not completed (No in step S212), the processing circuit 34 moves to step S209 again. On the other hand, when the operation for changing the photographing angle is to be ended (Yes at step S212), the processing circuit 34 sets the changed photographing angle as the photographing condition. Note that if the imaging angle is not changed (No in step S206), the processing circuit 34 sets the imaging angle of the two-dimensional X-ray image data I21 as it is as the imaging condition. Next, the processing circuit 34 transmits the imaging position and imaging angle set as imaging conditions to the X-ray diagnostic apparatus 10 (step S213).

次に、処理回路３４は、回転画像データＩ２２を取得したか否かを判定する（ステップＳ２１４）。即ち、処理回路３４は、ステップＳ２１３において送信した撮影条件に基づく撮影が実行されたか否かを判定する。ここで、回転画像データＩ２２を取得した場合（ステップＳ２１４肯定）、処理回路３４は、回転画像データＩ２２に基づいて３次元データＤ２１を補正する（ステップＳ２１５）。次に、処理回路３４は、補正後の３次元データＤ２１’に基づいて学習済みモデルＭ１を更新し（ステップＳ２１６）、処理を終了する。例えば、処理回路３４は、２次元Ｘ線画像データＩ２１を第１画像データとし、補正後の３次元データＤ２１’を第２画像データとして用いて、学習済みモデルＭ１を更新する。また、ステップＳ２１３において送信した撮影条件と異なる撮影条件で撮影が実行された場合や、撮影が実行されなかった場合、処理回路３４は、回転画像データＩ２２を取得しなかったと判定して（ステップＳ２１４否定）、処理を終了する。 Next, the processing circuit 34 determines whether rotated image data I22 has been acquired (step S214). That is, the processing circuit 34 determines whether or not photography has been performed based on the photography conditions transmitted in step S213. Here, when the rotated image data I22 is acquired (step S214 affirmative), the processing circuit 34 corrects the three-dimensional data D21 based on the rotated image data I22 (step S215). Next, the processing circuit 34 updates the learned model M1 based on the corrected three-dimensional data D21' (step S216), and ends the process. For example, the processing circuit 34 updates the learned model M1 using the two-dimensional X-ray image data I21 as first image data and the corrected three-dimensional data D21' as second image data. Furthermore, if the photographing is performed under different photographing conditions from the photographing conditions transmitted in step S213, or if the photographing is not performed, the processing circuit 34 determines that the rotated image data I22 has not been acquired (step S214 negative), the process ends.

上述したように、第２の実施形態によれば、モデル記憶回路３５は、深度情報を推定するように機能付けられた学習済みモデルＭ１を記憶する。また、付加機能３４２は、２次元Ｘ線画像データＩ２１を学習済みモデルＭ１に入力することで、２次元Ｘ線画像データＩ２１における各位置について深度情報を推定させ、推定させた深度情報を２次元Ｘ線画像データの各位置に付加することで、３次元データＤ２１を生成する。また、生成機能３４３は、学習済みモデルＭ１に基づく３次元データＤ２１を投影することにより、回転画像データＩ２２を擬似的に示した擬似画像データを生成する。従って、第２の実施形態に係る医用画像処理装置３０は、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。即ち、医用画像処理装置３０は、透視像の追加収集を行なわずとも、擬似画像データによって変更後の撮影角度を直感的に理解することを可能とし、撮影角度の設定を容易にすることができる。 As described above, according to the second embodiment, the model storage circuit 35 stores the trained model M1 that is functionalized to estimate depth information. Additionally, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I21 by inputting the two-dimensional X-ray image data I21 into the learned model M1, and converts the estimated depth information into two-dimensional Three-dimensional data D21 is generated by adding it to each position of the X-ray image data. Furthermore, the generation function 343 generates pseudo image data that pseudo-illustrates the rotated image data I22 by projecting the three-dimensional data D21 based on the learned model M1. Therefore, the medical image processing apparatus 30 according to the second embodiment can facilitate setting of imaging conditions while reducing the amount of radiation exposure. In other words, the medical image processing device 30 allows the user to intuitively understand the changed imaging angle using the pseudo image data without additionally collecting fluoroscopic images, making it easy to set the imaging angle. .

また、付加機能３４２は、Ｘ線診断装置１０によって収集された回転画像データＩ２２に基づいて、３次元データＤ２１を補正する。また、モデル生成機能３４６は、２次元Ｘ線画像データＩ２１を第１画像データとし、補正後の３次元データＤ２１’を第２画像データとして用いて、学習済みモデルＭ１を生成する。従って、第２の実施形態に係る医用画像処理装置３０は、３次元データＤ２１の生成及び回転画像データＩ２２の収集が行われる毎に、学習済みモデルＭ１の学習データを収集することができる。そして、医用画像処理装置３０は、新たに収集した学習データに基づいて学習済みモデルＭ１を更新し、深度情報推定の精度を向上させることができる。即ち、医用画像処理装置３０は、撮影条件の設定及び撮影が実行されるごとに学習済みモデルＭ１を更新し、深度情報推定の精度を次第に向上させることができる。 Further, the additional function 342 corrects the three-dimensional data D21 based on the rotated image data I22 collected by the X-ray diagnostic apparatus 10. Furthermore, the model generation function 346 generates the learned model M1 using the two-dimensional X-ray image data I21 as first image data and the corrected three-dimensional data D21' as second image data. Therefore, the medical image processing apparatus 30 according to the second embodiment can collect learning data of the trained model M1 every time the three-dimensional data D21 is generated and the rotated image data I22 is collected. The medical image processing apparatus 30 can then update the learned model M1 based on the newly collected learning data, thereby improving the accuracy of depth information estimation. That is, the medical image processing apparatus 30 can update the learned model M1 every time imaging conditions are set and imaging is performed, and can gradually improve the accuracy of depth information estimation.

（第３の実施形態）
上述した第１～第２の実施形態では、擬似画像データによって撮影角度の設定を容易にすることについて説明した。これに対し、第３の実施形態では、撮影角度の設定に加えて、或いは撮影角度の設定に代えて、撮影位置の設定を容易にすることについて説明する。 (Third embodiment)
In the first and second embodiments described above, it has been explained that the shooting angle can be easily set using pseudo image data. On the other hand, in the third embodiment, in addition to or in place of setting the photographing angle, a method of facilitating the setting of the photographing position will be described.

第２の実施形態に係る医用情報処理システム１は、図１、図２及び図１０に示した第１の実施形態に係る医用情報処理システム１と比較して、医用画像処理装置３０がマップ記憶回路３６を更に有するとともに、処理回路３４がマップ生成機能３４７を更に有する点で相違する。例えば、第２の実施形態に係る医用画像処理装置３０は、図１５に示すように、入力インターフェース３１と、ディスプレイ３２と、記憶回路３３と、処理回路３４と、モデル記憶回路３５と、マップ記憶回路３６とを有する。また、第２の実施形態に係る処理回路３４は、取得機能３４１、付加機能３４２、生成機能３４３、表示制御機能３４４、制御機能３４５及びモデル生成機能３４６に加えて、マップ生成機能３４７を更に実行する。なお、図１５は、第３の実施形態に係る医用画像処理装置３０の構成の一例を示すブロック図である。以下、第１～第２の実施形態において説明した構成と同様の構成を有する点については図１、図２及び図１０と同一の符号を付し、説明を省略する。 The medical information processing system 1 according to the second embodiment is different from the medical information processing system 1 according to the first embodiment shown in FIG. 1, FIG. 2, and FIG. The difference is that the processing circuit 34 further includes a circuit 36 and a map generation function 347. For example, as shown in FIG. 15, the medical image processing apparatus 30 according to the second embodiment includes an input interface 31, a display 32, a memory circuit 33, a processing circuit 34, a model memory circuit 35, and a map memory. It has a circuit 36. Further, the processing circuit 34 according to the second embodiment further executes a map generation function 347 in addition to an acquisition function 341, an additional function 342, a generation function 343, a display control function 344, a control function 345, and a model generation function 346. do. Note that FIG. 15 is a block diagram showing an example of the configuration of the medical image processing apparatus 30 according to the third embodiment. Hereinafter, the same reference numerals as those in FIGS. 1, 2, and 10 will be used to designate the same components as those described in the first and second embodiments, and the description thereof will be omitted.

まず、マップ生成機能３４７は、被検体Ｐについて収集されたＸ線画像データを３次元空間上に登録した被検体マップを生成して、マップ記憶回路３６に記憶させる。以下、図１６を用いて、被検体マップについて説明する。図１６は、第３の実施形態に係る被検体マップの一例を示す図である。 First, the map generation function 347 generates a subject map in which X-ray image data collected for the subject P is registered in a three-dimensional space, and stores it in the map storage circuit 36. The object map will be described below using FIG. 16. FIG. 16 is a diagram illustrating an example of a subject map according to the third embodiment.

図１６に示す被検体モデルＰ’は、被検体Ｐを示す３次元のモデルデータである。例えば、マップ生成機能３４７は、事前に生成された複数のモデルデータの中から、被検体Ｐの体型に応じたモデルデータを被検体モデルＰ’として取得する。なお、複数のモデルデータは、例えば、体格に関わるパラメータ（年齢や性別、体重、身長など）の組み合わせごとに、標準的な体格を有する人体について実際に３次元画像データを収集することにより生成される。複数のモデルデータは、記憶回路３３が記憶してもよいし、ネットワークＮＷを介して医用画像処理装置３０と接続された他の装置が記憶してもよい。 The subject model P' shown in FIG. 16 is three-dimensional model data representing the subject P. For example, the map generation function 347 acquires model data according to the body shape of the subject P as the subject model P' from among a plurality of model data generated in advance. Note that the multiple model data are generated by actually collecting three-dimensional image data of a human body with a standard physique for each combination of parameters related to physique (age, gender, weight, height, etc.). Ru. The plurality of model data may be stored in the storage circuit 33 or in another device connected to the medical image processing device 30 via the network NW.

マップ生成機能３４７は、Ｘ線画像データを被検体モデルＰ’上に登録することによって被検体マップを生成する。即ち、マップ生成機能３４７は、Ｘ線画像データを３次元空間上に登録することによって被検体マップを生成する。具体的には、マップ生成機能３４７は、Ｘ線画像データを撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録することで、被検体マップを生成する。なお、図１６に示すＸ線画像データＩ３４ａ、Ｘ線画像データＩ３４ｂ、Ｘ線画像データＩ３４ｃ、Ｘ線画像データＩ３４ｄ、Ｘ線画像データＩ３４ｅ、Ｘ線画像データＩ３４ｆ、Ｘ線画像データＩ３４ｇ、Ｘ線画像データＩ３４ｈ、Ｘ線画像データＩ３４ｉ、Ｘ線画像データＩ３４ｊ、Ｘ線画像データＩ３４ｋ、Ｘ線画像データＩ３４ｌ、Ｘ線画像データＩ３４ｍ及びＸ線画像データＩ３４ｎは、いずれも、被検体Ｐから収集されたＸ線画像データである。即ち、マップ生成機能３４７は、同じ被検体Ｐについて収集されたＸ線画像データを撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録することで、被検体マップを生成する。 The map generation function 347 generates a subject map by registering X-ray image data on the subject model P'. That is, the map generation function 347 generates a subject map by registering X-ray image data on a three-dimensional space. Specifically, the map generation function 347 generates a subject map by registering X-ray image data on the subject model P' according to the imaging position and imaging angle. Note that the X-ray image data I34a, X-ray image data I34b, X-ray image data I34c, X-ray image data I34d, X-ray image data I34e, X-ray image data I34f, X-ray image data I34g, and X-ray shown in FIG. Image data I34h, X-ray image data I34i, X-ray image data I34j, X-ray image data I34k, X-ray image data I34l, X-ray image data I34m, and X-ray image data I34n are all collected from the subject P. This is X-ray image data. That is, the map generation function 347 generates a subject map by registering X-ray image data collected for the same subject P on the subject model P' according to the imaging position and imaging angle.

例えば、Ｘ線画像データＩ３４ａ、Ｘ線画像データＩ３４ｂ、Ｘ線画像データＩ３４ｃ、Ｘ線画像データＩ３４ｄ、Ｘ線画像データＩ３４ｇ、Ｘ線画像データＩ３４ｋ及びＸ線画像データＩ３４ｍは、撮影角度が「＋Ｚ方向」の２次元Ｘ線画像データである。また、Ｘ線画像データＩ３４ｅ及びＸ線画像データＩ３４ｆは、撮影角度が「－Ｘ方向」の２次元Ｘ線画像データである。また、Ｘ線画像データＩ３４ｈ、Ｘ線画像データＩ３４ｉ、Ｘ線画像データＩ３４ｊ及びＸ線画像データＩ３４ｌは、撮影角度が「＋Ｘ方向」の２次元Ｘ線画像データである。マップ生成機能３４７は、これら複数の２次元Ｘ線画像データを、各２次元Ｘ線画像データの撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録する。 For example, X-ray image data I34a, X-ray image data I34b, X-ray image data I34c, X-ray image data I34d, X-ray image data I34g, X-ray image data I34k, and X-ray image data I34m have an imaging angle of "+Z". This is two-dimensional X-ray image data of "direction". Furthermore, the X-ray image data I34e and the X-ray image data I34f are two-dimensional X-ray image data whose imaging angle is in the "-X direction." Further, the X-ray image data I34h, the X-ray image data I34i, the X-ray image data I34j, and the X-ray image data I34l are two-dimensional X-ray image data whose imaging angle is "+X direction". The map generation function 347 registers these plurality of two-dimensional X-ray image data on the subject model P' according to the photographing position and photographing angle of each two-dimensional X-ray image data.

また、Ｘ線画像データＩ３４ｎは、被検体Ｐの頭部について収集された３次元Ｘ線画像データである。マップ生成機能３４７は、３次元Ｘ線画像データであるＸ線画像データＩ３４ｎを、撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録する。例えば、マップ生成機能３４７は、被検体モデルＰ’とＸ線画像データＩ３４ｎとを３次元で位置合わせした状態において、Ｘ線画像データＩ３４ｎを被検体モデルＰ’上に登録する。 Furthermore, the X-ray image data I34n is three-dimensional X-ray image data collected about the head of the subject P. The map generation function 347 registers the X-ray image data I34n, which is three-dimensional X-ray image data, on the subject model P' according to the imaging position and imaging angle. For example, the map generation function 347 registers the X-ray image data I34n on the subject model P' in a state where the subject model P' and the X-ray image data I34n are three-dimensionally aligned.

また、マップ生成機能３４７は、図示しないＸ線画像データが新たに収集された場合、新たに収集されたＸ線画像データを撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録することで、被検体マップを更新する。例えば、マップ生成機能３４７は、２次元Ｘ線画像データＩ１１や２次元Ｘ線画像データＩ２１等のＸ線画像データを、各Ｘ線画像データの撮影位置及び撮影角度に応じて被検体モデルＰ’上に登録することで、被検体マップを更新する。 Furthermore, when X-ray image data (not shown) is newly collected, the map generation function 347 registers the newly collected X-ray image data on the subject model P' according to the imaging position and imaging angle. to update the subject map. For example, the map generation function 347 converts X-ray image data such as two-dimensional X-ray image data I11 and two-dimensional X-ray image data I21 into a subject model P' according to the imaging position and imaging angle of each X-ray image data. By registering above, the subject map will be updated.

なお、マップ生成機能３４７は、３次元Ｘ線画像データの生成に必要な２次元Ｘ線画像データが得られた場合、３次元Ｘ線画像データを生成してもよい。具体的には、マップ生成機能３４７は、撮影位置が同じであり且つ撮影角度が異なる複数の２次元Ｘ線画像データに基づいて、３次元Ｘ線画像データを生成してもよい。例えば、図１６に示すＸ線画像データＩ３４ｄ、Ｘ線画像データＩ３４ｅ、Ｘ線画像データＩ３４ｆ、Ｘ線画像データＩ３４ｇ、Ｘ線画像データＩ３４ｈ、Ｘ線画像データＩ３４ｉ及びＸ線画像データＩ３４ｊは、いずれも被検体Ｐの大腿の２次元Ｘ線画像データであり、且つ、撮影角度が異なっている。従って、マップ生成機能３４７は、これら複数の２次元Ｘ線画像データに基づいて、被検体Ｐの大腿の３次元Ｘ線画像データを生成することができる。例えば、マップ生成機能３４７は、撮影角度が異なる少なくとも２つの２次元Ｘ線画像データに現れた部位（骨や臓器、血管等）の３次元空間における位置をエピポーララインに基づいて特定することにより、３次元Ｘ線画像データを生成する。そして、マップ生成機能３４７は、生成した３次元Ｘ線画像データを被検体モデルＰ’上に登録することで、被検体マップを更新する。なお、マップ生成機能３４７は、生成した３次元Ｘ線画像データを追加的に被検体モデルＰ’上に登録してもよいし、複数の２次元Ｘ線画像データに代えて被検体モデルＰ’上に登録してもよい。 Note that the map generation function 347 may generate three-dimensional X-ray image data when two-dimensional X-ray image data necessary for generating three-dimensional X-ray image data is obtained. Specifically, the map generation function 347 may generate three-dimensional X-ray image data based on a plurality of two-dimensional X-ray image data having the same imaging position and different imaging angles. For example, X-ray image data I34d, X-ray image data I34e, X-ray image data I34f, X-ray image data I34g, X-ray image data I34h, X-ray image data I34i, and X-ray image data I34j shown in FIG. Both are two-dimensional X-ray image data of the thigh of the subject P, and the imaging angles are different. Therefore, the map generation function 347 can generate three-dimensional X-ray image data of the thigh of the subject P based on the plurality of two-dimensional X-ray image data. For example, the map generation function 347 identifies, based on epipolar lines, the positions in three-dimensional space of parts (bones, organs, blood vessels, etc.) that appear in at least two two-dimensional X-ray image data taken at different imaging angles. Generate three-dimensional X-ray image data. Then, the map generation function 347 updates the subject map by registering the generated three-dimensional X-ray image data on the subject model P'. Note that the map generation function 347 may additionally register the generated three-dimensional X-ray image data on the subject model P', or may register the generated three-dimensional X-ray image data on the subject model P' instead of the plurality of two-dimensional X-ray image data. You can register above.

また、マップ生成機能３４７は、撮影位置が同じ複数の２次元Ｘ線画像データが得られた場合、差分画像データを生成してもよい。例えば、図１６に示すＸ線画像データＩ３４ａとＸ線画像データＩ３４ｂとは、いずれも被検体Ｐの胸部の２次元Ｘ線画像データであって重複しており、且つ、撮影角度も同じである。従って、マップ生成機能３４７は、これら複数の２次元Ｘ線画像データの重複部分について、差分画像データを生成することができる。例えば、Ｘ線画像データＩ３４ａに医療デバイスが現れており、且つ、Ｘ線画像データＩ３４ｂに医療デバイスが現れていない場合、マップ生成機能３４７は、これら複数の２次元Ｘ線画像データを差分することにより、医療デバイスを除去した差分画像データを生成することができる。なお、医療デバイスとは、例えば、カテーテルやガイドワイヤ等の体内で操作されるデバイスであってもよいし、ステントやペースメーカー等の体内に留置されるデバイスであってもよい。そして、マップ生成機能３４７は、生成した差分画像データを被検体モデルＰ’上に登録することで、被検体マップを更新する。なお、マップ生成機能３４７は、生成した差分画像データを追加的に被検体モデルＰ’上に登録してもよいし、複数の２次元Ｘ線画像データに代えて被検体モデルＰ’上に登録してもよい。 Further, the map generation function 347 may generate differential image data when a plurality of two-dimensional X-ray image data having the same imaging position are obtained. For example, the X-ray image data I34a and the X-ray image data I34b shown in FIG. 16 are two-dimensional X-ray image data of the chest of the subject P and overlap, and the imaging angles are also the same. . Therefore, the map generation function 347 can generate differential image data for the overlapping portions of these plurality of two-dimensional X-ray image data. For example, if a medical device appears in the X-ray image data I34a, but no medical device appears in the X-ray image data I34b, the map generation function 347 can differentiate these two-dimensional X-ray image data. Accordingly, it is possible to generate differential image data from which the medical device has been removed. Note that the medical device may be, for example, a device that is operated within the body, such as a catheter or a guide wire, or a device that is indwelled within the body, such as a stent or a pacemaker. Then, the map generation function 347 updates the subject map by registering the generated difference image data on the subject model P'. Note that the map generation function 347 may additionally register the generated differential image data on the subject model P', or register it on the subject model P' instead of the plurality of two-dimensional X-ray image data. You may.

また、マップ生成機能３４７は、複数のＸ線画像データが重なる部分が滑らかに繋がるように、被検体マップを更新してもよい。例えば、Ｘ線画像データＩ３４ｂが被検体モデルＰ’上に既に登録されており、Ｘ線画像データＩ３４ｃを新たに登録する場合において、マップ生成機能３４７は、Ｘ線画像データＩ３４ｂとＸ線画像データＩ３４ｃとが滑らかに繋がるように、被検体マップを更新する。例えば、マップ生成機能３４７は、平均の画素値やコントラストがＸ線画像データＩ３４ｂと一致するように、Ｘ線画像データＩ３４ｃに対して画像処理を行なう。また、例えば、マップ生成機能３４７は、Ｘ線画像データＩ３４ｃを登録した後、Ｘ線画像データＩ３４ｂとＸ線画像データＩ３４ｃとが重なる部分に生じる境界線（即ち、Ｘ線画像データＩ３４ｂ又はＸ線画像データＩ３４ｃの輪郭線）を暈すように画素処理を施す。一例を挙げると、マップ生成機能３４７は、Ｘ線画像データＩ３４ｂとＸ線画像データＩ３４ｃとが重なる部分について、ガウシアンフィルタを用いた画像処理を実行する。 The map generation function 347 may also update the subject map so that the overlapping portions of multiple X-ray image data are smoothly connected. For example, in a case where X-ray image data I34b has already been registered on the subject model P' and X-ray image data I34c is newly registered, the map generation function 347 combines the X-ray image data I34b and the X-ray image data The subject map is updated so that it is smoothly connected to I34c. For example, the map generation function 347 performs image processing on the X-ray image data I34c so that the average pixel value and contrast match those of the X-ray image data I34b. For example, after registering the X-ray image data I34c, the map generation function 347 generates a boundary line (i.e., a boundary line between the X-ray image data I34b and the Pixel processing is performed so as to blur the outline of the image data I34c. For example, the map generation function 347 performs image processing using a Gaussian filter on a portion where the X-ray image data I34b and the X-ray image data I34c overlap.

以上、第３の実施形態に係る被検体マップについて説明した。第３の実施形態に係る医用画像処理装置３０は、かかる被検体マップを用いて、被ばく量を低減しつつ、撮影条件の設定をより容易にする。 The object map according to the third embodiment has been described above. The medical image processing apparatus 30 according to the third embodiment makes it easier to set imaging conditions while reducing the amount of radiation exposure using such a subject map.

まず、被検体マップを用いた撮影位置の設定について、図１７を用いて説明する。図１７は、第３の実施形態に係る撮影条件の設定の一例を示す図である。まず、取得機能３４１は、Ｘ線診断装置１０から、被検体Ｐの２次元Ｘ線画像データを取得する。以下、被検体Ｐの２次元Ｘ線画像データの例として、図１７に示す２次元Ｘ線画像データＩ３１について説明する。２次元Ｘ線画像データＩ３１は、例えば、ＬＩＨである。 First, setting of the imaging position using the subject map will be explained using FIG. 17. FIG. 17 is a diagram illustrating an example of setting photographing conditions according to the third embodiment. First, the acquisition function 341 acquires two-dimensional X-ray image data of the subject P from the X-ray diagnostic apparatus 10. The two-dimensional X-ray image data I31 shown in FIG. 17 will be described below as an example of the two-dimensional X-ray image data of the subject P. The two-dimensional X-ray image data I31 is, for example, LIH.

次に、表示制御機能３４４は、２次元Ｘ線画像データＩ３１をディスプレイ３２に表示させる。ここで、制御機能３４５は、操作者からの入力操作に基づいて、撮影位置を変更するか否かを判定する。即ち、制御機能３４５は、２次元Ｘ線画像データＩ３１の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合、表示制御機能３４４は、図１６に示すように、被検体マップに基づいて２次元Ｘ線画像データＩ３１を拡張した拡張画像データＩ３１’をディスプレイ３２に表示させる。 Next, the display control function 344 causes the display 32 to display the two-dimensional X-ray image data I31. Here, the control function 345 determines whether or not to change the photographing position based on an input operation from the operator. That is, the control function 345 determines whether or not the imaging position of the two-dimensional X-ray image data I31 is to be used as is as the imaging condition. Here, when changing the imaging position, the display control function 344 causes the display 32 to display extended image data I31' that is obtained by expanding the two-dimensional X-ray image data I31 based on the subject map, as shown in FIG. .

例えば、２次元Ｘ線画像データＩ３１の撮影角度が「＋Ｚ方向」であり且つ撮影位置が被検体Ｐの大腿である場合、表示制御機能３４４は、図１６に示したＸ線画像データＩ３４ｄ及びＸ線画像データＩ３４ｇに基づいて、２次元Ｘ線画像データＩ３１を拡張することができる。一例を挙げると、表示制御機能３４４は、Ｘ線画像データＩ３４ｄ及びＸ線画像データＩ３４ｇから、２次元Ｘ線画像データＩ３１の周辺領域に対応する領域を切り出し、切り出した領域を２次元Ｘ線画像データＩ３１の周辺領域に配置することで、２次元Ｘ線画像データＩ３１を拡張する。別の例を挙げると、表示制御機能３４４は、２次元Ｘ線画像データＩ３１に対してＸ線画像データＩ３４ｄ及びＸ線画像データＩ３４ｇを合成することで、２次元Ｘ線画像データＩ３１を拡張する。そして、表示制御機能３４４は、拡張画像データＩ３１’をディスプレイ３２に表示させる。また、表示制御機能３４４は、拡張画像データＩ３１’上に、撮影位置を示すＲＯＩを表示させる。 For example, if the imaging angle of the two-dimensional X-ray image data I31 is the "+Z direction" and the imaging position is the thigh of the subject P, the display control function 344 can display the X-ray image data I34d and The two-dimensional X-ray image data I31 can be expanded based on the line image data I34g. For example, the display control function 344 cuts out a region corresponding to the peripheral region of the two-dimensional X-ray image data I31 from the X-ray image data I34d and the X-ray image data I34g, and converts the cut-out region into a two-dimensional X-ray image. The two-dimensional X-ray image data I31 is expanded by arranging it in the peripheral area of the data I31. To give another example, the display control function 344 expands the two-dimensional X-ray image data I31 by combining the X-ray image data I34d and the X-ray image data I34g with respect to the two-dimensional X-ray image data I31. . Then, the display control function 344 causes the display 32 to display the extended image data I31'. Furthermore, the display control function 344 displays an ROI indicating the photographing position on the extended image data I31'.

次に、操作者は、検査対象部位を観察しやすいように拡張画像データＩ３１’上のＲＯＩを調整することで、撮影位置の設定を行なう。ここで、拡張画像データＩ３１’は２次元Ｘ線画像データＩ３１より広い範囲を示すものである。例えば、図１７に示すように、拡張画像データＩ３１’上には、部位Ａ１及び部位Ａ２に加えて、２次元Ｘ線画像データＩ３１上には現れていなかった部位Ａ３が現れている。従って、拡張画像データＩ３１’上で撮影位置の設定を行なう場合、操作者は、２次元Ｘ線画像データＩ３１上で撮影位置の設定を行なう場合と比較して、より高い自由度で撮影位置の設定を行なうことができる。例えば、部位Ａ３が検査対象部位である場合、操作者は、ＲＯＩに部位Ａ３が含まれるように拡張画像データＩ３１’上でＲＯＩを移動させることで、部位Ａ３を観察しやすいように撮影位置の設定を行なうことができる。そして、制御機能３４５は、操作者による調整後のＲＯＩが示す撮影位置を撮影条件として設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。 Next, the operator sets the imaging position by adjusting the ROI on the expanded image data I31' so that the region to be examined can be easily observed. Here, the extended image data I31' indicates a wider range than the two-dimensional X-ray image data I31. For example, as shown in FIG. 17, in addition to site A1 and site A2, site A3, which did not appear on two-dimensional X-ray image data I31, appears on extended image data I31'. Therefore, when setting the imaging position on the extended image data I31', the operator has a higher degree of freedom in setting the imaging position than when setting the imaging position on the two-dimensional X-ray image data I31. You can make settings. For example, if part A3 is the part to be examined, the operator can change the imaging position to make it easier to observe part A3 by moving the ROI on the expanded image data I31' so that part A3 is included in the ROI. You can make settings. Then, the control function 345 sets the imaging position indicated by the ROI after adjustment by the operator as the imaging condition, and transmits the set imaging condition to the X-ray diagnostic apparatus 10.

図１７に示したように、第３の実施形態に係る医用画像処理装置３０は、被検体マップに基づいて２次元Ｘ線画像データＩ３１を拡張することにより、２次元Ｘ線画像データＩ３１に含まれない位置を含む拡張画像データＩ３１’を生成する。そして、操作者は、拡張画像データＩ３１’上のＲＯＩを調整することで、直感的に撮影位置の設定を行なうことができる。また、操作者が拡張画像データＩ３１’上のＲＯＩを調整している間はＸ線透視の必要がないため、Ｘ線透視のみによって撮影位置を設定する場合と比較して、被ばく量を低減することができる。 As shown in FIG. 17, the medical image processing apparatus 30 according to the third embodiment expands the two-dimensional X-ray image data I31 based on the subject map, so that the information contained in the two-dimensional X-ray image data I31 is Extended image data I31' including the positions that are not included is generated. The operator can intuitively set the shooting position by adjusting the ROI on the extended image data I31'. In addition, since there is no need for X-ray fluoroscopy while the operator is adjusting the ROI on the expanded image data I31', the amount of radiation exposure is reduced compared to the case where the imaging position is set only by X-ray fluoroscopy. be able to.

次に、被検体マップを用いた撮影角度の設定について説明する。例えば、制御機能３４５は、２次元Ｘ線画像データＩ３１又は拡張画像データＩ３１’を参照した操作者からの入力操作に基づいて、撮影角度を変更するか否かを判定する。即ち、制御機能３４５は、２次元Ｘ線画像データＩ３１の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合、付加機能３４２は、２次元Ｘ線画像データＩ３１における各位置について深度情報を付加した３次元データＤ３１を生成する。 Next, setting of the imaging angle using the subject map will be explained. For example, the control function 345 determines whether or not to change the imaging angle based on an input operation from an operator who refers to the two-dimensional X-ray image data I31 or extended image data I31'. That is, the control function 345 determines whether or not the imaging angle of the two-dimensional X-ray image data I31 is to be used as is as the imaging condition. Here, when changing the imaging angle, the additional function 342 generates three-dimensional data D31 with depth information added for each position in the two-dimensional X-ray image data I31.

例えば、付加機能３４２は、２次元Ｘ線画像データＩ３１と同じ被検体Ｐについて収集された３次元画像データに基づいて、２次元Ｘ線画像データＩ３１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ３１の各位置に付加することで３次元データＤ３１を生成する。別の例を挙げると、付加機能３４２は、２次元Ｘ線画像データＩ３１における各位置について、画素値に基づいて深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ３１の各位置に付加することで３次元データＤ３１を生成する。別の例を挙げると、付加機能３４２は、モデル記憶回路３５から学習済みモデルＭ１を読み出し、２次元Ｘ線画像データＩ３１を学習済みモデルＭ１に入力することで２次元Ｘ線画像データＩ３１における各位置について深度情報を推定させ、推定させた深度情報を２次元Ｘ線画像データＩ３１の各位置に付加することで３次元データＤ３１を生成する。 For example, the additional function 342 estimates the depth information for each position in the two-dimensional X-ray image data I31 based on the three-dimensional image data collected for the same subject P as the two-dimensional X-ray image data I31, and Three-dimensional data D31 is generated by adding depth information to each position of two-dimensional X-ray image data I31. To give another example, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I31 based on the pixel value, and applies the estimated depth information to each position in the two-dimensional X-ray image data I31. The three-dimensional data D31 is generated by adding the three-dimensional data D31. To give another example, the additional function 342 reads out the learned model M1 from the model storage circuit 35, and inputs the two-dimensional X-ray image data I31 into the learned model M1, so that each of the two-dimensional X-ray image data I31 is Three-dimensional data D31 is generated by estimating depth information for a position and adding the estimated depth information to each position of two-dimensional X-ray image data I31.

或いは、付加機能３４２は、マップ記憶回路３６から被検体マップを読み出し、被検体マップに基づいて２次元Ｘ線画像データＩ３１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ３１の各位置に付加することで３次元データＤ３１を生成する。例えば、付加機能３４２は、２次元Ｘ線画像データＩ３１と、被検体マップに登録された３次元Ｘ線画像データとを位置合わせすることで、２次元Ｘ線画像データＩ３１における各位置について深度情報を推定する。一例を挙げると、２次元Ｘ線画像データＩ３１の撮影位置が被検体Ｐの頭部である場合、付加機能３４２は、２次元Ｘ線画像データＩ３１と、図１６に示したＸ線画像データＩ３４ｎとを位置合わせすることで、２次元Ｘ線画像データＩ３１における各位置について深度情報を推定する。 Alternatively, the additional function 342 reads the subject map from the map storage circuit 36, estimates depth information for each position in the two-dimensional X-ray image data I31 based on the subject map, and uses the estimated depth information as a two-dimensional Three-dimensional data D31 is generated by adding it to each position of image data I31. For example, the additional function 342 provides depth information for each position in the two-dimensional X-ray image data I31 by aligning the two-dimensional X-ray image data I31 and the three-dimensional X-ray image data registered in the subject map. Estimate. To give an example, when the photographing position of the two-dimensional X-ray image data I31 is the head of the subject P, the additional function 342 combines the two-dimensional X-ray image data I31 and the X-ray image data I34n shown in FIG. By aligning the two, depth information is estimated for each position in the two-dimensional X-ray image data I31.

別の例を挙げると、付加機能３４２は、２次元Ｘ線画像データＩ３１と、被検体マップに登録された２次元Ｘ線画像データとを比較することで、２次元Ｘ線画像データＩ３１における各位置について深度情報を推定する。例えば、付加機能３４２は、まず、被検体マップに登録された２次元Ｘ線画像データのうち、２次元Ｘ線画像データＩ３１と撮影位置が同じであり且つ撮影角度が異なる２次元Ｘ線画像データを特定する。そして、付加機能３４２は、特定した２次元Ｘ線画像データと、２次元Ｘ線画像データＩ３１とのそれぞれに現れた部位の３次元空間における位置をエピポーララインに基づいて特定することにより、２次元Ｘ線画像データＩ３１における各位置について深度情報を推定する。 To give another example, the additional function 342 compares the two-dimensional X-ray image data I31 with the two-dimensional X-ray image data registered in the subject map, so that each of the two-dimensional X-ray image data I31 is Estimate depth information for a location. For example, the additional function 342 first selects two-dimensional X-ray image data that has the same imaging position as the two-dimensional X-ray image data I31 and a different imaging angle from among the two-dimensional X-ray image data registered in the subject map. Identify. Then, the additional function 342 specifies the position in the three-dimensional space of the region appearing in the specified two-dimensional X-ray image data and the two-dimensional X-ray image data I31 based on the epipolar line. Depth information is estimated for each position in the X-ray image data I31.

また、制御機能３４５は、操作者から撮影角度の変更操作を受け付ける。なお、３次元データＤ３１の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。以下では、２次元Ｘ線画像データＩ３１の撮影角度を、撮影角度Ｗ３１と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度Ｗ３２と記載する。例えば、変更後の撮影角度Ｗ３２は、撮影角度Ｗ３１から角度「θ３」だけ変更された角度である。また、以下では、撮影角度Ｗ３２で収集されるＸ線画像データを、回転画像データＩ３２と記載する。 The control function 345 also receives an operation to change the photographing angle from the operator. Note that the generation of the three-dimensional data D31 may be performed before the operator performs an operation to change the photographing angle, or may be performed after the operator performs an operation to change the photographic angle. Below, the imaging angle of the two-dimensional X-ray image data I31 will be referred to as an imaging angle W31. Furthermore, hereinafter, the photographing angle after being changed by the operator will be referred to as photographing angle W32. For example, the changed photographing angle W32 is an angle that is changed by an angle "θ3" from the photographing angle W31. Furthermore, hereinafter, the X-ray image data collected at the imaging angle W32 will be referred to as rotated image data I32.

次に、付加機能３４２は、被検体マップに基づいて３次元データＤ３１を拡張し、生成機能３４３は、拡張後の３次元データＤ３１を投影することにより、回転画像データＩ３２を擬似的に示した擬似画像データＩ３３ａを生成する。以下、擬似画像データＩ３３ａの生成処理について、図１８を用いて説明する。図１８は、第３の実施形態に係る擬似画像データＩ３３ａの生成処理の一例を示す図である。なお、図１８においては、アイソセンターに対応する点が３次元データＤ３１の外部領域に位置しているものとして説明する。即ち、図１８においては軸ｙ’が３次元データＤ３１を通らないものとして説明する。 Next, the additional function 342 expands the three-dimensional data D31 based on the subject map, and the generation function 343 displays the rotated image data I32 in a pseudo manner by projecting the expanded three-dimensional data D31. Pseudo image data I33a is generated. The generation process of the pseudo image data I33a will be described below using FIG. 18. FIG. 18 is a diagram illustrating an example of a process for generating pseudo image data I33a according to the third embodiment. In addition, in FIG. 18, the explanation will be made assuming that the point corresponding to the isocenter is located in an area outside the three-dimensional data D31. That is, in FIG. 18, the explanation will be made assuming that the axis y' does not pass through the three-dimensional data D31.

図１８に示すように、付加機能３４２は、被検体マップに基づいて３次元データＤ１１を拡張することで、拡張３次元データＤ３１’を生成する。例えば、付加機能３４２は、まず、被検体マップに基づいて２次元Ｘ線画像データＩ３１を拡張する。そして、付加機能３４２は、２次元Ｘ線画像データＩ３１における各位置に加え、拡張した領域の各位置について深度情報を付加することで、３次元データＤ１１を拡張する。即ち、付加機能３４２は、被検体マップに基づいて、２次元Ｘ線画像データＩ３１を拡張した拡張画像データＩ３１’を生成し、拡張画像データＩ３１’における各位置について深度情報を付加することで、拡張３次元データＤ３１’を生成する。 As shown in FIG. 18, the additional function 342 generates expanded three-dimensional data D31' by expanding three-dimensional data D11 based on the subject map. For example, the additional function 342 first expands the two-dimensional X-ray image data I31 based on the subject map. Then, the additional function 342 expands the three-dimensional data D11 by adding depth information for each position in the expanded region in addition to each position in the two-dimensional X-ray image data I31. That is, the additional function 342 generates extended image data I31' by extending the two-dimensional X-ray image data I31 based on the subject map, and adds depth information to each position in the extended image data I31'. Extended three-dimensional data D31' is generated.

次に、付加機能３４２は、図１８に示すように、拡張３次元データＤ３１’を角度「θ３」だけ回転させる。例えば、生成機能３４３は、基準座標系における拡張３次元データＤ３１’の位置に基づき、拡張３次元データＤ３１’において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能３４３は、アイソセンターを通る軸ｙ’を回転軸として、拡張３次元データＤ３１’を角度「θ３」だけ回転させる。即ち、生成機能３４３は、アイソセンターに対応する点まわりに、拡張３次元データＤ３１’を角度「θ３」だけ回転させる。なお、図１８においては、アイソセンターに対応する点が拡張３次元データＤ３１’の外部領域に位置しているため、アイソセンターに対応する点まわりに拡張３次元データＤ３１’を回転させる際、拡張３次元データＤ３１’は、アイソセンターに対応する点を中心とする円軌道に沿って移動する。 Next, the additional function 342 rotates the extended three-dimensional data D31' by an angle "θ3", as shown in FIG. For example, the generation function 343 identifies a point corresponding to the isocenter in real space in the extended three-dimensional data D31' based on the position of the extended three-dimensional data D31' in the reference coordinate system. Next, the generation function 343 rotates the extended three-dimensional data D31' by an angle "θ3" using the axis y' passing through the isocenter as the rotation axis. That is, the generation function 343 rotates the extended three-dimensional data D31' by an angle "θ3" around a point corresponding to the isocenter. In FIG. 18, since the point corresponding to the isocenter is located in the external area of the extended three-dimensional data D31', when rotating the extended three-dimensional data D31' around the point corresponding to the isocenter, the extended three-dimensional data D31' is The three-dimensional data D31' moves along a circular trajectory centered on a point corresponding to the isocenter.

次に、生成機能３４３は、回転後の拡張３次元データＤ３１’をＸＹ平面上に投影することで、擬似画像データＩ３３ａを生成する。また、表示制御機能３４４は、生成機能３４３が生成した擬似画像データＩ３３ａをディスプレイ３２に表示させる。これにより、操作者は、変更後の撮影角度Ｗ３２を直感的に理解し、変更後の撮影角度Ｗ３２が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度Ｗ３２が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。一方で、変更後の撮影角度Ｗ３２が適切であると判断した場合、操作者は、撮影角度Ｗ３２を撮影条件とする旨の入力操作を行なう。この場合、制御機能３４５は、撮影角度Ｗ３２を撮影条件として設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。 Next, the generation function 343 generates pseudo image data I33a by projecting the expanded three-dimensional data D31' after rotation onto the XY plane. Furthermore, the display control function 344 causes the display 32 to display the pseudo image data I33a generated by the generation function 343. Thereby, the operator can intuitively understand the changed shooting angle W32 and easily determine whether the changed shooting angle W32 is appropriate. For example, if the operator determines that the changed photographing angle W32 is not appropriate, the operator performs the photographing angle changing operation again. On the other hand, if it is determined that the changed photographing angle W32 is appropriate, the operator performs an input operation to set the photographing angle W32 as the photographing condition. In this case, the control function 345 sets the imaging angle W32 as the imaging condition, and transmits the set imaging condition to the X-ray diagnostic apparatus 10.

なお、図１８に示したように、アイソセンターに対応する点まわりに拡張３次元データＤ３１’を回転させる際、拡張３次元データＤ３１’は、アイソセンターに対応する点を中心とする円軌道に沿って＋Ｘ方向に移動する。このため、擬似画像データＩ３３ａにおいては、２次元Ｘ線画像データＩ３１と比較して部位Ａ１や部位Ａ２等の各部位が全体的に＋Ｘ方向に移動している。しかしながら、擬似画像データＩ３３ａは、被検体マップに基づいて拡張された拡張３次元データＤ３１’に基づいて生成されたものであるため、このような＋Ｘ方向への移動を補完することができる。 As shown in FIG. 18, when rotating the extended three-dimensional data D31' around a point corresponding to the isocenter, the extended three-dimensional data D31' is rotated in a circular orbit centered around the point corresponding to the isocenter. along the +X direction. Therefore, in the pseudo image data I33a, compared to the two-dimensional X-ray image data I31, each part such as part A1 and part A2 has moved in the +X direction as a whole. However, since the pseudo image data I33a is generated based on the expanded three-dimensional data D31' expanded based on the subject map, it can complement such movement in the +X direction.

例えば、被検体マップに基づく拡張を行なっていない状態の３次元データＤ３１を投影することによって擬似画像データＩ３３ｂを生成した場合、擬似画像データＩ３３ｂが示す範囲は、擬似画像データＩ３３ａよりも狭いものとなる。例えば、擬似画像データＩ３３ｂが示す範囲は、図１８に示す領域ＲＩに対応する範囲のみとなる。そして、擬似画像データＩ３３ｂにおいては、図１８に示すように、部位Ａ２の一部が画像の範囲外に出てしまう場合がある。即ち、擬似画像データＩ３３ｂにおいては、２次元Ｘ線画像データＩ３１と比較して部位Ａ２が＋Ｘ方向に移動したことにより、部位Ａ２の一部を表わすことができなくなる場合がある。これに対し、擬似画像データＩ３３ａは、部位Ａ２の＋Ｘ方向への移動を許容して、部位Ａ２の全体を表わすことができる。 For example, when pseudo image data I33b is generated by projecting three-dimensional data D31 that has not been expanded based on the subject map, the range indicated by pseudo image data I33b is narrower than that of pseudo image data I33a. Become. For example, the range indicated by the pseudo image data I33b is only the range corresponding to the region RI shown in FIG. 18. In the pseudo image data I33b, as shown in FIG. 18, part of the part A2 may be outside the range of the image. That is, in the pseudo image data I33b, part of the part A2 may no longer be represented because the part A2 has moved in the +X direction compared to the two-dimensional X-ray image data I31. On the other hand, the pseudo image data I33a can represent the entire part A2 by allowing movement of the part A2 in the +X direction.

なお、撮影位置を変更しない場合、撮影角度Ｗ３２で収集される回転画像データＩ３２が示す範囲は、図１８に示す領域ＲＩに対応する範囲となる。表示制御機能３４４は、擬似画像データＩ３３ａ上に領域ＲＩを表示することで、収集される回転画像データＩ３２において部位Ａ２の一部が画像の範囲外に出てしまうことを操作者に示すことができる。ここで、制御機能３４５は、擬似画像データＩ３３ａ及び領域ＲＩを参照した操作者から、撮影位置の変更操作を受け付けてもよい。例えば、表示制御機能３４４は、擬似画像データＩ３３ａ上の領域ＲＩを、撮影位置を示すＲＯＩとして表示させる。次に、操作者は、検査対象部位を観察しやすいように擬似画像データＩ３３ａ上のＲＯＩを調整する。例えば、操作者は、部位Ａ１及び部位Ａ２の全体を含むように擬似画像データＩ３３ａ上のＲＯＩを調整する。そして、制御機能３４５は、調整後のＲＯＩが示す撮影位置を撮影条件として設定し、設定した撮影条件をＸ線診断装置１０に対して送信する。 Note that when the photographing position is not changed, the range indicated by the rotated image data I32 collected at the photographing angle W32 corresponds to the region RI shown in FIG. 18. By displaying the region RI on the pseudo image data I33a, the display control function 344 can indicate to the operator that part of the part A2 will be outside the image range in the rotated image data I32 to be collected. can. Here, the control function 345 may receive an operation to change the photographing position from an operator who has referred to the pseudo image data I33a and the region RI. For example, the display control function 344 displays the region RI on the pseudo image data I33a as an ROI indicating the photographing position. Next, the operator adjusts the ROI on the pseudo image data I33a to make it easier to observe the region to be examined. For example, the operator adjusts the ROI on the pseudo image data I33a to include the entire region A1 and region A2. Then, the control function 345 sets the imaging position indicated by the adjusted ROI as the imaging condition, and transmits the set imaging condition to the X-ray diagnostic apparatus 10.

上述したように、第３の実施形態によれば、マップ記憶回路３６は、同じ被検体について収集されたＸ線画像データを撮影位置及び撮影角度に応じて３次元空間上に登録した被検体マップを記憶する。また、マップ生成部は、新たに収集されたＸ線画像データを撮影位置及び撮影角度に応じて３次元空間上に登録することで、マップ記憶回路３６が記憶する被検体マップを更新する。従って、第３の実施形態に係る医用画像処理装置３０は、被ばく量を低減しつつ、撮影位置の設定を容易にすることができる。例えば、医用画像処理装置３０は、２次元Ｘ線画像データＩ３１を表示する際、被検体マップに基づいて２次元Ｘ線画像データＩ３１に含まれない位置をも表示することができる。即ち、医用画像処理装置３０は、過去に撮影された位置については新たに撮影を行なわずとも被検体マップに基づいて表示を行なうことができるため、被ばく量を低減しつつ撮影位置の設定を容易にすることができる。 As described above, according to the third embodiment, the map storage circuit 36 stores a subject map in which X-ray image data collected for the same subject is registered in a three-dimensional space according to the imaging position and imaging angle. remember. The map generation unit also updates the subject map stored in the map storage circuit 36 by registering the newly collected X-ray image data in the three-dimensional space according to the imaging position and imaging angle. Therefore, the medical image processing apparatus 30 according to the third embodiment can easily set the imaging position while reducing the amount of radiation exposure. For example, when displaying the two-dimensional X-ray image data I31, the medical image processing apparatus 30 can also display positions not included in the two-dimensional X-ray image data I31 based on the subject map. In other words, the medical image processing device 30 can display positions that have been photographed in the past based on the subject map without having to take new photographs, so it is easy to set the photographing position while reducing the amount of radiation exposure. It can be done.

また、上述したように、第３の実施形態によれば、付加機能３４２は、被検体マップに基づいて３次元データＤ３１を拡張する。また、生成機能３４３は、拡張後の拡張３次元データＤ３１’を投影することにより、回転画像データＩ３２を擬似的に示した擬似画像データＩ３３ａを生成する。従って、第３の実施形態に係る医用画像処理装置３０は、被ばく量を低減しつつ、撮影角度の設定をより容易にすることができる。即ち、アイソセンターの位置によっては、アイソセンターに対応する点を中心とする円軌道に沿って３次元データＤ３１が移動してしまう。これは、アイソセンターの位置によっては、Ｃアーム１０５の回転によって撮影位置がずれることに対応する。これに対して、第３の実施形態に係る医用画像処理装置３０は、予め３次元データＤ３１を拡張しておくことによって、撮影位置のずれを許容できる広範囲の擬似画像データを生成し、撮影角度の設定を容易にすることができる。 Further, as described above, according to the third embodiment, the additional function 342 expands the three-dimensional data D31 based on the subject map. Furthermore, the generation function 343 generates pseudo image data I33a that pseudo-represents the rotated image data I32 by projecting the expanded three-dimensional data D31'. Therefore, the medical image processing apparatus 30 according to the third embodiment can more easily set the imaging angle while reducing the amount of radiation exposure. That is, depending on the position of the isocenter, the three-dimensional data D31 may move along a circular trajectory centered on a point corresponding to the isocenter. This corresponds to the fact that the photographing position shifts due to rotation of the C-arm 105 depending on the position of the isocenter. In contrast, the medical image processing apparatus 30 according to the third embodiment expands the three-dimensional data D31 in advance to generate pseudo image data over a wide range that can tolerate deviations in the imaging position, and adjusts the imaging angle. can be easily configured.

（第４の実施形態）
さて、これまで第１～第３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。 (Fourth embodiment)
Although the first to third embodiments have been described so far, the present invention may be implemented in various different forms in addition to the embodiments described above.

上述した実施形態では、生成機能３４３が生成した擬似画像データを、医用画像処理装置３０におけるディスプレイ３２に表示させる場合について説明した。しかしながら実施形態はこれに限定されるものではない。例えば、生成機能３４３が生成した擬似画像データについて、医用画像処理装置３０と異なる他の装置が表示を行なう場合であってもよい。例えば、生成機能３４３は、生成した擬似画像データを、ネットワークＮＷを介して、Ｘ線診断装置１０に送信してもよい。この場合、Ｘ線診断装置１０における表示制御機能１１０ｂは、医用画像処理装置３０から送信された擬似画像データを、ディスプレイ１０８に表示させることができる。 In the embodiment described above, a case has been described in which pseudo image data generated by the generation function 343 is displayed on the display 32 in the medical image processing apparatus 30. However, embodiments are not limited thereto. For example, the pseudo image data generated by the generation function 343 may be displayed by another device other than the medical image processing device 30. For example, the generation function 343 may transmit the generated pseudo image data to the X-ray diagnostic apparatus 10 via the network NW. In this case, the display control function 110b in the X-ray diagnostic apparatus 10 can display the pseudo image data transmitted from the medical image processing apparatus 30 on the display 108.

また、上述した実施形態では、医用画像処理装置３０における処理回路３４が、擬似画像データの生成処理を行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０における処理回路１１０が、擬似画像データの生成処理を行なう場合であってもよい。 Furthermore, in the embodiment described above, the processing circuit 34 in the medical image processing apparatus 30 was described as performing the process of generating pseudo image data. However, embodiments are not limited thereto. For example, the processing circuit 110 in the X-ray diagnostic apparatus 10 may perform the process of generating pseudo image data.

一例を挙げると、処理回路１１０は、図１９に示すように、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃに加えて、付加機能１１０ｄ、生成機能１１０ｅ、制御機能１１０ｆ、モデル生成機能１１０ｇ、及び、マップ生成機能１１０ｈを実行する。また、Ｘ線診断装置１０は、更に、モデル記憶回路１１１及びマップ記憶回路１１２を備える。なお、図１９は、第４の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。 For example, as shown in FIG. 19, the processing circuit 110 includes, in addition to a collection function 110a, a display control function 110b, and a transmission function 110c, an additional function 110d, a generation function 110e, a control function 110f, a model generation function 110g, Then, the map generation function 110h is executed. Furthermore, the X-ray diagnostic apparatus 10 further includes a model storage circuit 111 and a map storage circuit 112. Note that FIG. 19 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 10 according to the fourth embodiment.

図１９に示す場合、収集機能１１０ａは、まず、被検体Ｐから２次元Ｘ線画像データを収集する。なお、以下では２次元Ｘ線画像データの例として、２次元Ｘ線画像データＩ４１について説明する。次に、表示制御機能１１０ｂは、マップ記憶回路１１２が記憶する被検体マップに基づいて、２次元Ｘ線画像データＩ４１を拡張した拡張画像データＩ４１’を生成し、生成した拡張画像データＩ４１’をディスプレイ３２に表示させる。また、表示制御機能１１０ｂは、拡張画像データＩ４１’上に、撮影位置を示すＲＯＩを表示させる。ここで、操作者は、検査対象部位を観察しやすいように拡張画像データＩ４１’上のＲＯＩを調整する。そして、制御機能１１０ｆは、操作者による調整後のＲＯＩが示す撮影位置を撮影条件として設定する。 In the case shown in FIG. 19, the collection function 110a first collects two-dimensional X-ray image data from the subject P. Note that two-dimensional X-ray image data I41 will be described below as an example of two-dimensional X-ray image data. Next, the display control function 110b generates expanded image data I41' by expanding the two-dimensional X-ray image data I41 based on the subject map stored in the map storage circuit 112, and expands the generated expanded image data I41'. It is displayed on the display 32. Furthermore, the display control function 110b displays an ROI indicating the photographing position on the extended image data I41'. Here, the operator adjusts the ROI on the expanded image data I41' to make it easier to observe the region to be examined. Then, the control function 110f sets the imaging position indicated by the ROI after adjustment by the operator as the imaging condition.

次に、付加機能１１０ｄは、２次元Ｘ線画像データＩ４１における各位置について深度情報を付加した３次元データＤ４１を生成する。例えば、付加機能１１０ｄは、２次元Ｘ線画像データＩ４１と同じ被検体Ｐについて収集された３次元画像データに基づいて、２次元Ｘ線画像データＩ４１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ４１の各位置に付加することで３次元データＤ４１を生成する。別の例を挙げると、付加機能１１０ｄは、２次元Ｘ線画像データＩ４１における各位置について、画素値に基づいて深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ４１の各位置に付加することで３次元データＤ４１を生成する。別の例を挙げると、付加機能１１０ｄは、モデル記憶回路１１１から学習済みモデルＭ１を読み出し、２次元Ｘ線画像データＩ４１を学習済みモデルＭ１に入力することで２次元Ｘ線画像データＩ４１における各位置について深度情報を推定させ、推定させた深度情報を２次元Ｘ線画像データＩ４１の各位置に付加することで３次元データＤ４１を生成する。別の例を挙げると、付加機能１１０ｄは、マップ記憶回路１１２から被検体マップを読み出し、被検体マップに基づいて２次元Ｘ線画像データＩ４１における各位置について深度情報を推定し、推定した深度情報を２次元Ｘ線画像データＩ４１の各位置に付加することで３次元データＤ４１を生成する。 Next, the additional function 110d generates three-dimensional data D41 to which depth information is added for each position in the two-dimensional X-ray image data I41. For example, the additional function 110d estimates depth information for each position in the two-dimensional X-ray image data I41 based on three-dimensional image data collected for the same subject P as the two-dimensional X-ray image data I41, and Three-dimensional data D41 is generated by adding depth information to each position of two-dimensional X-ray image data I41. To give another example, the additional function 110d estimates depth information for each position in the two-dimensional X-ray image data I41 based on pixel values, and applies the estimated depth information to each position in the two-dimensional X-ray image data I41. The three-dimensional data D41 is generated by adding the three-dimensional data D41. To give another example, the additional function 110d reads out the learned model M1 from the model storage circuit 111, and inputs the two-dimensional X-ray image data I41 into the learned model M1, so that each of the two-dimensional X-ray image data I41 is Three-dimensional data D41 is generated by estimating depth information for a position and adding the estimated depth information to each position of two-dimensional X-ray image data I41. To give another example, the additional function 110d reads the subject map from the map storage circuit 112, estimates depth information for each position in the two-dimensional X-ray image data I41 based on the subject map, and estimates the depth information for each position in the two-dimensional X-ray image data I41. is added to each position of the two-dimensional X-ray image data I41 to generate three-dimensional data D41.

また、制御機能１１０ｆは、操作者から撮影角度の変更操作を受け付ける。なお、３次元データＤ４１の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。以下では、２次元Ｘ線画像データＩ４１の撮影角度を、撮影角度Ｗ４１と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度Ｗ４２と記載する。例えば、変更後の撮影角度Ｗ４２は、撮影角度Ｗ４１から角度「θ４」だけ変更された角度である。また、以下では、撮影角度Ｗ４２で収集されるＸ線画像データを、回転画像データＩ４２と記載する。 The control function 110f also receives an operation to change the photographing angle from the operator. Note that the generation of the three-dimensional data D41 may be performed before the operator performs an operation to change the photographing angle, or may be performed after the operator performs an operation to change the photographic angle. Below, the photographing angle of the two-dimensional X-ray image data I41 will be referred to as a photographing angle W41. Furthermore, hereinafter, the photographing angle after being changed by the operator will be referred to as photographing angle W42. For example, the changed photographing angle W42 is an angle that is changed by an angle "θ4" from the photographing angle W41. Furthermore, hereinafter, the X-ray image data collected at the imaging angle W42 will be referred to as rotated image data I42.

次に、生成機能１１０ｅは、３次元データＤ４１を投影することにより、回転画像データＩ４２を擬似的に示した擬似画像データＩ４３を生成する。例えば、生成機能１１０ｅは、３次元データＤ４１において実空間におけるアイソセンターに対応する点を特定し、特定した対応する点まわりに３次元データＤ４１を回転させ、回転後の３次元データＤ４１を投影することによって擬似画像データＩ４３を生成する。なお、付加機能１１０ｄは、被検体マップに基づいて３次元データＤ４１を拡張してもよい。この場合、生成機能１１０ｅは、拡張後の３次元データＤ４１を投影することによって擬似画像データＩ４３を生成する。 Next, the generation function 110e generates pseudo image data I43 that pseudo-represents the rotated image data I42 by projecting the three-dimensional data D41. For example, the generation function 110e identifies a point corresponding to the isocenter in real space in the three-dimensional data D41, rotates the three-dimensional data D41 around the identified corresponding point, and projects the rotated three-dimensional data D41. By doing this, pseudo image data I43 is generated. Note that the additional function 110d may expand the three-dimensional data D41 based on the subject map. In this case, the generation function 110e generates pseudo image data I43 by projecting the expanded three-dimensional data D41.

次に、表示制御機能１１０ｂは、生成機能１１０ｅが生成した擬似画像データＩ４３をディスプレイ３２に表示させる。これにより、操作者は、変更後の撮影角度Ｗ４２を直感的に理解し、変更後の撮影角度Ｗ４２が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度Ｗ４２が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。一方で、変更後の撮影角度Ｗ４２が適切であると判断した場合、操作者は、撮影角度Ｗ４２を撮影条件とする旨の入力操作を行なう。この場合、制御機能１１０ｆは、撮影角度Ｗ４２を撮影条件として設定する。また、収集機能１１０ａは、設定された撮影条件に従って、Ｘ線画像データの収集を実行する。例えば、収集機能１１０ａは、回転画像データＩ４２の収集を実行する。 Next, the display control function 110b causes the display 32 to display the pseudo image data I43 generated by the generation function 110e. Thereby, the operator can intuitively understand the changed shooting angle W42 and easily determine whether the changed shooting angle W42 is appropriate. For example, if the operator determines that the changed photographing angle W42 is not appropriate, the operator performs the photographing angle changing operation again. On the other hand, if it is determined that the changed photographing angle W42 is appropriate, the operator performs an input operation to set the photographing angle W42 as the photographing condition. In this case, the control function 110f sets the photographing angle W42 as the photographing condition. Furthermore, the collection function 110a executes collection of X-ray image data according to set imaging conditions. For example, the collection function 110a executes collection of rotated image data I42.

ここで、モデル生成機能１１０ｇは、収集された回転画像データＩ４２に基づいて、
モデル記憶回路１１１が記憶する学習済みモデルＭ１を更新してもよい。例えば、まず、付加機能１１０ｄは、回転画像データＩ４２に基づいて３次元データＤ４１を補正する。そして、モデル生成機能１１０ｇは、２次元Ｘ線画像データＩ４１を第１画像データとし、回転画像データＩ４２を第２画像データとして用いて、学習済みモデルＭ１を更新する。また、マップ生成機能１１０ｈは、２次元Ｘ線画像データＩ４１に基づいて、マップ記憶回路１１２が記憶する被検体マップを更新してもよい。例えば、マップ生成機能１１０ｈは、２次元Ｘ線画像データＩ４１を撮影位置及び撮影角度に基づいて３次元空間上に登録することで、被検体マップを更新する。 Here, the model generation function 110g, based on the collected rotated image data I42,
The trained model M1 stored in the model storage circuit 111 may be updated. For example, first, the additional function 110d corrects the three-dimensional data D41 based on the rotated image data I42. Then, the model generation function 110g updates the learned model M1 using the two-dimensional X-ray image data I41 as first image data and the rotated image data I42 as second image data. The map generation function 110h may also update the subject map stored in the map storage circuit 112 based on the two-dimensional X-ray image data I41. For example, the map generation function 110h updates the subject map by registering the two-dimensional X-ray image data I41 in a three-dimensional space based on the imaging position and imaging angle.

また、上述した実施形態では、３次元データの生成及び擬似画像データの生成を、医用画像処理装置３０又はＸ線診断装置１０のいずれか一方の装置が行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、３次元データの生成及び擬似画像データの生成は、複数の装置に分散されて実行されてもよい。 Further, in the embodiment described above, the generation of three-dimensional data and the generation of pseudo image data are described as being performed by either the medical image processing device 30 or the X-ray diagnostic device 10. However, embodiments are not limited thereto. That is, the generation of three-dimensional data and the generation of pseudo image data may be distributed and executed by a plurality of devices.

例えば、収集機能１１０ａは、まず、被検体Ｐから２次元Ｘ線画像データＩ４１を収集する。次に、付加機能１１０ｄは、２次元Ｘ線画像データＩ４１における各位置について深度情報を付加した３次元データＤ４１を生成する。次に、送信機能１１０ｃは、付加機能１１０ｄが生成した３次元データＤ４１を医用画像処理装置３０に送信する。次に、生成機能３４３は、３次元データＤ４１を投影することにより、回転画像データＩ４２を擬似的に示した擬似画像データＩ４３を生成し、生成した擬似画像データＩ４３をＸ線診断装置１０に送信する。そして、表示制御機能１１０ｂは、受信した擬似画像データＩ４３を、ディスプレイ１０８に表示させる。 For example, the collection function 110a first collects two-dimensional X-ray image data I41 from the subject P. Next, the additional function 110d generates three-dimensional data D41 to which depth information is added for each position in the two-dimensional X-ray image data I41. Next, the transmission function 110c transmits the three-dimensional data D41 generated by the additional function 110d to the medical image processing apparatus 30. Next, the generation function 343 generates pseudo image data I43 that pseudo-represents the rotated image data I42 by projecting the three-dimensional data D41, and sends the generated pseudo image data I43 to the X-ray diagnostic apparatus 10. do. Then, the display control function 110b causes the display 108 to display the received pseudo image data I43.

別の例を挙げると、送信機能１１０ｃは、被検体Ｐから収集された２次元Ｘ線画像データＩ４１を、医用画像処理装置３０に送信する。次に、付加機能３４２は、２次元Ｘ線画像データＩ４１における各位置について深度情報を付加した３次元データＤ４１を生成し、生成した３次元データＤ４１をＸ線診断装置１０に送信する。次に、生成機能１１０ｅは、受信した３次元データＤ４１を投影することにより、回転画像データＩ４２を擬似的に示した擬似画像データＩ４３を生成する。そして、表示制御機能１１０ｂは、生成機能１１０ｅにより生成された擬似画像データＩ４３を、ディスプレイ１０８に表示させる。 To give another example, the transmission function 110c transmits two-dimensional X-ray image data I41 collected from the subject P to the medical image processing apparatus 30. Next, the additional function 342 generates three-dimensional data D41 to which depth information is added for each position in the two-dimensional X-ray image data I41, and transmits the generated three-dimensional data D41 to the X-ray diagnostic apparatus 10. Next, the generation function 110e generates pseudo image data I43 that pseudo-represents the rotated image data I42 by projecting the received three-dimensional data D41. Then, the display control function 110b causes the display 108 to display the pseudo image data I43 generated by the generation function 110e.

別の例を挙げると、送信機能１１０ｃは、被検体Ｐから収集された２次元Ｘ線画像データＩ４１を、医用画像処理装置３０に送信する。次に、付加機能３４２は、２次元Ｘ線画像データＩ４１における各位置について深度情報を推定し、推定結果と２次元Ｘ線画像データＩ４１とをＸ線診断装置１０に送信する。次に、付加機能１１０ｄは、医用画像処理装置３０から受信した推定結果と２次元Ｘ線画像データＩ４１とに基づいて、２次元Ｘ線画像データＩ４１における各位置について深度情報を付加した３次元データＤ４１を生成する。次に、生成機能１１０ｅは、受信した３次元データＤ４１を投影することにより、回転画像データＩ４２を擬似的に示した擬似画像データＩ４３を生成する。そして、表示制御機能１１０ｂは、生成機能１１０ｅにより生成された擬似画像データＩ４３を、ディスプレイ１０８に表示させる。 To give another example, the transmission function 110c transmits two-dimensional X-ray image data I41 collected from the subject P to the medical image processing apparatus 30. Next, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I41, and transmits the estimation result and the two-dimensional X-ray image data I41 to the X-ray diagnostic apparatus 10. Next, the additional function 110d generates three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data I41, based on the estimation result received from the medical image processing device 30 and the two-dimensional X-ray image data I41. Generate D41. Next, the generation function 110e generates pseudo image data I43 that pseudo-represents the rotated image data I42 by projecting the received three-dimensional data D41. Then, the display control function 110b causes the display 108 to display the pseudo image data I43 generated by the generation function 110e.

また、上述した実施形態では、３次元データの生成処理において、３次元画像データに基づいて深度情報を推定する場合、画素値に基づいて深度情報を推定する場合、学習済みモデルＭ１を用いて深度情報を推定する場合、及び、被検体マップを用いて深度情報を推定する場合について説明した。しかしながら実施形態はこれに限定されるものではない。
例えば、付加機能３４２又は付加機能１１０ｄは、２次元Ｘ線画像データＩ４１における各位置について複数の手法により深度情報を推定し、推定した複数の深度情報を合成し、合成した深度情報を２次元Ｘ線画像データＩ４１の各位置に付加することで、３次元データＤ４１を生成してもよい。 Furthermore, in the embodiment described above, in the three-dimensional data generation process, when estimating depth information based on three-dimensional image data, when estimating depth information based on pixel values, the trained model M1 is used to estimate depth information. The case of estimating information and the case of estimating depth information using a subject map have been described. However, embodiments are not limited thereto.
For example, the additional function 342 or the additional function 110d estimates depth information using a plurality of methods for each position in the two-dimensional X-ray image data I41, synthesizes the plurality of estimated depth information, and combines the two-dimensional Three-dimensional data D41 may be generated by adding it to each position of line image data I41.

一例を挙げると、収集機能１１０ａは、被検体Ｐから２次元Ｘ線画像データＩ４１を収集し、送信機能１１０ｃは、収集された２次元Ｘ線画像データＩ４１を医用画像処理装置３０に送信する。次に、付加機能３４２は、２次元Ｘ線画像データＩ４１における各位置について複数の手法により深度情報を推定する。例えば、付加機能３４２は、２次元Ｘ線画像データＩ４１と同じ被検体Ｐについて収集された３次元画像データに基づいて、２次元Ｘ線画像データＩ４１における各位置について深度情報を推定する。以下、３次元画像データに基づく深度情報を、深度情報Ｂ１とする。また、例えば、付加機能３４２は、２次元Ｘ線画像データＩ４１における各位置について、画素値に基づいて深度情報を推定する。以下、画素値に基づく深度情報を、深度情報Ｂ２とする。また、例えば、付加機能３４２は、モデル記憶回路３５から学習済みモデルＭ１を読み出し、２次元Ｘ線画像データＩ４１を学習済みモデルＭ１に入力することで２次元Ｘ線画像データＩ４１における各位置について深度情報を推定させる。以下、学習済みモデルＭ１に基づく深度情報を、深度情報Ｂ３とする。また、例えば、付加機能３４２は、マップ記憶回路３６から被検体マップを読み出し、被検体マップに基づいて２次元Ｘ線画像データＩ４１における各位置について深度情報を推定する。以下、学習済みモデルＭ１に基づく深度情報を、深度情報Ｂ４とする。次に、付加機能３４２は、複数の深度情報を合成する。例えば、付加機能３４２は、上述した深度情報Ｂ１、深度情報Ｂ２、深度情報Ｂ３及び深度情報Ｂ４のうち少なくとも２つを合成する。 For example, the collection function 110a collects two-dimensional X-ray image data I41 from the subject P, and the transmission function 110c transmits the collected two-dimensional X-ray image data I41 to the medical image processing apparatus 30. Next, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I41 using a plurality of methods. For example, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I41 based on three-dimensional image data collected for the same subject P as the two-dimensional X-ray image data I41. Hereinafter, depth information based on three-dimensional image data will be referred to as depth information B1. Further, for example, the additional function 342 estimates depth information for each position in the two-dimensional X-ray image data I41 based on pixel values. Hereinafter, depth information based on pixel values will be referred to as depth information B2. Further, for example, the additional function 342 reads out the learned model M1 from the model storage circuit 35 and inputs the two-dimensional X-ray image data I41 into the learned model M1, thereby obtaining depth information for each position in the two-dimensional X-ray image data I41. Let information be estimated. Hereinafter, depth information based on the learned model M1 will be referred to as depth information B3. Further, for example, the additional function 342 reads the subject map from the map storage circuit 36 and estimates depth information for each position in the two-dimensional X-ray image data I41 based on the subject map. Hereinafter, depth information based on the learned model M1 will be referred to as depth information B4. Next, the additional function 342 combines the plurality of depth information. For example, the additional function 342 combines at least two of the above-mentioned depth information B1, depth information B2, depth information B3, and depth information B4.

一例を挙げると、付加機能３４２は、深度情報Ｂ１及び深度情報Ｂ２をそれぞれ推定する。ここで、深度情報がＺ座標で表される場合、付加機能３４２は、深度情報Ｂ１及び深度情報Ｂ２の平均値（２つのＺ座標の中点）を算出する。そして、付加機能３４２は、算出した平均値を２次元Ｘ線画像データＩ４１の各位置に付加することで、３次元データＤ４１を生成する。 For example, the additional function 342 estimates depth information B1 and depth information B2, respectively. Here, when the depth information is represented by the Z coordinate, the additional function 342 calculates the average value (the midpoint of the two Z coordinates) of the depth information B1 and the depth information B2. Then, the additional function 342 generates three-dimensional data D41 by adding the calculated average value to each position of the two-dimensional X-ray image data I41.

第１～第４の実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。 Each component of each device according to the first to fourth embodiments is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings. In other words, the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured. Furthermore, all or any part of each processing function performed by each device can be realized by a CPU and a program that is analyzed and executed by the CPU, or can be realized as hardware using wired logic.

また、第１～第４の実施形態で説明した医用画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 Further, the medical image processing methods described in the first to fourth embodiments can be realized by executing a medical image processing program prepared in advance on a computer such as a personal computer or a workstation. This medical image processing program can be distributed via a network such as the Internet. Further, this medical image processing program is recorded on a computer-readable non-transitory recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO, DVD, etc., and is readable from the recording medium by the computer. It can also be executed by

以上説明した少なくとも一つの実施形態によれば、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。 According to at least one embodiment described above, it is possible to easily set imaging conditions while reducing the amount of radiation exposure.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

１ 医用情報処理システム
１０ Ｘ線診断装置
１１０ 処理回路
１１０ａ 収集機能
１１０ｂ 表示制御機能
１１０ｃ 送信機能
１１０ｄ 付加機能
１１０ｅ 生成機能
１１０ｆ 制御機能
１１０ｇ モデル生成機能
１１０ｈ マップ生成機能
１１１ モデル記憶回路
１１２ マップ記憶回路
３０ 医用画像処理装置
３４ 処理回路
３４１ 取得機能
３４２ 付加機能
３４３ 生成機能
３４４ 表示制御機能
３４５ 制御機能
３４６ モデル生成機能
３４７ マップ生成機能
３５ モデル記憶回路
３６ マップ記憶回路 1 Medical information processing system 10 X-ray diagnostic device 110 Processing circuit 110a Acquisition function 110b Display control function 110c Transmission function 110d Additional function 110e Generation function 110f Control function 110g Model generation function 110h Map generation function 111 Model storage circuit 112 Map storage circuit 30 Medical Image processing device 34 Processing circuit 341 Acquisition function 342 Additional function 343 Generation function 344 Display control function 345 Control function 346 Model generation function 347 Map generation function 35 Model storage circuit 36 Map storage circuit

Claims (19)

２次元Ｘ線画像データを取得する取得部と、
前記２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する付加部と、
前記３次元データを投影することにより、前記２次元Ｘ線画像データと異なる撮影角度で収集されるＸ線画像データを擬似的に示した擬似画像データを生成する生成部と
を備える、医用画像処理装置。 an acquisition unit that acquires two-dimensional X-ray image data;
an addition unit that generates three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data;
a generation unit that generates pseudo image data that pseudo-represents X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data by projecting the three-dimensional data; Device. 前記付加部は、前記２次元Ｘ線画像データと同じ被検体について収集された３次元画像データに基づいて、前記２次元Ｘ線画像データにおける各位置について深度情報を推定し、推定した深度情報を前記２次元Ｘ線画像データの各位置に付加することで前記３次元データを生成する、請求項１に記載の医用画像処理装置。 The adding unit estimates depth information for each position in the two-dimensional X-ray image data based on three-dimensional image data collected for the same subject as the two-dimensional X-ray image data, and stores the estimated depth information. The medical image processing apparatus according to claim 1, wherein the three-dimensional data is generated by adding the three-dimensional data to each position of the two-dimensional X-ray image data. 前記付加部は、前記２次元Ｘ線画像データと前記３次元画像データとを位置合わせすることで、前記２次元Ｘ線画像データにおける各位置について深度情報を推定する、請求項２に記載の医用画像処理装置。 The medical device according to claim 2, wherein the adding unit estimates depth information for each position in the two-dimensional X-ray image data by aligning the two-dimensional X-ray image data and the three-dimensional image data. Image processing device. 深度情報を推定するように機能付けられた学習済みモデルを記憶するモデル記憶部を更に備え、
前記付加部は、前記２次元Ｘ線画像データを前記学習済みモデルに入力することで前記２次元Ｘ線画像データにおける各位置について深度情報を推定させ、推定させた深度情報を前記２次元Ｘ線画像データの各位置に付加することで前記３次元データを生成する、請求項１～３のいずれか一項に記載の医用画像処理装置。 further comprising a model storage unit storing a trained model functionalized to estimate depth information,
The addition unit estimates depth information for each position in the two-dimensional X-ray image data by inputting the two-dimensional X-ray image data into the learned model, and applies the estimated depth information to the two-dimensional X-ray image data. The medical image processing apparatus according to claim 1, wherein the three-dimensional data is generated by adding the three-dimensional data to each position of image data. 前記学習済みモデルを生成するモデル生成部を更に備える、請求項４に記載の医用画像処理装置。 The medical image processing apparatus according to claim 4, further comprising a model generation unit that generates the learned model. 前記モデル生成部は、２次元で収集されたＸ線画像データである第１画像データと、当該第１画像データにおける各位置について深度情報を付加した第２画像データとを用いて、前記学習済みモデルを生成する、請求項５に記載の医用画像処理装置。 The model generation unit uses first image data, which is X-ray image data collected two-dimensionally, and second image data to which depth information is added for each position in the first image data. The medical image processing device according to claim 5, which generates a model. 前記付加部は、前記第１画像データの各位置に深度情報を付加する操作を受け付けることで、前記第２画像データを生成する、請求項６に記載の医用画像処理装置。 The medical image processing apparatus according to claim 6, wherein the addition unit generates the second image data by receiving an operation for adding depth information to each position of the first image data. 前記付加部は、前記第１画像データと同じ被検体について収集された３次元画像データに基づいて、前記第１画像データにおける各位置について深度情報を推定し、推定した深度情報を前記第１画像データの各位置に付加することで、前記第２画像データを生成する、請求項６に記載の医用画像処理装置。 The adding unit estimates depth information for each position in the first image data based on three-dimensional image data collected for the same subject as the first image data, and applies the estimated depth information to the first image. The medical image processing apparatus according to claim 6, wherein the second image data is generated by adding data to each position. 前記モデル生成部は、前記２次元Ｘ線画像データを前記第１画像データとして用いて、前記学習済みモデルを生成する、請求項６～８のいずれか一項に記載の医用画像処理装置。 The medical image processing apparatus according to claim 6, wherein the model generation unit generates the learned model using the two-dimensional X-ray image data as the first image data. 前記付加部は、前記異なる撮影角度で収集されたＸ線画像データに基づいて前記３次元データを補正し、
前記モデル生成部は、前記２次元Ｘ線画像データを前記第１画像データとし、補正後の前記３次元データを前記第２画像データとして用いて、前記学習済みモデルを生成する、請求項６に記載の医用画像処理装置。 The addition unit corrects the three-dimensional data based on the X-ray image data collected at the different imaging angles,
7. The model generation unit generates the learned model using the two-dimensional X-ray image data as the first image data and the corrected three-dimensional data as the second image data. The medical image processing device described. 前記付加部は、前記２次元Ｘ線画像データにおける各位置について、画素値に基づいて深度情報を推定し、推定した深度情報を前記２次元Ｘ線画像データの各位置に付加することで前記３次元データを生成する、請求項１～１０のいずれか一項に記載の医用画像処理装置。 The addition unit estimates depth information for each position in the two-dimensional X-ray image data based on pixel values, and adds the estimated depth information to each position in the two-dimensional X-ray image data. The medical image processing device according to any one of claims 1 to 10, which generates dimensional data. 前記生成部は、前記３次元データにおいて実空間におけるアイソセンターに対応する点を特定し、当該対応する点まわりに前記３次元データを回転させ、回転後の前記３次元データを投影することにより、前記擬似画像データを生成する、請求項１～１１のいずれか一項に記載の医用画像処理装置。 The generation unit identifies a point corresponding to an isocenter in real space in the three-dimensional data, rotates the three-dimensional data around the corresponding point, and projects the rotated three-dimensional data, The medical image processing apparatus according to any one of claims 1 to 11, which generates the pseudo image data. 前記２次元Ｘ線画像データと同じ被検体について収集されたＸ線画像データを当該Ｘ線画像データの撮影位置及び撮影角度に応じて３次元空間上に登録した被検体マップを記憶するマップ記憶部と、
前記２次元Ｘ線画像データを、当該２次元Ｘ線画像データの撮影位置及び撮影角度に応じて前記３次元空間上に登録することで、前記被検体マップを更新するマップ生成部とを更に備える、請求項１～１２のいずれか一項に記載の医用画像処理装置。 a map storage unit that stores a subject map in which X-ray image data collected for the same subject as the two-dimensional X-ray image data is registered in a three-dimensional space according to the imaging position and imaging angle of the X-ray image data; and,
The method further includes a map generation unit that updates the subject map by registering the two-dimensional X-ray image data in the three-dimensional space according to the photographing position and photographing angle of the two-dimensional X-ray image data. , a medical image processing device according to any one of claims 1 to 12. 前記マップ生成部は、撮影位置が同じであり且つ撮影角度が異なる複数の２次元のＸ線画像データに基づいて３次元のＸ線画像データを生成し、生成した３次元のＸ線画像データを前記３次元空間上に登録することで、前記被検体マップを更新する、請求項１３に記載の医用画像処理装置。 The map generation unit generates three-dimensional X-ray image data based on a plurality of two-dimensional X-ray image data having the same imaging position and different imaging angles, and generates the generated three-dimensional X-ray image data. The medical image processing apparatus according to claim 13, wherein the subject map is updated by registering on the three-dimensional space. 前記マップ生成部は、複数のＸ線画像データが重なる部分が滑らかに繋がるように、前記被検体マップを更新する、請求項１３又は１４に記載の医用画像処理装置。 The medical image processing apparatus according to claim 13 or 14, wherein the map generation unit updates the subject map so that overlapping portions of a plurality of X-ray image data are smoothly connected. 前記付加部は、前記被検体マップに基づいて、前記２次元Ｘ線画像データにおける各位置について深度情報を推定し、推定した深度情報を前記２次元Ｘ線画像データの各位置に付加することで前記３次元データを生成する、請求項１３～１５のいずれか一項に記載の医用画像処理装置。 The addition unit estimates depth information for each position in the two-dimensional X-ray image data based on the object map, and adds the estimated depth information to each position in the two-dimensional X-ray image data. The medical image processing device according to any one of claims 13 to 15, which generates the three-dimensional data. 前記付加部は、前記被検体マップに基づいて前記３次元データを拡張し、
前記生成部は、拡張後の前記３次元データを投影することにより、前記擬似画像データを生成する、請求項１３～１６のいずれか一項に記載の医用画像処理装置。 The addition unit expands the three-dimensional data based on the subject map,
The medical image processing apparatus according to any one of claims 13 to 16, wherein the generation unit generates the pseudo image data by projecting the expanded three-dimensional data. ２次元Ｘ線画像データを収集する収集部と、
前記２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する付加部と、
前記３次元データを投影することにより、前記２次元Ｘ線画像データと異なる撮影角度で収集されるＸ線画像データを擬似的に示した擬似画像データを生成する生成部と
を備える、Ｘ線診断装置。 a collection unit that collects two-dimensional X-ray image data;
an addition unit that generates three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data;
an X-ray diagnosis comprising: a generation unit that generates pseudo image data that pseudo-represents X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data by projecting the three-dimensional data; Device. ２次元Ｘ線画像データを収集する収集部と、
前記２次元Ｘ線画像データにおける各位置について深度情報を付加した３次元データを生成する付加部と、
前記３次元データを投影することにより、前記２次元Ｘ線画像データと異なる撮影角度で収集されるＸ線画像データを擬似的に示した擬似画像データを生成する生成部と
を備える、医用情報処理システム。 a collection unit that collects two-dimensional X-ray image data;
an addition unit that generates three-dimensional data to which depth information is added for each position in the two-dimensional X-ray image data;
a generation unit that generates pseudo image data that pseudo-represents X-ray image data collected at a different imaging angle from the two-dimensional X-ray image data by projecting the three-dimensional data; system.

Images