JP7175795B2

JP7175795B2 - X-ray image processing device, X-ray diagnostic device, and X-ray image processing program

Info

Publication number: JP7175795B2
Application number: JP2019030038A
Authority: JP
Inventors: 利多大橋; 由昌小林; 隆史野地; 敬祐伊東; 工工藤
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2022-11-21
Anticipated expiration: 2039-02-22
Also published as: JP2020130753A

Description

本発明の実施形態は、Ｘ線画像処理装置、Ｘ線診断装置、およびＸ線画像処理プログラムに関する。 TECHNICAL FIELD Embodiments of the present invention relate to an X-ray image processing apparatus, an X-ray diagnostic apparatus, and an X-ray image processing program.

従来、被検体にＸ線を照射することにより、被検体の体内を透視したＸ線画像を収集するＸ線撮像の技術が知られている。Ｘ線撮像においては、Ｘ線の照射時に被検体にケーブル等の物体が取り付けられていた場合には、当該物体もＸ線画像に映り込む。このようなＸ線画像においては、映り込んだ当該物体が、被検体の体外と体内のいずれに位置するものであるかを判別することは容易ではない。 2. Description of the Related Art Conventionally, there has been known an X-ray imaging technique that acquires an X-ray image of the interior of a subject by irradiating the subject with X-rays. In X-ray imaging, if an object such as a cable is attached to the subject at the time of X-ray irradiation, the object is also reflected in the X-ray image. In such an X-ray image, it is not easy to determine whether the reflected object is located inside or outside the subject's body.

特開２０１６－２１４７２５号公報JP 2016-214725 A 国際公開第２０１６／１７１１８６号WO2016/171186

本発明が解決しようとする課題は、Ｘ線画像に映り込んだ物体が被検体の体外と体内のいずれに位置するかを判別可能なＸ線画像処理装置、Ｘ線診断装置、およびＸ線画像処理プログラムを提供することである。 The problem to be solved by the present invention is to provide an X-ray image processing apparatus, an X-ray diagnostic apparatus, and an X-ray image that can determine whether an object reflected in an X-ray image is located inside or outside the subject's body. It is to provide a processing program.

実施形態に係るＸ線画像処理装置は、取得部と、抽出部と、出力部とを備える。取得部は、被検体がＸ線撮影された画像であるＸ線画像を取得する。抽出部は、Ｘ線画像とＸ線画像に映り込んだ物体が被検体の体外と体内のいずれに位置するかを表す判別情報との対応関係を示す対応情報に基づいて、取得したＸ線画像に対応する判別情報を抽出する。出力部は、抽出部によって抽出された判別情報に基づく出力情報を出力する。 An X-ray image processing apparatus according to an embodiment includes an acquisition unit, an extraction unit, and an output unit. The acquisition unit acquires an X-ray image, which is an X-ray image of a subject. The extraction unit extracts an acquired X-ray image based on correspondence information indicating a correspondence relationship between the X-ray image and determination information indicating whether the object reflected in the X-ray image is located outside or inside the body of the subject. Extract the discrimination information corresponding to . The output unit outputs output information based on the discrimination information extracted by the extraction unit.

図１は、第１の実施形態に係るＸ線画像処理装置の構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of an X-ray image processing apparatus according to the first embodiment. 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example configuration of the X-ray diagnostic apparatus according to the first embodiment. 図３は、第１の実施形態に係る学習データおよび教師データの一例を示す図である。FIG. 3 is a diagram showing examples of learning data and teacher data according to the first embodiment. 図４は、第１の実実施形態に係る入力データ、第１の出力データ、および第２の出力データの一例を示す図である。FIG. 4 is a diagram showing an example of input data, first output data, and second output data according to the first embodiment. 図５は、第１の実施形態に係る運用フェーズで実行される処理の流れの一例を示すフローチャートである。FIG. 5 is a flow chart showing an example of the flow of processing executed in the operation phase according to the first embodiment. 図６は、第２の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。FIG. 6 is a block diagram showing an example configuration of an X-ray diagnostic apparatus according to the second embodiment. 図７は、第２の実施形態に係る学習データおよび教師データの一例を示す図である。FIG. 7 is a diagram showing examples of learning data and teacher data according to the second embodiment. 図８は、第２の実施形態に係る入力データ、第１の出力データ、および第２の出力データの一例を示す図である。FIG. 8 is a diagram showing an example of input data, first output data, and second output data according to the second embodiment. 図９は、第２の実施形態に係る運用フェーズで実行される処理の流れの一例を示すフローチャートである。FIG. 9 is a flow chart showing an example of the flow of processing executed in the operation phase according to the second embodiment. 図１０は、第３の実施形態に係る学習データおよび教師データの一例を示す図である。FIG. 10 is a diagram showing examples of learning data and teacher data according to the third embodiment. 図１１は、第３の実施形態に係る入力データ、第１の出力データの一例を示す図である。FIG. 11 is a diagram showing an example of input data and first output data according to the third embodiment.

以下、図面を参照しながら、Ｘ線画像処理装置、Ｘ線診断装置、およびＸ線画像処理プログラムの実施形態について詳細に説明する。 Hereinafter, embodiments of an X-ray image processing apparatus, an X-ray diagnostic apparatus, and an X-ray image processing program will be described in detail with reference to the drawings.

（第１の実施形態）
図１は、第１の実施形態に係るＸ線画像処理装置１００の構成の一例を示す図である。例えば、図１に示すように、本実施形態に係るＸ線画像処理装置１００は、ネットワーク２００を介して、Ｘ線診断装置３００およびＸ線画像保管装置４００と相互に通信可能に接続される。 (First embodiment)
FIG. 1 is a diagram showing an example configuration of an X-ray image processing apparatus 100 according to the first embodiment. For example, as shown in FIG. 1, an X-ray image processing apparatus 100 according to this embodiment is connected to an X-ray diagnostic apparatus 300 and an X-ray image storage apparatus 400 via a network 200 so as to be able to communicate with each other.

Ｘ線診断装置３００は、被検体からＸ線画像を収集する装置である。本実施形態におけるＸ線診断装置３００は、例えば、レントゲン画像を撮影するＸ線一般撮影装置である。 The X-ray diagnostic apparatus 300 is an apparatus that acquires X-ray images from a subject. The X-ray diagnostic apparatus 300 in this embodiment is, for example, a general X-ray imaging apparatus that takes an X-ray image.

図２は、本実施形態に係るＸ線診断装置３００の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置３００は、撮影装置１０と、コンソール装置３０とを有する。撮影装置１０は、高電圧発生回路１１と、照射装置１２と、検出器１３と、駆動回路１４と、収集回路１５とを有する。 FIG. 2 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 300 according to this embodiment. As shown in FIG. 2 , the X-ray diagnostic apparatus 300 has an imaging device 10 and a console device 30 . The imaging device 10 has a high voltage generation circuit 11 , an irradiation device 12 , a detector 13 , a drive circuit 14 and a collection circuit 15 .

高電圧発生回路１１は、後述するＸ線管１２ａにＸ線を発生させるための高電圧を供給する。照射装置１２は、Ｘ線管１２ａと、線質フィルタ１２ｂと、絞り１２ｃとを備える。Ｘ線管１２ａは、高電圧発生回路１１から供給される高電圧により、被検体Ｐに照射するＸ線を発生する。 The high voltage generation circuit 11 supplies a high voltage for generating X-rays to an X-ray tube 12a, which will be described later. The irradiation device 12 includes an X-ray tube 12a, a ray quality filter 12b, and an aperture 12c. The X-ray tube 12 a generates X-rays with which the subject P is irradiated with a high voltage supplied from the high voltage generation circuit 11 .

駆動回路１４は、撮影制御回路３３からの制御信号に基づいて、照射装置１２および検出器１３の位置を移動させる。また、駆動回路１４は、撮影制御回路３３からの制御信号に基づいて、絞り１２ｃを制御して、被検体Ｐに照射させるＸ線の照射範囲（Ｘ線照射野）を制御する。なお、照射範囲は、関心領域（ＲＯＩ：Region Of Interest）を含むものとする。 The drive circuit 14 moves the positions of the irradiation device 12 and the detector 13 based on the control signal from the imaging control circuit 33 . Further, the drive circuit 14 controls the aperture 12c based on the control signal from the imaging control circuit 33 to control the X-ray irradiation range (X-ray irradiation field) with which the subject P is irradiated. Note that the irradiation range includes a region of interest (ROI).

検出器１３は、照射装置１２から照射されて被検体Ｐを透過したＸ線を検出する。本実施形態においては、被検体Ｐが横になるベッドの上方に設置された照射装置１２から、下向きにＸ線が照射され、ベッドの裏側に設置された検出器１３が、Ｘ線を検出する。収集回路１５は、検出器１３によって検出されたＸ線を収集し、収集したデータをコンソール装置３０に出力する。 The detector 13 detects X-rays emitted from the irradiation device 12 and transmitted through the subject P. FIG. In this embodiment, downward X-rays are emitted from the irradiation device 12 installed above the bed on which the subject P lies, and the detector 13 installed behind the bed detects the X-rays. . Acquisition circuit 15 acquires X-rays detected by detector 13 and outputs the acquired data to console device 30 .

コンソール装置３０は、操作者による操作を受け付けるとともに、撮影装置１０によって作成されたデータを用いてＸ線画像を生成する装置である。コンソール装置３０は、一例として、入力回路３１と、ディスプレイ３２と、撮影制御回路３３と、画像生成回路３６と、記憶回路３７と、システム制御回路３８と、Ｉ／Ｆ（インターフェース）回路３９とを有する。 The console device 30 is a device that receives an operation by an operator and generates an X-ray image using data created by the imaging device 10 . As an example, the console device 30 includes an input circuit 31, a display 32, an imaging control circuit 33, an image generation circuit 36, a storage circuit 37, a system control circuit 38, and an I/F (interface) circuit 39. have.

入力回路３１は、トラックボール、スイッチボタン、マウス、キーボード、タッチパネル等によって実現される。入力回路３１は、Ｘ線診断装置３００の操作者からの各種指示や各種設定を受け付け、操作者から受け付けた指示や設定の情報を、システム制御回路３８に転送する。ディスプレイ３２は、操作者によって参照される液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ等によって実現される。 The input circuit 31 is implemented by a trackball, switch button, mouse, keyboard, touch panel, or the like. The input circuit 31 receives various instructions and various settings from the operator of the X-ray diagnostic apparatus 300 , and transfers information on the instructions and settings received from the operator to the system control circuit 38 . The display 32 is implemented by a liquid crystal monitor, a CRT (Cathode Ray Tube) monitor, or the like, which is referenced by the operator.

撮影制御回路３３は、例えば、プロセッサにより実現される。撮影制御回路３３は、システム制御回路３８の制御のもと、高電圧発生回路１１、駆動回路１４及び収集回路１５の動作を制御する。 The imaging control circuit 33 is realized by, for example, a processor. The imaging control circuit 33 controls the operations of the high voltage generation circuit 11 , the drive circuit 14 and the acquisition circuit 15 under the control of the system control circuit 38 .

画像生成回路３６は、例えば、プロセッサにより実現される。画像生成回路３６は、収集回路１５から出力されたデータに基づいて、Ｘ線画像を生成する。 The image generation circuit 36 is implemented by, for example, a processor. The image generation circuit 36 generates an X-ray image based on the data output from the acquisition circuit 15 .

記憶回路３７は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路３７は、画像生成回路３６から出力されたＸ線画像を記憶する。 The storage circuit 37 is implemented by, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like. The storage circuit 37 stores the X-ray image output from the image generation circuit 36 .

システム制御回路３８は、例えば、プロセッサにより実現される。システム制御回路３８は、撮影装置１０およびコンソール装置３０の動作を制御することによって、Ｘ線診断装置３００を制御する。 The system control circuit 38 is implemented by, for example, a processor. The system control circuit 38 controls the X-ray diagnostic apparatus 300 by controlling the operations of the imaging device 10 and the console device 30 .

Ｉ／Ｆ回路３９は、Ｘ線画像処理装置１００およびＸ線画像保管装置４００との間で行われる各種データの伝送および通信を制御する。例えば、Ｉ／Ｆ回路３９は、被検体Ｐから収集したＸ線画像を、Ｘ線画像保管装置４００およびＸ線画像処理装置１００に送信する。 The I/F circuit 39 controls transmission and communication of various data between the X-ray image processing apparatus 100 and the X-ray image storage apparatus 400 . For example, the I/F circuit 39 transmits X-ray images acquired from the subject P to the X-ray image storage device 400 and the X-ray image processing device 100 .

図１に戻り、Ｘ線画像保管装置４００は、ネットワーク２００を介して、Ｘ線診断装置３００からＸ線画像を取得し、取得したＸ線画像を装置内または装置外に設けられた記憶回路に記憶させる。例えば、Ｘ線画像保管装置４００は、サーバ装置等のコンピュータ機器によって実現される。 Returning to FIG. 1, the X-ray image storage apparatus 400 acquires X-ray images from the X-ray diagnostic apparatus 300 via the network 200, and stores the acquired X-ray images in a storage circuit provided inside or outside the apparatus. Memorize. For example, the X-ray image storage device 400 is realized by computer equipment such as a server device.

Ｘ線画像処理装置１００は、ネットワーク２００を介してＸ線診断装置３００またはＸ線画像保管装置４００からＸ線画像を取得し、取得したＸ線画像に対して各種画像処理を行う。例えば、Ｘ線画像処理装置１００は、ワークステーション等のコンピュータ機器によって実現される。 The X-ray image processing apparatus 100 acquires X-ray images from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 via the network 200, and performs various image processing on the acquired X-ray images. For example, the X-ray image processing apparatus 100 is implemented by computer equipment such as a workstation.

具体的には、Ｘ線画像保管装置４００は、Ｉ／Ｆ回路１１０と、記憶回路１２０と、入力回路１３０と、ディスプレイ１４０と、処理回路１５０とを有する。 Specifically, the X-ray image archiving device 400 has an I/F circuit 110 , a memory circuit 120 , an input circuit 130 , a display 140 and a processing circuit 150 .

Ｉ／Ｆ回路１１０は、処理回路１５０に接続され、Ｘ線診断装置３００およびＸ線画像保管装置４００との間で行われる各種データの伝送および通信を制御する。例えば、Ｉ／Ｆ回路１１０は、Ｘ線診断装置３００またはＸ線画像保管装置４００からＸ線画像を受信し、受信したＸ線画像を処理回路１５０に出力する。例えば、Ｉ／Ｆ回路１１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。 The I/F circuit 110 is connected to the processing circuit 150 and controls transmission and communication of various data between the X-ray diagnostic apparatus 300 and the X-ray image storage apparatus 400 . For example, the I/F circuit 110 receives X-ray images from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 and outputs the received X-ray images to the processing circuit 150 . For example, the I/F circuit 110 is implemented by a network card, network adapter, NIC (Network Interface Controller), or the like.

記憶回路１２０は、処理回路１５０に接続され、各種データを記憶する。例えば、記憶回路１２０は、Ｘ線診断装置３００またはＸ線画像保管装置４００から受信したＸ線画像を記憶する。例えば、記憶回路１２０は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。記憶回路１２０は、記憶部ともいう。 The storage circuit 120 is connected to the processing circuit 150 and stores various data. For example, storage circuit 120 stores X-ray images received from X-ray diagnostic device 300 or X-ray image archive device 400 . For example, the storage circuit 120 is realized by a semiconductor memory device such as a RAM or flash memory, a hard disk, an optical disk, or the like. The memory circuit 120 is also called a memory unit.

入力回路１３０は、処理回路１５０に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路１５０に出力する。例えば、入力回路１３０は、トラックボール、スイッチボタン、マウス、キーボード、タッチパネル等によって実現される。 The input circuit 130 is connected to the processing circuit 150 , converts an input operation received from an operator into an electric signal, and outputs the electric signal to the processing circuit 150 . For example, the input circuit 130 is implemented by a trackball, switch button, mouse, keyboard, touch panel, or the like.

ディスプレイ１４０は、処理回路１５０に接続され、処理回路１５０から出力される各種情報および各種画像データを表示する。例えば、ディスプレイ１４０は、液晶モニタやＣＲＴモニタ、タッチパネル等によって実現される。 The display 140 is connected to the processing circuit 150 and displays various information and various image data output from the processing circuit 150 . For example, the display 140 is implemented by a liquid crystal monitor, CRT monitor, touch panel, or the like.

処理回路１５０は、入力回路１３０を介して操作者から受け付けた入力操作に応じて、Ｘ線画像保管装置４００の構成要素を制御する。例えば、処理回路１５０は、Ｉ／Ｆ回路１１０から出力される画像データを記憶回路１２０に記憶させる。また、例えば、処理回路１５０は、記憶回路１２０から画像データを読み出し、ディスプレイ１４０に表示する。例えば、処理回路１５０は、プロセッサによって実現される。 The processing circuit 150 controls the components of the X-ray image storage device 400 according to input operations received from the operator via the input circuit 130 . For example, the processing circuit 150 causes the storage circuit 120 to store image data output from the I/F circuit 110 . Also, for example, the processing circuit 150 reads image data from the storage circuit 120 and displays it on the display 140 . For example, processing circuitry 150 is implemented by a processor.

また、本実施形態では、処理回路１５０が、取得機能１５１と、抽出機能１５２と、出力機能１５３とを有する。取得機能１５１は、取得部の一例である。また、抽出機能１５２は、抽出部の一例である。出力機能１５３は、出力部の一例である。 Further, in this embodiment, the processing circuit 150 has an acquisition function 151 , an extraction function 152 and an output function 153 . Acquisition function 151 is an example of an acquisition unit. Also, the extraction function 152 is an example of an extraction unit. The output function 153 is an example of an output unit.

取得機能１５１は、被検体ＰがＸ線撮影された画像であるＸ線画像を取得する。本実施形態においては、取得機能１５１は、Ｉ／Ｆ回路１１０を介して、Ｘ線診断装置３００またはＸ線画像保管装置４００からＸ線画像を取得する。取得機能１５１は、取得したＸ線画像を抽出機能１５２に入力する。 The acquisition function 151 acquires an X-ray image, which is an X-ray image of the subject P. FIG. In this embodiment, the acquisition function 151 acquires X-ray images from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 via the I/F circuit 110 . The acquisition function 151 inputs the acquired X-ray image to the extraction function 152 .

また、取得機能１５１は、後述の学習フェーズにおいては、教師データを取得する。取得機能１５１は、取得した教師データを抽出機能１５２に入力する。教師データの詳細については後述する。 Also, the acquisition function 151 acquires teacher data in a learning phase, which will be described later. The acquisition function 151 inputs the acquired teacher data to the extraction function 152 . Details of the teacher data will be described later.

抽出機能１５２は、Ｘ線画像と判別情報との対応関係を示す対応情報に基づいて、取得したＸ線画像に対応する判別情報を抽出する。 The extraction function 152 extracts discrimination information corresponding to the acquired X-ray image based on correspondence information indicating a correspondence relationship between the X-ray image and discrimination information.

判別情報は、Ｘ線画像に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを表す情報である。本実施形態においては、判別情報は、取得されたＸ線画像７１のうち被検体Ｐの体外に位置する物体が映り込んだ画像領域を示す画像である。より詳細には、本実施形態の判別情報は、一例として、Ｘ線画像に映り込んだ物体のうち被検体Ｐの体外に位置する物体を黒色で表示し、背景画像および被検体Ｐの体内に位置する物体は表示しない２値画像とする。本実施形態においては、Ｘ線画像から当該２値画像を生成することを、Ｘ線画像から判別情報を抽出する、という。なお、黒色は表示態様の一例であり、判別情報は、他の色や、他の表示態様で被検体Ｐの体外に位置する物体が映り込んだ画像領域を示すものであっても良い。 The discrimination information is information indicating whether the object reflected in the X-ray image is located outside or inside the subject P. FIG. In the present embodiment, the discrimination information is an image indicating an image area in which an object located outside the subject P is captured in the acquired X-ray image 71 . More specifically, as an example, the determination information of the present embodiment displays in black an object located outside the subject P among the objects reflected in the X-ray image, and displays the background image and the object inside the subject P in black. A binary image that does not display a positioned object is used. In this embodiment, generating the binary image from the X-ray image is referred to as extracting discrimination information from the X-ray image. Note that black is an example of a display mode, and the discrimination information may indicate an image area in which an object positioned outside the body of the subject P is reflected in another color or another display mode.

Ｘ線画像に映り込んだ物体は、例えば、被検体Ｐの体外に取り付けられた心電図検査装置のケーブルや、被検体Ｐの体内に留置された医療用チューブ等である。本実施形態においては、当該ケーブルまたはチューブ等をデバイスともいう。また、背景画像は、被検体Ｐの体外および体内に位置するデバイス（物体）以外の画像のことであり、被検体Ｐの体内組織等の画像である。 The objects reflected in the X-ray image are, for example, a cable of an electrocardiogram examination apparatus attached to the outside of the subject P, a medical tube left inside the subject P, and the like. In this embodiment, the cable, tube, or the like is also called a device. The background image is an image other than devices (objects) positioned outside and inside the body of the subject P, and is an image of internal tissues of the subject P and the like.

また、本実施形態においては、対応情報は、Ｘ線画像と教師データとに基づいて、Ｘ線画像と判別情報との対応関係を示す学習済みモデルであるものとする。教師データは、Ｘ線画像に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを表すデータである。 Further, in the present embodiment, the correspondence information is assumed to be a learned model indicating the correspondence relationship between the X-ray image and the discrimination information based on the X-ray image and the teacher data. The teacher data is data representing whether the object reflected in the X-ray image is located outside or inside the subject P. FIG.

本実施形態においては、抽出機能１５２は、Ｘ線画像と、教師データとに基づいて、Ｘ線画像と判別情報との対応関係を学習することによって、学習済みモデルを生成する。抽出機能１５２は、例えば、ニューラルネットワーク等のディープラーニング（深層学習）によって学習済みモデルを生成し、当該学習済みモデルを用いて判別情報を抽出するものとする。 In this embodiment, the extraction function 152 generates a learned model by learning the correspondence relationship between the X-ray image and the discrimination information based on the X-ray image and the teacher data. The extraction function 152 is assumed to generate a learned model by, for example, deep learning such as a neural network, and extract discrimination information using the learned model.

ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）や、畳み込みニューラルネットワーク（ＣＤＢＮ：Convolutional Deep Belief Neural Network）などの多層のニューラルネットワークを適用することができる。また、抽出機能１５２は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）等の他の機械学習の手法を用いて学習モデルを生成しても良い。 As a method of deep learning, multilayer neural networks such as a convolutional neural network (CNN: Convolutional Neural Network) and a convolutional neural network (CDBN: Convolutional Deep Belief Neural Network) can be applied. The extraction function 152 may also generate a learning model using other machine learning methods such as support vector machine (SVM).

ここで、本実施形態における学習フェーズの詳細について説明する。図３は、本実施形態に係る学習データおよび教師データの一例を示す図である。 Here, the details of the learning phase in this embodiment will be described. FIG. 3 is a diagram showing an example of learning data and teacher data according to this embodiment.

図３に示すように、取得機能１５１は、学習用Ｘ線画像５１ａ～５１ｎと、教師データ６１ａ～６１ｎとを取得する。取得機能１５１は、取得した学習用Ｘ線画像５１ａ～５１ｎと、教師データ６１ａ～６１ｎとを抽出機能１５２に入力する。なお、学習用Ｘ線画像５１および教師データ６１の数は特に限定するものではない。 As shown in FIG. 3, the acquisition function 151 acquires learning X-ray images 51a to 51n and teacher data 61a to 61n. The acquisition function 151 inputs the acquired learning X-ray images 51 a to 51 n and the teacher data 61 a to 61 n to the extraction function 152 . Note that the number of learning X-ray images 51 and teacher data 61 is not particularly limited.

学習用Ｘ線画像５１ａ～５１ｎ（以下、特に区別しない場合は、単に学習用Ｘ線画像５１という）は、体外または体内にデバイス等の物体を取り付けた状態の被検体ＰをＸ線撮像したＸ線画像であり、本実施形態における学習データである。図３に示す例では、学習用Ｘ線画像５１ａには、被検体Ｐの体外に位置する第１の物体８ａ，８ｂと、被検体Ｐの体内に位置する第２の物体９とが映り込んでいる。 Learning X-ray images 51a to 51n (hereinafter simply referred to as learning X-ray images 51 unless otherwise distinguished) are X-ray images of a subject P with an object such as a device attached outside or inside the body. It is a line image, and is learning data in this embodiment. In the example shown in FIG. 3, the first objects 8a and 8b located outside the subject P and the second object 9 located inside the subject P are reflected in the learning X-ray image 51a. I'm in.

教師データ６１ａ～６１ｎ（以下、特に区別しない場合は、単に教師データ６１という）は、学習用Ｘ線画像５１ａ～５１ｎに映り込んだ被検体Ｐの体外に位置する第１の物体８ａ，８ｂのみを黒色で表示し、背景画像および被検体Ｐの体内に位置する第２の物体９は表示しない２値画像である。本実施形態においては、教師データ６１はユーザが作成するものとする。例えば、教師データ６１ａは、学習用Ｘ線画像５１ａ上の第１の物体８ａ，８ｂがユーザによって黒く塗りつぶされ、第１の物体８ａ，８ｂ以外の画像がユーザによって削除された画像である。 The teacher data 61a to 61n (hereinafter simply referred to as teacher data 61 unless otherwise distinguished) are only the first objects 8a and 8b located outside the body of the subject P reflected in the learning X-ray images 51a to 51n. is displayed in black, and the background image and the second object 9 located inside the body of the subject P are not displayed. In this embodiment, it is assumed that the teacher data 61 is created by the user. For example, the teacher data 61a is an image in which the first objects 8a and 8b on the learning X-ray image 51a are blacked out by the user and the images other than the first objects 8a and 8b are deleted by the user.

また、学習用Ｘ線画像５１と、当該学習用Ｘ線画像５１に基づいて生成された教師データ６１とは、対応付けられて入力されるものとする。例えば、教師データ６１ａは、学習用Ｘ線画像５１ａに対応付けられた教師データ６１であり、教師データ６１ｂは、学習用Ｘ線画像５１ｂに対応付けられた教師データ６１であるものとする。 Also, the learning X-ray image 51 and the teacher data 61 generated based on the learning X-ray image 51 are assumed to be input in association with each other. For example, the teacher data 61a is the teacher data 61 associated with the learning X-ray image 51a, and the teacher data 61b is the teacher data 61 associated with the learning X-ray image 51b.

抽出機能１５２は、例えば、学習用Ｘ線画像５１が入力される毎に、学習用Ｘ線画像５１をニューラルネットワークで処理した結果が教師データ６１に近づくように、パラメータデータを更新することにより、学習を行う。 For example, the extraction function 152 updates the parameter data so that the result of processing the learning X-ray image 51 by the neural network approaches the teacher data 61 each time the learning X-ray image 51 is input. do the learning.

本実施形態においては、学習済みモデルは、ニューラルネットワークと、学習済みパラメータデータとによって構成されるものとする。また、本実施形態においては、抽出機能１５２がニューラルネットワークを含むものとする。抽出機能１５２は、学習済みパラメータデータを記憶回路１２０に保存する。 In this embodiment, a trained model is assumed to be composed of a neural network and trained parameter data. Moreover, in this embodiment, the extraction function 152 shall contain a neural network. Extraction function 152 stores learned parameter data in storage circuit 120 .

次に、本実施形態における運用フェーズの詳細について説明する。図４は、本実施形態に係る入力データ、第１の出力データ８１、および第２の出力データ９１の一例を示す図である。 Next, details of the operation phase in this embodiment will be described. FIG. 4 is a diagram showing an example of input data, first output data 81, and second output data 91 according to this embodiment.

図４に示すＸ線画像７１は、Ｘ線診断装置３００によって撮像されたＸ線画像であり、本実施形態における学習済みモデルに入力される入力データである。 An X-ray image 71 shown in FIG. 4 is an X-ray image captured by the X-ray diagnostic apparatus 300, and is input data input to the trained model in this embodiment.

取得機能１５１は、Ｘ線診断装置３００またはＸ線画像保管装置４００からＸ線画像７１を取得し、抽出機能１５２に入力する。 The acquisition function 151 acquires the X-ray image 71 from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 and inputs it to the extraction function 152 .

抽出機能１５２は、入力されたＸ線画像７１に対して学習済みモデルを用いて処理を実行し、第１の出力データ８１を出力（生成）する。より詳細には、抽出機能１５２は、ニューラルネットワークと、記憶回路１２０から読み出した学習済みパラメータデータとを用いて、第１の出力データ８１を出力する。 The extraction function 152 performs processing on the input X-ray image 71 using the learned model, and outputs (generates) first output data 81 . More specifically, the extraction function 152 uses the neural network and the learned parameter data read from the storage circuit 120 to output the first output data 81 .

第１の出力データ８１は、本実施形態における取得されたＸ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを表す判別情報の一例である。図４に示すように、第１の出力データ８１は、Ｘ線画像７１に映り込んだ物体のうち被検体Ｐの体外に位置する第１の物体８ａ，８ｂを黒色で表示し、背景画像および被検体Ｐの体内に位置する第２の物体９は表示しない２値画像である。 The first output data 81 is an example of determination information indicating whether the object reflected in the X-ray image 71 acquired in this embodiment is located outside or inside the subject P. FIG. As shown in FIG. 4, the first output data 81 displays the first objects 8a and 8b located outside the subject P among the objects reflected in the X-ray image 71 in black, and the background image and A second object 9 located inside the body of the subject P is a binary image that is not displayed.

抽出機能１５２は、生成した第１の出力データ８１を、出力機能１５３に送出する。 The extraction function 152 sends the generated first output data 81 to the output function 153 .

ここで図１に戻り、出力機能１５３は、抽出機能１５２よって抽出された判別情報に基づく情報を出力する。より詳細には、出力機能１５３は、判別情報をＸ線画像７１に付与した出力情報を出力する。本実施形態においては、第１の出力データ８１が判別情報の一例であるので、出力機能１５３は、抽出機能１５２によって生成された第１の出力データ８１をＸ線画像７１に重畳して第２の出力データ９１を生成する。第１の出力データ８１をＸ線画像７１に重畳する手法は、公知の手法を採用することができる。 Returning to FIG. 1 here, the output function 153 outputs information based on the discrimination information extracted by the extraction function 152 . More specifically, the output function 153 outputs output information obtained by adding the discrimination information to the X-ray image 71 . In this embodiment, the first output data 81 is an example of discrimination information, so the output function 153 superimposes the first output data 81 generated by the extraction function 152 on the X-ray image 71 to obtain the second image. generates the output data 91 of A known technique can be adopted as a technique for superimposing the first output data 81 on the X-ray image 71 .

図４に示す第２の出力データ９１は、第１の出力データ８１（２値画像）をＸ線画像７１に重畳した画像であり、本実施形態における出力情報の一例である。図４に示すように、第２の出力データ９１においては、第１の物体８ａ，８ｂが黒色に塗りつぶされた第１の出力データ８１がＸ線画像７１に重畳されているため、被検体Ｐの体外に位置する第１の物体８ａ，８ｂが映り込んだ画像領域が強調表示される。このため、第２の出力データ９１を医師等が読影した場合、被検体Ｐの体外に位置する第１の物体８ａ，８ｂと、被検体Ｐの体外に位置する第２の物体９とを容易に判別することができる。 The second output data 91 shown in FIG. 4 is an image obtained by superimposing the first output data 81 (binary image) on the X-ray image 71, and is an example of output information in this embodiment. As shown in FIG. 4, in the second output data 91, the first output data 81 in which the first objects 8a and 8b are painted black is superimposed on the X-ray image 71. The image area in which the first objects 8a and 8b positioned outside the body are reflected is highlighted. Therefore, when a doctor or the like interprets the second output data 91, the first objects 8a and 8b located outside the subject P and the second object 9 located outside the subject P can be easily identified. can be discriminated.

出力機能１５３は、生成した第２の出力データ９１をディスプレイ１４０に出力する。また、出力機能１５３は、Ｘ線診断装置３００またはＸ線画像保管装置４００に第２の出力データ９１を出力するものとしても良い。 The output function 153 outputs the generated second output data 91 to the display 140 . Also, the output function 153 may output the second output data 91 to the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 .

ここで、例えば、処理回路１５０の構成要素である取得機能１５１と、抽出機能１５２と、出力機能１５３とは、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。処理回路１５０は、各プログラムを記憶回路１２０から読み出し、読み出した各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０内に示された各機能を有することとなる。なお、図１においては、単一の処理回路１５０にて、取得機能１５１、抽出機能１５２、および出力機能１５３の各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても良い。 Here, for example, the acquisition function 151, the extraction function 152, and the output function 153, which are components of the processing circuit 150, are stored in the storage circuit 120 in the form of a computer-executable program. The processing circuit 150 reads each program from the storage circuit 120 and executes each read program, thereby realizing a function corresponding to each program. In other words, the processing circuit 150 with each program read has each function shown in the processing circuit 150 of FIG. In FIG. 1, the single processing circuit 150 is assumed to implement the acquisition function 151, the extraction function 152, and the output function 153. The processing circuit 150 may be configured so that each processor executes each program to realize each processing function.

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central preprocess unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。なお、記憶回路１２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。 The term "processor" used in the above description is, for example, a CPU (central preprocess unit), a GPU (Graphics Processing Unit), or an application specific integrated circuit (ASIC), a programmable logic device (e.g., Circuits such as Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)). Note that instead of storing the program in the memory circuit 120, the program may be directly installed in the circuit of the processor. In this case, the processor implements its functions by reading and executing the program embedded in the circuit.

ここで、以上のように構成されたＸ線画像処理装置１００において、運用フェーズで実行される処理の流れを説明する。 Here, the flow of processing executed in the operation phase in the X-ray image processing apparatus 100 configured as described above will be described.

図５は、本実施形態に係る運用フェーズで実行される処理の流れの一例を示すフローチャートである。このフローチャートの処理が実行される前提として、学習済みモデルが生成済みであることとする。 FIG. 5 is a flowchart showing an example of the flow of processing executed in the operation phase according to this embodiment. It is assumed that a trained model has already been generated as a premise for executing the processing of this flowchart.

まず、取得機能１５１は、Ｘ線診断装置３００またはＸ線画像保管装置４００から被検体ＰのＸ線画像７１を取得する（Ｓ１１）。取得機能１５１は、取得したＸ線画像７１を抽出機能１５２に入力する。 First, the acquisition function 151 acquires the X-ray image 71 of the subject P from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 (S11). The acquisition function 151 inputs the acquired X-ray image 71 to the extraction function 152 .

次に、抽出機能１５２は、学習済みモデルを用いて、入力されたＸ線画像７１に映り込んだ被検体Ｐの体外に位置する第１の物体８ａ，８ｂを判別する（Ｓ１２）。そして、抽出機能１５２は、判別結果に基づいて第１の出力データ８１（２値画像）を生成する（Ｓ１３）。抽出機能１５２は、生成した第１の出力データ８１を、出力機能１５３に送出する。 Next, the extraction function 152 uses the learned model to determine the first objects 8a and 8b positioned outside the subject P reflected in the input X-ray image 71 (S12). Then, the extraction function 152 generates first output data 81 (binary image) based on the determination result (S13). The extraction function 152 sends the generated first output data 81 to the output function 153 .

そして、出力機能１５３は、第１の出力データ８１（２値画像）をＸ線画像７１に重畳して第２の出力データ９１を生成し、生成した第２の出力データ９１を出力する（Ｓ１４）。ここで、このフローチャートの処理は終了する。 Then, the output function 153 superimposes the first output data 81 (binary image) on the X-ray image 71 to generate the second output data 91, and outputs the generated second output data 91 (S14 ). Here, the processing of this flowchart ends.

一般に、Ｘ線診断装置で被検体を撮像する際に、被検体の体外に取り付けられたデバイス等がＸ線画像に映り込まないように、医師等が被検体の体外に取り付けられたデバイス等を取り外す、または位置を移動するという対応を行う場合がある。しかしながら、被検体の状態によっては、デバイス等の取り外しまたは位置の移動が困難な場合がある。このような場合に、被検体の体外にデバイス等が取り付けられたままＸ線撮像されると、Ｘ線画像にデバイス等が映り込む。また、被検体の体内に留置されたデバイス等がある場合、当該デバイス等も、Ｘ線画像に映り込む。このため、医師等がＸ線画像を読影する際、Ｘ線画像に映り込んだデバイス等が、被検体の体外と体内のいずれに位置するかを判別することが容易ではない場合があった。 In general, when imaging a subject with an X-ray diagnostic apparatus, a device attached to the outside of the subject's body is removed by a doctor or the like so that the device attached outside the subject's body does not appear in the X-ray image. It may be removed or relocated. However, depending on the condition of the subject, it may be difficult to remove the device or move the position. In such a case, if an X-ray image is taken while the device or the like is attached outside the subject's body, the device or the like will appear in the X-ray image. In addition, if there is a device or the like left in the subject's body, the device or the like is also reflected in the X-ray image. Therefore, when a doctor or the like interprets an X-ray image, it may not be easy to determine whether the device or the like reflected in the X-ray image is located inside or outside the subject's body.

例えば、手術後の経過観察のためのＸ線撮影において、被検体の体内に留置したデバイス等を確認することを目的とする場合には、Ｘ線画像に映り込んだデバイス等が被検体の体外と体内のいずれに位置するかを判別することができないと、医師等がＸ線画像に基づいて診断を下すことが困難な場合がある。また、被検体の体外に取り付けられたデバイス等の取り外しや移動が可能な場合であっても、Ｘ線撮影前にデバイス等の取り外しや移動の作業が発生するため、技師等が効率的にＸ線撮影を実施することが困難な場合があった。このため、Ｘ線画像に映り込んだ物体が被検体の体外と体内のいずれに位置するかを判別可能にすることについてのニーズがあった。 For example, in X-ray photography for follow-up observation after surgery, when the purpose is to confirm devices, etc. placed inside the body of the subject, the devices, etc. reflected in the X-ray image are outside the body of the subject. If it is not possible to determine the position in the body, it may be difficult for a doctor or the like to make a diagnosis based on the X-ray image. In addition, even if it is possible to remove or move a device attached to the outside of the subject's body, the work of removing or moving the device before X-ray imaging will occur, so the technician, etc. will be able to perform X-ray efficiently. In some cases, it was difficult to perform line photography. Therefore, there is a need for making it possible to determine whether an object reflected in an X-ray image is located inside or outside the subject's body.

本実施形態のＸ線画像処理装置１００は、上述のように、Ｘ線画像７１と判別情報との対応関係を示す対応情報に基づいて、取得したＸ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを表す判別情報を抽出し、判別情報に基づく出力情報を出力する。このため、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを判別可能にすることができる。 As described above, the X-ray image processing apparatus 100 of the present embodiment determines whether an object reflected in the acquired X-ray image 71 is a subject based on the correspondence information indicating the correspondence relationship between the X-ray image 71 and the discrimination information. Determination information indicating whether P is located outside the body or inside the body is extracted, and output information based on the determination information is output. Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, it is possible to determine whether the object reflected in the X-ray image 71 is located outside or inside the subject P.

このような効果を奏することにより、本実施形態のＸ線画像処理装置１００によれば、医師等が読影をする際の精度を向上させることができる。また、本実施形態のＸ線画像処理装置１００によれば、被検体Ｐの体外にデバイス等がとりつけられたままの状態でＸ線撮影が可能になるため、Ｘ線撮影の作業のワークフローを改善し、作業効率を向上させることができる。 By producing such an effect, according to the X-ray image processing apparatus 100 of the present embodiment, it is possible to improve the accuracy when a doctor or the like interprets an image. Further, according to the X-ray image processing apparatus 100 of the present embodiment, X-ray imaging can be performed while the device or the like is attached to the outside of the subject P, thereby improving the workflow of the X-ray imaging work. and improve work efficiency.

また、本実施形態のＸ線画像処理装置１００は、判別情報をＸ線画像７１に付与した出力情報を出力する。このため、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１上に映り込んだ物体のうち、いずれの物体が被検体Ｐの体外に位置するものであるかを、容易に判別可能な状態にすることができる。 Further, the X-ray image processing apparatus 100 of the present embodiment outputs output information obtained by adding the discrimination information to the X-ray image 71 . Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, it is possible to easily determine which of the objects reflected on the X-ray image 71 is positioned outside the subject P. can be made identifiable.

より具体的には、本実施形態のＸ線画像処理装置１００は、Ｘ線画像７１に映り込んだ物体のうち被検体Ｐの体外に位置する物体を黒色で表示し、背景画像および被検体Ｐの体内に位置する物体は表示しない第１の出力データ８１（２値画像）を、Ｘ線画像７１に重畳した画像である第２の出力データ９１を出力する。このため、本実施形態のＸ線画像処理装置１００によれば、医師等が読影をする際に、Ｘ線撮像時の被検体Ｐの状況を別途確認しなくとも、第２の出力データ９１を視認することで被検体Ｐの体外に位置する物体を容易に判別することができる。 More specifically, the X-ray image processing apparatus 100 of the present embodiment displays in black an object positioned outside the subject P among the objects reflected in the X-ray image 71, and displays the background image and the subject P The first output data 81 (binary image) that does not display the object located inside the body of the patient is superimposed on the X-ray image 71 to output the second output data 91 . Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, when a doctor or the like interprets an image, the second output data 91 can be obtained without separately confirming the situation of the subject P at the time of X-ray imaging. An object located outside the body of the subject P can be easily identified by visual recognition.

また、本実施形態の対応情報は、学習用Ｘ線画像５１と教師データ６１とに基づいて、Ｘ線画像と判別情報との対応関係を示す学習済みモデルである。本実施形態のＸ線画像処理装置１００は、このような学習済みモデルに対して、被検体Ｐを撮像したＸ線画像７１を入力することで、入力したＸ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを表す判別情報を抽出する。このため、本実施形態のＸ線画像処理装置１００によれば、医師等がＸ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを個別に判断しなくとも、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを自動的に判別することができる。 Further, the correspondence information of the present embodiment is a learned model indicating the correspondence relationship between the X-ray image and the discrimination information based on the learning X-ray image 51 and the teacher data 61 . The X-ray image processing apparatus 100 of the present embodiment inputs the X-ray image 71 of the subject P to such a learned model, so that the object reflected in the input X-ray image 71 is Discrimination information indicating whether the position is outside or inside the body of the subject P is extracted. Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, a doctor or the like does not need to individually determine whether the object reflected in the X-ray image 71 is located outside or inside the subject P. , whether the object reflected in the X-ray image 71 is located outside or inside the subject P can be automatically determined.

また、本実施形態のＸ線画像処理装置１００は、学習用Ｘ線画像５１と教師データ６１とに基づいて、Ｘ線画像と判別情報との対応関係を学習することによって、学習済みモデルを生成する。このため、本実施形態のＸ線画像処理装置１００によれば、多数の学習用Ｘ線画像５１および教師データ６１を効率的に学習し、高精度な対応情報を生成することができる。 Further, the X-ray image processing apparatus 100 of the present embodiment generates a learned model by learning the correspondence relationship between the X-ray image and the discrimination information based on the learning X-ray image 51 and the teacher data 61. do. Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, it is possible to efficiently learn a large number of learning X-ray images 51 and teacher data 61 and generate highly accurate correspondence information.

なお、教師データ６１、第１の出力データ８１、第２の出力データ９１は、図３および図４で示した態様に限定されるものではない。例えば、教師データ６１は、学習用Ｘ線画像５１のうち第１の物体８ａ，８ｂが映り込んだ画像領域を線で囲んだ画像であっても良い。また、この場合、第１の出力データ８１は、Ｘ線画像７１のうち第１の物体８ａ，８ｂが映り込んだ画像領域を線で囲んだ画像となる。 Note that the teacher data 61, the first output data 81, and the second output data 91 are not limited to the forms shown in FIGS. For example, the teacher data 61 may be an image obtained by enclosing an image region in which the first objects 8a and 8b are reflected in the learning X-ray image 51 with a line. Also, in this case, the first output data 81 is an image in which the image area in which the first objects 8a and 8b are reflected in the X-ray image 71 is surrounded by lines.

また、本実施形態の図３で説明した例では、Ｘ線画像処理装置１００の抽出機能１５２は、被検体Ｐの体外に位置する物体を判別するように学習したが、体内に位置する物体を判別するように学習しても良い。例えば、教師データ６１は、学習用Ｘ線画像５１のうち第２の物体９を塗りつぶした画像、または第２の物体９が映り込んだ画像領域を線で囲んだ画像等であっても良い。 Further, in the example described with reference to FIG. 3 of the present embodiment, the extraction function 152 of the X-ray image processing apparatus 100 learns to discriminate an object located outside the body of the subject P, but an object located inside the body is learned. You may learn to discriminate. For example, the teacher data 61 may be an image in which the second object 9 is painted out of the learning X-ray image 51, or an image in which an image area in which the second object 9 is reflected is surrounded by lines.

また、本実施形態の学習用Ｘ線画像５１およびＸ線画像７１は、生データ（Raw data）または投影データ（Projection data）でも良いし、生データまたは投影データが補正または加工された画像データであっても良い。また、本実施形態の学習用Ｘ線画像５１およびＸ線画像７１は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に準拠した画像データであっても良い。 The learning X-ray image 51 and the X-ray image 71 of the present embodiment may be raw data or projection data, or may be image data obtained by correcting or processing raw data or projection data. It can be. Further, the learning X-ray image 51 and the X-ray image 71 of the present embodiment may be image data conforming to the DICOM (Digital Imaging and Communications in Medicine) standard.

また、本実施形態における学習済みモデルは、Ｘ線画像処理装置１００が出力した第１の出力データ８１または第２の出力データ９１に対するユーザのフィードバックを取得することにより、学習済みモデルの内部アルゴリズムを更に更新する「自己学習するモデル」を含むものとする。 Further, the trained model in the present embodiment acquires user feedback on the first output data 81 or the second output data 91 output by the X-ray image processing apparatus 100, thereby adjusting the internal algorithm of the trained model. It shall also include a "self-learning model" that updates.

また、対応情報は、Ｘ線画像７１と判別情報との対応関係を示す情報であれば良く、学習済みモデルに限定されるものではない。例えば、対応情報は、数式モデル、ルックアップテーブル、またはデータベース等であっても良い。 Further, the correspondence information may be any information indicating the correspondence relationship between the X-ray image 71 and the discrimination information, and is not limited to the trained model. For example, the correspondence information may be a formula model, a lookup table, a database, or the like.

（第２の実施形態）
上述の第１の実施形態においては、Ｘ線画像（学習用Ｘ線画像５１、Ｘ線画像７１）を学習データおよび入力データとしたが、この第２の実施形態では、さらに、カメラ画像を学習データおよび入力データとする。 (Second embodiment)
In the above-described first embodiment, X-ray images (learning X-ray image 51 and X-ray image 71) are used as learning data and input data. data and input data.

本実施形態におけるＸ線画像処理装置１００、Ｘ線診断装置３００、およびＸ線画像保管装置４００の全体構成は、図１で説明した第１の実施形態の構成と同様であるものとする。 The overall configuration of the X-ray image processing apparatus 100, the X-ray diagnostic apparatus 300, and the X-ray image storage apparatus 400 in this embodiment is the same as that of the first embodiment described with reference to FIG.

図６は、本実施形態に係るＸ線診断装置３００の構成の一例を示すブロック図である。図６に示すように、本実施形態のＸ線診断装置３００は、第１の実施形態の構成を備えた上で、赤外線カメラ１６を備える。 FIG. 6 is a block diagram showing an example of the configuration of the X-ray diagnostic apparatus 300 according to this embodiment. As shown in FIG. 6, an X-ray diagnostic apparatus 300 of this embodiment includes an infrared camera 16 in addition to the configuration of the first embodiment.

赤外線カメラ１６は、被検体Ｐが横になるベッドの上方に設置され、被検体Ｐを撮像する。赤外線カメラ１６は、本実施形態におけるカメラの一例である。赤外線カメラ１６が被検体Ｐを撮像することにより、被検体Ｐの衣服の下にデバイス等が取り付けられている場合にも、当該デバイス等が撮像可能となる。 The infrared camera 16 is installed above the bed on which the subject P lies and captures an image of the subject P. FIG. The infrared camera 16 is an example of a camera in this embodiment. By imaging the subject P with the infrared camera 16, even when a device or the like is attached under the subject P's clothes, the device or the like can be imaged.

本実施形態の撮影装置１０の駆動回路１４は、第１の実施形態の機能を備えた上で、撮影制御回路３３からの制御信号に基づいて、赤外線カメラ１６を制御する。より詳細には、駆動回路１４は、赤外線カメラ１６の位置および撮像範囲（視野）を制御するものとする。 The drive circuit 14 of the imaging device 10 of this embodiment has the functions of the first embodiment, and controls the infrared camera 16 based on the control signal from the imaging control circuit 33 . More specifically, drive circuit 14 controls the position and imaging range (field of view) of infrared camera 16 .

例えば、駆動回路１４は、赤外線カメラ１６の撮像範囲を、照射装置１２から照射されるＸ線の照射範囲と同じ範囲になるように赤外線カメラ１６を制御するものとする。つまり、赤外線カメラ１６によって撮像されたカメラ画像は、Ｘ線画像７１と同じ範囲を撮像した画像であるものとする。また、本実施形態のカメラ画像の態様は特に限定されるものではなく、例えば、近赤外線の反射をモノクロで表した赤外線画像でも良いし、サーモグラフィであっても良い。 For example, the drive circuit 14 controls the infrared camera 16 so that the imaging range of the infrared camera 16 is the same as the irradiation range of the X-rays emitted from the irradiation device 12 . In other words, it is assumed that the camera image captured by the infrared camera 16 is an image of the same range as the X-ray image 71 . In addition, the mode of the camera image of the present embodiment is not particularly limited, and may be, for example, an infrared image in which reflection of near-infrared rays is represented in monochrome, or may be thermography.

本実施形態の撮影装置１０においては、高電圧発生回路１１と、照射装置１２と、検出器１３と、収集回路１５とは、第１の実施形態と同様の機能を備えるものとする。 In the imaging device 10 of this embodiment, the high voltage generation circuit 11, the irradiation device 12, the detector 13, and the collection circuit 15 shall have the same functions as in the first embodiment.

また、本実施形態のコンソール装置３０は、第１の実施形態と同様に、入力回路３１と、ディスプレイ３２と、撮影制御回路３３と、画像生成回路３６と、記憶回路３７と、システム制御回路３８と、Ｉ／Ｆ回路３９とを有する。入力回路３１と、ディスプレイ３２と、画像生成回路３６と、記憶回路３７と、システム制御回路３８とは、第１の実施形態と同様の機能を備えるものとする。 As in the first embodiment, the console device 30 of the present embodiment includes an input circuit 31, a display 32, an imaging control circuit 33, an image generation circuit 36, a storage circuit 37, and a system control circuit 38. , and an I/F circuit 39 . The input circuit 31, the display 32, the image generation circuit 36, the storage circuit 37, and the system control circuit 38 are assumed to have the same functions as in the first embodiment.

本実施形態の撮影制御回路３３は、第１の実施形態の機能を備えた上で、駆動回路１４に対して赤外線カメラ１６の制御信号を送信する。また、本実施形態のＩ／Ｆ回路３９は、第１の実施形態の機能を備えた上で、赤外線カメラ１６によって撮像されたカメラ画像を、Ｘ線画像保管装置４００およびＸ線画像処理装置１００に送信する。 The imaging control circuit 33 of the present embodiment has the functions of the first embodiment, and also transmits a control signal for the infrared camera 16 to the drive circuit 14 . Further, the I/F circuit 39 of the present embodiment has the functions of the first embodiment, and transfers camera images captured by the infrared camera 16 to the X-ray image storage device 400 and the X-ray image processing device 100 . Send to

また、本実施形態のＸ線画像処理装置１００は、図１で説明した第１の実施形態と同様に、Ｉ／Ｆ回路１１０と、記憶回路１２０と、入力回路１３０と、ディスプレイ１４０と、処理回路１５０とを備える。また、処理回路１５０は、第１の実施形態と同様に、取得機能１５１と、抽出機能１５２と、出力機能１５３とを備える。 1, the X-ray image processing apparatus 100 of this embodiment includes an I/F circuit 110, a storage circuit 120, an input circuit 130, a display 140, a processing and circuit 150 . The processing circuit 150 also includes an acquisition function 151, an extraction function 152, and an output function 153, as in the first embodiment.

本実施形態の出力機能１５３は、第１の実施形態と同様の機能を備える。 The output function 153 of this embodiment has the same function as in the first embodiment.

本実施形態の取得機能１５１は、第１の実施形態の機能を備えた上で、さらに、被検体Ｐが赤外線カメラ１６によって撮像されたカメラ画像を取得する。取得機能１５１は、取得したカメラ画像を、抽出機能１５２に入力する。 The acquisition function 151 of the present embodiment acquires a camera image of the subject P captured by the infrared camera 16 in addition to the functions of the first embodiment. The acquisition function 151 inputs the acquired camera image to the extraction function 152 .

本実施形態の抽出機能１５２は、第１の実施形態の機能を備えた上で、Ｘ線画像７１およびカメラ画像に基づいて、取得したＸ線画像７１に対応する判別情報を抽出する。 The extraction function 152 of the present embodiment has the functions of the first embodiment, and extracts discrimination information corresponding to the acquired X-ray image 71 based on the X-ray image 71 and the camera image.

また、本実施形態においては、対応情報は、Ｘ線画像と、カメラ画像と、教師データとに基づいて、Ｘ線画像と判別情報との対応関係を示す学習済みモデルであるものとする。 Further, in the present embodiment, the correspondence information is assumed to be a learned model indicating the correspondence relationship between the X-ray image and the discrimination information based on the X-ray image, the camera image, and the teacher data.

より詳細には、本実施形態の抽出機能１５２は、Ｘ線画像７１およびカメラ画像に基づいて判別情報を生成する学習済みモデルに対して、被検体Ｐを撮像したＸ線画像７１を入力することで、入力したＸ線画像７１に含まれる物体が被検体Ｐの体外と体内のいずれに位置するかを表す判別情報を抽出する。 More specifically, the extraction function 152 of this embodiment inputs the X-ray image 71 of the subject P to a trained model that generates discrimination information based on the X-ray image 71 and the camera image. Then, discrimination information indicating whether the object contained in the input X-ray image 71 is located outside or inside the subject P is extracted.

また、本実施形態の抽出機能１５２は、Ｘ線画像と、カメラ画像と、教師データとに基づいて、Ｘ線画像と判別情報との対応関係を学習することによって、学習済みモデルを生成する。 Further, the extraction function 152 of this embodiment generates a learned model by learning the correspondence relationship between the X-ray image and the discrimination information based on the X-ray image, the camera image, and the teacher data.

ここで、本実施形態における学習フェーズの詳細について説明する。図７は、本実施形態に係る学習データおよび教師データの一例を示す図である。図７に示す学習用Ｘ線画像５１および教師データ６１は、図３で説明した第１の実施形態と同様である。 Here, the details of the learning phase in this embodiment will be described. FIG. 7 is a diagram showing an example of learning data and teacher data according to this embodiment. The learning X-ray image 51 and teacher data 61 shown in FIG. 7 are the same as those in the first embodiment described with reference to FIG.

図７に示す学習用カメラ画像５２ａ～５２ｎ（以下、特に区別しない場合は、単に学習用カメラ画像５２という）は、赤外線カメラ１６によって撮像されたカメラ画像である。 Learning camera images 52 a to 52 n shown in FIG. 7 (hereinafter simply referred to as learning camera images 52 unless otherwise distinguished) are camera images captured by the infrared camera 16 .

例えば、図７に示す学習用カメラ画像５２ａは、学習用Ｘ線画像５１ａにおけるＸ線の照射範囲と同じ範囲が撮像されたカメラ画像である。図７に示すように、学習用カメラ画像５２ａには、被検体Ｐの体外に位置する第１の物体８ａ，８ｂが映り込んでいる。また、被検体Ｐの体内に位置する第２の物体９は、学習用Ｘ線画像５１ａには映り込んでいるが、学習用カメラ画像５２ａには映り込んでいない。 For example, a learning camera image 52a shown in FIG. 7 is a camera image in which the same range as the X-ray irradiation range in the learning X-ray image 51a is captured. As shown in FIG. 7, the first objects 8a and 8b located outside the body of the subject P are reflected in the learning camera image 52a. Also, the second object 9 located inside the body of the subject P is reflected in the learning X-ray image 51a, but is not reflected in the learning camera image 52a.

本実施形態においては、学習用Ｘ線画像５１と、学習用カメラ画像５２とが学習データである。学習用Ｘ線画像５１を第１の学習データ、学習用カメラ画像５２を第２の学習データと呼んでも良い。また、学習用Ｘ線画像５１と、当該学習用Ｘ線画像５１に基づいて生成された教師データ６１と、当該学習用Ｘ線画像５１におけるＸ線の照射範囲と同じ範囲が撮像された学習用カメラ画像５２とは、対応付けられて入力されるものとする。 In this embodiment, the learning X-ray image 51 and the learning camera image 52 are learning data. The learning X-ray image 51 may be called first learning data, and the learning camera image 52 may be called second learning data. Further, a learning X-ray image 51, teacher data 61 generated based on the learning X-ray image 51, and a learning X-ray image 51 in which the same range as the X-ray irradiation range in the learning X-ray image 51 is imaged. It is assumed that the camera image 52 is input in association with the camera image 52 .

本実施形態の抽出機能１５２は、例えば、学習用Ｘ線画像５１および学習用カメラ画像５２が入力される毎に、学習用Ｘ線画像５１および学習用カメラ画像５２をニューラルネットワークで処理した結果が教師データ６１に近づくように、パラメータデータを更新することにより、学習を行う。 For example, each time the learning X-ray image 51 and the learning camera image 52 are input, the extraction function 152 of the present embodiment obtains the result of processing the learning X-ray image 51 and the learning camera image 52 with a neural network. Learning is performed by updating the parameter data so as to approach the teacher data 61 .

また、本実施形態においては、抽出機能１５２は、学習用Ｘ線画像５１だけではなく、学習用カメラ画像５２に基づいて学習するため、被検体Ｐの体外に位置する物体と被検体Ｐの体内に位置する物体とをより高精度に判別可能な学習モデルを生成することができる。例えば、上述したように、被検体Ｐの体外に位置する第１の物体８ａ，８ｂは、学習用カメラ画像５２ａと学習用Ｘ線画像５１ａの両方に映り込み、被検体Ｐの体内に位置する第２の物体９は、学習用Ｘ線画像５１ａにのみ映り込む。抽出機能１５２は、このような学習用Ｘ線画像５１と学習用カメラ画像５２とにおける差異と、教師データ６１とに基づいて、被検体Ｐの体外に位置する物体を高精度に判別可能な学習モデルを生成する。 In addition, in this embodiment, the extraction function 152 learns based on not only the learning X-ray image 51 but also the learning camera image 52 . It is possible to generate a learning model that can more accurately discriminate between an object located at For example, as described above, the first objects 8a and 8b located outside the body of the subject P are reflected in both the learning camera image 52a and the learning X-ray image 51a, and are located inside the body of the subject P. The second object 9 appears only in the learning X-ray image 51a. The extraction function 152 is based on the difference between the learning X-ray image 51 and the learning camera image 52 and the teacher data 61, and performs learning capable of accurately discriminating an object located outside the subject P. Generate a model.

次に、本実施形態における運用フェーズの詳細について説明する。図８は、本実施形態に係る入力データ、第１の出力データ８１、および第２の出力データ９１の一例を示す図である。 Next, details of the operation phase in this embodiment will be described. FIG. 8 is a diagram showing an example of input data, first output data 81, and second output data 91 according to this embodiment.

図８に示すＸ線画像７１は、Ｘ線診断装置３００によって撮像されたＸ線画像である。また、図８に示すカメラ画像７２は、Ｘ線診断装置３００に搭載された赤外線カメラ１６によって撮像されたカメラ画像である。カメラ画像７２は、Ｘ線画像７１におけるＸ線の照射範囲と同じ範囲が撮像されたカメラ画像であり、被検体Ｐの体外に位置する第１の物体８ａ，８ｂが映り込んでいる。また、被検体Ｐの体内に位置する第２の物体９は、Ｘ線画像７１には映り込んでいるが、カメラ画像７２には映り込んでいない。 An X-ray image 71 shown in FIG. 8 is an X-ray image captured by the X-ray diagnostic apparatus 300 . A camera image 72 shown in FIG. 8 is a camera image captured by the infrared camera 16 mounted on the X-ray diagnostic apparatus 300 . The camera image 72 is a camera image in which the same range as the X-ray irradiation range in the X-ray image 71 is captured, and the first objects 8a and 8b located outside the body of the subject P are reflected. Also, the second object 9 located inside the body of the subject P is reflected in the X-ray image 71 but is not reflected in the camera image 72 .

Ｘ線画像７１およびカメラ画像７２は、本実施形態における学習済みモデルに入力される入力データである。Ｘ線画像７１を第１の入力データ、カメラ画像７２を第２の入力データと呼んでも良い。 The X-ray image 71 and the camera image 72 are input data input to the trained model in this embodiment. The X-ray image 71 may be called first input data, and the camera image 72 may be called second input data.

取得機能１５１は、Ｘ線診断装置３００またはＸ線画像保管装置４００からＸ線画像７１およびカメラ画像７２を取得し、抽出機能１５２に入力する。 The acquisition function 151 acquires the X-ray image 71 and the camera image 72 from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400 and inputs them to the extraction function 152 .

抽出機能１５２は、入力されたＸ線画像７１およびカメラ画像７２に対して学習済みモデルを用いて処理を実行し、第１の出力データ８１を出力（生成）する。 The extraction function 152 performs processing on the input X-ray image 71 and camera image 72 using the learned model, and outputs (generates) first output data 81 .

本実施形態における第１の出力データ８１および第２の出力データ９１は、第１の実施形態と同様であるものとする。 It is assumed that the first output data 81 and the second output data 91 in this embodiment are the same as in the first embodiment.

図９は、本実施形態に係る運用フェーズで実行される処理の流れの一例を示すフローチャートである。 FIG. 9 is a flow chart showing an example of the flow of processing executed in the operation phase according to this embodiment.

Ｓ２１のＸ線画像７１の取得処理は、第１の実施形態のＳ１１の処理と同様である。Ｓ２１のＸ線画像７１の取得処理の後、取得機能１５１は、Ｘ線診断装置３００またはＸ線画像保管装置４００から、Ｘ線画像７１におけるＸ線の照射範囲と同じ範囲が撮像されたカメラ画像７２を取得する（Ｓ２２）。取得機能１５１は、取得したＸ線画像７１およびカメラ画像７２を抽出機能１５２に入力する。 The acquisition processing of the X-ray image 71 in S21 is the same as the processing in S11 of the first embodiment. After the acquisition processing of the X-ray image 71 in S21, the acquisition function 151 acquires a camera image of the same range as the X-ray irradiation range in the X-ray image 71 from the X-ray diagnostic apparatus 300 or the X-ray image storage apparatus 400. 72 is acquired (S22). The acquisition function 151 inputs the acquired X-ray image 71 and camera image 72 to the extraction function 152 .

次に、抽出機能１５２は、学習済みモデルを用いて、入力されたＸ線画像７１およびカメラ画像７２に映り込んだ被検体Ｐの体外に位置する第１の物体８ａ，８ｂを判別する（Ｓ２３）。Ｓ２４の第１の出力データ８１（２値画像）の生成処理から、Ｓ２５のＸ線画像７１に第１の出力データ８１（２値画像）を重畳して出力する処理は、第１の実施形態のＳ１３からＳ１４の処理と同様である。ここで、このフローチャートの処理は終了する。 Next, the extraction function 152 uses the learned model to determine the first objects 8a and 8b located outside the subject P reflected in the input X-ray image 71 and camera image 72 (S23 ). The process of generating the first output data 81 (binary image) in S24 and the process of superimposing and outputting the first output data 81 (binary image) on the X-ray image 71 in S25 are the same as in the first embodiment. is the same as the processing from S13 to S14 of . Here, the processing of this flowchart ends.

このように、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１およびカメラ画像７２に基づいて、Ｘ線画像７１に対応する判別情報を抽出するため、第１の実施形態の効果に加えて、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを、さらに高精度に判別することができる。 As described above, according to the X-ray image processing apparatus 100 of the present embodiment, since discrimination information corresponding to the X-ray image 71 is extracted based on the X-ray image 71 and the camera image 72, In addition to the effect, whether the object reflected in the X-ray image 71 is located inside or outside the subject P can be determined with higher accuracy.

また、本実施形態のカメラ画像７２は、Ｘ線画像７１の撮像時におけるＸ線の照射範囲と同じ範囲が撮像された画像であるため、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを判別する際に、撮像領域の違いによる画像の差異が判別結果に影響することを抑制することができる。 In addition, since the camera image 72 of the present embodiment is an image obtained by capturing the same range as the X-ray irradiation range when the X-ray image 71 is captured, the X-ray image processing apparatus 100 of the present embodiment can: When determining whether the object reflected in the X-ray image 71 is located outside or inside the subject P, it is possible to suppress the influence of the image difference due to the difference in the imaging region on the determination result. .

また、本実施形態の対応情報は、学習用Ｘ線画像５１と、学習用カメラ画像５２と、教師データ６１とに基づいて、Ｘ線画像と判別情報との対応関係を示す学習済みモデルである。このため、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかをより高精度に判別可能な学習モデルに基づいた判別結果を得ることができる。 Further, the correspondence information in the present embodiment is a learned model indicating the correspondence relationship between the X-ray image and the discrimination information based on the learning X-ray image 51, the learning camera image 52, and the teacher data 61. . Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, a learning model capable of more accurately determining whether the object reflected in the X-ray image 71 is located outside or inside the subject P is obtained. can be obtained.

また、本実施形態のＸ線画像処理装置１００は、学習用Ｘ線画像５１と、学習用カメラ画像５２と、教師データ６１とに基づいて、Ｘ線画像と判別情報との対応関係を学習することによって、学習済みモデルを生成する。このため、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかをより高精度に判別可能な学習モデルを生成することができる。 Further, the X-ray image processing apparatus 100 of the present embodiment learns the correspondence relationship between the X-ray image and the discrimination information based on the learning X-ray image 51, the learning camera image 52, and the teacher data 61. generates a trained model. Therefore, according to the X-ray image processing apparatus 100 of the present embodiment, a learning model capable of more accurately determining whether the object reflected in the X-ray image 71 is located outside or inside the subject P is obtained. can be generated.

なお、本実施形態においては、Ｘ線診断装置３００は赤外線カメラ１６を備えるものとしたが、カメラの種類は赤外線カメラに限定されるものではない。例えば、デバイス等が被検体Ｐの衣服等によって隠蔽されていない場合は、カメラは、光学カメラであっても良い。また、カメラは、バックスキャッタイメージング（後方散乱Ｘ線検査装置）等でも良い。 In this embodiment, the X-ray diagnostic apparatus 300 is provided with the infrared camera 16, but the type of camera is not limited to the infrared camera. For example, if the device or the like is not covered by the subject P's clothes or the like, the camera may be an optical camera. Also, the camera may be a backscatter imaging (backscattered X-ray inspection device) or the like.

（第３の実施形態）
上述の第１および第２の実施形態においては、Ｘ線画像処理装置１００は、取得したＸ線画像７１のうち被検体Ｐの体外に位置する物体が映り込んだ画像領域を強調表示した画像（第２の出力データ９１）をしていたが、この第３の実施形態では、Ｘ線画像処理装置１００は、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像を出力する。 (Third embodiment)
In the above-described first and second embodiments, the X-ray image processing apparatus 100 emphasizes an image region ( In the third embodiment, the X-ray image processing apparatus 100 outputs an image obtained by excluding objects outside the subject P from the X-ray image 71, although the second output data 91) has been output.

本実施形態におけるＸ線画像処理装置１００、Ｘ線診断装置３００、およびＸ線画像保管装置４００の全体構成は、図１で説明した第１の実施形態の構成と同様であるものとする。また、本実施形態におけるＸ線診断装置３００の構成は、図２で説明した第１の実施形態の構成と同様であるものとする。 The overall configuration of the X-ray image processing apparatus 100, the X-ray diagnostic apparatus 300, and the X-ray image storage apparatus 400 in this embodiment is the same as that of the first embodiment described with reference to FIG. Also, the configuration of the X-ray diagnostic apparatus 300 in this embodiment is assumed to be the same as the configuration of the first embodiment described with reference to FIG.

本実施形態の取得機能１５１は、第１の実施形態と同様の機能を備える。 The acquisition function 151 of this embodiment has functions similar to those of the first embodiment.

本実施形態の抽出機能１５２は、第１の実施形態の機能を備えた上で、取得したＸ線画像７１から被検体Ｐの体外にある物体を除外した画像を出力する。 The extraction function 152 of the present embodiment has the functions of the first embodiment and outputs an image obtained by excluding objects outside the subject P from the acquired X-ray image 71 .

本実施形態においては、判別情報は、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像であるものとする。また、本実施形態においては、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像を生成することを、Ｘ線画像７１から判別情報を抽出する、という。 In this embodiment, the discrimination information is an image obtained by excluding an object outside the subject P from the X-ray image 71 . In the present embodiment, generating an image from which an object outside the subject P is excluded from the X-ray image 71 is referred to as extracting discrimination information from the X-ray image 71 .

本実施形態の出力機能１５３は、第１の実施形態の機能を備えた上で、抽出機能１５２によって出力されたＸ線画像７１から被検体Ｐの体外にある物体を除外した画像を、出力する。 The output function 153 of this embodiment includes the functions of the first embodiment, and outputs an image obtained by excluding objects outside the subject P from the X-ray image 71 output by the extraction function 152. .

ここで、本実施形態における学習フェーズの詳細について説明する。図１０は、本実施形態に係る学習データおよび教師データの一例を示す図である。 Here, the details of the learning phase in this embodiment will be described. FIG. 10 is a diagram showing an example of learning data and teacher data according to this embodiment.

図７に示す学習用Ｘ線画像５１は、図３で説明した第１の実施形態と同様である。 A learning X-ray image 51 shown in FIG. 7 is the same as that of the first embodiment described in FIG.

また、図７に示す教師データ１０６１ａ～１０６１ｎ（以下、特に区別しない場合は、単に教師データ１０６１という）は、学習用Ｘ線画像５１から被検体Ｐの体外にある物体を除外（削除）された画像である。また、教師データ１０６１においては、被検体Ｐの体内に位置する物体は除外されないものとする。 7 (hereinafter simply referred to as teacher data 1061 unless otherwise distinguished) shown in FIG. It is an image. Also, in the teacher data 1061, an object positioned inside the body of the subject P is not excluded.

例えば、教師データ１０６１ａは、学習用Ｘ線画像５１ａに映り込んだ被検体Ｐの体外に位置する第１の物体８ａ，８ｂが除外された画像である。また、学習用Ｘ線画像５１ａに映り込んだ被検体Ｐの体内に位置する第２の物体９は、教師データ１０６１においても表示されている。教師データ１０６１は、例えば、ユーザによって作成されるものとする。 For example, the teacher data 1061a is an image from which the first objects 8a and 8b located outside the body of the subject P, which are reflected in the learning X-ray image 51a, are excluded. In addition, the second object 9 positioned inside the body of the subject P reflected in the learning X-ray image 51 a is also displayed in the teacher data 1061 . Teacher data 1061 is, for example, created by a user.

抽出機能１５２は、例えば、学習用Ｘ線画像５１が入力される毎に、学習用Ｘ線画像５１をニューラルネットワークで処理した結果が教師データ１０６１に近づくように、パラメータデータを更新することにより、学習を行う。 For example, the extraction function 152 updates the parameter data so that the result of processing the learning X-ray image 51 by the neural network approaches the teacher data 1061 each time the learning X-ray image 51 is input. do the learning.

次に、本実施形態における運用フェーズの詳細について説明する。図１１は、本実施形態に係る入力データ（Ｘ線画像７１）、第１の出力データ１０８１の一例を示す図である。図１１に示すＸ線画像７１は、第１の実施形態と同様である。 Next, details of the operation phase in this embodiment will be described. FIG. 11 is a diagram showing an example of input data (X-ray image 71) and first output data 1081 according to this embodiment. An X-ray image 71 shown in FIG. 11 is the same as in the first embodiment.

また、本実施形態の学習済みモデルは、Ｘ線画像７１に基づいて、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像を生成する学習済みモデルである。 Also, the trained model of the present embodiment is a trained model that generates an image from the X-ray image 71 excluding objects outside the body of the subject P based on the X-ray image 71 .

抽出機能１５２は、入力されたＸ線画像７１に対して学習済みモデルを用いて処理を実行し、第１の出力データ１０８１を出力（生成）する。 The extraction function 152 performs processing on the input X-ray image 71 using the learned model, and outputs (generates) first output data 1081 .

第１の出力データ１０８１は、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像であり、本実施形態における判別情報の一例である。抽出機能１５２は、生成した第１の出力データ１０８１を、出力機能１５３に送出する。 The first output data 1081 is an image obtained by excluding an object outside the subject P from the X-ray image 71, and is an example of discrimination information in this embodiment. The extraction function 152 sends the generated first output data 1081 to the output function 153 .

また、出力機能１５３は、抽出機能１５２によって生成された第１の出力データ１０８１を出力する。つまり、第１の出力データ１０８１は、本実施形態における出力情報の一例でもある。 Also, the output function 153 outputs the first output data 1081 generated by the extraction function 152 . That is, the first output data 1081 is also an example of output information in this embodiment.

このように、本実施形態のＸ線画像処理装置１００によれば、Ｘ線画像７１から被検体Ｐの体外にある物体を除外した画像を出力するため、第１の実施形態の効果に加えて、被検体Ｐの体外にある物体によって医師等の読影が妨げられることを低減することができる。 As described above, according to the X-ray image processing apparatus 100 of the present embodiment, since an image obtained by excluding an object outside the subject P from the X-ray image 71 is output, in addition to the effects of the first embodiment, , obstruction of interpretation by a doctor or the like due to an object outside the body of the subject P can be reduced.

なお、本実施形態においては、Ｘ線診断装置３００は、第１の実施形態と同様の構成を備えるものとしたが、第２の実施形態と同様の構成を備えるものとしても良い。また、本実施形態においても、第２の実施形態と同様に、学習フェーズおよび運用フェーズにおいてカメラ画像を用いるものとしても良い。 In this embodiment, the X-ray diagnostic apparatus 300 has the same configuration as in the first embodiment, but may have the same configuration as in the second embodiment. Also in this embodiment, as in the second embodiment, camera images may be used in the learning phase and the operation phase.

（変形例１）
上述の第１～第３の実施形態においては、Ｘ線画像処理装置１００の抽出機能１５２が学習済みモデルを生成するものとしたが、Ｘ線画像処理装置１００は、他の装置において予め生成された学習済みモデルを取得するものとしても良い。 (Modification 1)
In the first to third embodiments described above, the extraction function 152 of the X-ray image processing apparatus 100 generates a trained model. It is also possible to acquire a trained model that has already been trained.

当該構成を採用する場合、Ｘ線画像処理装置１００の抽出機能１５２は、他の装置から取得した学習済みモデルを記憶回路１２０に保存する。この場合、記憶回路１２０から学習済みモデルを読み込んで処理を実行する。あるいは、Ｘ線画像処理装置１００の抽出機能１５２は、他の装置において予め生成された学習済みモデルが予め組み込まれているものとしても良い。 When adopting this configuration, the extraction function 152 of the X-ray image processing apparatus 100 stores a learned model acquired from another apparatus in the storage circuit 120 . In this case, the learned model is read from the storage circuit 120 and the processing is executed. Alternatively, the extraction function 152 of the X-ray image processing apparatus 100 may be preloaded with a trained model generated in advance in another apparatus.

また、Ｘ線画像処理装置１００の抽出機能１５２とは異なる機能が学習済みモデルを生成するものとしても良い。例えば、Ｘ線画像処理装置１００は、学習フェーズにおける抽出機能１５２の機能として説明した機能を実現する機能を、学習機能として別途備えるものとしても良い。 Also, a function different from the extraction function 152 of the X-ray image processing apparatus 100 may generate the learned model. For example, the X-ray image processing apparatus 100 may additionally include, as a learning function, a function that implements the function described as the function of the extraction function 152 in the learning phase.

なお、学習済みモデルは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されても良い。 Note that the trained model may be constructed by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

（変形例２）
また、上述の第１～第３の実施形態におけるＸ線画像処理装置１００が実現した機能を、Ｘ線診断装置３００が実現するものとしても良い。例えば、Ｘ線診断装置３００のコンソール装置３０が、図１に示したＸ線画像処理装置１００の処理回路１５０の各構成（取得機能１５１、抽出機能１５２、出力機能１５３）を備えるものとしても良い。あるいは、図１に示すＸ線診断装置３００とＸ線画像処理装置１００とを総称して、Ｘ線診断装置と称しても良い。 (Modification 2)
Also, the functions realized by the X-ray image processing apparatus 100 in the first to third embodiments described above may be realized by the X-ray diagnostic apparatus 300. FIG. For example, the console device 30 of the X-ray diagnostic apparatus 300 may include each configuration (acquisition function 151, extraction function 152, output function 153) of the processing circuit 150 of the X-ray image processing apparatus 100 shown in FIG. . Alternatively, the X-ray diagnostic apparatus 300 and the X-ray image processing apparatus 100 shown in FIG. 1 may be collectively referred to as an X-ray diagnostic apparatus.

（変形例３）
上述の第１～第３の実施形態においては、Ｘ線診断装置３００を図２に示したように固定型のＸ線一般撮影装置としたが、Ｘ線診断装置３００は、回診車等の移動型Ｘ線撮像装置であっても良い。 (Modification 3)
In the first to third embodiments described above, the X-ray diagnostic apparatus 300 is a fixed general X-ray imaging apparatus as shown in FIG. It may be a type X-ray imaging device.

以上説明した少なくとも１つの実施形態によれば、Ｘ線画像７１に映り込んだ物体が被検体Ｐの体外と体内のいずれに位置するかを判別可能にすることができる。 According to at least one embodiment described above, it is possible to determine whether the object reflected in the X-ray image 71 is located outside or inside the subject P.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.

８ａ，８ｂ第１の物体
９第２の物体
１０撮影装置
１６赤外線カメラ
３０コンソール装置
５１，５１ａ～５１ｎ学習用Ｘ線画像
５２，５２ａ～５２ｎ学習用カメラ画像
６１，６１ａ～６１ｎ，１０６１，１０６１ａ～１０６１ｎ教師データ
７１Ｘ線画像
７２カメラ画像
８１，１０８１第１の出力データ
９１第２の出力データ
１００Ｘ線画像処理装置
１１０Ｉ／Ｆ回路
１２０記憶回路
１３０入力回路
１４０ディスプレイ
１５０処理回路
１５１取得機能
１５２抽出機能
１５３出力機能
２００ネットワーク
３００Ｘ線診断装置
４００Ｘ線画像保管装置
Ｐ被検体 8a, 8b First object 9 Second object 10 Imaging device 16 Infrared camera 30 Console device 51, 51a-51n Learning X-ray images 52, 52a-52n Learning camera images 61, 61a-61n, 1061, 1061a- 1061n Teacher data 71 X-ray image 72 Camera image 81, 1081 First output data 91 Second output data 100 X-ray image processing device 110 I/F circuit 120 Storage circuit 130 Input circuit 140 Display 150 Processing circuit 151 Acquisition function 152 Extraction function 153 Output function 200 Network 300 X-ray diagnosis device 400 X-ray image storage device P Subject

Claims

被検体がＸ線撮影された画像であるＸ線画像を取得する取得部と、
前記Ｘ線画像と前記Ｘ線画像に映り込んだ物体が前記被検体の体外と体内のいずれに位置するかを表す判別情報との対応関係を示す対応情報に基づいて、取得した前記Ｘ線画像に対応する前記判別情報を抽出する抽出部と、
前記判別情報に基づく出力情報を出力する出力部と、
を備えるＸ線画像処理装置。 an acquisition unit that acquires an X-ray image that is an X-ray image of a subject;
The X-ray image acquired based on correspondence information indicating a correspondence relationship between the X-ray image and determination information indicating whether the object reflected in the X-ray image is located outside or inside the body of the subject. an extraction unit for extracting the discrimination information corresponding to
an output unit that outputs output information based on the discrimination information;
An X-ray image processing apparatus comprising:

前記出力部は、前記判別情報を前記Ｘ線画像に付与した前記出力情報を出力する、
請求項１に記載のＸ線画像処理装置。 The output unit outputs the output information obtained by adding the discrimination information to the X-ray image.
The X-ray image processing apparatus according to claim 1.

前記判別情報は、前記Ｘ線画像に映り込んだ物体のうち前記被検体の体外に位置する物体を黒色で表示し、背景画像および前記被検体の体内に位置する物体は表示しない２値画像であり、
前記出力情報は、前記２値画像を前記Ｘ線画像に重畳した画像である、
請求項２に記載のＸ線画像処理装置。 The discrimination information is a binary image in which an object positioned outside the body of the subject among the objects reflected in the X-ray image is displayed in black, and a background image and an object positioned inside the body of the subject are not displayed. can be,
The output information is an image obtained by superimposing the binary image on the X-ray image.
The X-ray image processing apparatus according to claim 2.

前記出力部は、取得した前記Ｘ線画像から前記被検体の体外にある物体を除外した画像を出力する、
請求項１に記載のＸ線画像処理装置。 The output unit outputs an image obtained by excluding an object outside the body of the subject from the acquired X-ray image.
The X-ray image processing apparatus according to claim 1.

前記取得部は、さらに、前記被検体がカメラによって撮像されたカメラ画像を取得し、
前記抽出部は、前記Ｘ線画像および前記カメラ画像に基づいて、取得した前記Ｘ線画像に対応する前記判別情報を抽出する、
請求項１から４のいずれか１項に記載のＸ線画像処理装置。 The acquisition unit further acquires a camera image of the subject captured by a camera,
The extraction unit extracts the discrimination information corresponding to the acquired X-ray image based on the X-ray image and the camera image.
The X-ray image processing apparatus according to any one of claims 1 to 4.

前記カメラ画像は、前記Ｘ線画像の撮像時におけるＸ線の照射範囲と同じ範囲が撮像された画像である、
請求項５に記載のＸ線画像処理装置。 The camera image is an image obtained by imaging the same range as the X-ray irradiation range at the time of imaging the X-ray image.
The X-ray image processing apparatus according to claim 5.

前記対応情報は、Ｘ線画像と前記Ｘ線画像に映り込んだ物体が前記被検体の体外と体内のいずれに位置するかを表す教師データとに基づいて、前記Ｘ線画像と前記判別情報との対応関係を示す学習済みモデルである、
請求項１から４のいずれか１項に記載のＸ線画像処理装置。 The correspondence information is based on the X-ray image and teacher data indicating whether the object reflected in the X-ray image is located outside or inside the subject's body, and is based on the X-ray image and the determination information. A trained model that shows the correspondence between
The X-ray image processing apparatus according to any one of claims 1 to 4.

前記抽出部は、前記Ｘ線画像と、前記教師データとに基づいて、前記Ｘ線画像と前記判別情報との対応関係を学習することによって、前記学習済みモデルを生成する、
請求項７に記載のＸ線画像処理装置。 The extraction unit generates the learned model by learning a correspondence relationship between the X-ray image and the discrimination information based on the X-ray image and the teacher data.
The X-ray image processing apparatus according to claim 7.

前記対応情報は、Ｘ線画像と、カメラ画像と、前記Ｘ線画像に映り込んだ物体が前記被検体の体外と体内のいずれに位置するかを表す教師データとに基づいて、前記Ｘ線画像と前記判別情報との対応関係を示す学習済みモデルである、
請求項５または６に記載のＸ線画像処理装置。 The correspondence information is the X-ray image based on the X-ray image, the camera image, and teacher data indicating whether the object reflected in the X-ray image is located outside or inside the subject. is a trained model showing the correspondence relationship between and the discrimination information,
The X-ray image processing apparatus according to claim 5 or 6.

前記抽出部は、前記Ｘ線画像と、前記カメラ画像と、前記教師データとに基づいて、前記Ｘ線画像と前記判別情報との対応関係を学習することによって、前記学習済みモデルを生成する、
請求項９に記載のＸ線画像処理装置。 The extraction unit generates the learned model by learning a correspondence relationship between the X-ray image and the discrimination information based on the X-ray image, the camera image, and the teacher data.
The X-ray image processing apparatus according to claim 9.

被検体がＸ線撮影された画像であるＸ線画像を取得する取得部と、
前記Ｘ線画像と前記Ｘ線画像に映り込んだ物体が前記被検体の体外と体内のいずれに位置するかを表す判別情報との対応関係を示す対応情報に基づいて、取得した前記Ｘ線画像に対応する前記判別情報を抽出する抽出部と、
前記抽出部によって抽出された前記判別情報に基づく出力情報を出力する出力部と、
を備えるＸ線診断装置。 an acquisition unit that acquires an X-ray image that is an X-ray image of a subject;
The X-ray image acquired based on correspondence information indicating a correspondence relationship between the X-ray image and determination information indicating whether the object reflected in the X-ray image is located outside or inside the body of the subject. an extraction unit for extracting the discrimination information corresponding to
an output unit that outputs output information based on the discrimination information extracted by the extraction unit;
An X-ray diagnostic device comprising:

被検体がＸ線撮影された画像であるＸ線画像を取得し、
前記Ｘ線画像と前記Ｘ線画像に映り込んだ物体が前記被検体の体外と体内のいずれに位置するかを表す判別情報との対応関係を示す対応情報に基づいて、取得した前記Ｘ線画像に対応する前記判別情報を抽出し、
抽出された前記判別情報に基づく出力情報を出力する、
各処理をコンピュータに実行させるＸ線画像処理プログラム。 Acquiring an X-ray image that is an X-ray image of the subject,
The X-ray image acquired based on correspondence information indicating a correspondence relationship between the X-ray image and determination information indicating whether the object reflected in the X-ray image is located outside or inside the body of the subject. Extract the discrimination information corresponding to
outputting output information based on the extracted discrimination information;
An X-ray image processing program that causes a computer to execute each process.