JP7360651B2 - Medical image processing device, medical image processing program, and medical image processing method - Google Patents
Medical image processing device, medical image processing program, and medical image processing method Download PDFInfo
- Publication number
- JP7360651B2 JP7360651B2 JP2019180231A JP2019180231A JP7360651B2 JP 7360651 B2 JP7360651 B2 JP 7360651B2 JP 2019180231 A JP2019180231 A JP 2019180231A JP 2019180231 A JP2019180231 A JP 2019180231A JP 7360651 B2 JP7360651 B2 JP 7360651B2
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- tissue
- image processing
- mixing ratio
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000003672 processing method Methods 0.000 title claims 2
- 239000000203 mixture Substances 0.000 claims description 61
- 210000001519 tissue Anatomy 0.000 description 94
- 230000006870 function Effects 0.000 description 56
- 210000002216 heart Anatomy 0.000 description 38
- 210000004185 liver Anatomy 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 210000004165 myocardium Anatomy 0.000 description 4
- 230000002861 ventricular Effects 0.000 description 4
- 229940079593 drug Drugs 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000002639 bone cement Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、医用画像処理装置、医用画像処理プログラム、及び教師データ作成方法に関する。 Embodiments of the present invention relate to a medical image processing device, a medical image processing program, and a teacher data creation method.
被検体を撮影して得た医用画像を入力データとし、当該医用画像に含まれる組織境界を正解データとして与えて学習させることで、処理対象の医用画像に含まれる組織境界を自動で抽出する学習済みモデルが存在する。 Learning that automatically extracts tissue boundaries included in the medical image to be processed by using a medical image obtained by photographing a subject as input data and giving the tissue boundaries included in the medical image as correct data for learning. A completed model exists.
しかし、例えば医用画像の解像度が低い場合、組織境界が不明瞭であるため境界付近で組織どうしが重複して描出されることが多く、正解データ作成時に正確な組織境界を定義しにくい。よって、組織境界が不明瞭な医用画像を入力データとし、当該医用画像に含まれる不正確な組織境界を正解データとして与えて学習させた学習済みモデルでは、処理対象の医用画像に含まれる組織境界を不正確に抽出する可能性がある。 However, for example, when the resolution of a medical image is low, tissue boundaries are unclear and tissues are often depicted overlapping each other near the boundaries, making it difficult to define accurate tissue boundaries when creating correct answer data. Therefore, in a trained model that is trained by using a medical image with unclear tissue boundaries as input data and giving inaccurate tissue boundaries included in the medical image as correct data, the tissue boundaries included in the medical image to be processed are may be extracted inaccurately.
本発明が解決しようとする課題は、組織境界を正確に定義することである。 The problem that the present invention seeks to solve is to accurately define tissue boundaries.
本実施形態に係る医用画像処理装置は、適用部を具備する。適用部は、医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する。 The medical image processing apparatus according to this embodiment includes an application section. The application section takes a medical image as input data and applies a trained model that has learned the mixture ratio of a plurality of tissue types included in the medical image as correct data to the medical image to be processed. A mixing ratio of the plurality of tissue types included in the medical image is calculated.
以下、図面を参照しながら本実施形態に係る医用画像処理装置、医用画像処理プログラム、及び教師データ作成方法について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。以下、一実施形態について図面を用いて説明する。 Hereinafter, a medical image processing apparatus, a medical image processing program, and a teacher data creation method according to the present embodiment will be described with reference to the drawings. In the following embodiments, parts with the same reference numerals perform similar operations, and redundant explanations will be omitted as appropriate. Hereinafter, one embodiment will be described using the drawings.
(第1の実施形態)
第1の実施形態に係る医用画像処理装置の構成の一例について図1を参照して説明する。
図1に示す医用画像処理装置1は、処理回路2、メモリ3、ディスプレイ4、入力インターフェース5、及び通信インターフェース6から構成される。処理回路2、メモリ3、ディスプレイ4、入力インターフェース5、及び通信インターフェース6は、例えばバスを介して互いに通信可能に接続されている。
(First embodiment)
An example of the configuration of a medical image processing apparatus according to the first embodiment will be described with reference to FIG. 1.
A medical image processing apparatus 1 shown in FIG. 1 is comprised of a processing circuit 2, a memory 3, a display 4, an input interface 5, and a communication interface 6. The processing circuit 2, memory 3, display 4, input interface 5, and communication interface 6 are communicably connected to each other via, for example, a bus.
処理回路2は、入力インターフェース5から出力された入力操作の電気信号に応じて医用画像処理装置1全体の動作を制御する。例えば、処理回路2は、ハードウェア資源としてCPU、GPU等のプロセッサを有する。処理回路2は、プロセッサを介してメモリ3に展開されたプログラムを実行することで、各機能(取得機能21、適用機能22、表示機能23)を実現する。なお、各機能は単一のプロセッサによる処理回路で実現される場合に限らない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現してもよい。 The processing circuit 2 controls the overall operation of the medical image processing apparatus 1 according to the electrical signal of the input operation output from the input interface 5. For example, the processing circuit 2 has a processor such as a CPU or GPU as a hardware resource. The processing circuit 2 implements each function (acquisition function 21, application function 22, display function 23) by executing a program developed in the memory 3 via the processor. Note that each function is not limited to the case where it is realized by a processing circuit using a single processor. For example, a processing circuit may be configured by combining a plurality of independent processors, and each function may be realized by each processor executing a program.
取得機能21は、医用画像を取得する。医用画像としては、X線画像やX線CT(Computed Tomography)画像、MR(Magnetic Resonance)画像、超音波画像、核医学画像等の各種医用画像診断装置により生成される如何なる画像でもよい。また、医用画像としては、上記のオリジナルの医用画像にボリュームレンダリング処理や画素値投影処理(MIP(Maximum Intensity Projection)やMinIP(Minimum Intensity Projection)、画素値加算処理等)を施すことにより生成されるレンダリング画像でもよい。また、医用画像としては、上記の医用画像に各種の解析処理を施すことにより生成される解析画像でもよい。また、医用画像としては、各種医用画像診断装置が行う位置決めスキャンにより生成される位置決め画像でもよい。 The acquisition function 21 acquires medical images. The medical image may be any image generated by various medical image diagnostic devices such as an X-ray image, an X-ray CT (Computed Tomography) image, an MR (Magnetic Resonance) image, an ultrasound image, or a nuclear medicine image. In addition, medical images are generated by performing volume rendering processing and pixel value projection processing (MIP (Maximum Intensity Projection), MinIP (Minimum Intensity Projection), pixel value addition processing, etc.) on the above-mentioned original medical image. It may also be a rendered image. Further, the medical image may be an analysis image generated by performing various analysis processes on the above-mentioned medical image. Further, the medical image may be a positioning image generated by a positioning scan performed by various medical image diagnostic apparatuses.
適用機能22は、医用画像を入力データとし、医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、処理対象の医用画像に含まれる複数の組織種別の混合率を計算する。なお、混合率とは、複数の組織種それぞれの含有率又は含有確率の総称を指す。混合率は、例えば医用画像の全体領域又は関心領域の各画素について計算される。混合率の空間的な分布を示す画像、換言すれば、各画素又は各解剖学的領域に混合率が割り当てられた画像を混合率マップと呼ぶことにする。 The application function 22 takes a medical image as input data and applies a trained model that has learned the mixture ratio of multiple tissue types included in the medical image as correct data to the medical image to be processed. Calculate the mixing ratio of multiple tissue types included in an image. Note that the mixing rate refers to a general term for the content rate or content probability of each of a plurality of tissue types. The mixing ratio is calculated for each pixel of the entire region of the medical image or the region of interest, for example. An image showing a spatial distribution of mixing ratios, in other words, an image in which a mixing ratio is assigned to each pixel or each anatomical region is called a mixing ratio map.
表示機能23は、種々の情報を表示する。例えば、表示機能23は、混合率マップをディスプレイ4上に表示する。 The display function 23 displays various information. For example, the display function 23 displays the mixture ratio map on the display 4.
メモリ3は、種々の情報を記憶する。メモリ3は、例えばハードウェア資源としてRAM(Random Access Memory)等の半導体メモリ素子を有する。また、メモリ3は、ハードディスク、光学ディスク(CD、DVD、Blu-ray(登録商標) Disc、Ultra HD Blu-ray(登録商標))、フラッシュメモリ(USBフラッシュメモリ、メモリカード、SSD)、磁気テープ等の外部記憶媒体との間で情報を読み書きする駆動装置であってもよい。さらに、メモリ3の記憶領域は、医用画像処理装置1にあってもよいし、外部記憶媒体にあってもよい。 Memory 3 stores various information. The memory 3 includes, for example, a semiconductor memory element such as a RAM (Random Access Memory) as a hardware resource. In addition, the memory 3 includes a hard disk, optical disk (CD, DVD, Blu-ray (registered trademark) Disc, Ultra HD Blu-ray (registered trademark)), flash memory (USB flash memory, memory card, SSD), magnetic tape It may also be a drive device that reads and writes information to and from an external storage medium such as a computer. Furthermore, the storage area of the memory 3 may be located in the medical image processing apparatus 1 or may be located in an external storage medium.
ディスプレイ4は、種々の情報を表示する。ディスプレイ4としては、ブラウン管(CRT:Cathode Ray Tube)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)、プラズマディスプレイ、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)、タブレット端末等の任意のディスプレイが使用可能である。 Display 4 displays various information. As the display 4, any display such as a cathode ray tube (CRT) display, a liquid crystal display (LCD), a plasma display, an organic electroluminescence display (OELD), a tablet terminal, etc. is used. It is possible.
入力インターフェース5は、操作者からの各種入力を受け付け、受け付けた入力を電気信号に変換して処理回路2に出力する。入力インターフェース5として、例えばマウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチパネルディスプレイ等の物理的な操作部品が使用可能である。これらに限らず、医用画像処理装置1とは別体に設けられた外部の入力装置から入力を受け付け、受け付けた入力を電気信号に変換して処理回路2に出力する装置も、入力インターフェース5の例に含まれる。なお、入力インターフェース5の種類としては、GUI及びCUIが使用可能である。 The input interface 5 receives various inputs from an operator, converts the received inputs into electrical signals, and outputs the electrical signals to the processing circuit 2. As the input interface 5, physical operation components such as a mouse, keyboard, trackball, switch, button, joystick, touch pad, touch panel display, etc. can be used. Not limited to these, the input interface 5 may also be a device that receives input from an external input device provided separately from the medical image processing device 1, converts the received input into an electrical signal, and outputs it to the processing circuit 2. Included in the example. Note that as the type of input interface 5, GUI and CUI can be used.
通信インターフェース6は、有線又は無線により医用画像処理装置1とは別体に設けられた外部の装置及びシステムと情報を送受信する。通信インターフェース6と外部の装置及びシステムとの間では任意の通信規格が使用可能であるが、例えば、HL7(Health Level 7)及びDICOM(Digital Imaging and COmmunications in Medicine)が適宜、使用可能である。 The communication interface 6 transmits and receives information to and from external devices and systems provided separately from the medical image processing apparatus 1 by wire or wirelessly. Any communication standard can be used between the communication interface 6 and external devices and systems, and for example, HL7 (Health Level 7) and DICOM (Digital Imaging and COmmunications in Medicine) can be used as appropriate.
学習済みモデルの適用の一例について図2を参照して説明する。
学習済みモデルは、複数の調整可能な関数及びパラメータ(重み付け行列又はバイアス)の組合せにより定義されるパラメータ付き合成関数を含む。学習済みモデルのネットワーク構成は、入力層、中間層、及び出力層を有する多層のネットワークモデル(DNN:Deep Neural Network)により実現されるとよい。学習済みモデルは、プログラムとして実装されてもよいし、ASIC等のプロセッサに物理的に実装されてもよい。
An example of application of the learned model will be described with reference to FIG. 2.
The trained model includes a parameterized composite function defined by a combination of multiple tunable functions and parameters (weighting matrices or biases). The network configuration of the trained model may be realized by a multilayer network model (DNN: Deep Neural Network) having an input layer, a hidden layer, and an output layer. The learned model may be implemented as a program or may be physically implemented on a processor such as an ASIC.
図2に示す学習済みモデルは、医用画像を入力として、当該医用画像に含まれる複数の組織種別の混合率を出力する。具体的には、当該医用画像に含まれる各画素について、当該画素に含まれると推定される人体組織の混合率が出力される。なお、人体組織の混合率とは一例であり、例えば人体組織と薬剤との混合率であったり、人体組織である骨と人工的な注入物である骨セメントとの混合率であってもよい。あるいは、右室心筋と左室心筋との境界面における、右室心筋と左室心筋との混合率のような、組織種別の種別としては同一ではあるものの当該組織内で属する部位が異なる場合の混合率であってもよい。本実施形態において対象領域におけるAとBとの混合率と呼ぶとき、この混合率は、対象領域中にある体積(もしくは面積)のうちどの程度Aが占有し、どの程度Bが占有しているかの比率を示す数値である。あるいは、対象領域中をAが占める確からしさと、Bが占める確からしさとの比率を示す数値であっても良い。以降本実施形態では、これらの種々の人体組織や薬剤、注入物どうしの混合率を総称して単に「混合率」と呼ぶ。出力の形態としては、画素ごとの混合率が数列として出力されてもよいし、医用画像に混合率が割り当てられた混合率マップが出力されてもよい。なお、混合率の計算対象となる領域は、医用画像の全ての領域でなくともよい。例えば、ユーザにより医用画像の一部範囲が指定された場合、当該範囲内に限定して混合率が計算されてもよい。 The trained model shown in FIG. 2 receives a medical image as input and outputs the mixture ratio of multiple tissue types included in the medical image. Specifically, for each pixel included in the medical image, the mixing ratio of human tissues estimated to be included in the pixel is output. Note that the mixing ratio of human tissue is just one example, and may be the mixing ratio of human tissue and a drug, or the mixing ratio of bone, which is human tissue, and bone cement, which is an artificial implant. . Or, when the tissue types are the same but the parts to which they belong differ, such as the mixing ratio of right ventricular myocardium and left ventricular myocardium at the interface between right ventricular myocardium and left ventricular myocardium. It may be a mixing ratio. In this embodiment, when we refer to the mixing ratio of A and B in the target area, this mixing ratio refers to how much of the volume (or area) in the target area is occupied by A and how much is occupied by B. This is a numerical value indicating the ratio of Alternatively, it may be a numerical value indicating the ratio between the probability that A occupies the target area and the probability that B occupies the target area. Hereinafter, in this embodiment, the mixing ratio of these various human tissues, medicines, and injectables will be collectively referred to simply as "mixing ratio." As for the output format, the mixing ratio for each pixel may be output as a numerical sequence, or a mixing ratio map in which mixing ratios are assigned to medical images may be output. Note that the area for which the mixing ratio is calculated does not have to be the entire area of the medical image. For example, when a partial range of a medical image is specified by the user, the mixing ratio may be calculated only within the specified range.
学習済みモデルの生成の一例について図3を参照して説明する。
図3に示す学習済みモデルは、医用画像処理装置1又は他のコンピュータにより生成される。学習済みモデルを生成する装置をモデル学習装置と呼ぶことにする。モデル学習装置は、多数の学習サンプルに基づいて多層ネットワークを学習させることにより学習済みモデルを生成する。図3に示すように、各学習サンプルは、入力データとしての医用画像と正解データとしての混合率とを含む。正解データとしての混合率は、出力の形態に応じて、画素ごとの混合率を示す数列でもよいし、医用画像に混合率が割り当てられた混合率マップでもよい。ここでは、正解データとしての混合率は混合率マップであるとする。
An example of generation of a trained model will be described with reference to FIG. 3.
The learned model shown in FIG. 3 is generated by the medical image processing apparatus 1 or another computer. A device that generates a trained model will be referred to as a model learning device. A model learning device generates a trained model by training a multilayer network based on a large number of training samples. As shown in FIG. 3, each learning sample includes a medical image as input data and a mixture rate as correct data. The mixture rate as the correct answer data may be a numerical sequence indicating the mixture rate for each pixel, or a mixture rate map in which the mixture rate is assigned to the medical image, depending on the output format. Here, it is assumed that the mixture rate as correct data is a mixture rate map.
モデル学習装置は、入力データとなる医用画像に多層ネットワークを適用して順伝播処理を行い、推定正解データとなる推定混合率マップを出力する。次に、推定混合率マップと正解データとなる混合率マップとの差分(誤差)に対して当該多層ネットワークを適用して逆伝播処理を行い、勾配ベクトルを計算する。続いて、勾配ベクトルに基づいて当該多層ネットワークの重み付け行列やバイアス等のパラメータを更新する。上記のように、入力データ及び正解データから成る多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することで、学習済みモデルが生成される。本実施形態において、学習済みモデルはメモリ3に記憶される。 The model learning device performs forward propagation processing by applying a multilayer network to medical images serving as input data, and outputs an estimated mixture ratio map serving as estimated correct data. Next, the multilayer network is applied to the difference (error) between the estimated mixture rate map and the mixture rate map serving as the correct data to perform backpropagation processing and calculate a gradient vector. Next, parameters such as the weighting matrix and bias of the multilayer network are updated based on the gradient vector. As described above, a trained model is generated by updating parameters by repeating forward propagation processing and back propagation processing for a large number of learning samples consisting of input data and ground truth data. In this embodiment, the learned model is stored in the memory 3.
第1の実施形態に係る医用画像処理装置の動作の一例について図4を参照して説明する。
ステップS401では、取得機能21が、医用画像を取得する。取得方法としては、通信インターフェース6を介して外部システムである医用画像管理システム(PACS:Picture Archiving and Communication Systems)から取得してもよい。
An example of the operation of the medical image processing apparatus according to the first embodiment will be described with reference to FIG. 4.
In step S401, the acquisition function 21 acquires a medical image. As an acquisition method, the information may be acquired from a medical picture archiving and communication system (PACS), which is an external system, via the communication interface 6.
ステップS402では、適用機能22が、メモリ3に記憶された学習済みモデルを当該医用画像に対して適用し、当該医用画像の画素ごとの混合率を計算する。上記の通り、学習済みモデルから、混合率が数列として出力されてもよいし、混合率マップが出力されてもよい。学習済みモデルから混合率が数列として出力される場合、適用機能22は、出力された混合率を対応する画素に割り当てることにより混合率マップを生成する。 In step S402, the application function 22 applies the learned model stored in the memory 3 to the medical image, and calculates the mixing ratio for each pixel of the medical image. As described above, the mixture rate may be output as a numerical sequence or a mixture rate map may be output from the learned model. When the mixture rate is output as a numerical sequence from the trained model, the application function 22 generates a mixture rate map by assigning the output mixture rate to the corresponding pixel.
ステップS403では、表示機能23が、混合率マップをディスプレイ4上に表示する。混合率マップでは、例えば医用画像上に含まれる領域が、当該領域の混合率に濃淡を対応させたグラデーションにより表示される。あるいは、医用画像中の特定の位置にカーソルを配置することで、カーソルが配置された領域における混合率を数値として割り当てたポップアップにより表示される。 In step S403, the display function 23 displays the mixture ratio map on the display 4. In the mixture ratio map, for example, a region included on a medical image is displayed using a gradation whose shading corresponds to the mixture ratio of the region. Alternatively, by placing a cursor at a specific position in a medical image, a pop-up will be displayed in which the mixing ratio in the area where the cursor is placed is assigned as a numerical value.
第1の実施形態に係る医用画像処理装置の処理結果の一例について図5を参照して説明する。
図5は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ500を示す図である。一般的に、位置決め画像は低線量で撮影されるため、組織境界が不明瞭である。さらに、被検体内部の器官や組織といった立体構造が平面に投射されるため、位置決め画像上では組織どうしが重複した混合領域が生じる。以下、説明の便宜上、心臓の下部と肝臓の上部が重複した混合領域を有する位置決め画像に対して処理を施した例を示す。また、図5に示す混合率マップ500の混合率の計算対象となる組織は、心臓及び肝臓であるとする。
An example of the processing results of the medical image processing apparatus according to the first embodiment will be described with reference to FIG. 5.
FIG. 5 is a diagram showing a mixture rate map 500 that defines a mixture rate for a positioning image that is an example of a medical image. Generally, positioning images are taken at low doses, so tissue boundaries are unclear. Furthermore, since three-dimensional structures such as organs and tissues inside the subject are projected onto a plane, a mixed region where tissues overlap occurs on the positioning image. Hereinafter, for convenience of explanation, an example will be shown in which processing is performed on a positioning image that has a mixed region where the lower part of the heart and the upper part of the liver overlap. Furthermore, it is assumed that the tissues for which the mixing ratio of the mixing ratio map 500 shown in FIG. 5 is calculated are the heart and the liver.
混合率マップ500の各画素には、組織種別の混合率及び混合率に応じた色値が割り当てられている。各画素の色値は、混合率と色値とを関連付けたカラーバーにより決定される。例えば、心臓と肝臓との二組織の混合が想定される画素に適用されるカラーバーについては、心臓「100%」かつ肝臓「0%」を表す画素の色値は「赤」、心臓「0%」かつ肝臓「100%」を表す画素の色値は「青」で定義され、その間は色値「赤」と色値「青」とのグラデーションで表される。この場合、混合率マップ500に含まれる心臓領域が赤、肝臓領域が青、両者の混合領域が紫で表示される。このように、各領域の混合率はグラデーションにより表示され、例えば混合領域のうち心臓領域に近い領域は赤寄りの紫で、肝臓領域に近い領域は青寄りの紫で表示される。 Each pixel of the mixture rate map 500 is assigned a mixture rate of the tissue type and a color value according to the mixture rate. The color value of each pixel is determined by a color bar that associates the mixing ratio with the color value. For example, for a color bar applied to a pixel where a mixture of two tissues, heart and liver, is assumed, the color value of a pixel representing heart "100%" and liver "0%" is "red" and heart "0%". The color value of the pixel representing "%" and liver "100%" is defined as "blue", and the color value between them is represented by a gradation between the color value "red" and the color value "blue". In this case, the heart region included in the mixture ratio map 500 is displayed in red, the liver region in blue, and the mixed region of both in purple. In this way, the mixing ratio of each region is displayed using gradation; for example, among the mixed regions, a region close to the heart region is displayed in a reddish-purple color, and a region close to the liver region is displayed in a bluish-purple color.
さらに、混合率マップ500の各画素がカーソル501により指定されると、当該画素に割り当てられた混合率が数値で表示される。例えば、カーソル501により指定された画素の近傍にポップアップウィンドウ502が表示され、ポップアップウィンドウ502内に心臓及び肝臓の混合率が「心臓25%、肝臓75%」のように定量的に表示される。 Further, when each pixel of the mixture ratio map 500 is designated by the cursor 501, the mixture ratio assigned to the pixel is displayed as a numerical value. For example, a pop-up window 502 is displayed near the pixel specified by the cursor 501, and the mixture ratio of heart and liver is quantitatively displayed within the pop-up window 502, such as "heart 25%, liver 75%."
なお、上記の混合率の表示形態は一例である。例えば、上記のグラデーション表示とポップアップ表示との何れか一方により混合率が表示されてもよい。また、混合率マップに並列して元の医用画像が同一のディスプレイ又は他のディスプレイに表示されてもよい。 Note that the above display format of the mixing ratio is an example. For example, the mixing ratio may be displayed using either the gradation display or the pop-up display described above. Also, the original medical image may be displayed on the same display or on another display in parallel to the mixture ratio map.
なお、学習済みモデルを適用することで出力された混合率マップに対して、適用機能22が、混合率に基づいて組織の体積を計算してもよい。このとき、混合率に含まれる各組織の含有率又は含有確率を加味して計算する。例えば、肝臓中にがんがある場合に、がん組織と肝臓組織との混合率マップを作成して体積を計算する場合を想定する。この場合、切除対象となるがん細胞の体積を計算する際には、混合率を求めた結果、少しでもがん細胞が含まれる領域であれば当該領域を加えて切除対象の体積を算出してもよい。 Note that the application function 22 may calculate the tissue volume based on the mixture ratio map output by applying the learned model. At this time, the content rate or the content probability of each tissue included in the mixing rate is taken into account for calculation. For example, assume that there is cancer in the liver and the volume is calculated by creating a mixing ratio map of cancer tissue and liver tissue. In this case, when calculating the volume of cancer cells to be resected, if the mixture ratio is determined and the area contains even a small amount of cancer cells, that area is added to calculate the volume to be resected. It's okay.
以上示した第1の実施形態によれば、混合率を使用することにより組織境界を正確に定義することができる。さらに、混合率を使用することで、例えば注釈者が組織境界付近の画素の混合率を参照することができる。これにより、境界付近の画素について、画像解像度の限界で画素値によっては組織の区分が明確でない場合であっても、各画素についてどの組織がどの程度含まれているかを判断でき、セグメンテーションの精度が向上する。 According to the first embodiment described above, tissue boundaries can be accurately defined by using the mixing ratio. Furthermore, by using the mixing ratio, for example, an annotator can refer to the mixing ratio of pixels near tissue boundaries. As a result, it is possible to judge which tissue is included in each pixel and to what extent, even if the tissue division is not clear depending on the pixel value due to the limit of image resolution for pixels near the boundary, and the accuracy of segmentation is improved. improves.
(第2の実施形態)
第1の実施形態に係る医用画像処理装置は、学習済みモデルを適用することで医用画像に含まれる混合率を計算した。第2の実施形態に係る医用画像処理装置は、学習済みモデルの生成に用いる正解データを生成する。以下、第2の実施形態に係る医用画像処理装置について説明する。
(Second embodiment)
The medical image processing apparatus according to the first embodiment calculated the mixture rate included in the medical image by applying the learned model. The medical image processing apparatus according to the second embodiment generates correct data used to generate a trained model. A medical image processing apparatus according to a second embodiment will be described below.
第2の実施形態に係る医用画像処理装置の構成の一例について図6を参照して説明する。
図6に示す医用画像処理装置61は、処理回路62、メモリ63、ディスプレイ64、入力インターフェース65、及び通信インターフェース66から構成される。なお、以下の説明において、第1の実施形態と略同一の機能を有する構成要素については、必要な場合にのみ重複説明する。
An example of the configuration of a medical image processing apparatus according to the second embodiment will be described with reference to FIG. 6.
The medical image processing device 61 shown in FIG. 6 is composed of a processing circuit 62, a memory 63, a display 64, an input interface 65, and a communication interface 66. In the following description, components having substantially the same functions as those in the first embodiment will be described repeatedly only when necessary.
処理回路62は、取得機能621、設定機能622、計算機能623、及び表示機能624を有する。なお、取得機能621及び表示機能624は、第1の実施形態に係る取得機能21及び表示機能24と同様の動作を行うため、説明は省略する。 The processing circuit 62 has an acquisition function 621, a setting function 622, a calculation function 623, and a display function 624. Note that the acquisition function 621 and the display function 624 operate in the same manner as the acquisition function 21 and the display function 24 according to the first embodiment, so a description thereof will be omitted.
設定機能622は、医用画像に含まれる複数の組織領域と複数の組織領域が重複する混合領域とを設定する。 The setting function 622 sets a plurality of tissue regions included in the medical image and a mixed region where the plurality of tissue regions overlap.
計算機能623は、複数の組織領域の画素値に基づいて、混合領域に含まれる複数の組織種別の混合率を計算する。 The calculation function 623 calculates the mixing ratio of the plurality of tissue types included in the mixed region based on the pixel values of the plurality of tissue regions.
第2の実施形態に係る医用画像処理装置の動作の一例について図7を参照して説明する。
ステップS701では、取得機能621が、医用画像を取得する。ここで取得される医用画像は、正解データである混合率の計算対象となる医用画像である。
An example of the operation of the medical image processing apparatus according to the second embodiment will be described with reference to FIG. 7.
In step S701, the acquisition function 621 acquires a medical image. The medical image acquired here is the medical image that is the target of calculation of the mixture ratio, which is correct data.
ステップS702では、設定機能622が、医用画像に含まれる複数の組織領域と複数の組織領域が重複する混合領域とを設定する。このとき、医用画像処理装置61を利用するユーザである、例えば医療従事者が入力インターフェース5を介して入力した指示を受け付けて設定する。ユーザは取得された医用画像をディスプレイ4で確認することで、任意の組織が含まれると判断した組織領域をそれぞれ着色する。着色された領域はアノテーションとも呼ばれる。続けて、ユーザは任意の組織領域どうしが重複していると判断した混合領域を着色する。なお、着色することに限らず、組織領域を囲むなど、複数の組織領域及び混合領域それぞれの領域が医用画像上で明確に区別して定義される態様であればよい。 In step S702, the setting function 622 sets a plurality of tissue regions included in the medical image and a mixed region where the plurality of tissue regions overlap. At this time, instructions inputted via the input interface 5 by a user who uses the medical image processing apparatus 61, such as a medical worker, are accepted and set. By checking the acquired medical image on the display 4, the user colors each tissue region determined to include a given tissue. The colored areas are also called annotations. Next, the user colors a mixed region where arbitrary tissue regions are determined to overlap. It should be noted that the present invention is not limited to coloring, and may be in any manner as long as a plurality of tissue regions and mixed regions are clearly defined on the medical image, such as by surrounding the tissue region.
なお、上記のように組織領域及び混合領域を手動で設定する場合に限らない。例えば、組織領域を手動で着色し、組織領域どうしが重複した領域を処理回路62が判定することで、自動で混合領域を設定してもよい。あるいは、任意の領域を抽出する学習済みモデルを利用することで、組織領域及び混合領域を自動で設定してもよい。また、着色には医用画像上に上書きできる限り、任意のペイントソフトウェアが使用可能である。 Note that the present invention is not limited to the case where the tissue region and the mixed region are manually set as described above. For example, the mixed region may be automatically set by manually coloring the tissue regions and having the processing circuit 62 determine the regions where the tissue regions overlap. Alternatively, the tissue region and the mixed region may be automatically set by using a learned model that extracts arbitrary regions. Further, any paint software can be used for coloring as long as it can be overwritten on the medical image.
ステップS703では、計算機能623が、複数の組織領域及び混合領域それぞれの画素値を計算する。画素値としては、各画素に割り当てられたCT値や階調値、不透明度等の如何なる値でもよい。ここでは、例えば画素値としてCT値が使用されるとする。例えば、計算機能623は着色した複数の組織領域及び混合領域それぞれに含まれるCT値の平均値を計算する。計算には、例えば当該領域に含まれる全ての画素が持つ合計のCT値を、画素数で除すればよい。 In step S703, the calculation function 623 calculates pixel values for each of the plurality of tissue regions and mixed regions. The pixel value may be any value such as a CT value, gradation value, or opacity assigned to each pixel. Here, it is assumed that, for example, a CT value is used as a pixel value. For example, the calculation function 623 calculates the average value of CT values included in each of the plurality of colored tissue regions and mixed regions. For calculation, for example, the total CT value of all pixels included in the region may be divided by the number of pixels.
これに限らず、当該領域に含まれる画素値のうち最大値、中央値、最小値等を適宜、使用してもよい。例えば、組織領域と混合領域とが接する境界領域にある複数の画素について、当該複数の画素が持つ画素値のうち最大値、中央値、最小値等を当該領域における代表の画素値として使用してもよい。 The present invention is not limited to this, and among the pixel values included in the area, the maximum value, median value, minimum value, etc. may be used as appropriate. For example, for a plurality of pixels in a boundary region where a tissue region and a mixed region touch, the maximum value, median value, minimum value, etc. of the pixel values of the plurality of pixels are used as the representative pixel value in the region. Good too.
ステップS704では、計算機能623が、複数の組織領域の画素値に基づいて、混合領域に含まれる複数の組織種別の混合率を計算する。すなわち、複数の組織領域それぞれの画素値を重み付けとして、混合領域の混合率を計算する。例えば、混合領域の画素値と組織領域の画素値との差分が小さい当該組織の混合率を高くする一方、当該差分が大きい組織の混合率を低くすればよい。 In step S704, the calculation function 623 calculates the mixing ratio of the plurality of tissue types included in the mixed region based on the pixel values of the plurality of tissue regions. That is, the mixing ratio of the mixed area is calculated by weighting the pixel values of each of the plurality of tissue areas. For example, it is sufficient to increase the mixing ratio of tissues in which the difference between the pixel values of the mixed region and the pixel values of the tissue region is small, while lowering the mixing ratio of tissues in which the difference is large.
なお、混合領域でない組織領域についても、混合率を計算してもよい。このとき、組織領域の混合率は、当該組織については100%、他の組織については0%のようにすればよい。 Note that the mixing ratio may also be calculated for tissue regions that are not mixed regions. At this time, the mixing ratio of the tissue regions may be set to 100% for the tissue concerned and 0% for other tissues.
ステップS705では、表示機能624が、混合率マップを表示する。なお、混合領域でない組織領域についても混合率を計算した場合は、当該組織領域の混合率も含めて表示してもよい。ここで、医用画像と混合率とは互いに関連付けて管理される。医用画像と混合率との組み合わせは学習サンプルとしてモデル学習装置に供給される。 In step S705, the display function 624 displays the mixture ratio map. Note that when the mixing ratio is calculated for a tissue region that is not a mixed region, the mixing ratio of the tissue region may also be displayed. Here, the medical image and the mixing rate are managed in association with each other. The combination of the medical image and the mixing rate is supplied to the model learning device as a learning sample.
第2の実施形態に係る医用画像処理装置による処理結果の一例について図8を参照して説明する。
図8は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ800を示す図である。以下、混合率マップ800の作成に至るまでの処理を示す。
An example of processing results by the medical image processing apparatus according to the second embodiment will be described with reference to FIG. 8.
FIG. 8 is a diagram showing a mixture rate map 800 that defines a mixture rate for a positioning image that is an example of a medical image. The processing up to the creation of the mixture ratio map 800 will be described below.
まず、設定機能622が、組織領域の一例として心臓領域801及び肝臓領域802を、混合領域803をそれぞれ設定する。ここでは、説明の便宜上、心臓領域801、肝臓領域802、混合領域803の順に濃度が濃くなるように着色している。なお、濃度により領域を区別することに限らず、赤、青等で着色することにより領域を区別してもよい。 First, the setting function 622 sets a heart region 801, a liver region 802, and a mixed region 803 as examples of tissue regions. Here, for convenience of explanation, the heart region 801, the liver region 802, and the mixed region 803 are colored in the order of increasing density. Note that the regions are not limited to being distinguished by density, but may be distinguished by coloring with red, blue, or the like.
次に、計算機能623が、着色された各領域の画素値をそれぞれ計算する。計算の結果、例えば心臓領域801の平均の画素値が30、肝臓領域802の平均の画素値が50、混合領域803の平均の画素値が45であるとする。続いて、計算された各領域の画素値に基づいて、混合領域の混合率を計算する。例えば、混合領域の混合率は以下の数式で計算される。 Next, the calculation function 623 calculates the pixel value of each colored area. As a result of calculation, it is assumed that, for example, the average pixel value of the heart region 801 is 30, the average pixel value of the liver region 802 is 50, and the average pixel value of the mixed region 803 is 45. Next, the mixing ratio of the mixed area is calculated based on the calculated pixel values of each area. For example, the mixing ratio of the mixing area is calculated using the following formula.
X=100(c-b)/(a-b)、Y=100-X ・・・(1) X=100(c-b)/(ab), Y=100-X...(1)
数式(1)において、aは組織領域Aの平均の画素値、bは組織領域Bの平均の画素値、cは混合領域Cの平均の画素値、Xは混合領域Cにおける組織Aの含有率(%)、Yは混合領域Cにおける組織Bの含有率(%)である。なお、a≠bかつcはaとbとの間の値とする。 In formula (1), a is the average pixel value of tissue region A, b is the average pixel value of tissue region B, c is the average pixel value of mixed region C, and X is the content rate of tissue A in mixed region C. (%), Y is the content rate (%) of tissue B in the mixed region C. Note that a≠b and c is a value between a and b.
上式に代入すると、混合領域803の混合率は、心臓=25%、肝臓=75%と計算される。 Substituting into the above equation, the mixing ratio of the mixing region 803 is calculated as heart = 25% and liver = 75%.
次に、表示機能624が、計算された混合領域803の混合率「心臓25%、肝臓75%」を混合率マップ800上に表示する。ここでは、混合領域803を実線で参照したポップアップウィンドウ804内に混合率を数値で表示している。 Next, the display function 624 displays the calculated mixing ratio of the mixing region 803, “heart 25%, liver 75%” on the mixing ratio map 800. Here, the mixing ratio is displayed numerically in a pop-up window 804 that refers to the mixing area 803 with a solid line.
以上、第2の実施形態に係る医用画像処理装置による医用画像の処理結果を示したが、これに限らない。別の例では、ユーザが混合領域の混合率を手動で設定することも可能である。 Although the processing results of medical images by the medical image processing apparatus according to the second embodiment have been shown above, the results are not limited thereto. In another example, the user may manually set the mixing ratio of the mixing area.
第2の実施形態に係る医用画像処理装置の処理結果の別の例について図9を参照して説明する。
図9は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ900を示す図である。以下、混合率マップ900の作成に至るまでの処理を示す。
Another example of the processing results of the medical image processing apparatus according to the second embodiment will be described with reference to FIG. 9.
FIG. 9 is a diagram showing a mixture rate map 900 that defines a mixture rate for a positioning image that is an example of a medical image. The processing up to the creation of the mixture ratio map 900 will be described below.
まず、設定機能622が、任意の組織全体が含まれる領域を設定する。ここでは、組織の一例として心臓に着目し、心臓全体を含む領域である心臓領域マスク901を設定する。続いて、心臓領域マスク901内部に複数の小領域を設定する。ここでは、心臓のみが含まれる心臓領域902と、心臓及び肝臓が含まれる混合領域903とを設定する。 First, the setting function 622 sets an area that includes the entire arbitrary organization. Here, we focus on the heart as an example of tissue, and set a heart region mask 901 that is a region that includes the entire heart. Subsequently, a plurality of small regions are set inside the heart region mask 901. Here, a heart region 902 containing only the heart and a mixed region 903 containing the heart and liver are set.
次に、設定機能622が複数の小領域それぞれについて組織の含有率を設定する。このとき、ユーザである、例えば医師からの手動入力を受け付けて設定する。各小領域がどれだけ組織を含有しているかは、例えば医師が医用画像を確認することで目視により判断する。例えば、心臓領域902については心臓が100%、混合領域903については心臓が25%含まれると判断し、設定する。 Next, the setting function 622 sets the tissue content rate for each of the plurality of small regions. At this time, manual input from a user, for example a doctor, is accepted and set. How much tissue each small region contains is determined visually by a doctor, for example, by checking a medical image. For example, it is determined and set that the heart region 902 contains 100% of the heart, and the mixed region 903 contains 25% of the heart.
最後に、表示機能624が、設定された含有率を混合率マップ900上に表示する。ここでは、心臓領域902を実線で参照したポップアップウィンドウ904内に「心臓100%」、混合領域903を実線で参照したポップアップウィンドウ905内に「心臓25%」のように表示される。 Finally, the display function 624 displays the set content rate on the mixture rate map 900. Here, "Heart 100%" is displayed in a pop-up window 904 with reference to the heart region 902 as a solid line, and "Heart 25%" is displayed in a pop-up window 905 with reference to the mixed region 903 as a solid line.
以上の動作を他の組織に対しても同様に行うことで、当該組織内の複数の小領域についても含有率を設定する。このとき、任意の組織の小領域と他の組織の小領域とが重複した混合領域について、各組織の含有率をまとめて混合率として扱うことができる。 By performing the above operations similarly for other tissues, content rates are also set for a plurality of small regions within the tissues. At this time, for a mixed region in which a small region of a given tissue and a small region of another tissue overlap, the content rates of each tissue can be collectively treated as a mixed rate.
なお、本手法では各組織種に着目して含有率をそれぞれ定義するため、各組織種が重複した混合領域では含有率を足し合わせても100%に相当しない場合が想定される。このとき、含有率が100%を超える場合は、それぞれの含有率を100%に相当するように等倍することで100%に規格化するように計算してもよい。一方、含有率が100%に満たない場合は、それぞれの含有率の他に、他の組織が含まれると想定すればよい。 Note that in this method, since the content rate is defined by focusing on each tissue type, it is assumed that in a mixed region where each tissue type overlaps, the content rate may not add up to 100% even if the content rates are added together. At this time, if the content rate exceeds 100%, calculation may be performed such that each content rate is normalized to 100% by multiplying it by the same amount to correspond to 100%. On the other hand, if the content rate is less than 100%, it may be assumed that other structures are included in addition to each content rate.
また、手動で混合率を設定する場合、上記のように任意の組織領域のマスク内で当該組織の含有率を設定する方法に限られない。例えば、心臓領域、肝臓領域、及び混合領域のように3つの領域を設定した後に、混合領域について混合率を手動で設定してもよい。あるいは、医用画像上に存在する全ての領域についてそれぞれ混合率を手動で設定してもよい。さらに、設定された混合率は、ユーザ入力に基づいて変更されてもよい。 Further, when manually setting the mixing rate, the method is not limited to the method of setting the content rate of the tissue within a mask of an arbitrary tissue region as described above. For example, after setting three regions such as a heart region, a liver region, and a mixed region, the mixing ratio may be manually set for the mixed region. Alternatively, the mixing ratio may be manually set for all regions existing on the medical image. Furthermore, the set mixing ratio may be changed based on user input.
以上示した第2の実施形態によれば、複数の組織が混在すると推定される画素について、当該画素に混在すると推定される複数の組織の混合率を、画素値等に基づいて計算することができる。換言すれば、第1の実施形態に係る学習済みモデルの生成に使用する正解データを生成することができる。 According to the second embodiment described above, for a pixel in which a plurality of tissues are estimated to be mixed, it is possible to calculate the mixing ratio of the plurality of tissues estimated to be mixed in the pixel based on the pixel value etc. can. In other words, it is possible to generate correct data used to generate the trained model according to the first embodiment.
(第3の実施形態)
第2の実施形態に係る医用画像処理装置は、医用画像に含まれる混合領域の混合率を当該医用画像の画素値を利用して計算した。第3の実施形態に係る医用画像処理装置は、位置決め画像に含まれる混合領域の混合率を、当該位置決め画像に交差する断面に関する断層画像(再構成画像)を利用して計算する。以下、第3の実施形態に係る医用画像処理装置について説明する。なお、以下の説明において、第2の実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
(Third embodiment)
The medical image processing apparatus according to the second embodiment calculates the mixing ratio of a mixed area included in a medical image using pixel values of the medical image. The medical image processing apparatus according to the third embodiment calculates the mixing ratio of a mixed region included in a positioning image using a tomographic image (reconstructed image) regarding a cross section that intersects the positioning image. A medical image processing apparatus according to a third embodiment will be described below. In the following description, components having substantially the same functions as those in the second embodiment are denoted by the same reference numerals, and will be described repeatedly only when necessary.
第3の実施形態に係る医用画像処理装置の動作の一例について図10を参照して説明する。
ステップS1001では、取得機能621が、位置決め画像及び位置決め画像に対応する再構成画像を取得する。位置決め画像としては、X線画像やX線CT画像、MR画像、核医学画像等の各種医用画像診断装置により生成される画像が利用される。再構成画像としては、例えば、位置決め画像の生成後に行われる本撮像により得られる画像が用いられる。再構成画像の断面は、位置決め画像の投影面に対して交差する位置関係にある。
An example of the operation of the medical image processing apparatus according to the third embodiment will be described with reference to FIG. 10.
In step S1001, the acquisition function 621 acquires a positioning image and a reconstructed image corresponding to the positioning image. As the positioning image, images generated by various medical image diagnostic apparatuses such as an X-ray image, an X-ray CT image, an MR image, and a nuclear medicine image are used. As the reconstructed image, for example, an image obtained by main imaging performed after generation of the positioning image is used. The cross section of the reconstructed image is in a positional relationship that intersects with the projection plane of the positioning image.
ステップS1002では、設定機能622が、位置決め画像上において、混合率の計算対象となる画素を設定する。このとき、例えば医用画像処理装置1を利用するユーザが入力インターフェース5を介して入力した指示を受け付けて設定する。ユーザは、取得された位置決め画像をディスプレイ4で確認することで、位置決め画像上の混合領域内における任意の座標を設定する。このとき、例えば入力インターフェース5の一例であるマウスを介してディスプレイ4上でカーソルを動かし、任意の座標をクリックすることで設定してもよい。なお、任意の座標とは、1画素単位で設定できるようにしてもよいし、隣接する複数の画素をまとめたものであってもよい。 In step S1002, the setting function 622 sets pixels on the positioning image for which the mixing ratio is to be calculated. At this time, for example, an instruction input by a user using the medical image processing apparatus 1 via the input interface 5 is accepted and set. The user confirms the acquired positioning image on the display 4 and sets arbitrary coordinates within the mixed area on the positioning image. At this time, the coordinates may be set by, for example, moving a cursor on the display 4 using a mouse, which is an example of the input interface 5, and clicking arbitrary coordinates. Note that the arbitrary coordinates may be set on a pixel-by-pixel basis, or may be a set of a plurality of adjacent pixels.
ステップS1003では、設定機能622が、設定された座標に対応する再構成画像上の点を起点として、位置決め画像の投影方向に向かう投影線を設定する。具体的には、設定した位置決め画像上の座標を含むアキシャル断面に対応する再構成画像を取得する。次に、位置決め画像上の断面方向に沿った軸上にある座標の位置に対応する、再構成画像上の対応する軸上の座標の位置を起点に設定する。最後に、当該起点を通り、位置決め画像の投影方向(深さ方向)に向かう投影線を設定する。 In step S1003, the setting function 622 sets a projection line directed toward the projection direction of the positioning image, starting from a point on the reconstructed image corresponding to the set coordinates. Specifically, a reconstructed image corresponding to an axial section including the coordinates on the set positioning image is acquired. Next, the position of the coordinates on the corresponding axis on the reconstructed image, which corresponds to the position of the coordinates on the axis along the cross-sectional direction on the positioning image, is set as the starting point. Finally, a projection line is set that passes through the starting point and goes in the projection direction (depth direction) of the positioning image.
ステップS1004では、計算機能623が、投影線上に含まれる複数の組織領域それぞれの体積比を計算する。具体的には、再構成画像における混合率の計算対象の組織領域を、閾値処理や機械学習等の画像処理により抽出する。次に、投影線上に含まれる、抽出された組織領域それぞれの体積比を計算する。体積比としては、例えば投影線上に存在する複数の組織領域それぞれの画素数の比を利用してもよい。 In step S1004, the calculation function 623 calculates the volume ratio of each of the plurality of tissue regions included on the projection line. Specifically, the tissue region for which the mixture ratio is to be calculated in the reconstructed image is extracted by image processing such as threshold processing or machine learning. Next, the volume ratio of each extracted tissue region included on the projection line is calculated. As the volume ratio, for example, the ratio of the number of pixels of each of a plurality of tissue regions existing on the projection line may be used.
ステップS1005では、計算機能623が、複数の組織領域が重複する混合領域に含まれる複数の組織種別の混合率を計算する。例えば、計算された体積比を100%に規格化するように計算してもよい。また、当該体積比をそのまま混合率として使用してもよい。 In step S1005, the calculation function 623 calculates the mixing ratio of a plurality of tissue types included in a mixed region where a plurality of tissue regions overlap. For example, the calculated volume ratio may be normalized to 100%. Further, the volume ratio may be used as it is as the mixing ratio.
ステップS1006では、表示機能624が、混合率マップを表示する。ここでは、位置決め画像上の一座標について混合率が定義された混合率マップが表示される。なお、実際には、ステップS1001からステップS1006の処理を繰り返すことで位置決め画像上の複数の座標について混合率が定義された混合率マップが生成される。 In step S1006, the display function 624 displays the mixture ratio map. Here, a mixture rate map in which a mixture rate is defined for one coordinate on the positioning image is displayed. Note that, in reality, by repeating the processing from step S1001 to step S1006, a mixture rate map in which mixture rates are defined for a plurality of coordinates on the positioning image is generated.
第3の実施形態に係る医用画像処理装置の処理結果の一例について図11及び図12を参照して説明する。なお、図11及び図12では各画像の空間軸上の対応関係を示すため、X軸(左右方向)、Y軸(上下方向)、Z軸(前後方向)を適宜、参照する。以下、混合率の計算対象となる組織は、心臓及び肝臓であるとする。 An example of the processing results of the medical image processing apparatus according to the third embodiment will be described with reference to FIGS. 11 and 12. Note that in FIGS. 11 and 12, in order to show the correspondence of each image on the spatial axis, reference is made to the X axis (left/right direction), Y axis (up/down direction), and Z axis (front/back direction) as appropriate. Hereinafter, it is assumed that the tissues for which the mixing ratio is calculated are the heart and the liver.
図11は、医用画像の一例である位置決め画像に対して混合率を定義した混合率マップ1100を示す図である。図12は、図11上で指定された座標に関する位置決め画像の断面の再構成画像である。以下、混合率マップ1100の作成に至るまでの処理を示す。 FIG. 11 is a diagram showing a mixture rate map 1100 that defines a mixture rate for a positioning image that is an example of a medical image. FIG. 12 is a reconstructed image of the cross section of the positioning image regarding the coordinates specified on FIG. 11. The processing up to the creation of the mixture ratio map 1100 will be described below.
まず、設定機能622が、心臓及び肝臓の混合領域における座標1101を設定する。ここでは、座標1101を星印で示し、混合領域の略中央に設定している。 First, the setting function 622 sets coordinates 1101 in the mixed region of the heart and liver. Here, the coordinate 1101 is indicated by a star and is set approximately at the center of the mixed area.
次に、設定機能622が、再構成画像1200上で、座標1101を通りX軸に垂直な投影線1201を設定する。図12では、再構成画像1200として、座標1101を通りX軸に平行な切断線1102における位置決め画像の断面(A-A’面)が示される。ここでは、投影線1201上に心臓領域及び肝臓領域が含まれている。 Next, the setting function 622 sets a projection line 1201 on the reconstructed image 1200 that passes through the coordinates 1101 and is perpendicular to the X axis. In FIG. 12, a cross section (A-A' plane) of the positioning image at a cutting line 1102 passing through coordinates 1101 and parallel to the X-axis is shown as a reconstructed image 1200. Here, the heart region and liver region are included on the projection line 1201.
続いて、計算機能623が、投影線1201上の心臓領域及び肝臓領域それぞれの体積比1202を計算する。例えば心臓領域の画素数が100、肝臓領域の画素数が300である場合、体積比1202は心臓:肝臓=1:3と表される。よって、座標1101における混合率は、心臓=25%、肝臓=75%と計算される。 Subsequently, the calculation function 623 calculates the volume ratio 1202 of each of the heart region and liver region on the projection line 1201. For example, when the number of pixels in the heart region is 100 and the number of pixels in the liver region is 300, the volume ratio 1202 is expressed as heart:liver=1:3. Therefore, the mixing ratio at coordinate 1101 is calculated as heart=25% and liver=75%.
最後に、表示機能624が、計算された座標1101における混合率「心臓25%、肝臓75%」を混合率マップ1100上に表示する。ここでは、座標1101を実線で参照したポップアップウィンドウ1103内に混合率を数値で表示している。さらに、設定された混合率は、ユーザ入力に基づいて変更されてもよい。 Finally, the display function 624 displays the mixture ratio "heart 25%, liver 75%" at the calculated coordinates 1101 on the mixture ratio map 1100. Here, the mixing ratio is displayed numerically in a pop-up window 1103 with reference to the coordinates 1101 as a solid line. Furthermore, the set mixing ratio may be changed based on user input.
以上示した第3の実施形態によれば、複数の組織が混在すると推定される画素について、当該画素に混在すると推定される複数の組織の混合率を、位置決め画像及び再構成画像に基づいて計算することができる。さらに、複数の組織の領域について体積比を考慮することで、より正確に混合率を計算することができる。換言すれば、第1の実施形態に係る学習済みモデルの生成に使用する正解データを生成することができる。 According to the third embodiment described above, for a pixel in which a plurality of tissues are estimated to be mixed, the mixing ratio of the plurality of tissues estimated to be mixed in the pixel is calculated based on the positioning image and the reconstructed image. can do. Furthermore, by considering the volume ratios of multiple tissue regions, the mixing ratio can be calculated more accurately. In other words, it is possible to generate correct data used to generate the trained model according to the first embodiment.
以上に示した少なくとも1つの実施形態によれば、組織境界を正確に定義することができる。 According to at least one embodiment described above, tissue boundaries can be accurately defined.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、各省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.
1、61 医用画像処理装置
2、62 処理回路
3、63 メモリ
4、64 ディスプレイ
5、65 入力インターフェース
6、66 通信インターフェース
21、621 取得機能
22 適用機能
23、624 表示機能
500 混合率マップ
501 カーソル
502、804、904、905、1103 ポップアップウィンドウ
622 設定機能
623 計算機能
800、900、1100 混合率マップ
801、902 心臓領域
802 肝臓領域
803、903 混合領域
901 心臓領域マスク
1101 座標
1102 切断線
1200 再構成画像
1201 投影線
1202 体積比
1, 61 Medical image processing device 2, 62 Processing circuit 3, 63 Memory 4, 64 Display 5, 65 Input interface 6, 66 Communication interface 21, 621 Acquisition function 22 Application function 23, 624 Display function 500 Mixing rate map 501 Cursor 502 , 804, 904, 905, 1103 Pop-up window 622 Setting function 623 Calculation function 800, 900, 1100 Mixing ratio map 801, 902 Heart region 802 Liver region 803, 903 Mixing region 901 Heart region mask 1101 Coordinates 1102 Cutting line 1200 Reconstructed image 1201 Projection line 1202 Volume ratio
Claims (9)
を具備する医用画像処理装置。 By using a medical image as input data and applying a trained model that has learned the mixture ratio of multiple tissue types included in the medical image as correct data to the medical image to be processed, an application unit that calculates a mixing ratio of the plurality of tissue types;
A medical image processing device comprising:
請求項1に記載の医用画像処理装置。 The correct data is included in the mixed region based on pixel values of a plurality of tissue regions included in the medical image and pixel values of a mixed region in which two or more types of tissue regions overlap among the plurality of tissue regions. set by calculating a mixing ratio of the plurality of tissue types to be included;
The medical image processing device according to claim 1.
前記位置決め画像に含まれる複数の組織領域のうち二種以上の組織領域が重複する混合領域の画素に対応する、前記再構成画像の画素を通る、前記位置決め画像の投影方向を向く直線に含まれる前記二種以上の組織領域それぞれの体積に基づいて、前記混合領域に含まれる前記二種以上の組織領域の組織種別の混合率を計算することにより設定される、
請求項1又は請求項2に記載の医用画像処理装置。 The correct answer data is set based on a positioning image and a reconstructed image corresponding to the positioning image among the medical images,
A straight line pointing in the projection direction of the positioning image that passes through pixels of the reconstructed image that corresponds to pixels of a mixed region where two or more types of tissue regions overlap among the plurality of tissue regions included in the positioning image. Set by calculating a mixing ratio of tissue types of the two or more tissue regions included in the mixed region based on the volumes of each of the two or more tissue regions included.
A medical image processing apparatus according to claim 1 or 2 .
請求項1から請求項3のいずれか1項に記載の医用画像処理装置。 The mixing ratio is displayed as a gradation on the medical image to be processed.
The medical image processing device according to any one of claims 1 to 3.
請求項1から請求項4のいずれか1項に記載の医用画像処理装置。 The mixing ratio is displayed in a pop-up on the medical image to be processed.
The medical image processing device according to any one of claims 1 to 4.
請求項1から請求項5のいずれか1項に記載の医用画像処理装置。 The application unit calculates the volume of the tissue based on the mixing ratio.
The medical image processing device according to any one of claims 1 to 5.
請求項1から請求項6のいずれか1項に記載の医用画像処理装置。 further comprising a changing unit that changes the mixing ratio of the plurality of tissue types based on user input ;
A medical image processing apparatus according to any one of claims 1 to 6 .
医用画像を入力データとし、前記医用画像に含まれる複数の組織種別の混合率を正解データとして学習させた学習済みモデルを処理対象の医用画像に適用することで、前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する適用機能、
を実現させる医用画像処理プログラム。 to the computer,
By using a medical image as input data and applying a trained model that has learned the mixture ratio of multiple tissue types included in the medical image as correct data to the medical image to be processed, an application function that calculates a mixture ratio of the plurality of tissue types;
A medical image processing program that realizes.
前記処理対象の医用画像に含まれる前記複数の組織種別の混合率を計算する、
医用画像処理方法。 Applying a trained model that uses a medical image as input data and learned a mixture ratio of a plurality of tissue types included in the medical image as correct data to the medical image to be processed,
calculating a mixture ratio of the plurality of tissue types included in the medical image to be processed;
Medical image processing method .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019180231A JP7360651B2 (en) | 2019-09-30 | 2019-09-30 | Medical image processing device, medical image processing program, and medical image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019180231A JP7360651B2 (en) | 2019-09-30 | 2019-09-30 | Medical image processing device, medical image processing program, and medical image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021053213A JP2021053213A (en) | 2021-04-08 |
JP7360651B2 true JP7360651B2 (en) | 2023-10-13 |
Family
ID=75271779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019180231A Active JP7360651B2 (en) | 2019-09-30 | 2019-09-30 | Medical image processing device, medical image processing program, and medical image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7360651B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014435A (en) | 2005-07-06 | 2007-01-25 | Fujifilm Holdings Corp | Image processing device, method and program |
US20090087070A1 (en) | 2007-09-26 | 2009-04-02 | Slabaugh Gregory G | Method and system for bone suppression based on a single x-ray image |
JP2013085967A (en) | 2011-10-21 | 2013-05-13 | Samsung Electronics Co Ltd | X-ray imaging system and method for controlling the same |
JP2015144929A (en) | 2015-05-19 | 2015-08-13 | キヤノン株式会社 | Image processing method and device |
US20170221201A1 (en) | 2016-01-28 | 2017-08-03 | Taihao Medical Inc. | Medical image processing apparatus and breast image processing method thereof |
JP2017189394A (en) | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | Information processing apparatus and information processing system |
-
2019
- 2019-09-30 JP JP2019180231A patent/JP7360651B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014435A (en) | 2005-07-06 | 2007-01-25 | Fujifilm Holdings Corp | Image processing device, method and program |
US20090087070A1 (en) | 2007-09-26 | 2009-04-02 | Slabaugh Gregory G | Method and system for bone suppression based on a single x-ray image |
JP2013085967A (en) | 2011-10-21 | 2013-05-13 | Samsung Electronics Co Ltd | X-ray imaging system and method for controlling the same |
JP2015144929A (en) | 2015-05-19 | 2015-08-13 | キヤノン株式会社 | Image processing method and device |
US20170221201A1 (en) | 2016-01-28 | 2017-08-03 | Taihao Medical Inc. | Medical image processing apparatus and breast image processing method thereof |
JP2017189394A (en) | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | Information processing apparatus and information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2021053213A (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11751830B2 (en) | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking | |
US11534125B2 (en) | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases | |
EP3493161B1 (en) | Transfer function determination in medical imaging | |
JP6782051B2 (en) | Atlas-based automatic segmentation enhanced by online learning | |
JP2016530051A (en) | Radiation therapy system with advanced graphical user interface | |
US10249092B2 (en) | System and method for rendering complex data in a virtual reality or augmented reality environment | |
JP6738320B2 (en) | Visualization of spectral image data | |
US9129391B2 (en) | Semi-automated preoperative resection planning | |
McCollough et al. | Milestones in CT: past, present, and future | |
JP2023504215A (en) | Improved system and visualization method for intraoperative volumetric imaging of tissue samples | |
JP7360651B2 (en) | Medical image processing device, medical image processing program, and medical image processing method | |
US20230315272A1 (en) | Graphical user interface control device for radiation therapy treatment planning | |
US10548570B2 (en) | Medical image navigation system | |
US20230012002A1 (en) | Systems and methods to process electronic images for synthetic image generation | |
Lidén et al. | Multi-Reader–Multi-Split Annotation of Emphysema in Computed Tomography | |
Shapira et al. | Convolutional encoder-decoder networks for volumetric computed tomography surviews from single-and dual-view topograms | |
JP7304150B2 (en) | Image analysis device, diagnostic imaging device, and ROI setting program | |
US11901064B2 (en) | Systems and methods to process electronic images for synthetic image generation | |
US12029920B2 (en) | Automated qualitative description of anatomical changes in radiotherapy | |
Karakuş et al. | AI-Assisted Detection of Interproximal, Occlusal, and Secondary Caries on Bite-Wing Radiographs: A Single-Shot Deep Learning Approach | |
JP2024500842A (en) | Methods and devices for radioablative treatment | |
JP2024027946A (en) | Medical information processing device | |
JP2022047679A (en) | Medical image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7360651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |