JP2022142832A - Image processing device, program, and method - Google Patents
Image processing device, program, and method Download PDFInfo
- Publication number
- JP2022142832A JP2022142832A JP2021043053A JP2021043053A JP2022142832A JP 2022142832 A JP2022142832 A JP 2022142832A JP 2021043053 A JP2021043053 A JP 2021043053A JP 2021043053 A JP2021043053 A JP 2021043053A JP 2022142832 A JP2022142832 A JP 2022142832A
- Authority
- JP
- Japan
- Prior art keywords
- organ
- image data
- virtual patient
- patient model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims description 30
- 210000000056 organ Anatomy 0.000 claims abstract description 131
- 230000008569 process Effects 0.000 claims description 14
- 230000005484 gravity Effects 0.000 abstract description 13
- 230000006870 function Effects 0.000 description 182
- 230000011218 segmentation Effects 0.000 description 107
- 238000004422 calculation algorithm Methods 0.000 description 48
- 238000012937 correction Methods 0.000 description 37
- 210000002216 heart Anatomy 0.000 description 36
- 210000004072 lung Anatomy 0.000 description 24
- 210000004185 liver Anatomy 0.000 description 20
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 210000003734 kidney Anatomy 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 12
- 230000003211 malignant effect Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 210000000232 gallbladder Anatomy 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 210000005246 left atrium Anatomy 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000005245 right atrium Anatomy 0.000 description 2
- 210000005241 right ventricle Anatomy 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
本明細書及び図面に開示の実施形態は、画像処理装置、プログラム及び方法に関する。 The embodiments disclosed in the specification and drawings relate to image processing apparatuses, programs, and methods.
医療分野でもＡＩ（Artificial Intelligence）の活用が検討されつつあるか又は実施されつつある。例えば、セグメンテーション（Segmentation）、ディテクション（Detection）及びクラシフィケーション（Classification）等の各種の推論を行うために、数千又は数万単位で学習用データの作成も行われている。既存ツールで教師データを作成する場合は、手動で領域を指定するため、処理時間がかかる。また、学習済みモデルを用いて画像データ全体からセグメンテーション処理を実行する場合も処理時間がかかる。既存のセグメンテーション処理の精度は、年々向上している。しかしながら、画像データ内の全ての対象物を同時にかつ自動でセグメンテーションする方法は存在しない。 Utilization of AI (Artificial Intelligence) is being considered or being implemented in the medical field as well. For example, in order to perform various inferences such as segmentation, detection, and classification, thousands or tens of thousands of units of learning data are created. When creating training data with an existing tool, processing time is required because the area is specified manually. Also, it takes a long time to segment the entire image data using a trained model. The accuracy of existing segmentation processes is improving year by year. However, there is no way to simultaneously and automatically segment all objects in the image data.
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、処理時間を短縮することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。 One of the problems to be solved by the embodiments disclosed in this specification and drawings is to shorten the processing time. However, the problems to be solved by the embodiments disclosed in this specification and drawings are not limited to the above problems. A problem corresponding to each effect of each configuration shown in the embodiments described later can be positioned as another problem.
実施形態の画像処理装置は、推論部と、学習部とを備える。推論部は、仮想患者モデルを用いて画像データに対してシード点を設定し、設定されたシード点を用いて推論を行う。学習部は、前記仮想患者モデルに含まれる臓器の領域の重心位置を前記推論部による推論結果から得られる臓器の領域の重心位置に基づいて補正することにより、前記仮想患者モデルに学習させる。 An image processing apparatus according to an embodiment includes an inference unit and a learning unit. The inference unit sets seed points for the image data using the virtual patient model, and performs inference using the set seed points. The learning unit causes the virtual patient model to learn by correcting the barycentric position of the organ region included in the virtual patient model based on the barycentric position of the organ region obtained from the inference result of the inference unit.
以下、図面を参照しながら、画像処理装置、プログラム及び方法の実施形態を詳細に説明する。なお、本願に係る画像処理装置、プログラム及び方法は、以下に示す実施形態によって限定されるものではない。 Hereinafter, embodiments of an image processing apparatus, a program, and a method will be described in detail with reference to the drawings. Note that the image processing apparatus, program, and method according to the present application are not limited to the embodiments described below.
（実施形態）
図１は、実施形態に係る医用処理システム１の構成の一例を示す図である。図１に示すように、医用処理システム１は、医用画像診断装置１１０と、端末装置１２０と、画像処理装置１３０とを備える。ここで、医用画像診断装置１１０と、端末装置１２０と、画像処理装置１３０とは、ネットワーク２００を介して通信可能に接続されている。
(embodiment)
FIG. 1 is a diagram showing an example of the configuration of a
医用画像診断装置１１０は、被検体を撮像又は撮影することにより、医用画像を示す医用画像データを生成する。例えば、医用画像診断装置１１０は、Ｘ線ＣＴ（Computed Tomography）装置、超音波診断装置、磁気共鳴イメージング（Magnetic Resonance Imaging：ＭＲＩ）装置、Ｘ線診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置等である。 The medical image diagnostic apparatus 110 generates medical image data representing a medical image by imaging or photographing a subject. For example, the medical image diagnostic apparatus 110 includes an X-ray CT (Computed Tomography) apparatus, an ultrasonic diagnostic apparatus, a Magnetic Resonance Imaging (MRI) apparatus, an X-ray diagnostic apparatus, a PET (Positron Emission Tomography) apparatus, SPECT ( Single Photon Emission Computed Tomography) equipment, etc.
医用画像診断装置１１０は、医用画像データとして、ＣＴ画像を示すＣＴ画像データ、超音波画像を示す超音波画像データ、ＭＲＩ画像を示すＭＲＩ画像データ、Ｘ線画像を示すＸ線画像データ、ＰＥＴ画像を示すＰＥＴ画像データ、ＳＰＥＣＴ画像を示すＳＰＥＣＴ画像データ等を生成する。 The medical image diagnostic apparatus 110 uses, as medical image data, CT image data representing a CT image, ultrasound image data representing an ultrasound image, MRI image data representing an MRI image, X-ray image data representing an X-ray image, and a PET image. , SPECT image data indicating a SPECT image, and the like are generated.
ＣＴ画像、超音波画像、ＭＲＩ画像、Ｘ線画像、アンギオ画像、ＰＥＴ画像及びＳＰＥＣＴ画像は、医用画像の一例である。また、ＣＴ画像データ、超音波画像データ、ＭＲＩ画像データ、Ｘ線画像データ、アンギオ画像データ、ＰＥＴ画像データ及びＳＰＥＣＴ画像データは、医用画像データの一例である。また、医用画像は、画像の一例であり、医用画像データは、画像データの一例である。 CT images, ultrasound images, MRI images, X-ray images, angio images, PET images and SPECT images are examples of medical images. CT image data, ultrasound image data, MRI image data, X-ray image data, angio image data, PET image data, and SPECT image data are examples of medical image data. A medical image is an example of an image, and medical image data is an example of image data.
そして、医用画像診断装置１１０は、各種のデータを画像処理装置１３０に送信する。図２は、実施形態に係る医用画像診断装置１１０が送信するデータの一例を説明するための図である。例えば、医用画像診断装置１１０は、医用画像データ１１を画像処理装置１３０へ送信する。これにより、画像処理装置１３０は、医用画像データ１１に対して各種の処理を実行する。
The medical image diagnostic apparatus 110 then transmits various data to the
図１の説明に戻る。端末装置１２０は、病院内に勤務する医師や検査技師等のユーザに画像を閲覧させるための装置である。例えば、端末装置１２０は、ユーザにより操作されるパーソナルコンピュータ（ＰＣ：Personal Computer）、タブレット式ＰＣ、ＰＤＡ（Personal Digital Assistant）、スマートフォン又は携帯電話等によって実現される。例えば、端末装置１２０は、医用画像診断装置１１０又は画像処理装置１３０から送信された各種の画像データを受信する。そして、端末装置１２０は、受信した画像データに基づく画像（画像データにより示される画像）を端末装置１２０が備えるディスプレイに表示させる。また、端末装置１２０は、入力インターフェースを備え、入力インターフェースを介して画像に対する各種操作を受け付ける。
Returning to the description of FIG. The terminal device 120 is a device for allowing users such as doctors and laboratory technicians working in a hospital to view images. For example, the terminal device 120 is implemented by a user-operated personal computer (PC), tablet PC, PDA (Personal Digital Assistant), smart phone, mobile phone, or the like. For example, the terminal device 120 receives various image data transmitted from the medical image diagnostic device 110 or the
画像処理装置１３０は、医用画像診断装置１１０から各種のデータを取得し、取得したデータを用いて各種の処理を実行する。例えば、画像処理装置１３０は、サーバ、ワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
The
画像処理装置１３０は、通信インターフェース１３１と、メモリ１３２と、入力インターフェース１３３と、ディスプレイ１３４と、処理回路１３５とを備える。
The
通信インターフェース１３１は、処理回路１３５に接続されており、画像処理装置１３０と医用画像診断装置１１０との間で行われる通信、及び、画像処理装置１３０と端末装置１２０との間で行われる通信を制御する。具体例を挙げて説明すると、通信インターフェース１３１は、医用画像診断装置１１０により送信された医用画像データ１１を受信し、受信した医用画像データ１１を処理回路１３５に送信する。例えば、通信インターフェース１３１は、ネットワークカード、ネットワークアダプタ又はＮＩＣ（Network Interface Controller）等によって実現される。
The communication interface 131 is connected to the processing circuit 135 and controls communication between the
メモリ１３２は、処理回路１３５に接続されており、各種のデータや情報を記憶する。例えば、メモリ１３２は、医用画像診断装置１１０により送信された医用画像データ１１を記憶する。
The memory 132 is connected to the processing circuitry 135 and stores various data and information. For example, the memory 132 stores the
また、メモリ１３２は、アトラス情報モデル（アトラス情報）１３２ａを記憶する。アトラス情報モデル１３２ａは、仮想患者モデルの一例である。図３及び図４は、実施形態に係るアトラス情報モデル１３２ａの一例を示す図である。
The memory 132 also stores an atlas information model (atlas information) 132a. Atlas
アトラス情報モデル１３２ａは、被検体の各臓器の領域の重心位置、隣接する２つの臓器間の位置関係（距離及び方向）、各臓器のボリュームサイズを含む数値モデル情報である。例えば、図３に示すように、アトラス情報モデル１３２ａは、各臓器に対応する各ノードと、隣接する２つの臓器（２つのノード）を結ぶブランチ（線分）を含む。隣接するノードがブランチで接続されることで、臓器の配置が管理される。図３の例では、アトラス情報モデル１３２ａは、肺（Lungs）、心臓（Heart）、肝臓（Liver）、胆嚢（Gallbladder）、小腸（Small Intestine）、大腸（Large Intestine）、胃（Stomach）、脾臓（Spleen）、膵臓（Pancreas）、腎臓（Kidneys）、膀胱（Bladder）及び子宮（Uterus）の各臓器に対応する複数のノード（Ｎｏｄｅ１～Ｎｏｄｅ１２）のそれぞれを含む。例えば、肺はＮｏｄｅ１に対応し、心臓はＮｏｄｅ２に対応し、肝臓はＮｏｄｅ３に対応する。
The
また、各ノードには、各ノードに対応する臓器の名称がラベルとして付与される。例えば、Ｎｏｄｅ１にはラベルＬｕｎｇｓが付与され、Ｎｏｄｅ２にはラベルＨｅａｒｔが付与され、Ｎｏｄｅ３にはラベルＬｉｖｅｒが付与されている。他のノードについても同様である。 Also, each node is labeled with the name of the organ corresponding to each node. For example, Node1 is given the label Lungs, Node2 is given the label Heart, and Node3 is given the label Liver. The same is true for other nodes.
図３の例では、Ｎｏｄｅ２は、Ｎｏｄｅ１に隣接するとともにＮｏｄｅ３に隣接する。そのため、Ｎｏｄｅ２とＮｏｄｅ１とがブランチで接続されているとともに、Ｎｏｄｅ２とＮｏｄｅ３とがブランチで接続されている。 In the example of FIG. 3, Node2 is adjacent to Node1 and is adjacent to Node3. Therefore, Node2 and Node1 are connected by a branch, and Node2 and Node3 are connected by a branch.
また、各ノードは、臓器内の区分毎に細分化されてもよい。例えば、図３の例では、心臓が更に左心房１３２ａ＿１、左心室１３２ａ＿２、右心房１３２ａ＿３及び右心室１３２ａ＿４の区分ごとに細分化されている。この場合、細分化モデルとして、左心房１３２ａ＿１がＮｏｄｅ２－１に対応し、左心室１３２ａ＿２がＮｏｄｅ２－２に対応し、右心房１３２ａ＿３がＮｏｄｅ２－３に対応し、右心室１３２ａ＿４がＮｏｄｅ２－４に対応する。 Also, each node may be subdivided for each section within the organ. For example, in the example of FIG. 3, the heart is further subdivided into left atrium 132a_1, left ventricle 132a_2, right atrium 132a_3, and right ventricle 132a_4 segments. In this case, as a subdivision model, the left atrium 132a_1 corresponds to Node2-1, the left ventricle 132a_2 corresponds to Node2-2, the right atrium 132a_3 corresponds to Node2-3, and the right ventricle 132a_4 corresponds to Node2-4. do.
アトラス情報モデル１３２ａは、ノード毎に、臓器の領域の重心位置、隣接する２つの臓器間の位置関係（距離及び方向）、臓器のボリュームサイズを含む。例えば、図４には、アトラス情報モデル１３２ａに含まれる全ノードに関する情報のうち、Ｎｏｄｅ２に関する情報が示されている。以下、Ｎｏｄｅ２に関する情報の一例について説明するが、他のノードに関する情報もＮｏｄｅ２に関する情報と同様である。
The
図４に示すように、Ｎｏｄｅ２に関する情報は、「Ｌａｂｅｌ（ラベル）」、「細分化モデル」、「隣接Ｎｏｄｅ」、「重心位置」、「位置関係情報」及び「ボリュームサイズ」の各項目を有する。「Ｌａｂｅｌ（ラベル）」の項目には、Ｎｏｄｅ２に付与されたラベルＨｅａｒｔが登録されている。また、「細分化モデル」の項目には、心臓の区分毎に細分化されたモデル（細分化モデル）であるＮｏｄｅ２－１～２－４が登録されている。また、「隣接Ｎｏｄｅ」の項目には、Ｎｏｄｅ２に隣接するノードであるＮｏｄｅ１及びＮｏｄｅ３が登録されている。 As shown in FIG. 4, the information about Node2 has items of "Label", "Subdivided Model", "Adjacent Node", "Center of Gravity Position", "Positional Relationship Information", and "Volume Size". . The label "Heart" assigned to Node2 is registered in the item "Label". In addition, Node2-1 to Node2-4, which are models (subdivided models) subdivided for each segment of the heart, are registered in the item of "subdivided model". In addition, Node1 and Node3, which are nodes adjacent to Node2, are registered in the item "Adjacent Node".
また、「重心位置」の項目には、心臓の３次元の重心位置（ｘ１，ｙ１，ｚ１）が登録されている。なお、臓器が複数の領域に分かれる場合には、領域毎に重心位置が登録されてもよい。例えば、肺や腎臓は、２つの領域に分かれる。このため、肺や腎臓では、２つの領域のそれぞれの重心位置が登録されてもよい。 In addition, the three-dimensional center-of-gravity position (x1, y1, z1) of the heart is registered in the item "center-of-gravity position". Note that if the organ is divided into a plurality of regions, the center-of-gravity position may be registered for each region. For example, lungs and kidneys are divided into two regions. Therefore, in lungs and kidneys, the center-of-gravity positions of the two regions may be registered.
また、「位置関係情報」の項目には、Ｎｏｄｅ２を基準とした場合のＮｏｄｅ２に隣接するＮｏｄｅ１やＮｏｄｅ３の相対的な位置関係を示す情報である位置関係情報が登録されている。具体例を挙げて説明すると、「位置関係情報」の項目には、Ｎｏｄｅ２に隣接するＮｏｄｅ１やＮｏｄｅ３がＮｏｄｅ２を基準としてどの方向に、Ｎｏｄｅ２からどれだけ離れた距離に存在し得るかを示す位置関係情報が登録されている。例えば、「位置関係情報」の項目には、Ｎｏｄｅ２を基準としてＮｏｄｅ１が存在しうる方向の範囲、及び、Ｎｏｄｅ２を基準としてＮｏｄｅ１が存在し得る距離の範囲を示す位置関係情報１が登録されている。Ｎｏｄｅ２を基準としてＮｏｄｅ１が存在し得る距離の範囲は、例えば、Ｎｏｄｅ２からＮｏｄｅ１までの距離であって、Ｎｏｄｅ１が存在し得る距離の範囲である。また、「位置関係情報」の項目には、Ｎｏｄｅ２を基準としてＮｏｄｅ３が存在しうる方向の範囲、及び、Ｎｏｄｅ２を基準としてＮｏｄｅ３が存在し得る距離の範囲を示す位置関係情報２が登録されている。Ｎｏｄｅ２を基準としてＮｏｄｅ３が存在し得る距離の範囲は、例えば、Ｎｏｄｅ２からＮｏｄｅ３までの距離であって、Ｎｏｄｅ３が存在し得る距離の範囲である。また、「ボリュームサイズ」の項目には、心臓のボリュームサイズＶが登録されている。
Further, in the item of "positional relationship information", positional relationship information, which is information indicating the relative positional relationship of Node1 and Node3 adjacent to Node2 with respect to Node2, is registered. To explain with a specific example, in the item of "positional relation information", there is a positional relation indicating in which direction and how far away from Node2 Node1 and Node3, which are adjacent to Node2, can exist with respect to Node2. Information is registered. For example, in the "positional relationship information" item,
アトラス情報モデル１３２ａは、学習されて、アトラス情報モデル１３２ａの登録内容が変化する。アトラス情報モデル１３２ａが学習される前は、例えば、アトラス情報モデル１３２ａには、図４に示す内容が登録されているものとする。
The
図１の説明に戻り、メモリ１３２は、処理回路１３５が各種機能を実現するためのプログラムを記憶する。例えば、メモリ１３２は、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスク等によって実現される。メモリ１３２は、記憶部の一例である。 Returning to the description of FIG. 1, the memory 132 stores programs for the processing circuit 135 to implement various functions. For example, the memory 132 is implemented by a semiconductor memory device such as flash memory, a hard disk, an optical disk, or the like. Memory 132 is an example of a storage unit.
入力インターフェース１３３は、処理回路１３５に接続されており、ユーザからの各種の指示、要求及び情報の入力操作を受け付ける。例えば、入力インターフェース１３３は、ユーザから受け付けた入力操作を電気信号へ変換し、この電気信号を処理回路１３５に送信する。例えば、入力インターフェース１３３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び、音声入力回路等によって実現される。なお、本明細書において、入力インターフェース１３３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、画像処理装置１３０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１３５へ送信する電気信号の処理回路も入力インターフェース１３３の例に含まれる。
The input interface 133 is connected to the processing circuit 135 and receives various instructions, requests, and information input operations from the user. For example, the input interface 133 converts an input operation received from the user into an electrical signal and transmits this electrical signal to the processing circuit 135 . For example, the input interface 133 may be a trackball, a switch button, a mouse, a keyboard, a touch pad that performs an input operation by touching an operation surface, a touch screen that integrates a display screen and a touch pad, or a non-display using an optical sensor. It is realized by a contact input circuit, an audio input circuit, and the like. In this specification, the input interface 133 is not limited to having physical operation parts such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the
ディスプレイ１３４は、処理回路１３５に接続されており、各種の情報及び各種の画像を表示する。例えば、ディスプレイ１３４は、処理回路１３５から送信される情報及びデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ１３４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。 The display 134 is connected to the processing circuitry 135 and displays various information and various images. For example, the display 134 converts information and data transmitted from the processing circuit 135 into electrical signals for display and outputs the electrical signals. For example, the display 134 is realized by a liquid crystal monitor, a CRT (Cathode Ray Tube) monitor, a touch panel, or the like.
処理回路１３５は、入力インターフェース１３３を介してユーザから受け付けた入力操作に応じて、画像処理装置１３０の動作を制御する。例えば、処理回路１３５は、プロセッサによって実現される。
The processing circuit 135 controls the operation of the
以上、本実施形態に係る医用処理システム１の構成の一例について説明した。例えば、医用処理システム１に含まれる画像処理装置１３０は、病院や医院等の医療機関に設置され、医療機関に入院又は通院する患者等を被検体として、医用画像診断装置１１０によって生成される医用画像データを用いた各種の画像診断に利用される。本実施形態では、画像処理装置１３０は、処理時間を短縮することができるように、以下に説明する各種の処理を実行する。
An example of the configuration of the
図１に示すように、画像処理装置１３０の処理回路１３５は、制御機能１３５ａ、取得機能１３５ｂ、セグメンテーション実行機能１３５ｃ、修正機能１３５ｄ、選択機能１３５ｅ、表示制御機能１３５ｆ及び学習済みモデル生成機能１３５ｇを実行する。制御機能１３５ａは、学習部の一例である。取得機能１３５ｂは、取得部の一例である。セグメンテーション実行機能１３５ｃは、推論部の一例である。修正機能１３５ｄは、修正部の一例である。選択機能１３５ｅは、選択部の一例である。表示制御機能１３５ｆは、表示制御部の一例である。学習済みモデル生成機能１３５ｇは、生成部の一例である。
As shown in FIG. 1, the processing circuit 135 of the
ここで、例えば、処理回路１３５が有する各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１３２に記憶される。図１に示す処理回路１３５の構成要素である制御機能１３５ａ、取得機能１３５ｂ、セグメンテーション実行機能１３５ｃ、修正機能１３５ｄ、選択機能１３５ｅ、表示制御機能１３５ｆ及び学習済みモデル生成機能１３５ｇの各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１３２に記憶されている。処理回路１３５は、各プログラムをメモリ１３２から読み出し、読み出された各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１３５は、図１の処理回路１３５内に示された各機能を有することとなる。
Here, for example, each processing function of the processing circuit 135 is stored in the memory 132 in the form of a computer-executable program. Each processing function of the
制御機能１３５ａは、入力インターフェース１３３を介して入力された各種指示及び各種要求に応じた処理を実行するように、画像処理装置１３０の通信インターフェース１３１、メモリ１３２、ディスプレイ１３４、及び、各機能１３５ｂ～１３５ｇを制御する。
The
取得機能１３５ｂは、各種のデータを取得する。例えば、取得機能１３５ｂは、医用画像診断装置１１０から送信された医用画像データ１１を取得し、取得された医用画像データ１１をメモリ１３２に記憶させる。制御機能１３５ａ以外の各機能１３５ｂ～１３５ｇの詳細については後述する。
The
次に、画像処理装置１３０が実行するセグメンテーション処理の一例について説明する。図５は、実施形態に係る画像処理装置１３０が実行するセグメンテーション処理の流れの一例を示すフローチャートである。画像処理装置１３０は、例えば、医用画像データ１１がメモリ１３２に記憶された状態で、入力インターフェース１３３を介してユーザによりセグメンテーション処理を実行するための指示が処理回路１３５に入力された場合に、セグメンテーション処理を実行する。
Next, an example of segmentation processing executed by the
（ステップＳ１０１）
図５に示すように、ステップＳ１０１では、取得機能１３５ｂは、メモリ１３２に記憶された医用画像データ１１を取得する。例えば、医用画像データ１１は、被検体のセグメンテーションされる対象の臓器が描出された３次元の医用画像データである。例えば、医用画像データ１１は、セグメンテーションされる対象の心臓、肺、肝臓及び腎臓が描出された３次元のＣＴ画像データである。
(Step S101)
As shown in FIG. 5, the
（ステップＳ１０２）
次に、ステップＳ１０２では、取得機能１３５ｂは、メモリ１３２に記憶されたアトラス情報モデル１３２ａを取得する。アトラス情報モデル１３２ａは、以下で説明する処理に用いられる。なお、メモリ１３２に、子供用のアトラス情報モデル１３２ａ、大人用のアトラス情報モデル１３２ａ、日本人用のアトラス情報モデル１３２ａ及び外国人用のアトラス情報モデル１３２ａ等の複数の被検体の属性に対応する複数のアトラス情報モデル１３２ａが記憶されていてもよい。この場合、取得機能１３５ｂは、メモリ１３２に記憶された複数のアトラス情報モデル１３２ａの中から、ステップＳ１０１で取得された医用画像データ１１にセグメンテーション対象の臓器が描出された被検体の属性に対応するアトラス情報モデル１３２ａを取得する。また、ステップＳ１０２では、取得機能１３５ｂは、後述する学習済みモデル生成機能１３５ｇにより生成された後述する学習済みモデル１２（図９）に医用画像データ１１を入力し、学習済みモデル１２から出力されたアトラス情報モデルを取得してもよい。このようにして取得されたアトラス情報モデルは、アトラス情報モデル１３２ａに代えて以下で説明する処理に用いられる。本実施形態では、例えば、ステップＳ１０２において、取得機能１３５ｂが、メモリ１３２に記憶されたアトラス情報モデル１３２ａを取得するのか、又は、学習済みモデル１２を用いてアトラス情報を取得するのかについては、ユーザにより設定可能である。以下では、ステップＳ１０２でメモリ１３２からアトラス情報モデル１３２ａが取得された場合について説明する。なお、この時点では、アトラス情報モデル１３２ａは、学習される前のモデルであり、例えば、図４に示す内容が含まれるモデルである。
(Step S102)
Next, in step S102, the
（ステップＳ１０３）
次に、ステップＳ１０３では、セグメンテーション実行機能１３５ｃは、シード点の位置を取得する。ステップＳ１０３では、セグメンテーション実行機能１３５ｃは、様々な方法でシード点の位置を取得することができる。以下、シード点の位置を取得する方法の例として、シード点の位置を取得する２つの方法について説明する。
(Step S103)
Next, in step S103, the segmentation execution function 135c acquires the positions of seed points. At step S103, the segmentation executor 135c can obtain the seed point locations in a variety of ways. Two methods for obtaining the positions of the seed points will be described below as examples of methods for obtaining the positions of the seed points.
シード点の位置を取得する１つ目の方法について説明する。例えば、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａに含まれるセグメンテーションの対象の臓器の領域の重心位置をシード点の位置として取得する。例えば、セグメンテーションの対象の臓器が、心臓、肺、肝臓及び腎臓である場合について説明する。この場合、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａから、心臓、肺、肝臓及び腎臓のそれぞれの重心位置をシード点の位置として取得する。
A first method of obtaining the position of the seed point will be described. For example, the segmentation execution function 135c acquires the position of the center of gravity of the segmentation target organ region included in the
シード点を取得する２つ目の方法について説明する。例えば、アトラス情報モデル１３２ａには、上述した各種の情報に加えて、解剖学的な特徴点の位置が登録されているものとする。そして、セグメンテーション実行機能１３５ｃは、医用画像データ１１からアトラス情報モデル１３２ａに含まれる解剖学的な特徴点と同一の特徴点の位置を抽出する。
A second method of obtaining seed points will now be described. For example, it is assumed that the
ここでは、アトラス情報モデル１３２ａに含まれる３つの特徴点の位置が、特徴点Ｖ１（ｘ１１，ｙ１１，ｚ１１）、特徴点Ｖ２（ｘ１２，ｙ１２，ｚ１３）、特徴点Ｖ３（ｘ１３，ｙ１３，ｚ１３）であるものとする。この場合、セグメンテーション実行機能１３５ｃは、医用画像データ１１から、特徴点Ｖ１と同一の特徴点Ｃ１の位置（特徴点Ｃ１（ｘ２１，ｙ２１，ｚ２１））、特徴点Ｖ２と同一の特徴点Ｃ２の位置（特徴点Ｃ２（ｘ２２，ｙ２２，ｚ２２））、特徴点Ｖ３と同一の特徴点Ｃ３の位置（特徴点Ｃ３（ｘ２３，ｙ２３，ｚ２３））を抽出する。
Here, the positions of the three feature points included in the
そして、セグメンテーション実行機能１３５ｃは、解剖学的に同じ特徴点の間の位置ずれの合計「ＬＳ」を最小化するように、以下の座標変換行列「Ｈ」を求める。具体的には、セグメンテーション実行機能１３５ｃは、以下の式に示すように、Ｖ１（ｘ１１，ｙ１１，ｚ１１）とＣ１（ｘ２１，ｙ２１，ｚ２１）との間の位置ずれ、Ｖ２（ｘ１２，ｙ１２，ｚ１３）とＣ２（ｘ２２，ｙ２２，ｚ２２）との間の位置ずれ、及び、Ｖ３（ｘ１３，ｙ１３，ｚ１３）とＣ３（ｘ２３，ｙ２３，ｚ２３）との間の位置ずれの合計「ＬＳ」を最小化するように、座標変換行列「Ｈ」を求める。 Then, the segmentation execution function 135c obtains the following coordinate transformation matrix "H" so as to minimize the total "LS" of positional deviations between anatomically identical feature points. Specifically, the segmentation execution function 135c calculates the displacement between V1(x11, y11, z11) and C1(x21, y21, z21), V2(x12, y12, z13), as shown in the following equations. ) and C2(x22,y22,z22) and V3(x13,y13,z13) and C3(x23,y23,z23). A coordinate transformation matrix "H" is obtained so that
ＬＳ ＝ （（ｘ２１，ｙ２１，ｚ２１）－Ｈ（ｘ１１，ｙ１１，ｚ１１））
＋（（ｘ２２，ｙ２２，ｚ２２）－Ｈ（ｘ１２，ｙ１２，ｚ１２））
＋（（ｘ２３，ｙ２３，ｚ２３）－Ｈ（ｘ１３，ｙ１３，ｚ１３））
LS = ((x21, y21, z21) - H(x11, y11, z11))
+ ((x22, y22, z22) - H (x12, y12, z12))
+ ((x23, y23, z23) - H (x13, y13, z13))
なお、上記の式において（（ｘ２１，ｙ２１，ｚ２１）－Ｈ（ｘ１１，ｙ１１，ｚ１１））は、例えば、Ｈ（ｘ１１，ｙ１１，ｚ１１）とＣ１（ｘ２１，ｙ２１，ｚ２１）との間の距離を示す。同様に、以下の式において、（（ｘ２２，ｙ２２，ｚ２２）－Ｈ（ｘ１２，ｙ１２，ｚ１２））は、例えば、Ｈ（ｘ１２，ｙ１２，ｚ１２）とＣ２（ｘ２２，ｙ２２，ｚ２２）との間の距離を示し、（（ｘ２３，ｙ２３，ｚ２３）－Ｈ（ｘ１３，ｙ１３，ｚ１３））は、例えば、Ｈ（ｘ１３，ｙ１３，ｚ１３）とＣ３（ｘ２３，ｙ２３，ｚ２３）との間の距離を示す。 In the above formula, ((x21, y21, z21) - H (x11, y11, z11)) is, for example, the distance between H (x11, y11, z11) and C1 (x21, y21, z21) indicates Similarly, in the following formula, ((x22, y22, z22) - H (x12, y12, z12)) is, for example, between H (x12, y12, z12) and C2 (x22, y22, z22) ((x23, y23, z23) - H (x13, y13, z13)) is the distance between H (x13, y13, z13) and C3 (x23, y23, z23), for example show.
そして、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａに含まれるセグメンテーション対象の臓器の領域の重心位置を取得する。そして、セグメンテーション実行機能１３５ｃは、セグメンテーション対象の臓器の領域の重心位置を座標変換行列「Ｈ」により変換し、変換後の位置をシード点の位置として取得する。例えば、セグメンテーション対象の臓器が、心臓、肺、肝臓及び腎臓である場合について説明する。この場合、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａから、心臓、肺、肝臓及び腎臓のそれぞれの重心位置を座標変換行列「Ｈ」により変換し、変換後の位置をシード点の位置として取得する。
Then, the segmentation execution function 135c acquires the barycentric position of the segmentation target organ region included in the
（ステップＳ１０４）
次に、ステップＳ１０４では、セグメンテーション実行機能１３５ｃは、医用画像データ１１におけるステップＳ１０３で取得されたシード点の位置にシード点を設定する。このように、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａを用いて医用画像データ１１に対してシード点を設定する。
(Step S104)
Next, in step S104, the segmentation execution function 135c sets seed points at the positions of the seed points acquired in step S103 in the
（ステップＳ１０５）
次に、ステップＳ１０５では、修正機能１３５ｄは、医用画像データ１１に基づく医用画像をディスプレイ１４に表示させるとともに、ディスプレイ１４に表示された医用画像上に各シード点を重畳表示させる。ここで、医用画像上に重畳表示されたシード点の位置は、ユーザにより修正可能である。例えば、ユーザは、シード点の位置を修正する場合には、入力インターフェース１３３を介して、シード点の位置を修正させるための修正指示を処理回路１３５に入力する。修正指示には、修正対象のシード点、及び、修正対象のシード点の修正後の位置等の情報が含まれる。一方、ユーザは、シード点の位置を修正しない場合及びシード点の位置の修正が完了した場合には、入力インターフェース１３３を介して、シード点の位置を修正させない修正不要指示を処理回路１３５に入力する。
(Step S105)
Next, in step S105, the correction function 135d causes the display 14 to display a medical image based on the
（ステップＳ１０６）
次に、ステップＳ１０６では、修正機能１３５ｄは、シード点の位置を修正するか否かを判定する。例えば、修正機能１３５ｄは、修正指示を受け付けた場合には、シード点の位置を修正すると判定する。一方、修正機能１３５ｄは、修正不要指示を受け付けた場合には、シード点の位置を修正しないと判定する。シード点の位置を修正する場合（ステップＳ１０６：Ｙｅｓ）、修正機能１３５ｄは、ステップＳ１０７へ進む。一方、シード点の位置を修正しない場合（ステップＳ１０６：Ｎｏ）、修正機能１３５ｄは、ステップＳ１０８へ進む。
(Step S106)
Next, in step S106, the correction function 135d determines whether or not to correct the position of the seed point. For example, when receiving a correction instruction, the correction function 135d determines to correct the position of the seed point. On the other hand, the correction function 135d determines not to correct the position of the seed point when the correction unnecessary instruction is received. If the position of the seed point is to be corrected (step S106: Yes), the correction function 135d proceeds to step S107. On the other hand, if the position of the seed point is not corrected (step S106: No), the correction function 135d proceeds to step S108.
（ステップＳ１０７）
ステップＳ１０７では、修正機能１３５ｄは、修正指示に基づきシード点の位置を修正する。そして、修正機能１３５ｄは、ステップＳ１０４に戻る。ステップＳ１０７からステップＳ１０４に戻った場合、ステップＳ１０４では、セグメンテーション実行機能１３５ｃは、修正された位置にシード点を設定する。そして、処理回路１３５は、ステップＳ１０５以降の処理を行う。
(Step S107)
In step S107, the correction function 135d corrects the position of the seed point based on the correction instruction. The correction function 135d then returns to step S104. When returning from step S107 to step S104, in step S104, the segmentation execution function 135c sets seed points at the corrected positions. Then, the processing circuit 135 performs the processing after step S105.
（ステップＳ１０８）
ステップＳ１０８では、セグメンテーション実行機能１３５ｃは、セグメンテーションの対象の臓器毎に、デフォルトのセグメンテーション処理のアルゴリズムを設定する。かかるアルゴリズムは、例えば、学習済みモデルを用いてセグメンテーション処理を行うアルゴリズムである。学習済みモデルに医用画像データ１１が入力されると、学習済みモデルはセグメンテーション結果を出力する。なお、学習済みモデルは、医用画像データ１１及びシード点の位置が入力されると、セグメンテーション結果を出力してもよい。
(Step S108)
In step S108, the segmentation execution function 135c sets a default segmentation processing algorithm for each segmentation target organ. Such an algorithm is, for example, an algorithm that performs segmentation processing using a trained model. When the
なお、デフォルトのセグメンテーション処理のアルゴリズムは、ＤＬＬ化された(学習しないルールに従った)アルゴリズムであってもよい。このようなアルゴリズムの一例としては、リージョングローイング（Region growing）法が挙げられる。リージョングローイング法は、例えば、シード点が設定された位置（画素）から、シード点が設定された画素の画素値との差が閾値以内の領域を次々と連結し、連結された領域を抽出するアルゴリズムである。 Note that the default segmentation processing algorithm may be a DLL algorithm (according to non-learning rules). An example of such an algorithm is a region growing method. In the region growing method, for example, from the positions (pixels) where the seed points are set, regions where the difference between the pixel values of the pixels where the seed points are set are within a threshold value are connected one after another, and the connected regions are extracted. Algorithm.
（ステップＳ１０９）
次に、ステップＳ１０９では、選択機能１３５ｅは、セグメンテーションの対象の臓器毎に、適用可能なセグメンテーション処理のアルゴリズムのリストをディスプレイ１３４に表示させる。図６は、実施形態に係るリストの一例を説明するための図である。図６に示すように、選択機能１３５ｅは、臓器毎に、適用可能なセグメンテーション処理のアルゴリズムのリストをディスプレイ１３４に表示させる。例えば、図６に示すように、選択機能１３５ｅは、入力インターフェース１３３を介してユーザにより肺（Ｌｕｎｇ）が選択されると、肺の領域をセグメンテーション（抽出）する処理のアルゴリズムであって適用可能な処理のアルゴリズムのリストをディスプレイ１３４に表示させる。なお、アルゴリズムは、例えば、学習済みモデルを用いてセグメンテーション処理を行うアルゴリズムである。学習済みモデルに医用画像データ１１が入力されると、学習済みモデルはセグメンテーション結果を出力する。なお、学習済みモデルは、医用画像データ１１及びシード点の位置が入力されると、セグメンテーション結果を出力してもよい。なお、セグメンテーション処理のアルゴリズムは、ＤＬＬ化されたリージョングローイング法等のアルゴリズムであってもよい。
(Step S109)
Next, in step S109, the
具体的には、選択機能１３５ｅは、図６に示すように、「アルゴリズムＡ」、「アルゴリズムＢ」及び「アルゴリズムＣ」をディスプレイ１３４に表示させる。なお、「アルゴリズムＡ」は、ステップＳ１０８で設定されたデフォルトのアルゴリズムである。このため、ステップＳ１０９では、選択機能１３５ｅは、デフォルトのアルゴリズムとして設定された「アルゴリズムＡ」が選択された状態で「アルゴリズムＡ」、「アルゴリズムＢ」及び「アルゴリズムＣ」をディスプレイ１３４に表示させる。ここで、ユーザは、アルゴリズムを変更する場合には、入力インターフェース１３３を介して、アルゴリズムを変更させるための変更指示を処理回路１３５に入力する。変更指示には、変更後のアルゴリズム等の情報が含まれる。一方、ユーザは、アルゴリズムを変更しない場合及びアルゴリズムの変更が完了した場合には、入力インターフェース１３３を介して、アルゴリズムを変更させない変更不要指示を処理回路１３５に入力する。
Specifically, the
（ステップＳ１１０）
次に、ステップＳ１１０では、選択機能１３５ｅは、臓器毎にアルゴリズムを変更する否かを判定する。例えば、選択機能１３５ｅは、変更指示を受け付けた場合には、アルゴリズムを変更すると判定する。一方、選択機能１３５ｅは、変更不要指示を受け付けた場合には、アルゴリズムを変更しないと判定する。アルゴリズムを変更する場合（ステップＳ１１０：Ｙｅｓ）、選択機能１３５ｅは、ステップＳ１１１へ進む。一方、アルゴリズムを変更しない場合（ステップＳ１１０：Ｎｏ）、選択機能１３５ｅは、ステップＳ１１２へ進む。
(Step S110)
Next, in step S110, the
（ステップＳ１１１）
ステップＳ１１１では、選択機能１３５ｅは、変更指示に基づきアルゴリズムを選択（変更）し、選択されたアルゴリズムを設定する。そして、選択機能１３５ｅは、ステップＳ１０９に戻る。ステップＳ１１１からステップＳ１０９に戻った場合、ステップＳ１０９では、選択機能１３５ｅは、ステップＳ１１１で設定されたアルゴリズムが選択された状態で、上述したリストをディスプレイ１３４に表示させる。そして、処理回路１３５は、ステップＳ１１０以降の処理を行う。
(Step S111)
In step S111, the
（ステップＳ１１２）
ステップＳ１１２では、セグメンテーション実行機能１３５ｃは、設定されたアルゴリズムで、設定されたシード点を用いて、医用画像データ１１からセグメンテーション対象の臓器の領域をセグメンテーション（抽出）する処理をセグメンテーション対象の臓器毎に実行する。すなわち、セグメンテーション実行機能１３５ｃは、設定されたシード点を用いて、推論を行う。
(Step S112)
In step S112, the segmentation execution function 135c performs a process of segmenting (extracting) a segmentation target organ region from the
例えば、設定されたアルゴリズムが、医用画像データ１１が入力されると、セグメンテーション結果を出力する学習済みモデルである場合について説明する。この場合、セグメンテーション実行機能１３５ｃは、対象の臓器のボリュームサイズをアトラス情報モデル１３２ａから取得する。そして、セグメンテーション実行機能１３５ｃは、取得されたボリュームサイズに基づいて、対象の臓器を含み、かつ、シード点が設定された位置を含むスライス方向の範囲を特定する。ここでいうスライス方向の範囲とは、医用画像データ１１におけるスライス方向の範囲である。そして、セグメンテーション実行機能１３５ｃは、医用画像データ１１全体ではなく、医用画像データ１１の特定されたスライス方向の範囲の部分を学習済みモデルに入力する。これにより、学習済みモデルは、医用画像データ１１全体ではなく、特定されたスライス方向の範囲の部分に絞ってセグメンテーションを行い、セグメンテーション結果を出力する。このため、処理時間の増大を抑制することができる。そして、セグメンテーション実行機能１３５ｃは、学習済みモデルから出力されたセグメンテーション結果を取得する。
For example, a case where the set algorithm is a trained model that outputs a segmentation result when the
また、例えば、設定されたアルゴリズムが、医用画像データ１１及びシード点の位置が入力されると、セグメンテーション結果を出力する学習済みモデルである場合について説明する。この場合、セグメンテーション実行機能１３５ｃは、医用画像データ１１及びシード点の位置を学習済みモデルに入力する。そして、セグメンテーション実行機能１３５ｃは、学習済みモデルから出力されたセグメンテーション結果を取得する。
Also, for example, a case where the set algorithm is a trained model that outputs a segmentation result when the
なお、例えば、設定されたアルゴリズムが、ＤＬＬ化されたアルゴリズムである場合には、セグメンテーション実行機能１３５ｃは、設定されたアルゴリズムで、設定されたシード点を用いて、医用画像データ１１からセグメンテーション対象の臓器の領域をセグメンテーションする処理を実行する。
Note that, for example, when the set algorithm is a DLL algorithm, the segmentation execution function 135c uses the set seed point to perform segmentation from the
（ステップＳ１１３）
次に、ステップＳ１１３では、表示制御機能１３５ｆは、医用画像データ１１に基づく医用画像をディスプレイ１３４に表示させるとともに、医用画像上にセグメンテーション結果を重畳表示させる。図７は、実施形態に係る表示制御機能１３５ｆが実行する処理の一例を説明するための図である。ここでは、ステップＳ１１２で、心臓、肺、肝臓及び腎臓のそれぞれの領域がセグメンテーションされた場合について説明する。医用画像データ１１が３次元ＣＴ画像データである場合、表示制御機能１３５ｆは、医用画像データ１１からコロナル像の画像データであるＭＰＲ（Multi-Planar Reconstruction）画像データを生成し、図７に示すように、生成したＭＰＲ画像データに基づくコロナル像１１ａをディスプレイ１３４に表示させる。そして、表示制御機能１３５ｆは、コロナル像１１ａ上に肺、心臓、肝臓及び腎臓のそれぞれの領域を異なる色で重畳表示させる。具体的には、表示制御機能１３５ｆは、コロナル像１１ａ上に、肺を構成する２つの領域１２ａ，１２ｂ、心臓の領域１２ｃ、肝臓の領域１２ｄ及び腎臓を構成する２つの領域１２ｅ，１２ｆのそれぞれの領域を異なる色で表示させる。更に、表示制御機能１３５ｆは、コロナル像１１ａ上に、肺の領域１２ａの重心位置を示すマーク１３ａ、肺の領域１２ｂの重心位置を示すマーク１３ｂ、心臓の領域１２ｃの重心位置を示すマーク１３ｃ、肝臓の領域１２ｄの重心位置を示すマーク１３ｄ、腎臓の領域１２ｅの重心位置を示すマーク１３ｄ、及び、腎臓の領域１２ｆの重心位置を示すマーク１３ｆを表示させる。
(Step S113)
Next, in step S113, the display control function 135f causes the display 134 to display a medical image based on the
ここで、セグメンテーション結果は、ユーザにより修正可能である。ここでは、領域１２ａ～１２ｆのそれぞれの領域がセグメンテーションされた場合について説明する。この場合、領域１２ａ～１２ｆのそれぞれの領域は、ユーザにより修正可能である。例えば、ユーザは、領域１２ａ～１２ｆのうち少なくとも１つの領域の範囲を修正する場合には、入力インターフェース１３３を介して、修正対象の領域の範囲を修正させるための範囲修正指示を処理回路１３５に入力する。範囲修正指示には、修正対象の領域、及び、修正対象の領域の修正後の範囲等の各種の情報が含まれる。一方、ユーザは、領域１２ａ～１２ｆの範囲を修正しない場合には、入力インターフェース１３３を介して、領域１２ａ～１２ｆの範囲を修正させない範囲修正不要指示を処理回路１３５に入力する。
Here, the segmentation results are modifiable by the user. Here, a case where each of the
（ステップＳ１１４）
次に、ステップＳ１１４では、修正機能１３５ｄは、領域１２ａ～１２ｆのうち少なくとも１つの領域の範囲を修正するか否かを判定する。例えば、修正機能１３５ｄは、範囲修正指示を受け付けた場合には、領域１２ａ～１２ｆのうち少なくとも１つの領域の範囲を修正すると判定する。一方、修正機能１３５ｄは、範囲修正不要指示を受け付けた場合には、領域１２ａ～１２ｆの範囲を修正しないと判定する。領域１２ａ～１２ｆのうち少なくとも１つの領域の範囲を修正する場合（ステップＳ１１４：Ｙｅｓ）、修正機能１３５ｄは、ステップＳ１１５へ進む。一方、領域１２ａ～１２ｆの範囲を修正しない場合（ステップＳ１１４：Ｎｏ）、修正機能１３５ｄは、ステップＳ１１６へ進む。
(Step S114)
Next, in step S114, the modifying function 135d determines whether or not to modify the range of at least one of the
（ステップＳ１１５）
ステップＳ１１５では、修正機能１３５ｄは、範囲修正指示に基づき修正対象の領域の範囲を修正する。具体的には、修正機能１３５ｄは、範囲修正指示に含まれる修正対象の領域の範囲が、範囲修正指示に含まれる修正後の範囲となるように、修正対象の領域を修正する。ステップＳ１１２でセグメンテーションされた臓器の領域に代えてステップＳ１１５で範囲が修正された領域が、後述するステップＳ１１６における処理に用いられる。そして、修正機能１３５ｄは、ステップＳ１１４に戻る。
(Step S115)
In step S115, the correction function 135d corrects the range of the region to be corrected based on the range correction instruction. Specifically, the correction function 135d corrects the correction target area so that the range of the correction target area included in the range correction instruction becomes the corrected range included in the range correction instruction. Instead of the organ region segmented in step S112, the region corrected in step S115 is used for processing in step S116, which will be described later. The correction function 135d then returns to step S114.
（ステップＳ１１６）
次に、ステップＳ１１６では、制御機能１３５ａは、各種情報及び各種データをメモリ１３２に記憶させることで各種情報及び各種データをメモリ１３２に保存する。ここで保存される各種情報及び各種データは、アトラス情報モデル１３２ａに学習させる際に用いられる。例えば、制御機能１３５ａは、ステップＳ１１２でセグメンテーションされた臓器の領域の重心位置を算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域の重心位置を算出する。そして、制御機能１３５ａは、算出された重心位置をメモリ１３２に保存する。
(Step S116)
Next, in step S116, the
また、制御機能１３５ａは、セグメンテーションされた臓器の領域から、セグメンテーションされた隣接する２つの臓器についての位置関係情報を算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域を用いて、隣接する２つの臓器についての位置関係情報を算出する。そして、制御機能１３５ａは、算出された位置関係情報をメモリ１３２に保存する。
In addition, the
また、制御機能１３５ａは、セグメンテーションされた臓器の領域から、セグメンテーションされた臓器のボリュームサイズを算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域から臓器のボリュームサイズを算出する。そして、制御機能１３５ａは、算出されたボリュームサイズをメモリ１３２に保存する。
The
また、制御機能１３５ａは、医用画像データ１１をメモリ１３２に保存する。また、制御機能１３５ａは、セグメンテーションされた臓器の領域をメモリ１３２に保存する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域をメモリ１３２に保存する。セグメンテーションされた臓器の領域及び範囲が変更された領域は、例えば、一般的なセグメンテーションモデルの教師データとして用いられることができる。
Also, the
ここで、ユーザは、入力インターフェース１３３を介して、ステップＳ１１６においてメモリ１３２に保存された重心位置、位置関係情報、ボリュームサイズ及び領域を修正することができる。また、処理回路１３５は、重心位置、位置関係情報、ボリュームサイズ及び領域を修正するためのアプリケーションを実行することにより、ステップＳ１１６においてメモリ１３２に保存された重心位置、位置関係情報、ボリュームサイズ及び領域を修正してもよい。このように、セグメンテーション結果は、ユーザにより修正可能である。 Here, the user can modify the center-of-gravity position, positional relationship information, volume size and area stored in the memory 132 in step S116 via the input interface 133 . In addition, the processing circuit 135 executes an application for correcting the barycentric position, positional relationship information, volume size and area, thereby adjusting the barycentric position, positional relationship information, volume size and area stored in the memory 132 in step S116. may be modified. Thus, the segmentation results are modifiable by the user.
以上、図５に示すセグメンテーション処理について説明した。次に、図５に示すセグメンテーション処理により得られた各種情報及び各種データを用いてアトラス情報モデル１３２ａに学習させる方法の一例について説明する。例えば、制御機能１３５ａは、メモリ１３２に保存された臓器の領域の重心位置、位置関係情報、臓器のボリュームサイズを取得する。そして、制御機能１３５ａは、取得された臓器の領域の重心位置、位置関係情報、臓器のボリュームサイズを用いて、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置、位置関係情報、臓器のボリュームサイズを補正する。制御機能１３５ａは、このような補正を繰り返し行うことにより、アトラス情報モデル１３２ａに学習させる。すなわち、制御機能１３５ａは、セグメンテーション結果に基づいて、アトラス情報モデル１３２ａに学習させる。このように、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置を、セグメンテーション結果から得られる臓器の領域の重心位置に基づいて補正する。また、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる２つの臓器の位置関係を、セグメンテーション結果から得られる２つの臓器の位置関係に基づいて補正する。また、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器のボリュームサイズを、セグメンテーション結果から得られる臓器のボリュームサイズに基づいて補正する。セグメンテーション結果は、推論結果の一例である。
The segmentation processing shown in FIG. 5 has been described above. Next, an example of a method of making the
なお、学習されたアトラス情報モデル１３２ａは、各種の推論を行う際に用いられる。例えば、セグメンテーション実行機能１３５ｃにより、医用画像データ１１からセグメンテーション対象の臓器の領域をセグメンテーションする処理が実行される際に用いられる。この場合、セグメンテーション実行機能１３５ｃは、医用画像データ１１におけるアトラス情報モデル１３２ａに含まれる臓器の領域の補正された重心位置に基づいてシード点を設定し、設定されたシード点を用いてセグメンテーションを行う。
The learned
アトラス情報モデル１３２ａに学習させる方法の具体例について説明する。例えば、制御機能１３５ａは、学習済みモデル生成機能１３５ｇを制御し、学習済みモデル生成機能１３５ｇに以下の処理を実行させる。例えば、学習済みモデル生成機能１３５ｇは、学習済みモデルを生成し、生成された学習済みモデルに次々に追加学習させることで、間接的に、アトラス情報モデル１３２ａに学習させる。以下、この場合の詳細について説明する。例えば、図５に示すセグメンテーション処理のステップＳ１１６において、心臓の領域１２ｃの重心位置（ｘ１´，ｙ１´，ｚ１´）、心臓を基準として肺が存在しうる方向の範囲及び心臓を基準として肺が存在し得る距離の範囲を示す位置関係情報１´、心臓を基準として肝臓が存在しうる方向の範囲及び心臓を基準として肝臓が存在し得る距離の範囲を示す位置関係情報２´、及び、心臓のボリュームサイズＶ´がメモリ１３２に記憶された場合について説明する。
A specific example of a method for making the
図８は、実施形態に係る学習済みモデル生成機能１３５ｇが実行する処理の一例を説明するための図である。学習済みモデル生成機能１３５ｇは、アトラス情報モデル１３２ａの重心位置（ｘ１，ｙ１，ｚ１）を重心位置（ｘ１´，ｙ１´，ｚ１´）に更新する。また、学習済みモデル生成機能１３５ｇは、アトラス情報モデル１３２ａの位置関係情報１を位置関係情報１´に更新する。また、学習済みモデル生成機能１３５ｇは、アトラス情報モデル１３２ａの位置関係情報２を位置関係情報２´に更新する。また、学習済みモデル生成機能１３５ｇは、アトラス情報モデル１３２ａの心臓のボリュームサイズＶを心臓のボリュームサイズＶ´に更新する。このようにして、学習済みモデル生成機能１３５ｇは、図８に示すアトラス情報モデル１３２ｂを生成する。
FIG. 8 is a diagram for explaining an example of processing executed by the learned model generation function 135g according to the embodiment. The learned model generation function 135g updates the barycentric position (x1, y1, z1) of the
そして、学習済みモデル生成機能１３５ｇは、メモリ１３２から医用画像データ１１を取得する。
Then, the learned model generation function 135 g acquires the
図９は、実施形態に係る学習済みモデル生成機能１３５ｇが実行する処理の一例を説明するための図である。図９には、実施形態の学習済みモデル１２の生成方法の一例が示されている。図９に示すように、学習済みモデル生成機能１３５ｇは、医用画像データ１１と、アトラス情報モデル１３２ｂとの関係を学習することによって学習済みモデル１２を生成する。
FIG. 9 is a diagram for explaining an example of processing executed by the learned model generation function 135g according to the embodiment. FIG. 9 shows an example of a method of generating the trained model 12 of the embodiment. As shown in FIG. 9, the trained model generation function 135g generates the trained model 12 by learning the relationship between the
このように、学習済みモデル生成機能１３５ｇは、医用画像データ１１と、アトラス情報モデル１３２ｂとを対応付けて学習することによって学習済みモデル１２を生成する。
In this way, the trained model generation function 135g generates the trained model 12 by learning the
例えば、学習済みモデル生成機能１３５ｇは、医用画像データ１１を入力データとし、アトラス情報モデル１３２ｂを教師データとして機械エンジンに入力することによって、機械学習を行う。例えば、機械学習エンジンは、ディープラーニング（Deep Learning）、ニューラルネットワーク（Neural Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bays）等の各種のアルゴリムを用いて、機械学習を行う。
For example, the learned model generation function 135g performs machine learning by inputting the
学習済みモデル生成機能１３５ｇは、このような機械学習の結果として学習済みモデル１２を生成する。学習済みモデル１２は、医用画像データ１１に相当する画像データが入力されることで、アトラス情報モデル１３２ｂに相当するモデルを推定（生成）し、出力する。
The learned model generation function 135g generates the learned model 12 as a result of such machine learning. The trained model 12 receives image data corresponding to the
そして、学習済みモデル生成機能１３５ｇは、生成した学習済みモデル１２をメモリ１３２に記憶させる。そして、学習済みモデル生成機能１３５ｇは、新たな医用画像データ１１と、新たなアトラス情報モデル１３２ｂとを対応付けて学習することによって学習済みモデル１２に追加学習させる。本実施形態では、このようにして学習済みモデル１２に追加学習させることが繰り返し行われる。
Then, the learned model generation function 135 g stores the generated learned model 12 in the memory 132 . Then, the learned model generation function 135g causes the learned model 12 to perform additional learning by associating the new
そして、上述したように、ステップＳ１０２では、取得機能１３５ｂは、追加学習された学習済みモデル１２に医用画像データ１１を入力し、学習済みモデル１２から出力されたアトラス情報モデルを取得する。したがって、取得機能１３５ｂは、間接的に学習されたアトラス情報モデルを取得することができる。
Then, as described above, in step S102, the
以上、実施形態に係る画像処理装置１３０について説明した。実施形態に係る画像処理装置１３０は、ユーザの操作を必要とすることなく、医用画像データ１１内の各臓器のセグメンテーション処理を同時に実行することができる。
The
また、実施形態に係る画像処理装置１３０は、ＡＩを使って医用画像データ１１全体から臓器をセグメンテーションするのではなく、学習されたアトラス情報モデルを用いて各臓器の重心をシード点として、セグメンテーション処理を行う。
In addition, the
以上のことから、実施形態に係る画像処理装置１３０は、セグメンテーション処理全体の処理時間を短縮することができる。
As described above, the
（実施形態の変形例１）
上述した実施形態では、アトラス情報モデル１３２ａが特定の臓器に特化せず、複数の臓器の領域の重心位置や複数の臓器のボリュームサイズ等を含む場合について説明した。しかしながら、アトラス情報モデル１３２ａが、特定の臓器（例えば心臓等）に特化したモデルであってもよい。そこで、このような変形例を実施形態の変形例１として説明する。なお、実施形態の変形例１の説明では、主に、実施形態と異なる点について説明し、実施形態と同様の構成の説明については省略する場合がある。
(
In the above-described embodiment, the case where the
例えば、変形例１では、アトラス情報モデル１３２ａは、心臓に特化したモデルである。すなわち、アトラス情報モデル１３２ａは、心臓を基準としたモデルである。具体的には、アトラス情報モデル１３２ａは、心臓の重心位置、心臓のボリュームサイズ等の心臓に関する情報を有するが、他の臓器の領域の重心位置や他の臓器のボリュームサイズ等の情報を有さない。例えば、変形例１では、アトラス情報モデル１３２ａは、先の図４に示す心臓に関する情報（Ｎｏｄｅ２に関する情報）を有するが、他の臓器に関する情報を有さない。
For example, in
変形例１において、画像処理装置１３０が、上述したようなアトラス情報モデル１３２ａを用いて、セグメンテーション処理を実行する場合について説明する。以下、セグメンテーション処理の対象の臓器が、心臓、肺及び肝臓である場合について説明する。
In Modified Example 1, the case where the
まず、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａに含まれる心臓の重心位置をシード点の位置として取得する。セグメンテーション実行機能１３５ｃは、取得されたシード点の位置にシード点を設定する。そして、セグメンテーション実行機能１３５ｃは、設定されたシード点を用いて、医用画像データ１１から心臓の領域をセグメンテーション（抽出）するセグメンテーション処理を実行する。そして、セグメンテーション実行機能１３５ｃは、セグメンテーションされた心臓の領域を取得する。
First, the segmentation execution function 135c acquires the position of the center of gravity of the heart included in the
そして、セグメンテーション実行機能１３５ｃは、アトラス情報モデル１３２ａに含まれる位置関係情報１及び位置関係情報２を取得する。そして、セグメンテーション実行機能１３５ｃは、セグメンテーションされた心臓の領域と位置関係情報１とから、おおよその肺の領域の重心位置を推定する。そして、セグメンテーション実行機能１３５ｃは、医用画像データ１１の推定された肺の領域の重心位置にシード点を設定する。そして、セグメンテーション実行機能１３５ｃは、設定されたシード点を用いて、医用画像データ１１から肺の領域をセグメンテーションするセグメンテーション処理を実行して、肺の領域をセグメンテーションする。
Then, the segmentation execution function 135c acquires the
また、セグメンテーション実行機能１３５ｃは、セグメンテーションされた心臓の領域と位置関係情報２とから、おおよその肝臓の領域の重心位置を推定する。そして、セグメンテーション実行機能１３５ｃは、医用画像データ１１の推定された肝臓の領域の重心位置にシード点を設定する。そして、セグメンテーション実行機能１３５ｃは、設定されたシード点を用いて、医用画像データ１１から肝臓の領域をセグメンテーションするセグメンテーション処理を実行して、肝臓の領域をセグメンテーションする。
Further, the segmentation execution function 135c estimates the approximate center-of-gravity position of the liver region from the segmented heart region and the positional relationship information 2 . Then, the segmentation execution function 135c sets a seed point at the barycentric position of the estimated liver region of the
したがって、実施形態の変形例１によれば、画像処理装置１３０は、ユーザの操作を必要とすることなく、医用画像データ１１内の各臓器のセグメンテーション処理を同時に実行することができる。
Therefore, according to
また、実施形態の変形例１に係る画像処理装置１３０は、ＡＩを使って医用画像データ１１全体から臓器をセグメンテーションするのではなく、学習されたアトラス情報モデルを用いて各臓器の重心をシード点として、セグメンテーション処理を行う。
In addition, the
以上のことから、実施形態の変形例１に係る画像処理装置１３０は、セグメンテーション処理全体の処理時間を短縮することができる。
As described above, the
（実施形態の変形例２）
上述した実施形態では、画像処理装置１３０が、ステップＳ１１６において、セグメンテーションされた臓器の領域の重心位置、セグメンテーションされた隣接する２つの臓器についての位置関係情報、及び、セグメンテーションされた臓器のボリュームサイズをメモリ１３２に保存する場合について説明した。そして、上述した実施形態では、画像処理装置１３０が、保存されたこれらの情報を用いて、アトラス情報モデル１３２ａに学習させる場合について説明した。しかしながら、画像処理装置１３０は、ステップＳ１１６において、アトラス情報モデル１３２ａに含まれる情報と、セグメンテーションの結果から得られる情報との差分をメモリ１３２に保存させてもよい。そして、画像処理装置１３０は、保存された差分を用いて、アトラス情報モデル１３２ａに学習させてもよい。そこで、このような変形例を実施形態の変形例２として説明する。なお、実施形態の変形例２の説明では、主に、実施形態と異なる点について説明し、実施形態と同様の構成の説明については省略する場合がある。
(Modification 2 of Embodiment)
In the above-described embodiment, in step S116, the
変形例２では、ステップＳ１１６において、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置と、医用画像データ１１におけるステップＳ１１２でセグメンテーションされた臓器の領域の重心位置との差分（重心位置の差分）を算出する。例えば、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置を基準として、重心位置の差分を算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域の重心位置と、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置との差分を算出する。なお、同一の臓器の間で重心位置の差分が算出される。そして、制御機能１３５ａは、算出された重心位置の差分をメモリ１３２に保存する。
In the second modification, in step S116, the
また、ステップＳ１１６において、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる位置関係情報と、セグメンテーションされた隣接する２つの臓器についての位置関係情報との差分（位置関係情報の差分）を算出する。例えば、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる位置関係情報を基準として、位置関係情報の差分を算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域を用いて隣接する２つの臓器についての位置関係情報を算出し、算出された位置関係情報とアトラス情報モデル１３２ａに含まれる位置関係情報との差分（位置関係情報の差分）を算出する。なお、同一の２つの隣接する臓器の間で位置関係情報の差分が算出される。そして、制御機能１３５ａは、算出された位置関係情報の差分をメモリ１３２に保存する。
Also, in step S116, the
また、ステップＳ１１６において、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器のボリュームサイズと、セグメンテーションされた臓器のボリュームサイズとの差分（ボリュームサイズの差分）を算出する。例えば、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器のボリュームサイズを基準として、ボリュームサイズの差分を算出する。ただし、制御機能１３５ａは、ステップＳ１１５において範囲が変更された領域については、範囲が変更された領域から臓器のボリュームサイズを算出し、算出されたボリュームサイズとアトラス情報モデル１３２ａに含まれる臓器のボリュームサイズとの差分（ボリュームサイズの差分）を算出する。なお、同一の臓器の間でボリュームサイズの差分が算出される。そして、制御機能１３５ａは、算出されたボリュームサイズの差分をメモリ１３２に保存する。
Also, in step S116, the
次に、変形例２において、アトラス情報モデル１３２ａに学習させる方法の一例について説明する。例えば、制御機能１３５ａは、メモリ１３２に保存された重心位置の差分、位置関係情報の差分、ボリュームサイズの差分を取得する。そして、制御機能１３５ａは、取得された重心位置の差分、位置関係情報の差分、ボリュームサイズの差分を用いて、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置、位置関係情報、臓器のボリュームサイズを補正する。すなわち、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置を、アトラス情報モデル１３２ａに含まれる臓器の領域の重心位置とセグメンテーション結果から得られる臓器の領域の重心位置との差分に基づいて補正する。また、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる２つの臓器の位置関係を、アトラス情報モデル１３２ａに含まれる２つの臓器の位置関係とセグメンテーション結果から得られる２つの臓器の位置関係との差分に基づいて補正する。また、制御機能１３５ａは、アトラス情報モデル１３２ａに含まれる臓器のボリュームサイズを、アトラス情報モデル１３２ａに含まれる臓器のボリュームサイズとセグメンテーション結果から得られる臓器のボリュームサイズとの差分に基づいて補正する。このような補正を繰り返し行うことにより、アトラス情報モデル１３２ａに学習させる。
Next, in Modified Example 2, an example of a method of making the
変形例２において、アトラス情報モデル１３２ａに学習させる方法の具体例について説明する。例えば、制御機能１３５ａは、学習済みモデル生成機能１３５ｇを制御し、学習済みモデル生成機能１３５ｇに以下の処理を実行させる。例えば、上述した実施形態では、学習済みモデル生成機能１３５ｇが、アトラス情報モデル１３２ｂを用いて学習済みモデル１２に次々に追加学習させることで、間接的に、アトラス情報モデル１３２ａに学習させる場合について説明した。一方、変形例２では、学習済みモデル生成機能１３５ｇは、アトラス情報モデル１３２ｂに代えて、制御機能１３５ａにより取得された重心位置の差分、位置関係情報の差分、ボリュームサイズの差分を用いて学習済みモデル１２に次々に追加学習させることで、間接的に、アトラス情報モデル１３２ａに学習させる。
In Modification 2, a specific example of a method for making the
以上、実施形態の変形例２に係る画像処理装置１３０について説明した。変形例２に係る画像処理装置１３０は、実施形態に係る画像処理装置１３０と同様に、セグメンテーション処理全体の処理時間を短縮することができる。
The
なお、画像処理装置１３０の処理回路１３５は、シード点を用いたディテクション（detection）を行ってもよい。処理回路１３５は、学習済みモデルを用いて、かかるディテクションを行う。以下の説明では、このような学習済みモデルは、例えば、ディテクション用学習済みモデルと称される。
Note that the processing circuit 135 of the
まず、処理回路１３５が実行する学習時のディテクション用学習済みモデルを生成する処理の一例について説明する。例えば、処理回路１３５は、学習時において、３次元データである医用画像データ１１と、セグメンテーション実行機能１３５ｃにより医用画像データ１１からセグメンテーションされた臓器の領域を包含する直方体の８つの頂点の座標と、ラベル（例えば、医用画像データ１１からセグメンテーションされた臓器の名称）との関係を学習することによってディテクション用学習済みモデルを生成する。以下の説明では、ラベルが臓器の名称である場合について説明するが、ラベルはこれに限られない。このように、処理回路１３５は、医用画像データ１１と、座標と、臓器の名称とを対応付けて学習することによってディテクション用学習済みモデルを生成する。
First, an example of processing for generating a learned model for detection during learning, which is executed by the processing circuit 135, will be described. For example, at the time of learning, the processing circuit 135 includes the
例えば、処理回路１３５は、医用画像データ１１を入力データとし、座標及びラベルの組合せを教師データとして機械エンジンに入力することによって、機械学習を行う。例えば、機械学習エンジンは、ディープラーニング、ニューラルネットワーク、ロジスティック回帰分析、非線形判別分析、サポートベクターマシン、ランダムフォレスト、ナイーブベイズ等の各種のアルゴリムを用いて、機械学習を行う。
For example, the processing circuit 135 performs machine learning by inputting the
処理回路１３５は、このような機械学習の結果としてディテクション用学習済みモデルを生成する。ディテクション用学習済みモデルは、医用画像データ１１に相当する画像データが入力されることで、医用画像データ１１に相当する画像データにおいてセグメンテーションされた臓器の領域を包含する直方体の頂点の座標に相当する座標、及び、医用画像データ１１に相当する画像データにおいてセグメンテーションされた臓器の名称に相当する臓器の名称を推定（生成）し、出力する。
The processing circuit 135 generates a learned model for detection as a result of such machine learning. When image data corresponding to the
そして、処理回路１３５は、生成されたディテクション用学習済みモデルをメモリ１３２に記憶させる。上述したようなディテクション用学習済みモデルを生成する方法によれば、教師データを作成する際に要する時間の増大を抑制することができる。 Then, the processing circuit 135 stores the generated learned model for detection in the memory 132 . According to the method of generating a trained model for detection as described above, it is possible to suppress an increase in the time required to create teacher data.
次に、処理回路１３５が実行する運用時のディテクション用学習済みモデルを用いたディテクション処理の一例について説明する。例えば、処理回路１３５は、運用時において、医用画像データ１１をディテクション用学習済みモデルに入力し、ディテクション用学習済みモデルに、医用画像データ１１においてセグメンテーションされた臓器の領域を包含する直方体の頂点の座標に相当する座標、及び、医用画像データ１１においてセグメンテーションされた臓器の名称に相当する臓器の名称を推定させ、出力させる。そして、処理回路１３５は、ディテクション用学習済みモデルにより出力された座標及び臓器の名称を取得する。
Next, an example of detection processing using a trained model for detection during operation executed by the processing circuit 135 will be described. For example, during operation, the processing circuit 135 inputs the
そして、処理回路１３５は、医用画像データ１１に基づく医用画像をディスプレイ１３４に表示させるとともに、医用画像上にディテクション結果を重畳表示させる。例えば、処理回路１３５は、３次元データである医用画像データ１１からコロナル像の画像データであるＭＰＲ画像データを生成する。そして、処理回路１３５は、生成したＭＰＲ画像データに基づくコロナル像をディスプレイ１３４に表示させる。また、処理回路１３５は、取得された座標により３次元空間における位置が示される８つの頂点を結ぶことにより得られる直方体を、コロナル像のコロナル断面で切断した場合のコロナル断面における直方体の形状（例えば矩形）を特定する。そして、処理回路１３５は、ディスプレイ１３４に表示されたコロナル像に、特定された形状を重畳表示させる。更に、処理回路１３５は、取得された臓器の名称をディスプレイ１３４に表示させる。これにより、ユーザは、ディスプレイ１３４に表示された形状内に存在する臓器の名称を把握することができる。
Then, the processing circuit 135 causes the display 134 to display a medical image based on the
また、画像処理装置１３０の処理回路１３５は、シード点を用いたクラシフィケーション（classification）を行ってもよい。処理回路１３５は、学習済みモデルを用いて、かかるクラシフィケーションを行う。以下の説明では、このような学習済みモデルは、例えば、クラシフィケーション用学習済みモデルと称される。
The processing circuitry 135 of the
まず、処理回路１３５が実行する学習時のクラシフィケーション用学習済みモデルを生成する処理の一例について説明する。例えば、処理回路１３５は、学習時において、３次元データである医用画像データ１１と、セグメンテーション実行機能１３５ｃにより医用画像データ１１からセグメンテーションされた臓器の領域内の腫瘍の位置を示す情報（以下、位置情報と称する）と、腫瘍が悪性であるのか又は良性であるのかを示す情報（以下、良悪性情報と称する）との関係を学習することによってクラシフィケーション用学習済みモデルを生成する。このように、処理回路１３５は、医用画像データ１１と、位置情報と、良悪性情報とを対応付けて学習することによってクラシフィケーション用学習済みモデルを生成する。
First, an example of processing for generating a trained model for classification during learning, which is executed by the processing circuit 135, will be described. For example, at the time of learning, the processing circuit 135 includes the
例えば、処理回路１３５は、医用画像データ１１を入力データとし、位置情報及び良悪性情報の組合せを教師データとして機械エンジンに入力することによって、機械学習を行う。例えば、機械学習エンジンは、ディープラーニング、ニューラルネットワーク、ロジスティック回帰分析、非線形判別分析、サポートベクターマシン、ランダムフォレスト、ナイーブベイズ等の各種のアルゴリムを用いて、機械学習を行う。
For example, the processing circuit 135 performs machine learning by inputting the
処理回路１３５は、このような機械学習の結果としてクラシフィケーション用学習済みモデルを生成する。クラシフィケーション用学習済みモデルは、医用画像データ１１に相当する画像データが入力されることで、位置情報及び良悪性情報を推定（生成）し、出力する。
Processing circuitry 135 generates a trained model for classification as a result of such machine learning. The trained model for classification estimates (generates) position information and benign/malignant information by inputting image data corresponding to the
そして、処理回路１３５は、生成されたクラシフィケーション用学習済みモデルをメモリ１３２に記憶させる。上述したようなクラシフィケーション用学習済みモデルを生成する方法によれば、教師データを作成する際に要する時間の増大を抑制することができる。 Then, the processing circuit 135 stores the generated trained model for classification in the memory 132 . According to the method of generating a trained model for classification as described above, it is possible to suppress an increase in the time required to create teacher data.
次に、処理回路１３５が実行する運用時のクラシフィケーション用学習済みモデルを用いたクラシフィケーション処理の一例について説明する。例えば、処理回路１３５は、運用時において、医用画像データ１１をクラシフィケーション用学習済みモデルに入力し、クラシフィケーション用学習済みモデルに、位置情報及び良悪性情報を推定させ、出力させる。そして、処理回路１３５は、クラシフィケーション用学習済みモデルにより出力された位置情報及び良悪性情報を取得する。
Next, an example of classification processing using a trained model for classification during operation executed by the processing circuit 135 will be described. For example, during operation, the processing circuit 135 inputs the
そして、処理回路１３５は、医用画像データ１１に基づく医用画像をディスプレイ１３４に表示させるとともに、医用画像上にクラシフィケーション結果を表示させる。例えば、処理回路１３５は、３次元データである医用画像データ１１からコロナル像の画像データであるＭＰＲ画像データを生成する。そして、処理回路１３５は、生成したＭＰＲ画像データに基づくコロナル像をディスプレイ１３４に表示させる。また、処理回路１３５は、ディスプレイ１３４に表示されたコロナル像上の位置情報により示される腫瘍の位置に腫瘍を示すマークを重畳表示させる。更に、処理回路１３５は、良悪性情報をディスプレイ１３４に表示させる。これにより、ユーザは、ディスプレイ１３４に表示された腫瘍の位置及び腫瘍が悪性であるのか良性であるのかを把握することができる。
Then, the processing circuit 135 causes the display 134 to display the medical image based on the
なお、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。 In addition, the term "processor" used in the description of the above embodiments is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an application specific integrated circuit (ASIC), Circuits such as programmable logic devices (e.g., Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and Field Programmable Gate Arrays (FPGAs)) means. Here, instead of storing the program in the memory 132, the program may be directly installed in the circuit of the processor. In this case, the processor implements its functions by reading and executing the program embedded in the circuit. Further, each processor of the present embodiment is not limited to being configured as a single circuit for each processor, and may be configured as one processor by combining a plurality of independent circuits to realize its function. good.
ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。 Here, the program executed by the processor is pre-installed in a ROM (Read Only Memory), a storage circuit, or the like and provided. This program is a file in a format that can be installed in these devices or in a format that can be executed, such as CD (Compact Disk)-ROM, FD (Flexible Disk), CD-R (Recordable), DVD (Digital Versatile Disk), etc. may be recorded and provided on a non-transitory computer-readable storage medium. Also, this program may be provided or distributed by being stored on a computer connected to a network such as the Internet and downloaded via the network. For example, this program is composed of modules including each processing function described above. As actual hardware, the CPU reads out a program from a storage medium such as a ROM and executes it, so that each module is loaded onto the main storage device and generated on the main storage device.
以上説明した少なくとも一つの実施形態によれば、処理時間を短縮することができる。 According to at least one embodiment described above, the processing time can be shortened.
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
１３０ 画像処理装置
１３５ａ 制御機能
１３５ｃ セグメンテーション実行機能
130
Claims (10)
前記仮想患者モデルに含まれる臓器の領域の重心位置を前記推論部による推論結果から得られる臓器の領域の重心位置に基づいて補正することにより、前記仮想患者モデルに学習させる学習部と、
を備える、画像処理装置。 an inference unit that sets seed points for image data using a virtual patient model and performs inference using the set seed points;
a learning unit that causes the virtual patient model to learn by correcting the barycentric position of the organ region included in the virtual patient model based on the barycentric position of the organ region obtained from the inference result of the inference unit;
An image processing device comprising:
請求項１に記載の画像処理装置。 The inference unit sets the seed point to the corrected center-of-gravity position of the region of the organ included in the virtual patient model in the image data, and performs inference using the set seed point.
The image processing apparatus according to claim 1.
請求項１又は２に記載の画像処理装置。 The learning unit corrects the positional relationship between two organs included in the virtual patient model based on the positional relationship between the two organs obtained from the inference result.
The image processing apparatus according to claim 1 or 2.
請求項１～３のいずれか１つに記載の画像処理装置。 The learning unit corrects the volume size of the organ included in the virtual patient model based on the volume size of the organ obtained from the inference result.
The image processing device according to any one of claims 1 to 3.
請求項１～４のいずれか１つに記載の画像処理装置。 The learning unit sets the barycentric position of the organ region included in the virtual patient model to the difference between the barycentric position of the organ region included in the virtual patient model and the barycentric position of the organ region obtained from the inference result. correct based on
The image processing device according to any one of claims 1 to 4.
請求項１～５のいずれか１つに記載の画像処理装置。 The learning unit converts the positional relationship between the two organs included in the virtual patient model into a difference between the positional relationship between the two organs included in the virtual patient model and the positional relationship between the two organs obtained from the inference result. correct based on
The image processing device according to any one of claims 1 to 5.
請求項１～６のいずれか１つに記載の画像処理装置。 The learning unit corrects the volume size of the organ included in the virtual patient model based on the difference between the volume size of the organ included in the virtual patient model and the volume size of the organ obtained from the inference result.
The image processing device according to any one of claims 1 to 6.
請求項１～７のいずれか１つに記載の画像処理装置。 A display control unit for displaying the inference result on a display unit,
The image processing device according to any one of claims 1 to 7.
仮想患者モデルを用いて画像データに対してシード点を設定し、設定されたシード点を用いて推論を行い、
前記仮想患者モデルに含まれる臓器の領域の重心位置を推論結果から得られる臓器の領域の重心位置に基づいて補正することにより、前記仮想患者モデルに学習させる、
処理を実行させるためのプログラム。 to the computer,
Setting seed points for image data using a virtual patient model, performing inference using the set seed points,
making the virtual patient model learn by correcting the centroid position of the organ region included in the virtual patient model based on the centroid position of the organ region obtained from the inference result;
A program for executing a process.
仮想患者モデルを用いて画像データに対してシード点を設定し、設定されたシード点を用いて推論を行い、
前記仮想患者モデルに含まれる臓器の領域の重心位置を推論結果から得られる臓器の領域の重心位置に基づいて補正することにより、前記仮想患者モデルに学習させる、
処理を実行する方法。 the computer
Setting seed points for image data using a virtual patient model, performing inference using the set seed points,
making the virtual patient model learn by correcting the centroid position of the organ region included in the virtual patient model based on the centroid position of the organ region obtained from the inference result;
How to perform an action.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021043053A JP2022142832A (en) | 2021-03-17 | 2021-03-17 | Image processing device, program, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021043053A JP2022142832A (en) | 2021-03-17 | 2021-03-17 | Image processing device, program, and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022142832A true JP2022142832A (en) | 2022-10-03 |
Family
ID=83454088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021043053A Pending JP2022142832A (en) | 2021-03-17 | 2021-03-17 | Image processing device, program, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022142832A (en) |
-
2021
- 2021-03-17 JP JP2021043053A patent/JP2022142832A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| EP3100236A1 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
| CN108701220A (en) | System and method for handling multi-modality images | |
| JP2017174039A (en) | Image classification device, method, and program | |
| JP2015530193A (en) | Multiple bone segmentation for 3D computed tomography | |
| US10275909B2 (en) | Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects | |
| JP6824845B2 (en) | Image processing systems, equipment, methods and programs | |
| US11954860B2 (en) | Image matching method and device, and storage medium | |
| CN111275762B (en) | System and method for patient positioning | |
| JP6357108B2 (en) | Subject image labeling apparatus, method and program | |
| US9547906B2 (en) | System and method for data driven editing of rib unfolding | |
| US20180064409A1 (en) | Simultaneously displaying medical images | |
| JP5194138B2 (en) | Image diagnosis support apparatus, operation method thereof, and image diagnosis support program | |
| US20180005378A1 (en) | Atlas-Based Determination of Tumor Growth Direction | |
| US20230260129A1 (en) | Constrained object correction for a segmented image | |
| WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
| JP2022111705A (en) | Leaning device, image processing apparatus, medical image pick-up device, leaning method, and program | |
| JP2022111704A (en) | Image processing apparatus, medical image pick-up device, image processing method, and program | |
| JP2022142832A (en) | Image processing device, program, and method | |
| US20210256741A1 (en) | Region correction apparatus, region correction method, and region correction program | |
| US20190378241A1 (en) | A method and apparatus for positioning markers in images of an anatomical structure | |
| CN111566699A (en) | Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data | |
| US11138736B2 (en) | Information processing apparatus and information processing method | |
| EP3695380A1 (en) | Hypersurface reconstruction of microscope view | |
| US20240054643A1 (en) | Image processing apparatus, image processing method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240208 |