JP6415878B2 - Image processing apparatus, image processing method, and medical image diagnostic apparatus - Google Patents
Image processing apparatus, image processing method, and medical image diagnostic apparatus Download PDFInfo
- Publication number
- JP6415878B2 JP6415878B2 JP2014142686A JP2014142686A JP6415878B2 JP 6415878 B2 JP6415878 B2 JP 6415878B2 JP 2014142686 A JP2014142686 A JP 2014142686A JP 2014142686 A JP2014142686 A JP 2014142686A JP 6415878 B2 JP6415878 B2 JP 6415878B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- small
- image processing
- extraction
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims description 141
- 238000009826 distribution Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 24
- 239000007787 solid Substances 0.000 claims description 19
- 210000004204 blood vessel Anatomy 0.000 claims description 16
- 210000003484 anatomy Anatomy 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 35
- 238000002591 computed tomography Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 230000007704 transition Effects 0.000 description 8
- 238000004195 computer-aided diagnosis Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000003748 differential diagnosis Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明の実施形態は、画像処理装置、画像処理方法及び医用画像診断装置に関する。 Embodiments described herein relate generally to an image processing apparatus, an image processing method, and a medical image diagnostic apparatus.
従来、Ｘ線ＣＴ（Computed Tomography）装置などの医用画像診断装置によって収集された３次元の画像データに含まれる関心領域を自動で抽出する技術が知られており、例えば、腫瘍の鑑別診断に利用されている。一例を挙げると、Ｘ線ＣＴ装置によって異なる時期に収集された複数の画像データに含まれる結節領域をそれぞれ抽出して、抽出した結節領域の体積や直径の変化を調べることにより、結節が悪性であるか又は良性であるかを鑑別する。 Conventionally, a technique for automatically extracting a region of interest included in three-dimensional image data collected by a medical image diagnostic apparatus such as an X-ray CT (Computed Tomography) apparatus has been known. For example, it is used for differential diagnosis of a tumor. Has been. As an example, by extracting nodule regions included in multiple image data collected at different times by an X-ray CT apparatus and examining changes in the volume and diameter of the extracted nodule regions, the nodule is malignant. Differentiate whether it is benign or not.
このような鑑別診断は、例えば、肺がん等の疑いを持つ患者に対して行われ、近年では、結節領域を抽出するだけではなく、結節領域をすりガラス状の半透明の画像領域であるＧＧＯ (Ground Glass Opacity) 領域や、ＧＧＯよりも高輝度な画像領域であるソリッド(Solid:充実性)領域などに分類して、それぞれの体積や直径の変化により鑑別診断が行われている。かかる鑑別診断の精度を向上させるためには、関心領域を正確に抽出することが重要である。 Such differential diagnosis is performed on a patient suspected of having lung cancer, for example. In recent years, not only a nodule region is extracted, but also the nodule region is ground glass-like translucent image region GGO (Ground It is classified into a glass (Opacity) area and a solid (solid) area, which is an image area with higher brightness than GGO, and differential diagnosis is performed based on changes in volume and diameter. In order to improve the accuracy of such differential diagnosis, it is important to accurately extract the region of interest.
現在、３次元の画像データから関心領域を抽出する方法としては、例えば、ユーザ又はＣＡＤ（Computer-Aided-Diagnosis）システムによって指定された腫瘍候補点の周囲に３次元のＲＯＩ（Region Of Interest）であるＶＯＩ（Volume Of Interest）を設定して、設定したＶＯＩに含まれるボクセルを輝度の閾値処理によって区分けすることで腫瘍候補領域を抽出する。そして、抽出した腫瘍候補領域から血管などの領域を除去して、Ｓｏｌｉｄ領域及びＧＧＯ領域に組成分類する方法が知られている。 Currently, as a method of extracting a region of interest from three-dimensional image data, for example, a three-dimensional ROI (Region Of Interest) around a tumor candidate point designated by a user or a CAD (Computer-Aided-Diagnosis) system. A tumor candidate region is extracted by setting a certain VOI (Volume Of Interest) and classifying voxels included in the set VOI by threshold processing of luminance. A method is known in which a region such as a blood vessel is removed from the extracted tumor candidate region and the composition is classified into a Solid region and a GGO region.
本発明が解決しようとする課題は、３次元画像データからの領域抽出の精度を向上させることができる画像処理装置、画像処理方法及び医用画像診断装置を提供することである。 The problem to be solved by the present invention is to provide an image processing apparatus, an image processing method, and a medical image diagnostic apparatus that can improve the accuracy of region extraction from three-dimensional image data.
実施形態の画像処理装置は、第１の抽出部と、第２の抽出部とを備える。第１の抽出部は、ＣＴ値に対応する閾値に基づいて、３次元画像データから相対的に輝度値が高く、抽出対象の構造を含む第１の領域と、相対的に輝度値が低く、前記３次元画像データにおける空気領域である第２の領域とを抽出する。第２の抽出部は、前記第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、前記第２の領域に隣接し、前記第２の領域との類似度が相対的に高い小領域を前記複数の小領域から除外することで、前記複数の小領域から前記構造に含まれる小領域を抽出して、前記構造の領域を抽出する。 The image processing apparatus according to the embodiment includes a first extraction unit and a second extraction unit. The first extraction unit has a relatively high luminance value from the three-dimensional image data based on a threshold corresponding to the CT value, and a relatively low luminance value from the first region including the structure to be extracted , A second region that is an air region in the three-dimensional image data is extracted. The second extraction unit, said first region is divided into a plurality of small regions on the basis of the feature quantity similarity and the positional relationship of the voxel, adjacent the leading Stories second region, the second region by similarity to exclude the relatively high small region from said plurality of small regions, extracting a small area contained from the plurality of small areas in the structure, it extracts an area of the structure.
以下、添付図面を参照して、実施形態に係る画像処理装置、画像処理方法及び医用画像診断装置を説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜省略する。 Hereinafter, an image processing apparatus, an image processing method, and a medical image diagnostic apparatus according to embodiments will be described with reference to the accompanying drawings. In the following embodiments, the parts denoted by the same reference numerals perform the same operation, and redundant description will be omitted as appropriate.
（第１の実施形態）
まず、第１の実施形態に係る画像処理装置を含む医用情報処理システムについて説明する。図１は、第１の実施形態に係る医用情報処理システム１の一例を示す図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、画像処理装置１００と、医用画像診断装置２００と、画像保管装置３００とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、医用情報処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入され、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、３次元の画像データ（ボリュームデータ）等を相互に送受信する。
(First embodiment)
First, a medical information processing system including an image processing apparatus according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a medical information processing system 1 according to the first embodiment. As illustrated in FIG. 1, the medical information processing system 1 according to the first embodiment includes an image processing device 100, a medical image diagnostic device 200, and an image storage device 300. Each apparatus illustrated in FIG. 1 is in a state where it can communicate with each other directly or indirectly by, for example, a hospital LAN (Local Area Network) installed in a hospital. For example, PACS (Picture Archiving and Communication System) has been introduced into the medical information processing system 1, and each device mutually exchanges three-dimensional image data (volume data) in accordance with the DICOM (Digital Imaging and Communications in Medicine) standard. To send and receive.
医用画像診断装置２００は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等である。また、第１の実施形態に係る医用画像診断装置２００は、ボリュームデータを生成可能である。 The medical diagnostic imaging apparatus 200 includes an X-ray diagnostic apparatus, an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, an ultrasonic diagnostic apparatus, a SPECT (Single Photon Emission Computed Tomography) apparatus, and a PET (Positron Emission computed Tomography). ) Apparatus, a SPECT-CT apparatus in which a SPECT apparatus and an X-ray CT apparatus are integrated, a PET-CT apparatus in which a PET apparatus and an X-ray CT apparatus are integrated, or a group of these apparatuses. Further, the medical image diagnostic apparatus 200 according to the first embodiment can generate volume data.
具体的には、医用画像診断装置２００は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置２００は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置２００は、５００枚のアキシャル面の医用画像データを再構成する。この５００枚のアキシャル面の医用画像データ群が、ボリュームデータである。なお、医用画像診断装置２００により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしても良い。 Specifically, the medical image diagnostic apparatus 200 generates volume data by imaging a subject. For example, the medical image diagnostic apparatus 200 collects data such as projection data and MR signals by photographing a subject, and medical image data of a plurality of axial surfaces along the body axis direction of the subject from the collected data. By reconfiguring, volume data is generated. For example, the medical image diagnostic apparatus 200 reconstructs 500 pieces of medical image data on the axial plane. The 500 axial medical image data groups are volume data. It should be noted that the projection data of the subject imaged by the medical image diagnostic apparatus 200, the MR signal, etc. itself may be used as volume data.
また、医用画像診断装置２００は、生成したボリュームデータを画像保管装置３００に送信する。なお、医用画像診断装置２００は、ボリュームデータを画像保管装置３００に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置２００を識別する装置ＩＤ、医用画像診断装置２００による１回の撮影を識別するシリーズＩＤ等を送信する。 In addition, the medical image diagnostic apparatus 200 transmits the generated volume data to the image storage apparatus 300. The medical image diagnostic apparatus 200 identifies, for example, a patient ID for identifying a patient, an examination ID for identifying an examination, and the medical image diagnostic apparatus 200 as supplementary information when transmitting volume data to the image storage apparatus 300. A device ID, a series ID for identifying one shot by the medical image diagnostic apparatus 200, and the like are transmitted.
画像保管装置３００は、医用画像を保管するデータベースである。具体的には、画像保管装置３００は、医用画像診断装置２００から送信されたボリュームデータを記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能な画像処理装置１００を用いることで、図１に例示する画像処理装置１００と画像保管装置３００とが統合される場合であっても良い。すなわち、本実施形態は、画像処理装置１００そのものにボリュームデータを記憶させる場合であっても良い。 The image storage device 300 is a database that stores medical images. Specifically, the image storage device 300 stores the volume data transmitted from the medical image diagnostic device 200 in the storage unit and stores it. Note that this embodiment may be a case where the image processing apparatus 100 illustrated in FIG. 1 and the image storage apparatus 300 are integrated by using the image processing apparatus 100 that can store a large-capacity image. That is, this embodiment may be a case where volume data is stored in the image processing apparatus 100 itself.
なお、第１の実施形態において、画像保管装置３００に保管されたボリュームデータは、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等と対応付けて保管される。このため、画像処理装置１００は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行なうことで、必要なボリュームデータを画像保管装置３００から取得する。 In the first embodiment, the volume data stored in the image storage device 300 is stored in association with the patient ID, examination ID, device ID, series ID, and the like. Therefore, the image processing apparatus 100 acquires necessary volume data from the image storage apparatus 300 by performing a search using a patient ID, an examination ID, an apparatus ID, a series ID, and the like.
画像処理装置１００は、医用画像診断装置２００又は画像保管装置３００からボリュームデータを受信し、受信したボリュームデータに含まれる所定の領域を抽出する。ここで、本実施形態に係る画像処理装置１００は、従来技術と比較して、ボリュームデータからの領域抽出の精度を向上させる。具体的には、画像処理装置１００は、ボリュームデータから抽出対象の構造を含む領域を抽出する際の精度を向上させる。 The image processing apparatus 100 receives volume data from the medical image diagnostic apparatus 200 or the image storage apparatus 300, and extracts a predetermined area included in the received volume data. Here, the image processing apparatus 100 according to the present embodiment improves the accuracy of region extraction from volume data as compared with the conventional technique. Specifically, the image processing apparatus 100 improves accuracy when extracting an area including a structure to be extracted from volume data.
ここで、ボリュームデータからの領域抽出の一例と従来技術における課題について、図２及び３を用いて説明する。図２は、ボリュームデータからの領域抽出の一例を説明するための図である。なお、図２においては、Ｘ線ＣＴ装置によって収集された胸部のＣＴ画像データから結節領域を抽出して、組成（Ｓｏｌｉｄ領域及びＧＧＯ領域）ごとの体積を推定する場合についての模式図を示す。 Here, an example of region extraction from volume data and a problem in the prior art will be described with reference to FIGS. FIG. 2 is a diagram for explaining an example of region extraction from volume data. In addition, in FIG. 2, the schematic diagram about the case where a nodule area | region is extracted from the CT image data of the chest collected with the X-ray CT apparatus and the volume for every composition (Solid area | region and GGO area | region) is estimated is shown.
ボリュームデータからの領域抽出においては、例えば、図２に示すように、まず、「入力」として胸部のＣＴボリュームデータを受け付ける。ここで、抽出対象である結節の中心点（図中の×印）や結節が含まれる肺野領域が指定される。このとき、中心点や肺野領域の指定は、操作者によって手動で行われたり、ＣＡＤ（Computer-Aided-Diagnosis）システムによって自動で行われたりする。このように抽出対象が指定されると、抽出対象を含む前景領域が抽出される。 In the region extraction from the volume data, for example, as shown in FIG. 2, first, CT volume data of the chest is received as “input”. Here, the center point of the nodule to be extracted (x mark in the figure) and the lung field region including the nodule are designated. At this time, the center point and the lung field region are designated manually by an operator or automatically by a CAD (Computer-Aided-Diagnosis) system. When the extraction target is specified in this way, the foreground region including the extraction target is extracted.
例えば、図２の「前景領域」に示すように、指定された肺野領域の中から抽出対象である結節を含む前景領域が抽出される。ここで、前景領域の抽出では、ボクセルにおける輝度値に基づいて前景領域が抽出されるため、結節と同様に輝度値が高い血管が前景領域として抽出される。そこで、次に、抽出された前景領域に含まれる血管領域が除去され（図中の「血管除去」）、結節の領域を示す境界が修正されることで（図中の「境界修正」）、ボリュームデータから結節の領域が抽出される。その後、抽出された結節の領域におけるＳｏｌｉｄ領域及びＧＧＯ領域が分類され（図中の「組成分類」）、「出力」として、それぞれの領域が示された画像とともに推定された体積値が表示される。 For example, as shown in “Foreground region” in FIG. 2, a foreground region including a nodule to be extracted is extracted from the designated lung field region. Here, in the extraction of the foreground region, the foreground region is extracted based on the luminance value in the voxel, and thus a blood vessel having a high luminance value is extracted as the foreground region similarly to the nodule. Therefore, the blood vessel region included in the extracted foreground region is then removed (“blood vessel removal” in the figure), and the boundary indicating the nodule region is corrected (“border correction” in the figure), A nodule region is extracted from the volume data. Thereafter, the solid region and the GGO region in the extracted nodule region are classified (“composition classification” in the figure), and an estimated volume value is displayed as an “output” together with an image showing each region. .
上述したように、ボリュームデータからの抽出対象の抽出には、まず、抽出対象を含む前景領域が抽出され、抽出された前景領域から対象領域が抽出される。しかしながら、従来技術においては、上述した前景領域の抽出の精度に一定の限界があるため、最終的な出力である抽出対象の組成（構造）ごとの領域表示や、体積推定の精度においても一定の限界があった。 As described above, for extraction of the extraction target from the volume data, first, the foreground region including the extraction target is extracted, and the target region is extracted from the extracted foreground region. However, in the prior art, there is a certain limit to the accuracy of the foreground region extraction described above, and therefore the region display for each composition (structure) to be extracted, which is the final output, and the accuracy of volume estimation are also constant. There was a limit.
例えば、ＣＴボリュームデータから結節を抽出する場合、ボクセルにおけるＣＴ値（輝度値）を閾値と比較することで前景領域が抽出される。ＣＴ値は、Ｘ線の吸収率を示し，「空気」を−１０００ＨＵ、「水」を０ＨＵと定義したＨＵ（Hounsfield Unit）を単位として利用する。ＣＴ値は、一般に空気（−１０００）を基準として、−１０００〜１０００の値の範囲をとり、体内にある種々の解剖学的構造のＣＴ値は−８００〜３００の範囲に分布する。例えば、ＧＧＯ領域は−８００〜−５００、血管やＳｏｌｉｄ領域は−５００〜０、胸壁や骨は０〜５００に分布することが多い。従って、輝度値の閾値処理によってこれらの解剖学的構造を抽出する場合には、閾値はＧＧＯ領域が抽出可能な−８００前後に設定することが望ましい。 For example, when extracting a nodule from CT volume data, a foreground region is extracted by comparing a CT value (luminance value) in a voxel with a threshold value. The CT value indicates the X-ray absorption rate, and is used in units of HU (Hounsfield Unit) in which “air” is defined as −1000 HU and “water” is defined as 0 HU. CT values generally range from -1000 to 1000 on the basis of air (-1000), and CT values of various anatomical structures in the body are distributed from -800 to 300. For example, the GGO region is distributed in the range of −800 to −500, the blood vessel and the Solid region in the range of −500 to 0, and the chest wall and the bone are often distributed in the range of 0 to 500. Therefore, when these anatomical structures are extracted by the threshold processing of luminance values, it is desirable to set the threshold to about −800 at which the GGO region can be extracted.
しかしながら、ＣＴボリュームデータはスライス厚や解像度などのパラメータ、再構成関数等によるボケの影響で、解剖学的構造の境界付近の輝度値が本来より高くなることがしばしばある。このようなデータに対して輝度値の閾値処理を行った場合、空気よりわずかに輝度値の高い境界付近の領域が過検出されてしまう。特に腫瘍や血管が複雑に入り組んでいる場合、近接する構造同士が過検出領域を介して結合し、後段で除去処理を行ったとしても正しく分離することが難しいという問題がある。例えば、図３に示すように、結節と血管とを含むＣＴボリュームデータに対して輝度値の閾値処理を行うと（図中の「輝度値による前景抽出」）、結節や血管の周囲の領域が過検出されてしまい（図中の「過検出領域」）、その後の「分類」で精度の高い分類を行うことが困難となる。このような問題に対しては、対策として閾値を引き上げることが考えられるが、例えば−８００ＨＵ程度のＧＧＯ領域が未検出となる場合があり、単純に閾値の調整のみで対応することは困難である。なお、図３は、従来技術に係る課題を説明するための図である。 However, the CT volume data often has higher brightness values near the boundary of the anatomical structure due to blurring due to parameters such as slice thickness and resolution, reconstruction function, and the like. When threshold processing of luminance values is performed on such data, an area near a boundary having a luminance value slightly higher than air is overdetected. In particular, when tumors and blood vessels are intricately complicated, there is a problem that adjacent structures are connected to each other via an overdetection region, and it is difficult to correctly separate even if removal processing is performed later. For example, as shown in FIG. 3, when threshold value processing of luminance values is performed on CT volume data including nodules and blood vessels (“foreground extraction based on luminance values” in the figure), regions around nodules and blood vessels are Over-detection (“over-detection area” in the figure) is difficult, and it is difficult to perform highly accurate classification in subsequent “classification”. For such a problem, it is conceivable to raise the threshold value as a countermeasure. However, for example, a GGO region of about -800 HU may not be detected, and it is difficult to cope with it simply by adjusting the threshold value. . In addition, FIG. 3 is a figure for demonstrating the subject which concerns on a prior art.
そこで、本願に係る画像処理装置１００は、以下、詳細に説明する構成により、ボリュームデータからの領域抽出の精度を向上させることを可能にする。具体的には、画像処理装置１００は、前景領域の抽出精度を向上させることにより、ボリュームデータからの領域抽出の精度を向上させる。図４は、第１の実施形態に係る画像処理装置１００の一例を示す図である。図４に示すように、画像処理装置１００は、入力部１１０と、表示部１２０と、記憶部１３０と、制御部１４０とを有する。例えば、画像処理装置１００は、ワークステーションや、任意のパーソナルコンピュータなどであり、医用画像診断装置２００や、画像保管装置３００などとネットワークを介して接続される。 Therefore, the image processing apparatus 100 according to the present application can improve the accuracy of region extraction from volume data with the configuration described in detail below. Specifically, the image processing apparatus 100 improves the accuracy of extracting a region from volume data by improving the accuracy of extracting a foreground region. FIG. 4 is a diagram illustrating an example of the image processing apparatus 100 according to the first embodiment. As illustrated in FIG. 4, the image processing apparatus 100 includes an input unit 110, a display unit 120, a storage unit 130, and a control unit 140. For example, the image processing apparatus 100 is a workstation, an arbitrary personal computer, or the like, and is connected to the medical image diagnostic apparatus 200, the image storage apparatus 300, and the like via a network.
入力部１１０は、マウス等のポインティングデバイス、キーボード等の入力デバイスであり、画像処理装置１００に対する各種操作の入力を操作者から受け付ける。例えば、入力部１１０は、ボリュームデータに含まれる抽出対象の指定操作などを受付ける。表示部１２０は、液晶ディスプレイ等の表示デバイスであり、各種情報を表示する。具体的には、表示部１２０は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、後述する制御部１４０による処理結果を表示する。 The input unit 110 is a pointing device such as a mouse or an input device such as a keyboard, and receives input of various operations on the image processing apparatus 100 from an operator. For example, the input unit 110 receives an extraction target designation operation included in the volume data. The display unit 120 is a display device such as a liquid crystal display and displays various types of information. Specifically, the display unit 120 displays a GUI (Graphical User Interface) for receiving various operations from the operator and a processing result by the control unit 140 described later.
記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、後述する制御部１４０によって取得されたボリュームデータなどを記憶する。また、記憶部１３０は、後述する制御部１４０によって用いられる種々の情報を記憶する。また、記憶部１３０は、後述する制御部１４０による処理結果を記憶する。例えば、記憶部１３０は、図４に示すように、画像データ記憶部１３１を有する。画像データ記憶部１３１は、後述する制御部１４０によって取得されたボリュームデータを記憶する。 The storage unit 130 is, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk, and volume data acquired by the control unit 140 described later. Memorize etc. The storage unit 130 stores various information used by the control unit 140 described later. Further, the storage unit 130 stores a processing result by the control unit 140 described later. For example, the storage unit 130 includes an image data storage unit 131 as illustrated in FIG. The image data storage unit 131 stores volume data acquired by the control unit 140 described later.
制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、画像処理装置１００の全体制御を行なう。制御部１４０は、図４に示すように、例えば、画像データ取得部１４１と、第１の抽出部１４２と、第２の抽出部１４３とを有する。 The control unit 140 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit), an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), and an image processing apparatus 100 total control is performed. As illustrated in FIG. 4, the control unit 140 includes, for example, an image data acquisition unit 141, a first extraction unit 142, and a second extraction unit 143.
画像データ取得部１４１は、医用画像診断装置２００によって生成されたボリュームデータを取得する。例えば、画像データ取得部１４１は、入力部１１０を介して操作者によって指定されたボリュームデータを医用画像診断装置２００又は画像保管装置３００から取得して、画像データ記憶部１３１に格納する。 The image data acquisition unit 141 acquires volume data generated by the medical image diagnostic apparatus 200. For example, the image data acquisition unit 141 acquires volume data designated by the operator via the input unit 110 from the medical image diagnostic apparatus 200 or the image storage apparatus 300 and stores it in the image data storage unit 131.
第１の抽出部１４２は、ボリュームデータから抽出対象の構造を含む第１の領域を抽出する。具体的には、第１の抽出部１４２は、ボリュームデータにおいてボクセルの輝度値が所定の閾値以上である領域を第１の領域として抽出する。 The first extraction unit 142 extracts a first area including the structure to be extracted from the volume data. Specifically, the first extraction unit 142 extracts a region where the luminance value of the voxel is equal to or greater than a predetermined threshold in the volume data as the first region.
第２の抽出部１４３は、第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、ボリュームデータにおける第１の領域以外の領域である第２の領域との類似度及び位置関係に基づいて、複数の小領域から構造に含まれる小領域を抽出することで、構造の領域を抽出する。具体的には、第２の抽出部１４３は、第２の領域と所定の位置関係にある小領域のうち、第２の領域との特徴量分布の類似度が所定の閾値以下、又は、特徴量分布の距離が所定の閾値以上である小領域を構造に含まれる小領域として抽出する。ここで、第２の抽出部１４３は、第１の領域に含まれるボクセルを輝度値及び３次元座標を用いてクラスタリングすることにより、第１の領域を複数の小領域に分割する。 The second extraction unit 143 divides the first region into a plurality of small regions based on the similarity and the positional relationship of the feature amount of the voxel, and a second region that is a region other than the first region in the volume data The region of the structure is extracted by extracting the small region included in the structure from the plurality of small regions based on the similarity and the positional relationship. Specifically, the second extraction unit 143 has a feature amount distribution similarity with the second region that is smaller than or equal to a predetermined threshold among small regions that are in a predetermined positional relationship with the second region, or a feature. A small region whose distance of the quantity distribution is not less than a predetermined threshold is extracted as a small region included in the structure. Here, the second extraction unit 143 divides the first region into a plurality of small regions by clustering the voxels included in the first region using the luminance value and the three-dimensional coordinates.
図５は、第１の実施形態に係る画像処理装置１００による処理の手順を示すフローチャートである。図５に示すように、第１の実施形態に係る画像処理装置１００は、ボリュームデータから抽出対象を含む前景領域の抽出処理を、ほぼ自動化された流れで行うことができる。具体的には、第１の実施形態に係る画像処理装置１００は、ボリュームデータから第１の領域を抽出して、抽出した第１の領域を複数の小領域に分割する。そして、画像処理装置１００は、ボリュームデータにおいて第１の領域以外の第２の領域との類似度及び位置関係をもとに各小領域が抽出対象の一部であるか否かを判定し、抽出対象の一部であると判定した小領域を前景領域として抽出する。以下、図６Ａ〜図９を併せて参照しながら、第１の実施形態における処理手順を説明する。なお、以下では、ＣＴボリュームデータから結節の領域を抽出する場合を一例に挙げて説明する。 FIG. 5 is a flowchart illustrating a processing procedure performed by the image processing apparatus 100 according to the first embodiment. As shown in FIG. 5, the image processing apparatus 100 according to the first embodiment can perform foreground region extraction processing including an extraction target from volume data in a substantially automated flow. Specifically, the image processing apparatus 100 according to the first embodiment extracts the first area from the volume data, and divides the extracted first area into a plurality of small areas. Then, the image processing apparatus 100 determines whether each small region is a part of the extraction target based on the similarity and the positional relationship with the second region other than the first region in the volume data, A small area determined to be a part of the extraction target is extracted as a foreground area. Hereinafter, the processing procedure in the first embodiment will be described with reference to FIGS. 6A to 9 together. In the following, a case where a nodule region is extracted from CT volume data will be described as an example.
ステップＳ１０１：まず、画像データ取得部１４１が、操作者による３次元の画像データ（ボリュームデータ）の指定を入力部１１０を介してＧＵＩ上で受け付け、受け付けた指定に従ってボリュームデータを取得する。 Step S101: First, the image data acquisition unit 141 accepts designation of three-dimensional image data (volume data) by the operator on the GUI via the input unit 110, and obtains volume data according to the accepted designation.
ステップＳ１０２：続いて、第１の抽出部１４２が、第１の領域を抽出するための閾値を決定する。図６Ａは、第１の実施形態に係る第１の抽出部１４２による第１の領域の抽出の一例を示す図である。例えば、第１の抽出部１４２は、図６Ａに示すように、画像データ取得部１４１の処理によって取得されたＣＴボリュームデータから結節の領域を含む第１の領域を輝度値によって抽出するための閾値を決定する。ここで、第１の抽出部１４２によって抽出された第１の領域以外の領域を図６Ａに示すように第２の領域とする。なお、第１の抽出部１４２によって実行される輝度値による第１の領域の抽出は、従来技術における前景領域の抽出に相当する。 Step S102: Subsequently, the first extraction unit 142 determines a threshold for extracting the first region. FIG. 6A is a diagram illustrating an example of extraction of the first region by the first extraction unit 142 according to the first embodiment. For example, as illustrated in FIG. 6A, the first extraction unit 142 extracts a first region including a nodule region from the CT volume data acquired by the processing of the image data acquisition unit 141 using a luminance value. To decide. Here, a region other than the first region extracted by the first extraction unit 142 is set as a second region as shown in FIG. 6A. Note that the extraction of the first region based on the luminance value executed by the first extraction unit 142 corresponds to the extraction of the foreground region in the prior art.
ここで、第１の抽出部１４２による閾値の決定は、入力部１１０を介して操作者から指定された閾値を、第１の領域を抽出するための閾値として決定する場合であってもよいが、入力された画像ごとに適応的に決定する場合であってもよい。なお、操作者によって指定される閾値としては、例えば、ＧＧＯ領域が可能となるように「−８００ＨＵ」程度の固定を用いる場合であってもよい。 Here, the determination of the threshold value by the first extraction unit 142 may be a case where the threshold value specified by the operator via the input unit 110 is determined as the threshold value for extracting the first region. Alternatively, it may be determined adaptively for each input image. In addition, as a threshold value designated by the operator, for example, a case where a fixed value of about “−800 HU” is used so that a GGO area is possible may be used.
以下、適応的に決定する場合について説明する。図６Ｂは、第１の実施形態に係る第１の抽出部１４２による閾値の決定の一例を説明するための図である。例えば、第１の抽出部１４２は、図６Ｂの（Ａ）に示すように、ＣＴボリュームデータの各ボクセルの輝度値のヒストグラムを生成して、生成したヒストグラムに基づいて閾値を決定する。ここで、ヒストグラム生成に用いる領域は、ボリュームデータ全体であってもよく、或いは、特定の領域に限定したＶＯＩであってもよい。 Hereinafter, the case where it determines adaptively is demonstrated. FIG. 6B is a diagram for describing an example of threshold determination by the first extraction unit 142 according to the first embodiment. For example, as illustrated in (A) of FIG. 6B, the first extraction unit 142 generates a histogram of luminance values of each voxel of CT volume data, and determines a threshold value based on the generated histogram. Here, the region used for generating the histogram may be the entire volume data or a VOI limited to a specific region.
ここで、Ｓｏｌｉｄ領域やＧＧＯ領域などの解剖学的構造は、それぞれ特有の輝度値を有することから、各構造の輝度値の分布はそれぞれに対応した平均値などのパラメータを持つ確率分布で表現できると仮定すると、図６Ｂの（Ａ）に示すＣＴボリュームデータから生成したヒストグラムは、これら複数の構造に対応する確率分布の和として表現することができる。確率分布は、例えばガンマ分布やｓｔｕｄｅｎｔ’ｓ−ｔ分布などを用いても良いが、以下では、ガウス分布を用いた方法を例に挙げて説明する。例えば、各ボクセルのＣＴボリュームデータにおける座標「ｒ（位置ベクトルｒ）＝（ｘ，ｙ，ｚ）」の輝度値「ｖ＝Ｉ（ｒ）」を確率変数とした混合ガウス分布は、下記の式（１）で表すことができる。 Here, since the anatomical structures such as the Solid region and the GGO region each have a specific luminance value, the luminance value distribution of each structure can be expressed by a probability distribution having parameters such as an average value corresponding to each structure. Assuming that, the histogram generated from the CT volume data shown in (A) of FIG. 6B can be expressed as the sum of probability distributions corresponding to the plurality of structures. As the probability distribution, for example, a gamma distribution or a student's-t distribution may be used, but a method using a Gaussian distribution will be described below as an example. For example, the mixed Gaussian distribution with the luminance value “v = I (r)” of the coordinates “r (position vector r) = (x, y, z)” in the CT volume data of each voxel as a random variable is expressed by the following equation: It can be represented by (1).
ここで、式（１）における「ｑ」は確率密度関数を示し、「Ｎ（ｖ｜μｋ，σｋ）」は一次元ガウス分布を示し、「μｋ」は平均値を示し、「σｋ」は標準偏差を示し、「πｋ」は混合率を示し、「Ｋ」は混合要素数を示す。パラメータπｋ，μｋ，σｋは、公知の非特許文献である「Ａ．Ｐ． Ｄｅｍｐｓｔｅｒ， Ｎ．Ｍ． Ｌａｉｒｄ， ａｎｄ Ｄ．Ｂ． Ｒｕｂｉｎ， “Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ Ｉｎｃｏｍｐｌｅｔｅ Ｄａｔａ ｖｉａ ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ，” Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｓｅｒｉｅｓ Ｂ， Ｖｏｌ．３９， ｐｐ．１−３８， １９７７．」に開示されている方法により推定することができる。 Here, “q” in Equation (1) indicates a probability density function, “N (v | μ k , σ k )” indicates a one-dimensional Gaussian distribution, “μ k ” indicates an average value, and “σ “ k ” indicates a standard deviation, “π k ” indicates a mixing ratio, and “K” indicates the number of mixing elements. Parameters π k , μ k , and σ k are known non-patent literatures such as “AP Dempster, NM Laird, and DB Rubin,“ Maximum Likelihood from Complete Data EM ”. Journal of the Royal Statistical Society B, Vol. 39, pp. 1-38, 1977. ”.
例えば、各要素（Ｓｏｌｉｄ領域や、ＧＧＯ領域など）のガウス分布（正規分布）の和がヒストグラムを近似するようにパラメータπｋ，μｋ，σｋが推定される。ここで、混合要素数Ｋは任意に設定することができるが、例えば、図６Ｂの（Ｂ）に示すように、「Ｋ＝３」として推定する場合には、各要素それぞれのガウス分布の和が図６Ｂの（Ａ）のヒストグラムを近似するように、各要素のパラメータπｋ，μｋ，σｋが推定される。すなわち、図６Ｂの（Ｂ）に示すように、空気を含む要素（ｋ＝１に対応する要素）のガウス分布と、ＧＧＯ領域（すりガラス状陰影）を含む要素（ｋ＝２に対応する要素）のガウス分布と、血管やＳｏｌｉｄ領域（充実性陰影）を含む要素（ｋ＝３に対応する要素）のガウス分布が得られる。 For example, the parameters π k , μ k , and σ k are estimated so that the sum of the Gaussian distribution (normal distribution) of each element (Solid region, GGO region, etc.) approximates the histogram. Here, the number K of mixed elements can be arbitrarily set. For example, as shown in FIG. 6B (B), when estimating as “K = 3”, the sum of the Gaussian distributions of the respective elements is used. Is approximated to the histogram of FIG. 6B (A), the parameters π k , μ k , and σ k of each element are estimated. That is, as shown in FIG. 6B (B), a Gaussian distribution of elements including air (elements corresponding to k = 1) and elements including GGO regions (ground glass-like shadows) (elements corresponding to k = 2). And a Gaussian distribution of elements (elements corresponding to k = 3) including blood vessels and solid regions (solid shadows).
ここで、抽出対象の構造をＧＧＯ領域、Ｓｏｌｉｄ領域、血管とした場合には、ｋ＝２に対応する要素と、ｋ＝３に対応する要素のみを選択すればよい。そこで、各ボクセルの座標ｒの輝度値ｖが抽出対象の構造である確率ｌ（ｖ）をベイズの定理に基づく下記の式（２）で算出することができる。 Here, when the structure to be extracted is a GGO region, a Solid region, or a blood vessel, only an element corresponding to k = 2 and an element corresponding to k = 3 may be selected. Therefore, the probability l (v) that the luminance value v of the coordinate r of each voxel is the structure to be extracted can be calculated by the following equation (2) based on Bayes' theorem.
なお、式（２）における分母は全要素（ｋ＝１〜３）の確率分布の混合確率分布を示し、分子はｋ＝２に対応する確率分布とｋ＝３に対応する確率分布の混合確率分布を示す。ここで、ＣＴボリュームデータから第１の領域を抽出するための閾値「ｖth」は、「ｌ（ｖth）＝β」となるように設定する。なお、確率ｌ（ｖ）は、０≦ｌ（ｖ）≦１の範囲をとり事後確率を表現することから、閾値を示すβはベイズ理論における最小誤り率の観点からβ＝０．５としても良く、或いは、０≦β≦１の範囲内の他の値を選択しても良い。 The denominator in equation (2) indicates a mixed probability distribution of probability distributions of all elements (k = 1 to 3), and the numerator indicates a mixed probability of a probability distribution corresponding to k = 2 and a probability distribution corresponding to k = 3. Show the distribution. Here, the threshold “v th ” for extracting the first region from the CT volume data is set to be “l (v th ) = β”. Note that the probability l (v) takes the range of 0 ≦ l (v) ≦ 1 and expresses the posterior probability. Therefore, β indicating the threshold may be set to β = 0.5 from the viewpoint of the minimum error rate in Bayesian theory. Alternatively, other values within the range of 0 ≦ β ≦ 1 may be selected.
ステップＳ１０３：第１の抽出部１４２は、上述したように閾値を決定することで、例えば、図６Ｂの（Ｂ）に示すように、空気を含む要素のガウス分布とＧＧＯ領域を含むガウス分布との交点付近を閾値「ｖth」とし、第１の領域を「ｖ＞ｖth」を満たすボクセルの集合として抽出する。すなわち、第１の抽出部１４２は、第１の領域を下記の式（３）として抽出する。一方、第１の抽出部１４２は、第２の領域を下記の式（４）として抽出する。なお、式（３）における「Ｆ」は第１の領域を示し、式（４）における「Ｂ」は第２の領域を示す。 Step S103: The first extraction unit 142 determines the threshold value as described above. For example, as illustrated in FIG. 6B (B), the Gaussian distribution of the elements including air and the Gaussian distribution including the GGO region The vicinity of the intersection is set as a threshold “v th ”, and the first region is extracted as a set of voxels satisfying “v> v th ”. That is, the 1st extraction part 142 extracts a 1st area | region as following formula (3). On the other hand, the 1st extraction part 142 extracts a 2nd area | region as following formula (4). Note that “F” in equation (3) indicates the first region, and “B” in equation (4) indicates the second region.
なお、図６Ａに示す右側の画像は、第１の領域に含まれるボクセルと第２の領域に含まれるボクセルとを二値化した値で表現した画像であり、第１領域に含まれるボクセルを「１」の「白」の階調で表示し、第２の領域に含まれるボクセルを「０」の「黒」の階調で表示したものである。すなわち、図６Ａの例では、第１の抽出部１４２は、「白」の階調で表示された領域を、上述したように、入力されたボリュームデータごとに適応的に閾値を決定することで、第１の領域として抽出する。 Note that the image on the right side shown in FIG. 6A is an image expressed by binarizing values of voxels included in the first area and voxels included in the second area, and voxels included in the first area are represented by binarized values. The display is performed with “1” “white” gradation, and the voxels included in the second area are displayed with “0” “black” gradation. That is, in the example of FIG. 6A, the first extraction unit 142 adaptively determines a threshold value for each input volume data, as described above, for the area displayed with “white” gradation. , Extracted as the first region.
ステップＳ１０４：図５に戻って、次に、第２の抽出部１４３が、ステップＳ１０３によって抽出された第１の領域を小領域に分割する。具体的には、第２の抽出部１４３は、第１の領域に含まれるボクセルの特徴量（例えば、輝度値）と３次元座標を用いたクラスタリングにより、第１の領域を複数の小領域に分割する。これにより、特徴量（輝度値）の空間的な連続性が考慮されるため、Ｓｏｌｉｄ領域やＧＧＯ領域などの解剖学的構造の境界に沿った領域分割を行うことができる。 Step S104: Returning to FIG. 5, next, the second extraction unit 143 divides the first area extracted in Step S103 into small areas. Specifically, the second extraction unit 143 converts the first region into a plurality of small regions by clustering using the feature amount (for example, luminance value) of the voxel included in the first region and three-dimensional coordinates. To divide. Thereby, since the spatial continuity of the feature amount (luminance value) is taken into consideration, the region division along the boundary of the anatomical structure such as the Solid region or the GGO region can be performed.
図７は、第１の実施形態に係る第２の抽出部１４３による処理の概念を説明するための模式図である。図７においては、横軸にボリュームデータにおける座標空間を示し、縦軸にボクセルの特徴量（輝度値）を示す。例えば、第２の抽出部１４３は、図７の（Ａ）に示す所定の空間に含まれる複数のボクセルについて、特徴量（輝度値）の分布から１つの小領域としてクラスタリングする。一例を挙げると、第２の抽出部１４３は、図７の（Ｂ）に示すように、ある閾値以下の特徴量を有するボクセルＰ１を所定の空間内（距離内）にある他のボクセルの特徴量（輝度値）の分布に合せて同一の小領域としてクラスタリングする。すなわち、第２の抽出部１４３は、ボクセルＰ１を特徴量（輝度値）の閾値を超えた他のボクセルと同一の小領域として分割する。換言すると第２の抽出部１４３は、ボリュームデータ（第１の領域）に含まれる各ボクセルについて、空間的に近い他のボクセルとの類似度に基づいてどの領域に属するかを判定し、判定結果に応じて領域を区分けする。 FIG. 7 is a schematic diagram for explaining the concept of processing by the second extraction unit 143 according to the first embodiment. In FIG. 7, the horizontal axis represents the coordinate space in the volume data, and the vertical axis represents the feature amount (luminance value) of the voxel. For example, the second extraction unit 143 clusters a plurality of voxels included in the predetermined space shown in FIG. 7A as one small region from the distribution of feature values (luminance values). For example, as shown in FIG. 7B, the second extraction unit 143 sets the voxel P1 having a feature amount equal to or less than a certain threshold to the characteristics of other voxels within a predetermined space (within a distance). Clustering is performed as the same small region according to the distribution of the quantity (luminance value). That is, the second extraction unit 143 divides the voxel P1 as the same small region as other voxels exceeding the threshold value of the feature amount (luminance value). In other words, the second extraction unit 143 determines which region each voxel included in the volume data (first region) belongs to based on the similarity with other spatially close voxels, and the determination result The area is divided according to
ここで、第２の抽出部１４３は、上述したクラスタリングに、例えば、Ｍｅａｎｓｈｉｆｔ法、Ｍｅｄｏｉｄｓｈｉｆｔ法、ＳＬＩＣ法、Ｑｕｉｃｋｓｈｉｆｔ法などを用いることができる。以下、公知の非特許文献である「Ａ． Ｖｅｄａｌｄｉ ａｎｄ Ｓ． Ｓｏａｔｔｏ， “Ｑｕｉｃｋ Ｓｈｉｆｔ ａｎｄ Ｋｅｒｎｅｌ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｏｄｅ Ｓｅｅｋｉｎｇ，“ ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ）， ２００８」に開示されているＱｕｉｃｋｓｈｉｆｔ法を用いる場合について説明する。 Here, the second extraction unit 143 can use, for example, the Meanshift method, the Mediashift method, the SLIC method, or the Quickshift method for the clustering described above. In the following, known non-patent literature “A. Vedaldi and S. Soatto,“ Quick Shift and Kernel Methods for Mode Seeking, “in Processes of the Vs. The case where the method is used will be described.
Ｑｕｉｃｋｓｈｉｆｔ法はカーネル密度関数の極値として定義されるクラスタ中心を探索する手法であり、（１）カーネル密度関数の計算、（２）最近傍探索、（３）クラスタリングの３ステップで実行される。 The Quickshift method is a method for searching a cluster center defined as an extreme value of a kernel density function, and is executed in three steps: (1) calculation of the kernel density function, (2) nearest neighbor search, and (3) clustering.
（カーネル密度関数の計算）
まず、第２の抽出部１４３は、ボリュームデータに含まれる各ボクセルについて、カーネル密度関数の値を算出する。ここで、ボリュームデータに対してＱｕｉｃｋｓｈｉｆｔ法を適用する場合には、１次元の輝度値ｖ＝Ｉ（ｒ）と３次元画像の座標ｒ＝（ｘ，ｙ，ｚ）を結合した４次元の結合空間Ｒ4を特徴空間とし、輝度値の空間（輝度空間）及び画像空間それぞれにおけるカーネルの積で定義された下記の式（５）によりカーネル密度関数が算出される。
(Calculation of kernel density function)
First, the second extraction unit 143 calculates a kernel density function value for each voxel included in the volume data. Here, when the Quickshift method is applied to volume data, a four-dimensional combination in which a one-dimensional luminance value v = I (r) and a three-dimensional image coordinate r = (x, y, z) are combined. Using the space R 4 as a feature space, a kernel density function is calculated by the following equation (5) defined by the product of the kernels in the luminance value space (luminance space) and the image space.
なお、式（５）における「ｐ（ｖ，ｒ）」がカーネル密度関数を示し、「ｄv」及び「ｈv」がそれぞれ輝度空間の距離尺度とカーネル幅を示し、「ｄr」及び「ｈr」がそれぞれ画像空間の距離尺度とカーネル幅を示し、「ｎ」がボクセル数を示し、「ｋ」がカーネル関数を示し、「Ｃ」が定数を示す。ここで、各空間における距離尺度は、下記の式（６）で示すユークリッド距離によって算出され、カーネル関数ｋは、下記の式（７）に示すEpanechnikovカーネルを用いることが望ましい。これにより、計算量を低減することができ、装置の処理負荷を低減することができる。 In equation (5), “p (v, r)” represents the kernel density function, “d v ” and “h v ” represent the distance scale and kernel width of the luminance space, respectively, and “d r ” and “ “h r ” indicates the distance measure and kernel width of the image space, “n” indicates the number of voxels, “k” indicates the kernel function, and “C” indicates a constant. Here, the distance scale in each space is calculated by the Euclidean distance expressed by the following equation (6), and it is desirable to use the Epanechnikov kernel expressed by the following equation (7) as the kernel function k. Thereby, the amount of calculation can be reduced and the processing load of the apparatus can be reduced.
すなわち、第２の抽出部１４３は、式（５）に示すように、ボリュームデータに含まれる各ボクセルについて、輝度値及び座標それぞれで所定の範囲における類似度を定義したカーネル密度関数の値を算出する。ここで、輝度値及び座標それぞれにおける範囲（カーネル幅）は、抽出対象や撮像条件によって任意に設定することができる。例えば、輝度空間のカーネル幅「ｈv」は、分離する対象の輝度値の差分が設定される。一例を挙げると、空気を含む要素とＧＧＯ領域を含む要素とを精度よく分離するためには、輝度空間のカーネル幅「ｈv」は、空気を示すＣＴ値「−１０００ＨＵ」とＧＧＯ領域を示すＣＴ値「−８００」との差分である「２００」前後に設定することが望ましい。 That is, as shown in Expression (5), the second extraction unit 143 calculates, for each voxel included in the volume data, the value of the kernel density function that defines the similarity in a predetermined range for each of the luminance value and coordinates. To do. Here, the range (kernel width) in each of the luminance value and the coordinates can be arbitrarily set depending on the extraction target and the imaging conditions. For example, as the kernel width “h v ” of the luminance space, a difference between luminance values to be separated is set. For example, in order to accurately separate an element including air and an element including a GGO region, the kernel width “h v ” of the luminance space indicates a CT value “−1000HU” indicating air and a GGO region. It is desirable to set the value around “200”, which is the difference from the CT value “−800”.
また、例えば、画像空間のカーネル幅「ｈr」は、抽出対象のサイズに基づいて設定される。一例を挙げると、画像収集時の画素ピッチが「０．６ｍｍ」のボリュームデータから、抽出対象の最小のサイズが「半径：１．５ｍｍ」程度の領域を抽出する場合、画像空間のカーネル幅「ｈr」は、「２．５＝（１．５／０．６）」前後に設定することが望ましい。なお、これらのカーネル幅は、抽出対象の情報や、ボリュームデータの付帯情報（例えば、ＤＩＣＯＭのタグ）に基づいて、第２の抽出部１４３が自動で設定することも可能である。かかる場合には、例えば、第２の抽出部１４３は、予め記憶部１３０に記憶された抽出対象ごとの輝度空間のカーネル幅を読み出すと共に、ボリュームデータから取得した画素ピッチの情報と予め記憶部１３０に記憶された抽出対象のサイズとから画像空間のカーネル幅を算出する。 Further, for example, a kernel width of the image space "h r" is set based on the size of the extraction object. For example, when extracting an area whose minimum size to be extracted is “radius: 1.5 mm” from volume data with a pixel pitch of “0.6 mm” at the time of image collection, the kernel width “ It is desirable to set “h r ” around “2.5 = (1.5 / 0.6)”. Note that these kernel widths can also be automatically set by the second extraction unit 143 based on information to be extracted and accompanying information of volume data (for example, DICOM tags). In such a case, for example, the second extraction unit 143 reads the kernel width of the luminance space for each extraction target stored in the storage unit 130 in advance, and also stores information on the pixel pitch acquired from the volume data and the storage unit 130 in advance. The kernel width of the image space is calculated from the size of the extraction target stored in (1).
（最近傍探索）
上述したように、ボリュームデータに含まれる各ボクセルのカーネル密度関数の値を算出すると、第２の抽出部１４３は、上述した式（３）で示される第１の領域に含まれる各ボクセル「ｉ」の近傍「Ｄi」で確率密度が最も増加するボクセル「Ｎ（ｉ）」を下記の式（８）により探索する。
(Nearest neighbor search)
As described above, when the value of the kernel density function of each voxel included in the volume data is calculated, the second extraction unit 143 causes each voxel “i” included in the first region represented by the above-described formula (3). The voxel “N (i)” having the highest probability density in the vicinity “D i ” of “” is searched by the following equation (8).
ここで、近傍Ｄiは任意に設定することができるが、探索に係る処理負荷の低減と、離れたボクセルが割り当てられることを抑止するために、下記の式（９）で定義するように、上述したカーネル幅の範囲を用いることが望ましい。 Here, the neighborhood D i can be arbitrarily set, but in order to reduce the processing load related to the search and to prevent the distant voxels from being assigned, as defined by the following formula (9), It is desirable to use the kernel width range described above.
ここで、式（８）及び（９）に示す「ｊ」は、ボクセル「ｉ」の近傍「Ｄi」に含まれるボクセルを示し、式（９）に示すように、ボクセル「ｉ」との輝度値の差が輝度空間のカーネル幅以内であり、かつ、ボクセル「ｉ」との座標間の距離が画像空間のカーネル幅以内のボクセルである。このとき、ボクセル「ｊ」は、上述した式（４）で示す第２の領域に含まれるボクセルであってもよい。 Here, “j” shown in the equations (8) and (9) indicates a voxel included in the vicinity “D i ” of the voxel “i”, and as shown in the equation (9), The difference between the luminance values is within the kernel width of the luminance space, and the distance between the coordinates with the voxel “i” is the voxel within the kernel width of the image space. At this time, the voxel “j” may be a voxel included in the second region represented by the above-described formula (4).
また、式（８）に示す「ｄ（ｊ||ｉ）」は、ボクセル「ｉ」とボクセル「ｊ」との距離尺度であり、下記の式（１０）に示す輝度空間と画像空間におけるユークリッド距離の重み付和によって算出される。 Further, “d (j || i)” shown in Expression (8) is a distance scale between voxel “i” and voxel “j”, and Euclidean in the luminance space and image space shown in Expression (10) below. Calculated by weighted sum of distances.
上述したように、第２の抽出部１４３は、第１の領域に含まれる各ボクセル「ｉ」の近傍「Ｄi」で確率密度が最も増加するボクセル「Ｎ（ｉ）」を探索する。すなわち、第２の抽出部１４３は、ボクセル「ｉ」の近傍で類似したボクセルの密度が最も高い位置に相当するボクセル「Ｎ（ｉ）」を探索する。 As described above, the second extraction unit 143 searches for the voxel “N (i)” having the highest probability density in the vicinity “D i ” of each voxel “i” included in the first region. That is, the second extraction unit 143 searches for a voxel “N (i)” corresponding to a position where the density of similar voxels is the highest in the vicinity of the voxel “i”.
（クラスタリング）
上述した最近傍探索を行うと、第２の抽出部１４３は、次に最近傍探索の結果を用いて第１の領域を複数の小領域に分割する。図８Ａは、第１の実施形態に係る第２の抽出部１４３による領域分割の一例を示す図である。例えば、第２の抽出部１４３は、図８Ａに示すように、第１の抽出部１４２によって抽出された第１の領域を複数の小領域に分割する。ここで、第２の抽出部１４３は、最近傍探索の結果を用いたボクセルの遷移操作を再帰的に繰り返すことで各小領域の中心（クラスタ中心）を探索するとともに、各小領域に含まれるボクセルを抽出する。
(Clustering)
When the nearest neighbor search described above is performed, the second extraction unit 143 then divides the first region into a plurality of small regions using the result of the nearest neighbor search. FIG. 8A is a diagram illustrating an example of region division by the second extraction unit 143 according to the first embodiment. For example, as illustrated in FIG. 8A, the second extraction unit 143 divides the first region extracted by the first extraction unit 142 into a plurality of small regions. Here, the second extraction unit 143 searches the center (cluster center) of each small region by recursively repeating the voxel transition operation using the result of the nearest neighbor search, and is included in each small region. Extract voxels.
図８Ｂは、第１の実施形態に係る第２の抽出部１４３によるクラスタリングの一例を説明するための模式図である。例えば、第２の抽出部１４３は、図８Ｂに示すように、第１の領域に含まれるボクセル「ｉ」をグラフ上の１つのノードとして、ボクセル「ｉ」と最近傍探索によって探索されたＮ（ｉ）との間にエッジを張る。第２の抽出部１４３は、第１の領域に含まれるすべてのボクセルについて同様にエッジを張ることで画像全体を複数の木構造で表現する。ここで、クラスタ中心は、確率密度関数の極大値として定義されるため、その近傍領域により確率密度が高い点が存在しない点であると解釈できる。すなわち、クラスタ中心の点に相当するボクセルは、自身の点がＮ（ｉ）となるためエッジが張られず、木構造の根に相当することになる。 FIG. 8B is a schematic diagram for explaining an example of clustering by the second extraction unit 143 according to the first embodiment. For example, as illustrated in FIG. 8B, the second extraction unit 143 uses the voxel “i” included in the first region as one node on the graph, and N searched for by the nearest neighbor search with the voxel “i”. An edge is stretched between (i). The second extraction unit 143 expresses the entire image with a plurality of tree structures by extending edges in the same manner for all voxels included in the first region. Here, since the cluster center is defined as a local maximum value of the probability density function, it can be interpreted that there is no point having a high probability density in the vicinity region. That is, the voxel corresponding to the cluster center point does not have an edge because its point is N (i), and corresponds to the root of the tree structure.
そこで、第２の抽出部１４３は、第１の領域に含まれるすべてのボクセル「ｉ」に対して、図８Ｂに示す「ｉ→Ｎ（ｉ）→Ｎ（Ｎ（ｉ））」のような遷移操作を再帰的に繰り返し実行することで木構造の根「Ｒ（ｉ）」の探索を行う。すなわち、第２の抽出部１４３は、図８Ｂに示すように、ボクセル「ｉ」をスタートとして、最近傍探索の結果であるボクセル「Ｎ（ｉ）」に遷移する。そして、第２の抽出部１４３は、ボクセル「Ｎ（ｉ）」の最近傍探索の結果であるボクセル「Ｎ（Ｎ（ｉ））」に遷移する。そして、第２の抽出部１４３は、最近傍探索の結果が自身のボクセルになる木構造の根「Ｒ（ｉ）」を探索する。 Therefore, the second extraction unit 143 performs “i → N (i) → N (N (i))” illustrated in FIG. 8B for all voxels “i” included in the first region. The root of the tree structure “R (i)” is searched by recursively executing the transition operation. That is, as illustrated in FIG. 8B, the second extraction unit 143 starts from the voxel “i” and transitions to the voxel “N (i)” that is the result of the nearest neighbor search. Then, the second extraction unit 143 transitions to the voxel “N (N (i))” that is the result of the nearest neighbor search of the voxel “N (i)”. Then, the second extraction unit 143 searches for the root “R (i)” of the tree structure in which the result of the nearest neighbor search becomes its own voxel.
ここで、根のボクセル位置「ｒR(i)」が第２の領域に含まれる（ｒR(i)∈Ｂ）場合、第２の抽出部１４３は、スタートのボクセル「ｉ」を第１の領域から除外する。一方、根のボクセル位置「ｒR(i)」が第１の領域に含まれる（ｒR(i)∈Ｆ）場合、第２の抽出部１４３は、スタートのボクセル「ｉ」に対して（根）「Ｒ（ｉ）」をクラスタ中心としたクラスタ（小領域）を割り当てる。このとき、ボクセル「ｉ」の輝度値「ｖi」と根のボクセル「Ｒ（ｉ）」の輝度値「ｖR(i)」の差が下記の式（１１）となる場合には、木を分割することで新しいクラスタとする。式（１１）において、「ａ」は予め設定される定数であり、例えば、「ａ＝１」や、「ａ＝２」のように設定される。これにより、解剖学的構造の境界での領域分割をより正確に行うことを可能にする。 Here, when the root voxel position “r R (i) ” is included in the second region (r R (i) ∈B), the second extraction unit 143 sets the start voxel “i” to the first voxel position “i”. Exclude from the area. On the other hand, when the root voxel position “r R (i) ” is included in the first region (r R (i) εF), the second extraction unit 143 determines ( Root) A cluster (small area) having “R (i)” as the cluster center is assigned. At this time, if the difference between the luminance value “v i ” of the voxel “ i ” and the luminance value “v R (i) ” of the root voxel “R (i)” is expressed by the following equation (11), the tree Into a new cluster. In Expression (11), “a” is a constant set in advance, and is set to “a = 1” or “a = 2”, for example. This makes it possible to more accurately perform region division at the boundary of the anatomical structure.
第２の抽出部１４３は、上述したクラスタリングを第１の領域に含まれるすべてのボクセルに対して実行することで、第１の領域をグラフ上の根「Ｒ（ｉ）」それぞれをクラスタ中心とした複数の小領域に分割する。 The second extraction unit 143 performs the above-described clustering on all the voxels included in the first region, so that each of the roots “R (i)” on the graph is the cluster center. Is divided into a plurality of small areas.
ステップＳ１０５：図５に戻って、第１の領域を小領域に分割すると、第２の抽出部１４３は、特定の情報を受け付けたか否かの判定を行う。具体的には、第２の抽出部１４３は、ボリュームデータに含まれる１つ又は複数のボクセルが抽出対象の構造に該当するか否かを特定するための特定情報（位置情報）を受け付けたか否かを判定する。ここで、位置情報は、例えば、操作者のマウスクリックやドラッグ操作などによって指定された点又は領域であってもよく、或いは、ＣＡＤによって自動検出された点又は領域であってもよい。 Step S105: Returning to FIG. 5, when the first area is divided into small areas, the second extraction unit 143 determines whether or not specific information has been received. Specifically, whether the second extraction unit 143 has received specification information (position information) for specifying whether one or more voxels included in the volume data correspond to the structure to be extracted Determine whether. Here, the position information may be, for example, a point or region designated by an operator's mouse click or drag operation, or may be a point or region automatically detected by CAD.
ここで、特定情報を受け付けた場合には（ステップＳ１０５、Ｙｅｓ）、第２の抽出部１４３は、特定情報を参照しつつ、対象構造の一部である小領域を抽出する（ステップＳ１０６）。すなわち、第２の抽出部１４３は、特定情報を受け付けたボクセル又は領域を含む小領域を前景領域（対象構造の一部）として抽出する。一方、特定情報を受け付けていない場合には（ステップＳ１０５、Ｎｏ）、対象構造の一部である小領域を抽出する（ステップＳ１０７）。 Here, when specific information is received (step S105, Yes), the 2nd extraction part 143 extracts the small area | region which is a part of object structure, referring specific information (step S106). That is, the second extraction unit 143 extracts a voxel or a small region including the region that has received the specific information as a foreground region (a part of the target structure). On the other hand, when specific information is not received (step S105, No), the small area | region which is a part of object structure is extracted (step S107).
ステップＳ１０６、ステップＳ１０７：ステップＳ１０５において特定情報を受け付けていない場合、及び、処理対象の小領域が特定情報を受け付けたボクセル又は領域を含んでいない場合には、第２の抽出部１４３は、分割した小領域が抽出対象の構造の一部であるか否かを判定して、抽出対象の構造の一部と判定した小領域を前景領域として抽出する。図９は、第１の実施形態に係る第２の抽出部１４３による抽出処理の一例を示す図である。例えば、第２の抽出部１４３は、図９に示すように、分割した小領域のうち、抽出対象の構造の一部ではない小領域を除外した小領域を前景領域として抽出する。 Step S106, Step S107: When the specific information is not received in Step S105, and when the small area to be processed does not include the voxel or the area for which the specific information is received, the second extraction unit 143 It is determined whether the small area is a part of the structure to be extracted, and the small area determined to be a part of the structure to be extracted is extracted as a foreground area. FIG. 9 is a diagram illustrating an example of extraction processing by the second extraction unit 143 according to the first embodiment. For example, as illustrated in FIG. 9, the second extraction unit 143 extracts, as the foreground region, a small region that excludes small regions that are not part of the structure to be extracted from the divided small regions.
ここで、小領域に対する除外処理は、第１の領域を小領域に分割する際に用いたＱｕｉｃｋｓｈｉｆｔ法に基づく方法により実行される。なお、小領域に対する除外処理は、公知の非特許文献である「Ｊ． Ｎｉｎｇ， Ｌ． Ｚｈａｎｇ， Ｄ． Ｚｈａｎｇ， ａｎｄ Ｃ． Ｗｕ， “Ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ ｍａｘｉｍａｌ ｓｉｍｉｌａｒｉｔｙ ｂａｓｅｄ ｒｅｇｉｏｎ ｍｅｒｇｉｎｇ，” Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｖｏｌ． ４３， Ｎｏ． ２， ｐｐ． ４４５−４５６， ２０１０．」に開示されている方法でもＱｕｉｃｋｓｈｉｆｔ法と同様に実行することができる。 Here, the exclusion process for the small area is executed by a method based on the Quickshift method used when dividing the first area into small areas. In addition, the exclusion process with respect to a small area | region is well-known nonpatent literature "J. Ning, L. Zhang, D. Zhang, and C. Wu," Interactive image segmentation by maximal similarity basing region regi merging, Preg. 43, No. 2, pp. 445-456, 2010. "can be executed in the same manner as the Quickshift method.
Ｑｕｉｃｋｓｈｉｆｔ法はグラフ構造の各ノードにおいてカーネル密度関数の値を算出し、密度の増加する方向にグラフ上を遷移しながら極大値の探索を行う手法であると解釈できる。上述した小領域の分割においては、各ノードがボクセルに対応し、ノード間の距離を輝度値及び画像上の距離として定義した。小領域の除外処理においては、各ノードを小領域としたうえでその位置関係（隣接関係）からグラフ構造を構成し、ノード（領域）間の距離を適切に定義すればよい。基本的な流れは、上述した小領域の分割と同様に、（１）カーネル密度関数の計算、（２）最近傍探索、（３）クラスタリングの３ステップで実行される。 The Quickshift method can be interpreted as a method of calculating the value of the kernel density function at each node of the graph structure and searching for the maximum value while transitioning on the graph in the direction of increasing density. In the above-described division of the small area, each node corresponds to a voxel, and the distance between the nodes is defined as the luminance value and the distance on the image. In the small area exclusion process, each node is set as a small area, a graph structure is formed from the positional relationship (adjacent relationship), and the distance between the nodes (regions) may be appropriately defined. The basic flow is executed in three steps: (1) calculation of kernel density function, (2) nearest neighbor search, and (3) clustering, similar to the above-described division of small regions.
（カーネル密度関数の計算）
まず、第２の抽出部１４３は、得られたＭ個の小領域に第２の領域を加えたＭ＋１個の領域sj（j=１,２,・・・，Ｍ＋１)ごとに、下記の式（１２）で定義されるカーネル密度関数の値を算出する。
(Calculation of kernel density function)
First, the second extraction unit 143 performs the following for each of M + 1 areas s j (j = 1, 2,..., M + 1) obtained by adding the second area to the obtained M small areas. The value of the kernel density function defined by equation (12) is calculated.
ここで、式（１２）における「ｈ（ｓ）」は小領域「ｓ」に含まれるボクセルの輝度値のヒストグラムを示し、「ｄH」はヒストグラム間の距離を示し，「ｄG」は小領域間のグラフ距離を定義する関数を示し、「ｈH」及び「ｈG」はそれぞれヒストグラム間のカーネル幅及び小領域間のカーネル幅を示す。ｄHにはKullback-Leibler距離などを用いても良いが、本実施形態では下記の式（１３）で定義されるHellinger距離を用いる場合について説明する。 Here, “h (s)” in Expression (12) indicates a histogram of luminance values of voxels included in the small region “s”, “d H ” indicates the distance between the histograms, and “d G ” is small. A function defining a graph distance between regions is shown, and “h H ” and “h G ” indicate a kernel width between histograms and a kernel width between small regions, respectively. The d H may be used such as Kullback-Leibler distance, but in the present embodiment will be described using the Hellinger distance defined by equation (13) below.
ここで、式（１３）における「Ｎb」はヒストグラムのビン数を示し、「Ｂ」はBattacharyya係数を示す。ｄGには小領域内に含まれるボクセルの重心座標間のユークリッド距離を用いても良いが、領域が凸でない場合（領域にへこみ部分がある場合や、中心付近に穴（他の小領域）がある場合など）に重心の座標が領域外となってしまう場合がある。例えば、領域の中心付近に他の小領域がある場合、領域の重心が他の小領域内になってしまう場合がある。 Here, “N b ” in equation (13) indicates the number of bins in the histogram, and “B” indicates the Battacharyya coefficient. d G may use the Euclidean distance between the barycentric coordinates of the voxels contained in the small area, but if the area is not convex (if the area has a dent or a hole near the center (other small areas)) In some cases, the coordinates of the center of gravity may be out of the area. For example, when there is another small region near the center of the region, the center of gravity of the region may be within the other small region.
そこで、小領域の隣接関係を表す隣接行列（各ｉ、ｊ成分は領域ｓiと領域ｓjが隣接している場合に１、隣接していない場合に０となる）に基づきグラフ構造を生成し，ｄGをグラフ上の距離、例えば最小全域木（Minimum Spanning Tree）や最短経路（２つのノードをつなぐ経路上で通過する最小のエッジ数）を基に設定すると良い。すなわち、隣接するノード（小領域）間でのみエッジを張ったグラフ構造に基づいて、グラフ上の距離を設定する。本実施形態では、最短経路を用いる場合について説明する。ここで、カーネル関数をEpanechnikovカーネルとし、処理負荷を低減するためにカーネル幅をｈH=１、ｈG=２とすると、カーネル密度関数は下記の式（１４）と定義することができる。 Therefore, a graph structure is generated based on an adjacency matrix representing the adjacency relationship of small areas (each i and j component is 1 when the area s i and the area s j are adjacent to each other, and 0 when the area s j is not adjacent). Then, d G may be set based on a distance on the graph, for example, a minimum spanning tree or a shortest path (the minimum number of edges passing through a path connecting two nodes). That is, the distance on the graph is set based on a graph structure in which edges are extended only between adjacent nodes (small regions). In the present embodiment, a case where the shortest path is used will be described. Here, assuming that the kernel function is an Epanechnikov kernel and the kernel width is h H = 1 and h G = 2 in order to reduce the processing load, the kernel density function can be defined as the following equation (14).
ここで、Ｓ：＝｛ｓi|ｄG（ｓ，ｓi)＜２}である。また、ｄG（ｓ，ｓi）はエッジ数であり整数値に限定されることから、ｄG（ｓ，ｓi）＜２となるのはｄG（ｓ，ｓi）＝０と、ｄG（ｓ，ｓi）＝１であることに注意すると、カーネル密度関数は、さらに下記の式（１５）と定義することができる。なお、式（１５）においては、共通の定数部分は省略されている。 Here, S: = {s i | d G (s, s i ) <2}. Since d G (s, s i ) is the number of edges and is limited to an integer value, d G (s, s i ) <2 is d G (s, s i ) = 0, Note that d G (s, s i ) = 1, the kernel density function can be further defined as the following equation (15). It should be noted that the common constant portion is omitted in equation (15).
ここで、式（１５）における「Ｎs」は小領域ｓに隣接する小領域の集合を示す。このように設定することで、カーネル密度関数は、式（１５）に示すように、各領域ｓに隣接する領域とのBattacharyya係数の総和として算出することができる。 Here, “N s ” in Expression (15) indicates a set of small areas adjacent to the small area s. By setting in this way, the kernel density function can be calculated as the sum of Battacharyya coefficients with regions adjacent to each region s, as shown in Expression (15).
（最近傍探索）
上述したように、各小領域のカーネル密度関数の値を算出すると、第２の抽出部１４３は、各小領域「ｓj」の近傍「Ｄsj」で確率密度が最も増加する小領域「Ｎ（ｓj）」を下記の式（１６）により探索する。
(Nearest neighbor search)
As described above, when the value of the kernel density function of each small region is calculated, the second extraction unit 143 causes the small region “N” where the probability density increases most in the vicinity “D sj ” of each small region “s j ”. (S j ) ”is searched by the following equation (16).
ここで、近傍Ｄsjは任意に設定することができるが、探索に係る処理負荷の低減と、離れた小領域が割り当てられることを抑止するために、下記の式（１７）で定義するように、設定することが望ましい。 Here, the neighborhood D sj can be arbitrarily set. However, in order to reduce the processing load related to the search and to prevent the allocation of a small area apart from each other, the neighborhood D sj is defined by the following equation (17). It is desirable to set.
ここで、式（１７）に示す「ＴH」はヒストグラム間の距離に関する閾値を示し、「ＴG」はグラフ距離に関する閾値を示す。これらの閾値は、それぞれHellinger距離と最短経路とを用いる場合に、下記の式（１８）として設定することも可能である。 Here, “T H ” shown in the equation (17) indicates a threshold regarding the distance between the histograms, and “T G ” indicates a threshold regarding the graph distance. These threshold values can also be set as the following equation (18) when the Hellinger distance and the shortest path are used.
上述したように、第２の抽出部１４３は、各小領域「ｓj」の近傍「Ｄsj」で確率密度が最も増加する小領域「Ｎ（sj）」を探索する。すなわち、第２の抽出部１４３は、小領域「ｓj」の近傍で類似した小領域の密度が最も高い位置に相当する小領域「Ｎ（sj）」を探索する。 As described above, the second extraction unit 143 searches for a small region “N (s j )” in which the probability density increases most in the vicinity “D sj ” of each small region “s j ”. That is, the second extraction unit 143 searches for a small area “N (s j )” corresponding to a position where the density of similar small areas is the highest in the vicinity of the small area “s j ”.
（クラスタリング）
上述した最近傍探索を行うと、第２の抽出部１４３は、次に最近傍探索の結果を用いて前景領域を抽出する。ここで、第２の抽出部１４３は、最近傍探索の結果を用いた小領域の遷移操作を再帰的に繰り返すことでクラスタ中心を探索するとともに、各小領域が抽出対象の構造の一部であるか否か判定して、一部である場合に前景領域として抽出する（一部ではない場合に、第１の領域から除外する）。
(Clustering)
When the above-mentioned nearest neighbor search is performed, the second extraction unit 143 next extracts the foreground region using the result of the nearest neighbor search. Here, the second extraction unit 143 searches the cluster center by recursively repeating the small region transition operation using the result of the nearest neighbor search, and each small region is a part of the structure to be extracted. It is determined whether or not there is a part, and if it is a part, it is extracted as a foreground area (if it is not a part, it is excluded from the first area).
例えば、第２の抽出部１４３は、各小領域「ｓj」をグラフ上の１つのノードとして、小領域「ｓj」と最近傍探索によって探索されたＮ（ｓj）との間にエッジを張る。第２の抽出部１４３は、すべての小領域について同様にエッジを張ることで画像全体を複数の木構造で表現する。ここで、クラスタ中心は、確率密度関数の極大値として定義されるため、その近傍により確率密度が高い小領域が存在しない小領域であると解釈できる。すなわち、クラスタ中心の小領域は、自身がＮ（ｓj）となるためエッジが張られず、木構造の根に相当することになる。 For example, the second extraction unit 143 uses each small region “s j ” as one node on the graph, and makes an edge between the small region “s j ” and N (s j ) searched by the nearest neighbor search. Hang. The second extraction unit 143 expresses the entire image with a plurality of tree structures by extending edges in the same manner for all the small regions. Here, since the cluster center is defined as the maximum value of the probability density function, it can be interpreted as a small region in which there is no small region having a high probability density due to its neighborhood. In other words, the small area at the center of the cluster is N (s j ), so that the edge is not stretched and corresponds to the root of the tree structure.
そこで、第２の抽出部１４３は、すべての小領域「ｓj」に対して、「ｓj→Ｎ（ｓj）→Ｎ（Ｎ（ｓj））」のような遷移操作を再帰的に繰り返し実行することで木構造の根「Ｒ（ｓj）」の探索を行う。すなわち、第２の抽出部１４３は、小領域「ｓj」をスタートとして、最近傍探索の結果である小領域「Ｎ（ｓj）」に遷移する。そして、第２の抽出部１４３は、小領域「Ｎ（ｓj）」の最近傍探索の結果であるボクセル「Ｎ（Ｎ（ｓj））」に遷移する。そして、第２の抽出部１４３は、最近傍探索の結果が自身の領域になる木構造の根「Ｒ（ｓj）」を探索する。 Therefore, the second extraction unit 143 recursively performs a transition operation such as “s j → N (s j ) → N (N (s j ))” for all the small regions “s j ”. The root of the tree structure “R (s j )” is searched by repeatedly executing. That is, the second extraction unit 143 starts from the small area “s j ” and transitions to the small area “N (s j )” that is the result of the nearest neighbor search. Then, the second extraction unit 143 transitions to the voxel “N (N (s j ))” that is the result of the nearest neighbor search of the small region “N (s j )”. Then, the second extraction unit 143 searches for the root “R (s j )” of the tree structure in which the result of the nearest neighbor search becomes its own region.
ここで、根の小領域「ｓR(ｓj)」が第２の領域の場合、第２の抽出部１４３は、スタートの小領域「ｓj」を第１の領域から除外する。一方、根の小領域「ｓR(ｓj)」が第１の領域の場合、第２の抽出部１４３は、スタートの小領域「ｓj」を前景領域として抽出する。第２の抽出部１４３は、上述したクラスタリングをすべての小領域に対して実行することで、前景領域を抽出する。ここで、小領域の内の一つ又は複数が、抽出対象の構造に該当するための特定情報（位置情報）に対応していた場合には、特定情報に応じた抽出処理が実行される。例えば、操作者により手動、又はＣＡＤによって自動的に指定された抽出対象構造のボクセル位置を含む小領域は、たとえ根の領域が第２領域であったとしても第１領域から除外しない、というようにすることもできる。 Here, when the root small region “s R (sj) ” is the second region, the second extraction unit 143 excludes the start small region “s j ” from the first region. On the other hand, when the root small region “s R (sj) ” is the first region, the second extraction unit 143 extracts the start small region “s j ” as the foreground region. The second extraction unit 143 extracts the foreground region by performing the above-described clustering on all the small regions. Here, when one or more of the small areas correspond to specific information (position information) for corresponding to the structure to be extracted, an extraction process according to the specific information is executed. For example, a small region including a voxel position of an extraction target structure that is manually designated by an operator or automatically by CAD is not excluded from the first region even if the root region is the second region. It can also be.
上述したように、第１の実施形態によれば、第１の抽出部１４２は、３次元画像データから抽出対象の構造を含む第１の領域を抽出する。第２の抽出部１４３は、第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、３次元画像データにおける第１の領域以外の領域である第２の領域との類似度及び位置関係に基づいて、複数の小領域から構造に含まれる小領域を抽出することで、構造の領域を抽出する。従って、第１の実施形態に係る画像処理装置１００は、ボクセル毎の輝度値だけでなく、領域同士の輝度値の分布の類似度と空間的隣接関係を考慮したことで解剖学的構造の境界に沿った領域抽出ができ、３次元画像データからの領域抽出の精度を向上させることを可能にする。 As described above, according to the first embodiment, the first extraction unit 142 extracts the first region including the structure to be extracted from the three-dimensional image data. The second extraction unit 143 divides the first region into a plurality of small regions based on the similarity and positional relationship of the voxel feature amount, and the second region is a region other than the first region in the three-dimensional image data. The region of the structure is extracted by extracting the small region included in the structure from the plurality of small regions based on the similarity and the positional relationship with the region. Therefore, the image processing apparatus 100 according to the first embodiment considers not only the luminance value for each voxel but also the similarity of the distribution of luminance values between regions and the spatial adjacency relationship, and thus the boundary of the anatomical structure. Region extraction can be performed, and the accuracy of region extraction from three-dimensional image data can be improved.
（第２の実施形態）
第１の実施形態では、抽出対象の構造の一部であると判定した小領域を前景領域として抽出する場合について説明した。第２の実施形態では、抽出した小領域がいずれの抽出対象構造であるかを識別する場合について説明する。図１０は、第２の実施形態に係る画像処理装置１００の一例を示す図である。図１０に示すように、第２の実施形態に係る画像処理装置１００は、記憶部１３０に推定基準記憶部１３２を新たに有する点と、制御部１４０に識別部１４４を新たに有する点とが第１の実施形態と異なる。以下、これらを中心に説明する。
(Second Embodiment)
In the first embodiment, a case has been described in which a small area determined to be a part of the structure to be extracted is extracted as a foreground area. In the second embodiment, a case will be described in which the extraction target structure is identified by the extracted small region. FIG. 10 is a diagram illustrating an example of the image processing apparatus 100 according to the second embodiment. As illustrated in FIG. 10, the image processing apparatus 100 according to the second embodiment has a point that the storage unit 130 has a new estimation reference storage unit 132 and a control unit 140 that has a new identification unit 144. Different from the first embodiment. Hereinafter, these will be mainly described.
推定基準記憶部１３２は、抽出した小領域がいずれの抽出対象構造であるかを識別するための推定基準を記憶する。具体的には、推定基準記憶部１３２は、種々の手法によって生成された分類器を記憶する。例えば、抽出対象がＳｏｌｉｄ領域、ＧＧＯ領域、血管領域である場合、輝度値や領域内のテクスチャ、形状が異なる為、特徴量としてそれらを判別するための分類器が記憶される。 The estimation criterion storage unit 132 stores an estimation criterion for identifying which extraction target structure is the extracted small region. Specifically, the estimation reference storage unit 132 stores classifiers generated by various methods. For example, when the extraction target is a solid region, a GGO region, or a blood vessel region, since the luminance value, the texture and shape in the region are different, a classifier for distinguishing them is stored as a feature amount.
Ｓｏｌｉｄ領域はＧＧＯ領域と比較して高輝度かつ内部のテクスチャが平坦であることから、領域内の輝度値の分布、勾配の情報を考慮した特徴量を用いることで識別可能である。血管領域はＳｏｌｉｄ領域と同程度の輝度値を有するが、管状の形状を有し、塊形状の結節領域とは異なるため、そのような３次元形状を捉える特徴量を用いることで識別可能である。一例を挙げると、推定基準記憶部１３２は、領域内の輝度値の分布、ヘッセ行列の固有値の平均値や分散などの統計量、Ｔｏｔａｌ ｖａｒｉａｔｉｏｎ、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ、Ｇｒａｙ−Ｌｅｖｅｌ Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｍａｔｒｉｘ、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ、Ｈａａｒ−ｌｉｋｅ特徴、Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎなどを特徴量として判別する分類器を記憶する。また、推定基準記憶部１３２は、上述した特徴量の組み合わせや、Ｂａｇ ｏｆ ｆｅａｔｕｒｅやＳｐａｒｓｅ ｃｏｄｉｎｇを用いて学習したテクスチャパターンの辞書、又はそれを利用した特徴量を判別する分類器を記憶する。 Since the Solid region has a higher luminance and the inner texture is flat as compared with the GGO region, the Solid region can be identified by using a feature value in consideration of luminance value distribution and gradient information in the region. The blood vessel region has a luminance value similar to that of the Solid region, but has a tubular shape and is different from a lump-shaped nodule region. Therefore, the blood vessel region can be identified by using a feature amount that captures such a three-dimensional shape. . For example, the estimation criterion storage unit 132 may include a distribution of luminance values in a region, a statistic such as an average value and variance of eigenvalues of a Hessian matrix, a total variation, a local binary pattern, a gray-level co-ocurrence matrix, and a histogram. The classifier which discriminate | determines as a feature-value is stored, such as of Oriented Gradient, Haar-like feature, Higher-order Local Auto Correlation. In addition, the estimation reference storage unit 132 stores a combination of the above-described feature amounts, a dictionary of texture patterns learned using Bag of feature or Sparse coding, or a classifier that determines a feature amount using the texture pattern dictionary.
かかる場合には、例えば、制御部１４０は、まず、描出された構造がいずれの構造であるかが判別された複数の教師有画像における各構造の特徴量をそれぞれ抽出し、抽出した特徴量を用いて分類器を生成して推定基準記憶部１３２に格納する。分類器は識別部１４４によって識別されるごとに更新されても良い。 In such a case, for example, the control unit 140 first extracts feature amounts of each structure in a plurality of supervised images in which the drawn structure is determined, and extracts the extracted feature amounts. The classifier is generated and stored in the estimation reference storage unit 132. The classifier may be updated each time it is identified by the identification unit 144.
識別部１４４は、小領域ごとに上述した種々の特徴量を抽出し、推定基準記憶部１３２によって記憶された分類器を用いて小領域がいずれの抽出対象構造であるかを識別する。また、識別部１４４は、小領域を識別した後に、いずれの抽出対象構造であるかの判別結果を、入力部１１０を介して医師などから受け付けても良い。そして、識別部１４４は、分類器による識別結果と、受け付けた判別結果とを用いて、推定基準記憶部１３２に格納した分類器を更新することもできる。このように、識別部１４４が小領域の特徴量を識別するごとに分類器を更新することで、より精度の高い分類器を生成することができる。 The identification unit 144 extracts the various feature amounts described above for each small region, and identifies which extraction target structure the small region is using the classifier stored by the estimation reference storage unit 132. Further, after identifying the small region, the identification unit 144 may accept a determination result as to which of the extraction target structures is from a doctor or the like via the input unit 110. And the identification part 144 can also update the classifier stored in the estimation reference | standard memory | storage part 132 using the identification result by a classifier, and the received discrimination | determination result. Thus, a classifier with higher accuracy can be generated by updating the classifier every time the identification unit 144 identifies a feature amount of a small region.
なお、分類器の生成には種々の手法を用いることができ、例えばＤｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ、Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅ、Ｓｕｂ−Ｓｐａｃｅ Ｍｅｔｈｏｄなどが挙げられる。ここで、Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ ＦｉｅｌｄｓやＧｒａｐｈ Ｃｕｔと組み合わせることで各小領域の隣接関係を考慮した識別を行うと良い。 Various methods can be used for generating the classifier, such as Discriminant Analysis, Logistic Regression, Support Vector Machine, Normal Network, Randomized Tree, Sub-Space, and the like. Here, it is preferable to perform identification in consideration of the adjacent relationship of each small region by combining with Conditional Random Fields and Graph Cut.
図１１は、第２の実施形態に係る画像処理装置による処理の手順を示すフローチャートである。 FIG. 11 is a flowchart illustrating a processing procedure performed by the image processing apparatus according to the second embodiment.
ステップＳ２０１：ステップＳ１０１〜ステップＳ１０７にて小領域が抽出されると、識別部１４４は、抽出された小領域がいずれの抽出対象構造であるかを識別する。 Step S201: When a small area is extracted in steps S101 to S107, the identifying unit 144 identifies which extraction target structure is the extracted small area.
ステップＳ２０２：その後、識別部１４４は、識別結果に基づいて、抽出対象構造ごとに区分けした領域を出力する。図１２は、第２の実施形態に係る識別部１４４による処理の一例を説明するための図である。例えば、識別部１４４は、図１２に示すように、第２の抽出部１４３によって抽出された各小領域について、Ｓｏｌｉｄ領域、ＧＧＯ領域、血管領域のいずれであるかを識別し、識別結果が同一の構造で隣接する小領域を１つの領域として区分けした結果を出力する。すなわち、識別部１４４は、隣接する小領域でＧＧＯ領域と識別した小領域を１つのＧＧＯ領域として出力する。同様に、識別部１４４は、Ｓｏｌｉｄ領域、血管領域についてもそれぞれ区分けした領域を出力する。 Step S202: Thereafter, the identification unit 144 outputs an area divided for each extraction target structure based on the identification result. FIG. 12 is a diagram for explaining an example of processing performed by the identification unit 144 according to the second embodiment. For example, as illustrated in FIG. 12, the identification unit 144 identifies whether each of the small regions extracted by the second extraction unit 143 is a Solid region, a GGO region, or a blood vessel region, and the identification result is the same The result of segmenting adjacent small regions as one region with the structure of is output. That is, the identification unit 144 outputs the small areas identified as the GGO areas in the adjacent small areas as one GGO area. Similarly, the identification unit 144 outputs a segmented region for the Solid region and the blood vessel region.
上述したように、第２の実施形態によれば、識別部１４４が、構造の領域に含まれる小領域がそれぞれ抽出対象のいずれであるかを識別する。従って、第２の実施形態に係る画像処理装置１００は、ボクセルごとの識別でなく領域ごとの識別を行うことで、領域内の統計的な特徴量を利用できノイズに対して頑健な識別を行うことを可能にする。また、第２の抽出部１４３で生成された小領域は解剖学的構造の境界に沿って区分されており、図３に示したような過検出領域は除外されている為、特徴抽出の際に不要な情報が混入せず、図１２に示したように精度良く識別を行うことを可能にする。 As described above, according to the second embodiment, the identification unit 144 identifies which of the extraction targets each of the small areas included in the structure area. Therefore, the image processing apparatus 100 according to the second embodiment performs not only the identification for each voxel but also the identification for each area, thereby making it possible to use the statistical feature amount in the area and perform robust identification against noise. Make it possible. Further, since the small area generated by the second extraction unit 143 is divided along the boundary of the anatomical structure, and the overdetection area as shown in FIG. 3 is excluded, the feature extraction is performed. As shown in FIG. 12, it is possible to identify with high accuracy without mixing unnecessary information.
（第３の実施形態）
なお、実施形態は、上述した第１及び第２の実施形態に限られるものではない。
(Third embodiment)
The embodiment is not limited to the first and second embodiments described above.
上述した実施形態では、Ｘ線ＣＴ装置によって収集されたＣＴボリュームデータから領域を抽出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、ＭＲＩ装置や超音波診断装置などのその他のモダリティによって収集されたボリュームデータから領域を抽出する場合であってもよい。 In the above-described embodiment, the case where an area is extracted from CT volume data collected by an X-ray CT apparatus has been described. However, the embodiment is not limited to this, and the region may be extracted from volume data collected by other modalities such as an MRI apparatus or an ultrasonic diagnostic apparatus.
また、上述した実施形態では、画像データ取得部１４１が、画像保管装置３００又は医用画像診断装置２００からボリュームデータを取得する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医師がフラッシュメモリや外付けハードディスクなどの可搬性の記憶媒体で医用画像データを持ち運び、画像処理装置１００の画像データ記憶部１３１に格納する場合であってもよい。かかる場合には、画像データ取得部１４１によるボリュームデータの取得は実行されなくてもよい。 In the above-described embodiment, the case where the image data acquisition unit 141 acquires volume data from the image storage device 300 or the medical image diagnostic device 200 has been described. However, the embodiment is not limited to this. For example, a doctor carries medical image data on a portable storage medium such as a flash memory or an external hard disk and stores it in the image data storage unit 131 of the image processing apparatus 100. It may be the case. In such a case, the acquisition of volume data by the image data acquisition unit 141 may not be executed.
また、上述した実施形態では、画像処理装置１００について説明したが、実施形態はこれに限定されるものではなく、例えば、図４に示す画像処理装置１００の制御部１４０が図１に示す医用画像診断装置２００に組み込まれ、医用画像診断装置にて上述した処理が実行される場合であってもよい。 In the above-described embodiment, the image processing apparatus 100 has been described. However, the embodiment is not limited thereto, and for example, the control unit 140 of the image processing apparatus 100 illustrated in FIG. It may be a case where it is incorporated in the diagnostic apparatus 200 and the above-described process is executed by the medical image diagnostic apparatus.
また、上述した実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用コンピュータが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置１００による効果と同様の効果を得ることも可能である。上述した実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置１００と同様の動作を実現することができる。また、コンピュータがプログラムを取得する場合又は読み込む場合は、ネットワークを通じて取得又は読み込んでもよい。 The instructions shown in the processing procedures shown in the above-described embodiments can be executed based on a program that is software. The general-purpose computer stores this program in advance and reads this program, so that the same effect as that obtained by the image processing apparatus 100 of the above-described embodiment can be obtained. The instructions described in the above-described embodiments are, as programs that can be executed by a computer, magnetic disks (flexible disks, hard disks, etc.), optical disks (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD). ± R, DVD ± RW, etc.), semiconductor memory, or a similar recording medium. As long as the computer or embedded system can read the storage medium, the storage format may be any form. If the computer reads the program from the recording medium and causes the CPU to execute instructions described in the program based on the program, the same operation as the image processing apparatus 100 of the above-described embodiment can be realized. . Further, when the computer acquires or reads the program, it may be acquired or read through a network.
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（Operating System）や、データベース管理ソフト、ネットワーク等のＭＷ（Middleware）等が、上述した実施形態を実現するための各処理の一部を実行してもよい。更に、記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮ（Local Area Network）やインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。また、記憶媒体は１つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体は何れの構成であってもよい。 Further, an OS (Operating System) operating on a computer based on instructions from a program installed in a computer or an embedded system from a storage medium, database management software, MW (Middleware) such as a network, etc. A part of each process for realizing the above may be executed. Furthermore, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN (Local Area Network) or the Internet is downloaded and stored or temporarily stored. Further, the number of storage media is not limited to one, and the processing in the above-described embodiment is executed from a plurality of media, and the storage medium in the embodiment may be included in any configuration.
なお、実施形態におけるコンピュータ又は組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、上述した実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。 The computer or the embedded system in the embodiment is for executing each process in the above-described embodiment based on a program stored in a storage medium, and includes a single device such as a personal computer or a microcomputer. The system may be any configuration such as a system connected to the network. In addition, the computer in the embodiment is not limited to a personal computer, and includes an arithmetic processing device, a microcomputer, and the like included in an information processing device, and is a generic term for devices and devices that can realize the functions in the embodiment by a program. .
（ハードウェア構成）
図１３は、実施形態に係る画像処理装置のハードウェア構成を示す図である。上述した実施形態に係る画像処理装置は、ＣＰＵ（Central Processing Unit）４０等の制御装置と、ＲＯＭ（Read Only Memory）５０やＲＡＭ（Random Access Memory）６０等の記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ７０と、各部を接続するバス８０とを備えている。
(Hardware configuration)
FIG. 13 is a diagram illustrating a hardware configuration of the image processing apparatus according to the embodiment. The image processing apparatus according to the above-described embodiment is connected to a control device such as a CPU (Central Processing Unit) 40, a storage device such as a ROM (Read Only Memory) 50 and a RAM (Random Access Memory) 60, and a network. A communication I / F 70 that performs communication and a bus 80 that connects each unit are provided.
上述した実施形態に係る画像処理装置で実行されるプログラムは、ＲＯＭ５０等に予め組み込まれて提供される。また、上述した実施形態に係る画像処理装置で実行されるプログラムは、コンピュータを上述した画像処理装置の各部（例えば、第２の抽出部１４３など）として機能させ得る。このコンピュータは、ＣＰＵ４０がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。 A program executed by the image processing apparatus according to the above-described embodiment is provided by being incorporated in advance in the ROM 50 or the like. In addition, the program executed by the image processing apparatus according to the above-described embodiment may cause the computer to function as each unit (for example, the second extraction unit 143) of the above-described image processing apparatus. In this computer, the CPU 40 can read and execute a program from a computer-readable storage medium onto a main storage device.
以上、説明したとおり、第１〜第３の実施形態よれば、３次元画像データからの領域抽出の精度を向上させることができる。 As described above, according to the first to third embodiments, the accuracy of region extraction from three-dimensional image data can be improved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１００ 画像処理装置
１４２ 第１の抽出部
１４３ 第２の抽出部
DESCRIPTION OF SYMBOLS 100 Image processing apparatus 142 1st extraction part 143 2nd extraction part
Claims (12)
前記第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、前記第２の領域に隣接し、前記第２の領域との類似度が相対的に高い小領域を前記複数の小領域から除外することで、前記複数の小領域から前記構造に含まれる小領域を抽出して、前記構造の領域を抽出する第２の抽出部と、
を備える画像処理装置。 Based on the threshold value corresponding to the CT value, the luminance value is relatively high from the three-dimensional image data , the first region including the structure to be extracted, and the luminance value is relatively low, and the air in the three-dimensional image data A first extraction unit that extracts a second region that is a region ;
Divided into a plurality of small regions on the basis of the first region with the feature value of similarity and the positional relationship of the voxel, adjacent the leading Stories second region, the similarity between the second region is relatively by excluding high small region from said plurality of small regions, extracting a small area contained from the plurality of small areas in the structure, and a second extraction unit for extracting a region of the structure,
An image processing apparatus comprising:
ＣＴ値に対応する閾値に基づいて、前記３次元画像データから相対的に輝度値が高く、抽出対象の構造を含む第１の領域と、相対的に輝度値が低く、前記３次元画像データにおける空気領域である第２の領域とを抽出する第１の抽出ステップと、
前記第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、前記第２の領域に隣接し、前記第２の領域との類似度が相対的に高い小領域を前記複数の小領域から除外することで、前記複数の小領域から前記構造に含まれる小領域を抽出して、前記構造の領域を抽出する第２の抽出ステップと、
を含む画像処理方法。 An image processing method executed by an apparatus for extracting a region to be extracted from three-dimensional image data,
Based on the threshold value corresponding to the CT value, the luminance value is relatively high from the three-dimensional image data, and the first region including the structure to be extracted is relatively low in luminance, and the three-dimensional image data A first extraction step of extracting a second region that is an air region ;
Divided into a plurality of small regions on the basis of the first region with the feature value of similarity and the positional relationship of the voxel, adjacent the leading Stories second region, the similarity between the second region is relatively by excluding high small region from said plurality of small regions, extracting a small area included in the structure from the plurality of small areas, and a second extraction step of extracting a region of the structure,
An image processing method including:
ＣＴ値に対応する閾値に基づいて、前記３次元画像データから相対的に輝度値が高く、抽出対象の構造を含む第１の領域と、相対的に輝度値が低く、前記３次元画像データにおける空気領域である第２の領域とを抽出する第１の抽出部と、
前記第１の領域をボクセルの特徴量の類似度及び位置関係に基づいて複数の小領域に分割し、前記第２の領域に隣接し、前記第２の領域との類似度が相対的に高い小領域を前記複数の小領域から除外することで、前記複数の小領域から前記構造に含まれる小領域を抽出して、前記構造の領域を抽出する第２の抽出部と、
を備える医用画像診断装置。 An image data collection unit for collecting three-dimensional image data;
Based on the threshold value corresponding to the CT value, the luminance value is relatively high from the three-dimensional image data, and the first region including the structure to be extracted is relatively low in luminance, and the three-dimensional image data A first extraction unit that extracts a second region that is an air region ;
Divided into a plurality of small regions on the basis of the first region with the feature value of similarity and the positional relationship of the voxel, adjacent the leading Stories second region, the similarity between the second region is relatively by excluding high small region from said plurality of small regions, extracting a small area contained from the plurality of small areas in the structure, and a second extraction unit for extracting a region of the structure,
A medical image diagnostic apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014142686A JP6415878B2 (en) | 2014-07-10 | 2014-07-10 | Image processing apparatus, image processing method, and medical image diagnostic apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014142686A JP6415878B2 (en) | 2014-07-10 | 2014-07-10 | Image processing apparatus, image processing method, and medical image diagnostic apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016016265A JP2016016265A (en) | 2016-02-01 |
| JP6415878B2 true JP6415878B2 (en) | 2018-10-31 |
Family
ID=55231970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014142686A Active JP6415878B2 (en) | 2014-07-10 | 2014-07-10 | Image processing apparatus, image processing method, and medical image diagnostic apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6415878B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6693278B2 (en) * | 2016-06-01 | 2020-05-13 | 富士通株式会社 | Similar image search program, similar image search method, and similar image search device |
| GB201615051D0 (en) * | 2016-09-05 | 2016-10-19 | Kheiron Medical Tech Ltd | Multi-modal medical image procesing |
| JP2018061771A (en) * | 2016-10-14 | 2018-04-19 | 株式会社日立製作所 | Image processing apparatus and image processing method |
| JP6857893B2 (en) * | 2017-03-02 | 2021-04-14 | 国立大学法人大阪大学 | Image area division device, image area division method, image area division program, and image feature extraction method |
| KR102250164B1 (en) * | 2018-09-05 | 2021-05-10 | 에이아이메딕(주) | Method and system for automatic segmentation of vessels in medical images using machine learning and image processing algorithm |
| CN111144449B (en) * | 2019-12-10 | 2024-01-19 | 东软集团股份有限公司 | Image processing method, device, storage medium and electronic equipment |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4020465B2 (en) * | 1997-09-22 | 2007-12-12 | オリンパス株式会社 | Detection device and method for tumor shadow in image and recording medium recording tumor shadow detection program |
| WO2000030021A1 (en) * | 1998-11-13 | 2000-05-25 | Arch Development Corporation | System for detection of malignancy in pulmonary nodules |
| JP2003265463A (en) * | 2002-03-13 | 2003-09-24 | Nagoya Industrial Science Research Inst | Image diagnosis support system and image diagnosis support program |
| JP4184842B2 (en) * | 2003-03-19 | 2008-11-19 | 富士フイルム株式会社 | Image discrimination device, method and program |
| JP4146438B2 (en) * | 2005-01-19 | 2008-09-10 | ザイオソフト株式会社 | Identification method |
| JP4599191B2 (en) * | 2005-03-01 | 2010-12-15 | 国立大学法人神戸大学 | Diagnostic imaging processing apparatus and diagnostic imaging processing program |
| US8265367B2 (en) * | 2007-06-04 | 2012-09-11 | Siemens Computer Aided Diagnostics, Ltd. | Identifying blood vessels in lung x-ray radiographs |
| JP5390080B2 (en) * | 2007-07-25 | 2014-01-15 | 株式会社東芝 | Medical image display device |
| JP5536987B2 (en) * | 2008-05-16 | 2014-07-02 | 株式会社東芝 | Image processing device |
| JP5993653B2 (en) * | 2012-08-03 | 2016-09-14 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP5961512B2 (en) * | 2012-09-28 | 2016-08-02 | 富士フイルム株式会社 | Image processing apparatus, operation method thereof, and image processing program |
-
2014
- 2014-07-10 JP JP2014142686A patent/JP6415878B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016016265A (en) | 2016-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11730387B2 (en) | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans | |
| Moghbel et al. | Review of liver segmentation and computer assisted detection/diagnosis methods in computed tomography | |
| US11379985B2 (en) | System and computer-implemented method for segmenting an image | |
| Scalco et al. | Texture analysis of medical images for radiotherapy applications | |
| Wu et al. | Automatic liver segmentation on volumetric CT images using supervoxel‐based graph cuts | |
| Bi et al. | Automatic detection and classification of regions of FDG uptake in whole-body PET-CT lymphoma studies | |
| Despotović et al. | MRI segmentation of the human brain: challenges, methods, and applications | |
| El-Baz et al. | Computer‐aided diagnosis systems for lung cancer: challenges and methodologies | |
| EP3035287B1 (en) | Image processing apparatus, and image processing method | |
| JP4999163B2 (en) | Image processing method, apparatus, and program | |
| Maitra et al. | Technique for preprocessing of digital mammogram | |
| Huang et al. | A robust graph-based segmentation method for breast tumors in ultrasound images | |
| Zhou et al. | Automated lung segmentation and smoothing techniques for inclusion of juxtapleural nodules and pulmonary vessels on chest CT images | |
| Hua et al. | Segmentation of pathological and diseased lung tissue in CT images using a graph-search algorithm | |
| US7876947B2 (en) | System and method for detecting tagged material using alpha matting | |
| JP6415878B2 (en) | Image processing apparatus, image processing method, and medical image diagnostic apparatus | |
| US9230320B2 (en) | Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules | |
| Mukherjee et al. | Lung nodule segmentation using deep learned prior based graph cut | |
| US8675931B2 (en) | Medical image segmentation | |
| EP1916624A1 (en) | Method for segmenting a digital medical image. | |
| JP7005191B2 (en) | Image processing equipment, medical diagnostic imaging equipment, and programs | |
| Militzer et al. | Automatic detection and segmentation of focal liver lesions in contrast enhanced CT images | |
| JP2016007270A (en) | Medical image processor | |
| Saien et al. | Refinement of lung nodule candidates based on local geometric shape analysis and Laplacian of Gaussian kernels | |
| EP2208183B1 (en) | Computer-aided detection (cad) of a disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160317 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160929 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181003 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6415878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |