WO2021186957A1 - 画像処理装置、方法およびプログラム - Google Patents
画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- WO2021186957A1 WO2021186957A1 PCT/JP2021/004849 JP2021004849W WO2021186957A1 WO 2021186957 A1 WO2021186957 A1 WO 2021186957A1 JP 2021004849 W JP2021004849 W JP 2021004849W WO 2021186957 A1 WO2021186957 A1 WO 2021186957A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- tomographic
- interest
- band
- composite
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 123
- 238000000034 method Methods 0.000 title claims description 49
- 239000002131 composite material Substances 0.000 claims abstract description 291
- 230000002308 calcification Effects 0.000 claims description 86
- 230000015572 biosynthetic process Effects 0.000 claims description 68
- 238000003786 synthesis reaction Methods 0.000 claims description 68
- 206010028980 Neoplasm Diseases 0.000 claims description 48
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 3
- 208000004434 Calcinosis Diseases 0.000 description 79
- 230000000875 corresponding effect Effects 0.000 description 67
- 230000005855 radiation Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 52
- 238000001514 detection method Methods 0.000 description 41
- 238000003384 imaging method Methods 0.000 description 32
- 210000000481 breast Anatomy 0.000 description 28
- 238000003860 storage Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 101000835634 Homo sapiens Tubulin-folding cofactor B Proteins 0.000 description 18
- 102100026482 Tubulin-folding cofactor B Human genes 0.000 description 18
- 238000000354 decomposition reaction Methods 0.000 description 15
- 101100331658 Arabidopsis thaliana DML3 gene Proteins 0.000 description 14
- 101100331657 Arabidopsis thaliana DML2 gene Proteins 0.000 description 10
- 238000009607 mammography Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 101100091498 Arabidopsis thaliana ROS1 gene Proteins 0.000 description 4
- 101150064551 DML1 gene Proteins 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000033558 biomineral tissue development Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000105 evaporative light scattering detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/025—Tomosynthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
- A61B6/0407—Supports, e.g. tables or beds, for the body or parts of the body
- A61B6/0414—Supports, e.g. tables or beds, for the body or parts of the body with compression means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- This disclosure relates to image processing devices, methods and programs.
- the figure which shows the display screen of the composite 2D image A flowchart showing the processing performed in the first embodiment
- a tomographic image D3 in which a tumor is detected and a tomographic image D5 in which a spicula is detected are selected.
- the synthesis unit 34 is in the order of calcification, spicula, and mass when different tomographic images are selected for the mass, spicula, and calcification in the same pixel of the tomographic image Dj. Allocate the pixel values of the tomographic image determined based on the priority. Therefore, in the pixel P9 of the composite two-dimensional image CG0, the compositing unit 34 uses the pixel value of the pixel P9 of the tomographic image D5 in which the spicula is detected as the pixel value.
- the selection unit 33 selects the band tomographic image corresponding to the tomographic image in which the structure of interest is detected for each pixel corresponding to the pixel of the composite two-dimensional image CG0 in the plurality of band tomographic images. Select from multiple band tomographic images according to the type and frequency band of. When selecting a band tomographic image, the selection unit 33 associates the position of the structure of interest in the tomographic image Dj with the positions of the band tomographic images DMLj and DHj for each type of the structure of interest detected by the structure of interest 32. ..
- FIG. 24 is a diagram for explaining the generation of a composite band two-dimensional image in the high frequency band Hf.
- the synthesis unit 34 adds the pixel values of all the band tomographic images DH1 to DH6. The average value is derived, and the added average value is used as the pixel value of the pixels P1, P13, and P15 of the composite band two-dimensional image CGH0 of the high frequency band Hf.
- FIG. 25 is a flowchart showing the processing performed in the second embodiment. It is assumed that the plurality of tomographic images Dj are acquired in advance and stored in the storage 23.
- the input device 25 receives the instruction to start the process by the operator, the process is started, and the interest structure detection unit 32 detects the interest structure from the plurality of tomographic images Dj (step ST11).
- the frequency decomposition unit 36 frequency-decomposes each of the plurality of tomographic images Dj to derive a plurality of band tomographic images representing frequency components for each of the plurality of frequency bands for each of the plurality of tomographic images Dj. (Step ST12).
- the synthesis unit 34 generates the first composite two-dimensional image CG1 by synthesizing a plurality of tomographic images Dj. Then, the synthesis unit 34 uses the selected band tomographic image in the pixels of the synthetic two-dimensional image CG0 corresponding to the mass and the spicula of the mass, the spicula, and the calcification, and uses the selected band tomographic image to form the composite band two-dimensional image for each frequency band.
- tomographic images D2 to D4 in which a mass is detected and tomographic images D3 in which a spicula is detected are selected.
- the pixel values of the tomographic image determined based on the order of priority of calcification, spicula, and mass are assigned. Therefore, in the pixel P8 of the composite two-dimensional image CG0, the compositing unit 34 uses the pixel value of the pixel P8 in the tomographic image D3 in which the spicula is detected as the pixel value.
- the added average value of the pixel values of the band tomographic images DH1 to DH6 is derived, and the added average value is used as the pixel value of the pixels P2 and P7 of the composite band two-dimensional image CGH0 of the high frequency band Hf.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
プロセッサは、被写体の複数の断層面を表す複数の断層画像から関心構造を検出する。プロセッサは、関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像から断層画像を選択し、関心構造が検出された領域においては選択された断層画像を用いて、関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成する。
Description
本開示は、画像処理装置、方法およびプログラムに関する。
近年、乳がんの早期発見を促すため、***を撮影する放射線画像撮影装置(マンモグラフィと呼ばれる)を用いた画像診断が注目されている。また、マンモグラフィにおいて、放射線源を移動させて複数の線源位置から***に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成して所望の断層面を強調した断層画像を生成するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性および必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円または楕円の弧を描くように移動させたりして、複数の線源位置において***を撮影することにより複数の投影画像を取得し、単純逆投影法若しくはフィルタ逆投影法等の逆投影法、または逐次再構成法等を用いてこれらの投影画像を再構成して断層画像を生成する。
このような断層画像を***における複数の断層面において生成することにより、***内において断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、予め定められた方向から被写体に放射線を照射する、従来の単純撮影により取得される2次元画像(以下、単純2次元画像とする)においては検出が困難であった病変等の異常部位を発見することが可能となる。
また、トモシンセシス撮影により取得された、放射線検出器の検出面から放射線源側に向けた距離(高さ方向の位置)が異なる複数の断層画像を、加算法、平均法、最大値投影法または最小値投影法等によって合成することにより、単純2次元画像に相当する擬似的な2次元画像(以下、合成2次元画像とする)を生成する技術が知られている(特開2014-128716号公報参照)。
一方、医療分野においては、画像中の異常陰影等の構造物を自動的に検出し、検出された構造物の強調表示等を行うコンピュータ支援画像診断システム(CAD: Computer Aided Diagnosis、以下CADと称する)が知られている。例えば、トモシンセシス撮影により取得された断層画像から、腫瘤、スピキュラおよび石灰化等の診断上重要な構造物を、CADを用いて検出することが行われている。また、***をトモシンセシス撮影することにより取得した複数の断層画像から合成2次元画像を生成するに際し、CADにより構造物を含む関心領域を検出し、検出した関心領域を例えば投影画像または単純撮影により取得された2次元画像上に合成することにより、合成2次元画像を生成する手法が提案されている(米国特許第8983156号明細書参照)。また、CADにより検出された構造物のみを含む断層画像を平均化によって合成することにより、合成2次元画像を生成する手法が提案されている(米国特許第9792703号明細書参照)。
しかしながら、米国特許第8983156号明細書に記載された手法により生成される合成2次元画像においては、2次元画像に合成される関心構造は1つの断層画像から取得された関心構造のみである。このため、関心構造が複数の断層画像に跨がって存在する場合、断層画像が並ぶ深さ方向に関心構造が存在している状態を、合成2次元画像において反映させることができない。また、米国特許第9792703号明細書に記載された手法は、複数の断層画像に含まれる関心構造を平均化している。このため、例えば***に含まれる石灰化のような細かな関心構造およびスピキュラのような線状構造等が淡く見にくくなってしまう。
本発明は上記事情に鑑みなされたものであり、合成2次元画像において、被写体に含まれる深さ方向の関心構造および細かな関心構造を見やすくすることを目的とする。
本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
被写体の複数の断層面を表す複数の断層画像から関心構造を検出し、
関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像から断層画像を選択し、
関心構造が検出された領域においては選択された断層画像を用いて、関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成するように構成される。
プロセッサは、
被写体の複数の断層面を表す複数の断層画像から関心構造を検出し、
関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像から断層画像を選択し、
関心構造が検出された領域においては選択された断層画像を用いて、関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成するように構成される。
なお、本開示による画像処理装置においては、関心構造は腫瘤、スピキュラおよび石灰化の少なくとも1つであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造が腫瘤の場合、複数の断層画像における合成2次元画像の画素と対応する画素毎に、腫瘤を最もよく表す1つの断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造が腫瘤の場合、複数の断層画像における合成2次元画像の画素と対応する画素毎に、腫瘤を含むすべての断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造がスピキュラの場合、複数の断層画像における合成2次元画像の画素と対応する画素毎に、スピキュラを最もよく表す1つの断層画像と1つの断層画像におけるスピキュラと繋がっているスピキュラを含む、1つの断層画像に隣接する少なくとも1つの断層画像とを選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造がスピキュラの場合、複数の断層画像における合成2次元画像の画素と対応する画素毎に、スピキュラを最もよく表す1つの断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造が石灰化の場合、複数の断層画像における合成2次元画像の画素と対応する画素毎に、石灰化を最もよく表す1つの断層画像を選択するように構成されるものであってもよい。
なお、腫瘤、スピキュラおよび石灰化のそれぞれを最もよく表す1つの断層画像は、腫瘤、スピキュラおよび石灰化のそれぞれが最も大きい断層画像または腫瘤、スピキュラおよび石灰化のそれぞれを検出した際の尤度が最も大きい断層画像であってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造の画素においては、選択された断層画像の画素の画素値を有する合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の断層画像における合成2次元画像の画素と対応する画素において、複数の断層画像が選択されている場合、予め定められた関心構造の優先度に基づいて決定された断層画像の画素値を有する合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造の種類および周波数帯域に応じて、関心構造が含まれる断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の断層画像を周波数分解することにより、第1の周波数帯域および第1の周波数帯域よりも低い第2の周波数帯域を含む複数の周波数帯域毎に複数の帯域断層画像を導出し、
複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択し、
関心構造が検出された領域においては、選択された帯域断層画像を用いて合成2次元画像を生成するように構成されるものであってもよい。
複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択し、
関心構造が検出された領域においては、選択された帯域断層画像を用いて合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、周波数帯域に応じて異なる数の、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類毎に複数の帯域断層画像から選択するように構成されるものであってもよい。なお、異なる数は0であってもよい。すなわち、ある周波数帯域において帯域断層画像を選択しないようにしてもよい。
また、本開示による画像処理装置においては、プロセッサは、第1の周波数帯域においては、第2の周波数帯域よりも少ない数の帯域断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第2の周波数帯域においては、複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造を含むすべての帯域断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第2の周波数帯域においては、複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造を最もよく表す1つの帯域断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第1の周波数帯域においては、複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造を最もよく表す1つの帯域断層画像を選択するように構成されるものであってもよい。
この場合、関心構造を最もよく表す1つの帯域断層画像は、関心構造が最も大きい帯域断層画像または関心構造を検出した際の尤度が最も大きい帯域断層画像であってもよい。
また、本開示による画像処理装置においては、プロセッサは、第2の周波数帯域においては、複数の帯域断層画像における合成2次元画像の画素と対応する画素毎に、関心構造を含むすべての帯域断層画像を選択するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、関心構造に対応する帯域断層画像の画素においては、選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の断層画像を合成することにより第1の合成2次元画像を生成し、
関心構造に対応する帯域断層画像の画素においては、関心構造の種類毎に選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して関心構造の種類毎に第2の合成2次元画像を生成し、関心構造の種類毎に生成した第2の合成2次元画像を第1の合成2次元画像に合成することにより、合成2次元画像を生成するように構成されるものであってもよい。
関心構造に対応する帯域断層画像の画素においては、関心構造の種類毎に選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して関心構造の種類毎に第2の合成2次元画像を生成し、関心構造の種類毎に生成した第2の合成2次元画像を第1の合成2次元画像に合成することにより、合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第1の合成2次元画像における関心構造の画素値を、第2の合成2次元画像における関心構造の画素値と置換することにより、第2の合成2次元画像を第1の合成2次元画像に合成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の第2の合成2次元画像間の対応する画素において、複数種類の関心構造が含まれる場合、予め定められた関心構造の優先度に基づいて決定された第2の合成2次元画像の画素値を有する合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の断層画像を合成することにより第1の合成2次元画像を生成し、
第1の合成2次元画像から、予め定められた特定の種類の関心構造の領域を抽出し、
特定の種類の関心構造以外の他の関心構造について、他の関心構造に対応する帯域断層画像の画素においては、他の関心構造の種類毎に選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して他の関心構造の種類毎に第2の合成2次元画像を生成し、他の関心構造についての第2の合成2次元画像を第1の合成2次元画像に合成し、かつ第2の合成2次元画像が合成された第1の合成2次元画像に特定の種類の関心構造の領域を合成することにより、合成2次元画像を生成するように構成されるものであってもよい。
第1の合成2次元画像から、予め定められた特定の種類の関心構造の領域を抽出し、
特定の種類の関心構造以外の他の関心構造について、他の関心構造に対応する帯域断層画像の画素においては、他の関心構造の種類毎に選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して他の関心構造の種類毎に第2の合成2次元画像を生成し、他の関心構造についての第2の合成2次元画像を第1の合成2次元画像に合成し、かつ第2の合成2次元画像が合成された第1の合成2次元画像に特定の種類の関心構造の領域を合成することにより、合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、特定の関心構造は石灰化であり、他の関心構造は腫瘤およびスピキュラであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第1の合成2次元画像における関心構造の画素値を、第2の合成2次元画像における関心構造の画素値と置換することにより、第2の合成2次元画像を第1の合成2次元画像に合成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の第2の合成2次元画像間の対応する画素において、複数種類の他の関心構造が含まれる場合、予め定められた関心構造の優先度に基づいて決定された第2の合成2次元画像の画素値を有する合成2次元画像を生成するように構成されるものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第2の合成2次元画像が合成された第1の合成2次元画像における関心構造の画素値を、特定の種類の関心構造の領域の画素値と置換することにより、第2の合成2次元画像が合成された第1の合成2次元画像に特定の種類の関心構造の領域を合成するように構成されるものであってもよい。
本開示による画像処理方法は、被写体の複数の断層面を表す複数の断層画像から関心構造を検出し、
関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像から断層画像を選択し、
関心構造が検出された領域においては選択された断層画像を用いて、関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成する。
関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像から断層画像を選択し、
関心構造が検出された領域においては選択された断層画像を用いて、関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成する。
なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、合成2次元画像において、被写体に含まれる深さ方向の関心構造および細かな関心構造を見やすくすることができる。
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図、図2は放射線画像撮影システムにおけるマンモグラフィ撮影装置を図1の矢印A方向から見た図である。図1に示すように、本実施形態による放射線画像撮影システム100は、***のトモシンセシス撮影を行って断層画像を生成するために、複数の線源位置から被写体である***Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。本実施形態による放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3および画像処理装置4を備える。
マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、放射線照射部14が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台13を固定して放射線照射部14のみを回転することが可能となっている。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、および電圧信号をデジタル信号に変換するAD(Analog Digital)変換部等が設けられた回路基板等も設置されている。
放射線照射部14の内部には、放射線源16が収納されている。放射線源16は放射線としてX線を出射するものであり、放射線源16から放射線を照射するタイミングおよび放射線源16における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて***Mを押さえつけて圧迫する圧迫板17、圧迫板17を支持する支持部18、および支持部18を図1および図2の上下方向に移動させる移動機構19が設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫厚はコンソール2に入力される。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に***Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し,複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像および断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像から、コンソール2および画像処理装置4等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次に、第1の実施形態に係る画像処理装置について説明する。まず、図3を参照して、第1の実施形態に係る画像処理装置のハードウェア構成を説明する。図3に示すように、画像処理装置4は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)21、不揮発性のストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、不図示のネットワークに接続されるネットワークI/F(InterFace)27を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモリ26およびネットワークI/F27は、バス28に接続される。なお、CPU21は、本開示におけるプロセッサの一例である。
ストレージ23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ23には、画像処理装置4にインストールされた画像処理プログラム22が記憶される。CPU21は、ストレージ23から画像処理プログラム22を読み出してからメモリ26に展開し、展開した画像処理プログラム22を実行する。
なお、画像処理プログラム22は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置4を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置4を構成するコンピュータにインストールされる。
次いで、第1の実施形態による画像処理装置の機能的な構成を説明する。図4は、第1の実施形態による画像処理装置の機能的な構成を示す図である。図4に示すように、画像処理装置4は、画像取得部31、関心構造検出部32、選択部33、合成部34および表示制御部35を備える。そして、CPU21が、画像処理プログラム22を実行することにより、画像取得部31、関心構造検出部32、選択部33、合成部34および表示制御部35として機能する。
画像取得部31は、コンソール2がマンモグラフィ撮影装置1に撮影を行わせることにより取得した断層画像を取得する。画像取得部31は、コンソール2または画像保存システム3からネットワークI/F27を介して断層画像を取得する。
ここで、コンソール2におけるトモシンセシス撮影および断層画像の生成について説明する。コンソール2は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部12を回転軸11の周りに回転させることにより放射線源16を移動させ、放射線源16の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である***Mに放射線を照射し、***Mを透過した放射線を放射線検出器15により検出して、複数の線源位置における複数の投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)を取得する。
図5は投影画像Giの取得を説明するための図である。図5に示すように、放射線源16をS1、S2、・・・、Snの各線源位置に移動し、各線源位置において放射線源16を駆動して***Mに放射線を照射し、***Mを透過したX線を放射線検出器15により検出することにより、各線源位置S1~Snに対応して、投影画像G1、G2、・・・、Gnが取得される。なお、各線源位置S1~Snにおいては、同一の線量の放射線が***Mに照射される。
なお、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。線源位置Scを基準線源位置Scと称するものとする。
そして、コンソール2は、複数の投影画像Giを再構成することにより、***Mの所望とする断層面を強調した断層画像を生成する。具体的には、コンソール2は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて複数の投影画像Giを再構成して、図6に示すように、***Mの複数の断層面のそれぞれにおける複数の断層画像Dj(j=1~m)を生成する。この際、***Mを含む3次元空間における3次元の座標位置が設定され、設定された3次元の座標位置に対して、複数の投影画像Giの対応する画素の画素値が再構成されて、その座標位置の画素値が算出される。
コンソール2は、生成された断層画像Djを画像処理装置4に直接転送するか、画像保存システム3に転送する。
関心構造検出部32は、複数の断層画像Djから関心構造を検出する。本実施形態においては、***Mに含まれる腫瘤、スピキュラおよび石灰化を関心構造として検出する。図7は関心構造の検出を説明するための図である。ここでは、6枚の断層画像D1~D6からの関心構造の検出について説明する。図7に示すように、断層画像D1には石灰化K13が含まれる。断層画像D2には腫瘤K21が含まれる。断層画像D3には、断層画像D2の腫瘤K21と***M内において連続して存在する腫瘤K31、およびスピキュラK32が含まれる。断層画像D4には、断層画像D2の腫瘤K21および断層画像D3の腫瘤K31と***M内において連続して存在する腫瘤K41a、断層画像D4においてのみ存在する腫瘤K41b、並びにスピキュラK42が含まれる。断層画像D5にはスピキュラK52が含まれる。断層画像D6には石灰化K63が含まれる。
関心構造検出部32は、公知のコンピュータ支援画像診断(すなわちCAD)のアルゴリズムを用いて、断層画像Djから関心構造を検出する。CADによるアルゴリズムにおいては、断層画像Djにおける画素が関心構造であることを表す確率(尤度)が導出され、その確率が予め定められたしきい値以上となる画素が関心構造として検出される。なお、CADによるアルゴリズムは関心構造の種類毎に用意される。本実施形態においては、腫瘤検出用のCADアルゴリズム、スピキュラ検出用のCADアルゴリズムおよび石灰化検出用のCADアルゴリズムが用意される。
なお、関心構造の検出はCADを用いるものに限定されない。関心構造を検出するためのフィルタによるフィルタリング処理、関心構造を検出するようにディープラーニング等により機械学習がなされた検出モデル等によって、断層画像Djから関心構造を検出するものであってもよい。
関心構造検出部32は、図7に示す断層画像D1~D6から、腫瘤、スピキュラおよび石灰化を関心構造として検出することにより、図8に示すように、腫瘤の検出結果R1、スピキュラの検出結果R2および石灰化の検出結果R3を導出する。腫瘤の検出結果R1においては、断層画像D2~D4において腫瘤が検出されている。スピキュラの検出結果R2においては、断層画像D3~D5においてスピキュラが検出されている。石灰化の検出結果R3においては、断層画像D1,D6において石灰化が検出されている。
選択部33は、関心構造が検出された領域においては、関心構造の種類に応じて複数の断層画像Djから断層画像を選択する。具体的には、第1の実施形態においては、複数の断層画像Djにおける合成2次元画像CG0の画素と対応する画素毎に、関心構造を最もよく表す1つの断層画像を選択する。図9は腫瘤の断層画像の選択を説明するための図、図10はスピキュラの断層画像の選択を説明するための図、図11は石灰化の断層画像の選択を説明するための図である。なお、図9~11においては、断層画像を模式的に1次元で示している。また、図9~11においては、断層画像の画素と合成2次元画像CG0の画素との対応関係を示すための指標40を1次元で示している。また、関心構造を含む断層画像においては、検出された関心構造の画素を関心構造以外の画素よりも厚くして示している。また、図9においては腫瘤の画素を黒く塗りつぶし、図10においてはスピキュラの画素を白抜きとし、図11においては石灰化の画素に縦のハッチングを付与している。また、指標40においては、合成2次元画像CG0の画素に対応する画素P1~P15の15個の画素が示されている。なお、指標40においては、画素P1,P5,P10,P15のみ参照符号を付与している。また、以降の説明においては、図9~図11と同様の図については、その図示の仕方は図9~図11と同一である。
まず、腫瘤に関しての断層画像の選択について説明する。図9に示すように、画素P1,P4~P6,P11~P15においては、すべての断層画像Djにおいて腫瘤が検出されていない。このため、腫瘤に関しては、選択部33は、画素P1,P4~P6,P11~P15については、いずれの断層画像も選択しない。また、画素P2,P3においては、断層画像D4においてのみ腫瘤が検出されている。このため、選択部33は、画素P2,P3については断層画像D4を選択する。画素P7,P10においては、断層画像D3においてのみ腫瘤が検出されている。このため、選択部33は、画素P7,P10については断層画像D3を選択する。
また、画素P8,P9においては、断層画像D2~D4において腫瘤が検出されている。ここで、断層画像D2~D4において検出された腫瘤のうち、断層画像D3において検出された腫瘤が最も大きく、断層画像D2~D4のうち断層画像D3が腫瘤を最もよく表すものとなる。このため、選択部33は、画素P8,P9については断層画像D4を選択する。なお、最も大きい腫瘤に代えて、関心構造検出部32が検出の際に導出した確率(尤度)が最も大きい腫瘤を含む断層画像を選択するようにしてもよい。
次いで、スピキュラに関しての断層画像の選択について説明する。図10に示すように、画素P1,P2,P7,P12~P15においては、すべての断層画像Djにおいてスピキュラが検出されていない。このため、スピキュラに関しては、選択部33は、画素P1,P2,P7,P12~P15については、いずれの断層画像も選択しない。また、画素P3,P4,P11においては、断層画像D4においてのみスピキュラが検出されている。このため、選択部33は、画素P3,P4,P11については断層画像D4を選択する。
また、画素P5,P10においては、断層画像D4,D5においてスピキュラが検出されている。画素P5,P10のスピキュラは断層画像D4,D5間において繋がっているものである。ここで、断層画像D4,D5において検出されたスピキュラのうち、断層画像D4において検出されたスピキュラが最も大きく、断層画像D4,D5のうち断層画像D4がスピキュラを最もよく表すものとなる。このため、選択部33は、画素P5,P10については断層画像D4を選択する。なお、最も大きいスピキュラに代えて、関心構造検出部32が検出の際に導出した確率(尤度)が最も大きいスピキュラを含む断層画像を選択するようにしてもよい。
画素P6,P9においては、断層画像D5においてのみスピキュラが検出されている。断層画像D5の画素P6,P9において検出されたスピキュラは、断層画像D5と隣接する断層画像D4において検出されたスピキュラと繋がっている。このため、選択部33は、画素P6,P9については断層画像D5を選択する。この結果、断層画像D4,D5において繋がってはいるが、未選択のスピキュラに対応する画素についての断層画像が選択されることとなる。また、画素P8においては、断層画像D3においてスピキュラが検出されている。このため、選択部33は、画素P8については断層画像D3を選択する。
次いで、石灰化に関しての断層画像の選択について説明する。図11に示すように、画素P1~P11,P13,P15においては、すべての断層画像Djにおいて石灰化が検出されていない。このため、石灰化に関しては、選択部33は、画素P1~P11,P13,P15については、いずれの断層画像も選択しない。また、画素P12においては、断層画像D1においてのみ石灰化が検出されている。このため、選択部33は、画素P12については断層画像D1を選択する。画素P14においては、断層画像D6においてのみ石灰化が検出されている。このため、選択部33は、画素P14については断層画像D6を選択する。
なお、スピキュラに関して、図12に示すように、1つのスピキュラK7が断層面に直交する方向に2次元状に広がりつつ、複数の断層画像Dk-1,Dk,Dk+1に跨がって存在する場合がある。この場合、断層画像Dk-1については画素P100において、断層画像Dkについては画素P101において、断層画像Dk+1については画素P102においてスピキュラが検出される。このため、図12に示すように***M内にスピキュラK7が存在する場合、図12に示すように断層画像Dkを選択すると、断層画像Dkに含まれるスピキュラK7が繋がっている、断層画像Dkの上下にある複数の断層画像Dk-1,Dk+1も選択されることとなる。
合成部34は、選択部33が関心構造の種類毎に選択した断層画像を用いて合成2次元画像を生成する。合成2次元画像は、基準線源位置Scから***Mに放射線を照射して撮影した単純2次元画像に相当する擬似的な2次元画像である。本実施形態においては、合成部34は、図13に示すように、複数の断層画像Djを積層した状態で、基準線源位置Scからの放射線検出器15へ向かう視点方向、すなわち図5に示す光軸X0に沿って、各断層画像Djにおいて対応する画素の画素値を合成して、合成2次元画像CG0を生成する。以下、合成2次元画像の生成について説明する。
図14は第1の実施形態における合成2次元画像の生成を説明するための図である。なお、断層画像D3,D4には、腫瘤およびスピキュラの双方が含まれる。このため、図14においては、腫瘤のみの検出結果を含む断層画像D3-1,D4-1およびスピキュラのみの検出結果を含む断層画像D3-2,D4-2を仮想的に並べて示している。なお、以降の説明において、図14と同様の図においては、その図示の仕方は図14と同一である。断層画像D1~D6において、腫瘤、スピキュラおよび石灰化のいずれの関心構造も検出されていない画素P1,P13,P15については、合成部34は、断層画像D1~D6の画素値の加算平均値を導出し、加算平均値を合成2次元画像CG0の画素P1,P13,P15の画素値とする。この場合、すべての断層画像が本開示の予め定められた断層画像となる。
画素P2については、腫瘤が検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P2の画素値を合成2次元画像CG0の画素P2の画素値とする。画素P3については、腫瘤およびスピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P3の画素値を合成2次元画像CG0の画素P3の画素値とする。画素P4,P5については、スピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P4,P5の画素値を合成2次元画像CG0の画素P4,P5の画素値とする。
画素P6については、スピキュラが検出された断層画像D5が選択されているため、合成部34は、断層画像D5における画素P6の画素値を合成2次元画像CG0の画素P6の画素値とする。画素P7については、腫瘤が検出された断層画像D3が選択されているため、合成部34は、断層画像D3における画素P7の画素値を合成2次元画像CG0の画素P7の画素値とする。画素P8については、腫瘤およびスピキュラが検出された断層画像D3が選択されているため、合成部34は、断層画像D3における画素P8の画素値を合成2次元画像CG0の画素P8の画素値とする。
画素P9については、腫瘤が検出された断層画像D3およびスピキュラが検出された断層画像D5が選択されている。本実施形態においては、合成部34は、断層画像Djの同一の画素において腫瘤、スピキュラおよび石灰化についてそれぞれ別の断層画像が選択されている場合には、石灰化、スピキュラおよび腫瘤の順となる優先度に基づいて決定された断層画像の画素値を割り当てる。このため、合成部34は、合成2次元画像CG0の画素P9においては、スピキュラが検出された断層画像D5の画素P9の画素値をその画素値とする。
画素P10については、腫瘤が検出された断層画像D3およびスピキュラが検出された断層画像D4が選択されている。このため、合成部34は、合成2次元画像CG0の画素P10においては、スピキュラが検出された断層画像D4の画素P10の画素値をその画素値とする。
画素P11については、スピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P11の画素値を合成2次元画像CG0の画素P11の画素値とする。画素P12については、石灰化が検出された断層画像D1が選択されているため、合成部34は、断層画像D1における画素P12の画素値を合成2次元画像CG0の画素P12の画素値とする。画素P14については、石灰化が検出された断層画像D6が選択されているため、合成部34は、断層画像D6における画素P14の画素値を合成2次元画像CG0の画素P14の画素値とする。
このように、合成部34は、合成2次元画像CG0において関心構造が検出された画素の画素値を、選択された断層画像の画素値とすることにより、合成2次元画像CG0を生成する。
表示制御部35は、合成部34が生成した合成2次元画像CG0をディスプレイ24に表示する。図15は、合成2次元画像の表示画面を示す図である。図15に示すようにディスプレイ24の表示画面50には、合成2次元画像CG0が表示されている。なお、図15に示す合成2次元画像CG0は、図7に示す断層画像D1~D6から生成されたものである。図15に示す合成2次元画像CG0においては、断層画像D1に含まれる石灰化K13、断層画像D3に含まれる腫瘤K31、断層画像D4に含まれる腫瘤K41b、断層画像D6に含まれる石灰化K63、および断層画像D3~D5に含まれるスピキュラK32,K42,K52が明確に含まれる。なお、スピキュラのK32,K42,K52については、図示を省略している。スピキュラK32,K42,K52は、その一部が腫瘤K31と重なっているが、腫瘤K31の画素値は、断層画像D4,D5に含まれるスピキュラK42,K52の画素値と置換されている。
次いで、第1の実施形態において行われる処理について説明する。図16は第1の実施形態において行われる処理を示すフローチャートである。なお、複数の断層画像Djは予め取得されてストレージ23に保存されているものとする。操作者による処理開始の指示を入力デバイス25が受け付けると処理が開始され、関心構造検出部32が、複数の断層画像Djから関心構造を検出する(ステップST1)。次いで、選択部33が、関心構造が検出された断層画像を、関心構造の種類に応じて複数の断層画像Djから選択する(ステップST2)。そして、合成部34が、選択された断層画像を用いて合成2次元画像CG0を生成し(ステップST3)、表示制御部35が、合成2次元画像CG0をディスプレイ24に表示し(ステップST4)、処理を終了する。
このように、第1の実施形態においては、関心構造が検出された領域においては関心構造の種類に応じて複数の断層画像Djから断層画像を選択し、選択された断層画像を用いて合成2次元画像CG0を生成するようにした。このため、米国特許第9792703号明細書に記載された手法のように、すべての断層画像を重み付け平均することにより合成2次元画像を生成する場合と比較して、関心構造の領域については少ない断層画像により合成2次元画像CG0が生成されることとなる。したがって、合成2次元画像CG0においては、細かな関心構造がぼけることがなくなる。とくに、第1の実施形態においては、複数の断層画像における対応する画素毎に、関心構造を最もよく表す1つの断層画像を選択しているため、合成2次元画像CG0における細かな関心構造のぼけを低減することができる。
また、第1の実施形態においては、複数の断層画像における合成2次元画像CG0の画素と対応する画素毎に、関心構造を最もよく表す1つの断層画像を選択するようにしている。このため、1つの関心構造が放射線の光軸X0に直交する方向に2次元状に広がりつつ断層画像が並ぶ方向、すなわち***Mの深さ方向に広がっている場合であっても、その関心構造については、複数の断層画像が選択される。したがって、選択された複数の断層画像を用いて合成2次元画像CG0を生成することにより、2次元状に広がりつつ深さ方向に広がる関心構造の状態を、合成2次元画像CG0に反映させることができる。
また、断層画像Djの同一の画素において腫瘤、スピキュラおよび石灰化についてそれぞれ別の断層画像が選択されている場合には、腫瘤、スピキュラおよび石灰化の順に高くなる優先度に基づいて決定された断層画像の画素値を割り当てるようにした。ここで、***Mにおいては、腫瘤、スピキュラおよび石灰化の順に悪性度が高くなる。このため、上述した優先度に基づいて断層画像を選択することにより、より悪性度が高い関心構造が目立つように合成2次元画像CG0を生成することができる。
次いで、本開示の第2の実施形態について説明する。図17は、第2の実施形態による画像処理装置の機能的な構成を示す図である。なお、図17において図4と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第2の実施形態による画像処理装置4Aは、複数の断層画像Djを周波数分解することにより、複数の周波数帯域毎に複数の帯域断層画像を導出する周波数分解部36を備え、選択部33が、複数の帯域断層画像における対応する画素毎に、関心構造が含まれる断層画像についての帯域断層画像を、関心構造の種類毎に周波数帯域に応じて複数の帯域断層画像から選択し、合成部34が、選択された帯域断層画像を用いて合成2次元画像CG0を生成するようにした点が第1の実施形態と異なる。
周波数分解部36は、複数の断層画像Djのそれぞれを周波数分解して、複数の断層画像Djのそれぞれについての、複数の周波数帯域毎の周波数成分を表す複数の帯域断層画像を導出する。なお、周波数分解の手法としては、放射線画像を多重解像度変換する手法の他、ウェーブレット変換およびフーリエ変換等、公知の任意の手法を用いることができる。また、周波数分解の帯域数は2以上であればよい。また、本実施形態においては、周波数帯域を、低周波数帯域、中周波数帯域および高周波数帯域に分けて説明を行うが、帯域断層画像に含まれる周波数成分は低周波数帯域、中周波数帯域および高周波数帯域の順で高いものとなる。また、4以上の周波数帯域に周波数分解を行った場合、低周波数帯域、中周波数帯域および高周波数帯域は任意に設定可能である。また、周波数分解の数が2つであった場合、低い方の周波数帯域を中低周波数帯域、高い方の周波数帯域を高周波数帯域と称するものとする。また、周波数分解の数が4以上であった場合にも、低周波数帯域および中周波数帯域をまとめて、中低周波数帯域と称する場合があるものとする。
図18は帯域断層画像を説明するための図である。なお、図18においては、説明を簡単なものとするために、複数の周波数帯域について、中低周波数帯域MLfおよび高周波数帯域Hfのみを示すものとする。なお、高周波数帯域Hfが本開示の第1の周波数帯域に、中低周波数帯域MLfが本開示の第2の周波数帯域に対応する。また、中低周波数帯域MLfの帯域断層画像をDML1~DML6、高周波数帯域Hfの帯域断層画像をDH1~DH6とする。中低周波数帯域MLfの帯域断層画像DML1~DML6には、断層画像D1~D6に含まれる腫瘤、スピキュラおよび石灰化のうち、比較的大きい構造の腫瘤のみが含まれる。高周波数帯域の帯域断層画像DH1~DH6には、細かい構造のスピキュラおよび石灰化、並びに腫瘤の細かい構造が含まれる。
第2の実施形態において、選択部33は、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択する。なお、帯域断層画像の選択に際し、選択部33は、関心構造検出部32が検出した関心構造の種類毎に、断層画像Djにおける関心構造の位置と帯域断層画像DMLj,DHjの位置とを対応づける。
まず、腫瘤についての帯域断層画像の選択について説明する。選択部33は、腫瘤に関して、中低周波数帯域MLfにおいては、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を含むすべての帯域断層画像を選択する。図19は中低周波数帯域における腫瘤についての帯域断層画像の選択を説明するための図である。
図19に示すように、中低周波数帯域MLfの帯域断層画像DMLjの画素P1,P4~P6,P11~P15においては、すべての帯域断層画像DMLjにおいて腫瘤が検出されていない。このため、腫瘤に関しては、選択部33は、画素P1,P4~P6,P11~P15については、いずれの帯域断層画像も選択しない。また、画素P2,P3においては、帯域断層画像DML4においてのみ腫瘤が検出されている。このため、選択部33は、画素P2,P3については帯域断層画像DML4を選択する。画素P7,P10においては、帯域断層画像DML3においてのみ腫瘤が検出されている。このため、選択部33は、画素P7,P10については帯域断層画像DML3を選択する。また、画素P8,P9においては、帯域断層画像DML2~DML4において腫瘤が検出されている。このため、選択部33は、画素P8,P9については、腫瘤が検出されたすべての帯域断層画像DML2~DML4を選択する。
一方、選択部33は、高周波数帯域Hfにおいては、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択する。図20は高周波数帯域における腫瘤についての帯域断層画像の選択を説明するための図である。
図20に示すように、高周波数帯域Hfの帯域断層画像DHjの画素P1,P4~P6,P11~P15においては、すべての帯域断層画像DHjにおいて腫瘤が検出されていない。このため、腫瘤に関しては、選択部33は、画素P1,P4~P6,P11~P15については、いずれの帯域断層画像も選択しない。また、画素P2,P3においては、帯域断層画像DH4においてのみ腫瘤が検出されている。このため、選択部33は、画素P2,P3については帯域断層画像DH4を選択する。画素P7,P10においては、帯域断層画像DH3においてのみ腫瘤が検出されている。このため、選択部33は、画素P7,P10については帯域断層画像DH3を選択する。また、画素P8,P9においては、帯域断層画像DH2~DH4において腫瘤が検出されている。ここで、帯域断層画像DH2~DH4において検出された腫瘤のうち、帯域断層画像DH3において検出された腫瘤が最も大きく、帯域断層画像DH2~DH4のうち帯域断層画像DH3が腫瘤を最もよく表すものとなる。このため、選択部33は、画素P8,P9については帯域断層画像DH3を選択する。なお、最も大きい腫瘤に代えて、関心構造検出部32が検出の際に導出した確率(尤度)が最も大きい腫瘤を含む帯域断層画像を選択するようにしてもよい。
次いで、スピキュラに関しての帯域断層画像の選択について説明する。スピキュラの構造は、高周波数帯域Hfの帯域断層画像DHjにのみ含まれる。このため、選択部33は、高周波数帯域Hfにおいてのみ、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、スピキュラを最もよく表す1つの帯域断層画像を選択する。図21は高周波数帯域におけるスピキュラについての帯域断層画像の選択を説明するための図である。図21に示すように、画素P1,P2,P7,P12~P15においては、すべての帯域断層画像DHjにおいてスピキュラが検出されていない。このため、スピキュラに関しては、選択部33は、画素P1,P2,P7,P12~P15については、いずれの帯域断層画像DHjも選択しない。また、画素P3,P4,P11においては、帯域断層画像DH4においてのみスピキュラが検出されている。このため、選択部33は、画素P3,P4,P11については帯域断層画像DH4を選択する。また、画素P5,P10においては、帯域断層画像DH4,DH5においてスピキュラが検出されている。ここで、帯域断層画像DH4,DH5において検出されたスピキュラのうち、帯域断層画像DH4において検出されたスピキュラが最も大きく、帯域断層画像DH4,DH5のうち帯域断層画像DH4がスピキュラを最もよく表すものとなる。このため、選択部33は、画素P5,P10については帯域断層画像DH4を選択する。なお、最も大きいスピキュラに代えて、関心構造検出部32が検出の際に導出した確率(尤度)が最も大きいスピキュラを含む断層画像を選択するようにしてもよい。
画素P6,P9においては、帯域断層画像DH5においてのみスピキュラが検出されている。このため、選択部33は、画素P6,P9については帯域断層画像DH5を選択する。また、画素P8においては、帯域断層画像DH3においてスピキュラが検出されている。このため、選択部33は、画素P8については帯域断層画像DH3を選択する。
次いで、石灰化に関しての断層画像の選択について説明する。石灰化の構造は、高周波数帯域Hfの帯域断層画像DHjにのみ含まれる。このため、選択部33は、高周波数帯域Hfにおいてのみ、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、石灰化を最もよく表す1つの帯域断層画像を選択する。図22は高周波数帯域における石灰化についての帯域断層画像の選択を説明するための図である。
図22に示すように、画素P1~P11,P13,P15においては、すべての帯域断層画像DHjにおいて石灰化が検出されていない。このため、石灰化に関しては、選択部33は、画素P1~P11,P13,P15については、いずれの帯域断層画像も選択しない。また、画素P12においては、帯域断層画像DH1においてのみ石灰化が検出されている。このため、選択部33は、画素P12については帯域断層画像DH1を選択する。画素P14においては、帯域断層画像DH6においてのみ石灰化が検出されている。このため、選択部33は、画素P14については帯域断層画像DH6を選択する。
第2の実施形態において、合成部34は、選択された帯域断層画像を用いて合成2次元画像CG0を生成する。具体的には、合成部34は、関心構造に対応する帯域断層画像の画素においては、選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して合成2次元画像を生成する。
図23は中低周波数帯域MLfにおける合成帯域2次元画像の生成を説明するための図である。図23に示すように、腫瘤が検出されていない画素P1,P4~P6,P11~P15については、合成部34は、すべての帯域断層画像DML1~DML6の画素値の加算平均値を導出し、加算平均値を中低周波数帯域MLfの合成帯域2次元画像CGML0の画素P1,P4~P6,P11~P15の画素値とする。この場合、すべての帯域断層画像が本開示の予め定められた断層画像となる。画素P2,P3については腫瘤が検出された帯域断層画像DML4が選択されているため、合成部34は、帯域断層画像DML4における画素P2,P3の画素値を合成帯域2次元画像CGML0の画素P2,P3の画素値とする。帯域断層画像DMLjの画素P7,P10においては、帯域断層画像DML3が選択されているため、合成部34は、帯域断層画像DML3の画素P7,P10の画素値を合成帯域2次元画像CGML0の画素P7,P10の画素値とする。帯域断層画像DMLjの画素P8,P9においては、帯域断層画像DML2~DML4が選択されているため、合成部34は、帯域断層画像DML2~DML4の画素P8,P9の画素値の加算値を合成帯域2次元画像CGML0の画素P8,P9の画素値とする。なお、加算値に代えて、重み付け加算値または重み付け平均値等を用いてもよい。この場合、帯域断層画像DML3の重みを帯域断層画像DML2,DML4よりも大きくすればよい。
図24は高周波数帯域Hfにおける合成帯域2次元画像の生成を説明するための図である。図24に示すように、腫瘤、スピキュラおよび石灰化のいずれの関心構造も検出されていない画素P1,P13,P15については、合成部34は、すべての帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を高周波数帯域Hfの合成帯域2次元画像CGH0の画素P1,P13,P15の画素値とする。画素P2については腫瘤が検出された帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P2の画素値を合成帯域2次元画像CGH0の画素P2の画素値とする。画素P3については、腫瘤およびスピキュラが検出された帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P3の画素値を合成帯域2次元画像CGH0の画素P3の画素値とする。画素P4,P5については、スピキュラが検出された帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P4,P5の画素値を合成帯域2次元画像CGH0の画素P4,P5の画素値とする。
画素P6については、スピキュラが検出された帯域断層画像DH5が選択されているため、合成部34は、帯域断層画像DH5における画素P6の画素値を合成帯域2次元画像CGH0の画素P6の画素値とする。画素P7については、腫瘤が検出された帯域断層画像DH3が選択されているため、合成部34は、帯域断層画像DH3における画素P7の画素値を合成帯域2次元画像CGH0の画素P7の画素値とする。画素P8については、腫瘤およびスピキュラが検出された帯域断層画像DH3が選択されているため、合成部34は、帯域断層画像DH3における画素P8の画素値を合成帯域2次元画像CGH0の画素P8の画素値とする。
画素P9については、腫瘤が検出された帯域断層画像DH3およびスピキュラが検出された帯域断層画像DH5が選択されている。本実施形態においては、帯域断層画像DHjの同一の画素において腫瘤、スピキュラおよび石灰化についてそれぞれ別の帯域断層画像が選択されている場合には、腫瘤、スピキュラおよび石灰化の順に高くなる優先度に基づいて決定された帯域断層画像の画素値を割り当てる。このため、合成部34は、合成帯域2次元画像CGH0の画素P9においては、スピキュラが検出された帯域断層画像DH5の画素P9の画素値をその画素値とする。
画素P10については、腫瘤が検出された帯域断層画像DH3およびスピキュラが検出された帯域断層画像DH4が選択されている。このため、合成部34は、合成帯域2次元画像CGH0の画素P10においては、スピキュラが検出された帯域断層画像DH4の画素P10の画素値をその画素値とする。
画素P11については、スピキュラが検出された帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P11の画素値を合成帯域2次元画像CGH0の画素P11の画素値とする。画素P12については、石灰化が検出された帯域断層画像DH1が選択されているため、合成部34は、帯域断層画像DH1における画素P12の画素値を合成帯域2次元画像CGH0の画素P12の画素値とする。画素P14については、石灰化が検出された帯域断層画像DH6が選択されているため、合成部34は、帯域断層画像DH6における画素P14の画素値を合成帯域2次元画像CGH0の画素P14の画素値とする。
そして、合成部34は、中低周波数帯域MLfの合成帯域2次元画像CGML0と高周波数帯域のHfの合成帯域2次元画像CGH0とを周波数合成することにより、合成帯域2次元画像CGを生成する。周波数合成の手法としては、周波数分解部36が行った周波数分解に対応する手法を用いればよい。例えば、ウェーブレット変換により周波数分解を行った場合には、逆ウェーブレット変換により周波数合成を行えばよい。
次いで、第2の実施形態において行われる処理について説明する。図25は、第2の実施形態において行われる処理を示すフローチャートである。なお、複数の断層画像Djは予め取得されてストレージ23に保存されているものとする。操作者による処理開始の指示を入力デバイス25が受け付けると処理が開始され、関心構造検出部32が、複数の断層画像Djから関心構造を検出する(ステップST11)。次いで、周波数分解部36が、複数の断層画像Djのそれぞれを周波数分解することにより、複数の断層画像Djのそれぞれについての、複数の周波数帯域毎の周波数成分を表す複数の帯域断層画像を導出する(ステップST12)。
次いで、選択部33が、複数の帯域断層画像における対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択する(ステップST13)。
そして、合成部34が、選択された帯域断層画像を用いて合成帯域2次元画像CGML0,CGH0を生成し(ステップST14)、合成帯域2次元画像CGML0,CGH0を周波数合成することにより合成2次元画像CG0を生成する(ステップST15)。続いて、表示制御部35が合成2次元画像CG0をディスプレイ24に表示し(ステップST16)、処理を終了する。
このように、第2の実施形態においては、中低周波数帯域MLfにおい、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、関心構造を含むすべての帯域断層画像を選択するようにしている。このため、1つの関心構造が帯域断層画像が並ぶ方向、すなわち***Mの深さ方向に広がっている場合であっても、選択された複数の帯域断層画像を用いて合成2次元画像CG0を生成することにより、合成2次元画像CG0において、関心構造の深さ方向の状態を反映させることができる。
次いで、本開示の第3の実施形態について説明する。なお、第3の実施形態による画像処理装置の構成は、第2の実施形態による画像処理装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第3の実施形態においては、合成部34が、複数の断層画像Djを合成することにより第1の合成2次元画像CG1を生成する。そして、合成部34が、関心構造のそれぞれについて、関心構造に対応する帯域断層画像の画素においては、選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して、関心構造のそれぞれについての第2の合成2次元画像CG21,CG22,CG23を生成する。さらに、合成部34は、関心構造のそれぞれについての第2の合成2次元画像CG21,CG22,CG23を第1の合成2次元画像CG1に合成することにより、合成2次元画像CG0を生成する。
第3の実施形態においては、まず合成部34は、複数の断層画像Djを合成することにより第1の合成2次元画像CG1を生成する。具体的には、複数の断層画像Djにおいて対応する画素の画素値を例えば加算平均することにより、第1の合成2次元画像CG1を生成する。
また、第3の実施形態においては、合成部34は、関心構造の種類および周波数帯域に応じて第2の合成2次元画像CG21,CG22,CG23を生成する。すなわち、腫瘤についての第2の合成2次元画像CG21、スピキュラについての第2の合成2次元画像CG22および石灰化についての第2の合成2次元画像CG23をそれぞれ生成する。まず、腫瘤についての第2の合成2次元画像CG21の生成について説明する。なお、腫瘤、スピキュラおよび石灰化のそれぞれについての周波数帯域毎の帯域断層画像の選択は、第2の実施形態と同様に選択部33が行う。
第3の実施形態においては、合成部34は、腫瘤が検出された画素においてのみ、選択された帯域断層画像のみを用いて第2の合成帯域2次元画像CGML21を生成する。まず中低周波数帯域MLfにおける第2の合成帯域2次元画像CGML21の生成について説明する。なお、腫瘤に関して、中低周波数帯域MLfにおいては、帯域断層画像DML2~DML4が選択されている。図26は腫瘤についての中低周波数帯域における第2の合成帯域2次元画像の生成を説明するための図である。
まず、いずれの帯域断層画像DMLjにおいても腫瘤が検出されていない画素P1,P4~P6,P11~P15については、合成部34は、帯域断層画像DML1~DML6の画素値の加算平均値を導出し、加算平均値を中低周波数帯域MLfの第2の合成帯域2次元画像CGML21の画素P1,P4~P6,P11~P15の画素値とする。画素P2,P3については帯域断層画像DML4が選択されているため、合成部34は、帯域断層画像DML4における画素P2,P3の画素値を第2の合成帯域2次元画像CGML21の画素P2,P3の画素値とする。帯域断層画像DMLjの画素P7,P10においては、帯域断層画像DML3が選択されているため、合成部34は、帯域断層画像DML3の画素P7,P10の画素値を第2の合成帯域2次元画像CGML21の画素P7,P10の画素値とする。帯域断層画像DMLjの画素P8,P9においては、帯域断層画像DML2~DML4が選択されているため、合成部34は、帯域断層画像DML2~DML4の画素P8,P9の画素値の加算値を、第2の合成帯域2次元画像CGML21の画素P8,P9の画素値とする。なお、加算値に代えて、重み付け加算値または重み付け平均値等を用いてもよい。この場合、帯域断層画像DML3の重みを帯域断層画像DML2,DML4よりも大きくすればよい。
次に、腫瘤に関しての高周波数帯域Hfにおける第2の合成帯域2次元画像CGH21の生成について説明する。図27は腫瘤についての高周波数帯域における第2の合成帯域2次元画像の生成を説明するための図である。図27に示すように、いずれの帯域断層画像DHjにおいても腫瘤が検出されていない画素P1,P4~P6,P11~P15については、合成部34は、帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を高周波数帯域Hfの第2の合成帯域2次元画像CGH21の画素P1,P4~P6,P11~P15の画素値とする。画素P2,P3については帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P2,P3の画素値を第2の合成帯域2次元画像CGH21の画素P2,P3の画素値とする。帯域断層画像DHjの画素P7~P10においては、帯域断層画像DH3が選択されているため、合成部34は、帯域断層画像DH3の画素P7~P10の画素値を第2の合成帯域2次元画像CGH21の画素P7~P10の画素値とする。
そして、合成部34は、腫瘤に関しての中低周波数帯域MLfの第2の合成帯域2次元画像CGML21および高周波数帯域Hfの第2の合成帯域2次元画像CGH2を周波数合成することにより、腫瘤に関しての第2の合成2次元画像CG21を生成する。
次に、スピキュラについての第2の合成2次元画像CG22の生成について説明する。第3の実施形態においては、スピキュラに関しても、合成部34は、スピキュラが検出された画素においてのみ、選択された帯域断層画像のみを用いて第2の合成帯域2次元画像CG22を生成する。なお、スピキュラの構造は高周波数帯域Hfの帯域断層画像DHjのみ含まれる。このため、合成部34は、中低周波数帯域MLfの帯域断層画像DMLjに関しては、すべての画素P1~P15の画素値の加算平均値を中低周波数帯域MLfの第2の合成帯域2次元画像CGML22の画素P1~P15の画素値とする。
図28はスピキュラについての高周波数帯域における第2の合成帯域2次元画像の生成を説明するための図である。図28に示すように、いずれの帯域断層画像DHjにおいてもスピキュラが検出されていない画素P1,P2,P7,P12~P15については、合成部34は、帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を高周波数帯域Hfについての第2の合成帯域2次元画像CGH22の画素P1,P2,P7,P12~P15の画素値とする。画素P3~P5,P10,P11においては帯域断層画像DH4が選択されているため、合成部34は、帯域断層画像DH4における画素P3~P5,P10,P11の画素値を第2の合成帯域2次元画像CGH22の画素P3~P5,P10,P11の画素値とする。画素P6,P9においては帯域断層画像DH5が選択されているため、合成部34は、帯域断層画像DH5における画素P6,P9の画素値を第2の合成帯域2次元画像CGH22の画素P6,P9の画素値とする。画素P8においては帯域断層画像DH3が選択されているため、合成部34は、帯域断層画像DH3における画素P8の画素値を第2の合成帯域2次元画像CGH22の画素P8の画素値とする。
そして、合成部34は、スピキュラに関しての中低周波数帯域MLfの第2の合成帯域2次元画像CGML22および高周波数帯域Hfの第2の合成帯域2次元画像CGH22を周波数合成することにより、スピキュラに関しての第2の合成2次元画像CG22を生成する。
次に、石灰化についての第2の合成2次元画像CG23の生成について説明する。第3の実施形態においては、石灰化に関しても、合成部34は、石灰化が検出された画素においてのみ、選択された帯域断層画像のみを用いて第2の合成帯域2次元画像CG23を生成する。なお、石灰化の構造は高周波数帯域Hfの帯域断層画像DHjのみ含まれる。このため、合成部34は、中低周波数帯域MLfの帯域断層画像DMLjに関しては、すべての画素P1~P15の画素値の加算平均値を中低周波数帯域MLfの第2の合成帯域2次元画像CGML23の画素P1~P15の画素値とする。
図29は石灰化についての高周波数帯域における第2の合成帯域2次元画像の生成を説明するための図である。図29に示すように、いずれの帯域断層画像DHjにおいても石灰化が検出されていない画素P1~P11,P13,P15については、合成部34は、帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を高周波数帯域Hfの第2の合成帯域2次元画像CGH23の画素P1~P11,P13,P15の画素値とする。画素P12においては帯域断層画像DH1が選択されているため、合成部34は、高周波数帯域Hfについての帯域断層画像DH1における画素P12の画素値を第2の合成帯域2次元画像CGH23の画素P12の画素値とする。画素P14においては帯域断層画像DH6が選択されているため、合成部34は、帯域断層画像DH6における画素P12の画素値を第2の合成帯域2次元画像CGH23の画素P12の画素値とする。
そして、合成部34は、石灰化に関しての中低周波数帯域MLfの第2の合成帯域2次元画像CGML23および高周波数帯域Hfの第2の合成帯域2次元画像CGH23を周波数合成することにより、石灰化に関しての第2の合成2次元画像CG23を生成する。
合成部34は、上記のように生成した腫瘤についての第2の合成2次元画像CG21、スピキュラについての第2の合成2次元画像CG22および石灰化についての第2の合成2次元画像CG23を、第1の合成2次元画像CG1に順次合成することにより、合成2次元画像CG0を生成する。図30は第3の実施形態における合成2次元画像CG0の生成を説明するための図である。図30に示すように、合成部34は、まず、第1の合成2次元画像CG1における腫瘤の領域を、腫瘤についての第2の合成2次元画像CG21における腫瘤の領域と置換することにより、第1の合成2次元画像CG1に対して腫瘤についての第2の合成2次元画像CG21を合成する。これにより、中間合成2次元画像CG11が生成される。
次いで、合成部34は、中間合成2次元画像CG11におけるスピキュラの領域を、スピキュラについての第2の合成2次元画像CG22におけるスピキュラの領域と置換することにより、中間合成2次元画像CG11に対してスピキュラについての第2の合成2次元画像CG22を合成する。これにより、中間合成2次元画像CG12が生成される。
さらに、合成部34は、中間合成2次元画像CG12における石灰化の領域を、石灰化についての第2の合成2次元画像CG23における石灰化の領域と置換することにより、中間合成2次元画像CG12に対して石灰化についての第2の合成2次元画像CG23を合成する。これにより、第3の実施形態による合成2次元画像CG0が生成される。
次いで、第3の実施形態において行われる処理について説明する。図31は第3の実施形態において行われる処理を示すフローチャートである。なお、複数の断層画像Djは予め取得されてストレージ23に保存されているものとする。操作者による処理開始の指示を入力デバイス25が受け付けると処理が開始され、関心構造検出部32が、複数の断層画像Djから関心構造を検出する(ステップST21)。次いで、周波数分解部36が、複数の断層画像Djのそれぞれを周波数分解することにより、複数の断層画像Djのそれぞれについての、複数の周波数帯域毎の周波数成分を表す複数の帯域断層画像を導出する(ステップST22)。
次いで、選択部33が、複数の帯域断層画像における対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択する(ステップST23)。
次いで、合成部34が、複数の断層画像Djから第1の合成2次元画像CG1を生成する(ステップST24)。なお、ステップST24の処理は、ステップST21~ST23の各処理の前に行ってもよく、これらの処理と並列に行ってもよい。そして、合成部34が、腫瘤、スピキュラおよび石灰化のそれぞれについての第2の合成帯域2次元画像CG21,CG22,CG23を生成する(ステップST25)。さらに、合成部34は、腫瘤、スピキュラおよび石灰化のそれぞれについての第2の合成帯域2次元画像CG21,CG22,CG23を順次第1の合成2次元画像CG1に合成することにより合成2次元画像CG0を生成する(ステップST26)。続いて、表示制御部35が合成2次元画像CG0をディスプレイ24に表示し(ステップST27)、処理を終了する。
次いで、本開示の第4の実施形態について説明する。なお、第4の実施形態による画像処理装置の構成は、第2の実施形態による画像処理装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第4の実施形態においては、合成部34が、複数の断層画像Djを合成することにより第1の合成2次元画像CG1を生成する。そして、合成部34が、腫瘤、スピキュラおよび石灰化のうちの腫瘤およびスピキュラに対応する合成2次元画像CG0の画素においては、選択された帯域断層画像を用いて周波数帯域毎に合成帯域2次元画像を生成し、合成帯域2次元画像を周波数合成して第2の合成2次元画像CG21,CG22を生成する。一方、合成部34は、第1の合成2次元画像CG1から石灰化の領域を石灰化領域として抽出する。さらに、合成部34は、腫瘤およびスピキュラのそれぞれについての第2の合成2次元画像CG21,G22を第1の合成2次元画像CG1に合成し、さらに石灰化領域を合成することにより、合成2次元画像CG0を生成する。
なお、第4の実施形態においては、第1の合成2次元画像CG1の生成、腫瘤についての第2の合成帯域2次元画像CG21の生成、およびスピキュラについての第2の合成2次元画像CG22の生成は、合成部34が第2の実施形態と同様に行う。
図32は、第1の合成2次元画像CG1からの石灰化領域の抽出を説明するための図である。合成部34は、関心構造検出部32が断層画像Djのそれぞれから検出した石灰化の領域に対応する領域を、第1の合成2次元画像CG1から石灰化領域42A,42Bとして抽出する。
図33は第4の実施形態における合成2次元画像CG0の生成を説明するための図である。図33に示すように、合成部34は、まず、第1の合成2次元画像CG1における腫瘤の領域を、腫瘤についての第2の合成2次元画像CG21における腫瘤の領域と置換することにより、第1の合成2次元画像CG1に対して腫瘤についての第2の合成2次元画像CG21を合成する。これにより、中間合成2次元画像CG11が生成される。
次いで、合成部34は、中間合成2次元画像CG11におけるスピキュラの領域を、スピキュラについての第2の合成2次元画像CG22におけるスピキュラの領域と置換することにより、中間合成2次元画像CG11に対してスピキュラについての第2の合成2次元画像CG22を合成する。これにより、中間合成2次元画像CG12が生成される。
さらに、第4の実施形態においては、合成部34は、中間合成2次元画像CG12の石灰化の領域を石灰化領域42A、42Bと置換することにより、中間合成2次元画像CG12に対して石灰化領域42A,42Bを合成する。これにより、第4の実施形態による合成2次元画像CG0が生成される。
次いで、第4の実施形態において行われる処理について説明する。図34は第4の実施形態において行われる処理を示すフローチャートである。なお、複数の断層画像Djは予め取得されてストレージ23に保存されているものとする。操作者による処理開始の指示を入力デバイス25が受け付けると処理が開始され、関心構造検出部32が、複数の断層画像Djから関心構造を検出する(ステップST31)。次いで、周波数分解部36が、複数の断層画像Djのそれぞれを周波数分解することにより、複数の断層画像Djのそれぞれについての、複数の周波数帯域毎の周波数成分を表す複数の帯域断層画像を導出する(ステップST32)。
次いで、選択部33が、複数の帯域断層画像における対応する画素毎に、関心構造が検出された断層画像に対応する帯域断層画像を、関心構造の種類および周波数帯域に応じて複数の帯域断層画像から選択する(ステップST33)。
次いで、合成部34が、複数の断層画像Djから第1の合成2次元画像CG1を生成する(ステップST34)。なお、ステップST34の処理は、ステップST31~ST33の各処理の前に行ってもよく、これらの処理と並列に行ってもよい。そして、合成部34が、腫瘤およびスピキュラのそれぞれについての第2の合成帯域2次元画像CG21,CG22を生成する(ステップST35)。また、合成部34は、第1の合成2次元画像CG1から石灰化領域42A,42Bを抽出する(ステップST36)。なお、ステップST36の処理は、第1の合成2次元画像CG1が生成された以降であれば、いずれの処理の前に行ってもよく、いずれの処理と並列に行ってもよい。
続いて、合成部34は、腫瘤およびスピキュラおよび石灰化のそれぞれについての第2の合成帯域2次元画像CG21,CG22を順次第1の合成2次元画像CG1に合成することにより中間合成2次元画像CG12を生成する(ステップST37)。そして、合成部34は、中間合成2次元画像CG12に石灰化領域42A,42Bを合成することにより合成2次元画像CG0を生成する(ステップST38)。さらに、表示制御部35が合成2次元画像CG0をディスプレイ24に表示し(ステップST39)、処理を終了する。
なお、上記第1の実施形態においては、腫瘤に関して、複数の断層画像Djにおける合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの断層画像を選択しているが、これに限定されるものではない。複数の断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を含むすべての断層画像を選択するようにしてもよい。以下、これを第5の実施形態として説明する。まず、上記第1の実施形態において参照した図9を用いて、第5の実施形態における断層画像の選択について説明する。
図9に示すように、画素P1,P4~P6,P11~P15においては、すべての断層画像Djにおいて腫瘤が検出されていない。このため、腫瘤に関しては、選択部33は、画素P1,P4~P6,P11~P15については、いずれの断層画像も選択しない。また、画素P2,P3においては、断層画像D4においてのみ腫瘤が検出されている。このため、選択部33は、画素P2,P3については断層画像D4を選択する。画素P7,P10においては、断層画像D3においてのみ腫瘤が検出されている。このため、選択部33は、画素P7,P10については断層画像D3を選択する。また、画素P8,P9においては、断層画像D2~D4において腫瘤が検出されている。このため、第5の実施形態においては、選択部33は、画素P8,P9については、腫瘤が検出されたすべての断層画像D2~D4を選択する。
また、上記第1の実施形態においては、スピキュラに関して、複数の断層画像Djにおける合成2次元画像CG0の画素と対応する画素毎に、スピキュラを最もよく表す1つの断層画像を選択し、かつ隣接する断層画像において繋がっているスピキュラを選択しているが、これに限定されるものではない。第5の実施形態においては、複数の断層画像Djにおける合成2次元画像CG0の画素と対応する画素毎に、スピキュラを最もよく表す1つの断層画像のみを選択するようにしてもよい。
まず、第1の実施形態において参照した図10を用いて、第5の実施形態におけるスピキュラに関する断層画像の選択について説明する。図10に示すように、画素P1,P2,P7,P12~P15においては、すべての断層画像Djにおいてスピキュラが検出されていない。このため、スピキュラに関しては、選択部33は、画素P1,P2,P7,P12~P15については、いずれの断層画像も選択しない。また、画素P3,P4,P11においては、断層画像D4においてのみスピキュラが検出されている。このため、選択部33は、画素P3,P4,P11については断層画像D4を選択する。
また、画素P5,P10においては、断層画像D4,D5においてスピキュラが検出されている。画素P5,P10のスピキュラは断層画像D4,D5間において繋がっている。ここで、断層画像D4,D5において検出されたスピキュラのうち、断層画像D4において検出されたスピキュラが最も大きく、断層画像D4,D5のうち断層画像D4がスピキュラを最もよく表すものとなる。このため、選択部33は、画素P5,P10については断層画像D4を選択する。なお、最も大きいスピキュラに代えて、関心構造検出部32が検出の際に導出した確率(尤度)が最も大きいスピキュラを含む断層画像を選択するようにしてもよい。
画素P6,P9においては、断層画像D5においてのみスピキュラが検出されている。断層画像D5の画素P6,P9において検出されたスピキュラは、断層画像D4の画素P5,P10において検出されたスピキュラと繋がっている。このため、第5の実施形態においては、画素P6,P9については、いずれの断層画像も選択しない。また、画素P8においては、断層画像D3においてスピキュラが検出されている。断層画像D3の画素P8において検出されたスピキュラは、いずれの断層画像において検出されたスピキュラとも繋がっていない。このため、選択部33は、画素P8については断層画像D3を選択する。
第5の実施形態においては、合成部34は以下のようにして合成2次元画像CG0を生成する。図35は第5の実施形態における合成2次元画像の生成を説明するための図である。断層画像D1~D6において、腫瘤、スピキュラおよび石灰化のいずれの関心構造も検出されていない画素P1,P13,P15については、合成部34は、断層画像D1~D6の画素値の加算平均値を導出し、加算平均値を合成2次元画像CG0の画素P1,P13,P15の画素値とする。この場合、すべての断層画像が本開示の予め定められた断層画像に対応する。
画素P2については、腫瘤が検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P2の画素値を合成2次元画像CG0の画素P2の画素値とする。画素P3については、腫瘤およびスピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P3の画素値を合成2次元画像CG0の画素P3の画素値とする。画素P4,P5については、スピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P4,P5の画素値を合成2次元画像CG0の画素P4,P5の画素値とする。
画素P6については、断層画像D5においてスピキュラが検出されているものの、第5の実施形態において、断層画像D5は選択されない。このため、合成部34は、画素P6については、断層画像D1~D6の画素値の加算平均値を導出し、加算平均値を合成2次元画像CG0の画素P6の画素値とする。画素P7については、腫瘤が検出された断層画像D3が選択されているため、合成部34は、断層画像D3における画素P7の画素値を合成2次元画像CG0の画素P7の画素値とする。画素P8については、腫瘤が検出された断層画像D2~D4およびスピキュラが検出された断層画像D3が選択されている。この場合、第1の実施形態と同様に、第5の実施形態においても、石灰化、スピキュラおよび腫瘤の順となる優先度に基づいて決定された断層画像の画素値を割り当てる。このため、合成部34は、合成2次元画像CG0の画素P8においては、スピキュラが検出された断層画像D3における画素P8の画素値をその画素値とする。
画素P9については、断層画像D5においてスピキュラが検出されているものの、第5の実施形態において、断層画像D5は選択されず、腫瘤が検出された断層画像D2~D4が選択されている。合成部34は、断層画像D2~D4の画素P9の画素値の加算値を、合成2次元画像CG0の画素P9の画素値とする。なお、加算値に代えて、重み付け加算値または重み付け平均値等を用いてもよい。この場合、断層画像D3の重みを断層画像D2,D4よりも大きくすればよい。
画素P10については、腫瘤が検出された断層画像D3およびスピキュラが検出された断層画像D4が選択されている。このため、合成部34は、合成2次元画像CG0の画素P10においては、スピキュラが検出された断層画像D4の画素P10の画素値をその画素値とする。
画素P11については、スピキュラが検出された断層画像D4が選択されているため、合成部34は、断層画像D4における画素P11の画素値を合成2次元画像CG0の画素P11の画素値とする。画素P12については、石灰化が検出された断層画像D1が選択されているため、合成部34は、断層画像D1における画素P12の画素値を合成2次元画像CG0の画素P12の画素値とする。画素P14については、石灰化が検出された断層画像D6が選択されているため、合成部34は、断層画像D6における画素P14の画素値を合成2次元画像CG0の画素P14の画素値とする。
以上のように、第5の実施形態において、合成部34は、合成2次元画像CG0において関心構造が検出された画素の画素値を、選択された断層画像の画素値とすることにより、合成2次元画像CG0を生成する。
なお、上記第5の実施形態においては、第1の実施形態と同様にスピキュラに関する断層画像を選択するようにしてもよい。この場合、画素P6,P9において断層画像D5が選択される。このため、合成2次元画像CG0における画素P6,P9の画素値は断層画像D5における画素P6,P9の画素値となる。
また、上記第2から第4の実施形態においては、腫瘤に関して、中低周波数帯域MLfにおいては、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を含むすべての帯域断層画像を選択している。また、高周波数帯域Hfにおいては、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択している。しかしながら、帯域断層画像の選択は、これに限定されるものではない。腫瘤に関して、中低周波数帯域MLfにおいてのみ、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を含むすべての帯域断層画像を選択するようにしてもよい。以下、これを第6の実施形態として説明する。
第6の実施形態のように帯域断層画像を選択して上記第2の実施形態の処理を行う場合、合成部34は、第2の実施形態と同様に中低周波数帯域MLfの合成帯域2次元画像CGML0を生成する。一方、第6の実施形態においては、腫瘤に関して、高周波数帯Hfにおいては帯域断層画像が選択されないこととなる。このため、図24に示す画素P2,P7においても、帯域断層画像DH2,DH3-1は選択されないこととなる。したがって、第6の実施形態において第2の実施形態の処理を行うに際し、画素P2,P7については、合成部34は、図36に示すように、画素P1,P13,P15と同様に、すべての帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を高周波数帯域Hfの合成帯域2次元画像CGH0の画素P2,P7の画素値とする。
一方、第6の実施形態のように帯域断層画像を選択して上記第3の実施形態の処理を行う場合、合成部34は、第3の実施形態と同様に、腫瘤についての中低周波数帯域MLfの合成帯域2次元画像CGML21を生成する。一方、第6の実施形態においては、腫瘤に関して、高周波数帯Hfにおいては帯域断層画像が選択されないこととなる。このため、図27に示す画素P2,P7においても、帯域断層画像DH2,DH3-1は選択されないこととなる。したがって、第6の実施形態において第3の実施形態の処理を行うに際し、画素P2,P7については、合成部34は、図37に示すように、画素P1,P4~P6,P11~P15と同様に、すべての帯域断層画像DH1~DH6の画素値の加算平均値を導出し、加算平均値を、腫瘤についての高周波数帯域Hfの第2の合成帯域2次元画像CGH21の画素P2,P7の画素値とする。
また、腫瘤に関して、高周波数帯域Hfおよび中低周波数帯域MLfの双方において、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択するようにしてもよい。以下、これを第7の実施形態として説明する。
第7の実施形態においては、選択部33は、腫瘤に関して、中低周波数帯域MLfにおいては、合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択する。具体的には、選択部33は、図19に示す画素位置P2,P3において帯域断層画像DML4を選択し、画素P7~P10において帯域断層画像DML3を選択する。なお、第7の実施形態においては、画素P8,P9においては、図19に示す帯域断層画像DML2,DML4は選択されないこととなる。高周波数帯域Hfにおいては、上記第2から第4の実施形態と同様に帯域断層画像を選択する。
第7の実施形態のように帯域断層画像を選択して上記第2の実施形態の処理を行う場合、合成部34は、第2の実施形態と同様に高周波数帯域Hfの合成帯域2次元画像CGH0を生成する。一方、第7の実施形態においては、腫瘤に関して、中低周波数帯域MLfにおいても、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像が選択される。このため、図23に示す画素P8,P9においても、1つの帯域断層画像DML3のみが選択される。したがって、第7の実施形態において第2の実施形態の処理を行うに際し、画素P8,P9については、合成部34は、図38に示すように、帯域断層画像DML3の画素P8,P9の画素値を中低周波数帯域MLfの合成帯域2次元画像CGML0の画素P8,P9の画素値とする。
一方、第7の実施形態のように帯域断層画像を選択して上記第3の実施形態の処理を行う場合、合成部34は、第3の実施形態と同様に腫瘤についての高周波数帯域Hfの第2の合成帯域2次元画像CGH21を生成する。一方、第7の実施形態においては、中低周波数帯域MLfにおいても、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像が選択される。このため、図26に示す画素P8,P9においても、1つの帯域断層画像DML3のみが選択される。したがって、第7の実施形態において第3の実施形態の処理を行うに際し、画素P8,P9については、合成部34は、図39に示すように、帯域断層画像DML3の画素P8,P9の画素値を、腫瘤についての中低周波数帯域MLfの合成帯域2次元画像CGML21の画素P8,P9の画素値とする。
また、腫瘤に関して、中低周波数帯域MLfにおいてのみ、複数の帯域断層画像における合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択するようにしてもよい。以下、これを第8の実施形態として説明する。
第8の実施形態においては、選択部33は、腫瘤に関して、中低周波数帯域MLfにおいてのみ、合成2次元画像CG0の画素と対応する画素毎に、腫瘤を最もよく表す1つの帯域断層画像を選択する。具体的には、選択部33は、図19に示す画素位置P2,P3において帯域断層画像DML4を選択し、画素P7~P10において帯域断層画像DML3を選択する。一方、第8の実施形態においては、腫瘤に関して、高周波数帯Hfにおいては帯域断層画像が選択されないこととなる。
第8の実施形態のように帯域断層画像を選択して上記第2の実施形態の処理を行う場合、合成部34は、上記第6の実施形態と同様に高周波数帯域Hfの合成帯域2次元画像CGH0を生成する。一方、中低周波数帯域MLfにおいては、合成部34は、上記第7の実施形態と同様に、中低周波数帯域MLfの合成帯域2次元画像CGML0を生成する。
一方、第8の実施形態のように帯域断層画像を選択して上記第3の実施形態の処理を行う場合、合成部34は、上記第6の実施形態と同様に、腫瘤についての高周波数帯域Hfの第2の合成帯域2次元画像CGH21を生成する。一方、中低周波数帯域MLfにおいては、合成部34は、上記第7の実施形態と同様に、腫瘤についての中低周波数帯域MLfの合成帯域2次元画像CGML21を生成する。
また、上記各実施形態においては、関心構造が検出されていない画素については、断層画像または帯域断層画像から合成2次元画像または合成帯域2次元画像を生成する際に、断層画像または帯域断層画像の対応する画素の加算平均値をその画素値としているが、これに限定されるものではない。また、上記第3および第4の実施形態において、第1の合成2次元画像CG1を生成する際にも、断層画像Djの対応する画素の画素値の加算平均値をその画素値としているが、これに限定されるものではない。また、上記第3および第4の実施形態において、スピキュラおよび石灰化についての中低周波数帯域MLfの第2の合成2次元画像CGML22を生成する際にも、帯域断層画像DMLjの対応する画素の加算平均値をその画素値としているが、これに限定されるものではない。重み付け平均値または中央値等を画素値とする等の公知の他の技術を適用することができる。また、各断層画像または各帯域断層画像の対応する画素における最小値を用いる最小値投影法または最大値を用いる最大値投影法を用いてもよい。この場合、最小値または最大値となる画素を有する帯域断層画像または断層画像が、本開示の予め定められた断層画像となる。
また、関心構造が検出されていない画素について、各帯域断層画像または各断層画像の対応する画素の平均値を導出し、平均値との差が予め定められた設定値よりも小さい画素を、ノイズの影響が大きいノイズ画素と見なし、ノイズ画素を除外して合成帯域2次元画像または合成2次元画像の画素値を導出してもよい。また、各帯域断層画像または各断層画像の対応する画素について、その画素を含む予め定められた領域内の画素値の分散値を導出し、分散値が予め定められた設定値よりも小さい画素をノイズ画素と見なし、ノイズ画素を除外して合成帯域2次元画像または合成2次元画像の画素値を導出してもよい。この場合、ノイズ画素でない画素を有する帯域断層画像または断層画像が、本開示の予め定められた断層画像となる。また、各帯域断層画像または各断層画像に含まれる構造物のエッジを検出する処理を行い、関心構造が検出されていない画素について、エッジを含む画素の画素値を合成帯域2次元画像または合成2次元画像の画素値としてもよい。この場合、エッジを含む画素を有する帯域断層画像または断層画像が、本開示の予め定められた断層画像となる。
また、上記各実施形態においては、腫瘤、スピキュラおよび石灰化のすべての関心構造を検出しているが、これに限定されるものではない。腫瘤、スピキュラおよび石灰化のうちの少なくとも1種類の関心構造を検出する場合であっても、本開示の技術を適用できる。なお、1種類の関心構造のみが検出された場合、帯域断層画像の選択は、周波数帯域にのみに応じて行えばよい。
また、上記実施形態における放射線は、とくに限定されるものではなく、X線の他、α線またはγ線等を適用することができる。
また、上記実施形態において、例えば、画像取得部31、関心構造検出部32、選択部33、合成部34、表示制御部35および周波数分解部36といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 マンモグラフィ撮影装置
2 コンソール
3 画像保存システム
4,4A 画像処理装置
11 回転軸
12 アーム部
13 撮影台
14 放射線照射部
15 放射線検出器
15A 検出面
16 放射線源
17 圧迫板
21 CPU
22 画像処理プログラム
23 ストレージ
24 ディスプレイ
25 入力デバイス
26 メモリ
27 ネットワークI/F
28 バス
31 画像取得部
32 関心構造検出部
33 選択部
34 合成部
35 表示制御部
36 周波数分解部
40 指標
42A,42B 石灰化領域
50 表示画面
100 放射線撮影システム
CG0 合成2次元画像
CG1 第1の合成2次元画像
CG11,CG12 中間合成2次元画像
CGML0 中低周波数帯域の合成帯域2次元画像
CGML21 腫瘤についての中低周波数帯域の第2の合成帯域2次元画像
CGH0 高周波数帯域の合成帯域2次元画像
CGH21 腫瘤についての高周波数帯域の第2の合成帯域2次元画像
CGH22 スピキュラについての高周波数帯域の第2の合成帯域2次元画像
CGH23 石灰化についての高周波数帯域の第2の合成帯域2次元画像
Dj(j=1~m)、Dj 断層画像
DMLj 中低周波数帯域の帯域断層画像
DHj 高周波数帯域の帯域断層画像
Gi(i=1~n) 投影画像
Hf 高周波数帯域
K13,K21,K31,K32,K41a,K41b,K42,K52,K63 関心構造
M ***
MLf 中低周波数帯域
P1~P15,P100~P102 画素
R1~R3 検出結果
Si(i=1~n) 線源位置
Sc 基準線源位置
X0 光軸
2 コンソール
3 画像保存システム
4,4A 画像処理装置
11 回転軸
12 アーム部
13 撮影台
14 放射線照射部
15 放射線検出器
15A 検出面
16 放射線源
17 圧迫板
21 CPU
22 画像処理プログラム
23 ストレージ
24 ディスプレイ
25 入力デバイス
26 メモリ
27 ネットワークI/F
28 バス
31 画像取得部
32 関心構造検出部
33 選択部
34 合成部
35 表示制御部
36 周波数分解部
40 指標
42A,42B 石灰化領域
50 表示画面
100 放射線撮影システム
CG0 合成2次元画像
CG1 第1の合成2次元画像
CG11,CG12 中間合成2次元画像
CGML0 中低周波数帯域の合成帯域2次元画像
CGML21 腫瘤についての中低周波数帯域の第2の合成帯域2次元画像
CGH0 高周波数帯域の合成帯域2次元画像
CGH21 腫瘤についての高周波数帯域の第2の合成帯域2次元画像
CGH22 スピキュラについての高周波数帯域の第2の合成帯域2次元画像
CGH23 石灰化についての高周波数帯域の第2の合成帯域2次元画像
Dj(j=1~m)、Dj 断層画像
DMLj 中低周波数帯域の帯域断層画像
DHj 高周波数帯域の帯域断層画像
Gi(i=1~n) 投影画像
Hf 高周波数帯域
K13,K21,K31,K32,K41a,K41b,K42,K52,K63 関心構造
M ***
MLf 中低周波数帯域
P1~P15,P100~P102 画素
R1~R3 検出結果
Si(i=1~n) 線源位置
Sc 基準線源位置
X0 光軸
Claims (31)
- 少なくとも1つのプロセッサを備え、
前記プロセッサは、
被写体の複数の断層面を表す複数の断層画像から関心構造を検出し、
前記関心構造が検出された領域においては、前記関心構造の種類に応じて前記複数の断層画像から断層画像を選択し、
前記関心構造が検出された領域においては前記選択された断層画像を用いて、前記関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成するように構成される画像処理装置。 - 前記関心構造は腫瘤、スピキュラおよび石灰化の少なくとも1つである請求項1に記載の画像処理装置。
- 前記プロセッサは、前記関心構造が腫瘤の場合、前記複数の断層画像における前記合成2次元画像の画素と対応する画素毎に、前記腫瘤を最もよく表す1つの断層画像を選択するように構成される請求項2に記載の画像処理装置。
- 前記腫瘤を最もよく表す1つの断層画像は、前記腫瘤が最も大きい断層画像または前記腫瘤を検出した際の尤度が最も大きい断層画像である請求項3に記載の画像処理装置。
- 前記プロセッサは、前記関心構造が腫瘤の場合、前記複数の断層画像における前記合成2次元画像の画素と対応する画素毎に、前記腫瘤を含むすべての前記断層画像を選択するように構成される請求項2に記載の画像処理装置。
- 前記プロセッサは、前記関心構造がスピキュラの場合、前記複数の断層画像における前記合成2次元画像の画素と対応する画素毎に、前記スピキュラを最もよく表す1つの断層画像と前記1つの断層画像におけるスピキュラと繋がっているスピキュラを含む、前記1つの断層画像に隣接する少なくとも1つの断層画像とを選択するように構成される請求項2から5のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記関心構造がスピキュラの場合、前記複数の断層画像における前記合成2次元画像の画素と対応する画素毎に、前記スピキュラを最もよく表す1つの断層画像を選択するように構成される請求項2から5のいずれか1項に記載の画像処理装置。
- 前記スピキュラを最もよく表す1つの断層画像は、前記スピキュラが最も大きい断層画像または前記スピキュラを検出した際の尤度が最も大きい断層画像である請求項6または7に記載の画像処理装置。
- 前記プロセッサは、前記関心構造が石灰化の場合、前記複数の断層画像における前記合成2次元画像の画素と対応する画素毎に、前記石灰化を最もよく表す1つの断層画像を選択するように構成される請求項2から8のいずれか1項に記載の画像処理装置。
- 前記石灰化を最もよく表す1つの断層画像は、前記石灰化が最も大きい断層画像または前記石灰化を検出した際の尤度が最も大きい断層画像である請求項9に記載の画像処理装置。
- 前記プロセッサは、前記関心構造の画素においては、前記選択された断層画像の画素の画素値を有する前記合成2次元画像を生成するように構成される請求項1から10のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記複数の断層画像における前記合成2次元画像の画素と対応する画素において、複数の前記断層画像が選択されている場合、予め定められた関心構造の優先度に基づいて決定された断層画像の画素値を有する前記合成2次元画像を生成するように構成される請求項11に記載の画像処理装置。
- 前記プロセッサは、前記関心構造の種類および周波数帯域に応じて、前記関心構造が含まれる断層画像を選択するように構成される請求項1から12のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記複数の断層画像を周波数分解することにより、第1の周波数帯域および前記第1の周波数帯域よりも低い第2の周波数帯域を含む複数の周波数帯域毎に、複数の帯域断層画像を導出し、
前記複数の帯域断層画像における前記合成2次元画像の画素と対応する画素毎に、前記関心構造が検出された断層画像に対応する帯域断層画像を、前記関心構造の種類および前記周波数帯域に応じて前記複数の帯域断層画像から選択し、
前記関心構造が検出された領域においては、前記選択された帯域断層画像を用いて前記合成2次元画像を生成するように構成される請求項13に記載の画像処理装置。 - 前記プロセッサは、前記周波数帯域に応じて異なる数の、前記関心構造が検出された断層画像に対応する帯域断層画像を、前記関心構造の種類毎に前記複数の帯域断層画像から選択するように構成される請求項14に記載の画像処理装置。
- 前記プロセッサは、前記第1の周波数帯域においては、前記第2の周波数帯域よりも少ない数の前記帯域断層画像を選択するように構成される請求項14または15に記載の画像処理装置。
- 前記プロセッサは、前記第2の周波数帯域においては、前記複数の帯域断層画像における前記合成2次元画像の画素と対応する画素毎に、前記関心構造を含むすべての前記帯域断層画像を選択するように構成される請求項14から16のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記第2の周波数帯域においては、前記複数の帯域断層画像における前記合成2次元画像の画素と対応する画素毎に、前記関心構造を最もよく表す1つの前記帯域断層画像を選択するように構成される請求項14から16のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記第1の周波数帯域においては、前記複数の帯域断層画像における前記合成2次元画像の画素と対応する画素毎に、前記関心構造を最もよく表す1つの前記帯域断層画像を選択するように構成される請求項14から18のいずれか1項に記載の画像処理装置。
- 前記関心構造を最もよく表す1つの帯域断層画像は、前記関心構造が最も大きい帯域断層画像または前記関心構造を検出した際の尤度が最も大きい帯域断層画像である請求項18または19に記載の画像処理装置。
- 前記プロセッサは、前記関心構造に対応する前記帯域断層画像の画素においては、前記選択された帯域断層画像を用いて前記周波数帯域毎に合成帯域2次元画像を生成し、前記合成帯域2次元画像を周波数合成して前記合成2次元画像を生成するように構成される請求項14から20のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記複数の断層画像を合成することにより第1の合成2次元画像を生成し、
前記関心構造に対応する前記帯域断層画像の画素においては、前記関心構造の種類毎に前記選択された帯域断層画像を用いて前記周波数帯域毎に合成帯域2次元画像を生成し、前記合成帯域2次元画像を周波数合成して前記関心構造の種類毎に第2の合成2次元画像を生成し、前記関心構造の種類毎に生成した前記第2の合成2次元画像を前記第1の合成2次元画像に合成することにより、前記合成2次元画像を生成するように構成される請求項14から20のいずれか1項に記載の画像処理装置。 - 前記プロセッサは、前記第1の合成2次元画像における前記関心構造の画素値を、前記第2の合成2次元画像における前記関心構造の画素値と置換することにより、前記第2の合成2次元画像を前記第1の合成2次元画像に合成するように構成される請求項22に記載の画像処理装置。
- 前記プロセッサは、前記複数の第2の合成2次元画像間の対応する画素において、複数種類の前記関心構造が含まれる場合、予め定められた関心構造の優先度に基づいて決定された第2の合成2次元画像の画素値を有する前記合成2次元画像を生成するように構成される請求項23に記載の画像処理装置。
- 前記プロセッサは、前記複数の断層画像を合成することにより第1の合成2次元画像を生成し、
前記第1の合成2次元画像から、予め定められた特定の種類の関心構造の領域を抽出し、
前記特定の種類の関心構造以外の他の関心構造について、前記他の関心構造に対応する前記帯域断層画像の画素においては、前記他の関心構造の種類毎に前記選択された帯域断層画像を用いて前記周波数帯域毎に合成帯域2次元画像を生成し、前記合成帯域2次元画像を周波数合成して前記他の関心構造の種類毎に第2の合成2次元画像を生成し、前記他の関心構造についての前記第2の合成2次元画像を前記第1の合成2次元画像に合成し、かつ前記第2の合成2次元画像が合成された前記第1の合成2次元画像に前記特定の種類の関心構造の領域を合成することにより、前記合成2次元画像を生成するように構成される請求項14から20のいずれか1項に記載の画像処理装置。 - 前記特定の関心構造は石灰化であり、前記他の関心構造は腫瘤およびスピキュラである請求項25に記載の画像処理装置。
- 前記プロセッサは、前記第1の合成2次元画像における前記関心構造の画素値を、前記第2の合成2次元画像における前記関心構造の画素値と置換することにより、前記第2の合成2次元画像を前記第1の合成2次元画像に合成するように構成される請求項25または26に記載の画像処理装置。
- 前記プロセッサは、前記複数の第2の合成2次元画像間の対応する画素において、複数種類の前記他の関心構造が含まれる場合、予め定められた関心構造の優先度に基づいて決定された第2の合成2次元画像の画素値を有する前記合成2次元画像を生成するように構成される請求項27に記載の画像処理装置。
- 前記プロセッサは、前記第2の合成2次元画像が合成された前記第1の合成2次元画像における前記関心構造の画素値を、前記特定の種類の関心構造の領域の画素値と置換することにより、前記第2の合成2次元画像が合成された前記第1の合成2次元画像に前記特定の種類の関心構造の領域を合成するように構成される請求項25から28のいずれか1項に記載の画像処理装置。
- 被写体の複数の断層面を表す複数の断層画像から関心構造を検出し、
前記関心構造が検出された領域においては、前記関心構造の種類に応じて前記複数の断層画像から断層画像を選択し、
前記関心構造が検出された領域においては前記選択された断層画像を用いて、前記関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成する画像処理方法。 - 被写体の複数の断層面を表す複数の断層画像から関心構造を検出する手順と、
前記関心構造が検出された領域においては、前記関心構造の種類に応じて前記複数の断層画像から断層画像を選択し、
前記関心構造が検出された領域においては前記選択された断層画像を用いて、前記関心構造が検出されなかった領域においては予め定められた断層画像を用いて合成2次元画像を生成する手順とをコンピュータに実行させる画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022508133A JP7446410B2 (ja) | 2020-03-18 | 2021-02-09 | 画像処理装置、方法およびプログラム |
EP21772300.6A EP4122397A4 (en) | 2020-03-18 | 2021-02-09 | IMAGE PROCESSING DEVICE, METHOD AND PROGRAM |
US17/821,799 US20220398726A1 (en) | 2020-03-18 | 2022-08-24 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047343 | 2020-03-18 | ||
JP2020-047343 | 2020-03-18 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/821,799 Continuation US20220398726A1 (en) | 2020-03-18 | 2022-08-24 | Image processing device, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021186957A1 true WO2021186957A1 (ja) | 2021-09-23 |
Family
ID=77768071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/004849 WO2021186957A1 (ja) | 2020-03-18 | 2021-02-09 | 画像処理装置、方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220398726A1 (ja) |
EP (1) | EP4122397A4 (ja) |
JP (1) | JP7446410B2 (ja) |
WO (1) | WO2021186957A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08294485A (ja) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | 画像表示システム及びそのシステムを用いた画像表示方法 |
JP2014128716A (ja) | 2008-11-21 | 2014-07-10 | Hologic Inc | トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法 |
US8983156B2 (en) | 2012-11-23 | 2015-03-17 | Icad, Inc. | System and method for improving workflow efficiences in reading tomosynthesis medical image data |
JP2016522071A (ja) * | 2013-06-28 | 2016-07-28 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | トモシンセシスデータからエッジ保存合成マンモグラムを生成するための方法 |
JP2017055973A (ja) * | 2015-09-16 | 2017-03-23 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
US9792703B2 (en) | 2015-07-06 | 2017-10-17 | Siemens Healthcare Gmbh | Generating a synthetic two-dimensional mammogram |
WO2017192160A1 (en) * | 2016-05-06 | 2017-11-09 | L-3 Communications Security & Detection Systems, Inc. | Systems and methods for generating projection images |
JP2018029746A (ja) * | 2016-08-24 | 2018-03-01 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2018183549A1 (en) * | 2017-03-30 | 2018-10-04 | Hologic, Inc. | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
JP2019122817A (ja) * | 2014-02-28 | 2019-07-25 | ホロジック, インコーポレイテッドHologic, Inc. | トモシンセシス画像スラブを生成し表示するためのシステムおよび方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10255697B2 (en) * | 2014-11-20 | 2019-04-09 | Koninklijke Philips N.V. | Method for generation of synthetic mammograms from tomosynthesis data |
-
2021
- 2021-02-09 EP EP21772300.6A patent/EP4122397A4/en active Pending
- 2021-02-09 JP JP2022508133A patent/JP7446410B2/ja active Active
- 2021-02-09 WO PCT/JP2021/004849 patent/WO2021186957A1/ja unknown
-
2022
- 2022-08-24 US US17/821,799 patent/US20220398726A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08294485A (ja) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | 画像表示システム及びそのシステムを用いた画像表示方法 |
JP2014128716A (ja) | 2008-11-21 | 2014-07-10 | Hologic Inc | トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法 |
US8983156B2 (en) | 2012-11-23 | 2015-03-17 | Icad, Inc. | System and method for improving workflow efficiences in reading tomosynthesis medical image data |
JP2016522071A (ja) * | 2013-06-28 | 2016-07-28 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | トモシンセシスデータからエッジ保存合成マンモグラムを生成するための方法 |
JP2019122817A (ja) * | 2014-02-28 | 2019-07-25 | ホロジック, インコーポレイテッドHologic, Inc. | トモシンセシス画像スラブを生成し表示するためのシステムおよび方法 |
US9792703B2 (en) | 2015-07-06 | 2017-10-17 | Siemens Healthcare Gmbh | Generating a synthetic two-dimensional mammogram |
JP2017055973A (ja) * | 2015-09-16 | 2017-03-23 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
WO2017192160A1 (en) * | 2016-05-06 | 2017-11-09 | L-3 Communications Security & Detection Systems, Inc. | Systems and methods for generating projection images |
JP2018029746A (ja) * | 2016-08-24 | 2018-03-01 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2018183549A1 (en) * | 2017-03-30 | 2018-10-04 | Hologic, Inc. | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
Non-Patent Citations (1)
Title |
---|
See also references of EP4122397A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4122397A1 (en) | 2023-01-25 |
US20220398726A1 (en) | 2022-12-15 |
JPWO2021186957A1 (ja) | 2021-09-23 |
JP7446410B2 (ja) | 2024-03-08 |
EP4122397A4 (en) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7326070B2 (ja) | 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム | |
JP7513697B2 (ja) | 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム | |
WO2020202612A1 (ja) | 画像処理装置、方法およびプログラム | |
US20220343500A1 (en) | Image setting device, image setting method, and image setting program | |
WO2021186957A1 (ja) | 画像処理装置、方法およびプログラム | |
WO2021186956A1 (ja) | 画像処理装置、方法およびプログラム | |
JP7203705B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム | |
JP7113790B2 (ja) | 画像処理装置、方法およびプログラム | |
WO2022018943A1 (ja) | 画像処理装置、方法およびプログラム | |
JP7209599B2 (ja) | 画像処理装置、方法およびプログラム | |
JP7479494B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム | |
JP7451748B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム | |
JP7270782B2 (ja) | 画像設定装置、画像設定装置の作動方法および画像設定プログラム | |
JP7321299B2 (ja) | 画像設定装置、画像設定装置の作動方法および画像設定プログラム | |
JP7430814B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US11224397B2 (en) | Imaging control device, imaging control method, and imaging control program | |
JP7384990B2 (ja) | 画像管理装置、方法およびプログラム | |
JP2022153114A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21772300 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022508133 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021772300 Country of ref document: EP Effective date: 20221018 |