JP2019097591A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2019097591A JP2019097591A JP2017228149A JP2017228149A JP2019097591A JP 2019097591 A JP2019097591 A JP 2019097591A JP 2017228149 A JP2017228149 A JP 2017228149A JP 2017228149 A JP2017228149 A JP 2017228149A JP 2019097591 A JP2019097591 A JP 2019097591A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unnecessary area
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000009826 distribution Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims description 49
- 210000002445 nipple Anatomy 0.000 claims description 42
- 210000000481 breast Anatomy 0.000 claims description 21
- 230000002829 reductive effect Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 abstract 2
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 108010054147 Hemoglobins Proteins 0.000 description 29
- 102000001554 Hemoglobins Human genes 0.000 description 29
- 210000004204 blood vessel Anatomy 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000000605 extraction Methods 0.000 description 16
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 14
- 239000001301 oxygen Substances 0.000 description 14
- 229910052760 oxygen Inorganic materials 0.000 description 14
- 239000000523 sample Substances 0.000 description 14
- 210000001519 tissue Anatomy 0.000 description 14
- 239000006096 absorbing agent Substances 0.000 description 12
- 238000013500 data storage Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 210000004883 areola Anatomy 0.000 description 10
- 238000010521 absorption reaction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000001678 irradiating effect Effects 0.000 description 8
- 238000000862 absorption spectrum Methods 0.000 description 7
- 210000003743 erythrocyte Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000031700 light absorption Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010895 photoacoustic effect Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 108010036302 hemoglobin AS Proteins 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Acoustics & Sound (AREA)
Abstract
【課題】 不要領域の視認性を低下させることにより画像データの視認性を向上させること。【解決手段】 音響波に基づくボリュームデータを用いて生成された複数の第1の画像データを取得する。複数の前記第1の画像データから特徴点を抽出する。前記抽出された特徴点の分布を用いて、1または複数の前記第1の画像データに不要領域を設定する。前記不要領域が設定された1または複数の前記第1の画像データにおいて、前記不要領域の画素値を低減する。前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを用いて、第2の画像データを生成する。【選択図】 図11
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
光音響イメージングは、光を照射することで光吸収体から発生した音響波を受信して、光吸収体の空間分布を画像化することができるイメージング装置である。生体に適用することで、非侵襲的に血管イメージングをすることが可能である。
光音響イメージング装置においては、皮膚表面から発生する光音響波により、生体内部の関心部位からの信号を可視化されにくくなるという問題があることが分かっている。
特許文献1では、光音響波の信号強度に基づいて皮膚領域を検出し、その近傍領域の信号強度を低減させる手法が開示されている。
Distinctive Image Features from Scale−Invariant Keypoints David G. Lowe et al. 2004
光音響イメージング装置で、***を撮像すると、皮膚表面のみならず、乳頭・乳輪に由来する強い信号が検知される。この乳頭とその周辺組織に由来する強い信号は、血管の可視化を目的とした場合には、不要な信号となる。特許文献1にて開示される方法を用いた場合には、皮膚表面にある乳頭由来の信号のみ低減させることができるが、実際には皮膚よりやや深い位置にも不要領域が存在する。また、これを低減させるために、皮膚近傍領域として判断する範囲を一律に広げる方法が考えられるが、本来の関心領域の信号も併せて低減させてしまう可能性がある。
そこで、本発明は、不要領域の視認性を低下させることにより画像データの視認性を向上させることを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本発明に係る画像処理装置は、音響波に基づくボリュームデータを用いて生成された複数の第1の画像データを取得する取得手段と、複数の前記第1の画像データから特徴点を抽出する抽出手段と、前記抽出された特徴点の分布を用いて、1または複数の前記第1の画像データに不要領域を設定する設定手段と、前記不要領域が設定された1または複数の前記第1の画像データにおいて、前記不要領域の画素値を低減する画像処理手段と、前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを用いて、第2の画像データを生成する生成手段とを備えることを特徴とする。
本発明によれば、不要領域の視認性を低下させることにより画像データの視認性を向上させることが可能となる。
図1(a)は、光音響イメージング装置によって、***を撮影してボリュームデータを得たのち、Axial Planeの断面を画像化したものである。
ヘモグロビンの吸収が大きい波長の光を照射して、***の光音響イメージングを実施すると、ヘモグロビンに由来する光音響波を画像化することができる。これにより、***内の血管を可視化することができるようになる。
生体に光を照射した際に得られる光音響波の大部分は血管中のヘモグロビンにおける光吸収に由来するものであるが、一部皮下の組織におけるメラニン色素にも非特異的な光吸収があるため、例えば、ほくろや毛などからも光音響波が発生する。***を対象に光音響イメージングを行った場合には、これに加えて乳頭・乳輪に由来する光音響波が発生し、画像化される際のノイズ源となる。
図1(a)の符号11に示す領域は、乳頭に由来する信号が画像化されている領域を示す。図1(a)の符号11に示す付近には、乳頭・乳輪に由来する信号が多く、周辺の血管由来の信号の有無が分かりづらくなっている。図1(b)に示すように、Coronal Planeの断面をMaximum Intensity Projection法(最大値投影法、MIP)にて画像化した場合には、特にその影響が顕著である。
乳頭・乳輪は皮膚表面付近の組織であるため、特許文献1にて開示される手法に基づき皮膚表面付近の信号を除去することで、ある程度の信号を削除することができる。しかし、特許文献1にて開示される手法では、皮膚表面の信号を一律に除去する手法であるため、皮膚からやや深い位置の乳頭・乳輪由来の信号を除去することができない。また、皮膚表面付近の乳頭・乳輪付近の信号のみを除去することも困難である。
そこで、本発明者らは上記課題を鑑みて、関心領域の血管由来の信号を可視化する際に、乳頭・乳輪部に由来する光音響信号を抽出し、これを他の領域と区別する方法を考案した。
以下、図を用いて、本発明に係る乳頭・乳輪部に由来する光音響信号を他の領域と区別する手段について説明する。
各実施形態を説明する前に、各実施形態で行われる、画像上の局所的な特徴量を抽出するための画像処理の手法について説明する。図2は、画像上の局所的な特徴量を一般的な画像処理の手法により取得し、図示した例である。図2(a)の画像に対して、特徴量抽出処理を行い、特徴量の大きい箇所を重畳して表示したものが図2(b)である。
画像の局所特徴量の検出に関する一般的な手法について、非特許文献1を参照しながら、図3に示すフローチャートを用いて説明する。以下に示す各処理は、画像処理装置の制御部が実行するものとして説明するが、あくまで一例であり、これに限らない。また、画像の局所特徴量の検出に関する手法は、以下の手法に限らない。
まず、図3におけるS301では、制御部が対象とする画像を読み込む。この時、対象とする画像がカラー画像である場合には、制御部は、画像を読み込む際にグレースケール画像に変換する。
続いて、ステップS302では、制御部が画像にぼかし処理を行い、ステップS303では、制御部がぼかし処理が行われた画像からコントラストの高い場所を抽出する。ステップS304では、制御部はぼかし強度を変更し、さらにステップS302とステップS303を繰り返す。ステップS302、S303、S304を指定回数繰り返した結果、スケール変化に対して頑強な画素が特徴点の候補として抽出される(ステップS305)。この際、コントラスト強度が強いだけではなく、全方向に対して画素値の変化が観測される場所を、特徴点の候補として選択する。
続いて、ステップS306では、制御部は特徴点候補となった画素とその周辺の画素の画素値を用いて、画素値の強度の勾配を求める。特徴点候補となった画素とその周辺の画素を観察領域として設定し、観察領域の画像とその画像に対するぼかし画像を合わせて、画素値の勾配とその角度ごとの頻度を計算する。この頻度情報をベクトルで表現したものが画像の局所特徴量であり、任意に指定する閾値以上の局所特徴量を持つ点が特徴点である(ステップS307)。
以上の手法により、画像上には、拡大・縮小・回転・輝度変化に対して頑強な局所特徴量を持つ特徴点を抽出することができる。
次に、各実施形態における光音響装置について説明する。
本発明に係る光音響装置は、被検体に光(電磁波)を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する光音響効果を利用した装置である。この場合、特性情報とは、光音響波を受信することにより得られる受信信号を用いて生成される、被検体内の複数位置のそれぞれに対応する特性値の情報である。
光音響測定により取得される特性情報は、光エネルギーの吸収率を反映した値である。例えば、光照射によって生じた音響波の発生源、被検体内の初期音圧、あるいは初期音圧から導かれる光エネルギー吸収密度や吸収係数、組織を構成する物質の濃度を含む。
また、異なる複数波長の光によって発生する光音響波に基づいて、被検体を構成する物質の濃度といった分光情報が得られる。分光情報は、酸素飽和度、酸素飽和度に吸収係数等の強度を重み付けした値、トータルヘモグロビン濃度、オキシヘモグロビン濃度、またはデオキシヘモグロビン濃度であってもよい。また、グルコース濃度、コラーゲン濃度、メラニン濃度、または脂肪や水の体積分率であってもよい。
以下に説明する実施形態では、ヘモグロビンを吸収体として想定した波長の光を被検体に照射することで、被検体内の血管の分布・形状のデータと、その血管における酸素飽和度分布のデータを取得し、画像化する光音響イメージング装置を想定する。
被検体内の各位置の特性情報に基づいて、二次元または三次元の特性情報分布が得られる。分布データは画像データとして生成され得る。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。すなわち、初期音圧分布、エネルギー吸収密度分布、吸収係数分布や酸素飽和度分布などの分布情報である。
本明細書における音響波とは、典型的には超音波であり、音波、光音響波と呼ばれる弾性波を含む。探触子等により音響波から変換された電気信号を音響信号とも呼ぶ。ただし、本明細書における超音波または音響波という記載には、それらの弾性波の波長を限定する意図はない。光音響効果により発生した音響波は、光音響波または光超音波と呼ばれる。光音響波に由来する電気信号を光音響信号とも呼ぶ。なお、本明細書において、光音響信号とは、アナログ信号とデジタル信号の双方を含む概念である。分布データは、光音響画像データや再構成画像データとも呼ばれる。
図4を参照して、光音響イメージングの原理を説明する。
図4には、光源401、音響波プローブ402、被検体403、被検体内部に存在する光吸収体404、光源から照射される光405、光吸収体404から発せられる音響波406が含まれる。
光源401から、被検体403に対して光405が照射されると、光405が被検体403の内部に到達し、光吸収体404にて吸収される。この際に音響波406が発生し、音響波プローブ402に到達する。音響波プローブ402で受信された音響波406は、電気信号に変換され、光の照射タイミングや、被検体内における伝搬速度などに基づいた演算によって画像化され、画面に表示される。
光吸収体404として赤血球中のヘモグロビンを対象にした場合、ヘモグロビンに特異的に吸収される波長の光を照射する。これにより得られる画像は、生体内におけるヘモグロビンの偏在を示したものとなる。ヘモグロビンは赤血球内に多く存在するため、これにより、赤血球が存在する血管の像を得ることができる。
図5は、酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸光スペクトルを示したグラフである。グラフの横軸は波長(nm)を示し、グラフの縦軸は、吸収スペクトル(cm−1/M)を示す。このグラフにおいて、符号501で示した実線は酸素化ヘモグロビンの吸光スペクトルを示し、符号502で示した破線は脱酸素化ヘモグロビンの吸光スペクトルを示す。酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸光スペクトルの差がある波長の光を被検体に照射し、得られた音響波を解析することで、被検体内の酸素化ヘモグロビンと脱酸素化ヘモグロビンの存在比を取得することができる。
(第一の実施形態)
以下、図6を用いて、本発明の第一の実施形態に係る光音響装置の構成を説明する。なお、以下の説明する光音響装置の構成はあくまで一例であり、これに限らない。
以下、図6を用いて、本発明の第一の実施形態に係る光音響装置の構成を説明する。なお、以下の説明する光音響装置の構成はあくまで一例であり、これに限らない。
図6に示す光音響装置は、光源601、光学系602、音響整合材603、音響波探触子604、信号処理部605、データ処理部606、表示部607を含んで構成される。データ記憶部608は、データ処理部606とバスあるいはネットワークを通じて接続されている。符号609は被検体であり、符号610は被検体内部にある光吸収体を示す。
光源601は、被写体に照射するパルス光を発生させる装置である。光源は、大出力を得るためにレーザ光源であることが望ましいが、レーザの代わりに発光ダイオードやフラッシュランプを用いることもできる。光源としてレーザを用いる場合、個体レーザ、ガスレーザ、色素レーザ、半導体レーザなど様々なものが使用できる。
また、パルス光の波長は、被検体を構成する成分のうち特定の成分に吸収される特定の波長であって、被検体内部まで光が伝搬する波長であることが望ましい。具体的には、700nm以上1200nm以下であることが望ましい。この領域の光は、比較的生体深部まで到達することができ、深部の情報を得ることができる。
また、光音響波を効果的に発生させるためには、被検体の熱特性に応じて十分短い時間に光を照射させなければならない。本実施形態に示すように被検体が生体である場合は、光源から発生するパルス光のパルス幅は数十ナノ秒以下が好適である。
なお、光照射のタイミング、波形、強度等は、不図示の制御手段によって制御される。
光学系602は、光源601から発せられたパルス光を伝送する部材である。光源601から出射された光は、レンズやミラーなどの光学部品により、所定の光分布形状に加工されながら被検体に導かれ、照射される。なお、光ファイバなどの光導波路などを用いて光を伝搬させることも可能である。
光学系602は、例えば、レンズ、ミラー、プリズム、光ファイバ、拡散板、シャッター、フィルタなどの光学機器を含んでいてもよい。光源601から発せられた光を被検体609に所望の形状で照射できれば、光学系602には、どのような光学部品を用いてもよい。なお、光はレンズで集光させるより、ある程度の面積に広げる方が、生体への安全性ならびに診断領域を広げられるという観点で好ましい。
音響波探触子604は、被検体609の内部から到来する音響波を受信して、アナログの電気信号に変換する手段である。音響波探触子は、探触子、音響波検出素子、音響波検出器、音響波受信器、トランスデューサとも呼ばれる。生体から発生する音響波は、100KHzから100MHzの超音波であるため、音響波探触子には、上記の周波数帯を受信できる素子を用いる。具体的には、圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量の変化を用いたトランスデューサなどを用いることができる。
また、音響素子は、感度が高く、周波数帯が広いものを用いることが望ましい。具体的にはPZT(チタン酸ジルコン酸鉛)などを用いた圧電素子、PVDF(ポリフッ化ビニリデン)などの高分子圧電膜材料、CMUT(容量性マイクロマシン超音波トランスデューサ)、ファブリペロー干渉計を用いたものなどが挙げられる。ただし、ここに挙げたものだけに限定されず、探触子としての機能を満たすものであれば、どのようなものであってもよい。
なお、音響波探触子604と被検体609の間には、音響インピーダンスを整合させるための部材である音響整合材603が配置される。音響整合材603には、ジェルや水、オイルなどを利用することができる。
信号処理部605は、取得したアナログの電気信号を増幅してデジタル信号に変換する手段である。信号処理部605は、受信信号を増幅する増幅器、アナログの受信信号をデジタル変換するA/D変換器、受信信号を記憶するFIFO等のメモリと、FPGAチップ等の演算回路を用いて構成されてもよい。また、信号処理部605は、複数のプロセッサや演算回路から構成されていてもよい。
データ処理部606は、デジタル変換された光音響信号に基づいて、被検体内部の光吸収係数や酸素飽和度等といった被検体情報を生成する手段である。具体的には、収集した光音響信号に基づいて、三次元の被検体内の初期音圧分布を生成する。初期音圧分布の生成には、例えば、ユニバーサルバックプロジェクション(UBP)アルゴリズムや、ディレイアンドサムアルゴリズムを用いることができる。
また、データ処理部606は、被検体609に照射される光の光量に基づいて、被検体内の三次元の光強度分布を生成する。三次元の光強度分布は、二次元の光強度分布に関する情報から光拡散方程式を解くことで取得できる。
この他にも、データ処理部606は、初期音圧分布と光強度分布に基づいて、三次元の吸収係数分布を生成する機能や、複数波長の光に基づいて生成した吸収係数分布から、酸素飽和度分布を生成する機能などを有している。
データ処理部606は、CPUとRAM、不揮発メモリ、制御ポートを有するコンピュータ(画像処理装置)で構成してもよい。少なくとも1つの不揮発メモリに格納されたプログラムが少なくとも1つのCPUで実行されることにより制御が行われる。データ処理部606は、汎用コンピュータや、専用に設計されたワークステーションによって実現されてもよい。また、データ処理部606の演算機能を担うユニットは、CPUやGPU等のプロセッサ、FPGAチップ等の演算回路で構成されていてもよい。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
また、データ処理部606の記憶機能を担うユニットは、ROM、磁気ディスクやフラッシュメモリなどの非一時記憶媒体や、RAMなどの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、これらのユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。データ処理部606の制御機能を担うユニットは、CPUなどの演算素子で構成される。
表示部607は、データ処理部が取得した情報およびその加工情報を表示する手段であり、典型的にはディスプレイ装置である。表示部607は、複数の表示部を備え、並列表示が可能な構成であってもよい。
データ記憶部608は、磁気ディスクなどから構成された記憶手段であり、データ処理部と内部バスあるいはネットワークを介して接続される。
被検体609は、光音響イメージング装置の一部を構成するものではないが、以下に説明する。本実施形態に係る光音響イメージング装置は、人や動物の疾患部など体内の状態を画像として可視化する装置である。よって、被検体としては、生体、具体的には、***、手足、指などが想定されるが、本実施形態では***を想定するものとする。
***の内部には、血管が走行しており、酸素化ヘモグロビン、還元脱酸素化ヘモグロビンなど、光吸収係数の大きい光吸収体610が存在するため、光照射に起因して光音響波が発生する。この光音響波を画像として再構成することで、***内のヘモグロビン分布が可視化される。ヘモグロビンは主に赤血球内に存在し、赤血球は血管内に存在することから、血管の構造が画像として可視化される。また、複数の波長の光を照射することで、酸素化ヘモグロビンと還元脱酸素化ヘモグロビンの存在比を可視化することも可能である。
<測定の概要>
次に、本実施形態に係る光音響装置が、被検体である生体を測定する方法について説明する。
次に、本実施形態に係る光音響装置が、被検体である生体を測定する方法について説明する。
まず、光源601から発せられたパルス光が、光学系602を通じて、被検体609に照射される。被検体609の内部を伝搬した光のエネルギーの一部が血液などの光吸収体610に吸収されると、熱膨張により当該光吸収体から音響波が発生する。生体内にがんが存在する場合は、がんの新生血管において他の正常部の血液と同様に光が特異的に吸収され、音響波が発生する。生体内で発生した光音響波は、音響波探触子604によって受信される。
音響波探触子604が受信した信号は、信号処理部605で変換されたのち、データ処理部606で解析される。解析結果は、生体内の特性情報(例えば、初期音圧分布や吸収係数分布)を表すボリュームデータ(以下、光音響データ)となり、二次元の画像に変換されたのちに表示部607を介して出力される。
また、データ処理部606にてデータ化された、光吸収体610に由来する光音響データは、データ記憶部608に記憶される。この際、被検体や、測定に関する他の情報を関連付けてもよい。データ記憶部608に記憶されるデータには、測定によって得られたボリュームデータ、画像データ、被検体の情報、撮像時のパラメータ等が含まれる。
なお、データ記憶部608に記憶される光音響データは、三次元のボリュームデータが公的であるが、当該データから得られた二次元の画像データであってもよい。例えば、最大値投影法(MIP)によって三次元データを二次元化したものであってもよいし、三次元データを任意の平面や曲面で切り出した二次元画像であってもよい。
<検体画像の表示>
図7は、***を被検体として光音響測定を行うことで得られた被検体画像の例である。具体的には、ヘモグロビンに吸収されやすい波長の光を***全体に照射し、得られた音響波に基づいてボリュームデータを生成し、最大値投影法を用いて二次元画像に変換して可視化した例である。図7に示した画像は、視点を正面方向とした冠状面(coronal plane)に対応する画像である。本実施形態では、Coronal Planeの画像データを作成するものとして説明するが、これに限らず、用途や目的に応じて、Axial PlaneやSagital Planeであってもよい。
図7は、***を被検体として光音響測定を行うことで得られた被検体画像の例である。具体的には、ヘモグロビンに吸収されやすい波長の光を***全体に照射し、得られた音響波に基づいてボリュームデータを生成し、最大値投影法を用いて二次元画像に変換して可視化した例である。図7に示した画像は、視点を正面方向とした冠状面(coronal plane)に対応する画像である。本実施形態では、Coronal Planeの画像データを作成するものとして説明するが、これに限らず、用途や目的に応じて、Axial PlaneやSagital Planeであってもよい。
本実施形態に係る光音響装置の画像を対象とした情報処理装置は、***を対象として、血管を可視化することを目的としたMIP画像に基づいて、血管以外の信号源である乳頭周辺領域由来の信号を少なくとも低減して画像化する機能を有する。当該機能について、図8、図9を用いて説明する。
図8は、乳頭周辺領域由来の信号を低減した状態で最大値投影法により***の画像を得るためのフローチャートである。
ステップS801では、データ処理部606は、光音響データを読み込む。光音響データは、三次元のボリュームデータである。
ステップS802では、データ処理部606は、読み込んだ光音響データからCoronal Planeの断面画像を最大値投影法により作成する。このステップにて作成される断面画像は、装置により設定されているスライス厚で光音響データをスライスした複数のMIP画像である。この際、被検体の皮膚表面を検出し、この皮膚表面が平面になるように変形させた画像を作成してもよい。また、スライス厚は、ユーザーにより設定された値を用いてもよい。
ステップS803では、データ処理部606は、ステップS802で作成した画像のうち、基準面の画像を表示部607に表示させる。基準面とは皮膚表面、乳頭の先端を含む水平面、画像生成した際の奥行の軸の原点を含む面など、任意に設定してよい。
ステップS804では、データ処理部606は、表示された皮膚表面の画像上において、乳頭の座標の指定を受け付ける。なお、このステップは、省略してもよい。また、ユーザーによる乳頭位置の指定は、マウスなどポインティングデバイスを使用しても良いし、座標を数値で入力するなどしても良い。また、光音響データの取得時に同時に撮影するなどしたキャプチャー画像を利用してもよい。
乳頭とその周辺領域を不要領域として定義するにあたり、乳頭位置が基準位置として定義されていることで、ユーザーが、体表面の体毛やほくろなどに由来する局所特徴量の多い他の場所と区別して、不要領域を判断できるようになる。ただし、乳頭位置を基準点として設定することは、本実施形態において必須のステップではない。
ステップS805では、データ処理部606は、ステップS803にて作成した画像を対象に、図3を用いて前述したフローチャートに基づくなどして、局所特徴量を計算し、特徴点を抽出する。なお、特徴点の抽出はこれに限らず、HOG特徴量の抽出方法、ORB法など公知の様々な手法を用いることができる。
ステップS806では、データ処理部606は、抽出した特徴点の二次元分布を画像化する。
ステップS807では、データ処理部606は、ステップS804にてユーザーが指定した乳頭位置をステップS806にて抽出された特徴点の画像上に重畳して、これを表示部607に表示させる。この際に、ステップS806にて作成した画像と、ステップS803にて作成した画像を自在に切り替えて表示できるようなGUIになっていても良い。
ステップS807では、図9(a)に示すように特徴点の分布を点で表示したり、図9(b)に示すように二次元ヒストグラムで表示したり、図9(c)に示すように点密度を推定した画像として表示したりしても良い。また、これらの表示方法をGUI上で切り替えることができるようになっていても良い。
ステップS808では、データ処理部606は、ステップS804にて指定された乳頭位置周辺における特徴点の分布密度が高い領域を関心領域とは異なる不要領域であるとして定義する。
ここでステップS808の具体的な手順について説明する。まず、ステップS807において表示される、図10に示す画面(GUI)について説明する。
図10は、不要領域の定義手段のGUIの例である。図10に示すウィンドウは、一般的なGUIを持つコンピュータアプリケーションの実行時イメージを示す。なお、この画面構成はあくまで一例であり、用途や目的に応じて様々な構成例がある。そのため、各GUIは本発明を実施するために必ずしも備えている必要はない。
1002は、図8に示すフローチャートにてステップS805を実施することで抽出した特徴点の分布をヒストグラム形式で表示する領域である。1003に表示される画像に対して縦軸と横軸のそれぞれにヒストグラム形式のグラフが描画される。
1003は、光音響データに基づく二次元の画像データが描画された画像を表示する領域である。この領域に表示される画像は、ボタン1005の操作により、図9(a)(b)(c)に示すような情報に切り替えて表示することが可能である。すなわち、1003は、表示中の第1の画像データとは異なる他の第1の画像データに切り替えるためのGUIである。ユーザーは、ここに表示される特徴点の分布を可視化した情報と、1002のヒストグラムの領域とを参考にして、乳頭とその周辺組織に由来する高信号領域を判断する。
1004から1008はユーザーが操作を行うためのボタンである。1004は、1003の領域に表示された画像上で乳頭位置をマウスなどのポインティングデバイスで指定したのちに、その位置が乳頭位置であるということを確定させるためのボタンである。このとき、確定された乳頭位置は、1010のように表示される。
1005は、1003の領域に表示する情報を切り替えるためのボタンである。これは、ボタンによる切替ではなく、ラジオボタン、トグルスイッチなどによる切替で実装されてもよい。
1006は、1002の領域に表示されるヒストグラムをもとに1003の領域上に乳頭周辺の高輝度領域を推定するガイドライン1011の表示と非表示を切り替えるためのボタンである。これは、ウィンドウ上に表示される押下可能なボタン、表示・非表示を切り替えるラジオボタンやトグルボタン、あるいはメニューなどの形式であってもよい。
1007は、指定した乳頭周辺領域の画素値の低減(減衰あるいは削除)を指示するためのボタンである。なお、削除ボタンと減衰ボタンの両方をGUIとして配置してもよいし、図10に示すように、いずれか一方のボタンを配置してもよい。また、ラジオボタンやトグルボタン、あるいはメニューなどの形式であってもよい。
1008は、乳頭周辺領域の画素値を低減した画像データの保存を指示するためのボタンである。1008のボタンが押下されると、データ記憶部608やRAMに画像データが保存される。
1009は、最大値投影法を行うためのボリュームデータのスライス厚を指定するための入力欄である。図10中に示すような入力欄、あるいはスライドバー、メニューによる入力であってもよい。また、入力するスライス厚は、ボリュームデータを構成する画像の実際のスライスの枚数であってもよいし、それを実際の組織の厚さとしてミリメートル等の単位で入力する実装であってもよい。
1010は、マウスなどのポインティングシステムによって指定した乳頭位置を示すマーカーである。マーカーの色や形状は実際のプログラムの実装により異なる。乳頭位置マーカー1010は、図10に示すような特徴点の分布画面上で設定してもよいし、測定時にあらかじめ撮影した画像から乳頭位置を取得して、座標を合わせることで1003の画像表示領域上に重畳して表示してもよい。
1011は、1002の領域に表示される特徴点のヒストグラムに基づき、1003の領域上に表示されるガイドラインである。このガイドラインに囲まれる領域が乳頭周辺の信号強度が高い位置であることを示唆するものである。1011に示すガイドラインの作成方法は、一例として、乳頭の座標がヒストグラムの半値幅に含まれる場合に、頻度が半値となっている座標にガイドラインを表示する方法が挙げられる。あるいは、ヒストグラム形状を参照しながら設定した閾値を超える頻度の特徴点が観測される領域のもっとも外側の輪郭をガイドラインとして表示してもよい。ガイドライン1011はユーザーの操作によりボタン1006などで、表示・非表示を切り替えられるようにしてもよい。
また、図10の画面は、スライドバー等のGUI部品により、スライス位置を指定する機能を有してもよい。画像データをCoronal Planeにて作成するためのスライス位置をスライドバー等のGUI部品にて指定できてもよい。また、スライス位置の数値を入力したり、メニューによって選択したりすることで、スライス位置を指定する機能を実現しても良い。
次に、不要領域の定義方法について説明する。ユーザーは、図10に示されるGUIにて、1002に表示される特徴点のヒストグラムを参照しながら、不要領域をマウスなどのポインティングデバイスを使用することで指定する。例えば、データ処理部606は、ポインティングデバイスにより不要領域の境界となる輪郭線の描画指示を受け付けて、該輪郭線を描画し、この輪郭線で囲まれた範囲を不要領域として定義する。
あるいは、後述する第三の実施形態のように、特徴点の分布に関する情報を利用して、自動的に不要領域を判別してもよい。自動で判別された不要領域を1003の領域に重畳して表示することで、ユーザーがマウスなどポインティングデバイスを用いて、自動で選別された不要領域を微調整することを可能としても良い。
以上のように、ユーザーは画面に表示された特徴点の分布に関する情報や基準点の情報等を参考にして、画像データに対して不要領域の定義を行う。
ステップS810では、データ処理部606は、画像データに対して不要領域が定義されたか否かを判定する。画像データが示す画像上に不要領域が描画され、1008の保存ボタンが押下された場合には、不要領域が定義されたと判定し、ステップS814に処理を進める。ユーザーが画像データには不要領域が存在しないと判断し、不要領域を定義しなかった場合は、不要領域が定義されていないと判定し、ステップS812に処理を進める。
ステップS814では、データ処理部606は、ステップS807で定義された不要領域、すなわち乳頭周辺領域に相当する画素値を少なくとも低減する。画像データのうち、不要領域に相当する画素を特定し、特定された画素の画素値を限りなくゼロに低減する(あるいは減衰する)、またはゼロにする(すなわち、削除する)ことにより、画像データから乳頭に由来する信号を除去する。
ステップS809では、データ処理部606は、ステップS814にて作成した画像データをデータ記憶部608やRAM等の記憶手段に一時保存する。
ステップS811では、データ処理部606は、現在のスライス位置を皮膚表面からより体内の方向に進める。そして、新たなスライス位置に対応する画像データを処置対象として選択し、ステップS803に処理を戻す。このようにステップS811で処理がされる度に、処理対象の画像データが示すスライス位置を、皮膚表面等の体表から体内へ徐々に進めていく。
ステップS810において、不要領域が定義されていないと判定された場合、それ以上の深度においては、乳頭周辺領域に由来する不要領域は存在しないと判断し、不要領域を指定し削除するための処理は行わない。
ステップS812では、データ処理部606は、ステップS810において、乳頭周辺領域が定義されないと判断された深度より体内方向に向かってすべてのスライスを対象に最大値投影法にて合成した画像を作成し保存する。すなわち、乳頭周辺領域が定義されないと判断された深度から最も深い深度(最深度)までの全スライスを用いて、MIP画像データを生成する。
ステップS813では、データ処理部606は、ステップS809にて作成され一時的に保存された1または複数の画像データと、ステップS812にて作成され保存された1または複数の画像データとを最大値投影法により合成した画像を作成する。
最後に、ステップS814では、データ処理部606は、ステップS813で作成された画像をデータ記憶部608に保存する。
図12は、ステップS807で表示される、特徴点の分布に関する情報が表示された画像の例である。図12(a)から図12(d)へ、奥行き方向(皮膚表面から体内に向かう方向)の深度を変化させた画像を作成し、それぞれ局所特徴量の計算を実施し、特徴点分布を画像化したものである。図12(a)では非常に特徴点の分布密度の高い領域が可視化されていることが分かる。そこで、ユーザーがこの特徴点の分布密度の高い領域を不要領域として定義し、定義された不要領域の画素値を低減した画像を保存した後に、図12(b)に示す特徴量画像が強調表示された画像を得る。図12(b)の次に得られる画像を示す図12(c)の深度では、特徴点の分布密度が極端に高い箇所がなくなっているため、ユーザーは不要領域を設定せずに1008の保存ボタンを押下する。そして、次のステップであるS812に処理を進める。すなわち、図12(b)よりも深い位置を示す画像である図12(c)と図12(d)には不要領域が設定されない。
図11(a)は、乳頭周辺領域の信号を除去しないで最大値投影法により作成した***のMIP画像である。また、図11(b)は、不要領域であると定義した領域の信号を除去してから最大値投影法により作成した***のMIP画像を示す。
図11(a)においては、乳頭とその周辺組織に由来する信号強度が強いため、乳頭とその周辺組織よりも体内方向に存在する血管の構造を観察することができない。一方、本発明によれば、乳頭とその周辺組織に由来する信号を除去することができるため図11(b)に示すように、乳頭とその周辺組織の血管を観察することが可能になっている。
図7、図11(a)に示すように、光音響装置により得られたボリュームデータから生成した画像においては、乳頭とその周辺組織からは強い信号が得られるため、血管を可視化する目的で画像化した際には、ノイズ源となる。
乳頭とその周辺組織については、画像からは明確な境界線が得られないため、この領域を機械的に指定して削除することは困難である。
特に、Coronal Planeで画像化した上で、スライスを深度方向に送った場合に、深さごとに乳頭とその周辺組織に由来する信号により血管の可視化が阻害される領域は変化するため、表面の画像から常に一定の領域を指定して削除するのは困難である。
本発明によれば、画像の特徴点に着目し、その分布を可視化することで、ユーザーに対して、不要領域を容易に判断して定義できる手段を提供することができる。
(第二の実施形態)
第一の実施形態においては画像の局所特徴量を用いて不要領域を定義したが、複数の波長の光を照射することで発生する光音響信号の信号強度比を用いて、不要領域を定義する方法を第二の実施形態として説明する。
第一の実施形態においては画像の局所特徴量を用いて不要領域を定義したが、複数の波長の光を照射することで発生する光音響信号の信号強度比を用いて、不要領域を定義する方法を第二の実施形態として説明する。
図5に示すように、照射する光の波長により、酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸収スペクトルが異なることが分かっている。このことを利用して、複数の波長の光を照射することで、酸素化ヘモグロビンと脱酸素化ヘモグロビンの存在比を計算し、酸素飽和度を求めることが可能である。
複数の波長の光を照射した際の光音響波のデータを元に酸素飽和度を計算し、画像化すると、乳頭とその周辺の組織は一定の酸素飽和度の血管であるかのように画像化されることが経験的に分かっている。
このことから、図10の1002の領域に乳頭とその周辺の組織に由来して計算される酸素飽和度を示す画素の頻度をヒストグラムとして表示することで、第一の実施形態にて、局所特徴量の頻度分布を用いたのと同様に、不要領域を定義することが可能となる。
第一の実施形態同様に、定義した不要領域の座標に相当するボリュームデータの領域の信号値を低減させることで、図11(b)に示すような血管像を得ることが可能となる。
図13は、乳頭部に特異的に観察される酸素飽和度と同等の酸素飽和度を示す画素の分布を示した図の例である。図9、図10などに示した第一の実施形態に基づく、特徴点分布と同様に、画像領域の縦軸・横軸に沿った、該酸素飽和度を示す画素の頻度分布を表示する。
図13に示す画像を参考にして、ユーザーは、不要領域の定義を容易に行うことが可能となる。
(第三の実施形態)
前述した第一の実施形態では、ユーザーが範囲指定した領域を不要領域として設定する一例を説明した。第三の実施形態では、ユーザーが不要領域の指定を行わなくとも、自動的に画像データから不要領域を特定し、該不要領域を除去した画像を生成する形態について説明する。
前述した第一の実施形態では、ユーザーが範囲指定した領域を不要領域として設定する一例を説明した。第三の実施形態では、ユーザーが不要領域の指定を行わなくとも、自動的に画像データから不要領域を特定し、該不要領域を除去した画像を生成する形態について説明する。
第三の実施形態についても、第一の実施形態と同様の光音響装置を用い、乳頭に由来する信号を除去する一例を説明する。
図14は、第三の実施形態における画像処理装置1400の機能構成の一例を示す図である。本実施形態における画像処理装置1400は、前述した各実施形態におけるデータ処理部606に相当する。なお、画像処理装置は、表示部607やデータ記憶部608を備えてもよい。また、図14には図示していないが、図6に示す他の構成部を備えてもよい。
画像処理装置は、第一の実施形態と同様に、CPUやGPU等のプロセッサが、ROM、磁気ディスク、フラッシュメモリ等の非一時記憶媒体やRAMなどの揮発性の記憶媒体と協働して動作する。すなわち、少なくとも1つのプロセッサが少なくとも1つのメモリに格納されたプログラム(指示)を実行することで、各機能が実現される。なお、画像処理装置は、いわゆるクラウドシステム(1または複数の仮想サーバ)として動作してもよい。
本実施形態における画像処理装置1400は、取得部1401、抽出部1402、設定部1403、画像処理部1404、生成部1405、表示制御部1406を機能部として備えている。なお、本発明を実施するにあたり、表示制御部1406は必須ではない。よって、表示制御部1406に対する出力や表示制御部1406による表示制御は実行しなくてもよい。
取得部1401(取得手段)は、データ記憶部608から、音響波に基づくボリュームデータ(前述した各実施形態における光音響データ)を用いて生成された複数の第1の画像データを取得する。本実施形態においても、第1の画像データは最大値投影法により投影することで生成される二次元画像データ、すなわちMIP画像データである。データ記憶部608に第1の画像データが記憶されていない場合は、後述する生成部1405がボリュームデータを用いて第1の画像データを生成する。具体的には、前述した各実施形態と同様に、生成部1405は、ボリュームデータのスライス位置を変更し、所定のスライス厚で最大値投影法により投影することで複数の第1の画像データを生成する。乳頭の信号を除去する場合は、スライス位置を、体表面である皮膚表面から体内方向に移動させることが望ましい。そして、取得部1401は、取得した複数の第1の画像データを抽出部1402、生成部1405、表示制御部1406に出力する。
抽出部1402(抽出手段)は、取得部1401から出力された複数の第1の画像データを受け取り、該複数の第1の画像データから特徴点を抽出する。すなわち、抽出部1402は、複数の第1の画像データそれぞれに対して図3に示すような処理を実行し、各画像データから局所特徴量を持つ特徴点を抽出する。なお、特徴点の抽出手法は、前述した手法に限らない。そして、抽出部1402は、抽出した特徴点に関する情報と複数の第1の画像データとを設定部1403に出力する。また、抽出部1402は、抽出した特徴点に関する情報を表示制御部1406に出力する。
設定部1403(設定手段)は、抽出部1402から出力された特徴点に関する情報と複数の第1の画像データとを受け取る。そして、設定部1403は、抽出された特徴点の分布を用いて、1または複数の第1の画像データに不要領域を設定する。具体的には、設定部1403は、受け取った第1の画像データそれぞれに対して、特徴点の分布密度を求める。前述した通り、特徴点の分布密度が高い領域は、乳頭周辺領域(すなわち、不要領域)である可能性が高い。よって、第1の画像データごとに、こうした領域の有無を判断する。所定値よりも高い分布密度を有する領域が画像データに含まれていれば、不要領域を含む画像データであると判断し、そうでなければ、不要領域を含んでいない画像データであると判断する。なお、判断基準である所定値は、任意の値が設定可能である。そして、不要領域を含む画像データであると判断された1または複数の第1の画像データにおいて、特徴点の分布密度が高いと判断された領域の画素を不要領域の画素として設定する。設定部1403は、設定された画素に関する情報(例えば、画素の座標)と、不要領域を含む1または複数の第1の画像データを画像処理部1404に出力する。
画像処理部1404(画像処理手段)は、設定部1403から出力された不要領域として設定された画素に関する情報と、不要領域を含む1または複数の第1の画像データとを受け取る。そして、画像処理部1404は、不要領域が設定された1または複数の第1の画像データにおいて、不要領域の画素値を少なくとも低減する。不要領域を含むと判断された各画像データにおいて、不要領域として設定された画素に関する情報に従って、画素値を低減する画素を特定する。そして、該特定された画素の画素値を少なくとも低減することで、不要領域を各画像データから除去する。画像処理部1404は、不要領域が除去された1または複数の第1の画像データを生成部1405に出力する。
生成部1405(生成手段)は、画像処理部1404から出力された、不要領域が除去された1または複数の第1の画像データを受け取る。また、取得部1401から出力された複数の第1の画像データを受け取る。そして、生成部1405は、不要領域の画素値が少なくとも低減された1または複数の第1の画像データと、不要領域を含んでいない1または複数の第1の画像データとを用いて、第2の画像データを生成する。具体的には、まず、生成部1405は、画像処理部1404から出力された、不要領域が除去された1または複数の第1の画像データを取得する。そして、取得部1401から出力された複数の第1の画像データのうち、不要領域を含んでいない1または複数の第1の画像データを取得する。これらを最大値投影法により合体して投影し、第2の画像データとして、1または複数のMIP画像を生成する。そして、生成部1405は、生成した第2の画像データを表示制御部1406に出力する。
表示制御部1406(表示制御手段)は、取得部1401から出力された1または複数の第1の画像データを受け取る。また、抽出部1402から出力された特徴点に関する情報を受け取る。そして、表示制御部1406は、受け取った1または複数の第1の画像データが示す画像と特徴点に関する情報とを表示部607に表示させる。第1の実施形態と同様に、図10に示すようなGUIにこれらの情報を表示すればよい。このようにすることで、ユーザーに各画像データにおける特徴点の分布を確認させることが可能である。また、設定部1403は、表示された画像上でユーザーから1点の指定を受け付けて、これを第一の実施形態における基準点として設定することも可能である。画像処理部1404は、この基準点と特徴点の分布とを用いて、不要領域を設定する。このようにすることで、乳頭とその周辺領域を不要領域として自動的に設定するにあたり、乳頭位置が基準点として設定されていれば、体表面の体毛やほくろなどに由来する局所特徴量の多い他の場所と区別することができる。すなわち、不要領域を精度よく設定することができる。
また、表示制御部1406は、生成部1405から出力された第2の画像データを受け取り、これを表示部607に表示させる。こうすることで、本一連の処理結果をユーザーに確認させることができる。
次に、図15を用いて、第三の実施形態の処理手順を説明する。図15は、第三の実施形態における一連の処理を示すフローチャートである。なお、図15に示す各ステップの内容や順番はあくまで一例であり、用途や目的に応じて様々な形態がある。
ステップS1501では、取得部1401は、データ記憶部608から複数の第1の画像データを取得する。前述した通り、複数の第1の画像データは、音響波に基づくボリュームデータ(光音響データ)を用いて生成されたMIP画像データである。
ステップS1502では、抽出部1402は、ステップS1501にて取得された複数の第1の画像データそれぞれから、特徴点を抽出する。特徴点の抽出方法は、図3に示す方法や公知の方法を用いて、拡大・縮小・回転・輝度変化に対して頑強な局所特徴量を有する特徴点を抽出する。
ステップS1503では、表示制御部1406は、ステップS1501で取得した複数の第1の画像データと、ステップS1502で取得した特徴点に関する情報とを表示部607に表示させる。ステップS1503は、基準点を指定する場合に実行されるものであり、必須の処理ではない。表示制御部1406は、前述した図10に示すような画面を表示する。そして、該画面にいずれかの第1の画像データと、表示された第1の画像データに対応する特徴点に関する情報(例えば、特徴点自体、二次元ヒストグラム、特徴点の密度を推定した画像データ等)とを表示させる。そして、設定部1403は、少なくとも1つの第1の画像データにおいて基準点の指定を受け付ける。
ステップS1504では、設定部1403は、ステップS1502で抽出された特徴点の分布を用いて、1または複数の第1の画像データに不要領域を設定する。前述した通り、各画像データにおける特徴点の分布密度を求めて、所定値よりも分布密度の高い領域を不要領域として設定する。ステップS1503で基準点の指定を受け付けている場合には、該基準点の周辺の分布密度が所定値よりも高いか否かを判定すればよい。
ステップS1505では、画像処理部1404は、不要領域を含む1または複数の第1の画像データにおいて、ステップS1504で不要領域として設定された画素の画素値を少なくとも低減する。画像データのうち、不要領域に相当する画素を特定し、特定された画素の画素値を限りなくゼロに近い値に低減する(あるいは減衰する)、またはゼロに低減する(すなわち、削除する)ことにより、画像データから乳頭に由来する信号を除去する。後述するステップS1506で生成する第2の画像データにおいて不要領域が視認しづらくなれば、どのような画像処理を行ってもよい。
ステップS1506では、生成部1405は、不要領域の画素値が少なくとも低減された1または複数の第1の画像データと、不要領域を含んでいない1または複数の第1の画像データとを用いて、第2の画像データを生成する。第1の実施形態と同様に、これらの画像データを最大値投影法により合成することで、第2の画像データとして、MIP画像データを生成する。こうして生成された第2の画像データの一例が、第一の実施形態でも示した図11(b)である。
ステップS1507では、表示制御部1406は、ステップS1506で生成された第2の画像データを表示部607に表示させる。これにより、生成結果をユーザーに確認させる。
以上のようにすることで、乳頭・乳輪付近に由来する光音響信号と、乳頭・乳輪よりも体内に存在する関心領域の光音響信号とを識別することが困難であったという課題を解決することが可能となる。
<その他の実施形態>
以上、実施形態を詳述したが、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、画像処理装置の機能を分散させることで複数の機器から構成されるシステムに本発明を適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明の機能および処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。また、本発明の範囲には、上述の実施例に示す機能および処理を実現するためのコンピュータプログラム自体も含まれる。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合には、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。なお本発明の範囲は上述した実施形態に限定されるものではない。
以上、実施形態を詳述したが、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、画像処理装置の機能を分散させることで複数の機器から構成されるシステムに本発明を適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明の機能および処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。また、本発明の範囲には、上述の実施例に示す機能および処理を実現するためのコンピュータプログラム自体も含まれる。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合には、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。なお本発明の範囲は上述した実施形態に限定されるものではない。
1400 画像処理装置
1401 取得部
1402 抽出部
1403 設定部
1404 画像処理部
1405 生成部
1406 表示制御部
1401 取得部
1402 抽出部
1403 設定部
1404 画像処理部
1405 生成部
1406 表示制御部
Claims (11)
- 音響波に基づくボリュームデータを用いて生成された複数の第1の画像データを取得する取得手段と、
複数の前記第1の画像データから特徴点を抽出する抽出手段と、
前記抽出された特徴点の分布を用いて、1または複数の前記第1の画像データに不要領域を設定する設定手段と、
前記不要領域が設定された1または複数の前記第1の画像データにおいて、前記不要領域の画素値を低減する画像処理手段と、
前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを用いて、第2の画像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記設定手段は、少なくとも1つの前記第1の画像データにおいて基準点を設定し、前記基準点と前記特徴点の分布とを用いて、前記不要領域を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記第1の画像データが示す画像と、前記第1の画像データに含まれる前記特徴点に関する情報とを表示部に表示させる表示制御手段
を更に備え、
前記設定手段は、前記表示された画像上に指定された点を基準点として設定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記特徴点に関する情報は、前記特徴点の分布を示す二次元ヒストグラムであることを特徴とする請求項3に記載の画像処理装置。
- 前記特徴点に関する情報は、前記特徴点の密度を推定した画像であることを特徴とする請求項3に記載の画像処理装置。
- 前記表示制御手段は、更に、表示中の前記第1の画像データとは異なる他の前記第1の画像データに切り替えるためのGUIを前記表示部に表示させることを特徴とする請求項3乃至5のいずれか1項に記載の画像処理装置。
- 前記生成手段は、最大値投影法により、前記第2の画像データを生成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを合成することにより、前記第2の画像データを生成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記ボリュームデータは、被検体の***に対して光音響測定を行うことにより取得されたデータであり、
前記不要領域は、前記被検体の乳頭周辺に相当する領域であることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 音響波に基づくボリュームデータを用いて生成された複数の第1の画像データを取得する取得ステップと、
複数の前記第1の画像データから特徴点を抽出する抽出ステップと、
前記抽出された特徴点の分布を用いて、1または複数の前記第1の画像データに不要領域を設定する設定ステップと、
前記不要領域が設定された1または複数の前記第1の画像データにおいて、前記不要領域の画素値を低減する画像処理ステップと、
前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを用いて、第2の画像データを生成する生成ステップと、
を備えることを特徴とする画像処理方法。 - 音響波に基づくボリュームデータを用いて生成された複数の第1の画像データを取得する取得ステップと、
複数の前記第1の画像データから特徴点を抽出する抽出ステップと、
前記抽出された特徴点の分布を用いて、1または複数の前記第1の画像データに不要領域を設定する設定ステップと、
前記不要領域が設定された1または複数の前記第1の画像データにおいて、前記不要領域の画素値を低減する画像処理ステップと、
前記不要領域の画素値が低減された1または複数の前記第1の画像データと、前記不要領域を含んでいない1または複数の前記第1の画像データとを用いて、第2の画像データを生成する生成ステップと、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228149A JP2019097591A (ja) | 2017-11-28 | 2017-11-28 | 画像処理装置、画像処理方法、及びプログラム |
US16/190,718 US10825175B2 (en) | 2017-11-28 | 2018-11-14 | Apparatus, method, and medium for reducing pixel values in unnecessary regions in medical images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228149A JP2019097591A (ja) | 2017-11-28 | 2017-11-28 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019097591A true JP2019097591A (ja) | 2019-06-24 |
Family
ID=66632523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017228149A Pending JP2019097591A (ja) | 2017-11-28 | 2017-11-28 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10825175B2 (ja) |
JP (1) | JP2019097591A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020191914A (ja) * | 2019-05-24 | 2020-12-03 | 株式会社大一商会 | 遊技機 |
JPWO2021149127A1 (ja) * | 2020-01-21 | 2021-07-29 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10799189B2 (en) | 2017-11-22 | 2020-10-13 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
US10783634B2 (en) | 2017-11-22 | 2020-09-22 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6868171B2 (en) * | 1997-10-24 | 2005-03-15 | Ultratouch Corporation | Dynamic color imaging method and system |
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US7689016B2 (en) * | 2005-05-27 | 2010-03-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
US20150054826A1 (en) * | 2009-03-19 | 2015-02-26 | Real Time Companies | Augmented reality system for identifying force capability and occluded terrain |
CN103608697B (zh) * | 2011-09-15 | 2016-06-08 | 株式会社岛津制作所 | 医疗用数据处理装置及具有该医疗用数据处理装置的放射线断层摄像装置 |
JP5852597B2 (ja) | 2012-02-13 | 2016-02-03 | 富士フイルム株式会社 | 光音響画像化方法および装置 |
KR101580254B1 (ko) * | 2012-03-14 | 2015-12-24 | 삼성전자 주식회사 | 주파수 영역에서의 의료 영상 진단 장치 및 방법 |
EP3035850B1 (en) * | 2013-08-20 | 2020-05-13 | Densitas Incorporated | Methods and systems for determining breast density |
KR102267060B1 (ko) * | 2014-08-19 | 2021-06-21 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
KR102324192B1 (ko) * | 2014-10-13 | 2021-11-09 | 삼성전자주식회사 | 의료 영상 장치 및 그 제어 방법 |
WO2016152633A1 (ja) * | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理システムおよび画像処理方法、並びにプログラム |
US10568564B2 (en) * | 2015-07-30 | 2020-02-25 | Restoration Robotics, Inc. | Systems and methods for hair loss management |
US9767557B1 (en) * | 2016-06-23 | 2017-09-19 | Siemens Healthcare Gmbh | Method and system for vascular disease detection using recurrent neural networks |
-
2017
- 2017-11-28 JP JP2017228149A patent/JP2019097591A/ja active Pending
-
2018
- 2018-11-14 US US16/190,718 patent/US10825175B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020191914A (ja) * | 2019-05-24 | 2020-12-03 | 株式会社大一商会 | 遊技機 |
JPWO2021149127A1 (ja) * | 2020-01-21 | 2021-07-29 | ||
JP7292434B2 (ja) | 2020-01-21 | 2023-06-16 | 株式会社エビデント | 赤血球分化モニタリング装置および赤血球分化モニタリング方法 |
Also Published As
Publication number | Publication date |
---|---|
US10825175B2 (en) | 2020-11-03 |
US20190164284A1 (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825175B2 (en) | Apparatus, method, and medium for reducing pixel values in unnecessary regions in medical images | |
US9339254B2 (en) | Object information acquiring apparatus | |
JP6335612B2 (ja) | 光音響装置、処理装置、処理方法、及びプログラム | |
US10064556B2 (en) | Photoacoustic apparatus, signal processing method of photoacoustic apparatus, and program | |
JP6362301B2 (ja) | 被検体情報取得装置、および、被検体情報取得装置の作動方法 | |
JP2013255697A (ja) | 被検体情報取得装置およびその制御方法 | |
JP6025888B2 (ja) | 光音響装置、装置および方法 | |
EP3552553B1 (en) | Image processing apparatus, image processing method, and program | |
JP2017042612A (ja) | 被検体情報を取得する装置および方法 | |
JP6946307B2 (ja) | 情報取得装置および信号処理方法 | |
EP3329843B1 (en) | Display control apparatus, display control method, and program | |
JP6218908B2 (ja) | 方法 | |
US10695006B2 (en) | Apparatus and display control method | |
JP2018126454A (ja) | 被検体情報取得装置および表示方法 | |
JP6425438B2 (ja) | 被検体情報取得装置および画像処理方法 | |
JP6776115B2 (ja) | 処理装置および処理方法 | |
US20190099083A1 (en) | Information processing apparatus and information processing method | |
JP6419281B2 (ja) | 情報処理装置および方法 | |
JP6786260B2 (ja) | 超音波診断装置及び画像生成方法 | |
JP2019088346A (ja) | 光音響装置および被検体情報取得方法 | |
US20200138413A1 (en) | Object information acquiring apparatus and object information acquiring method | |
JP2019000387A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10438382B2 (en) | Image processing apparatus and image processing method | |
JP2017042603A (ja) | 被検体情報取得装置 | |
JP6643108B2 (ja) | 被検体情報取得装置および被検体情報取得方法 |