JP2020028390A - Image processing system, image processing method, image display method and program - Google Patents

Image processing system, image processing method, image display method and program Download PDF

Info

Publication number
JP2020028390A
JP2020028390A JP2018155034A JP2018155034A JP2020028390A JP 2020028390 A JP2020028390 A JP 2020028390A JP 2018155034 A JP2018155034 A JP 2018155034A JP 2018155034 A JP2018155034 A JP 2018155034A JP 2020028390 A JP2020028390 A JP 2020028390A
Authority
JP
Japan
Prior art keywords
image processing
image
flow information
image data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018155034A
Other languages
Japanese (ja)
Other versions
JP2020028390A5 (en
JP7320221B2 (en
Inventor
大樹 梶田
Daiki Kajita
大樹 梶田
宣晶 今西
Nobuaki Imanishi
宣晶 今西
貞和 相磯
Sadakazu Aiiso
貞和 相磯
萌美 浦野
Megumi Urano
萌美 浦野
長永　兼一
Kenichi Osanaga
兼一 長永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Keio University
Original Assignee
Canon Inc
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, Keio University filed Critical Canon Inc
Priority to JP2018155034A priority Critical patent/JP7320221B2/en
Priority to PCT/JP2019/013968 priority patent/WO2020039641A1/en
Publication of JP2020028390A publication Critical patent/JP2020028390A/en
Publication of JP2020028390A5 publication Critical patent/JP2020028390A5/ja
Priority to JP2023112970A priority patent/JP2023123874A/en
Application granted granted Critical
Publication of JP7320221B2 publication Critical patent/JP7320221B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

To provide an information processing system used for a system for generating a display image capable of grasping easily a structure of a contrast object by photoacoustic imaging.SOLUTION: There is provided an image processing system for processing three dimensional image data in time series including three dimensional image data corresponding to each of a plurality of times of light irradiation, generated based on an input signal of a photoacoustic wave generated by the plurality of times of light irradiation to an analyte. The image processing system has flow information acquisition means for acquiring flow information of a light absorber in the analyte, based on the three dimensional image data in time series.SELECTED DRAWING: Figure 1

Description

本発明は、光音響イメージングにより画像を生成するシステムに用いられる情報処理に関する。   The present invention relates to information processing used in a system for generating an image by photoacoustic imaging.

血管やリンパ管等の検査において、造影剤を利用した光音響イメージング（「光超音波イメージング」ともよぶ。）が知られている。特許文献１には、リンパ節やリンパ管などの造影のために用いられる造影剤を評価対象とし、その造影剤が吸収して光音響波を発生する波長の光を出射する光音響画像生成装置が記載されている。   In the examination of blood vessels, lymph vessels, and the like, photoacoustic imaging using a contrast agent (also referred to as “optical ultrasonic imaging”) is known. Patent Literature 1 discloses a photoacoustic image generation device that evaluates a contrast agent used for imaging lymph nodes, lymph vessels, and the like, and emits light having a wavelength that generates a photoacoustic wave when the contrast agent is absorbed. Is described.

国際公開第２０１７／００２３３７号International Publication No. WO 2017/002337

しかしながら、特許文献１に記載の光音響イメージングでは、被検体内部の造影対象の構造（例えば、血管やリンパ管等の走行）を把握しにくい場合がある。   However, in the photoacoustic imaging described in Patent Literature 1, it may be difficult to grasp the structure of the contrast target inside the subject (for example, running of blood vessels, lymph vessels, and the like).

そこで本発明は、光音響イメージングによって造影対象の構造を把握しやすい画像を生成するシステムに用いられる情報処理装置を提供することを目的とする。   Therefore, an object of the present invention is to provide an information processing apparatus used for a system that generates an image in which a structure of a contrast target can be easily grasped by photoacoustic imaging.

本発明は、
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理装置であって、
前記時系列の３次元画像データに基づいて、前記被検体内の光吸収体の流れ情報を取得する流れ情報取得手段を有する
ことを特徴とする画像処理装置を提供する。
本発明は、また、
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理方法であって、
前記時系列の３次元画像データに基づいて、前記被検体内の光吸収体の流れ情報を取得する流れ情報取得ステップを有する
ことを特徴とする画像処理方法を提供する。
本発明は、また、
光パルスを繰り返し照射し、被検体の特定領域における前記被検体の光吸収体分布の３次元画像を実質的に連続的に取得した画像の表示方法であって、一連の連続して取得した画像を、所定の速度で繰り返し再生表示する
ことを特徴とする画像表示方法を提供する。
本発明は、また、
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、前記時系列の３次元画像データに基づいて、前記被検体内の光吸
収体の流れ情報を取得する流れ情報取得ステップを有する
ことを特徴とするプログラムを提供する。 The present invention
Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations An image processing apparatus for processing
An image processing apparatus is provided, comprising: flow information acquisition means for acquiring flow information of a light absorber in the subject based on the time-series three-dimensional image data.
The present invention also provides
Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations An image processing method for processing
An image processing method is provided, further comprising a flow information obtaining step of obtaining flow information of a light absorber in the subject based on the time-series three-dimensional image data.
The present invention also provides
A method for displaying an image obtained by repeatedly irradiating a light pulse and obtaining a three-dimensional image of a light absorber distribution of the subject in a specific region of the subject substantially continuously, wherein a series of continuously obtained images is obtained. Is repeatedly reproduced and displayed at a predetermined speed.
The present invention also provides
Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations A program for causing a computer to execute an image processing method for processing
The image processing method provides a program having a flow information acquisition step of acquiring flow information of a light absorber in the subject based on the time-series three-dimensional image data.

本発明によれば、光音響イメージングによって造影対象の構造を把握しやすい画像を生成するシステムに用いられる情報処理装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the information processing apparatus used for the system which produces | generates the image which can easily grasp | ascertain the structure of a contrast target by photoacoustic imaging can be provided.

本発明の一実施形態に係るシステムのブロック図1 is a block diagram of a system according to an embodiment of the present invention. 本発明の一実施形態に係る画像処理装置とその周辺構成の具体例を示すブロック図FIG. 1 is a block diagram showing a specific example of an image processing apparatus according to an embodiment of the present invention and its peripheral configuration. 本発明の一実施形態に係る光音響装置の詳細なブロック図Detailed block diagram of a photoacoustic apparatus according to an embodiment of the present invention 本発明の一実施形態に係るプローブの模式図Schematic diagram of a probe according to one embodiment of the present invention 本発明の一実施形態に係る画像処理方法のフロー図Flow chart of an image processing method according to an embodiment of the present invention 本発明の一実施形態に係るリンパの流れ情報取得のフロー図Flow chart of lymph flow information acquisition according to one embodiment of the present invention 波長の組み合わせを変化させたときの、造影剤に対応する式（１）の計算値の等高線グラフContour graph of the calculated value of equation (1) corresponding to the contrast agent when the combination of wavelengths is changed ＩＣＧの濃度を変化させたときの、造影剤に対応する式（１）の計算値を示す折れ線グラフLine graph showing the calculated value of equation (1) corresponding to the contrast agent when the concentration of ICG is changed オキシヘモグロビンとデオキシヘモグロビンのモラー吸収係数スペクトルを示すグラフGraph showing the molar absorption coefficient spectrum of oxyhemoglobin and deoxyhemoglobin 本発明の一実施形態に係るＧＵＩを示す図FIG. 2 is a view showing a GUI according to an embodiment of the present invention. 画像処理装置がリンパの流れ情報を取得する方法を説明する図The figure explaining the method by which an image processing device acquires lymph flow information ＩＣＧの濃度を変化させたときの右前腕伸側の分光画像Spectral image of right forearm extension when ICG concentration is changed ＩＣＧの濃度を変化させたときの左前腕伸側の分光画像Spectral image of left forearm extension when ICG concentration is changed ＩＣＧの濃度を変化させたときの右下腿内側および左下腿内側の分光画像Spectral image of medial right and left lower leg when ICG concentration is changed

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. However, dimensions, materials, shapes, relative arrangements, and the like of the components described below should be appropriately changed depending on the configuration of the apparatus to which the invention is applied and various conditions. Therefore, it is not intended to limit the scope of the present invention to the following description.

本発明に係るシステムにより得られる光音響画像は、光エネルギーの吸収量や吸収率を反映している。光音響画像は、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数などの少なくとも１つの被検体情報の空間分布を表す画像である。光音響画像は、２次元の空間分布を表す画像であってもよいし、３次元の空間分布を表す画像（ボリュームデータ）であってもよい。本実施形態に係るシステムは、造影剤が導入された被検体を撮影することにより光音響画像を生成する。なお、造影対象の立体構造を把握するために、光音響画像は、被検体表面から深さ方向の２次元の空間分布を表す画像または３次元の空間分布を表す画像であってもよい。   The photoacoustic image obtained by the system according to the present invention reflects the absorption amount and the absorption rate of light energy. The photoacoustic image is an image representing a spatial distribution of at least one object information such as a generated sound pressure (initial sound pressure) of a photoacoustic wave, a light absorption energy density, and a light absorption coefficient. The photoacoustic image may be an image representing a two-dimensional spatial distribution or an image (volume data) representing a three-dimensional spatial distribution. The system according to the present embodiment generates a photoacoustic image by photographing a subject into which a contrast agent has been introduced. In order to grasp the three-dimensional structure of the contrast target, the photoacoustic image may be an image representing a two-dimensional spatial distribution or a three-dimensional spatial distribution in a depth direction from the subject surface.

また、本発明に係るシステムは、複数の波長に対応する複数の光音響画像を用いて被検体の分光画像を生成することができる。本発明の分光画像は、被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である。
なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示す画像であってもよい。使用する造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影
剤の領域と特定物質の領域とを区別することができる。なお、特定物質としては、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質が挙げられる。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する必要がある。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。 Further, the system according to the present invention can generate a spectral image of the subject using a plurality of photoacoustic images corresponding to a plurality of wavelengths. The spectral image of the present invention is based on a photoacoustic wave generated by irradiating a subject with light of a plurality of different wavelengths, and is an image generated using a photoacoustic signal corresponding to each of the plurality of wavelengths. is there.
Note that the spectral image may be an image generated using the photoacoustic signals corresponding to each of the plurality of wavelengths and indicating the concentration of the specific substance in the subject. When the light absorption coefficient spectrum of the contrast agent used and the light absorption coefficient spectrum of the specific substance are different, the image value of the contrast agent in the spectral image and the image value of the specific substance in the spectral image are different. Therefore, the region of the contrast agent and the region of the specific substance can be distinguished according to the image value of the spectral image. In addition, as the specific substance, a substance constituting the subject, such as hemoglobin, glucose, collagen, melanin, fat and water, may be mentioned. Also in this case, it is necessary to select a contrast agent having a light absorption spectrum different from the light absorption coefficient spectrum of the specific substance. Further, the spectral image may be calculated by a different calculation method according to the type of the specific substance.

以下に述べる実施形態では、酸素飽和度の計算式（１）を用いて算出された画像を分光画像として説明する。本発明者らは、複数の波長のそれぞれに対応する光音響信号に基づいて血中ヘモグロビンの酸素飽和度（酸素飽和度に相関をもつ指標でもよい）を計算する式（１）に対し、光吸収係数の波長依存性がオキシヘモグロビンおよびデオキシヘモグロビンとは異なる傾向を示す造影剤で得られた光音響信号の計測値Ｉ（ｒ）を代入した場合に、ヘモグロビンの酸素飽和度が取り得る数値範囲から大きくずれた計算値Ｉｓ（ｒ）が得られる、ということを見出した。それゆえ、この計算値Ｉｓ（ｒ）を画像値としてもつ分光画像を生成すれば、被検体内部におけるヘモグロビンの領域（血管領域）と造影剤の存在領域（例えばリンパ管に造影剤が導入された場合であればリンパ管の領域）とを画像上で分離（区別）することが容易となる。

Figure 2020028390
ここで、Ｉλ １（ｒ）は第１波長λ１の光照射により発生した光音響波に基づいた計測値であり、Ｉλ ２（ｒ）は第２波長λ２の光照射により発生した光音響波に基づいた計測値である。εＨｂ λ １は第１波長λ１に対応するデオキシヘモグロビンのモラー吸収係数［ｍｍ−１ｍｏｌ−１］であり、εＨｂ λ ２は第２波長λ２に対応するデオキシヘモグロビンのモラー吸収係数［ｍｍ−１ｍｏｌ−１］である。εＨｂＯ λ １は第１波長λ１に対応するオキシヘモグロビンのモラー吸収係数［ｍｍ−１ｍｏｌ−１］であり、εＨｂＯ λ ２は第２波長λ２に対応するオキシヘモグロビンのモラー吸収係数［ｍｍ−１ｍｏｌ−１］である。ｒは位置である。なお、計測値Ｉλ １（ｒ）、Ｉλ ２（ｒ）としては、吸収係数μａ λ １（ｒ）、μａ λ ２（ｒ）を用いてもよいし、初期音圧Ｐ０ λ １（ｒ）、Ｐ０ λ ２（ｒ）を用いてもよい。 In the embodiment described below, an image calculated using the oxygen saturation calculation formula (1) will be described as a spectral image. The present inventors have calculated the optical saturation of blood hemoglobin based on the photoacoustic signal corresponding to each of the plurality of wavelengths (or an index having a correlation with the oxygen saturation). When the measured value I (r) of a photoacoustic signal obtained with a contrast agent whose wavelength dependence of the absorption coefficient is different from that of oxyhemoglobin and deoxyhemoglobin is substituted, the numerical range in which the oxygen saturation of hemoglobin can be taken From the calculated value Is (r). Therefore, if a spectral image having the calculated value Is (r) as an image value is generated, the hemoglobin region (blood vessel region) and the contrast agent existing region (for example, the contrast agent is introduced into the lymphatic vessels) inside the subject. In this case, it is easy to separate (discriminate) the lymphatic region) from the image.
Figure 2020028390
 Here, I λ 1 (r) is a measurement value based on a photoacoustic wave generated by light irradiation of the first wavelength λ 1 , and I λ 2 (r) is generated by light irradiation of the second wavelength λ 2 This is a measurement value based on a photoacoustic wave. ε Hb λ 1 is the molar absorption coefficient of deoxyhemoglobin corresponding to the first wavelength λ 1 [mm −1 mol −1 ], and ε Hb λ 2 is the molar absorption coefficient of deoxy hemoglobin corresponding to the second wavelength λ 2 [ mm -1 mol -1 ]. ε HbO λ 1 is the molar absorption coefficient of oxyhemoglobin [mm −1 mol −1 ] corresponding to the first wavelength λ 1 , and ε HbO λ 2 is the molar absorption coefficient of oxyhemoglobin corresponding to the second wavelength λ 2 [ mm -1 mol -1 ]. r is a position. As the measured values I λ 1 (r) and I λ 2 (r), the absorption coefficients μ a λ 1 (r) and μ a λ 2 (r) may be used, or the initial sound pressure P 0 λ 1 (r) and P 0 λ 2 (r) may be used.

ヘモグロビンの存在領域（血管領域）から発生した光音響波に基づいた計測値を式（１）に代入すると、計算値Ｉｓ（ｒ）として、ヘモグロビンの酸素飽和度（または酸素飽和度に相関をもつ指標）が得られる。一方、造影剤を導入した被検体において、造影剤の存在領域（例えばリンパ管領域）から発生した音響波に基づいた計測値を式（１）に代入すると、計算値Ｉｓ（ｒ）として、擬似的な造影剤の濃度分布が得られる。なお、造影剤の濃度分布を計算する場合でも、式（１）ではヘモグロビンのモラー吸収係数の数値をそのまま用いればよい。このようにして得られた分光画像Ｉｓ（ｒ）は、被検体内部のヘモグロビンの存在領域（血管）と造影剤の存在領域（例えばリンパ管）の両方が互いに分離可能（区別可能）な状態で描出された画像となる。   When a measurement value based on a photoacoustic wave generated from a region where a hemoglobin exists (a blood vessel region) is substituted into Expression (1), the oxygen saturation of hemoglobin (or a correlation with the oxygen saturation) is obtained as a calculated value Is (r). Index) is obtained. On the other hand, when a measurement value based on an acoustic wave generated from a region where the contrast agent is present (for example, a lymphatic region) in the subject into which the contrast agent is introduced is substituted into Expression (1), a pseudo value is calculated as a calculated value Is (r). A concentration distribution of the contrast agent is obtained. Note that even when calculating the concentration distribution of the contrast agent, the numerical value of the molar absorption coefficient of hemoglobin may be used as it is in Expression (1). The spectral image Is (r) obtained in this manner is in a state where both the hemoglobin existing region (blood vessel) and the contrast agent existing region (for example, lymphatic vessel) inside the subject are separable from each other (can be distinguished). The image is rendered.

なお、本実施形態では、酸素飽和度を計算する式（１）を用いて分光画像の画像値を計算するが、酸素飽和度以外の指標を分光画像の画像値として計算する場合には、式（１）以外の算出方法を用いればよい。指標およびその算出方法としては、公知のものを利用可能であるため、ここでは詳しい説明を割愛する。   In the present embodiment, the image value of the spectral image is calculated using Expression (1) for calculating the oxygen saturation. However, when an index other than the oxygen saturation is calculated as the image value of the spectral image, the expression A calculation method other than (1) may be used. As the index and the method for calculating the index, known ones can be used, and a detailed description thereof will be omitted here.

また、本発明に係るシステムは、第１波長λ１の光照射により発生した光音響波に基づいた第１光音響画像および第２波長λ２の光照射により発生した光音響波に基づいた第２光音響画像の比を示す画像を分光画像としてもよい。すなわち、第１波長λ１の光照射により発生した光音響波に基づいた第１光音響画像および第２波長λ２の光照射により発生した光音響波に基づいた第２光音響画像の比に基づいた画像を分光画像としてよい。なお、式（１）の変形式にしたがって生成される画像も、第１光音響画像および第２光音響画像の比によって表現できるため、第１光音響画像および第２光音響画像の比に基づいた画像（分光画像）といえる。 Further, the system according to the present invention was based on the photoacoustic wave generated by the first light irradiation of the photoacoustic image and the second wavelength lambda 2, based on the photoacoustic wave generated by light irradiation of the first wavelength lambda 1 An image indicating the ratio of the two photoacoustic images may be used as the spectral image. That is, the ratio of the second photoacoustic image based on the photoacoustic wave generated by light irradiation of the first photoacoustic image and the second wavelength lambda 2, based on the photoacoustic wave generated by light irradiation of the first wavelength lambda 1 The image based on this may be a spectral image. Note that an image generated according to the modified expression of Expression (1) can also be expressed by the ratio between the first photoacoustic image and the second photoacoustic image. Image (spectral image).

なお、造影対象の立体構造を把握するために、分光画像は、被検体表面から深さ方向の２次元の空間分布を表す画像または３次元の空間分布を表す画像であってもよい。   In order to grasp the three-dimensional structure of the contrast target, the spectral image may be an image representing a two-dimensional spatial distribution or a three-dimensional spatial distribution in the depth direction from the subject surface.

以下、本実施形態のシステムの構成及び画像処理方法について説明する。
図１を用いて本実施形態に係るシステムを説明する。図１は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置１１００、記憶装置１２００、画像処理装置１３００、表示装置１４００、及び入力装置１５００を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
光音響装置１１００は、造影剤が導入された被検体を撮影することにより光音響画像を生成し、記憶装置１２００に出力する。光音響装置１１００は、光照射により発生した光音響波を受信することにより得られる受信信号を用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する装置である。すなわち、光音響装置１１００は、光音響波に由来した特性値情報の空間分布を医用画像データ（光音響画像）として生成する装置である。 Hereinafter, a system configuration and an image processing method of the present embodiment will be described.
A system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of a system according to the present embodiment. The system according to the present embodiment includes a photoacoustic device 1100, a storage device 1200, an image processing device 1300, a display device 1400, and an input device 1500. Transmission and reception of data between the devices may be performed by wire or wirelessly.
The photoacoustic device 1100 generates a photoacoustic image by capturing an image of the subject into which the contrast agent has been introduced, and outputs the photoacoustic image to the storage device 1200. The photoacoustic device 1100 is a device that generates information of characteristic values corresponding to each of a plurality of positions in a subject using a reception signal obtained by receiving a photoacoustic wave generated by light irradiation. That is, the photoacoustic apparatus 1100 is an apparatus that generates a spatial distribution of characteristic value information derived from a photoacoustic wave as medical image data (photoacoustic image).

記憶装置１２００は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの記憶媒体であってもよい。また、記憶装置１２００は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等のネットワークを介した記憶サーバであってもよい。   The storage device 1200 may be a storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory. Further, the storage device 1200 may be a storage server via a network such as a PACS (Picture Archiving and Communication System).

画像処理装置１３００は、記憶装置１２００に記憶された光音響画像や光音響画像の付帯情報等の情報を処理する装置である。
画像処理装置１３００の演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。 The image processing device 1300 is a device that processes information such as a photoacoustic image and incidental information of the photoacoustic image stored in the storage device 1200.
A unit having an arithmetic function of the image processing apparatus 1300 can be configured by an arithmetic circuit such as a CPU, a processor such as a GPU (Graphics Processing Unit), or an FPGA (Field Programmable Gate Array) chip. These units may be configured not only from a single processor or arithmetic circuit, but also from a plurality of processors or arithmetic circuits.

画像処理装置１３００の記憶機能を担うユニットは、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。   A unit having a storage function of the image processing apparatus 1300 can be configured by a non-temporary storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory. In addition, the unit having the storage function may be a volatile medium such as a RAM (Random Access Memory). The storage medium on which the program is stored is a non-temporary storage medium. Note that the unit having the storage function is not limited to a single storage medium, and may be configured from a plurality of storage media.

画像処理装置１３００の制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、コンピュータ１５０に格納されたプログラムコードを読み出し、システムの各構成の作動を制御してもよい。   A unit having a control function of the image processing apparatus 1300 is configured by an arithmetic element such as a CPU. A unit having a control function controls the operation of each component of the system. The unit having the control function may control each component of the system in response to an instruction signal from various operations such as the start of measurement from the input unit. Further, the unit having the control function may read out the program code stored in the computer 150 and control the operation of each component of the system.

表示装置１４００は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイである。また、表示装置１４００は、画像や装置を操作するためのＧＵＩを表示してもよい。   The display device 1400 is a display such as a liquid crystal display or an organic EL (Electro Luminescence). The display device 1400 may display an image or a GUI for operating the device.

入力装置１５００としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示装置１４００をタッチパネルで構成し、表示装置１４００を入力装置１５００として利用してもよい。   As the input device 1500, an operation console that can be operated by a user and includes a mouse, a keyboard, and the like can be employed. Further, the display device 1400 may be configured with a touch panel, and the display device 1400 may be used as the input device 1500.

図２は、本実施形態に係る画像処理装置１３００の具体的な構成例を示す。本実施形態に係る画像処理装置１３００は、ＣＰＵ１３１０、ＧＰＵ１３２０、ＲＡＭ１３３０、ＲＯＭ１３４０、外部記憶装置１３５０から構成される。また、画像処理装置１３００には、表示装置１４００としての液晶ディスプレイ１４１０、入力装置１５００としてのマウス１５１０、キーボード１５２０が接続されている。さらに、画像処理装置１３００は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ
Ｓｙｓｔｅｍ）などの記憶装置１２００としての画像サーバ１２１０と接続されている。これにより、画像データを画像サーバ１２１０上に保存したり、画像サーバ１２１０上の画像データを液晶ディスプレイ１４１０に表示したりすることができる。 FIG. 2 shows a specific configuration example of the image processing apparatus 1300 according to the present embodiment. The image processing apparatus 1300 according to the present embodiment includes a CPU 1310, a GPU 1320, a RAM 1330, a ROM 1340, and an external storage device 1350. In addition, a liquid crystal display 1410 as a display device 1400, a mouse 1510 as an input device 1500, and a keyboard 1520 are connected to the image processing device 1300. Further, the image processing apparatus 1300 includes a PACS (Picture Archiving and Communication).
The system is connected to an image server 1210 as a storage device 1200 such as a System. Thus, the image data can be stored on the image server 1210 or the image data on the image server 1210 can be displayed on the liquid crystal display 1410.

次に、本実施形態に係るシステムに含まれる装置の構成例を説明する。図３は、本実施形態に係るシステムに含まれる装置の概略ブロック図である。   Next, a configuration example of an apparatus included in the system according to the present embodiment will be described. FIG. 3 is a schematic block diagram of devices included in the system according to the present embodiment.

本実施形態に係る光音響装置１１００は、駆動部１３０、信号収集部１４０、コンピュータ１５０、プローブ１８０、及び導入部１９０を有する。プローブ１８０は、光照射部１１０、及び受信部１２０を有する。図４は、本実施形態に係るプローブ１８０の模式図を示す。測定対象は、導入部１９０により造影剤が導入された被検体１００である。駆動部１３０は、光照射部１１０と受信部１２０を駆動し、機械的な走査を行う。光照射部１１０が光を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部１２０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。   The photoacoustic apparatus 1100 according to the present embodiment includes a drive unit 130, a signal collection unit 140, a computer 150, a probe 180, and an introduction unit 190. The probe 180 has a light irradiation unit 110 and a reception unit 120. FIG. 4 is a schematic diagram of the probe 180 according to the present embodiment. The measurement target is the subject 100 into which the contrast agent has been introduced by the introduction unit 190. The drive unit 130 drives the light irradiation unit 110 and the reception unit 120 to perform mechanical scanning. The light irradiation unit 110 irradiates the subject 100 with light, and an acoustic wave is generated in the subject 100. An acoustic wave generated by the photoacoustic effect due to light is also called a photoacoustic wave. The receiving unit 120 outputs an electric signal (photoacoustic signal) as an analog signal by receiving the photoacoustic wave.

信号収集部１４０は、受信部１２０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。   The signal collecting unit 140 converts the analog signal output from the receiving unit 120 into a digital signal, and outputs the digital signal to the computer 150. The computer 150 stores the digital signal output from the signal collection unit 140 as signal data derived from a photoacoustic wave.

コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、光音響画像を生成する。また、コンピュータ１５０は、得られた光音響画像に対して画像処理を施した後に、光音響画像を表示部１６０に出力する。表示部１６０は、光音響画像に基づいた画像を表示する。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどの記憶装置１２００に保存される。   The computer 150 generates a photoacoustic image by performing signal processing on the stored digital signal. In addition, the computer 150 outputs the photoacoustic image to the display unit 160 after performing image processing on the obtained photoacoustic image. The display unit 160 displays an image based on the photoacoustic image. The display image is stored in a memory in the computer 150 or a storage device 1200 such as a data management system connected to the modality via a network based on a storage instruction from the user or the computer 150.

また、コンピュータ１５０は、光音響装置に含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置１１００の各構成の詳細を説明する。 The computer 150 also performs drive control of components included in the photoacoustic device. The display unit 160 may display a GUI or the like in addition to the image generated by the computer 150. The input unit 170 is configured to allow a user to input information. The user can use the input unit 170 to perform operations such as start and end of measurement, and an instruction to save a created image.
Hereinafter, details of each configuration of the photoacoustic apparatus 1100 according to the present embodiment will be described.

（光照射部１１０）
光照射部１１０は、光を発する光源１１１と、光源１１１から射出された光を被検体１
００へ導く光学系１１２とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。 (Light irradiation unit 110)
The light irradiation unit 110 includes a light source 111 that emits light, and light emitted from the light source 111.
And an optical system 112 for leading to 00. Note that the light includes pulse light such as a so-called rectangular wave and a triangular wave.

光源１１１が発する光のパルス幅としては、熱閉じ込め条件および応力閉じ込め条件を考慮すると、１００ｎｓ以下のパルス幅であることが好ましい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。   The pulse width of the light emitted from the light source 111 is preferably 100 ns or less in consideration of the thermal confinement condition and the stress confinement condition. Further, the wavelength of the light may be in the range of about 400 nm to 1600 nm. When imaging a blood vessel with high resolution, a wavelength (400 nm or more and 700 nm or less) at which absorption in the blood vessel is large may be used. When imaging a deep part of a living body, light having a wavelength (700 nm or more and 1100 nm or less) that typically absorbs little in a background tissue (water or fat) of the living body may be used.

光源１１１としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源１１１としてマイクロウェーブ源を用いてもよい。   As the light source 111, a laser or a light emitting diode can be used. When measuring using light of a plurality of wavelengths, a light source whose wavelength can be changed may be used. When irradiating the subject with a plurality of wavelengths, it is also possible to prepare a plurality of light sources that generate light having different wavelengths from each other, and irradiate each of the light sources alternately. When a plurality of light sources are used, they are collectively expressed as a light source. Various lasers such as a solid-state laser, a gas laser, a dye laser, and a semiconductor laser can be used as the laser. For example, a pulsed laser such as an Nd: YAG laser or an alexandrite laser may be used as a light source. Alternatively, a Ti: sa laser using an Nd: YAG laser beam as an excitation light or an OPO (Optical Parametric Oscillators) laser may be used as a light source. Further, a flash lamp or a light emitting diode may be used as the light source 111. Further, a microwave source may be used as the light source 111.

光学系１１２には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。***等を被検体１００とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系１１２の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部１１０が光学系１１２を備えずに、光源１１１から直接被検体１００に光を照射してもよい。 Optical elements such as lenses, mirrors, and optical fibers can be used for the optical system 112. When a breast or the like is used as the subject 100, the light emitting unit of the optical system may be configured with a diffusion plate or the like that diffuses light in order to irradiate the pulsed light with a wider beam diameter. On the other hand, in the photoacoustic microscope, in order to increase the resolution, the light emitting portion of the optical system 112 may be configured by a lens or the like, and the beam may be focused and irradiated.
The light irradiating unit 110 may directly irradiate the subject 100 with light from the light source 111 without including the optical system 112.

（受信部１２０）
受信部１２０は、音響波を受信することにより電気信号を出力するトランスデューサ１２１と、トランスデューサ１２１を支持する支持体１２２とを含む。また、トランスデューサ１２１は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。 (Receiver 120)
The receiving unit 120 includes a transducer 121 that outputs an electric signal by receiving an acoustic wave, and a support 122 that supports the transducer 121. Further, the transducer 121 may be a transmitting unit that transmits an acoustic wave. The transducer as the receiving means and the transducer as the transmitting means may be a single (common) transducer or may have different configurations.

トランスデューサ１２１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。
光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１２１として、これらの周波数を検出することのできるものを採用して
もよい。 As a member constituting the transducer 121, a piezoelectric ceramic material represented by PZT (lead zirconate titanate), a polymer piezoelectric film material represented by PVDF (polyvinylidene fluoride), or the like can be used. Further, an element other than the piezoelectric element may be used. For example, a transducer using a capacitive micro-machined Ultrasonic Transducers (CMUT) or the like can be used. Note that any transducer may be employed as long as an electrical signal can be output by receiving an acoustic wave. The signal obtained by the transducer is a time-resolved signal. That is, the amplitude of the signal obtained by the transducer indicates a value based on the sound pressure received by the transducer at each time (for example, a value proportional to the sound pressure).
The frequency component constituting the photoacoustic wave is typically 100 KHz to 100 MHz, and a transducer that can detect these frequencies may be employed as the transducer 121.

支持体１２２は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体１２２の被検体１００側の表面に、鏡面加工もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体１２２は半球殻形状であり、半球殻上に複数のトランスデューサ１２１を支持できるように構成されている。この場合、支持体１２２に配置されたトランスデューサ１２１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１２１から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１２２はトランスデューサ１２１を支持できる限り、いかなる構成であってもよい。支持体１２２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ１２１が複数の受信手段に相当する。   The support 122 may be made of a metal material having high mechanical strength. In order to cause a large amount of irradiation light to enter the subject, the surface of the support 122 on the subject 100 side may be subjected to mirror finishing or light scattering. In the present embodiment, the support 122 has a hemispherical shell shape, and is configured to be able to support the plurality of transducers 121 on the hemispherical shell. In this case, the directional axes of the transducers 121 disposed on the support body 122 gather near the center of curvature of the hemisphere. Then, when an image is formed using the signals output from the plurality of transducers 121, the image quality near the center of curvature becomes high. The support 122 may have any configuration as long as it can support the transducer 121. The support 122 may arrange a plurality of transducers in a plane or a curved surface such as a 1D array, a 1.5D array, a 1.75D array, and a 2D array. The plurality of transducers 121 correspond to a plurality of receiving units.

また、支持体１２２は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体１２２をトランスデューサ１２１と被検体１００との間に音響マッチング材を配置するための容器としてもよい。   Further, the support 122 may function as a container for storing the acoustic matching material. That is, the support 122 may be a container for disposing the acoustic matching material between the transducer 121 and the subject 100.

また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、受信部１２０が後述する信号収集部１４０を備えてもよい。   Further, receiving section 120 may include an amplifier that amplifies a time-series analog signal output from transducer 121. Further, the receiving unit 120 may include an A / D converter that converts a time-series analog signal output from the transducer 121 into a time-series digital signal. That is, the receiving unit 120 may include a signal collecting unit 140 described later.

受信部１２０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。   The space between the receiving unit 120 and the subject 100 is filled with a medium through which a photoacoustic wave can propagate. For this medium, a material that can transmit an acoustic wave, has matching acoustic characteristics at the interface with the subject 100 and the transducer 121, and has the highest possible transmittance of the photoacoustic wave is used. For example, water, an ultrasonic gel, or the like can be used as the medium.

図４は、プローブ１８０の側面図を示す。本実施形態に係るプローブ１８０は、開口を有する半球状の支持体１２２に複数のトランスデューサ１２１が３次元に配置された受信部１２０を有する。また、支持体１２２の底部には、光学系１１２の光射出部が配置されている。   FIG. 4 shows a side view of the probe 180. The probe 180 according to the present embodiment has a receiving unit 120 in which a plurality of transducers 121 are three-dimensionally arranged on a hemispherical support body 122 having an opening. In addition, a light emitting portion of the optical system 112 is disposed at the bottom of the support 122.

本実施形態においては、図４に示すように被検体１００は、保持部２００に接触することにより、その形状が保持される。
受信部１２０と保持部２００の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質には、光音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。 In the present embodiment, as shown in FIG. 4, the shape of the subject 100 is held by contacting the holding unit 200.
The space between the receiving unit 120 and the holding unit 200 is filled with a medium through which a photoacoustic wave can propagate. For this medium, a material that can transmit a photoacoustic wave, matches acoustic characteristics at the interface with the subject 100 and the transducer 121, and has a transmittance of the photoacoustic wave as high as possible is used. For example, water, an ultrasonic gel, or the like can be used as the medium.

保持手段としての保持部２００は被検体１００の形状を測定中に保持するために使用される。保持部２００により被検体１００を保持することによって、被検体１００の動きの抑制および被検体１００の位置を保持部２００内に留めることができる。保持部２００の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる   The holding unit 200 as a holding unit is used to hold the shape of the subject 100 during measurement. By holding the subject 100 by the holding unit 200, the movement of the subject 100 can be suppressed and the position of the subject 100 can be kept in the holding unit 200. A resin material such as polycarbonate, polyethylene, or polyethylene terephthalate can be used for the material of the holding unit 200.

保持部２００は、取り付け部２０１に取り付けられている。取り付け部２０１は、被検体の大きさに合わせて複数種類の保持部２００を交換可能に構成されていてもよい。例えば、取り付け部２０１は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。   The holding unit 200 is attached to the attachment unit 201. The attachment unit 201 may be configured so that a plurality of types of holding units 200 can be exchanged according to the size of the subject. For example, the mounting portion 201 may be configured to be exchangeable with a different holding portion such as a radius of curvature or a center of curvature.

（駆動部１３０）
駆動部１３０は、被検体１００と受信部１２０との相対位置を変更する部分である。駆動部１３０は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部１２０の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。 (Drive unit 130)
The driving unit 130 is a unit that changes the relative position between the subject 100 and the receiving unit 120. The driving unit 130 includes a motor such as a stepping motor that generates a driving force, a driving mechanism that transmits the driving force, and a position sensor that detects position information of the receiving unit 120. As the driving mechanism, a lead screw mechanism, a link mechanism, a gear mechanism, a hydraulic mechanism, or the like can be used. As the position sensor, a potentiometer using an encoder, a variable resistor, a linear scale, a magnetic sensor, an infrared sensor, an ultrasonic sensor, or the like can be used.

なお、駆動部１３０は被検体１００と受信部１２０との相対位置をＸＹ方向（二次元）に変更させるものに限らず、一次元または三次元に変更させてもよい。
なお、駆動部１３０は、被検体１００と受信部１２０との相対的な位置を変更できれば、受信部１２０を固定し、被検体１００を移動させてもよい。被検体１００を移動させる場合は、被検体１００を保持する保持部を動かすことで被検体１００を移動させる構成などが考えられる。また、被検体１００と受信部１２０の両方を移動させてもよい。 The driving unit 130 is not limited to changing the relative position between the subject 100 and the receiving unit 120 in the XY directions (two-dimensional), and may change the relative position to one-dimensional or three-dimensional.
The drive unit 130 may fix the receiving unit 120 and move the subject 100 as long as the relative position between the subject 100 and the receiving unit 120 can be changed. When the subject 100 is moved, a configuration in which the subject 100 is moved by moving a holding unit that holds the subject 100 can be considered. Further, both the subject 100 and the receiving unit 120 may be moved.

駆動部１３０は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部１３０は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。
また、本実施形態では、駆動部１３０は光照射部１１０と受信部１２０を同時に駆動して走査を行っているが、光照射部１１０だけを駆動したり、受信部１２０だけを駆動したりしてもよい。
なお、プローブ１８０が、把持部が設けられたハンドヘルドタイプである場合、光音響装置１１００は駆動部１３０を有していなくてもよい。 The drive unit 130 may move the relative position continuously, or may move the relative position by step and repeat. The drive unit 130 may be an electric stage that moves along a programmed trajectory, or may be a manual stage.
In the present embodiment, the driving unit 130 scans by simultaneously driving the light irradiation unit 110 and the reception unit 120. However, the drive unit 130 drives only the light irradiation unit 110 or drives only the reception unit 120. You may.
When the probe 180 is a hand-held type provided with a grip, the photoacoustic device 1100 may not include the driving unit 130.

（信号収集部１４０）
信号収集部１４０は、トランスデューサ１２１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０に記憶される。信号収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部１１０から光射出を検出し、信号収集部１４０がこの検出結果をトリガーに同期して上記処理を開始してもよい。 (Signal collection unit 140)
The signal collection unit 140 includes an amplifier that amplifies an electric signal that is an analog signal output from the transducer 121, and an A / D converter that converts an analog signal output from the amplifier into a digital signal. The digital signal output from the signal collection unit 140 is stored in the computer 150. The signal collection unit 140 is also called a Data Acquisition System (DAS). In the present specification, the electric signal is a concept including both an analog signal and a digital signal. Note that a light detection sensor such as a photodiode may detect light emission from the light irradiation unit 110, and the signal collection unit 140 may start the above process in synchronization with the detection result in response to a trigger.

（コンピュータ１５０）
情報処理装置としてのコンピュータ１５０は、画像処理装置１３００と同様のハードウェアで構成されている。すなわち、コンピュータ１５０の演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
コンピュータ１５０の記憶機能を担うユニットは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ１５０の記憶機能を担うユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。 (Computer 150)
The computer 150 as the information processing device is configured by the same hardware as the image processing device 1300. That is, the unit having the arithmetic function of the computer 150 can be configured by an arithmetic circuit such as a processor such as a CPU or a GPU (Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) chip. These units may be configured not only from a single processor or arithmetic circuit, but also from a plurality of processors or arithmetic circuits.
The unit that performs the storage function of the computer 150 may be a volatile medium such as a RAM (Random Access Memory). The storage medium on which the program is stored is a non-temporary storage medium. It should be noted that the unit having the storage function of the computer 150 may not only be constituted by one storage medium, but also constituted by a plurality of storage media.

コンピュータ１５０の制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される
。コンピュータ１５０の制御機能を担うユニットは、光音響装置の各構成の動作を制御する。コンピュータ１５０の制御機能を担うユニットは、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、コンピュータ１５０の制御機能を担うユニットは、記憶機能を担うユニットに格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。すなわち、コンピュータ１５０は、本実施形態に係るシステムの制御装置として機能することができる。 A unit having a control function of the computer 150 is configured by an arithmetic element such as a CPU. A unit having a control function of the computer 150 controls the operation of each component of the photoacoustic apparatus. A unit having a control function of the computer 150 may control each component of the photoacoustic apparatus by receiving an instruction signal from the input unit 170 by various operations such as a start of measurement. Further, the unit having the control function of the computer 150 reads out the program code stored in the unit having the storage function, and controls the operation of each component of the photoacoustic apparatus. That is, the computer 150 can function as a control device of the system according to the present embodiment.

なお、コンピュータ１５０と画像処理装置１３００は同じハードウェアで構成されていてもよい。１つのハードウェアがコンピュータ１５０と画像処理装置１３００の両方の機能を担っていてもよい。すなわち、コンピュータ１５０が、画像処理装置１３００の機能を担ってもよい。また、画像処理装置１３００が、情報処理装置としてのコンピュータ１５０の機能を担ってもよい。   Note that the computer 150 and the image processing apparatus 1300 may be configured by the same hardware. One piece of hardware may perform the functions of both the computer 150 and the image processing device 1300. That is, the computer 150 may perform the function of the image processing apparatus 1300. Further, the image processing device 1300 may have the function of the computer 150 as the information processing device.

（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイである。また、表示部１６０は、画像や装置を操作するためのＧＵＩを表示してもよい。
なお、表示部１６０と表示装置１４００は同じディスプレイであってもよい。すなわち、１つのディスプレイが表示部１６０と表示装置１４００の両方の機能を担っていてもよい。 (Display unit 160)
The display unit 160 is a display such as a liquid crystal display and an organic EL (Electro Luminescence). The display unit 160 may display an image or a GUI for operating the apparatus.
Note that the display unit 160 and the display device 1400 may be the same display. That is, one display may have the functions of both the display unit 160 and the display device 1400.

（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０として利用してもよい。
なお、入力部１７０と入力装置１５００は同じ装置であってもよい。すなわち、１つの装置が入力部１７０と入力装置１５００の両方の機能を担っていてもよい。 (Input unit 170)
As the input unit 170, an operation console that can be operated by a user and includes a mouse and a keyboard can be employed. Further, the display unit 160 may be configured by a touch panel, and the display unit 160 may be used as the input unit 170.
Note that the input unit 170 and the input device 1500 may be the same device. That is, one device may perform both functions of the input unit 170 and the input device 1500.

（導入部１９０）
導入部１９０は、被検体１００の外部から被検体１００の内部へ造影剤を導入可能に構成されている。例えば、導入部１９０は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部１９０は、造影剤を被検体１００に導入することができる限り種々のものを適用可能である。導入部１９０は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ１５０が、導入部１９０の動作を制御することにより、被検体１００に造影剤を導入してもよい。また、ユーザーが導入部１９０を操作することにより、被検体１００に造影剤を導入してもよい。 (Introduction section 190)
The introduction unit 190 is configured to be able to introduce a contrast agent from outside the subject 100 into the inside of the subject 100. For example, the introducer 190 can include a container for the contrast agent and a needle for piercing the subject. However, the present invention is not limited to this, and various types can be applied to the introduction unit 190 as long as the contrast agent can be introduced into the subject 100. In this case, the introduction unit 190 may be, for example, a known injection system, an injector, or the like. The contrast agent may be introduced into the subject 100 by controlling the operation of the introduction unit 190 by the computer 150 as a control device. Further, the contrast agent may be introduced into the subject 100 by operating the introduction unit 190 by the user.

（被検体１００）
被検体１００はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の***や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。被検体１００に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤としては、インドシアニングリーン（ＩＣＧ）、メチレンブルー（ＭＢ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から
導入した物質を採用してもよい。また、生体を模したファントムを被検体１００としてもよい。 (Subject 100)
The subject 100 does not constitute a system, but will be described below. The system according to the present embodiment can be used for the purpose of diagnosing malignant tumors and vascular diseases of humans and animals, monitoring the progress of chemotherapy and the like. Therefore, the subject 100 is assumed to be a body to be diagnosed, specifically, a living body, specifically, a breast or each organ of a human body or an animal, a vascular network, a head, a neck, an abdomen, a limb including a finger or a toe. You. For example, if the human body is a measurement target, oxyhemoglobin or deoxyhemoglobin, a blood vessel containing many of them, a new blood vessel formed near a tumor, or the like may be the target of the light absorber. In addition, plaque of the carotid artery wall or the like may be a target of the light absorber. In addition, melanin, collagen, lipids, and the like contained in the skin and the like may be targeted for the light absorber. The contrast agent introduced into the subject 100 can be a light absorber. As a contrast agent used for photoacoustic imaging, a dye such as indocyanine green (ICG) or methylene blue (MB), fine gold particles, or a substance obtained by accumulating or chemically modifying them and introduced from the outside may be used. Further, a phantom imitating a living body may be used as the subject 100.

なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が１つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。 Each configuration of the photoacoustic device may be configured as a separate device, or may be configured as one integrated device. Further, at least a part of the configuration of the photoacoustic apparatus may be configured as one integrated apparatus.
Each device constituting the system according to the present embodiment may be constituted by separate hardware, or all devices may be constituted by one piece of hardware. The function of the system according to the present embodiment may be configured by any hardware.

次に、図５に示すフローチャートを用いて、本実施形態に係る画像生成方法を説明する。なお、図５に示すフローチャートには、本実施形態に係るシステムの動作を示す工程も、医師等のユーザーの動作を示す工程も含まれている。   Next, an image generation method according to the present embodiment will be described with reference to the flowchart shown in FIG. It should be noted that the flowchart shown in FIG. 5 includes a step indicating the operation of the system according to the present embodiment and a step indicating the operation of a user such as a doctor.

（Ｓ１００：検査に関する情報を取得する工程）
光音響装置１１００のコンピュータ１５０は、検査に関する情報を取得する。例えばコンピュータ１５０は、ＨＩＳ（Ｈｏｓｐｉｔａｉ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）やＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。 (S100: Step of Obtaining Information on Inspection)
The computer 150 of the photoacoustic apparatus 1100 acquires information related to the inspection. For example, the computer 150 obtains examination order information transmitted from an in-hospital information system such as a Hospital Information System (HIS) or a Radiology Information System (RIS). The examination order information includes information such as the type of the modality used for the examination and the contrast agent used for the examination.

また、モダリティが光音響イメージングである場合、検査オーダー情報には照射される光に関する情報が含まれる。本発明の主たる実施形態は、単一の波長の光に基づいて流れ情報を算出することが可能であるため、少なくとも単一の波長の情報が取得できればよい。光に関する情報には他に、光のパルス長、繰り返し周波数、強度などを含めることができる。   Further, when the modality is photoacoustic imaging, the inspection order information includes information on the light to be irradiated. In the main embodiment of the present invention, since flow information can be calculated based on light of a single wavelength, it is only necessary to obtain information of at least a single wavelength. The information about light can also include the pulse length, repetition frequency, intensity, etc. of the light.

ここで、下記のフローにより取得されるリンパの流れ情報とは、リンパ管におけるリンパの流れの頻度、流量、流速など、リンパの流れ方に関する種々の情報を含み得る。流れ情報には、画像中の輝度値の時間辺りの標準偏差やピーク・トゥ・ピーク（Ｐ−Ｐ）を含み得る。流れ情報の表現の方法は任意であり、例えば画像（動画像を含む）による表現方法、物理的な表現方法、文言による表現方法などを採用し得る。   Here, the lymph flow information acquired by the following flow may include various information on the lymph flow, such as the frequency, flow rate, and flow velocity of the lymph in the lymph vessel. The flow information may include a standard deviation of the luminance value in the image over time and a peak-to-peak (P-P). The method of expressing the flow information is arbitrary, and for example, an expression method using an image (including a moving image), a physical expression method, an expression method using words and the like can be adopted.

また、本発明において、互いに異なる複数の波長の光を用いて分光画像を生成し、当該分光画像に基づいてリンパの流れ情報を取得する場合、検査オーダー情報はそれぞれの波長の情報を含む必要がある。複数波長を用いる場合、波長を設定するに当たっては、式（１）にしたがって酸素飽和度画像を分光画像として生成する場合に、分光画像中の血管の領域については実際の酸素飽和度に応じた画像値が算出される一方、分光画像中の造影剤の領域については、使用する波長や、造影剤の吸収係数スペクトルによって大きく画像値が変化してしまうことを考慮することが好ましい。すなわち、造影剤の立体構造の把握を容易にするために、分光画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような値となるような波長を用いることが好ましい。具体的には、分光画像として式（１）を用いた画像を生成する場合、動静脈の酸素飽和度が概ねパーセント表示が６０％〜１００％に収まることを利用して、分光画像中の造影剤に対応する式（１）の値が６０％より小さくなる（例えば負値になる）、または、１００％より大きくなるような２波長を用いることが好ましい。例えば、造影剤としてＩＣＧを用いる場合、７００ｎｍ以上、８２０ｎｍより小さい波長と、８２０ｎｍ以上、１０２０ｎｍ以下の波長の２波長を選択し、式（１）により分光画像を生成することにより、造影剤の領域と血管の領域とを良好に識別することができる。このように、７００ｎｍ〜８２０ｎｍと、８２０ｎｍ〜１０２０ｎｍの波長を使うことは、本実施形態の好ましい一例である。   Further, in the present invention, when generating a spectral image using light of a plurality of different wavelengths from each other and obtaining lymph flow information based on the spectral image, the test order information needs to include information of each wavelength. is there. When a plurality of wavelengths are used, when setting the wavelength, when generating an oxygen saturation image as a spectral image in accordance with Equation (1), an image corresponding to the actual oxygen saturation is obtained for a blood vessel region in the spectral image. On the other hand, while the value is calculated, it is preferable to consider that the image value of the region of the contrast agent in the spectral image greatly changes depending on the wavelength used and the absorption coefficient spectrum of the contrast agent. That is, in order to facilitate understanding of the three-dimensional structure of the contrast agent, it is preferable to use a wavelength such that the image value of the region of the contrast agent in the spectral image can be distinguished from the image value of the region of the blood vessel. preferable. Specifically, when an image using Expression (1) is generated as a spectral image, the contrast of the arterial and venous oxygen saturations in the spectral image is increased by using the fact that the percentage display generally falls within 60% to 100%. It is preferable to use two wavelengths such that the value of equation (1) corresponding to the agent is less than 60% (for example, a negative value) or greater than 100%. For example, when ICG is used as a contrast agent, two wavelengths of 700 nm or more and less than 820 nm and two wavelengths of 820 nm or more and 1020 nm or less are selected, and a spectral image is generated by Expression (1), thereby obtaining a region of the contrast agent. And a blood vessel region can be distinguished well. The use of wavelengths of 700 nm to 820 nm and 820 nm to 1020 nm is a preferable example of the present embodiment.

またユーザーが、入力部１７０を用いて、検査に用いるモダリティの種類や、モダリティが光音響イメージングの場合の光に関する情報、検査に使用する造影剤の種類や造影剤の濃度を指示してもよい。この場合、コンピュータ１５０は、入力部１７０を介して、検査情報を取得することができる。   Further, the user may use the input unit 170 to instruct the type of the modality used for the inspection, information on light when the modality is photoacoustic imaging, the type of the contrast agent used for the inspection, and the concentration of the contrast agent. . In this case, the computer 150 can acquire the inspection information via the input unit 170.

図１０は、表示部１６０に表示されるＧＵＩの例を示す。ＧＵＩのアイテム２５００には、患者ＩＤ、検査ＩＤ、撮影日時などの検査オーダー情報が表示されている。アイテム２５００は、ＨＩＳやＲＩＳなどの外部装置から取得した検査オーダー情報を表示する表示機能や、ユーザーが入力部１７０を用いて検査オーダー情報を入力することのできる入力機能を備えていてもよい。ＧＵＩのアイテム２６００には、造影剤の種類、造影剤の濃度などの造影剤に関する情報が表示されている。アイテム２６００は、ＨＩＳやＲＩＳなどの外部装置から取得した造影剤に関する情報を表示する表示機能や、ユーザーが入力部１７０を用いて造影剤に関する情報を入力することのできる入力機能を備えていてもよい。アイテム２６００においては、造影剤の種類や濃度などの造影剤に関する情報を複数の選択肢の中からプルダウンなどの方法で入力できてもよい。なお、表示装置１４００に図１０に示すＧＵＩを表示してもよい。   FIG. 10 shows an example of a GUI displayed on the display unit 160. In the item 2500 of the GUI, examination order information such as a patient ID, an examination ID, and an imaging date and time is displayed. The item 2500 may have a display function of displaying inspection order information acquired from an external device such as a HIS or RIS, or an input function of allowing a user to input inspection order information using the input unit 170. The GUI item 2600 displays information on the contrast agent such as the type of the contrast agent and the concentration of the contrast agent. The item 2600 may have a display function of displaying information on a contrast agent acquired from an external device such as an HIS or RIS, or an input function that allows a user to input information on a contrast agent using the input unit 170. Good. In the item 2600, information on the contrast agent such as the type and concentration of the contrast agent may be input from a plurality of options by a method such as pull-down. Note that the GUI shown in FIG. 10 may be displayed on the display device 1400.

なお、画像処理装置１３００が、ユーザーから造影剤に関する情報の入力指示を受信しなかった場合に、複数の造影剤に関する情報の中からデフォルトで設定された造影剤に関する情報を取得してもよい。本実施形態の場合、造影剤の種類としてＩＣＧ、造影剤の濃度として１．０ｍｇ／ｍＬがデフォルトで設定されている場合を説明する。本実施形態では、ＧＵＩのアイテム２６００にはデフォルトで設定されている造影剤の種類と濃度が表示されているが、造影剤に関する情報がデフォルトで設定されていなくてもよい。この場合、初期画面ではＧＵＩのアイテム２６００に造影剤に関する情報が表示されていなくてもよい。   Note that, when the image processing apparatus 1300 does not receive an instruction to input information on the contrast agent from the user, the information on the contrast agent set by default may be acquired from the information on the plurality of contrast agents. In the case of this embodiment, a case will be described in which ICG is set as the type of the contrast agent and 1.0 mg / mL is set as the concentration of the contrast agent by default. In the present embodiment, the type and density of the contrast agent set by default are displayed in the item 2600 of the GUI, but the information on the contrast agent may not be set by default. In this case, the information about the contrast agent may not be displayed on the GUI item 2600 on the initial screen.

（Ｓ２００：造影剤を導入する工程）
導入部１９０は、被検体に対して造影剤を導入する。ユーザーが、導入部１９０を用いて被検体に造影剤を導入したときに、ユーザーが入力部１７０を操作することにより、造影剤が導入されたことを表す信号を入力部１７０から制御装置としてのコンピュータ１５０に送信してもよい。また、導入部１９０が被検体１００に造影剤が導入されたことを表す信号をコンピュータ１５０に送信してもよい。なお、導入部１９０を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
造影剤の導入後に被検体１００内の造影対象に造影剤が行き渡るまで時間をおいてから後続の処理を実行してもよい。 (S200: Step of introducing a contrast agent)
The introduction unit 190 introduces a contrast agent into the subject. When the user introduces the contrast agent into the subject using the introduction unit 190, the user operates the input unit 170 to send a signal indicating that the contrast agent has been introduced from the input unit 170 to the control device. It may be transmitted to the computer 150. Further, the introduction unit 190 may transmit a signal indicating that the contrast agent has been introduced into the subject 100 to the computer 150. The contrast agent may be administered to the subject without using the introduction unit 190. For example, the contrast medium may be administered by aspirating the sprayed contrast medium onto a living body as a subject.
After the introduction of the contrast agent, the subsequent processing may be executed after a certain period of time until the contrast agent reaches the contrast target in the subject 100.

ここで、ＩＣＧを導入した生体に対して光音響装置を用いて撮影することにより得られた分光画像について説明する。図１２〜図１４は、濃度を変えてＩＣＧを導入した場合に撮影して得られた分光画像を示す。いずれの撮影においても、手もしくは足の皮下もしくは皮内にＩＣＧを１か所につき０．１ｍＬ導入した。皮下もしくは皮内に導入されたＩＣＧは、リンパ管に選択的に取り込まれるため、リンパ管の内腔が造影される。また、いずれの撮影においても、ＩＣＧの導入から５分〜６０分以内に撮影した。また、いずれの分光画像も、７９７ｎｍの波長の光と８３５ｎｍの波長の光とを生体に照射することにより得られた光音響画像から生成された分光画像である。   Here, a spectral image obtained by photographing a living body into which ICG is introduced using a photoacoustic apparatus will be described. 12 to 14 show spectral images obtained by photographing when the ICG is introduced while changing the density. In each case, 0.1 mL of ICG was introduced subcutaneously or intradermally on the hand or foot at each location. The ICG introduced subcutaneously or intradermally is selectively taken up by the lymphatic vessels, so that the lumen of the lymphatic vessels is imaged. In each case, the images were taken within 5 to 60 minutes after the introduction of ICG. Each of the spectral images is a spectral image generated from a photoacoustic image obtained by irradiating a living body with light having a wavelength of 797 nm and light having a wavelength of 835 nm.

図１２（Ａ）は、ＩＣＧを導入しなかった場合の右前腕伸側の分光画像を示す。一方、図１２（Ｂ）は、２．５ｍｇ／ｍＬの濃度のＩＣＧを導入したときの右前腕伸側の分光画像を示す。図１２（Ｂ）中の破線および矢印で示した領域にリンパ管が描出されている。
図１３（Ａ）は、１．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左前腕伸側の分光画像を示す。図１３（Ｂ）は、５．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左前腕伸側の分光画像を示す。図１３（Ｂ）中の破線および矢印で示した領域にリンパ管が描出されている。
図１４（Ａ）は、０．５ｍｇ／ｍＬの濃度のＩＣＧを導入したときの右下腿内側の分光画像を示す。図１４（Ｂ）は、５．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左下腿内側の分光画像を示す。図１４（Ｂ）中の破線および矢印で示した領域にリンパ管が描出されている。 FIG. 12A shows a spectral image on the right forearm extension side when ICG is not introduced. On the other hand, FIG. 12 (B) shows a spectral image on the right forearm extension side when ICG having a concentration of 2.5 mg / mL was introduced. Lymph vessels are depicted in the regions indicated by the broken lines and arrows in FIG.
FIG. 13 (A) shows a spectral image of the left forearm extension when ICG having a concentration of 1.0 mg / mL is introduced. FIG. 13 (B) shows a spectral image on the left forearm extension side when ICG having a concentration of 5.0 mg / mL was introduced. Lymph vessels are depicted in the area indicated by the broken line and the arrow in FIG.
FIG. 14A shows a spectral image of the inside of the right lower leg when ICG having a concentration of 0.5 mg / mL is introduced. FIG. 14B shows a spectral image of the inside of the left lower leg when ICG having a concentration of 5.0 mg / mL is introduced. Lymph vessels are depicted in the regions indicated by the broken lines and arrows in FIG.

図１２〜図１４に示す分光画像によれば、ＩＣＧの濃度を高くすると、分光画像の中のリンパ管の視認性が向上することが理解される。また、図１２〜図１４によれば、ＩＣＧの濃度が２．５ｍｇ／ｍＬ以上の場合にリンパ管が良好に描出できることが理解される。すなわち、ＩＣＧの濃度が２．５ｍｇ／ｍＬ以上である場合に線上のリンパ管を明確に視認することができる。そのため、造影剤としてＩＣＧを採用する場合、その濃度は２．５ｍｇ／ｍＬ以上であってもよい。なお、生体内でのＩＣＧの希釈を考慮すると、ＩＣＧの濃度は５．０ｍｇ／ｍＬより大きくてもよい。ただし、ジアグノグリーンの可溶性を鑑みると、１０．０ｍｇ／ｍＬ以上の濃度で水溶液に溶かすことは困難である。   According to the spectral images shown in FIGS. 12 to 14, it is understood that the visibility of the lymphatic vessels in the spectral images is improved when the concentration of ICG is increased. Further, according to FIGS. 12 to 14, it is understood that the lymph vessels can be favorably drawn when the concentration of ICG is 2.5 mg / mL or more. That is, when the concentration of ICG is 2.5 mg / mL or more, the lymph vessels on the line can be clearly recognized. Therefore, when ICG is used as a contrast agent, the concentration may be 2.5 mg / mL or more. In consideration of the dilution of ICG in a living body, the concentration of ICG may be higher than 5.0 mg / mL. However, in view of the solubility of Diagno Green, it is difficult to dissolve it in an aqueous solution at a concentration of 10.0 mg / mL or more.

以上より、生体に導入するＩＣＧの濃度としては、２．５ｍｇ／ｍＬ以上、１０．０ｍｇ／ｍＬ以下がよく、好適には、５．０ｍｇ／ｍＬ以上、１０．０ｍｇ／ｍＬ以下がよい。   As described above, the concentration of ICG to be introduced into a living body is preferably 2.5 mg / mL or more and 10.0 mg / mL or less, and more preferably 5.0 mg / mL or more and 10.0 mg / mL or less.

そこで、コンピュータ１５０は、図１０に示すＧＵＩのアイテム２６００において造影剤の種類としてＩＣＧが入力された場合に、上記数値範囲のＩＣＧの濃度を示すユーザーからの指示を選択的に受け付けるように構成されていてもよい。すなわち、この場合、コンピュータ１５０は、上記数値範囲以外のＩＣＧの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。よって、コンピュータ１５０は、造影剤の種類がＩＣＧであることを示す情報を取得した場合に、２．５ｍｇ／ｍＬより小さい、または、１０．０ｍｇ／ｍＬより大きいＩＣＧの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。また、コンピュータ１５０は、造影剤の種類がＩＣＧであることを示す情報を取得した場合に５．０ｍｇ／ｍＬより小さい、または、１０．０ｍｇ／ｍＬより大きいＩＣＧの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。   Then, the computer 150 is configured to selectively receive an instruction from the user indicating the concentration of ICG in the above numerical range when ICG is input as the type of the contrast agent in the item 2600 of the GUI shown in FIG. May be. That is, in this case, the computer 150 may be configured not to receive an instruction from the user indicating the ICG concentration outside the above numerical range. Therefore, when acquiring information indicating that the type of the contrast agent is ICG, the computer 150 issues an instruction from a user indicating a concentration of ICG smaller than 2.5 mg / mL or larger than 10.0 mg / mL. May not be accepted. In addition, when acquiring information indicating that the type of the contrast agent is ICG, the computer 150 receives an instruction from the user indicating a concentration of ICG smaller than 5.0 mg / mL or larger than 10.0 mg / mL. You may be comprised so that it may not accept.

コンピュータ１５０は、ユーザーがＧＵＩ上で上記数値範囲以外のＩＣＧの濃度を指示できないようにＧＵＩを構成してもよい。すなわち、コンピュータ１５０は、ユーザーがＧＵＩ上で上記数値範囲以外のＩＣＧの濃度を指示できないようにＧＵＩを表示させてもよい。例えば、コンピュータ１５０は、ＧＵＩ上で上記数値範囲のＩＣＧの濃度を選択的に指示できるプルダウンを表示させてもよい。コンピュータ１５０は、プルダウンの中の上記数値範囲以外のＩＣＧの濃度をグレーアウトさせて表示し、グレーアウトされた濃度を選択できないようにＧＵＩを構成してもよい。
また、コンピュータ１５０は、ＧＵＩ上で上記数値範囲以外のＩＣＧの濃度がユーザーから指示された場合にアラートを通知してもよい。通知方法としては、表示部１６０へのアラートの表示や、音やランプの点灯などのあらゆる方法を採用することができる。
また、コンピュータ１５０は、ＧＵＩ上で造影剤の種類としてＩＣＧが選択された場合に、被検体に導入するＩＣＧの濃度として上記数値範囲を表示部１６０に表示させてもよい。 The computer 150 may configure the GUI so that the user cannot specify the ICG concentration outside the numerical range on the GUI. That is, the computer 150 may display the GUI so that the user cannot specify the ICG concentration outside the numerical range on the GUI. For example, the computer 150 may display a pull-down on the GUI that can selectively indicate the concentration of ICG in the above numerical range. The computer 150 may display the density of the ICG outside the numerical range in the pull-down in a grayed-out manner, and may configure the GUI so that the grayed-out density cannot be selected.
In addition, the computer 150 may notify an alert when a user specifies an ICG concentration outside the above numerical range on the GUI. As the notification method, any method such as displaying an alert on the display unit 160 and lighting a sound or a lamp can be adopted.
Further, when ICG is selected as the type of the contrast agent on the GUI, the computer 150 may cause the display unit 160 to display the above numerical range as the concentration of ICG to be introduced into the subject.

なお、被検体に導入する造影剤の濃度は、ここで示した数値範囲に限らず、目的に応じた好適な濃度を採用することができる。また、ここでは造影剤の種類がＩＣＧである場合
の例について説明したが、その他の造影剤においても同様に上記構成を適用することができる。 Note that the concentration of the contrast agent to be introduced into the subject is not limited to the numerical range shown here, and a suitable concentration according to the purpose can be adopted. Further, here, an example in which the type of the contrast agent is ICG has been described, but the above configuration can be similarly applied to other contrast agents.

このようにＧＵＩを構成することにより、被検体に導入する予定の造影剤の種類に応じて、適当な造影剤の濃度をユーザーが被検体に導入するための支援を行うことができる。   By configuring the GUI in this manner, it is possible to support the user to introduce an appropriate contrast agent concentration into the subject according to the type of the contrast agent to be introduced into the subject.

次に、波長の組み合わせを変更したときの分光画像中の造影剤に対応する画像値の変化について説明する。図７は、２波長の組み合わせのそれぞれにおける、分光画像中の造影剤に対応する画像値（酸素飽和度値）のシミュレーション結果を示す。図７の縦軸と横軸はそれぞれ第１波長と第２波長を表す。図７には、分光画像中の造影剤に対応する画像値の等値線が示されている。図７（ａ）〜図７（ｄ）はそれぞれ、ＩＣＧの濃度が５．０４μｇ／ｍＬ、５０．４μｇ／ｍＬ、０．５ｍｇ／ｍＬ、１．０ｍｇ／ｍＬのときの分光画像中の造影剤に対応する画像値を示す。図７に示すように、選択する波長の組み合わせによっては、分光画像中の造影剤に対応する画像値が６０％〜１００％となってしまう場合がある。前述したように、このような波長の組み合わせを選択してしまうと、分光画像中の血管の領域と造影剤の領域とを識別することが困難となってしまう。そのため、図７に示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が６０％より小さくなる、または、１００％より大きくなるような波長の組み合わせを選択することが好ましい。さらには、図７に示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が負値となるような波長の組み合わせを選択することが好ましい。   Next, a change in an image value corresponding to a contrast agent in a spectral image when a combination of wavelengths is changed will be described. FIG. 7 shows a simulation result of an image value (oxygen saturation value) corresponding to a contrast agent in a spectral image in each combination of two wavelengths. The vertical axis and the horizontal axis in FIG. 7 represent the first wavelength and the second wavelength, respectively. FIG. 7 shows contour lines of image values corresponding to the contrast agent in the spectral image. FIGS. 7A to 7D show contrast agents in spectral images when the concentration of ICG is 5.04 μg / mL, 50.4 μg / mL, 0.5 mg / mL, and 1.0 mg / mL, respectively. Shows the image value corresponding to. As shown in FIG. 7, the image value corresponding to the contrast agent in the spectral image may be 60% to 100% depending on the combination of the wavelengths to be selected. As described above, if such a combination of wavelengths is selected, it becomes difficult to distinguish a blood vessel region and a contrast agent region in a spectral image. Therefore, in the combination of wavelengths shown in FIG. 7, it is preferable to select a combination of wavelengths such that the image value corresponding to the contrast agent in the spectral image is smaller than 60% or larger than 100%. Further, in the combination of wavelengths shown in FIG. 7, it is preferable to select a combination of wavelengths such that the image value corresponding to the contrast agent in the spectral image has a negative value.

例えば、ここで第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合を考える。図８は、第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合に、ＩＣＧの濃度と分光画像中の造影剤に対応する画像値（式（１）の値）との関係を示すグラフである。図８によれば、第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合、５．０４μｇ／ｍＬ〜１．０ｍｇ／ｍＬのいずれの濃度であっても、分光画像中の造影剤に対応する画像値は負値となる。そのため、このような波長の組み合わせにより生成された分光画像によれば、血管の酸素飽和度値は原理上負値をとることはないため、血管の領域と造影剤の領域とを明確に識別することができる。   For example, consider a case where 797 nm is selected as the first wavelength and 835 nm is selected as the second wavelength. FIG. 8 shows the relationship between the concentration of ICG and the image value (the value of equation (1)) corresponding to the contrast agent in the spectral image when 797 nm is selected as the first wavelength and 835 nm is selected as the second wavelength. FIG. According to FIG. 8, when 797 nm is selected as the first wavelength and 835 nm is selected as the second wavelength, the contrast in the spectral image is increased regardless of the concentration of 5.04 μg / mL to 1.0 mg / mL. The image value corresponding to the agent is a negative value. Therefore, according to the spectral image generated by such a combination of wavelengths, since the oxygen saturation value of the blood vessel does not take a negative value in principle, the blood vessel region and the contrast agent region are clearly distinguished. be able to.

なお、これまで造影剤に関する情報に基づいて波長を決定することを説明したが、波長の決定においてヘモグロビンの吸収係数を考慮してもよい。図９は、オキシヘモグロビンのモラー吸収係数（破線）とデオキシヘモグロビンのモラー吸収係数（実線）のスペクトルを示す。図９に示す波長レンジにおいては、７９７ｎｍを境にオキシヘモグロビンのモラー吸収係数とデオキシヘモグロビンのモラー吸収係数の大小関係が逆転している。すなわち、７９７ｎｍよりも短い波長においては静脈を把握しやすく、７９７ｎｍよりも長い波長においては動脈を把握しやすいといえる。ところで、リンパ浮腫の治療においては、リンパ管と静脈との間にバイパスを作製するリンパ管細静脈吻合術が利用されている。この術前検査のために、光音響イメージングによって静脈と造影剤が蓄積したリンパ管との両方を画像化することが考えられる。この場合に、複数の波長の少なくとも１つを７９７ｎｍよりも小さい波長とすることにより、静脈をより明確に画像化することができる。また、複数の波長の少なくとも１つを、オキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きくなる波長とすることが静脈を画像化するうえで有利である。また、２波長に対応する光音響画像から分光画像を生成する場合、２波長のいずれもオキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きい波長とすることが、静脈を画像化するうえで有利である。これらの波長を選択することにより、リンパ管細静脈吻合術の術前検査において、造影剤が導入されたリンパ管と静脈との両方を精度良く画像化することができる。   Although the wavelength is determined based on the information on the contrast agent, the absorption coefficient of hemoglobin may be considered in determining the wavelength. FIG. 9 shows the spectrum of the molar absorption coefficient of oxyhemoglobin (dashed line) and the molar absorption coefficient of deoxyhemoglobin (solid line). In the wavelength range shown in FIG. 9, the magnitude relationship between the molar absorption coefficient of oxyhemoglobin and the molar absorption coefficient of deoxyhemoglobin is reversed at the boundary of 797 nm. That is, it can be said that it is easy to grasp the vein at a wavelength shorter than 797 nm, and it is easy to grasp the artery at a wavelength longer than 797 nm. In the treatment of lymphedema, lymphatic venule anastomosis for creating a bypass between lymphatic vessels and veins is used. For this preoperative examination, it is conceivable to use photoacoustic imaging to image both the veins and the lymph vessels in which the contrast agent has accumulated. In this case, by setting at least one of the plurality of wavelengths to a wavelength smaller than 797 nm, a vein can be more clearly imaged. Further, it is advantageous for imaging a vein that at least one of the plurality of wavelengths is set to a wavelength at which the molar absorption coefficient of deoxyhemoglobin is larger than the molar absorption coefficient of oxyhemoglobin. In addition, when a spectral image is generated from a photoacoustic image corresponding to two wavelengths, the vein is imaged by setting the wavelength at which the molar absorption coefficient of deoxyhemoglobin is larger than the molar absorption coefficient of oxyhemoglobin at any of the two wavelengths. This is advantageous. By selecting these wavelengths, in the preoperative examination of the lymphatic venule anastomosis, it is possible to accurately image both the lymphatic vessels and the veins into which the contrast agent has been introduced.

ところで、複数の波長のいずれも血液よりも造影剤の吸収係数が大きい波長であると、造影剤由来のアーチファクトにより血液の酸素飽和度精度が低下してしまう。そこで、造影剤由来のアーチファクトを低減するために、複数の波長の少なくとも１つの波長が、血液の吸収係数に対して造影剤の吸収係数が小さくなる波長であってもよい。   By the way, if any of the plurality of wavelengths is a wavelength at which the absorption coefficient of the contrast agent is larger than that of the blood, the oxygen saturation accuracy of the blood decreases due to artifacts derived from the contrast agent. Therefore, in order to reduce artifacts derived from the contrast agent, at least one of the plurality of wavelengths may be a wavelength at which the absorption coefficient of the contrast agent is smaller than the absorption coefficient of blood.

ここでは、式（１）にしたがって分光画像を生成する場合の説明を行ったが、造影剤の条件や照射光の波長によって分光画像中の造影剤に対応する画像値が変化するような分光画像を生成する場合にも適用することができる。   Here, the case where the spectral image is generated according to Equation (1) has been described, but the spectral image in which the image value corresponding to the contrast agent in the spectral image changes depending on the condition of the contrast agent and the wavelength of the irradiation light. Can also be applied when generating

（Ｓ３００：光を照射する工程）
光照射部１１０は、Ｓ１００で取得した情報に基づいて決定された波長を光源１１１に設定する。光源１１１は、決定された波長の光を発する。光源１１１から発生した光は、光学系１１２を介してパルス光として被検体１００に照射される。そして、被検体１００の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部１１０はパルス光の伝送と併せて信号収集部１４０へ同期信号を送信してもよい。また、光照射部１１０は、複数の波長のそれぞれについて、同様に光照射を行う。 (S300: Light Irradiation Step)
The light irradiation unit 110 sets the wavelength determined based on the information acquired in S100 in the light source 111. The light source 111 emits light having the determined wavelength. Light generated from the light source 111 is applied to the subject 100 as pulse light via the optical system 112. Then, the pulse light is absorbed inside the subject 100, and a photoacoustic wave is generated by the photoacoustic effect. At this time, the introduced contrast agent also absorbs the pulse light and generates a photoacoustic wave. The light irradiation unit 110 may transmit a synchronization signal to the signal collection unit 140 together with the transmission of the pulse light. The light irradiating unit 110 similarly irradiates each of a plurality of wavelengths with light.

ユーザーが、光照射部１１０の照射条件（照射光の繰り返し周波数や波長など）やプローブ１８０の位置などの制御パラメータを、入力部１７０を用いて指定してもよい。コンピュータ１５０は、ユーザーの指示に基づいて決定された制御パラメータを設定してもよい。また、コンピュータ１５０が、指定された制御パラメータに基づいて、駆動部１３０を制御することによりプローブ１８０を指定の位置へ移動させてもよい。複数位置での撮影が指定された場合には、駆動部１３０は、まずプローブ１８０を最初の指定位置へ移動させる。なお、駆動部１３０は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ１８０を移動させてもよい。   The user may use the input unit 170 to specify control parameters such as the irradiation conditions of the light irradiation unit 110 (such as the repetition frequency and wavelength of irradiation light) and the position of the probe 180. The computer 150 may set a control parameter determined based on a user's instruction. Further, the computer 150 may move the probe 180 to a specified position by controlling the driving unit 130 based on the specified control parameter. When imaging at a plurality of positions is designated, the drive unit 130 first moves the probe 180 to the first designated position. Note that the drive unit 130 may move the probe 180 to a position programmed in advance when a measurement start instruction is issued.

（Ｓ４００：光音響波を受信する工程）
信号収集部１４０は、光照射部１１０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された、光音響波に由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、Ｓ３００およびＳ４００の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ１５０は、発光をトリガーとして、発光時の受信部１２０の位置情報を駆動部１３０の位置センサからの出力に基づいて取得し、記憶してもよい。 (S400: receiving a photoacoustic wave)
When receiving the synchronization signal transmitted from light irradiating section 110, signal collecting section 140 starts the signal collecting operation. That is, the signal collecting unit 140 generates an amplified digital electric signal by amplifying and AD converting the analog electric signal derived from the photoacoustic wave output from the receiving unit 120, and outputs the amplified digital electric signal to the computer 150. . The computer 150 stores the signal transmitted from the signal collecting unit 140. When imaging at a plurality of scanning positions is specified, the processes of S300 and S400 are repeatedly executed at the specified scanning positions, and irradiation of pulse light and generation of digital signals derived from acoustic waves are repeated. Note that the computer 150 may acquire and store the position information of the receiving unit 120 at the time of light emission based on the output from the position sensor of the drive unit 130 with the light emission as a trigger.

なお、本実施形態では、複数の波長の光のそれぞれを時分割に照射する例を説明したが、複数の波長のそれぞれに対応する信号データを取得できる限り、光の照射方法はこれに限らない。例えば、光照射によって符号化を行う場合に、複数の波長の光がほぼ同時に照射されるタイミングが存在してもよい。   Note that, in the present embodiment, an example in which each of a plurality of wavelengths of light is radiated in a time-division manner has been described. . For example, when encoding is performed by light irradiation, there may be a timing at which light of a plurality of wavelengths is irradiated almost simultaneously.

（Ｓ５００：光音響画像を生成する工程）
光音響画像取得手段としてのコンピュータ１５０は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ１５０は、生成された光音響画像を記憶装置１２００に出力し、記憶させる。本実施形態では、被検体への１回の光照射で得られた光音響信号を用いた画像再構成により１つの３次元の光音響画像（ボリュームデータ）が生成される。さらに、複数回の光照射を行い、それぞれの光照射ごとに画像再構成を行うことで、時系列の３次元画像データ（時系列のボリュームデータ）が取得される。複数回の光照
射のそれぞれの光照射ごとに画像再構成して得られた３次元画像データを総称して、複数回の光照射に対応する３次元画像データと呼ぶ。なお、時系列に複数回の光照射が実行されるため、複数回の光照射に対応する３次元画像データが、時系列の３次元画像データを構成する。 (S500: Step of Generating Photoacoustic Image)
The computer 150 as a photoacoustic image acquisition unit generates a photoacoustic image based on the stored signal data. The computer 150 outputs the generated photoacoustic image to the storage device 1200 and stores it. In the present embodiment, one three-dimensional photoacoustic image (volume data) is generated by image reconstruction using a photoacoustic signal obtained by a single light irradiation on the subject. Furthermore, by performing light irradiation a plurality of times and performing image reconstruction for each light irradiation, time-series three-dimensional image data (time-series volume data) is obtained. The three-dimensional image data obtained by reconstructing an image for each of the plurality of light irradiations is collectively referred to as three-dimensional image data corresponding to the plurality of light irradiations. Note that, since light irradiation is performed a plurality of times in a time series, three-dimensional image data corresponding to the light irradiations a plurality of times constitutes time-series three-dimensional image data.

信号データを２次元または３次元の空間分布に変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法（繰り返し演算法）を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ）などが挙げられる。   Reconstruction algorithms for converting signal data into a two-dimensional or three-dimensional spatial distribution include analytic reconstruction methods such as backprojection in the time domain and backprojection in the Fourier domain, and model-based methods (repetitive computations). Law) can be adopted. For example, as a back projection method in the time domain, Universal back-projection (UBP), Filtered back-projection (FBP), phasing addition (Delay-and-Sum), and the like can be given.

コンピュータ１５０は、信号データに対して再構成処理することにより、初期音圧分布情報（複数の位置における発生音圧）を光音響画像として生成する。また、コンピュータ１５０は、被検体１００に照射された光の被検体１００の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を光音響画像として取得してもよい。光フルエンス分布の計算手法については、公知の手法を適用することができる。また、コンピュータ１５０は、複数の波長の光のそれぞれに対応する光音響画像を生成することができる。具体的には、コンピュータ１５０は、第１波長の光照射により得られた信号データに対して再構成処理を行うことにより、第１波長に対応する第１光音響画像を生成することができる。また、コンピュータ１５０は、第２波長の光照射により得られた信号データに対して再構成処理を行うことにより、第２波長に対応する第２光音響画像を生成することができる。このように、コンピュータ１５０は、複数の波長の光に対応する複数の光音響画像を生成することができる。   The computer 150 generates initial sound pressure distribution information (generated sound pressures at a plurality of positions) as a photoacoustic image by performing a reconstruction process on the signal data. Further, the computer 150 calculates the optical fluence distribution of the light radiated on the subject 100 inside the subject 100, and divides the initial sound pressure distribution by the light fluence distribution to obtain the absorption coefficient distribution information by photoacoustic. It may be obtained as an image. A known method can be applied to the calculation method of the light fluence distribution. In addition, the computer 150 can generate a photoacoustic image corresponding to each of the light of a plurality of wavelengths. Specifically, the computer 150 can generate a first photoacoustic image corresponding to the first wavelength by performing a reconstruction process on signal data obtained by irradiating light of the first wavelength. Further, the computer 150 can generate a second photoacoustic image corresponding to the second wavelength by performing a reconstruction process on the signal data obtained by irradiating the second wavelength light. As described above, the computer 150 can generate a plurality of photoacoustic images corresponding to lights of a plurality of wavelengths.

本実施形態では、コンピュータ１５０は、複数の波長の光のそれぞれに対応する吸収係数分布情報を光音響画像として取得する。第１波長に対応する吸収係数分布情報を第１光音響画像とし、第２波長に対応する吸収係数分布情報を第２光音響画像とする。   In the present embodiment, the computer 150 acquires absorption coefficient distribution information corresponding to each of light of a plurality of wavelengths as a photoacoustic image. The absorption coefficient distribution information corresponding to the first wavelength is defined as a first photoacoustic image, and the absorption coefficient distribution information corresponding to the second wavelength is defined as a second photoacoustic image.

なお、本実施形態では、システムが光音響画像を生成する光音響装置１１００を含む例を説明したが、光音響装置１１００を含まないシステムにも本発明は適用可能である。光音響画像取得手段としての画像処理装置１３００が、光音響画像を取得できる限り、いかなるシステムであっても本発明を適用することができる。例えば、光音響装置１１００を含まず、記憶装置１２００と画像処理装置１３００とを含むシステムであっても本発明を適用することができる。この場合、光音響画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記憶された光音響画像群の中から指定された光音響画像を読み出すことにより、光音響画像を取得することができる。   In the present embodiment, an example has been described in which the system includes the photoacoustic apparatus 1100 that generates a photoacoustic image. However, the present invention is also applicable to a system that does not include the photoacoustic apparatus 1100. The present invention can be applied to any system as long as the image processing apparatus 1300 as a photoacoustic image acquisition unit can acquire a photoacoustic image. For example, the present invention can be applied to a system that does not include the photoacoustic device 1100 but includes the storage device 1200 and the image processing device 1300. In this case, the image processing device 1300 as the photoacoustic image acquisition unit can acquire the photoacoustic image by reading out the specified photoacoustic image from the photoacoustic image group stored in the storage device 1200 in advance. it can.

（Ｓ６００：分光画像を生成する工程）
分光画像取得手段としてのコンピュータ１５０は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ１５０は、分光画像を記憶装置１２００に出力し、記憶装置１２００に記憶させる。前述したように、コンピュータ１５０は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す画像を分光画像として生成してもよい。また、コンピュータ１５０は、第１波長に対応する第１光音響画像と第２波長に対応する第２光音響画像との比を表す画像を分光画像として生成してもよい。本実施形態では、コンピュータ１５０が、第１光音響画像と第２光音響画像とを用いて、式（１）にしたがって酸素飽和度画像を分光画像として生成する例を説明する。 (S600: Step of Generating Spectral Image)
The computer 150 as a spectral image acquisition unit generates a spectral image based on a plurality of photoacoustic images corresponding to a plurality of wavelengths. The computer 150 outputs the spectral image to the storage device 1200 and causes the storage device 1200 to store the spectral image. As described above, the computer 150 may generate, as a spectral image, an image indicating information corresponding to the concentration of a substance constituting the subject, such as glucose concentration, collagen concentration, melanin concentration, and volume fraction of fat and water. Good. Further, the computer 150 may generate, as a spectral image, an image representing a ratio between the first photoacoustic image corresponding to the first wavelength and the second photoacoustic image corresponding to the second wavelength. In the present embodiment, an example will be described in which the computer 150 generates an oxygen saturation image as a spectral image according to Expression (1) using the first photoacoustic image and the second photoacoustic image.

なお、分光画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記
憶された分光画像群の中から指定された分光画像を読み出すことにより、分光画像を取得してもよい。また、光音響画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記憶された光音響画像群の中から、読み出した分光画像の生成に用いられた複数の光音響画像の少なくとも一つを読み出すことにより、光音響画像を取得してもよい。
複数回の光照射と、それに引き続く音響波受信と画像再構成が行われることにより、複数回の光照射に対応する時系列の３次元画像データが生成される。３次元画像データとしては光音響画像データや分光画像データが利用できる。ここでの光音響画像データは吸収係数等の分布を示す画像データを指し、分光画像データは複数の波長の光が被検体に照射されたときに、それぞれの波長に対応する光音響画像データに基づいて生成される濃度等を示す画像データを指す。 Note that the image processing apparatus 1300 as the spectral image acquiring unit may acquire a spectral image by reading out a designated spectral image from a spectral image group stored in the storage device 1200 in advance. Further, the image processing apparatus 1300 as a photoacoustic image acquisition unit includes at least one of a plurality of photoacoustic images used to generate the read spectral image from a group of photoacoustic images stored in the storage device 1200 in advance. May be read to obtain a photoacoustic image.
A plurality of times of light irradiation, subsequent acoustic wave reception and image reconstruction are performed, thereby generating time-series three-dimensional image data corresponding to the plurality of times of light irradiation. Photoacoustic image data and spectral image data can be used as the three-dimensional image data. Here, the photoacoustic image data refers to image data indicating a distribution of an absorption coefficient or the like, and the spectral image data is converted to photoacoustic image data corresponding to each wavelength when light of a plurality of wavelengths is irradiated on the subject. Indicates image data indicating the density or the like generated based on the image data.

（Ｓ７００：光音響画像または分光画像に基づいてリンパの流れに関する情報を取得し、利用する工程）
画像処理装置１３００は、記憶装置１２００から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいてリンパの流れに関する情報を取得する。なお、上述したように、本ステップの処理は少なくとも一つの波長に由来する光音響画像に基づいて実施することができる。ただし、複数の波長のそれぞれに由来する光音響画像から作成された分光画像を利用することもできる。 (S700: a step of acquiring and using information on lymph flow based on a photoacoustic image or a spectral image)
The image processing device 1300 reads the photoacoustic image or the spectral image from the storage device 1200, and acquires information on the flow of lymph based on the photoacoustic image or the spectral image. As described above, the processing in this step can be performed based on a photoacoustic image derived from at least one wavelength. However, a spectral image created from a photoacoustic image derived from each of a plurality of wavelengths can also be used.

図６に示すフローチャートを用いて、本実施形態に係る流れ情報の取得処理の実施方法を説明する。本フローは、図５のステップＳ７００における処理を具体的に説明するものである。以下の説明では、流れ情報取得手段としての画像処理装置１３００が主たる情報処理を担う。ただし流れ情報取得手段の構成はこれに限られず、本発明に含まれる情報処理機能を有する構成要素のいずれかが、以下のフローにおける処理を行っていればよい。   With reference to the flowchart shown in FIG. 6, a method of performing the flow information acquisition process according to the present embodiment will be described. This flow specifically describes the processing in step S700 in FIG. In the following description, the image processing apparatus 1300 as the flow information acquisition unit performs the main information processing. However, the configuration of the flow information acquisition means is not limited to this, and any component having an information processing function included in the present invention may perform the processing in the following flow.

（Ｓ７１０：光音響画像または分光画像からリンパ領域を抽出する工程）
ここでは、単一波長に由来する光音響画像に対して画像処理を行う場合について説明する。画像処理装置１３００は、図５のステップＳ５００において記憶装置１２００に保存された光音響画像を読み出す。読み出す対象となる光音響画像の時間範囲は任意である。一般に、リンパ液の流れは、間欠的に行われ、その周期は数十秒から数分である。比較的長い時間範囲に取得された光音響波に対応する光音響画像を、処理の進行に応じて順次読み出すことが好ましい。時間範囲は例えば、４０秒間〜２分間と設定してもよい。 (S710: Step of Extracting Lymph Region from Photoacoustic Image or Spectral Image)
Here, a case in which image processing is performed on a photoacoustic image derived from a single wavelength will be described. The image processing device 1300 reads the photoacoustic image stored in the storage device 1200 in step S500 of FIG. The time range of the photoacoustic image to be read is arbitrary. Generally, the flow of lymph fluid is intermittent, and its cycle is several tens of seconds to several minutes. It is preferable that the photoacoustic images corresponding to the photoacoustic waves acquired in a relatively long time range are sequentially read out as the processing proceeds. The time range may be set, for example, to 40 seconds to 2 minutes.

続いて画像処理装置１３００は、読み出した時系列の光音響画像のそれぞれからリンパの存在する領域を抽出する。抽出方法の一例として、リンパ液の循環がリンパ管の収縮等によって間欠的あるいは周期的に行われることに鑑み、画像処理装置１３００が時系列の光音響画像の間での輝度値の変化を検出し、当該輝度値の変化が大きい部分をリンパだと判断する方法がある。なお、時間範囲やリンパ領域であるかどうかの判断基準は例示であり、被検体内のリンパ管の状況や、造影剤や光照射に関する条件に応じて適宜決定されるものである。例えば、所定の時間範囲を１分間とした場合、１分間のうち５秒間、典型的な血管の輝度値と比較して半分以上の値を持つ領域が観察された場合に、当該領域をリンパだと判断してもよい。
なお、分光画像に対して画像処理を行ってリンパ領域を抽出する場合、画像処理装置１３００は例えば、酸素飽和度の値に基づいて血液に対応する領域と造影剤に対応する領域とを区別して、リンパ領域を抽出してもよい。 Subsequently, the image processing apparatus 1300 extracts a region where lymph is present from each of the read time-series photoacoustic images. As an example of the extraction method, in view of the fact that the circulation of lymph is performed intermittently or periodically due to the contraction of lymph vessels, the image processing apparatus 1300 detects a change in luminance value between time-series photoacoustic images. There is a method of determining a portion where the change in the luminance value is large as a lymph. It should be noted that the time range and the criterion for determining whether or not the region is a lymph region are merely examples, and are appropriately determined according to the condition of the lymphatic vessels in the subject and the conditions regarding the contrast agent and light irradiation. For example, when the predetermined time range is 1 minute, if an area having a value that is more than half the luminance value of a typical blood vessel is observed for 5 seconds out of 1 minute, the area is regarded as a lymph. May be determined.
When extracting a lymph region by performing image processing on a spectral image, the image processing apparatus 1300 distinguishes a region corresponding to blood from a region corresponding to a contrast agent based on the value of oxygen saturation, for example. Alternatively, a lymph region may be extracted.

（Ｓ７２０：リンパ領域に基づいてリンパの流れ情報を取得する工程）
画像処理装置１３００は、抽出したリンパ領域の情報に基づいてリンパの流れ情報を算出する。本実施形態では、被検体への１回の光照射により、略同時に発生した光音響波に由来する光音響信号を用いて、１つの三次元の光音響画像（１フレームのボリュームデー
タ）が生成される。そのため、１フレームの光音響画像の各位置における被検体情報は、１回の光照射に由来するものとなる。すなわち、１フレームの光音響画像では略同タイミングの状態のリンパが描出される。その結果、本実施形態に係る画像生成方法によれば、画像処理装置１３００が時系列の３次元画像データからリンパの流れ情報を取得する際の精度を向上させることができる。また、時系列の３次元画像データ中の複数の位置における画像値の変化は、複数の位置のそれぞれで略同じタイミングの画像値の時間変化を表すものである。そのため、本実施形態に係る画像生成方法によれば、時系列の３次元画像データ中の複数の位置における画像値に基づいて流れ情報を取得する際の精度が向上する。
流れ情報として例えば、画像処理装置１３００は、単位時間当たりの輝度値変化の頻度を算出することができる。この場合、画像処理装置１３００は、単位時間（例えば１０分間）内にリンパ領域の輝度値のピークの数や、輝度値が所定の閾値を超えた回数を算出してもよい。
流れ情報の別の例として、画像処理装置１３００は、リンパ液の移動速度を算出してもよい。リンパ液の移動速度は、異なるタイミングで取得された光音響画像間でのリンパ領域の移動距離を算出することにより取得できる。かかる移動速度算出の際、画像処理装置１３００は、抽出されたリンパ領域の輝度値分布に基づいてリンパ領域の重心や粒子密度を算出し、それらの値に基づいて重み付けを行うことで、移動速度算出の精度を向上させてもよい。また、時系列の画像から物体の動きを抽出してベクトル化するためのオプティカルフロー推定技術を利用することもできる。
流れ情報のまた別の例として、画像処理装置１３００は、リンパ管中を流れるリンパの体積や流量を算出してもよい。その際、画像処理装置１３００は、光音響画像中のリンパ管の幅に対してシステム依存の補正を行ってリンパ管の直径を求め、直径の値に基づいて体積や流量を算出することができる。また、流速を測定する際には、光音響画像生成時の再構成の平均化回数を減らし、一定以下の回数としてもよい。 (S720: Step of Obtaining Lymph Flow Information Based on Lymph Region)
The image processing apparatus 1300 calculates lymph flow information based on the extracted information on the lymph region. In the present embodiment, one three-dimensional photoacoustic image (one frame of volume data) is generated using a photoacoustic signal derived from a photoacoustic wave generated substantially simultaneously by one light irradiation on the subject. Is done. Therefore, the subject information at each position of the photoacoustic image of one frame is derived from one light irradiation. That is, in the photoacoustic image of one frame, lymph at approximately the same timing is depicted. As a result, according to the image generation method according to the present embodiment, it is possible to improve the accuracy when the image processing apparatus 1300 acquires lymph flow information from time-series three-dimensional image data. Further, the change of the image value at a plurality of positions in the time-series three-dimensional image data represents the time change of the image value at substantially the same timing at each of the plurality of positions. Therefore, according to the image generation method according to the present embodiment, the accuracy of acquiring flow information based on image values at a plurality of positions in time-series three-dimensional image data is improved.
As the flow information, for example, the image processing apparatus 1300 can calculate the frequency of a change in the luminance value per unit time. In this case, the image processing apparatus 1300 may calculate the number of peaks of the luminance value of the lymph region or the number of times the luminance value exceeds a predetermined threshold value within a unit time (for example, 10 minutes).
As another example of the flow information, the image processing device 1300 may calculate the moving speed of the lymph. The moving speed of the lymph can be obtained by calculating the moving distance of the lymph region between the photoacoustic images obtained at different timings. In calculating the moving speed, the image processing apparatus 1300 calculates the center of gravity and the particle density of the lymph region based on the extracted luminance value distribution of the lymph region, and performs weighting based on those values to thereby obtain the moving speed. The accuracy of the calculation may be improved. In addition, an optical flow estimation technique for extracting a motion of an object from a time-series image and vectorizing the extracted motion can be used.
As another example of the flow information, the image processing apparatus 1300 may calculate the volume and the flow rate of the lymph flowing through the lymph vessel. At this time, the image processing apparatus 1300 performs system-dependent correction on the width of the lymphatic vessel in the photoacoustic image to determine the diameter of the lymphatic vessel, and can calculate the volume and flow rate based on the value of the diameter. . Further, when measuring the flow velocity, the number of times of averaging of the reconstruction at the time of generating the photoacoustic image may be reduced to a number equal to or less than a certain number.

また、画像処理装置１３００は、画像中に関連付けられた複数の領域を設定し、当該複数の領域それぞれの輝度値の変化に基づいて流れ情報を取得してもよい。ここで言う複数の領域とは、少なくとも２つ以上の小領域であり、より好ましくは隣接または近接した複数の小領域同士のことを指す。小領域を設定する際には、上記ステップで抽出したリンパ領域の少なくとも一部を含むようにすることが好ましい。より好ましくは、同一のリンパ管上の隣接または近接する位置に（換言すれば、同じリンパ管の上流と下流に）複数の小領域を設定するとよい。
ここでは、図１１(ａ)に示すように、２つの小領域がいずれも同一のリンパ管を含むように設定されたものとする。画像処理装置１３００は、第一の小領域２３１０ａおよび第二の小領域２３１０ｂのそれぞれの輝度値を時系列に沿って３回算出し、それぞれの輝度値を所定の閾値と比較して、明／暗を判定する。そして、第一の小領域が「明→暗→暗」であり、第二の小領域が「暗→明→暗」であると判定された場合、画像処理装置１３００は、第１のタイミングから第２のタイミングにかけて、第一の小領域から第二の小領域に向かう方向にリンパが流れたと判断できる。画像処理装置１３００はさらに、２つの小領域間の距離と、各小領域における輝度変化の時間関係に基づいて、リンパの流速を算出することもできる。
なお、小領域の輝度値としては平均輝度値やピーク輝度値など、造影剤の濃度を反映できるものであれば何であれ利用できる。また少なくとも２回以上の輝度値の算出回数とすれば、流れの検出は可能である。 Further, the image processing apparatus 1300 may set a plurality of areas associated with each other in the image, and acquire the flow information based on a change in the luminance value of each of the plurality of areas. The plurality of regions referred to here is at least two or more small regions, and more preferably indicates a plurality of adjacent or adjacent small regions. When setting the small area, it is preferable to include at least a part of the lymph area extracted in the above step. More preferably, a plurality of small regions may be set at adjacent or adjacent positions on the same lymphatic vessel (in other words, upstream and downstream of the same lymphatic vessel).
Here, as shown in FIG. 11A, it is assumed that the two small areas are set so as to include the same lymphatic vessel. The image processing apparatus 1300 calculates the luminance value of each of the first small area 2310a and the second small area 2310b three times in time series, compares each luminance value with a predetermined threshold, and calculates Judge darkness. Then, when it is determined that the first small area is “bright → dark → dark” and the second small area is “dark → bright → dark”, the image processing apparatus 1300 starts from the first timing. It can be determined that the lymph has flowed in the direction from the first small area toward the second small area toward the second timing. The image processing apparatus 1300 can further calculate the lymph flow velocity based on the distance between the two small areas and the time relationship of the luminance change in each small area.
As the luminance value of the small area, any value can be used as long as it can reflect the density of the contrast agent, such as an average luminance value and a peak luminance value. If the number of times of calculation of the luminance value is at least two or more, the flow can be detected.

また、画像処理装置１３００は、画像中のある特定のリンパ領域である特定領域の輝度変化を時系列に算出した輝度値の時間的な変化の度合いに基づいて、リンパの流速を算出することもできる。すなわち、ある特定領域における輝度値は、特定領域内に存在するリンパの体積を反映していると言える。したがって、特定領域における輝度値の時間変化は、その特定領域内にリンパが流入してから流出するまでのリンパの体積の変化を反映して
いる。よって、輝度値の変化を十分なフレームレートで算出可能であれば、輝度値の時間変化を時間と輝度値の関数として表現したときに、特定領域内にリンパが流入している期間では当該関数が増加傾向になり、リンパが流出していく期間では当該関数が減少傾向となる。そこで画像処理装置１３００は、時間ごとの輝度が図１１（ｂ）の関数３１００のように示される場合に、増加関数である期間の傾き（破線３１１０）や減少関数である期間の傾き（破線３１２０）に基づいて、リンパの流速を算出してもよい。なお、一般にリンパは間欠的に流れるため、図１１（ｂ）のような輝度波形は周期的に表れることが想定できる。よって、この波形の出現頻度を計測することによってリンパの流れ情報を取得してもよい。 In addition, the image processing apparatus 1300 may calculate the lymph flow velocity based on the temporal change degree of the luminance value obtained by calculating the luminance change of a specific area that is a specific lymph area in the image in time series. it can. That is, it can be said that the luminance value in a certain specific region reflects the volume of lymph present in the specific region. Therefore, the temporal change of the luminance value in the specific area reflects a change in the volume of the lymph from the inflow to the outflow of the lymph in the specific area. Therefore, if the change in the brightness value can be calculated at a sufficient frame rate, the time change of the brightness value is expressed as a function of time and the brightness value. Is increasing, and the function tends to decrease during the period in which lymph flows out. Therefore, when the luminance at each time is represented as a function 3100 in FIG. 11B, the image processing apparatus 1300 determines whether the slope of the period is an increasing function (dashed line 3110) or the slope of the period being a decreasing function (dashed line 3120). ) May be used to calculate the lymph flow velocity. Since lymph generally flows intermittently, it can be assumed that a luminance waveform as shown in FIG. 11B appears periodically. Therefore, lymph flow information may be obtained by measuring the appearance frequency of this waveform.

また、画像処理装置１３００は、時系列の３次元画像データから抽出した情報に基づく別の演算手法によってもリンパの流速を定量的に取得することができる。ここで、図１１（ｃ）の画像は、時系列に取得された３次元画像データのうちの１枚を示す。ただしこの処理においては、リンパ管を強調済みの画像を用いてもよい。まず画像処理装置１３００は、リンパ管に相当する領域２３２０を選択する。
続いて画像処理装置１３００は、時系列の３次元画像データから、対象となる時間範囲（例えば１分間）を決定する。そして、決定された時間範囲において、領域２３２０上の長さ方向の各位置ごとに、時間方向における輝度値の代表値を決定する。ここでは輝度値の代表値として、決定された時間範囲における輝度値の関数の極大値を用いる。図１１（ｄ）は横軸として時間を、縦軸として領域２３２０の長さ方向の各位置を取り、上記で求めた極大値３２００をプロットしたグラフである。このグラフは、リンパ管内でのリンパの移動に応じて高輝度を示す位置も移動することを示している。
続いて画像処理装置１３００は、プロットされた複数の極大値３２００に基づくフィッティングを行って近似関数３２１０を取得し、近似関数３２１０の傾きに基づいてリンパの流速を算出する。なお、必ずしも極大値を利用する必要はない。例えば、輝度値に応じたカラースケール表示によりグラフを作成しても良い。また、傾きを算出する際のフィッティング手法として例えば最小二乗法を用いることができるが、これには限定されない。
なお、流れ情報の取得に用いられる時系列の３次元画像データに、少なくとも２波長のそれぞれの光パルスによって生成された３次元画像データが含まれていてもよい。この場合、少なくとも２波長に対応する時系列の３次元画像データの時間変化から流れ情報を演算してもよい。 The image processing device 1300 can also quantitatively acquire the lymph flow velocity by another calculation method based on information extracted from the time-series three-dimensional image data. Here, the image of FIG. 11C shows one of the three-dimensional image data acquired in time series. However, in this processing, an image in which lymph vessels have been emphasized may be used. First, the image processing apparatus 1300 selects a region 2320 corresponding to a lymph vessel.
Subsequently, the image processing apparatus 1300 determines a target time range (for example, one minute) from the time-series three-dimensional image data. Then, a representative value of the luminance value in the time direction is determined for each position in the length direction on the region 2320 in the determined time range. Here, the maximum value of the function of the luminance value in the determined time range is used as the representative value of the luminance value. FIG. 11D is a graph in which the horizontal axis represents time, and the vertical axis represents each position in the length direction of the region 2320, and the maximum value 3200 obtained above is plotted. This graph shows that the position showing high brightness also moves in accordance with the movement of the lymph in the lymphatic vessel.
Subsequently, the image processing apparatus 1300 obtains the approximate function 3210 by performing fitting based on the plurality of plotted local maxima 3200, and calculates the lymph flow velocity based on the slope of the approximate function 3210. Note that it is not always necessary to use the maximum value. For example, a graph may be created by a color scale display according to the luminance value. Also, for example, the least squares method can be used as a fitting method when calculating the inclination, but the present invention is not limited to this.
The time-series three-dimensional image data used for acquiring the flow information may include at least three-dimensional image data generated by respective light pulses of two wavelengths. In this case, the flow information may be calculated from the time change of the time-series three-dimensional image data corresponding to at least two wavelengths.

続いて画像処理装置１３００は、算出した流れ情報を記憶装置１２００に保存する。ここまでの処理により、本実施形態に係るシステムが被検体内のリンパの流れ情報を算出できるという効果が得られる。   Subsequently, the image processing apparatus 1300 stores the calculated flow information in the storage device 1200. By the processing so far, an effect is obtained that the system according to the present embodiment can calculate the flow information of the lymph in the subject.

（Ｓ７３０：取得した流れ情報を表示する工程）
続いて、リンパの流れ情報を利用する方法の一例として、流れ情報を表示する方法について説明する。なお、ステップＳ７３０からステップＳ７５０にかけての処理は、一連の処理として実行されてもよいし、それぞれが独立して実行されてもよい。
表示制御手段としての画像処理装置１３００は、流れ情報を用いて画像データを生成して表示装置１４００に表示させる。表示方法は任意であるが、ユーザーによる流れ情報の確認を容易にするような方法が好ましい。 (S730: Displaying the acquired flow information)
Subsequently, a method of displaying flow information will be described as an example of a method of using lymph flow information. The processing from step S730 to step S750 may be executed as a series of processing, or may be executed independently.
The image processing device 1300 as a display control unit generates image data using the flow information and causes the display device 1400 to display the image data. The display method is arbitrary, but a method that facilitates confirmation of flow information by a user is preferable.

表示方法の一例として、画像処理装置１３００は、抽出されたリンパ領域の上に、Ｓ７２０で取得された流れの頻度に応じて所定のカラースケールによる色付けを行うことができる。カラースケールとして例えば、流れの頻度が高いリンパ領域ほど赤色に近く、頻度が低いリンパ領域ほど青色に近く表示されるようなものを用いてもよい。この方法によれば、ユーザーがあるリンパ管の流れが活発かどうかを判断する基準を提供することができる。表示方法の別の例として、画像処理装置１３００は、あるリンパ領域の輝度を、時系
列の光音響画像における最大輝度値に応じた輝度値で表示してもよい。また、上記のカラースケールを用いた表示と最大輝度値を用いた表示を併用してもよい。
表示方法のまた別の例として、システムが、ユーザーによる入力装置１５００を介した位置指定を受け付けて、画像処理装置１３００が表示装置１４００に指定された位置における流れ情報の算出結果を別途表示させてもよい。
また、システムは、画像情報に代えて、または画像情報とともに、テキストや音声などの形式でユーザーに流れ情報を提示してもよい。画像処理装置１３００はまた、リンパの流れる方向をユーザーが理解しやすいようにマーカーや矢印等で表示してもよい。画像処理装置１３００はまた、リンパ領域に関心領域を設定し、該関心領域におけるリンパの時間的な変動量を算出して表示してもよい。 As an example of the display method, the image processing device 1300 can color the extracted lymph region with a predetermined color scale according to the frequency of the flow acquired in S720. For example, a color scale may be used in which a lymph region with a higher flow frequency is displayed closer to red, and a lymph region with a lower frequency is displayed closer to blue. According to this method, it is possible to provide a criterion for determining whether or not the flow of a certain lymphatic vessel is active. As another example of the display method, the image processing device 1300 may display the luminance of a certain lymph region with a luminance value according to the maximum luminance value in a time-series photoacoustic image. The display using the color scale and the display using the maximum luminance value may be used together.
As another example of the display method, the system accepts a position designation by the user via the input device 1500, and causes the image processing device 1300 to separately display the calculation result of the flow information at the designated position on the display device 1400. Is also good.
Further, the system may present the flow information to the user in the form of text or voice instead of or together with the image information. The image processing apparatus 1300 may also display the direction of lymph flow with a marker or arrow so that the user can easily understand the direction. The image processing apparatus 1300 may also set a region of interest in the lymph region, and calculate and display the temporal variation of the lymph in the region of interest.

（Ｓ７４０：取得した流れ情報のデータを保存する工程）
続いて、リンパの流れ情報を利用する方法の別の例として、取得した流れ情報をユーザーが活用しやすい形式で保存する方法について説明する。上述したように、一般にリンパ管においてリンパが流れている時間は比較的短い。したがって、時系列で複数の光音響画像または分光画像が取得された場合であっても、全ての画像がユーザーによるリンパの流れの確認に必要なわけではない。そこで本ステップでは、画像処理装置１３００は、ユーザーによる確認に必要な画像を選択して記憶装置１２００に保存する。画像の選択方法として例えば、時間的に隣接する画像同士でリンパ領域での輝度を比較し、リンパの流れがあったと判断できる値以上の輝度変化があった場合に記憶装置１２００に保存する方法がある。この方法によれば、ユーザーによる確認の対象となる画像を迅速に表示装置１４００に表示できるようになる。また、リンパの流れを確認できない期間のデータを保存しないで済むため、データ容量を圧縮できる。このように圧縮保存されたデータを用いて、画像処理装置１３００は、リンパの流れが示された静止画や、リンパの流れが繰り返しループ表示される動画像を生成して表示装置１４００に表示させることができる。 (S740: Step of Saving Data of Obtained Flow Information)
Next, as another example of the method of using the lymph flow information, a method of saving the acquired flow information in a format that is easy for the user to use will be described. As described above, the time for which lymph flows in lymphatic vessels is generally relatively short. Therefore, even when a plurality of photoacoustic images or spectral images are acquired in a time series, not all images are necessary for the user to confirm lymph flow. Therefore, in this step, the image processing apparatus 1300 selects an image required for confirmation by the user and saves the image in the storage device 1200. As a method for selecting an image, for example, a method of comparing the luminance in the lymph region between temporally adjacent images and storing the luminance in the storage device 1200 when there is a luminance change equal to or more than a value that can be determined to have a lymph flow. is there. According to this method, an image to be confirmed by the user can be promptly displayed on the display device 1400. Further, since it is not necessary to store data during a period during which the lymph flow cannot be confirmed, the data capacity can be reduced. Using the data compressed and stored in this way, the image processing apparatus 1300 generates a still image showing the lymph flow or a moving image in which the lymph flow is repeatedly displayed in a loop, and causes the display device 1400 to display the moving image. be able to.

なお、リンパ領域の抽出に分光画像を用いることが可能であるのと同様に、本ステップにおいて流れ情報のあるデータを選択する際にも、分光画像の酸素飽和度情報を利用することができる。
なお、本ステップにおいて、リンパの流れがあったと判断できる画像のデータを、メタデータを付与する等の方法によって判別可能としてもよい。この方法によっても、ユーザーによる確認の対象となる画像を迅速に表示装置１４００に表示可能になる。 Note that, similarly to the case where a spectral image can be used for extracting a lymph region, the oxygen saturation information of the spectral image can be used when selecting data having flow information in this step.
In this step, data of an image that can be determined to have a lymph flow may be identifiable by a method such as adding metadata. According to this method, an image to be confirmed by the user can be promptly displayed on the display device 1400.

（Ｓ７５０：ユーザーによる診断の支援を実行する工程）
続いて、リンパの流れ情報を利用する方法の別の例として、取得した流れ情報に基づいてユーザーに対して情報を提示し、診断を支援する方法について説明する。本ステップにおいて画像処理装置１３００は、上記各ステップで取得された情報に基づいて診断支援情報を算出して表示装置１４００に表示する。一例として、画像処理装置１３００は、リンパの流れ情報を定量的に分析し、その結果に基づいてリンパ浮腫や糖尿病のステージを診断するための情報を算出し提示する。提示される情報として例えば、ステージのサジェスチョンや推定値などが挙げられる。画像処理装置１３００は例えば、流れの頻度や流量、流速などの値とリンパ浮腫のステージとの関係を示すテーブルを記憶装置１４００から読み出し、上記ステップにおいて算出された流れ情報と比較することで提示情報を算出する。また、画像処理装置１３００が、実際にユーザーが診断した結果と推定されたステージを比較し、正誤判定の結果に基づいて推定用のデータを更新していくことで、推定の精度を高めていくような学習機能を設けることも好ましい。 (S750: Step of executing support for diagnosis by user)
Next, as another example of a method of using lymph flow information, a method of presenting information to a user based on acquired flow information to support diagnosis will be described. In this step, the image processing apparatus 1300 calculates the diagnosis support information based on the information acquired in each of the above steps and displays the information on the display device 1400. As an example, the image processing apparatus 1300 quantitatively analyzes lymph flow information and calculates and presents information for diagnosing lymphedema or diabetes stage based on the result. Examples of the information to be presented include a stage suggestion and an estimated value. For example, the image processing apparatus 1300 reads from the storage device 1400 a table indicating the relationship between the value of the flow frequency, the flow rate, the flow rate, and the like and the stage of lymphedema, and compares the table with the flow information calculated in the above step to provide the presentation information. Is calculated. In addition, the image processing apparatus 1300 compares the result of the actual diagnosis by the user with the estimated stage, and updates the estimation data based on the result of the correct / false determination, thereby improving the accuracy of the estimation. It is also preferable to provide such a learning function.

以上のように、図６の各ステップの処理を実行することで、本実施形態に係るシステムはリンパにおける流れ情報を取得することができる。また、流れ情報を必要に応じてユーザーに表示したり、流れ情報を好ましい形式で保存したり、流れ情報に基づいてユーザー
を支援する情報を生成して提示したりすることが可能になる。 As described above, the system according to the present embodiment can acquire the flow information in the lymph by executing the processing of each step in FIG. In addition, the flow information can be displayed to the user as needed, the flow information can be stored in a preferable format, and information for assisting the user can be generated and presented based on the flow information.

（Ｓ８００：分光画像を表示する工程）
表示制御手段としての画像処理装置１３００は、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置１４００に表示させる。なお、レンダリング手法としては、最大値投影法（ＭＩＰ：Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、ボリュームレンダリング、及びサーフェイスレンダリングなどのあらゆる方法を採用することができる。ここで、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象に合わせて任意に指定することができる。 (S800: Displaying a spectral image)
The image processing apparatus 1300 as a display control unit causes the display device 1400 to display a spectral image so that an area corresponding to a contrast agent and an area other than the area can be identified. As a rendering method, any method such as a maximum intensity projection (MIP), a volume rendering, and a surface rendering can be adopted. Here, setting conditions such as a display area and a line-of-sight direction when rendering a three-dimensional image in two dimensions can be arbitrarily specified according to the observation target.

ここでは、照射光の波長として７９７ｎｍと８３５ｎｍを設定して得られた光音響波を用いて、式（１）にしたがって分光画像を生成する場合について説明する。図８で示したとおり、これらの２波長を選択した場合、ＩＣＧがいかなる濃度であっても、式（１）にしたがって生成される分光画像中の造影剤に対応する画像値は負値となる。   Here, a case will be described in which a spectral image is generated according to Expression (1) using photoacoustic waves obtained by setting 797 nm and 835 nm as the wavelength of irradiation light. As shown in FIG. 8, when these two wavelengths are selected, the image value corresponding to the contrast agent in the spectral image generated according to Equation (1) is a negative value, regardless of the ICG concentration. .

図１０に示すように、画像処理装置１３００は、分光画像の画像値と表示色との関係を示すカラースケールとしてのカラーバー２４００をＧＵＩに表示させる。画像処理装置１３００は、造影剤に関する情報（例えば、造影剤の種類がＩＣＧであることを示す情報）と、照射光の波長を示す情報とに基づいて、カラースケールに割り当てる画像値の数値範囲を決定してもよい。例えば、画像処理装置１３００は、動脈の酸素飽和度、静脈の酸素飽和度、および造影剤に対応する負値の画像値を含む数値範囲を決定してもよい。画像処理装置１３００は、−１００％〜１００％の数値範囲を決定し、青から赤に変化するカラーグラデーションに−１００％〜１００％を割り当てたカラーバー２４００を設定してもよい。このような表示方法により、動静脈の識別に加え、負値の造影剤に対応する領域も識別することができる。また、画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、造影剤に対応する画像値の数値範囲を示すインジケータ２４１０を表示させてもよい。ここでは、カラーバー２４００において、ＩＣＧに対応する画像値の数値範囲として負値の領域をインジケータ２４１０で示している。このように造影剤に対応する表示色を識別できるようにカラースケールを表示することにより、分光画像中の造影剤に対応する領域を容易に識別することができる。   As shown in FIG. 10, the image processing apparatus 1300 causes a GUI to display a color bar 2400 as a color scale indicating the relationship between the image value of the spectral image and the display color. The image processing apparatus 1300 determines a numerical range of image values to be assigned to the color scale based on information on the contrast agent (for example, information indicating that the type of the contrast agent is ICG) and information indicating the wavelength of irradiation light. You may decide. For example, the image processing apparatus 1300 may determine a numerical range including a negative image value corresponding to the arterial oxygen saturation, the venous oxygen saturation, and the contrast agent. The image processing apparatus 1300 may determine a numerical range of -100% to 100%, and set a color bar 2400 in which -100% to 100% is assigned to a color gradation that changes from blue to red. With such a display method, in addition to the identification of the artery and vein, it is also possible to identify the area corresponding to the negative contrast agent. In addition, the image processing apparatus 1300 may cause the indicator 2410 indicating the numerical value range of the image value corresponding to the contrast agent to be displayed based on the information regarding the contrast agent and the information indicating the wavelength of the irradiation light. Here, in the color bar 2400, a negative value area is indicated by an indicator 2410 as a numerical value range of an image value corresponding to ICG. By displaying the color scale so that the display color corresponding to the contrast agent can be identified in this way, the region corresponding to the contrast agent in the spectral image can be easily identified.

領域決定手段としての画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、分光画像中の造影剤に対応する領域を決定してもよい。例えば、画像処理装置１３００は、分光画像のうち、負値の画像値を有する領域を造影剤に対応する領域として決定してもよい。そして、画像処理装置１３００は、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置１４００に表示させてもよい。画像処理装置１３００は、造影剤に対応する領域とそれ以外の領域との表示色を異ならせる、造影剤に対応する領域を点滅させる、造影剤に対応する領域を示すインジケータ（例えば、枠）を表示させるなどの識別表示を採用することができる。   The image processing device 1300 as the region determining means may determine a region corresponding to the contrast agent in the spectral image based on information on the contrast agent and information indicating the wavelength of the irradiation light. For example, the image processing apparatus 1300 may determine a region having a negative image value in the spectral image as a region corresponding to the contrast agent. Then, the image processing device 1300 may display the spectral image on the display device 1400 so that the region corresponding to the contrast agent and the other region can be identified. The image processing apparatus 1300 displays an indicator (for example, a frame) indicating a region corresponding to the contrast agent, causing the display color of the region corresponding to the contrast agent to be different from that of the other region, blinking the region corresponding to the contrast agent, and the like. An identification display such as display may be employed.

なお、図１０に示すＧＵＩに表示されたＩＣＧの表示に対応するアイテム２７３０を指示することにより、ＩＣＧに対応する画像値を選択的に表示させる表示モードに切り替え可能であってもよい。例えば、ユーザーがＩＣＧの表示に対応するアイテム２７３０を選択した場合に、画像処理装置１３００が分光画像から画像値が負値のボクセルを選択し、選択されたボクセルを選択的にレンダリングすることにより、ＩＣＧの領域を選択的に表示してもよい。同様に、ユーザーが動脈の表示に対応するアイテム２７１０や静脈の表示に対応するアイテム２７２０を選択してもよい。ユーザーの指示に基づいて、画像処理装置１３００が、動脈に対応する画像値（例えば、９０％以上１００％以下）や静脈に対応する画像値（例えば、６０％以上９０％未満）を選択的に表示させる表示モードに切り替えてもよい。動脈に対応する画像値や静脈に対応する画像値の数値範囲については、ユー
ザーの指示に基づいて変更可能であってもよい。 Note that by instructing the item 2730 corresponding to the display of the ICG displayed on the GUI shown in FIG. 10, it may be possible to switch to a display mode in which an image value corresponding to the ICG is selectively displayed. For example, when the user selects the item 2730 corresponding to the display of the ICG, the image processing apparatus 1300 selects a voxel having a negative image value from the spectral image and selectively renders the selected voxel, The ICG area may be selectively displayed. Similarly, the user may select an item 2710 corresponding to an artery display or an item 2720 corresponding to a vein display. Based on a user's instruction, the image processing apparatus 1300 selectively selects an image value corresponding to an artery (for example, 90% or more and 100% or less) or an image value corresponding to a vein (for example, 60% or more and less than 90%). The display mode may be switched to the display mode. The numerical value range of the image value corresponding to the artery or the image value corresponding to the vein may be changeable based on a user's instruction.

なお、分光画像の画像値に色相、明度、および彩度の少なくとも一つを割り当て、光音響画像の画像値に色相、明度、および彩度の残りのパラメータを割り当てた画像を分光画像として表示させてもよい。例えば、分光画像の画像値に色相および彩度を割り当て、光音響画像の画像値に明度を割り当てた画像を分光画像として表示させてもよい。このとき、造影剤に対応する光音響画像の画像値が、血管に対応する光音響画像の画像値よりも大きい場合や小さい場合、光音響画像の画像値に明度を割り当てると、血管と造影剤の両方を視認することが困難な場合がある。そこで、分光画像の画像値によって、光音響画像の画像値から明度への変換テーブルを変更してもよい。例えば、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも小さくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を小さくしてもよい。ここで変換テーブルとは、複数の画像値のそれぞれに対応する明度を示すテーブルである。また、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも大きくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を大きくしてもよい。また、分光画像の画像値によって、光音響画像の画像値を明度に変換しない光音響画像の画像値の数値範囲が異なっていてもよい。   Note that at least one of hue, lightness, and saturation is assigned to the image value of the spectral image, and an image in which the remaining parameters of hue, lightness, and saturation are assigned to the image value of the photoacoustic image is displayed as a spectral image. You may. For example, an image in which hue and saturation are assigned to image values of a spectral image and brightness is assigned to image values of a photoacoustic image may be displayed as a spectral image. At this time, when the image value of the photoacoustic image corresponding to the contrast agent is larger or smaller than the image value of the photoacoustic image corresponding to the blood vessel, if lightness is assigned to the image value of the photoacoustic image, the blood vessel and the contrast agent It may be difficult to see both of them. Therefore, the conversion table from the image value of the photoacoustic image to the brightness may be changed according to the image value of the spectral image. For example, when the image value of the spectral image is included in the numerical value range of the image value corresponding to the contrast agent, the brightness corresponding to the image value of the photoacoustic image may be smaller than that corresponding to the blood vessel. That is, when the contrast agent region and the blood vessel region are compared, if the image value of the photoacoustic image is the same, the brightness of the contrast agent region may be smaller than that of the blood vessel region. Here, the conversion table is a table indicating the brightness corresponding to each of the plurality of image values. When the image value of the spectral image is included in the numerical value range of the image value corresponding to the contrast agent, the brightness corresponding to the image value of the photoacoustic image may be larger than that corresponding to the blood vessel. That is, when the contrast agent region is compared with the blood vessel region, if the image value of the photoacoustic image is the same, the brightness of the contrast agent region may be greater than that of the blood vessel region. Further, the numerical value range of the image value of the photoacoustic image that does not convert the image value of the photoacoustic image into the brightness may differ depending on the image value of the spectral image.

変換テーブルは、造影剤の種類や濃度、また照射光の波長によって適したものに変更してもよい。そこで、画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、光音響画像の画像値から明度への変換テーブルを決定してもよい。画像処理装置１３００は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも大きくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも小さくしてもよい。反対に、画像処理装置１３００は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも小さくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも大きくしてもよい。   The conversion table may be changed to an appropriate one according to the type and concentration of the contrast agent and the wavelength of the irradiation light. Therefore, the image processing apparatus 1300 may determine the conversion table from the image value of the photoacoustic image to the brightness based on the information regarding the contrast agent and the information indicating the wavelength of the irradiation light. If it is estimated that the image value of the photoacoustic image corresponding to the contrast agent is larger than that corresponding to the blood vessel, the image processing apparatus 1300 sets the brightness corresponding to the image value of the photoacoustic image corresponding to the contrast agent to the blood vessel. It may be smaller than the corresponding one. Conversely, if the image value of the photoacoustic image corresponding to the contrast agent is estimated to be smaller than that corresponding to the blood vessel, the image processing apparatus 1300 may determine the brightness corresponding to the image value of the photoacoustic image corresponding to the contrast agent. May be larger than that corresponding to a blood vessel.

図１０に示すＧＵＩは、波長７９７ｎｍに対応する吸収係数画像（第１光音響画像）２１００、波長８３５ｎｍに対応する吸収係数画像（第２光音響画像）２２００、酸素飽和度画像（分光画像）２３００を表示する。それぞれの画像がいずれの波長の光によって生成された画像であるかをＧＵＩに表示してもよい。本実施形態では、光音響画像と分光画像の両方を表示しているが、分光画像だけを表示してもよい。また、画像処理装置１３００は、ユーザーの指示に基づいて、光音響画像の表示と分光画像の表示とを切り替えてもよい。   The GUI shown in FIG. 10 includes an absorption coefficient image (first photoacoustic image) 2100 corresponding to a wavelength of 797 nm, an absorption coefficient image (second photoacoustic image) 2200 corresponding to a wavelength of 835 nm, and an oxygen saturation image (spectral image) 2300. Is displayed. The GUI may display which wavelength is generated by each image. In the present embodiment, both the photoacoustic image and the spectral image are displayed, but only the spectral image may be displayed. The image processing device 1300 may switch between displaying a photoacoustic image and displaying a spectral image based on a user's instruction.

なお、表示部１６０は動画像を表示可能であってもよい。例えば、画像処理装置１３００が、第１光音響画像２１００、第２光音響画像２２００および分光画像２３００の少なくともいずれかを時系列に生成し、生成された時系列の画像に基づいて動画像データを生成して表示部１６０に出力する構成としてもよい。なお、リンパの流れる回数が比較的少ないことに鑑みて、ユーザーの判断時間を短縮するために、静止画または時間圧縮された動画像として表示することも好ましい。また、動画像表示において、リンパが流れる様子を繰り返し表示することもできる。動画像の速度は、予め規定された所定の速度やユーザーに指定された所定の速度であってもよい。
ここで、本実施形態を、光パルスを繰り返し照射し、被検体の特定領域における前記被検体の光吸収体分布の３次元画像を実質的に連続的に取得した画像の表示方法であって、一連の連続して取得した画像を、所定の速度で繰り返し再生表示する画像表示方法として
実施することもできる。
その際、前記特定領域の物質の流れ情報を、前記特定領域と関連付けて、少なくとも輝度表示、カラー表示、グラフ表示、および／または数値表示で同一画面に表示することもできる。
また、少なくとも１つの前記特定領域を強調表示することもできる。
また、流れ情報を動画表示するときに、早送り表示を可能としても良い。 The display unit 160 may be capable of displaying a moving image. For example, the image processing apparatus 1300 generates at least one of the first photoacoustic image 2100, the second photoacoustic image 2200, and the spectral image 2300 in time series, and generates moving image data based on the generated time-series image. It may be configured to generate and output to the display unit 160. In addition, in view of the relatively small number of lymph flows, it is also preferable to display a still image or a time-compressed moving image in order to reduce the user's judgment time. In addition, in the moving image display, it is possible to repeatedly display a state in which lymph flows. The speed of the moving image may be a predetermined speed specified in advance or a predetermined speed specified by the user.
Here, the present embodiment is a method of displaying an image obtained by repeatedly irradiating a light pulse and acquiring a three-dimensional image of the light absorber distribution of the subject in a specific region of the subject substantially continuously. The present invention can also be implemented as an image display method for repeatedly reproducing and displaying a series of continuously acquired images at a predetermined speed.
At this time, the flow information of the substance in the specific area may be displayed on the same screen at least in luminance display, color display, graph display, and / or numerical display in association with the specific area.
Also, at least one of the specific areas can be highlighted.
In addition, when the flow information is displayed as a moving image, fast-forward display may be enabled.

また、動画像を表示可能な表示部１６０において、動画像のフレームレートを可変にすることも好ましい。フレームレートを可変にするために、図１０のＧＵＩに、ユーザーがフレームレートを手動で入力するためのウィンドウや、フレームレートを変更するためのスライドバーなどを追加してもよい。ここで、リンパ液はリンパ管内を間欠的に流れるため、取得された時系列のボリュームデータの中でも、リンパの流れの確認に利用できるのは一部だけである。そのため、リンパの流れの確認する際に実時間表示を行うと効率が低下する場合がある。そこで、表示部１６０に表示される動画像のフレームレートを可変にすることで、表示される動画像の早送り表示が可能になり、ユーザーがリンパ管内の流体の様子を短時間で確認できるようになる。   It is also preferable that the display unit 160 capable of displaying a moving image has a variable frame rate of the moving image. In order to make the frame rate variable, a window for the user to manually input the frame rate, a slide bar for changing the frame rate, and the like may be added to the GUI of FIG. Here, since the lymph fluid flows intermittently in the lymphatic vessels, only part of the acquired time-series volume data that can be used to confirm the lymph flow is used. Therefore, if real-time display is performed when checking the flow of lymph, efficiency may decrease. Therefore, by making the frame rate of the moving image displayed on the display unit 160 variable, the fast-moving display of the displayed moving image becomes possible, so that the user can confirm the state of the fluid in the lymphatic vessel in a short time. Become.

また、表示部１６０は、所定の時間範囲内の動画像を繰り返し表示可能であってもよい。その際、繰り返し表示を行う範囲をユーザーが指定可能とするためのウィンドウやスライドバーなどのＧＵＩを、図１０に追加することも好ましい。これにより、例えばリンパ管内を流体が流れる様子をユーザーが把握しやすくなる。   The display unit 160 may be capable of repeatedly displaying a moving image within a predetermined time range. At this time, it is also preferable to add a GUI such as a window or a slide bar for enabling the user to specify a range in which repeated display is performed, to FIG. This makes it easier for the user to grasp, for example, how the fluid flows in the lymphatic vessels.

特定領域における流れ情報の表示方法は、上記には限られない。例えば、表示制御手段としての画像処理装置１３００は、特定領域における流れ情報を、特定領域と関連付けて、輝度表示、カラー表示、グラフ表示、および数値表示の少なくともいずれかの方法で、表示装置１４００の同一画面に表示させてもよい。また、表示制御手段としての画像処理装置１３００は、少なくとも１つの前記特定領域を強調表示してもよい。   The display method of the flow information in the specific area is not limited to the above. For example, the image processing apparatus 1300 as the display control unit associates the flow information in the specific area with the specific area, and uses at least one of a brightness display, a color display, a graph display, and a numerical display to display the flow information of the display device 1400. They may be displayed on the same screen. Further, the image processing device 1300 as a display control unit may highlight at least one of the specific regions.

以上説明したように、画像処理装置１３００および情報処理装置としてのコンピュータ１５０の少なくとも１つは、分光画像取得手段、造影剤情報取得手段、領域決定手段、光音響画像取得手段、および表示制御手段の少なくとも一つを有する装置として機能する。なお、それぞれの手段は、互いに異なるハードウェアで構成されていてもよいし、１つのハードウェアで構成されていてもよい。また、複数の手段が１つのハードウェアで構成されていてもよい。   As described above, at least one of the image processing apparatus 1300 and the computer 150 as the information processing apparatus includes a spectral image acquisition unit, a contrast agent information acquisition unit, an area determination unit, a photoacoustic image acquisition unit, and a display control unit. It functions as a device having at least one. In addition, each means may be comprised by mutually different hardware, and may be comprised by one hardware. Further, a plurality of units may be configured by one piece of hardware.

本実施形態では、造影剤に対応する画像値が負値となる波長を選択することにより、血管と造影剤とを識別できるようにしたが、造影剤に対応する画像値が血管と造影剤とを識別できる限り、造影剤に対応する画像値がいかなる値であってもよい。例えば、造影剤に対応する分光画像（酸素飽和度画像）の画像値が、６０％より小さくなるまたは１００％より大きくとなる場合などにも、本工程で説明した画像処理を適用することができる。   In the present embodiment, by selecting a wavelength at which the image value corresponding to the contrast agent has a negative value, the blood vessel and the contrast agent can be identified.However, the image value corresponding to the contrast agent is a blood vessel and the contrast agent. Can be any value as long as the image value corresponding to the contrast agent can be identified. For example, the image processing described in this step can be applied to a case where the image value of the spectral image (oxygen saturation image) corresponding to the contrast agent becomes smaller than 60% or larger than 100%. .

本実施形態では、複数の波長に対応する光音響画像に基づいた分光画像に画像処理を適用する例を説明したが、１つの波長に対応する光音響画像に本実施形態に係る画像処理を適用してもよい。すなわち、画像処理装置１３００は、造影剤に関する情報に基づいて、光音響画像中の造影剤に対応する領域を決定し、造影剤に対応する領域とその領域以外の領域とを識別できるように、光音響画像を表示させてもよい。また、画像処理装置１３００は、予め設定された造影剤に対応する画像値の数値範囲を有する領域と、それ以外の領域とを識別できるように、分光画像または光音響画像を表示させてもよい。   In the present embodiment, an example in which image processing is applied to a spectral image based on a photoacoustic image corresponding to a plurality of wavelengths has been described. However, the image processing according to the present embodiment is applied to a photoacoustic image corresponding to one wavelength. May be. That is, the image processing apparatus 1300 determines a region corresponding to the contrast agent in the photoacoustic image based on the information regarding the contrast agent, and identifies the region corresponding to the contrast agent and the region other than the region. A photoacoustic image may be displayed. In addition, the image processing apparatus 1300 may display a spectral image or a photoacoustic image so that a region having a numerical value range of an image value corresponding to a preset contrast agent can be distinguished from other regions. .

本実施形態では、情報処理装置としてのコンピュータ１５０が複数の波長の光を照射し
て分光画像を生成する例を説明したが、１つの波長の光だけを照射して光音響画像を生成する場合に本実施形態に係る波長の決定方法で波長を決定してもよい。すなわち、コンピュータ１５０は、造影剤に関する情報に基づいて、照射光の波長を決定してもよい。この場合、コンピュータ１５０は、光音響画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような波長を決定することが好ましい。 In the present embodiment, an example in which the computer 150 as the information processing device irradiates light of a plurality of wavelengths to generate a spectral image has been described. Alternatively, the wavelength may be determined by the wavelength determining method according to the present embodiment. That is, the computer 150 may determine the wavelength of the irradiation light based on the information regarding the contrast agent. In this case, the computer 150 preferably determines a wavelength at which the image value of the region of the contrast agent in the photoacoustic image can be distinguished from the image value of the region of the blood vessel.

なお、光照射部１１０は、光音響画像中の造影剤の領域の画像値と、血管の領域の画像値とを識別できるように予め設定された波長の光を被検体１００に照射してもよい。また、光照射部１１０は、分光画像中の造影剤の領域の画像値と、血管の領域の画像値とを識別できるように予め設定された複数波長の光を被検体１００に照射してもよい。   The light irradiating unit 110 may irradiate the subject 100 with light having a wavelength set in advance so that the image value of the contrast agent region in the photoacoustic image and the image value of the blood vessel region can be identified. Good. Further, the light irradiating unit 110 irradiates the subject 100 with light of a plurality of wavelengths set in advance so that the image value of the region of the contrast agent in the spectral image and the image value of the region of the blood vessel can be identified. Good.

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other Examples)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program and reads the program. This is the process to be performed.

１１００ 光音響装置
１３００ 画像処理装置 1100 Photoacoustic device 1300 Image processing device

Claims (54)

被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理装置であって、
前記時系列の３次元画像データに基づいて、前記被検体内の光吸収体の流れ情報を取得する流れ情報取得手段を有する
ことを特徴とする画像処理装置。 Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations An image processing apparatus for processing
An image processing apparatus, comprising: a flow information acquisition unit configured to acquire flow information of a light absorber in the subject based on the time-series three-dimensional image data. 前記流れ情報取得手段は、前記被検体内の特定領域における前記光吸収体の流れ情報を取得する
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the flow information obtaining unit obtains flow information of the light absorber in a specific area in the subject. 前記流れ情報取得手段は、前記時系列の３次元画像データに基づく画像から前記光吸収体の含まれる前記特定領域を抽出し、前記特定領域の輝度値の変化に基づいて前記流れ情報を取得する
ことを特徴とする請求項２に記載の画像処理装置。 The flow information obtaining means extracts the specific region including the light absorber from an image based on the time-series three-dimensional image data, and obtains the flow information based on a change in the brightness value of the specific region. The image processing apparatus according to claim 2, wherein: 前記流れ情報取得手段は、前記時系列の３次元画像データから所定の時間範囲に対応する複数の３次元画像データを選択し、選択された前記複数の３次元画像データに基づく複数の画像の間における、前記特定領域の輝度値の変化に基づいて、前記流れ情報を取得する
ことを特徴とする請求項２または３に記載の画像処理装置。 The flow information obtaining means selects a plurality of three-dimensional image data corresponding to a predetermined time range from the time-series three-dimensional image data, and selects a plurality of images based on the selected plurality of three-dimensional image data. The image processing apparatus according to claim 2, wherein the flow information is acquired based on a change in a luminance value of the specific area. 前記流れ情報取得手段は、前記時間範囲において前記特定領域の輝度値が所定の閾値を超えた回数に基づいて、前記流れ情報を取得する
ことを特徴とする請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the flow information obtaining unit obtains the flow information based on the number of times that the luminance value of the specific area exceeds a predetermined threshold in the time range. 前記流れ情報取得手段は、前記流れ情報として、前記特定領域における前記光吸収体の流速を取得する
ことを特徴とする請求項４または５に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the flow information acquisition unit acquires a flow velocity of the light absorber in the specific area as the flow information. 前記流れ情報取得手段は、前記時系列の３次元画像データに基づく複数の画像において、前記特定領域の少なくとも一部を含む複数の領域を設定し、前記複数の領域における輝度値の変化に基づいて、前記流速を取得する
ことを特徴とする請求項６に記載の画像処理装置。 The flow information acquisition unit sets a plurality of regions including at least a part of the specific region in a plurality of images based on the time-series three-dimensional image data, and sets a plurality of regions based on a change in a luminance value in the plurality of regions. The image processing apparatus according to claim 6, wherein the flow velocity is obtained. 前記流れ情報取得手段は、前記特定領域において前記光吸収体が流れる方向を長さ方向としたときに、前記時系列の３次元画像データに基づく複数の画像から、前記長さ方向における位置ごとに、前記光吸収体の輝度値の代表値を取得することにより、前記流速を取得する
ことを特徴とする請求項６に記載の画像処理装置。 The flow information obtaining means, when a direction in which the light absorber flows in the specific region is defined as a length direction, from a plurality of images based on the time-series three-dimensional image data, for each position in the length direction. The image processing apparatus according to claim 6, wherein the flow velocity is obtained by obtaining a representative value of the luminance value of the light absorber. 前記流れ情報取得手段は、前記時系列の３次元画像データに基づく複数の画像から、前記特定領域における前記光吸収体の輝度値の時間変化を示す関数を算出し、当該関数を用いて前記流速を取得する
ことを特徴とする請求項６に記載の画像処理装置。 The flow information acquisition unit calculates a function indicating a time change of the luminance value of the light absorber in the specific region from a plurality of images based on the time-series three-dimensional image data, and uses the function to calculate the flow velocity. The image processing apparatus according to claim 6, wherein: 前記光吸収体は、被検体に導入された造影剤である
ことを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the light absorber is a contrast agent introduced into the subject. 前記流れ情報は、前記被検体内でのリンパの流れに関する情報である
ことを特徴とする請求項９に記載の画像処理装置。 The image processing apparatus according to claim 9, wherein the flow information is information on a flow of lymph in the subject. 前記時系列の３次元画像データは、前記受信信号を用いて生成された光音響画像データである
ことを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the time-series three-dimensional image data is photoacoustic image data generated using the reception signal. 前記時系列の３次元画像データは、前記被検体に照射された複数の波長の光のそれぞれに対応する光音響画像データを用いて生成された分光画像データである
ことを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。 2. The time-series three-dimensional image data is spectral image data generated using photoacoustic image data corresponding to each of a plurality of wavelengths of light applied to the subject. 12. The image processing apparatus according to any one of claims 11 to 11. 前記光吸収体は、被検体に導入された造影剤であり、前記複数の波長は、７９７ｎｍと８３５ｎｍを含む
ことを特徴とする請求項１３に記載の画像処理装置。 14. The image processing apparatus according to claim 13, wherein the light absorber is a contrast agent introduced into the subject, and the plurality of wavelengths include 797 nm and 835 nm. 前記画像処理装置は、前記流れ情報を表示装置に表示させる表示制御手段をさらに有する
ことを特徴とする請求項１ないし１４のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 14, wherein the image processing apparatus further includes a display control unit configured to display the flow information on a display device. 前記表示制御手段は、前記時系列の３次元画像データに基づく画像に、前記光吸収体の流れ情報に基づくカラースケールを用いて色付けを行った画像を、前記表示装置に表示する
ことを特徴とする請求項１５に記載の画像処理装置。 The display control means displays an image obtained by coloring an image based on the time-series three-dimensional image data using a color scale based on flow information of the light absorber on the display device. The image processing apparatus according to claim 15, wherein: 前記表示制御手段は、前記時系列の３次元画像データに基づく複数の画像を用いた動画像を、繰り返し前記表示装置に表示する
ことを特徴とする請求項１５または１６に記載の画像処理装置。 17. The image processing apparatus according to claim 15, wherein the display control unit repeatedly displays a moving image using a plurality of images based on the time-series three-dimensional image data on the display device. 前記表示制御手段は、前記流れ情報を、前記特定領域と関連付けて、輝度表示、カラー表示、グラフ表示、および数値表示の少なくともいずれかの方法で同一画面に表示する
ことを特徴とする請求項１５ないし１７のいずれか１項に記載の画像処理装置。 16. The display control unit according to claim 15, wherein the flow information is displayed on the same screen in at least one of a luminance display, a color display, a graph display, and a numerical display in association with the specific area. 18. The image processing device according to any one of claims 17 to 17. 前記表示制御手段は、少なくとも１つの前記特定領域を強調表示する
ことを特徴とする請求項１５ないし１８のいずれか１項に記載の画像処理装置。 19. The image processing apparatus according to claim 15, wherein the display control unit highlights at least one of the specific areas. 前記表示制御手段は、前記動画像を早送り表示する
ことを特徴とする請求項１７に記載の画像処理装置。 18. The image processing apparatus according to claim 17, wherein the display control unit displays the moving image in a fast-forward manner. 前記流れ情報取得手段は、前記流れ情報に基づいてユーザーの判断を支援する情報を生成し、
前記表示制御手段は、前記情報を前記表示装置に表示する
ことを特徴とする請求項１５ないし２０のいずれか１項に記載の画像処理装置。 The flow information obtaining means generates information that assists a user in making a determination based on the flow information,
21. The image processing apparatus according to claim 15, wherein the display control unit displays the information on the display device. 被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理方法であって、
前記時系列の３次元画像データに基づいて、前記被検体内の光吸収体の流れ情報を取得する流れ情報取得ステップを有する
ことを特徴とする画像処理方法。 Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations An image processing method for processing
An image processing method, comprising: a flow information obtaining step of obtaining flow information of a light absorber in the subject based on the time-series three-dimensional image data. 前記流れ情報取得ステップでは、前記被検体内の特定領域における前記光吸収体の流れ情報が取得される
ことを特徴とする請求項２２に記載の画像処理方法。 23. The image processing method according to claim 22, wherein in the flow information obtaining step, flow information of the light absorber in a specific region in the subject is obtained. 前記流れ情報取得ステップでは、前記時系列の３次元画像データに基づく画像から前記光吸収体の含まれる前記特定領域が抽出され、前記特定領域の輝度値の変化に基づいて前記流れ情報が取得される
ことを特徴とする請求項２２に記載の画像処理方法。 In the flow information obtaining step, the specific region including the light absorber is extracted from an image based on the time-series three-dimensional image data, and the flow information is obtained based on a change in the brightness value of the specific region. 23. The image processing method according to claim 22, wherein: 前記流れ情報取得ステップでは、前記時系列の３次元画像データから所定の時間範囲に対応する複数の３次元画像データが選択され、選択された前記複数の３次元画像データに基づく複数の画像の間における、前記特定領域の輝度値の変化に基づいて、前記流れ情報が取得される
ことを特徴とする請求項２３または２４に記載の画像処理方法。 In the flow information obtaining step, a plurality of three-dimensional image data corresponding to a predetermined time range is selected from the time-series three-dimensional image data, and a plurality of images based on the selected plurality of three-dimensional image data are selected. 25. The image processing method according to claim 23, wherein the flow information is obtained based on a change in a luminance value of the specific area. 前記流れ情報取得ステップでは、前記時間範囲において前記特定領域の輝度値が所定の閾値を超えた回数に基づいて、前記流れ情報が取得される
ことを特徴とする請求項２５に記載の画像処理方法。 26. The image processing method according to claim 25, wherein, in the flow information obtaining step, the flow information is obtained based on the number of times that the luminance value of the specific area exceeds a predetermined threshold value in the time range. . 前記流れ情報取得ステップでは、前記流れ情報として、前記特定領域における前記光吸収体の流速が取得される
ことを特徴とする請求項２５または２６に記載の画像処理方法。 27. The image processing method according to claim 25, wherein in the flow information obtaining step, a flow velocity of the light absorber in the specific region is obtained as the flow information. 前記流れ情報取得ステップでは、前記時系列の３次元画像データに基づく複数の画像において、前記特定領域の少なくとも一部を含む複数の領域を設定し、前記複数の領域における輝度値の変化に基づいて、前記流速が取得される
ことを特徴とする請求項２７に記載の画像処理方法。 In the flow information acquiring step, in a plurality of images based on the time-series three-dimensional image data, a plurality of regions including at least a part of the specific region are set, and based on a change in a luminance value in the plurality of regions. The image processing method according to claim 27, wherein the flow velocity is obtained. 前記流れ情報取得ステップでは、前記特定領域において前記光吸収体が流れる方向を長さ方向としたときに、前記時系列の３次元画像データに基づく複数の画像から、前記長さ方向における位置ごとに、前記光吸収体の輝度値の代表値が取得されことにより、前記流速が取得される
ことを特徴とする請求項２７に記載の画像処理方法。 In the flow information acquisition step, when a direction in which the light absorber flows in the specific region is defined as a length direction, a plurality of images based on the time-series three-dimensional image data is used for each position in the length direction. 28. The image processing method according to claim 27, wherein the flow velocity is obtained by obtaining a representative value of the luminance value of the light absorber. 前記流れ情報取得ステップでは、前記時系列の３次元画像データに基づく複数の画像から、前記特定領域における前記光吸収体の輝度値の時間変化を示す関数が算出され、当該関数を用いて前記流速が取得される
ことを特徴とする請求項２７に記載の画像処理方法。 In the flow information obtaining step, a function indicating a time change of the luminance value of the light absorber in the specific region is calculated from a plurality of images based on the time-series three-dimensional image data, and the flow velocity is calculated using the function. The image processing method according to claim 27, wherein is obtained. 前記光吸収体は、被検体に導入された造影剤である
ことを特徴とする請求項２２ないし３０のいずれか１項に記載の画像処理方法。 31. The image processing method according to claim 22, wherein the light absorber is a contrast agent introduced into a subject. 前記流れ情報は、前記被検体内でのリンパの流れに関する情報である
ことを特徴とする請求項３０に記載の画像処理方法。 31. The image processing method according to claim 30, wherein the flow information is information on a lymph flow in the subject. 前記時系列の３次元画像データは、前記受信信号を用いて生成された光音響画像データである
ことを特徴とする請求項２２ないし３２のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 22 to 32, wherein the time-series three-dimensional image data is photoacoustic image data generated using the received signal. 前記時系列の３次元画像データは、前記被検体に照射された複数の波長の光のそれぞれに対応する光音響画像データを用いて生成された分光画像データである
ことを特徴とする請求項２２ないし３２のいずれか１項に記載の画像処理方法。 23. The time-series three-dimensional image data is spectral image data generated using photoacoustic image data corresponding to each of a plurality of wavelengths of light applied to the subject. 33. The image processing method according to any one of items 32 to 32. 前記光吸収体は、被検体に導入された造影剤であり、前記複数の波長は、７９７ｎｍと８３５ｎｍを含む
ことを特徴とする請求項３４に記載の画像処理方法。 The image processing method according to claim 34, wherein the light absorber is a contrast agent introduced into the subject, and the plurality of wavelengths include 797 nm and 835 nm. 前記流れ情報を表示装置に表示させる表示制御ステップをさらに有する
ことを特徴とする請求項２２ないし３５のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 22 to 35, further comprising a display control step of displaying the flow information on a display device. 前記表示制御ステップでは、前記時系列の３次元画像データに基づく画像に、前記光吸収体の流れ情報に基づくカラースケールを用いて色付けを行った画像が、前記表示装置に表示される
ことを特徴とする請求項３６に記載の画像処理方法。 In the display control step, an image obtained by coloring an image based on the time-series three-dimensional image data using a color scale based on flow information of the light absorber is displayed on the display device. The image processing method according to claim 36, wherein: 前記表示制御ステップでは、前記時系列の３次元画像データに基づく複数の画像を用いた動画像が、繰り返し前記表示装置に表示される
ことを特徴とする請求項３６または３７に記載の画像処理方法。 38. The image processing method according to claim 36, wherein in the display control step, a moving image using a plurality of images based on the time-series three-dimensional image data is repeatedly displayed on the display device. . 前記表示制御ステップでは、前記流れ情報が、前記特定領域と関連付けられて、輝度表示、カラー表示、グラフ表示、および数値表示の少なくともいずれかの方法で同一画面に表示される
ことを特徴とする請求項３６ないし３８のいずれか１項に記載の画像処理方法。 In the display control step, the flow information is displayed on the same screen in association with the specific area by at least one of a luminance display, a color display, a graph display, and a numerical display. Item 39. The image processing method according to any one of Items 36 to 38. 前記表示制御ステップでは、少なくとも１つの前記特定領域が強調表示される
ことを特徴とする請求項３６ないし３９のいずれか１項に記載の画像処理方法。 40. The image processing method according to claim 36, wherein at least one of the specific areas is highlighted in the display control step. 前記表示制御ステップでは、前記動画像が早送り表示される
ことを特徴とする請求項３８に記載の画像処理方法。 39. The image processing method according to claim 38, wherein in the display control step, the moving image is fast-forward displayed. 前記流れ情報取得ステップでは、前記流れ情報に基づいてユーザーの判断を支援する情報が生成され、
前記表示制御ステップでは、前記情報が前記表示装置に表示される
ことを特徴とする請求項３６ないし４１のいずれか１項に記載の画像処理方法。 In the flow information acquisition step, information that assists the user in determining based on the flow information is generated,
42. The image processing method according to claim 36, wherein in the display control step, the information is displayed on the display device. 前記流れ情報は、前記被検体内の光吸収体に光吸収係数の異なる少なくとも２波長の光パルスが照射されて得られた、前記被検体内の特定領域における前記２波長の間の前記光吸収体の画像の時間変化から算出されたものである
ことを特徴とする請求項２２ないし４２のいずれか１項に記載の画像処理方法。 The flow information is obtained by irradiating a light absorber of at least two wavelengths having different light absorption coefficients to a light absorber in the object, and obtaining the light absorption between the two wavelengths in a specific region in the object. The image processing method according to any one of claims 22 to 42, wherein the image processing method is calculated from a temporal change of a body image. 前記光吸収体は、前記被検体内に投与された造影剤に対応するものである
ことを特徴とする請求項２２ないし４３のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 22 to 43, wherein the light absorber corresponds to a contrast agent administered into the subject. 前記造影剤は、インドシアニングリーンである
ことを特徴とする請求項４４に記載の画像処理方法。 The image processing method according to claim 44, wherein the contrast agent is indocyanine green. 前記時間変化は増加関数である
ことを特徴とする請求項４３に記載の画像処理方法。 The image processing method according to claim 43, wherein the time change is an increasing function. 前記時間変化は減少関数である
ことを特徴とする請求項４３に記載の画像処理方法。 The image processing method according to claim 43, wherein the time change is a decreasing function. 前記時間変化は周期的である
ことを特徴とする請求項４３、４６，４７のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 43, 46, and 47, wherein the time change is periodic. 前記２波長はそれぞれ、７００〜８２０ｎｍと、８２０〜１０２０ｎｍの範囲である
ことを特徴とする請求項４３に記載の画像処理方法。 The image processing method according to claim 43, wherein the two wavelengths are in a range of 700 to 820 nm and 820 to 1020 nm, respectively. 光パルスを繰り返し照射し、被検体の特定領域における前記被検体の光吸収体分布の３次元画像を実質的に連続的に取得した画像の表示方法であって、一連の連続して取得した画像を、所定の速度で繰り返し再生表示する
ことを特徴とする画像表示方法。 A method of displaying a substantially continuous image of a three-dimensional image of a light absorber distribution of the subject in a specific region of the subject by repeatedly irradiating a light pulse, wherein a series of continuously acquired images is provided. Is repeatedly reproduced and displayed at a predetermined speed. 前記特定領域の物質の流れ情報を、前記特定領域と関連付けて、少なくとも輝度表示、カラー表示、グラフ表示、および／または数値表示で同一画面に表示する
ことを特徴とする請求項５０に記載の画像表示方法。 The image according to claim 50, wherein the flow information of the substance in the specific area is displayed on the same screen in at least luminance display, color display, graph display, and / or numerical display in association with the specific area. Display method. 少なくとも１つの前記特定領域を強調表示する
ことを特徴とする請求項５０または５１に記載の画像表示方法。 52. The image display method according to claim 50, wherein at least one of the specific areas is highlighted. 前記流れ情報を動画表示するときに、早送り表示が可能である
ことを特徴とする請求項５０ないし５２のいずれか１項に記載の画像表示方法。 53. The image display method according to claim 50, wherein when the flow information is displayed as a moving image, fast-forward display is possible. 被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する３次元画像データを含む、時系列の３次元画像データを処理する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、前記時系列の３次元画像データに基づいて、前記被検体内の光吸収体の流れ情報を取得する流れ情報取得ステップを有する
ことを特徴とするプログラム。 Time-series three-dimensional image data including three-dimensional image data generated based on a reception signal of a photoacoustic wave generated by a plurality of light irradiations on a subject and corresponding to each of the plurality of light irradiations A program for causing a computer to execute an image processing method for processing
The image processing method further includes a flow information obtaining step of obtaining flow information of a light absorber in the subject based on the time-series three-dimensional image data.
JP2018155034A 2018-08-21 2018-08-21 Image processing device, image processing method, image display method, and program Active JP7320221B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018155034A JP7320221B2 (en) 2018-08-21 2018-08-21 Image processing device, image processing method, image display method, and program
PCT/JP2019/013968 WO2020039641A1 (en) 2018-08-21 2019-03-29 Image processing apparatus, image processing method, image display method, and program
JP2023112970A JP2023123874A (en) 2018-08-21 2023-07-10 Photoacoustic imaging system, photoacoustic imaging system control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018155034A JP7320221B2 (en) 2018-08-21 2018-08-21 Image processing device, image processing method, image display method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023112970A Division JP2023123874A (en) 2018-08-21 2023-07-10 Photoacoustic imaging system, photoacoustic imaging system control method, and program

Publications (3)

Publication Number Publication Date
JP2020028390A true JP2020028390A (en) 2020-02-27
JP2020028390A5 JP2020028390A5 (en) 2021-10-28
JP7320221B2 JP7320221B2 (en) 2023-08-03

Family

ID=69593073

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018155034A Active JP7320221B2 (en) 2018-08-21 2018-08-21 Image processing device, image processing method, image display method, and program
JP2023112970A Pending JP2023123874A (en) 2018-08-21 2023-07-10 Photoacoustic imaging system, photoacoustic imaging system control method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023112970A Pending JP2023123874A (en) 2018-08-21 2023-07-10 Photoacoustic imaging system, photoacoustic imaging system control method, and program

Country Status (2)

Country Link
JP (2) JP7320221B2 (en)
WO (1) WO2020039641A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479935B2 (en) 2020-05-26 2024-05-09 キヤノンメディカルシステムズ株式会社 Body fluid analysis device, method for controlling body fluid analysis device, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003210456A (en) * 2002-01-21 2003-07-29 Toshiba Corp Processor for time series image
JP2011189175A (en) * 2011-05-31 2011-09-29 Toshiba Corp Ultrasonic diagnostic apparatus
JP2017108964A (en) * 2015-12-17 2017-06-22 キヤノン株式会社 Analyte information acquisition device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863414B2 (en) * 2001-11-22 2006-12-27 株式会社東芝 Ultrasonic diagnostic equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003210456A (en) * 2002-01-21 2003-07-29 Toshiba Corp Processor for time series image
JP2011189175A (en) * 2011-05-31 2011-09-29 Toshiba Corp Ultrasonic diagnostic apparatus
JP2017108964A (en) * 2015-12-17 2017-06-22 キヤノン株式会社 Analyte information acquisition device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479935B2 (en) 2020-05-26 2024-05-09 キヤノンメディカルシステムズ株式会社 Body fluid analysis device, method for controlling body fluid analysis device, and program

Also Published As

Publication number Publication date
JP2023123874A (en) 2023-09-05
JP7320221B2 (en) 2023-08-03
WO2020039641A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP2018202147A (en) Image processing apparatus, image processing method, and program
JP2023123874A (en) Photoacoustic imaging system, photoacoustic imaging system control method, and program
US20180228377A1 (en) Object information acquiring apparatus and display method
JP2019024733A (en) Image processing apparatus, image processing method, and program
JP2018126389A (en) Information processing apparatus, information processing method, and program
US20210169397A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP7108985B2 (en) Image processing device, image processing method, program
JP7118718B2 (en) SUBJECT INFORMATION ACQUISITION APPARATUS, SUBJECT INFORMATION PROGRAM, AND PROGRAM
JP7144805B2 (en) Image processing device, image processing method, program
JP7125709B2 (en) Image processing device, image processing method and program
JP7205821B2 (en) system
WO2020039640A1 (en) Information processing device, system, information processing method, and program
JP7142832B2 (en) Image processing device, image processing method, program
JP7226728B2 (en) Image processing device, image processing method, program
JP7187336B2 (en) Information processing device, information processing method, and program
JP2020028668A (en) Image processing system, image processing method and program
JP7314371B2 (en) SUBJECT INFORMATION ACQUISITION APPARATUS, SUBJECT INFORMATION PROGRAM, AND PROGRAM
JP2019000387A (en) Information processing apparatus, information processing method, and program
JP2020028670A (en) Image processing device, system, image processing method, and program
JP7277212B2 (en) Image processing device, image processing method and program
JP2020162746A (en) Image processing device, image processing method, and program
JP2020018466A (en) Information processing device, information processing method, and program
JP2020018467A (en) Information processing device, information processing method, and program
JP2020018468A (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7320221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150