JP6238549B2 - SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE - Google Patents
SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE Download PDFInfo
- Publication number
- JP6238549B2 JP6238549B2 JP2013085793A JP2013085793A JP6238549B2 JP 6238549 B2 JP6238549 B2 JP 6238549B2 JP 2013085793 A JP2013085793 A JP 2013085793A JP 2013085793 A JP2013085793 A JP 2013085793A JP 6238549 B2 JP6238549 B2 JP 6238549B2
- Authority
- JP
- Japan
- Prior art keywords
- path
- subject
- scanning
- acoustic wave
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
Description
本発明は、被検体内部の情報を取得する被検体情報取得装置とその制御方法に関する。 The present invention relates to a subject information acquisition apparatus that acquires information inside a subject and a control method thereof.
レーザ光をはじめとする光を生体に照射し、当該光に起因して生体内部から発生する超音波を受信することで、組織内部の形態や機能を画像化する光音響撮像装置が医療分野で多く利用されている。パルスレーザ光などの計測光を被検体に照射すると、計測光が被検体内の生体組織で吸収される際に音響波が発生する。光音響撮像装置は、この発生した音響波を探触子によって受信し、解析することにより、被検体内部の光学特性に関連した情報(機能情報)を可視化することができる。このような技術は、光音響イメージング(Photoacoustic imaging)と呼ばれている。 In the medical field, a photoacoustic imaging apparatus that images a form and function inside a tissue by irradiating a living body with light such as laser light and receiving ultrasonic waves generated from inside the living body due to the light. Many are used. When the subject is irradiated with measurement light such as pulsed laser light, an acoustic wave is generated when the measurement light is absorbed by the living tissue in the subject. The photoacoustic imaging apparatus can visualize the information (function information) related to the optical characteristics inside the subject by receiving and analyzing the generated acoustic wave with the probe. Such a technique is called photoacoustic imaging.
また、広い範囲から超音波を取得するために、探触子を機械的に走査する機構を備えた画像診断装置が提案されている。例えば、特許文献1には、探触子を機械的に走査することで、広範囲から超音波を取得することができる光音響イメージング装置が記載されている。 In addition, in order to acquire ultrasonic waves from a wide range, an image diagnostic apparatus having a mechanism for mechanically scanning a probe has been proposed. For example, Patent Document 1 describes a photoacoustic imaging apparatus that can acquire ultrasonic waves from a wide range by mechanically scanning a probe.
前述した光音響イメージング装置では、探触子を被検体表面で移動させることで走査を行う。従って、走査中に被検体が動いてしまうと、取得した画像にずれが生じたり、取得を予定していたデータが取得できなくなるといった不具合が発生するおそれがある。
このように、音響波を用いて被検体の情報を取得する装置では、測定中に被検体が動かないように留意しなければならない。しかし、測定中に被検体がずれたことに測定後に気付いた場合、被検体を圧迫保持しながらの測定を最初からやり直す必要があり、被検者に対する大きな負担となっていた。
In the photoacoustic imaging apparatus described above, scanning is performed by moving the probe on the surface of the subject. Therefore, if the subject moves during scanning, there may be a problem that the acquired image is deviated or the data scheduled to be acquired cannot be acquired.
Thus, in an apparatus that acquires information on an object using acoustic waves, care must be taken so that the object does not move during measurement. However, when it is noticed after the measurement that the subject is displaced during the measurement, it is necessary to restart the measurement while holding the subject under pressure, which is a heavy burden on the subject.
本発明はこのような従来技術の課題に鑑みてなされたものであり、測定中に被検体の位置が変化したことを検知し、走査経路を適切に変更できる被検体情報取得装置を提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and provides an object information acquisition apparatus that can detect a change in the position of an object during measurement and can appropriately change a scanning path. With the goal.
本発明に係る被検体情報取得装置は、
被検体内から到来する音響波を受信および解析することで、前記被検体内の情報を取得する被検体情報取得装置であって、音響波を受信する探触子を前記被検体に対して走査させる走査手段と、前記探触子の走査経路である第一の経路を決定する経路設定手段と、自装置に対する被検体表面の位置に関する情報である位置情報を取得する位置情報取得手段と、を有し、前記経路設定手段は、前記位置情報に基づいて、走査経路を前記第一の経路とは異なる第二の経路に変更するか否かを決定し、前記走査経路を変更する場合に、前記第一の経路および第二の経路をユーザに提示することを特徴とする。
The subject information acquisition apparatus according to the present invention includes:
An object information acquisition apparatus for acquiring information in the subject by receiving and analyzing an acoustic wave coming from within the subject, and scanning the probe for receiving the acoustic wave with respect to the subject Scanning means for making the path, path setting means for determining a first path that is the scanning path of the probe, and position information acquisition means for acquiring position information that is information relating to the position of the surface of the subject relative to the apparatus. The path setting means determines whether to change the scanning path to a second path different from the first path based on the position information, and when changing the scanning path, The first route and the second route are presented to the user .
また、本発明に係る被検体情報取得装置の制御方法は、
音響波を受信する探触子と、前記探触子を移動させる走査機構とを備え、被検体内から到来する音響波を受信および解析することで、前記被検体内の情報を取得する被検体情報取得装置の制御方法であって、前記探触子の走査経路である第一の経路を決定し、前記探触子を用いて前記被検体に対する走査を行う走査ステップと、前記被検体情報取得装置に対する被検体表面の位置に関する情報である位置情報を取得する位置情報取得ステップと、を含み、前記走査ステップは、前記位置情報に基づいて、走査経路を前記第一の経路とは異なる第二の経路に変更するか否かを決定し、前記走査経路を変更する場合に、前記第一の経路および第二の経路をユーザに提示することを特徴とする。
In addition, the control method of the subject information acquisition apparatus according to the present invention includes:
A subject having an acoustic wave receiving probe and a scanning mechanism for moving the probe, and receiving and analyzing an acoustic wave arriving from within the subject to acquire information in the subject A method for controlling an information acquisition apparatus, comprising: a scanning step of determining a first path which is a scanning path of the probe, and scanning the object using the probe; and acquiring the object information A position information acquisition step of acquiring position information that is information relating to the position of the subject surface with respect to the apparatus , wherein the scanning step uses a second scanning path different from the first path based on the position information. It is determined whether to change to the first path, and when changing the scanning path, the first path and the second path are presented to the user .
本発明によれば、測定中に被検体の位置が変化したことを検知し、走査経路を適切に変更できる被検体情報取得装置を提供することができる。 According to the present invention, it is possible to provide an object information acquisition apparatus that can detect that the position of an object has changed during measurement and can appropriately change a scanning path.
以下、図面を参照しつつ、本発明の実施形態を詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In principle, the same components are denoted by the same reference numerals, and description thereof is omitted.
(第一の実施形態)
本発明の第一の実施形態に係る光音響測定装置は、レーザ光を被検体に照射し、当該レーザ光に起因して被検体内で発生した光音響波を受信して解析することで、被検体内の光学特性に関連した情報を画像化する装置である。光学特性に関連した情報とは、一般的には、初期音圧分布や、光吸収エネルギー密度分布、吸収係数分布、あるいは、組織を構成する物質の濃度分布である。
(First embodiment)
The photoacoustic measurement apparatus according to the first embodiment of the present invention irradiates a subject with laser light, receives and analyzes photoacoustic waves generated in the subject due to the laser light, An apparatus for imaging information related to optical characteristics in a subject. The information related to the optical characteristics is generally an initial sound pressure distribution, a light absorption energy density distribution, an absorption coefficient distribution, or a concentration distribution of substances constituting the tissue.
<システム構成>
図1を参照しながら、第一の実施形態に係る光音響測定装置の構成を説明する。第一の実施形態に係る光音響測定装置は、光源11、光学系13、音響波探触子17、走査部18、信号処理部19、データ処理部20、入出力部21、測定部22、経路設定部23を有する。
<System configuration>
The configuration of the photoacoustic measurement apparatus according to the first embodiment will be described with reference to FIG. The photoacoustic measurement apparatus according to the first embodiment includes a
測定は、装置に設けられた開口部(不図示)に被検体15(例えば***)を挿入して行う。
まず、光源11から発せられたパルス光12が、光学系13を経由して被検体15に照射される。被検体内部を伝搬した光のエネルギーの一部が血液などの光吸収体に吸収されると、熱膨張により当該光吸収体から音響波が発生する。被検体内で発生した音響波は、音響波探触子17で受信され、信号処理部19およびデータ処理部20で解析される。解析結果は、被検体内の特性情報を表す画像データ(光学特性値情報)に変換され、入出力部21を通して出力される。なお、音響波探触子の走査経路は、経路設定部23が決定する。
また、本実施形態に係る光音響測定装置は、被検体の位置を表す情報(位置情報)を測定部22が取得し、測定に影響を及ぼす被検体の位置変化が発生した場合、経路設定部23がこれを検出して、走査経路を再設定する。これにより、測定中に被検体の位置が変化した場合であっても、不完全な情報が生成されたり、情報が欠落したりすることを防止することができる。
以下、本実施形態に係る光音響測定装置を構成する各手段について説明する。
The measurement is performed by inserting a subject 15 (for example, a breast) into an opening (not shown) provided in the apparatus.
First, pulsed
Further, the photoacoustic measurement device according to the present embodiment acquires information (position information) representing the position of the subject when the
Hereinafter, each means which comprises the photoacoustic measuring device which concerns on this embodiment is demonstrated.
<<光源11>>
光源11は、被検体に照射されるパルス光を発生させる装置である。光源は、大出力を得るためレーザ光源であることが望ましいが、レーザの代わりに発光ダイオードやフラッシュランプ等を用いることもできる。光源としてレーザを用いる場合、固体レーザ、ガスレーザ、色素レーザ、半導体レーザなど様々なものが使用できる。照射のタイミング、波形、強度等は不図示の光源制御部によって制御される。この光源制御部は、光源と一体化されていても良い。
また、光音響波を効果的に発生させるためには、被検体の熱特性に応じて十分短い時間に光を照射させなければならない。被検体が生体である場合、光源から発生するパルス光のパルス幅は10〜50ナノ秒程度が好適である。また、パルス光の波長は、被検体内部まで光が伝搬する波長であることが望ましい。具体的には、被検体が生体である場合、500nm以上1200nm以下であることが望ましい。さらに、パルス光の波長は、観測対象に対して吸収係数が高いものであることが望ましい。
<<
The
In order to effectively generate photoacoustic waves, light must be irradiated in a sufficiently short time according to the thermal characteristics of the subject. When the subject is a living body, the pulse width of the pulsed light generated from the light source is preferably about 10 to 50 nanoseconds. Further, the wavelength of the pulsed light is preferably a wavelength at which the light propagates to the inside of the subject. Specifically, when the subject is a living body, the thickness is desirably 500 nm or more and 1200 nm or less. Furthermore, it is desirable that the wavelength of the pulsed light has a high absorption coefficient relative to the observation target.
<<光学系13>>
光学系13は、光源11で発生したパルス光12を被検体15へ導く手段であり、典型的には光を反射するミラーや、光を集光、拡大、または形状を変化させるレンズ、光を拡散させる拡散板などで構成される。これらの光学部材を用いて、パルス光の照射形状、光密度、被検体への照射方向といったような照射条件を任意のものに設定することができる。なお、光はレンズで集光させるより、ある程度の面積に広げた方が、被検体への安全性ならびに診断領域を広げられるという観点で好ましい。光源11および光学系13が、本発明における光照射部である。
<<
The
<<被検体15>>
被検体15および光吸収体14は、本発明を構成するものではないが、ここで説明する。被検体15は、光音響測定を行う対象物であり、典型的には人体や動物の***や指、手足などである。ここでは、人の***を被検体とする。
本実施形態に係る光音響測定装置では、被検体15の内部に存在する、相対的に光吸収係数が大きい光吸収体14をイメージングすることができる。被検体が生体である場合、光吸収体14とは、具体的には水、脂質、メラニン、コラーゲン、タンパク質、酸化ヘモグロビン、還元ヘモグロビンなどである。または、酸化あるいは還元ヘモグロビンを多く含む血管や、新生血管を多く含む悪性腫瘍などである。光吸収体をイメージングすることで、本実施形態に係る光音響測定装置は、血管の造影、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを行うことができる。
<<
The
In the photoacoustic measurement apparatus according to the present embodiment, it is possible to image the
<<音響波探触子17>>
音響波探触子17は、被検体15に照射された光に起因して当該被検体の内部で発生した音響波を受信し、アナログの電気信号に変換する手段である。なお、本発明における音響波とは、典型的には超音波であり、音波、超音波、光音響波、光超音波と呼ばれる弾性波を含む。音響波探触子17は、被検体内で発生又は反射したこれらの弾性波を受信する。
音響波探触子17は、探触子またはトランスデューサとも呼ばれる。音響波探触子17は、単一の音響検出器からなってもよいし、複数の音響検出器からなってもよい。
また、音響波探触子17は、複数の受信素子が一次元、或いは二次元に配置されたものであってもよい。多次元配列素子を用いると、同時に複数の場所で音響波を受信することができるため、測定時間を短縮することができると共に、被検体の振動などの影響を低減することができる。
<<
The
The
The
また、音響波探触子17は、感度が高く、周波数帯域が広いものが望ましい。具体的に
はPZT(圧電セラミックス)、PVDF(ポリフッ化ビニリデン樹脂)、CMUT(容量性マイクロマシン超音波トランスデューサ)、ファブリペロー干渉計を用いたものなどが挙げられる。ただし、ここに挙げたものだけに限定されず、音響波探触子としての機能を満たすものであれば、どのようなものであってもよい。
Further, it is desirable that the
<<走査部18>>
走査部18は、音響波探触子17を二次元方向に移動させる手段であり、走査機構とその制御手段からなる。走査部18を用いることで、音響波探触子17を二次元的に走査させながら光音響測定を行うことができる。本実施形態では、被検体15は固定されており、音響波探触子をX−Yステージ上で移動させることで、被検体と音響波探触子の相対的な位置を変える。
なお、本実施形態では、走査機構によって音響波探触子17を移動させているが、音響波探触子を固定し、被検体を動かす構成としてもよい。この場合、被検体を支持する支持部(不図示)を走査機構によって動かすようにしてもよい。
<<
The
In the present embodiment, the
なお、被検体15と音響波探触子17の両方を移動可能な構成としてもよい。被検体15を移動させる場合は、測定部22は被検体に追従して同じ動きをすることが好ましいが、被検体の移動を捉えることができれば、他の方法を用いてもよい。また、走査は、探触子を連続的に移動させながら行うことが好ましいが、探触子を間欠的に移動させながら行ってもよい。また、走査を行うための走査機構は、ステッピングモーターなどを用いた電動タイプであることが望ましいが、手動で走査を行うタイプであっても良い。
なお、走査の種類や方法は、ここに挙げたものだけに限定されず、被検体15と音響波探触子17のうち少なくとも一方を移動させることができるものであれば、どのようなものであってもよい。
Note that both the subject 15 and the
Note that the types and methods of scanning are not limited to those listed here, and any scanning is possible as long as at least one of the subject 15 and the
<<信号処理部19>>
信号処理部19は、音響波探触子17で得られた電気信号を増幅し、デジタル信号に変換する手段である。信号処理部19は、典型的には増幅器、A/D変換器、FPGA(Field Programmable Gate Array)チップなどで構成される。探触子から得られる検出信号
が複数の場合は、同時に複数の信号を処理できることが望ましい。
<< Signal processing
The
<<データ処理部20>>
データ処理部20は、信号処理部19によって得られたデジタル信号を処理することによって、画像データを生成(画像再構成)する手段である。データ処理部20が実行する画像再構成方法には、例えば、フーリエ変換法、ユニバーサルバックプロジェクション法やフィルタードバックプロジェクション法、逐次再構成法などがあるが、どのような画像再構成方法を用いても構わない。また、信号処理部19、データ処理部20は一体化されていてもよい。信号処理部19およびデータ処理部20が、本発明における画像取得手段である。
<<
The
<<入出力部21>>
入出力部21は、データ処理部20で生成された画像を出力し、また、操作者からの入力操作を受け付ける手段であり、典型的にはタッチパネルディスプレイである。また、入出力部21は、後述する経路設定部23が被検体の位置ずれを検出した場合に、当該位置ずれについての詳細な情報を表示する手段である。なお、入出力部21は、必ずしも光音響測定装置と一体である必要はなく、外部に接続された装置であってもよい。
<< Input /
The input /
<<測定部22>>
測定部22は、被検体の位置情報を取得するための測定手段であり、具体的には、被検体の表面を撮像する可視光カメラ、赤外線カメラ、被検体の形状を測定する距離センサな
どである。測定部22にカメラを用いる場合、そのフレームレートおよび解像度は、測定に影響を及ぼす被検体の位置変化を検出できる程度であればよい。測定部22が、本発明における位置情報取得手段である。
また、測定部22は、複数台の可視光カメラであってもよいし、被検体との距離を測定することができる一つ以上のセンサであってもよい。また、被検体表面の血管形状を測定できる赤外線カメラなど、被検体が移動または変形したことを捉えられるものであれば、どのようなものであってもよい。
第一の実施形態では、測定部22として、被検体の測定対象領域全体を捉えることができる可視光カメラを用いる。
<<
The
Further, the
In the first embodiment, a visible light camera capable of capturing the entire measurement target region of the subject is used as the
<<経路設定部23>>
経路設定部23は、測定を行う際の音響波探触子17の移動経路(走査経路)を生成し、走査部18を通して、音響波探触子17の移動を制御する手段である。また、測定部22によって得られた被検体画像に基づいて、走査中に発生した被検体のずれを検知し、走査経路を生成し直す手段である。経路設定部23が、本発明における経路設定手段および経路変更手段である。
ここで、被検体のずれについて説明する。光音響測定では、被検体内で発生する音響波を探触子で受信することで、音響波の発生源を推定する。すなわち、光音響測定中に被検体が移動したり変形したりすると、探触子に対する位置関係がずれてしまうため、誤った情報に基づいて画像が生成されてしまう。
経路設定部23は、このような測定に影響を及ぼす被検体のずれ(以降、単に位置ずれと称する)を検出し、走査経路を変更することで情報の欠落を回復ないし防止する。なお、位置ずれとは、測定対象領域における被検体の平行移動、伸縮、回転、歪みなどを含む。測定に影響を及ぼす被検体の動きであれば、検出対象はどのような動きであってもよい。
経路設定部23は、測定部22を介して被検体画像を複数枚取得し、それぞれの画像を用いて、被検体の位置ずれが発生したことを検出する。具体的な方法については後述する。
<< Route setting
The
Here, the displacement of the subject will be described. In photoacoustic measurement, an acoustic wave generation source is estimated by receiving an acoustic wave generated in a subject with a probe. That is, if the subject moves or deforms during the photoacoustic measurement, the positional relationship with respect to the probe is shifted, so that an image is generated based on erroneous information.
The
The
なお、測定開始時に設定する走査経路は、操作者が指定してもよいし、得られた被検体画像に基づいて経路設定部23が自動で設定してもよい。
また、信号処理部19、データ処理部20、経路設定部23は、CPUと主記憶装置、および補助記憶装置を有するコンピュータであってもよいし、マイコンや、専用に設計されたFPGA等のハードウェアであってもよい。
Note that the scanning path to be set at the start of measurement may be designated by the operator, or may be automatically set by the
Further, the
<位置ずれの検出方法>
次に、経路設定部23が、被検体の位置ずれを検出する方法について説明する。本例では、被検体画像のうち、位置ずれを検出する対象領域(関心領域)を定め、当該領域内における位置ずれを検出する。関心領域は、事前に操作者によって指定されてもよいし、装置が自動的に設定してもよい。
位置ずれの検出は、テンプレート画像と、測定中に周期的に取得した被検体画像を比較することによって行う。まず、測定開始前に被検体画像を取得し、当該画像をテンプレート画像として一時的に記憶する。そして、測定開始後、一定時間おきに被検体画像を取得し、テンプレート画像と各フレームにおける被検体画像とのマッチングを行う。具体的には、数式1で示したような、正規化相互相関(ZNCC:Zero-mean Normalized Cross-Correlation)を演算し、被検体の位置の変化量を算出する。
なお、本実施形態では、正規化相互相関による演算を行っているが、被検体の位置の変化を示すものであれば、他の方法によって算出してもよい。例えばSSD(Sum of Squared Difference)や、SAD(Sum of Absolute Difference)など、被検体の位置の変化
がわかる方法であれば、どのような方法を用いてもよい。なお、本例では、被検体画像全
体を関心領域とするが、関心領域を指定する場合、各画像から関心領域を切り出して演算を行ってもよい。
Next, a method in which the
The position shift is detected by comparing the template image with the subject image periodically acquired during the measurement. First, a subject image is acquired before the measurement is started, and the image is temporarily stored as a template image. Then, after starting the measurement, a subject image is acquired at regular intervals, and the template image and the subject image in each frame are matched. More specifically, a normalized cross-correlation (ZNCC) as shown in Equation 1 is calculated to calculate the amount of change in the position of the subject.
In this embodiment, the calculation based on the normalized cross-correlation is performed. However, the calculation may be performed by another method as long as it indicates a change in the position of the subject. For example, any method such as SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference) may be used as long as it can understand the change in the position of the subject. In this example, the entire subject image is set as the region of interest. However, when the region of interest is designated, the region of interest may be cut out from each image for calculation.
ここで、MおよびNは、それぞれの画像のX−Y座標系におけるX方向、Y方向のピクセル数である。また、I(i,j)は、測定中の被検体画像の関心領域における輝度値であ
り、Iavgは当該関心領域における輝度の平均値である。また、T(i,j)はテンプレート画像の関心領域における輝度値であり、Tavgは当該関心領域における輝度の平均値であ
る。
数式1を用いて、テンプレート画像の関心領域と、被検体画像の関心領域との間の類似度Rを求めることができる。また、座標をシフトさせながらマッチングを行い、最も類似度が高くなるシフト量を取得することで、X方向,Y方向それぞれのずれ幅を取得することができる。当該ずれ幅が、測定開始後に発生した被検体の移動量となる。
Here, M and N are the numbers of pixels in the X and Y directions in the XY coordinate system of each image. I (i, j) is a luminance value in the region of interest of the subject image being measured, and I avg is an average value of luminance in the region of interest. T (i, j) is a luminance value in the region of interest of the template image, and Tavg is an average value of luminance in the region of interest.
Using Equation 1, the similarity R between the region of interest of the template image and the region of interest of the subject image can be obtained. Further, by performing matching while shifting the coordinates and acquiring the shift amount with the highest similarity, the shift widths in the X direction and the Y direction can be acquired. The deviation width is the amount of movement of the subject that occurs after the start of measurement.
経路設定部23は、以上のようにして、X方向,Y方向それぞれのずれ幅を取得し、当該ずれ幅に基づいて、被検体に位置ずれが発生したことを判断する。判断方法の詳細については後述する。
The
<走査経路変更方法>
次に、経路設定部23が被検体の位置ずれを検知した場合に、走査経路の変更を行う方法について説明する。走査経路を変更する方法としては、その経路の一部を変更する、あるいは全部を変更することが考えられる。
図2を参照して説明を行う。ここでは、被検体15に対して測定を行う前に、操作者が、走査を行う対象領域である測定対象領域24を設定し、これに対して走査経路25が自動的に生成されたものとする。生成された走査経路を図2(a)に示す。走査は、音響波探触子17をX軸方向に移動させながら光音響データの取得を行う主走査と、Y軸方向に一定の距離だけ移動させる副走査を繰り返すことで行われる。なお、主走査によって走査される領域を走査ストライプと呼ぶ。なお、図2(b)〜(d)においてX軸およびY軸の表記は省略する。
<Scanning path change method>
Next, a method for changing the scanning path when the
The description will be given with reference to FIG. Here, before the measurement is performed on the subject 15, the operator sets the
図2(a)の例では、走査ストライプが3本である例を示したが、対象の領域を走査することができれば、走査ストライプは何本であってもよい。また、走査ストライプを走査する順番は任意でよい。また、走査ストライプは、一部が重複していてもよいし、同一のストライプを音響波探触子が複数回走査するようにしてもよい。このようにすることで、取得した信号のS/N比を向上させることができる。 In the example of FIG. 2A, an example in which there are three scanning stripes has been shown. However, any number of scanning stripes may be used as long as the target region can be scanned. Further, the order of scanning the scanning stripes may be arbitrary. Further, the scanning stripes may be partially overlapped, or the same stripe may be scanned multiple times by the acoustic wave probe. By doing in this way, the S / N ratio of the acquired signal can be improved.
ここで、図2(a)の符号26で示した位置まで音響波探触子が来た際に、被検体にずれが発生したと仮定する。ここでは、被検体が右下に平行移動したものとする。この場合、このまま測定を続けると、座標がずれたまま光音響測定が行われ、不正確な画像が生成
されてしまう。これを防ぐための方法には、以下の三つの方法が考えられる。
第一の方法は、音響波探触子を、被検体が移動した分だけシフトさせて測定を続ける方法である。すなわち、被検体の動きに追従させて走査経路を移動させ、新しい走査経路上に音響波探触子を移動させて走査を継続する。図2(b)の例では、被検体の位置ずれを検知した時点で、走査経路25のうち未走査の経路を破棄し、当該未走査の経路を右下にシフトさせた走査経路28Aを生成する。音響波探触子は、新たな走査経路28A上に移動し、走査を継続する。点線で示した符号15Aが、移動後の被検体の位置を表す。また、点線で示した符号27Aが新たな走査ストライプである。
Here, it is assumed that when the acoustic probe has reached the position indicated by
The first method is a method of continuing the measurement by shifting the acoustic probe by the amount of movement of the subject. That is, the scanning path is moved following the movement of the subject, and the acoustic wave probe is moved on the new scanning path to continue scanning. In the example of FIG. 2B, at the time when the displacement of the subject is detected, the unscanned path is discarded from the
第二の方法は、第一の方法と同様に、被検体が移動した分だけ走査経路をシフトさせるが、音響波探触子を、位置ずれの影響を受けない位置まで後退させて走査をやり直す方法である。第一の方法では、位置ずれを検知した時点で音響波探触子を新たな走査経路上に移動させるため、当該箇所においてデータが連続しなくなるおそれがある。これを避けるため、第二の方法では、音響波探触子を後退させて走査をやり直す。
図2(c)の例では、第一の方法と同様に新たな走査経路28Bを生成するが、探触子を後退させる必要があるため、既走査の経路も変更の対象となる。本例では、走査経路25全体を走査経路28Bに置き換え、音響波探触子を走査経路28Bの先頭(走査開始地点)まで移動させ、走査を再度行う。符号27Bが新たな走査ストライプである。
なお、ここでは、走査経路25全体を変更の対象とし、走査経路28Bの先頭まで音響波探触子を後退させているが、例えば、走査経路25のうち、二本目のストライプの先頭以降のみを変更対象としてもよい。走査経路は、音響波探触子を、被検体の位置ずれの影響を受けない位置まで後退させられるような範囲で変更すればよい。
As in the first method, the second method shifts the scanning path by the amount of movement of the subject. However, the acoustic wave probe is moved backward to a position that is not affected by the positional deviation, and scanning is performed again. Is the method. In the first method, since the acoustic wave probe is moved onto a new scanning path at the time when a positional deviation is detected, there is a possibility that data will not be continuous at that location. In order to avoid this, in the second method, the acoustic wave probe is moved backward to perform scanning again.
In the example of FIG. 2C, a
In this example, the
第三の方法は、位置ずれが発生した場合に、再度走査経路を生成し直す方法である。第一および第二の方法では、ずれ幅の分だけ走査経路をシフトさせたが、第三の方法では、走査経路を新規に生成し直し、新たに設定された走査経路を用いて最初から走査を行う。新たな走査経路は、測定対象領域に基づいて自動的に決定される。
図2(d)の例では、符号29で示した領域が、位置ずれ発生後の新たな測定対象領域であるとする。位置ずれを検知した時点で、走査経路25は破棄され、測定対象領域29をカバーする新たな走査経路30が生成され、走査が再度行われる。なお、新たな測定対象領域29は、手動で再設定されてもよいし、自動で再設定されてもよい。
The third method is a method for re-generating a scanning path when a positional deviation occurs. In the first and second methods, the scanning path is shifted by an amount corresponding to the shift width, but in the third method, a new scanning path is generated again, and scanning is performed from the beginning using the newly set scanning path. I do. A new scanning path is automatically determined based on the measurement target region.
In the example of FIG. 2D, it is assumed that the area indicated by
<処理フローチャート>
本実施形態に係る光音響測定装置が行う処理について、図3を用いて説明する。
まず、操作者が、被検体のずれ幅の閾値、すなわち移動量の許容最大値をピクセル数で入力する(S1)。閾値は、入出力部21から入力することが好ましいが、閾値は装置にあらかじめ所定の値として記憶されていてもよいし、装置が自動的に演算してもよい。
<Process flowchart>
Processing performed by the photoacoustic measurement apparatus according to the present embodiment will be described with reference to FIG.
First, the operator inputs a threshold value of the displacement width of the subject, that is, an allowable maximum value of the movement amount in the number of pixels (S1). The threshold value is preferably input from the input /
次に、光音響測定装置に、被検体である生体(例えば***)を挿入する。このとき、被検体を挿入する前と挿入した後の画像を、測定部22(可視光カメラ)がそれぞれ撮像し、両画像の差分を取得する(S2)。ここで取得した画像は、比較用のテンプレート画像となる。なお、以降の説明において、被検体画像とは、被検体が挿入された状態で撮像された画像と、被検体を挿入する前に撮像された画像との差分(すなわち被検体のみを表す画像)であるものとする。
次に、経路設定部23が走査経路を決定する(S3)。走査経路は、測定対象領域全てを走査できるような経路である。測定対象領域とは、走査が可能な領域全体であってもよいし、被検体が存在する領域のみであってもよい。本実施形態では、測定対象領域をストライプで分割して、当該ストライプを全て走査する経路を自動で生成するが、操作者が手動で走査経路を指定するようにしてもよい。
ステップS3が終了すると、光音響測定が開始される。まず、測定部22が被検体画像
を取得し、経路設定部23が被検体の位置ずれを検出する(S4)。ここでは、前述したように、測定開始前に取得した被検体画像と、測定中に一定時間おきに複数回撮像した被検体画像のずれ幅(すなわち移動したピクセル数)を取得し、予め設定された閾値との比較を行う。この結果、ずれ幅が閾値を超えた場合、被検体の位置ずれが生じたと判定する。
なお、この他にも、被検体画像を取得するごとに、測定開始からのずれ幅を積算し、積算されたずれ幅が閾値を超えた場合に、被検体の位置ずれが生じたと判定してもよい。
Next, a living body (for example, a breast) as a subject is inserted into the photoacoustic measurement apparatus. At this time, the measurement unit 22 (visible light camera) captures the images before and after inserting the subject, and acquires the difference between the two images (S2). The image acquired here is a template image for comparison. In the following description, the subject image is a difference between an image captured with the subject inserted and an image captured before the subject is inserted (that is, an image representing only the subject). Suppose that
Next, the
When step S3 is completed, photoacoustic measurement is started. First, the
In addition to this, every time the subject image is acquired, the deviation width from the start of measurement is integrated, and when the accumulated deviation width exceeds the threshold value, it is determined that the subject position deviation has occurred. Also good.
ステップS5は、被検体の位置ずれの検出結果に基づいて、走査経路の変更を実施するか否かを判断するステップである。ステップS4を実行した結果、ずれ幅が閾値以内であった場合、走査経路は変更せず、光源11からパルス光を発生させ、光学系13を通して被検体にパルス光を照射する(S6)。
そして、パルス光に起因して被検体内で発生した音響波を、音響波探触子17によって取得する(S7)。既定回数のパルス光を発光し、音響波の取得が完了したら、測定が全て完了したかを判定し(S8)、完了していたら処理を終了させる。未完了である場合は、処理はステップS4へ戻り、再度、被検体画像の取得を実行する。
ステップS5を実行した結果、ずれ幅が閾値を超過していた場合は、処理はステップS9に遷移し、走査経路の変更と音響波探触子の移動を行う。
Step S5 is a step of determining whether to change the scanning path based on the detection result of the displacement of the subject. As a result of executing Step S4, when the deviation width is within the threshold value, the scanning path is not changed, pulse light is generated from the
Then, the acoustic wave generated in the subject due to the pulsed light is acquired by the acoustic wave probe 17 (S7). When the predetermined number of pulse lights are emitted and the acquisition of the acoustic wave is completed, it is determined whether all the measurements are completed (S8), and if completed, the process is terminated. If it is not completed, the process returns to step S4, and the acquisition of the subject image is executed again.
As a result of executing step S5, if the deviation width exceeds the threshold value, the process proceeds to step S9, where the scanning path is changed and the acoustic wave probe is moved.
ステップS9は、位置ずれが発生した旨を、入出力部21を通して操作者に通知し、走査経路の変更を行うステップである。
走査経路を設定し直す場合、被検体に生じたずれ幅の分だけ走査経路をシフトしてもよいし、新たな走査経路を生成してもよい。新たな走査経路が生成された場合、音響波探触子を新たな走査経路上に移動させる。この場合、ただちに走査を再開してもよいし、ずれをカバーできる分だけ音響波探触子を後退させた後に走査を再開してもよい。また、最初から走査をし直してもよい。ステップS9では、これらの指示を操作者から受け付け、音響波探触子を移動させる。
Step S9 is a step of notifying the operator that the positional deviation has occurred through the input /
When resetting the scanning path, the scanning path may be shifted by the amount of deviation generated in the subject, or a new scanning path may be generated. When a new scanning path is generated, the acoustic wave probe is moved onto the new scanning path. In this case, scanning may be resumed immediately, or scanning may be resumed after the acoustic wave probe has been retracted by an amount that can cover the deviation. Further, the scanning may be performed again from the beginning. In step S9, these instructions are received from the operator, and the acoustic wave probe is moved.
操作者に、被検体の位置ずれが発生したことを通知する画面の例を図4に示す。本実施形態では、入出力部21はタッチパネルディスプレイであり、図4は、入出力部21が出力する画面の例である。図4のうち、符号31は、被検体に位置ずれが発生したことを通知するグラフィックである。また、符号32は、位置ずれについての詳細情報を表示する領域である。また、符号33は、被検体の位置の変化を図示する領域である。また、符号34は、選択肢を表示する領域である。
図4の画面は一例であり、操作者に提示する画面は、被検体の位置が変化したことを通知できれば、どのように構成されていてもよい。例えば、位置の変化量や変化ベクトルを数値で表示してもよいし、被検体画像に重畳表示してもよい。また、被検体の位置変化量は、長さ(ミリメートル)で表示してもよいし、変化ボクセル値や変化量のベクトルで表示してもよい。また、Z方向についての変化ピクセル数が検知可能である場合、併せて表示してもよい。装置が扱うことができる値であれば、どのような形式で表示してもよい。
FIG. 4 shows an example of a screen for notifying the operator that the subject has been displaced. In the present embodiment, the input /
The screen of FIG. 4 is an example, and the screen presented to the operator may be configured in any manner as long as it can be notified that the position of the subject has changed. For example, the position change amount and the change vector may be displayed as numerical values, or may be displayed superimposed on the subject image. Further, the position change amount of the subject may be displayed as a length (millimeter), or may be displayed as a change voxel value or a vector of the change amount. Further, when the number of change pixels in the Z direction can be detected, it may be displayed together. Any value that can be handled by the device may be displayed.
また、変更前および変更後の走査経路をグラフィック表示してもよい。例えば、画面上に被検体画像を表示し、変更前の走査経路と、変更後の走査経路をそれぞれ異なる色やスタイルで重畳表示させてもよい。スタイルとは、線の太さ、実線と点線などであるが、走査経路がどのように変化したかを表現できれば、どのような表示であってもよい。
また、走査経路の変更は、装置が自動的に行うことが好ましいが、画面上に選択肢を表示し、以降の処理を操作者に選択させるようにしてもよい。例えば、図4の例では、「測定をやり直す」「被検体の動きに探触子を追従させて測定を継続」「被検体の動きに追従させた走査経路を新たに生成して再測定」「測定中断」の4つの選択肢を提示している。もちろん、この他にも、装置において実現しうる方法であれば、どのような選択肢を提示
してもよい。
Further, the scanning path before and after the change may be displayed graphically. For example, the subject image may be displayed on the screen, and the scan path before the change and the scan path after the change may be superimposed and displayed in different colors and styles. The style is a line thickness, a solid line, a dotted line, or the like, but any display may be used as long as it can express how the scanning path has changed.
The scanning path is preferably changed automatically by the apparatus, but options may be displayed on the screen to allow the operator to select subsequent processing. For example, in the example of FIG. 4, “redo measurement”, “continue measurement by causing the probe to follow the movement of the subject”, and “re-measure by newly generating a scanning path that follows the movement of the subject”. Four options for “measurement interruption” are presented. Of course, any other option may be presented as long as the method can be realized in the apparatus.
図5は、測定部22、経路設定部23、走査部18の動作タイミングと、レーザ光の照射タイミングとの関係を表した図である。測定部22が被検体画像を取得し、経路設定部23に送信する。そして、経路設定部23が、テンプレート画像と、取得した被検体画像を比較し、位置ずれが発生していないと判定した場合、音響波探触子を走査させながらレーザ光の照射を行う。位置ずれが発生していると判定した場合、走査経路の変更、および音響波探触子の移動を行う。
FIG. 5 is a diagram illustrating the relationship between the operation timing of the
第一の実施形態によると、光音響測定装置において、測定中の被検体の位置が変化したことを検出し、走査経路を変更することができる。これにより、被検体の位置変化に起因する測定データの劣化を防止し、精度を向上させることができる。 According to the first embodiment, in the photoacoustic measurement apparatus, it is possible to detect that the position of the subject under measurement has changed and change the scanning path. Thereby, it is possible to prevent the measurement data from being deteriorated due to the change in the position of the subject and improve the accuracy.
なお、本実施形態では、テンプレート画像と、一定時間おきに取得した被検体画像との間で正規化相互相関を求めることで被検体の位置ずれを検出したが、他の方法を用いてもよい。例えば、各フレームにおける被検体画像に対して輪郭抽出を行い、輪郭同士をマッチングさせることでずれ幅を算出し、位置ずれを検出するようにしてもよい。 In the present embodiment, the positional deviation of the subject is detected by obtaining a normalized cross-correlation between the template image and the subject image acquired at regular intervals, but other methods may be used. . For example, contour extraction may be performed on the subject image in each frame, and the shift width may be calculated by matching the contours to detect the positional shift.
また、赤外線カメラを用いて得られた血管画像をテンプレート画像とし、各フレーム間での正規化相互相関を算出することで被検体の位置ずれを検出するようにしてもよい。また、テンプレート画像の重心を比較することで被検体の位置ずれを検出してもよいし、操作者が設定した関心領域を用いてテンプレート画像を切り抜き、被検体画像とのマッチングを行うことで被検体の位置ずれを検出するようにしてもよい。 Alternatively, a blood vessel image obtained by using an infrared camera may be used as a template image, and a position shift of the subject may be detected by calculating a normalized cross-correlation between frames. Further, the displacement of the subject may be detected by comparing the center of gravity of the template image, or the template image is cut out using the region of interest set by the operator and matched with the subject image. You may make it detect the position shift of a test substance.
(第二の実施形態)
第一の実施形態では、光音響測定を開始する前に取得したテンプレート画像と、測定中に取得した被検体画像とのずれ幅を取得した。すなわち、被検体の位置ずれは一つのベクトルで表現されていた。これに対し、第二の実施形態は、被検体表面の特徴点を抽出し、特徴点ごとに変位量を求めたうえで位置ずれの発生を総合的に判断する実施形態である。
(Second embodiment)
In the first embodiment, the deviation width between the template image acquired before the start of photoacoustic measurement and the subject image acquired during the measurement is acquired. That is, the displacement of the subject is expressed by one vector. On the other hand, the second embodiment is an embodiment in which feature points on the surface of the subject are extracted and the amount of displacement is determined for each feature point, and the occurrence of misalignment is comprehensively determined.
第二の実施形態に係る超音波診断装置の構成は、第一の実施形態と同様であるが、測定部22が通常のカメラではなく、距離を取得することができるステレオカメラで構成されるという点において第一の実施形態と相違する。
また、第二の実施形態に係る経路設定部23は、撮像した画像同士をパターンマッチングさせるのではなく、各画像から特徴点を抽出し、抽出した特徴点の移動を検出することで位置ずれの発生を判断するという点において第一の実施形態と相違する。
特徴点の抽出には、既知の技術を用いることができる。例えば、画像にフィルタをかけることで得られるエッジ情報から特徴点を抽出してもよいし、画像における生体構造上の特徴(例えば***における乳頭、血管の陰影、メラニン色素沈着、***輪郭、しわ)から特徴点を抽出してもよい。特徴点の位置の変化をフレーム間で追跡できるものであれば、特徴点の抽出方法は特に限定されない。
また、これらの情報をフレーム間で一定時間積算し、積算後に平均して得られた情報から特徴点を抽出してもよい。また、撮影した各フレームから特徴点を求める際は、画像の一部のみを用いてもよいし、全部を用いてもよい。さらに、操作者が入出力部21を通して関心領域を設定し、当該関心領域内で特徴点の追跡を行うようにしてもよい。
なお、特徴点は、被検体の移動を追跡するための微小な領域であり、必ずしも一つの画素に対応する点である必要は無い。
The configuration of the ultrasonic diagnostic apparatus according to the second embodiment is the same as that of the first embodiment, but the
In addition, the
Known techniques can be used to extract feature points. For example, feature points may be extracted from edge information obtained by filtering the image, or anatomical features in the image (eg, nipple in breast, blood vessel shadow, melanin pigmentation, breast contour, wrinkles) Feature points may be extracted from The feature point extraction method is not particularly limited as long as the change in the position of the feature point can be traced between frames.
Further, these pieces of information may be integrated between frames for a certain period of time, and feature points may be extracted from information obtained by averaging after integration. In addition, when obtaining feature points from each photographed frame, only a part of the image or all of the image may be used. Further, the operator may set a region of interest through the input /
The feature point is a minute region for tracking the movement of the subject and does not necessarily have to correspond to one pixel.
第二の実施形態に係る光音響測定装置の処理フローチャートについて、第一の実施形態との相違点を中心に説明する。
ステップS1は、第一の実施形態と同様に、被検体の位置ずれの閾値、すなわちずれ幅の許容最大値を設定するステップであるが、第二の実施形態では、被検体全体の移動量に対応する値ではなく、変形量の許容最大値を閾値として設定する。具体的には、「最も変位量の大きい特徴点のずれ幅の許容最大値」を閾値として設定する。ずれ幅の許容値は、ピクセル数で入力してもよいし、ボクセル換算値、距離換算値などで入力してもよい。
なお、閾値を自動的に設定するようにしてもよい。例えば、被検体が装置に挿入されて測定準備が整った後から測定を開始するまでに、それぞれの特徴点に対応する変位情報(例えば動きベクトル値やその絶対値)を取得し、当該変位情報を一定倍したものを閾値として使用するようにしてもよい。これらの演算は、測定部22が行ってもよいし、経路設定部23が行ってもよい。
A process flowchart of the photoacoustic measurement apparatus according to the second embodiment will be described focusing on differences from the first embodiment.
Similar to the first embodiment, step S1 is a step of setting a threshold value for the positional deviation of the subject, that is, an allowable maximum value of the deviation width. In the second embodiment, the amount of movement of the whole subject is set. Instead of the corresponding value, the allowable maximum value of the deformation amount is set as the threshold value. Specifically, “the maximum allowable deviation value of the feature point having the largest displacement amount” is set as the threshold value. The allowable deviation width may be input as the number of pixels, or may be input as a voxel converted value, a distance converted value, or the like.
The threshold value may be set automatically. For example, the displacement information (for example, motion vector value and its absolute value) corresponding to each feature point is acquired after the subject is inserted into the apparatus and the measurement preparation is completed and before the measurement is started. May be used as a threshold value. These calculations may be performed by the
ステップS2では、テンプレート画像の取得を行うかわりに、測定開始前の状態における特徴点の座標を取得する。具体的には、装置に挿入された被検体の測定開始前の状態を、ステレオカメラで撮影する。そして、得られた画像の組から、対応する複数の特徴点を抽出し、得られた複数の特徴点の座標の集合を取得する。特徴点は、被検体画像のうち被検体部分から抽出することが好ましい。特徴点の座標は、ステレオカメラの中点を原点とするステレオ座標系で表されるが、各点が設定できる座標系であれば、いずれの座標系であってもよい。
ステップS3で行う走査経路の生成処理は、第一の実施形態と同様である。
In step S2, instead of acquiring a template image, the coordinates of feature points in a state before the start of measurement are acquired. Specifically, the state before the start of measurement of the subject inserted in the apparatus is photographed with a stereo camera. Then, a plurality of corresponding feature points are extracted from the obtained set of images, and a set of coordinates of the obtained plurality of feature points is acquired. The feature points are preferably extracted from the subject portion of the subject image. The coordinates of the feature points are expressed in a stereo coordinate system with the midpoint of the stereo camera as the origin, but any coordinate system can be used as long as each point can be set.
The scanning path generation process performed in step S3 is the same as in the first embodiment.
ステップS4では、ステップS2で取得した複数の特徴点を追跡し、元のフレームと一定時間後のフレームにおいて、対応する各特徴点同士を結ぶ動きベクトルを算出する。特徴点は、一つのフレームから求めてもいいし、複数のフレームにおける該当特徴点の重心を用いてもよい。 In step S4, a plurality of feature points acquired in step S2 are tracked, and a motion vector connecting the corresponding feature points in the original frame and a frame after a certain time is calculated. The feature point may be obtained from one frame, or the center of gravity of the corresponding feature point in a plurality of frames may be used.
被検体のずれが閾値以内であるか否かの判定(S5)は、特徴点ごとに算出した動きベクトルを用いて行う。本実施形態では、最も移動距離が大きい特徴点を特定し、当該移動距離と閾値とを比較しているが、他の方法を用いて判定を行ってもよい。例えば、二つのフレーム間における全ての特徴点の移動距離の平均値を求め、当該平均値を閾値と比較してもよいし、全ての特徴点の移動距離の測定開始時からの積算値を求め、閾値と比較してもよい。位置ずれが発生したか否かの判断には、任意の手法を用いることができる。 The determination (S5) of whether or not the deviation of the subject is within the threshold is performed using the motion vector calculated for each feature point. In the present embodiment, the feature point having the longest moving distance is specified and the moving distance is compared with the threshold value. However, the determination may be performed using another method. For example, the average value of the movement distances of all feature points between two frames may be obtained and the average value may be compared with a threshold value, or the integrated value from the start of measurement of the movement distances of all feature points may be obtained. It may be compared with a threshold value. Any method can be used to determine whether or not a positional shift has occurred.
なお、位置ずれが発生したと判定した場合、RANSAC(Random Sample Consensus
)法を用いることで、被検体が平行移動をしているか、変形しているかをさらに推定することができる。RANSAC法では、ランダムに特徴点をn個抽出し、対応する特徴点同士で変換行列を求める。そして、当該変換行列を、ランダムに抽出した他の特徴点に適応する。
この結果、残差の2乗和が最小になる変換行列が有意に多く得られた場合、平行移動によるずれが発生していると判定することができる。反対に、多く得られなかった場合は、回転ないし変形が発生していると判定することができる。もちろん、上記の方法に限らず、他の方法を用いてもよい。
If it is determined that a positional deviation has occurred, RANSAC (Random Sample Consensus
) Method can be used to further estimate whether the subject is moving in parallel or deformed. In the RANSAC method, n feature points are extracted at random, and a transformation matrix is obtained between corresponding feature points. Then, the transformation matrix is applied to other feature points extracted at random.
As a result, when a significant number of transformation matrices that minimize the residual sum of squares are obtained, it can be determined that a shift due to parallel movement has occurred. On the other hand, when many cannot be obtained, it can be determined that rotation or deformation has occurred. Of course, the present invention is not limited to the above method, and other methods may be used.
ステップS6〜S8の処理は、第一の実施形態と同様である。
ステップS9では、第一の実施形態と同様に、画面表示によって操作者に対する通知を行い、走査経路を変更する。平行移動が検知された場合、第一の実施形態と同様に、被検体に生じたずれ幅の分だけ走査経路をシフトしてもよいし、新しい走査経路を生成してもよい。回転移動や変形が検知された場合、新たな走査経路を生成し、最初から走査し直すことが好ましいが、最初から走査を行わずとも位置ずれをカバーできる場合、新たな走査経路の途中から走査を再開してもよい。すなわち、被検体の一部のみが変形した場合、変形した部分に係る走査経路のみを再生成してもよい。
The processes in steps S6 to S8 are the same as in the first embodiment.
In step S9, as in the first embodiment, the operator is notified by screen display, and the scanning path is changed. When the parallel movement is detected, the scanning path may be shifted by the amount of the deviation generated in the subject, or a new scanning path may be generated, as in the first embodiment. When rotational movement or deformation is detected, it is preferable to generate a new scanning path and scan again from the beginning. However, if the position shift can be covered without scanning from the beginning, scanning is performed from the middle of the new scanning path. May be resumed. That is, when only a part of the subject is deformed, only the scanning path related to the deformed part may be regenerated.
第二の実施形態においても、第一の実施形態と同様に、位置ずれについての詳細情報が入出力部21を通して表示されるが、第二の実施形態では特徴点の動きベクトルを取得しているため、被検体の変形に関する情報を操作者に提示するとよい。例えば、領域32に、最頻の動きベクトル量を表す値を表示してもよいし、最大の動きベクトル量を表す値を表示してもよい。
Also in the second embodiment, detailed information about misalignment is displayed through the input /
また、各特徴点の動きベクトルを表すグラフィックを生成し、被検体画像に重畳して表示してもよい。これにより、被検体の細かい位置変化を操作者に通知することができる。図6は、被検体画像33に、特徴点の動きベクトルを表す表示を生成して重畳表示させた場合の画面例である。ここでは、類似した動きベクトルを持つ特徴点をクラスタリングして表示している。これにより、どのように被検体が変形したのかを操作者にわかりやすく示すことができる。
なお、動きベクトルは、例示した方法以外の方法によって示すようにしてもよい。例えば、類似する動きベクトルを類似した色で表示するようにしてもよいし、グループ分けする線の色を変えてもよい。また、矢印以外を用いて動きベクトルを表してもよいし、被検体全体を表示せず、動きベクトルが大きい領域のみを拡大表示するようにしてもよい。
Further, a graphic representing the motion vector of each feature point may be generated and displayed superimposed on the subject image. Thereby, it is possible to notify the operator of a minute position change of the subject. FIG. 6 is an example of a screen when a display representing a motion vector of a feature point is generated and superimposed on the
Note that the motion vector may be indicated by a method other than the exemplified method. For example, similar motion vectors may be displayed in similar colors, or the colors of lines to be grouped may be changed. In addition, the motion vector may be represented using other than the arrows, or only the region where the motion vector is large may be enlarged and displayed without displaying the entire subject.
このように、第二の実施形態では、特徴点を抽出して動きベクトルを取得することで、被検体の形状の変化をより正確に検知することができ、結果として、測定データの精度をより向上させることができる。 As described above, in the second embodiment, by extracting feature points and acquiring motion vectors, it is possible to more accurately detect a change in the shape of the subject, and as a result, the accuracy of measurement data is further improved. Can be improved.
(変形例)
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。本発明は、上記処理の少なくとも一部を含む被検体情報取得装置の制御方法として実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
(Modification)
The description of each embodiment is an exemplification for explaining the present invention, and the present invention can be implemented with appropriate modifications or combinations without departing from the spirit of the invention. The present invention can also be implemented as a method for controlling a subject information acquisition apparatus including at least a part of the above processing. The above processes and means can be freely combined and implemented as long as no technical contradiction occurs.
例えば、実施形態の説明では、被検体画像をパターンマッチングさせる例と、特徴点の座標を比較する例を挙げたが、被検体の位置ずれを検出するための情報には、他の情報を用いてもよい。例えば、被検体の背景部分や、フレーム間差分情報、一定時間後のフレームとのフレーム間差分情報、被検体部分のヒストグラム情報、被検体のテクスチャ情報、勾配法やブロックマッチング法によるオプティカルフロー情報などであってもよい。
また、モラベック・オペレータによる移動体追跡手法、KLT(Kanade-Lucas-Tomasi
)法、局所相関の対応付けによる方法や、大域整合性を考慮した方法による情報などであってもよい。また、単純に、予め設定された領域から被検体がはみ出した場合に、位置ずれが発生したと判断してもよい。被検体の位置や外形の変化がわかる情報であれば、どのような情報を用いて位置ずれ発生の判断を行ってもよい。
For example, in the description of the embodiment, an example in which the subject image is pattern-matched and an example in which the coordinates of the feature points are compared are given, but other information is used as information for detecting the positional deviation of the subject. May be. For example, the background portion of the subject, inter-frame difference information, inter-frame difference information with a frame after a certain period of time, histogram information of the subject portion, subject texture information, optical flow information by gradient method or block matching method, etc. It may be.
In addition, the mobile tracking method by the Moravec operator, KLT (Kanade-Lucas-Tomasi)
) Method, a method based on association of local correlations, or information based on a method considering global consistency. Alternatively, it may be determined that a positional deviation has occurred when the subject protrudes from a preset region. Any information may be used to determine the occurrence of positional deviation as long as the information indicates the change in the position and outer shape of the subject.
また、閾値として設定する値や、操作者に提示する値は、本実施形態で説明したような、初期状態からの変位ピクセル数の他に、以下のようなものであってもよい。例えば、フレーム間における各特徴点の変位量、特徴点の一定時間内での変位量の積算値、特徴点の空間内での変化方向、取得変化データのボクセル換算値、ミリメートル・センチメートル換算値などである。
また、ずれ量を大・中・小に分類した結果や、位置ずれの種類(例えば「平行移動」や「一部歪み」等)、座標系におけるそれぞれの軸上の初期状態からのずれ値などであってもよい。位置ずれがどのようなものであるかを表現できれば、どのような値を用いてもよい。
In addition to the number of displaced pixels from the initial state as described in the present embodiment, the value set as the threshold and the value presented to the operator may be as follows. For example, the displacement amount of each feature point between frames, the integrated value of the displacement amount of the feature point within a certain time, the change direction of the feature point in the space, the voxel conversion value of the acquired change data, the millimeter-centimeter conversion value Etc.
In addition, the result of classifying the amount of displacement into large, medium, and small, the type of displacement (for example, “translation” and “partial distortion”), the displacement value from the initial state on each axis in the coordinate system It may be. Any value may be used as long as it can express what the positional deviation is.
また、各実施形態では、光音響測定装置を例に説明を行ったが、本発明は、超音波を被検体に送信する音響波送信手段を有し、被検体内で反射した超音波を受信することで被検体内の音響特性に関連した情報を可視化する、超音波測定装置に適用してもよい。被検体内より到来する音響波を受信することで当該被検体内の情報を取得する装置であれば、本発明を適用することができる。 In each embodiment, the photoacoustic measurement device has been described as an example. However, the present invention includes an acoustic wave transmission unit that transmits ultrasonic waves to the subject, and receives the ultrasonic waves reflected in the subject. By doing so, you may apply to the ultrasonic measuring device which visualizes the information relevant to the acoustic characteristic in a subject. The present invention can be applied to any apparatus that acquires information in a subject by receiving an acoustic wave coming from within the subject.
17・・・音響波探触子、18・・・走査部、22・・・測定部、23・・・経路設定部 17 ... acoustic wave probe, 18 ... scanning unit, 22 ... measurement unit, 23 ... path setting unit
Claims (18)
音響波を受信する探触子を前記被検体に対して走査させる走査手段と、
前記探触子の走査経路である第一の経路を決定する経路設定手段と、
自装置に対する被検体表面の位置に関する情報である位置情報を取得する位置情報取得手段と、
を有し、
前記経路設定手段は、前記位置情報に基づいて、走査経路を前記第一の経路とは異なる第二の経路に変更するか否かを決定し、前記走査経路を変更する場合に、前記第一の経路および第二の経路をユーザに提示する
ことを特徴とする、被検体情報取得装置。 An object information acquisition apparatus for acquiring information in the subject by receiving and analyzing an acoustic wave coming from within the subject,
Scanning means for scanning the subject with a probe that receives acoustic waves;
Path setting means for determining a first path which is a scanning path of the probe;
Position information acquisition means for acquiring position information which is information related to the position of the subject surface relative to the own apparatus ;
Have
The path setting means determines whether to change the scanning path to a second path different from the first path based on the position information, and when changing the scanning path, the first path The subject information acquisition apparatus is characterized in that the path and the second path are presented to the user .
ことを特徴とする、請求項1に記載の被検体情報取得装置。 The path setting means acquires a movement amount of the subject based on the position information, and changes the scanning path when the movement amount exceeds a predetermined value. 2. The object information acquiring apparatus according to 1.
ことを特徴とする、請求項2に記載の被検体情報取得装置。 The object information acquiring apparatus according to claim 2, wherein the second path is a path obtained by translating the first path following the movement of the subject.
前記走査手段は、前記第二の経路を用いて走査を再度行う
ことを特徴とする、請求項2または3に記載の被検体情報取得装置。 When changing the scanning path, the path setting unit changes the path including the already scanned path from the first path to the second path,
The object information acquiring apparatus according to claim 2, wherein the scanning unit performs scanning again using the second path.
前記走査手段は、前記第二の経路を用いて走査を継続する
ことを特徴とする、請求項3に記載の被検体情報取得装置。 The path setting means, when changing a scanning path, changes an unscanned path from the first path to a second path,
The object information acquiring apparatus according to claim 3, wherein the scanning unit continues scanning using the second path.
ことを特徴とする、請求項1〜5のいずれか1項に記載の被検体情報取得装置。 The path setting unit acquires a deformation amount of the subject based on the position information, and changes the scanning path when the deformation amount exceeds a predetermined value. The subject information acquisition apparatus according to any one of?
ことを特徴とする、請求項6に記載の被検体情報取得装置。 The path setting means, when changing a scanning path, changes a scanning path related to a deformed portion of the subject in the first path to a second path based on the position information. The object information acquiring apparatus according to claim 6, wherein:
前記被検体に光を照射する光照射部と、
前記探触子が受信した音響波を解析することで、前記被検体内の光学特性に関連した情報を画像化する画像取得手段と、
をさらに有する
ことを特徴とする、請求項1〜7のいずれか1項に記載の被検体情報取得装置。 A subject information acquisition apparatus for acquiring information in the subject by irradiating the subject with light and receiving and analyzing an acoustic wave generated in the subject due to the light,
A light irradiation unit for irradiating the subject with light; and
Image acquisition means for imaging information related to optical characteristics in the subject by analyzing the acoustic wave received by the probe;
The object information acquiring apparatus according to claim 1, further comprising:
前記探触子を用いて前記被検体内に音響波を送信する音響波送信手段と、
前記探触子が受信した音響波を解析することで、前記被検体内の音響特性に関連した情報を画像化する画像取得手段と、
をさらに有する
ことを特徴とする、請求項1〜7のいずれか1項に記載の被検体情報取得装置。 An object information acquisition apparatus for acquiring information in the subject by transmitting an acoustic wave in the subject and receiving and analyzing the acoustic wave reflected in the subject,
Acoustic wave transmitting means for transmitting an acoustic wave into the subject using the probe;
Image acquisition means for imaging information related to acoustic characteristics in the subject by analyzing the acoustic wave received by the probe;
The object information acquiring apparatus according to claim 1, further comprising:
前記探触子の走査経路である第一の経路を決定し、前記探触子を用いて前記被検体に対する走査を行う走査ステップと、
前記被検体情報取得装置に対する被検体表面の位置に関する情報である位置情報を取得する位置情報取得ステップと、
を含み、
前記走査ステップは、前記位置情報に基づいて、走査経路を前記第一の経路とは異なる第二の経路に変更するか否かを決定し、前記走査経路を変更する場合に、前記第一の経路および第二の経路をユーザに提示する
ことを特徴とする、被検体情報取得装置の制御方法。 A subject having an acoustic wave receiving probe and a scanning mechanism for moving the probe, and receiving and analyzing an acoustic wave arriving from within the subject to acquire information in the subject A method for controlling an information acquisition device, comprising:
A scanning step of determining a first path which is a scanning path of the probe, and scanning the subject using the probe;
A position information acquisition step of acquiring position information which is information related to the position of the object surface with respect to the object information acquisition apparatus ;
Including
The scanning step determines whether or not to change the scanning path to a second path different from the first path based on the position information, and when changing the scanning path, the first path A method for controlling a subject information acquiring apparatus, wherein a route and a second route are presented to a user .
ことを特徴とする、請求項10に記載の被検体情報取得装置の制御方法。 The scanning path is changed when the movement amount of the subject is acquired based on the position information and the movement amount exceeds a predetermined value in the scanning step. The control method of the object information acquisition apparatus of description.
ことを特徴とする、請求項11に記載の被検体情報取得装置の制御方法。 The method for controlling a subject information acquiring apparatus according to claim 11, wherein the second route is a route obtained by translating the first route following the movement of the subject.
ことを特徴とする、請求項11または12に記載の被検体情報取得装置の制御方法。 In the scanning step, when changing the scanning path, the path including the already scanned path in the first path is changed to the second path, and scanning is performed again using the second path. The method for controlling an object information acquiring apparatus according to claim 11 or 12, wherein:
ことを特徴とする、請求項12に記載の被検体情報取得装置の制御方法。 In the scanning step, when a scanning path is changed, an unscanned path among the first paths is changed to a second path, and scanning is continued using the second path. The method for controlling the subject information acquiring apparatus according to claim 12.
ことを特徴とする、請求項10〜14のいずれか1項に記載の被検体情報取得装置の制御方法。 The scanning step is characterized in that, in the scanning step, a deformation amount of the subject is acquired based on the position information, and the scanning path is changed when the deformation amount exceeds a predetermined value. The control method of the subject information acquisition apparatus according to any one of claims 14 to 14.
ことを特徴とする、請求項15に記載の被検体情報取得装置の制御方法。 In the scanning step, when changing the scanning path, based on the position information, the scanning path related to the deformed portion of the subject in the first path is changed to the second path. The method for controlling an object information acquiring apparatus according to claim 15, wherein the object information acquiring apparatus is a control method.
前記光照射部から光を発生させる光照射ステップと、
前記探触子が受信した音響波を解析することで、前記被検体内の光学特性に関連した情報を画像化する画像取得ステップと、
をさらに含む
ことを特徴とする、請求項10〜16のいずれか1項に記載の被検体情報取得装置の制御方法。 Object information that includes a light irradiation unit that irradiates light in the subject, and acquires information in the subject by receiving and analyzing an acoustic wave generated in the subject due to the light An acquisition device control method comprising:
A light irradiation step for generating light from the light irradiation unit;
An image acquisition step of imaging information related to optical characteristics in the subject by analyzing the acoustic wave received by the probe;
The method for controlling an object information acquiring apparatus according to any one of claims 10 to 16, further comprising:
前記探触子から音響波を発生させる音響波送信ステップと、
前記探触子が受信した音響波を解析することで、前記被検体内の音響特性に関連した情報を画像化する画像取得ステップと、
をさらに含む
ことを特徴とする、請求項10〜16のいずれか1項に記載の被検体情報取得装置の制御方法。 A control method for an object information acquisition apparatus that acquires information in the subject by transmitting an acoustic wave from the probe into the subject and receiving and analyzing the acoustic wave reflected in the subject. There,
An acoustic wave transmitting step for generating an acoustic wave from the probe;
An image acquisition step of imaging information related to acoustic characteristics in the subject by analyzing the acoustic wave received by the probe;
The method for controlling an object information acquiring apparatus according to any one of claims 10 to 16, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013085793A JP6238549B2 (en) | 2013-04-16 | 2013-04-16 | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013085793A JP6238549B2 (en) | 2013-04-16 | 2013-04-16 | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014207933A JP2014207933A (en) | 2014-11-06 |
JP2014207933A5 JP2014207933A5 (en) | 2016-06-02 |
JP6238549B2 true JP6238549B2 (en) | 2017-11-29 |
Family
ID=51902659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013085793A Active JP6238549B2 (en) | 2013-04-16 | 2013-04-16 | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6238549B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6587385B2 (en) * | 2014-11-27 | 2019-10-09 | キヤノン株式会社 | Subject information acquisition apparatus and subject information acquisition method |
JP6436442B2 (en) * | 2015-04-10 | 2018-12-12 | キヤノン株式会社 | Photoacoustic apparatus and image processing method |
JP6645693B2 (en) * | 2015-10-05 | 2020-02-14 | キヤノン株式会社 | Subject information acquisition device and control method therefor |
CN106890006B (en) * | 2017-03-22 | 2019-08-30 | 苏州佳世达电通有限公司 | A kind of ultrasonic system and scanning bootstrap technique |
FR3095941B1 (en) | 2019-05-17 | 2021-04-16 | Supersonic Imagine | Method for determining by ultrasound a corrected image of a medium, and device for carrying out this method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010012109A (en) * | 2008-07-04 | 2010-01-21 | Nidek Co Ltd | Ocular fundus photographic apparatus |
US20120203108A1 (en) * | 2009-10-28 | 2012-08-09 | Hitachi Medical Corporation | Ultrasonic diagnostic apparatus and image construction method |
JP5505251B2 (en) * | 2010-10-19 | 2014-05-28 | セイコーエプソン株式会社 | Blood vessel diameter measuring device |
JP5655021B2 (en) * | 2011-03-29 | 2015-01-14 | 富士フイルム株式会社 | Photoacoustic imaging method and apparatus |
JP2012217508A (en) * | 2011-04-05 | 2012-11-12 | Toshiba Corp | X-ray ct apparatus |
US9165363B2 (en) * | 2011-08-03 | 2015-10-20 | Hitachi Medical Corporation | Image diagnostic device and image correction method |
JP5984541B2 (en) * | 2011-08-08 | 2016-09-06 | キヤノン株式会社 | Subject information acquisition apparatus, subject information acquisition system, display control method, display method, and program |
-
2013
- 2013-04-16 JP JP2013085793A patent/JP6238549B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014207933A (en) | 2014-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6238550B2 (en) | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE | |
US10278584B2 (en) | Method and system for three-dimensional imaging | |
US9339254B2 (en) | Object information acquiring apparatus | |
JP6440140B2 (en) | Subject information acquisition apparatus, processing apparatus, and signal processing method | |
US9867545B2 (en) | Acoustic wave measuring apparatus and control method of acoustic wave measuring apparatus | |
JP6238549B2 (en) | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE | |
US9330462B2 (en) | Object information acquiring apparatus and control method of object information acquiring apparatus | |
US10064556B2 (en) | Photoacoustic apparatus, signal processing method of photoacoustic apparatus, and program | |
US20130116536A1 (en) | Acoustic wave acquiring apparatus and acoustic wave acquiring method | |
US11710290B2 (en) | Photoacoustic image evaluation apparatus, method, and program, and photoacoustic image generation apparatus | |
JP2007167656A (en) | Method for analysis of motion of subject, and tomographic device | |
JP2017070385A (en) | Subject information acquisition device and control method thereof | |
WO2012011242A1 (en) | Image information acquiring apparatus, image information acquiring method and image information acquiring program | |
US10016180B2 (en) | Ultrasonic image processing device | |
JP2019165836A (en) | Subject information acquisition device, and control method therefor | |
JP6184146B2 (en) | Subject information acquisition apparatus and control method thereof | |
US10492694B2 (en) | Object information acquisition apparatus | |
JP7034699B2 (en) | Photoacoustic device and subject information acquisition method | |
JP6685986B2 (en) | Object information acquisition device, control method of object information acquisition device | |
KR101536700B1 (en) | Scalp diagnosis method and apparatus which enable simultaneous implementation of surface image and stratum image | |
JP2017164222A (en) | Processing device and processing method | |
JP6132895B2 (en) | Acoustic wave acquisition device | |
US20190142277A1 (en) | Photoacoustic apparatus and object information acquiring method | |
JP2017042603A (en) | Subject information acquisition apparatus | |
JP2019010346A (en) | Subject information acquisition apparatus and ultrasound probe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171031 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6238549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |