JP2022183324A - Ultrasonic imaging method, ultrasonic imaging device, ultrasonic imaging system and ultrasonic imaging program - Google Patents
Ultrasonic imaging method, ultrasonic imaging device, ultrasonic imaging system and ultrasonic imaging program Download PDFInfo
- Publication number
- JP2022183324A JP2022183324A JP2022168152A JP2022168152A JP2022183324A JP 2022183324 A JP2022183324 A JP 2022183324A JP 2022168152 A JP2022168152 A JP 2022168152A JP 2022168152 A JP2022168152 A JP 2022168152A JP 2022183324 A JP2022183324 A JP 2022183324A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- subject
- image
- ultrasound
- ultrasonic imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 238000002604 ultrasonography Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 55
- 239000000523 sample Substances 0.000 claims description 53
- 230000015572 biosynthetic process Effects 0.000 claims description 29
- 238000003786 synthesis reaction Methods 0.000 claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 29
- 238000012285 ultrasound imaging Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 abstract description 25
- 239000000203 mixture Substances 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 210000001015 abdomen Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 208000001145 Metabolic Syndrome Diseases 0.000 description 1
- 201000000690 abdominal obesity-metabolic syndrome Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、超音波によって被検体の内部を撮像する超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラムに関する。 The present invention relates to an ultrasonic imaging method, an ultrasonic imaging apparatus, an ultrasonic imaging system, and an ultrasonic imaging program for imaging the inside of a subject using ultrasonic waves.
例えば、メタボリックシンドロームの健診では、腹部の断層画像を取得するために、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置が用いられることが多い。これらの装置は、大がかりで高額であり、被爆の問題もあるため、近年では、超音波を用いて断層画像を取得する技術が開発されている。例えば、特許文献1には、プローブを被検体の表面に沿って移動させながら、プローブから超音波を断続的に送送受信することにより得られた複数の超音波画像を合成して、合成画像(パノラマ画像)を生成する技術が開示されている。この技術では、被検者自身がプローブを腹部に当接させながら移動させるだけで、腹部の断面を示す合成画像を得ることができる。
For example, in health checkups for metabolic syndrome, a CT (Computed Tomography) device or an MRI (Magnetic Resonance Imaging) device is often used to acquire a tomographic image of the abdomen. These devices are large-scale and expensive, and there is also the problem of exposure to radiation. Therefore, in recent years, techniques for acquiring tomographic images using ultrasound have been developed. For example, in
正確な合成画像を得るためには、常にプローブの超音波送受信の方向を被検体の表面に対してほぼ垂直にさせるために、常にプローブを被検体に適切な姿勢で当接させながら移動させる必要がある。しかし、被検者がプローブの使用に慣れていない場合、プローブと被検体との角度がぶれたり、プローブが被検体の表面から浮き上がったりしやすい。 In order to obtain an accurate composite image, it is necessary to move the probe while keeping it in contact with the subject in an appropriate posture so that the direction of ultrasonic wave transmission/reception of the probe is almost perpendicular to the surface of the subject. There is However, if the subject is unfamiliar with using the probe, the angle between the probe and the subject is likely to vary, or the probe may rise from the surface of the subject.
これに対し、特許文献1に記載の技術では、超音波画像を撮影しながらリアルタイムに合成画像を生成しているため、被検者は、プローブを移動させながら、合成画像の生成が順調であるかを確認することができる。さらに、特許文献1には、最新の超音波画像の画質が悪い場合には、合成画像の生成および表示を行わないようにすることも開示されている。
On the other hand, in the technique described in
しかし、特許文献1には、最新の超音波画像が適切な合成画像であるか否かの判定基準、すなわち合成処理の成否の判定基準が開示されていない。
However,
そこで、本発明は、上記問題を解決するためになされたものであって、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行う超音波撮像方法を提供することを課題とする。 Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to provide an ultrasonic imaging method for generating a composite image according to a new criterion regarding the success or failure of composite processing.
本発明に係る超音波撮像方法は、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成し、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張し、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定し、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定することを特徴とする。 An ultrasonic imaging method according to the present invention generates an ultrasonic image of a predetermined region inside the object from the ultrasonic waves reflected by transmitting ultrasonic waves from the surface of the object toward the inside of the object, Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. to expand the ultrasonic image of the inside of the subject, extract a feature point from each ultrasonic image within a superimposed region where ultrasonic images within a predetermined frame range at positions close to each other are superimposed, and extract the feature point Determining success or failure of the combining process based on a result of comparison between the points and a predetermined reference, and determining that the combining process has failed if the number of feature points of the ultrasonic image is less than a threshold. .
本発明に係る超音波撮像装置は、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部と、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部と、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部とを備え、前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定することを特徴とする。 An ultrasonic imaging apparatus according to the present invention transmits ultrasonic waves from the surface of a subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves. and a new ultrasonic image generated from ultrasonic waves reflected by transmitting ultrasonic waves from different positions on the surface of the subject toward the inside of the subject. An image synthesizing unit that synthesizes an ultrasound image and expands the ultrasound image of the interior of the subject; a determination unit that extracts each ultrasonic image and determines success or failure of the synthesis processing based on a comparison result between the feature points and a predetermined criterion, wherein the determination unit determines whether the number of feature points in the ultrasonic image is It is characterized by determining that the combining process has failed when the value is less than the threshold.
本発明に係る超音波撮像システムは、超音波を前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信し、前記被検体の内部で反射された超音波を受信するプローブと、本発明に係る超音波画像装置とを備えることを特徴とする。 An ultrasonic imaging system according to the present invention transmits ultrasonic waves from a plurality of mutually different positions on the surface of the subject toward the inside of the subject, and receives the ultrasonic waves reflected inside the subject. and an ultrasonic imaging apparatus according to the present invention.
本発明に係る超音波撮像プログラムは、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部、および、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部、としてコンピュータを動作させ、前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する。 An ultrasonic imaging program according to the present invention transmits ultrasonic waves from the surface of a subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves. a new ultrasonic image generated from ultrasonic waves reflected by transmitting ultrasonic waves from different positions on the surface of the subject toward the inside of the subject, An image synthesizing unit that performs synthesizing processing on an acoustic image and expands the ultrasound image of the inside of the subject; The computer is operated as a determination unit that extracts each ultrasonic image and determines whether the synthesis process is successful or not based on the result of comparison between the feature points and a predetermined reference, and the determination unit includes the feature points of the ultrasonic images. is below the threshold, it is determined that the synthesis process has failed.
本発明によれば、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行う超音波撮像方法を提供することができる。 According to the present invention, it is possible to provide an ultrasonic imaging method that generates a composite image according to a new criterion for determining whether a composite process has succeeded.
以下、本発明の一実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。 An embodiment of the present invention will now be described in detail with reference to the accompanying drawings. In the following description and drawings, the same reference numerals denote the same or similar components, and redundant description of the same or similar components will be omitted.
(全体構成)
図1は、本発明の一実施形態に係る超音波撮像システム1の構成を示す模式図である。超音波撮像システム1は、プローブ2と、超音波撮像装置3とを含んでいる。
(overall structure)
FIG. 1 is a schematic diagram showing the configuration of an
プローブ2は、被検者(ユーザ)が把持して動かすことができるように構成されている。プローブ2の下端には、複数の超音波振動子が一列に配列された超音波送受面が設けられている。被検体9の断層画像(又は断面画像)を取得する場合、被検者は、被検体9にプローブ2の超音波送受面を当接させて、プローブ2を被検体9の表面に沿って移動させる(プローブ2によりスキャンする)。その間に、プローブ2は、超音波送受面から被検体9の内部に向けて超音波を断続的に送信し、被検体9の内部で反射された超音波を超音波送受面において受信する。これにより、プローブ2は、受信した超音波を示す電気信号(エコー信号)を出力する。なお、本実施形態において、「断面」とは、輪切りの断面だけでなく、部分的な断面も含む概念である。
The
なお、プローブ2は、リニアスキャン画像を取得するリニアスキャンモードで動作するが、セクタスキャン画像を取得するセクタスキャンモードで動作可能であってもよいし、リニアスキャンモードとセクタスキャンモードの両方で動作可能であってもよいし、他のモードあるいは他のモードとの組み合わせで動作可能であってもよい。また本実施形態では、被検体9は主に腹部であるが、被検体9に含まれる生体部位は特に限定されない。
Although the
超音波撮像装置3は、例えばWiFi(登録商標)などの無線によってプローブ2に接続されている。本実施形態では、超音波撮像装置3は例えばタブレット端末で構成されており、プローブ2から受信したエコー信号に基づき、複数の超音波画像を生成し、さらに、それらの超音波画像を合成した合成画像を表示する機能を有している。
The
なお、超音波撮像装置3は画像を表示可能な装置であれば特に限定されず、汎用のパーソナルコンピュータや、スマートフォン等で構成することができる。また、プローブ2と超音波撮像装置3との接続方法は特に限定されず、有線接続であってもよい。
Note that the
(超音波撮像装置の機能)
図2は、超音波撮像装置3の構成を示すブロック図である。超音波撮像装置3は、ハードウェアの構成として、ディスプレイ31と、入力装置32と、補助記憶装置33と、通信インタフェース部(I/F部)34と、表示インタフェース部(I/F部)36を備えている。
(Functions of Ultrasound Imaging Device)
FIG. 2 is a block diagram showing the configuration of the
ディスプレイ31は、液晶ディスプレイ、プラズマディスプレイおよび有機ELディスプレイ等で構成することができる。なお、ディスプレイ31を超音波撮像装置3とは別個の装置として構成してもよい。
The
入力装置32は、例えばディスプレイ31の表面に設けられたタッチパネルである。被検者は、入力装置32を介してディスプレイ31に表示された画像に対する入力操作を行うことができる。
The
補助記憶装置33は、オペレーティングシステム(OS)、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、eMMC(embedded Multi Media Card)やSSD(Solid State Drive)等によって構成される。補助記憶装置33には、超音波撮像プログラムPが記憶されている。超音波撮像プログラムPは、インターネットなどのネットワークを介して超音波撮像装置3にインストールしてもよい。あるいは、超音波撮像プログラムPを記録したSDカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を超音波撮像装置3に読み取らせることにより、超音波撮像プログラムPを超音波撮像装置3にインストールしてもよい。
The
通信インタフェース部34は、外部機器とのデータの送受信を行うものであり、本実施形態では、プローブ2から受信した信号の復調や、プローブ2に送信するための制御信号の変調などを行う。
The
表示インタフェース部36は、超音波撮像装置3の演算処理によって生成された各種画像データをVRAMに展開することにより、当該画像をディスプレイ31に表示するものであり、例えば後述する信号処理部35によって生成された合成画像等をディスプレイ31に表示する。
The
図示していないが、超音波撮像装置3は、他のハードウェアの構成として、データ処理を行うCPU等のプロセッサ、および、プロセッサがデータ処理の作業領域に使用するメモリ(主記憶装置)などをさらに備えている。
Although not shown, the
また、超音波撮像装置3は、ソフトウェアの構成として、信号処理部35を備えている。信号処理部35は、プロセッサが超音波撮像プログラムPを実行することにより実現される機能ブロックであり、プローブ2から受信されたエコー信号を処理して、被検者がプローブ2を操作している間に、リアルタイムで被検体9の超音波合成画像を生成する機能を有している。この機能を実現するために信号処理部35は、超音波画像生成部351と、画像合成部352と、判定部353と、を備えている。なお、信号処理部35を、集積回路上に形成された論理回路によってハードウェア的に実現してもよい。
The
超音波画像生成部351は、プローブ2から受信されたエコー信号から、被検体9の内部の超音波画像を生成する。プローブ2は、被検体9の表面を移動しながら、超音波撮像装置3から送信される制御信号にしたがって、被検体9の表面上の互いに異なる複数の位置から被検体9の内部に向けて超音波を送信し、被検体9の内部で反射された超音波を受信して、超音波撮像装置3にエコー信号を出力する。これにより、プローブ2が超音波を受信するたびに、超音波画像生成部351にエコー信号が入力され、超音波画像生成部351は、エコー信号から、被検体9の表面上の互いに異なる複数の位置に対応した超音波画像を生成する。超音波画像の生成数は、プローブ2による超音波の送受信時間、および、送受信の周期によって変動するが、本実施形態では、n枚(nは正の整数)の超音波画像が生成されるとする。
The
なお、超音波画像生成部351の機能を、プローブ2を制御する制御装置に設けてもよい。その場合、超音波撮像装置3は、制御装置に有線または無線で通信可能に接続される。
Note that the function of the ultrasonic
画像合成部352は、プローブ2の位置を変えて被検体9の表面上の異なる位置から被検体9の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して被検体9内部の超音波画像を拡張する機能ブロックである。すなわち、例えばプローブ2を移動させながら、超音波画像生成部351が被検体9内部の新たな所定領域の超音波画像を生成して、新たな所定領域の超音波画像を得るごとに、画像合成部352は、超音波画像を既に生成された超音波画像に合成する。超音波画像の合成は、周知の技術を適用することができ、本実施形態では、例えば各超音波画像間の特徴点マッチングを用いて超音波画像を合成する。ここで、特徴点とは、超音波画像の合成時にマッチング対象となりえる特有の画素部分(例えば、角となる画素部分、画像の画素値の最大あるいは最小の画素部分、パターン化された画像部分など)のことをいう。
The
この方法では、1番目の超音波画像および2番目の超音波画像から特徴点を検出する。そして、1番目の超音波画像と2番目の超音波画像の特徴点をマッチングして、1番目の超音波画像と2番目の超音波画像の同次変換行列を計算する。具体的には、2番目の超音波画像が1番目の超音波画像に対して、時計周りにθだけ回転し、x軸方向にtx、y軸方向にtyだけ平行移動させると1番目の超音波画像と2番目の超音波画像の特徴点が一致する場合、2番目の超音波画像の座標系を動かして1番目の超音波画像に合わせる同次変換行列Rは、
同次変換行列Rの計算を、生成順が隣り合う2枚の超音波画像について順次行い、n-1番目の超音波画像およびn番目の超音波画像まで行う。k+1(1≦k≦n-1)番目の超音波画像からk番目の超音波画像への同次変換行列をRkとすると、k+1番目の超音波画像から1番目の超音波画像への同次変換行列は、R1R2…Rkとなる。1番目の超音波画像の座標系はワールド座標系と呼ばれ、全ての超音波画像について、ワールド座標系への同次変換行列を計算することで、全ての超音波画像の座標が計算できる。 Calculation of the homogeneous transformation matrix R is sequentially performed for two adjacent ultrasound images in the generation order, and is performed up to the (n−1)th ultrasound image and the nth ultrasound image. Let Rk be a homogeneous transformation matrix from the k+1 (1≦k≦n−1)-th ultrasonic image to the k-th ultrasonic image. The following transform matrices are R 1 R 2 . . . R k . The coordinate system of the first ultrasonic image is called the world coordinate system, and the coordinates of all ultrasonic images can be calculated by calculating homogeneous transformation matrices to the world coordinate system for all ultrasonic images.
本実施形態では、図1に示すプローブ2による超音波の送受信、超音波画像生成部351による超音波画像の生成、および、画像合成部352による超音波画像の合成が、並行して行われる。すなわち、プローブ2からエコー信号が出力されるたびに、超音波画像生成部351は超音波画像を生成し、画像合成部352に超音波画像を入力する。画像合成部352は、超音波画像が入力されるたびに画像の合成を行い、段階的に合成画像を生成して、表示インタフェース部36に生成途中の合成画像のデータを入力する。
In this embodiment, transmission and reception of ultrasonic waves by the
表示インタフェース部36は、生成された合成画像等の各種画像データをVRAMに展開することにより、合成画像等をディスプレイ31に表示する。本実施形態では、画像合成部352が1枚または数枚の超音波画像を合成するたびに、表示インタフェース部36は、生成途中の合成画像をディスプレイ31に表示する。
The
これにより、図3(A)~(C)に示すように、被検体の合成画像が徐々にディスプレイ31に表示される。そのため、被検者は、プローブ2を移動させながら、リアルタイムに合成画像を確認することができる。
As a result, the composite image of the subject is gradually displayed on the
判定部353は、画像合成部352による合成処理が成功したかを判定する機能ブロックである。本実施形態において、判定部353は、画像合成部352による合成処理が行われるごとに、互いに近接した位置にある所定フレーム範囲内(例えば所定枚数内)の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定する。さらに、本実施形態では、判定部353は、画像合成部352による合成処理がM(M≧2)回連続で失敗した場合に、合成処理の中止、失敗に関する情報の報知、および、合成画像の表示処理の中止のいずれかの処理を行う。例えば、判定部353は、ディスプレイ31にエラーを表示するように表示インタフェース部36に指示する。これにより、被検者は、スキャンの途中であっても、何らかの要因で合成画像の生成が失敗したことに気付くことができる。
The
超音波画像の合成処理が成功したか否かの判定基準は、特に限定されないが、本実施形態では、下記の(1)~(3)のいずれかに当てはまる場合に、特徴点が所定基準を満たさず、合成処理が失敗したと判定される。 Although the criteria for determining whether or not the ultrasound image synthesis process has succeeded are not particularly limited, in the present embodiment, if any of the following (1) to (3) applies, the feature points meet the predetermined criteria. is not satisfied, and it is determined that the synthesis process has failed.
(1)超音波画像の特徴点の数が、閾値を下回った場合。図4は、互いに近接した位置にある所定フレーム範囲内(ここでは隣接する2つのフレーム)の超音波画像同士が重畳する重畳領域内にある特徴点を○(丸印)で示した図である。判定部353は、超音波画像の特徴点の数(すなわち図4に示される各超音波画像における○の数)がしきい値を下回っている場合、合成処理が失敗と判定する。なお、この特徴点は、超音波画像同士が重畳する重畳領域内において被検体9の表面からの距離に対応して反射された超音波の信号強度があらかじめ定められた閾値以上に変化する点であってもよい。
(1) When the number of feature points in the ultrasound image falls below the threshold. FIG. 4 is a diagram in which feature points in a superimposition region where ultrasonic images within a predetermined frame range (here, two adjacent frames) at positions close to each other are superimposed are indicated by ◯ (circles). . The determining
(2)特徴点をマッチングした際のペア数が、閾値を下回った場合。判定部353は、超音波画像の特徴点をマッチングした際のペア数(図4に示される各超音波画像の特徴点同士を結ぶ線の数)がしきい値を下回っている場合、合成処理が失敗と判定する。
(2) When the number of pairs obtained by matching feature points is below the threshold. If the number of pairs (the number of lines connecting the feature points of each ultrasound image shown in FIG. 4) when matching the feature points of the ultrasound images is less than the threshold value, the
(3)上記(2)のペア数から外れ値を差し引いたインライア数が、閾値を下回った場合。図5は、図4のペア数から外れ値を差し引いた状態(特徴点のマッチングのとれない図4の斜めの線のなどの数を外れ値として取り除いた状態)を示した図である。判定部353は、上記(2)のペア数から外れ値を差し引いたインライア数(図5における左右方向の直線の数)がしきい値を下回っている場合、合成処理が失敗と判定する。
(3) When the number of inliers obtained by subtracting outliers from the number of pairs in (2) above is below the threshold. FIG. 5 is a diagram showing a state in which outliers are subtracted from the number of pairs in FIG. 4 (state in which the number of oblique lines in FIG. 4 where feature points cannot be matched is removed as outliers). If the number of inliers obtained by subtracting the outliers from the number of pairs in (2) above (the number of straight lines in the left-right direction in FIG. 5) is below the threshold, the
また、連続失敗回数の許容値Mは、プローブ2の移動速度、超音波画像のFPS(Flame per second)、各超音波画像の大きさ(FOV:Field of view)等によって設定される数であり、X番目の超音波画像とX+M番目の超音波画像との重畳領域が、特徴点のマッチングに支障がない程度に広くなるように設定される。より具体的には、下記式を満たすようにMを設定することができる。
L_echo - (M * T_sampling * V_probe) > L_threshold
M < (L_echo - L_threshold)/(T_sampling * V_probe)
T_sampling [sec]:FPSから求まる1スキャンのサンプリング時間
V_probe [m/s]:プローブ2の移動速度
L_echo [m]:1枚の超音波画像の横幅
L_threshold [m]:画像位置合わせに最低限必要な横幅
上記条件を満たす場合は特徴点のマッチングに支障がないと定義される。
In addition, the allowable value M of the number of consecutive failures is a number set according to the moving speed of the
L_echo - (M * T_sampling * V_probe) > L_threshold
M < (L_echo - L_threshold)/(T_sampling * V_probe)
T_sampling [sec]: Sampling time for one scan obtained from FPS
V_probe [m/s]: Moving speed of
L_echo [m]: Width of one ultrasound image
L_threshold [m]: Minimum width required for image alignment If the above conditions are satisfied, it is defined that matching of feature points is not hindered.
なお、各変数の単位は特に限定されず、例えば、長さの単位をcmとしてもよい。また、Mは固定値であってもよいが、2枚の画像位置合わせで求めた移動量を画像間の時間差で割ればV_probeが求められるため、その値を用いて動的にMを求めることも可能である。スキャン開始から終了まで、上記式のV_probe以外の変数は固定値であるため、スキャン中のプローブ2の移動速度に応じて、Mを可変にしてもよい。プローブ2の移動速度は、2つの超音波画像における特徴点の移動ベクトルと、フレーム間の時間に基づいて算出できる。
Note that the unit of each variable is not particularly limited, and for example, the unit of length may be cm. Also, M may be a fixed value, but since V_probe can be obtained by dividing the movement amount obtained by aligning the two images by the time difference between the images, M can be obtained dynamically using that value. is also possible. Since variables other than V_probe in the above equation are fixed values from the start to the end of scanning, M may be variable according to the moving speed of the
本実施形態では、例えばM=5に設定される。すなわち、合成途中の合成画像にX番目の超音波画像が合成された後、画像合成部352による合成処理が4回連続で失敗したとしても、X+5番目の超音波画像の合成が成功すれば、判定部353は、全体的な合成処理は失敗したとは判定しない。
In this embodiment, for example, M=5 is set. That is, even if the synthesis processing by the
特許文献1には、最新の超音波画像が適切な合成画像であるか否かの判定基準、すなわち合成処理の成否の判定基準が開示されていない。これに対し、本実施形態では、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定している。よって、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行うことができる。 Japanese Patent Application Laid-Open No. 2002-200002 does not disclose a criterion for determining whether the latest ultrasonic image is an appropriate composite image, that is, a criterion for determining success or failure of the composite processing. On the other hand, in the present embodiment, a feature point in a superimposed region where ultrasound images within a predetermined frame range that are adjacent to each other are superimposed on each other is extracted for each ultrasound image, and the feature point and a predetermined reference are extracted. The success or failure of the combining process is determined based on the comparison result. Therefore, it is possible to generate a composite image according to a new criterion regarding success or failure of composition processing.
また、特許文献1に記載の技術では、超音波画像の合成が1回でも失敗した場合、合成画像の生成を中止等するようにした場合、被検者は、スキャン開始からスキャン終了まで、プローブ2の角度、押圧力を適切に保ち続けて、全ての超音波画像を良好な画質で撮影する必要がある。そのため、プローブの使用に慣れていない被検者にとっては、スキャンの成功率が低くなり、結果として、スキャン動作を何度も繰り返す必要があった。
In addition, in the technique described in
これに対し、本実施形態では、超音波画像の合成処理の連続失敗回数がM未満であれば、全体的な合成処理は失敗したと判定されない。そのため、スキャンの成功率が高くなり、合成画像を得るための負担を少なくすることができる。 On the other hand, in the present embodiment, if the number of consecutive failures of ultrasonic image synthesis processing is less than M, it is not determined that the overall synthesis processing has failed. Therefore, the success rate of scanning is increased, and the burden for obtaining a composite image can be reduced.
(処理手順)
図6は、本実施形態に係る超音波撮像方法の処理手順を示すフローチャートである。
(Processing procedure)
FIG. 6 is a flow chart showing the processing procedure of the ultrasonic imaging method according to this embodiment.
被検者によるスキャンが開始されると、プローブ2は、被検体9の内部に超音波が送信し、被検体9の内部で反射された超音波を受信してエコー信号を出力する。これに応じて、超音波画像生成部351が複数の超音波画像を順次生成する。
When the subject starts scanning, the
具体的には、ステップS1(超音波画像生成ステップ)において、超音波画像生成部351が、被検体9の表面に配置されたプローブ2から被検体9の内部に向けて超音波を送信して反射された超音波から被検体9内部の所定領域の超音波画像を生成し、画像合成部352は、1番目の超音波画像を取得する。続いて、ステップS2およびS3に移行し、i=2とする。ステップS3では、画像合成部352は、i番目(2番目)の超音波画像を取得する。これにより、ステップS4(画像合成ステップ)において、画像合成部352は、2番目の超音波画像(新たな超音波画像)を1番目の超音波画像(既に生成された超音波画像)に合成処理して被検体9内部の超音波画像を拡張する。なお、本実施形態では、拡張された超音波画像を合成画像と称する。
Specifically, in step S1 (ultrasound image generating step), the ultrasonic
続いて、ステップS5(判定ステップ)において、判定部353は、画像合成部352による合成処理が成功したかを判定する。本実施形態では、判定部353は、画像合成部352による合成処理が行われるごとに、互いに近接した位置にある所定フレーム範囲内(ここでは隣接するフレーム)の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定し、特徴点が所定基準を満たさない場合、合成処理が失敗したと判定し、特徴点が所定基準を満たす場合、合成処理が成功したと判定し、画像合成部352に合成処理を繰り返させる。
Subsequently, in step S5 (determining step), the determining
具体的には、合成処理が成功したと判定された場合(ステップS5においてYes)、表示インタフェース部36が合成画像をディスプレイ31に表示し(ステップS6)、スキャンが終了していなければ(ステップS7においてNo)、ステップS8において、iを1増加させ、ステップS3に戻り、画像合成部352が合成処理を繰り返す。ステップS4では、画像合成部352は、合成途中の合成画像にi番目の超音波画像を合成する。
Specifically, if it is determined that the combining process has succeeded (Yes in step S5), the
一方、最初のステップS5において、合成処理が失敗したと判定された場合(ステップS5においてNo)、ステップS9に移行し、判定部353は、i番目(2番目)の超音波画像を破棄する。続いて、ステップS10において、判定部353は、合成処理の連続失敗回数がM(M≧2)未満であるかを判定する。本実施形態では、M=5であるとする。連続失敗回数がM未満の場合(ステップS10においてYes)、ステップS8において、iを1増加させ、ステップS3に戻る。そして、ステップS3において、画像合成部352は、i番目(3番目)の超音波画像を取得し、ステップS4において、画像合成部352は、1番目の超音波画像と3番目の超音波画像を合成し、ステップS5に移行する。2回目のステップS5において、合成処理が成功したと判定された場合(ステップS5においてYes)、ステップS6において、1番目の超音波画像と3番目の超音波画像との合成画像がディスプレイ31に表示される。しかし、2回目のステップS5において、再び、合成処理が失敗したと判定された場合(ステップS5においてNo)、再度、ステップS9およびS10に移行する。
On the other hand, when it is determined in the first step S5 that the combining process has failed (No in step S5), the
合成処理の失敗が連続しても、連続失敗回数がM未満の場合(ステップS10においてYes)、ステップS9を経て、ステップS3~S7を繰り返す。そして、連続失敗回数がMに達すると(ステップS10においてNo)、判定部353は、ステップS10において、画像合成部352に合成処理を中止させ、ステップS11において、表示インタフェース部36に合成画像の表示処理を中止させ、ステップS12において、表示インタフェース部36にディスプレイ31にエラー表示させることにより、合成処理の失敗に関する情報を報知させる。なお、またS11~S13をこの順番で実施する必要はない。また、ステップS11~S13の全てを実施する必要もなく、これらの少なくともいずれかを任意のタイミングで実施してもよい。
If the number of consecutive failures is less than M (Yes in step S10) even if the synthesis process fails continuously, steps S3 to S7 are repeated via step S9. Then, when the number of consecutive failures reaches M (No in step S10), the
以降、合成処理をM回以上連続して失敗して(ステップS10においてNo)、ステップS11~S13に移行しない限り、スキャンが終了するまで(ステップS7においてYes)、ステップS3~S6、S8~S10が繰り返される。 Thereafter, unless the synthesis process fails M times or more (No in step S10) and the process moves to steps S11 to S13, steps S3 to S6 and steps S8 to S10 are repeated until the scan ends (Yes in step S7). is repeated.
(付記事項)
本発明は上記実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上記実施形態に開示された技術的手段を適宜組み合わせて得られる形態も本発明の技術的範囲に含まれる。
(Additional notes)
The present invention is not limited to the above embodiments, and various modifications can be made within the scope of the claims, and forms obtained by appropriately combining the technical means disclosed in the above embodiments are also within the scope of the present invention. Included in the technical scope.
例えば、上記実施形態では、被検体9が腹部を含む部位である例について説明したが、対象となる部位は特に限定されない。
For example, in the above embodiment, the
また、上記実施形態では、被検者に合成処理の失敗に関する情報を報知するために、ディスプレイにエラーを表示していたが、被検者に合成処理の失敗に関する情報を報知する態様は特に限定されず、例えば、警告音を発したり、プローブ2を振動させたりしてもよい。
Further, in the above-described embodiment, an error is displayed on the display in order to notify the subject of the information about the failure of the synthesis process. Instead, for example, a warning sound may be emitted or the
また、上記実施形態では、超音波画像の合成処理が2以上の所定回数連続で失敗した場合に、合成処理の中止等を行っていたが、超音波画像の合成処理が1回でも失敗した場合に、合成処理の中止等を行ってもよい。 Further, in the above-described embodiment, if the ultrasound image synthesis process fails two or more times in succession, the synthesis process is stopped. In addition, the compositing process may be canceled or the like.
本発明は、医療用途および非医療用途のいずれにも適用可能であるが、特に、医療従事者ではない被検者が自身の健康状態を日常的に確認する用途に好適である。 INDUSTRIAL APPLICABILITY The present invention can be applied to both medical and non-medical applications, and is particularly suitable for applications in which subjects who are not medical professionals check their own health conditions on a daily basis.
1 超音波撮像システム
2 プローブ
3 超音波撮像装置
31 ディスプレイ
32 入力装置
33 補助記憶装置
34 通信インタフェース部
35 信号処理部
351 超音波画像生成部
352 画像合成部
353 判定部
36 表示インタフェース部
9 被検体
P 超音波撮像プログラム
1
Claims (14)
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張し、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定し、
前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像方法。 transmitting ultrasonic waves from the surface of the subject toward the interior of the subject and generating an ultrasound image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. to expand the ultrasound image inside the subject,
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. determine the success or failure of
The ultrasonic imaging method, wherein when the number of feature points of the ultrasonic image is below a threshold, it is determined that the combining process has failed.
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部と、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部と
を備え、
前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像装置。 an ultrasonic image generating unit that transmits ultrasonic waves from the surface of the subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. an image synthesizing unit that expands an ultrasound image of the interior of the subject by
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. and a determination unit that determines the success or failure of
The ultrasonic imaging apparatus, wherein the determining unit determines that the combining process has failed when the number of feature points in the ultrasonic image is below a threshold.
請求項10乃至請求項12のいずれかに記載の超音波画像装置とを備える、超音波撮像システム。 a probe that transmits ultrasonic waves toward the inside of the subject from a plurality of positions different from each other on the surface of the subject and receives the ultrasonic waves reflected inside the subject;
An ultrasound imaging system comprising the ultrasound imaging device according to any one of claims 10 to 12.
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部、および、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部、
としてコンピュータを動作させ、
前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像プログラム。 an ultrasonic image generating unit that transmits ultrasonic waves from the surface of the subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. an image synthesizing unit for expanding an ultrasound image of the interior of the subject by
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. A determination unit that determines the success or failure of
run the computer as
The ultrasonic imaging program, wherein the determining unit determines that the combining process has failed when the number of feature points of the ultrasonic image is below a threshold.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168152A JP7373045B2 (en) | 2018-07-13 | 2022-10-20 | Ultrasonic imaging method, ultrasound imaging device, ultrasound imaging system and ultrasound imaging program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018133152A JP7186030B2 (en) | 2018-07-13 | 2018-07-13 | Ultrasonic Imaging Method, Ultrasonic Imaging Apparatus, Ultrasonic Imaging System, and Ultrasonic Imaging Program |
JP2022168152A JP7373045B2 (en) | 2018-07-13 | 2022-10-20 | Ultrasonic imaging method, ultrasound imaging device, ultrasound imaging system and ultrasound imaging program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133152A Division JP7186030B2 (en) | 2018-07-13 | 2018-07-13 | Ultrasonic Imaging Method, Ultrasonic Imaging Apparatus, Ultrasonic Imaging System, and Ultrasonic Imaging Program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022183324A true JP2022183324A (en) | 2022-12-08 |
JP7373045B2 JP7373045B2 (en) | 2023-11-01 |
Family
ID=69168852
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133152A Active JP7186030B2 (en) | 2018-07-13 | 2018-07-13 | Ultrasonic Imaging Method, Ultrasonic Imaging Apparatus, Ultrasonic Imaging System, and Ultrasonic Imaging Program |
JP2022168152A Active JP7373045B2 (en) | 2018-07-13 | 2022-10-20 | Ultrasonic imaging method, ultrasound imaging device, ultrasound imaging system and ultrasound imaging program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133152A Active JP7186030B2 (en) | 2018-07-13 | 2018-07-13 | Ultrasonic Imaging Method, Ultrasonic Imaging Apparatus, Ultrasonic Imaging System, and Ultrasonic Imaging Program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7186030B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015144623A (en) * | 2012-05-14 | 2015-08-13 | 日立アロカメディカル株式会社 | Ultrasonic diagnostic apparatus and image evaluation display method |
-
2018
- 2018-07-13 JP JP2018133152A patent/JP7186030B2/en active Active
-
2022
- 2022-10-20 JP JP2022168152A patent/JP7373045B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015144623A (en) * | 2012-05-14 | 2015-08-13 | 日立アロカメディカル株式会社 | Ultrasonic diagnostic apparatus and image evaluation display method |
Also Published As
Publication number | Publication date |
---|---|
JP7186030B2 (en) | 2022-12-08 |
JP2020010747A (en) | 2020-01-23 |
JP7373045B2 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5063515B2 (en) | Ultrasonic diagnostic equipment | |
JP2004290404A (en) | Ultrasonic imaging method and ultrasonograph | |
JP2006255083A (en) | Ultrasonic image formation method and ultrasonic diagnostic equipment | |
US10722217B2 (en) | Ultrasonic diagnostic apparatus and medical image processing apparatus | |
JP6744141B2 (en) | Ultrasonic diagnostic device and image processing device | |
KR101656127B1 (en) | Measuring apparatus and program for controlling the same | |
JP2010253254A (en) | Ultrasound system and method of arranging three-dimensional ultrasound image | |
JP7186030B2 (en) | Ultrasonic Imaging Method, Ultrasonic Imaging Apparatus, Ultrasonic Imaging System, and Ultrasonic Imaging Program | |
KR20110086989A (en) | Ultrasound system and method for providing ultrasound spatial compound image based on masks | |
JP5642420B2 (en) | Ultrasound system and method for rendering volume data | |
JP6667676B2 (en) | Ultrasonic imaging system, ultrasonic imaging apparatus, ultrasonic imaging method, and image synthesis program | |
JP2005103328A (en) | Ultrasonic image diagnostic system and program used therefor | |
JP2006000456A (en) | Ultrasonic diagnostic apparatus | |
JP7071898B2 (en) | How to operate ultrasonic diagnostic equipment, programs and ultrasonic diagnostic equipment | |
JP2010194007A (en) | Ultrasonic imaging apparatus, image processing apparatus and image processing program | |
JP5645742B2 (en) | Ultrasonic diagnostic apparatus and control program therefor | |
JP2008000317A (en) | Ultrasonic diagnostic apparatus | |
JP7112492B2 (en) | Ultrasonic imaging device, ultrasonic imaging system, ultrasonic imaging method and ultrasonic imaging program | |
JP5653135B2 (en) | Ultrasonic diagnostic apparatus and control program therefor | |
JP7465988B2 (en) | ULTRASONIC SYSTEM AND METHOD FOR CONTROLLING AN ULTRASONIC SYSTEM - Patent application | |
JP6293452B2 (en) | Ultrasonic diagnostic apparatus and image analysis apparatus | |
US20220378403A1 (en) | Ultrasound diagnostic apparatus and diagnosis assistance method | |
JP2008125707A (en) | Ultrasonic diagnostic system | |
KR20100049336A (en) | Ultrasound method and system using multi frequency mode | |
TW559673B (en) | Compounding method for reducing speckle noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |