JP2022183324A

JP2022183324A - Ultrasonic imaging method, ultrasonic imaging device, ultrasonic imaging system and ultrasonic imaging program

Info

Publication number: JP2022183324A
Application number: JP2022168152A
Authority: JP
Inventors: 健介井芹; Kensuke Iseri; 拓生嶋田; Takuo Shimada; 一義古郡; Kazuyoshi Furugori
Original assignee: Furuno Electric Co Ltd
Current assignee: Furuno Electric Co Ltd
Priority date: 2018-07-13
Filing date: 2022-10-20
Publication date: 2022-12-08
Anticipated expiration: 2038-07-13
Also published as: JP7186030B2; JP2020010747A; JP7373045B2

Abstract

PROBLEM TO BE SOLVED: To generate a composite image according to a new determination criterion about success/failure of composite processing.

SOLUTION: An ultrasonic imaging device 3 comprises: an ultrasonic image generation unit 351 which generates an ultrasonic image of a prescribed region in a subject 9 from an ultrasonic wave that is reflected by transmitting the ultrasonic wave toward the inside of the subject 9 from the surface of the subject 9; an image composition unit 352 which extends the ultrasonic image in the subject 9 by performing composite processing of the new ultrasonic image generated from the ultrasonic image that is reflected by transmitting the ultrasonic wave toward the inside of the subject 9 from different positions on the surface of the subject 9 on the ultrasonic image that has been already generated; and a determination unit 353 which extracts a feature point in an overlapped region where the ultrasonic images within a prescribed frame range at mutually-adjacent positions are overlapped with each other for each ultrasonic image and determines success/failure of the composite processing on the basis of a comparison result between the feature point and a prescribed standard. The determination unit 353 determines that the composite processing has failed when the number of feature points of the ultrasonic image is less than a threshold.

SELECTED DRAWING: Figure 2

Description

本発明は、超音波によって被検体の内部を撮像する超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラムに関する。 The present invention relates to an ultrasonic imaging method, an ultrasonic imaging apparatus, an ultrasonic imaging system, and an ultrasonic imaging program for imaging the inside of a subject using ultrasonic waves.

例えば、メタボリックシンドロームの健診では、腹部の断層画像を取得するために、ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置が用いられることが多い。これらの装置は、大がかりで高額であり、被爆の問題もあるため、近年では、超音波を用いて断層画像を取得する技術が開発されている。例えば、特許文献１には、プローブを被検体の表面に沿って移動させながら、プローブから超音波を断続的に送送受信することにより得られた複数の超音波画像を合成して、合成画像（パノラマ画像）を生成する技術が開示されている。この技術では、被検者自身がプローブを腹部に当接させながら移動させるだけで、腹部の断面を示す合成画像を得ることができる。 For example, in health checkups for metabolic syndrome, a CT (Computed Tomography) device or an MRI (Magnetic Resonance Imaging) device is often used to acquire a tomographic image of the abdomen. These devices are large-scale and expensive, and there is also the problem of exposure to radiation. Therefore, in recent years, techniques for acquiring tomographic images using ultrasound have been developed. For example, in Patent Document 1, a plurality of ultrasonic images obtained by intermittently transmitting and receiving ultrasonic waves from the probe while moving the probe along the surface of the subject are synthesized to form a synthesized image ( A technique for generating a panorama image is disclosed. With this technique, a composite image showing a cross-section of the abdomen can be obtained only by the subject moving the probe while it is in contact with the abdomen.

正確な合成画像を得るためには、常にプローブの超音波送受信の方向を被検体の表面に対してほぼ垂直にさせるために、常にプローブを被検体に適切な姿勢で当接させながら移動させる必要がある。しかし、被検者がプローブの使用に慣れていない場合、プローブと被検体との角度がぶれたり、プローブが被検体の表面から浮き上がったりしやすい。 In order to obtain an accurate composite image, it is necessary to move the probe while keeping it in contact with the subject in an appropriate posture so that the direction of ultrasonic wave transmission/reception of the probe is almost perpendicular to the surface of the subject. There is However, if the subject is unfamiliar with using the probe, the angle between the probe and the subject is likely to vary, or the probe may rise from the surface of the subject.

これに対し、特許文献１に記載の技術では、超音波画像を撮影しながらリアルタイムに合成画像を生成しているため、被検者は、プローブを移動させながら、合成画像の生成が順調であるかを確認することができる。さらに、特許文献１には、最新の超音波画像の画質が悪い場合には、合成画像の生成および表示を行わないようにすることも開示されている。 On the other hand, in the technique described in Patent Document 1, since a composite image is generated in real time while capturing an ultrasonic image, the subject can smoothly generate the composite image while moving the probe. You can check whether Furthermore, Patent Literature 1 also discloses that when the image quality of the latest ultrasound image is poor, the synthetic image is not generated and displayed.

特許第５９３５３４４号Patent No. 5935344

しかし、特許文献１には、最新の超音波画像が適切な合成画像であるか否かの判定基準、すなわち合成処理の成否の判定基準が開示されていない。 However, Patent Literature 1 does not disclose criteria for determining whether or not the latest ultrasonic image is an appropriate composite image, that is, criteria for determining success or failure of the composite processing.

そこで、本発明は、上記問題を解決するためになされたものであって、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行う超音波撮像方法を提供することを課題とする。 Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to provide an ultrasonic imaging method for generating a composite image according to a new criterion regarding the success or failure of composite processing.

本発明に係る超音波撮像方法は、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成し、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張し、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定し、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定することを特徴とする。 An ultrasonic imaging method according to the present invention generates an ultrasonic image of a predetermined region inside the object from the ultrasonic waves reflected by transmitting ultrasonic waves from the surface of the object toward the inside of the object, Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. to expand the ultrasonic image of the inside of the subject, extract a feature point from each ultrasonic image within a superimposed region where ultrasonic images within a predetermined frame range at positions close to each other are superimposed, and extract the feature point Determining success or failure of the combining process based on a result of comparison between the points and a predetermined reference, and determining that the combining process has failed if the number of feature points of the ultrasonic image is less than a threshold. .

本発明に係る超音波撮像装置は、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部と、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部と、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部とを備え、前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定することを特徴とする。 An ultrasonic imaging apparatus according to the present invention transmits ultrasonic waves from the surface of a subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves. and a new ultrasonic image generated from ultrasonic waves reflected by transmitting ultrasonic waves from different positions on the surface of the subject toward the inside of the subject. An image synthesizing unit that synthesizes an ultrasound image and expands the ultrasound image of the interior of the subject; a determination unit that extracts each ultrasonic image and determines success or failure of the synthesis processing based on a comparison result between the feature points and a predetermined criterion, wherein the determination unit determines whether the number of feature points in the ultrasonic image is It is characterized by determining that the combining process has failed when the value is less than the threshold.

本発明に係る超音波撮像システムは、超音波を前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信し、前記被検体の内部で反射された超音波を受信するプローブと、本発明に係る超音波画像装置とを備えることを特徴とする。 An ultrasonic imaging system according to the present invention transmits ultrasonic waves from a plurality of mutually different positions on the surface of the subject toward the inside of the subject, and receives the ultrasonic waves reflected inside the subject. and an ultrasonic imaging apparatus according to the present invention.

本発明に係る超音波撮像プログラムは、被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部、前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部、および、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部、としてコンピュータを動作させ、前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する。 An ultrasonic imaging program according to the present invention transmits ultrasonic waves from the surface of a subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves. a new ultrasonic image generated from ultrasonic waves reflected by transmitting ultrasonic waves from different positions on the surface of the subject toward the inside of the subject, An image synthesizing unit that performs synthesizing processing on an acoustic image and expands the ultrasound image of the inside of the subject; The computer is operated as a determination unit that extracts each ultrasonic image and determines whether the synthesis process is successful or not based on the result of comparison between the feature points and a predetermined reference, and the determination unit includes the feature points of the ultrasonic images. is below the threshold, it is determined that the synthesis process has failed.

本発明によれば、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行う超音波撮像方法を提供することができる。 According to the present invention, it is possible to provide an ultrasonic imaging method that generates a composite image according to a new criterion for determining whether a composite process has succeeded.

本発明の実施形態に係る超音波撮像システムの構成を示す模式図である。1 is a schematic diagram showing the configuration of an ultrasound imaging system according to an embodiment of the present invention; FIG. 本発明の実施形態に係る超音波撮像装置の構成を示すブロック図である。1 is a block diagram showing the configuration of an ultrasonic imaging apparatus according to an embodiment of the present invention; FIG. リアルタイムに表示される合成画像の一例である。It is an example of a composite image displayed in real time. 互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を○（丸印）で示した図である。FIG. 10 is a diagram in which feature points in a superimposed region where ultrasonic images within a predetermined frame range that are close to each other are superimposed are indicated by ◯ (circles). 図４のペア数から外れ値を差し引いた状態を示した図である。FIG. 5 is a diagram showing a state in which outliers are subtracted from the number of pairs in FIG. 4; 本発明の実施形態に係る超音波撮像方法の処理手順を示すフローチャートである。4 is a flow chart showing a processing procedure of an ultrasonic imaging method according to an embodiment of the present invention;

以下、本発明の一実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。 An embodiment of the present invention will now be described in detail with reference to the accompanying drawings. In the following description and drawings, the same reference numerals denote the same or similar components, and redundant description of the same or similar components will be omitted.

（全体構成）
図１は、本発明の一実施形態に係る超音波撮像システム１の構成を示す模式図である。超音波撮像システム１は、プローブ２と、超音波撮像装置３とを含んでいる。 (overall structure)
FIG. 1 is a schematic diagram showing the configuration of an ultrasonic imaging system 1 according to one embodiment of the present invention. An ultrasound imaging system 1 includes a probe 2 and an ultrasound imaging device 3 .

プローブ２は、被検者（ユーザ）が把持して動かすことができるように構成されている。プローブ２の下端には、複数の超音波振動子が一列に配列された超音波送受面が設けられている。被検体９の断層画像（又は断面画像）を取得する場合、被検者は、被検体９にプローブ２の超音波送受面を当接させて、プローブ２を被検体９の表面に沿って移動させる（プローブ２によりスキャンする）。その間に、プローブ２は、超音波送受面から被検体９の内部に向けて超音波を断続的に送信し、被検体９の内部で反射された超音波を超音波送受面において受信する。これにより、プローブ２は、受信した超音波を示す電気信号（エコー信号）を出力する。なお、本実施形態において、「断面」とは、輪切りの断面だけでなく、部分的な断面も含む概念である。 The probe 2 is configured so that it can be held and moved by a subject (user). The lower end of the probe 2 is provided with an ultrasonic transmission/reception surface on which a plurality of ultrasonic transducers are arranged in a row. When acquiring a tomographic image (or a cross-sectional image) of the subject 9, the subject brings the ultrasound transmitting/receiving surface of the probe 2 into contact with the subject 9 and moves the probe 2 along the surface of the subject 9. (scanning with probe 2). During this time, the probe 2 intermittently transmits ultrasonic waves from the ultrasonic wave transmitting/receiving surface toward the inside of the subject 9, and receives ultrasonic waves reflected inside the subject 9 at the ultrasonic wave transmitting/receiving surface. As a result, the probe 2 outputs an electrical signal (echo signal) representing the received ultrasonic waves. In the present embodiment, the term “cross section” is a concept that includes not only a round cross section but also a partial cross section.

なお、プローブ２は、リニアスキャン画像を取得するリニアスキャンモードで動作するが、セクタスキャン画像を取得するセクタスキャンモードで動作可能であってもよいし、リニアスキャンモードとセクタスキャンモードの両方で動作可能であってもよいし、他のモードあるいは他のモードとの組み合わせで動作可能であってもよい。また本実施形態では、被検体９は主に腹部であるが、被検体９に含まれる生体部位は特に限定されない。 Although the probe 2 operates in a linear scan mode for acquiring linear scan images, it may operate in a sector scan mode for acquiring sector scan images, or may operate in both the linear scan mode and the sector scan mode. It may be possible, or it may be operable in other modes or in combination with other modes. Moreover, in the present embodiment, the subject 9 is mainly the abdomen, but the body part included in the subject 9 is not particularly limited.

超音波撮像装置３は、例えばＷｉＦｉ（登録商標）などの無線によってプローブ２に接続されている。本実施形態では、超音波撮像装置３は例えばタブレット端末で構成されており、プローブ２から受信したエコー信号に基づき、複数の超音波画像を生成し、さらに、それらの超音波画像を合成した合成画像を表示する機能を有している。 The ultrasound imaging device 3 is connected to the probe 2 wirelessly such as WiFi (registered trademark). In this embodiment, the ultrasonic imaging device 3 is configured by, for example, a tablet terminal, generates a plurality of ultrasonic images based on the echo signals received from the probe 2, and further combines these ultrasonic images. It has the function of displaying images.

なお、超音波撮像装置３は画像を表示可能な装置であれば特に限定されず、汎用のパーソナルコンピュータや、スマートフォン等で構成することができる。また、プローブ２と超音波撮像装置３との接続方法は特に限定されず、有線接続であってもよい。 Note that the ultrasonic imaging device 3 is not particularly limited as long as it can display an image, and can be configured with a general-purpose personal computer, a smart phone, or the like. Also, the method of connecting the probe 2 and the ultrasonic imaging apparatus 3 is not particularly limited, and a wired connection may be used.

（超音波撮像装置の機能）
図２は、超音波撮像装置３の構成を示すブロック図である。超音波撮像装置３は、ハードウェアの構成として、ディスプレイ３１と、入力装置３２と、補助記憶装置３３と、通信インタフェース部（Ｉ／Ｆ部）３４と、表示インタフェース部（Ｉ／Ｆ部）３６を備えている。 (Functions of Ultrasound Imaging Device)
FIG. 2 is a block diagram showing the configuration of the ultrasonic imaging apparatus 3. As shown in FIG. The ultrasound imaging apparatus 3 has a hardware configuration including a display 31, an input device 32, an auxiliary storage device 33, a communication interface section (I/F section) 34, and a display interface section (I/F section) 36. It has

ディスプレイ３１は、液晶ディスプレイ、プラズマディスプレイおよび有機ＥＬディスプレイ等で構成することができる。なお、ディスプレイ３１を超音波撮像装置３とは別個の装置として構成してもよい。 The display 31 can be composed of a liquid crystal display, a plasma display, an organic EL display, or the like. Note that the display 31 may be configured as a device separate from the ultrasonic imaging device 3 .

入力装置３２は、例えばディスプレイ３１の表面に設けられたタッチパネルである。被検者は、入力装置３２を介してディスプレイ３１に表示された画像に対する入力操作を行うことができる。 The input device 32 is, for example, a touch panel provided on the surface of the display 31 . The subject can perform an input operation on the image displayed on the display 31 via the input device 32 .

補助記憶装置３３は、オペレーティングシステム（ＯＳ）、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、ｅＭＭＣ（embedded Multi Media Card）やＳＳＤ（Solid State Drive）等によって構成される。補助記憶装置３３には、超音波撮像プログラムＰが記憶されている。超音波撮像プログラムＰは、インターネットなどのネットワークを介して超音波撮像装置３にインストールしてもよい。あるいは、超音波撮像プログラムＰを記録したＳＤカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を超音波撮像装置３に読み取らせることにより、超音波撮像プログラムＰを超音波撮像装置３にインストールしてもよい。 The auxiliary storage device 33 is a non-volatile storage device that stores an operating system (OS), various control programs, and data generated by the programs. Drive), etc. An ultrasonic imaging program P is stored in the auxiliary storage device 33 . The ultrasonic imaging program P may be installed in the ultrasonic imaging apparatus 3 via a network such as the Internet. Alternatively, the ultrasonic imaging program P can be transferred to the ultrasonic imaging apparatus 3 by causing the ultrasonic imaging apparatus 3 to read a computer-readable non-temporary tangible recording medium such as an SD card in which the ultrasonic imaging program P is recorded. can be installed on

通信インタフェース部３４は、外部機器とのデータの送受信を行うものであり、本実施形態では、プローブ２から受信した信号の復調や、プローブ２に送信するための制御信号の変調などを行う。 The communication interface unit 34 transmits and receives data to and from an external device, and in this embodiment, demodulates a signal received from the probe 2, modulates a control signal to be transmitted to the probe 2, and the like.

表示インタフェース部３６は、超音波撮像装置３の演算処理によって生成された各種画像データをＶＲＡＭに展開することにより、当該画像をディスプレイ３１に表示するものであり、例えば後述する信号処理部３５によって生成された合成画像等をディスプレイ３１に表示する。 The display interface unit 36 displays various image data generated by the arithmetic processing of the ultrasonic imaging apparatus 3 on the display 31 by expanding the various image data in the VRAM. The combined image and the like thus obtained are displayed on the display 31 .

図示していないが、超音波撮像装置３は、他のハードウェアの構成として、データ処理を行うＣＰＵ等のプロセッサ、および、プロセッサがデータ処理の作業領域に使用するメモリ（主記憶装置）などをさらに備えている。 Although not shown, the ultrasonic imaging apparatus 3 includes, as other hardware configurations, a processor such as a CPU that performs data processing, and a memory (main storage device) that the processor uses as a work area for data processing. I have more.

また、超音波撮像装置３は、ソフトウェアの構成として、信号処理部３５を備えている。信号処理部３５は、プロセッサが超音波撮像プログラムＰを実行することにより実現される機能ブロックであり、プローブ２から受信されたエコー信号を処理して、被検者がプローブ２を操作している間に、リアルタイムで被検体９の超音波合成画像を生成する機能を有している。この機能を実現するために信号処理部３５は、超音波画像生成部３５１と、画像合成部３５２と、判定部３５３と、を備えている。なお、信号処理部３５を、集積回路上に形成された論理回路によってハードウェア的に実現してもよい。 The ultrasonic imaging apparatus 3 also includes a signal processing unit 35 as a software configuration. The signal processing unit 35 is a functional block realized by the processor executing the ultrasonic imaging program P, and processes the echo signals received from the probe 2 so that the subject operates the probe 2. In between, it has a function of generating an ultrasonic composite image of the subject 9 in real time. In order to realize this function, the signal processing section 35 includes an ultrasonic image generating section 351 , an image synthesizing section 352 and a determining section 353 . Note that the signal processing unit 35 may be implemented in hardware by a logic circuit formed on an integrated circuit.

超音波画像生成部３５１は、プローブ２から受信されたエコー信号から、被検体９の内部の超音波画像を生成する。プローブ２は、被検体９の表面を移動しながら、超音波撮像装置３から送信される制御信号にしたがって、被検体９の表面上の互いに異なる複数の位置から被検体９の内部に向けて超音波を送信し、被検体９の内部で反射された超音波を受信して、超音波撮像装置３にエコー信号を出力する。これにより、プローブ２が超音波を受信するたびに、超音波画像生成部３５１にエコー信号が入力され、超音波画像生成部３５１は、エコー信号から、被検体９の表面上の互いに異なる複数の位置に対応した超音波画像を生成する。超音波画像の生成数は、プローブ２による超音波の送受信時間、および、送受信の周期によって変動するが、本実施形態では、ｎ枚（ｎは正の整数）の超音波画像が生成されるとする。 The ultrasonic image generator 351 generates an ultrasonic image of the interior of the subject 9 from the echo signal received from the probe 2 . While moving on the surface of the subject 9 , the probe 2 performs ultrasound toward the inside of the subject 9 from a plurality of mutually different positions on the surface of the subject 9 in accordance with control signals transmitted from the ultrasonic imaging device 3 . It transmits sound waves, receives ultrasonic waves reflected inside the object 9 , and outputs echo signals to the ultrasonic imaging device 3 . As a result, each time the probe 2 receives ultrasonic waves, an echo signal is input to the ultrasonic image generation unit 351, and the ultrasonic image generation unit 351 generates a plurality of different images on the surface of the subject 9 from the echo signals. Generating an ultrasound image corresponding to the position. The number of ultrasonic images generated varies depending on the transmission/reception time of ultrasonic waves by the probe 2 and the transmission/reception cycle. do.

なお、超音波画像生成部３５１の機能を、プローブ２を制御する制御装置に設けてもよい。その場合、超音波撮像装置３は、制御装置に有線または無線で通信可能に接続される。 Note that the function of the ultrasonic image generation unit 351 may be provided in a control device that controls the probe 2 . In that case, the ultrasonic imaging device 3 is communicably connected to the control device by wire or wirelessly.

画像合成部３５２は、プローブ２の位置を変えて被検体９の表面上の異なる位置から被検体９の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して被検体９内部の超音波画像を拡張する機能ブロックである。すなわち、例えばプローブ２を移動させながら、超音波画像生成部３５１が被検体９内部の新たな所定領域の超音波画像を生成して、新たな所定領域の超音波画像を得るごとに、画像合成部３５２は、超音波画像を既に生成された超音波画像に合成する。超音波画像の合成は、周知の技術を適用することができ、本実施形態では、例えば各超音波画像間の特徴点マッチングを用いて超音波画像を合成する。ここで、特徴点とは、超音波画像の合成時にマッチング対象となりえる特有の画素部分（例えば、角となる画素部分、画像の画素値の最大あるいは最小の画素部分、パターン化された画像部分など）のことをいう。 The image synthesizing unit 352 changes the position of the probe 2 to transmit ultrasonic waves toward the inside of the subject 9 from different positions on the surface of the subject 9, and generates new ultrasound waves generated from the reflected ultrasound waves. This is a functional block for synthesizing an image with an already generated ultrasonic image to expand the ultrasonic image inside the subject 9 . That is, for example, while moving the probe 2, the ultrasonic image generation unit 351 generates an ultrasonic image of a new predetermined region inside the subject 9, and each time an ultrasonic image of the new predetermined region is obtained, the image is synthesized. Unit 352 combines the ultrasound image with an already generated ultrasound image. A well-known technique can be applied to synthesize ultrasound images, and in this embodiment, ultrasound images are synthesized using, for example, feature point matching between ultrasound images. Here, a feature point is a unique pixel portion that can be a matching target when synthesizing an ultrasound image (for example, a corner pixel portion, a pixel portion with the maximum or minimum pixel value of an image, a patterned image portion, etc.). ).

この方法では、１番目の超音波画像および２番目の超音波画像から特徴点を検出する。そして、１番目の超音波画像と２番目の超音波画像の特徴点をマッチングして、１番目の超音波画像と２番目の超音波画像の同次変換行列を計算する。具体的には、２番目の超音波画像が１番目の超音波画像に対して、時計周りにθだけ回転し、ｘ軸方向にｔ_ｘ、ｙ軸方向にｔ_ｙだけ平行移動させると１番目の超音波画像と２番目の超音波画像の特徴点が一致する場合、２番目の超音波画像の座標系を動かして１番目の超音波画像に合わせる同次変換行列Ｒは、

となる。すなわち、１番目の超音波画像上の特徴点（ｘ、ｙ）が、２番目の超音波画像上の特徴点（ｘ’、ｙ’）に移動するとき、

の関係が成り立つ。なお、特徴点の座標には誤差が含まれており、また、ノイズの影響により決定された対応関係自体に誤りが含まれているため、計算に悪影響を及ぼす外れ値をＲＡＮＳＡＣアルゴリズムにより除外する。また、位置関係の計算には、ガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法を利用できる。 In this method, feature points are detected from the first ultrasonic image and the second ultrasonic image. Then, the feature points of the first ultrasonic image and the second ultrasonic image are matched to calculate homogeneous transformation matrices of the first ultrasonic image and the second ultrasonic image. Specifically, the second ultrasonic image is rotated clockwise by θ with respect to the first ultrasonic image, and is translated by t _x in the x-axis direction and t _y in the y-axis direction. When the feature points of the second ultrasonic image and the second ultrasonic image match, the homogeneous transformation matrix R for moving the coordinate system of the second ultrasonic image to match the first ultrasonic image is

becomes. That is, when the feature point (x, y) on the first ultrasound image moves to the feature point (x', y') on the second ultrasound image,

relationship is established. Note that the coordinates of the feature points contain errors, and the determined correspondence relationships themselves contain errors due to the influence of noise, so outliers that adversely affect the calculation are excluded by the RANSAC algorithm. Also, non-linear least-squares methods such as the Gauss-Newton method and the Levenberg-Marquardt method can be used to calculate the positional relationship.

同次変換行列Ｒの計算を、生成順が隣り合う２枚の超音波画像について順次行い、ｎ－１番目の超音波画像およびｎ番目の超音波画像まで行う。ｋ＋１（１≦ｋ≦ｎ－１）番目の超音波画像からｋ番目の超音波画像への同次変換行列をＲ_ｋとすると、ｋ＋１番目の超音波画像から１番目の超音波画像への同次変換行列は、Ｒ_１Ｒ_２…Ｒ_ｋとなる。１番目の超音波画像の座標系はワールド座標系と呼ばれ、全ての超音波画像について、ワールド座標系への同次変換行列を計算することで、全ての超音波画像の座標が計算できる。 Calculation of the homogeneous transformation matrix R is sequentially performed for two adjacent ultrasound images in the generation order, and is performed up to the (n−1)th ultrasound image and the nth ultrasound image. Let _Rk be a homogeneous transformation matrix from the k+1 (1≦k≦n−1)-th ultrasonic image to the k-th ultrasonic image. The following transform matrices are R ₁ R _{2 .} . . R _k . The coordinate system of the first ultrasonic image is called the world coordinate system, and the coordinates of all ultrasonic images can be calculated by calculating homogeneous transformation matrices to the world coordinate system for all ultrasonic images.

本実施形態では、図１に示すプローブ２による超音波の送受信、超音波画像生成部３５１による超音波画像の生成、および、画像合成部３５２による超音波画像の合成が、並行して行われる。すなわち、プローブ２からエコー信号が出力されるたびに、超音波画像生成部３５１は超音波画像を生成し、画像合成部３５２に超音波画像を入力する。画像合成部３５２は、超音波画像が入力されるたびに画像の合成を行い、段階的に合成画像を生成して、表示インタフェース部３６に生成途中の合成画像のデータを入力する。 In this embodiment, transmission and reception of ultrasonic waves by the probe 2 shown in FIG. 1, generation of ultrasonic images by the ultrasonic image generation unit 351, and synthesis of ultrasonic images by the image synthesis unit 352 are performed in parallel. That is, each time an echo signal is output from the probe 2 , the ultrasonic image generating section 351 generates an ultrasonic image and inputs the ultrasonic image to the image synthesizing section 352 . The image synthesizing unit 352 synthesizes images each time an ultrasonic image is input, generates a synthesized image step by step, and inputs data of the synthesized image in the process of being generated to the display interface unit 36 .

表示インタフェース部３６は、生成された合成画像等の各種画像データをＶＲＡＭに展開することにより、合成画像等をディスプレイ３１に表示する。本実施形態では、画像合成部３５２が１枚または数枚の超音波画像を合成するたびに、表示インタフェース部３６は、生成途中の合成画像をディスプレイ３１に表示する。 The display interface unit 36 displays the synthesized image and the like on the display 31 by developing various image data such as the generated synthesized image in the VRAM. In this embodiment, the display interface unit 36 displays a synthesized image in the process of being generated on the display 31 each time the image synthesizing unit 352 synthesizes one or several ultrasound images.

これにより、図３（Ａ）～（Ｃ）に示すように、被検体の合成画像が徐々にディスプレイ３１に表示される。そのため、被検者は、プローブ２を移動させながら、リアルタイムに合成画像を確認することができる。 As a result, the composite image of the subject is gradually displayed on the display 31 as shown in FIGS. Therefore, the subject can check the composite image in real time while moving the probe 2 .

判定部３５３は、画像合成部３５２による合成処理が成功したかを判定する機能ブロックである。本実施形態において、判定部３５３は、画像合成部３５２による合成処理が行われるごとに、互いに近接した位置にある所定フレーム範囲内（例えば所定枚数内）の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定する。さらに、本実施形態では、判定部３５３は、画像合成部３５２による合成処理がＭ（Ｍ≧２）回連続で失敗した場合に、合成処理の中止、失敗に関する情報の報知、および、合成画像の表示処理の中止のいずれかの処理を行う。例えば、判定部３５３は、ディスプレイ３１にエラーを表示するように表示インタフェース部３６に指示する。これにより、被検者は、スキャンの途中であっても、何らかの要因で合成画像の生成が失敗したことに気付くことができる。 The determination unit 353 is a functional block that determines whether the composition processing by the image composition unit 352 has succeeded. In the present embodiment, each time the image synthesizing unit 352 performs synthesizing processing, the determination unit 353 determines the superimposition area where ultrasound images within a predetermined frame range (for example, within a predetermined number of frames) that are close to each other are superimposed on each other. is extracted for each ultrasonic image, and the success or failure of synthesis processing is determined based on the result of comparison between the feature point and a predetermined reference. Furthermore, in the present embodiment, when the image synthesizing unit 352 fails in the synthesizing process M (M≧2) consecutive times, the determining unit 353 stops the synthesizing process, notifies information about the failure, and cancels the synthetic image. Perform any processing to stop the display processing. For example, the determination section 353 instructs the display interface section 36 to display an error on the display 31 . As a result, even during scanning, the subject can notice that the generation of the composite image has failed for some reason.

超音波画像の合成処理が成功したか否かの判定基準は、特に限定されないが、本実施形態では、下記の（１）～（３）のいずれかに当てはまる場合に、特徴点が所定基準を満たさず、合成処理が失敗したと判定される。 Although the criteria for determining whether or not the ultrasound image synthesis process has succeeded are not particularly limited, in the present embodiment, if any of the following (1) to (3) applies, the feature points meet the predetermined criteria. is not satisfied, and it is determined that the synthesis process has failed.

（１）超音波画像の特徴点の数が、閾値を下回った場合。図４は、互いに近接した位置にある所定フレーム範囲内（ここでは隣接する２つのフレーム）の超音波画像同士が重畳する重畳領域内にある特徴点を○（丸印）で示した図である。判定部３５３は、超音波画像の特徴点の数（すなわち図４に示される各超音波画像における○の数）がしきい値を下回っている場合、合成処理が失敗と判定する。なお、この特徴点は、超音波画像同士が重畳する重畳領域内において被検体９の表面からの距離に対応して反射された超音波の信号強度があらかじめ定められた閾値以上に変化する点であってもよい。 (1) When the number of feature points in the ultrasound image falls below the threshold. FIG. 4 is a diagram in which feature points in a superimposition region where ultrasonic images within a predetermined frame range (here, two adjacent frames) at positions close to each other are superimposed are indicated by ◯ (circles). . The determining unit 353 determines that the combining process has failed when the number of feature points in the ultrasonic image (that is, the number of circles in each ultrasonic image shown in FIG. 4) is below the threshold. Note that this feature point is that the signal intensity of the reflected ultrasonic waves changes by a predetermined threshold value or more corresponding to the distance from the surface of the subject 9 within the superimposed region where the ultrasonic images are superimposed. There may be.

（２）特徴点をマッチングした際のペア数が、閾値を下回った場合。判定部３５３は、超音波画像の特徴点をマッチングした際のペア数（図４に示される各超音波画像の特徴点同士を結ぶ線の数）がしきい値を下回っている場合、合成処理が失敗と判定する。 (2) When the number of pairs obtained by matching feature points is below the threshold. If the number of pairs (the number of lines connecting the feature points of each ultrasound image shown in FIG. 4) when matching the feature points of the ultrasound images is less than the threshold value, the determination unit 353 performs synthesis processing. is determined to have failed.

（３）上記（２）のペア数から外れ値を差し引いたインライア数が、閾値を下回った場合。図５は、図４のペア数から外れ値を差し引いた状態（特徴点のマッチングのとれない図４の斜めの線のなどの数を外れ値として取り除いた状態）を示した図である。判定部３５３は、上記（２）のペア数から外れ値を差し引いたインライア数（図５における左右方向の直線の数）がしきい値を下回っている場合、合成処理が失敗と判定する。 (3) When the number of inliers obtained by subtracting outliers from the number of pairs in (2) above is below the threshold. FIG. 5 is a diagram showing a state in which outliers are subtracted from the number of pairs in FIG. 4 (state in which the number of oblique lines in FIG. 4 where feature points cannot be matched is removed as outliers). If the number of inliers obtained by subtracting the outliers from the number of pairs in (2) above (the number of straight lines in the left-right direction in FIG. 5) is below the threshold, the determination unit 353 determines that the combining process has failed.

また、連続失敗回数の許容値Ｍは、プローブ２の移動速度、超音波画像のＦＰＳ（Flame per second）、各超音波画像の大きさ（ＦＯＶ：Field of view）等によって設定される数であり、Ｘ番目の超音波画像とＸ＋Ｍ番目の超音波画像との重畳領域が、特徴点のマッチングに支障がない程度に広くなるように設定される。より具体的には、下記式を満たすようにＭを設定することができる。
L_echo - (M * T_sampling * V_probe) > L_threshold
M < (L_echo - L_threshold)/(T_sampling * V_probe)
T_sampling [sec]：ＦＰＳから求まる１スキャンのサンプリング時間
V_probe [m/s]：プローブ２の移動速度
L_echo [m]：１枚の超音波画像の横幅
L_threshold [m]：画像位置合わせに最低限必要な横幅
上記条件を満たす場合は特徴点のマッチングに支障がないと定義される。 In addition, the allowable value M of the number of consecutive failures is a number set according to the moving speed of the probe 2, the FPS (Flame per second) of the ultrasonic image, the size of each ultrasonic image (FOV: Field of view), and the like. , the superimposed region of the X-th ultrasonic image and the X+M-th ultrasonic image is set so as to be wide enough not to hinder the matching of the feature points. More specifically, M can be set so as to satisfy the following formula.
L_echo - (M * T_sampling * V_probe) > L_threshold
M < (L_echo - L_threshold)/(T_sampling * V_probe)
T_sampling [sec]: Sampling time for one scan obtained from FPS
V_probe [m/s]: Moving speed of probe 2
L_echo [m]: Width of one ultrasound image
L_threshold [m]: Minimum width required for image alignment If the above conditions are satisfied, it is defined that matching of feature points is not hindered.

なお、各変数の単位は特に限定されず、例えば、長さの単位をｃｍとしてもよい。また、Ｍは固定値であってもよいが、２枚の画像位置合わせで求めた移動量を画像間の時間差で割ればV_probeが求められるため、その値を用いて動的にＭを求めることも可能である。スキャン開始から終了まで、上記式のV_probe以外の変数は固定値であるため、スキャン中のプローブ２の移動速度に応じて、Ｍを可変にしてもよい。プローブ２の移動速度は、２つの超音波画像における特徴点の移動ベクトルと、フレーム間の時間に基づいて算出できる。 Note that the unit of each variable is not particularly limited, and for example, the unit of length may be cm. Also, M may be a fixed value, but since V_probe can be obtained by dividing the movement amount obtained by aligning the two images by the time difference between the images, M can be obtained dynamically using that value. is also possible. Since variables other than V_probe in the above equation are fixed values from the start to the end of scanning, M may be variable according to the moving speed of the probe 2 during scanning. The movement speed of the probe 2 can be calculated based on the movement vector of the feature points in the two ultrasound images and the time between frames.

本実施形態では、例えばＭ＝５に設定される。すなわち、合成途中の合成画像にＸ番目の超音波画像が合成された後、画像合成部３５２による合成処理が４回連続で失敗したとしても、Ｘ＋５番目の超音波画像の合成が成功すれば、判定部３５３は、全体的な合成処理は失敗したとは判定しない。 In this embodiment, for example, M=5 is set. That is, even if the synthesis processing by the image synthesizing unit 352 fails four times in a row after the Xth ultrasound image is synthesized with the synthesized image being synthesized, if the synthesis of the X+5th ultrasound image succeeds, The determination unit 353 does not determine that the overall combining process has failed.

特許文献１には、最新の超音波画像が適切な合成画像であるか否かの判定基準、すなわち合成処理の成否の判定基準が開示されていない。これに対し、本実施形態では、互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定している。よって、合成処理の成否に関する新規な判定基準に従って合成画像の生成を行うことができる。 Japanese Patent Application Laid-Open No. 2002-200002 does not disclose a criterion for determining whether the latest ultrasonic image is an appropriate composite image, that is, a criterion for determining success or failure of the composite processing. On the other hand, in the present embodiment, a feature point in a superimposed region where ultrasound images within a predetermined frame range that are adjacent to each other are superimposed on each other is extracted for each ultrasound image, and the feature point and a predetermined reference are extracted. The success or failure of the combining process is determined based on the comparison result. Therefore, it is possible to generate a composite image according to a new criterion regarding success or failure of composition processing.

また、特許文献１に記載の技術では、超音波画像の合成が１回でも失敗した場合、合成画像の生成を中止等するようにした場合、被検者は、スキャン開始からスキャン終了まで、プローブ２の角度、押圧力を適切に保ち続けて、全ての超音波画像を良好な画質で撮影する必要がある。そのため、プローブの使用に慣れていない被検者にとっては、スキャンの成功率が低くなり、結果として、スキャン動作を何度も繰り返す必要があった。 In addition, in the technique described in Patent Document 1, if the synthesis of the ultrasonic image fails even once, and if the generation of the synthesized image is stopped, the subject is allowed to use the probe from the start of the scan to the end of the scan. It is necessary to continue to keep the angle and pressing force of 2 appropriately to capture all ultrasound images with good image quality. Therefore, the scan success rate is low for subjects who are not accustomed to using the probe, and as a result, the scan operation has to be repeated many times.

これに対し、本実施形態では、超音波画像の合成処理の連続失敗回数がＭ未満であれば、全体的な合成処理は失敗したと判定されない。そのため、スキャンの成功率が高くなり、合成画像を得るための負担を少なくすることができる。 On the other hand, in the present embodiment, if the number of consecutive failures of ultrasonic image synthesis processing is less than M, it is not determined that the overall synthesis processing has failed. Therefore, the success rate of scanning is increased, and the burden for obtaining a composite image can be reduced.

（処理手順）
図６は、本実施形態に係る超音波撮像方法の処理手順を示すフローチャートである。 (Processing procedure)
FIG. 6 is a flow chart showing the processing procedure of the ultrasonic imaging method according to this embodiment.

被検者によるスキャンが開始されると、プローブ２は、被検体９の内部に超音波が送信し、被検体９の内部で反射された超音波を受信してエコー信号を出力する。これに応じて、超音波画像生成部３５１が複数の超音波画像を順次生成する。 When the subject starts scanning, the probe 2 transmits ultrasonic waves to the inside of the subject 9, receives the ultrasonic waves reflected inside the subject 9, and outputs echo signals. In response, the ultrasonic image generator 351 sequentially generates a plurality of ultrasonic images.

具体的には、ステップＳ１（超音波画像生成ステップ）において、超音波画像生成部３５１が、被検体９の表面に配置されたプローブ２から被検体９の内部に向けて超音波を送信して反射された超音波から被検体９内部の所定領域の超音波画像を生成し、画像合成部３５２は、１番目の超音波画像を取得する。続いて、ステップＳ２およびＳ３に移行し、ｉ＝２とする。ステップＳ３では、画像合成部３５２は、ｉ番目（２番目）の超音波画像を取得する。これにより、ステップＳ４（画像合成ステップ）において、画像合成部３５２は、２番目の超音波画像（新たな超音波画像）を１番目の超音波画像（既に生成された超音波画像）に合成処理して被検体９内部の超音波画像を拡張する。なお、本実施形態では、拡張された超音波画像を合成画像と称する。 Specifically, in step S1 (ultrasound image generating step), the ultrasonic image generation unit 351 transmits ultrasonic waves from the probe 2 placed on the surface of the subject 9 toward the inside of the subject 9. An ultrasonic image of a predetermined region inside the subject 9 is generated from the reflected ultrasonic waves, and the image synthesizing unit 352 acquires the first ultrasonic image. Subsequently, the process moves to steps S2 and S3, and i=2. In step S3, the image synthesizing unit 352 acquires the i-th (second) ultrasound image. Accordingly, in step S4 (image synthesizing step), the image synthesizing unit 352 synthesizes the second ultrasound image (new ultrasound image) with the first ultrasound image (already generated ultrasound image). to expand the ultrasound image inside the subject 9 . In addition, in this embodiment, the extended ultrasound image is called a synthesized image.

続いて、ステップＳ５（判定ステップ）において、判定部３５３は、画像合成部３５２による合成処理が成功したかを判定する。本実施形態では、判定部３５３は、画像合成部３５２による合成処理が行われるごとに、互いに近接した位置にある所定フレーム範囲内（ここでは隣接するフレーム）の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて合成処理の成否を判定し、特徴点が所定基準を満たさない場合、合成処理が失敗したと判定し、特徴点が所定基準を満たす場合、合成処理が成功したと判定し、画像合成部３５２に合成処理を繰り返させる。 Subsequently, in step S5 (determining step), the determining unit 353 determines whether the combining process by the image combining unit 352 has succeeded. In the present embodiment, each time the image synthesizing unit 352 performs synthesizing processing, the determination unit 353 determines a superimposed region in which ultrasonic images within a predetermined frame range (adjacent frames in this case) located close to each other are superimposed on each other. The feature points in the image are extracted for each ultrasonic image, and the success or failure of the synthesis process is determined based on the result of comparison between the feature points and a predetermined standard. If the feature points do not satisfy the predetermined standard, the synthesis process fails. If the feature point satisfies the predetermined criterion, it is determined that the combining process has succeeded, and the image combining section 352 repeats the combining process.

具体的には、合成処理が成功したと判定された場合（ステップＳ５においてＹｅｓ）、表示インタフェース部３６が合成画像をディスプレイ３１に表示し（ステップＳ６）、スキャンが終了していなければ（ステップＳ７においてＮｏ）、ステップＳ８において、ｉを１増加させ、ステップＳ３に戻り、画像合成部３５２が合成処理を繰り返す。ステップＳ４では、画像合成部３５２は、合成途中の合成画像にｉ番目の超音波画像を合成する。 Specifically, if it is determined that the combining process has succeeded (Yes in step S5), the display interface unit 36 displays the combined image on the display 31 (step S6), and if scanning has not ended (step S7 No), in step S8, i is incremented by 1, the process returns to step S3, and the image synthesizing unit 352 repeats the synthesizing process. In step S4, the image synthesizing unit 352 synthesizes the i-th ultrasound image with the synthesized image that is being synthesized.

一方、最初のステップＳ５において、合成処理が失敗したと判定された場合（ステップＳ５においてＮｏ）、ステップＳ９に移行し、判定部３５３は、ｉ番目（２番目）の超音波画像を破棄する。続いて、ステップＳ１０において、判定部３５３は、合成処理の連続失敗回数がＭ（Ｍ≧２）未満であるかを判定する。本実施形態では、Ｍ＝５であるとする。連続失敗回数がＭ未満の場合（ステップＳ１０においてＹｅｓ）、ステップＳ８において、ｉを１増加させ、ステップＳ３に戻る。そして、ステップＳ３において、画像合成部３５２は、ｉ番目（３番目）の超音波画像を取得し、ステップＳ４において、画像合成部３５２は、１番目の超音波画像と３番目の超音波画像を合成し、ステップＳ５に移行する。２回目のステップＳ５において、合成処理が成功したと判定された場合（ステップＳ５においてＹｅｓ）、ステップＳ６において、１番目の超音波画像と３番目の超音波画像との合成画像がディスプレイ３１に表示される。しかし、２回目のステップＳ５において、再び、合成処理が失敗したと判定された場合（ステップＳ５においてＮｏ）、再度、ステップＳ９およびＳ１０に移行する。 On the other hand, when it is determined in the first step S5 that the combining process has failed (No in step S5), the determination unit 353 proceeds to step S9 and discards the i-th (second) ultrasonic image. Subsequently, in step S10, the determination unit 353 determines whether the number of consecutive failures of the combining process is less than M (M≧2). In this embodiment, it is assumed that M=5. If the number of consecutive failures is less than M (Yes in step S10), i is incremented by 1 in step S8, and the process returns to step S3. Then, in step S3, the image synthesizing unit 352 acquires the i-th (third) ultrasound image, and in step S4, the image synthesizing unit 352 acquires the first ultrasound image and the third ultrasound image. After combining, the process moves to step S5. If it is determined in step S5 for the second time that the synthesis process has succeeded (Yes in step S5), in step S6, a synthesized image of the first ultrasonic image and the third ultrasonic image is displayed on the display 31. be done. However, when it is determined in step S5 for the second time that the combining process has failed again (No in step S5), the process moves to steps S9 and S10 again.

合成処理の失敗が連続しても、連続失敗回数がＭ未満の場合（ステップＳ１０においてＹｅｓ）、ステップＳ９を経て、ステップＳ３～Ｓ７を繰り返す。そして、連続失敗回数がＭに達すると（ステップＳ１０においてＮｏ）、判定部３５３は、ステップＳ１０において、画像合成部３５２に合成処理を中止させ、ステップＳ１１において、表示インタフェース部３６に合成画像の表示処理を中止させ、ステップＳ１２において、表示インタフェース部３６にディスプレイ３１にエラー表示させることにより、合成処理の失敗に関する情報を報知させる。なお、またＳ１１～Ｓ１３をこの順番で実施する必要はない。また、ステップＳ１１～Ｓ１３の全てを実施する必要もなく、これらの少なくともいずれかを任意のタイミングで実施してもよい。 If the number of consecutive failures is less than M (Yes in step S10) even if the synthesis process fails continuously, steps S3 to S7 are repeated via step S9. Then, when the number of consecutive failures reaches M (No in step S10), the determination unit 353 causes the image composition unit 352 to stop the composition processing in step S10, and displays the composite image on the display interface unit 36 in step S11. The process is stopped, and in step S12, the display interface section 36 displays an error on the display 31, thereby notifying information about the failure of the combining process. Furthermore, it is not necessary to perform S11 to S13 in this order. Moreover, it is not necessary to perform all of steps S11 to S13, and at least one of them may be performed at any timing.

以降、合成処理をＭ回以上連続して失敗して（ステップＳ１０においてＮｏ）、ステップＳ１１～Ｓ１３に移行しない限り、スキャンが終了するまで（ステップＳ７においてＹｅｓ）、ステップＳ３～Ｓ６、Ｓ８～Ｓ１０が繰り返される。 Thereafter, unless the synthesis process fails M times or more (No in step S10) and the process moves to steps S11 to S13, steps S3 to S6 and steps S8 to S10 are repeated until the scan ends (Yes in step S7). is repeated.

（付記事項）
本発明は上記実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上記実施形態に開示された技術的手段を適宜組み合わせて得られる形態も本発明の技術的範囲に含まれる。 (Additional notes)
The present invention is not limited to the above embodiments, and various modifications can be made within the scope of the claims, and forms obtained by appropriately combining the technical means disclosed in the above embodiments are also within the scope of the present invention. Included in the technical scope.

例えば、上記実施形態では、被検体９が腹部を含む部位である例について説明したが、対象となる部位は特に限定されない。 For example, in the above embodiment, the subject 9 is a region including the abdomen, but the target region is not particularly limited.

また、上記実施形態では、被検者に合成処理の失敗に関する情報を報知するために、ディスプレイにエラーを表示していたが、被検者に合成処理の失敗に関する情報を報知する態様は特に限定されず、例えば、警告音を発したり、プローブ２を振動させたりしてもよい。 Further, in the above-described embodiment, an error is displayed on the display in order to notify the subject of the information about the failure of the synthesis process. Instead, for example, a warning sound may be emitted or the probe 2 may be vibrated.

また、上記実施形態では、超音波画像の合成処理が２以上の所定回数連続で失敗した場合に、合成処理の中止等を行っていたが、超音波画像の合成処理が１回でも失敗した場合に、合成処理の中止等を行ってもよい。 Further, in the above-described embodiment, if the ultrasound image synthesis process fails two or more times in succession, the synthesis process is stopped. In addition, the compositing process may be canceled or the like.

本発明は、医療用途および非医療用途のいずれにも適用可能であるが、特に、医療従事者ではない被検者が自身の健康状態を日常的に確認する用途に好適である。 INDUSTRIAL APPLICABILITY The present invention can be applied to both medical and non-medical applications, and is particularly suitable for applications in which subjects who are not medical professionals check their own health conditions on a daily basis.

１超音波撮像システム
２プローブ
３超音波撮像装置
３１ディスプレイ
３２入力装置
３３補助記憶装置
３４通信インタフェース部
３５信号処理部
３５１超音波画像生成部
３５２画像合成部
３５３判定部
３６表示インタフェース部
９被検体
Ｐ超音波撮像プログラム 1 Ultrasound Imaging System 2 Probe 3 Ultrasound Imaging Device 31 Display 32 Input Device 33 Auxiliary Storage Device 34 Communication Interface Unit 35 Signal Processing Unit 351 Ultrasound Image Generation Unit 352 Image Synthesis Unit 353 Determination Unit 36 Display Interface Unit 9 Subject P ultrasound imaging program

Claims

被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成し、
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張し、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定し、
前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像方法。 transmitting ultrasonic waves from the surface of the subject toward the interior of the subject and generating an ultrasound image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. to expand the ultrasound image inside the subject,
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. determine the success or failure of
The ultrasonic imaging method, wherein when the number of feature points of the ultrasonic image is below a threshold, it is determined that the combining process has failed.

前記合成処理が行われるごとに、前記合成処理の成否を判定する、請求項１に記載の超音波撮像方法。 The ultrasonic imaging method according to claim 1, wherein success or failure of said combining process is determined each time said combining process is performed.

前記特徴点が所定基準を満たす場合、前記合成処理を繰り返す、請求項１乃至請求項２のいずれかに記載の超音波撮像方法。 3. The ultrasonic imaging method according to any one of claims 1 and 2, wherein said synthesis processing is repeated when said feature point satisfies a predetermined criterion.

前記合成処理が失敗したと判定した場合、前記合成処理を中止させる、請求項１乃至請求項３のいずれかに記載の超音波撮像方法。 4. The ultrasonic imaging method according to any one of claims 1 to 3, wherein when it is determined that said combining process has failed, said combining process is stopped.

前記合成処理が２以上の所定回数連続で失敗したと判定した場合、前記合成処理を中止させる、請求項１乃至請求項４のいずれかに記載の超音波撮像方法。 5. The ultrasonic imaging method according to any one of claims 1 to 4, wherein when it is determined that said combining process has failed two or more times in succession, said combining process is stopped.

前記合成処理が２以上の所定回数連続で失敗したと判定した場合、当該合成処理の失敗に関する情報を報知させる、請求項１乃至請求項５のいずれかに記載の超音波撮像方法。 6. The ultrasonic imaging method according to any one of claims 1 to 5, wherein when it is determined that said combining process has failed two or more times in a row, information about failure of said combining process is reported.

前記合成処理が２以上の所定回数連続で失敗したと判定した場合、前記超音波画像の表示処理を中止させる、請求項１乃至請求項６のいずれかに記載の超音波撮像方法。 7. The ultrasonic imaging method according to any one of claims 1 to 6, wherein when it is determined that said synthesis processing has failed two or more times in succession, display processing of said ultrasonic image is stopped.

前記所定回数は、プローブを前記被検体の表面に沿って移動させる場合において当該プローブの移動速度に応じて可変である、請求項５乃至請求項７のいずれかに記載の超音波撮像方法。 8. The ultrasonic imaging method according to any one of claims 5 to 7, wherein said predetermined number of times is variable according to the moving speed of said probe when said probe is moved along the surface of said subject.

前記特徴点は、前記重畳領域内において被検体の表面からの距離に対応して前記反射された超音波の信号強度があらかじめ定められた閾値以上に変化する点である、請求項１乃至請求項８のいずれかに記載の超音波撮像方法。 1. The characteristic point is a point at which the signal intensity of the reflected ultrasonic wave changes by a predetermined threshold value or more corresponding to the distance from the surface of the subject within the superimposed region. 9. The ultrasonic imaging method according to any one of 8.

被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部と、
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部と、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部と
を備え、
前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像装置。 an ultrasonic image generating unit that transmits ultrasonic waves from the surface of the subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. an image synthesizing unit that expands an ultrasound image of the interior of the subject by
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. and a determination unit that determines the success or failure of
The ultrasonic imaging apparatus, wherein the determining unit determines that the combining process has failed when the number of feature points in the ultrasonic image is below a threshold.

前記判定部は、前記合成処理が行われるごとに、前記合成処理の成否を判定する、請求項１０に記載の超音波撮像装置。 11. The ultrasonic imaging apparatus according to claim 10, wherein the determination unit determines success or failure of the combining process each time the combining process is performed.

前記判定部は、前記特徴点が所定基準を満たす場合、前記合成処理を繰り返す、請求項１０乃至請求項１１のいずれかに記載の超音波撮像装置。 12. The ultrasonic imaging apparatus according to any one of claims 10 to 11, wherein said determination unit repeats said synthesis processing when said feature point satisfies a predetermined criterion.

超音波を前記被検体の表面上の互いに異なる複数の位置から該被検体の内部に向けて送信し、前記被検体の内部で反射された超音波を受信するプローブと、
請求項１０乃至請求項１２のいずれかに記載の超音波画像装置とを備える、超音波撮像システム。 a probe that transmits ultrasonic waves toward the inside of the subject from a plurality of positions different from each other on the surface of the subject and receives the ultrasonic waves reflected inside the subject;
An ultrasound imaging system comprising the ultrasound imaging device according to any one of claims 10 to 12.

被検体の表面から該被検体の内部に向けて超音波を送信して反射された超音波から該被検体内部の所定領域の超音波画像を生成する超音波画像生成部、
前記被検体の表面上の異なる位置から該被検体の内部に向けて超音波を送信して反射された超音波から生成された新たな超音波画像を、既に生成された超音波画像に合成処理して前記被検体内部の超音波画像を拡張する画像合成部、および、
互いに近接した位置にある所定フレーム範囲内の超音波画像同士が重畳する重畳領域内にある特徴点を各超音波画像について抽出し、該特徴点と所定基準との比較結果に基づいて前記合成処理の成否を判定する判定部、
としてコンピュータを動作させ、
前記判定部は、前記超音波画像の特徴点の数が閾値を下回った場合、前記合成処理が失敗したと判定する、超音波撮像プログラム。 an ultrasonic image generating unit that transmits ultrasonic waves from the surface of the subject toward the inside of the subject and generates an ultrasonic image of a predetermined region inside the subject from the reflected ultrasonic waves;
Ultrasonic waves are transmitted from different positions on the surface of the subject toward the inside of the subject, and a new ultrasound image generated from the reflected ultrasound is combined with an already generated ultrasound image. an image synthesizing unit for expanding an ultrasound image of the interior of the subject by
A feature point in a superimposed region in which ultrasound images within a predetermined frame range that are positioned close to each other are superimposed on each other is extracted from each ultrasound image, and the synthesis processing is performed based on a comparison result between the feature point and a predetermined reference. A determination unit that determines the success or failure of
run the computer as
The ultrasonic imaging program, wherein the determining unit determines that the combining process has failed when the number of feature points of the ultrasonic image is below a threshold.