JP4188921B2 - Ultrasound image diagnostic apparatus and program used therefor - Google Patents

Description

本発明は、超音波によって得られた動画像を合成しパノラマ画像合成する方法及び装置、更に詳しくいえば、手動の超音波プローブ操作によって撮影された位置的に連続する複数の動画像フレーム列の画像を合成した画像（以下パノラマ画像と略称）を得る方法及び装置で、特に、超音波診断及びそれに使用する装置に好適なものである。   The present invention relates to a method and apparatus for synthesizing moving images obtained by ultrasonic waves and synthesizing panoramic images, and more specifically, a plurality of positionally continuous moving image frame sequences photographed by manual ultrasonic probe operation. A method and apparatus for obtaining an image obtained by synthesizing images (hereinafter abbreviated as a panoramic image), and particularly suitable for ultrasonic diagnosis and an apparatus used therefor.

近年、超音波を使った診断の普及が進んでいる。超音波診断装置は、プローブを人体等の被検体の表面に当て、２〜１０ＭＨｚの超音波を体内に送り、臓器の表面等で反射された超音波を受信し、受信音波を信号処理することで、リアルタイムに患者の体内の臓器等の断層画像を表示する装置である。超音波を使った診断は外科手術やＸ線による診断に比べ患者に苦痛や悪影響を及ぼさず安全である。   In recent years, diagnosis using ultrasonic waves has become widespread. The ultrasonic diagnostic apparatus applies a probe to the surface of a subject such as a human body, sends 2 to 10 MHz ultrasonic waves into the body, receives ultrasonic waves reflected from the surface of the organ, and processes the received sound waves. Thus, the device displays a tomographic image of an internal organ of a patient in real time. Diagnosis using ultrasound is safer without causing pain or adverse effects on the patient as compared with surgery or X-ray diagnosis.

そのため、妊婦や幼児の診断において重要とされている。超音波診断装置の代表的な計測例に、胎児発育計測や循環器計測がある。これらの計測部位はプローブで一度に断層画像表示できる範囲を超えているため、プローブを被検体に沿ってスキャンさせながら断層画像をパノラマ的に表示させる機能が必要となる。１回の取り込みでは極めて狭い範囲の２次元断面画像しか得られないがプローブを位置センサーを有する機械的スキャナーに取付け、人体を横切るようにスキャナーを移動させつつ断面画像を記憶すれば、人体等の被検体の上をプローブが動き終わった時に全ての記憶された断面画像から、全体のパノラマ画像を生成して表示できる。   Therefore, it is considered important in the diagnosis of pregnant women and infants. Typical measurement examples of an ultrasonic diagnostic apparatus include fetal growth measurement and circulatory organ measurement. Since these measurement sites exceed the range in which the tomographic image can be displayed at once by the probe, a function for displaying the tomographic image in a panoramic manner while scanning the probe along the subject is necessary. Although only a two-dimensional cross-sectional image in a very narrow range can be obtained with one capture, if the probe is attached to a mechanical scanner with a position sensor and the cross-sectional image is stored while moving the scanner across the human body, When the probe finishes moving on the subject, the entire panoramic image can be generated and displayed from all stored cross-sectional images.

しかし、機械的スキャナーに取り付けたプローブを、例えば、ふくらはぎ部、甲状腺部等、人体の曲面部に沿って正確に移動させるのは難しい。超音波は皮膚に塗られたゼリー状の物質の層を通して身体の中に伝達されるため、プローブは人体の皮膚と直接接触するように保持されなければならない。そのため、表面に凹凸がある部分を正確にスキャンさせるのは高度な操作技術が必要である。望ましいのは、手動でプローブを人体の表面に沿ってスキャンさせつつ、実時間で広範囲の断面画像を繋ぎあわせ、パノラマ的に表示できる装置の実現である。位置センサや回転センサを取り付けることなく画像を合成するためには、位置的に隣接する画像フレーム間の移動量や回転量を画像データから検出する必要がある。この検出には、画像間の動きベクトルを計算しなければならず、リアルタイム処理のためには高速の画像処理プロセッサが要求される。   However, it is difficult to accurately move a probe attached to a mechanical scanner along a curved surface portion of a human body such as a calf portion and a thyroid portion. Since ultrasound is transmitted into the body through a layer of jelly-like material applied to the skin, the probe must be held in direct contact with the human skin. For this reason, it is necessary to have a high level of operation technique to accurately scan a portion having an uneven surface. It is desirable to realize an apparatus capable of panoramically displaying a wide range of cross-sectional images in real time while manually scanning the probe along the surface of the human body. In order to synthesize an image without attaching a position sensor or a rotation sensor, it is necessary to detect the amount of movement or the amount of rotation between image frames adjacent in position from the image data. For this detection, a motion vector between images must be calculated, and a high-speed image processor is required for real-time processing.

さらに、超音波断層像を得る装置の操作性を向上させるためには、診断装置の使用者がプローブを手動で移動させながら、間違った部位を操作した場合でも、部分的に操作を修正するだけで、パノラマ画像が生成できる機能が必要である。例えば血流を計測する場合、ユーザは人体の表面から血管の上に沿って移動させる必要があるが、血管が細いのでプローブの位置が計測すべき血管の位置からずれる場合が生じる。このような場合、始めからプローブの操作をやり直すのではなく、途中での修正ができて、スキャンが再開できると操作性が確実に上がる。   Furthermore, in order to improve the operability of the device that obtains the ultrasonic tomographic image, even if the user of the diagnostic device manually moves the probe and operates the wrong part, the operation is only partially corrected. Therefore, a function capable of generating a panoramic image is necessary. For example, when measuring blood flow, the user needs to move along the blood vessel from the surface of the human body. However, since the blood vessel is thin, the position of the probe may deviate from the position of the blood vessel to be measured. In such a case, instead of starting the probe operation again from the beginning, if the correction can be made in the middle and the scan can be resumed, the operability is surely improved.

また、プローブを移動（スキャン）させている時に、視線をプローブ位置から離
さずに断層画像が確認できる手段があると、正確な移動操作が可能になる。
しかしながら、望ましい超音波診断装置の実現は位置センサの取り付けられた機械的スキャナを必要としたり、あるいは高速の画像処理プロセッサを必要とする等、装置コストが大幅に高くなるという問題がある。 In addition, when there is a means for checking a tomographic image without moving the line of sight from the probe position when the probe is moved (scanned), an accurate moving operation can be performed.
However, the realization of a desirable ultrasonic diagnostic apparatus has a problem that the apparatus cost is significantly increased, such as requiring a mechanical scanner with a position sensor attached or a high-speed image processor.

超音波診断装置に使用するパノラマ画像作成技術として相互に関連する超音波画像フレーム間動きベクトルを求め、その動きベクトルを利用して複数の画像フレーム繋ぎ合わせパノラマ画像を得る技術がＵ．Ｓ．Ｐ．５，５７７５，２８６号に開示されている。しかし上記Ｕ．Ｓ．Ｐ．に開示されているものは動きベクトルを求めるためいわゆる高度のブロックマッチング方法を用いるため、依然として信号処理量が多く、実時間処理を行うためには、高速信号処理装置を必要とする問題がある。   As a panoramic image creation technique used in an ultrasonic diagnostic apparatus, a technique for obtaining interrelated ultrasonic image inter-frame motion vectors and using the motion vectors to obtain a panoramic image by joining a plurality of image frames is disclosed in U.S. Pat. S. P. No. 5,5775,286. However, U. S. P. However, since a so-called advanced block matching method is used to obtain a motion vector, the amount of signal processing is still large, and there is a problem that a high-speed signal processing device is required to perform real-time processing.

米国特許５７７５，２８６号US Pat. No. 5,775,286

以上のように従来の超音波診断装置は人体に安全ではあるが、パノラマ的に全体の画像を表示させようとすると装置コストと操作性の点で問題があった。すなわち、部分的な断面画像から人体のパノラマ画像を得るためには、高速の画像処理プロセッサが必要となったり、正確にプローブを移動しないとパノラマ画像がとぎれる等の問題があった。
従って本発明の目的は、被検体の超音波撮像画像のパノラマ画像をリアルタイムで生成し、表示できるパノラマ画像の合成方法及びその方法を実施する低コストかつ操作性の優れた超音波パノラマ画像合成装置を提供することである。 As described above, the conventional ultrasonic diagnostic apparatus is safe for the human body, but there is a problem in terms of apparatus cost and operability when displaying the entire image in a panoramic manner. That is, in order to obtain a panoramic image of a human body from a partial cross-sectional image, there is a problem that a high-speed image processing processor is required or the panoramic image is interrupted unless the probe is moved accurately.
Accordingly, it is an object of the present invention to generate a panoramic image that can generate and display a panoramic image of an ultrasonic imaging image of a subject in real time, and an ultrasonic panoramic image synthesizing device with low cost and excellent operability for implementing the method. Is to provide.

上記目的を達成するため、本発明の超音波像を合成しパノラマ画像を合成する方法は、人体等の被検体から超音波によって得られた位置的に近接した複数の画像フレーム、即ち動画像フレームの画像データを得て、上記複数の動画像フレームのそれぞれの特定の指定領域のデータから隣接する動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出し、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得て、必要によっては、上記パノラマ画像データを画像信号に変換し表示装置に表示する。   In order to achieve the above object, a method for synthesizing a panoramic image by synthesizing ultrasonic images according to the present invention includes a plurality of image frames that are close to each other, that is, moving image frames, obtained by ultrasonic waves from a subject such as a human body. Image data, and detecting positional relationship data between adjacent moving image frames, that is, moving amounts and rotating amounts between moving image frames, from the data of specific designated areas of each of the plurality of moving image frames. The panoramic image data is obtained by joining the plurality of moving image frames at a predetermined position using the amount and the rotation amount. If necessary, the panoramic image data is converted into an image signal and displayed on a display device.

本発明の方法は、超音波プローブから得られた動画像データから直接位置関係データを求め、パノラマ画像データ得て、表示装置の表示画面に超音波プローブの移動と同時に表示するリアルタイム処理を行う場合の他に、一旦上記複数の動画像フレームのデータを蓄積手段に蓄積し、時間を経て上記蓄積手段のデータから上記パノラマ画像データを得て、表示手段に表示する形態も含む。   The method of the present invention obtains positional relationship data directly from moving image data obtained from an ultrasonic probe, obtains panoramic image data, and performs real-time processing for displaying on the display screen of the display device simultaneously with the movement of the ultrasonic probe. In addition, a mode is also included in which the data of the plurality of moving image frames is temporarily stored in the storage unit, and the panoramic image data is obtained from the data of the storage unit over time and displayed on the display unit.

また、本発明のパノラマ画像を合成する画像合成装置は、位置的に相互に隣接する複数の動画像フレームの画像データを入力する手段と、上記複数の動画像データのそれぞれの特定の領域のデータから動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出する動き検出手段と、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得る信号処理装置と、上記パノラマ画像データを表示する表示装置をもち、上記動き検出手段は以下の処理を行う演算手段を有する。   The image composition apparatus for synthesizing a panoramic image according to the present invention includes means for inputting image data of a plurality of moving image frames adjacent to each other in position, and data of each specific region of the plurality of moving image data Motion detection means for detecting positional relationship data between moving image frames, that is, a moving amount and a rotating amount between moving image frames, and the plurality of moving image frames at a predetermined position using the moving amount and the rotating amount. Thus, the signal processing device for obtaining the panorama image data and the display device for displaying the panorama image data are provided, and the motion detecting means has an arithmetic means for performing the following processing.

上記演算部は、連続する動画像フレームの画像の単一の指定された特定領域
の投影分布を求め、隣接する動画像フレームの画像の単一の特定領域の投影分布
間の相関によって上記移動量を求める信号処理手段と、連続する動画像フレームそれぞれの１軸方向に分割された複数の特定部分領域の投影分布を求め、隣接する画像フレーム間のそれぞれ対応する上記特定部分領域の投影分布間の相関によって上記特定部分領域のそれぞれの移動量を求め、上記複数の特定部分領域の移動量の差から連続する動画像フレームの回転量データを求める信号処理手段とを有する。すなわち、プローブ操作の動きを画像データより検出する。 The calculation unit obtains a projection distribution of a single specified specific region of images of successive moving image frames, and calculates the amount of movement based on a correlation between the projection distributions of a single specific region of images of adjacent moving image frames. Signal processing means for determining the projection distribution of a plurality of specific partial areas divided in one axial direction of each of the continuous moving image frames, and between the corresponding projection distributions of the specific partial areas between adjacent image frames Signal processing means for obtaining the amount of movement of each of the specific partial areas by correlation, and obtaining rotation amount data of successive moving image frames from the difference of the movement amounts of the plurality of specific partial areas. That is, the movement of the probe operation is detected from the image data.

本発明によるパノラマ画像合成装置は、好ましい実施形態においては、上記複
数の動画像フレームのデータを得る手段は、手動のプローブから取得した超音波
データを画像データに変換する超音波・画像化手段で構成され、上記表示装置は
上記パノラマ画像の表示と同時に上記複数の超音波画像データからの個々の画像
フレームを動画像として表示する様に構成される。 In a preferred embodiment of the panoramic image synthesizing apparatus according to the present invention, the means for obtaining the data of the plurality of moving image frames is an ultrasound / imaging means for converting the ultrasound data acquired from the manual probe into image data. The display device is configured to display individual image frames from the plurality of ultrasonic image data as moving images simultaneously with the display of the panoramic image.

また、本発明によるパノラマ画像合成装置の好ましい実施形態においては、上記動き検出手段及びパノラマ画像合成手段は、中央信号処理ユニット（ＣＰＵ）と、データ及び制御プログラムを記憶するメモリをもつコンピュータによって構成される。さらに上記パノラマ画像を蓄積する画像蓄積手段をも付加する。
更に操作性を高める好ましい形態によれば、上記プローブに、少なくとも、上記プローブの操作開始手段、操作リセット手段、上記動画像表示手段、及びパノラマ画像表示手段の少なくとも１つを取り付ける。 In a preferred embodiment of the panoramic image synthesizing apparatus according to the present invention, the motion detecting means and panoramic image synthesizing means are constituted by a central signal processing unit (CPU) and a computer having a memory for storing data and a control program. The Further, image storage means for storing the panoramic image is added.
According to a preferred mode for further enhancing the operability, at least one of the probe operation start means, operation reset means, moving image display means, and panoramic image display means is attached to the probe.

本発明によれば、超音波診断装置等に実施した場合、診断中の動画像を自動的に合成してパノラマ画像を生成することができ、装置操作者のプローブ操作により得た断層画像列から、リアルタイムでパノラマ画像を作成できる。また、パノラマ画像の作成状況がディスプレィ上で刻々と確認できるとともに、診断中のプローブ操作の失敗を訂正することができる。また、好ましい実施形態ではプローブとディスプレィが一体になっているので、診断箇所から視線を離すことなく診断作業が行える。以上のように、本発明によれば高い操作性の超音波診断装置が実現される。
本発明の他の目的及び特徴は以下の説明によりに明らかにされる。また本発明は、超音波診断装置に特に有効であるので、以下の説明では超音波診断装置について説明するが、他の用途にも実施できるものである。 According to the present invention, when implemented in an ultrasonic diagnostic apparatus or the like, a panoramic image can be generated by automatically synthesizing moving images under diagnosis, and from a tomographic image sequence obtained by the probe operation of the apparatus operator. Create panoramic images in real time. In addition, the creation status of the panoramic image can be confirmed on the display every moment, and the failure of the probe operation during diagnosis can be corrected. In the preferred embodiment, since the probe and the display are integrated, the diagnostic work can be performed without leaving the line of sight from the diagnosis location. As described above, according to the present invention, an ultrasonic diagnostic apparatus with high operability is realized.
Other objects and features of the present invention will become apparent from the following description. Since the present invention is particularly effective for an ultrasonic diagnostic apparatus, the ultrasonic diagnostic apparatus will be described in the following description, but the present invention can be implemented for other applications.

図１は、本発明による超音波像を合成しパノラマ画像を合成する装置の一実施
形態である超音波診断装置の構成を示すブロック図である。
本実施形態には、超音波発振部１１０からの信号によって超音波ビーム２２０を被検体に照射し、また被検体からの反射ビームを受信するプローブ２００と、プローブ２００からの信号を動画像フレームデータにする画像化部１２０と、動画像データを処理する中央処理ユニット（以下、ＣＰＵと略称）１３０及び動画像、パノラマ画像の処理に必要なデータ１４０−２、制御プログラム１４０−１を格納するメモリ１４０と、パノラマ画像１５１等をディスプレイ１5０に表示するためのビデオメモリ１５５及びＤ／Ａ変換器１５６と、各機能部を結合するバス線路１３２とをもつ超音波診断装置１００を構成する。超音波診断装置１００は、インタフェース（Ｉ／Ｆ）を介して結合されるキーボード１６０、ポインティングデバイス１７０等の入出力装置、プリンタ１８０及び補助記憶装置１９０を備える。超音波診断装置１００のハード構成は、一般に知られているデジタルコンピュータの構成と同様である。 FIG. 1 is a block diagram showing a configuration of an ultrasonic diagnostic apparatus which is an embodiment of an apparatus for synthesizing a panoramic image by synthesizing ultrasonic images according to the present invention.
In this embodiment, a probe 200 that irradiates a subject with an ultrasonic beam 220 by a signal from the ultrasonic oscillator 110 and receives a reflected beam from the subject, and a signal from the probe 200 as moving image frame data. An imaging unit 120, a central processing unit (hereinafter abbreviated as CPU) 130 for processing moving image data, and a memory for storing data 140-2 necessary for processing moving images and panoramic images, and a control program 140-1 The ultrasonic diagnostic apparatus 100 includes 140, a video memory 155 and a D / A converter 156 for displaying a panoramic image 151 and the like on the display 150, and a bus line 132 that couples the functional units. The ultrasonic diagnostic apparatus 100 includes a keyboard 160, an input / output device such as a pointing device 170, a printer 180, and an auxiliary storage device 190 coupled via an interface (I / F). The hardware configuration of the ultrasonic diagnostic apparatus 100 is the same as that of a generally known digital computer.

上記装置の構成において、超音波発振部１１０の発振周波数（２〜１０ＭＨｚ）はＣＰＵ１３０からの指示に従う。画像化部１２０で変換された画像データはメモリ１４０に取り込むと同時にビデオメモリ１５５に取り込まれる。ＲＡＭＡＤＣと呼ばれているＤ／Ａコンバータ１５６で、ビデオメモリ１５５に書かれた表示画像データをディスプレイ１５０の走査線スピードに合わせて逐次読出し、ディスプレイ１５０に描画する。   In the configuration of the above apparatus, the oscillation frequency (2 to 10 MHz) of the ultrasonic oscillator 110 is in accordance with an instruction from the CPU 130. The image data converted by the imaging unit 120 is taken into the memory 140 and simultaneously taken into the video memory 155. A D / A converter 156 called RAMADC sequentially reads display image data written in the video memory 155 in accordance with the scanning line speed of the display 150 and draws it on the display 150.

従って、ビデオメモリ１５５のデータを更新すると、その更新内容がディスプレイ１５０の表示画面に直ちに反映される。ディスプレイ１５０は、画像を表示するためのデバイスであり、例えば、小型のＣＲＴやプラズマディスプレイ、液晶タイプの表示デバイス等で構成される。画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイの一部に連続的な被検体の断層画像である動画像が表示される。   Therefore, when the data in the video memory 155 is updated, the updated content is immediately reflected on the display screen of the display 150. The display 150 is a device for displaying an image, and includes, for example, a small CRT, a plasma display, a liquid crystal display device, or the like. By repeating the image capture at a frequency of about 30 times per second, a moving image that is a continuous tomographic image of the subject is displayed on a part of the display.

補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体１００から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であってもよい。   The auxiliary storage device 110 is a large-capacity recording device such as a hard disk, and is a device for semi-permanently recording digital data. This may be a recording device that can be attached to and detached from the main body 100 together with the storage device, such as a PCMCIA hard disk card, or a type of recording device in which only a recording medium can be attached or detached, such as a magneto-optical disk.

ＣＰＵ１３０は、超音波診断のための制御をはじめ、以下に説明する画像データを得たり、画像の動きの検出演算を行ったり、画像データを画像表示信号に変換し画像の表示形態を制御するための制御プログラムを実行する。制御プログラムは、メモリ１４０−１に常駐し、プログラムの実行に必要となるデータは、データメモリ１４０−２に必要に応じて格納される。プリンタ１８０は処理した画像や診断結果を印刷する。   The CPU 130 obtains image data described below, performs control for ultrasonic diagnosis, performs image motion detection calculation, converts the image data into an image display signal, and controls the display form of the image. Run the control program. The control program resides in the memory 140-1, and data necessary for executing the program is stored in the data memory 140-2 as necessary. The printer 180 prints the processed image and diagnosis result.

上記超音波診断装置の構成において、取り込んだ動画像フレーム列をプローブ２００の移動操作（以下スキャンとも呼ぶ）に応じて動画像フレームを相互に接続する。メモリ１４０−１内に格納された制御プログラムによって、診断中に取り込まれた画像データをメモリ１４０に取り込みながら複数の画像フレームの指定部分を接続しパノラマ画像データを得て、逐次ビデオメモリ１５５に転送し、ディスプレイ１５０に１５１を表示する。さらに診断が終了すると、パノラマ画像データを補助記憶装置１９０に、画像データ構造体１９０−１として格納する。画像データ構造体１９０−１は画像の種別、画像のサイズ、診断日時、診断部位等の画像のヘッダー情報情報１９０−１−１、圧縮又は非圧縮されたパノラマ画像データ１９０−１−２が含まれる。   In the configuration of the ultrasonic diagnostic apparatus, the captured moving image frame sequence is connected to each other in accordance with the moving operation of the probe 200 (hereinafter also referred to as scanning). With the control program stored in the memory 140-1, panoramic image data is obtained by connecting designated portions of a plurality of image frames while capturing image data captured during diagnosis into the memory 140, and sequentially transferred to the video memory 155. Then, 151 is displayed on the display 150. When the diagnosis is completed, the panorama image data is stored in the auxiliary storage device 190 as an image data structure 190-1. The image data structure 190-1 includes image header information information 190-1-1 such as image type, image size, diagnosis date and time, diagnosis part, and compressed or uncompressed panoramic image data 190-1-2. It is.

図２は、本発明による超音波診断装置の実施形態を説明するための概略図である。プローブ２００は体表（被検体の一部）２３０に沿って、プローブ２００の長手方向（矢印の曲線で示す）に手動で移動される。プローブ２００の移動で得た時間的に隣接する画像フレーム相互間の大部分の画素が一致している。ただし、後で図６に関連して説明するすように、プローブの移動方向の移動距離に対応して画像間で位置がずれる。また、体表２３０の曲率に応じて画像間に回転ずれが生じる。そこで本実施形態の超音波診断装置１００では、動画像フレーム間の移動量及び回転量をＣＰＵ１２０及びプログラム１４０−１で構成される演算手段の信号処理により検出し、更に検出された移動量及び回転量を用いて、複数の動画像フレームを合成し、パノラマ画像データに変換し、ビデオメモリ１５５を介してパノラマ画像１５１としてディスプレイ１５０に逐次表示する。これにより位置センサを使用することなく、操作が容易なパノラマ画像合成装置が実現される。   FIG. 2 is a schematic diagram for explaining an embodiment of an ultrasonic diagnostic apparatus according to the present invention. The probe 200 is manually moved along the body surface (a part of the subject) 230 in the longitudinal direction of the probe 200 (indicated by the curve of the arrow). Most of the pixels between temporally adjacent image frames obtained by the movement of the probe 200 coincide. However, as will be described later with reference to FIG. 6, the positions are shifted between images corresponding to the moving distance of the probe in the moving direction. Further, a rotational deviation occurs between the images according to the curvature of the body surface 230. Therefore, in the ultrasonic diagnostic apparatus 100 of the present embodiment, the movement amount and the rotation amount between the moving image frames are detected by the signal processing of the arithmetic means constituted by the CPU 120 and the program 140-1, and the detected movement amount and rotation are further detected. Using the amount, a plurality of moving image frames are combined, converted into panoramic image data, and sequentially displayed as a panoramic image 151 on the display 150 via the video memory 155. As a result, a panoramic image synthesis apparatus that is easy to operate without using a position sensor is realized.

図３は、上記実施形態における超音波診断装置のディスプレイに表示される表示画面の一例を示す表示画面図である。
表示画面１５０は商標ウィンドウ３００、動画表示ウィンドウ３１０、パノラマ画像表示ウィンドウ３２０、操作指示ウインドウ３３０から構成される。ここで、商標ウィンドウ３００には装置名や著作権の所在等を表示する。動画表示ウィンドウ３１０は診断中の断層画像をリアルタイムで表示するウィンドウである。
毎秒３０回フレームの頻度で画像を表示することで身体の内部の状態が動画として表示される。動画表示ウィンドウ３１０領域内の領域３１１は断層画像の有効領域である。上記断層画像（動画象フレーム）の有効領域は、超音波ビーム２２０を発信・受信するプローブ２００の形状がコンベックスタイプの場合には、図に示すような扇型の領域になる。図において上部が体表側、下部が身体内部側である。また、プローブ２００の形状がリニアタイプの場合には、有効領域３１１は長方形の領域になる。 FIG. 3 is a display screen diagram showing an example of a display screen displayed on the display of the ultrasonic diagnostic apparatus in the embodiment.
The display screen 150 includes a trademark window 300, a moving image display window 310, a panoramic image display window 320, and an operation instruction window 330. Here, the trademark window 300 displays the device name, the location of the copyright, and the like. The moving image display window 310 is a window for displaying the tomographic image being diagnosed in real time.
By displaying an image at a frequency of 30 frames per second, the internal state of the body is displayed as a moving image. An area 311 in the moving image display window 310 area is an effective area of a tomographic image. When the shape of the probe 200 that transmits and receives the ultrasonic beam 220 is a convex type, the effective area of the tomographic image (moving image frame) is a fan-shaped area as shown in the figure. In the figure, the upper part is the body surface side and the lower part is the body internal side. When the shape of the probe 200 is a linear type, the effective area 311 is a rectangular area.

領域３１２は断層画像３１１内に設定したパノラマ画像作成に利用する画像処理領域であって、長方形の図形として表示する。近接する動画像フレーム間の動き量と回転量を検出する画像データの信号処理はこの領域３１２のデータを使用して実行される。処理領域３１２の有効領域３１１に対する位置は、通常は固定であるが、プローブ２００を交換した場合、取り込まれる画像のサイズや位置が変わる場合があるので、それに合わせて処理領域を変更するように設定する。
領域３１３はパノラマ画像作成時に使用する断層画像の部分領域である。部分領域３１３は動画像として解像度の高い部分で、各フレームとも同じ位置に設定しておく。これらの画像処理領域３１２、３１３はユーザインタフェースによって、ユーザが自由に設定できる。 An area 312 is an image processing area used for creating a panoramic image set in the tomographic image 311 and is displayed as a rectangular figure. Signal processing of image data for detecting the amount of motion and the amount of rotation between adjacent moving image frames is executed using the data in this region 312. The position of the processing area 312 with respect to the effective area 311 is normally fixed, but when the probe 200 is replaced, the size and position of the captured image may change, so the processing area is set to change accordingly. To do.
An area 313 is a partial area of a tomographic image used when creating a panoramic image. The partial area 313 is a high-resolution part as a moving image, and is set at the same position for each frame. These image processing areas 312 and 313 can be freely set by the user through a user interface.

パノラマ画像表示ウィンドウ３２０は診断中の断層画像をリアルタイムでパノラマ化して画像の全体像を表示するウィンドウである。領域３２１はパノラマ画像であり、領域３２２は現在、操作中のプローブ２００の位置及び方向を示すカーソルである。   The panorama image display window 320 is a window that displays a tomographic image being diagnosed in panorama in real time and displays the entire image. An area 321 is a panoramic image, and an area 322 is a cursor indicating the position and direction of the probe 200 currently being operated.

パノラマ画像３２１はプローブ２００の移動長によっては、パノラマ画像表示ウィンドウ３２０の枠内を超える場合もある。この場合は、作成中のパノラマ画像３２１がパノラマ画像表示ウィンドウ３２０に収まるように、スケーリングしながら表示することで解決できる。   The panoramic image 321 may exceed the frame of the panoramic image display window 320 depending on the movement length of the probe 200. This case can be solved by displaying the panorama image 321 being created while scaling it so that it fits in the panorama image display window 320.

操作指示ウインドウ３３０は、診断に必要な操作を指示するウィンドウであって、パノラマ画像表示を指示するボタン３３１、リセットボタン３３４、操作訂正ボタン３３５、保存ボタン３３６、印刷ボタン３３７、設定ボタン３３８をもつ。これらのボタンの選択はポインタ３３９をマウスなどのポインティングデバイス１７０を操作して、所望のボタン上でポインティングデバイス１７０をクリックすることで実行される。またディスプレィ１５０上にタッチパネルを装着して、直接、指で所望のボタンを押すように構成してもよい。図３のパノラマ画像３２１は診断の最終結果を示している。   The operation instruction window 330 is a window for instructing operations necessary for diagnosis, and includes a button 331 for instructing panoramic image display, a reset button 334, an operation correction button 335, a save button 336, a print button 337, and a setting button 338. . Selection of these buttons is executed by operating the pointer 339 with a pointing device 170 such as a mouse and clicking the pointing device 170 on a desired button. Alternatively, a touch panel may be mounted on the display 150 and a desired button may be directly pressed with a finger. The panoramic image 321 in FIG. 3 shows the final result of diagnosis.

図４は上記実施形態におけるパノラマ画像表示ウィンドウ３２０のパノラマ画像を示す。図４及び図３を参照しながら本発明による超音波診断装置の診断過程の操作及びパノラマ表示画像を説明する。超音波による診断は図３のパノラマボタン３３１を押すことで開始する。パノラマボタン３３１を押すと、パノラマ画像表示ウィンドウ３２０に表示されていた過去の画像はクリアされる。この状態から、体表２３０上をプローブ２００でスキャンするとパノラマ画像が逐次作成される。   FIG. 4 shows a panoramic image of the panoramic image display window 320 in the above embodiment. With reference to FIGS. 4 and 3, the operation of the diagnostic process and the panorama display image of the ultrasonic diagnostic apparatus according to the present invention will be described. Diagnosis using ultrasonic waves is started by pressing the panorama button 331 shown in FIG. When the panorama button 331 is pressed, the past image displayed in the panorama image display window 320 is cleared. From this state, when the probe 200 scans the body surface 230, panoramic images are sequentially created.

図４(a)は、血管に沿ってプローブ２００をスキャンさせている途中のパノラマ画像を示している。図４(b)はプローブの位置が血管からずれて、血管部画像４００が途切れた例である。この状態で、パノラマボタン３３１を押すと、パノラマ画像作成が中断される。この状態でユーザは動画表示ウィンドウ３１０の画像を確認しつつ、プローブ２００の位置を修正して血管部４００の画像が表示されるようにする。その後、パノラマボタン３３１を押すと、パノラマ画像の作成処理を再開する。もし、血管部の画像４００の途切れが大きい場合は、パノラマ画像をさらに前の状態に戻す必要がある。その場合には操作訂正ボタン３３５を用いる。訂正ボタン３３５−１はパノラマ画像を前の状態に戻すボタンで、訂正ボタン３３５−１を押し続けると以前の状態にカーソル３２２が順次移動する。ボタン３３５−２は戻し過ぎたカーソルを前に進めるボタンである。   FIG. 4A shows a panoramic image in the middle of scanning the probe 200 along the blood vessel. FIG. 4B shows an example in which the position of the probe is shifted from the blood vessel and the blood vessel part image 400 is interrupted. When the panorama button 331 is pressed in this state, panorama image creation is interrupted. In this state, the user confirms the image of the moving image display window 310 and corrects the position of the probe 200 so that the image of the blood vessel 400 is displayed. Thereafter, when the panorama button 331 is pressed, the panorama image creation process is resumed. If the blood vessel image 400 is severely interrupted, it is necessary to return the panoramic image to the previous state. In that case, the operation correction button 335 is used. The correction button 335-1 is a button for returning the panoramic image to the previous state. When the correction button 335-1 is continuously pressed, the cursor 322 sequentially moves to the previous state. The button 335-2 is a button for moving a cursor that has been returned too far forward.

図４(c)は再開して血管部画像４００が接続された例であり、図４(d)は最終的に得られたパノラマ画像の例である。尚、パノラマ画像作成中にリセットボタン３３４を押すと、診断の最初の状態となり、パノラマ画像３２１はクリアされる。
上述のように本実施形態によれば、ユーザは診断途中のパノラマ画像を自由に訂正したり再開することが可能であるため、操作性の高い超音波診断装置が実現される。さらに、結果の保存や印刷も簡単に行える。保存ボタン３３６を押すと、パノラマ画像が補助記憶装置１９０に保存される。また、印刷ボタン３３７を押すことで、パノラマ画像をプリンタ１８０で印刷することができる。設定ボタン３３８は、画像処理領域３１２、３１３の設定や診断に必要な各種情報の入力に利用される。 FIG. 4C is an example in which the blood vessel part image 400 is connected again, and FIG. 4D is an example of the panoramic image finally obtained. If the reset button 334 is pressed during the creation of the panorama image, the diagnosis is started and the panorama image 321 is cleared.
As described above, according to the present embodiment, since the user can freely correct or restart the panoramic image in the middle of diagnosis, an ultrasonic diagnostic apparatus with high operability is realized. In addition, results can be easily stored and printed. When the save button 336 is pressed, the panoramic image is saved in the auxiliary storage device 190. A panoramic image can be printed by the printer 180 by pressing the print button 337. The setting button 338 is used to input various information necessary for setting and diagnosis of the image processing areas 312 and 313.

図５は本発明による超音波診断装置の他の実施形態で使用するプローブを示す外観図である。本実施形態では、診断の操作性を向上させるため、プローブ２００と液晶ディスプレィ１５０を一体にし、即ちプローブ２００本体の一部に液晶ディスプレィ１５０を回転可能に取付け、図４で示したパノラマボタン３３１及びリセットボタン３３２とそれぞれ同等の機能を持つボタン２０１及びボタン２０２をプローブに設けている。本実施形態によれば、ボタン２０１及び２０２により診断の再開、中断が手元のプローブ２００に設けたボタン２０１及びボタン２０２の操作で実行できる。さらに、診断中、プローブ２００周辺から視線をそらす必要がなくなるので、診断が容易かつ正確に行える。   FIG. 5 is an external view showing a probe used in another embodiment of the ultrasonic diagnostic apparatus according to the present invention. In this embodiment, in order to improve the operability of diagnosis, the probe 200 and the liquid crystal display 150 are integrated, that is, the liquid crystal display 150 is rotatably attached to a part of the probe 200 main body, and the panoramic button 331 and the panoramic button 331 shown in FIG. A button 201 and a button 202 each having the same function as the reset button 332 are provided on the probe. According to the present embodiment, the diagnosis can be resumed or interrupted by the buttons 201 and 202 by operating the buttons 201 and 202 provided on the probe 200 at hand. Further, during the diagnosis, it is not necessary to deflect the line of sight from the vicinity of the probe 200, so that the diagnosis can be performed easily and accurately.

図６は本発明による超音波診断装置のプローブで得られた時間的に隣接する動画像フレーム間の幾何学的関係を示す。同図において曲線２３０は体表、画像領域５０５は時刻ｔの時取得した断層画像It、画像領域５０６は時刻ｔ＋１の時取得した断層画像Ｉｔ＋１である。体表２３０が曲面であるので、画像Ｉｔと画像Ｉｔ＋１は、図のような移動と回転の幾何学的関係が生じる、すなわち、画像Ｉｔの領域５０６の中心ｏを原点とし、画像Ｉｔの横軸５０３をＸｔ軸、それに直交する軸５０４をＹｔ軸とした座標系としたとき、画像Ｉｔ＋１はＸ軸に沿ってｄｘ移動５０８し、原点ｏの回りでｄΘ回転５０７する。この移動量ｄｘと回転量ｄΘから、以下の式で近接する画像フレーム間の幾何学的関係が記述できる。
ｐ’＝Ａｐ＋Ｂ
ここで、Ａは回転行列、Ｂはシフト量、ｐは画像Itの座標、ｐ’は画像It+1の
座標である。 FIG. 6 shows the geometric relationship between temporally adjacent moving image frames obtained with the probe of the ultrasonic diagnostic apparatus according to the present invention. In the figure, a curve 230 is a body surface, an image area 505 is a tomographic image It acquired at time t, and an image area 506 is a tomographic image It + 1 acquired at time t + 1. Since the body surface 230 is a curved surface, the image It and the image It + 1 have a geometrical relationship between movement and rotation as shown in the figure, that is, the origin is the center o of the region 506 of the image It, and the horizontal axis of the image It. Assuming that the coordinate system is 503 with the Xt axis and the axis 504 orthogonal thereto as the Yt axis, the image It + 1 moves dx along the X axis 508 and rotates dΘ 507 around the origin o. From this movement amount dx and rotation amount dΘ, the geometric relationship between adjacent image frames can be described by the following equation.
p ′ = Ap + B
Here, A is the rotation matrix, B is the shift amount, p is the coordinates of the image It, and p ′ is the coordinates of the image It + 1.

図７は本発明によるパノラマ画像合成装置の一実施形態における上記移動量検出の原理を説明する図である。同図において、画像領域５０５の画像Ｉｔ及び画像領域５０６の画像Ｉｔ＋１内の線分、折線等（血管等）は画像を示し、画像領域５０５及び５０６内の領域３１２はパノラマ画像作成に利用する画像処理領域である。画像Ｉｔと画像Ｉｔ＋１の間の画像の移動量ｄｘの検出は、それぞれの画像の領域３１２内の垂直方向への投影分布６０１及び６０２を求めた後、投影分布間の相関計算を行い、水平方向に位置をずらしながら以下に示す相関値Ｅ（ｄｘ）が最小となる位置を移動量ｄｘとする。相関値Ｅ（ｄｘ）は投影分布間の各要素の値の差分絶対値の総和で、次式で表せる。   FIG. 7 is a diagram for explaining the principle of the movement amount detection in one embodiment of the panoramic image synthesis apparatus according to the present invention. In the same figure, a line segment, a broken line, etc. (blood vessels, etc.) in the image It of the image area 505 and the image It + 1 of the image area 506 indicate images, and an area 312 in the image areas 505 and 506 is an image used for creating a panoramic image. It is a processing area. The image movement amount dx between the image It and the image It + 1 is detected by obtaining the projection distributions 601 and 602 in the vertical direction in the region 312 of each image, and then calculating the correlation between the projection distributions to obtain the horizontal direction. The position where the correlation value E (dx) shown below is minimized while shifting the position is defined as the movement amount dx. The correlation value E (dx) is the sum of absolute differences of the values of each element between the projection distributions, and can be expressed by the following equation.

ここで、ｅ，ｓはｘ座標、Ｐｔは投影分布の振幅を表す。

Here, e and s represent the x coordinate, and Pt represents the amplitude of the projection distribution.

本実施形態では、画像の移動量計算に２次元画像の一軸方向の投影分布というグローバルな特徴量を用いているため、安定に動き量が求められるとともに、演算量が極めて少ないので、通常のＣＰＵ１３０の能力でリアルタイムに移動量の検出ができる。   In the present embodiment, since a global feature quantity of the projection distribution in the uniaxial direction of the two-dimensional image is used for calculating the movement amount of the image, the amount of motion can be obtained stably and the calculation amount is extremely small. The amount of movement can be detected in real time with the ability.

図８は本発明による診断装置の一実施形態における回転量検出の原理を説明するための図である。同図において、画像領域５０５及び５０６の画像は、図７のものと同じである。移動量検出のときは、画像処理領域３１２は１つ設定するだけで十分であったが、回転量の検出の場合は１つでは不十分であり２つ以上設定する必要がある。図８は６つの指定された部分領域７００ｉ（ｉ＝１…６）を垂直方向に整列して設定した例を示す。ここで下側から画像処理領域に１から６のｉ番号を付けておく。このような画像処理領域に対して、各部分領域７００ｉ毎に投影分布を求めて各移動量dxiを計算する。画像間で回転があると、原理的にはｉ番号順に各移動量は図８の下部に示す様に、領域の移動ベクトルが単調増加又は単調減少する。そこで、最も離れた領域間の移動量の差から以下に示す回転量ｄΘの式で回転量ｄΘを計算する。   FIG. 8 is a view for explaining the principle of rotation amount detection in one embodiment of the diagnostic apparatus according to the present invention. In the figure, the images in the image areas 505 and 506 are the same as those in FIG. When detecting the amount of movement, it is sufficient to set only one image processing area 312. However, when detecting the amount of rotation, one is insufficient and two or more image processing areas need to be set. FIG. 8 shows an example in which six specified partial areas 700i (i = 1... 6) are set in the vertical direction. Here, i numbers from 1 to 6 are assigned to the image processing areas from the lower side. For such an image processing area, a projection distribution is obtained for each partial area 700i, and each movement amount dxi is calculated. If there is a rotation between images, in principle, each movement amount is monotonously increased or decreased monotonously as shown in the lower part of FIG. Therefore, the amount of rotation dΘ is calculated from the difference in the amount of movement between the farthest regions using the following equation for the amount of rotation dΘ.

ここで、ｄｘ６、ｄｘ１及びｈｘはそれぞれ、部分領域７００６の移動量、部分領域７００１の移動量及び領域７００６と領域７００１との間の垂直方向の幅である。また移動量検出に使用する部分領域７００ｉは局所的に設定するので、移動量検出の信頼性は図７で示した移動量検出に比べて劣る。例えば、プローブ２００を移動しているときに、骨等に遭遇すると超音波ビームが体内をそれ以上通過しないため、それ以降の場所からはエコーが戻らない。そのため、得られた断層画像は骨以降の場所では暗くなる。暗くなる部分が各画像処理領域を大きく覆うと移動量は正しく求められなくなる。そこで、本実施形態では、各領域７００−ｉ毎に画素の評価を行い、暗い画素が多い場合は、移動量検出は行わないようにする。そして検出した移動量の信頼性を判定するために、ｉ番号順に各移動の単調増加性又は単調減少性を調べて単調性が確認された場合のみ回転量の計算を行う。その際、回転量の計算には、移動量が求まっている最も距離の離れた部分領域間での移動量の差分値を用いる。

Here, dx6, dx1, and hx are the movement amount of the partial region 7006, the movement amount of the partial region 7001, and the width in the vertical direction between the region 7006 and the region 7001, respectively. Further, since the partial area 700i used for the movement amount detection is set locally, the reliability of the movement amount detection is inferior to that of the movement amount detection shown in FIG. For example, when the probe 200 is moved, if the bone or the like is encountered, the ultrasonic beam does not pass through the body any more, so that the echo does not return from the subsequent location. For this reason, the obtained tomographic image becomes dark in the place after the bone. If the darkened portion covers each image processing area, the movement amount cannot be obtained correctly. Therefore, in the present embodiment, the pixel is evaluated for each region 700-i, and the movement amount detection is not performed when there are many dark pixels. Then, in order to determine the reliability of the detected movement amount, the amount of rotation is calculated only when the monotonic increase or monotonic decrease of each movement is examined in the order of i number and the monotonicity is confirmed. At this time, the amount of rotation is calculated using a difference value of the amount of movement between the partial areas that are farthest away from each other and for which the amount of movement is obtained.

本実施形態では画像の回転量検出の演算に複数の部分領域を設定し、部分的に移動量が検出できない状況が発生しても、残りの画像処理領域から得られた移動量から回転量が計算されるため、信頼性が高くなる。実施例では６つの部分領域を設定しているが、６つのうち４つ検出ができなくても残りの２つから回転量が検出できるため、検出率は高くなる。また演算量は極めて少ないので、通常のＣＰＵの処理能力でリアルタイムに回転量検出ができる。   In this embodiment, a plurality of partial areas are set for the calculation of the image rotation amount detection, and even if a situation in which the movement amount cannot be partially detected occurs, the rotation amount is calculated from the movement amounts obtained from the remaining image processing areas. Since it is calculated, the reliability becomes high. In the embodiment, six partial regions are set. However, even if four of the six regions cannot be detected, the amount of rotation can be detected from the remaining two, so the detection rate becomes high. In addition, since the amount of calculation is extremely small, the amount of rotation can be detected in real time with the processing capability of a normal CPU.

図９は超音波断層画像の一例を示す。断層画像領域５０５は上部が体表２３０側、即ちプローブ２００に接する側である。色彩部８０１は、カラードプラー法によって、血管部で血流が計測された部分であって、特別に色付けされる。灰色部８０２は超音波のエコーが戻ってきた部分である。暗部８０３は超音波のエコーが戻らなかった部分であって、超音波２２０を照射したときに、途中で骨や空洞があった場合に暗部が発生する。本実施形態では、移動量や回転量を検出する際、カラーフィルタを用い灰色部８０２のみを有効画素と見なして処理を行い、検出精度の劣化を防止する。   FIG. 9 shows an example of an ultrasonic tomographic image. The upper part of the tomographic image region 505 is the body surface 230 side, that is, the side in contact with the probe 200. The color part 801 is a part where the blood flow is measured in the blood vessel part by the color Doppler method, and is specially colored. The gray portion 802 is a portion where the echo of the ultrasonic wave has returned. The dark portion 803 is a portion where the echo of the ultrasonic wave has not returned. When the ultrasonic wave 220 is irradiated, a dark portion is generated when there are bones or cavities on the way. In the present embodiment, when detecting the amount of movement and the amount of rotation, a color filter is used and processing is performed assuming that only the gray portion 802 is an effective pixel, thereby preventing deterioration in detection accuracy.

図１０は本発明による超音波診断装置を構成する制御プログラムの一実施例のフローチャートで、特に、診断中のパノラマ画像生成処理を中心にしたフローチャートを示す。このパノラマ画像生成処理の他にも、超音波発振の制御、診断箇所の図形表示、画像の検索等の処理もあるが、それらは、従来知られている動画像を得る超音波診断装置のものと同様の処理を行うので、詳細な説明は省く。なお、図１０の制御プログラム１４０−１は図１１と図１２に示す制御データ１４０−２を参照して実行される。なお、図１１と図１２の入力画像メモリ、パノラマ画素メモリ、X_Proj_Current,X_Proj_Last,Rotate_Proj_Current,Rotate_Count_Current,Rotate_Proj_Last,Rotate_Count_Last,Total_dx,Total_dΘ及びkはいずれもデータメモリ140-2の中に設けられるメモリ領域を示す。   FIG. 10 is a flowchart of an embodiment of a control program constituting the ultrasonic diagnostic apparatus according to the present invention, and particularly shows a flowchart centering on panoramic image generation processing during diagnosis. In addition to this panoramic image generation process, there are also processes such as control of ultrasonic oscillation, graphic display of diagnostic locations, image search, etc., but these are those of ultrasonic diagnostic apparatuses that obtain conventionally known moving images Since the same processing is performed, detailed description is omitted. The control program 140-1 in FIG. 10 is executed with reference to the control data 140-2 shown in FIGS. The input image memory, panoramic pixel memory, X_Proj_Current, X_Proj_Last, Rotate_Proj_Current, Rotate_Count_Current, Rotate_Proj_Last, Rotate_Count_Last, Total_dx, Total_dΘ, and k in FIGS. 11 and 12 indicate memory areas provided in the data memory 140-2. .

図１０において、ステップ９００は初期化処理であり、デイスプレイ１５０上に超音波診断装置の初期画面表示を行う。ステップ９０５では、変数statusを０にリセットする。超音波診断装置の電源が入っている間（ステップ９１０）は、以下のパノラマ画像生成処理を行う。   In FIG. 10, step 900 is an initialization process, and an initial screen display of the ultrasonic diagnostic apparatus is displayed on the display 150. In step 905, the variable status is reset to zero. While the ultrasonic diagnostic apparatus is powered on (step 910), the following panoramic image generation process is performed.

まず、ステップ９１５で超音波画像即ち動画像の画像フレームの信号の取り込みを行い、配列入力画像メモリ１４０−２−１に格納する。入力画像メモリ１４０−２−１は、図１のメモリ１４０内にあり、図１１の入力画像メモリに示すように、高さ１〜Ｈ、幅１〜Ｗの画像のデータを格納する。この領域の超音波画像をディスプレイ１５０の動画表示ウィンドウ３１０に表示する（ステップ９２０）。ステップ９２５ではパノラマボタン３３１が押されたどうかをチェックし、以下のステップ９３０の判定処理を行う。   First, in step 915, an image frame signal of an ultrasonic image, that is, a moving image is captured and stored in the array input image memory 140-2-1. The input image memory 140-2-1 is in the memory 140 of FIG. 1, and stores image data having a height of 1 to H and a width of 1 to W as shown in the input image memory of FIG. The ultrasonic image of this area is displayed on the moving image display window 310 of the display 150 (step 920). In step 925, it is checked whether or not the panorama button 331 has been pressed, and the following determination process in step 930 is performed.

もしstatusが０でパノラマボタン３３１が押された場合は、パノラマ画像生成の開始処理９３１を実行する。ここでは、パノラマ画像表示ウィンドウ３２０に表示されていた以前のパノラマ画像を消去し、新しいパノラマ画像表示に備える。尚、この処理９３１の詳細は後で図１３を参照して説明する。次にステップ９３２で変数statusに１をセットし、パノラマ画像生成中の状態とする。
もし変数statusが１でパノラマボタン３３１が押された場合は、変数statusに２をセットするステップ９３３を実行し、パノラマ画像生成の中断状態とする。
もし変数statusが２でパノラマボタン３３１が押された場合は、ステップ９３４を実行し、変数statusに１をセットし、パノラマ画像生成の再開状態とする。 If the status is 0 and the panorama button 331 is pressed, a panorama image generation start process 931 is executed. Here, the previous panorama image displayed in the panorama image display window 320 is deleted to prepare for a new panorama image display. Details of this processing 931 will be described later with reference to FIG. Next, in step 932, 1 is set in the variable status, and the panorama image is being generated.
If the variable status is 1 and the panorama button 331 is pressed, step 933 is executed to set the variable status to 2, and the panorama image generation is suspended.
If the variable status is 2 and the panorama button 331 is pressed, step 934 is executed, the variable status is set to 1, and the panoramic image generation is resumed.

次にステップ９４０の判定処理で、リセットボタン３３４が押されたかどうかを判定し、押された場合はステップ９４１で既に説明したパノラマ画像生成の開始処理を実行し、変数statusに１をセットするステップ９４２を実行するし、パノラマ画像生成中の状態とする。
そして、ステップ９５０で状態がパノラマ画像生成中であるかどうかを判定する。もし変数statusが1であれば、パノラマ画像生成中であるので、ステップ９５１でパノラマ画像生成処理を行い、結果をパノラマ画像メモリ１４０−２−２に格納する。パノラマ画像メモリ１４０−２−２は、図１のメモリ１４０−２内にあり、図１１のパノラマ入力画像メモリに示すように、高さ１〜ＰＨ、幅１〜ＰＷの画像のデータを格納する。尚、ステップ９５１の処理の詳細は後で図１４を用いて説明する。そしてパノラマ画像メモリ１４０−２−２内に格納されているパノラマ画像データを画像表示信号に変換しパノラマ画像表示ウィンドウ３２０へ表示する。その際、現在のプローブ２００の位置と方向に関する情報をカーソル図形３２２をパノラマ画像表示ウィンドウ３２０に表示する。 Next, in the determination process of step 940, it is determined whether or not the reset button 334 has been pressed. If it has been pressed, the panorama image generation start process already described in step 941 is executed, and the variable status is set to 1 942 is executed and the panoramic image is being generated.
In step 950, it is determined whether or not the state is generating a panoramic image. If the variable status is 1, panoramic image generation is in progress, so panoramic image generation processing is performed in step 951, and the result is stored in the panoramic image memory 140-2-2. The panorama image memory 140-2-2 is in the memory 140-2 of FIG. 1, and stores data of an image having a height of 1 to PH and a width of 1 to PW as shown in the panorama input image memory of FIG. . Details of the processing in step 951 will be described later with reference to FIG. Then, the panorama image data stored in the panorama image memory 140-2-2 is converted into an image display signal and displayed on the panorama image display window 320. At this time, a cursor graphic 322 is displayed on the panoramic image display window 320 with information on the current position and direction of the probe 200.

次に、ステップ９６０で保存ボタン３３６が押されたかどうかを判定し、押された場合はステップ９６１を実行する。ステップ９６１はパノラマ画像保存処理であり、パノラマ画像メモリ１４０−２−２に格納された現在までに生成されているパノラマ画像データを補助記憶装置１９０に保存する。
次に、ステップ９７０で印刷ボタン３３７が押されたかどうかを判定し、押された場合はステップ９７１を実行する。ステップ９７１はパノラマ画像印刷処理であり、パノラマ画像メモリ１４０−２−２に格納された現在までに生成されているパノラマ画像をプリンタ１８０に出力する。 Next, in step 960, it is determined whether or not the save button 336 has been pressed, and if it has been pressed, step 961 is executed. Step 961 is a panorama image saving process, and the panorama image data generated so far stored in the panorama image memory 140-2-2 is saved in the auxiliary storage device 190.
Next, it is determined in step 970 whether or not the print button 337 has been pressed, and if it has been pressed, step 971 is executed. Step 971 is a panorama image printing process, and the panorama image generated so far stored in the panorama image memory 140-2-2 is output to the printer 180.

次に、ステップ９８０で設定ボタン３３８が押されたかどうかを判定し、押された場合はステップ９８１を実行する。ステップ９８１はパラメータ設定処理であり、特定領域３１２、画像合成領域３１３の設定や診断箇所、患者名等、各種情報の入力に利用される。
最後に、ステップ９９０でパノラマ画像生成が中断の状態、すなわち、変数statusが２で、操作訂正ボタン３３５が押されたかどうかを判定し、押された場合は、ステップ９９１で、現在表示中のカーソル３２２の位置を指定の位置へ移動させて表示する。すなわち、ボタン３３５−１が押され続けている間、過去に順次遡り、パノラマ画像の位置にカーソルを戻す。またボタン３３５−２が押され続けている間はそれとは逆の方向にカーソルを進める。このようにして、パノラマ画像生成の途中において、パノラマ画像の修正を行う。以上のステップ９１５からステップ９９１の処理を繰り返すことで、超音波画像のパノラマ画像が操作者の希望する状態で生成される。 Next, in step 980, it is determined whether or not the setting button 338 has been pressed. If it has been pressed, step 981 is executed. Step 981 is a parameter setting process, which is used for setting the specific area 312 and the image composition area 313 and inputting various information such as a diagnosis location and a patient name.
Finally, in step 990, it is determined whether the panoramic image generation is interrupted, that is, whether the variable status is 2 and the operation correction button 335 is pressed. If so, in step 991, the currently displayed cursor is displayed. The position of 322 is moved to the designated position and displayed. That is, while the button 335-1 is continuously pressed, the cursor is sequentially moved back to the past and the cursor is returned to the position of the panoramic image. While the button 335-2 is kept pressed, the cursor is advanced in the opposite direction. In this way, the panorama image is corrected during the panorama image generation. By repeating the processing from step 915 to step 991, the panoramic image of the ultrasonic image is generated in a state desired by the operator.

図１３は、図１０のパノラマ画像生成の開始処理９３１の詳細を示すフローチャートである。まず、ステップ１０００でパノラマ画像生成に寄与した動画像フレームの総数をカウントする変数ｋを０にリセットする。変数ｋは図１２のメモリ１４０−２−１１に記憶される。次にステップ１０１０でパノラマ画像生成に使用する移動及び回転パラメータを格納するメモリ領域Total_dx１４０−２−９とメモリ領域Total_ｄΘ１４０−２−１０のそれぞれの先頭１の要素を０にリセットする（図１２）。そして、ステップ１０２０でパノラマ画像表示ウィンドウ３２０に表示中のパノラマ画像３２１を消去する。   FIG. 13 is a flowchart showing details of the panoramic image generation start process 931 in FIG. First, in step 1000, a variable k for counting the total number of moving image frames contributing to panoramic image generation is reset to zero. The variable k is stored in the memory 140-2-11 in FIG. Next, in step 1010, the first 1 element of each of the memory area Total_dx140-2-9 and the memory area Total_dΘ140-2-10 storing the movement and rotation parameters used for generating the panoramic image is reset to 0 (FIG. 12). In step 1020, the panorama image 321 being displayed in the panorama image display window 320 is deleted.

その後、ステップ１０３０で入力した画像の部分領域３１３の画像データを、パノラマ画像を格納する配列パノラマ画像メモリ１４０−２−２に書き込む。この最初の画像フレームがパノラマ作成の基準の画像となり、以降の画像フレームの移動パラメータや回転パラメータは上記最初の画像フレームのデータとの相対的な差で表される。そして、ステップ１０４０でパノラマ画像表示ウィンドウ３２０にパノラマ画像メモリ１４０−２−２の内容を表示するとともにカーソル３２２も表示する。   Thereafter, the image data of the partial area 313 of the image input in step 1030 is written in the array panorama image memory 140-2-2 for storing the panorama image. This first image frame becomes a panorama creation reference image, and the movement parameters and rotation parameters of the subsequent image frames are represented by relative differences from the data of the first image frame. In step 1040, the contents of the panorama image memory 140-2-2 are displayed on the panorama image display window 320 and the cursor 322 is also displayed.

図１４は、図１０のパノラマ画像生成処理９５１の詳細を示すフローチャートである。ステップ１１００から１１２０までは、連続する画像フレーム間の移動量ｄｘを求めるための処理である。
まずステップ１１００で入力画像メモリ１４−２−１に格納された画像の指定された特定領域３１２内の垂直方向の投影分布を計算し、メモリ領域X_Proj_Current１４０−２−３へ格納する。次にステップ１１０５でフレーム総数ｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１１０、１１２０を実行する。ステップ１１１０では、現在入力した画像の投影分布をメモリ領域１４０−２−３と一つ前に入力した画像の投影分布をメモリ領域X_Proj_Last１４０−２−４の過去の投影分布との間で位置ｄｘをずらしながらマッチング即ち類似度演算を行う。そしてステップ１１２０で類似度の最も高い位置ｄｘを２つの時間的に連続する画像間の移動量とする。尚、このマッチングは具体的には前述の式(1)の計算をする。 FIG. 14 is a flowchart showing details of the panoramic image generation process 951 in FIG. Steps 1100 to 1120 are processes for obtaining a movement amount dx between successive image frames.
First, in step 1100, the vertical projection distribution in the specified specific region 312 of the image stored in the input image memory 14-2-1 is calculated and stored in the memory region X_Proj_Current 140-2-3. Next, in step 1105, it is determined whether or not the total number of frames k is larger than 0. If it is larger, steps 1110 and 1120 are executed. In step 1110, the projection distribution of the currently input image is set to the memory area 140-2-3 and the projection distribution of the previous input image is set to the past projection distribution of the memory area X_Proj_Last 140-2-4. Matching, that is, similarity calculation is performed while shifting. In step 1120, the position dx having the highest similarity is set as a movement amount between two temporally continuous images. In this matching, specifically, the above-described equation (1) is calculated.

ステップ１１３０から１１６５までは連続する画像フレーム間の回転量ｄΘを求めるための処理である。
ステップ１１３０で入力画像メモリ１４０−２−１に格納された画像の複数の部分領域７００i内の有効画素数すなわち超音波エコーが存在する灰色部８０２の画素を、それぞれの領域７００ｉで列毎にカウントし、メモリ領域Rotate_Proj_Current１４０−２−６に書き込む。そしてステップ１１４０で入力画像メモリ１４０−２−１に格納された画像の複数の部分領域７００ｉそれぞれ内の有効画素を対象とした垂直方向の投影分布を計算し、メモリ領域Rotate_Proj_Current１４０−２−５に書き込む。尚、通常投影分布の値は各列毎に足し込むことで計算できるが、ここではさらに、各列の有効画素数で正規化した値を配列に格納する。 Steps 1130 to 1165 are processes for obtaining the rotation amount dΘ between successive image frames.
In step 1130, the number of effective pixels in the plurality of partial areas 700i of the image stored in the input image memory 140-2-1, that is, the pixels of the gray portion 802 where the ultrasonic echo exists is counted for each column in each area 700i. Then, the data is written in the memory area Rotate_Proj_Current 140-2-6. In step 1140, the vertical projection distribution for the effective pixels in each of the plurality of partial areas 700i of the image stored in the input image memory 140-2-1 is calculated and written in the memory area Rotate_Proj_Current 140-2-5. . Note that the value of the normal projection distribution can be calculated by adding each column, but here, the value normalized by the number of effective pixels in each column is further stored in the array.

次にステップ１１６０でフレーム総数ｋが０よりも大きいかどうかを判定し、大きい場合はステップ１１６１から１１６７を実行する。ステップ１１６１から１１６４では６つの領域７００ｉ（ｉ＝１…６）について、連続する画像フレーム間の局所的な移動量を計算する。まずステップ１１６２で領域iの有効画素数の割合が一定の値たとえば０．５以上かどうか判定する。一定値以上であれば、ステップ１１６３、１１６４を実行する。ステップ１１６３では、現在入力した画像の投影分布とメモリ領域Rotate_Proj_Current１４０−２−５と一つ前に入力した画像の投影分布とメモリ領域Rotate_Proj_Current１４０−２−７との間で位置ｄｘiをずらしながら類似度の演算を行う。そしてステップ１１６４で類似度の最も高いときの位置ｄｘiを２つの時間的に連続する画像間の領域iの移動量とする。
次に、ステップ１１６５で移動量が計算できた領域のうち最も距離が離れた領域間の移動量から図８に示す式により回転量ｄΘを計算する。 Next, in step 1160, it is determined whether or not the total number of frames k is larger than 0. If it is larger, steps 1161 to 1167 are executed. In steps 1161 to 1164, local movement amounts between successive image frames are calculated for the six regions 700i (i = 1... 6). First, at step 1162, it is determined whether the ratio of the number of effective pixels in the region i is a certain value, for example, 0.5 or more. If it is above a certain value, steps 1163 and 1164 are executed. In step 1163, the degree of similarity is shifted while shifting the position dxi between the projection distribution of the currently input image and the memory area Rotate_Proj_Current 140-2-5 and the projection distribution of the previous input image and the memory area Rotate_Proj_Current 140-2-7. Perform the operation. In step 1164, the position dxi at which the degree of similarity is the highest is set as the movement amount of the region i between two temporally continuous images.
Next, the amount of rotation dΘ is calculated from the amount of movement between the regions that are the farthest from the regions in which the amount of movement can be calculated in step 1165 using the formula shown in FIG.

以上の処理で隣接する画像フレーム間の移動量ｄｘと回転量ｄΘが求められる。次にステップ１１６６で基準の画像と現在の画像との移動量及び回転量を計算する。これは、常に前の画像までの計算結果に今回算出したフレーム毎の移動量及び回転量を累積加算することで容易に計算できる。そしてステップ１１６７では基準の画像に対して、現在の画像の移動量及び回転量が分かっているので、まず画像の回転量と移動量に基づく座標変換を行って、パノラマ画像メモリ１４０−２−２に画像データを書き込む。以上の処理によって移動と回転を伴う画像列からパノラマ画像が生成される。   Through the above processing, the movement amount dx and the rotation amount dΘ between adjacent image frames are obtained. Next, in step 1166, the movement amount and the rotation amount between the reference image and the current image are calculated. This can be easily calculated by always cumulatively adding the movement amount and rotation amount for each frame calculated this time to the calculation result up to the previous image. In step 1167, since the current image movement amount and rotation amount are known with respect to the reference image, first, coordinate conversion based on the image rotation amount and movement amount is performed, and the panorama image memory 140-2-2. Write image data to. A panoramic image is generated from the image sequence accompanying movement and rotation by the above processing.

最後にステップ１１７０で次のパノラマ画像生成のための準備を行う。メモリ領域X_Proj_Current１４０−２−３のデータをメモリ領域X_Proj_Last１４０−２-４へ転送し、メモリ領域Rotate_Proj_Current１４０−２−５のデータをメモリ領域Rotate-Proj-Last１４０−２−７へ転送し、メモリ領域Rotate_Proj_Currentメモリ１４０−２−６のデータをメモリ領域Rotate_Count_Last１４０−２−８へ転送する。そしてパノラマ画像生成に使われた画像フレームの総数を計数する変数ｋを１だけ加算する。   Finally, in step 1170, preparation for the next panoramic image generation is performed. Data in the memory area X_Proj_Current140-2-3 is transferred to the memory area X_Proj_Last140-2-4, data in the memory area Rotate_Proj_Current140-2-5 is transferred to the memory area Rotate-Proj-Last140-2-7, and memory area Rotate_Proj_Current memory The data 140-2-6 is transferred to the memory area Rotate_Count_Last 140-2-8. Then, 1 is added to the variable k for counting the total number of image frames used for generating the panoramic image.

以上述べたように、本発明のパノラマ画像生成方法は有効画素のみを対象に画像間の移動量及び回転量を検出するので、骨や空洞といった超音波を透過させない部分が診断中の画像に含まれていても、それらの部分の影響を検出結果に及ぼさないようにすることができる。また、画像特徴量は広い領域の投影分布を用いているため、ノイズの多い超音波画像に対して、移動量及び回転量を安定に検出することができる。さらに、移動量及び回転量の検出に使用する投影分布の計算量は極めて少ないので、安価なＣＰＵでリアルタイムに計算ができるという効果がある。   As described above, since the panoramic image generation method of the present invention detects the amount of movement and the amount of rotation between images only for effective pixels, portions that do not transmit ultrasonic waves, such as bones and cavities, are included in the image being diagnosed. Even if it is, the influence of those portions can be prevented from affecting the detection result. Further, since the image feature amount uses a projection distribution of a wide area, it is possible to stably detect the movement amount and the rotation amount with respect to an ultrasonic image having a lot of noise. Further, since the calculation amount of the projection distribution used for detecting the movement amount and the rotation amount is extremely small, there is an effect that the calculation can be performed in real time by an inexpensive CPU.

以上本発明の超音波像を合成しパノラマ画像を合成する方法及び装置を超音波診断装置の実施例によって説明したが、本発明は上記実施例に限定されるものではなく、動画像の発生源が位置的に変動する場合、動画像フレーム列を合成して合成画像を合成する場合に実施できることは明らかである。また上記実施例では、プローブ、超音波発信部、超音波画像化部とＣＰＵなどのコンピュータ部を一体的に接続した場合を示したが、一連の動画像フレームのデータを画像蓄積メモリに蓄積し、画像蓄積メモリの画像データを入力し、パノラマ画像を得る場合も含まれる。   The method and apparatus for synthesizing an ultrasonic image and synthesizing a panoramic image according to the present invention have been described above by the embodiments of the ultrasonic diagnostic apparatus. However, the present invention is not limited to the above-described embodiments, and a moving image source is generated. When the position fluctuates in position, it is obvious that the present invention can be carried out when a synthesized image is synthesized by synthesizing a moving image frame sequence. In the above embodiment, the probe, the ultrasonic transmission unit, the ultrasonic imaging unit, and the computer unit such as the CPU are integrally connected. However, a series of moving image frame data is stored in the image storage memory. In addition, a case where a panoramic image is obtained by inputting image data in the image storage memory is also included.

本発明による超音波像を合成しパノラマ画像を合成する装置の一実施形態である超音波診断装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an ultrasonic diagnostic apparatus that is an embodiment of an apparatus that combines ultrasonic images and combines panoramic images according to the present invention. 本発明による超音波診断装置の実施形態を説明するための概略図である。It is the schematic for demonstrating embodiment of the ultrasonic diagnosing device by this invention. 上記実施形態における超音波診断装置のデイスプレィに表示される表示画面の一例を示す表示画面図である。It is a display screen figure which shows an example of the display screen displayed on the display of the ultrasonic diagnosing device in the said embodiment. 上記実施形態におけるパノラマ画像表示ウィンドウに表示されるパノラマ画像を示す図である。It is a figure which shows the panorama image displayed on the panorama image display window in the said embodiment. 本発明による超音波診断装置の他の実施形態で使用するプローブを示す外観図である。It is an external view which shows the probe used by other embodiment of the ultrasonic diagnosing device by this invention. 本発明による超音波診断装置のプローブで得られた時間的に隣接する動画像フレーム間の幾何学的関係を示す図である。It is a figure which shows the geometric relationship between the moving image frames temporally adjacent obtained with the probe of the ultrasonic diagnostic apparatus by this invention. 本発明によるパノラマ画像合成装置の一実施形態における上記移動量検出の原理を説明する図である。It is a figure explaining the principle of the said movement amount detection in one Embodiment of the panoramic image synthesis apparatus by this invention. 本発明によるパノラマ画像合成装置の一実施形態のおける回転量検出の原理を説明するための図である。It is a figure for demonstrating the principle of the rotation amount detection in one Embodiment of the panorama image synthesizer by this invention. 超音波断層画像の一例を示す図である。It is a figure which shows an example of an ultrasonic tomographic image. 図１０の本発明のパノラマ画像生成処理９５１の詳細を示すフローチャートである。It is a flowchart which shows the detail of the panorama image generation process 951 of this invention of FIG. 本発明のパノラマ画像合成方法で実施する制御プログラムが参照する制御データの構造を説明する図である。It is a figure explaining the structure of the control data which the control program implemented with the panorama image synthesis method of this invention refers. 本発明のパノラマ画像合成方法で実施する制御プログラムが参照する制御データの構造を説明する図である。It is a figure explaining the structure of the control data which the control program implemented with the panorama image synthesis method of this invention refers. 図１０のパノラマ画像生成の開始処理９３１の詳細を示すフローチャートである。FIG. 11 is a flowchart showing details of panorama image generation start processing 931 in FIG. 10. FIG. 図１０のパノラマ画像生成処理９５１の詳細を示すフローチャートである。It is a flowchart which shows the detail of the panoramic image generation process 951 of FIG.

符号の説明Explanation of symbols

１００…超音波診断装置、１１０…超音波発振部、１２０…超音波・画像化部、
１３０…ＣＰＵ、１４０…メモリ、１３２…データバス、１５０…ディスプレイ、
１５５……ビデオメモリ、１５６…D/Aコンバータ、１６０…キーボード、
１７０…ポインティングデバイス、１８０…プリンタ、１９０…補助記憶装置、
２００…プローブ。 DESCRIPTION OF SYMBOLS 100 ... Ultrasonic diagnostic apparatus, 110 ... Ultrasonic oscillation part, 120 ... Ultrasound and imaging part,
130 ... CPU, 140 ... memory, 132 ... data bus, 150 ... display,
155 ... Video memory, 156 ... D / A converter, 160 ... Keyboard,
170 ... pointing device, 180 ... printer, 190 ... auxiliary storage device,
200: Probe.

Claims (4)

超音波像を得るプローブに接続され、
上記プローブの位置を上記プローブの長手方向に移動させて得られた上記超音波像を構成する複数の動画像フレームを取り込む手段と、
上記取り込まれた複数の動画像フレーム間の位置関係データを検出する手段と、
上記位置関係データを用いて複数の上記動画像フレームを接続しパノラマ画像データを得る手段と、
上記複数の動画像フレームの画像データ及び上記パノラマ画像データを画像表示信号に変換してディスプレイに逐次表示する画像表示手段と、
上記各手段を制御する制御部を備えた超音波診断装置であって、
上記画像表示手段は上記プローブの現在の位置及び方向を示すカーソルを上記パノラマ画像データと併せて逐次表示することを特徴とする超音波診断装置。 Connected to a probe to obtain an ultrasound image,
Means for capturing a plurality of moving image frames constituting the ultrasonic image obtained by moving the position of the probe in the longitudinal direction of the probe ;
Means for detecting positional relationship data between the plurality of captured video frames;
Means for connecting the plurality of moving image frames using the positional relationship data to obtain panoramic image data;
Image display means for converting the image data of the plurality of moving image frames and the panoramic image data into image display signals and sequentially displaying them on a display;
An ultrasonic diagnostic apparatus comprising a control unit for controlling the above means,
The ultrasonic diagnostic apparatus, wherein the image display means sequentially displays a cursor indicating the current position and direction of the probe together with the panoramic image data. さらに指示入力部を有し、
上記指示入力部を介した修正指示を受けると、上記画像表示手段は上記プローブの位置を過去に位置した場所に移動させて順次表示し、
上記該状態で上記指示入力部を介した再開指示をうけると、上記パノラマ画像データを得る手段は、該プローブの位置におけるパノラマ画像に、上記取り込み手段を介して新たに取り込まれた動画像フレームを接続することでパノラマ画像を得ることを特徴とする請求項１記載の超音波診断装置。 In addition, it has an instruction input unit,
Upon receiving a correction instruction via the instruction input unit, the image display means sequentially displays the position of the probe by moving it to a location located in the past,
When receiving a restart instruction via the instruction input unit in the state, the means for obtaining the panoramic image data adds a moving image frame newly captured via the capturing means to the panoramic image at the position of the probe. The ultrasonic diagnostic apparatus according to claim 1, wherein a panoramic image is obtained by connection. プローブの位置を上記プローブの長手方向に移動させて得られた超音波像を構成する複数の動画像フレームの画像データを得るステップと、上記複数の動画像フレーム間の位置関係データを検出するステップと、上記位置関係データを用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像を得るステップと、上記複数の動画像フレームの画像データ及び上記パノラマ画像データを画像表示信号に変換してディスプレイに逐次表示する画像表示ステップをコンピュータで実行させるプログラムであって、
上記画像表示ステップは、上記プローブの現在の位置及び方向を示すカーソルを上記パノラマ画像データと併せて逐次表示するステップを有することを特徴とするプログラム。 Obtaining image data of a plurality of moving image frames constituting an ultrasonic image obtained by moving the position of the probe in the longitudinal direction of the probe, and detecting positional relationship data between the plurality of moving image frames A step of obtaining a panoramic image by joining the plurality of moving image frames at a predetermined position using the positional relationship data, and using the image data and the panoramic image data of the plurality of moving image frames as an image display signal. A program for causing a computer to execute an image display step of converting and sequentially displaying on a display,
The image display step includes a step of sequentially displaying a cursor indicating the current position and direction of the probe together with the panoramic image data. 請求項３記載のプログラムであって、
さらに外部からの指示を入力する指示ステップを有し、
上記指示ステップで修正指示を受けると、上記画像表示ステップでは上記プローブの位置を過去に位置した場所に移動させて順次表示し、
上記プローブの位置を過去に位置した場所に移動させて順次表示された状態で再開指示をうけると、上記パノラマ画像データを得るステップは、該プローブの位置におけるパノラマ画像に、上記取り込みステップで新たに取り込まれた動画像フレームを接続するステップを経てパノラマ画像を得ることを特徴とするプログラム。 A program according to claim 3, wherein
Furthermore, it has an instruction step for inputting an instruction from the outside,
When the correction instruction is received in the instruction step, the image display step sequentially displays the position of the probe by moving it to a location located in the past,
When the position of the probe is moved to a location in the past and a restart instruction is received in a sequentially displayed state, the step of obtaining the panorama image data is newly added to the panorama image at the position of the probe by the capturing step. A program characterized in that a panoramic image is obtained through a step of connecting captured video frames.

Images