JP4188921B2 - Ultrasound image diagnostic apparatus and program used therefor - Google Patents
Ultrasound image diagnostic apparatus and program used therefor Download PDFInfo
- Publication number
- JP4188921B2 JP4188921B2 JP2005010211A JP2005010211A JP4188921B2 JP 4188921 B2 JP4188921 B2 JP 4188921B2 JP 2005010211 A JP2005010211 A JP 2005010211A JP 2005010211 A JP2005010211 A JP 2005010211A JP 4188921 B2 JP4188921 B2 JP 4188921B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- probe
- moving
- panoramic
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、超音波によって得られた動画像を合成しパノラマ画像合成する方法及び装置、更に詳しくいえば、手動の超音波プローブ操作によって撮影された位置的に連続する複数の動画像フレーム列の画像を合成した画像(以下パノラマ画像と略称)を得る方法及び装置で、特に、超音波診断及びそれに使用する装置に好適なものである。 The present invention relates to a method and apparatus for synthesizing moving images obtained by ultrasonic waves and synthesizing panoramic images, and more specifically, a plurality of positionally continuous moving image frame sequences photographed by manual ultrasonic probe operation. A method and apparatus for obtaining an image obtained by synthesizing images (hereinafter abbreviated as a panoramic image), and particularly suitable for ultrasonic diagnosis and an apparatus used therefor.
近年、超音波を使った診断の普及が進んでいる。超音波診断装置は、プローブを人体等の被検体の表面に当て、2〜10MHzの超音波を体内に送り、臓器の表面等で反射された超音波を受信し、受信音波を信号処理することで、リアルタイムに患者の体内の臓器等の断層画像を表示する装置である。超音波を使った診断は外科手術やX線による診断に比べ患者に苦痛や悪影響を及ぼさず安全である。 In recent years, diagnosis using ultrasonic waves has become widespread. The ultrasonic diagnostic apparatus applies a probe to the surface of a subject such as a human body, sends 2 to 10 MHz ultrasonic waves into the body, receives ultrasonic waves reflected from the surface of the organ, and processes the received sound waves. Thus, the device displays a tomographic image of an internal organ of a patient in real time. Diagnosis using ultrasound is safer without causing pain or adverse effects on the patient as compared with surgery or X-ray diagnosis.
そのため、妊婦や幼児の診断において重要とされている。超音波診断装置の代表的な計測例に、胎児発育計測や循環器計測がある。これらの計測部位はプローブで一度に断層画像表示できる範囲を超えているため、プローブを被検体に沿ってスキャンさせながら断層画像をパノラマ的に表示させる機能が必要となる。1回の取り込みでは極めて狭い範囲の2次元断面画像しか得られないがプローブを位置センサーを有する機械的スキャナーに取付け、人体を横切るようにスキャナーを移動させつつ断面画像を記憶すれば、人体等の被検体の上をプローブが動き終わった時に全ての記憶された断面画像から、全体のパノラマ画像を生成して表示できる。 Therefore, it is considered important in the diagnosis of pregnant women and infants. Typical measurement examples of an ultrasonic diagnostic apparatus include fetal growth measurement and circulatory organ measurement. Since these measurement sites exceed the range in which the tomographic image can be displayed at once by the probe, a function for displaying the tomographic image in a panoramic manner while scanning the probe along the subject is necessary. Although only a two-dimensional cross-sectional image in a very narrow range can be obtained with one capture, if the probe is attached to a mechanical scanner with a position sensor and the cross-sectional image is stored while moving the scanner across the human body, When the probe finishes moving on the subject, the entire panoramic image can be generated and displayed from all stored cross-sectional images.
しかし、機械的スキャナーに取り付けたプローブを、例えば、ふくらはぎ部、甲状腺部等、人体の曲面部に沿って正確に移動させるのは難しい。超音波は皮膚に塗られたゼリー状の物質の層を通して身体の中に伝達されるため、プローブは人体の皮膚と直接接触するように保持されなければならない。そのため、表面に凹凸がある部分を正確にスキャンさせるのは高度な操作技術が必要である。望ましいのは、手動でプローブを人体の表面に沿ってスキャンさせつつ、実時間で広範囲の断面画像を繋ぎあわせ、パノラマ的に表示できる装置の実現である。位置センサや回転センサを取り付けることなく画像を合成するためには、位置的に隣接する画像フレーム間の移動量や回転量を画像データから検出する必要がある。この検出には、画像間の動きベクトルを計算しなければならず、リアルタイム処理のためには高速の画像処理プロセッサが要求される。 However, it is difficult to accurately move a probe attached to a mechanical scanner along a curved surface portion of a human body such as a calf portion and a thyroid portion. Since ultrasound is transmitted into the body through a layer of jelly-like material applied to the skin, the probe must be held in direct contact with the human skin. For this reason, it is necessary to have a high level of operation technique to accurately scan a portion having an uneven surface. It is desirable to realize an apparatus capable of panoramically displaying a wide range of cross-sectional images in real time while manually scanning the probe along the surface of the human body. In order to synthesize an image without attaching a position sensor or a rotation sensor, it is necessary to detect the amount of movement or the amount of rotation between image frames adjacent in position from the image data. For this detection, a motion vector between images must be calculated, and a high-speed image processor is required for real-time processing.
さらに、超音波断層像を得る装置の操作性を向上させるためには、診断装置の使用者がプローブを手動で移動させながら、間違った部位を操作した場合でも、部分的に操作を修正するだけで、パノラマ画像が生成できる機能が必要である。例えば血流を計測する場合、ユーザは人体の表面から血管の上に沿って移動させる必要があるが、血管が細いのでプローブの位置が計測すべき血管の位置からずれる場合が生じる。このような場合、始めからプローブの操作をやり直すのではなく、途中での修正ができて、スキャンが再開できると操作性が確実に上がる。 Furthermore, in order to improve the operability of the device that obtains the ultrasonic tomographic image, even if the user of the diagnostic device manually moves the probe and operates the wrong part, the operation is only partially corrected. Therefore, a function capable of generating a panoramic image is necessary. For example, when measuring blood flow, the user needs to move along the blood vessel from the surface of the human body. However, since the blood vessel is thin, the position of the probe may deviate from the position of the blood vessel to be measured. In such a case, instead of starting the probe operation again from the beginning, if the correction can be made in the middle and the scan can be resumed, the operability is surely improved.
また、プローブを移動(スキャン)させている時に、視線をプローブ位置から離
さずに断層画像が確認できる手段があると、正確な移動操作が可能になる。
しかしながら、望ましい超音波診断装置の実現は位置センサの取り付けられた機械的スキャナを必要としたり、あるいは高速の画像処理プロセッサを必要とする等、装置コストが大幅に高くなるという問題がある。
In addition, when there is a means for checking a tomographic image without moving the line of sight from the probe position when the probe is moved (scanned), an accurate moving operation can be performed.
However, the realization of a desirable ultrasonic diagnostic apparatus has a problem that the apparatus cost is significantly increased, such as requiring a mechanical scanner with a position sensor attached or a high-speed image processor.
超音波診断装置に使用するパノラマ画像作成技術として相互に関連する超音波画像フレーム間動きベクトルを求め、その動きベクトルを利用して複数の画像フレーム繋ぎ合わせパノラマ画像を得る技術がU.S.P.5,5775,286号に開示されている。しかし上記U.S.P.に開示されているものは動きベクトルを求めるためいわゆる高度のブロックマッチング方法を用いるため、依然として信号処理量が多く、実時間処理を行うためには、高速信号処理装置を必要とする問題がある。 As a panoramic image creation technique used in an ultrasonic diagnostic apparatus, a technique for obtaining interrelated ultrasonic image inter-frame motion vectors and using the motion vectors to obtain a panoramic image by joining a plurality of image frames is disclosed in U.S. Pat. S. P. No. 5,5775,286. However, U. S. P. However, since a so-called advanced block matching method is used to obtain a motion vector, the amount of signal processing is still large, and there is a problem that a high-speed signal processing device is required to perform real-time processing.
以上のように従来の超音波診断装置は人体に安全ではあるが、パノラマ的に全体の画像を表示させようとすると装置コストと操作性の点で問題があった。すなわち、部分的な断面画像から人体のパノラマ画像を得るためには、高速の画像処理プロセッサが必要となったり、正確にプローブを移動しないとパノラマ画像がとぎれる等の問題があった。
従って本発明の目的は、被検体の超音波撮像画像のパノラマ画像をリアルタイムで生成し、表示できるパノラマ画像の合成方法及びその方法を実施する低コストかつ操作性の優れた超音波パノラマ画像合成装置を提供することである。
As described above, the conventional ultrasonic diagnostic apparatus is safe for the human body, but there is a problem in terms of apparatus cost and operability when displaying the entire image in a panoramic manner. That is, in order to obtain a panoramic image of a human body from a partial cross-sectional image, there is a problem that a high-speed image processing processor is required or the panoramic image is interrupted unless the probe is moved accurately.
Accordingly, it is an object of the present invention to generate a panoramic image that can generate and display a panoramic image of an ultrasonic imaging image of a subject in real time, and an ultrasonic panoramic image synthesizing device with low cost and excellent operability for implementing the method. Is to provide.
上記目的を達成するため、本発明の超音波像を合成しパノラマ画像を合成する方法は、人体等の被検体から超音波によって得られた位置的に近接した複数の画像フレーム、即ち動画像フレームの画像データを得て、上記複数の動画像フレームのそれぞれの特定の指定領域のデータから隣接する動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出し、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得て、必要によっては、上記パノラマ画像データを画像信号に変換し表示装置に表示する。 In order to achieve the above object, a method for synthesizing a panoramic image by synthesizing ultrasonic images according to the present invention includes a plurality of image frames that are close to each other, that is, moving image frames, obtained by ultrasonic waves from a subject such as a human body. Image data, and detecting positional relationship data between adjacent moving image frames, that is, moving amounts and rotating amounts between moving image frames, from the data of specific designated areas of each of the plurality of moving image frames. The panoramic image data is obtained by joining the plurality of moving image frames at a predetermined position using the amount and the rotation amount. If necessary, the panoramic image data is converted into an image signal and displayed on a display device.
本発明の方法は、超音波プローブから得られた動画像データから直接位置関係データを求め、パノラマ画像データ得て、表示装置の表示画面に超音波プローブの移動と同時に表示するリアルタイム処理を行う場合の他に、一旦上記複数の動画像フレームのデータを蓄積手段に蓄積し、時間を経て上記蓄積手段のデータから上記パノラマ画像データを得て、表示手段に表示する形態も含む。 The method of the present invention obtains positional relationship data directly from moving image data obtained from an ultrasonic probe, obtains panoramic image data, and performs real-time processing for displaying on the display screen of the display device simultaneously with the movement of the ultrasonic probe. In addition, a mode is also included in which the data of the plurality of moving image frames is temporarily stored in the storage unit, and the panoramic image data is obtained from the data of the storage unit over time and displayed on the display unit.
また、本発明のパノラマ画像を合成する画像合成装置は、位置的に相互に隣接する複数の動画像フレームの画像データを入力する手段と、上記複数の動画像データのそれぞれの特定の領域のデータから動画像フレーム間の位置関係データ即ち動画像フレーム間の移動量及び回転量を検出する動き検出手段と、上記移動量及び回転量を用いて上記複数の動画像フレームを所定の位置で接合することによってパノラマ画像データを得る信号処理装置と、上記パノラマ画像データを表示する表示装置をもち、上記動き検出手段は以下の処理を行う演算手段を有する。 The image composition apparatus for synthesizing a panoramic image according to the present invention includes means for inputting image data of a plurality of moving image frames adjacent to each other in position, and data of each specific region of the plurality of moving image data Motion detection means for detecting positional relationship data between moving image frames, that is, a moving amount and a rotating amount between moving image frames, and the plurality of moving image frames at a predetermined position using the moving amount and the rotating amount. Thus, the signal processing device for obtaining the panorama image data and the display device for displaying the panorama image data are provided, and the motion detecting means has an arithmetic means for performing the following processing.
上記演算部は、連続する動画像フレームの画像の単一の指定された特定領域
の投影分布を求め、隣接する動画像フレームの画像の単一の特定領域の投影分布
間の相関によって上記移動量を求める信号処理手段と、連続する動画像フレームそれぞれの1軸方向に分割された複数の特定部分領域の投影分布を求め、隣接する画像フレーム間のそれぞれ対応する上記特定部分領域の投影分布間の相関によって上記特定部分領域のそれぞれの移動量を求め、上記複数の特定部分領域の移動量の差から連続する動画像フレームの回転量データを求める信号処理手段とを有する。すなわち、プローブ操作の動きを画像データより検出する。
The calculation unit obtains a projection distribution of a single specified specific region of images of successive moving image frames, and calculates the amount of movement based on a correlation between the projection distributions of a single specific region of images of adjacent moving image frames. Signal processing means for determining the projection distribution of a plurality of specific partial areas divided in one axial direction of each of the continuous moving image frames, and between the corresponding projection distributions of the specific partial areas between adjacent image frames Signal processing means for obtaining the amount of movement of each of the specific partial areas by correlation, and obtaining rotation amount data of successive moving image frames from the difference of the movement amounts of the plurality of specific partial areas. That is, the movement of the probe operation is detected from the image data.
本発明によるパノラマ画像合成装置は、好ましい実施形態においては、上記複
数の動画像フレームのデータを得る手段は、手動のプローブから取得した超音波
データを画像データに変換する超音波・画像化手段で構成され、上記表示装置は
上記パノラマ画像の表示と同時に上記複数の超音波画像データからの個々の画像
フレームを動画像として表示する様に構成される。
In a preferred embodiment of the panoramic image synthesizing apparatus according to the present invention, the means for obtaining the data of the plurality of moving image frames is an ultrasound / imaging means for converting the ultrasound data acquired from the manual probe into image data. The display device is configured to display individual image frames from the plurality of ultrasonic image data as moving images simultaneously with the display of the panoramic image.
また、本発明によるパノラマ画像合成装置の好ましい実施形態においては、上記動き検出手段及びパノラマ画像合成手段は、中央信号処理ユニット(CPU)と、データ及び制御プログラムを記憶するメモリをもつコンピュータによって構成される。さらに上記パノラマ画像を蓄積する画像蓄積手段をも付加する。
更に操作性を高める好ましい形態によれば、上記プローブに、少なくとも、上記プローブの操作開始手段、操作リセット手段、上記動画像表示手段、及びパノラマ画像表示手段の少なくとも1つを取り付ける。
In a preferred embodiment of the panoramic image synthesizing apparatus according to the present invention, the motion detecting means and panoramic image synthesizing means are constituted by a central signal processing unit (CPU) and a computer having a memory for storing data and a control program. The Further, image storage means for storing the panoramic image is added.
According to a preferred mode for further enhancing the operability, at least one of the probe operation start means, operation reset means, moving image display means, and panoramic image display means is attached to the probe.
本発明によれば、超音波診断装置等に実施した場合、診断中の動画像を自動的に合成してパノラマ画像を生成することができ、装置操作者のプローブ操作により得た断層画像列から、リアルタイムでパノラマ画像を作成できる。また、パノラマ画像の作成状況がディスプレィ上で刻々と確認できるとともに、診断中のプローブ操作の失敗を訂正することができる。また、好ましい実施形態ではプローブとディスプレィが一体になっているので、診断箇所から視線を離すことなく診断作業が行える。以上のように、本発明によれば高い操作性の超音波診断装置が実現される。
本発明の他の目的及び特徴は以下の説明によりに明らかにされる。また本発明は、超音波診断装置に特に有効であるので、以下の説明では超音波診断装置について説明するが、他の用途にも実施できるものである。
According to the present invention, when implemented in an ultrasonic diagnostic apparatus or the like, a panoramic image can be generated by automatically synthesizing moving images under diagnosis, and from a tomographic image sequence obtained by the probe operation of the apparatus operator. Create panoramic images in real time. In addition, the creation status of the panoramic image can be confirmed on the display every moment, and the failure of the probe operation during diagnosis can be corrected. In the preferred embodiment, since the probe and the display are integrated, the diagnostic work can be performed without leaving the line of sight from the diagnosis location. As described above, according to the present invention, an ultrasonic diagnostic apparatus with high operability is realized.
Other objects and features of the present invention will become apparent from the following description. Since the present invention is particularly effective for an ultrasonic diagnostic apparatus, the ultrasonic diagnostic apparatus will be described in the following description, but the present invention can be implemented for other applications.
図1は、本発明による超音波像を合成しパノラマ画像を合成する装置の一実施
形態である超音波診断装置の構成を示すブロック図である。
本実施形態には、超音波発振部110からの信号によって超音波ビーム220を被検体に照射し、また被検体からの反射ビームを受信するプローブ200と、プローブ200からの信号を動画像フレームデータにする画像化部120と、動画像データを処理する中央処理ユニット(以下、CPUと略称)130及び動画像、パノラマ画像の処理に必要なデータ140−2、制御プログラム140−1を格納するメモリ140と、パノラマ画像151等をディスプレイ150に表示するためのビデオメモリ155及びD/A変換器156と、各機能部を結合するバス線路132とをもつ超音波診断装置100を構成する。超音波診断装置100は、インタフェース(I/F)を介して結合されるキーボード160、ポインティングデバイス170等の入出力装置、プリンタ180及び補助記憶装置190を備える。超音波診断装置100のハード構成は、一般に知られているデジタルコンピュータの構成と同様である。
FIG. 1 is a block diagram showing a configuration of an ultrasonic diagnostic apparatus which is an embodiment of an apparatus for synthesizing a panoramic image by synthesizing ultrasonic images according to the present invention.
In this embodiment, a
上記装置の構成において、超音波発振部110の発振周波数(2〜10MHz)はCPU130からの指示に従う。画像化部120で変換された画像データはメモリ140に取り込むと同時にビデオメモリ155に取り込まれる。RAMADCと呼ばれているD/Aコンバータ156で、ビデオメモリ155に書かれた表示画像データをディスプレイ150の走査線スピードに合わせて逐次読出し、ディスプレイ150に描画する。
In the configuration of the above apparatus, the oscillation frequency (2 to 10 MHz) of the
従って、ビデオメモリ155のデータを更新すると、その更新内容がディスプレイ150の表示画面に直ちに反映される。ディスプレイ150は、画像を表示するためのデバイスであり、例えば、小型のCRTやプラズマディスプレイ、液晶タイプの表示デバイス等で構成される。画像の取り込みを、秒30回程度の頻度で繰り返すことで、ディスプレイの一部に連続的な被検体の断層画像である動画像が表示される。
Therefore, when the data in the
補助記憶装置110は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、PCMCIA方式のハードディスクカードのように記憶装置ごと本体100から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であってもよい。
The
CPU130は、超音波診断のための制御をはじめ、以下に説明する画像データを得たり、画像の動きの検出演算を行ったり、画像データを画像表示信号に変換し画像の表示形態を制御するための制御プログラムを実行する。制御プログラムは、メモリ140−1に常駐し、プログラムの実行に必要となるデータは、データメモリ140−2に必要に応じて格納される。プリンタ180は処理した画像や診断結果を印刷する。
The
上記超音波診断装置の構成において、取り込んだ動画像フレーム列をプローブ200の移動操作(以下スキャンとも呼ぶ)に応じて動画像フレームを相互に接続する。メモリ140−1内に格納された制御プログラムによって、診断中に取り込まれた画像データをメモリ140に取り込みながら複数の画像フレームの指定部分を接続しパノラマ画像データを得て、逐次ビデオメモリ155に転送し、ディスプレイ150に151を表示する。さらに診断が終了すると、パノラマ画像データを補助記憶装置190に、画像データ構造体190−1として格納する。画像データ構造体190−1は画像の種別、画像のサイズ、診断日時、診断部位等の画像のヘッダー情報情報190−1−1、圧縮又は非圧縮されたパノラマ画像データ190−1−2が含まれる。
In the configuration of the ultrasonic diagnostic apparatus, the captured moving image frame sequence is connected to each other in accordance with the moving operation of the probe 200 (hereinafter also referred to as scanning). With the control program stored in the memory 140-1, panoramic image data is obtained by connecting designated portions of a plurality of image frames while capturing image data captured during diagnosis into the
図2は、本発明による超音波診断装置の実施形態を説明するための概略図である。プローブ200は体表(被検体の一部)230に沿って、プローブ200の長手方向(矢印の曲線で示す)に手動で移動される。プローブ200の移動で得た時間的に隣接する画像フレーム相互間の大部分の画素が一致している。ただし、後で図6に関連して説明するすように、プローブの移動方向の移動距離に対応して画像間で位置がずれる。また、体表230の曲率に応じて画像間に回転ずれが生じる。そこで本実施形態の超音波診断装置100では、動画像フレーム間の移動量及び回転量をCPU120及びプログラム140−1で構成される演算手段の信号処理により検出し、更に検出された移動量及び回転量を用いて、複数の動画像フレームを合成し、パノラマ画像データに変換し、ビデオメモリ155を介してパノラマ画像151としてディスプレイ150に逐次表示する。これにより位置センサを使用することなく、操作が容易なパノラマ画像合成装置が実現される。
FIG. 2 is a schematic diagram for explaining an embodiment of an ultrasonic diagnostic apparatus according to the present invention. The
図3は、上記実施形態における超音波診断装置のディスプレイに表示される表示画面の一例を示す表示画面図である。
表示画面150は商標ウィンドウ300、動画表示ウィンドウ310、パノラマ画像表示ウィンドウ320、操作指示ウインドウ330から構成される。ここで、商標ウィンドウ300には装置名や著作権の所在等を表示する。動画表示ウィンドウ310は診断中の断層画像をリアルタイムで表示するウィンドウである。
毎秒30回フレームの頻度で画像を表示することで身体の内部の状態が動画として表示される。動画表示ウィンドウ310領域内の領域311は断層画像の有効領域である。上記断層画像(動画象フレーム)の有効領域は、超音波ビーム220を発信・受信するプローブ200の形状がコンベックスタイプの場合には、図に示すような扇型の領域になる。図において上部が体表側、下部が身体内部側である。また、プローブ200の形状がリニアタイプの場合には、有効領域311は長方形の領域になる。
FIG. 3 is a display screen diagram showing an example of a display screen displayed on the display of the ultrasonic diagnostic apparatus in the embodiment.
The
By displaying an image at a frequency of 30 frames per second, the internal state of the body is displayed as a moving image. An
領域312は断層画像311内に設定したパノラマ画像作成に利用する画像処理領域であって、長方形の図形として表示する。近接する動画像フレーム間の動き量と回転量を検出する画像データの信号処理はこの領域312のデータを使用して実行される。処理領域312の有効領域311に対する位置は、通常は固定であるが、プローブ200を交換した場合、取り込まれる画像のサイズや位置が変わる場合があるので、それに合わせて処理領域を変更するように設定する。
領域313はパノラマ画像作成時に使用する断層画像の部分領域である。部分領域313は動画像として解像度の高い部分で、各フレームとも同じ位置に設定しておく。これらの画像処理領域312、313はユーザインタフェースによって、ユーザが自由に設定できる。
An
An
パノラマ画像表示ウィンドウ320は診断中の断層画像をリアルタイムでパノラマ化して画像の全体像を表示するウィンドウである。領域321はパノラマ画像であり、領域322は現在、操作中のプローブ200の位置及び方向を示すカーソルである。
The panorama
パノラマ画像321はプローブ200の移動長によっては、パノラマ画像表示ウィンドウ320の枠内を超える場合もある。この場合は、作成中のパノラマ画像321がパノラマ画像表示ウィンドウ320に収まるように、スケーリングしながら表示することで解決できる。
The
操作指示ウインドウ330は、診断に必要な操作を指示するウィンドウであって、パノラマ画像表示を指示するボタン331、リセットボタン334、操作訂正ボタン335、保存ボタン336、印刷ボタン337、設定ボタン338をもつ。これらのボタンの選択はポインタ339をマウスなどのポインティングデバイス170を操作して、所望のボタン上でポインティングデバイス170をクリックすることで実行される。またディスプレィ150上にタッチパネルを装着して、直接、指で所望のボタンを押すように構成してもよい。図3のパノラマ画像321は診断の最終結果を示している。
The
図4は上記実施形態におけるパノラマ画像表示ウィンドウ320のパノラマ画像を示す。図4及び図3を参照しながら本発明による超音波診断装置の診断過程の操作及びパノラマ表示画像を説明する。超音波による診断は図3のパノラマボタン331を押すことで開始する。パノラマボタン331を押すと、パノラマ画像表示ウィンドウ320に表示されていた過去の画像はクリアされる。この状態から、体表230上をプローブ200でスキャンするとパノラマ画像が逐次作成される。
FIG. 4 shows a panoramic image of the panoramic
図4(a)は、血管に沿ってプローブ200をスキャンさせている途中のパノラマ画像を示している。図4(b)はプローブの位置が血管からずれて、血管部画像400が途切れた例である。この状態で、パノラマボタン331を押すと、パノラマ画像作成が中断される。この状態でユーザは動画表示ウィンドウ310の画像を確認しつつ、プローブ200の位置を修正して血管部400の画像が表示されるようにする。その後、パノラマボタン331を押すと、パノラマ画像の作成処理を再開する。もし、血管部の画像400の途切れが大きい場合は、パノラマ画像をさらに前の状態に戻す必要がある。その場合には操作訂正ボタン335を用いる。訂正ボタン335−1はパノラマ画像を前の状態に戻すボタンで、訂正ボタン335−1を押し続けると以前の状態にカーソル322が順次移動する。ボタン335−2は戻し過ぎたカーソルを前に進めるボタンである。
FIG. 4A shows a panoramic image in the middle of scanning the
図4(c)は再開して血管部画像400が接続された例であり、図4(d)は最終的に得られたパノラマ画像の例である。尚、パノラマ画像作成中にリセットボタン334を押すと、診断の最初の状態となり、パノラマ画像321はクリアされる。
上述のように本実施形態によれば、ユーザは診断途中のパノラマ画像を自由に訂正したり再開することが可能であるため、操作性の高い超音波診断装置が実現される。さらに、結果の保存や印刷も簡単に行える。保存ボタン336を押すと、パノラマ画像が補助記憶装置190に保存される。また、印刷ボタン337を押すことで、パノラマ画像をプリンタ180で印刷することができる。設定ボタン338は、画像処理領域312、313の設定や診断に必要な各種情報の入力に利用される。
FIG. 4C is an example in which the blood
As described above, according to the present embodiment, since the user can freely correct or restart the panoramic image in the middle of diagnosis, an ultrasonic diagnostic apparatus with high operability is realized. In addition, results can be easily stored and printed. When the
図5は本発明による超音波診断装置の他の実施形態で使用するプローブを示す外観図である。本実施形態では、診断の操作性を向上させるため、プローブ200と液晶ディスプレィ150を一体にし、即ちプローブ200本体の一部に液晶ディスプレィ150を回転可能に取付け、図4で示したパノラマボタン331及びリセットボタン332とそれぞれ同等の機能を持つボタン201及びボタン202をプローブに設けている。本実施形態によれば、ボタン201及び202により診断の再開、中断が手元のプローブ200に設けたボタン201及びボタン202の操作で実行できる。さらに、診断中、プローブ200周辺から視線をそらす必要がなくなるので、診断が容易かつ正確に行える。
FIG. 5 is an external view showing a probe used in another embodiment of the ultrasonic diagnostic apparatus according to the present invention. In this embodiment, in order to improve the operability of diagnosis, the
図6は本発明による超音波診断装置のプローブで得られた時間的に隣接する動画像フレーム間の幾何学的関係を示す。同図において曲線230は体表、画像領域505は時刻tの時取得した断層画像It、画像領域506は時刻t+1の時取得した断層画像It+1である。体表230が曲面であるので、画像Itと画像It+1は、図のような移動と回転の幾何学的関係が生じる、すなわち、画像Itの領域506の中心oを原点とし、画像Itの横軸503をXt軸、それに直交する軸504をYt軸とした座標系としたとき、画像It+1はX軸に沿ってdx移動508し、原点oの回りでdΘ回転507する。この移動量dxと回転量dΘから、以下の式で近接する画像フレーム間の幾何学的関係が記述できる。
p’=Ap+B
ここで、Aは回転行列、Bはシフト量、pは画像Itの座標、p’は画像It+1の
座標である。
FIG. 6 shows the geometric relationship between temporally adjacent moving image frames obtained with the probe of the ultrasonic diagnostic apparatus according to the present invention. In the figure, a
p ′ = Ap + B
Here, A is the rotation matrix, B is the shift amount, p is the coordinates of the image It, and p ′ is the coordinates of the image It + 1.
図7は本発明によるパノラマ画像合成装置の一実施形態における上記移動量検出の原理を説明する図である。同図において、画像領域505の画像It及び画像領域506の画像It+1内の線分、折線等(血管等)は画像を示し、画像領域505及び506内の領域312はパノラマ画像作成に利用する画像処理領域である。画像Itと画像It+1の間の画像の移動量dxの検出は、それぞれの画像の領域312内の垂直方向への投影分布601及び602を求めた後、投影分布間の相関計算を行い、水平方向に位置をずらしながら以下に示す相関値E(dx)が最小となる位置を移動量dxとする。相関値E(dx)は投影分布間の各要素の値の差分絶対値の総和で、次式で表せる。
FIG. 7 is a diagram for explaining the principle of the movement amount detection in one embodiment of the panoramic image synthesis apparatus according to the present invention. In the same figure, a line segment, a broken line, etc. (blood vessels, etc.) in the image It of the
本実施形態では、画像の移動量計算に2次元画像の一軸方向の投影分布というグローバルな特徴量を用いているため、安定に動き量が求められるとともに、演算量が極めて少ないので、通常のCPU130の能力でリアルタイムに移動量の検出ができる。 In the present embodiment, since a global feature quantity of the projection distribution in the uniaxial direction of the two-dimensional image is used for calculating the movement amount of the image, the amount of motion can be obtained stably and the calculation amount is extremely small. The amount of movement can be detected in real time with the ability.
図8は本発明による診断装置の一実施形態における回転量検出の原理を説明するための図である。同図において、画像領域505及び506の画像は、図7のものと同じである。移動量検出のときは、画像処理領域312は1つ設定するだけで十分であったが、回転量の検出の場合は1つでは不十分であり2つ以上設定する必要がある。図8は6つの指定された部分領域700i(i=1…6)を垂直方向に整列して設定した例を示す。ここで下側から画像処理領域に1から6のi番号を付けておく。このような画像処理領域に対して、各部分領域700i毎に投影分布を求めて各移動量dxiを計算する。画像間で回転があると、原理的にはi番号順に各移動量は図8の下部に示す様に、領域の移動ベクトルが単調増加又は単調減少する。そこで、最も離れた領域間の移動量の差から以下に示す回転量dΘの式で回転量dΘを計算する。
FIG. 8 is a view for explaining the principle of rotation amount detection in one embodiment of the diagnostic apparatus according to the present invention. In the figure, the images in the
本実施形態では画像の回転量検出の演算に複数の部分領域を設定し、部分的に移動量が検出できない状況が発生しても、残りの画像処理領域から得られた移動量から回転量が計算されるため、信頼性が高くなる。実施例では6つの部分領域を設定しているが、6つのうち4つ検出ができなくても残りの2つから回転量が検出できるため、検出率は高くなる。また演算量は極めて少ないので、通常のCPUの処理能力でリアルタイムに回転量検出ができる。 In this embodiment, a plurality of partial areas are set for the calculation of the image rotation amount detection, and even if a situation in which the movement amount cannot be partially detected occurs, the rotation amount is calculated from the movement amounts obtained from the remaining image processing areas. Since it is calculated, the reliability becomes high. In the embodiment, six partial regions are set. However, even if four of the six regions cannot be detected, the amount of rotation can be detected from the remaining two, so the detection rate becomes high. In addition, since the amount of calculation is extremely small, the amount of rotation can be detected in real time with the processing capability of a normal CPU.
図9は超音波断層画像の一例を示す。断層画像領域505は上部が体表230側、即ちプローブ200に接する側である。色彩部801は、カラードプラー法によって、血管部で血流が計測された部分であって、特別に色付けされる。灰色部802は超音波のエコーが戻ってきた部分である。暗部803は超音波のエコーが戻らなかった部分であって、超音波220を照射したときに、途中で骨や空洞があった場合に暗部が発生する。本実施形態では、移動量や回転量を検出する際、カラーフィルタを用い灰色部802のみを有効画素と見なして処理を行い、検出精度の劣化を防止する。
FIG. 9 shows an example of an ultrasonic tomographic image. The upper part of the
図10は本発明による超音波診断装置を構成する制御プログラムの一実施例のフローチャートで、特に、診断中のパノラマ画像生成処理を中心にしたフローチャートを示す。このパノラマ画像生成処理の他にも、超音波発振の制御、診断箇所の図形表示、画像の検索等の処理もあるが、それらは、従来知られている動画像を得る超音波診断装置のものと同様の処理を行うので、詳細な説明は省く。なお、図10の制御プログラム140−1は図11と図12に示す制御データ140−2を参照して実行される。なお、図11と図12の入力画像メモリ、パノラマ画素メモリ、X_Proj_Current,X_Proj_Last,Rotate_Proj_Current,Rotate_Count_Current,Rotate_Proj_Last,Rotate_Count_Last,Total_dx,Total_dΘ及びkはいずれもデータメモリ140-2の中に設けられるメモリ領域を示す。 FIG. 10 is a flowchart of an embodiment of a control program constituting the ultrasonic diagnostic apparatus according to the present invention, and particularly shows a flowchart centering on panoramic image generation processing during diagnosis. In addition to this panoramic image generation process, there are also processes such as control of ultrasonic oscillation, graphic display of diagnostic locations, image search, etc., but these are those of ultrasonic diagnostic apparatuses that obtain conventionally known moving images Since the same processing is performed, detailed description is omitted. The control program 140-1 in FIG. 10 is executed with reference to the control data 140-2 shown in FIGS. The input image memory, panoramic pixel memory, X_Proj_Current, X_Proj_Last, Rotate_Proj_Current, Rotate_Count_Current, Rotate_Proj_Last, Rotate_Count_Last, Total_dx, Total_dΘ, and k in FIGS. 11 and 12 indicate memory areas provided in the data memory 140-2. .
図10において、ステップ900は初期化処理であり、デイスプレイ150上に超音波診断装置の初期画面表示を行う。ステップ905では、変数statusを0にリセットする。超音波診断装置の電源が入っている間(ステップ910)は、以下のパノラマ画像生成処理を行う。
In FIG. 10,
まず、ステップ915で超音波画像即ち動画像の画像フレームの信号の取り込みを行い、配列入力画像メモリ140−2−1に格納する。入力画像メモリ140−2−1は、図1のメモリ140内にあり、図11の入力画像メモリに示すように、高さ1〜H、幅1〜Wの画像のデータを格納する。この領域の超音波画像をディスプレイ150の動画表示ウィンドウ310に表示する(ステップ920)。ステップ925ではパノラマボタン331が押されたどうかをチェックし、以下のステップ930の判定処理を行う。
First, in
もしstatusが0でパノラマボタン331が押された場合は、パノラマ画像生成の開始処理931を実行する。ここでは、パノラマ画像表示ウィンドウ320に表示されていた以前のパノラマ画像を消去し、新しいパノラマ画像表示に備える。尚、この処理931の詳細は後で図13を参照して説明する。次にステップ932で変数statusに1をセットし、パノラマ画像生成中の状態とする。
もし変数statusが1でパノラマボタン331が押された場合は、変数statusに2をセットするステップ933を実行し、パノラマ画像生成の中断状態とする。
もし変数statusが2でパノラマボタン331が押された場合は、ステップ934を実行し、変数statusに1をセットし、パノラマ画像生成の再開状態とする。
If the status is 0 and the
If the variable status is 1 and the
If the variable status is 2 and the
次にステップ940の判定処理で、リセットボタン334が押されたかどうかを判定し、押された場合はステップ941で既に説明したパノラマ画像生成の開始処理を実行し、変数statusに1をセットするステップ942を実行するし、パノラマ画像生成中の状態とする。
そして、ステップ950で状態がパノラマ画像生成中であるかどうかを判定する。もし変数statusが1であれば、パノラマ画像生成中であるので、ステップ951でパノラマ画像生成処理を行い、結果をパノラマ画像メモリ140−2−2に格納する。パノラマ画像メモリ140−2−2は、図1のメモリ140−2内にあり、図11のパノラマ入力画像メモリに示すように、高さ1〜PH、幅1〜PWの画像のデータを格納する。尚、ステップ951の処理の詳細は後で図14を用いて説明する。そしてパノラマ画像メモリ140−2−2内に格納されているパノラマ画像データを画像表示信号に変換しパノラマ画像表示ウィンドウ320へ表示する。その際、現在のプローブ200の位置と方向に関する情報をカーソル図形322をパノラマ画像表示ウィンドウ320に表示する。
Next, in the determination process of
In
次に、ステップ960で保存ボタン336が押されたかどうかを判定し、押された場合はステップ961を実行する。ステップ961はパノラマ画像保存処理であり、パノラマ画像メモリ140−2−2に格納された現在までに生成されているパノラマ画像データを補助記憶装置190に保存する。
次に、ステップ970で印刷ボタン337が押されたかどうかを判定し、押された場合はステップ971を実行する。ステップ971はパノラマ画像印刷処理であり、パノラマ画像メモリ140−2−2に格納された現在までに生成されているパノラマ画像をプリンタ180に出力する。
Next, in
Next, it is determined in
次に、ステップ980で設定ボタン338が押されたかどうかを判定し、押された場合はステップ981を実行する。ステップ981はパラメータ設定処理であり、特定領域312、画像合成領域313の設定や診断箇所、患者名等、各種情報の入力に利用される。
最後に、ステップ990でパノラマ画像生成が中断の状態、すなわち、変数statusが2で、操作訂正ボタン335が押されたかどうかを判定し、押された場合は、ステップ991で、現在表示中のカーソル322の位置を指定の位置へ移動させて表示する。すなわち、ボタン335−1が押され続けている間、過去に順次遡り、パノラマ画像の位置にカーソルを戻す。またボタン335−2が押され続けている間はそれとは逆の方向にカーソルを進める。このようにして、パノラマ画像生成の途中において、パノラマ画像の修正を行う。以上のステップ915からステップ991の処理を繰り返すことで、超音波画像のパノラマ画像が操作者の希望する状態で生成される。
Next, in
Finally, in step 990, it is determined whether the panoramic image generation is interrupted, that is, whether the variable status is 2 and the
図13は、図10のパノラマ画像生成の開始処理931の詳細を示すフローチャートである。まず、ステップ1000でパノラマ画像生成に寄与した動画像フレームの総数をカウントする変数kを0にリセットする。変数kは図12のメモリ140−2−11に記憶される。次にステップ1010でパノラマ画像生成に使用する移動及び回転パラメータを格納するメモリ領域Total_dx140−2−9とメモリ領域Total_dΘ140−2−10のそれぞれの先頭1の要素を0にリセットする(図12)。そして、ステップ1020でパノラマ画像表示ウィンドウ320に表示中のパノラマ画像321を消去する。
FIG. 13 is a flowchart showing details of the panoramic image
その後、ステップ1030で入力した画像の部分領域313の画像データを、パノラマ画像を格納する配列パノラマ画像メモリ140−2−2に書き込む。この最初の画像フレームがパノラマ作成の基準の画像となり、以降の画像フレームの移動パラメータや回転パラメータは上記最初の画像フレームのデータとの相対的な差で表される。そして、ステップ1040でパノラマ画像表示ウィンドウ320にパノラマ画像メモリ140−2−2の内容を表示するとともにカーソル322も表示する。
Thereafter, the image data of the
図14は、図10のパノラマ画像生成処理951の詳細を示すフローチャートである。ステップ1100から1120までは、連続する画像フレーム間の移動量dxを求めるための処理である。
まずステップ1100で入力画像メモリ14−2−1に格納された画像の指定された特定領域312内の垂直方向の投影分布を計算し、メモリ領域X_Proj_Current140−2−3へ格納する。次にステップ1105でフレーム総数kが0よりも大きいかどうかを判定し、大きい場合はステップ1110、1120を実行する。ステップ1110では、現在入力した画像の投影分布をメモリ領域140−2−3と一つ前に入力した画像の投影分布をメモリ領域X_Proj_Last140−2−4の過去の投影分布との間で位置dxをずらしながらマッチング即ち類似度演算を行う。そしてステップ1120で類似度の最も高い位置dxを2つの時間的に連続する画像間の移動量とする。尚、このマッチングは具体的には前述の式(1)の計算をする。
FIG. 14 is a flowchart showing details of the panoramic
First, in
ステップ1130から1165までは連続する画像フレーム間の回転量dΘを求めるための処理である。
ステップ1130で入力画像メモリ140−2−1に格納された画像の複数の部分領域700i内の有効画素数すなわち超音波エコーが存在する灰色部802の画素を、それぞれの領域700iで列毎にカウントし、メモリ領域Rotate_Proj_Current140−2−6に書き込む。そしてステップ1140で入力画像メモリ140−2−1に格納された画像の複数の部分領域700iそれぞれ内の有効画素を対象とした垂直方向の投影分布を計算し、メモリ領域Rotate_Proj_Current140−2−5に書き込む。尚、通常投影分布の値は各列毎に足し込むことで計算できるが、ここではさらに、各列の有効画素数で正規化した値を配列に格納する。
In
次にステップ1160でフレーム総数kが0よりも大きいかどうかを判定し、大きい場合はステップ1161から1167を実行する。ステップ1161から1164では6つの領域700i(i=1…6)について、連続する画像フレーム間の局所的な移動量を計算する。まずステップ1162で領域iの有効画素数の割合が一定の値たとえば0.5以上かどうか判定する。一定値以上であれば、ステップ1163、1164を実行する。ステップ1163では、現在入力した画像の投影分布とメモリ領域Rotate_Proj_Current140−2−5と一つ前に入力した画像の投影分布とメモリ領域Rotate_Proj_Current140−2−7との間で位置dxiをずらしながら類似度の演算を行う。そしてステップ1164で類似度の最も高いときの位置dxiを2つの時間的に連続する画像間の領域iの移動量とする。
次に、ステップ1165で移動量が計算できた領域のうち最も距離が離れた領域間の移動量から図8に示す式により回転量dΘを計算する。
Next, in
Next, the amount of rotation dΘ is calculated from the amount of movement between the regions that are the farthest from the regions in which the amount of movement can be calculated in
以上の処理で隣接する画像フレーム間の移動量dxと回転量dΘが求められる。次にステップ1166で基準の画像と現在の画像との移動量及び回転量を計算する。これは、常に前の画像までの計算結果に今回算出したフレーム毎の移動量及び回転量を累積加算することで容易に計算できる。そしてステップ1167では基準の画像に対して、現在の画像の移動量及び回転量が分かっているので、まず画像の回転量と移動量に基づく座標変換を行って、パノラマ画像メモリ140−2−2に画像データを書き込む。以上の処理によって移動と回転を伴う画像列からパノラマ画像が生成される。
Through the above processing, the movement amount dx and the rotation amount dΘ between adjacent image frames are obtained. Next, in
最後にステップ1170で次のパノラマ画像生成のための準備を行う。メモリ領域X_Proj_Current140−2−3のデータをメモリ領域X_Proj_Last140−2-4へ転送し、メモリ領域Rotate_Proj_Current140−2−5のデータをメモリ領域Rotate-Proj-Last140−2−7へ転送し、メモリ領域Rotate_Proj_Currentメモリ140−2−6のデータをメモリ領域Rotate_Count_Last140−2−8へ転送する。そしてパノラマ画像生成に使われた画像フレームの総数を計数する変数kを1だけ加算する。
Finally, in
以上述べたように、本発明のパノラマ画像生成方法は有効画素のみを対象に画像間の移動量及び回転量を検出するので、骨や空洞といった超音波を透過させない部分が診断中の画像に含まれていても、それらの部分の影響を検出結果に及ぼさないようにすることができる。また、画像特徴量は広い領域の投影分布を用いているため、ノイズの多い超音波画像に対して、移動量及び回転量を安定に検出することができる。さらに、移動量及び回転量の検出に使用する投影分布の計算量は極めて少ないので、安価なCPUでリアルタイムに計算ができるという効果がある。 As described above, since the panoramic image generation method of the present invention detects the amount of movement and the amount of rotation between images only for effective pixels, portions that do not transmit ultrasonic waves, such as bones and cavities, are included in the image being diagnosed. Even if it is, the influence of those portions can be prevented from affecting the detection result. Further, since the image feature amount uses a projection distribution of a wide area, it is possible to stably detect the movement amount and the rotation amount with respect to an ultrasonic image having a lot of noise. Further, since the calculation amount of the projection distribution used for detecting the movement amount and the rotation amount is extremely small, there is an effect that the calculation can be performed in real time by an inexpensive CPU.
以上本発明の超音波像を合成しパノラマ画像を合成する方法及び装置を超音波診断装置の実施例によって説明したが、本発明は上記実施例に限定されるものではなく、動画像の発生源が位置的に変動する場合、動画像フレーム列を合成して合成画像を合成する場合に実施できることは明らかである。また上記実施例では、プローブ、超音波発信部、超音波画像化部とCPUなどのコンピュータ部を一体的に接続した場合を示したが、一連の動画像フレームのデータを画像蓄積メモリに蓄積し、画像蓄積メモリの画像データを入力し、パノラマ画像を得る場合も含まれる。 The method and apparatus for synthesizing an ultrasonic image and synthesizing a panoramic image according to the present invention have been described above by the embodiments of the ultrasonic diagnostic apparatus. However, the present invention is not limited to the above-described embodiments, and a moving image source is generated. When the position fluctuates in position, it is obvious that the present invention can be carried out when a synthesized image is synthesized by synthesizing a moving image frame sequence. In the above embodiment, the probe, the ultrasonic transmission unit, the ultrasonic imaging unit, and the computer unit such as the CPU are integrally connected. However, a series of moving image frame data is stored in the image storage memory. In addition, a case where a panoramic image is obtained by inputting image data in the image storage memory is also included.
100…超音波診断装置、110…超音波発振部、120…超音波・画像化部、
130…CPU、140…メモリ、132…データバス、150…ディスプレイ、
155……ビデオメモリ、156…D/Aコンバータ、160…キーボード、
170…ポインティングデバイス、180…プリンタ、190…補助記憶装置、
200…プローブ。
DESCRIPTION OF
130 ... CPU, 140 ... memory, 132 ... data bus, 150 ... display,
155 ... Video memory, 156 ... D / A converter, 160 ... Keyboard,
170 ... pointing device, 180 ... printer, 190 ... auxiliary storage device,
200: Probe.
Claims (4)
上記プローブの位置を上記プローブの長手方向に移動させて得られた上記超音波像を構成する複数の動画像フレームを取り込む手段と、
上記取り込まれた複数の動画像フレーム間の位置関係データを検出する手段と、
上記位置関係データを用いて複数の上記動画像フレームを接続しパノラマ画像データを得る手段と、
上記複数の動画像フレームの画像データ及び上記パノラマ画像データを画像表示信号に変換してディスプレイに逐次表示する画像表示手段と、
上記各手段を制御する制御部を備えた超音波診断装置であって、
上記画像表示手段は上記プローブの現在の位置及び方向を示すカーソルを上記パノラマ画像データと併せて逐次表示することを特徴とする超音波診断装置。 Connected to a probe to obtain an ultrasound image,
Means for capturing a plurality of moving image frames constituting the ultrasonic image obtained by moving the position of the probe in the longitudinal direction of the probe ;
Means for detecting positional relationship data between the plurality of captured video frames;
Means for connecting the plurality of moving image frames using the positional relationship data to obtain panoramic image data;
Image display means for converting the image data of the plurality of moving image frames and the panoramic image data into image display signals and sequentially displaying them on a display;
An ultrasonic diagnostic apparatus comprising a control unit for controlling the above means,
The ultrasonic diagnostic apparatus, wherein the image display means sequentially displays a cursor indicating the current position and direction of the probe together with the panoramic image data.
上記指示入力部を介した修正指示を受けると、上記画像表示手段は上記プローブの位置を過去に位置した場所に移動させて順次表示し、
上記該状態で上記指示入力部を介した再開指示をうけると、上記パノラマ画像データを得る手段は、該プローブの位置におけるパノラマ画像に、上記取り込み手段を介して新たに取り込まれた動画像フレームを接続することでパノラマ画像を得ることを特徴とする請求項1記載の超音波診断装置。 In addition, it has an instruction input unit,
Upon receiving a correction instruction via the instruction input unit, the image display means sequentially displays the position of the probe by moving it to a location located in the past,
When receiving a restart instruction via the instruction input unit in the state, the means for obtaining the panoramic image data adds a moving image frame newly captured via the capturing means to the panoramic image at the position of the probe. The ultrasonic diagnostic apparatus according to claim 1, wherein a panoramic image is obtained by connection.
上記画像表示ステップは、上記プローブの現在の位置及び方向を示すカーソルを上記パノラマ画像データと併せて逐次表示するステップを有することを特徴とするプログラム。 Obtaining image data of a plurality of moving image frames constituting an ultrasonic image obtained by moving the position of the probe in the longitudinal direction of the probe, and detecting positional relationship data between the plurality of moving image frames A step of obtaining a panoramic image by joining the plurality of moving image frames at a predetermined position using the positional relationship data, and using the image data and the panoramic image data of the plurality of moving image frames as an image display signal. A program for causing a computer to execute an image display step of converting and sequentially displaying on a display,
The image display step includes a step of sequentially displaying a cursor indicating the current position and direction of the probe together with the panoramic image data.
さらに外部からの指示を入力する指示ステップを有し、
上記指示ステップで修正指示を受けると、上記画像表示ステップでは上記プローブの位置を過去に位置した場所に移動させて順次表示し、
上記プローブの位置を過去に位置した場所に移動させて順次表示された状態で再開指示をうけると、上記パノラマ画像データを得るステップは、該プローブの位置におけるパノラマ画像に、上記取り込みステップで新たに取り込まれた動画像フレームを接続するステップを経てパノラマ画像を得ることを特徴とするプログラム。 A program according to claim 3, wherein
Furthermore, it has an instruction step for inputting an instruction from the outside,
When the correction instruction is received in the instruction step, the image display step sequentially displays the position of the probe by moving it to a location located in the past,
When the position of the probe is moved to a location in the past and a restart instruction is received in a sequentially displayed state, the step of obtaining the panorama image data is newly added to the panorama image at the position of the probe by the capturing step. A program characterized in that a panoramic image is obtained through a step of connecting captured video frames.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005010211A JP4188921B2 (en) | 2005-01-18 | 2005-01-18 | Ultrasound image diagnostic apparatus and program used therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005010211A JP4188921B2 (en) | 2005-01-18 | 2005-01-18 | Ultrasound image diagnostic apparatus and program used therefor |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01946299A Division JP3645727B2 (en) | 1999-01-28 | 1999-01-28 | Ultrasonic diagnostic apparatus, program for synthesizing panoramic image, and recording medium thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005103328A JP2005103328A (en) | 2005-04-21 |
JP4188921B2 true JP4188921B2 (en) | 2008-12-03 |
Family
ID=34545448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005010211A Expired - Fee Related JP4188921B2 (en) | 2005-01-18 | 2005-01-18 | Ultrasound image diagnostic apparatus and program used therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4188921B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5159803B2 (en) * | 2008-06-18 | 2013-03-13 | キヤノン株式会社 | Subject information acquisition device |
JP5574822B2 (en) * | 2010-05-21 | 2014-08-20 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasonic diagnostic apparatus and control program therefor |
US20130131510A1 (en) * | 2011-05-30 | 2013-05-23 | Tadamasa Toma | Ultrasound image generation apparatus and ultrasound image generation method |
WO2014112242A1 (en) * | 2013-01-17 | 2014-07-24 | 日立アロカメディカル株式会社 | Ultrasonic diagnostic device |
WO2017185240A1 (en) * | 2016-04-26 | 2017-11-02 | 中慧医学成像有限公司 | Imaging method and device |
-
2005
- 2005-01-18 JP JP2005010211A patent/JP4188921B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005103328A (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3645727B2 (en) | Ultrasonic diagnostic apparatus, program for synthesizing panoramic image, and recording medium thereof | |
JP5496302B2 (en) | Ultrasonic diagnostic equipment | |
US8469890B2 (en) | System and method for compensating for motion when displaying ultrasound motion tracking information | |
JP5230589B2 (en) | Ultrasonic device, ultrasonic imaging program, and ultrasonic imaging method | |
US6872181B2 (en) | Compound image display system and method | |
JP5475516B2 (en) | System and method for displaying ultrasonic motion tracking information | |
EP1982654A1 (en) | Ultrasound diagnostic device and control method for ultrasound diagnostic device | |
US8715190B2 (en) | Ultrasound diagnosis apparatus, image processing apparatus and image processing method | |
JP4188921B2 (en) | Ultrasound image diagnostic apparatus and program used therefor | |
JP4764209B2 (en) | Ultrasonic signal analysis apparatus, ultrasonic signal analysis method, ultrasonic analysis program, ultrasonic diagnostic apparatus, and control method of ultrasonic diagnostic apparatus | |
JP2008188193A (en) | Medical image diagnostic apparatus | |
JP3752921B2 (en) | 3D panoramic image synthesizer for ultrasonic images | |
JP5606025B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP2000316864A (en) | Ultrasonograph | |
JP5196994B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP5331313B2 (en) | Ultrasonic diagnostic equipment | |
JP4868845B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic measurement method | |
WO2020246151A1 (en) | Three-dimensional ultrasonic image generation device, method, and program | |
CN111093511A (en) | Medical image display device and tracking line processing method | |
JP2000254129A (en) | Ultrasonograph and ultrasonographic diagnostic method | |
JP2002330966A (en) | Ultrasonic diagnostic instrument | |
JP7373045B2 (en) | Ultrasonic imaging method, ultrasound imaging device, ultrasound imaging system and ultrasound imaging program | |
EP4338684A1 (en) | Ultrasonic imaging device, ultrasonic imaging method, ultrasonic imaging system, and ultrasonic imaging program | |
JP2002165795A (en) | Method and device for setting region of interest, and ultrasonic imaging device | |
JP2000287976A (en) | Ultrasonograph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080911 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |