JP2003144412A - Image diagnosis support system and image processing method - Google Patents

Image diagnosis support system and image processing method

Info

Publication number
JP2003144412A
JP2003144412A JP2001348507A JP2001348507A JP2003144412A JP 2003144412 A JP2003144412 A JP 2003144412A JP 2001348507 A JP2001348507 A JP 2001348507A JP 2001348507 A JP2001348507 A JP 2001348507A JP 2003144412 A JP2003144412 A JP 2003144412A
Authority
JP
Japan
Prior art keywords
image
magnetic resonance
ultrasonic
data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001348507A
Other languages
Japanese (ja)
Other versions
JP3878456B2 (en
Inventor
Tetsuji Tsukamoto
鉄二 塚元
Hiroshi Hashimoto
浩 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2001348507A priority Critical patent/JP3878456B2/en
Publication of JP2003144412A publication Critical patent/JP2003144412A/en
Application granted granted Critical
Publication of JP3878456B2 publication Critical patent/JP3878456B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image diagnosis support system and an image processing method that can acquire really useful composite images at real time from the image information of an MRI device and an ultrasonic image pickup device. SOLUTION: This image diagnosis support system is provided with an image composing device 4 extracting a feature point (line) of the boundary or the like of internal organs from an ultrasonic image by a feature extracting part 42 upon receiving an ultrasonic image signal S3 acquired at real time by the ultrasonic image pickup device 3, deforming a previously acquired MR image stored in a storage device, so as to match the information from the feature of the ultrasonic image, to generate a corrected MR image that eliminates contradiction between the image information of the MR image and ultrasonic image, and displaying the corrected MR image on a display device 5.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、磁気共鳴撮像(M
RI:Magnetic Resonance Imaging)装置による画像
(以下、MR画像という)、および超音波撮像装置によ
る画像(以下、US画像という)を合成して、医師の診
断を支援する画像診断支援システムおよびその合成のた
めの画像処理方法に関するものである。
TECHNICAL FIELD The present invention relates to magnetic resonance imaging (M
RI (Magnetic Resonance Imaging) device image (hereinafter referred to as MR image) and ultrasonic imaging device image (hereinafter referred to as US image) are combined to support an image diagnosis support system and its combination. The present invention relates to an image processing method for

【0002】[0002]

【従来の技術】MRI装置では、静磁場空間に被検体を
収容し、磁気共鳴を利用して被検体の被検部位を撮像す
る。具体的には、励起パルスで被検体内のスピン(sp
in)を励起し、それによって生じる磁気共鳴信号を、
たとえばスピンエコー(spinecho)またはグラ
ディエントエコー(gradientecho)として
2次元フーリエ空間に収集する。磁気共鳴信号には、い
わゆるビュー(view)毎に異なる位相エンコードを
付与し、2次元フーリエ空間において位相軸上の位置が
異なる複数のビューのエコーデータをそれぞれ収集す
る。そして、収集した全ビューのエコーデータを2次元
逆フーリエ変換することにより、画像を再構成し、再構
成画像を表示装置に表示する。
2. Description of the Related Art In an MRI apparatus, a subject is housed in a static magnetic field space, and magnetic resonance is used to image a subject region of the subject. Specifically, the spin (sp
in) and the resulting magnetic resonance signal
For example, it collects in a two-dimensional Fourier space as a spin echo or a gradient echo. A different phase encoding is given to the magnetic resonance signal for each so-called view, and echo data of a plurality of views having different positions on the phase axis in the two-dimensional Fourier space are collected. Then, the two-dimensional inverse Fourier transform is performed on the collected echo data of all the views to reconstruct the image, and the reconstructed image is displayed on the display device.

【0003】また、超音波撮像装置では、超音波プロー
ブを被検体の被検部位に当接させて被検体に超音波を送
波し、たとえば被検体内での非線形効果による高調波エ
コーに基づいて画像を生成し、表示装置に表示する。
Further, in an ultrasonic imaging apparatus, an ultrasonic probe is brought into contact with a region to be examined of the subject to transmit ultrasonic waves to the subject, and for example, based on a harmonic echo due to a non-linear effect in the subject. To generate an image and display it on the display device.

【0004】これらのMRI装置および超音波撮像装置
は、同じ電磁波シールド内で使用可能であるが、それぞ
れに装置が独立に画像を収集して表示するような形態で
利用され、それぞれの画像は個別に医師等の検査時や手
術中の診断の判定に用いられていた。
Although these MRI apparatus and ultrasonic imaging apparatus can be used within the same electromagnetic wave shield, they are used in such a form that each apparatus independently collects and displays images, and each image is individually processed. It has been used to determine the diagnosis during examinations by doctors and during surgery.

【0005】[0005]

【発明が解決しようとする課題】ところで、このような
利用形態では、検査中や手術中に個別に装置を使い分け
る必要があり、操作が煩雑であることから、MRI装置
の撮影断層像に応じた超音波撮影断面を容易に収集し、
両画像を合成表示して診断に有用な画像を得ることが可
能な超音波およびMRI複合診断装置が提案されている
(たとえば、特開平9−24034号公報、特開平9−
24035号公報 参照)。
By the way, in such a mode of use, it is necessary to use different devices during examination and surgery, and the operation is complicated. Easily collect ultrasound imaging cross sections,
There has been proposed an ultrasonic and MRI combined diagnostic apparatus capable of combining and displaying both images to obtain an image useful for diagnosis (for example, JP-A-9-24034, JP-A-9-34304).
24035).

【0006】この超音波およびMRI複合診断装置は、
MR画像とUS画像を合成表示するのであるが、MR画
像とUS画像には、以下に示すような長所と短所を有す
ることから、両画像を単に合成するだけでは、両者の画
像情報の矛盾等から真に有用な画像をリアルタイムに得
ることは困難である。
This ultrasonic and MRI combined diagnostic apparatus is
Although the MR image and the US image are combined and displayed, the MR image and the US image have the following advantages and disadvantages. Therefore, by simply combining the two images, the contradiction between the image information of the both images and the like will occur. It is difficult to get a truly useful image in real time.

【0007】すなわち、MRI装置は、一般に軟部組織
のコントラスト分解能に優れており、高空間分解能画像
を得ることができるが、撮像時間が超音波診断装置に比
べて長いという欠点がある。超音波診断装置は、リアル
タイムイメージングが可能であるが、MR画像に比べて
画像が粗いとい欠点がある。
That is, the MRI apparatus is generally excellent in the contrast resolution of soft tissue and can obtain a high spatial resolution image, but it has a drawback that the imaging time is longer than that of the ultrasonic diagnostic apparatus. The ultrasonic diagnostic apparatus is capable of real-time imaging, but has a defect that the image is rougher than the MR image.

【0008】また、上記提案された超音波およびMRI
複合診断装置において、たとえばMRI装置で形態的な
情報を取得し、超音波撮像装置のドップラモードの画像
を重ね合わせる場合を想定すると、生体を撮像対象とす
ることから、呼吸や突発的な運動により相互の位置ずれ
が起きる可能性が容易に推察できる。
Further, the above-mentioned proposed ultrasonic wave and MRI
In a composite diagnostic apparatus, assuming that morphological information is acquired by, for example, an MRI apparatus and the images of the Doppler mode of the ultrasonic imaging apparatus are superposed, a living body is an imaging target, and therefore, breathing or sudden motion may occur. It is easy to infer the possibility of mutual displacement.

【0009】本発明は、かかる事情に鑑みてなされたも
のであり、その目的は、MRI装置と超音波撮像装置の
画像情報から真に有用な合成画像をリアルタイムに得る
ことは可能な画像診断支援システムおよび画像処理方法
を提供することにある。
The present invention has been made in view of the above circumstances, and an object thereof is image diagnosis support capable of obtaining a truly useful composite image in real time from image information of an MRI apparatus and an ultrasonic imaging apparatus. A system and an image processing method are provided.

【0010】[0010]

【課題を解決するための手段】上記目的を達成するた
め、本発明の第1の観点は、異なる撮像装置で撮像され
た被検体の被検部位の複数の画像データを整合処理する
画像診断支援システムであって、静磁場空間に被検体を
収容し、磁気共鳴信号を得るパルスシーケンスでデータ
を収集し、収集したデータに基づいて画像を生成する磁
気共鳴撮像装置と、被検体に超音波を送波し画像を生成
する超音波撮像装置と、上記超音波撮像装置による被検
部位の超音波画像データを用いて、上記超音波画像の特
徴を抽出し、当該特徴情報と整合させるように、上記磁
気共鳴撮像装置で事前に取得された磁気共鳴画像を変形
させて、磁気共鳴画像を補正する画像整合装置とを有す
る。
In order to achieve the above object, a first aspect of the present invention is to provide an image diagnosis support for aligning a plurality of image data of a region to be examined of a subject imaged by different image pickup devices. In the system, a subject is housed in a static magnetic field space, data is collected in a pulse sequence for obtaining magnetic resonance signals, and a magnetic resonance imaging device that generates an image based on the collected data and an ultrasonic wave to the subject. An ultrasonic imaging device for transmitting and generating an image, and using the ultrasonic image data of the site to be examined by the ultrasonic imaging device, to extract the characteristics of the ultrasonic image, so as to match the characteristic information, And an image matching device that corrects the magnetic resonance image by deforming the magnetic resonance image acquired in advance by the magnetic resonance imaging device.

【0011】第1の観点では、上記画像整合装置により
補正された磁気共鳴画像を表示する表示装置を有する。
A first aspect has a display device for displaying a magnetic resonance image corrected by the image matching device.

【0012】また、第1の観点では、上記画像整合装置
は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴
画像データを記憶する記憶装置を有し、上記画像整合装
置は、上記記憶装置から読み出した磁気共鳴画像に対し
て上記補正処理を行う。
According to a first aspect, the image matching device has a storage device for storing magnetic resonance image data acquired in advance by the magnetic resonance imaging device, and the image matching device is the storage device. The above-described correction processing is performed on the magnetic resonance image read from the.

【0013】また、第1の観点では、上記画像整合装置
は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴
画像データを記憶する記憶装置と、上記超音波撮像装置
による被検部位の超音波画像データから超音波画像の特
徴を抽出する特徴抽出部と、事前に取得され上記記憶装
置に保持された磁気共鳴画像を読み出し、上記特徴抽出
部で抽出された超音波画像の特徴情報と整合させるよう
に、読み出した磁気共鳴画像を変形させて、超音波画像
との矛盾をなくした補正磁気共鳴画像を生成する磁気共
鳴画像補正部とを有する。
According to a first aspect, the image matching device includes a storage device for storing magnetic resonance image data previously acquired by the magnetic resonance imaging device, and a superposition of a region to be examined by the ultrasonic imaging device. A feature extraction unit that extracts the features of the ultrasound image from the sound wave image data, and a magnetic resonance image that is acquired in advance and held in the storage device is read out and matched with the feature information of the ultrasound image that is extracted by the feature extraction unit. The magnetic resonance image correction unit that deforms the read magnetic resonance image so as to generate a corrected magnetic resonance image in which the contradiction with the ultrasonic image is eliminated.

【0014】また、第1の観点では、上記磁気共鳴撮像
装置は、励起パルスで被検体内のスピンを励起すること
よって生じる磁気共鳴信号を、エコーデータとして2次
元フーリエ空間に収集し、収集したエコーデータを2次
元逆フーリエ変換することにより、画像を再構成して上
記画像整合装置に出力する。
According to the first aspect, the magnetic resonance imaging apparatus collects magnetic resonance signals, which are generated by exciting spins in the subject with an excitation pulse, as two-dimensional Fourier space as echo data. An image is reconstructed by performing a two-dimensional inverse Fourier transform on the echo data and output to the image matching device.

【0015】また、第1の観点では、上記超音波撮像装
置は、超音波プローブを通して得られたエコー受信信号
に基づいてBモード画像データをリアルタイムに生成し
て上記画像整合装置に出力する。
Further, according to the first aspect, the ultrasonic imaging apparatus generates B-mode image data in real time based on the echo reception signal obtained through the ultrasonic probe and outputs it to the image matching apparatus.

【0016】本発明の第2の観点は、異なる撮像装置で
撮像された被検体の被検部位の複数の画像データを整合
処理する画像処理方法であって、磁気共鳴撮像装置にお
ける静磁場空間に被検体を収容し、磁気共鳴信号を得る
パルスシーケンスでデータを収集し、収集したデータに
基づいて画像を生成することにより磁気共鳴画像データ
を事前に取得しておき、超音波撮像装置により、被検体
に超音波を送波して超音波画像データをリアルタイムに
生成し、生成された超音波画像の特徴を抽出し、上記抽
出した特徴情報と整合させるように、上記事前に取得さ
れた磁気共鳴画像を変形させて、磁気共鳴画像を補正す
る。
A second aspect of the present invention is an image processing method for aligning a plurality of image data of a region to be inspected of a subject imaged by different imaging devices, which is used in a static magnetic field space in a magnetic resonance imaging device. The magnetic resonance image data is acquired in advance by accommodating the subject, collecting data in a pulse sequence for obtaining a magnetic resonance signal, and generating an image based on the collected data. The ultrasonic wave is transmitted to the specimen to generate ultrasonic image data in real time, the characteristics of the generated ultrasonic image are extracted, and the magnetic resonance acquired in advance is matched so as to match the extracted characteristic information. The image is deformed to correct the magnetic resonance image.

【0017】第2の観点では、上記補正された磁気共鳴
画像を表示する。
In the second aspect, the corrected magnetic resonance image is displayed.

【0018】また、第2の観点では、上記磁気共鳴画像
データは、励起パルスで被検体内のスピンを励起するこ
とよって生じる磁気共鳴信号を、エコーデータとして2
次元フーリエ空間に収集し、収集したエコーデータを2
次元逆フーリエ変換することにより、画像を再構成して
生成する。
According to a second aspect, in the magnetic resonance image data, a magnetic resonance signal generated by exciting spins in a subject with an excitation pulse is used as echo data.
Two-dimensionally collected echo data
An image is reconstructed and generated by performing a dimensional inverse Fourier transform.

【0019】また、第2の観点では、上記超音波画像デ
ータは、超音波プローブを通して得られたエコー受信信
号に基づいてBモード画像データをリアルタイムに形成
して生成する。
In the second aspect, the ultrasonic image data is generated by forming B-mode image data in real time based on the echo reception signal obtained through the ultrasonic probe.

【0020】本発明によれば、まず、磁気共鳴撮像装置
において、静磁場空間に被検体が収容され、励起パルス
で被検体内のスピンを励起することよって生じる磁気共
鳴信号が、エコーデータとして2次元フーリエ空間に収
集される。そして、収集したエコーデータが2次元逆フ
ーリエ変換され、これにより、画像が再構成されて画像
整合装置に出力される。画像整合装置では、磁気共鳴撮
像装置による高分解能、高コントラスト分解能の磁気共
鳴画像データがたとえば記憶装置に一端記憶される。次
に、超音波撮像装置の超音波プローブを通して得られた
エコー受信信号に基づいてBモード画像データがリアル
タイムに形成され、生成された超音波画像データが画像
整合装置に出力される。画像整合装置では、超音波撮像
装置によりリアルタイムに得られる超音波画像データを
受けて、特徴抽出部により超音波画像から、たとえば被
検部位の臓器の境界などの特徴点(線)が抽出され、磁
気共鳴画像補正部に出力される。磁気共鳴画像補正部で
は、超音波画像の特徴から、その情報と整合させるよう
に記憶装置に格納されている事前に取得された磁気共鳴
画像が変形されて、超音波画像と矛盾をなくした補正磁
気共鳴画像が生成される。この補正され、リアルタイム
に生成された超音波画像と整合され、両画像間に矛盾が
なく、しかも高分解能、高コントラスト分解能の磁気共
鳴画像が表示装置に表示される。
According to the present invention, first, in a magnetic resonance imaging apparatus, a magnetic resonance signal generated by accommodating a subject in a static magnetic field space and exciting spins in the subject with an excitation pulse is used as echo data. Collected in the dimensional Fourier space. Then, the collected echo data is subjected to a two-dimensional inverse Fourier transform, whereby the image is reconstructed and output to the image matching device. In the image matching apparatus, high resolution and high contrast resolution magnetic resonance image data obtained by the magnetic resonance imaging apparatus is temporarily stored in, for example, a storage device. Next, B-mode image data is formed in real time based on the echo reception signal obtained through the ultrasonic probe of the ultrasonic imaging device, and the generated ultrasonic image data is output to the image matching device. The image matching device receives ultrasonic image data obtained in real time by the ultrasonic imaging device, and the characteristic extraction unit extracts characteristic points (lines) such as boundaries of organs of the site to be examined from the ultrasonic image, It is output to the magnetic resonance image correction unit. The magnetic resonance image correction unit deforms the previously acquired magnetic resonance image stored in the storage device so as to match the information based on the characteristics of the ultrasonic image, and corrects the ultrasonic image inconsistently. A magnetic resonance image is generated. A magnetic resonance image having a high resolution and a high contrast resolution, which is corrected and matched with the ultrasonic image generated in real time and has no contradiction, is displayed on the display device.

【0021】[0021]

【発明の実施の形態】以下、本発明の実施形態に係る画
像診断支援システムについて図面に関連付けて説明す
る。
BEST MODE FOR CARRYING OUT THE INVENTION An image diagnosis support system according to an embodiment of the present invention will be described below with reference to the drawings.

【0022】図1は、本発明に係る画像診断支援システ
ムの一実施形態を示す構成図である。本画像診断支援シ
ステム1は、図1に示すように、MRI装置2、超音波
撮像装置3、画像整合装置4、および表示装置5を有し
ている。なお、本実施形態では、超音波撮像装置3は、
被検体内での非線形効果による高調波エコーに基づいて
画像を生成する装置を例に説明するが、本発明は他の超
音波撮像装置にも適用することができる。
FIG. 1 is a block diagram showing an embodiment of an image diagnosis support system according to the present invention. As shown in FIG. 1, the image diagnosis support system 1 includes an MRI apparatus 2, an ultrasonic imaging apparatus 3, an image matching apparatus 4, and a display apparatus 5. In the present embodiment, the ultrasonic imaging device 3 is
An apparatus that generates an image based on a harmonic echo due to a non-linear effect in the subject will be described as an example, but the present invention can also be applied to other ultrasonic imaging apparatuses.

【0023】MRI装置2は、静磁場空間に被検体を収
容し、磁気共鳴を利用して被検体の被検部位に、励起パ
ルスで被検体内のスピン(spin)を励起し、それに
よって生じる磁気共鳴信号を、たとえばスピンエコー
(spinecho)またはグラディエントエコー(g
radientecho)として2次元フーリエ空間に
収集し、収集した全ビューのエコーデータを2次元逆フ
ーリエ変換することにより、画像を再構成し、再構成画
像データを信号S2として画像整合装置4に供給すると
ともに、表示部に表示する。
The MRI apparatus 2 accommodates a subject in a static magnetic field space and uses magnetic resonance to excite a spin in the subject with an excitation pulse to a subject region of the subject, which is generated. The magnetic resonance signal is transmitted, for example, to spin echo or gradient echo (g
image is reconstructed by collecting the echo data of all the collected views in a two-dimensional Fourier space as a radientech) and performing a two-dimensional inverse Fourier transform on the collected echo data, and the reconstructed image data is supplied to the image matching device 4 as a signal S2. , Display on the display.

【0024】図2は、本実施形態に係るMRI装置2の
構成例を示す図である。
FIG. 2 is a diagram showing a configuration example of the MRI apparatus 2 according to this embodiment.

【0025】本実施形態に係るMRI装置2は、図2に
示すように、マグネットからの放射電磁波の洩漏や外乱
電磁波の進入を防止する閉空間を形成した図示しないス
キャンルームに配設される本体装置2A、およびたとえ
ばスキャンルームに隣接して設けられた操作ルーム内の
オペレータOPが操作等するオペレータコンソール2B
を主構成要素として有している。
The MRI apparatus 2 according to the present embodiment, as shown in FIG. 2, is a main body disposed in a scan room (not shown) in which a closed space is formed to prevent leakage of radiated electromagnetic waves from magnets and entry of disturbance electromagnetic waves. The apparatus 2A and an operator console 2B operated by an operator OP in an operation room provided adjacent to the scan room, for example.
Has as a main component.

【0026】本体装置2Aは、図2に示すように、マグ
ネットシステム21、RF駆動部22、勾配駆動部2
3、データ収集部24、制御部25、およびクレードル
26を有している。
As shown in FIG. 2, the main body device 2A includes a magnet system 21, an RF drive unit 22, and a gradient drive unit 2.
3, a data collection unit 24, a control unit 25, and a cradle 26.

【0027】マグネットシステム21は、図2に示すよ
うに、上下の磁石に挟まれた内部空間(ギャップ:ga
p)211を有し、ギャップ211内には、クッション
を介して被検体6を載せたクレードル26が図示しない
搬送部によって搬入される。
As shown in FIG. 2, the magnet system 21 has an internal space (gap: ga) sandwiched between upper and lower magnets.
p) 211, and the cradle 26 on which the subject 6 is placed is carried into the gap 211 via a cushion by a transport unit (not shown).

【0028】マグネットシステム21内には、図2に示
すように、ギャップ211内のマグネットセンタ(走査
する中心位置)の周囲に、主磁場マグネット部212
a,212b、勾配コイル部213a,213b、およ
びRFコイル部214a,214bが配置されている。
In the magnet system 21, as shown in FIG. 2, the main magnetic field magnet section 212 is provided around the magnet center (scanning center position) in the gap 211.
a, 212b, gradient coil sections 213a, 213b, and RF coil sections 214a, 214b are arranged.

【0029】主磁場マグネット部212a,212b、
勾配コイル部213a,213b、およびRFコイル部
214a,214bのそれぞれは、検査時に被検体6が
位置するギャップ211内の空間を挟んで対向する1対
のコイルからなる。
Main magnetic field magnet sections 212a, 212b,
Each of the gradient coil units 213a and 213b and the RF coil units 214a and 214b is composed of a pair of coils facing each other across a space in the gap 211 where the subject 6 is located during the examination.

【0030】主磁場マグネット部212a,212b
は、ギャップ211内に静磁場を形成する。静磁場の方
向は、たとえば概ね被検体6の体軸方向と直交する方向
である。すなわち、垂直磁場を形成する。主磁場マグネ
ット部212a,212bを構成する一対の主磁場マグ
ネットは、たとえば永久磁石などを用いて構成される。
Main magnetic field magnet sections 212a and 212b
Form a static magnetic field in the gap 211. The direction of the static magnetic field is, for example, a direction substantially orthogonal to the body axis direction of the subject 6. That is, a vertical magnetic field is formed. The pair of main magnetic field magnets forming the main magnetic field magnet units 212a and 212b are configured by using, for example, permanent magnets.

【0031】勾配コイル部213a,213bは、RF
コイル部214a,214bが受信する磁気共鳴信号に
3次元の位置情報を持たせるために、主磁場マグネット
部212a,212bが形成した静磁場の強度に勾配を
付加するる勾配磁場を発生する。勾配コイル部213
a,213bが発生する勾配磁場は、スライス(sli
ce)勾配磁場、リードアウト(read out)勾
配磁場およびフェーズエンコード(phase enc
ode)勾配磁場の3種類であり、これら3種類の勾配
磁場に対応して勾配コイル部213は3系統の勾配コイ
ルを有する。
The gradient coil sections 213a and 213b are RF
A gradient magnetic field that adds a gradient to the intensity of the static magnetic field formed by the main magnetic field magnet units 212a and 212b is generated so that the magnetic resonance signals received by the coil units 214a and 214b have three-dimensional position information. Gradient coil unit 213
The gradient magnetic fields generated by a and 213b are slice (sli)
ce) gradient magnetic field, read out gradient magnetic field, and phase encode (phase enc)
ode) There are three types of gradient magnetic fields, and the gradient coil unit 213 has three types of gradient coils corresponding to these three types of gradient magnetic fields.

【0032】RFコイル部214a,214bは、主磁
場マグネット部212が形成した静磁場空間内で被検体
6の体内にスピンを励起するための高周波磁場を形成す
る。ここで、高周波磁場を形成することをRF励起信号
の送信という。RFコイル部214は、被検体6の体内
に励起されたスピンが生じる電磁波を磁気共鳴信号とし
て受信する。RFコイル部214は、図示しない送信用
コイルおよび受信用コイルを有する。送信用コイルおよ
び受信用コイルは、同じコイルを兼用するかあるいはそ
れぞれ専用のコイルを用いる。
The RF coil sections 214a and 214b form a high frequency magnetic field for exciting spins in the body of the subject 6 in the static magnetic field space formed by the main magnetic field magnet section 212. Here, forming a high frequency magnetic field is referred to as transmission of an RF excitation signal. The RF coil unit 214 receives an electromagnetic wave generated by spins excited in the body of the subject 6 as a magnetic resonance signal. The RF coil unit 214 has a transmission coil and a reception coil (not shown). As the transmitting coil and the receiving coil, the same coil is used in common or dedicated coils are used.

【0033】なお、本実施形態に場合、RFコイル部2
14a,214bは、RF駆動部22によるプロトコル
対応の駆動信号DR1を受けて高周波磁場を形成する。
磁気共鳴撮影処理においては、1繰り返し時間(TR;
repetitiontime)毎に用いるパルスシー
ケンス(スキャンシーケンス)の数は、被検部位毎に対
応して設定されたプロトコルによって異なる。たとえば
頭部等の被検部位に応じたプロトコル毎に、それぞれ異
なる回数、たとえば64回〜512回繰り返されて、6
4ビューから512ビューのビューデータが得られる。
In the case of this embodiment, the RF coil unit 2
14a and 214b receive the drive signal DR1 corresponding to the protocol by the RF drive unit 22 and form a high frequency magnetic field.
In magnetic resonance imaging processing, one repetition time (TR;
The number of pulse sequences (scan sequences) used for each repetition time differs depending on the protocol set corresponding to each examination site. For example, it is repeated 6 times by different times, for example, 64 times to 512 times for each protocol according to the site to be examined such as the head.
View data of 4 views to 512 views is obtained.

【0034】RF駆動部22は、制御部25の指示に基
づいたプロトコル対応の駆動信号DR1をRFコイル部
214a,214bに与えてRF励起信号を発生させ
て、被検体6の体内のスピンを励起する。
The RF drive unit 22 applies a protocol-corresponding drive signal DR1 based on an instruction from the control unit 25 to the RF coil units 214a and 214b to generate an RF excitation signal, thereby exciting spins in the body of the subject 6. To do.

【0035】勾配駆動部23は、制御部25の指示に基
づいたプロトコル対応の駆動信号DR2を勾配コイル部
213a,213bに与えて勾配磁場を発生させる。勾
配駆動部23は、勾配コイル部213の3系統の勾配コ
イルに対応して、図示しない3系統の駆動回路を有す
る。
The gradient drive section 23 supplies a protocol-corresponding drive signal DR2 based on an instruction from the control section 25 to the gradient coil sections 213a and 213b to generate a gradient magnetic field. The gradient drive section 23 has three-system drive circuits (not shown) corresponding to the three-system gradient coils of the gradient coil section 213.

【0036】データ収集部24は、RFコイル部214
a,214bが受信した受信信号を取り込み、それをビ
ューデータ(view data)として収集して、オ
ペレータコンソール2Bのデータ処理部27に出力す
る。
The data collecting unit 24 includes an RF coil unit 214.
The received signals received by the a and 214b are fetched, collected as view data (view data), and output to the data processing unit 27 of the operator console 2B.

【0037】制御部25は、オペレータコンソール2B
のデータ処理部27から送られてくる被検体6の被検部
位に対応した実行すべきプロトコルに即して、あらかじ
め決められた繰り返し時間TR内において所定のパルス
シーケンスが所定回数繰り返される駆動信号DR1をR
Fコイル部214に印加するようにRF駆動部22を制
御する。同様に、制御部25は、実行すべきプロトコル
に即して、1TR内に、所定のパターンのパルス信号を
勾配コイル213a,213bに印加するように勾配駆
動部23を制御する。また、制御部25は、RFコイル
部214a,214bが受信した受信信号を取り込み、
それをビューデータ(view data)として収集
して、オペレータコンソール2Bのデータ処理部27に
出力するように、データ収集部24を制御する。
The control unit 25 is the operator console 2B.
Drive signal DR1 in which a predetermined pulse sequence is repeated a predetermined number of times within a predetermined repetition time TR according to the protocol to be executed corresponding to the region to be examined of the subject 6 sent from the data processing unit 27. R
The RF drive unit 22 is controlled so as to be applied to the F coil unit 214. Similarly, the control unit 25 controls the gradient driving unit 23 so as to apply a pulse signal having a predetermined pattern to the gradient coils 213a and 213b within 1TR according to the protocol to be executed. Further, the control unit 25 takes in the reception signals received by the RF coil units 214a and 214b,
The data collection unit 24 is controlled so as to collect it as view data and output it to the data processing unit 27 of the operator console 2B.

【0038】この磁気共鳴撮像用パルスシーケンスは、
いわゆるスピンエコー(SE:Spin Echo)
法、グラディエントエコー(GRE:GRadient
Echo)法、ファーストスピンエコー(FSE:F
ast Spin Echo)法、ファーストリカバリ
SE(Fast Recovery Spin Ech
o)法、エコープラナー・イメージング(EPI:Ec
ho Planar Imaging)法等、各撮像方
法によって異なる。
This magnetic resonance imaging pulse sequence is
So-called spin echo (SE: Spin Echo)
Method, gradient echo (GRE: GRadient
Echo) method, fast spin echo (FSE: F)
ast Spin Echo) method, fast recovery SE (Fast Recovery Spin Echo)
o) method, echo planar imaging (EPI: Ec)
Ho Planar Imaging) method and the like.

【0039】ここで、各撮像方法のパルスシーケンスの
うち、SE法のパルスシーケンスについて、図3に関連
付けて説明する。図3(a)はSE法におけるRF励起
用の90°パルスおよび180°パルスのシーケンスで
あり、RF駆動部22がRFコイル部214に印加する
駆動信号DR1に相当する。図3(b)、(c)、
(d)、および(e)は、それぞれスライス勾配Gs、
リードアウト勾配Gr、フェーズエンコード勾配Gp、
およびスピンエコーMRのシーケンスであり、スライス
勾配Gs、リードアウト勾配Gr、およびフェーズエン
コード勾配Gpのパルスは、勾配駆動部23が勾配コイ
ル部213に印加する駆動信号DR2に相当する。
Here, of the pulse sequences of each imaging method, the pulse sequence of the SE method will be described with reference to FIG. FIG. 3A is a sequence of 90 ° pulses and 180 ° pulses for RF excitation in the SE method, which corresponds to the drive signal DR1 applied to the RF coil unit 214 by the RF drive unit 22. 3 (b), (c),
(D) and (e) are slice gradients Gs,
Read out gradient Gr, phase encode gradient Gp,
The pulse of the slice gradient Gs, the readout gradient Gr, and the phase encode gradient Gp corresponds to the drive signal DR2 applied to the gradient coil section 213 by the gradient drive section 23.

【0040】図3(a)に示すように、RF駆動部22
によりRFコイル部214a,214bに対して90°
パルスが印加され、スピンの90°励起が行われる。こ
のとき、図3(b)に示すように、勾配駆動部23によ
り勾配コイル部213a,213bに対してスライス勾
配パルスGsが印加され、所定のスライスについて選択
励起が行われる。図3(a)に示すように、90°励起
から所定の時間後に、RF駆動部22によりRFコイル
部214a,214bに対して180°パルスが印加さ
れ、180°励起、すなわちスピン反転が行われる。こ
のときも、図3(b)に示すように、勾配駆動部23に
より勾配コイル部213a,213bに対してスライス
勾配パルスGsが印加され、同じスライスについて選択
的な反転が行われる。
As shown in FIG. 3A, the RF drive unit 22
90 ° with respect to the RF coil portions 214a and 214b
A pulse is applied and 90 ° excitation of the spin is performed. At this time, as shown in FIG. 3B, the gradient drive unit 23 applies the slice gradient pulse Gs to the gradient coil units 213a and 213b, and the selective excitation is performed for a predetermined slice. As shown in FIG. 3A, after a predetermined time from 90 ° excitation, a 180 ° pulse is applied to the RF coil units 214a and 214b by the RF driving unit 22 to perform 180 ° excitation, that is, spin inversion. . Also at this time, as shown in FIG. 3B, the slice driving unit 23 applies the slice gradient pulse Gs to the gradient coil units 213a and 213b, so that the same slice is selectively inverted.

【0041】図3(c)および(d)に示すように、9
0°励起とスピン反転の間の期間に、勾配駆動部23に
より勾配コイル部213a,213bに対してリードア
ウト勾配パルスGr、およびフェーズエンコード勾配パ
ルスGpが印加される。そして、リードアウト勾配パル
スGrによりスピンのディフェーズが行われ、フェーズ
エンコード勾配パルスGpによりスピンのフェーズエン
コードが行われる。
As shown in FIGS. 3 (c) and 3 (d), 9
During the period between 0 ° excitation and spin inversion, the gradient driving unit 23 applies the readout gradient pulse Gr and the phase encode gradient pulse Gp to the gradient coil units 213a and 213b. Then, spin dephase is performed by the read-out gradient pulse Gr, and phase encoding of spin is performed by the phase encode gradient pulse Gp.

【0042】スピン反転後、図3(c)に示すように、
勾配駆動部23により勾配コイル部213a,213b
に対してリードアウト勾配パルスGrが印加されて、リ
フェーズされて、図3(e)に示すように、スピンエコ
ーMRが発生される。このスピンエコーMRは、データ
収集部24によりビューデータとして収集される。
After spin inversion, as shown in FIG.
The gradient drive unit 23 allows the gradient coil units 213a and 213b.
A read-out gradient pulse Gr is applied to and rephased to generate a spin echo MR as shown in FIG. The spin echo MR is collected by the data collection unit 24 as view data.

【0043】制御部25は、このようなパルスシーケン
スで、実行プロトコルに応じて、周期TRでたとえば6
4〜512回繰り返すように、RF駆動部22、勾配駆
動部23、およびデータ収集部24を制御する。また、
制御部25は、繰り返しのたびに、フェーズエンコード
勾配パルスGpを変更し、毎回異なるフェーズエンコー
ドを行うように、制御を行う。
The control unit 25 uses, for example, such a pulse sequence at a cycle TR of, for example, 6 in accordance with the execution protocol.
The RF drive unit 22, the gradient drive unit 23, and the data collection unit 24 are controlled so as to be repeated 4 to 512 times. Also,
The controller 25 changes the phase encode gradient pulse Gp each time it repeats, and performs control such that different phase encode is performed each time.

【0044】オペレータコンソール2Bは、図2に示す
ように、データ処理部27、操作部28、および表示部
29を有している。
As shown in FIG. 2, the operator console 2B has a data processing section 27, an operating section 28, and a display section 29.

【0045】データ処理部27は、データ収集部24か
ら取り込んだデータをメモリに記憶する。メモリ内には
データ空間が形成される。メモリに形成されるデータ空
間は、2次元フーリエ空間を構成する。データ処理部2
7は、これら2次元フーリエ空間のデータを2次元逆フ
ーリエ変換、すなわちフーリエ周波数空間から実空間へ
の変換を行って、被検体6の画像を生成(再構成)す
る。そして、データ処理部27は、再構成画像を信号S
2として画像整合装置4に供給するなお、2次元フーリ
エ空間をkスペースともいう。
The data processing unit 27 stores the data taken in from the data collecting unit 24 in the memory. A data space is formed in the memory. The data space formed in the memory forms a two-dimensional Fourier space. Data processing unit 2
Reference numeral 7 performs a two-dimensional inverse Fourier transform on these two-dimensional Fourier space data, that is, a transformation from a Fourier frequency space to a real space to generate (reconstruct) an image of the subject 6. Then, the data processing unit 27 outputs the reconstructed image to the signal S.
The two-dimensional Fourier space is also referred to as a k-space.

【0046】データ処理部27には、制御部25が接続
されており、制御部25の上位にあってそれを統括す
る。データ処理27には、また、操作部28、および表
示部29が接続されている。
A control unit 25 is connected to the data processing unit 27, which is above the control unit 25 and controls it. An operation unit 28 and a display unit 29 are also connected to the data processing 27.

【0047】操作部28は、ポインティングデバイスを
備えたキーボードやマウス等により構成され、オペレー
タOPの操作に応じた操作信号をデータ処理部27に出
力する。また、操作部28からは、たとえば上述した実
行すべきプロトコルの入力が行われる。データ処理部2
7は、操作部28から入力されたプロトコルに関する情
報(プロトコル番号等)を制御部25に供給する。
The operation unit 28 is composed of a keyboard, a mouse and the like provided with a pointing device, and outputs an operation signal according to the operation of the operator OP to the data processing unit 27. Further, the protocol to be executed, for example, is input from the operation unit 28. Data processing unit 2
The controller 7 supplies information (protocol number, etc.) regarding the protocol input from the operation unit 28 to the control unit 25.

【0048】表示部29は、グラフィックディスプレイ
等により構成され、操作部28からの操作信号に応じ
て、本体装置2Aの動作状態に応じた所定の情報を表示
する。
The display unit 29 is composed of a graphic display or the like, and displays predetermined information according to the operating state of the main body device 2A in response to an operation signal from the operation unit 28.

【0049】超音波撮像装置3は、超音波プローブを被
検体の被検部位に当接させて被検体に超音波を送波し、
被検体内での非線形効果による高調波エコーに基づいて
画像を生成し、生成した画像データを信号S3として画
像整合装置4に供給するとともに、表示部に表示する。
The ultrasonic imaging apparatus 3 brings the ultrasonic probe into contact with the region to be examined of the subject to transmit ultrasonic waves to the subject,
An image is generated based on the harmonic echo due to the nonlinear effect in the subject, and the generated image data is supplied to the image matching device 4 as the signal S3 and displayed on the display unit.

【0050】図4は、本実施形態に係る超音波撮像装置
3の構成例を示す図である。
FIG. 4 is a diagram showing a configuration example of the ultrasonic imaging apparatus 3 according to this embodiment.

【0051】超音波撮像装置3は、図4に示すように、
超音波プローブ31、送受信部32、Bモード処理部3
3、画像処理部34、表示部35、制御部36、および
操作部37を有している。
The ultrasonic imaging apparatus 3 is, as shown in FIG.
Ultrasonic probe 31, transmitting / receiving unit 32, B mode processing unit 3
3, an image processing unit 34, a display unit 35, a control unit 36, and an operation unit 37.

【0052】超音波プローブ31は、被検体6に当接さ
れて超音波の送受波に使用される。超音波プローブ31
は、図示しない超音波トランスデューサアレイ(transdu
cerarray)を有する。超音波トランスデューサアレイ
は、複数の超音波トランスデューサをアレイ状に配列し
て構成される。個々の超音波トランスデューサは、たと
えばPZT(チタン(Ti)酸ジルコン(Zr)酸鉛)セラミッ
クス(ceramics)等の圧電材料で構成される。超音波プロ
ーブ31は、ケーブル38により送受信部32に接続さ
れている。
The ultrasonic probe 31 is brought into contact with the subject 6 and used for transmitting and receiving ultrasonic waves. Ultrasonic probe 31
Is an ultrasonic transducer array (transdu
cerarray). The ultrasonic transducer array is configured by arranging a plurality of ultrasonic transducers in an array. Each ultrasonic transducer is made of a piezoelectric material such as PZT (lead zirconate titanate (Zr) titanate) ceramics. The ultrasonic probe 31 is connected to the transmitting / receiving unit 32 by a cable 38.

【0053】送受信部32は、超音波ブローブ31に駆
動信号を与えて、超音波を送波させ、また、超音波プロ
ーブ31が受波したエコーを受信する。
The transmitting / receiving section 32 gives a drive signal to the ultrasonic probe 31 to transmit an ultrasonic wave, and also receives an echo received by the ultrasonic probe 31.

【0054】図5は、図4の送受信部32の構成例を示
す図である。送受信部32は、図5に示すように、送波
タイミング発生回路321、送波ビームフォーマ32
2、送受切換回路323、および受信ビームフォーマ3
24を有している。
FIG. 5 is a diagram showing a configuration example of the transmission / reception unit 32 of FIG. As shown in FIG. 5, the transmission / reception unit 32 includes a transmission timing generation circuit 321 and a transmission beam former 32.
2, transmission / reception switching circuit 323, and reception beamformer 3
Has 24.

【0055】送波タイミング発生回路321は、送波タ
イミング信号S321を周期的に発生して送波ビームフ
ォーマ322に供給する。送波ビームフォーマ322
は、送波タイミング信号S321に基づいて、送波ビー
ムフォーミング信号、すなわち、超音波トランスデュー
サアレイ中の送波アパーチャ(aperture)を構成する複数
の超音波トランスデューサを時間差をもって駆動する複
数の駆動信号S322を発生し、送受切換回路323に
出力する。
The transmission timing generation circuit 321 periodically generates the transmission timing signal S321 and supplies it to the transmission beamformer 322. Transmission beamformer 322
Is a transmission beamforming signal, that is, a plurality of drive signals S322 for driving a plurality of ultrasonic transducers forming a transmission aperture in the ultrasonic transducer array with a time difference based on the transmission timing signal S321. It is generated and output to the transmission / reception switching circuit 323.

【0056】送受切換回路323は、複数の駆動信号S
322を超音波プローブ31の超音波トランスデューサ
アレイにケーブル38を介して送信する。アレイ中の送
波アパーチャを構成する複数の超音波トランスデューサ
は、複数の駆動信号の時間差に対応した位相差を持つ複
数の超音波をぞれぞれ発生する。それら超音波の波面合
成により超音波ビームが形成される。超音波ビームの送
波は、送波タイミング発生回路321が発生する送波タ
イミング信号S321により、所定の時間間隔で繰り返
し行われる。そして、超音波ビームの方位は送波ビーム
フォーマ322によって順次変更される。それにより、
被検体6の内部が、超音波ビームが形成する音線によっ
て走査される。すなわち被検体6の内部が音線順次で走
査される。
The transmission / reception switching circuit 323 has a plurality of drive signals S.
322 to the ultrasonic transducer array of ultrasonic probe 31 via cable 38. The plurality of ultrasonic transducers forming the transmission apertures in the array respectively generate a plurality of ultrasonic waves having a phase difference corresponding to the time difference of the plurality of drive signals. An ultrasonic beam is formed by wavefront synthesis of the ultrasonic waves. The transmission of the ultrasonic beam is repeatedly performed at predetermined time intervals by the transmission timing signal S321 generated by the transmission timing generation circuit 321. Then, the direction of the ultrasonic beam is sequentially changed by the transmission beam former 322. Thereby,
The inside of the subject 6 is scanned by the sound ray formed by the ultrasonic beam. That is, the inside of the subject 6 is scanned in the order of sound rays.

【0057】また、送受切換回路323は、超音波トラ
ンスデューサアレイ中の受波アパーチャが受波した複数
のエコー信号を受波ビームフォーマ324に入力する。
受波ビームフォーマ324は、複数の受波エコーに時間
差を付与して位相を調整し次いでそれら加算して、音線
に沿ったエコー受信信号の形成、すなわち、受波のビー
ムフォーミングを行う。受波ビームフォーマ324によ
り、受波の音線も送波に合わせて走査される。受波ビー
ムフォーマ324は、各音線毎のエコー受信信号をBモ
ード処理部33に出力する。
Further, the transmission / reception switching circuit 323 inputs a plurality of echo signals received by the reception aperture in the ultrasonic transducer array to the reception beamformer 324.
The reception beamformer 324 imparts a time difference to a plurality of reception echoes, adjusts the phases, and then adds them to form an echo reception signal along the sound ray, that is, performs beamforming of reception waves. The reception beamformer 324 also scans the received sound ray in accordance with the transmission. The reception beam former 324 outputs the echo reception signal for each sound ray to the B-mode processing unit 33.

【0058】以上の、送波タイミング発生回路321、
送波ビームフォーマ322、送受切換回路323、およ
び受信ビームフォーマ324は、制御部36の制御信号
CTLによって制御される。
The above-mentioned transmission timing generation circuit 321,
The transmission beam former 322, the transmission / reception switching circuit 323, and the reception beam former 324 are controlled by the control signal CTL of the control unit 36.

【0059】Bモード処理部33は、送受信部32の受
波ビームフォーマ324による各音線毎のエコー受信信
号を受けて、Bモード画像データを形成する。
The B-mode processing unit 33 receives the echo reception signal for each sound ray by the reception beamformer 324 of the transmission / reception unit 32 and forms B-mode image data.

【0060】図6は、図4のBモード処理部33の構成
例を示す図である。Bモード処理部33は、図6に示す
ように、基本波処理部331および高調波処理部332
を有している。基本波処理部331および高調波処理部
332には、受波ビームフォーマ324の出力信号が共
通に入力される。
FIG. 6 is a diagram showing a configuration example of the B-mode processing unit 33 in FIG. As shown in FIG. 6, the B-mode processing unit 33 includes a fundamental wave processing unit 331 and a harmonic wave processing unit 332.
have. The output signal of the reception beamformer 324 is commonly input to the fundamental wave processing unit 331 and the harmonic wave processing unit 332.

【0061】基本波処理部331は、基本波エコー、す
なわち送波超音波の中心周波数と同じ周波数を持つエコ
ー受信信号を通過させる図示しないフィルタを有する。
高調波処理部332は、高調波エコー、すなわち送波超
音波の中心周波数のたとえば2次の高調波(第2高調
波)と同じ周波数を持つエコー受信信号を通過させる図
示しないフィルタを有する。なお、このフィルタは、必
要に応じて3次またはそれ以上の高次の高調波に対応す
るものとしても良いのは勿論である。
The fundamental wave processing section 331 has a filter (not shown) that passes a fundamental wave echo, that is, an echo reception signal having the same frequency as the center frequency of transmitted ultrasonic waves.
The harmonic processing unit 332 has a filter (not shown) that passes a harmonic echo, that is, an echo reception signal having the same frequency as the second harmonic (second harmonic) of the center frequency of the transmitted ultrasonic waves. It is needless to say that this filter may correspond to the third or higher harmonics as necessary.

【0062】基本波処理部331は、入力信号につき、
基本波エコーを対数増幅および包路線検波することによ
り、音線上の個々の反射点でのエコーの強度を表す信
号、すなわちAスコープ信号を得て、このAスコープ信
号の各瞬時の振幅をそれぞれ輝度値として、Bモード画
像データを形成する。すなわち基本波処理部331は基
本波エコーに基づくBモード画像データを生成し、画像
処理部34に出力する。
The fundamental wave processing unit 331 receives the input signal
By logarithmically amplifying and performing envelope detection on the fundamental wave echo, a signal representing the intensity of the echo at each reflection point on the sound ray, that is, an A scope signal is obtained, and each instantaneous amplitude of this A scope signal is measured as a luminance. As the value, B-mode image data is formed. That is, the fundamental wave processing unit 331 generates B-mode image data based on the fundamental wave echo and outputs it to the image processing unit 34.

【0063】高調波処理部332は、入力信号につき、
第2高調波エコーを対数増幅および包絡線検波すること
により、音線上の個々の反射点でのエコーの強度を表す
信号すなわちAスコープ信号を得て、このAスコープ信
の各瞬時の振幅をそれぞれ輝度値として、Bモード画像
データを形成する。すなわち高調波処理部332は、第
2高調波エコーに基づくBモード画像データをそれぞれ
生成し、画像処理部34に出力する。
The harmonic processing unit 332 receives the input signal,
By performing logarithmic amplification and envelope detection of the second harmonic echo, a signal that represents the intensity of the echo at each reflection point on the sound ray, that is, an A scope signal, is obtained, and each instantaneous amplitude of this A scope signal is obtained. B-mode image data is formed as the brightness value. That is, the harmonic processing unit 332 generates B-mode image data based on the second harmonic echo, and outputs the B-mode image data to the image processing unit 34.

【0064】画像処理部34は、Bモード処理部33か
ら入力される複数系統のBモード画像データに基づいて
複数のBモード画像をそれぞれ生成し、生成したBモー
ド画像データを信号S3として画像処理装置4に出力す
る。
The image processing section 34 respectively generates a plurality of B-mode images based on a plurality of systems of B-mode image data input from the B-mode processing section 33, and performs image processing on the generated B-mode image data as a signal S3. Output to the device 4.

【0065】図7は、図4の画像処理部34の構成例を
示す図である。画像処理部34は、図7に示すように、
バス341によって接続された音線データメモリ34
2、ディジタル・スキャンコンバータ343、画像メモ
リ344、および画像処理プロセッサ345を有してい
る。
FIG. 7 is a diagram showing a configuration example of the image processing unit 34 of FIG. The image processing unit 34, as shown in FIG.
Sound ray data memory 34 connected by a bus 341
2, a digital scan converter 343, an image memory 344, and an image processor 345.

【0066】Bモード処理部33から音線毎に入力され
た基本波エコーおよび第2高調波エコーによるBモード
画像データは、音線データメモリ342にそれぞれ記憶
される。音線データメモリ342内にはそれぞれの音線
デー夕空間が形成される。
The B-mode image data based on the fundamental wave echo and the second harmonic echo input from the B-mode processing unit 33 for each sound ray is stored in the sound ray data memory 342. Each sound ray data space is formed in the sound ray data memory 342.

【0067】ディジタル・スキャンコンバータ343
は、走査変換により音線データ空間のデータを物理空間
のデータに変換する。ディジタル・スキャンコンバータ
343によって変換された画像データは、画像メモリ3
44に記憶される。すなわち、画像メモリ344は、物
理空間の画像データを記憶する。画像処理プロセッサ3
45は、音線データメモリ342および画像メモリ34
4のデータについてそれぞれ所定のデータ処理を施す。
Digital scan converter 343
Converts the sound ray data space data into physical space data by scan conversion. The image data converted by the digital scan converter 343 is stored in the image memory 3
Stored in 44. That is, the image memory 344 stores the image data of the physical space. Image processor 3
Reference numeral 45 denotes a sound ray data memory 342 and an image memory 34.
Predetermined data processing is applied to each of the four data.

【0068】また、画像処理部34には、表示部35が
接続されている。表示部35は、画像処理部34から画
像信号が与えられ、それに基づいて画像を表示する。表
示部35は、たとえばカラー画像が表示可能なグラフィ
ックディスプレイ等によって構成される。
A display unit 35 is connected to the image processing unit 34. The display unit 35 receives the image signal from the image processing unit 34 and displays an image based on the image signal. The display unit 35 is composed of, for example, a graphic display capable of displaying a color image.

【0069】制御部36は、送受信部32、Bモード処
理部33、画像処理部34、および表示部35の各部に
制御信号CTLを与えてその動作を制御する。また、制
御部36には、被制御の各部から各種の報知信号が入力
される。そして、制御部36による制御の下で、超音波
撮像が遂行される。さらに、制御部36には操作部37
が接続されている。操作部37は操作者によって操作さ
れ、制御部36に所望の指令や情報を入力する。操作部
37は、たとえばキーボードやその他の操作具を備えた
操作パネルで構成される。
The control section 36 gives a control signal CTL to each section of the transmission / reception section 32, the B mode processing section 33, the image processing section 34, and the display section 35 to control the operation thereof. Further, various notification signals are input to the control unit 36 from each controlled unit. Then, under the control of the control unit 36, ultrasonic imaging is performed. Further, the control unit 36 includes an operation unit 37.
Are connected. The operation unit 37 is operated by the operator and inputs desired commands and information to the control unit 36. The operation unit 37 is composed of, for example, an operation panel equipped with a keyboard and other operation tools.

【0070】画像整合装置4は、たとえばワークステー
ション等により構成され、MRI装置2により事前に取
得された、たとえば図8(a)に示すような、血管、
腫瘍、体表、並びに検査のために被検体内に挿入さ
れた生検針体を含むの臓器に関する高分解能、高コン
トラスト分解能のMR画像信号S2を受けて一旦記憶装
置等に蓄積しておき、超音波撮像装置3によりリアルタ
イムに得られるUS画像信号S3を受けて、図8(b)
に示し詳細は後述するように、US画像から臓器の境界
などの特徴点(線)を抽出し、US画像の特徴から、そ
の情報と整合させるように(つじつまがあうように)、
事前に取得されメモリに保持したMR画像を、図8
(c)に示すように変形させて、MR画像とUS画像の
画像情報間に矛盾をなくした補正MR画像を生成し、表
示装置5に表示させる。すなわち、本実施形態のよう
に、同一対象を時間をおいて撮像した場合、それらの複
数枚の画像を相互に比較するためには、正確に重ね合せ
をする必要がある。すなわち、画像整合装置4は、位置
合わせという操作を行う。位置合わせに際しては、MR
画像とUS画像のでの対応関係を明らかにしておく必要
がある。たとえばいくつかの基準点が共通に求められる
場合には、これらの座標を用いて後述する座標変換方法
に従って座標変換を行い、一方の画像を他方の画像に重
ね合わせることができる。
The image matching device 4 is composed of, for example, a workstation, and is acquired by the MRI device 2 in advance. For example, as shown in FIG.
The MR image signal S2 of high resolution and high contrast resolution relating to the tumor, the body surface, and the organ including the biopsy needle body inserted into the subject for the examination is received and temporarily stored in the storage device or the like. Upon receiving the US image signal S3 obtained in real time by the sound wave imaging device 3, FIG.
As will be described later in detail, feature points (lines) such as the boundaries of organs are extracted from the US image, and the features of the US image are matched with the information (so that they are consistent),
The MR image acquired in advance and stored in the memory is shown in FIG.
By deforming as shown in (c), a corrected MR image in which the contradiction between the image information of the MR image and the image information of the US image is eliminated is generated and displayed on the display device 5. That is, as in the present embodiment, when the same target is imaged with a time interval, it is necessary to accurately overlay the plurality of images in order to compare them with each other. That is, the image matching device 4 performs an operation of position adjustment. MR for alignment
It is necessary to clarify the correspondence between images and US images. For example, when some reference points are commonly obtained, it is possible to superimpose one image on the other by performing coordinate conversion using these coordinates according to a coordinate conversion method described later.

【0071】図9は、画像整合装置4の構成例を示す図
である。画像整合装置4は、図9に示すように、事前に
取得した高分解能、高コントラスト分解能のMR画像信
号S2を記憶するハードディスク装置等からなる記憶装
置41、超音波撮像装置3によるUS画像信号S3から
US画像の特徴を抽出する特徴抽出部42、および特徴
抽出部42で抽出されたUS画像の特徴から、その情報
と整合させるように、記憶装置41に保持したMR画像
を変形させて、MR画像とUS画像の画像情報間に矛盾
をなくした補正MR画像を生成するMR画像補正部43
を有する。
FIG. 9 is a diagram showing a configuration example of the image matching device 4. As shown in FIG. 9, the image matching device 4 includes a storage device 41 including a hard disk device or the like for storing the MR image signal S2 of high resolution and high contrast resolution acquired in advance, and the US image signal S3 of the ultrasonic imaging device 3. From the feature extraction unit 42 for extracting the features of the US image from the MR image, and the feature of the US image extracted by the feature extraction unit 42, the MR image held in the storage device 41 is transformed so as to match the information, and the MR image is transformed. MR image correction unit 43 for generating a corrected MR image that eliminates inconsistency between image information of the image and the US image
Have.

【0072】なお、臓器の特徴点(線)は、図8(a)
に示すような、血管、腫瘍、体表等に基づいて検
出する。特徴抽出部42は、たとえば位置情報および輝
度データに基づいて、抽出体対象領域の形状や位置等の
特徴を検出する。なお、腫瘍の特徴パラメータは、形
状、形態、位置、エコー、およびテクスチャの5つに大
別できる。たとえば腫瘤の形状や形態の特徴パラメータ
をもとめるためには、輪郭抽出処理を行う。エコーに関
する特徴は、たとえば腫瘤内部、外側、後部、後部外側
陰影、および同じ深さの濃度平均値と分散を求め、それ
らの差や比を一つの特徴パラメータとする。また、テク
スチャは、腫瘤の種類により内部組成が異なることから
違いがある。テクスチャの特徴パラメータとしては、一
様性、コントラスト、エントロピー、濃度相関が用いら
れる。テクスチャを定量化するには、たとえばフーリエ
変換法、同時共起行列法、フラクタル法などが用いられ
る。また、特徴パラメータである位置パラメータは、た
とえば皮膚から臓器の体表までの距離等が用いられ
る。
The characteristic points (lines) of the organs are shown in FIG.
Detection is performed based on blood vessels, tumors, body surfaces, etc. as shown in. The feature extraction unit 42 detects features such as the shape and position of the extraction target region based on the position information and the brightness data, for example. The characteristic parameters of the tumor can be roughly classified into five types: shape, morphology, position, echo, and texture. For example, contour extraction processing is performed in order to find the characteristic parameters of the shape and form of the tumor. For the features relating to the echo, for example, the density average value and variance at the same depth, inside, outside, posterior, posterior lateral shadow, and the same depth are obtained, and the difference or ratio thereof is used as one characteristic parameter. Further, the texture is different because the internal composition differs depending on the type of tumor. Uniformity, contrast, entropy, and density correlation are used as the characteristic parameters of the texture. The Fourier transform method, the simultaneous co-occurrence matrix method, the fractal method, and the like are used to quantify the texture. Further, as the position parameter which is a characteristic parameter, for example, the distance from the skin to the body surface of the organ is used.

【0073】MR画像補正部43がMR画像を矛盾がな
いようにUS画像に整合させる変形処理においては、以
下に示すような位置合わせが行われる。
In the deformation process in which the MR image correction unit 43 matches the MR image with the US image so that there is no contradiction, the following alignment is performed.

【0074】すなわち、上述したように本実施形態のよ
うに、同一対象を時間をおいて撮像したり、あるいは異
なる撮像系や波長を用いて撮像した場合、それらの複数
枚の画像を相互に比較するためには、正確に重ね合せを
する必要がある。このような操作を位置合わせという。
位置合わせに際しては、画像間での対応関係を明らかに
しておく必要がある。いくつかの基準点が共通に求めら
れる場合には、これらの座標を用いて後述する座標変換
方法に従って座標変換を行い、一方の画像を他方の画像
に重ね合わせることができる。基準点が明確でない場合
には、一方の画像の小領域が他方の画像内のどの領域に
最も似ているかを検出することによって2枚の画像間で
の対応付けを行う。基本的には、2枚の画像が平行移動
で重なる関係にある場合に有効である。若干のひずみが
あっても適用可能であるが、たとえば大きさが異なるな
どの場合には上述したように、画像の特徴を抽出して特
徴記述間のマッチングを行う。領域域間での類似度を判
定して対応点(領域)の検出を行う方法は、テンプレー
トマッチングと呼ばれる。テンプレートマッチング法で
は 基準とする画像内の小領域をテンプレートとし、他
方の画像内でこのテンプレートと最も類似した領域を探
し出す(マッチング)ことが行われる。
That is, as described above, when the same object is imaged with a time interval or different imaging systems and wavelengths are used as in the present embodiment, the plurality of images are compared with each other. In order to do this, it is necessary to make an accurate overlay. Such an operation is called alignment.
At the time of alignment, it is necessary to clarify the correspondence between the images. When several reference points are commonly found, it is possible to superimpose one image on the other by performing coordinate conversion using these coordinates according to the coordinate conversion method described later. When the reference point is not clear, the two images are associated with each other by detecting which region in the other image the small region of one image is most similar to. Basically, it is effective when the two images are in a relationship of overlapping by parallel movement. Although it can be applied even if there is some distortion, if the size is different, for example, the features of the image are extracted and the feature descriptions are matched as described above. A method of determining the degree of similarity between the area regions and detecting the corresponding points (areas) is called template matching. In the template matching method, a small area in a reference image is used as a template, and an area most similar to this template in the other image is searched (matching).

【0075】座標変換 幾何学的変換(変形)は、x−y座標系で表現された画
像f(x,y)を、別の座標系であるu−v座標系を用
いた画像g(u,v)に変換する座標変換の問題として
扱うことができる。すなわち、図10(a),(b)に
示すように、画像2中の座標(u,v)にある画素P ’
が、画像1中の座標(x,y)にある画素P に対応する
とする。このとき、座標変換を表現する関数p(x,
y)、q(x,y)を用いて、次のように表現できる。
Coordinate transformation In the geometric transformation (deformation), an image f (x, y) expressed in an xy coordinate system is transformed into an image g (u) using a uv coordinate system which is another coordinate system. , V) can be treated as a problem of coordinate conversion. That is, as shown in FIGS. 10A and 10B, the pixel P ′ at the coordinates (u, v) in the image 2 is
Corresponds to the pixel P at the coordinate (x, y) in the image 1. At this time, the function p (x,
y) and q (x, y) can be used to express as follows.

【0076】[0076]

【数1】 u=p(x,y) v=q(x,y) …(1)[Equation 1]       u = p (x, y)       v = q (x, y) (1)

【0077】関数p,qとしては、次の与え方がある。 (1) 平行移動、回転拡大・縮小などあらかじめ変換式が
与えられている場合、(2) 基準となる画像( たとえば正
方格子状のパターン) を撮像し、撮像系におけるひずみ
特性を解析的に求める場合、(3) 互いに位置を合わせよ
うとする画像相互で対応する点を指定し、これらの対応
関係から変換式を推定する場合、である。
The functions p and q can be given as follows. (1) When transformation formulas such as parallel movement and rotation enlargement / reduction are given in advance, (2) Image the reference image (for example, square grid pattern) and analytically obtain the distortion characteristics in the imaging system. In the case (3), when points corresponding to each other are to be specified in the images to be aligned with each other, and the conversion formula is estimated from these correspondences.

【0078】(3) の場合、変換式としてはたとえば次式
で表現される多項式表現が用いられる。
In the case of (3), a polynomial expression represented by the following expression is used as the conversion expression.

【0079】[0079]

【数2】 u=p(x,y)=ΣΣaijij i j v=q(x,y)=ΣΣbijij i j …(2)[Number 2] u = p (x, y) = ΣΣa ij x i y j i j v = q (x, y) = ΣΣb ij x i y j i j ... (2)

【0080】画像1と2とで対応する点の組(xk ,y
k ),(uk ,vk )を複数求め、式(2)に代入して
ij、bijに関する連立方程式をたてる。これを最小2
乗法を用いて解くことにより係数aij、bijの値が求ま
り変換式が確定する。
A set of corresponding points (x k , y) in images 1 and 2
A plurality of k ), (u k , v k ) are obtained and substituted into the equation (2) to form simultaneous equations regarding a ij and b ij . This is a minimum of 2
By solving using the multiplication method, the values of the coefficients a ij and b ij are obtained and the conversion formula is determined.

【0081】次に、上記構成による動作を説明する。Next, the operation of the above configuration will be described.

【0082】先ず、クッションを介してクレードル26
上に載せられた被検体6が、図示しない搬送部によっ
て、本体装置20のマグネットシステム21のギャップ
211内に搬入される。
First, the cradle 26 is inserted through the cushion.
The subject 6 placed on the top is carried into the gap 211 of the magnet system 21 of the main body device 20 by a transport unit (not shown).

【0083】次に、被検体6の被検部位、たとえば腹部
をギャップ211内のマグネットセンタに位置させる。
このとき、マグネットセンタを含むギャップ211内の
所定の領域には、主磁場マグネット部212による静磁
場が形成されている。
Next, the site to be examined of the subject 6, for example, the abdomen, is positioned at the magnet center within the gap 211.
At this time, a static magnetic field is formed by the main magnetic field magnet unit 212 in a predetermined area within the gap 211 including the magnet center.

【0084】そして、オペレータOPにより、被検部位
に対応したプロトコル情報が操作部28から入力され
る。操作部28から入力されたプロトコルに関する情報
(プロトコル番号等)がデータ処理部31により制御部
25に供給される。
Then, the operator OP inputs the protocol information corresponding to the region to be examined from the operation unit 28. Information about the protocol (protocol number, etc.) input from the operation unit 28 is supplied to the control unit 25 by the data processing unit 31.

【0085】制御部25では、オペレータコンソール2
Bのデータ処理部27により実行すべきプロトコルの指
定があると、オペレータコンソール2Bのデータ処理部
27から送られてくる被検体6の被検部位に対応した実
行すべきプロトコルに即して、あらかじめ決められた繰
り返し時間TR内において所定のパルスシーケンスが所
定回数繰り返される駆動信号DR1をRFコイル部21
4に印加するようにRF駆動部22が制御され、実行す
べきプロトコルに即して、1TR内に、所定のパターン
のパルス信号を勾配コイル213に印加するように勾配
駆動部23が制御される。
In the control section 25, the operator console 2
When the protocol to be executed by the data processing unit 27 of B is designated, the protocol to be executed corresponding to the site to be examined of the subject 6 sent from the data processing unit 27 of the operator console 2B is to be executed in advance. The RF coil unit 21 outputs the drive signal DR1 in which a predetermined pulse sequence is repeated a predetermined number of times within the determined repetition time TR.
The RF drive unit 22 is controlled so as to be applied to No. 4 and the gradient drive unit 23 is controlled so as to apply a pulse signal of a predetermined pattern to the gradient coil 213 within 1TR according to the protocol to be executed. .

【0086】RF駆動部22では、制御部25の指示に
基づいたプロトコル対応の駆動信号DR1がRFコイル
部214に印加され、勾配駆動部23では、制御部25
の指示に基づいたプロトコル対応の駆動信号DR2が勾
配コイル部213に印加される。
In the RF drive section 22, the drive signal DR1 corresponding to the protocol based on the instruction of the control section 25 is applied to the RF coil section 214, and in the gradient drive section 23, the control section 25 is applied.
The drive signal DR2 corresponding to the protocol based on the instruction is applied to the gradient coil unit 213.

【0087】そして、RFコイル部214より発生され
た高周波磁場に基づき、被検部位のスピンが励起され、
励起信号の送信を打ち切った後に外部に放射される電磁
波が受信コイルで受信される。
Then, based on the high frequency magnetic field generated by the RF coil unit 214, the spin of the site to be examined is excited,
An electromagnetic wave emitted to the outside after the transmission of the excitation signal is cut off is received by the receiving coil.

【0088】これにより、被検体6の被検部位で励起さ
れたスピンが生じる電磁波が磁気共鳴信号として取り出
され、これがデータ収集部24で収集され、検査結果の
データとしてオペレータコンソール2Bのデータ処理部
27に出力される。すなわち、被検部位の撮像が行われ
る。
As a result, the electromagnetic waves generated by the spins excited in the region to be examined of the subject 6 are extracted as a magnetic resonance signal, which is collected by the data collection unit 24 and used as the data of the examination result in the data processing unit of the operator console 2B. It is output to 27. That is, the image of the region to be inspected is taken.

【0089】データ処理部27では、データ収集部24
から入力したデータがメモリに記憶され、メモリ内にデ
ータ空間が形成される。データ処理部27では、これら
2次元フーリエ空間のデータを2次元逆フーリエ変換し
て被検体6の被検部位の画像が生成(再構成)される。
そして、データ処理部27から再構成画像が信号S2と
して画像整合装置4に供給される。
In the data processing unit 27, the data collection unit 24
The data input from is stored in the memory, and a data space is formed in the memory. The data processing unit 27 performs a two-dimensional inverse Fourier transform on the data in the two-dimensional Fourier space to generate (reconstruct) an image of the region to be examined of the subject 6.
Then, the reconstructed image is supplied from the data processing unit 27 to the image matching device 4 as the signal S2.

【0090】画像整合装置4では、信号S2として入力
したMR画像が記憶装置41に一旦格納される。
In the image matching device 4, the MR image input as the signal S2 is temporarily stored in the storage device 41.

【0091】次に、超音波撮像装置3により、MRI装
置2で撮像した被検体の同一被検部位が撮像される。
Next, the ultrasonic image pickup device 3 picks up an image of the same region of the subject imaged by the MRI device 2.

【0092】すなわち、超音波プローブ31が被検体6
の所望の個所に当接され、操作部37を操作して撮像が
行われる。撮像は、制御部36による制御の下で遂行さ
れる。具体的には、たとえばセクタスキャンにより、各
音線ごとに超音波ビームが送波され、そのエコーが送受
信部32で受信され、各音線のエコー受信信号に基づ
き、Bモード処理部33でBモード画像データが形成さ
れる。Bモード画像データは、基本波エコーに基づくも
のと第2高調波エコーに基づくものとがそれぞれ形成さ
れ、画像処理部34の音線データメモリ342に記憶さ
れる。画像処理部34では、画像処理プロセッサ345
により音線データメモリ342の複数系統のBモード画
像データが、デイジタル・スキャンコンバータ343で
走査変換されて、それぞれ画像メモリ344に書き込ま
れる。ここで、操作部37を操作して、これらのBモー
ド画像を表示部35に表示させる。そして、表示された
基本波エコー像と第2高調波エコー像とを観察し、両画
像の比較対照等により診断(検査)が行われる。第2高
調波エコー像は、被検体の体表から始まる画像を含むの
で、基本波エコー像との比較対照を行うのに都合が良
い。また、画像処理部34からは、生成したBモード画
像データが信号S3として画像処理装置4に出力され
る。
That is, the ultrasonic probe 31 is the subject 6
Then, the operation section 37 is operated to pick up an image. Imaging is performed under the control of the control unit 36. Specifically, for example, by a sector scan, an ultrasonic beam is transmitted for each sound ray, the echo is received by the transmission / reception unit 32, and the B mode processing unit 33 outputs the B signal based on the echo reception signal of each sound ray. Mode image data is formed. The B-mode image data is formed based on the fundamental wave echo and the second harmonic echo, and is stored in the sound ray data memory 342 of the image processing unit 34. In the image processor 34, the image processor 345
Thus, the B-mode image data of a plurality of systems in the sound ray data memory 342 is scan-converted by the digital scan converter 343 and written in the image memory 344, respectively. Here, the operation unit 37 is operated to display these B-mode images on the display unit 35. Then, the displayed fundamental wave echo image and the second harmonic echo image are observed, and diagnosis (inspection) is performed by comparing and comparing the two images. The second harmonic echo image includes an image starting from the body surface of the subject, which is convenient for comparison with the fundamental wave echo image. The generated B-mode image data is output from the image processing unit 34 to the image processing device 4 as a signal S3.

【0093】画像整合装置4では、上述したように、M
RI装置2により事前に取得された所定の臓器に関する
高分解能、高コントラスト分解能のMR画像データが記
憶装置41に格納されている。そして、画像整合装置4
では、超音波撮像装置3によりリアルタイムに得られる
US画像信号S3を受けて、特徴抽出部42によりUS
画像から臓器の境界などの特徴点(線)が抽出され、M
R画像補正部43に出力される。MR画像補正部43で
は、US画像の特徴から、その情報と整合させるように
記憶装置41に格納されている事前に取得されたMR画
像が変形されて、MR画像とUS画像の画像情報間に矛
盾をなくした補正MR画像が生成される。この補正さ
れ、リアルタイムに生成された超音波画像と整合され、
両画像間に矛盾がなく、しかも高分解能、高コントラス
ト分解能のMR画像が表示装置5に表示される。
In the image matching device 4, as described above, M
The high resolution and high contrast resolution MR image data of a predetermined organ previously acquired by the RI apparatus 2 is stored in the storage device 41. Then, the image matching device 4
Then, the US image signal S3 obtained in real time by the ultrasonic imaging device 3 is received, and the feature extraction unit 42 receives the US image signal S3.
Feature points (lines) such as the boundaries of organs are extracted from the image, and M
It is output to the R image correction unit 43. In the MR image correction unit 43, the previously acquired MR image stored in the storage device 41 is transformed from the characteristics of the US image so as to match the information, and the MR image is corrected between the image information of the MR image and the image information of the US image. A corrected MR image with no contradiction is generated. This corrected and aligned with the real-time generated ultrasound image,
There is no contradiction between both images, and an MR image with high resolution and high contrast resolution is displayed on the display device 5.

【0094】そして、被検体6の被検部位のデータ収集
が完了すると、図示しない搬送部によって、クレードル
26と共に被検体6がギャップ211の外に搬出され
る。
Then, when the data collection of the region to be inspected of the subject 6 is completed, the subject 6 is carried out of the gap 211 together with the cradle 26 by the transport unit (not shown).

【0095】以上説明したように、本実施形態によれ
ば、超音波撮像装置3によりリアルタイムに得られるU
S画像信号S3を受けて、特徴抽出部42によりUS画
像から臓器の境界などの特徴点(線)を抽出し、US画
像の特徴から、その情報と整合させるように記憶装置4
1に格納されている事前に取得されたMR画像を変形さ
せて、MR画像とUS画像の画像情報間に矛盾をなくし
た補正MR画像を生成し、補正MR画像が表示装置5に
表示する画像整合装置4を設けたので、MRI装置と超
音波撮像装置の画像情報から真に有用な高分解能、高コ
ントラスト分解能のMR画像をリアルタイムに得ること
ができる利点がある。
As described above, according to this embodiment, U obtained by the ultrasonic imaging apparatus 3 in real time is used.
Upon receiving the S image signal S3, the feature extraction unit 42 extracts a feature point (line) such as a boundary of an organ from the US image, and the storage device 4 matches the information of the feature of the US image with the information.
The MR image stored in No. 1 is deformed to generate a corrected MR image with no contradiction between image information of the MR image and the US image, and the corrected MR image is displayed on the display device 5. Since the matching device 4 is provided, there is an advantage that a truly useful MR image with high resolution and high contrast resolution can be obtained in real time from the image information of the MRI device and the ultrasonic imaging device.

【0096】[0096]

【発明の効果】以上説明したように、本発明によれば、
MRI装置と超音波撮像装置の画像情報から真に有用な
合成画像をリアルタイムに得ることができる利点があ
る。
As described above, according to the present invention,
There is an advantage that a truly useful composite image can be obtained in real time from the image information of the MRI apparatus and the ultrasonic imaging apparatus.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に係る画像診断支援システムの一実施形
態を示す構成図である。
FIG. 1 is a configuration diagram showing an embodiment of an image diagnosis support system according to the present invention.

【図2】本実施形態に係るMRI装置の構成例を示す図
である。
FIG. 2 is a diagram showing a configuration example of an MRI apparatus according to the present embodiment.

【図3】スピンエコー法のパルスシーケンスについて説
明するためのタイミングチャートである。
FIG. 3 is a timing chart for explaining a pulse sequence of the spin echo method.

【図4】本実施形態に係る超音波撮像装置の構成例を示
す図である。
FIG. 4 is a diagram showing a configuration example of an ultrasonic imaging apparatus according to this embodiment.

【図5】図4の送受信部の構成例を示す図である。5 is a diagram showing a configuration example of a transmission / reception unit in FIG.

【図6】図4のBモード処理部の構成例を示す図であ
る。
6 is a diagram showing a configuration example of a B-mode processing unit in FIG.

【図7】図4の画像処理部の構成例を示す図である。7 is a diagram showing a configuration example of an image processing unit in FIG.

【図8】本発明に係るMRI装置によるMR画像、超音
波撮像装置によるUS画像、および補正後のMR画像を
示す図である。
FIG. 8 is a diagram showing an MR image by an MRI apparatus according to the present invention, a US image by an ultrasonic imaging apparatus, and an MR image after correction.

【図9】本発明に係る画像整合装置の構成例を示す図で
ある。
FIG. 9 is a diagram showing a configuration example of an image matching apparatus according to the present invention.

【図10】座標変換を説明するための図である。FIG. 10 is a diagram for explaining coordinate conversion.

【符号の説明】[Explanation of symbols]

1…画像診断支援システム、2…MRI装置、2A…本
体装置、21…マグネットシステム、211…ギャッ
プ、212…主磁場マグネット部、213…勾配コイル
部、214…RFコイル部、22…RF駆動部、23…
勾配駆動部、24…データ収集部、25…制御部、26
…クレードル、2B…オペレータコンソール、27…デ
ータ処理部、28…操作部、29…表示部、3…超音波
撮像装置、31…超音波プローブ、32…送受信部、3
21…送波タイミング発生回路、322…送波ビームフ
ォーマ、323…送受切換回路、324…受波ビームフ
ォーマ、33…Bモード処理部、331…基本波処理
部、332…高調波処理部、34…画像処理部、341
…バス、342…音線データメモリ、343…ディジタ
ル・スキャンコンバータ、344…画像メモリ、345
…画像プロセッサ、35…表示部、36…制御部、37
…操作部、4…画像整合装置、41…記憶装置、42…
特徴抽出部、43…MR画像補正部、5…表示装置、6
…被検体。
DESCRIPTION OF SYMBOLS 1 ... Image diagnosis support system, 2 ... MRI apparatus, 2A ... Main body apparatus, 21 ... Magnet system, 211 ... Gap, 212 ... Main magnetic field magnet section, 213 ... Gradient coil section, 214 ... RF coil section, 22 ... RF drive section , 23 ...
Gradient drive unit, 24 ... data collection unit, 25 ... control unit, 26
... cradle, 2B ... operator console, 27 ... data processing section, 28 ... operating section, 29 ... display section, 3 ... ultrasonic imaging device, 31 ... ultrasonic probe, 32 ... transmission / reception section, 3
21 ... Transmission timing generation circuit, 322 ... Transmission beam former, 323 ... Transmission / reception switching circuit, 324 ... Reception beam former, 33 ... B mode processing unit, 331 ... Fundamental wave processing unit, 332 ... Harmonic processing unit, 34 ... Image processing unit, 341
... bus, 342 ... sound ray data memory, 343 ... digital scan converter, 344 ... image memory, 345
... image processor, 35 ... display unit, 36 ... control unit, 37
... operation unit, 4 ... image matching device, 41 ... storage device, 42 ...
Feature extraction unit, 43 ... MR image correction unit, 5 ... Display device, 6
… Subject.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 A61B 5/05 380 G01N 24/02 520Y 530Y (72)発明者 塚元 鉄二 東京都日野市旭が丘四丁目7番地の127 ジーイー横河メディカルシステム株式会社 内 (72)発明者 橋本 浩 東京都日野市旭が丘四丁目7番地の127 ジーイー横河メディカルシステム株式会社 内 Fターム(参考) 4C096 AA18 AA20 AB50 AD14 AD15 AD25 DA04 DC19 DC21 DC40 DD01 DD20 DE02 FC20 4C301 CC02 EE11 FF30 JB17 JC06 JC14 JC20 KK07 KK08 LL04 4C601 EE09 FF20 JB51 JB55 JC15 JC20 JC21 KK09 KK10 KK12 LL01 LL02 5B057 AA07 BA05 BA07 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC01 CD02 CD03 CD05 CD12 CE06 CE08 DA07 DB02 DB05 DB09 DC07 DC09 DC34 DC36 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 1/00 A61B 5/05 380 G01N 24/02 520Y 530Y (72) Inventor Tetsuji Tsukamoto Tokyo Hino City 127 GEE Yokogawa Medical System Co., Ltd. at 4-7 Asahigaoka (72) Inventor Hiroshi Hashimoto 127 GEE Yokogawa Medical System Co., Ltd. at 4-7 Asahigaoka, Hino City, Tokyo 4C096 AA18 AA20 AB50 AD14 AD15 AD25 DA04 DC19 DC21 DC40 DD01 DD20 DE02 FC20 4C301 CC02 EE11 FF30 JB17 JC06 JC14 JC20 KK07 KK08 LL04 4C601 EE09 FF20 JB51 JB55 JC15 JC20 JC21 KK09 KK10 KK12 LL01 LL02 5B057 AA07 BA05 BA07 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC01 CD02 CD03 CD05 CD12 CE06 CE08 DA07 DB02 DB05 DB09 DC07 DC09 DC34 DC36

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 異なる撮像装置で撮像された被検体の被
検部位の複数の画像データを整合処理する画像診断支援
システムであって、 静磁場空間に被検体を収容し、磁気共鳴信号を得るパル
スシーケンスでデータを収集し、収集したデータに基づ
いて画像を生成する磁気共鳴撮像装置と、 被検体に超音波を送波し画像を生成する超音波撮像装置
と、 上記超音波撮像装置による被検部位の超音波画像データ
を用いて、上記超音波画像の特徴を抽出し、当該特徴情
報と整合させるように、上記磁気共鳴撮像装置で事前に
取得された磁気共鳴画像を変形させて、磁気共鳴画像を
補正する画像整合装置とを有する画像診断支援システ
ム。
1. An image diagnosis support system for matching processing of a plurality of image data of a test region of a subject imaged by different imaging devices, wherein the subject is housed in a static magnetic field space to obtain a magnetic resonance signal. A magnetic resonance imaging apparatus that collects data by a pulse sequence and generates an image based on the collected data, an ultrasonic imaging apparatus that transmits an ultrasonic wave to a subject to generate an image, and an ultrasonic imaging apparatus that uses the ultrasonic imaging apparatus. Using the ultrasonic image data of the examination site, the characteristics of the ultrasonic image are extracted, and the magnetic resonance image acquired in advance by the magnetic resonance imaging apparatus is deformed so as to match the characteristic information. An image diagnosis support system having an image matching device for correcting a resonance image.
【請求項2】 上記画像整合装置により補正された磁気
共鳴画像を表示する表示装置を有する請求項1記載の画
像診断支援システム。
2. The image diagnosis support system according to claim 1, further comprising a display device for displaying the magnetic resonance image corrected by the image matching device.
【請求項3】 上記画像整合装置は、上記磁気共鳴撮像
装置で事前に取得された磁気共鳴画像データを記憶する
記憶装置を有し、 上記画像整合装置は、上記記憶装置から読み出した磁気
共鳴画像に対して上記補正処理を行う請求項1または2
記載の画像診断支援システム。
3. The image matching device has a storage device for storing magnetic resonance image data acquired in advance by the magnetic resonance imaging device, and the image matching device reads the magnetic resonance image from the storage device. The correction process is performed on
The described image diagnosis support system.
【請求項4】 上記画像整合装置は、上記磁気共鳴撮像
装置で事前に取得された磁気共鳴画像データを記憶する
記憶装置と、 上記超音波撮像装置による被検部位の超音波画像データ
から超音波画像の特徴を抽出する特徴抽出部と、 事前に取得され上記記憶装置に保持された磁気共鳴画像
を読み出し、上記特徴抽出部で抽出された超音波画像の
特徴情報と整合させるように、読み出した磁気共鳴画像
を変形させて、超音波画像との矛盾をなくした補正磁気
共鳴画像を生成する磁気共鳴画像補正部とを有する請求
項1または2記載の画像診断支援システム。
4. The image matching device stores a magnetic resonance image data acquired in advance by the magnetic resonance imaging device, and an ultrasonic wave from the ultrasonic image data of the site to be examined by the ultrasonic imaging device. A feature extraction unit that extracts the features of the image, and a magnetic resonance image that was acquired in advance and held in the storage device were read, and read so as to match the feature information of the ultrasonic image that was extracted by the feature extraction unit. The image diagnosis support system according to claim 1 or 2, further comprising: a magnetic resonance image correction unit that deforms the magnetic resonance image to generate a corrected magnetic resonance image that is consistent with an ultrasonic image.
【請求項5】 上記磁気共鳴撮像装置は、励起パルスで
被検体内のスピンを励起することよって生じる磁気共鳴
信号を、エコーデータとして2次元フーリエ空間に収集
し、収集したエコーデータを2次元逆フーリエ変換する
ことにより、画像を再構成して上記画像整合装置に出力
する請求項1、2、3、または4のいずれかに記載の画
像診断支援システム。
5. The magnetic resonance imaging apparatus collects a magnetic resonance signal generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data, and collects the collected echo data in a two-dimensional inverse. The image diagnosis support system according to claim 1, wherein the image is reconstructed by performing Fourier transform and output to the image matching device.
【請求項6】 上記超音波撮像装置は、超音波プローブ
を通して得られたエコー受信信号に基づいてBモード画
像データをリアルタイムに生成して上記画像整合装置に
出力する請求項1、2、3、4、または5のいずれかに
記載の画像診断支援システム。
6. The ultrasonic imaging apparatus generates B-mode image data in real time based on an echo reception signal obtained through an ultrasonic probe and outputs the B mode image data to the image matching apparatus. 4. The image diagnosis support system according to any one of 4 and 5.
【請求項7】 異なる撮像装置で撮像された被検体の被
検部位の複数の画像データを整合処理する画像処理方法
であって、 磁気共鳴撮像装置における静磁場空間に被検体を収容
し、磁気共鳴信号を得るパルスシーケンスでデータを収
集し、収集したデータに基づいて画像を生成することに
より磁気共鳴画像データを事前に取得しておき、 超音波撮像装置により、被検体に超音波を送波して超音
波画像データをリアルタイムに生成し、 生成された超音波画像の特徴を抽出し、 上記抽出した特徴情報と整合させるように、上記事前に
取得された磁気共鳴画像を変形させて、磁気共鳴画像を
補正する画像処理方法。
7. An image processing method for aligning a plurality of image data of a region to be examined of a subject imaged by different image pickup devices, wherein the subject is housed in a static magnetic field space of a magnetic resonance imaging device, Magnetic resonance image data is acquired in advance by collecting data in a pulse sequence that obtains a resonance signal and generating an image based on the collected data, and ultrasonic waves are transmitted to the subject by an ultrasonic imaging device. Then, the ultrasound image data is generated in real time, the features of the generated ultrasound image are extracted, and the magnetic resonance image acquired in advance is transformed so as to match the extracted feature information, and the An image processing method for correcting a resonance image.
【請求項8】 上記補正された磁気共鳴画像を表示する
請求項7記載の画像処理方法。
8. The image processing method according to claim 7, wherein the corrected magnetic resonance image is displayed.
【請求項9】 上記磁気共鳴画像データは、励起パルス
で被検体内のスピンを励起することよって生じる磁気共
鳴信号を、エコーデータとして2次元フーリエ空間に収
集し、収集したエコーデータを2次元逆フーリエ変換す
ることにより、画像を再構成して生成する請求項7また
は8記載の画像処理方法。
9. In the magnetic resonance image data, a magnetic resonance signal generated by exciting spins in a subject with an excitation pulse is collected as two-dimensional Fourier space as echo data, and the collected echo data is two-dimensionally inversed. The image processing method according to claim 7, wherein the image is reconstructed and generated by performing a Fourier transform.
【請求項10】 上記超音波画像データは、超音波プロ
ーブを通して得られたエコー受信信号に基づいてBモー
ド画像データをリアルタイムに形成して生成する請求項
7、8、または9のいずれかに記載の画像処理方法。
10. The ultrasonic image data is generated by forming B-mode image data in real time based on an echo reception signal obtained through an ultrasonic probe, and generating the ultrasonic image data. Image processing method.
JP2001348507A 2001-11-14 2001-11-14 Diagnostic imaging support system Expired - Lifetime JP3878456B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001348507A JP3878456B2 (en) 2001-11-14 2001-11-14 Diagnostic imaging support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001348507A JP3878456B2 (en) 2001-11-14 2001-11-14 Diagnostic imaging support system

Publications (2)

Publication Number Publication Date
JP2003144412A true JP2003144412A (en) 2003-05-20
JP3878456B2 JP3878456B2 (en) 2007-02-07

Family

ID=19161320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001348507A Expired - Lifetime JP3878456B2 (en) 2001-11-14 2001-11-14 Diagnostic imaging support system

Country Status (1)

Country Link
JP (1) JP3878456B2 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217939A (en) * 2005-02-08 2006-08-24 Hitachi Medical Corp Image display device
JP2006334169A (en) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp Ultrasonic endoscope system and electronic endoscope system
KR20070058785A (en) * 2005-12-05 2007-06-11 주식회사 메디슨 Ultrasound system for interventional treatment
JP2009077780A (en) * 2007-09-25 2009-04-16 Toshiba Corp Breast examination system
JP2011125570A (en) * 2009-12-18 2011-06-30 Canon Inc Image processor, image processing method and program
US8562531B2 (en) 2003-12-16 2013-10-22 Hitachi Medical Corporation Ultrasonic motion detecting device, and image producing device and ultrasonic therapeutic using the detecting device
JP2014121637A (en) * 2014-02-24 2014-07-03 Canon Inc Information processor and information processing method
US9092666B2 (en) 2012-01-03 2015-07-28 Samsung Electronics Co., Ltd. Method and apparatus for estimating organ deformation model and medical image system
KR20150106867A (en) 2015-09-03 2015-09-22 삼성전자주식회사 Method for Providing Medical Image and Apparatus Thereof
KR20150145106A (en) * 2014-06-18 2015-12-29 삼성전자주식회사 Method and appartus for registering medical images
US9262685B2 (en) 2013-02-06 2016-02-16 Samsung Electronics Co., Ltd. Method and apparatus for representing changes in shape and location of organ in respiration cycle
KR20160041803A (en) * 2014-10-08 2016-04-18 삼성전자주식회사 Image processing apparatus and control method for the same, and medical image apparatus
US9514280B2 (en) 2012-07-27 2016-12-06 Samsung Electronics Co., Ltd. Method and apparatus for creating model of patient specified target organ based on blood vessel structure
US9934588B2 (en) 2013-12-23 2018-04-03 Samsung Electronics Co., Ltd. Method of and apparatus for providing medical image
US10127655B2 (en) 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
US10186035B2 (en) 2016-01-13 2019-01-22 Samsung Medison Co., Ltd. Method and apparatus for image registration
JP2020504289A (en) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス,インコーポレイテッド Method and system for detecting abnormalities in biological tissue

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932721B1 (en) 2012-09-07 2018-12-26 삼성전자주식회사 Method and Appartus of maching medical images
KR102001219B1 (en) 2012-11-26 2019-07-17 삼성전자주식회사 Method and Apparatus of matching medical images
EP4056124A4 (en) 2019-11-08 2023-12-13 Samsung Medison Co., Ltd. Medical image output apparatus and medical image output method using same

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8562531B2 (en) 2003-12-16 2013-10-22 Hitachi Medical Corporation Ultrasonic motion detecting device, and image producing device and ultrasonic therapeutic using the detecting device
JP2006217939A (en) * 2005-02-08 2006-08-24 Hitachi Medical Corp Image display device
JP2006334169A (en) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp Ultrasonic endoscope system and electronic endoscope system
JP4727302B2 (en) * 2005-06-02 2011-07-20 富士フイルム株式会社 Ultrasound endoscope system and electronic endoscope system
KR20070058785A (en) * 2005-12-05 2007-06-11 주식회사 메디슨 Ultrasound system for interventional treatment
JP2009077780A (en) * 2007-09-25 2009-04-16 Toshiba Corp Breast examination system
JP2011125570A (en) * 2009-12-18 2011-06-30 Canon Inc Image processor, image processing method and program
US9092666B2 (en) 2012-01-03 2015-07-28 Samsung Electronics Co., Ltd. Method and apparatus for estimating organ deformation model and medical image system
US9514280B2 (en) 2012-07-27 2016-12-06 Samsung Electronics Co., Ltd. Method and apparatus for creating model of patient specified target organ based on blood vessel structure
US9262685B2 (en) 2013-02-06 2016-02-16 Samsung Electronics Co., Ltd. Method and apparatus for representing changes in shape and location of organ in respiration cycle
US9934588B2 (en) 2013-12-23 2018-04-03 Samsung Electronics Co., Ltd. Method of and apparatus for providing medical image
JP2014121637A (en) * 2014-02-24 2014-07-03 Canon Inc Information processor and information processing method
KR20150145106A (en) * 2014-06-18 2015-12-29 삼성전자주식회사 Method and appartus for registering medical images
KR102273020B1 (en) 2014-06-18 2021-07-05 삼성전자주식회사 Method and appartus for registering medical images
KR20160041803A (en) * 2014-10-08 2016-04-18 삼성전자주식회사 Image processing apparatus and control method for the same, and medical image apparatus
KR102530170B1 (en) 2014-10-08 2023-05-10 삼성전자주식회사 Image processing apparatus and control method for the same, and medical image apparatus
US10127655B2 (en) 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
US10789707B2 (en) 2015-07-09 2020-09-29 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
KR20150106867A (en) 2015-09-03 2015-09-22 삼성전자주식회사 Method for Providing Medical Image and Apparatus Thereof
US10186035B2 (en) 2016-01-13 2019-01-22 Samsung Medison Co., Ltd. Method and apparatus for image registration
JP2020504289A (en) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス,インコーポレイテッド Method and system for detecting abnormalities in biological tissue
JP7258354B2 (en) 2016-10-20 2023-04-17 オプティナ ダイアグノスティクス,インコーポレイテッド Method and system for detecting anomalies in living tissue
US11769264B2 (en) 2016-10-20 2023-09-26 Optina Diagnostics Inc. Method and system for imaging a biological tissue

Also Published As

Publication number Publication date
JP3878456B2 (en) 2007-02-07

Similar Documents

Publication Publication Date Title
JP3878462B2 (en) Diagnostic imaging support system
JP3878456B2 (en) Diagnostic imaging support system
US6500123B1 (en) Methods and systems for aligning views of image data
US6290648B1 (en) Ultrasonic diagnostic apparatus
US9282933B2 (en) Magnetic resonance elastography for ultrasound image simulation
JP6147059B2 (en) Image fusion of magnetic resonance and ultrasound parameters
US7949160B2 (en) Imaging apparatus and imaging method
CN104510495B (en) Subject information acquisition device and its control method
US20130345545A1 (en) Ultrasound Enhanced Magnetic Resonance Imaging
CN106137249A (en) Carry out registrating in the case of narrow visual field merging for multi-modal medical imaging
JP2016523163A (en) System and method for mapping of ultrasonic shear wave elastography measurements
US9592028B2 (en) Ultrasonic diagnostic apparatus
US9795364B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
KR20110104917A (en) Motion synchronized destruction for three-dimensional reperfusion mapping in medical diagnostic ultrasound imaging
JPH11327A (en) Ultrasonograph
US9855025B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
JP3936450B2 (en) Projection image generation apparatus and medical image apparatus
JP4350214B2 (en) Ultrasonic diagnostic equipment
JP2012066027A (en) Ultrasonic diagnostic apparatus and method
JP4901420B2 (en) Magnetic resonance imaging apparatus and magnetic resonance imaging method
JP7261870B2 (en) Systems and methods for tracking tools in ultrasound images
KR20220018658A (en) Apparatus and method for predicting 3d nodule volume in ultrasound images
Aleef et al. 3d transducer mounted shear wave absolute vibro-elastography: Proof of concept
US20210012490A1 (en) An imaging system and method with stitching of multiple images
JP4901273B2 (en) Ultrasonic diagnostic apparatus and image processing program thereof

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20040506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060731

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061102

R150 Certificate of patent or registration of utility model

Ref document number: 3878456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term