JP4421016B2 - 医用画像処理装置 - Google Patents
医用画像処理装置 Download PDFInfo
- Publication number
- JP4421016B2 JP4421016B2 JP18796999A JP18796999A JP4421016B2 JP 4421016 B2 JP4421016 B2 JP 4421016B2 JP 18796999 A JP18796999 A JP 18796999A JP 18796999 A JP18796999 A JP 18796999A JP 4421016 B2 JP4421016 B2 JP 4421016B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- volume data
- cross
- section
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 description 32
- 206010028980 Neoplasm Diseases 0.000 description 26
- 210000004204 blood vessel Anatomy 0.000 description 21
- 238000000034 method Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 18
- 230000017531 blood circulation Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 14
- 238000012217 deletion Methods 0.000 description 14
- 230000037430 deletion Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 238000009206 nuclear medicine Methods 0.000 description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 239000011165 3D composite Substances 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002767 hepatic artery Anatomy 0.000 description 1
- 210000002989 hepatic vein Anatomy 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8993—Three dimensional imaging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52068—Stereoscopic displays; Three-dimensional displays; Pseudo 3D displays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52074—Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8979—Combined Doppler and pulse-echo imaging systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/922—Computer assisted medical diagnostics including image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、医用分野で取り扱われる超音波診断装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、核医学診断装置などの各種医用画像診断装置と組み合わされる医用画像処理装置に関し、特に、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータを三次元画像処理して合成画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
医用画像診断機器の一つであるＸ線コンピュータ断層撮影装置は、被検体に曝射したＸ線の減衰率の分布を画像化する。また核医学診断装置では、投与した放射性同位体から放射されるγ線の分布を画像化する。このように、医用画像診断機器の種類によって画像化される人体の物理量は異なっている。また、同一の医用画像診断装置であっても、装置内で撮影方式（撮影モード）を変更することで異なった物理量を画像化することも可能である。例えば、超音波診断装置は、同一の装置内で２種類又はそれ以上の撮影モードを具備しているのが一般的であり、Ｂモードと称される撮影モードでは被検体内部における超音波の伝達速度の違いを輝度の変化として画像化でき、ドップラモードと称される撮影モードでは血液などの移動物体の移動速度やその流量など、Ｂモードとは異なる物理量を画像化できる。
【０００３】
医用画像診断装置によって収集された画像を表示させて医師が画像診断を実施する場合、単に１種類の画像を表示させるだけでなく、他種の画像診断装置で撮影された画像や、異なる撮影モードで撮影された画像をあわせて表示させることで、物理的な意味や臨床的な価値の異なる複数種類の画像を複合的に観察可能にし、診断の正確度の向上を図るようにしている。
【０００４】
例えば超音波画像に基づいて肝臓の腫瘍を診断する場合、Ｂモード画像を観察して腫瘍の大きさ、位置、腫瘍の内部構造等を確認し、さらにドップラ画像を観察することで腫瘍の周囲にある血管の位置を確認する。これにより血管の走行と腫瘍との位置関係を確認する。また、腫瘍に養分を与える栄養血管がどの血管から伸びて腫瘍に入り込んでいるかを判定し、腫瘍の大きさに対する栄養血管の領域の割合を調べる。これらの結果に基づき、腫瘍の解剖学的な位置、悪性度、進行度等を総合的に診断する。
【０００５】
例えば肝臓の内部は肝動脈、肝静脈、門脈が立体的かつ複雑に走行しており、立体的な血管走行と腫瘍との関係を医師が理解するには高度な知識と経験を必要とする。さらに、診断結果に基づく治療を実施する場合、診断を行なった医師が治療を行なう医師に対し血管走行と腫瘍との関係を正確に伝達しなければならないが、この場合にも高度な知識と経験を必要とする。
【０００６】
そこで、超音波画像で肝臓の腫瘍を診断するような場合、立体的な血管走行と腫瘍との関係を医師が容易に理解できるようにするため、Ｂモード画像とドップラ画像とを組み合わせて表示させている。
【０００７】
実際の医用現場では、超音波診断装置により二次元のＢモード画像に対し同じく二次元のドップラ画像を合成して表示する手法が採られている。また、診断能のさらなる向上を図るべく、空間的に連続して収集されたＢモード画像及びドップラ画像から各々の三次元画像を構成し、これらを合成して表示する手法が提案されている。
【０００８】
医用画像で主に用いられる三次元画像の生成手法としては、ボリュームデータから閾値処理により抽出した表面を三次元的に表示するサーフェスレンダリング（表面表示）、ボリュームデータを構成する各々の画素値に不透明度や色を割り当て、データそのものを三次元的に表示するボリュームレンダリング、ボリュームデータから任意の断面を切り出して断面画像を表示するＭＰＲなどが一般的である。
【０００９】
サーフェスレンダリングによれば、腫瘍あるいは血管の表面の抽出処理を行うことによって、これらの三次元的な表面形状、位置、および走行状態を表示できる。同じく、ボリュームレンダリングにおいても、腫瘍あるいは血管に対応する画素領域の画素値に高い値の不透明度を割り当てることによって、これらの三次元的な形状、位置、および走行状態を表示できるようになる。
【００１０】
しかし、サーフェスレンダリング画像やボリュームレンダリング画像によれば、対象物の三次元的な形状や位置を観察できるという反面、腫瘍内部の構造や腫瘍の内部を走する血管を観察することは困難である。一方、ＭＰＲ画像では、腫瘍の内部に切断面を設定することで内部の構造を観察できるが、腫瘍や血管の三次元的な位置や形状、および走行状態を観察することは困難である。
【００１１】
上述したような肝臓の腫瘍の画像と血管の画像とを三次元合成する場合、Ｂモード画像とドップラモード画像とのサーフェスレンダリング画像の単なる組み合わせや、同様に、両画像のボリュームレンダリング画像の組み合わせ、あるいは両画像のＭＰＲ画像の組み合わせからでは、血管と腫瘍との位置関係をつかみにくいという問題点がある。
【００１２】
そこで、特願平１０−２７５３５４号では、Ｂモード画像のＭＰＲ画像と、ドップラ画像のサーフェスレンダリング画像又はボリュームレンダリング画像とを合成し、血管の立体的な走行と腫瘍の内部構造との両者を同時に分かりやすく表示する手法が提案されている。
【００１３】
しかしながら、上記手法が適用された合成画像表示では、視点から見て腫瘍断面のＭＰＲ画像の一部が血管の三次元画像に覆い隠されてしまう場合がある。これにより表示血管が、切り出した腫瘍断面を通過している血管であるか、それとも腫瘍断面外を走行する血管であるかを区別することが困難となる場合がある。従って、このことが画像診断の妨げになり、また、治療上有益な情報を提供できないという問題があった。
【００１４】
【発明が解決しようとする課題】
本発明は上記事情を考慮してなされたものであり、その目的は、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより画像診断及び治療上有益な画像を生成する医用画像処理装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記課題を解決し目的を達成するため、本発明の医用画像処理装置は、次のように構成されている。
【００１６】
（１）本発明の医用画像処理装置は、同一視線方向から見た同一被検体部位の複数の三次元画像を生成しこれらを合成する医用画像処理装置において、前記被検体部位の第一、第二のボリュームデータを入力する入力手段と、前記被検体部位の断面を設定する設定手段と、前記三次元画像が投影される投影面から前記設定手段により設定された断面までの深さ値を表す深さマップを前記第一のボリュームデータに基づいて生成する生成手段と、前記深さマップを参照し、前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づく三次元画像を生成すると共に、前記第一のボリュームデータに基づく前記断面の三次元画像を生成し、前記第二のボリュームデータに基づく三次元画像と前記断面の三次元画像とを合成する合成手段と、を具備する。
【００１７】
（２）本発明の医用画像処理装置は、上記（１）に記載の装置であって、かつ前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づき生成された三次元画像と、該データを除外しないで前記第二のボリュームデータに基づき生成された三次元画像とを切り替えて表示する表示手段をさらに具備することを特徴とする。
【００１８】
（３）本発明の医用画像処理装置は、上記（１）又は（２）のいずれかに記載の装置であって、かつ前記第一のボリュームデータに基づく断面の三次元画像に前記第二のボリュームデータに基づく切断面の三次元画像が合成表示される。
【００１９】
（４）本発明の医用画像処理装置は、上記（３）に記載の装置であって、かつ前記第二のボリュームデータに基づく切断面の三次元画像の透明度を変化させて前記第一のボリュームデータに基づく断面の三次元画像に合成表示する。
【００２０】
（５）本発明の医用画像処理装置は、上記（１）乃至（４）のいずれかに記載の装置であって、かつ前記設定手段により設定する断面の位置又は形状は可変であることを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００２２】
図１は本発明の医用画像処理装置の一実施形態に係る三次元医用画像合成表示装置の概略構成を示すブロック図である。この装置は、画像データ記憶部１及び２、ボリュームデータ作成部２、ボリュームデータ記憶部１及び２、断面位置設定部４、断面座標生成部６、レンダリング条件設定部８、前領域削除設定部１０、合成画像生成部１２、画像表示部１４により構成されていると共に、医用画像を収集するための例えば超音波診断装置１５に接続されている。他の実施形態にて後に説明するが、本発明に係る医用画像処理装置は、磁気共鳴イメージング（ＭＲＩ）装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、核医学診断装置（ガンマカメラ）等に接続される装置としても実施可能である。
【００２３】
画像データ記憶部１には、超音波診断装置１５から第１の画像の画像データ及びその画像の位置情報データが供給される。ここでは、超音波診断装置１５による超音波三次元スキャンによって収集され、各々の断面位置が異なる複数枚のＢモード画像を第１の画像とする。１枚のＢモード画像（断面画像）は、被検体内における臓器実質等の組織が描出された画像である。
【００２４】
一方、画像データ記憶部２には、超音波診断装置１５から第２の画像の画像データ及びその画像の位置情報データが供給される。ここでは超音波診断装置１５による上記と同一（時期）の超音波三次元スキャンによって収集され、各々の断面位置が異なる複数枚のドップラー画像を第２の画像とする。１枚のドップラー画像は、被検体内の移動物体（例えば血流等）が描出された画像である。
【００２５】
ボリュームデータ作成部２は、画像データ記憶部１に記憶されている第１の画像の画像データ及びその画像の位置情報データを読み出す。該読み出された位置情報データに基づき、画像データの構成要素である複数の画素データが三次元記憶領域上の所定位置に配置され、これが、読み出された全ての断面位置の画像データについて繰り返される。また、読み出された画像データの他に、所要の断面に関するデータが公知の補間演算処理によって補われる。結果として、直交三軸の各々の方向に沿って等間隔にサンプル点（「ボクセル」と称する）が配置されて成る第一のボリュームデータが作成される。また、ボリュームデータ作成部２は、同様にして画像データ記憶部２に記憶されている第２の画像の画像データ及びその画像の位置情報データを読み出し、これらの画像データ等に基づく第二のボリュームデータを作成する。
【００２６】
ボリュームデータ記憶部１は、ボリュームデータ作成部２により作成された第一のボリュームデータを記憶・保持し、ボリュームデータ記憶部２は、ボリュームデータ作成部２により作成された第二のボリュームデータを記憶・保持する。
【００２７】
断面位置設定部４はボリュームデータ上の所望の断面位置を対話的に設定するための手段であり、例えばダイアルログウインドウ表示なのどグラフィカルユーザインターフェース（ＧＵＩ）手段を備える。
【００２８】
断面座標生成部６は、ボリュームデータ記憶部１から第一のボリュームデータを読み出し、断面位置設定部４により設定された断面位置について、レンダリング条件設定部８により設定された視線方向に直交する第一ボリュームデータ上の設定断面を表す座標群（深さマップ）を生成する。
【００２９】
レンダリング条件設定部８は、第二のボリュームデータに基づく三次元画像（本実施形態では「ボリュームレンダリング画像」とする）の作成に使用される条件、すなわちボリュームデータの構成要素である各ボクセルに対する不透明度、カラー、および表示方向を設定する。この表示方向は、合成する第一の三次元画像の表示方向と同じであり、所定の投影面（表示面）に直交する視線方向でもある。なお、第一の三次元画像（断面画像）の不透明度、カラーについてもレンダリング条件設定部８によって設定される。
【００３０】
前領域削除設定部１０は、断面位置設定部４により第一のボリュームデータに設定された断面よりも視線方向手前に相当する第二のボリュームデータ領域を削除するか否かの設定をユーザが行うための手段である。なお、ここでいう「削除する」とは、ボリュームデータ記憶部２からボリュームデータ自体を消去するという意味ではなく、後述するレンダリング処理において第二ボリュームデータの一部領域を参照しない、つまり当該領域のボリュームデータに基づく三次元画像を生成しないということを意味する。
【００３１】
合成画像生成部１２は、ボリュームデータ記憶部１に記憶されている第一のボリュームデータ及びボリュームデータ記憶部２に記憶されている第二のボリュームデータを読み出し、レンダリング条件設定部８において設定された表示方向（すなわち投影方向であり、視線方向である）に沿ってレンダリング処理を行い、第一のボリュームデータに基づく第一の三次元画像（断面画像）と第二のボリュームデータに基づく第二の三次元画像との合成画像を生成する。このレンダリング処理では、第一の三次元画像と第二の三次元画像の各々に対しレンダリング条件設定部８により設定された不透明度、カラー等のレンダリング条件が用いられる。また、このレンダリング処理は前領域削除設定部１０により設定された前領域削除の可否を考慮して行われる。合成画像生成部１２により生成された合成画像は画像表示１４に出力され、表示に供される。
【００３２】
以下、第一のボリュームデータに任意の断面を設定し、該設定断面を表現する深さマップを生成し、該深さマップを参照しながら第一、第二のボリュームデータに基づく２種の三次元画像の合成画像を生成するまでの処理を詳細に説明する。
【００３３】
図２は、第一および第二のボリュームデータと、両ボリュームデータに基づく三次元画像が生成される投影面との関係を示す図である。同図に示すように、本実施形態では２つのボリュームデータの座標系を同一とする。この座標系をボリュームデータ座標系Vx-Vy-Vzと呼ぶことにする。図２において、ボリュームデータ座標系Vx-Vy-Vz上の球は、第一および第二のオブジェクトを示している。ここでは、第一のオブジェクトは第一のボリュームデータに基づく三次元画像であり、第二のオブジェクトは第二のボリュームデータに基づく三次元画像である。画像表示部１４により表示される最終画像は、第一および第二のオブジェクトをそれぞれ投影面に投影した画像である。
【００３４】
三次元画像を投影する投影面は、レンダリング条件設定部８により設定された表示（視線）方向に直交する所定の２次元平面とし、これをスクリーン座標系Sx-Sy-Sdと呼ぶことにする。座標軸Sdは視線方向と同一方向であり、投影面から座標軸Sdに沿ってボリュームデータ上の点まで伸ばした線分の長さを深さdと呼ぶことにする。
【００３５】
上述したように断面座標生成部６は、断面位置設定部４により設定された断面位置の条件とレンダリング条件設定部８により設定された視線方向と、に従って、第一のボリュームデータの断面位置の座標群を決定する。
【００３６】
ボリュームデータ上における「断面」とは、医師による診断に供される断面画像（濃淡値画像）が描出される領域であるとともに、例えば視点からみて「断面」より手前側の三次元画像は非表示にする、しないなどといった三次元画像の表示対象領域の内外を区別するための境界を表すものでもある。このため断面には例えば以下（１）〜（３）に示すように閾値、数式、及び座標等が設定されており、表示領域の決定条件として用いられる。
【００３７】
（１）ボリュームデータのあるボクセルの値が、設定された閾値の範囲内であって、これに隣接するボクセルの値が閾値の範囲外である場合は、当該ボクセルは断面上のボクセルとする。
【００３８】
（２）ボリュームデータ座標系あるいはスリーン座標系において、以下ような数式で表される座標の範囲内／外の境界を断面とする。
【００３９】
例１：次の条件を満たすスリーン座標系の座標(xs,ys,ds)は領域内である。
【００４０】
Lxs <xs &&xs <Hxs &&Lys <ys &&ys <Hys &&Lds <ds &&ds <Hds
例２：次の条件を満たすボリュームデータ座標系の座標(xv,yv,zv)は領域内である。
【００４１】
(xv-Oxv)2 +(yv-Oyv)2 +(yv-Oyv)2 <Rv2
（３）ボリュームデータ座標系あるいはスクリーンデータ座標系の各座標毎に、領域内／外を指定し、この境界を断面として設定する。
【００４２】
そして本実施形態では、第一のボリュームデータの断面位置（断面画像）をスクリーン座標系の座標として求める。即ち、スクリーンから表示対象断面までの深さ値を格納した二次元配列を求める。これを深さマップD1(x,y)と称する。
【００４３】
図３は深さマップの作成手順を示すフローチャートである。
まず、ステップＳ１において、断面画像の深さマップD1(x,y)を初期化（例えば(0,0)を設定）する。次に、スクリーン座標系上の投影面の座標(x,y)を通る視線方向View(x,y)を初期設定する。また、注目点の深さdを初期化（例えば0すなわち投影面上を設定）する。
【００４４】
次に、深さマップ上のある点(x,y)の深さdを次のようにして求める。
【００４５】
まず、注目点の座標(x,y,d)がオブジェクト１中の設定領域内に含まれるか否かを判断する（ステップＳ４）。
【００４６】
ステップＳ５において注目点が上記設定領域外であると判断された場合には、注目点の深さを視線方向に沿って１ボクセルの大きさに相当する微少量だけ進めたのち（ステップＳ８）、ステップＳ４に戻る。一方、注目点が上記設定領域内に含まれると判断された場合は、注目点(x,y,d)のボクセル値V1(x,y,d)を求め（ステップＳ５）、これが所定の閾値の範囲内であるか否かを判断する（ステップＳ６）。かかる閾値処理により第一のボリュームデータから表示対象物が抽出される。
【００４７】
ステップＳ６において、注目点のボクセル値が上記閾値の範囲外であると判断された場合には、ステップＳ８に移行し、上記と同様に注目点を視線方向に沿って進める。一方、注目点のボクセル値が上記閾値の範囲内に含まれると判断された場合には注目点の深さ値dを深さマップD1(x,y)に書込み（ステップＳ７）、当該注目点に係る投影面上の点(x,y)での深さ値dの計算を終える。
【００４８】
また、注目点の深さが最大深さDmaxとなった場合、注目点の深さ値dをDmaxとし、この点(x,y)での深さ値の計算を終了する（ステップＳ９）。
【００４９】
そして、投影面の座標(x,y)を更新したのち（ステップＳ１０）、投影面上の全ての座標（画素）につき深さ値dが求まるまで、ステップＳ２〜Ｓ１１の処理を繰り返す。結果として、深さマップD1(x,y)が作成される。
【００５０】
上述したように、画像表示部１４により表示される最終画像は、第一および第二のオブジェクトをそれぞれ投影面に投影した画像である。両ボリュームデータのボリュームデータ座標系Vx-Vy-Vzが同一であり、かつ第一および第二のオブジェクトを同一の投影面に対し投影するため、最終画像は両オブジェクトの合成画像となる。
【００５１】
図４は、合成画像の生成手順を示すフローチャートである。
【００５２】
先ずステップＳ１において、投影面のある点(x,y)の画素値I(x,y)を求める場合、先ずはこの点を通る視線方向View(x,y)を設定し、同じくこの点を通る光線の強さをIntensityを１で初期化する。さらに、画素値I(x,y)を０で初期化する。
【００５３】
次に、ステップＳ２において、前領域削除設定部１０により前領域削除が指定されているか否かを判断する。前領域削除が指定されいない場合、注目点の初期位置を投影面上に置く。すなわち深さdを０で初期化する（ステップＳ４）。
【００５４】
一方、前領域削除が指定されている場合は、深さマップの値D1(x,y)を調べ、この値が最大深さDmax未満であるか否かを判定し（ステップＳ３）、最大深さDmax未満であるならば、注目点の初期位置を断面上に置く。すなわち深さdをD1(x,y)とする（ステップＳ５）。一方、最大深さDmax以上であるならば、注目点の初期位置を投影面上に置く。すなわち、深さdを０で初期化する（ステップＳ４）。このように、注目点の初期位置を投影面上におくか、それとも深さマップで示される断面上におくか前領域削除設定に従って切り替えることにより、ボリュームデータを参照しながら三次元画像を生成する際の参照領域（すなわち画像生成領域）を変化させることができる。
【００５５】
次に、注目点付近の第二のボリュームデータの濃度勾配ベクトルGradient(V2(x,y,d))、光線方向ベクトルLight、光線強度Intensity、及び注目点の第二のボリュームデータのボクセル値V2(x,y,d)に基づいて設定された色Color2(V2(x,y,d))により、第二のボリュームデータの注目点の色I2(x,y,d)を計算する（ステップＳ６）。
【００５６】
この場合の計算方法は、ボリュームレンダリング処理において一般的に用いられている例えば次のような計算式（１）を用いる方法とする。
【００５７】
I2(x,y,d)=Reflection(Gradient(V2(x,y,d)),Light)*Intensity*Color2(V2(x,y,d)) …（１）
ボリュームレンダリング処理の詳細については、例えば参考文献：R.A.Drebin et al.,“Volume Rendering",Computer Graphics,22(4),1988 65-74の記載を参考にできる。
【００５８】
上記計算により求められた第二のボリュームデータの注目点の色I2(x,y,d)に、第二のボリュームデータの不透明度Opacity2(V2(x,y,d))を乗じた値を画素値I(x,y)に加算する（ステップＳ７）。この場合の計算式は次の通りである。
【００５９】
I(x,y)+=I2(x,y,d)*Opacity2(V2(x,y,d)) …（２）（但し「A+=B」は「A=A+B」と同義）
ここで、注目点の深さdが第一のボリュームの断面位置と等しいか否かを判定する（ステップＳ８）。第一のボリュームの断面位置は、既に作成された深さマップD1(x,y)を参照して知ることができる。
【００６０】
注目点の深さdが第一のボリュームの断面位置と等しい場合には、まず第一のボリュームデータのボクセル値V1(x,y,d)に基づく色Color1(V1(x,y,d))すなわち断面の色I1(x,y,d)を計算する（ステップＳ９）。この場合の計算式は次の通りである。
【００６１】
I1(x,y,d)=Color1(V1(x,y,d)) …（３）
つぎにこの色I1(x,y,d)に不透明度Opacity1(V1(x,y,d))を乗じた値を画素値I(x,y)に加算する。つまり画素値に断面の色が加算される（ステップＳ１１）。この場合の計算式は次の通りである。
【００６２】
I(x,y)+=I1(x,y,d)*Opacity1(V1(x,y,d)) …（４）
さらに、第一のボリュームデータの不透明度Opacity1(V1(x,y,d))と第二のボリュームデータの不透明度Opacity2(V2(x,y,d))とに応じて光線強度Intensityを減衰させる。この場合の計算式は次の通りである。
【００６３】
Intensity*=(1-(Opacity1(V1(x,y,d)))+Opacity2(V2(x,y,d))) …（５） （但し「A*=B」は「A=A*B」と同義）
一方、ステップＳ８において注目点の深さdが第一のボリュームの断面位置と等しくないと判定された場合には、断面の色の加算は行わず、第二のボリュームデータの不透明度Opacity2(V2(x,y,d))のみに基づいて光線強度Intensityを減衰させる（ステップＳ１０）。この場合の計算式は次の通りである。
【００６４】
Intensity*=(1-(Opacity2(V2(x,y,d)) …（６）
ここで、光線強度Intensityが最小の光強度εよりも大きいか否かを判定する（ステップＳ１３）。
【００６５】
光線強度Intensityが最小の光強度εよりも大きければ、さらに注目点を視線方向に１ボクセルの大きさに相当する長さぶん、わずかに進める（ステップＳ１４）。そして光線強度Intensityが最小の光強度εよりも大きく、かつ注目点の深さdが最大深さDmax以下の場合は、進めた注目点について再度、画素値I(x,y)を求める計算（ステップＳ６〜）を繰り返す。
【００６６】
一方、光線強度Intensityが最小の光強度ε以下である場合又は注目点の深さdが最大深さDmaxを超えた場合、当該点(x,y)における画素値の計算を終了して投影面の座標(x,y)を更新し、次の投影画素の画素値計算を開始する（ステップＳ１７）。これを全ての投影画素値について繰り返す。
【００６７】
図５は第一のボリュームデータに対して設定する不透明度の一例を示した図である。不透明度を全て１とすれば、断面の背後の領域は断面に隠れて見えなくなる。一方、不透明度を１未満の値にすれば、断面の背後の領域は不透明度に応じ、透けて見えるようになる。
【００６８】
図６は第二のボリュームデータに対して設定する不透明度の一例を示した図である。本実施形態のように第二のボリュームデータが血流量を示すボリュームデータである場合、血流量の多いボクセルに高い不透明度を設定し、血流量の少ないボクセルに低い不透明度を設定することによって、血流の多い部位が鮮明に描出されたボリュームレンダリング画像を得ることができる。
【００６９】
図７及び図８はそれぞれ第一、第二のボリュームデータに対して設定するカラー条件の一例を示している。図７に示すように各ボクセル値に対して、赤、緑、青の色成分に同じ値を割り当てれば（カラー条件を示す３つの直線が同一となっている）、第一のボリュームデータの断面画像は白黒画像となる。また、図８に示すように、各ボクセル値に対して、赤、緑、青の色成分の各々に異なる値を割り当てれば、第二のボリュームデータの三次元画像はカラー画像となる。
【００７０】
図９は以上の処理によって作成された合成画像を画像表示部１４に表示させた際の表示例を示す図である。
【００７１】
Ｃ１は第一のボリュームデータに基づく三次元画像（Ｂモードの断面画像）を示しており、ボリュームの中央を通る平面が断面位置として指定されている。Ｃ２は第二のボリュームに基づく三次元画像（血流ドップラ画像）を示している。この画像Ｃ２には血流領域を表示する断面位置およびそのレンダリング条件が適宜、設定されている。ｎは画像Ｃ１よりも視線方向手前側の部分を示している。
【００７２】
観察者からの指示に基づく前領域削除設定部１０による前領域削除が指定されると、断面画像を境に部分ｎが削除されるとともに、断面画像上に血流領域の切り口が合成され表示される。この様子を図９（ｂ）に示す。
【００７３】
なお、合成画像の全体は、レンダリング条件を変えてレンダリングを再実行することで任意に回転可能である。つまり、表示方向（視線方向）は可変である。また、断面の位置及び形状も任意に変更可能である。さらに、前領域削除を設定した場合に表示される血流ドップラ画像の断面に対し、不透明度の重み付けを変化させることで、表示態様を適切に変化させることもできる。
【００７４】
以上説明した本実施形態によれば、上述したように、視線方向に沿った注目点の処理では、注目点の初期位置を投影面上におくか、それとも深さマップで示される断面上におくか前領域削除設定に従って切り替えることにより、ボリュームデータを参照しながら三次元画像を生成する際の参照領域（すなわち画像生成領域）を変化させることができる。これにより、設定断面よりも視点方向手前側を走行する血管の部分については一時的に画像生成せず、断面を通過する血管の断面画像を腫瘍の断面画像に合成して表示するといった表示制御（視線方向手前側の血管画像を一時的な非表示状態にする）が可能となる。このような表示制御によれば、例えば血管の走行状態と腫瘍の内部構造との関係を正確かつ容易に把握できるようになる。
【００７５】
したがって、本実施形態によれば、被検体の同一部位について異なるＢモード及びドップラーモードにより得られた第一及び第二のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより、画像診断及び治療上有益な画像を生成する三次元医用画像合成表示装置を提供できる。
【００７６】
次に、本発明の医用画像処理装置の他の実施形態を説明する。
【００７７】
上述した実施形態は、本発明の医用画像処理装置を超音波診断装置に組み合わせた三次元医用画像合成表示装置に関するものであった。本実施形態は超音波診断装置のみならず、医用分野で取り扱われるＸ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、核医学診断装置などの各種医用画像診断装置に対し本発明に係る医用画像処理装置を組み合わせた実施の形態に関する。
【００７８】
先ず、上述した超音波診断装置は、組織画像であるＢモード画像と血流画像であるカラードップラー画像又はパワードップラー画像を同一の超音波走査によって同時に収集できる点に特徴がある。第一の三次元画像の生成にＢモード画像を用い、第二の三次元画像の生成にカラードップラー画像又はパワードップラー画像を用い、両画像を合成して表示することにより被検体組織と流体（例えば血流）との三次元的な位置関係を効果的に表示できる。
【００７９】
また、磁気共鳴イメージング（ＭＲＩ）装置は、多岐にわたるイメージング方式が開発されており、イメージング方式を選択することにより水若しくは脂肪の分布画像や血流画像等を得ることが可能である。
【００８０】
ＭＲＩ装置は、上記した超音波診断装置のように同一部位に関する異種の画像を同時に得ることはできない。そこで、被検体の***を静止状態に保ち、かつ連続的に異種のイメージングを実行する。これにより同一部位に関する異種の画像を逐次に得る。そして、例えば第一の三次元画像の生成に病変部位の強調画像を用い、第二の三次元画像の生成に、異なる時期に収集した血流画像を用い、上述した本発明に従って両画像を合成表示する。これにより病変部と血流との三次元的な位置関係を効果的に表示できる。
【００８１】
また、異なる医用画像診断装置（モダリティ）から得られた画像の合成表示を行っても良い。例えば、Ｘ線コンピュータ断層撮影（ＣＴ）装置は、ＭＲＩ画像よりもコントラストは劣るものの軟組織や骨組織が明瞭に描出された画像を得ることができる。また、被検体に造影剤を注入して撮影を行うことで、血流や患部が強調して描出された画像を得ることもできる。
【００８２】
そして、上記ＭＲＩ装置により得た画像と、Ｘ線ＣＴ装置により得た画像とを画像合成する。しかしながら、両画像は異なるモダリティにより得たものであるから画像同士の位置や倍率等が一致せず、単純に画像合成して比較観察することができない場合がある。
【００８３】
そこで、本願発明と同一出願人による出願に係る特開平１０―１３７１９０号公報に記載の医用画像処理装置の構成を応用する。つまり、異種のモダリティにより得られた画像を、両者を比較観察可能なように位置合わせすることで、両者を合成可能なボリュームデータを準備する。しかる後にこれまでに説明した本発明の三次元画像合成を行う。
【００８４】
ＳＰＥＣＴ装置などの核医学診断装置では、使用する核種、薬剤を適切に選択することで被検体の機能的な情報を画像化できる。
Ｘ線ＣＴ装置とＭＲＩ装置との組み合わせの場合と同様に、ＳＰＥＣＴ装置により得られた画像とＸ線ＣＴ装置により得られた画像とは、単純に画像合成して比較観察することができない場合がある。このため、例えば本願発明と同一出願人による出願に係る特開平１０―１３７２３１号公報に記載の医用画像処理装置の構成を適用し、同一被検体のＸ線ＣＴ画像とＳＰＥＣＴ画像との立体的な位置関係を求めて一致させる。上記公報に記載の医用画像処理装置では、解剖学的な形態情報に基づいて選択した複数画像情報の相対的な位置関係を算出し、選択した複数画像情報相互間の位置合わせを行う。
【００８５】
そして、第一の三次元画像の生成にＸ線ＣＴ装置で得られた例えば骨および軟組織の画像を用い、第二の三次元画像の生成にＳＰＥＣＴ装置により得られた機能画像を用い、両画像の合成画像を生成することにより、対象物の形態と機能との両者を関連付けた効果的な表示を行うことができる。
【００８６】
なお、本発明は上述した実施形態のみに限定されず種々変形して実施可能である。例えば上述した実施形態は２種類の三次元（ボリューム）データの合成表示を行うものであったが、３種類以上の三次元データを扱う場合であっても、実施形態に記載した本発明の原理に従って合成表示を行うことが可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより画像診断及び治療上有益な画像を生成する医用画像処理装置を提供できる。
【図面の簡単な説明】
【図１】本発明の医用画像処理装置の一実施形態に係る三次元医用画像合成表示装置の概略構成を示すブロック図
【図２】第一および第二のボリュームデータと、両ボリュームデータに基づく三次元画像が生成される投影面との関係を示す図
【図３】深さマップの作成手順を示すフローチャート
【図４】三次元合成画像の生成手順を示すフローチャート
【図５】第一のボリュームデータに対して設定する不透明度の一例を示した図
【図６】第二のボリュームデータに対して設定する不透明度の一例を示した図
【図７】第一のボリュームデータに対して設定するカラー条件の一例を示した図
【図８】第二のボリュームデータに対して設定するカラー条件の一例を示した図
【図９】作成された合成画像を画像表示部に表示させた際の表示例を示す図
【符号の説明】
２…ボリュームデータ作成部
４…断面位置設定部
６…断面座標生成部
８…レンダリング条件設定部
１０…前領域削除設定部
１２…合成画像生成部
１４…画像表示部
【発明の属する技術分野】
本発明は、医用分野で取り扱われる超音波診断装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、核医学診断装置などの各種医用画像診断装置と組み合わされる医用画像処理装置に関し、特に、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータを三次元画像処理して合成画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
医用画像診断機器の一つであるＸ線コンピュータ断層撮影装置は、被検体に曝射したＸ線の減衰率の分布を画像化する。また核医学診断装置では、投与した放射性同位体から放射されるγ線の分布を画像化する。このように、医用画像診断機器の種類によって画像化される人体の物理量は異なっている。また、同一の医用画像診断装置であっても、装置内で撮影方式（撮影モード）を変更することで異なった物理量を画像化することも可能である。例えば、超音波診断装置は、同一の装置内で２種類又はそれ以上の撮影モードを具備しているのが一般的であり、Ｂモードと称される撮影モードでは被検体内部における超音波の伝達速度の違いを輝度の変化として画像化でき、ドップラモードと称される撮影モードでは血液などの移動物体の移動速度やその流量など、Ｂモードとは異なる物理量を画像化できる。
【０００３】
医用画像診断装置によって収集された画像を表示させて医師が画像診断を実施する場合、単に１種類の画像を表示させるだけでなく、他種の画像診断装置で撮影された画像や、異なる撮影モードで撮影された画像をあわせて表示させることで、物理的な意味や臨床的な価値の異なる複数種類の画像を複合的に観察可能にし、診断の正確度の向上を図るようにしている。
【０００４】
例えば超音波画像に基づいて肝臓の腫瘍を診断する場合、Ｂモード画像を観察して腫瘍の大きさ、位置、腫瘍の内部構造等を確認し、さらにドップラ画像を観察することで腫瘍の周囲にある血管の位置を確認する。これにより血管の走行と腫瘍との位置関係を確認する。また、腫瘍に養分を与える栄養血管がどの血管から伸びて腫瘍に入り込んでいるかを判定し、腫瘍の大きさに対する栄養血管の領域の割合を調べる。これらの結果に基づき、腫瘍の解剖学的な位置、悪性度、進行度等を総合的に診断する。
【０００５】
例えば肝臓の内部は肝動脈、肝静脈、門脈が立体的かつ複雑に走行しており、立体的な血管走行と腫瘍との関係を医師が理解するには高度な知識と経験を必要とする。さらに、診断結果に基づく治療を実施する場合、診断を行なった医師が治療を行なう医師に対し血管走行と腫瘍との関係を正確に伝達しなければならないが、この場合にも高度な知識と経験を必要とする。
【０００６】
そこで、超音波画像で肝臓の腫瘍を診断するような場合、立体的な血管走行と腫瘍との関係を医師が容易に理解できるようにするため、Ｂモード画像とドップラ画像とを組み合わせて表示させている。
【０００７】
実際の医用現場では、超音波診断装置により二次元のＢモード画像に対し同じく二次元のドップラ画像を合成して表示する手法が採られている。また、診断能のさらなる向上を図るべく、空間的に連続して収集されたＢモード画像及びドップラ画像から各々の三次元画像を構成し、これらを合成して表示する手法が提案されている。
【０００８】
医用画像で主に用いられる三次元画像の生成手法としては、ボリュームデータから閾値処理により抽出した表面を三次元的に表示するサーフェスレンダリング（表面表示）、ボリュームデータを構成する各々の画素値に不透明度や色を割り当て、データそのものを三次元的に表示するボリュームレンダリング、ボリュームデータから任意の断面を切り出して断面画像を表示するＭＰＲなどが一般的である。
【０００９】
サーフェスレンダリングによれば、腫瘍あるいは血管の表面の抽出処理を行うことによって、これらの三次元的な表面形状、位置、および走行状態を表示できる。同じく、ボリュームレンダリングにおいても、腫瘍あるいは血管に対応する画素領域の画素値に高い値の不透明度を割り当てることによって、これらの三次元的な形状、位置、および走行状態を表示できるようになる。
【００１０】
しかし、サーフェスレンダリング画像やボリュームレンダリング画像によれば、対象物の三次元的な形状や位置を観察できるという反面、腫瘍内部の構造や腫瘍の内部を走する血管を観察することは困難である。一方、ＭＰＲ画像では、腫瘍の内部に切断面を設定することで内部の構造を観察できるが、腫瘍や血管の三次元的な位置や形状、および走行状態を観察することは困難である。
【００１１】
上述したような肝臓の腫瘍の画像と血管の画像とを三次元合成する場合、Ｂモード画像とドップラモード画像とのサーフェスレンダリング画像の単なる組み合わせや、同様に、両画像のボリュームレンダリング画像の組み合わせ、あるいは両画像のＭＰＲ画像の組み合わせからでは、血管と腫瘍との位置関係をつかみにくいという問題点がある。
【００１２】
そこで、特願平１０−２７５３５４号では、Ｂモード画像のＭＰＲ画像と、ドップラ画像のサーフェスレンダリング画像又はボリュームレンダリング画像とを合成し、血管の立体的な走行と腫瘍の内部構造との両者を同時に分かりやすく表示する手法が提案されている。
【００１３】
しかしながら、上記手法が適用された合成画像表示では、視点から見て腫瘍断面のＭＰＲ画像の一部が血管の三次元画像に覆い隠されてしまう場合がある。これにより表示血管が、切り出した腫瘍断面を通過している血管であるか、それとも腫瘍断面外を走行する血管であるかを区別することが困難となる場合がある。従って、このことが画像診断の妨げになり、また、治療上有益な情報を提供できないという問題があった。
【００１４】
【発明が解決しようとする課題】
本発明は上記事情を考慮してなされたものであり、その目的は、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより画像診断及び治療上有益な画像を生成する医用画像処理装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記課題を解決し目的を達成するため、本発明の医用画像処理装置は、次のように構成されている。
【００１６】
（１）本発明の医用画像処理装置は、同一視線方向から見た同一被検体部位の複数の三次元画像を生成しこれらを合成する医用画像処理装置において、前記被検体部位の第一、第二のボリュームデータを入力する入力手段と、前記被検体部位の断面を設定する設定手段と、前記三次元画像が投影される投影面から前記設定手段により設定された断面までの深さ値を表す深さマップを前記第一のボリュームデータに基づいて生成する生成手段と、前記深さマップを参照し、前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づく三次元画像を生成すると共に、前記第一のボリュームデータに基づく前記断面の三次元画像を生成し、前記第二のボリュームデータに基づく三次元画像と前記断面の三次元画像とを合成する合成手段と、を具備する。
【００１７】
（２）本発明の医用画像処理装置は、上記（１）に記載の装置であって、かつ前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づき生成された三次元画像と、該データを除外しないで前記第二のボリュームデータに基づき生成された三次元画像とを切り替えて表示する表示手段をさらに具備することを特徴とする。
【００１８】
（３）本発明の医用画像処理装置は、上記（１）又は（２）のいずれかに記載の装置であって、かつ前記第一のボリュームデータに基づく断面の三次元画像に前記第二のボリュームデータに基づく切断面の三次元画像が合成表示される。
【００１９】
（４）本発明の医用画像処理装置は、上記（３）に記載の装置であって、かつ前記第二のボリュームデータに基づく切断面の三次元画像の透明度を変化させて前記第一のボリュームデータに基づく断面の三次元画像に合成表示する。
【００２０】
（５）本発明の医用画像処理装置は、上記（１）乃至（４）のいずれかに記載の装置であって、かつ前記設定手段により設定する断面の位置又は形状は可変であることを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００２２】
図１は本発明の医用画像処理装置の一実施形態に係る三次元医用画像合成表示装置の概略構成を示すブロック図である。この装置は、画像データ記憶部１及び２、ボリュームデータ作成部２、ボリュームデータ記憶部１及び２、断面位置設定部４、断面座標生成部６、レンダリング条件設定部８、前領域削除設定部１０、合成画像生成部１２、画像表示部１４により構成されていると共に、医用画像を収集するための例えば超音波診断装置１５に接続されている。他の実施形態にて後に説明するが、本発明に係る医用画像処理装置は、磁気共鳴イメージング（ＭＲＩ）装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、核医学診断装置（ガンマカメラ）等に接続される装置としても実施可能である。
【００２３】
画像データ記憶部１には、超音波診断装置１５から第１の画像の画像データ及びその画像の位置情報データが供給される。ここでは、超音波診断装置１５による超音波三次元スキャンによって収集され、各々の断面位置が異なる複数枚のＢモード画像を第１の画像とする。１枚のＢモード画像（断面画像）は、被検体内における臓器実質等の組織が描出された画像である。
【００２４】
一方、画像データ記憶部２には、超音波診断装置１５から第２の画像の画像データ及びその画像の位置情報データが供給される。ここでは超音波診断装置１５による上記と同一（時期）の超音波三次元スキャンによって収集され、各々の断面位置が異なる複数枚のドップラー画像を第２の画像とする。１枚のドップラー画像は、被検体内の移動物体（例えば血流等）が描出された画像である。
【００２５】
ボリュームデータ作成部２は、画像データ記憶部１に記憶されている第１の画像の画像データ及びその画像の位置情報データを読み出す。該読み出された位置情報データに基づき、画像データの構成要素である複数の画素データが三次元記憶領域上の所定位置に配置され、これが、読み出された全ての断面位置の画像データについて繰り返される。また、読み出された画像データの他に、所要の断面に関するデータが公知の補間演算処理によって補われる。結果として、直交三軸の各々の方向に沿って等間隔にサンプル点（「ボクセル」と称する）が配置されて成る第一のボリュームデータが作成される。また、ボリュームデータ作成部２は、同様にして画像データ記憶部２に記憶されている第２の画像の画像データ及びその画像の位置情報データを読み出し、これらの画像データ等に基づく第二のボリュームデータを作成する。
【００２６】
ボリュームデータ記憶部１は、ボリュームデータ作成部２により作成された第一のボリュームデータを記憶・保持し、ボリュームデータ記憶部２は、ボリュームデータ作成部２により作成された第二のボリュームデータを記憶・保持する。
【００２７】
断面位置設定部４はボリュームデータ上の所望の断面位置を対話的に設定するための手段であり、例えばダイアルログウインドウ表示なのどグラフィカルユーザインターフェース（ＧＵＩ）手段を備える。
【００２８】
断面座標生成部６は、ボリュームデータ記憶部１から第一のボリュームデータを読み出し、断面位置設定部４により設定された断面位置について、レンダリング条件設定部８により設定された視線方向に直交する第一ボリュームデータ上の設定断面を表す座標群（深さマップ）を生成する。
【００２９】
レンダリング条件設定部８は、第二のボリュームデータに基づく三次元画像（本実施形態では「ボリュームレンダリング画像」とする）の作成に使用される条件、すなわちボリュームデータの構成要素である各ボクセルに対する不透明度、カラー、および表示方向を設定する。この表示方向は、合成する第一の三次元画像の表示方向と同じであり、所定の投影面（表示面）に直交する視線方向でもある。なお、第一の三次元画像（断面画像）の不透明度、カラーについてもレンダリング条件設定部８によって設定される。
【００３０】
前領域削除設定部１０は、断面位置設定部４により第一のボリュームデータに設定された断面よりも視線方向手前に相当する第二のボリュームデータ領域を削除するか否かの設定をユーザが行うための手段である。なお、ここでいう「削除する」とは、ボリュームデータ記憶部２からボリュームデータ自体を消去するという意味ではなく、後述するレンダリング処理において第二ボリュームデータの一部領域を参照しない、つまり当該領域のボリュームデータに基づく三次元画像を生成しないということを意味する。
【００３１】
合成画像生成部１２は、ボリュームデータ記憶部１に記憶されている第一のボリュームデータ及びボリュームデータ記憶部２に記憶されている第二のボリュームデータを読み出し、レンダリング条件設定部８において設定された表示方向（すなわち投影方向であり、視線方向である）に沿ってレンダリング処理を行い、第一のボリュームデータに基づく第一の三次元画像（断面画像）と第二のボリュームデータに基づく第二の三次元画像との合成画像を生成する。このレンダリング処理では、第一の三次元画像と第二の三次元画像の各々に対しレンダリング条件設定部８により設定された不透明度、カラー等のレンダリング条件が用いられる。また、このレンダリング処理は前領域削除設定部１０により設定された前領域削除の可否を考慮して行われる。合成画像生成部１２により生成された合成画像は画像表示１４に出力され、表示に供される。
【００３２】
以下、第一のボリュームデータに任意の断面を設定し、該設定断面を表現する深さマップを生成し、該深さマップを参照しながら第一、第二のボリュームデータに基づく２種の三次元画像の合成画像を生成するまでの処理を詳細に説明する。
【００３３】
図２は、第一および第二のボリュームデータと、両ボリュームデータに基づく三次元画像が生成される投影面との関係を示す図である。同図に示すように、本実施形態では２つのボリュームデータの座標系を同一とする。この座標系をボリュームデータ座標系Vx-Vy-Vzと呼ぶことにする。図２において、ボリュームデータ座標系Vx-Vy-Vz上の球は、第一および第二のオブジェクトを示している。ここでは、第一のオブジェクトは第一のボリュームデータに基づく三次元画像であり、第二のオブジェクトは第二のボリュームデータに基づく三次元画像である。画像表示部１４により表示される最終画像は、第一および第二のオブジェクトをそれぞれ投影面に投影した画像である。
【００３４】
三次元画像を投影する投影面は、レンダリング条件設定部８により設定された表示（視線）方向に直交する所定の２次元平面とし、これをスクリーン座標系Sx-Sy-Sdと呼ぶことにする。座標軸Sdは視線方向と同一方向であり、投影面から座標軸Sdに沿ってボリュームデータ上の点まで伸ばした線分の長さを深さdと呼ぶことにする。
【００３５】
上述したように断面座標生成部６は、断面位置設定部４により設定された断面位置の条件とレンダリング条件設定部８により設定された視線方向と、に従って、第一のボリュームデータの断面位置の座標群を決定する。
【００３６】
ボリュームデータ上における「断面」とは、医師による診断に供される断面画像（濃淡値画像）が描出される領域であるとともに、例えば視点からみて「断面」より手前側の三次元画像は非表示にする、しないなどといった三次元画像の表示対象領域の内外を区別するための境界を表すものでもある。このため断面には例えば以下（１）〜（３）に示すように閾値、数式、及び座標等が設定されており、表示領域の決定条件として用いられる。
【００３７】
（１）ボリュームデータのあるボクセルの値が、設定された閾値の範囲内であって、これに隣接するボクセルの値が閾値の範囲外である場合は、当該ボクセルは断面上のボクセルとする。
【００３８】
（２）ボリュームデータ座標系あるいはスリーン座標系において、以下ような数式で表される座標の範囲内／外の境界を断面とする。
【００３９】
例１：次の条件を満たすスリーン座標系の座標(xs,ys,ds)は領域内である。
【００４０】
Lxs <xs &&xs <Hxs &&Lys <ys &&ys <Hys &&Lds <ds &&ds <Hds
例２：次の条件を満たすボリュームデータ座標系の座標(xv,yv,zv)は領域内である。
【００４１】
(xv-Oxv)2 +(yv-Oyv)2 +(yv-Oyv)2 <Rv2
（３）ボリュームデータ座標系あるいはスクリーンデータ座標系の各座標毎に、領域内／外を指定し、この境界を断面として設定する。
【００４２】
そして本実施形態では、第一のボリュームデータの断面位置（断面画像）をスクリーン座標系の座標として求める。即ち、スクリーンから表示対象断面までの深さ値を格納した二次元配列を求める。これを深さマップD1(x,y)と称する。
【００４３】
図３は深さマップの作成手順を示すフローチャートである。
まず、ステップＳ１において、断面画像の深さマップD1(x,y)を初期化（例えば(0,0)を設定）する。次に、スクリーン座標系上の投影面の座標(x,y)を通る視線方向View(x,y)を初期設定する。また、注目点の深さdを初期化（例えば0すなわち投影面上を設定）する。
【００４４】
次に、深さマップ上のある点(x,y)の深さdを次のようにして求める。
【００４５】
まず、注目点の座標(x,y,d)がオブジェクト１中の設定領域内に含まれるか否かを判断する（ステップＳ４）。
【００４６】
ステップＳ５において注目点が上記設定領域外であると判断された場合には、注目点の深さを視線方向に沿って１ボクセルの大きさに相当する微少量だけ進めたのち（ステップＳ８）、ステップＳ４に戻る。一方、注目点が上記設定領域内に含まれると判断された場合は、注目点(x,y,d)のボクセル値V1(x,y,d)を求め（ステップＳ５）、これが所定の閾値の範囲内であるか否かを判断する（ステップＳ６）。かかる閾値処理により第一のボリュームデータから表示対象物が抽出される。
【００４７】
ステップＳ６において、注目点のボクセル値が上記閾値の範囲外であると判断された場合には、ステップＳ８に移行し、上記と同様に注目点を視線方向に沿って進める。一方、注目点のボクセル値が上記閾値の範囲内に含まれると判断された場合には注目点の深さ値dを深さマップD1(x,y)に書込み（ステップＳ７）、当該注目点に係る投影面上の点(x,y)での深さ値dの計算を終える。
【００４８】
また、注目点の深さが最大深さDmaxとなった場合、注目点の深さ値dをDmaxとし、この点(x,y)での深さ値の計算を終了する（ステップＳ９）。
【００４９】
そして、投影面の座標(x,y)を更新したのち（ステップＳ１０）、投影面上の全ての座標（画素）につき深さ値dが求まるまで、ステップＳ２〜Ｓ１１の処理を繰り返す。結果として、深さマップD1(x,y)が作成される。
【００５０】
上述したように、画像表示部１４により表示される最終画像は、第一および第二のオブジェクトをそれぞれ投影面に投影した画像である。両ボリュームデータのボリュームデータ座標系Vx-Vy-Vzが同一であり、かつ第一および第二のオブジェクトを同一の投影面に対し投影するため、最終画像は両オブジェクトの合成画像となる。
【００５１】
図４は、合成画像の生成手順を示すフローチャートである。
【００５２】
先ずステップＳ１において、投影面のある点(x,y)の画素値I(x,y)を求める場合、先ずはこの点を通る視線方向View(x,y)を設定し、同じくこの点を通る光線の強さをIntensityを１で初期化する。さらに、画素値I(x,y)を０で初期化する。
【００５３】
次に、ステップＳ２において、前領域削除設定部１０により前領域削除が指定されているか否かを判断する。前領域削除が指定されいない場合、注目点の初期位置を投影面上に置く。すなわち深さdを０で初期化する（ステップＳ４）。
【００５４】
一方、前領域削除が指定されている場合は、深さマップの値D1(x,y)を調べ、この値が最大深さDmax未満であるか否かを判定し（ステップＳ３）、最大深さDmax未満であるならば、注目点の初期位置を断面上に置く。すなわち深さdをD1(x,y)とする（ステップＳ５）。一方、最大深さDmax以上であるならば、注目点の初期位置を投影面上に置く。すなわち、深さdを０で初期化する（ステップＳ４）。このように、注目点の初期位置を投影面上におくか、それとも深さマップで示される断面上におくか前領域削除設定に従って切り替えることにより、ボリュームデータを参照しながら三次元画像を生成する際の参照領域（すなわち画像生成領域）を変化させることができる。
【００５５】
次に、注目点付近の第二のボリュームデータの濃度勾配ベクトルGradient(V2(x,y,d))、光線方向ベクトルLight、光線強度Intensity、及び注目点の第二のボリュームデータのボクセル値V2(x,y,d)に基づいて設定された色Color2(V2(x,y,d))により、第二のボリュームデータの注目点の色I2(x,y,d)を計算する（ステップＳ６）。
【００５６】
この場合の計算方法は、ボリュームレンダリング処理において一般的に用いられている例えば次のような計算式（１）を用いる方法とする。
【００５７】
I2(x,y,d)=Reflection(Gradient(V2(x,y,d)),Light)*Intensity*Color2(V2(x,y,d)) …（１）
ボリュームレンダリング処理の詳細については、例えば参考文献：R.A.Drebin et al.,“Volume Rendering",Computer Graphics,22(4),1988 65-74の記載を参考にできる。
【００５８】
上記計算により求められた第二のボリュームデータの注目点の色I2(x,y,d)に、第二のボリュームデータの不透明度Opacity2(V2(x,y,d))を乗じた値を画素値I(x,y)に加算する（ステップＳ７）。この場合の計算式は次の通りである。
【００５９】
I(x,y)+=I2(x,y,d)*Opacity2(V2(x,y,d)) …（２）（但し「A+=B」は「A=A+B」と同義）
ここで、注目点の深さdが第一のボリュームの断面位置と等しいか否かを判定する（ステップＳ８）。第一のボリュームの断面位置は、既に作成された深さマップD1(x,y)を参照して知ることができる。
【００６０】
注目点の深さdが第一のボリュームの断面位置と等しい場合には、まず第一のボリュームデータのボクセル値V1(x,y,d)に基づく色Color1(V1(x,y,d))すなわち断面の色I1(x,y,d)を計算する（ステップＳ９）。この場合の計算式は次の通りである。
【００６１】
I1(x,y,d)=Color1(V1(x,y,d)) …（３）
つぎにこの色I1(x,y,d)に不透明度Opacity1(V1(x,y,d))を乗じた値を画素値I(x,y)に加算する。つまり画素値に断面の色が加算される（ステップＳ１１）。この場合の計算式は次の通りである。
【００６２】
I(x,y)+=I1(x,y,d)*Opacity1(V1(x,y,d)) …（４）
さらに、第一のボリュームデータの不透明度Opacity1(V1(x,y,d))と第二のボリュームデータの不透明度Opacity2(V2(x,y,d))とに応じて光線強度Intensityを減衰させる。この場合の計算式は次の通りである。
【００６３】
Intensity*=(1-(Opacity1(V1(x,y,d)))+Opacity2(V2(x,y,d))) …（５） （但し「A*=B」は「A=A*B」と同義）
一方、ステップＳ８において注目点の深さdが第一のボリュームの断面位置と等しくないと判定された場合には、断面の色の加算は行わず、第二のボリュームデータの不透明度Opacity2(V2(x,y,d))のみに基づいて光線強度Intensityを減衰させる（ステップＳ１０）。この場合の計算式は次の通りである。
【００６４】
Intensity*=(1-(Opacity2(V2(x,y,d)) …（６）
ここで、光線強度Intensityが最小の光強度εよりも大きいか否かを判定する（ステップＳ１３）。
【００６５】
光線強度Intensityが最小の光強度εよりも大きければ、さらに注目点を視線方向に１ボクセルの大きさに相当する長さぶん、わずかに進める（ステップＳ１４）。そして光線強度Intensityが最小の光強度εよりも大きく、かつ注目点の深さdが最大深さDmax以下の場合は、進めた注目点について再度、画素値I(x,y)を求める計算（ステップＳ６〜）を繰り返す。
【００６６】
一方、光線強度Intensityが最小の光強度ε以下である場合又は注目点の深さdが最大深さDmaxを超えた場合、当該点(x,y)における画素値の計算を終了して投影面の座標(x,y)を更新し、次の投影画素の画素値計算を開始する（ステップＳ１７）。これを全ての投影画素値について繰り返す。
【００６７】
図５は第一のボリュームデータに対して設定する不透明度の一例を示した図である。不透明度を全て１とすれば、断面の背後の領域は断面に隠れて見えなくなる。一方、不透明度を１未満の値にすれば、断面の背後の領域は不透明度に応じ、透けて見えるようになる。
【００６８】
図６は第二のボリュームデータに対して設定する不透明度の一例を示した図である。本実施形態のように第二のボリュームデータが血流量を示すボリュームデータである場合、血流量の多いボクセルに高い不透明度を設定し、血流量の少ないボクセルに低い不透明度を設定することによって、血流の多い部位が鮮明に描出されたボリュームレンダリング画像を得ることができる。
【００６９】
図７及び図８はそれぞれ第一、第二のボリュームデータに対して設定するカラー条件の一例を示している。図７に示すように各ボクセル値に対して、赤、緑、青の色成分に同じ値を割り当てれば（カラー条件を示す３つの直線が同一となっている）、第一のボリュームデータの断面画像は白黒画像となる。また、図８に示すように、各ボクセル値に対して、赤、緑、青の色成分の各々に異なる値を割り当てれば、第二のボリュームデータの三次元画像はカラー画像となる。
【００７０】
図９は以上の処理によって作成された合成画像を画像表示部１４に表示させた際の表示例を示す図である。
【００７１】
Ｃ１は第一のボリュームデータに基づく三次元画像（Ｂモードの断面画像）を示しており、ボリュームの中央を通る平面が断面位置として指定されている。Ｃ２は第二のボリュームに基づく三次元画像（血流ドップラ画像）を示している。この画像Ｃ２には血流領域を表示する断面位置およびそのレンダリング条件が適宜、設定されている。ｎは画像Ｃ１よりも視線方向手前側の部分を示している。
【００７２】
観察者からの指示に基づく前領域削除設定部１０による前領域削除が指定されると、断面画像を境に部分ｎが削除されるとともに、断面画像上に血流領域の切り口が合成され表示される。この様子を図９（ｂ）に示す。
【００７３】
なお、合成画像の全体は、レンダリング条件を変えてレンダリングを再実行することで任意に回転可能である。つまり、表示方向（視線方向）は可変である。また、断面の位置及び形状も任意に変更可能である。さらに、前領域削除を設定した場合に表示される血流ドップラ画像の断面に対し、不透明度の重み付けを変化させることで、表示態様を適切に変化させることもできる。
【００７４】
以上説明した本実施形態によれば、上述したように、視線方向に沿った注目点の処理では、注目点の初期位置を投影面上におくか、それとも深さマップで示される断面上におくか前領域削除設定に従って切り替えることにより、ボリュームデータを参照しながら三次元画像を生成する際の参照領域（すなわち画像生成領域）を変化させることができる。これにより、設定断面よりも視点方向手前側を走行する血管の部分については一時的に画像生成せず、断面を通過する血管の断面画像を腫瘍の断面画像に合成して表示するといった表示制御（視線方向手前側の血管画像を一時的な非表示状態にする）が可能となる。このような表示制御によれば、例えば血管の走行状態と腫瘍の内部構造との関係を正確かつ容易に把握できるようになる。
【００７５】
したがって、本実施形態によれば、被検体の同一部位について異なるＢモード及びドップラーモードにより得られた第一及び第二のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより、画像診断及び治療上有益な画像を生成する三次元医用画像合成表示装置を提供できる。
【００７６】
次に、本発明の医用画像処理装置の他の実施形態を説明する。
【００７７】
上述した実施形態は、本発明の医用画像処理装置を超音波診断装置に組み合わせた三次元医用画像合成表示装置に関するものであった。本実施形態は超音波診断装置のみならず、医用分野で取り扱われるＸ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、核医学診断装置などの各種医用画像診断装置に対し本発明に係る医用画像処理装置を組み合わせた実施の形態に関する。
【００７８】
先ず、上述した超音波診断装置は、組織画像であるＢモード画像と血流画像であるカラードップラー画像又はパワードップラー画像を同一の超音波走査によって同時に収集できる点に特徴がある。第一の三次元画像の生成にＢモード画像を用い、第二の三次元画像の生成にカラードップラー画像又はパワードップラー画像を用い、両画像を合成して表示することにより被検体組織と流体（例えば血流）との三次元的な位置関係を効果的に表示できる。
【００７９】
また、磁気共鳴イメージング（ＭＲＩ）装置は、多岐にわたるイメージング方式が開発されており、イメージング方式を選択することにより水若しくは脂肪の分布画像や血流画像等を得ることが可能である。
【００８０】
ＭＲＩ装置は、上記した超音波診断装置のように同一部位に関する異種の画像を同時に得ることはできない。そこで、被検体の***を静止状態に保ち、かつ連続的に異種のイメージングを実行する。これにより同一部位に関する異種の画像を逐次に得る。そして、例えば第一の三次元画像の生成に病変部位の強調画像を用い、第二の三次元画像の生成に、異なる時期に収集した血流画像を用い、上述した本発明に従って両画像を合成表示する。これにより病変部と血流との三次元的な位置関係を効果的に表示できる。
【００８１】
また、異なる医用画像診断装置（モダリティ）から得られた画像の合成表示を行っても良い。例えば、Ｘ線コンピュータ断層撮影（ＣＴ）装置は、ＭＲＩ画像よりもコントラストは劣るものの軟組織や骨組織が明瞭に描出された画像を得ることができる。また、被検体に造影剤を注入して撮影を行うことで、血流や患部が強調して描出された画像を得ることもできる。
【００８２】
そして、上記ＭＲＩ装置により得た画像と、Ｘ線ＣＴ装置により得た画像とを画像合成する。しかしながら、両画像は異なるモダリティにより得たものであるから画像同士の位置や倍率等が一致せず、単純に画像合成して比較観察することができない場合がある。
【００８３】
そこで、本願発明と同一出願人による出願に係る特開平１０―１３７１９０号公報に記載の医用画像処理装置の構成を応用する。つまり、異種のモダリティにより得られた画像を、両者を比較観察可能なように位置合わせすることで、両者を合成可能なボリュームデータを準備する。しかる後にこれまでに説明した本発明の三次元画像合成を行う。
【００８４】
ＳＰＥＣＴ装置などの核医学診断装置では、使用する核種、薬剤を適切に選択することで被検体の機能的な情報を画像化できる。
Ｘ線ＣＴ装置とＭＲＩ装置との組み合わせの場合と同様に、ＳＰＥＣＴ装置により得られた画像とＸ線ＣＴ装置により得られた画像とは、単純に画像合成して比較観察することができない場合がある。このため、例えば本願発明と同一出願人による出願に係る特開平１０―１３７２３１号公報に記載の医用画像処理装置の構成を適用し、同一被検体のＸ線ＣＴ画像とＳＰＥＣＴ画像との立体的な位置関係を求めて一致させる。上記公報に記載の医用画像処理装置では、解剖学的な形態情報に基づいて選択した複数画像情報の相対的な位置関係を算出し、選択した複数画像情報相互間の位置合わせを行う。
【００８５】
そして、第一の三次元画像の生成にＸ線ＣＴ装置で得られた例えば骨および軟組織の画像を用い、第二の三次元画像の生成にＳＰＥＣＴ装置により得られた機能画像を用い、両画像の合成画像を生成することにより、対象物の形態と機能との両者を関連付けた効果的な表示を行うことができる。
【００８６】
なお、本発明は上述した実施形態のみに限定されず種々変形して実施可能である。例えば上述した実施形態は２種類の三次元（ボリューム）データの合成表示を行うものであったが、３種類以上の三次元データを扱う場合であっても、実施形態に記載した本発明の原理に従って合成表示を行うことが可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、被検体の同一部位について異なる撮影方式に従った撮影により得られた複数のボリュームデータにおける画像生成領域を適宜に変化させながら三次元画像合成処理を行うことにより画像診断及び治療上有益な画像を生成する医用画像処理装置を提供できる。
【図面の簡単な説明】
【図１】本発明の医用画像処理装置の一実施形態に係る三次元医用画像合成表示装置の概略構成を示すブロック図
【図２】第一および第二のボリュームデータと、両ボリュームデータに基づく三次元画像が生成される投影面との関係を示す図
【図３】深さマップの作成手順を示すフローチャート
【図４】三次元合成画像の生成手順を示すフローチャート
【図５】第一のボリュームデータに対して設定する不透明度の一例を示した図
【図６】第二のボリュームデータに対して設定する不透明度の一例を示した図
【図７】第一のボリュームデータに対して設定するカラー条件の一例を示した図
【図８】第二のボリュームデータに対して設定するカラー条件の一例を示した図
【図９】作成された合成画像を画像表示部に表示させた際の表示例を示す図
【符号の説明】
２…ボリュームデータ作成部
４…断面位置設定部
６…断面座標生成部
８…レンダリング条件設定部
１０…前領域削除設定部
１２…合成画像生成部
１４…画像表示部
Claims (5)
- 同一視線方向から見た同一被検体部位の複数の三次元画像を生成しこれらを合成する医用画像処理装置において、
前記被検体部位の第一、第二のボリュームデータを入力する入力手段と、
前記被検体部位の断面を設定する設定手段と、
前記三次元画像が投影される投影面から前記設定手段により設定された断面までの深さ値を表す深さマップを前記第一のボリュームデータに基づいて生成する生成手段と、
前記深さマップを参照し、前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づく三次元画像を生成すると共に、前記第一のボリュームデータに基づく前記断面の三次元画像を生成し、前記第二のボリュームデータに基づく三次元画像と前記断面の三次元画像とを合成する合成手段と、を具備することを特徴とする医用画像処理装置。 - 前記視線方向から見て前記断面から手前の空間に対応するデータを除外して前記第二のボリュームデータに基づき生成された三次元画像と、該データを除外しないで前記第二のボリュームデータに基づき生成された三次元画像とを切り替えて表示する表示手段をさらに具備することを特徴とする請求項１に記載の医用画像処理装置。
- 前記第一のボリュームデータに基づく断面の三次元画像に前記第二のボリュームデータに基づく切断面の三次元画像が合成表示される請求項１又は２のいずれか一項に記載の医用画像処理装置。
- 前記第二のボリュームデータに基づく切断面の三次元画像の透明度を変化させて前記第一のボリュームデータに基づく断面の三次元画像に合成表示する請求項３に記載の医用画像処理装置。
- 前記設定手段により設定する断面の位置又は形状は可変であることを特徴とする請求項１乃至４のいずれか一項に記載の医用画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18796999A JP4421016B2 (ja) | 1999-07-01 | 1999-07-01 | 医用画像処理装置 |
| US09/609,032 US6480732B1 (en) | 1999-07-01 | 2000-06-30 | Medical image processing device for producing a composite image of the three-dimensional images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18796999A JP4421016B2 (ja) | 1999-07-01 | 1999-07-01 | 医用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001014446A JP2001014446A (ja) | 2001-01-19 |
| JP4421016B2 true JP4421016B2 (ja) | 2010-02-24 |
Family
ID=16215326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18796999A Expired - Lifetime JP4421016B2 (ja) | 1999-07-01 | 1999-07-01 | 医用画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6480732B1 (ja) |
| JP (1) | JP4421016B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599992B2 (en) * | 2016-11-30 | 2023-03-07 | Canon Kabushiki Kaisha | Display control apparatus, display method, and non-transitory storage medium |
Families Citing this family (87)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001291091A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 画像処理装置および方法 |
| US8036731B2 (en) | 2001-01-22 | 2011-10-11 | Spectrum Dynamics Llc | Ingestible pill for diagnosing a gastrointestinal tract |
| US8909325B2 (en) | 2000-08-21 | 2014-12-09 | Biosensors International Group, Ltd. | Radioactive emission detector equipped with a position tracking system and utilization thereof with medical systems and in medical procedures |
| US8565860B2 (en) | 2000-08-21 | 2013-10-22 | Biosensors International Group, Ltd. | Radioactive emission detector equipped with a position tracking system |
| US7826889B2 (en) | 2000-08-21 | 2010-11-02 | Spectrum Dynamics Llc | Radioactive emission detector equipped with a position tracking system and utilization thereof with medical systems and in medical procedures |
| US8489176B1 (en) | 2000-08-21 | 2013-07-16 | Spectrum Dynamics Llc | Radioactive emission detector equipped with a position tracking system and utilization thereof with medical systems and in medical procedures |
| WO2004042546A1 (en) * | 2002-11-04 | 2004-05-21 | V-Target Technologies Ltd. | Apparatus and methods for imaging and attenuation correction |
| EP1346322A1 (en) * | 2000-12-22 | 2003-09-24 | Koninklijke Philips Electronics N.V. | Stereoscopic viewing of a region between clipping planes |
| DE10100572A1 (de) * | 2001-01-09 | 2002-07-11 | Philips Corp Intellectual Pty | Verfahren zur Darstellung des Blutflusses in einem Gefäßbaum |
| CN1310617C (zh) | 2001-01-22 | 2007-04-18 | V-目标技术有限公司 | 可咽下装置 |
| JP4285623B2 (ja) * | 2001-04-26 | 2009-06-24 | 富士フイルム株式会社 | 画像表示方法および装置並びにプログラム |
| US6826297B2 (en) * | 2001-05-18 | 2004-11-30 | Terarecon, Inc. | Displaying three-dimensional medical images |
| ITSV20010020A1 (it) * | 2001-06-08 | 2002-12-08 | Esaote Spa | Macchina per l'acquisizione di immagini della zona interna di un corpo in particolare per l'acquisizione di immagini diagnostiche |
| JP4688361B2 (ja) * | 2001-07-23 | 2011-05-25 | 株式会社日立メディコ | 臓器の特定領域抽出表示装置及びその表示方法 |
| US7806828B2 (en) * | 2002-02-05 | 2010-10-05 | Inceptio Medical Technologies, Lc | Multiplanar ultrasonic vascular sensor assembly and apparatus for movably affixing a sensor assembly to a body |
| WO2003077202A1 (en) * | 2002-03-06 | 2003-09-18 | Siemens Corporate Research, Inc. | Visualization of volume-volume fusion |
| FR2855292B1 (fr) | 2003-05-22 | 2005-12-09 | Inst Nat Rech Inf Automat | Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation |
| FI117986B (fi) * | 2003-06-17 | 2007-05-15 | Onesys Oy | Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa |
| US7044912B2 (en) * | 2003-08-28 | 2006-05-16 | Siemens Medical Solutions Usa Inc. | Diagnostic medical ultrasound system having method and apparatus for storing and retrieving 3D and 4D data sets |
| US9470801B2 (en) | 2004-01-13 | 2016-10-18 | Spectrum Dynamics Llc | Gating with anatomically varying durations |
| US8586932B2 (en) | 2004-11-09 | 2013-11-19 | Spectrum Dynamics Llc | System and method for radioactive emission measurement |
| WO2007010534A2 (en) | 2005-07-19 | 2007-01-25 | Spectrum Dynamics Llc | Imaging protocols |
| US7176466B2 (en) | 2004-01-13 | 2007-02-13 | Spectrum Dynamics Llc | Multi-dimensional image reconstruction |
| US8571881B2 (en) | 2004-11-09 | 2013-10-29 | Spectrum Dynamics, Llc | Radiopharmaceutical dispensing, administration, and imaging |
| US7968851B2 (en) | 2004-01-13 | 2011-06-28 | Spectrum Dynamics Llc | Dynamic spect camera |
| US9040016B2 (en) | 2004-01-13 | 2015-05-26 | Biosensors International Group, Ltd. | Diagnostic kit and methods for radioimaging myocardial perfusion |
| US20050237336A1 (en) * | 2004-04-23 | 2005-10-27 | Jens Guhring | Method and system for multi-object volumetric data visualization |
| EP1778957A4 (en) | 2004-06-01 | 2015-12-23 | Biosensors Int Group Ltd | OPTIMIZING THE MEASUREMENT OF RADIOACTIVE EMISSIONS IN SPECIFIC BODY STRUCTURES |
| US8280124B2 (en) | 2004-06-01 | 2012-10-02 | Spectrum Dynamics Llc | Methods of view selection for radioactive emission measurements |
| WO2006017172A1 (en) * | 2004-07-09 | 2006-02-16 | Fischer Imaging Corporation | Diagnostic system for multimodality mammography |
| JP4801892B2 (ja) * | 2004-09-10 | 2011-10-26 | 株式会社東芝 | 医用画像表示装置 |
| EP1643444B1 (en) * | 2004-10-01 | 2008-08-13 | MedCom Gesellschaft für medizinische Bildverarbeitung mbH | Registration of a medical ultrasound image with an image data from a 3D-scan, e.g. from Computed Tomography (CT) or Magnetic Resonance Imaging (MR) |
| US8615405B2 (en) | 2004-11-09 | 2013-12-24 | Biosensors International Group, Ltd. | Imaging system customization using data from radiopharmaceutical-associated data carrier |
| US9943274B2 (en) | 2004-11-09 | 2018-04-17 | Spectrum Dynamics Medical Limited | Radioimaging using low dose isotope |
| EP1827505A4 (en) | 2004-11-09 | 2017-07-12 | Biosensors International Group, Ltd. | Radioimaging |
| US9316743B2 (en) | 2004-11-09 | 2016-04-19 | Biosensors International Group, Ltd. | System and method for radioactive emission measurement |
| US8423125B2 (en) | 2004-11-09 | 2013-04-16 | Spectrum Dynamics Llc | Radioimaging |
| WO2008059489A2 (en) | 2006-11-13 | 2008-05-22 | Spectrum Dynamics Llc | Radioimaging applications of and novel formulations of teboroxime |
| EP1844351A4 (en) | 2005-01-13 | 2017-07-05 | Biosensors International Group, Ltd. | Multi-dimensional image reconstruction and analysis for expert-system diagnosis |
| US7231014B2 (en) * | 2005-02-14 | 2007-06-12 | Varian Medical Systems Technologies, Inc. | Multiple mode flat panel X-ray imaging system |
| JP4212564B2 (ja) * | 2005-02-28 | 2009-01-21 | ザイオソフト株式会社 | 画像処理方法および画像処理プログラム |
| WO2006095324A1 (en) * | 2005-03-10 | 2006-09-14 | Koninklijke Philips Electronics N.V. | Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures |
| US20060203010A1 (en) * | 2005-03-14 | 2006-09-14 | Kirchner Peter D | Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units |
| JP4653542B2 (ja) * | 2005-04-06 | 2011-03-16 | 株式会社東芝 | 画像処理装置 |
| US7889905B2 (en) | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
| US8837793B2 (en) | 2005-07-19 | 2014-09-16 | Biosensors International Group, Ltd. | Reconstruction stabilizer and active vision |
| US8111886B2 (en) | 2005-07-19 | 2012-02-07 | Spectrum Dynamics Llc | Reconstruction stabilizer and active vision |
| US8747319B2 (en) * | 2005-10-07 | 2014-06-10 | Hitachi Medical Corporation | Image displaying method and medical image diagnostic system |
| EP1952180B1 (en) | 2005-11-09 | 2017-01-04 | Biosensors International Group, Ltd. | Dynamic spect camera |
| WO2007074466A2 (en) | 2005-12-28 | 2007-07-05 | Starhome Gmbh | Late forwarding to local voicemail system of calls to roaming users |
| US8894974B2 (en) | 2006-05-11 | 2014-11-25 | Spectrum Dynamics Llc | Radiopharmaceuticals for diagnosis and therapy |
| US7601966B2 (en) * | 2006-06-28 | 2009-10-13 | Spectrum Dynamics Llc | Imaging techniques for reducing blind spots |
| US8805034B2 (en) * | 2006-08-11 | 2014-08-12 | Koninklijke Philips N.V. | Selection of datasets from 3D renderings for viewing |
| US9275451B2 (en) | 2006-12-20 | 2016-03-01 | Biosensors International Group, Ltd. | Method, a system, and an apparatus for using and processing multidimensional data |
| EP2097008A1 (en) * | 2006-12-21 | 2009-09-09 | Koninklijke Philips Electronics N.V. | Integrated spect imaging and ultrasound therapy system |
| US8340374B2 (en) * | 2007-01-11 | 2012-12-25 | Kabushiki Kaisha Toshiba | 3-dimensional diagnostic imaging system |
| JP5591440B2 (ja) * | 2007-01-17 | 2014-09-17 | 株式会社東芝 | 医用画像表示装置 |
| US8543186B2 (en) | 2007-03-01 | 2013-09-24 | Kabushiki Kaisha Toshiba | Magnetic resonance imaging apparatus and magnetic resonance imaging method |
| JP5264097B2 (ja) * | 2007-04-11 | 2013-08-14 | 株式会社日立メディコ | 超音波診断装置 |
| JP4709177B2 (ja) * | 2007-04-12 | 2011-06-22 | 富士フイルム株式会社 | 三次元画像処理装置および方法並びにプログラム |
| US8553951B2 (en) * | 2007-05-30 | 2013-10-08 | General Electric Company | Methods and systems for grouping radiological images into event markers |
| JP5122650B2 (ja) * | 2007-09-13 | 2013-01-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 経路近傍レンダリング |
| US8521253B2 (en) | 2007-10-29 | 2013-08-27 | Spectrum Dynamics Llc | Prostate imaging |
| JP2009112356A (ja) * | 2007-11-02 | 2009-05-28 | Ge Medical Systems Global Technology Co Llc | 超音波診断装置 |
| JP5231828B2 (ja) * | 2008-02-04 | 2013-07-10 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置および超音波画像処理プログラム |
| JP5226360B2 (ja) * | 2008-04-08 | 2013-07-03 | 株式会社東芝 | 超音波診断装置 |
| WO2010143587A1 (ja) * | 2009-06-10 | 2010-12-16 | 株式会社 日立メディコ | 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム、及び超音波画像生成方法 |
| US8338788B2 (en) | 2009-07-29 | 2012-12-25 | Spectrum Dynamics Llc | Method and system of optimized volumetric imaging |
| EP2526871A4 (en) | 2010-01-18 | 2017-04-05 | Hitachi, Ltd. | Ultrasonic diagnostic device and ultrasonic image display method |
| US9514564B2 (en) | 2010-10-28 | 2016-12-06 | Hitachi Medical Corporation | Ultrasonic diagnostic apparatus and ultrasonic image display method |
| US9179892B2 (en) | 2010-11-08 | 2015-11-10 | General Electric Company | System and method for ultrasound imaging |
| DE102011075419A1 (de) * | 2011-05-06 | 2012-08-09 | Siemens Aktiengesellschaft | Verfahren zum Unterstützen eines optimalen Positionierens einer Verschlussstelle in einem Blutgefäß bei einer Tumor-Embolisation |
| CN103813752B (zh) * | 2012-01-27 | 2017-11-10 | 东芝医疗***株式会社 | 医用图像处理装置 |
| JP2014000182A (ja) * | 2012-06-18 | 2014-01-09 | Aze Ltd | 医用画像生成装置及びプログラム |
| KR102146851B1 (ko) * | 2013-02-08 | 2020-08-21 | 삼성전자주식회사 | 효율적인 진단 정보 제공을 통한 진단 지원 장치 및 방법과, 진단 시스템 |
| JP6169911B2 (ja) * | 2013-07-10 | 2017-07-26 | 株式会社日立製作所 | 超音波画像撮像装置及び超音波画像表示方法 |
| US20150065877A1 (en) * | 2013-08-30 | 2015-03-05 | General Electric Company | Method and system for generating a composite ultrasound image |
| JP6687393B2 (ja) * | 2015-04-14 | 2020-04-22 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置 |
| JP6598636B2 (ja) * | 2015-10-29 | 2019-10-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US11055899B2 (en) * | 2016-06-10 | 2021-07-06 | Koninklijke Philips N.V. | Systems and methods for generating B-mode images from 3D ultrasound data |
| US11850101B2 (en) * | 2017-07-05 | 2023-12-26 | Canon Medical Systems Corporation | Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method |
| JP7078457B2 (ja) * | 2018-05-29 | 2022-05-31 | 富士フイルムヘルスケア株式会社 | 血流画像処理装置及び方法 |
| CN108876783B (zh) | 2018-06-27 | 2021-02-05 | 上海联影医疗科技股份有限公司 | 图像融合方法及***、医疗设备和图像融合终端 |
| US11103729B2 (en) | 2019-08-13 | 2021-08-31 | Elekta ltd | Automatic gating with an MR linac |
| JP2023513310A (ja) * | 2020-02-18 | 2023-03-30 | コーニンクレッカ フィリップス エヌ ヴェ | ２次元画像上の３次元オーバレイのレンダリング |
| CN118285839A (zh) * | 2020-06-17 | 2024-07-05 | 深圳迈瑞生物医疗电子股份有限公司 | 超声造影成像方法和超声成像装置 |
| CN113520465B (zh) * | 2021-07-29 | 2023-11-24 | 合肥合滨智能机器人有限公司 | 一种羊水最大深度的自动测量方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6167296A (en) * | 1996-06-28 | 2000-12-26 | The Board Of Trustees Of The Leland Stanford Junior University | Method for volumetric image navigation |
| US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
| JPH11164833A (ja) * | 1997-09-30 | 1999-06-22 | Toshiba Corp | 医用画像診断装置 |
-
1999
- 1999-07-01 JP JP18796999A patent/JP4421016B2/ja not_active Expired - Lifetime
-
2000
- 2000-06-30 US US09/609,032 patent/US6480732B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599992B2 (en) * | 2016-11-30 | 2023-03-07 | Canon Kabushiki Kaisha | Display control apparatus, display method, and non-transitory storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001014446A (ja) | 2001-01-19 |
| US6480732B1 (en) | 2002-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4421016B2 (ja) | 医用画像処理装置 | |
| US7529396B2 (en) | Method, computer program product, and apparatus for designating region of interest | |
| KR100327812B1 (ko) | 이미지디스플레이장치 | |
| US5611025A (en) | Virtual internal cavity inspection system | |
| US7817877B2 (en) | Image fusion processing method, processing program, and processing device | |
| US7890155B2 (en) | Feature emphasis and contextual cutaways for image visualization | |
| US7424140B2 (en) | Method, computer program product, and apparatus for performing rendering | |
| US7304644B2 (en) | System and method for performing a virtual endoscopy | |
| JP2006288495A (ja) | 画像処理装置 | |
| JPH11164833A (ja) | 医用画像診断装置 | |
| JPH08138078A (ja) | 画像処理装置 | |
| JP4350226B2 (ja) | 三次元画像処理装置 | |
| JP4122463B2 (ja) | 医療用可視画像の生成方法 | |
| EP2084667B1 (en) | Fused perfusion and functional 3d rotational angiography rendering | |
| JP4686279B2 (ja) | 医用診断装置及び診断支援装置 | |
| JP2004174241A (ja) | 画像形成方法 | |
| JP2001276066A (ja) | 三次元画像処理装置 | |
| JP5289966B2 (ja) | インターベンショナル手順中、シルエットレンダリング及び画像を表示するための画像処理システム及び方法 | |
| EP0629963A2 (en) | A display system for visualization of body structures during medical procedures | |
| JPH0838433A (ja) | 医用画像診断装置 | |
| Zhang et al. | Dynamic real-time 4D cardiac MDCT image display using GPU-accelerated volume rendering | |
| JPH1176228A (ja) | 三次元画像構成装置 | |
| Robb | Virtual endoscopy: evaluation using the visible human datasets and comparison with real endoscopy in patients | |
| JPH1031761A (ja) | 画像表示方法および画像表示装置 | |
| JPH0728976A (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4421016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |