JP4510817B2 - 3次元ボリューム空間クロップのユーザ制御 - Google Patents

3次元ボリューム空間クロップのユーザ制御 Download PDF

Info

Publication number
JP4510817B2
JP4510817B2 JP2006516659A JP2006516659A JP4510817B2 JP 4510817 B2 JP4510817 B2 JP 4510817B2 JP 2006516659 A JP2006516659 A JP 2006516659A JP 2006516659 A JP2006516659 A JP 2006516659A JP 4510817 B2 JP4510817 B2 JP 4510817B2
Authority
JP
Japan
Prior art keywords
image
volume
plane
user
cropping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006516659A
Other languages
English (en)
Other versions
JP2006527056A (ja
Inventor
ワトキンス,スティーヴン
アライザ,スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2006527056A publication Critical patent/JP2006527056A/ja
Application granted granted Critical
Publication of JP4510817B2 publication Critical patent/JP4510817B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/916Ultrasound 3-D imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

本発明は、一般的に3次元(3D)超音波イメージングに関し、特に3Dボリューム画像をリアルタイムでクロッピングするようグラフィック平面を実施することに関する。
表面レンダリングは、等値面化、アイソコンチュアリング、表面抽出や境界追跡などの処理によって幾何プリミティブに変換される。ポリゴンメッシュや輪郭などのプリミティブは更に、通常の幾何学的レンダリング手法を用いて、表示するようレンダリングされる。
ボリュームレンダリングは、3次元の、サンプリングされたデータのアレイのビジュアライゼーションを行うイメージング手法である。3次元データ・アレイは画像情報を表すのに広く用いられている。言い換えれば、ボリュームレンダリングは、3次元でサンプリングされたデータを直接表示する手法又は方法である。例えば、超音波などの医療イメージング手法によって、内部器官の詳細な表現を有する3次元の、サンプリングされたデータのアレイを生成することができる。ボリュームレンダリングの基本工程は、3次元入力アレイにおける各サンプルに色及び不透明度の値を割り当てる工程と、サンプルを画像平面上に投影する工程と、サンプルを混ぜる工程とを有する。そのようなビジュアライゼーションの基礎は、色付きで半透明の材料内での光の伝搬の物理ベースのモデルである。
3次元アレイ(ボリューム)の構成要素の各々は、ボクセルと呼ばれ、ボクセルは、空間における小立方体、又は連続したスカラ関数の点サンプルを表す。ボリュームレンダリング処理は、関与する媒体を通した光の伝搬のおおよそのシミュレーションを備える。媒体は、色及び不透明度が入力アレイのスカラ値の関数である、色付きで半透明のゲルのブロックとして考えてよい。光は、当業者に分かるように、ボリュームによって吸収される場合があり、ボリュームによって散乱させられる場合があり、ボリュームを通過する場合もある。図1は、ボリュームレンダリングの単純な物理モデルである。本図は、光源150から、半透明ゲルの立方体154を通って伝搬し、単一の画像平面152上で散乱する光線156を示す。立方体154のボリュームにおける各ボクセルは光を発し、それを通過する光の一部を吸収する。立方体を備える各画素の値は、画像平面上の点xからボリュームの反対側の境界上の点xBまでの視線光線に沿ったボクセル値をサンプリングし、更に、当業者によってボリュームレンダリング積分として知られるものを数値的に算出することによって計算される。
ボリュームレンダリングの主たる効果は、表面レンダリング手法と対照的に、ボリュームデータを閾値処理しなくてよいという点にある。ボリュームデータの表面レンダリングを行う手法は、(当業者には分かっているように)ボリュームにおける同位面にポリゴンを収め、更に、伝統的な多角形レンダリング手法によって多角形モデルをレンダリングすることによって作用する。
この場合もまた当業者には分かっているように、ボリュームレンダリングは、対象の物理的ボリュームがまず、半透明度値を有する、3次元アレイの形態で獲得されることを必要とする。獲得方法は、ボリュームを正則グリッドにリサンプリングする工程と、欠落しているボクセル値を補間する工程と、コントラストを向上させるよう画像処理演算子を施す工程などの準備工程を有し得る。通常、半透明値には、分類工程で0から55までの値が与えられる。アレイは通常、x−y平面の、いくつかのzとして記憶され、zの各々はメモリにおける2次元スライスである。別の方法は、セグメント化アルゴリズムを用いてボリュームを特定の構造に分割し、更に、分割された構造に半透明値を割り当てるというものである。
データを分類した後、照明モデルと、各ボクセルの色を判定する上での規則を規定するのに通常、シェージング関数が用いられる。スペキュラハイライト、デプスキューイングやシャドーなどのビジュアルキューを注意深く用いることによって、ビジュアライゼーションの効果性は大いに改善される。特定のレンダリング・システムが更に、視点、投影のタイプ(平行投影又は透視投影)、平面のクリッピング(例えば、クロッピング)などの視線パラメータを選ぶ。従来技術のボリュームクロッピング手法は通常、レンダリング前に実施される。
多くのアクセラレーション手法が、ボリュームレンダリングについて公知であり、そのうち最もうまくいっているものは、空間データ構造を用いる(Phillippe G. Lacroute, FAST VOLUME RENDERING USING SHEAR−WARP FACTORIZATION OF THE VIEWING TRANSFORMATION, Computer Systems Laboratory, Depts. of Electrical Engineering and Computer Science, Stanford University (1995)参照。)。ボリュームレンダリング・アルゴリズムの主要クラスは、レイキャスティングと、スプラッティングと、セル投影と、マルチパス・リサンプリングとの4つがある。レイキャスティング・アルゴリズムは、画像画素毎にボリュームを通して光を放ち、光に沿って色及び不透明度を積分することによって画像を生成する。レイキャスタは、視線光線に沿って画像画素をボリュームに投影することによってボクセルから画像画素へのマッピングを算出するので、逆投影アルゴリズムと呼ばれる場合もある。光線は画像から順方向に流れる一方、視線光線は画像からボリュームへ、逆方向に流れる。
レイキャスティング・アルゴリズムと対照的に、スプラッティング・アルゴリズムは、ボクセルをたどることによって作用する。特に、スプラッティング・アルゴリズムは、ボクセルの値を画素の近傍に分散させる、フィルタによるボクセルの畳み込みを行うことによってボクセルの画像に対する寄与を計算する。スプラッタ・アルゴリズムは、ボクセルが、光線と同じ方向に、画像に直接投影されるので前投影として表し得る。
セル投影手法は、非正則グリッド上でサンプリングされるボリュームに用いられることが多く、ポリゴンスキャン変換を用いて投影を行う。マルチパス・リサンプリング・アルゴリズムは、リサンプリングされたボクセルが画像空間内の視線軸上にお互いが前後にくるように整列するように画像座標系のボリューム全体をリサンプリングすることによって作用する。ボクセルは更に、リサンプリングされたボリュームで視線光線が常に軸に平行である以外は、レイキャスタと同様に視線軸に沿って一緒に合成することができる。ビューイング変換は一連の単純なせん断及びスケールに因数分解され、それらは更に別個のパスにおけるボリュームに施される。ボリュームの各せん断又は各スケールは、スキャンライン・オーダー・アルゴリズム及び1Dリサンプリング・フィルタによって実施し得る。このようにして、例えば、アフィン変換を3つのパスを用いて実施し得る。第1のパスはボリュームを、ボリュームのx方向でサンプリングする。この新たなボリュームは更に、第2のパスに対する入力になり、第2のパスはスキャンラインをy方向でリサンプリングする。その結果は更に、第3のパスに入力され、第3のパスはスキャンラインをz方向でリサンプリングする。
オブジェクト空間から画像空間へのマッピングの特性が任意であることによって、ボリュームを中間座標系に変換することによって解くオブジェクト・オーダー・ボリューム・レンダリング・アルゴリズムにおける効率的で高品質のフィルタリング及び投影が複雑になる。そのような座標系は当該技術分野ではせん断オブジェクト空間と呼ばれ、この空間では視線光線は全て、第3座標軸に平行である。図2A及び図2Bは併せて透視変換を示す。図における水平線164は、断面で視たボリューム・データ・スライスを表す。図2Aには、光源162から、ボリューム・オブジェクト空間(サンプリングされたデータ)におけるイメージング空間160を通って光源162から放射する光線166を示す。図2Bに示す変換後、ボリュームは、視線方向に垂直なスライス群に平行にせん断されており、視線光線166’は、スライスに垂直であり、スケーリングも変換もされている。中間歪み画像を最初に計算する理由は、因数分解の特性によってリサンプリング及び合成のループの実施が非常に効率的になるという点にある。すなわち、各ボクセル・スライスにおけるボクセルのスキャンラインは、中間領域における画素のスキャンラインに平行である。
従来の3次元スキャン変換アルゴリズムは、混合データ群レンダリング・アルゴリズムとして知られるものに同様なデータ構造を用いることができ、このアルゴリズムでは、エッジ・テーブル及びアクティブ・エッジ・テーブルが、現在のボクセル・スキャンラインと相互に作用するクロッピング平面を記録する。クロッピング平面の傾きは、アルゴリズムがボクセル・スキャンラインをたどるにつれて漸増的に交点を算出するのに用いられる。交点は、ボクセル・スキャンラインにおけるボクセルをたどるループの境界を定める。
ボリューム解析では、対象オブジェクトの形状が、脳、心臓又はエンジン・ブロックのような、単純で、おおよそ凸形状であることが多い。「平面クロップ」は、3次元空間における平面の特定の側に位置するボリューム部分全体を取り除く。クロッピング平面は、データ群における内部構造の切り取り断面図を備えるか、特定のデータ群部分に焦点を当てながら無関係の情報を取り除くようボリューム・ビジュアライゼーション・アプリケーションにおいて通常用いられる。例えば、クロッピング平面をレンダリング・ループの境界に変換するよう3Dスキャン変換を用いることによってせん断歪みボリュームレンダリング・アルゴリズムに、任意の向きのクロッピング平面を加えることができる。
クロッピング平面又はスライシング平面を用いてボリューム・ビジュアラーゼーションを行う公知の手法の1つが、米国特許第5,454,371号(「’371特許」)に示されている。’371特許は、複数のスライスを備えるボリュームから選択されるスライスの表示画像をユーザが操作することを可能にする対話型ユーザ・インタフェースを備える。ボリュームレンダリングとは明らかに相違する’371手法を用いることによって、任意の軸を中心に3次元画像のスライスをユーザが回転させるのが可能になる。すなわち、全てグラフィカル・ユーザ・インタフェースを用いて、表示画像の表面部分を、画像の断面図を種々備えるよう変換し得るものであり、表示画像の、選択された表面を任意の軸を中心に回転させ得る。
‘371特許は、ボリューム画像再構築を行い、再構築ボリューム画像すなわちボリューム画像アレイの外部ファイル記憶メモリへの記憶及び/又はフェンスタのグラフィカル・ユーザ・インタフェース、すなわちマウスを用いた表示を行う。’371特許によって実施されるルーチンは、通常、ボリューム画像アレイにおける画素全てを実質的に囲む右平行六面体である、表示する対象の3次元画像と同じ空間において規定される平面表面を複数有する多面体的複体の形態におけるモデルをボリューム画像表示に割り当てる。このモデルは更に、完全な画面表示の矩形の部分領域内のモニタの画面上に投影される。モデルの可視面のみが画面上に表示される。表示モデルが不透明な外観を有するように隠れ表面をなくすことが行われる。
各可視モデル面の表示は、表示面の多角形領域内の各画面画素が、3次元に拡張可能な、関連した2次元デカルト座標対を有することに鑑みて達成される。3次元座標は更に、ボリューム画像アレイにおけるボクセルを選択するようボクセル座標に変換される。抽出ボクセルは、当該技術分野においてテクスチャ・マッピングとして知られるものによって処理される。表示座標とボリューム画像座標との間の対応関係は、フェンスタがビューイング変換として定義するものによって定められる。このフェンスタ特許は更に、視野角、表示倍率などのパラメータをユーザがグラフィカル・ユーザ・インタフェースを用いて変更する都度、ビューイング変換の詳細が再計算されるということを定義している。
3次元の画像及びモデルがモニタの画面上に表示された後、当初ビューがメモリ内に保存される。ビューイングを行う間、ユーザ操作は全て、「ポイント」、「ドラッグ」及び「クリック」として規定される3つの動作を用いて達成される。ユーザは、モデル及び3次元画像の全体を任意の軸を中心に回転させ、モデルの、選択された平面を変換し、モデルの、選択された平面を任意の軸を中心に回転さえ得る。3次元画像の、固定した回転点は、当初モデルの幾何学中心として拘束される。
‘371特許は、凸多面体の数学的記述に関するモデルの操作を記載している。凸多面体は、フェンスタ特許においてバウンディング平面として表される少なくとも4つの平面によって範囲が限定される半空間群によって特徴付けられる。この特許は、相当するバウンディング平面に埋め込まれる凸多角形として多面体の各面を記載しており。モデル多面体の形状における何れかの変更は、バウンディング平面のパラメータを変更することによって実施される。
‘371特許は、バウンディング平面係数の主要な操作を2つ、記載している。ユーザは、平面から座標原点までの垂直距離であるDを変更し、回転させ得る。回転には、3次元係数における変更が必要であり、この3次元係数は併せて、座標軸に対する平面の向きを規定する。’371特許は、ボリューム画像アレイのモデルに割り当てられる元のバウンディング平面と、ユーザ入力に応じて加えられる平面とを区別している。元のバウンディング平面に相当するモデル面の周囲線は白色線として表示されるが、ユーザが加える平面に相当する面は別の色で示される。ユーザが加える平面のみの変換、回転又は削除を行い得る。ユーザが加える平面はユーザによってグラフィカル・ユーザ・インタフェースを介して変換され、画像の種々の断面を、ボリューム画像アレイを通して変換平面スライスとしてビューイングし得る。
‘371特許のグラフィカル入力装置が表示ビューにおける変更をもたらすよう移動し、影響が及ぶ平面の中間の位置及び向きを示す表示が更新される間に、患者の表示モジュールは、ボリューム画像表示をリサンプリングし、テクスチャ・マッピング処理を終えなければならない。’371特許に記載されている3次元レンダリングは、外部ボクセルがボリュームの粗い多角形近似上に「ペインティングされる」、ボリューム・レンダリングの原始的なシミュレーションとして特徴付けてよい。この手法は、特定の視点からのボリュームにおけるボクセル全てを合成した影響を示す従来のボリュームレンダリングとは区別しなければならない。
フェンスタの’371特許とは対照的に、本発明は、リアルタイムで、3次元画像のうちの不要な部分をカットするよう、本明細書及び特許請求の範囲においてクロッピング平面と同義のものとして表すグラフィック平面と、クロッピング平面を制御するエレガントなユーザ・インタフェースとを備える。
本発明は、獲得される超音波データから導き出される、3次元の物理的なボリューム、例えば、心臓、腎臓など、のクロッピングを行うことに関する。クロッピングは、内部3次元構造のビューイングを可能にするので、スライシングよりも強力である。本発明は更に、3次元ボリュームクロッピングのユーザ制御が効果的になるようにしている。そうするよう、本発明は、イメージングされるオブジェクトの重心を中心とする球に接しているものとしてクロッピング平面を定義する。すなわち、イメージングする対象のオブジェクトの重心は、デカルト座標で(0,0,0)であるとみなす。オブジェクトの境界は、矩形を表すものとみなしてよく、矩形(オブジェクト)は、半径Rの球に外接する。そのような表現では、球の直径は、原点(0,0,0)を通過する、矩形の最長対角線として定義される。球の半径は、対角線の半分である。よって、球はオブジェクトのボリュームを完全に包囲し、本明細書及び特許請求の範囲ではよって、「バウンディング球」として表す。
クロッピング平面は、空間において、(0,0,0)から出る単位垂直ベクトルに対して定義される。クロッピング平面は、単位垂直ベクトルに対して垂直である。クロッピング機能の起動時でのデフォールトによって、単位垂直ベクトルは、クロッピング平面が球に接しているように、前述にように半径に等しい。そういうものとして、ユーザ入力なしでクロッピングは何ら行われない。単位垂直ベクトルの次元又は、球半径を変えることによって、クロッピング平面の向きは、イメージングする対象のオブジェクトの中心方向に動くか、その中心から離れる方向に動く。
本発明は、クロッピング平面の両側でグラフィック平面すなわちグラフィック画像が違ったふうに見えるとしている。例えば、緑色及び紫色を、クロッピング平面の両側にあるグラフィック平面を規定するボクセルを区別するのに用い得る。他の色、パターン、強度なども平面の正面と背面とを区別するのに用い得るということを当業者は認識するものである。本発明の実施例の全てにおいて、画像に対する平面の関係は固定され、クロッピングされる画像部分を定める。単位垂直ベクトルが境界内オブジェクトの半径よりも少ない空間部分に関しては、平面の外部にあるボクセルは削除される。
ユーザ・インタフェースは、ユーザがビュー変更を実施し、変更された画像の画像再構築及び表示をリアルタイムで実施し、ビューイングを行い得ることを前提とすれば、平面をトラックボールのみで簡単にかつすぐに操作し得るようなものである。極めて単純なことであるが、ユーザは、平面が画像に切り込む深度を制御/規定して、球の半径を変更するに過ぎない。そのように形成することは、人間の心臓などの通常、球形状の器官のビューイングを行う場合に極めて好都合である。
本発明の理解は、添付図面とともに検討する、本発明の以下の詳細説明から得ることができる。
以下の好ましい装置及び方法の詳細な説明は、メモリ内や、関連したプロセッサ内や、場合によってはネットワーク内や、ネットワーク機器内のデータ・ビットの演算のルーチン及び記号表現によって行う。
この記述及び表現は、作業の成果の本質を当業者が他の当業者に効果的に伝えるのに用いられる手段である。ルーチンは、本明細書及び特許請求の範囲においても一般的にも、所望の結果につながる、自己整合性を有する一連の工程又は動作であるものとして着想されている。よって、「ルーチン」の語の意味には、超音波システムの中央処理装置であっても、そのような超音波システムの2次処理装置であっても、プロセッサによって行なわれる一連の動作を表し、「プログラム」、「オブジェクト」、「関数」、「サブルーティン」や「手順」などの当該技術分野の語の意味がある。
一般的に、ルーチンにおける一連の工程は、物理的数量の物理的な操作を必要とする。必然的ではないが通常は、この数量は、記憶、転送、合成、比較や他の方法による操作を行うことができる電気信号又は磁気信号の形式を呈する。当業者は好都合にも、このような信号を「ビット」、「値」、「要素」、「記号」、「文字」、「画像」、「項」、「数字」などとして表す。なお、これらや同様な語を適切な物理的数量と関連付けることとし、この数量に付される好都合なラベルに過ぎないということを認識することとする。
本願の場合、ルーチン及び動作は、人間の操作者とともに行われる対象のマシン動作である。本発明の動作を行うのに有用なマシンには、本発明の所有者による自己所有の、超音波システムのソノス(SONOS)・ラインがある。一般的に、本発明は、本明細書及び特許
請求の範囲記載のルーチンを用いて電気信号や他の物理的な信号の記憶及び/又は処理を行うよう構成される、方法工程、ソフトウェア及び、コンピュータ判読可能媒体をはじめとする関連したハードウェアに関する。
本願において表した装置は好ましくは、必要な目的、すなわち、超音波イメージングを行う目的で特別に構築されるが、本明細書及び特許請求の範囲記載の方法は、コンピュータ内に記憶されるルーチンによって選択的に起動又は再構成が行われる汎用コンピュータ上や他のネットワーク機器上で実施し得るものであり、必要な超音波イメージング機器とのインタフェースをとり得る。本明細書及び特許請求の範囲提示の手順は、何れかの特定の超音波システム、コンピュータや他の装置に固有に関係するものでない。特に、種々のマシンを、本明細書及び特請求の範囲記載の教示によるルーチンとともに用いてよく、必要な方法工程を行うよう更に特化した装置を構築するのがもっと好都合であることが明らかになる場合もある。特定の場合、すなわち、ハードウェアが特定の特性を有することが望ましい場合、この特性は以下に十分に説明する。これらの種々のマシンに必要な構造は、以下に表す記載に存在し得る。本発明の機能を行い得るマシンには、超音波機器の、PHILIPS MEDICAL SYSTEMS INTERNATIONAL社、GE MEDICAL SYSTEMS社や、SIEMANS MEDICAL SYSTEMS社や他のメーカなどによって製造されているものがある。
本明細書及び特許請求の範囲記載のソフトウェアに関しては、本明細書及び特許請求の範囲記載の手順を行うソフトウェアを作成する種々のプラットフォーム及び言語が存在するということを当業者は認識するものである。厳密なプラットフォーム及び言語の選択が、
1つのタイプのシステムで機能し得るものが別のシステム上では効率的でない場合があるように、実際に構築されるシステムの詳細によって決まってくることが多いということも当業者は認識するものである。
図3は、本発明の好ましい実施例による超音波イメージング・システム100の簡易構成図である。以下に記載する、超音波イメージング・システム100とその動作は医療イメージング・システムを概括的に表すことを意図しているということを当該技術分野における当業者は分かるものである。何れかの特定のシステムは、特に、そのようなシステムの構成及び動作の詳細において、図3に示すものとはかなり違うことがあり得る。そういうものとして、超音波イメージング・システム100は、本明細書又は本特許請求の範囲記載の本発明に関して、限定するものでなく、例証し、図示するものとみなすこととする。
図3の超音波イメージング・システム100は、送受信(T/R)スイッチ112を介してトランスデューサ・アレイ114に結合されるものとして送信ビーム形成器110を示す。トランスデューサ・アレイ114は、通常、3次元イメージングに用いる2次元のものである、トランスデューサ素子アレイを備える。T/Rスイッチ112は通常、トランスデューサ素子毎に1つのスイッチ素子を備える。送信ビーム形成器110は、パルス系列をパルス発生器116から受信する。送信ビーム形成器110によって通電されるトランスデューサ・アレイ114は、超音波エネルギを患者の生体内の関心領域(ROI)内に送り、患者の生体内の種々の構造及び器官からの反射超音波エネルギ、すなわちエコーを受ける。当該技術分野において公知であるように、送信ビーム形成器110によって各トランスデューサ素子に印加される波形を適切に遅延させることによって、収束超音波ビームが送られる。
トランスデューサ・アレイ114は又、受信ビーム形成器118にT/Rスイッチ112を介して結合される。患者の生体内の特定の点からの超音波エネルギを、トランスデューサ素子は別々の時点で受ける。トランスデューサ素子は受けた超音波エネルギをトランスデューサ信号に変換し、トランスデューサ信号は、受信ビーム形成器118によって増幅され、個々に遅延させられ、更に、加算され得る。そのような処理によって、所望の受信ラインに沿って受信超音波レベルを表すビーム形成器信号が備えられる。受信ビーム形成器118は、トランスデューサ信号をディジタル値に変換するアナログ・ディジタル変換器を備えるディジタル・ビーム形成器であってよい。当該技術分野において公知のように、トランスデューサ信号に施される遅延は、動的フォーカシングをもたらすよう、超音波エネルギを受けている間に変えてよい。当該処理は、患者の生体内の関心領域の画像を生成する信号を供給し、よって、3次元イメージングを実施するよう複数のスキャンラインについて繰り返される。
ビーム形成器信号は、信号プロセッサ124に印加され、信号プロセッサは、画像品質を向上させるようビーム形成器信号を処理する。信号プロセッサは、高調波処理などの処理を備え得る。受信ビーム形成器118及び信号プロセッサ124は、超音波受信器126を構成する。システム内で実際に3次元の再構築が行われるのは信号プロセッサである。信号プロセッサ124の出力は、スキャン変換器128に供給され、セクタスキャンや他のスキャンのパターンの信号を通常のラスタスキャン表示信号に変換するスキャン変換器128に供給される。スキャン変換器128の出力は、最終的に表示するようバッファリングされる。
システム・コントローラ130は、システムの全体制御を備える。システム・コントローラ130は、タイミング及び制御の機能を行い、通常、メモリ134に記憶されている制御ルーチン132の制御下で動作するマイクロプロセッサを備える。以下に詳細に説明するように、制御ルーチン132は、公知の制御ルーチンに加えて、ディジタル化オーディオ情報の作成、記憶、索引付けを行い、同期をとる種々のルーチンを備える。システム・コントローラ130は、超音波イメージング・システム100の動作を記述するシステム変数をはじめとする中間値を記憶し、スキャン変換器128の出力などの種々の出力をバファリングするようメモリ134を利用する。
(以降「ユーザ・インタフェース」として表す入出力装置136は、種々の入出力動作、例えば、通常のトラックボールやマウス(図示せず)を制御する。本発明のユーザ・インタフェースは、好ましくはトラックボールによって実施されるいくつかの対話型制御部を備える。
ループが獲得された後、ボリュームに施されるクロップは何らない。ユーザは、クロップ・モード・セレクタをONに合わせることによってクロッピングを操作したいということを示す。この時点で、クロッピング平面は、ボリュームが見えにくくならないようにするよう通常は脇に回転させられ、そのデフォールト位置に現れる。デフォールト位置は、ボリューム全体を完全に囲む球を規定する(0,0,0)でのボリュームの中心からの固定距離である半径Rによって常に規定される。デフォールト平面は、この半径によって規定される球に接しており、何もカットしない。
図4はイメージングされるオブジェクトの3次元ボリュームを示し、図5は、クロッピング・モードをイネーブルさせた、図4においてイメージングされるものと同じオブジェクトを示す。図5に示す実施例では、平面は、紫色に見え、画面の平面に平行であるように見える。本発明のユーザ・インタフェースによって備えられる「クロップ・モード」セレクタは、クロッピング平面の制御をオン又はオフにする。ユーザがクロップ・モードを起動させると、ボリューム/平面の向きを制御するのにトラックボールが用いられる。球の半径、したがって、中心(0,0,0)に対する平面の位置は、オブジェクトをクロッピングするのではなく、境界をつけるに過ぎないので、クロッピングはいまだ実施されていない。
ユーザは、トラックボールを動かすことによってクロップ・カーソルをボリュームじゅう動かすことができ、それによってバウンディング球の表面上全体を平面が動くことになる。クロップ調節ノブは、ボリュームの中心に向けて平面を動かすことになるか、ボリュームの中心から離れる方向に平面を動かすことになり、Rを減少又は増加させる。平面が動くにつれ、ボリュームはインタラクティブにクロッピングされることになる。ビジュアライゼーションを支援することとして、クロッピング平面がボリュームと交差するボリューム部分はグレイスケールとして示すことになる一方、(平面の後ろにある)残りのボリュームは平面と同じ色合いがつけられることになる。
ユーザ・インタフェースのクロップ調節ノブを回すことによって、クロッピングの割合が調節される。反時計回りに回すことによって、クロッピング平面を原点(0,0,0)の方向に動かし、Rを減少させる。カットする時計回りに回すことによって、クロッピング平面を原点(0,0,0)から離れる方向に動かす。図6は、クロッピング平面のユーザ側にある画像の約40%がカットされている3次元画像を示す。図7は、クロッピングが60%に更に調節された画像を示す。所望の特徴は、オブジェクト・ボリュームの上部内の、暗くされた領域として見える。
本発明のユーザ・インタフェースの別の特徴は、特徴のビューの向きを変えるようクロッピング平面を回転させる機能を有する。図8は、トラックボールを上方向に動かすことによってクロッピングが回転させられたオブジェクトの画像を示す。
「ボリュームへの平面のロック」トグル・スイッチは、クロッピング平面がボリュームと無関係に回転するかボリュームとともに回転するかを制御する。そのような動作は、図9に示すスクリーンショットによって強調されている。「ボリュームへの平面のロック」ボタンがオン(平面ロック・ボタン)である場合、クロップ・カーソルは、ボリュームにロックされ、よって、ボリュームに対して固定された関係を維持するために、ボリュームが回転させられるとともに回転することになる。「カーソル・ロック」ボタンがオフである場合、カーソルは位置が固定のままとなり、ボリュームは回転し、よって、ボリュームに対するクロップの位置を変える。クロップは、現在の位置で取り消して元に戻されることになり、新たな位置で再実行されることになる。
ユーザは、その場合、クロップの現在の状態に満足するまで望み通りにクロッピングの量及び位置を自由に変えることができ、その時点で、「記憶」ボタンを押すことができる。これによって、ボリュームに関連したクロップ・リストに現在のクロップが追加され、新たなクロップが開始されることになる。現在のクロップは、クロップ位置をもう一度0(オフ)まで回すことによって放棄することができる。
本発明のユーザ・インタフェースの別の特徴は、「クロップ保存」機能である。クロップ保存機能によって、ユーザが現在のクロップの設定をボリュームに結びつけることが可能になる。図10は、特定のクロップをユーザが保存することを可能にする、本発明の特徴を強調するスクリーンショットである。この図に示すボリュームには、クロップが施されている。
本発明の例をいくつか表し、説明したが、範囲が請求項及びその均等物に規定されている本発明の原理及び技術思想から逸脱することなく変更を上記実施例に行い得るということが当業者によって分かるものである。
3次元ボリュームレンダリングの従来技術モデルを示す図である。 透視投影を示す、ボリュームのせん断オブジェクト空間への変換の従来技術を描く図である。 本発明を実施するのに用い得る超音波システムの簡易構成図である。 オブジェクトの3次元画像のスクリーンショットである。 本発明のクロップ・モード機能がユーザによって起動されており、クロッピング平面が3次元画像空間のフォーグラウンドにおいて見えることがあり得る、図4に示すオブジェクトの3次元画像のスクリーンショットである。 オブジェクトの3次元画像の40%をカットするようユーザによってクロッピング平面が調節された3次元画像のスクリーンショットである。 オブジェクトの3次元画像の60%をカットするようユーザによってクロッピング平面が調節された3次元画像のスクリーンショットである。 画像の向きを変えるよう上方にクロッピング平面を回転させた3次元画像のスクリーンショットである。 平面ロック・ボタンが押され、トラックボールが右に回転させられ、クロップ変動がない3次元画像のスクリーンショットである。 クロップが施されたボリュームを示す、クロップ保存ボタンが押された3次元画像のスクリーンショットである。

Claims (6)

  1. オブジェクトの3次元超音波画像をインタラクティブに調節する方法であって、
    前記オブジェクトの3次元画像データのループを獲得し、ユーザが視るよう、表示上に前記オブジェクトの3次元画像を供給する工程と、
    ユーザ入力に応じてユーザ・インタフェースを介してクロップ・モードを起動させる工程とを備え、
    クロッピング平面が、生成され、画像空間における前記オブジェクトの画像の向きに対して指向させられ、
    前記クロッピング平面は、前記3次元画像に沿って表示され、
    ユーザは、前記ユーザ・インタフェースを操作して、前記画像の向きに対して、前記画像空間における前記クロッピング平面の向きを制御し得ることを特徴とする方法。
  2. 請求項1記載の方法であって、
    前記起動させる工程が、トラックボールを用いる工程を備えることを特徴とする方法。
  3. 請求項1記載の方法であって、
    前記起動させる工程が、クロップ保存の設定の実施を備え、
    現在のユーザによって定義されるクロッピング平面の向きによって定義される現在のクロップがオブジェクト・ボリュームに結び付けられていることを特徴とする方法。
  4. 請求項1記載の方法であって、
    前記起動させる工程が、特徴の実施を備え、該特徴は、前記クロッピング平面がイメージングされているオブジェクトのボリュームにロックされているか否かを判定し、無関係に回転するのではなく、前記クロッピング平面の回転が前記3次元画像を回転させることを特徴とする方法。
  5. 請求項1記載の方法であって、
    前記起動させる工程が、前記クロップ・モードをオン又はオフにする工程を備えることを特徴とする方法。
  6. オブジェクトの3次元超音波画像をインタラクティブに調節する方法を実施するコンピュータ命令群を備えるコンピュータ判読可能媒体であって、
    前記オブジェクトの3次元画像データのループを獲得し、ユーザが視るよう、表示上に前記オブジェクトの3次元画像を供給する工程と、
    ユーザ入力に応じてユーザ・インタフェースを介してクロップ・モードを起動させる工程とを備え、
    クロッピング平面が、生成され、画像空間における前記オブジェクトの画像の向きに対して指向させられ、
    前記クロッピング平面は、前記3次元画像に沿って表示され、
    ユーザは、前記ユーザ・インタフェースを操作して、前記画像の向きに対して、前記画像空間における前記クロッピング平面の向きを制御し得ることを特徴とするコンピュータ判読可能媒体。
JP2006516659A 2003-06-11 2004-06-07 3次元ボリューム空間クロップのユーザ制御 Expired - Lifetime JP4510817B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47754303P 2003-06-11 2003-06-11
PCT/IB2004/050858 WO2004109603A1 (en) 2003-06-11 2004-06-07 User control of 3d volume plane crop

Publications (2)

Publication Number Publication Date
JP2006527056A JP2006527056A (ja) 2006-11-30
JP4510817B2 true JP4510817B2 (ja) 2010-07-28

Family

ID=33511853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006516659A Expired - Lifetime JP4510817B2 (ja) 2003-06-11 2004-06-07 3次元ボリューム空間クロップのユーザ制御

Country Status (5)

Country Link
US (1) US7656418B2 (ja)
EP (1) EP1636761A1 (ja)
JP (1) JP4510817B2 (ja)
CN (1) CN100385467C (ja)
WO (1) WO2004109603A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319784B2 (en) * 2003-02-05 2008-01-15 National Research Council Of Canada Magnetic resonance spectroscopy using a conformal voxel
KR100686289B1 (ko) * 2004-04-01 2007-02-23 주식회사 메디슨 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
US7567248B1 (en) * 2004-04-28 2009-07-28 Mark William R System and method for computing intersections between rays and surfaces
US8189002B1 (en) * 2004-10-29 2012-05-29 PME IP Australia Pty, Ltd. Method and apparatus for visualizing three-dimensional and higher-dimensional image data sets
US7679625B1 (en) * 2005-01-07 2010-03-16 Apple, Inc. Straightening digital images
US8041087B2 (en) * 2005-04-05 2011-10-18 Bradley University Radiographic imaging display apparatus and method
ES2524303T3 (es) 2006-05-08 2014-12-05 C.R. Bard, Inc. Interfaz de usuario y métodos para un dispositivo de presentación ecográfica
US8475375B2 (en) 2006-12-15 2013-07-02 General Electric Company System and method for actively cooling an ultrasound probe
EP1975754B1 (en) 2007-03-30 2017-12-27 ABB Research Ltd. A computer implemented method to display technical data for monitoring an industrial installation
US7894663B2 (en) * 2007-06-30 2011-02-22 General Electric Company Method and system for multiple view volume rendering
CN100568289C (zh) * 2007-07-13 2009-12-09 威盛电子股份有限公司 计算机绘图元素描绘方法及装置
US8392529B2 (en) 2007-08-27 2013-03-05 Pme Ip Australia Pty Ltd Fast file server methods and systems
EP2206093B1 (en) * 2007-11-02 2013-06-26 Koninklijke Philips Electronics N.V. Automatic movie fly-path calculation
US8548215B2 (en) 2007-11-23 2013-10-01 Pme Ip Australia Pty Ltd Automatic image segmentation of a volume by comparing and correlating slice histograms with an anatomic atlas of average histograms
US8319781B2 (en) 2007-11-23 2012-11-27 Pme Ip Australia Pty Ltd Multi-user multi-GPU render server apparatus and methods
US9904969B1 (en) 2007-11-23 2018-02-27 PME IP Pty Ltd Multi-user multi-GPU render server apparatus and methods
US10311541B2 (en) 2007-11-23 2019-06-04 PME IP Pty Ltd Multi-user multi-GPU render server apparatus and methods
US9019287B2 (en) 2007-11-23 2015-04-28 Pme Ip Australia Pty Ltd Client-server visualization system with hybrid data processing
US20090160985A1 (en) * 2007-12-10 2009-06-25 The University Of Connecticut Method and system for recognition of a target in a three dimensional scene
EP2239652A1 (en) * 2009-04-07 2010-10-13 Keywords.de GmbH Providing an interactive visual representation on a display
KR101117913B1 (ko) * 2009-05-11 2012-02-24 삼성메디슨 주식회사 볼륨 데이터를 렌더링하는 초음파 시스템 및 방법
US9892546B2 (en) 2010-06-30 2018-02-13 Primal Space Systems, Inc. Pursuit path camera model method and system
US9916763B2 (en) 2010-06-30 2018-03-13 Primal Space Systems, Inc. Visibility event navigation method and system
CN107093203A (zh) * 2010-06-30 2017-08-25 巴里·林恩·詹金斯 图形信息的基于导航的预取发送或接收的控制方法和***
JPWO2012063653A1 (ja) * 2010-11-12 2014-05-12 株式会社日立メディコ 医用画像表示装置及び医用画像表示方法
TWI411299B (zh) * 2010-11-30 2013-10-01 Innovision Labs Co Ltd 單一影像產生多個不同方位影像的處理裝置及方法
JP2012161460A (ja) 2011-02-07 2012-08-30 Fujifilm Corp 画像処理装置および画像処理方法、並びに、画像処理プログラム
EP2673738A4 (en) * 2011-02-11 2017-08-23 E-4 Endeavors, Inc. System and method for modeling a biopsy specimen
US9269323B2 (en) * 2011-10-28 2016-02-23 Microsoft Technology Licensing, Llc Image layout for a display
JP5670945B2 (ja) * 2012-04-02 2015-02-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US20130328874A1 (en) * 2012-06-06 2013-12-12 Siemens Medical Solutions Usa, Inc. Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
US9509802B1 (en) 2013-03-15 2016-11-29 PME IP Pty Ltd Method and system FPOR transferring data to improve responsiveness when sending large data sets
US10540803B2 (en) 2013-03-15 2020-01-21 PME IP Pty Ltd Method and system for rule-based display of sets of images
US10070839B2 (en) 2013-03-15 2018-09-11 PME IP Pty Ltd Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images
US8976190B1 (en) 2013-03-15 2015-03-10 Pme Ip Australia Pty Ltd Method and system for rule based display of sets of images
US11183292B2 (en) 2013-03-15 2021-11-23 PME IP Pty Ltd Method and system for rule-based anonymized display and data export
US11244495B2 (en) 2013-03-15 2022-02-08 PME IP Pty Ltd Method and system for rule based display of sets of images using image content derived parameters
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US20160225180A1 (en) * 2015-01-29 2016-08-04 Siemens Medical Solutions Usa, Inc. Measurement tools with plane projection in rendered ultrasound volume imaging
US11599672B2 (en) 2015-07-31 2023-03-07 PME IP Pty Ltd Method and apparatus for anonymized display and data export
US9984478B2 (en) 2015-07-28 2018-05-29 PME IP Pty Ltd Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images
JP7042216B2 (ja) 2016-05-03 2022-03-25 アフェラ, インコーポレイテッド 解剖学的モデルの表示
EP3454734B1 (en) 2016-05-11 2024-04-17 Affera, Inc. Anatomical model generation
US20170325901A1 (en) 2016-05-12 2017-11-16 Affera, Inc. Anatomical model controlling
US10649615B2 (en) 2016-10-20 2020-05-12 Microsoft Technology Licensing, Llc Control interface for a three-dimensional graphical object
US10909679B2 (en) 2017-09-24 2021-02-02 PME IP Pty Ltd Method and system for rule based display of sets of images using image content derived parameters
EP3553785A1 (en) * 2018-04-11 2019-10-16 Koninklijke Philips N.V. Systems and methods for generating enhanced diagnostic images from 3d medical image data
WO2021168415A1 (en) * 2020-02-20 2021-08-26 Align Technology, Inc. Medical imaging data compression and extraction on client side
CN113625344A (zh) * 2020-05-08 2021-11-09 中国石油天然气集团有限公司 地震数据可视化方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4734690A (en) * 1984-07-20 1988-03-29 Tektronix, Inc. Method and apparatus for spherical panning
JP3013593B2 (ja) * 1991-05-09 2000-02-28 株式会社日立製作所 画像表示方法
US5298919A (en) * 1991-08-02 1994-03-29 Multipoint Technology Corporation Multi-dimensional input device
JPH05189541A (ja) * 1992-01-13 1993-07-30 Hitachi Ltd 画像操作方法
US5313230A (en) * 1992-07-24 1994-05-17 Apple Computer, Inc. Three degree of freedom graphic object controller
US5454371A (en) * 1993-11-29 1995-10-03 London Health Association Method and system for constructing and displaying three-dimensional images
EP0795832A3 (en) * 1996-02-16 1998-07-22 Axsys Corporation Method and apparatus for maximizing the number of radiological images displayed on a display screen or printed on a sheet of film
CA2267981C (en) * 1996-11-29 2004-10-19 Life Imaging Systems Inc. Enhanced image processing for a three-dimensional imaging system
JP2001109906A (ja) * 1999-10-01 2001-04-20 Mitsubishi Electric Inf Technol Center America Inc ボリューム・データ・セットのレンダリング装置およびその方法
DE10004898C2 (de) * 2000-02-04 2003-06-26 Siemens Ag Darstellungseinrichtung
DE10157268A1 (de) * 2001-11-22 2003-06-12 Philips Intellectual Property Verfahren und Vorrichtung zur simultanten Darstellung von beliebig wählbaren komplementären Schnittbildern

Also Published As

Publication number Publication date
EP1636761A1 (en) 2006-03-22
WO2004109603A1 (en) 2004-12-16
US20060197780A1 (en) 2006-09-07
US7656418B2 (en) 2010-02-02
CN100385467C (zh) 2008-04-30
JP2006527056A (ja) 2006-11-30
CN1806260A (zh) 2006-07-19

Similar Documents

Publication Publication Date Title
JP4510817B2 (ja) 3次元ボリューム空間クロップのユーザ制御
JP3483929B2 (ja) 3次元画像生成方法
US8018454B2 (en) Volume rendering processing distribution in a graphics processing unit
CA2267981C (en) Enhanced image processing for a three-dimensional imaging system
US7561725B2 (en) Image segmentation in a three-dimensional environment
US20070046661A1 (en) Three or four-dimensional medical imaging navigation methods and systems
Kaufman et al. Intermixing surface and volume rendering
US6995763B2 (en) Interactive sculpting for volumetric exploration and feature extraction
CN110087553B (zh) 超声设备及其三维超声图像显示方法
JP2009034521A (ja) 医学的な画像診断におけるデータを体積レンダリングするシステムと方法ならびにコンピュータ読み出し可能記憶媒体
JP2004534584A (ja) 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法
WO1998024058A9 (en) Enhanced image processing for a three-dimensional imaging system
JP2004160232A (ja) ボリュームレンダリング超音波画像における対象ボリュームを識別するためのシステム及び方法
US20130329978A1 (en) Multiple Volume Renderings in Three-Dimensional Medical Imaging
US7852335B2 (en) Volume rendering processing distribution in a graphics processing unit
JPH04289976A (ja) 三次元形状モデル生成方法およびシステム
Johnson et al. Integration of volume rendering and geometric graphics: work in progress
Dietrich et al. Real-time interactive visualization and manipulation of the volumetric data using GPU-based methods
JPH05189543A (ja) 三次元画像情報提示方法
i Bartrolı et al. Visualization techniques for virtual endoscopy
JP2809955B2 (ja) グラフィックス・ワークステーションおよび三次元グラフィックス画像の生成方法
Meyer et al. Interactive visualization of hybrid medical data sets
JPH0239385A (ja) 3次元画像処理装置
STAGNOLI Ultrasound simulation with deformable mesh model from a Voxel-based dataset
Burns Efficient and comprehensible visualization of complex three-dimensional scenes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4510817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250