JP2000172836A - Imaging system for generating image spread sheet and method for implementing image spread sheet - Google Patents

Abstract

PROBLEM TO BE SOLVED: To match images from a variety of modalities by allowing an image spread sheet generator to execute a given set of expressions in a 1st set of cells in response to user input and converting a 1st image to cells of the 1st set. SOLUTION: The image spread sheet generator 10 is connected to a graphic generator 12 of a graphic system 14 which has a processor 16. Then the image spread generator 10 displays images in cells, which are so arrayed and aligned to match registration markers of the respective cells, in response to image data having relative registration data. The image spread sheet generator 10 executes the given set of expressions in the cells of the 1st set and converts the images to the cells of the 1st set in response to user input.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、イメージスプレッ
ドシートを生成するイメージングシステムに関する。本
発明は、イメージスプレッドシートを実行する方法に関
する。The present invention relates to an imaging system for generating an image spreadsheet. The present invention relates to a method for executing an image spreadsheet.

【０００２】[0002]

【従来の技術】数値データを操作するための直感的で証
明済みの方法を提供するスプレッドシートアプリケーシ
ョンプログラム及びスプレッドシートメタファーは公知
である。そのようなデータは、典型的には、テキスト又
はＡＳＣＩＩ値であり、グラフィックデータのような異
なったフォーマットでの他のデータに対抗するものであ
る。BACKGROUND OF THE INVENTION Spreadsheet application programs and spreadsheet metaphors that provide an intuitive and proven method for manipulating numerical data are known. Such data is typically text or ASCII values, and competes with other data in different formats, such as graphic data.

【０００３】医療画像分野では、幾つかの極めて特殊な
問題点と、多重に連続していて多種多様なタイプの画像
を同時に見る必要がある。３次元画像のイメージングモ
ダリティ、例えば、ＣＴ，ＭＲ，ＰＥＴ，ＳＰＥＣＴ，
３Ｄ超音波では、画像ではなくて、ボリュームが形成さ
れ、このボリュームは、通常、画像形成される患者の、
スタック（積層）状の切断スライスとして表示される。
その結果、異なったモダリティからの多重画像を、同時
に表示する必要がある。[0003] In the medical imaging arts, there are several very specific problems and the need to simultaneously view multiple, diverse and diverse types of images. Imaging modalities for three-dimensional images, such as CT, MR, PET, SPECT,
In 3D ultrasound, rather than an image, a volume is formed, which is usually the volume of the patient being imaged.
It is displayed as a cut slice in the form of a stack.
As a result, multiple images from different modalities need to be displayed simultaneously.

【０００４】シングルモダリティ又はマルチモダリティ
で、患者を複数回撮像するのが通常である。マルチモダ
リティイメージングの場合、同一対象領域が観測される
が、異なった数量が測定される。付加的に、画像セット
間で空間分解能が変わることがある。シングルモダリテ
ィでの多重検査が、差分評価を行うのに使用されるのが
屡々である。例えば、コントラスト強調剤（エージェン
ト）を血流内に注入する前後に撮像される、コントラス
ト強調の磁気共鳴アンギオグラフィであり、インターベ
ンションの前後で病理学の画像を用いる治療・診断評価
であり、生物学的プロセスが時間に亘ってモニタされる
機能画像形成（ファンクショナルイメージング）であ
る。[0004] It is common to image a patient multiple times with a single or multi-modality. In the case of multi-modality imaging, the same target area is observed, but different quantities are measured. Additionally, spatial resolution may vary between image sets. Multiple inspections with a single modality are often used to perform differential evaluation. For example, contrast-enhanced magnetic resonance angiography, which is imaged before and after a contrast-enhancing agent (agent) is injected into the bloodstream, and is a treatment / diagnosis evaluation using pathological images before and after an intervention. Functional imaging in which the biological process is monitored over time.

【０００５】シングルモダリティ及びマルチモダリティ
の両方の場合に、患者の動き、及び、スキャナの反復可
能性により、イメージング上の問題が生じる。場合によ
っては、患者の画像が数日間、数週間又は数ヶ月間に亘
って個別に撮像されることがある。高速データ収集セッ
ト用のスキャナ内に患者が居続ける場合でも、呼吸、不
快さ、興奮、又は、消化過程のために、患者の位置がず
れることがある。スキャナ自体も、機械的な不正確さの
ために、ずれることがある。In both single and multi-modality cases, imaging problems arise due to patient motion and scanner repeatability. In some cases, images of the patient may be taken individually over days, weeks, or months. Even if the patient remains in the scanner for the high-speed data acquisition set, the patient may be misaligned due to breathing, discomfort, excitement, or a digestive process. The scanner itself may shift due to mechanical inaccuracies.

【０００６】従って、医療診断及び治療に使用するため
には、種々多様なモダリティからの画像をマッチングさ
せる必要がある。Therefore, there is a need to match images from a variety of modalities for use in medical diagnosis and treatment.

【０００７】[0007]

【発明が解決しようとする課題】本発明の課題は、イメ
ージスプレッドシートを生成するイメージングシステム
及びイメージスプレッドシートを実行する方法におい
て、医療診断及び治療に使用するために、種々多様なモ
ダリティからの画像をマッチングさせることにある。SUMMARY OF THE INVENTION It is an object of the present invention to provide an imaging system for generating an image spreadsheet and a method of executing the image spreadsheet, for use in medical diagnostics and therapy, for imaging from a variety of modalities. Is to match.

【０００８】[0008]

【課題を解決するための手段】この課題は、本発明によ
ると、ディスプレイ上にグラフィックユーザインターフ
ェース（ＧＵＩ）を表示するためのプロセッサと、関連
のレジストレーションマーカを備えた複数のセルを有す
るスプレッドシートグリッドを、グラフィックユーザイ
ンターフェース（ＧＵＩ）に表示させるための、イメー
ジスプレッドシートジェネレータとを有しており、各セ
ルは、式と関連付けることができ、イメージスプレッド
シートジェネレータは、複数の画像を、複数のセルの部
分内に表示するための関連のレジストレーションデータ
を有する画像データに応答し、複数のセルは、当該のそ
れぞれのセルのレジストレーションマーカとマッチング
するように整列及び配向されている複数の画像を有して
おり、イメージスプレッドシートジェネレータは、ユー
ザ入力に応答して、所定セットの式を第１セットのセル
内で実行し、第１の画像を第１セットのセルに変換する
ことにより解決される。SUMMARY OF THE INVENTION In accordance with the present invention, a spreadsheet having a plurality of cells with a processor for displaying a graphic user interface (GUI) on a display and an associated registration marker is provided. An image spreadsheet generator for displaying the grid in a graphic user interface (GUI), wherein each cell can be associated with a formula, the image spreadsheet generator can convert a plurality of images into a plurality of images; Responsive to image data having associated registration data for display in a portion of the cells, the plurality of cells being aligned and oriented to match a registration marker of each respective cell of interest. With images Red sheet generator, in response to user input, the expression of a given set running in the cell of the first set is solved by converting the first image into cells of the first set.

【０００９】この課題は、本発明によると、ディスプレ
イ上にグラフィックユーザインターフェース（ＧＵＩ）
を表示するためのプロセッサと、グラフィックユーザイ
ンターフェース（ＧＵＩ）に、関連のレジストレーショ
ンマーカ付の複数のセルを有するスプレッドシートグリ
ッドを表示するためのイメージスプレッドシートジェネ
レータとを有しており、各セルは、式と関連付けられて
いて、多次元画像を表示するようにすることができ、イ
メージスプレッドシートジェネレータは、第１のセット
のセル内の１セットの式に応答して、第１の画像を第１
のセットのセル内に変換し、イメージスプレッドシート
ジェネレータは、多次元画像に相応する画像データに応
答して、セットの式を第１セットのセルに適用する前
に、第１のセットのセルの変換を介して、画像を自動的
に整列することにより解決される。According to the present invention, a graphic user interface (GUI) is provided on a display.
, And an image spreadsheet generator for displaying a spreadsheet grid having a plurality of cells with associated registration markers on a graphic user interface (GUI), each cell comprising: , Associated with the formula, the multi-dimensional image can be displayed, and the image spreadsheet generator responsive to the set of formulas in the first set of cells converts the first image to the first set of cells. 1
And the image spreadsheet generator responds to the image data corresponding to the multi-dimensional image by applying the first set of cells to the first set of cells before applying the set formula to the first set of cells. This is solved by automatically aligning the images via a transformation.

【００１０】この課題は、本発明によると、グラフィッ
クユーザインターフェース（ＧＵＩ）上に、複数のセル
を有するスプレッドシートグリッドを表示するステップ
と、複数のセルの少なくとも１つを式に関連付けるステ
ップと、関連のレジストレーションデータを有す画像デ
ータを処理して、複数のセルの部分内に複数の画像を表
示するステップと、それぞれのセル内で複数の画像を整
列して配向し、前記それぞれのセルのレジストレーショ
ンマークをマッチングさせるステップと、少なくとも１
つの式に従って、第１の画像を第１のセットのセルに変
換するステップとを有することにより解決される。According to the present invention, there is provided, in accordance with the invention, displaying a spreadsheet grid having a plurality of cells on a graphic user interface (GUI), associating at least one of the plurality of cells with a formula. Processing the image data having the registration data of, displaying a plurality of images in a plurality of cell portions, and aligning and orienting the plurality of images in each cell, Matching registration marks, at least one
Converting the first image into a first set of cells according to two formulas.

【００１１】[0011]

【発明の実施の形態】本発明の特に有利な実施例は、従
属請求項に記載されている。BRIEF DESCRIPTION OF THE DRAWINGS Particularly advantageous embodiments of the invention are set out in the dependent claims.

【００１２】イメージスプレッドシートでは、画像デー
タに割り当てられたイメージスプレッドシート内のセル
と、イメージオペランドを実行する数学的演算を用い
て、画像データスプレッドシートメタファが、２次元
（２Ｄ）及び３次元（３Ｄ）画像及び画像シーケンスに
拡張される。イメージスプレッドシートは、ディスプレ
イ上にグラフィックユーザインターフェース（ＧＵＩ）
を表示するためのプロセッサを有するイメージングシス
テム上で実行される。イメージスプレッドシートジェネ
レータにより、グラフィックユーザインターフェース
（ＧＵＩ）は、関連のレジストレーションマーカ付の複
数のセルを持ったスプレッドシートグリッドを表示し、
各セルにより、式と関連付けることができるようにな
る。イメージスプレッドシートジェネレータは、関連の
レジストレーションデータを有する画像データに応答し
て、複数の画像を、各セルのレジストレーションマーカ
にマッチングするように整列して配向された、複数の画
像を有する複数のセルの部分内に表示する。イメージス
プレッドシートジェネレータは、ユーザ入力に応答し
て、第１のセットのセル内の所定セットの式を実行し、
画像を第１セットのセルに変換する。In an image spreadsheet, image data spreadsheet metaphors are two-dimensional (2D) and three-dimensional (3D) using cells in the image spreadsheet assigned to image data and mathematical operations to perform image operands. 3D) Extended to images and image sequences. The image spreadsheet has a graphic user interface (GUI) on the display.
Executed on an imaging system having a processor for displaying. With the image spreadsheet generator, the graphic user interface (GUI) displays a spreadsheet grid with multiple cells with associated registration markers,
Each cell allows it to be associated with a formula. The image spreadsheet generator is responsive to the image data having the associated registration data, the plurality of images having the plurality of images aligned and oriented to match the registration markers of each cell. Display inside the cell part. The image spreadsheet generator executes a predetermined set of formulas in the first set of cells in response to user input,
Convert the image to a first set of cells.

【００１３】所定の画像変換は、セルに変換される画像
を形成する各セルをユーザがカストマイズすることがで
きるように機能する。例えば、画像減算（イメージサブ
トラクション）を用いて、磁気共鳴アンギオグラフィ
（ＭＲＡ）画像が、コントラスト強調剤を血管系内に注
入して示された画像を含めて、バックグラウンドの血管
系を除去するように変換されて、コントラスト強調剤の
流れが表示される。２次元画像、３次元画像、及び、テ
キストさえも、セル内に表示されることがある。セル内
のドッグイヤアイコン、ポップアップウィンドウ、又
は、ポップアップユーザインターフェース（ＵＩ）をア
クチュエートさせて、第１セルと関連付けられた複数の
画像の１画像を選択的に表示してもよい。The predetermined image conversion functions so that the user can customize each cell forming the image to be converted to a cell. For example, using image subtraction (image subtraction), magnetic resonance angiography (MRA) images may be used to remove background vasculature, including images shown with contrast enhancement agents injected into the vasculature. And the flow of the contrast enhancing agent is displayed. Two-dimensional images, three-dimensional images, and even text may be displayed in cells. A dog ear icon, pop-up window, or pop-up user interface (UI) in the cell may be actuated to selectively display one of the plurality of images associated with the first cell.

【００１４】[0014]

【実施例】次に、本発明について、図示の有利な実施例
を用いて詳述する。BRIEF DESCRIPTION OF THE DRAWINGS The invention will now be described in more detail with reference to preferred embodiments shown in the drawings.

【００１５】図１は、イメージスプレッドシートを実行
するシステム全体を示す図である。FIG. 1 is a diagram showing an entire system for executing an image spreadsheet.

【００１６】図１から分かるように、イメージスプレッ
ドシートジェネレータ１０及び方法が、グラフィックデ
ィスプレイシステム内で２次元（２Ｄ）及び／又は３次
元（３Ｄ）画像を操作するのに使用されており、従っ
て、多くのタイプの画像データを処理するのに親しみや
すい感じの作業空間が提供され、それは、一般的な画像
処理系で使用されているパイプラインモデルからの重要
なパラダイムシフトである。イメージスプレッドシート
ジェネレータ１０は、プロセッサ１６を有するグラフィ
ックシステム１４のグラフィックジェネレータ１２に接
続されている。グラフィックジェネレータ１２は、プロ
セッサ１６と、例えば、タスクカード１８又は他のファ
ンクション又はサブルーチンを介して相互に作用し、ス
クリーン又は他の出力デバイス上に２Ｄ及び／又は３Ｄ
画像を形成して表示する。プロセッサ１６は、イメージ
シンボルジェネレータ２０を用いて作動し、このイメー
ジシンボルジェネレータ２０は、イメージングシンボル
を、ユーザに分かり易いように、グラフィックシステム
１４の出力スクリーン上に表示するためのソフトウェア
オブジェクトのコレクションにするとよい。As can be seen from FIG. 1, the image spreadsheet generator 10 and method have been used to manipulate two-dimensional (2D) and / or three-dimensional (3D) images in a graphic display system, and therefore, A familiar workspace is provided for processing many types of image data, a significant paradigm shift from the pipeline model used in common image processing systems. The image spreadsheet generator 10 is connected to a graphic generator 12 of a graphic system 14 having a processor 16. The graphics generator 12 interacts with the processor 16 via, for example, a task card 18 or other functions or subroutines, and displays 2D and / or 3D images on a screen or other output device.
Form and display an image. The processor 16 operates using an image symbol generator 20 that converts the imaging symbols into a collection of software objects for display on the output screen of the graphics system 14 for the user to understand. Good.

【００１７】プロセッサ１６は、インターフェース２
２、グラフィックユーザインターフェース（ＧＵＩ）マ
ネージャ２４、及び、アプリケーションプログラムイン
ターフェース（ＡＰＩ）２６を有している。そのような
コンポーネント２２−２６は、インターフェースサーバ
２８に接続されていて、それぞれインターフェースサー
バ２８とインターフェースが形成されており、インター
フェースサーバ２８を介して、リモートコミュニケーシ
ョン用のインターネットのような他のシステム３０と相
互に作用し合う。そのようなコンポーネント２２−２６
は、ハードコピーサーバ（ＨｃＳ）３２と接続されてい
て、出力信号をイメージング装置又はハードコピー出力
用のプリンタ３４に送信する。そのようなコンポーネン
ト２２−２６は、例えば、オンラインストレージ３８内
にデータを記憶するためのデータベースサーバ（Ｄｂ
Ｓ）３６と接続されている。そのようなコンポーネント
２２−２６は、データを、プロセッサ１６又は他の中央
処理ユニット（単数又は複数のＣＰＵ）のメモリ４２内
に記憶するためのプロセッシングサーバ（ＰｒＳ）４０
と接続されている。そのようなコンポーネント２２−２
６は、ユーザインターフェース（ＵＩ）サーバ４４に接
続されており、ユーザインターフェース（ＵＩ）サーバ
４４は、例えば、Ｘ ＷＩＮＤＯＷＳプロトコル（例え
ば、バージョン１１（Ｘ１１））を使用して、少なくと
も１つの入力及び／又は出力（Ｉ／Ｏ）デバイス４６、
例えば、ディスプレイスクリーン、キーボード、及び／
又はマウスとインターフェースを形成する。The processor 16 has an interface 2
2. It has a graphic user interface (GUI) manager 24 and an application program interface (API) 26. Such components 22-26 are connected to an interface server 28, each of which interfaces with the interface server 28, and via the interface server 28 with other systems 30, such as the Internet for remote communication. Interact with each other. Such components 22-26
Is connected to a hard copy server (HcS) 32 and transmits an output signal to an imaging device or a printer 34 for hard copy output. Such components 22-26 may include, for example, a database server (Db) for storing data in online storage 38.
S) 36. Such components 22-26 include a processing server (PrS) 40 for storing data in memory 42 of processor 16 or other central processing unit (s).
Is connected to Such a component 22-2
6 is connected to a user interface (UI) server 44, the user interface (UI) server 44 using at least one input and / or using the X WINDOWS protocol (eg, version 11 (X11)). Or an output (I / O) device 46,
For example, a display screen, keyboard, and / or
Or form an interface with a mouse.

【００１８】有利な実施例では、グラフィックジェネレ
ータ１２は、ＳＩＥＭＥＮＳ ＭＥＤＩＣＡＬ ＳＹＳ
ＴＥＭＳ，ＩＮＣ．（Ｉｓｅｌｉｎ，ＮｅｗＪｅｒｓｅ
ｙ）製の商用利用可能なＦＬＹ ＴＨＲＯＵＧＨソフト
ウェアであり、このＦＬＹＴＨＲＯＵＧＨソフトウェア
は、ＳＩＥＭＥＮＳ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭ
Ｓ，ＩＮＣ．（Ｉｓｅｌｉｎ，ＮｅｗＪｅｒｓｅｙ）に
よって配布されているＰＲＯＭＩＮＥＮＣＥのようなグ
ラフィックシステム１４のワークステーション上でラン
する。ＰＲＯＭＩＮＥＮＣＥは、カナダのＩＳＧ ＴＥ
ＣＨＮＯＬＯＧＩＥＳによって製造された先進的な医療
ビューイング及びポストプロセッシングワークステーシ
ョンである。択一選択的に、グラフィックシステム１４
は、ＳＩＥＭＥＮＳ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭ
Ｓ，ＩＮＣ．製の利用可能な３ＤＶＩＲＴＵＯＳＯポス
トプロセッシングワークステーションにするとよく、こ
の３ＤＶＩＲＴＵＯＳＯポストプロセッシングワークス
テーションは、オプションでＷＩＮＤＯＷＳ ＮＴプラ
ットフォーム上でアクチュエートし、例えば、ＭＥＤＣ
ＯＭ ＩＮＦＯＲＭＡＴＩＯＮ ＳＹＳＴＥＭＳ，ＩＮ
Ｃ．製の利用可能なＬＡＢＯＲＡＴＯＲＹ ＩＮＦＯＲ
ＭＡＴＩＯＮ ＳＹＳＴＥＭを使用する。ＦＬＹ ＴＨ
ＲＯＵＧＨソフトウェアを使用するためのＧＵＩは、Ｓ
ＩＥＭＥＮＳＣＯＲＰＯＲＡＴＩＯＮ製の利用可能なＳ
ＩＥＮＥＴ ＭＡＧＩＣＶＩＥＷ ＣＴ／ＭＲサテライ
トコンソール上で実行するとよい（Ｉ／Ｏデバイス４６
として作動する）。択一選択的に、米国特許第５７８２
７６２号明細書（Ｖｉｎｉｎｇ）に記載されているグラ
フィックシステム及び／又は米国特許第５８２５９０９
号明細書（Ｊａｎｇ）（これらは、本明細書で参考文献
として参照している）を、グラフィックシステム１４と
して使用するとよい。In an advantageous embodiment, graphic generator 12 comprises a SIEMENS MEDICAL SYS
TEMS, INC. (Iselin, NewJerse
y) commercially available FLY THROUGH software, which is available from SIEMENS MEDICAL SYSTEM.
S, INC. Run on a workstation of the graphics system 14, such as PROMINENCE distributed by (Iselin, New Jersey). PROMINENCE is a Canadian ISG TE
An advanced medical viewing and post-processing workstation manufactured by CHNOLOGIES. Alternatively, the graphics system 14
Is a SIEMENS MEDICAL SYSTEM
S, INC. 3DVIRTUSOSO post-processing workstation available from WINDOWS NT platform, optionally, on a WINDOWS NT platform.
OM INFORMATION SYSTEMS, IN
C. Available LABORATORY INFOR
Use MATION SYSTEM. FLY TH
The GUI for using the ROUGH software is S
Available S made by IENS CORPORATION
It may be executed on the IENET MAGIC VIEW CT / MR satellite console (I / O device 46
Works as). Alternatively, U.S. Pat.
No. 762,909 (Vinging) and / or U.S. Pat. No. 5,825,909.
The issue specifications (Jang), which are referred to herein by reference, may be used as the graphics system 14.

【００１９】２Ｄ／３Ｄ医療用グラフィックイメージン
グの場合には、イメージシンボルジェネレータ２０は、
ソフトウェアオブジェクトのＭＥＴＡ４コレクションに
するとよく、このＭＥＴＡ４コレクションによると、ユ
ーザに分かり易く、Ｉ／Ｏデバイス４６のユーザインタ
ーフェースＵＩ上にイメージングシンボルをメタフォリ
カルに表示する。デバイスインターフェース２２は、Ｄ
ＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ
Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎ
ｅ）コミュニケーションインターフェースオブジェクト
セットにするとよく、インターフェースサーバ２８は、
コンピュータ支援トモグラフィ（ＣＡＴ）スキャナ及び
Ｘ線機器のような医療システム３０とインターフェース
を形成するＤＩＣＯＭベースサーバにするとよい。ま
た、ＧＵＩマネージャ２４は、ＸＷＩＮＤＯＷＳ用のＭ
ＯＴＩＦマネージャにするとよく、ＡＰＩ２６は、Ｏｐ
ｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒ
ｙ）スタンダードグラフィックスＡＰＩにするとよい。In the case of 2D / 3D medical graphic imaging, the image symbol generator 20
The META4 collection of software objects may be used, and according to the META4 collection, imaging symbols are displayed in a metaphorical manner on the user interface UI of the I / O device 46 in a manner that is easy for the user to understand. The device interface 22 is D
ICOM (Digital Imaging and
Communications in Medicin
e) a set of communication interface objects, the interface server 28
It may be a DICOM-based server that interfaces with a medical system 30, such as a computer assisted tomography (CAT) scanner and X-ray equipment. In addition, the GUI manager 24 uses the M for XWINDOWS.
The OTIF manager may be used, and the API 26
enGL (Open Graphics Library)
y) The standard graphics API may be used.

【００２０】グラフィックジェネレータ１２は、セグメ
ンテーションモジュール、モデルビルダーモジュール及
びインタラクティブディスプレイモジュールを有してい
る。セグメンテーションモジュールセグメントは、内視
鏡検査のシミュレーションの間、関心領域の異なった器
官を示し、セグメント化されたボリュームデータセット
を発生する。モデルビルダーモジュールコンバータは、
セグメント化されたボリュームデータセットをセグメン
ト化された多面体モデルセットに変換し、それにより、
インタラクティブディスプレイモジュールによってリア
ルタイム表示が行われる。Ｉ／Ｏデバイス４６のＧＵＩ
によって、ユーザに、図２−３に示されているメインビ
ューイングウィンドウ４８のようなビューウィンドウを
有するスクリーンが提供される。メインビューイングウ
ィンドウ４８は、後述のような特定の表示の目的用のス
プレッドシートセル５０に細分割するとよい。ウィンド
ウ５２のようなユーザ入力ウィンドウは、ユーザからの
コマンドに依存して、又は、コンディション、例えば、
ＱＵＥＲＹ ＵＳＥＲ ＦＯＲ ＩＮＰＵＴコンディシ
ョン又はエラーコンディションに応答するグラフィック
ジェネレータ１２に依存して、開いたり閉じたりすると
よい。ウィンドウ５２は、数学的操作、又は、セル５０
の個別乃至グループ用の他の操作を開始するのに使用さ
れるポップアップウィンドウにするとよい。The graphic generator 12 has a segmentation module, a model builder module, and an interactive display module. The segmentation module segments show different organs of the region of interest during the simulation of the endoscopy and generate a segmented volume data set. Model Builder Module Converter
Transform the segmented volume dataset into a segmented polyhedral model set,
Real-time display is performed by the interactive display module. GUI of I / O device 46
Provides the user with a screen having a viewing window, such as the main viewing window 48 shown in FIGS. 2-3. The main viewing window 48 may be subdivided into spreadsheet cells 50 for specific display purposes as described below. A user input window, such as window 52, may be dependent on a command from the user, or on a condition, e.g.,
It may be opened or closed depending on the graphics generator 12 responding to a QUERY USER FOR INPUT condition or an error condition. Window 52 is used for mathematical operations or cell 50
Pop-up window used to initiate other operations for the individual or group of users.

【００２１】スクリーンの部分５４には、選択可能なタ
スク及びスクロール可能なタスクバーのコントロールパ
ネルを示す部分が含まれる。例えば、利用可能なタスク
カードに応じて、２Ｄ，ＭＰＲ，３Ｄ，Ａｎｇ，Ｒｅ
ｇ，Ｕ１，Ｕ２及びＦＬＹのようなコマンド又はアイコ
ンを設けるとよい。タスクカード又はタブのような他の
コマンドを表示してもよく、それにより、ＦＩＬＭ，Ｓ
ＡＶＥ，ＺＰＡＮ，及びＷ／１のようなコマンドを選択
できるようになる。ＣＯＰＹ ＳＣＲＥＥＮ，ＣＯＰＹ
ＳＥＲＩＥＳ，ＮＥＷ ＰＡＧＥ，ＣＬＥＡＲ ＩＭ
ＡＧＥ，ＯＰＴＩＯＮＳとラベリングされたアイコン、
及び、スクロール可能な矢印コマンドのようなアイコン
を設けてもよい。The portion 54 of the screen includes portions showing selectable tasks and a control panel of a scrollable task bar. For example, depending on available task cards, 2D, MPR, 3D, Ang, Re
Commands or icons such as g, U1, U2 and FLY may be provided. Other commands, such as task cards or tabs, may be displayed so that FILM, S
Commands such as AVE, ZPAN, and W / 1 can be selected. COPY SCREEN, COPY
SERIES, NEW PAGE, CLEAR IM
Icons labeled AGE, OPTIONS,
An icon such as a scrollable arrow command may be provided.

【００２２】メインビューウィンドウ４８内でイメージ
スプレッドシートを実行すために、スクリーンの部分５
４は、セル編集コマンド又はＣＥＬＬ ＥＤＩＴＯＲ，
ＡＤＤ ＲＯＷ，ＡＤＤ ＣＯＬＵＭＮ，ＥＶＡＬＵＡ
ＴＥ ＡＬＬ，ＬＯＡＤ，及びＳＡＶＥのようなアイコ
ンを有するようにするとよい。従って、ユーザは、セル
をクリックすることによってセルをセレクトすることが
でき、即ち、マウスを相応に動かすことによって、ＧＵ
Ｉカーソルをセルのところに動かして、マウスボタンを
操作することによってセレクトすることができる。その
ような編集コマンドを用いて、ユーザは、セルを編集
し、セル５０に行及び列を付加し、セル全てを評価し
て、セルのスプレッドシート全体を変更された画像又は
式を反映するようにアップデートし、個別セルに画像を
ロードし、スプレッドシート全体に現在の画像、現在の
式、及び／又は現在のセルのコンフィグレーションを保
存することができる。To execute the image spreadsheet in the main view window 48, a portion of the screen 5
4 is a cell edit command or CELL EDITOR,
ADD ROW, ADD COLUMN, EVALUA
It may have icons such as TE ALL, LOAD, and SAVE. Thus, the user can select a cell by clicking on the cell, ie, by moving the mouse accordingly, the GU
The user can select by moving the I cursor to the cell and operating the mouse button. Using such editing commands, the user can edit the cell, add rows and columns to cell 50, evaluate all the cells, and change the entire cell spreadsheet to reflect the changed image or formula. To load an image into an individual cell and save the current image, current formula, and / or current cell configuration throughout the spreadsheet.

【００２３】図１に示されているように、Ｉ／Ｏデバイ
ス４６は、オプショナルに、ユーザ入力受信用のイメー
ジスプレッドシートジェネレータ１０に接続してもよ
く、このユーザ入力により、ユーザが、ウィンドウ４
８，５４を有するスクリーンを見て、セル５０内に示さ
れている画像を通してナビゲートするように、ビューの
選択及びオリエンテーションを制御することができる。As shown in FIG. 1, the I / O device 46 may optionally be connected to an image spreadsheet generator 10 for receiving user input, which allows the user to access the window 4.
Looking at the screen with 8,54, the view selection and orientation can be controlled to navigate through the image shown in cell 50.

【００２４】イメージスプレッドシートシステム１０
は、ハードウェア及び／又はソフトウェアであり、サブ
ルーチンとしてグラフィックジェネレータ１２として組
み入れられ、又は、グラフィックシステム１４に関して
離れて位置付けられており、つまり、例えば、イメージ
スプレッドシートシステム１０は、グラフィックジェネ
レータ１２に接続された別個のワークステーションであ
り、インターネットのようなネットワークを介してグラ
フィックジェネレータ１２と通信するパーソナルコンピ
ュータである。Image spreadsheet system 10
Is hardware and / or software, incorporated as a subroutine as the graphics generator 12, or located remotely with respect to the graphics system 14, ie, for example, the image spreadsheet system 10 is connected to the graphics generator 12. And a personal computer that communicates with the graphic generator 12 via a network such as the Internet.

【００２５】図２に示されているように、イメージスプ
レッドシートのセル５０は、典型的なスプレッドシート
様式でラベリングされており、行を形成するセル５０で
数値がラベリングされており、列を形成するセルでアル
ファベットがラベリングされており、そのようにして、
セルＡ１からＡ３、Ｂ１からＢ３、Ｃ１からＣ３、等が
形成される。各セル５０は、公式又は式と関連付けられ
ており、これら公式又は式は、ユーザコマンドによりト
グルされる択一選択的なディスプレイスクリーンで視る
ことができ、又は、ディスプレイスクリーンの部分５４
内の所定の式表示領域内に示される。択一選択的な実施
例では、イメージスプレッドシートは、図２に示されて
いるように２Ｄ画像を示し、図３に示されているように
３Ｄを示し、図２に示されているようにテキストを示
し、又は、図２−３に示されているように、テキスト、
２Ｄ画像、３Ｄ画像の組合せを示す。As shown in FIG. 2, the cells 50 of the image spreadsheet are labeled in a typical spreadsheet fashion, with numbers being labeled in cells 50 forming rows and forming columns. The cell is labeled with the alphabet, and in that way,
Cells A1 to A3, B1 to B3, C1 to C3, etc. are formed. Each cell 50 is associated with a formula or formula, which formulas or formulas can be viewed on an alternative display screen toggled by a user command, or a portion 54 of the display screen.
Are shown in a predetermined formula display area. In an alternative embodiment, the image spreadsheet shows a 2D image as shown in FIG. 2, a 3D image as shown in FIG. 3, and an image spreadsheet as shown in FIG. Showing text or, as shown in FIGS. 2-3, text,
3 shows a combination of a 2D image and a 3D image.

【００２６】図２を参照すると、各セル５０は、レジス
トレーションマーカ５６を有しており、レジストレーシ
ョンマーカ５６は、可視又は不可視であり、即ち、すく
セル５０は、そのようなレジストレーションマーカ５６
の位置を特定するメモリ内の関連のデータを有してお
り、イメージスプレッドシートジェネレータ１０は、ユ
ーザコマンドに応答して、レジストレーションマーカ５
６が選択されたセル５０又は全てのセル５０内に表示さ
れるかどうかトグルされる。レジストレーションマーカ
５６は、画像を位置決めして整列するのに使用され、デ
フォルトセッティングの場合、レジストレーションマー
カ５６は、画像のローディング及びビューイングセッシ
ョン中、ユーザがレジストレーションマーカ５６の表示
をトグルしない限り、ユーザに不可視である。例えば、
セルＡ１，Ｂ１，Ｃ１は、磁気共鳴アンギオグラフィ
（ＭＲＡ）のセッション中プログレッシブフレームを表
示し、磁気共鳴アンギオグラフィでは、組織を囲む血管
のセット５８がセルＡ１に表示される。セルＢ１及びＣ
１は、コントラスト強調剤が血管内に注入されている状
態を示し、画像６０−６２で、血管内を流れるコントラ
スト強調剤と一緒に血管５８を示す。レジストレーショ
ンマーカ５６により、コモンサブジェクト即ち、血管
を、極めて高い精度で整列して配向されるように種々異
なってイメージングすることができる。レジストレーシ
ョンマーカは、イメージスプレッドシートジェネレータ
１０によってイメージスプレッドシートの少なくとも１
つのセル内に生成された、少なくとも２つの画像又はボ
リューム間の基となっている空間マッピングを視覚化し
たものである。そのようなマッピングでは、１画像内の
所定の任意の点が画像又はボリューム内の相応の点にマ
ッピングされる。イメージスプレッドシート内では、マ
ッピングは、後述のように、解剖学的構造のコヒーレン
シィを維持するように計算される。従って、図２−３に
示されている、そのようなレジストレーションマーカ５
６は、例示の目的のみで示されており、セル内にそれ程
多く設ける必要はなく、イメージスプレッドシート内に
可視でも不可視でもないが、その代わり、そのようなレ
ジストレーションマーカ５６は、ビット、ポインタ、メ
モリロケーション、又は、他のデータに応じて、イメー
ジスプレッドシートジェネレータ１０によって実行され
るレジストレーション技術によって、各画像間でのレジ
ストレーションを形成することができる。Referring to FIG. 2, each cell 50 has a registration marker 56, which is visible or invisible, ie, the cell 50 has such a registration marker 56.
The image spreadsheet generator 10 has associated data in memory that locates the registration marker 5 in response to a user command.
6 is toggled whether it is displayed in the selected cell 50 or in all cells 50. The registration marker 56 is used to position and align the image, and in the default setting, the registration marker 56 is used during the loading and viewing sessions of the image unless the user toggles the display of the registration marker 56. , Invisible to the user. For example,
Cells A1, B1 and C1 display a progressive frame during a magnetic resonance angiography (MRA) session, where a set 58 of blood vessels surrounding the tissue is displayed in cell A1. Cells B1 and C
1 shows a state in which the contrast enhancing agent is injected into the blood vessel, and the images 60-62 show the blood vessel 58 together with the contrast enhancing agent flowing through the blood vessel. The registration marker 56 allows the common subject, or blood vessel, to be imaged differently so that it is aligned and oriented with very high accuracy. The registration markers are stored by the image spreadsheet generator 10 in at least one of the image spreadsheets.
A visualization of the underlying spatial mapping between at least two images or volumes generated in one cell. In such a mapping, any given point in one image is mapped to a corresponding point in the image or volume. Within the image spreadsheet, the mapping is calculated to maintain anatomical structure coherency, as described below. Therefore, such a registration marker 5 shown in FIGS.
6 is shown for illustrative purposes only and does not need to be provided much in a cell and is neither visible nor invisible in the image spreadsheet, but instead such a registration marker 56 comprises a bit, pointer , Memory locations, or other data, a registration technique between the images can be formed by the registration technique performed by the image spreadsheet generator 10.

【００２７】セルＡ１Ｂ１，Ｃ１は、ＭＲＡセッション
の画像データのソースから予め受取ったメモリ（グラフ
ィックシステム１４のメモリのような）内のファイルＦ
１，Ｆ２，Ｆ３に相応する画像を有している。従って、
ＬＯＡＤオペレーションは、画像５８を表示するように
セルＡ１をロードする式Ａ１＝ＬＯＡＤ（Ｆ１）によっ
てイメージスプレッドシート内で実行される。その際、
この式は、セルＡ１と関連付けられている。択一選択的
に、セルＡ１，Ｂ１，Ｃ１は、ＭＲＡセッションの時間
Ｔ１，Ｔ２，Ｔ３に相応する画像を有している。従っ
て、ＬＯＡＤオペレーションは、式Ａ１＝ＬＯＡＤ（Ｔ
１）によってセルＡ１をロードするイメージスプレッド
シート内で実行される。択一選択的に、セルＡ１Ｂ１，
Ｃ１は、磁気共鳴イメージングシステムからの異なった
フレームＦＲ１，ＦＲ２，ＦＲ３に相応する画像を有し
ており、つまり、セルＡ１は、関連の式Ａ１＝ＬＯＡＤ
（ＦＲ１）＝ＬＯＡＤ（ＦＲ１）を有する。Cells A1B1 and C1 store a file F in a memory (such as the memory of the graphics system 14) previously received from a source of image data of the MRA session.
1, F2, and F3. Therefore,
The LOAD operation is performed in the image spreadsheet by the formula A1 = LOAD (F1), which loads cell A1 to display image 58. that time,
This formula is associated with cell A1. Alternatively, cells A1, B1, C1 have images corresponding to the times T1, T2, T3 of the MRA session. Therefore, the LOAD operation is represented by the equation A1 = LOAD (T
1) is executed in the image spreadsheet which loads cell A1. Alternatively, cells A1B1,
C1 has images corresponding to the different frames FR1, FR2, FR3 from the magnetic resonance imaging system, that is, cell A1 has the associated formula A1 = LOAD.
(FR1) = LOAD (FR1).

【００２８】そのようなＭＲＡセッションの場合、フレ
ームから得られるセルＡ１Ｂ１，Ｃ１内の画像は、それ
ぞれの時間と関連している。イメージスプレッドシート
は、ＦＲＡＭＥ（ ）のようなサポートイメージ関数で
あり、このサポートイメージ関数は、フレームの時間シ
ーケンス内の時間ｔで、メモリからフレームをリターン
し、セル５０用の式により、セルオペレーションで使用
される関数がコールされる。従って、Ａ１＝ＬＯＡＤ
（ＦＲＡＭＥ（Ｔ１））は、時間Ｔ１のフレーム内に画
像を回復して、セルＡ１内に画像をロードする。For such an MRA session, the images in cells A1B1, C1 obtained from the frames are associated with the respective times. An image spreadsheet is a supporting image function, such as FRAME (), which returns a frame from memory at time t in a time sequence of frames and, by the formula for cell 50, performs a cell operation. The function used is called. Therefore, A1 = LOAD
(FRAME (T1)) restores the image within the frame at time T1 and loads the image into cell A1.

【００２９】セルのローディングの際、スプレッドシー
トジェネレータ１０は、自動的に、各画像用のレジスト
レーションマーカを決定し、それから、画像をフォーマ
ットして、イメージレジストレーションマーカを配置
し、図２に示されたように、レジストレーションマーカ
５６のところに表示する。During cell loading, the spreadsheet generator 10 automatically determines the registration markers for each image, then formats the images, places the image registration markers, and As shown, the information is displayed at the registration marker 56.

【００３０】他のセルオペレーションは、イメージング
の形式で十分に定義されていて、既知の、例えば、加
算、減算、乗算、及び除算を含む標準的な数学的演算を
サポートする。例えば、図２に示されたＭＲＡの例で
は、セルＡ１，Ｂ１及びＣ１は、一時的に導入して示し
たものであり、セルＡ１は、コントラスト強調剤６６な
しの血管の画像５８を有しており、セルＢ１は、血管内
の何らかのコントラスト強調剤の画像を有しており、セ
ルＣ１は、コントラスト強調剤６６の導入後、所定時間
経過後の血管を示す。Other cell operations are well-defined in the form of imaging and support known mathematical operations, including, for example, addition, subtraction, multiplication, and division. For example, in the example of the MRA shown in FIG. 2, cells A1, B1 and C1 are shown temporarily introduced, and cell A1 has an image 58 of a blood vessel without a contrast enhancing agent 66. The cell B1 has an image of a certain contrast enhancing agent in the blood vessel, and the cell C1 shows the blood vessel after a lapse of a predetermined time after the introduction of the contrast enhancing agent 66.

【００３１】コントラスト強調剤６６の注入後、血管は
明るく輝く。周囲の解剖学的構造は、比較的変わらない
ままであり、ポストコントラストイメージセットからプ
リコントラストイメージセットを減算することによって
除去することができる。それから、セルＡ２は、ユーザ
によって指示されて、イメージスプレッドシートジェネ
レータ１０が、関連の式Ａ２＝Ｃ１−Ａ１を使うように
し、この式により、イメージスプレッドシートジェネレ
ータ１０が、画像５８を画像６２から減算し、このよう
にして、ベースの血管の画像を除去し、コントラスト強
調剤６６、及び、血管を通るコントラスト強調剤の経路
だけが示されるようにする。例えば、そのような減算、
従って、血管の画像を画像６２からフィルタリングする
ことにより、画像６２からバックグラウンドの組織の画
像を除去し、画像６４内に示されたコントラスト強調剤
の経路が、血管内の妨害物又は血液凝固を示す血流の終
点６８のような、血流のアスペクトを指示する。同様
に、腫瘍及び他の癌の周囲の血液及び血流は、減算演算
によって指示される。After injection of the contrast enhancer 66, the blood vessels glow brightly. Surrounding anatomy remains relatively unchanged and can be removed by subtracting the pre-contrast image set from the post-contrast image set. Cell A2 is then instructed by the user to cause image spreadsheet generator 10 to use the associated formula A2 = C1-A1, which causes image spreadsheet generator 10 to subtract image 58 from image 62. In this way, the image of the base blood vessel is removed, so that only the contrast enhancing agent 66 and the path of the contrast enhancing agent through the blood vessel are shown. For example, such a subtraction,
Therefore, filtering the image of the blood vessel from image 62 removes the image of the background tissue from image 62, and the path of the contrast enhancer shown in image 64 may reduce any obstructions or blood clotting in the blood vessel. Indicate the blood flow aspect, such as the blood flow endpoint 68 shown. Similarly, blood and blood flow around tumors and other cancers are indicated by subtraction operations.

【００３２】テキストは、セルに入力され（例えば、セ
ルＡ３）、式は、そのようなテキストを他のセルに加算
したり、又は、他のセルから減算したりする。例えば、
セルＢ２は、セルＡ１とセルＡ３を演算Ｂ２＝Ａ１によ
って合成したものであり、そのようにして、テキストを
表題又はラベルとして、画像５８内に挿入することがで
き、それから、画像５８は、例えば、ハードコピードキ
ュメント又はスライドのような、プレゼンテーションマ
テリアルとして、プリント乃至出力される。付加的に、
各セル５０は、複数の他のセルと関連し、及び／又は、
複数の画像を指示し、そのようにして、イメージスプレ
ッドジェネレータ１０は、ドッグイヤアイコン７０又は
他のグラフィカルなアイコンを各セル内に設け、又は、
択一選択的に、そのようなセルだけが、そのような複数
の画像を有するようにすることができる。択一選択的
に、入力ウィンドウ５２のようなポップアップウィンド
ウ又はポップアップインターフェース（ＵＩ）が生成さ
れて、関連の異なった画像をユーザが選択可能に見れる
ように表示される。ドックイヤアイコン７０、ポップア
ップウィンドウ又はポップアップインターフェース（Ｕ
Ｉ）を用いて、ユーザは「ページング」し、即ち、複数
の画像を通してロード又はスクロールし、マイナス符号
を用いると、以前の画像にバックワードページングし、
プラス符号を用いると、次の画像にフォワードページン
グすることができる。[0032] Text is entered into a cell (eg, cell A3), and the formula adds or subtracts such text from other cells. For example,
Cell B2 is a composite of cell A1 and cell A3 by operation B2 = A1, so that the text can be inserted as a title or label into image 58, and then image 58 can be Printed or output as presentation material, such as a hardcopy document or slide. Additionally,
Each cell 50 is associated with a plurality of other cells and / or
Indicating a plurality of images, and thus the image spread generator 10 may provide a dog ear icon 70 or other graphical icon in each cell, or
Alternatively, only such cells can have such multiple images. Alternatively, a pop-up window or pop-up interface (UI), such as input window 52, is created and displayed for the user to selectably view the different images associated therewith. Dock ear icon 70, pop-up window or pop-up interface (U
Using I), the user "pages", i.e., loads or scrolls through multiple images, and with a minus sign, backwards paging to the previous image,
With the plus sign, it is possible to forward page to the next image.

【００３３】択一選択的な実施例では、矢印又は他のブ
ラウザ状にアクチュエート可能なアイコンを、そのよう
なドッグイヤアイコン７０又はポップアップウィンドウ
又はＵＩと同時に、又は、そのようなドッグイヤアイコ
ン７０又はポップアップウィンドウ又はＵＩの代わりに
設けることができ、図２のスクリーン４８上に示された
イメージスプレッドシートを、ＭＩＣＲＯＳＯＦＴ Ｉ
ＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲのようなインターネ
ットブラウザを、実行されるべきセル５０と共に用い
て、例えば、ブラウザフレーム及び／又はウェブページ
で実行することができる。他の実施例では、ＪＡＶＡア
プレット及び／又はＭＩＣＲＯＳＯＦＴＡｃｔｉｖｅＸ
を使用するＡｃｔｉｖｅＸコントロールが、イメージス
プレッドシート及び／又はイメージスプレッドシートジ
ェネレータ１０、又は、イメージスプレッドシートジェ
ネレータ１０の部分を実行するのに使用することができ
る。その際、そのようなＪＡＶＡアプレット又はＡｃｔ
ｉｖｅＸコントロールは、ウェブブラウザ又は他のイン
ターネットベース、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂベー
ス、又は、ネットワークベースのアプリケーションに従
属しており、そのようにして、ユーザは、何らかのブラ
ウザ又はＪＡＶＡ又はＡｃｔｉｖｅＸとコンパチブルな
ネットワークプラットフォームからイメージスプレッド
シートに間接的にアクセスすることができる。In an alternative embodiment, an arrow or other browser-actuable icon may be displayed simultaneously with such a dog-ear icon 70 or pop-up window or UI, or such a dog-ear icon 70 Alternatively, a pop-up window or UI can be provided and the image spreadsheet shown on screen 48 of FIG.
An Internet browser, such as NTERNET EXPLORER, can be used with cell 50 to be executed, for example, to execute in a browser frame and / or web page. In other embodiments, the JAVA applet and / or MICROSOFTActiveX
An ActiveX control that uses an image spreadsheet and / or an image spreadsheet generator 10 or a portion of the image spreadsheet generator 10 can be used. At that time, such a JAVA applet or Act
The IVEX control relies on a web browser or other Internet-based, World Wide Web-based, or network-based application, so that the user can image from any browser or network platform compatible with JAVA or ActiveX. Indirect access to spreadsheets.

【００３４】単項（ｕｎａｒｙ）のオペレーションは、
画像を、そのネガティブと置換するインバース関数のよ
うな、セルの式を利用可能であり、同様に、自然対数の
底ｅの累乗としてのｅｘｐ（ ）関数のようなルート関
数、平方根関数ｓｑｒｔ（）のようなルート関数の式を
利用可能である。フィルタ演算は、カラーフィルタ、グ
レースケールフィルタ、及び、強度エンハンスメントフ
ィルタのようにサポートされ、そのようなフィルタによ
り、癌又はコントラスト強調剤のような特定の特徴を区
別するために疑似カラーエンハンスメントを生成するこ
とができる。The unary operation is:
A cell formula is available, such as an inverse function that replaces the image with its negative, as well as a root function, such as the exp () function as a power of the base e of the natural logarithm, a square root function sqrt () An expression of a root function such as is available. Filter operations are supported, such as color filters, grayscale filters, and intensity enhancement filters, which generate false color enhancements to distinguish specific features, such as cancer or contrast enhancers. be able to.

【００３５】他のオペレーションは、閾値関数を使った
スレッショールディングのような、セル内の画像上で実
行することができる。例えば、図３にセルＡ１〜Ｃ１で
示されているように、セル７４に示された、頭部の３Ｄ
画像７２が、磁気共鳴イメージング（ＭＲＩ）シーケン
スでは、基礎となっている血管の画像７６をセル７８内
に示されているように変換され、その結果、脳の画像８
０がセル８２内に示される。例えば、Ｂ１＝ＳＥＧＭＥ
ＮＴ（Ａ１）、及び、Ｃ１＝ＳＥＧＭＥＮＴ（Ｂ１）の
ような、ＳＥＧＭＥＮＴ関数が呼び出される。付加的
に、画像７２−７６が付加され、従って、３次元で、セ
ルＢ２のような、他のセル内に表示される組合せ画像に
オーバーラップされる。Other operations can be performed on the images in the cell, such as thresholding using a threshold function. For example, as shown in cells A1 to C1 in FIG.
An image 72 is transformed in a magnetic resonance imaging (MRI) sequence from an underlying blood vessel image 76 as shown in cell 78, resulting in a brain image 8
A zero is shown in cell 82. For example, B1 = SEGME
A SEGMENT function is called, such as NT (A1) and C1 = SEGMENT (B1). Additionally, images 72-76 are added and thus overlap in three dimensions with the combined images displayed in other cells, such as cell B2.

【００３６】セル関数として実行される、最大値投影
法、つまり、ＭＩＰ（ｍａｘｉｍｕｍｉｎｔｅｎｓｉｔ
ｙ ｐｒｏｊｅｃｔｉｏｎ）乃至ＭａｘＩＰ及び最小値
投影法、つまり、ＭｉｎｉＩＰ（ｍｉｎｉｍｕｍ ｉｎ
ｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）のような、付
加的なオペレーションを実行してもよい。例えば、図３
によると、血管組織の磁気共鳴（ＭＲ）画像８４が、Ｍ
Ｒ ＶＡＳＣＵＬＡＲと名付けられたファイル内に記憶
される。関数ＳＥＧＭＥＮＴ ＶＥＳＳＥＬ（）と名付
けられた血管セグメンテーションを使用して、画像８８
が、式によってＡ３とラベリングされたセル９０内で生
成される： Ａ２＝ＬＯＡＤ ＩＭＡＧＥ（’ＭＲ ＶＡＳＣＵＬＡ
Ｒ’） Ａ３＝ＭＩＰ（ＳＥＧＭＥＮＴ ＶＥＳＳＥＬ（Ａ
１）） 上式は、セルＡ２及びＡ３で実行される。この例では、
３Ｄ画像８４に相応する列データセットは、セルＡ２内
にロードされ、セルＡ３は、データセット及び血管セグ
メンテーション技術の結果の最大値投影法（ＭＩＰ：ｍ
ａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉ
ｏｎ）の合成を表示するようにセットされる。The maximum intensity projection, ie, MIP (maximum intensity), implemented as a cell function
y projection to MaxIP and minimum intensity projection, that is, MiniIP (minimum in
Additional operations may be performed, such as a strength project. For example, FIG.
States that a magnetic resonance (MR) image 84 of vascular tissue
R Stored in a file named VASCULAR. Function SEGMENT Using a vessel segmentation named VESSEL (), image 88
Is generated in cell 90 labeled A3 by the formula: A2 = LOAD IMAGE ('MR VASCULA
R ') A3 = MIP (SEGMENT VESSEL (A
1)) The above equation is implemented in cells A2 and A3. In this example,
The column dataset corresponding to the 3D image 84 is loaded into cell A2, and cell A3 contains the maximum intensity projection (MIP: m) of the dataset and the results of the vessel segmentation technique.
maximum intensity projecti
on) is set to display the composite.

【００３７】従って、他の関数及びイメージングオペレ
ーションは、エッジ検出、低域／高域通過バンドパスフ
ィルタ、及び、ノイズ低減；同様に、スレッショールデ
ィング；グレイレベルウィンドゥイング；エッジ検出の
ような画像強調、低域／高域通過フィルタリング、ブレ
ーリング（ｂｌｕｒｒｉｎｇ）、及びカラーモディフィ
ケーション；スタティック及びモーションベースのオペ
レーションのようなセグメンテーション；モルフィン
グ；ステレオコレスポンデンス；ボリュームレンダリン
グ（描画）及びサーフィスレンダリングのようなビジュ
アリゼーション；比較演算；クロッピング／マスキン
グ；例えば、ニューラルネットワーク及びクラシファイ
ヤを用いた対象認識；イメージアーカイブマニピュレー
ション；ビデオ編集；及び、インタラクティブマウスコ
ントロールローテーション、スケーリング及び画像の変
換のような、他の画像間演算等を実行するとよい。付加
的に、ビデオデータは、多次元であって、少なくとも１
つの時間軸及び少なくとも１つの空間軸を有しており、
例えば、テスト結果の１次元（１Ｄ）グラフ、２Ｄ−Ｘ
線画像、及び、３Ｄ ＭＲＩ画像のアニメーションを含
む。従って、開けられたイメージスプレッドシートによ
り、例えば、医療及び非医療用アプリケーション用のビ
デオシーケンスの生成、処理、及び編集用のプラットフ
ォームが提供される。Accordingly, other functions and imaging operations include edge detection, low / high pass bandpass filters, and noise reduction; as well as threshold enhancement; gray level windowing; image enhancement such as edge detection. Low / high-pass filtering, blurring, and color modification; segmentation such as static and motion-based operations; morphing; stereo correspondence; Comparison operations; cropping / masking; object recognition using, for example, neural networks and classifiers; image archive manipulation; video editing; Beauty, interactive mouse control rotation, such as the conversion of scaling and image, it is preferable to perform the inter other image computation, and the like. Additionally, the video data may be multi-dimensional and have at least one
One time axis and at least one spatial axis,
For example, a one-dimensional (1D) graph of test results, 2D-X
Includes line images and animations of 3D MRI images. Thus, the opened image spreadsheet provides a platform for generating, processing, and editing video sequences for, for example, medical and non-medical applications.

【００３８】付加的に、図３のセルＡ３の生成時の上述
のような他の関数又は演算を呼び出す関数及び演算のよ
うな関数及び演算を埋め込んでもよい。更に、以下定義
するように、項”＝”は、セル及びセルを示す変数の割
り当て及び／又は再割り当てを示す。他の既知の式、プ
ログラミング、及び／又は、オペレーショナルコンベン
ションを使用するとよい。例えば、割り当てオペレーシ
ョンは、択一選択的に、記号”：＝”によって呼び出さ
れ、ブール演算は、コロンなしの”＝”の記号によって
呼び出される。例えば、図２によると、セルＡ２内の画
像６４は、以下のブール式によって生成される： ＩＦ ＣＯＵＮＴ＝０ ＴＨＥＮ Ａ２：＝（Ｃ１−Ａ
１） ＥＬＳＥ Ａ２：＝Ｂ１−Ａ１ この式は、イメージスプレッドシートを呼び出して、コ
ントロールパラメータＣＯＵＮＴを使用するプログラム
で使用される。従って、そのような、既知の数値スプレ
ッドシートで実行されるロジカルなプログラミング方法
は、開かれたイメージスプレッドシートで実行される。
付加的に、イメージスプレッドシートは、ＭＩＣＲＯＳ
ＯＦＴ ＷＯＲＤ等のワードプロセッサ、及び、例え
ば、ＯＬＥ，ＤＣＯＭ及び／又はＡｃｔｉｖｅ Ｘテク
ノロジを使用するＭＩＣＲＯＳＯＦＴＡＣＣＥＳＳ等の
データベースのような、他のアプリケーションに導入す
るとよい。In addition, functions and operations may be embedded, such as functions and operations that invoke other functions or operations as described above when generating cell A3 of FIG. Further, as defined below, the term “=” indicates the assignment and / or reassignment of cells and variables indicative of cells. Other known formulas, programming, and / or operational conventions may be used. For example, the assignment operation is alternatively invoked by the symbol ": =", and the Boolean operation is invoked by the "=" symbol without a colon. For example, according to FIG. 2, the image 64 in cell A2 is generated by the following Boolean expression: IF COUNT = 0 THEN A2: = (C1-A
1) ELSE A2: = B1-A1 This formula is used in a program that calls the image spreadsheet and uses the control parameter COUNT. Thus, such a logical programming method implemented with a known numerical spreadsheet is implemented with an open image spreadsheet.
Additionally, the image spreadsheet is MICROS
It may be implemented in other applications, such as a word processor such as OFT WORD and a database such as MICROSOFTTACESS using OLE, DCOM and / or Active X technology.

【００３９】レジストレーション ２つの画像収集中に、患者の動きが生じる場合、図２の
セルＡ１，Ｃ１及びＡ２の場合に説明したような画像の
減算の結果、相応の領域でない箇所が減算されるので、
解剖学的構造の点で不正確さが生じる。イメージスプレ
ッドシートジェネレータ１０は、この問題点を、レジス
トレーション技術を使用して、画像を修正し、例えば、
トランスレーション又はモルフィングによって、各画像
間で何らかの数学的演算を実行する前に解剖学的構造の
点で正確に相応するようにして解決する。つまり、レジ
ストレーションプロセスは、対象が受けている動きを評
価し、画像間の演算が実行される場合に、そのような動
きを補正する。Registration If a patient motion occurs during the acquisition of two images, the subtraction of the images as described for cells A1, C1 and A2 in FIG. 2 results in the subtraction of a non-corresponding area. So
Inaccuracies arise in terms of anatomy. The image spreadsheet generator 10 corrects this problem by using a registration technique to correct the image, for example,
By translation or morphing, the solution is made to correspond exactly in terms of anatomy before performing any mathematical operations between the images. That is, the registration process evaluates the movements that the subject is undergoing and corrects for such movements when operations between images are performed.

【００４０】レジストレーションにより、多重データセ
ットの解剖学的構造のコヒーレンシィが達成される。解
剖学的構造のコヒーレンシィを達成するには、ボリュー
ムＡ内のポイントＰＡが、ボリュームＰＢ内のポイント
ＰＢで、患者の同じ領域に相応する場合に、イメージス
プレッドジェネレータ１０によって維持されるポイント
ＡとポイントＢとの間でレジストレーション（位置の対
応付け）されたマッピングは、各データセット間の解剖
学的コヒーレンシィを有している。The registration achieves coherency of the anatomical structure of the multiple data sets. To achieve anatomical coherency, the point PA in the volume A is the point PB in the volume PB, which corresponds to the same region of the patient, and the point A maintained by the image spread generator 10. The mapping registered with point B (position correspondence) has anatomical coherency between each data set.

【００４１】所定のＭＲデータ収集は、このデータ収集
中、頭部が固定されているので、ニューロンの検査での
ように、十分にレジストレーション（位置の対応付け）
される。しかし、人体の他の部位のデータ収集中、患者
の動きを回避することはできず、例えば、種々異なった
データ収集間で、テーブル上に患者が載置された患者テ
ーブルの動きを含む末梢部位の検査である。使用される
１技術は、オートマチックリジッドボディレジストレー
ションであり、オートマチックリジッドボディレジスト
レーション（位置の対応付け）では、リジッドボディの
変換が、イメージスプレッドシートジェネレータ１０及
び／又はグラフィックシステム１４によって実行され
て、多重の検査がレジストレーションされる。例えば、
タスクカード１８内に含まれるＦＵＳＩＯＮタスクカー
ド（即ち、グラフィックシステム１４を有するグラフィ
ックジェネレータ１２によって使用される有用なファン
クション）を、この目的のために使用することができ
る。２つのボリュメトリック検査間で、相応のポイント
のインタラクティブな選択を使用することによって、ピ
クセル／ボクセル値に基づく２つの検査をマッチングさ
せるのに、フルオートマチックレジストレーションを実
行することができ、そのようにして、レジストレーショ
ンマーカ５６を用いて適切に整列させることができ、こ
のレジストレーションマーカ５６は、表示されるイメー
ジスプレッドシート上では不可視であり、イメージスプ
レッドシートのセルは、デフォルトセッティングされ
る。そのようなオートマチックレジストレーションは、
図２のセルＡ１〜Ｃ１に示されているような、普通の身
体構造の多重検査の性質及びピクセル／ボクセルの統計
が極めて類似しているので、ＭＲＡアプリケーションで
有用である。従って、ユーザ及び／又はオートマチック
レジストレーションマッチング技術（例えば、ニューラ
ルネットワーク又はクラシファイヤ）は、上述のよう
に、別のイメージマニピュレーションでのプリバレーシ
ョンの際に、画像を整列する。In the predetermined MR data acquisition, since the head is fixed during the data acquisition, registration (correlation of positions) is sufficiently performed as in the examination of neurons.
Is done. However, during data collection of other parts of the human body, movement of the patient cannot be avoided; for example, between different data collections, peripheral parts including movement of the patient table with the patient resting on the table. Inspection. One technique used is automatic rigid body registration, in which automatic rigid body conversion is performed by the image spreadsheet generator 10 and / or the graphics system 14, Multiple tests are registered. For example,
The FUSION task card (ie, a useful function used by the graphics generator 12 having the graphics system 14) contained within the task card 18 can be used for this purpose. By using an interactive selection of the corresponding points between the two volumetric tests, a full automatic registration can be performed to match the two tests based on pixel / voxel values, and so on. Can be properly aligned using the registration marker 56, which is invisible on the displayed image spreadsheet and the cells of the image spreadsheet are default set. Such automatic registration is
It is useful in MRA applications because of the very similar nature of multiple examinations and pixel / voxel statistics of ordinary body structures, as shown in cells A1-C1 of FIG. Thus, the user and / or automatic registration matching techniques (e.g., a neural network or classifier) align the images during pre-validation with another image manipulation, as described above.

【００４２】他の関連技術は、ボリュームレンダリング
ベースレジストレーションであり、ボリュームレンダリ
ングベースレジストレーションでは、インタラクティブ
及びリアルタイムボリュームレンダリングの有用性によ
り、ビジュアリゼーションに基づくリジッドボディレジ
ストレーションが提供される。そのようなレジストレー
ション方法を使用すると、図３のボリュームイメージ７
２，７６，８０のように、同時に２つの検査がボリュー
ムレンダリングされる。ニューラルネットワーク又はク
ラシファイヤを含むユーザ及び／又はオートマチックレ
ジストレーションマッチング技術は、インタラクティブ
に、各画像間のオーバーラップを最小化するように試み
る。リアルタイムボリュームレンダリングは、そのよう
なインタラクティブなレジストレーションを実行するの
に使用される。択一選択的な実施例では、オートマチッ
クワーピングレジストレーションを実行するために、一
方のボリュメトリック体を他方のボリュメトリック体に
マッチングさせるように変形する変換を使用することが
でき、それにより、ノンリジッドな人体の動きを補償す
ることができる。Another related technique is volume rendering based registration, where the usefulness of interactive and real time volume rendering provides rigid body registration based on visualization. Using such a registration method, the volume image 7 of FIG.
Two studies are volume rendered at the same time, such as 2, 76, 80. User and / or automatic registration matching techniques, including neural networks or classifiers, interactively attempt to minimize overlap between each image. Real-time volume rendering is used to perform such interactive registration. In an alternative embodiment, a transform that transforms one volumetric body to match the other volumetric body can be used to perform automatic warping registration, thereby providing a non-rigid It can compensate for the movement of the human body.

【００４３】他の既知のメディカルイメージレジストレ
ーション技術が使用され、例えば、相互情報量最大化
（ＭＭＩ）技術、インタラクティブ最近点（ＩＣＰ）技
術が、そのようなイメージスプレッドシートでの画像を
マッチング及びマニピュレートするのに使用される。Other known medical image registration techniques may be used, such as mutual information maximization (MMI) techniques, interactive closest point (ICP) techniques to match and manipulate images in such image spreadsheets. Used to do.

【００４４】操作方法 イメージスプレッドシートシステム１０は、図４に示さ
れた方法を使用するグラフィックジェネレータ１２と一
緒に作動する。グラフィックジェネレータ１２は、画像
データをステップ９２で受け取り、ステップ９４で、グ
リッド又はスプレッドシートを生成する（例えば、図２
−３に示されているように、セルＡ１〜Ａ３，Ｂ１〜Ｂ
３，Ｃ１〜Ｃ３，等）。表示されるセルの部分と共に、
もっと多くのセルを生成し、残りのセルを既知のスプレ
ッドシートシステムでのようにセルをスクローリングし
て表示可能にしてもよいことが分かる。どのデータがど
の画像に相応するのかを示すヘッダのような適切な画像
デリミタを有する画像列である画像データをステップ９
２で受け取った後、イメージスプレッドシートジェネレ
ータ１０は、画像表示エリア４８を、少なくとも、セル
としてのスクリーン部分又はセグメントの数に等しい
か、又は、ほぼ等しいように分割する。例えば、２つか
ら４つの画像列が、少なくとも２×２フォーマットで表
示され、５つ又は６つの画像列が、少なくとも２×３セ
ルフォーマットで表示され、７つ〜９つの画像が、少な
くとも３×３セルフォーマットで表示される、等であ
る。行及び列の加算のような再フォーマッティングは、
ユーザによって選択可能であり、空の行及び列により、
自動的に生成されて、セル操作の結果に置き換えて表示
するために余分なセルが供給される。Method of Operation The image spreadsheet system 10 works with a graphic generator 12 that uses the method shown in FIG. The graphic generator 12 receives the image data at step 92 and generates a grid or spreadsheet at step 94 (eg, FIG. 2).
-3, cells A1 to A3, B1 to B
3, C1-C3, etc.). Along with the cells that are displayed,
It will be appreciated that more cells may be created and the remaining cells may be scrollable and displayed as in known spreadsheet systems. The image data, which is an image sequence having an appropriate image delimiter such as a header indicating which data corresponds to which image, is stored in step 9
After receiving at 2, the image spreadsheet generator 10 divides the image display area 48 at least equal to or approximately equal to the number of screen portions or segments as cells. For example, two to four image columns are displayed in at least a 2 × 2 format, five or six image columns are displayed in at least a 2 × 3 cell format, and seven to nine images are displayed in at least a 3 × 2 format. It is displayed in a three-cell format, and so on. Reformatting, such as row and column addition,
Selectable by the user, with empty rows and columns,
Extra cells are automatically generated and supplied to replace and display the results of cell manipulation.

【００４５】それから、この方法は、ステップ９６で、
画像をセルにロードして、各画像のレジストレーション
がレジストレーションマーカ５６とマッチングされるよ
うにする。それから、セル内にロードされた画像を用い
て、この方法は、ステップ９８でユーザコマンドを受け
取り、画像を操作し、この画像は、ステップ１００での
式エントリを含み、ステップ１０２でのディスプレイコ
ントロールを含み、このディスプレイコントロールは、
ウィンドゥイング、ズーミング及びパンニング機能を含
み、同様に、オブションとして、１セットのセルを同時
にリンク操作することを含み、プリント及びセーブコマ
ンドを含むステップ１０４でのイメージスプレッドシー
トコントロールを含む。The method then proceeds to step 96.
The images are loaded into cells so that the registration of each image is matched with the registration marker 56. Then, using the image loaded into the cell, the method receives a user command at step 98 and manipulates the image, the image including the formula entry at step 100 and the display control at step 102. This display control includes
Includes windowing, zooming and panning functions, as well as options, including linking a set of cells simultaneously, and including an image spreadsheet control at step 104 that includes print and save commands.

【００４６】ステップ１００での式エントリのために、
例えば、目下選択されているセルのエッジを強調するハ
イライトウィンドウを動かすことによって、又は、他の
やり方では、所望のセルをクリックすることによって、
ユーザはセルを選択する。それから、ユーザは、ＤＥＦ
ＩＮＥ ＯＰＥＲＡＴＩＯＮコマンドを選択し、ＤＥＦ
ＩＮＥ ＯＰＥＲＡＴＩＯＮコマンドは、スクリーン４
８上のアイコン又は特定のキーストローク、マウスボタ
ン、又はプルダウンウインドウコマンドである。ポップ
アップエントリウィンドウ５２が現れ、このポップアッ
プエントリウィンドウ内で、ユーザは、所望の操作又は
式／記号を入力する。For the expression entry in step 100,
For example, by moving a highlight window that highlights the edge of the currently selected cell, or otherwise by clicking on the desired cell
The user selects a cell. Then, the user
Select the INE OPERATION command and DEF
The INE OPERATION command is displayed on screen 4
8 or a specific keystroke, mouse button, or pull-down window command. A pop-up entry window 52 appears, in which the user enters the desired operation or formula / symbol.

【００４７】１つ以上のセルに対して、何らかのオペレ
ーションを定義した後、ユーザは、所定のキーストロー
クのような適切なコマンドによって、又は、プルダウン
メニューを介して入力されたオペレーションを実行する
ために、イメージスプレッドシートを実行することがで
きる。オペレーションの実行のステータスは、ＧＵＩ４
６を通して、例えば、スクリーン上の色を換えて、又
は、ワード”ＥＸＥＣＵＴＥＤ”を出力することによっ
て指示される。After defining some operation for one or more cells, the user may perform an operation entered by an appropriate command, such as a predetermined keystroke, or via a pull-down menu. , You can run an image spreadsheet. The status of the execution of the operation is GUI4
6, through, for example, changing colors on the screen or by outputting the word "EXECUTED".

【００４８】ステップ１００での式エントリ又はステッ
プ１０２でのディスプレイコントロールの間又は後、全
てのイメージスプレッドシートコントロールは、ステッ
プ１０４で実行され、例えば、ＳＡＶＥボタンにより、
イメージスプレッドシート及び／又は現在のセッティン
グ、イメージ及び／又は式で選択されたセルをセーブす
る。同一患者及び／又は検査での新たなイメージスプレ
ッドシートを生成することができるか、又は、異なった
患者及び／又は検査用の新たなイメージスプレッドシー
トを、ステップ１０４により実行することができ、これ
により、方法を、ステップ９２にループバックして、画
像データを得ることができる。ユーザは、ステップ１０
６で、新たな画像データを得る前に、現在の画像データ
を保持するか、破棄するようにさせることができる。During or after the formula entry in step 100 or the display control in step 102, all image spreadsheet controls are executed in step 104, for example, by the SAVE button,
Save the selected cells in the image spreadsheet and / or current settings, images and / or formulas. A new image spreadsheet for the same patient and / or exam can be generated, or a new image spreadsheet for a different patient and / or exam can be executed by step 104, , The method can loop back to step 92 to obtain image data. The user proceeds to step 10
At 6, the current image data can be retained or discarded before new image data is obtained.

【００４９】現在ロードされているデータを操作できる
場合、この方法は、ステップ１０２−１０６にループバ
ックする。If the currently loaded data can be manipulated, the method loops back to steps 102-106.

【００５０】択一選択的な実施例では、ステップ１０４
は、イメージスプレッドシート内の現在の画像の操作の
結果を、バーチャルエンドスコピ（内視鏡）アプリケー
ションのような他のタスクカードにトランスファするコ
マンドを含むことができる。クリック又は他の手段によ
り、ユーザは、所望セットのセルを選択し、それから、
所望のタスクカードが作動されて、選択されたセルが処
理される。In an alternative embodiment, step 104
Can include commands to transfer the results of manipulating the current image in the image spreadsheet to another task card, such as a virtual endoscope application. By clicking or other means, the user selects the desired set of cells and then
The desired task card is activated to process the selected cell.

【００５１】付加的に、ステップ１０４は、式全体を、
今後インポートされる画像データ、例えば、イメージス
プレッドシートテンプレート又はスクリプト（必ずし
も、患者を特定するものではない）にマッチングさせる
コマンドを有している。それから、そのようなイメージ
スプレッドシートスクリプトをロードして、新たな画像
データ又は検査に適用することができる。例えば、図２
によると、セルＡ２内の画像減算式によって、入力され
たＭＲＡデータから、バックグラウンドの組織を取り除
く処理を実行して、画像５８−６６用の画像データの代
わりに、何らかのコンパチブルな入力画像データを用い
ることができる。[0051] Additionally, step 104 may include:
It has commands to match image data to be imported in the future, for example, an image spreadsheet template or script (not necessarily identifying the patient). Such an image spreadsheet script can then be loaded and applied to new image data or inspection. For example, FIG.
According to the above, by performing a process of removing the background tissue from the input MRA data by the image subtraction formula in the cell A2, some compatible input image data is substituted for the image data for the images 58-66. Can be used.

【００５２】択一選択的な実施例 択一選択的な１実施例では、図２−３に示されたセルの
グリッドのサイズを変えることができる。セルは、オリ
ジナルのスキャナデータ、単一の数学公式、又は、マル
チインストラクションプログラムを含むことができる。
イメージスプレッドシートの、どのセルも、そのような
計算のオペランドとして使用される。分解能の不整合の
問題点は、自動補間によって自動的に処理される。付加
的に、セルのそれぞれにより、ビジュアリゼーションの
オプションを変えることができ、例えば、インタラクテ
ィブにスライス毎にセルをビューイングしたり、最大値
投影法（ＭＩＰ：ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ
ｐｒｏｊｅｃｔｉｏｎ）又はシミュレートされたＸ線
レンダリング、ボリュームレンダリング、等である。イ
ンタラクティブパラメータは、ビジュアリゼーションの
タイプに依存して変わる。例えば、ビューイングの間、
ユーザは、スライス、パン、ズーム、ウィンドウチェン
ジ、及びレベリング用のパラメータを選択することがで
き、３Ｄビューイングの場合には、カメラ位置及びパラ
メータ等用のコントロールを付加することができる。Alternative Embodiment In an alternative embodiment, the size of the grid of cells shown in FIGS. 2-3 can be varied. A cell can contain original scanner data, a single mathematical formula, or a multi-instruction program.
Every cell in the image spreadsheet is used as an operand for such a calculation. The problem of resolution mismatch is handled automatically by automatic interpolation. In addition, each of the cells can have different visualization options, such as interactive cell-by-slice viewing of cells, maximum intensity projection (MIP).
projection or simulated X-ray rendering, volume rendering, etc. Interactive parameters vary depending on the type of visualization. For example, during viewing
The user can select parameters for slice, pan, zoom, window change, and leveling, and in the case of 3D viewing, can add controls for camera position, parameters, and the like.

【００５３】他の択一選択的な実施例では、ビジュアリ
ゼーションヨーキング（ｙｏｋｉｎｇ）は、異なったセ
ルでのビジュアリゼーションが、ヨーキング（共働する
ように連関付けられた）グループの１セル内のビューイ
ングパラメータで変化が生じたり、又は、変化が実行さ
れたりすることによりヨーキングすることができるよう
にして実行される。ビューイングパラメータは、ウィン
ドウ、レベリング、ズーム、及び２Ｄビューイング用パ
ンを含み；及び、３Ｄビューイング用のビューポイン
ト、カメラパラメータ、クリップボード、伝達関数、
等、並びに、フィルタリング及び他の画像変換技術を含
む。例えば、図２によると、セルＡ１，Ａ２，Ｂ２，Ｃ
１の画像５８−６６はそれぞれ、ヨーキングされた残り
のセルのビジュアリゼーションパラメータを変える１セ
ルのビジュアリゼーションパラメータ内で変化するよう
に、ヨーキングすることができる。この例では、セルＣ
２内の画像６２の部分上にズームインする分解能が変化
することにより、画像スプレッドシートジェネレータ１
０が、セルＡ１，Ａ２，Ｂ１での分解能を変化させて、
それぞれの画像５８−６４の相応の部分をズームインす
ることができる。In another alternative embodiment, visualization yoking is a method in which visualization in different cells is performed by viewing parameters in one cell of a group of yoking (cooperatively associated). The change is performed or the change is performed so that the joking can be performed. Viewing parameters include window, leveling, zoom, and pan for 2D viewing; and viewpoints for 3D viewing, camera parameters, clipboard, transfer function,
And so on, as well as filtering and other image conversion techniques. For example, according to FIG. 2, cells A1, A2, B2, C
Each of the one image 58-66 can be yoked to vary within the one cell visualization parameter that changes the visualization parameters of the remaining cells that have been yoked. In this example, cell C
The change in resolution to zoom in on the portion of the image 62 in the image spreadsheet generator 1
0 changes the resolution in cells A1, A2, B1,
A corresponding portion of each image 58-64 can be zoomed in.

【００５４】他の択一選択的な実施例では、インタラク
ティブ測定及び関心領域（ＲＯＩ）のヨーキングが実行
される。距離、領域、ボリューム、ヒストグラム／強度
属性等のインタラクティブな測定が、ヨーキングされた
グループの１セル上で行われる場合、同一の測定は、そ
のグループの他のメンバーに反映される。ヒストグラム
／強度に基づく測定の場合、各ボリューム毎に結果が異
なる。関心領域（ＲＯＩ）選択及びポインタの位置、又
は、画像内の特徴に対する他のグラフィカルなインジケ
ータが同様にヨーキングされる。In another alternative embodiment, interactive measurement and yoking of the region of interest (ROI) are performed. If interactive measurements such as distance, area, volume, histogram / intensity attributes, etc. are made on one cell of a yawked group, the same measurement will be reflected on other members of the group. For measurements based on histogram / intensity, the results will be different for each volume. The region of interest (ROI) selection and pointer location, or other graphical indicators for features in the image, are similarly yoked.

【００５５】イメージスプレッドシートジェネレータ１
０は、セル内での記号及び式用の完全なプログラミング
言語インタプリタを実行する。そのような記号及び式
は、シングルラインアリスメチック、２進演算、又は、
単項関数に限定されず、そのような記号は、一時的な変
数、ループ、関数の定義及び他の種類のハイレベルフロ
ーコントロール及び計算上の構成である。記号は、ユー
ザが供給した外部関数及びプログラム全体を呼び出すこ
とを含むことができる。個別の記号及び処理シート全体
を記憶しておいて、ユーザの判断で再度呼び出すことが
できる。Image spreadsheet generator 1
0 runs a complete programming language interpreter for symbols and formulas in the cell. Such symbols and expressions are single-line arithmetic, binary arithmetic, or
Not limited to unary functions, such symbols are temporary variables, loops, definitions of functions and other types of high-level flow control and computational constructs. Symbols can include calling external functions and entire programs supplied by the user. Individual symbols and the entire processing sheet can be stored and recalled at the user's discretion.

【００５６】セル内のデータは、空間位置全てに単一の
スカラー量を有するように制限されるものではない。デ
ータセットを、空間位置に記憶された情報がデータ要素
の任意の長さリストから成る、ベクトル評価されたデー
タセットにするとよい。例えば、ボリュームに対するグ
ラジエントオペレータのアプリケーションの結果、各空
間位置が３つのフローティングポイント値を割り当てら
れているボリュームが生成される。The data in a cell is not limited to having a single scalar quantity at all spatial locations. The data set may be a vector-evaluated data set in which the information stored at the spatial location comprises an arbitrary length list of data elements. For example, the application of a gradient operator to a volume results in a volume where each spatial location is assigned three floating point values.

【００５７】オペレーションは、ファンクションのモダ
リティとタイプとの間でオーバーロードされ、即ち、イ
メージスプレッドシートジェネレータ１０は、自動的
に、記号及び基礎データから適切なオペレーションを決
定する。例えば、スカラー及びベクトル演算のような異
なったオペレーションの場合、ユーザが、２つのスカラ
ー評価されたボリュームを加えると、スカラー量の加算
が使用されて、スカラー評価された結果が生成される。
しかし、２つのベクトル評価されたボリュームが加えら
れると、ベクトル加算を実行する他のタイプの演算が使
用され、その結果は、ベクトル評価されたボリュームで
ある。記号内のオペランドのタイプコンパチビリティが
自動的にチェックされ、オペランドがコンパチブルなら
ば、記号は、イメージスプレッドシートジェネレータ１
０によって評価される。他方、イメージスプレッドジェ
ネレータ１０は、イメージシステム１４を介して、ユー
ザに誤り及び／又はタイプのミスマッチングを通知し、
オペレーションの実行を許可しない。Operations are overloaded between the modality and type of the function, ie, the image spreadsheet generator 10 automatically determines the appropriate operation from the symbol and underlying data. For example, for different operations, such as scalar and vector operations, when a user adds two scalar-evaluated volumes, the sum of scalar quantities is used to produce a scalar-evaluated result.
However, when two vector-rated volumes are added, another type of operation that performs vector addition is used, and the result is a vector-rated volume. The type compatibility of the operands in the symbol is automatically checked, and if the operands are compatible, the symbol is converted to the image spreadsheet generator 1
Evaluated by 0. On the other hand, the image spread generator 10 notifies the user of the error and / or type mismatch via the image system 14,
Do not allow operations to be performed.

【００５８】前述によると、新規なイメージスプレッド
シートジェネレータ１０及び方法が、有利な実施例を用
いて開示されている。しかし、本発明の技術思想を逸脱
しない限りで、多数の変形実施例及び代替実施例が可能
である。例えば、有利な実施例では、イメージスプレッ
ドシートについて説明されているが、前述のように、イ
メージスプレッドシートジェネレータ１０と一緒に画像
データベースオペレーティングを構成することは、完全
に本発明の技術思想の範囲内である。従って、本発明に
ついては、限定するよりも寧ろ実例を用いて説明した。According to the foregoing, a novel image spreadsheet generator 10 and method has been disclosed using an advantageous embodiment. However, many modifications and alternative embodiments are possible without departing from the spirit of the invention. For example, while the preferred embodiment describes an image spreadsheet, configuring an image database operating with the image spreadsheet generator 10 as described above is entirely within the spirit of the invention. It is. Accordingly, the present invention has been described by way of examples rather than limitations.

【００５９】要するに、イメージスプレッドシートは、
スプレッドシートメタファを２次元（２Ｄ）及び３次元
（３Ｄ）画像、及び、画像シーケンスに拡張し、その
際、画像データが割り当てられたイメージスプレッドシ
ート内のセルと、画像オペランドを実行する数学的演算
とを用いる。イメージスプレッドシートは、グラフィッ
クユーザインターフェース（ＧＵＩ）をディスプレイ上
に表示するためのプロセッサを有するイメージングシス
テム上で実行する。イメージスプレッドシートジェネレ
ータにより、ＧＵＩは、関連のレジストレーションマー
カ付の複数のセル（各セルは、式と関連付けることがで
きる）を有するスプレッドシートグリッドを表示する。
イメージスプレッドシートジェネレータは、関連のレジ
ストレーションデータを有する画像データに応答して、
複数のセルの部分内に複数の画像（それぞれのセルのレ
ジストレーションマーカにマッチングするように整列し
て配向されている）を表示する。イメージスプレッドシ
ートジェネレータは、ユーザ入力に応答して、セル内の
式を実行することにより画像を変換する。所定の画像変
換関数は、各セルに対してユーザがカストマイズして、
セル内に変換された画像を生成するようにすることがで
きる。例えば、画像減算を用いて、磁気共鳴アンギオグ
ラフィ（ＭＲＡ）画像（血管系内にコントラスト強調剤
を注入したことを示す画像を有する）が変換され、それ
により、バックグラウンドの血管系を除去して、コント
ラスト強調剤の流れが表示される。２次元画像、３次元
画像、及びテキストもセル内に表示することができる。
セル内のドッグイヤアイコン、ポップアップウィンド
ウ、又は、ポップアップユーザインターフェースをアク
チュエートさせて、第１のセルと関連付けられた複数の
画像の内の１つの画像を選択的に表示することができ
る。In short, an image spreadsheet is
The spreadsheet metaphor is extended to two-dimensional (2D) and three-dimensional (3D) images and image sequences, with the mathematical operations performing image operands and cells in the image spreadsheet to which the image data is assigned Is used. The image spreadsheet runs on an imaging system that has a processor for displaying a graphic user interface (GUI) on a display. With the image spreadsheet generator, the GUI displays a spreadsheet grid with a plurality of cells (each cell can be associated with an expression) with an associated registration marker.
The image spreadsheet generator responds to the image data with the associated registration data,
Displaying a plurality of images (aligned and oriented to match the registration markers of each cell) within a portion of the plurality of cells. An image spreadsheet generator converts an image by executing a formula in a cell in response to user input. The predetermined image conversion function is customized by the user for each cell,
A transformed image can be generated in the cell. For example, using image subtraction, a magnetic resonance angiography (MRA) image (with an image indicating that a contrast enhancer has been injected into the vasculature) is transformed, thereby removing the background vasculature. , The flow of the contrast enhancing agent is displayed. Two-dimensional images, three-dimensional images, and text can also be displayed in cells.
A dog ear icon, pop-up window, or pop-up user interface in the cell can be actuated to selectively display one of the plurality of images associated with the first cell.

【図面の簡単な説明】[Brief description of the drawings]

【図１】イメージスプレッドシートを実行するシステム
全体を示す図FIG. 1 is a diagram showing an entire system for executing an image spreadsheet.

【図２】磁気共鳴アンギオグラフィを実行するイメージ
スプレッドシートを示す図FIG. 2 shows an image spreadsheet for performing magnetic resonance angiography.

【図３】３Ｄセグメンテーションを実行するイメージス
プレッドシートを示す図FIG. 3 shows an image spreadsheet that performs 3D segmentation.

【図４】イメージスプレッドシートの操作方法のフロー
チャートを示す図FIG. 4 is a flowchart showing a method of operating an image spreadsheet.

【符号の説明】[Explanation of symbols]

１０ イメージスプレッドシートジェネレータ １２ グラフィックジェネレータ １４ グラフィックシステム １６ プロセッサ １８ タスクカード ２０ イメージシンボルジェネレータ ２２ インターフェース ２４ グラフィックユーザインターフェース（ＧＵＩ）
マネージャ ２６ アプリケーションプログラムインターフェース
（ＡＰＩ） ２８ インターフェースサーバ ３０ 他のシステム ３２ ハードコピーサーバ（ＨｃＳ） ３４ プリンタ ３６ データベースサーバ（ＤｂＳ） ３８ オンラインストレージ ４０ プロセッシングサーバ（ＰｒＳ） ４２ メモリ ４４ ユーザインターフェース（ＵＩ）サーバ ４６ 入力及び／又は出力（Ｉ／Ｏ）デバイス ４８ メインビューイングウィンドウ ５０ スプレッドシートセル ５２ ウィンドウ ５６ レジストレーションマーカ ５８ 血管のセット Ａ１、Ｂ１及びＣ１ セル ６０−６２ 画像 ６６ コントラスト強調剤10 Image Spreadsheet Generator 12 Graphic Generator 14 Graphic System 16 Processor 18 Task Card 20 Image Symbol Generator 22 Interface 24 Graphic User Interface (GUI)
Manager 26 Application program interface (API) 28 Interface server 30 Other system 32 Hard copy server (HcS) 34 Printer 36 Database server (DbS) 38 Online storage 40 Processing server (PrS) 42 Memory 44 User interface (UI) server 46 Input And / or output (I / O) device 48 main viewing window 50 spreadsheet cell 52 window 56 registration marker 58 set of blood vessels A1, B1 and C1 cells 60-62 images 66 contrast enhancer

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アロク グプタ アメリカ合衆国 ニュージャージー イー スト ブルンスウィック ソーントン コ ート １ (72)発明者 アリ バニ−ハッシェミ アメリカ合衆国 ニュージャージー ベル ミード キャッツキル コート 119 (72)発明者 ベルンハルト ガイガー アメリカ合衆国 ニュージャージー プレ インズボロ タマロン ドライヴ 8202 (72)発明者 アルン クリシュナン アメリカ合衆国 ニュージャージー プレ インズボロ ラーヴェンズ クレスト ド ライヴ 42 (72)発明者 マリアパン ナーダー アメリカ合衆国 ニュージャージー プレ インズボロ フォックス ラン ドライヴ 2113 (72)発明者 ラマ ラマラジ アメリカ合衆国 ニュージャージー デイ トン ジェレミー ドライヴ 23 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Alok Gupta United States of America New Jersey East Brunswick Thornton Coat 1 (72) Inventor Ali Bani-Hashemi United States of America New Jersey Bell Mead Catskill Court 119 (72) Inventor Bernhard Geiger United States New Jersey Pre Innsboro Tamarron Drive 8202 (72) Inventor Arun Krishnan United States New Jersey Pre Innsboro Ravens Crest de Live 42 (72) Inventor Mariapan Nader United States New Jersey Pre Innsboro Fox Run Drive 2113 (72) Inventor Rama Ramaraji United States Country New Jersey Day ton Jeremy DRIVE 23

Claims (21)

【特許請求の範囲】[Claims] 【請求項１】 イメージスプレッドシートを生成するイ
メージングシステムにおいて、ディスプレイ上にグラフ
ィックユーザインターフェース（ＧＵＩ）を表示するた
めのプロセッサと、関連のレジストレーションマーカを
備えた複数のセルを有するスプレッドシートグリッド
を、前記グラフィックユーザインターフェース（ＧＵ
Ｉ）に表示させるための、イメージスプレッドシートジ
ェネレータとを有しており、前記各セルは、式と関連付
けることができ、前記イメージスプレッドシートジェネ
レータは、複数の画像を、複数のセルの部分内に表示す
るための関連のレジストレーションデータを有する画像
データに応答し、前記複数のセルは、当該のそれぞれの
セルの前記レジストレーションマーカとマッチングする
ように整列及び配向されている前記複数の画像を有して
おり、前記イメージスプレッドシートジェネレータは、
ユーザ入力に応答して、所定セットの式を第１セットの
セル内で実行し、第１の画像を前記第１セットのセルに
変換することを特徴とするイメージングシステム。1. An imaging system for generating an image spreadsheet, comprising: a processor for displaying a graphic user interface (GUI) on a display; and a spreadsheet grid having a plurality of cells with associated registration markers. The graphic user interface (GU
An image spreadsheet generator for displaying in I), wherein each cell can be associated with a formula, wherein the image spreadsheet generator stores the plurality of images in a plurality of cell parts. Responsive to image data having associated registration data for display, the plurality of cells comprises the plurality of images aligned and oriented to match the registration marker of each respective cell. The image spreadsheet generator,
An imaging system, responsive to user input, executing a predetermined set of equations in a first set of cells and converting a first image to the first set of cells. 【請求項２】 イメージスプレッドシートジェネレータ
は、ユーザによりカストマイズされた所定の画像変換関
数を実行して、第１の画像から第２のセットのセルに変
換された画像を生成する請求項１記載のイメージングシ
ステム。2. The image spreadsheet generator according to claim 1, wherein the image spreadsheet generator performs a predetermined image conversion function customized by a user to generate an image converted from the first image to a second set of cells. Imaging system. 【請求項３】 所定の画像変換関数は、数学的関数であ
る請求項２記載のイメージングシステム。3. The imaging system according to claim 2, wherein the predetermined image conversion function is a mathematical function. 【請求項４】 所定の画像変換関数は、スレッショール
ディング、グレイレベルウィンドウイング、画像強調、
セグメンテーション、モルフィング、ステレオコレスポ
ンデンス、ビジュアリゼーション、比較演算、クロッピ
ング／マスキング、対象認識、イメージアーカイブマニ
ュピレーション、及びビデオ編集を含むグループから選
択される請求項２記載のイメージングシステム。4. The predetermined image conversion function includes thresholding, gray level windowing, image enhancement,
3. The imaging system of claim 2, wherein the imaging system is selected from the group comprising: segmentation, morphing, stereo correspondence, visualization, comparison operations, cropping / masking, object recognition, image archive manipulation, and video editing. 【請求項５】 画像データは、複数の磁気共鳴イメージ
ング（ＭＲＩ）フレームを含む請求項１記載のイメージ
ングシステム。5. The imaging system according to claim 1, wherein the image data includes a plurality of magnetic resonance imaging (MRI) frames. 【請求項６】 磁気共鳴アンギオグラフィ（ＭＲＡ）画
像に相応するＭＲＩフレームは、血管系内に注入したコ
ントラスト強調剤を示す画像を有する請求項５記載のイ
メージングシステム。6. An imaging system according to claim 5, wherein the MRI frame corresponding to the magnetic resonance angiography (MRA) image has an image showing a contrast enhancing agent injected into the vasculature. 【請求項７】 ＭＲＡ画像は、コントラスト強調剤の注
入の一時的な連続部分を示す請求項６記載のイメージン
グシステム。7. The imaging system of claim 6, wherein the MRA image shows a temporally continuous portion of the contrast enhancer injection. 【請求項８】 イメージスプレッドシートジェネレータ
は、コントラスト強調剤を有する血管系の第２の画像か
ら、前記コントラスト強調剤なしの前記血管系の第１の
画像をフィルタリングする減算式を実行し、該減算式に
より、前記血管系内の前記コントラスト強調剤の流れが
示される請求項７記載のイメージングシステム。8. The image spreadsheet generator executes a subtraction formula that filters a first image of the vasculature without the contrast enhancer from a second image of the vasculature with the contrast enhancer. The imaging system of claim 7, wherein a formula indicates a flow of the contrast enhancing agent in the vasculature. 【請求項９】 イメージスプレッドシートジェネレータ
は、複数のセル内に２次元画像を生成する請求項１記載
のイメージングシステム。9. The imaging system of claim 1, wherein the image spreadsheet generator generates a two-dimensional image in the plurality of cells. 【請求項１０】 イメージスプレッドシートジェネレー
タは、複数のセル内に３次元画像を生成する請求項１記
載のイメージングシステム。10. The imaging system according to claim 1, wherein the image spreadsheet generator generates a three-dimensional image in the plurality of cells. 【請求項１１】 イメージスプレッドシートジェネレー
タは、複数のセル内にテキストを生成する請求項１記載
のイメージングシステム。11. The imaging system of claim 1, wherein the image spreadsheet generator generates text in a plurality of cells. 【請求項１２】 イメージスプレッドシートジェネレー
タは、それぞれのセル用のユーザ入力のエントリを容易
にするために、グラフィックユーザインターフェース
（ＧＵＩ）を介してポップアップウィンドウを生成する
請求項１記載のイメージングシステム。12. The imaging system of claim 1, wherein the image spreadsheet generator generates a pop-up window via a graphic user interface (GUI) to facilitate entry of user input for each cell. 【請求項１３】 イメージスプレッドシートジェネレー
タは、第１のセル内にドッグイヤアイコンを生成し、該
ドッグイヤアイコンを用いて、第１のセルと関連した複
数の画像の１画像を選択的に表示するようにアクチュエ
ート可能である請求項１記載のイメージングシステム。13. The image spreadsheet generator generates a dog ear icon in a first cell and selectively displays one of a plurality of images associated with the first cell using the dog ear icon. The imaging system of claim 1, wherein the imaging system is actuatable. 【請求項１４】 イメージスプレッドシートジェネレー
タは、ポップアップユーザインターフェース（ＵＩ）を
生成し、該ポップアップユーザインターフェースによ
り、第１のセルと関連した複数の画像の１画像を選択的
に表示するようにアクチュエート可能である請求項１記
載のイメージングシステム。14. The image spreadsheet generator generates a pop-up user interface (UI), which is actuated to selectively display one of the plurality of images associated with the first cell. The imaging system according to claim 1, which is capable. 【請求項１５】 画像は、磁気共鳴（ＭＲ）、コンピュ
ータトモグラフィ（ＣＴ）、ポジトロンエミッショント
モグラフィ（ＰＥＴ）、シングルフォトンエミッション
ＣＴ（ＳＰＥＣＴ）、及び、３Ｄ超音波を含むグループ
から選択されたイメージングモダリティから生成される
請求項１記載のイメージングシステム。15. The imaging is selected from a group comprising magnetic resonance (MR), computed tomography (CT), positron emission tomography (PET), single photon emission CT (SPECT), and 3D ultrasound. The imaging system of claim 1, wherein the imaging system is generated from a modality. 【請求項１６】 イメージスプレッドシートジェネレー
タは、第１の画像のヨーキングされたビジュアリゼーシ
ョンを実行し、該ビジュアリゼーションにより、前記イ
メージスプレッドシートジェネレータは、第１の画像
を、ヨーキングされる第１セットのセル内に変換し、該
変換の際、一方のセル内の画像が、ヨーキングされたビ
ジュアリゼーションパラメータに従って、少なくとも第
２のセル内に表示された各画像上で変換が実行される請
求項１記載のイメージングシステム。16. The image spreadsheet generator performs a yoked visualization of a first image, such that the image spreadsheet generator converts the first image into a first set of cells that are to be yoked. 2. The imaging system of claim 1, wherein the conversion is performed on each image displayed in at least the second cell according to the imaged visualization parameters. . 【請求項１７】 イメージスプレッドシートを生成する
ためのイメージングシステムにおいて、ディスプレイ上
にグラフィックユーザインターフェース（ＧＵＩ）を表
示するためのプロセッサと、前記グラフィックユーザイ
ンターフェース（ＧＵＩ）に、関連のレジストレーショ
ンマーカ付の複数のセルを有するスプレッドシートグリ
ッドを表示するためのイメージスプレッドシートジェネ
レータとを有しており、各セルは、式と関連付けられて
いて、多次元画像を表示するようにすることができ、前
記イメージスプレッドシートジェネレータは、第１のセ
ットのセル内の１セットの式に応答して、第１の画像を
第１のセットのセル内に変換し、前記イメージスプレッ
ドシートジェネレータは、多次元画像に相応する画像デ
ータに応答して、前記セットの式を前記第１セットのセ
ルに適用する前に、前記第１のセットのセルの変換を介
して、前記画像を自動的に整列することを特徴とするイ
メージングシステム。17. An imaging system for generating an image spreadsheet, comprising: a processor for displaying a graphic user interface (GUI) on a display; and wherein the graphic user interface (GUI) has an associated registration marker. An image spreadsheet generator for displaying a spreadsheet grid having a plurality of cells, wherein each cell is associated with a formula and can display a multi-dimensional image, wherein the image The spreadsheet generator converts the first image into the first set of cells in response to a set of formulas in the first set of cells, the image spreadsheet generator corresponding to the multidimensional image. To respond to the image data An imaging system for automatically aligning the images via transformation of the first set of cells before applying the set of equations to the first set of cells. 【請求項１８】 整列変換（ａｌｉｇｎｉｎｇ ｔｒａ
ｎｓｆｏｒｍａｔｉｏｎｓ）は、リジッド変換（ｒｉｇ
ｉｄ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ）である請求項
１７記載のイメージングシステム。18. Aligning transformation (aligning tra)
nsformations) is a rigid transformation (rig)
18. An imaging system according to claim 17, wherein the imaging system is an id transformation. 【請求項１９】 整列変換は、ワーピング（ｗａｒｐｉ
ｎｇ）変換である請求項１７記載のイメージングシステ
ム。19. The alignment transformation may include warping (warpi).
18. The imaging system of claim 17, wherein the system is an ng) transform. 【請求項２０】 イメージスプレッドシートジェネレー
タは、イメージスプレッドシートの異なったセル内に表
示される異なった画像間の解剖学的構造のコーヒレンス
を提供する請求項１７記載のイメージングシステム。20. The imaging system of claim 17, wherein the image spreadsheet generator provides anatomical coherence between different images displayed in different cells of the image spreadsheet. 【請求項２１】 イメージスプレッドシートを実行する
方法において、グラフィックユーザインターフェース
（ＧＵＩ）上に、複数のセルを有するスプレッドシート
グリッドを表示するステップと、複数のセルの少なくと
も１つを式に関連付けるステップと、関連のレジストレ
ーションデータを有す画像データを処理して、複数のセ
ルの部分内に複数の画像を表示するステップと、それぞ
れのセル内で複数の画像を整列して配向し、前記それぞ
れのセルのレジストレーションマークをマッチングさせ
るステップと、少なくとも１つの式に従って、第１の画
像を第１のセットのセルに変換するステップとを有する
ことを特徴とする方法。21. A method for executing an image spreadsheet, comprising: displaying a spreadsheet grid having a plurality of cells on a graphic user interface (GUI); and associating at least one of the plurality of cells with a formula. Processing image data having associated registration data to display a plurality of images in portions of a plurality of cells; aligning and orienting a plurality of images within each of the cells; A method comprising: matching a registration mark of a cell; and converting the first image to a first set of cells according to at least one equation.