JP6670595B2 - 医用画像処理装置 - Google Patents

医用画像処理装置 Download PDF

Info

Publication number
JP6670595B2
JP6670595B2 JP2015232306A JP2015232306A JP6670595B2 JP 6670595 B2 JP6670595 B2 JP 6670595B2 JP 2015232306 A JP2015232306 A JP 2015232306A JP 2015232306 A JP2015232306 A JP 2015232306A JP 6670595 B2 JP6670595 B2 JP 6670595B2
Authority
JP
Japan
Prior art keywords
medical image
anatomical
virtual
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015232306A
Other languages
English (en)
Other versions
JP2016101502A (ja
Inventor
デイビー ロバート
デイビー ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2016101502A publication Critical patent/JP2016101502A/ja
Application granted granted Critical
Publication of JP6670595B2 publication Critical patent/JP6670595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)

Description

画像データを仮想解剖データにレジストレーションする医用画像処理装置に関する。
患者または他の被検者の体内の解剖学的構造を表す画像データを取得するのに、医用撮像技法を使うことがよく知られている。ボリューム画像データは、たとえば、一連の2次元(通常、軸方向の)スライスの収集によって取得することができ、これらのスライスは、合成されて、ボクセルの3次元配列を形成することができる。
ボリューム撮像診断法は、たとえば、コンピュータ断層撮像(CT)、円錐ビームコンピュータ断層撮像(CB−CT)、磁気共鳴(MR)または超音波を備え得る。たとえば、CTデータセットでは、各ボクセルは一般に、ハンスフィールド単位で測定される関連強度を有し、この強度は、それぞれの、対応する測定ボリュームによるX線放射の減衰を表す。
医用画像データは、特定の患者に、およびその患者の特定のスキャンに固有であってよい。
医用画像データは、様々な形であってよく、医用撮像診断法による測定から取得されたどの適切なデータを含んでもよい。医用画像データは、被検者の少なくとも一部の画像を取得するために、レンダリングし、または場合によっては処理することができるデータであり得る。
仮想解剖は、解剖学的特徴の位置を表しており、たとえば、3次元での一般的な人間の解剖の統合的な患者固有ではない表現を備え得る。仮想解剖は、器官および他の解剖学的構造などの識別などの特徴を提供し得る。解剖学的構造(たとえば、肝臓または他の器官など、解剖学的に分類可能な構造物)は、仮想解剖において命名され得る。解剖学的構造は、形状と、体内でのポジションとを与えられ得る。
ボリューム仮想解剖データは、ボクセルのセット、たとえば、医用撮像スキャンを通して取得されるボクセルの3次元配列と同様であり得るボクセルの3次元配列を備え得る。たとえば、ボリューム仮想解剖データ中の各ボクセルは、関連強度値を有し得る。ボリューム仮想解剖データにおいて、ボクセルは、たとえば、解剖学的構造がセグメント化されている人体の一般的な表現を与えるために、人体内の解剖学的構造に割り当てられ得る。
たとえば、ある患者のボリュームデータセットを別の患者のボリュームデータセットにレジストレーションするのに使われ得るのと同様のレジストレーション技法を使って、ボクセルの配列を備えるボリュームデータを、ボクセルの配列を備えるボリューム仮想解剖データにマップすることが知られている。ボリュームデータをボリューム仮想解剖データにマップする一手法は、画像類似度に基づくレジストレーション技法、たとえば相互情報に基づく最適化を使うものである。画像に基づくレジストレーション技法は計算が集中する可能性があり、それゆえ、速度が落ちる場合がある。
ボクセルの配列を備えるボリューム仮想解剖データに加え、他のタイプの仮想解剖データが知られている。たとえば、解剖学的構造がモデル、たとえば、標示付きボクセル配列ではなく、3次元空間内の表面または領域によって表される、モデルベースの仮想解剖データが知られている。
しかしながら、従来の手法による医用画像データと仮想解剖データとの間のレジストレーション手法は、迅速性或いは利便性等の観点で、十分とは言えなかった。
目的は、従来に比して迅速で利便性の高いレジストレーション処理を実現可能な医用画像処理装置を実現することを目的とする。
本実施形態に係る医用画像処理装置は、データ受信ユニットと、レジストレーションユニットとを具備する。データ受信ユニットは、医用画像診断装置によって取得された画像データを受信する。レジストレーションユニットは、画像データにおける解剖学的ランドマークの位置とモデルベースの仮想解剖データにおける解剖学的ランドマークに対応する位置とに基づいて、画像データの座標空間と仮想解剖データの座標空間との間の変換を計算して位置を対応付けることで、画像データと前記モデルベースの仮想解剖データとの間のレジストレーションを実行する。
ある実施形態による画像データ処理システムの概略図。 実施形態の動作モードを概略的に示すフローチャート。 医用画像データおよび仮想解剖データ中の対応するランドマークの図。 仮想解剖データおよび医用画像データのオーバーレイビューの図。 仮想解剖データおよび医用画像データの並列表示の図。 仮想解剖データおよび医用画像データのさらなる並列表示の図。 患者情報が配置された仮想解剖アバターの図。 仮想解剖アバターと、スキャン列挙とスキャンタイムラインとを備える例示的なユーザインターフェースの図。 仮想解剖画像に医用画像が取得されたスキャンにおけるスキャン範囲を重畳表示した図。
以下、実施形態に係る医用画像処理装置について説明する。なお、以下に述べる各実施形態に係る医用画像処理装置は、医用ワークステーション(ビューア)の様に単独で、或いは医用画像診断装置(例えば、X線コンピュータ断層撮像装置(CTスキャナ)、MRI装置、X線診断装置、超音波診断装置、核医学診断装置等)に内蔵された形態で、実現される。
(第1の実施形態)
実施形態による医用画像処理装置10が、図1に概略的に示されている。画像処理装置10は、CTスキャナ14、表示画面16、ならびにコンピュータキーボードおよびマウスなど、1つまたは複数の入力デバイス18に接続されている計算装置12、この場合はパーソナルコンピュータ(PC)またはワークステーションを備える。本実施形態では、画像データのセットが、CTスキャナ14によって取得され、メモリストア20に記憶される。他の実施形態では、画像データのセットは、遠隔メモリストアからロードされ得る。
計算装置12は、医用画像データと仮想解剖データとを受信し、レジストレーションを実行し、表示するための処理リソースを提供する。計算装置12は、図2を参照して後で説明する方法を実施するように構成された様々なソフトウェアモジュールまたは他のソフトウェア構成要素をロードし実行するように動作可能な中央処理ユニット(CPU)22を備える。
計算装置12は、医用画像データを受信するためのデータ受信ユニット24と、医用画像データ内のランドマークを位置特定するためのランドマーク位置特定ユニット26と、医用画像データを仮想解剖にレジストレーションするためのレジストレーションユニット28と、医用画像データおよび/または仮想解剖データから画像をレンダリングし表示するための処理ユニット30とを含む。
本実施形態において、データ受信ユニット24、ランドマーク位置特定ユニット26、レジストレーションユニット28および処理ユニット30は各々、CPU22によって実行可能なコンピュータ可読命令を有する少なくとも1つのコンピュータプログラムによって、計算装置12内で実装される。ただし、他の実施形態では、様々なユニットは、1つもしくは複数のASIC(特定用途向け集積回路)もしくはFPGA(フィールドプログラム可能ゲート配列)として、またはソフトウェアとハードウェアの他のどの適切な組合せとして実装されてもよい。
計算装置12はまた、ハードドライブと、RAM、ROM、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックスカードを含むハードウェアデバイスを含む、PCの他の構成要素とを含む。そのような構成要素は、明快のために図1には示されていない。
図1のシステムは、図2のフロー図における概観に示すように、一連の段階を実施するように構成される。
図2の段階40で、データ受信ユニット24は、患者のCTスキャンから取得されたボリューム医用画像データセット100(患者撮像ボリューム100として図2に示す)を、メモリストア20から受信する。画像データセット100は、一連のDICOM(医用におけるデジタル画像と通信:Digital Imaging and Communications in Medicine)ファイルを備え得る。他の実施形態では、データ受信ユニット24は、遠隔データストアから、たとえば、画像保管通信システム(PACS:Picture Archiving and Communication System)の一部を形成し得るサーバから、画像データセット100を受信する。さらなる実施形態では、データ受信ユニット24は、スキャナ14から直接、画像データセット100を受信する。
本実施形態では、画像データセット100は、画像処理装置10に接続されているCTスキャナ14を使って撮られたCTスキャンから取得された。代替実施形態では、CTスキャンは、どのCTスキャナを使っても撮られる。他の実施形態では、画像データセット100は、任意の診断法、たとえばCT、MRI、超音波、PETまたはSPECTでのボリューム放射線データを生じる、どの放射線スキャナから取得されたデータも備える。
段階42で、ランドマーク識別ユニット26は、ランドマーク位置特定アルゴリズムを使って、画像データセット100中の既知の解剖学的ランドマークを自動的に識別し、画像データセット100の座標系における各解剖学的ランドマークの位置を判断する。
解剖学的ランドマークとは、一般に、解剖(本実施形態では、人間の解剖)における明確な点である。解剖学的ランドマークは、骨、血管または器官などの解剖学的構造との関係で、解剖学的に定義することができる。解剖学的ランドマークの例には、右目の中心および右肺の尖がある。ランドマークの解剖学的定義は、そのランドマークを、多くの異なる医用画像データセット中で、または仮想解剖中で位置特定するのに使うことができる。たとえば、右目の中心が解剖学的ランドマークとして判断される場合、右目の中心におけるランドマークは、解剖中でその点を位置特定することができる任意の手動または自動的方法によって、右目の中心が存在する任意の医用画像データセットまたは仮想解剖中で位置特定することができる。
解剖学的ランドマークは、データセット中で位置特定され、そのデータセットの座標フレーム中の座標セットを割り当てられ得る。解剖学的ランドマークの位置は、座標空間中の点と見なすことができる。あるデータセット中の解剖学的ランドマークについての座標値は、異なるデータセット中の解剖学的ランドマークについての座標値とは異なることが予想され得る。たとえば、解剖学的ランドマークの座標は、患者の解剖または患者の姿勢における違いにより異なる場合がある。いくつかの実施形態では、ランドマークは、ボクセルまたは他の画像データのセットを備えるボリュームデータセットの座標空間における位置を表す座標データを備え得るが、ランドマーク自体は、それらのボクセルまたは画像データのうちどれも含まなくてよい。
各解剖学的ランドマークの解剖学的定義は、臨床専門家によってあらかじめ決定されてよく、各ランドマークは、明確なアイデンティティを有する。異なる解剖学的ランドマーク、および異なる数の解剖学的ランドマークが、異なるアプリケーション向けに判断されてよい。各解剖学的ランドマークは、一般的な人体上で解剖学的に定義されてよい。
本実施形態は、127個の既知の解剖学的ランドマーク(解剖学的定義があらかじめ決定されている解剖学的ランドマーク)からなるセットを使う。他の実施形態では、異なる解剖学的ランドマークのセットが使われてよく、このセットは、異なるランドマークを備えてよく(たとえば、右目の中心は、ある解剖学的ランドマークのセットにはランドマークとして含まれ得るが、別の解剖学的ランドマークのセットにはランドマークとして含まれなくてよい)、または異なる数のランドマーク(たとえば、127ではなく100)を備えてよい。
本実施形態において、127個の解剖学的ランドマークからなるセットの各々について、ランドマーク位置特定ユニット26は、関連解剖が存在するかどうか判断するための分類方法を使うことによって、そのランドマークが画像データセット100中に存在するかどうか判断する。たとえば、右目の中心に定義される解剖学的ランドマークについて、ランドマーク位置特定ユニットは、訓練された分類装置を使うことによって、右目の中心が画像データセット100中に存在するかどうか判断する。関連解剖が存在しない場合、ランドマーク位置特定ユニット26は、画像データセット100中の解剖学的ランドマークについての座標は戻さない。
関連解剖が存在する場合、ランドマーク位置特定ユニット26は、画像データセット100中のランドマークの位置を、画像データセット100の座標空間における座標セットとして判断する。たとえば、ランドマーク位置特定ユニット26は、右目の中心のポジションを、画像データセット中の点として判断し、そのポジションの座標を戻す。ランドマークの判断された位置は、特定の画像データセット100に固有である。検出および位置特定の同様のプロセスが、127個の既知の解剖学的ランドマークからなるセットの各々について実施される。
ランドマーク位置特定ユニット26が、127個の可能ランドマークのうちどれが画像データセット100中に存在するか判断し、存在するランドマークの各々の位置を判断すると、ランドマーク位置特定ユニット26は、それぞれの解剖学的ランドマークに各々が関連付けられた、ランドマーク位置のリストを、レジストレーションユニット28に渡す。
本実施形態において、処理ユニット26は、分類装置を自動的に使って、解剖学的ランドマークを検出する。医用画像データ中のあらかじめ定義された解剖学的ランドマークの検出および局地化は、単純な画像特徴を使う分類フォレストによって実施される。検出結果は、ランドマークの間の空間関係を参照して精製され得る。
他の実施形態では、他のどの適切なランドマーク検出方法が使われてもよい。ランドマーク検出の方法は、たとえば、Mohammad A Dabbah、Sean Murphy、Hippolyte Pello、Romain Courbon、Erin Beveridgeら、「Detection and location of 127 anatomical landmarks in diverse CT datasets」、Proc. SPIE 9034、Medical Imaging2014:Image Processing、903415(2014年3月21日);doi:10.1117/12.2039157;http://dx.doi.org/10.1117/12.2039157;Criminisi、Shotton、RobertsonおよびKonukoglu(2011)、「Regression forests for efficient anatomy detection and localization in CT studies」、Medical Computer Vision.Recognition Techniques and Applications in Medical Imaging、106〜117;Donner、Menze、BichofおよびLangs(2013)、「Global localization of 3D anatomical structures by pre−filtered Hough forests and discrete optimization」、Medical Image Analysis、17(8)、1304〜1314、doi:10.1016/j.media.2013.02.004;またはLiuおよびZhou、「Anatomical landmark detection using nearest neighbor matching and submodular optimization」、Medical image computing and computer−assisted intervention(MICCAI)、7512、393〜401に記載されているようなものでよい。
図3は、患者に関連付けられた画像データセット100から導出された医用画像60を示す。3つの解剖学的ランドマークのポジション、すなわち胸骨の下端70、右腸骨棘の上面71、および左腸骨棘の上面72が、医用画像60上でマーキングされている。
段階44で、レジストレーションユニット28は、メッシュベースの仮想解剖データセット120に関するランドマーク位置のリスト110を、メモリストア20から、または代替データストアから受信する。本実施形態において、メッシュベースの仮想解剖データセット120は、Zygote Body(たとえば、Kelc R.、Zygote Body:A New Interactive 3−Dimensional Didactical Tool for Teaching Anatomy.WebmedCentral ANATOMY 2012;3(1):WMC002903参照)であり、メッシュベースの仮想解剖データセットにおけるランドマーク位置は、専門家によってあらかじめ決定されており、専門家は、Zygote Bodyデータセット中の解剖学的ランドマークの各々のポジションを手作業で識別し、判断している。
他の実施形態では、他のどの既存または所定のモデルベースの仮想解剖データセットが使われてもよい。
ボクセルを備えない仮想解剖データが、利用可能である。ボクセル配列を備えない仮想解剖データは、モデルベースの仮想解剖データと呼ばれ得る。モデルベースの仮想解剖データは、3次元空間における表面または領域を定義することによって解剖学的構造を表す仮想解剖データであり得る。モデルベースの仮想解剖における各解剖学的構造は、たとえば、仮想解剖において解剖学的構造の境界が定義されるような、領域または表面のどの適切な表現によっても表すことができる。たとえば、表現は、メッシュ、関数、関数のセット、または1つもしくは複数の仮想オブジェクトであってよい。
使われ得るモデルベースの仮想解剖データの1つのタイプは、メッシュベースの仮想解剖データであり得る。メッシュベースの仮想解剖データでは、多角形メッシュが、解剖学的構造を表すのに使われ得る。
モデルベースの仮想解剖データセットは、3次元表面もしくは領域またはそのような表面もしくは領域のモデルによって仮想解剖が表される仮想解剖データを備え得る。モデルベースの仮想解剖データセットは、メッシュベースの仮想解剖データを備え得る。メッシュベースの仮想解剖データセットは、複数の表面メッシュおよび/または複数の空間充填メッシュを備え得る。
いくつかのメッシュベースの仮想解剖では、1組の表面が定義され、各々が、それぞれの解剖学的構造の表面を3次元で表す。各表面は、1組の点を備える多角形メッシュによって表され、点は、辺でつながれて、多角形面を形成する。これらの表面はネスト化され得る。たとえば、器官の表面を表す表面は、皮膚の表面を表す表面の内側にネスト化され得る。
いくつかのメッシュベースの仮想解剖では、1組の3次元オブジェクトが定義され、各々が、それぞれの解剖学的構造の3次元形状およびポジションを表す。各3次元オブジェクトは、それぞれの3次元メッシュによって表される。たとえば、構造的モデリング(たとえば、有限要素分析)では、多面体の空間充填メッシュが利用され得る。多面体の空間充填メッシュは、3次元での1組の頂点を備えてよく、これらの頂点は、辺によって接合されて、複数の多面体を形成する。いくつかのアプリケーションでは、多面体は通常、四面体または直方体であり得る。空間充填メッシュを形成する1組の点のうちの点の間の間隔は、同じ解剖を表すボリューム仮想解剖におけるボクセル間隔の大きさよりもかなり大きくてよい。
モデルベースの仮想解剖データセットは、メッシュベースでない表面表現を備え得る。解剖学的構造の表面は、どの適切な表面表現を使って定義されてもよい。たとえば、モデルベースの仮想解剖データセットは、制御点に基づく表面表現を備え得る。表面表現は、スプライン、たとえばNURBSに基づき得る。したがって、各3次元表面は、スプライン、たとえばNURBS(非一様有理Bスプライン)を使って判断され得る。いくつかの仮想解剖では、任意の適切な方法を使って、各解剖学的構造について、3次元領域が定義され得る。たとえば、各領域は、仮想固体物体によって表すことができる。
本実施形態に戻ると、メッシュベースの仮想解剖データセット120は、人体全体を表す。それゆえ、解剖学的に定義される127個のランドマークの各々は、仮想解剖データセットにおいて識別され、位置特定され得る。
代替実施形態では、一般的な人体について解剖学的に定義されるよりも少ないランドマークが、仮想解剖データセット中で位置特定され得る(たとえば、127個のランドマークが人体の上に解剖学的に定義され、そのうち90個が、仮想解剖データ中で位置特定される)。いくつかのそのような実施形態では、仮想解剖データセット120は、体全体を表すわけではなく(たとえば、特定のアプリケーションの場合、仮想解剖データセット120は、体の一部、たとえば頭部を表す)、ランドマーク位置のセット110は、仮想解剖データセット120に存在するランドマークの位置のみを含む。
本実施形態において、仮想解剖データセット120における解剖学的ランドマークの位置110は、図2のプロセスの開始前に、専門家によって手作業であらかじめ決定される。本実施形態において、仮想解剖データセット120中のランドマークの位置は手作業で判断され、代替実施形態では、仮想解剖データセット120中のランドマークの位置は、任意の適切なランドマーク位置特定方法を使って、自動的または半自動的に判断される。
本実施形態において、メッシュベースの仮想解剖データセット120中の各解剖学的ランドマークの判断された位置がメッシュ頂点に対応することは必要とされない。各解剖学的ランドマークの位置は、仮想解剖データセット120の座標系における座標点であることが必要とされるだけであり、座標点は、メッシュ頂点に対応してもしなくてもよい。
本実施形態において、仮想解剖データセット120におけるランドマークの位置は、(本実施形態では、図2のプロセスが開始される前に)一度判断されればよく、次いで、図2のプロセスの多数のインスタンスにおいて使われ得る。ただし、代替実施形態では、解剖学的ランドマークは、段階44の一部として、仮想解剖データセット中で識別され、位置特定される。いくつかの実施形態では、仮想解剖データセットについてのランドマーク位置110は、医用画像データセット100中でのランドマークの位置特定の前、後、または位置特定と同時に判断される。
仮想解剖データセット120中のランドマークは、仮想ランドマークと呼ばれ得る。各ランドマーク位置は、仮想解剖データセット120の座標系中の座標のセットである。レジストレーションユニット28に渡される、ランドマーク位置のリスト110は、仮想解剖データセット中の解剖学的ランドマーク位置のデータベースと呼ばれ得る。
図3は、医用画像データセット100から導出された医用画像60とともに、メッシュベースの仮想解剖データセット120から導出された仮想解剖画像80を示す。本実施形態では、仮想解剖画像80は、Zygote Bodyから導出される。他の実施形態では、どの適切なメッシュベースの仮想解剖データセットが使われてもよい。
3つのランドマークの各々のポジション、すなわち、胸骨の下端90、右腸骨棘の上面91、および左腸骨棘の上面92(医用画像60上でマーキングされている、同じ解剖学的ランドマーク)が、仮想解剖画像80上でマーキングされている。レジストレーションに先立って、仮想解剖画像80中の解剖学的ランドマークは、医用画像60中の対応する解剖学的ランドマークのポジションとは異なるポジションにあることが分かる。
本実施形態において、画像データセット100についてのランドマーク位置のセットおよび仮想解剖データセット120についてのランドマーク位置のセット110の各々は、127個の定義された解剖学的ランドマークをすべて備える。他の実施形態では、画像データセット100についてのランドマーク位置のセットは、仮想解剖データセット120についてのランドマーク位置のセット110よりも多いまたは少ないランドマークを備える。画像データセット100中のランドマークの数は、仮想解剖データセット120中のランドマークの数と一致する必要はない。
段階46で、レジストレーションユニット28は、医用画像データセット100中の各ランドマークの位置と、それに対応する、仮想解剖データセット120中のランドマークの位置との間の対応を確立する。たとえば、図3に示すように、医用画像データセット100および仮想解剖データセット120の各々は、胸骨の下端にあるランドマーク(それぞれ、70および90)を含む。レジストレーションユニット28は、医用画像データセット100中の、胸骨の下端にあるランドマーク70の位置を、仮想解剖データセット120中の、胸骨の下端にあるランドマーク90の位置と関連付ける。
各ランドマークの位置は、画像データセット座標空間内では、仮想解剖データセット座標空間内とは異なることが予想され、それは、患者の各解剖学的構造が、仮想解剖のものとはサイズ、形状および位置が異なる場合があり、患者は、仮想解剖とは異なるように、空間内で位置決めされる場合があるからである。
段階48で、レジストレーションユニット28は、メモリストア20から仮想解剖データセット120を受信する。仮想解剖データセット120は、仮想解剖データセット120中の各メッシュについての各メッシュ頂点の座標と、メッシュ頂点を結ぶ辺とを備える。本実施形態では、レジストレーションユニット28は、仮想解剖データセット中の解剖学的ランドマーク位置のセット110を受信した後、仮想解剖データセット120を受信するが、他の実施形態では、仮想解剖データセット120および仮想解剖データセット中の解剖学的ランドマーク位置の判断されたセット110は、同時に受信され、または仮想解剖データセット120は、解剖学的ランドマーク位置のセット110の前に受信される。
段階50で、レジストレーションユニット28は、段階46で判断された対応するランドマーク位置の間の関係を使って、医用画像データセット100および仮想解剖データセット120のレジストレーションを実施する。代替実施形態では、レジストレーションユニット28は、異なるユニットによって、または異なる計算装置上で実施された、医用画像データセット100および仮想解剖データセット120のレジストレーションを取得する。レジストレーションは、仮想解剖データの座標空間と、医用画像データの座標空間との間の変換を備える。
医用画像データセット100中に存在する各解剖学的ランドマークの位置は、仮想解剖データセット120中のその解剖学的ランドマークについての対応する位置を有する。レジストレーションプロセスの目標は、変換された医用画像データセット中の各解剖学的ランドマークの位置が、仮想解剖データセット120中の対応する解剖学的ランドマークの位置と、可能な限りほぼ一致するように、医用画像データセット100を仮想解剖データセット120の座標系に変換することである。
本実施形態では、医用画像データセット100が、仮想解剖データセット120の座標系に変換されるが、他の実施形態では、仮想解剖データセット120が、医用画像データセット100の座標系に変換され、または両方のデータセットが、さらなるデータセット、たとえば、さらなる医用画像データセットの座標系に変換される。
医用画像データセット100および仮想解剖データセット120のレジストレーションは、医用画像データセット100の座標系から、仮想解剖データセット120の座標系への変換を決定することと、その変換を最適化することとを備える。変換は、医用画像データ中の解剖学的ランドマークの位置、および対応する解剖学的ランドマークの、仮想解剖データ中での位置に基づいて決定される。本実施形態において、各ランドマークの位置は、座標セットであり、ランドマークの位置のみが、変換の決定において使われる。変換を決定するのに使われる情報は、たとえば、解剖学的ランドマークに関連付けられた強度情報は備えない。
本実施形態では、変換は、医用画像および仮想解剖座標系に対する、12自由度での座標のアフィンマッピングを備える。他の実施形態では、他のどの適切な変換が使われてもよい。
本実施形態において、変換は、堅牢な最小二乗回帰を使って算出される。他の実施形態では、どの適切な方法が使われてもよい。
本実施形態では、変換は、回転と、平行移動と、スケーリングとを備える剛体変換である。他の実施形態では、変換は、局部変形を含み得る変形を備える非剛体変換である。
レジストレーションユニット28は、最適化された変換を医用画像データセット100に適用し、そうすることによって、回転、平行移動および/またはスケーリングを備える座標変換を使って、医用画像データセット100の各ボクセルを、仮想解剖データセット120の座標系に変換する。判断された変換が非剛体変換である代替実施形態では、ランドマーク座標から補間されたワープフィールドを算出することによって、非剛体レジストレーションが利用され得る。
他の実施形態では、レジストレーションユニット28は、仮想解剖データセット120の座標系から、医用画像100の座標系への変換を判断するとともに、判断された変換に従って、仮想解剖データセット120中のメッシュ頂点の座標を変換することによって仮想解剖データセットを変換することによって、仮想解剖データセット120と医用画像データセット100とをレジストレーションする。
図2のプロセスの段階52で、処理ユニット30は、仮想解剖データセット120と、(仮想解剖データセットの座標系に変換されている)変換済み医用画像データセットとを受信する。他の実施形態では、処理ユニット30は、仮想解剖データセット120と、オリジナル医用画像データセット100と、仮想解剖データセット120と医用画像データセット100との間のレジストレーションの詳細とを受信する。
処理ユニット30は、仮想解剖データセットから導出された仮想解剖画像80と、医用画像データセット100から導出された医用画像60とを備える合成画像をレンダリングし、合成画像を表示画面16に表示する。
本実施形態において、処理ユニット30によってレンダリングされた合成画像は、仮想解剖画像80に医用画像60がオーバーレイされるオーバーレイ画像を備える(合成画像は、図4に示されている)。医用画像データセットが仮想解剖データセットにレジストレーションされているので、医用画像60中の解剖学的構造が、仮想解剖画像80中の解剖学的構造の位置に対応する位置に表示される。処理ユニット30は、オーバーレイ画像を表示画面16に表示する。
他の実施形態では、処理ユニット30は、仮想解剖画像80が医用画像60にオーバーレイされるオーバーレイ画像をレンダリングする。何らかの実施形態では、合成画像は、仮想解剖画像80としてレンダリングされた体のある一部と、医用画像60としてレンダリングされた体の別の一部とを備える。たとえば、仮想解剖データセットからの心臓または他の臓器は、医用画像データセットからの肺または別の臓器とともに示されてよい。いくつかの実施形態では、合成画像は、オーバーラップ画像(overlapping image:複数の画像の重ね合わせによる画像。上に位置する画像の不透明度は自由に制御可能である。)、マージ画像(merged image:複数の画像を渾然一体に融合させた画像)、差込み画像(inset image:例えばある画像の枠に近い領域に別の画像を差し込んだ画像)、混成画像(composite image:ある画像に対し部分的に他の画像を入れ込んだ画像)または画像もしくは画像データの他のどの合成も備える。
いくつかの実施形態では、合成画像中の各ボクセルの画像値が、仮想解剖画像80中のそのボクセルの画像値と、医用画像60中のそのボクセルの画像値の合成である、2次元の融合レンダリングによって、合成画像がレンダリングされる。いくつかの実施形態では、合成画像に対する仮想解剖画像80および医用画像60の比例貢献(proportional contribution)をユーザがそれによって変えることができる融合スライダが提供される。
他の実施形態では、仮想解剖と医用画像の混合が容積的に進む3次元融合レンダリングが使われてよい。3次元レンダリングは、レイキャスティングまたは他の方法によって遂行することができる。
いくつかの実施形態では、多断面再構成MPR)など、医用画像データセットから導出されたデータが、合成画像として仮想解剖データとともにレンダリングされ得る。
図4に示すような、合成画像の1つの表示アプリケーションは、医用画像60中に表示される解剖学的構造が、人体の残りにどのように関係するかを示すためのものであってよい。図4に示す解剖学的構造(たとえば、肋骨)が、ほとんどの一般の人々にはよく知られている可能性があるが、いくつかの医学スキャンは、より小さいエリアをカバーし、または一般観察者にとってはより不明瞭に見える可能性がある。そのようなケースでは、代表的人体の画像にオーバーレイされた医用画像60を表示することによって、観察者(たとえば、患者)が、自分の医学スキャンの状況を理解するのを助けることができる。
本実施形態において、仮想解剖画像80にオーバーレイされた医用画像60を備えるオーバーレイ画像は、ユーザによって操作することができる。たとえば、オーバーレイ画像は、ユーザが、画像上でズームインもしくはズームアウトし、または画像を回転することができる医用画像閲覧アプリケーションにおいて表示される。ユーザが、画像操作に対応する入力を与えた(たとえば、ユーザが、マウスアクションを使って画像を回転する)場合、処理ユニット30は、仮想解剖画像80にオーバーレイされた医用画像60を依然として示す新規オーバーレイ画像をレンダリングするが、各画像は、ユーザが要求した回転に対応する新たな閲覧角度で示される。
代替実施形態では、段階52で、合成画像をレンダリングするのではなく、処理ユニット30は、第1のフレーム中に医用画像60を、および第2のフレーム内に仮想解剖画像80をレンダリングする。医用画像60および仮想解剖画像80は、別々のフレーム中の別々の画像であるが、医用画像データセット100と仮想解剖データセット120との間のレジストレーションを使って、互いに位置合わせされる。
医用画像60と仮想解剖画像80とを位置合わせさせて表示することによって、これらの画像は、第1のフレーム中の第1のポジションに表示される解剖学的構造が、第2のフレーム中の同じ、または対応するポジションに表示され得るように表示され得る。第1のフレームおよび第2のフレームのうち一方における少なくとも1つの解剖学的構造のポジションは、第1のフレームおよび第2のフレームのうち他方における少なくとも1つの対応する解剖学的構造のポジションに依存し得る。たとえば、頭部の最上部が、第1のフレーム中の医用画像60の最上部にある場合、頭部の最上部は、第2のフレーム中の仮想解剖画像80の最上部にあり得る。各フレームは、それによって別々の画像が表示されるウィンドウ、ペイン、画面領域もしくは表示画面または他のどの表示方法も備え得る。
医用画像60および仮想解剖画像80は、隣接して、または、たとえば単一画面上に水平構成で(並列表示)、垂直構成で、隣接スクリーン上に、もしくは(複数の画像が表示され、ビューの順序および相対的な位置決めは、ハンギングプロトコルによって判断される)ハンギングプロトコルの一部として、互いに近接して表示することができる。両方の画像を閲覧させるどの表示が使われてもよい。たとえば、画像は、オーバーラップして表示されてもよく、ユーザ入力を入れることによって、2つの画像の間をトグルすることも可能であり得る。
いくつかの実施形態では、医用画像60および仮想解剖画像80は、両方の画像に共通する少なくとも1つの解剖学的構造を表示する。いくつかの実施形態では、解剖学的構造は、医用画像60中で、各解剖学的構造の位置および配向が仮想解剖画像80中と同じか、または実質的に同じになるように表示される。たとえば、医用画像60および仮想解剖画像80の各々は、頭部のポジションを2つの画像の間で位置合わせさせて(医用画像データセットと仮想解剖データセットとの間のレジストレーションの結果として)、患者の頭部のビューを表示することができる。
いくつかの実施形態では、第1のフレーム中の解剖学的構造の水平および/または垂直ポジションは、第2のフレーム中の対応する解剖学的構造の水平および/または垂直ポジションと同じか、または実質的に同じになり得る。第2のフレーム中の対応する解剖学的構造は、第2のフレーム中に示されるものと同じ解剖学的構造であってもよく(たとえば、頭蓋骨は両方のフレーム中に示され得る)、隣接または直近の解剖学的構造であってもよい(たとえば、頭蓋骨は、第1のフレーム中に示され、両目および他の軟組織は第2のフレーム中に示され得る)。
いくつかの実施形態では、第1のフレーム中の解剖学的構造のポジションは、第2のフレーム中の対応する解剖学的構造のポジションから、たとえば固定オフセット値だけオフセットされてよい。
処理ユニットは、医用画像60と仮想解剖画像80とを表示画面16に表示する。並列表示の一例が、図5に示されている。並列表示の別の例が、図6に示されている。以下では、図5および図6の実施形態に関して並列表示が言及されるが、画像が垂直に並べられ、異なるスクリーン上に置かれる、オーバーラップして表示され、または両方の画像が閲覧され得る任意の適切な関係で表示される同様の実施形態が存在する。
医用画像60を、仮想解剖画像80に隣接または近接して示すことによって、ユーザは、医用画像60に示される患者の解剖を、仮想解剖画像80に示される代表的な人間の解剖と比較することが可能になり得る。こうすることにより、ユーザが、患者の解剖における異常を識別するのを、またはそのような異常を、たとえば患者に対して記述するのを支援することができる。
医用画像および仮想解剖が別々の画像として示されるいくつかの実施形態では(および、合成画像が示されるいくつかの実施形態でも)、医用画像60および仮想解剖画像80のうち一方に対してアクションを実施すると、対応するアクションが、医用画像60および仮想解剖画像80のうち他方に対して実施される。
たとえば、いくつかの実施形態では、処理ユニット30は、医用画像60に対して実施されるべきアクションを示すユーザ入力を、ユーザ入力デバイス18から受信する。実施されるべきアクションは、回転、平行移動もしくはスケーリングなどの操作、レンダリングプリセットの変更、色設定の変更、強度の変更もしくは透明度の変更、または画像の点もしくは領域の選択など、レンダリングの変更を含むが、それらに限定されない、医用画像に対して実施することができるどのアクションでもよい。
処理ユニット30は、指示されたアクションを医用画像60に対して実施し、対応するアクションを仮想解剖画像80に対しても実施する。何らかの実施形態では、対応するアクションは同一のアクションである。他の実施形態では、対応するアクションは等価なアクションである。たとえば、一実施形態では、医用画像60は、仮想画像80とは異なる配色を使ってレンダリングされる。ユーザが、医用画像60におけるレンダリング色または強度の変更を要求すると、既存の配色の間の関係と矛盾しない、異なる色または強度が仮想画像80に適用され得る。たとえば、医用画像がグレースケールで表示され、仮想解剖画像がカラーで表示される一実施形態では、グレースケール画像においてより明るいグレーシェードを要求すると、仮想解剖画像中で様々な色が使われることになり得る。
いくつかの実施形態では、ユーザが、医用画像60の操作(たとえば、回転、平行移動またはズーム)を要求した場合、同じ操作が仮想解剖画像80に対して実施される。ユーザは、そうすることによって、画像が操作されるとき、画像を直接比較し続けることができる。
いくつかの実施形態では、医用画像60上の点を選択すると、対応する点が、仮想解剖画像80上で選択される。たとえば、医用画像中の肝臓の中または別の臓器の上の点をクリックすると、肝臓または他の臓器の上の対応する点が、仮想解剖画像中で選択される。選択された点は、ランドマークであることも、識別された解剖学的構造の一部であることも必要とされない。そのような選択は、測定値の配置、対象領域の描画、または他の目的に使うことができる。
一実施形態では、(たとえば、マウスでクリックすることによって)医用画像60上の点を選択すると、選択された点が画像の中心になるように医用画像60が表示され、同時に、医用画像上の選択された点に対応する、仮想解剖画像上の点が、仮想解剖画像の中心になるように、仮想解剖画像80が表示される。
上記実施形態は、仮想解剖画像中の対応するアクションにつながる、医用画像に対して実施されるアクションを参照して記載されているが、仮想解剖画像80に対して実施されるアクションが、医用画像60に対して実施される対応するアクションにつながる同様の実施形態が存在する。
いくつかの実施形態では、仮想解剖データセット120に関連付けられた意味情報(解剖学的構造情報として記述され得る)が、レジストレーション済みの医用画像データセットをナビゲートするのに使われ得る。たとえば、一実施形態では、仮想データセット中の解剖学的構造(たとえば、骨および器官)の位置および程度が既知であり、そのような構造が標示される。それゆえ、たとえば、解剖学的構造(たとえば肋骨)の名称をテキストボックスにタイプ入力することによって、仮想解剖データセット中の特定の解剖学的構造にナビゲートすることが可能である。
一実施形態では、たとえば、「肋骨」または解剖学的特徴の他のどの名称を、仮想解剖画像80に関連付けられたテキストボックスにタイプしても、仮想解剖画像80は、肋骨(または指定された解剖学的特徴)が仮想解剖画像80の中心に表示される(仮想解剖画像は、肋骨を中心とするものとして記述され得る)ように表示される。たとえば、「肋骨」がテキストボックスにタイプ入力された後、仮想解剖画像80は、仮想解剖中の肋骨の近隣を示す、ズームインされた仮想解剖画像に変わる。同じ実施形態において、仮想解剖画像80が、テキスト入力に応答して肋骨を中心としたとき、医用画像60も、肋骨を中心とし、2つのデータセットのレジストレーションが、等価なビューを提供するのに使われる。それゆえ、仮想解剖データセット中の意味論的知識(解剖学的構造標示)は、データセットの間のレジストレーションを使って、医用画像データセット中の所与の構造にナビゲートするのに使うことができる。
いくつかの実施形態では、医用画像60および仮想解剖画像80は、対応するレンダリングプリセットまたは他のレンダリング設定を使ってレンダリングされる。たとえば、これらの画像は、同じレンダリングプリセット(レンダリングパラメータのセット)または均等なレンダリングプリセットを使ってレンダリングされ得る。
いくつかのそのような実施形態において、ユーザは、画像のうち1つにおいて、レンダリング設定の変更を要求することができる(ユーザはレンダリング命令を与えることができる)。たとえば、ユーザは、仮想画像80中のレンダリング設定の変更を要求する。次いで、処理ユニット30が、新たな仮想解剖画像80を、要求されたレンダリング設定でレンダリングし、表示すると、処理ユニット30はまた、仮想解剖画像用の要求されたレンダリングパラメータに依存して、医用画像60のレンダリング用のレンダリングパラメータを選択し、それらのレンダリング設定を使って、新たな医用画像60をレンダリングし、表示する。それゆえ、一方の画像に適用されたレンダリング命令が、他方の画像に適用される対応するレンダリング命令に反映され得る。いくつかの実施形態では、医用画像60用に要求されたレンダリングパラメータが、仮想解剖画像80をレンダリングするのに使われる対応するレンダリングパラメータを生じる。いくつかの実施形態では、仮想解剖画像80用に要求されたレンダリングパラメータが、医用画像60をレンダリングするのに使われる対応するレンダリングパラメータを生じる。
対応するレンダリング設定は、要求されたレンダリング設定と同じでもよく、レンダリング設定の一部または全部が、要求されたレンダリング設定とは異なってもよい。たとえば、いくつかの実施形態では、メッシュベースの仮想解剖データセット120から仮想解剖画像80をレンダリングするのに、医用画像データセット100から医用画像60をレンダリングするのに使われるのとは異なるレンダリング方法が使われる。それゆえ、仮想解剖画像80用にレンダリング設定の変更が要求されると、異なる設定変更、または異なる設定の変更が、仮想解剖画像80中で生じられるのと同じ視覚効果を、医用画像80中で生じることを要求され得る。
両方の画像に対して共通レンダリングプリセットが使われるケースでは、画像のうち一方のレンダリングプリセットを変更すると、他方の画像についてのレンダリングプリセットが変更され、そうすることによって、これらの画像は、共通プリセットを使って表示され続ける。共通プリセットを使うことにより、仮想解剖画像80と医用画像60は直接比較することが可能になり得る。
他の実施形態では、異なるレンダリングプリセットまたは他のレンダリング設定が、医用画像60および仮想解剖画像80に適用され得る。異なるプリセットを使うことにより、たとえば、医用画像60には表示されない状況が仮想解剖画像80中に表示される。たとえば、医用画像60は、骨のみを示し得るが、仮想解剖画像80は器官も表示する。
いくつかの実施形態では、ユーザは、たとえば、ドロップダウンメニューを使うことによって、医用画像60および仮想解剖画像80の各々についてのレンダリングプリセットまたは他のレンダリングパラメータを選択することができる。いくつかの実施形態では、ユーザは、レンダリングプリセットまたは他のレンダリングパラメータが、画像の一方に、それとも画像の両方に適用されるかを選ぶことができる。
図6の実施形態では、ユーザは、仮想解剖画像80中でハイライトまたは場合によっては強調されるべき特定の解剖学的構造を選択することができる。たとえば、図6では、腎臓82が仮想解剖画像80中でハイライトされている。図6の実施形態では、特定の解剖学的構造(腎臓など)を、医用画像60における表示のために分離することが可能でない場合がある。この場合、解剖学的構造は、医用画像データセット100中でセグメント化されていないので、特定のプリセットの使用により、すべての解剖学的構造が同様の濃度で戻され得る。ただし、仮想解剖画像80を、ハイライトされた解剖学的構造でレンダリングすることが可能であり、それは、仮想解剖データセット120が、多角形メッシュとして表される、解剖学的構造の各々の表面を含むからである。仮想解剖画像80中で解剖学的構造をハイライトすることによって、医用画像60中で同じ構造を解釈または説明することがより容易になり得る。
図5および図6は各々、単一医用画像60と単一仮想解剖画像80とを示す。ただし、他の実施形態では、いくつかの医用画像60およびいくつかの対応する仮想解剖画像80が表示され得る(たとえば、医用画像データおよび仮想解剖データの各々の表、裏および側面図が同時に表示され得る)。いくつかの実施形態では、1つの画像(たとえば、表側仮想解剖画像80)に対する操作またはレンダリングパラメータの変更を実施すると、同じ操作またはレンダリングパラメータの変更が、対応する画像(たとえば、対応する表側医用画像60)に対して実施される。他の実施形態では、各画像は、別個に作用を受け得る。
図3、図4、図5および図6の実施形態は各々、医用画像60と仮想解剖画像80の両方が段階52で(たとえば、並列画像として、または仮想解剖画像80にオーバーレイされた医用画像60を備えるオーバーレイ画像として)表示される実施形態である。ただし、他の実施形態では、ただ1つの画像(医用画像60または仮想解剖画像80のいずれか)が表示され得る。
一実施形態では、医用画像データセット100および仮想解剖データセット120は、図2のプロセスのステップ40〜50の方法を使ってレジストレーションされる。仮想解剖データセット120は、医用画像データセット100の座標系に変換される。
段階52で、処理ユニット30は、医用画像データセット100から医用画像60をレンダリングする。レジストレーション済みの仮想解剖データセット120からのどの画像も表示されないが、レジストレーション済みの仮想解剖データセット120は、医用画像データセット100に機能性を追加するのに使われる。たとえば、ユーザが、医用画像60中の点(測定点と呼ばれ得る)をクリックした場合、仮想解剖データセット80へのマッピングが、仮想解剖データセット80中の対応する点を判断するのに使われ得る。仮想解剖セット中で、各解剖学的構造(たとえば、各骨および臓器)が識別される。それゆえ、ユーザが、医用画像60中の測定点をクリックすると、表示は、どの解剖学的構造が、クリックされた点を含むかの推定をユーザに戻す。仮想解剖データセットはそれゆえ、地図(本実施形態では、粗い地図と記述され得る)として使うことができる。
逆に、ユーザが、たとえば、「肝臓」または別の臓器の名称をテキストボックスにタイプ入力することによって、医用画像60中の特定の構造または位置を要求した場合、仮想解剖データセット120中でのその構造の定義または位置は、その構造または位置を突き止め、またはそこまでナビゲートするために、医用画像データセット100にマップされ得る。たとえば、一実施形態では、「肝臓」がテキストボックスにタイプ入力されると、処理ユニット30は、仮想解剖データセット120中での肝臓の位置を判断し、その位置と、仮想解剖データセット120および医用画像データセット100のレジストレーションとを使って、医用画像データセット100中での肝臓の推定位置を判断し、標示されるマーカを、医用画像60上で肝臓があると推定される所に置く。別の実施形態では、「肝臓」がテキストボックスにタイプ入力されると、処理ユニット30は、肝臓があると推定されるエリアにズームインされた医用画像60をレンダリングし、表示する。
仮想解剖データセットへのレジストレーションは、研究ナビゲーションに使うことができる。研究ナビゲーションは、仮想解剖画像が表示されることなく提供され得る。たとえば、一実施形態では、ユーザは、所望の臓器をメニューから選択する。他の実施形態では、ユーザは名称をタイプ入力する。
仮想解剖へのレジストレーションを使うことによって、医用画像60のナビゲーションは、その医用画像60が、構造がセグメント化されていない医用画像データセット100から導出されたときであっても提供され得る。医用画像データセット100の何らかのナビゲーションは、医用画像データセットについて判断されたランドマーク位置により利用可能であり得るが、そのようなランドマークによるナビゲーションは、ランドマーク座標の数だけ詳述されるにすぎない。仮想解剖データセットへのレジストレーションを使うナビゲーションは、より正確なナビゲーションを提供することができる。
レジストレーション済みの仮想解剖データセットは、医用画像データセットにおける解剖学的状況を判断するのに使うことができる。仮想解剖データセットは、所与の対象領域の付近にどのような解剖が存在し得るかを識別するための近似地図として作用し得る。たとえば、画像データ中に所見が置かれている場合、その位置を仮想解剖データに変換することによって、報告を容易にし、かつ/または自動化するために、近くの解剖学的構造をルックアップすることが可能である。
いくつかの実施形態では、ユーザが医用画像60をクリックすると、仮想解剖画像80が医用画像60にオーバーレイされる。たとえば、ユーザは、医用画像60中の点をクリックし、処理ユニット30は、仮想解剖画像80へのマッピングから、その点が肝臓の中である可能性が高いと判断する。処理ユニット30は、医用画像60にオーバーレイされた仮想解剖から、肝臓の画像をレンダリングし、表示する。
いくつかの実施形態では、仮想解剖データセット120および医用画像データセット100のレジストレーションの後、仮想解剖画像80のみが、段階52で最初に表示される。いくつかの実施形態では、仮想解剖画像80は、医用画像データセット100中をナビゲートするのに使われる。たとえば、仮想解剖画像80の領域を選択することによって、ユーザは、医用画像60として表示されるべき、医用画像データセット100の等価な一部を選択することができる。
仮想解剖画像80を使う一実施形態が、図7に示されている。図7の実施形態では、仮想解剖画像80が、患者情報をその上に表示するためのアバターとして使われる。いくつかのインジケータ150、152、154、156が、仮想解剖画像80上に表示される。各インジケータは、スキャン、所見、または他の医学情報を表す。
たとえば、図7の実施形態では、患者の頭部のMRスキャンが撮られている。MRスキャンは、インジケータ150によって仮想解剖アバター画像80上に示される。本実施形態において、インジケータ150は、スキャンによってカバーされるエリアの輪郭を表すボックスを備える。ボックスの位置およびサイズは、仮想解剖データセット120をもつMR画像データセットのレジストレーションから判断される。他の実施形態では、インジケータは、視覚効果、たとえば陰影、ハイライト、またはカラーアプリケーションが適用される領域を備え得る。医用画像スキャンのボリューム、領域または境界のどの表現も、インジケータとして使われてよい。
本実施形態では、インジケータ150は、スキャンによってカバーされる、体のエリアの指示を備えるが、さらなる実施形態では、インジケータ150は、スキャンされたエリアの中心の位置の指示を備え得る。他の実施形態では、インジケータ150は、スキャンされた1つまたは複数の解剖学的構造の指示を備え得る。たとえば、スキャンが、頭部のMRスキャンである場合、そのスキャンを表すインジケータ150は、頭部の、または頭部の構成要素解剖学的構造(たとえば、鼻、耳、目もしくは口)のハイライトまたは陰影であり得る。スキャンが、心臓を備える領域のMR(または他の診断法、たとえばCTもしくは超音波)スキャンである場合、インジケータ150は、心臓のハイライトまたは陰影であり得る。
いくつかの実施形態では、仮想解剖アバター画像80上の各インジケータ150、152、154、156は、異なる色によって表すことができる。いくつかの実施形態では、異なる色のインジケータは、異なるデータタイプに対応し得る。たとえば、一実施形態では、MRデータを表すインジケータ150は緑で示され、CTデータを表すインジケータ152は青で示され、生検を表すインジケータ154はオレンジで示され、所見を表すインジケータ156は赤で示される。他の実施形態では、どの配色または陰影方式が使われてもよい。
いくつかの実施形態では、インジケータ150は、医用画像スキャンが撮られた時間を表すことができる。たとえば、インジケータは、スキャンが撮られた時間を表す、ラベル、テキスト表示または色を有し得る。異なるインジケータは、インジケータの時間関係に依存して(たとえば、早期スキャンはより赤く、遅いスキャンはより青く)色付けされ得る。
また、図7の実施形態では、仮想解剖アバター画像80は、2つのCTスキャン(手首スキャンおよび胸部スキャン)の位置および程度を表すインジケータ152を表示する。本実施形態において、それぞれのCTスキャンを表すインジケータ152の各々は、スキャンによってカバーされる領域を表すボックスであり、各ボックスの位置およびサイズは、それぞれのCTスキャン画像データセットを仮想解剖データセット120にレジストレーションすることによって判断される。
スキャンデータを備えない他の患者情報も、インジケータによって仮想解剖アバター画像80上に示すことができる。たとえば、図7では、仮想解剖アバター画像80は、生検が実施された位置(腎臓生検)を示すインジケータ154と、所見(動脈瘤)の位置を示すインジケータ156とを表示する。これは、(たとえば、仮想解剖データ中に名前付き構造として表される「腎臓」の解剖学的概念の理解による)意味論的手法を使って、幾何学的手法(たとえば、所見に関連付けられた動脈瘤の座標の事前知識)によって、または他の適切な方法によって遂行することができる。
医用画像データセット100(本実施形態では、2つのCTデータセットおよびMRデータセット)を仮想解剖データセット120にレジストレーションすることによって、インジケータ150、152、154、156は、仮想解剖アバター画像80上に正確に置くことができ、そうすることによって、スキャンの位置および/または程度、生検の位置、所見の位置、あるいは他の医学データの位置および/または程度が、仮想解剖アバター画像80上に正確に表され得る。
仮想解剖アバター画像80は、ユーザインターフェースとして使うことができる。図7の実施形態では、インジケータ150、152、154、156をクリックすると、そのインジケータに関連した医学データが表示され、たとえば、そのインジケータによって表されるスキャン、生検または所見から、医学データが表示され得る。たとえば、手首のCTスキャンのエリアを表すインジケータ152をクリックすると、関連医用画像データセット100からの医用画像60が表示され得る。すなわち、レジストレーションによって実画像との間で位置の対応付けがなされた仮想解剖アバター画像80において、所望の位置に対応するインジケータ152をクリックすることで、当該インジケータ152に対応する実画像(医用画像)を、任意のタイミングで読み出して表示することができる。
インジケータ152をクリックした結果としての、医用画像60のそのような表示は、図7には示さないが、仮想解剖アバター画像80とともに医用画像60の表示を備え得る。表示される医用画像60は、仮想解剖アバター80と同じ閲覧角度およびスケールを有し得る。たとえば、胴体が、アバターの胴体と同じサイズを有する胴体スキャンを表す医用画像60が表示され得る。
他の実施形態では、仮想解剖アバター画像80とともに表示される表示医用画像60は、仮想解剖アバター画像80とは異なる閲覧角度またはスケールを有し得る。たとえば、医用画像60中の胴体の長さが、仮想解剖アバター画像80中の胴体の長さよりも大きい胴体スキャンを表す医用画像60が表示され得る。いくつかの実施形態では、仮想解剖アバター画像は、常に正面を向いて表示され、医用画像60は、どの適切な角度に回転されてもよい。
他の実施形態では、インジケータ152をクリックすると、仮想解剖アバター画像80の代わりに、適切な医用画像60が表示され得る。仮想解剖画像80をアバターおよびユーザインターフェースとして使うことによって、簡単および直観的インターフェースがユーザに提示され得る。このユーザインターフェースは、複合履歴のナビゲーションを可能にし得る。スキャンされた、患者の体のエリアが正確に表され得る。異なる時間に撮られた、体の異なる領域のスキャンが、単一アバター画像上に表され得る。空間的関連のあるどのデータも、アバター画像上に示すことができる。
図8に示すさらなる実施形態では、アバターとして使われる仮想解剖画像80は、より幅広いユーザインターフェース画面160の一部である。図8の実施形態では、ユーザインターフェース画面160は、病歴162とタイムライン164とを備える。さらなる実施形態では、患者情報の他のどの適切な表し方が使われてもよい。
いくつかの医用撮像スキャン(本実施形態では、CTスキャン)が、ユーザインターフェース画面160上に表される。各スキャンは、仮想解剖画像80上で、インジケータ152として表され、番号を振られる。医用画像スキャンの各々について、医用画像データセット100が仮想解剖データセット120にレジストレーションされる。スキャンの位置および程度は、仮想解剖データセットへのレジストレーションによって、解剖学的観点で判断される。スキャンの位置および程度は、適切なサイズおよび位置の番号付きボックスを備えるインジケータ152として、仮想解剖画像上に表される。
各医用画像スキャンは、病歴162にも列挙され、ここでスキャンタイプ、スキャンの解剖学的位置およびスキャン記述が、各スキャンについて時系列順で列挙される。他の実施形態では、異なる順序付けが使われ得る。
各医用画像スキャンはさらに、時間軸上に時間が表されるタイムライン164中に表される。各スキャンは、タイムライン上のインジケータ170(そのインジケータが仮想解剖画像80上で標示されるのと同じ番号を有する)によって表される。タイムライン164上のインジケータ170は、画像が撮られた時間を表す、時間軸上の点に置かれる。番号の配置は、スキャンに関連した時間データを提供する。本実施形態では、タイムライン164上に時間が表されるが、他の実施形態では、時間のどの適切なグラフィック表現、たとえばカレンダが使われてもよい。仮想解剖アバター画像80上の各インジケータ152について、対応するインジケータ170が、グラフィカル時間表現の上に置かれる。すなわち、インジケータ170に対応する医用画像が取得された時間情報が、タイムライン164上に所定の形態で表示されることになる。
病歴162およびタイムライン164は、生検、手術、他の処置、または出会いなど、画像スキャン以外の医学的事象をさらに表示することができる。
タイムライン164上の適切な点をクリックすることによって日付を選択することにより、ユーザは、仮想解剖アバター画像80上の表示を、選択された日付の前に撮られたスキャンのみを示すように変更することができる。他の実施形態では、タイムライン164で時間期間をハイライトし、または場合によっては選択することによって、ユーザは、ハイライトされた時間期間中に撮られたスキャンを表すインジケータのみを、仮想解剖アバター画像80上に表示することができる。ユーザはそれゆえ、スキャンを時間期間でフィルタリングすることができる。例えば、ユーザは、タイムライン164上に表示された時間情報(すなわち、時間情報に基づいてタイムライン上に配置されたインジケータ170)を選択することで、時間情報を基準として過去に取得された画像データのフィルタリング表示を実行することができる。
いくつかの実施形態では、処理ユニットは、ある時点(たとえば、特定の日付)または時間期間を表すユーザ選択を受信するように構成される。たとえば、ユーザは、タイムライン164の領域を選択してもよく、時間範囲をタイプ入力しても、カレンダで時間範囲を選択してもよい。処理ユニットは、仮想解剖アバター画像80上の複数のインジケータのうち、選択された時間点または日付に対応するいずれかを選択するように構成される。たとえば、ユーザが2008年を選択した場合、処理ユニットは、2008年に撮られたスキャンに対応する、仮想解剖アバター画像80上のいずれかのインジケータを選択する。
いくつかの実施形態では、タイムライン164上のインジケータのうち1つまたは複数を選択すると、仮想解剖アバター画像80上の対応するインジケータ152が選択され、仮想解剖アバター画像80上で表示され、または仮想解剖アバター画像80上でハイライトされるか、場合によっては強調される。
いくつかの実施形態では、仮想解剖アバター画像80上のインジケータ152のうち1つまたは複数を選択すると、タイムライン164上の対応するインジケータが、タイムライン164上で選択され、タイムライン164上で表示され、またはタイムライン164上でハイライトされるか、場合によっては強調される。
さらなる実施形態では、スキャン時間を表すどの方法が使われてもよい。スキャンは、タイムライン164上で、番号以外のインジケータとして、たとえば色によって、またはテキスト情報によって表され得る。
さらなる実施形態では、仮想解剖データセット120が、患者に対する手術の外科計画に使われる。手術計画が、仮想解剖において定義される。仮想解剖データセット120は次いで、手術が実施される、患者のエリアを備える医用画像データセット100にレジストレーションされる。仮想解剖データセット120は、医用画像データセット100の座標系に変換され、患者の解剖に関する手術計画を定義する。
仮想解剖データは、標準オントロジーにリンクされ得る。仮想データ中の器官および構造のアイデンティティを、標準解剖学的オントロジー(たとえば、Foundational Model of Anatomy)中のオブジェクトに関連付けることによって、他のヘルスケアシステムとの向上された相互運用性が可能になり得る。たとえば、オントロジーは、解剖学的用語を識別するために、医学レコードまたは報告のテキストを意味論的に分析するのに使うことができ、これらの用語は次いで、仮想解剖データ中の関連解剖学的構造に自動的にリンクされ得る。このリンクは、関連テキストのハイパーテキストマークアップによって表すことができ、ユーザが関連仮想解剖を表示することを可能にする。
人間の解剖の一般的な、構造的記述を所与の患者の医用画像データにマップすることによって、教示と、解剖学的参照と、ナビゲーションと、委託臨床医への、および/または患者への結果の通信と、解釈の容易さとを含む分野の範囲内で、撮像アプリケーションに価値が付加され得る。同じ解剖の(レジストレーションによって判断される)仮想解剖画像と医用画像とを表示することによって、医用画像を説明または解釈することがより容易になり得る。ユーザ、たとえば学生は、医用画像がセグメント化されていないときでも、仮想解剖データへの医用画像データのレジストレーションを使って、医用画像の中をナビゲートすることが可能であり得る。ナビゲーションのための仮想解剖の使用は、仮想解剖画像が表示されることを必要としなくてよい。仮想解剖にオーバーレイされた、またはそれと並列の医用画像を表示することによって、臨床医は、患者にスキャン結果を説明するとき、状況を提供することが可能であり得る。
上述した実施形態の各々は、患者データとメッシュベースの仮想解剖との間のマッピングを確立するのに、解剖学的ランドマークを使う。他の手法は、患者データの、画像に基づくレジストレーションと、ボリューム仮想解剖とを使う。ただし、画像に基づくレジストレーションは、より計算集約的であり、したがって、ランドマークの間のマッピングよりも遅い。
ランドマークを使うと、患者データとメッシュベースの仮想解剖データとをレジストレーションする、比較的素早い、計算効率の良い方法を提供することができる。各データセット中の比較的少数の点のみ(たとえば、上記実施形態では127個以下の点)が、識別され、位置特定される必要がある。ランドマークを使う画像のレジストレーションは、知られている方法を用いて実施することができる。解剖学的ランドマークは、異なるデータセット中の対応する点の一致が正確である可能性が高くなり得るように、解剖学的に明確に定義することができる。
さらに、必要とされるボクセルおよびボクセル強度がメッシュベースの仮想解剖データ中で定義されない場合があるので、画像類似度に基づくレジストレーション技法を使って、患者のボリュームデータをメッシュベースの仮想解剖データにマップすることが可能でない場合がある。ランドマークを使うと、メッシュベースの仮想解剖データが患者データにレジストレーションされることが可能であるが、このようなレジストレーションは、いくつかの他の技法を使うと可能でない場合がある。
現在利用可能な多くの仮想解剖データセットはメッシュベースである。メッシュベースのデータは、レンダリングするのが、ボリューム測定データよりも容易である場合があり、より柔軟に可視化することができる。メッシュベースのデータは、一般的な人間の解剖の患者固有ではない表現を獲得する際、ボリューム測定データよりも優れている場合がある。上記実施形態の手法はそれゆえ、ボリューム仮想解剖データよりも、取得するのが容易であり、レンダリングするのが容易であり、柔軟であり適切であり得るデータと連動することができる。
仮想解剖データを現実の患者データにマップする他の手法は、意味情報を使うことを備え得る。意味情報(たとえば、臓器の名称)は、近似ポジションを与えるだけであるが、ランドマークは、体の中の特定の点についての正確なポジションを与えることができる。特定のケース(たとえば、二次的な獲得を伴う)を除いて、意味論的データに項目に該当する臓器または構造は、容易に判断されることが可能でない場合がある。上記実施形態の使用は、意味論的データを使うマッピングよりも正確であり柔軟であり得る。
患者の中または上の位置をマーキングするための基準(物理マーカ)を使って画像を位置合わせすることが知られている。ただし、基準の使用は、特化された手順以外では共通でない。上記実施形態の方法は、物理マーカを必要としない。
いくつかの実施形態は、ボリューム医用画像データ中の解剖学的ランドマーク位置を自動的に判断するための手段と、メッシュベースの仮想解剖データ中の対応する解剖学的ランドマーク位置のデータベースと、医用撮像座標空間と仮想解剖座標空間との間の変換を確立する手段とを備える、仮想解剖データに医用画像データをレジストレーションするための方法を提供する。
いくつかの実施形態では、仮想解剖データとの医用画像データのレジストレーションは、剛体レジストレーションを備える。いくつかの実施形態では、仮想解剖データを伴う医用画像データのレジストレーションは、非剛体レジストレーションを備える。
いくつかの実施形態では、医用画像データおよび仮想解剖データの並列レジストレーション表示が有効にされる装置が提供される。いくつかの実施形態では、医用画像データおよび仮想解剖データの融合表示が有効にされる装置が提供される。いくつかの実施形態では、仮想解剖データと医用画像データとの間の対応は、医用画像データ中の位置の解剖学的状況についての情報を提供するのに活用される。
いくつかの実施形態では、医用画像データセットの位置、対象領域または所見を仮想解剖ユーザインターフェース表示に正確に示す装置が提供される。
具体的な実施形態が上述されたが、任意の実施形態の特徴が、他の任意の実施形態の特徴と組み合わされてよい。
ランドマークの検出および位置について、画像データセット中の一地点、たとえば単一ピクセルまたはボクセルを各々が備えるランドマークとの関係で記載したが、代替実施形態では、各ランドマークは、どの適切な画像データ項目、たとえば、単一ピクセルまたはボクセルよりも大きい領域を表す画像データのより大きいブロックを備えてもよいことが理解されよう。
以上述べた各実施形態によれば、撮影によって取得された医用画像データと、データベースに予め格納された仮想解剖データとを、ランドマークを基準として自動的にレジストレーションする。これにより、仮想解剖データに基づく画像と医用画像との間で位置を対応付けながら、両者の間の相互の表示切替を実現することができる。例えば、ユーザは、表示された仮想解剖データに基づく画像の所望の部位をクリック等することで、当該部位に対応する医用画像(実画像)を自動的に表示することができる。逆に、表示された医用画像の所望の部位をクリック等することで、当該部位に対応する仮想解剖データに基づく画像を自動的に表示することができる。さらに、必要に応じて、オーバーレイ表示等の所定の形態により、仮想解剖データに基づく画像と医用画像との間で位置を対応付けながら同時に表示することも可能である。
医用画像と仮想解剖画像との位置やレンダリング条件を対応付けた表示の他、例えば、仮想解剖画像において、図9に超音波スキャンの場合を用いて例示するように、医用画像が取得されたスキャンにおけるスキャン範囲を表示することも可能である。当該構成によれば、仮想解剖画像において対応するスキャン範囲、及び医用画像が当該スキャン範囲内のどの断面位置に対応するかを、迅速且つ直感的に把握することができる。
各実施形態において説明した仮想解剖データと実画像との間のレジストレーション、及び一方から他方への座標変換は、二次元画像データ同士或いは三次元画像データ同士のいずれを用いた構成であってもよい。
以上述べた各実施形態は、実施形態の方法を実施するように実行可能なコンピュータ可読命令を有する1つのコンピュータプログラムまたは複数のコンピュータプログラムを用いて特定の機能性を実装し得ることが、当業者にはよく理解されよう。コンピュータプログラム機能性は、ハードウェアで実装されてもよい。実施形態は、1つもしくは複数のASIC(特定用途向け集積回路)もしくはFPGA(フィールドプログラム可能ゲート配列)によって、またはハードウェアもしくはソフトウェアの混合によって実装することができる。
特定のユニットについて、本明細書では記載したが、代替実施形態では、これらのユニットのうち1つまたは複数の機能性は、単一処理リソースまたは他の構成要素によって提供されてもよく、単一ユニットによって提供される機能性は、組み合わせられた2つ以上の構成要素によって提供されてもよい。単一ユニットへの言及は、そのような構成要素が互いから離れているかどうかにかかわらず、そのユニットの機能性を提供する複数の構成要素を包含し、複数のユニットへの言及は、それらのユニットの機能性を提供する単一構成要素を包含する。
いくつかの実施形態について記載したが、これらの実施形態は、例示の目的でのみ提示されているのであって、本発明の範囲を限定することは意図していない。実際、本明細書に記載した新規性のある方法およびシステムは、様々な他の形で実施することができる。さらに、本明細書に記載した方法およびシステムの形における様々な省略、代用および変更が、本発明の精神から逸脱することなく行われ得る。添付の請求項およびそれらの等価物は、本発明の範囲内に収まるそのような形および修正をカバーすることを意図している。
10…医用画像処理装置、12…計算装置、14…CTスキャナ、16…表示画面(ディスプレイ)、18…入力デバイス、20…メモリストア、22…CPU、24…データ受信ユニット、26…ランドマーク位置特定ユニット、28…レジストレーションユニット、30…処理ユニット

Claims (12)

  1. 医用画像診断装置によって取得された医用画像データを受信するデータ受信ユニットと、
    前記医用画像データにおける解剖学的ランドマークの位置とモデルベースの仮想解剖データにおける前記解剖学的ランドマークに対応する位置とに基づいて、前記医用画像データの座標空間と前記仮想解剖データの座標空間との間の変換を計算して位置を対応付けることで、前記医用画像データと前記仮想解剖データとの間のレジストレーションを実行するレジストレーションユニットと、
    前記医用画像データに基づく医用画像と、前記仮想解剖データに基づく仮想解剖画像とを生成し、前記レジストレーションされた前記仮想解剖データのうち前記医用画像データに対応する領域に紐づいて、前記仮想解剖画像において前記医用画像データに関する医学的文字情報を含むインジケータを表示する処理ユニットと、
    を具備することを特徴とする医用画像処理装置。
  2. 記仮想解剖データが、メッシュベースの前記仮想解剖データ、解剖学的構造としての3次元表面データ、解剖学的構造としての3次元領域データ、のうちの少なくとも1つを有することを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記処理ユニットは、前記医用画像を第1のフレーム中に、前記仮想解剖画像を第2のフレーム中に、少なくとも1つの解剖学的構造の位置が実質的に対応するように表示す
    とを特徴とする請求項1又は2記載の医用画像処理装置。
  4. 記処理ユニットは、前記医用画像及び前記仮想解剖画像の一方の生成において用いられる少なくとも1つのパラメータを、前記医用画像及び前記仮想解剖画像の他方の生成において用いられる少なくとも1つのパラメータに基づいて選択することを特徴とする請求項3記載の医用画像処理装置。
  5. 記処理ユニットは、前記医用画像及び前記仮想解剖画像の一方に対して回転指示、平行移動指示、スケーリングの変更指示、レンダリングパラメータの変更指示、点又は領域の選択指示の少なくともいずれかが入力された場合には、当該入力に基づいて、前記医用画像と前記仮想解剖画像とを連動させて、前記入力された指示に対応する所定の処理を実行することを特徴とする請求項3又は4記載の医用画像処理装置。
  6. 記処理ユニットは、前記医用画像と前記仮想解剖画像とを用いて、オーバーレイ画像、マージ画像、融合レンダリング画像、オーバーラップ画像、差込み画像、混成画像のうち少なくとも1つを合成画像として生成し、前記合成画像を表示することを特徴とする請求項3記載の医用画像処理装置。
  7. 前記処理ユニットは、前記医用画像及び前記仮想解剖画像の少なくとも一方において選択された所定の解剖学的構造に対応する情報を、前記仮想解剖データと前記医用画像データとの前記レジストレーションと、前記仮想解剖データにおける各解剖学的構造の位置と対応付けられた解剖学的構造情報とに基づいて表示することを特徴とする請求項3記載の医用画像処理装置。
  8. 前記処理ユニットは、前記仮想解剖像において所定の位置に前記インジケータを表示し、前記インジケータが選択された場合には、前記仮想解剖データと前記医用画像データとの前記レジストレーションに基づいて、前記インジケータに対応する前記医用画像を表示することを特徴とする請求項3記載の医用画像処理装置。
  9. 前記インジケータは、前記医学的文字情報として、前記医用画像データにおける解剖学的領域または構造、前記医用画像データを取得する際のスキャン時間を含み、さらに、前記医用画像データの空間的な境界、前記医用画像データを取得する際のスキャンの中心を含む、請求項8記載の医用画像処理装置。
  10. 前記処理ユニットは、前記インジケータに対応する前記医用画像データが取得された時間情報を、タイムライン上に所定の形態で表示することを特徴とする請求項8又は9記載の医用画像処理装置。
  11. 前記処理ユニットは、前記タイムライン上に表示された前記時間情報を選択することで、前記時間情報を基準として過去に取得された前記医用画像データのフィルタリング表示を実行することを特徴とする請求項10記載の医用画像処理装置。
  12. 前記医用画像データにおける前記解剖学的ランドマークの位置を特定する特定ユニットをさらに具備することを特徴とする請求項1乃至11のうちいずれか一項記載の医用画像処理装置。
JP2015232306A 2014-11-28 2015-11-27 医用画像処理装置 Active JP6670595B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/555,872 2014-11-28
US14/555,872 US9563979B2 (en) 2014-11-28 2014-11-28 Apparatus and method for registering virtual anatomy data

Publications (2)

Publication Number Publication Date
JP2016101502A JP2016101502A (ja) 2016-06-02
JP6670595B2 true JP6670595B2 (ja) 2020-03-25

Family

ID=56079480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232306A Active JP6670595B2 (ja) 2014-11-28 2015-11-27 医用画像処理装置

Country Status (2)

Country Link
US (1) US9563979B2 (ja)
JP (1) JP6670595B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162935B2 (en) * 2014-11-26 2018-12-25 Koninklijke Philips N.V. Efficient management of visible light still images and/or video
US10402967B2 (en) * 2015-12-21 2019-09-03 Koninklijke Philips N.V. Device, system and method for quality assessment of medical images
US10257174B2 (en) * 2016-01-20 2019-04-09 Medicom Technologies, Inc. Methods and systems for providing secure and auditable transfer of encrypted data between remote locations
US10741283B2 (en) * 2016-09-06 2020-08-11 International Business Machines Corporation Atlas based prior relevancy and relevancy model
US10275425B2 (en) * 2017-02-14 2019-04-30 Henry Edward Kernan Method for compressing, slicing, and transmitting image files for display and interpretation
JP6953974B2 (ja) * 2017-10-04 2021-10-27 株式会社島津製作所 診断画像システム
JP6548049B2 (ja) * 2017-11-24 2019-07-24 株式会社Kompath 画像処理装置及びプログラム
US10832422B2 (en) * 2018-07-02 2020-11-10 Sony Corporation Alignment system for liver surgery
US11547482B2 (en) 2018-12-13 2023-01-10 Mako Surgical Corp. Techniques for patient-specific morphing of virtual boundaries
JP2019093288A (ja) * 2019-03-28 2019-06-20 株式会社Kompath 画像処理装置及びプログラム
US11672603B2 (en) * 2019-08-29 2023-06-13 Koninklijke Philips N.V. System for patient-specific intervention planning
WO2021206157A1 (ja) * 2020-04-08 2021-10-14 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法
US20220142614A1 (en) * 2020-11-09 2022-05-12 Siemens Medical Solutions Usa, Inc. Ultrasound-derived proxy for physical quantity
IT202100000254A1 (it) * 2021-01-08 2021-04-08 Miner S R L Metodo per la navigazione didascalica di immagini diagnostiche
US12033740B2 (en) * 2021-12-04 2024-07-09 Vasileios K. Papaioannou Systems and methods for robust and automatic face de-identification for CT and MRI

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131403A (ja) * 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
US6522780B1 (en) * 2000-12-15 2003-02-18 America Online, Inc. Indexing of images and/or text
GB0114271D0 (en) * 2001-06-12 2001-08-01 Univ Manchester Parameterisation
US7158692B2 (en) * 2001-10-15 2007-01-02 Insightful Corporation System and method for mining quantitive information from medical images
US7523505B2 (en) * 2002-08-16 2009-04-21 Hx Technologies, Inc. Methods and systems for managing distributed digital medical data
US7221786B2 (en) * 2002-12-10 2007-05-22 Eastman Kodak Company Method for automatic construction of 2D statistical shape model for the lung regions
US20050207658A1 (en) * 2004-03-05 2005-09-22 Nortel Networks Limited Method and apparatus for extracting information from a medical image
US20060229911A1 (en) * 2005-02-11 2006-10-12 Medcommons, Inc. Personal control of healthcare information and related systems, methods, and devices
US20070064987A1 (en) * 2005-04-04 2007-03-22 Esham Matthew P System for processing imaging device data and associated imaging report information
US7715654B2 (en) * 2005-10-18 2010-05-11 Siemens Medical Solutions Usa, Inc. System and method for fast multimodal registration by least squares
US20080052112A1 (en) * 2006-08-24 2008-02-28 Siemens Medical Solutions Usa, Inc. Clinical Trial Data Processing and Monitoring System
US7885441B2 (en) * 2006-10-11 2011-02-08 General Electric Company Systems and methods for implant virtual review
US20080119712A1 (en) * 2006-11-20 2008-05-22 General Electric Company Systems and Methods for Automated Image Registration
JP5173303B2 (ja) * 2007-07-27 2013-04-03 株式会社東芝 医用画像処理装置及び医用画像診断装置
US20090149977A1 (en) * 2007-11-06 2009-06-11 Schendel Stephen A Methods, systems, and computer program products for shaping medical implants directly from virtual reality models
CN101925924B (zh) * 2008-01-24 2014-11-19 皇家飞利浦电子股份有限公司 交互式图像分割
US8787648B2 (en) * 2008-03-07 2014-07-22 Koninklijke Philips N.V. CT surrogate by auto-segmentation of magnetic resonance images
JP5404277B2 (ja) * 2009-09-24 2014-01-29 株式会社Aze 医用画像データ位置合せ装置、方法およびプログラム
US8520920B2 (en) * 2009-11-11 2013-08-27 Siemens Corporation System for dynamically improving medical image acquisition quality
US8311303B2 (en) * 2010-01-12 2012-11-13 Siemens Corporation Method and system for semantics driven image registration
US20110188715A1 (en) * 2010-02-01 2011-08-04 Microsoft Corporation Automatic Identification of Image Features
JP5314614B2 (ja) * 2010-02-05 2013-10-16 富士フイルム株式会社 医用画像表示装置及び医用画像表示方法並びにプログラム
US9875339B2 (en) * 2011-01-27 2018-01-23 Simbionix Ltd. System and method for generating a patient-specific digital image-based model of an anatomical structure
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US20140126789A1 (en) * 2011-06-10 2014-05-08 Hideyuki Ban Image diagnosis assisting apparatus, and method
CN102985012B (zh) * 2011-06-14 2015-08-05 株式会社东芝 医用图像显示装置以及医用图像显示方法
EP2797542B1 (en) * 2011-12-30 2019-08-28 MAKO Surgical Corp. Systems and methods for customizing interactive haptic boundaries
EP2967297B1 (en) * 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
US9390502B2 (en) 2013-04-22 2016-07-12 Kabushiki Kaisha Toshiba Positioning anatomical landmarks in volume data sets
US9235781B2 (en) 2013-08-09 2016-01-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, landmark location
AU2014374130B2 (en) * 2013-12-31 2019-10-24 Mako Surgical Corp. Systems and methods for generating customized haptic boundaries

Also Published As

Publication number Publication date
US9563979B2 (en) 2017-02-07
JP2016101502A (ja) 2016-06-02
US20160155236A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6670595B2 (ja) 医用画像処理装置
US10614615B2 (en) Systems and methods for viewing medical 3D imaging volumes
US9020235B2 (en) Systems and methods for viewing and analyzing anatomical structures
US7397475B2 (en) Interactive atlas extracted from volume data
JP6396310B2 (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
US20140294263A1 (en) Synchronized Navigation of Medical Images
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
US20150086956A1 (en) System and method for co-registration and navigation of three-dimensional ultrasound and alternative radiographic data sets
US9910958B2 (en) Method and device for displaying a first image and a second image of an object
JP2019103848A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US20230260129A1 (en) Constrained object correction for a segmented image
EP2960870B1 (en) A visualization method for a human skeleton from a medical scan
JP2018061844A (ja) 情報処理装置、情報処理方法、及びプログラム
US10832423B1 (en) Optimizing an atlas
JP2017023834A (ja) 画像処理装置、撮影システム及び画像処理方法
US20160205390A1 (en) Method for displaying on a screen an object shown in a 3d data set
JP5159195B2 (ja) 医用画像処理装置
Ocegueda-Hernández et al. Intuitive Slice-based Exploration of Volumetric Medical Data

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6670595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150