JP6509446B2 - 血管構造の合成表現 - Google Patents

血管構造の合成表現 Download PDF

Info

Publication number
JP6509446B2
JP6509446B2 JP2018534145A JP2018534145A JP6509446B2 JP 6509446 B2 JP6509446 B2 JP 6509446B2 JP 2018534145 A JP2018534145 A JP 2018534145A JP 2018534145 A JP2018534145 A JP 2018534145A JP 6509446 B2 JP6509446 B2 JP 6509446B2
Authority
JP
Japan
Prior art keywords
dimensional
body part
dimensional model
model
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018534145A
Other languages
English (en)
Other versions
JP2019500156A (ja
Inventor
ヴィンセント モーリス アンドレ オーヴレイ
ヴィンセント モーリス アンドレ オーヴレイ
ロマーヌ イザベル マリエ‐ベルナルド ガウリアウ
ロマーヌ イザベル マリエ‐ベルナルド ガウリアウ
ラウル フローレント
ラウル フローレント
アレクサンドラ グロス
アレクサンドラ グロス
ユルゲン ウェイス
ユルゲン ウェイス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019500156A publication Critical patent/JP2019500156A/ja
Application granted granted Critical
Publication of JP6509446B2 publication Critical patent/JP6509446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、臨床的介入報告書に典型的に組み込まれる血管構造の合成表現を提供する装置、臨床的介入報告書に典型的に組み込まれる血管構造の合成表現を提供する医用システム及び臨床的介入報告書に典型的に組み込まれる血管構造の合成表現を提供する方法、並びに、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
血管治療において、例えば心臓狭窄を治療する経皮的冠動脈形成術(PTCA)において、血管治療に関する情報が提供される必要がある。血管治療の重要な結果は、冠動脈の展開図(flattened diagram)に注釈を付けることによって文書記録される。具体的には、臨床医は、例えば冠動脈の略展開図上で狭窄の位置を特定することによってどの狭窄が治療されたのか、また、それらの重大度を記述しなければならない。
米国特許出願公開第2010/0098309A1号は、患者のボリュメトリックデータを分析し、使用するシステム及び方法について説明している。患者を特徴付けるボリュメトリックデータは、コンピュータ断層撮影デバイス(CT)、磁気共鳴イメージャ(MR)又は他の断層撮影モダリティといった撮像モダリティを使用して得られる。ボリュメトリックデータ又は当該データから導出される画像スライスは、解剖学アトラスからの解剖学的画像又はモデルデータと比較され、これにより、患者データが身体構造と関連付けられる。解剖学的関連性は、患者の診断又は治療に有用でありうる情報を取り出すために、データベース内の検索用語として使用される。
しかし、冠動脈の略展開図は、血管造影画像において観察される実際の血管構造からかけ離れており、その結果、臨床医が、血管造影画像内の特徴を、冠動脈の略図上の特徴とマッチさせることは簡単ではない。
改良された血管造影図解釈技術があることが有利である。
本発明の目的は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項に組み込まれる。なお、本発明の以下に説明される態様は、血管構造の合成表現を提供する装置、血管構造の合成表現を提供する医用システム、血管構造の合成表現を提供する方法、並びに、コンピュータプログラム要素及びコンピュータ可読媒体にも当てはまる。
第1の態様によれば、血管構造の合成表現を提供する装置が提供される。当該装置は、入力ユニットと、処理ユニットとを含む。
入力ユニットは、患者の身体部分の血管構造の2次元X線画像データを含む少なくとも1つの2次元X線画像を提供する。入力ユニットは更に、身体部分の3次元モデルを提供し、3次元モデルは、3次元モデル化された血管構造を含む。身体部分の3次元モデルは、身体部分の一般モデルである。処理ユニットは、身体部分の3次元モデルの2次元投影を決定する。身体部分の3次元モデルの2次元投影は、3次元モデル化された血管構造の2次元投影を含む。処理ユニットは更に、身体部分の3次元モデルを変換する。身体部分の3次元モデルの変換は、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影が、患者の身体部分の血管構造の2次元X線画像データを表すような身体部分の3次元モデルの姿勢の決定を含む。処理ユニットは、3次元モデルから決定される情報に基づいて、診査報告書を生成する。
つまり、(血管造影図シーケンスからの血管造影図といった)X線画像は、血管造影図の取得中に適用される視点と同様の視点から提示される血管樹(例えば冠動脈樹)を表す合成図に関連付けられる。「血管造影図」との用語は、患者の心臓領域の血管及び/又は心臓外の血管構造の視覚化に関する。
別の言い方をすれば、身体部分の3次元モデルは、3次元モデルの3次元血管構造の2次元投影が、血管造影図の投影と同様に見えるように、変換(例えば回転、並進又はワーピング)される。このようにすると、合成的に生成された2次元血管構造は、そのX線源及び検出器が、実際の血管造影図が撮られた際に実際のX線源及び検出器が配置されていたのと同様に患者の身体部分に対して配置される(想像上の)X線取得ユニットによって取得されたかのように見える。次に、3次元モデルにおける3次元血管構造は分かっているので、即ち、血管樹のすべての構成部分が分かっており、名前を付けることができるので、血管構造に注釈が適用されている2次元合成投影によって、2次元血管造影図内の構造がより簡単に解釈される。
このように、臨床医は、様々な血管造影図の全体的な性質を統一されたやり方で解釈する助けが与えられる。
身体部分の3次元モデルは、身体部分の一般モデルである。つまり、モデルは、様々な患者に使用できる3次元モデルである。これは、身体部分の一般3次元モデルを使用することにより、そこから患者固有モデルが開発される身体部分のCT画像が不要であることを意味する。
このように、身体部分の一般3次元モデルがあらゆる患者に対して利用することができ、3次元モデル内の既知の血管構造は、臨床医が実際の血管造影図を解釈する助けとして使用される。このようにすると、臨床医は、特定の血管造影図についてX線が心臓を通過した方向をよりうまく判断できる。つまり、臨床医は、血管造影図を見る際に、心臓について自分自身を空間的に正しい方向に向かせることができる。更に、3次元モデル化された血管構造の2次元投影の構造は分かっているので、臨床医は、3次元モデル化された血管構造の2次元投影を参照することにより、血管造影図内の血管構造の部分を容易に識別することができる。臨床医は、心臓の3次元モデル自体が血管造影図を取得するために使用された方向と同じ方向からのX線分析を受けたかのようにモデル化された血管構造の2次元投影を示す3次元モデルのマッチする2次元投影を参照することにより、血管造影図内の動脈を、それらの解剖学的名称によって容易に特定することができる。臨床医は、分枝及びサブセグメントを特定することはできるが、様々な血管造影図から得られた情報を人工的な展開図に統合することは厄介であり、上記されたようなやり方での3次元モデルの利用がこの処理に役立つ。
臨床医は更に、3次元モデルの2次元投影、即ち、図の解釈を助ける手段が提供される。少なくとも2つのメリットがある。臨床医は、a)画像から解剖学的名称への翻訳、及び、b)解剖学的名称から図への翻訳を行う必要がない。更に、再投影された図は、様々なシーケンス(様々な図)からの情報を1つの一意のモデルにまとめることを自然に可能にする。情報は、様々な図から、最終報告書に所見をまとめる1つの構造に容易に集められる。
つまり、処理ユニットは、3次元モデルの例えば回転、並進及び/又はワーピングを介して3次元モデルを変換し、モデルの2次元投影内の血管構造が、実際に取得された血管造影図内の血管構造にマッチする、ほぼマッチする又は少なくとも最も厳密にマッチする(即ち、視覚的に十分である)まで、各点において3次元モデル化された血管構造の2次元投影を決定する。即ち、3次元モデルの1つの変換において、その2次元投影は、血管造影図に対してベストフィットを示す。別の言い方をすれば、3次元モデルは、モデルの2次元投影内の血管構造が、血管造影図内の血管構造の2次元X線画像データに最も厳密に相関するまで変換される。
このように、3次元モデルは、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影が、患者の身体部分の血管構造の2次元X線画像データと相関するように決定される(一例では、精緻化される)。
つまり、検査の血管造影図シーケンスは、同様の視点からの冠動脈樹(血管構造の2次元X線画像データの例)を表す図に関連付けられる。このように、1つの人工的に展開された全2次元図を表示するのではなく、一連の2次元図に再投影される(血管構造の3次元モデル又は図を含む)完全3次元図が使用され、各2次元図は、取得された血管造影図のうちの対応する1つ(又は2以上)と同様である。
一例では、入力ユニットは、少なくとも1つの2次元X線画像を取得するために使用されたX線取得ユニットの幾何学的形状に関する情報を提供し、身体部分の3次元モデルの変換には、X線取得ユニットの幾何学的形状に関する情報の利用が含まれる。
つまり、X線が身体部分を通過した方向が略分かるように、患者に対するX線源及び検出器の位置に関する情報を、3次元モデルの2次元投影が2次元血管造影図に既に厳密に似るように3次元モデルを患者の身体部分に対して対応する位置に配置及び方向付けるために使用することができる。
一例では、身体部分の3次元モデルの変換には、スケーリング係数の適用が含まれる。
つまり、モデルは、患者間で異なる身体部分のサイズに対応するように拡大縮小される。例えば心臓のサイズは患者毎に異なる。
一例では、スケーリング係数は、アフィンスケーリング係数を含む。
つまり、身体部分のモデルはサイズに関して均一に変更できるだけでなく、身体部分のモデルの全体で異なるように拡大縮小することができる。つまり、スケーリング係数は、身体部分のモデルの1つの端では、身体部分のサイズは変更されないが、身体部分のモデルの別の端では、身体部分のサイズは変更されるように、身体部分のモデルの全体で線形に増加してよい。この場合、身体部分のモデルの中間部分は2つの端間で線形又は非線形に拡大縮小されてよい。
一例では、身体部分の3次元モデルの変換には、身体部分の3次元モデルの並進が含まれる。
つまり、空間におけるモデルの位置の向上された推定値(3つの並進パラメータ)が計算され、これは、その拡大縮小(1、2又は場合により3つのパラメータ)及び僅かな回転(3つのパラメータ)及び/又は僅かな並進(3つのパラメータ)について補正される。
一例では、身体部分の3次元モデルの変換には、身体部分の3次元モデルの回転が含まれる。
一例では、身体部分の3次元モデルの変換には、血管構造の2次元X線画像データに対する身体部分の3次元モデルの2次元投影の位置合わせ(レジストレーション)が含まれる。
「位置合わせ」との用語は、3次元モデル化された血管構造の2次元投影が、血管構造の2次元X線画像データ内の血管樹に空間的に対応する血管樹を有するような身体部分の3次元モデルの変換に関する。つまり、3次元モデル化された血管構造の2次元投影内の血管構造は、血管構造の2次元X線画像データの血管構造と最適に類似している。又は、つまり、実際のX線画像及び合成モデル化画像の両方における血管は、可能な限り類似している。
一例では、処理ユニットは、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の少なくとも1つの2次元投影にユーザが注釈を付けることを可能にする。処理ユニットは、身体部分の3次元モデルの3次元モデル化された血管構造に注釈を適用する。
つまり、臨床医は、自身の所見を分かり易く且つ正確に記入することができる。臨床医は、冠動脈樹に注釈を付けるために、どの血管造影画像(2次元X線画像)/2次元図(3次元モデル化された血管構造の2次元投影)の対を使用したいかを選択することができる。(例えば狭窄の位置を確認するために)図の1つを編集すると、(図面はすべて、同じ物体、つまり、一般3次元モデルの特定の図を表すので)図面のすべてが更新される。したがって、臨床医は、報告書に記入するために、様々な狭窄が最良に可視である図を選択することができる。
一例では、処理ユニットは、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の少なくとも1つの2次元投影、身体の位置の変換された3次元モデルに関連付けられる3次元モデル化された血管構造、及び/又は、身体部分の変換された3次元モデルを報告するための報告フォーマットをユーザが選択することを可能にする。
つまり、臨床医は、報告書内で当該情報を提示したいフォーマットを選択することができる。簡単なやり方は、一部の血管造影図/再投影された2次元図の対を報告書にエクスポートすることである。これにより、報告書を読む臨床医が、検査の結果の本質を直観的且つ正確に理解することができる。ユーザは更に、ユーザの所見をより簡潔であるがよりコンパクトにまとめた他の画像を生成することもできる。ユーザは、展開された模式的な2次元図(3次元モデル化された血管構造の2次元投影)、又は、デジタル報告書においてユーザが回転させる3次元樹(3次元モデル化された血管構造)を用いることができる。
このように、冠動脈樹に注釈を付ける簡単なやり方が提供される。
一例では、少なくとも1つの2次元X線画像は、複数の画像を含む。処理ユニットは、当該複数の画像から、見易く且つはっきりと見える2次元X線画像を選択する。
第2の態様によれば、血管構造の合成表現を提供する医用システムが提供される。当該医用システムは、X線画像取得ユニットと、上記例及び態様の何れかによる血管構造の合成表現を提供する装置と、出力ユニットとを含む。
X線画像取得ユニットは、少なくとも1つの2次元X線画像を提供する。出力ユニットは、少なくとも1つの2次元X線画像を表すデータを出力し、身体部分の3次元モデルを表すデータを出力する。
血管構造の合成表現を提供する医用システムを提供することによって、臨床医には、介入に関連付けられる必要な報告情報が自動的に提供される。臨床医には、患者の冠動脈樹の部分の名前に関する情報が提供され、行われる介入の詳細且つ正確な報告と、行われた介入の報告との両方が可能にされる。血管構造の合成表現を提供することによって、臨床医は、将来において、血管造影図を簡単に再検討し、それらの空間的コンテキストを理解することができ、また、様々な臨床医が血管造影図を再検討することができ、また、画像を解釈する必要なく、血管造影図内で観察される血管構造に関する情報が自動的に提供される。
第3の態様によれば、血管構造の合成表現を提供する方法が提供される。当該方法は、a)患者の身体部分の血管構造の2次元X線画像データを含む少なくとも1つの2次元X線画像を提供するステップと、b)身体部分の3次元モデルを提供するステップであって、3次元モデルは、3次元モデル化された血管構造を含み、身体部分の3次元モデルは、身体部分の一般モデルである、上記ステップと、c)身体部分の3次元モデルの2次元投影を決定するステップであって、身体部分の3次元モデルの2次元投影は、3次元モデル化された血管構造の2次元投影を含む、上記ステップと、d)身体部分の3次元モデルを変換するステップであって、身体部分の3次元モデルの変換には、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影が、患者の身体部分の血管構造の2次元X線画像データを表すような身体部分の3次元モデルの姿勢の決定が含まれる、上記ステップと、e)3次元モデルから決定される情報に基づいて、診査報告書を生成するステップとを含む。
別の態様によれば、上記装置を制御するコンピュータプログラム要素が提供される。当該コンピュータプログラム要素は、装置内で処理ユニットによって実行され、上記方法のステップを行う。別の態様によれば、上記コンピュータ要素が格納されたコンピュータ可読媒体が提供される。
有利には、上記態様の何れかによって提供されるメリットは、他の態様のすべてに同じように当てはまり、その逆も同様である。
上記態様及び例は、以下に説明される実施形態から明らかとなり、また、当該実施形態を参照して説明される。
例示的な実施形態は、以下の図面を参照して、以下に説明される。
図1は、血管構造の合成表現を提供する装置の一例の概略構成を示す。 図2は、血管構造の合成表現を提供する医用システムの一例の概略構成を示す。 図3は、血管構造の合成表現を提供する方法の一例を示す。 図4は、展開冠動脈図の一例を示す。 図5は、例示的な冠動脈血管造影画像を、血管造影の視点と同様の視点からの3次元モデル化された血管構造の2次元投影と共に示す。 図6は、図5に示される情報と同じであるが、画像が概略図表現によって置き換えられている情報を示す。 図7は、身体部分の3次元モデルの一例を示す。 図8は、血管構造の合成表現を提供する方法のワークフローの一例の図を示す。
図1は、血管構造の合成表現を提供する装置10の一例を示す。装置は、入力ユニット20と、処理ユニット30とを含む。入力ユニット20は、患者の身体部分の血管構造の2次元(2D)X線画像データを含む少なくとも1つの2次元X線画像を処理ユニット30に提供する。入力ユニット20は更に、身体部分の3次元(3D)モデルを処理ユニット30に提供する。3次元モデルは、3次元モデル化された血管構造を含む。処理ユニット30は、身体部分の3次元モデルの2次元投影を決定する。身体部分の3次元モデルの2次元投影には、3次元モデル化された血管構造の2次元投影が含まれる。処理ユニット30は更に、身体部分の3次元モデルを変換する。身体部分の3次元モデルの変換には、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影が、患者の身体部分の血管構造の2次元X線画像データを表すような身体部分の3次元モデルの姿勢の決定が含まれる。処理ユニット30は更に、3次元モデルから決定される情報に基づいて、診査報告書を生成する。
一例では、姿勢の決定には、姿勢の精緻化が含まれる。一例では、3次元モデル内の3次元血管構造は分かっている。即ち、血管樹の構成部分のすべて(又は少なくとも一部)が分かっており、名前(注釈)を付けることができる。一例では、処理ユニットは、身体部分の3次元モデルの2次元投影を、画像処理ユニットを使用して求める。一例では、処理ユニットは、身体部分の3次元モデルを、画像処理ユニットを使用して変換する。
一例では、変換には、処理ユニットが2次元X線画像データ内の血管構造の少なくとも一部を、3次元モデル血管構造の2次元投影内の血管構造の対応する少なくとも一部と整列させるように構成されることが含まれる。例えば3次元モデル化された血管構造の2次元投影内の位置は、対応する血管造影画像内の位置に変換される。例えば整列は、血管構造の非常に具体的な場所(例えば主要な3分岐部)に基づいて行われる。一例では、3次元モデル化された血管構造の2次元投影内の少なくとも幾つかの特徴(例えばA、B、C)が、少なくとも1つの2次元X線画像(血管造影図)内の少なくとも幾つかの同様の特徴(例えばA’、B’、C’)と整列される又はそれらの上に投影される。一例では、例えば広い領域(例えば大きいセグメント)が検討される場合には、整列には、3次元モデル化された血管構造の2次元投影の領域が、少なくとも1つの2次元X線画像(血管造影図)の同等の領域上に置かれることが含まれ、画像のぼんやりとした又は非常にぼんやりとしたバージョンが基準として使用される。整列は、粗くても又は非常に粗くてもよいが、例では、これは、視覚的に同等の構成にあるモデルの投影を画像に提示する目的には十分である。
一例では、3次元モデルの精緻化は、3次元モデル化された血管構造の精緻化前の2次元投影が血管構造の2次元X線画像データに相関するよりも、血管構造の2次元X線画像データにより厳密に相関する3次元モデル化された血管構造の2次元投影をもたらす。
つまり、3次元モデルの姿勢が決定され(一例では、精緻化され)、したがって、3次元モデルの2次元投影は、血管造影図(血管構造の2次元X線画像データ)において実際に観察される注入済み冠動脈樹に最大限一致する。
一例では、決定(及び、一例では精緻化)には、患者の心臓のサイズの多様性に対応するために、空間における回転、空間における並進、及び/又は、3次元モデルのサイズを拡大又は縮小するスケーリング係数の適用が含まれる。つまり、3次元モデルの空間的位置及び向きが、2次元におけるその投影が、取得された血管造影図において実際に観察される注入済み冠動脈樹に最も厳密にマッチするまで変更される。
一例によれば、入力ユニットは、処理ユニットに、少なくとも1つの2次元X線画像を取得するために使用したX線取得ユニット40の幾何学的形状に関する情報を提供する。身体部分の3次元モデルの変換には、X線取得ユニットの幾何学的形状に関する当該情報の利用が含まれる。
一例では、幾何学的形状に関する情報は、X線取得ユニットのアンギュレーション及び線源−画像間距離(SID)を含む。一例では、3次元モデルは、最初は、例えばCアーム幾何学的配置に従って、治療中心に配置される。
一例によれば、身体部分の3次元モデルの変換には、スケーリング係数の適用が含まれる。
一例によれば、スケーリング係数は、アフィンスケーリング係数を含む。
一例によれば、身体部分の3次元モデルの変換には、身体部分の3次元モデルの並進が含まれる。
一例では、変換は、例えばx、y又はz軸に沿った並進が長さ要素の伸長又は縮小も包含するような変換を含む。一例では、並進は、x、y又はz軸に沿った並進の何れか1つ、いずれか2つ又は3つすべてを含む。一例では、変換は、並進、回転及びスケーリングに関する9つすべてのパラメータを変換するアフィン変換と、アフィン変換を理解する当業者には認識されるように、一連の並進、回転及びスケーリングとして説明できない他の変換とを含む。
一例によれば、身体部分の3次元モデルの変換には、身体部分の3次元モデルの回転が含まれる。
つまり、一例では、変換は、3次元モデル化された血管構造の2次元投影が、血管構造の2次元X線画像データと相関するように、X線取得ユニットの幾何学的情報を使用して3次元モデルの最初の向きを提供し、その後にスケーリング係数を変更し、その後にモデルを並進させ、その後に回転(又は向き)を精緻化することを含み、これにより、3次元モデルの姿勢が正しく決定される。
一例では、回転は、x、y又はz軸の周りの回転の何れか1つ、いずれか2つ又は3つすべてを含む。
一例では、身体部分の3次元モデルの変換には、血管構造の2次元X線画像データに対する身体部分の3次元モデルの2次元投影の位置合わせが含まれる。
一例では、身体部分の3次元モデルの2次元投影の位置合わせには、血管構造の2次元X線画像データに対する3次元モデル化された血管構造の2次元投影の位置合わせが含まれる。
血管造影図に対するモデルの2次元投影のマッチングに関する情報は、Gert Schoonenberg、Raoul Florent、Pierre Lelong、Onno Wink、Daniel Ruijters、John Carroll、Bart ter Haar Romenyによる論文「Projection-based motion compensation and reconstruction of coronary segments and cardiac implantable devices using rotational X-ray angiography」(Medical Image Analysis、第13巻、第5号、2009年10月、785〜792頁)に記載されている。
一例では、血管構造の2次元X線画像データに対する身体部分の3次元モデルの2次元投影の位置合わせには、3次元モデル化された血管構造の2次元投影が、2次元X線画像(血管造影図)上で観察される冠動脈樹とできるだけマッチするように、3次元モデルの3次元位置を徐々にアフィン変換する(affining)ことが含まれる。
一例では、アフィン変換することには、3次元モデル化された血管構造の現在の2次元投影が、血管造影図内の冠動脈樹にどれぐらい良くマッチするのかを特徴付けるエネルギー関数を規定することが含まれる。一例では、エネルギー関数を規定することには、血管造影図をフィルタリングすることによって血管エネルギーマップを計算し、3次元モデル化された血管構造の2次元投影に対して重なった血管エネルギーを合計することが含まれる。3次元モデルの姿勢が、3次元モデル化された血管構造の2次元投影が血管造影図内の血管に良く対応するような姿勢であれば、エネルギーは高い。しかし、3次元モデルの姿勢が、正しく方向付けられた3次元モデルをもたらさない場合、上記対応はなく、エネルギーは低い。
一例では、すべての可能な姿勢は、姿勢間にサンプリングステップを有して、生成された3次元モデル血管構造の関連の2次元投影で調べられ、最大エネルギーを与える姿勢が、最適な姿勢を有する3次元モデルに対応する。
一例では、エネルギーは、姿勢パラメータ(並進、回転及び拡大縮小)に関して微分可能であり、エネルギー導関数は、整列を向上させるために、姿勢パラメータが適応されるべき方向を示す。つまり、傾斜降下が、姿勢の(局所的に)最適な選択をすぐにもたらす。このようにすると、所要姿勢は、すべての可能な姿勢が調べられる場合よりもより速く決定される。
一例では、血管エネルギーマップは、ガウシアンフィルタリングを適用することによって適応される。このように、この単純な適応は、適切な姿勢がより簡単に決定可能であるように、エネルギーマップを不鮮明にする。このように、特定の患者の実際の3次元冠動脈樹を正確には表さない3次元モデルを利用することができる。
血管エネルギーマップの計算は、例えばV. Auvray、U. Jandt、R. Florent、D. Schaferによる論文「Improved vessel enhancement for fully automatic coronary modelling」(SPIE Medical imaging、2009年)に説明されている。
一例では、血管構造の2次元X線画像データに対する身体部分の3次元モデルの2次元投影の位置合わせには、純2次元画像処理によって血管造影図内の幾つかの特定点(例えば分岐点)を特定することが含まれる。これらの点は、3次元モデル化された血管構造の2次元投影内の特定点が、血管造影図内の対応する特定点にマッチするように、3次元モデルの姿勢パラメータを設定するためのアンカーとして機能する。つまり、3次元モデルと血管造影図とを整列させるために特定方法がデザインされる。このような分岐点を特定する特定方法の一例が、R. Lacroix、R. Florent、V. Auvrayによる論文「Model-based segmentation of the left main coronary bifurcation from 2D angiograms」(ISBI2012)に説明されている。
一例では、装置は、出力ユニットを含む。出力ユニットは、少なくとも1つの2次元X線画像を表すデータを出力し、また、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影を表すデータを出力する。
一例によれば、処理ユニットは、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の少なくとも1つの2次元投影にユーザが注釈を付けることを可能にする。また、処理ユニットは、身体部分の3次元モデルの3次元モデル化された血管構造に注釈を適用する。
一例では、注釈付けユニット50又は注釈付けモジュール50が、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の少なくとも1つの2次元投影にユーザが注釈を付けることを可能にし、処理ユニット又は注釈付けユニット若しくは注釈付けモジュールは、身体部分の3次元モデルの3次元モデル化された血管構造に注釈を適用する。
一例によれば、処理ユニットは、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の少なくとも1つの2次元投影、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造、及び/又は、身体部分の変換された3次元モデルを報告するための報告フォーマットをユーザが選択することを可能にする。
一例では、報告ユニット60又は報告モジュール60が、少なくとも1つの2次元X線画像、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造、及び/又は、身体部分の変換された3次元モデルを報告するための報告フォーマットをユーザが選択することを可能にする。
一例では、処理ユニットは、3次元モデルが、見られている血管造影図のアンギュレーションと同じアンギュレーションで提示されるように、見られている血管造影図を用いて3次元モデルを自動的に回転させる。
一例によれば、少なくとも1つの2次元X線画像は、複数の画像を含む。処理ユニットは、当該複数の画像から、見易く且つはっきりと見える2次元X線画像を選択する。
一例では、見易く且つはっきりと見える2次元X線画像の取得中に、造影剤が存在する。例えば造影剤は、見易く且つはっきりと見えるように血管構造の画像データを提供するために、血管構造の少なくとも一部に注入されている。一例では、処理ユニットは、うまく注入されている画像を選択する。つまり、見易く且つはっきりと見える(例えばうまく注入されている)画像において、造影剤が注入された動脈、例えば冠動脈が細部まで見える。血管構造の少なくとも一部についての「見易く且つはっきりと見える」との表現は、手動で又は自動的に血管構造の位置が突き止められる、特定される、及び/又は、描出可能であるように、血管構造の少なくとも一部が提示されることに関連する。画像は、画像取得時、例えばX線血管造影中に、血管構造内に造影剤が注入されることにより、見易く且つはっきりと見える。
一例では、臨床医又はユーザは、報告書において所見を提示するフォーマットを選択することができる。臨床医又はユーザは、複数組の血管造影図及び2次元投影モデルの注釈付き図のうちの幾つかを用いてもよいし、及び/又は、コンパクトな概略表現(展開2次元図、デジタル報告書における編集可能な3次元図)を生成してもよい。
一例では、少なくとも1つの2次元X線画像は、複数の画像を含む。処理ユニットは、当該複数の画像から、第1の2次元X線画像及び第2の2次元X線画像を選択する。処理ユニットは、第1の2次元X線画像について位置合わせされた画像である画像として、第2の2次元X線画像を選択する。
「位置合わせされた画像」との表現は、第2の2次元X線画像が第1の2次元X線画像について位置合わせされるような、第2の2次元X線画像の選択に関する。例えば第1及び第2の2次元X線画像は、心周期、患者の呼吸、患者の動き、画像拡大又はこれらの任意の組み合わせについて位置合わせされる。つまり、(例えば心臓である)身体部分は、2つの画像間で同様の状態にあることが予想される。これは、第1の2次元X線画像内にもたらされる心臓と、第2の2次元X線画像内にもたらされる心臓との間で空間的に対応する血管樹をもたらす。つまり、心臓を通る様々なアンギュレーションに関連する複数の2次元X線画像は、3次元モデルを血管構造の2次元X線画像と突き合わせる際に、少なくとも1つのパラメータが更新されることを可能とするように最適に使用可能である。3次元モデルは一般モデルでもよいので、3次元モデルと実際の患者の冠動脈樹との間には不正確さがあることが予想されるので、上記位置合わせは任意選択である。画像拡大は、観察された構造の解剖学的状態には関連せず、一例では、考慮される撮像設定に関連する。これは、心周期内の固定時間に関連するX線画像が選択可能であることにより、心臓の3次元モデルは、心周期の変化に関して動的である必要がないため、単純化を提供する。
図2は、血管構造の合成表現を提供する医用システム100の一例を示す。システムは、X線画像取得ユニット40と、上記図1による血管構造の合成表現を提供する装置10と、出力ユニット110とを含む。X線画像取得ユニット40は、通信ケーブル120を介して、少なくとも1つの2次元X線画像を装置10に提供する。装置10は、適切な通信ケーブルを介して出力ユニット110と通信し、出力ユニット110は、少なくとも1つの2次元X線画像を表すデータを出力し、身体部分の3次元モデルを表すデータを出力する。
一例では、出力ユニットは、身体部分の2次元投影を表すデータを出力する。
一例では、出力ユニットは、3次元モデル化された血管構造の2次元投影を表すデータを出力する。
一例では、出力ユニットは、少なくとも1つの2次元X線画像を出力し、また、3次元モデル化された血管構造の2次元投影の画像を出力する。
一例では、X線画像出力ユニットは、X線撮像デバイスを含む。
一例では、X線画像取得ユニットは、蛍光透視撮像デバイスを含む。例えば蛍光透視低線量X線デバイスである。
一例では、X線画像取得ユニットは、血管造影撮像デバイスを含む。
一例では、出力データは、臨床医が、血管治療又は介入が成功したかどうかを判断できるように使用可能である。
一例では、システムは、心臓狭窄を治療するためにカテーテル処置室内での経皮的冠動脈形成術(PTCA)に使用される。
図3は、血管構造の合成表現を提供する方法200の一例をその基本ステップについて示す。当該方法は次のステップを含む。
第1の提供ステップ210(ステップa)とも呼ぶ)において、患者の身体の一部の血管構造の2次元X線画像データを含む少なくとも1つの2次元X線画像が提供される。
第2の提供ステップ220(ステップb)とも呼ぶ)において、身体部分の3次元モデルが提供される。3次元モデルは、3次元モデル化された血管構造を含む。
決定ステップ230(ステップc)とも呼ぶ)において、身体部分の3次元モデルの2次元投影が決定される。身体部分の3次元モデルの2次元投影は、3次元モデル化された血管構造の2次元投影を含む。
変換ステップ240に(ステップd)とも呼ぶ)おいて、身体部分の3次元モデルが変換される。身体部分の3次元モデルの変換には、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影が、患者の身体部分の血管構造の2次元X線画像データを表すような身体部分の3次元モデルの姿勢が含まれる。
生成ステップ250(ステップe)とも呼ぶ)において、3次元モデルから決定される情報に基づいて、診査報告書が生成される。
なお、ステップ230及び240は一緒に行われてもよく、実際に、ステップ230が、ステップ240の下位部分を形成してもよい。
一例では、姿勢を決定するステップは、姿勢の精緻化を含む。
一例では、方法は、少なくとも1つの2次元X線画像を取得するために使用したX線取得ユニットの幾何学的形状に関する情報を提供するステップを含み、また、身体部分の3次元モデルを変換するステップは、X線取得ユニットの幾何学的形状に関する情報を利用するステップを含む。
一例では、身体部分の3次元モデルを変換するステップは、身体部分の3次元モデルの回転を含む。一例では、回転は、x、y又はz軸の周りの回転の何れか1つ、いずれか2つ又は3つすべてを含む。
一例では、身体部分の3次元モデルを変換するステップは、身体部分の3次元モデルの並進を含む。一例では、並進は、x、y又はz軸に沿った並進の何れか1つ、いずれか2つ又は3つすべてを含む。
一例では、身体部分の3次元モデルを変換するステップは、血管構造の2次元X線画像データに対する身体部分の3次元モデルの2次元投影の位置合わせを含む。
一例では、方法は、少なくとも1つの2次元X線画像、及び/又は、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影に、ユーザが注釈を付けることを可能にするステップを含み、処理ユニットは、身体部分の3次元モデルの3次元モデル化された血管構造に注釈を適用する。
一例では、方法は、少なくとも1つの2次元X線画像、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造の2次元投影、身体部分の変換された3次元モデルに関連付けられる3次元モデル化された血管構造、及び/又は、身体部分の変換された3次元モデルを報告するための報告フォーマットを、ユーザが選択することを可能にするステップを含む。
一例では、少なくとも1つの2次元X線画像は、複数の画像を含み、方法は、当該複数の画像から、うまく注入されている2次元X線画像を選択するステップを含む。
一例では、少なくとも1つの2次元X線画像は、複数の画像を含み、方法は、当該複数の画像から、第1の2次元X線画像及び第2の2次元X線画像を選択するステップを含み、第2の2次元X線画像は、第1の2次元X線画像について位置合わせされた画像である画像として選択される。
図4乃至図8と併せて、血管構造の合成表現を提供する装置及び方法の例について、以下により詳細に説明する。
図4を参照することにより、対処される問題について再検討する。図4は、展開された冠動脈図(flattened coronary diagram)の一例を示す。可能なすべての冠動脈樹を表現できるように、冠動脈図は、非常に模式的である必要がある。例えば左右の冠動脈樹は展開され、並んで示される。二次的分枝(縁枝、中隔枝、対角枝、…)の経路は、重複部分を無効にすることによって図を読み取り可能な状態に保つ必要によって主に決定される。この表現は、基本的に、模式的であるので、実際の構造や、血管造影画像上で観察される動脈の経路からかけ離れている。結果として、このような一般的な動脈モデルを観察された血管造影画像に関連付けることは簡単ではない。図への記入は、臨床医が検査シーケンスで観察した造影剤が注入された血管を頭の中で解剖学的(意味)モデルに投影しつつ、一般的な図に戻らなければならないという臨床医の努力を必要とする。更に、第2の臨床医が、報告書を読んで理解する必要がある場合に、特に狭窄の正確な位置を詳細に理解する必要がある場合に、リバース作業を行う際に、不明確さが生じる。
図4を参照して説明される問題は、各血管造影シーケンスを、同様の視点からの冠動脈樹を示す図と関連付けることによって対処される。1つの人工的に展開された2次元図全体を表示するのではなく、取得した血管造影図と同様の一連の2次元図に再投影される血管構造の3次元図全体が利用される。これの結果の一例が、図5及び図6に示される。図5及び図6は、冠動脈血管造影の例示的な画像を、血管造影の視点と同様の視点からの3次元モデル化された血管構造の2次元投影と共に示す。
より詳細には、冠動脈の3次元幾何モデルが利用される。3次元幾何モデルは、図4の2次元展開モデルと同じ解剖学的セグメントにある動脈樹を分解する。図7に、この例では心臓である身体部分の3次元モデルの一例が示される。身体部分の3次元モデルに関する詳細な情報はJ. T. Dodge Jr、B. G. Brown、E. L. Bolson及びH. T. Dodgeによる報告書「Intrathoracic spatial location of specified coronary segments on the normal human heart. Applications in quantitative arteriography, assessment of regional risk and contraction, and anatomic display」(Circulation、第78巻、第5号、1167頁、1988年)に記載されている。
次に、各血管造影シーケンスについて、1つのうまく注入されている画像(造影剤が注入された冠動脈が細部まで見える)が当該シーケンスから自動的に選択される。
最初は、例えばCアーム幾何学的配置(そのアンギュレーション及びその線源−画像間距離(SID)によって規定される)に従って治療中心に配置される3次元幾何モデルが、2次元表現を生成するように投影される。
3次元幾何モデルの姿勢は、それが、実際に観察される造影剤注入済み冠動脈樹とできるだけ一致するように精緻化される。一例では、空間におけるモデルの位置の向上された推定値(3つの並進パラメータ)が計算され、その拡大縮小(1又は場合により3つのパラメータ)及び僅かな回転(3つのパラメータ)について補正される。
このような3次元−2次元剛***置合わせ一例は、Gert Schoonenberg、Raoul Florent、Pierre Lelong、Onno Wink、Daniel Ruijters、John Carroll、Bart ter Haar Romenyによる論文「Projection-based motion compensation and reconstruction of coronary segments and cardiac implantable devices using rotational X-ray angiography」(Medical Image Analysis、第13巻、第5号、2009年10月、785〜792頁)に記載されている。
最初の姿勢から開始して(ステップ2)、方法は、3次元モデル位置を、その2次元再投影が、2次元画像(血管造影図)上で観察される冠動脈樹とできるだけマッチするように徐々にアフィン変換する。これは、現在の再投影されたモデルが、観察される冠動脈とどれくらい良くマッチするかを詳述するエネルギー関数を規定することによって行われる。例えば観察された画像をフィルタリングすることによって、血管エネルギーマップが計算され、再投影された3次元モデルに対して重なった血管エネルギーを合計する。その姿勢が血管に良く対応するならば、エネルギーは高く、その姿勢が血管から外れているならば、エネルギーは低い。血管エネルギーマップの計算の一例は、V. Auvray、U. Jandt、R. Florent、D. Schaferによる論文「Improved vessel enhancement for fully automatic coronary modelling」(SPIE Medical imaging、2009年)に説明されている。
確実に最良の姿勢を得るためには、すべての許容変換(又は少なくともそのサンプリングされたバージョン)が計算され(並進、回転及び拡大縮小)、最大エネルギーを与える変換が選択される。或いは、エネルギーは、姿勢パラメータに関して微分可能であるように計算され、したがって、エネルギー導関数は、整列を向上させるために、姿勢パラメータが適応されるべき方向を示す。このようにすると、傾斜降下が、姿勢の(局所的に)最適な選択をすぐにもたらす。
適応は、(対応する患者の真の3次元冠動脈樹に関する)モデルにおける任意の不正確さを、本発明のマッチング基準での不正確さに変換するために、(ガウシアンフィルタリングによって)エネルギーマップを不鮮明にすることであり、これにより、最良の姿勢の決定が容易にされる。
或いは、3次元モデルと血管造影図とを整列させ、純2次元画像処理によって血管造影図内の幾つかの特定分岐点を明確に特定することを伴う特定の方法がデザインされる。これらの幾つかの点は、3次元モデルを設定するためのアンカーとして機能する(したがって、再投影された分岐点が、血管造影図から抽出された分岐点とマッチする)。このような整列方法の一例は、R. Lacroix、R. Florent、V. Auvrayによる論文「Model-based segmentation of the left main coronary bifurcation from 2D angiograms」(ISBI2012)に説明されている。
取得した血管造影図を再投影されたモデルと整列させた後、モデルは以下の2つのモジュールにおいて利用される。
1つは、臨床医が、自身の所見を分かり易く且つ正確に記入することを可能にする注釈付けモジュールである。
臨床医は、冠動脈樹に注釈を付けるために、どの血管造影画像/2次元図の対を使用したいかを選択することができる。(例えば狭窄の位置を確認するために)図の1つを編集すると、(図面はすべて、同じ物体、つまり、一般3次元モデルの特定の図を表すので)図面のすべてが更新される。
ユーザは、冠動脈樹に関するユーザの所見を報告するために、最も関連のある図を選択することができる。
基本的に、ユーザは、狭窄の位置を正確に確認するために、当該狭窄が最もはっきりと見える(短縮がほとんどなく、重なりクラッタもほとんどない)図を選択することができる。
もう1つは、臨床医が報告書内で当該情報を提示したいフォーマットを選択することを可能にする報告モジュールである。
一部の血管造影画像/再投影された2次元図の対は、報告書にエクスポートされることが可能である。これにより、報告書を読む臨床医が、検査の結果の本質を直観的且つ正確に理解することができる。つまり、これは、当該報告書を読む第2の臨床医が、当該検査の結果をより速く且つより正確に理解するのを助けるという追加のメリットがある。
ユーザは更に、ユーザの所見をより簡潔であるがよりコンパクトにまとめた他の画像を生成することもできる。
ユーザは、3次元モデル化された血管構造の2次元投影を用いることができ、これは、1つの一意の図ですべての情報を提示されるという利点を有する。
又は、ユーザは、デジタル報告書においてユーザが回転させる注釈付き3次元樹を用いることができる。
一例では、デジタル報告書における3次元モデル化された血管構造は、モデルと一緒に参照された血管造影図のアンギュレーションまで自動的に回転し、3次元モデルと共にデジタル報告書において様々な血管造影図が見られるにつれて変化する。このようにすると、報告書を参考にする臨床医が、3次元モデル化された血管構造を自由に回転させることができ、例えばフォローアップ検査の場合に、臨床医が、これらの動脈の3次元幾何学的形状を理解するのに役立つ。
全体的に、本発明は、図への記入をより分かり易くし、また、あまり面倒でないようにし、後に報告書を読む他の臨床医への情報伝達をよりスムーズにする。
図8は、詳細なワークフローとして、血管構造の合成表現を提供する上記方法を示す。
別の例示的な実施形態では、上記実施形態のうちの1つによる方法のステップを適切なシステム上で実行するように構成されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び/又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、上記実施形態のうちの1つによる方法を実行する能力を備えている。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
本発明の更なる例示的な実施形態によれば、CD−ROMといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び/又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワーク上に提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つによる方法を行うように構成される。
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の説明から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (14)

  1. 血管構造の合成表現を提供する装置であって、
    入力ユニットと、
    処理ユニットと、
    を含み、
    前記入力ユニットは、患者の身体部分の血管構造の2次元X線画像データを含む少なくとも1つの2次元X線画像を提供し、
    前記入力ユニットは、前記身体部分の3次元モデルを提供し、
    前記3次元モデルは、3次元モデル化された血管構造を含み、前記3次元モデルは、前記身体部分の一般モデルであり、
    前記処理ユニットは、前記身体部分の前記3次元モデルの2次元投影を決定し、前記身体部分の前記3次元モデルの前記2次元投影は、前記3次元モデル化された血管構造の2次元投影を含み、
    前記処理ユニットは、前記身体部分の前記3次元モデルを変換し、前記身体部分の前記3次元モデルの前記変換は、前記身体部分の変換された前記3次元モデルに関連付けられる前記3次元モデル化された血管構造の2次元投影が、前記患者の前記身体部分の前記血管構造の前記2次元X線画像データを表すような前記身体部分の前記3次元モデルの姿勢の決定を含み、
    前記処理ユニットは、前記3次元モデルから決定される情報に基づいて、診査報告書を生成する、装置。
  2. 前記入力ユニットは、前記少なくとも1つの2次元X線画像を取得するために使用されたX線取得ユニットの幾何学的形状に関する情報を提供し、前記身体部分の前記3次元モデルの前記変換は、前記X線取得ユニットの前記幾何学的形状に関する前記情報の利用を含む、請求項1に記載の装置。
  3. 前記身体部分の前記3次元モデルの前記変換は、スケーリング係数の適用を含む、請求項1又は2に記載の装置。
  4. 前記スケーリング係数は、アフィンスケーリング係数を含む、請求項3に記載の装置。
  5. 前記身体部分の前記3次元モデルの前記変換は、前記身体部分の前記3次元モデルの並進を含む、請求項1乃至4の何れか一項に記載の装置。
  6. 前記身体部分の前記3次元モデルの前記変換は、前記身体部分の前記3次元モデルの回転を含む、請求項1乃至5の何れか一項に記載の装置。
  7. 前記身体部分の前記3次元モデルの前記変換は、前記血管構造の前記2次元X線画像データに対する前記身体部分の前記3次元モデルの前記2次元投影の位置合わせを含む、請求項1乃至6の何れか一項に記載の装置。
  8. 前記処理ユニットは、前記身体部分の変換された前記3次元モデルに関連付けられる前記3次元モデル化された血管構造の前記少なくとも1つの2次元投影にユーザが注釈を付けることを可能にし、前記処理ユニットは、前記身体部分の前記3次元モデルの前記3次元モデル化された血管構造に、前記注釈を適用する、請求項1乃至7の何れか一項に記載の装置。
  9. 前記処理ユニットは、前記身体部分の変換された前記3次元モデルに関連付けられる前記3次元モデル化された血管構造の前記少なくとも1つの2次元投影、前記身体の位置の変換された前記3次元モデルに関連付けられる前記3次元モデル化された血管構造、及び/又は、前記身体部分の変換された前記3次元モデルを報告するための報告フォーマットをユーザが選択することを可能にする、請求項1乃至8の何れか一項に記載の装置。
  10. 前記少なくとも1つの2次元X線画像は、複数の画像を含み、前記処理ユニットは、前記複数の画像から、見易く且つはっきりと見える2次元X線画像を選択する、請求項1乃至9の何れか一項に記載の装置。
  11. 血管構造の合成表現を提供する医用システムであって、
    X線画像取得ユニットと、
    前記血管構造の合成表現を提供する請求項1乃至10の何れか一項に記載の装置と、
    出力ユニットと、
    を含み、
    前記X線画像取得ユニットは、少なくとも1つの2次元X線画像を提供し、
    前記出力ユニットは、前記少なくとも1つの2次元X線画像を表すデータを出力し、前記身体部分の前記3次元モデルを表すデータを出力する、医用システム。
  12. 血管構造の合成表現を提供する方法であって、
    a)患者の身体部分の血管構造の2次元X線画像データを含む少なくとも1つの2次元X線画像を提供するステップと、
    b)前記身体部分の3次元モデルを提供するステップであって、前記3次元モデルは、3次元モデル化された血管構造を含み、前記3次元モデルは、前記身体部分の一般モデルである、前記ステップと、
    c)前記身体部分の前記3次元モデルの2次元投影を決定するステップであって、前記身体部分の前記3次元モデルの前記2次元投影は、前記3次元モデル化された血管構造の2次元投影を含む、前記ステップと、
    d)前記身体部分の前記3次元モデルを変換するステップであって、前記身体部分の前記3次元モデルの前記変換は、前記身体部分の変換された前記3次元モデルに関連付けられる前記3次元モデル化された血管構造の2次元投影が、前記患者の前記身体部分の前記血管構造の前記2次元X線画像データを表すような前記身体部分の前記3次元モデルの姿勢の決定を含む、前記ステップと、
    e)前記3次元モデルから決定される情報に基づいて、診査報告書を生成するステップと、
    を含む、方法。
  13. 請求項1乃至10の何れか一項に記載の装置又は請求項11に記載の医用システムを制御し、プロセッサによって実行されると、請求項12に記載の方法を実行する、コンピュータプログラム。
  14. 請求項13に記載のコンピュータプログラムが格納された、コンピュータ可読媒体。
JP2018534145A 2015-12-30 2016-12-29 血管構造の合成表現 Active JP6509446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307182.4 2015-12-30
EP15307182 2015-12-30
PCT/EP2016/082870 WO2017114916A1 (en) 2015-12-30 2016-12-29 Synthetic representation of a vascular structure

Publications (2)

Publication Number Publication Date
JP2019500156A JP2019500156A (ja) 2019-01-10
JP6509446B2 true JP6509446B2 (ja) 2019-05-08

Family

ID=55221250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534145A Active JP6509446B2 (ja) 2015-12-30 2016-12-29 血管構造の合成表現

Country Status (5)

Country Link
US (1) US10825257B2 (ja)
JP (1) JP6509446B2 (ja)
CN (1) CN108475443B (ja)
DE (1) DE112016006137T5 (ja)
WO (1) WO2017114916A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3457930B1 (en) 2016-05-16 2023-11-15 Cathworks Ltd. System for vascular assessment
IL263066B2 (en) 2016-05-16 2023-09-01 Cathworks Ltd Selecting blood vessels from images
WO2018165478A1 (en) * 2017-03-09 2018-09-13 Cathworks Ltd. Shell-constrained localization of vasculature
US11010896B2 (en) * 2018-12-17 2021-05-18 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
JP2020156825A (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 位置情報表示装置、方法およびプログラム、並びに放射線画像撮影装置
WO2021087425A1 (en) * 2019-10-31 2021-05-06 Bodygram, Inc. Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047080A (en) * 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
WO2001059707A1 (en) * 2000-02-11 2001-08-16 The Government Of The United States Of America, As Represented By The Secretary, Dept. Of Health And Human Services Vessel delineation in magnetic resonance angiographic images
DE10162272A1 (de) * 2001-12-19 2003-07-10 Philips Intellectual Property Verfahren zur Unterstützung der Orientierung im Gefäßsystem
US7180976B2 (en) * 2002-06-04 2007-02-20 Koninklijke Philips Electronics N.V. Rotational angiography based hybrid 3-D reconstruction of coronary arterial structure
WO2005004724A1 (en) * 2003-07-10 2005-01-20 Koninklijke Philips Electronics N.V. Apparatus and method for navigating an instrument through an anatomical structure
US7197170B2 (en) * 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
US20060098010A1 (en) * 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
US7639847B2 (en) 2004-09-08 2009-12-29 Ge Medical Systems Information Technologies, Inc. Coronary artery tree imaging system and method
US7702137B2 (en) * 2004-11-10 2010-04-20 M2S, Inc. Anatomical visualization and measurement system
US7787683B2 (en) 2004-12-20 2010-08-31 Siemens Medical Solutions Usa, Inc. Tree structure based 2D to 3D registration
DE102005036564A1 (de) * 2005-08-03 2007-02-22 Siemens Ag Betriebsverfahren für eine bildgebende medizintechnische Anlage und hiermit korrespondierende Gegenstände
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US8271068B2 (en) * 2007-10-02 2012-09-18 Siemens Aktiengesellschaft Method for dynamic road mapping
JP5906015B2 (ja) * 2007-12-18 2016-04-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特徴に基づいた2次元/3次元画像のレジストレーション
US10045755B2 (en) * 2008-03-17 2018-08-14 Koninklijke Philips N.V. Perfusion imaging system with a patient specific perfusion model
US8369585B2 (en) * 2008-10-17 2013-02-05 Siemens Aktiengesellschaft Automatic classification of information in images
BR112012002884A2 (pt) * 2009-08-12 2017-12-19 Koninl Philips Electronics Nv sistema de formação de imagens médicas para gerar dados de um objeto de características de uma região de interesse de um objeto, método para a geração de dados de um objeto de características de uma região de interesse de um objeto, elemento de programa de computador para controlar um aparelho e meio que pode ser lido por computador
US9888973B2 (en) * 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
JP6002667B2 (ja) * 2010-07-19 2016-10-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3d起源の心臓ロードマップ生成
EP2638525B1 (en) * 2010-11-12 2017-03-01 Koninklijke Philips N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
CN103379861B (zh) * 2011-02-07 2016-08-10 皇家飞利浦有限公司 用于在血管介入程序中提供支持介入设备的准确定位的图像表示的医学成像设备
DE102011005847B4 (de) * 2011-03-21 2017-04-27 Siemens Healthcare Gmbh Röntgeneinrichtung
US8867822B2 (en) 2011-10-14 2014-10-21 Fujifilm Corporation Model-based coronary artery calcium scoring
CN107031037B (zh) 2012-01-24 2020-12-01 史密夫和内修有限公司 多孔结构及其制造方法
JP2013233413A (ja) * 2012-04-09 2013-11-21 Toshiba Corp X線診断装置
WO2014053973A2 (en) * 2012-10-05 2014-04-10 Koninklijke Philips N.V. Medical imaging system and method for providing an enhanced x-ray image
US9814433B2 (en) * 2012-10-24 2017-11-14 Cathworks Ltd. Creating a vascular tree model
EP2779090B1 (en) * 2013-03-11 2018-09-19 Siemens Healthcare GmbH Assignment of localisation data
US9471989B2 (en) * 2013-06-03 2016-10-18 University Of Florida Research Foundation, Inc. Vascular anatomy modeling derived from 3-dimensional medical image processing
US20150254043A1 (en) 2014-03-04 2015-09-10 Sung Jae Hwang Display property determination

Also Published As

Publication number Publication date
JP2019500156A (ja) 2019-01-10
CN108475443B (zh) 2023-07-28
WO2017114916A1 (en) 2017-07-06
US20190005737A1 (en) 2019-01-03
CN108475443A (zh) 2018-08-31
DE112016006137T5 (de) 2018-09-06
US10825257B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
JP6509446B2 (ja) 血管構造の合成表現
US11200750B2 (en) Three dimensional model of a body part
US9754390B2 (en) Reconstruction of time-varying data
JP5647251B2 (ja) 血管インターベンション手術のための正確な位置決め
JP5030588B2 (ja) 2つの画像を組み合わせるための装置及び方法
JP4374234B2 (ja) 医療的侵襲処置計画の方法及び装置
RU2627147C2 (ru) Отображение в реальном времени видов сосудистой сети для оптимального перемещения устройства
US9508157B2 (en) Reconstruction of aneurysm wall motion
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
JP6122864B2 (ja) ライブ画像と解剖学的構造表示とのペアリング
US10083511B2 (en) Angiographic roadmapping mask
CN106163401B (zh) 用于冠状血管的医学成像的设备和方法
WO2012080943A1 (en) System and method for generating and displaying a 2d projection from a 3d or 4d dataset
CN108430376B (zh) 提供投影数据集
EP1692661A1 (en) Three-dimensional reconstruction of an object from projection photographs
CN107170021B (zh) 时变数据的细化重构
Yu et al. Personalized x-ray reconstruction of the proximal femur via a new control point-based 2d-3d registration and residual complexity minimization
Kühnel et al. Enhanced cardiovascular image analysis by combined representation of results from dynamic MRI and anatomic CTA
Wink et al. Three-Dimensional Multimodality Fusion in Minimally Invasive Congenital Heart Interventions
Zablah et al. How to obtain diagnostic and procedural quality three-dimensional-rotational angiograms in congenital heart disease: Tips and tricks from a single center experience
Kliger et al. Fusion Imaging for TAVR
Aksoy Template-based 3D-2D rigid registration of vascular structures in frequency domain from a single view

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180628

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180628

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190402

R150 Certificate of patent or registration of utility model

Ref document number: 6509446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250