JP2021521949A - インターベンショナルx線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け - Google Patents

インターベンショナルx線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け Download PDF

Info

Publication number
JP2021521949A
JP2021521949A JP2020558573A JP2020558573A JP2021521949A JP 2021521949 A JP2021521949 A JP 2021521949A JP 2020558573 A JP2020558573 A JP 2020558573A JP 2020558573 A JP2020558573 A JP 2020558573A JP 2021521949 A JP2021521949 A JP 2021521949A
Authority
JP
Japan
Prior art keywords
vascular
diagnostic image
label
tree
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020558573A
Other languages
English (en)
Other versions
JPWO2019211131A5 (ja
Inventor
ペルト ロイ フランシスクス ペトルス ファン
ペルト ロイ フランシスクス ペトルス ファン
ベスコス ハヴィエル オリヴァン
ベスコス ハヴィエル オリヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021521949A publication Critical patent/JP2021521949A/ja
Publication of JPWO2019211131A5 publication Critical patent/JPWO2019211131A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

血管系を分類するための方法は、血管樹の複数の血管に対する幾何学的形状を表し、各血管に対するそれぞれの血管ラベルを含む診断画像データを使用して、血管系の初期モデルを用いてトレーニング装置をトレーニングするステップと、患者の血管樹の少なくとも1つの診断画像を提供するステップと、前記初期モデルによって表される血管樹と前記患者の血管樹との間のばらつきを識別するステップとを有する。このばらつきは、前記トレーニングされたモデルを改善するためにチェックされ、ラベル付けされる。このプロセスは、前記血管系の正確な患者固有モデルに到達するまで、反復的に繰り返されてもよい。

Description

本発明は、血管系を分類する方法、対応するシステム、及びそれぞれのコンピュータプログラムに関する。特に、本発明は、トレーニングデータセットのサイズを比較的小さく保ちながら、最小限のユーザインタラクションで血管系を分類するようにトレーニング装置をトレーニングする改良された方法に関する。
経皮的冠動脈インターベンション(PCI)は、冠動脈疾患で見られるような冠動脈の狭窄などの狭窄を治療するための低侵襲処置である。これは、典型的には(X線)画像誘導治療として行われる。
PCIのための画像ガイダンスは、通常、それぞれの診断画像を使用する視覚化を含む。PCI治療の前に、これらの診断画像は、潜在的な狭窄を識別することを可能にする。治療後、視覚化に基づいて治療の結果を評価することが可能である。
診断画像から得られる治療前後の患者特異的(冠動脈)解剖学的構造は、通常、更なる患者固有情報の中で、電子医療記録(EMR)に記憶される。このように記憶された情報は、次いで、症例報告、EMRにおける参照、及び/又は学際的なコミュニケーションのために使用される。更に、その情報が、例えば特定の疾患に対する傾向及び治療に関する統計的評価のために分析するために、疾患固有情報を収集する、いわゆるレジストリに提供される。
この情報のためのスムーズでリーンな記憶及び交換プロセスを確立するために、異なるエンティティに提供される情報が明確であり、解釈が容易であることが保証されなければならない。これは、典型的には「医学の組織化された学名命名法(Systematized Nomenclature of Medicine)」(SNOMED)CTなどの、既知の医学用語及びコーディング規格に従って、情報の所定のフォーマット/構造化を必要とする。
PCIでは、インターベンションに関連する患者固有の治療前及び治療後の情報の文書化が、収集された画像に注釈を付けることによって、カスタマイズされた概略的表現を作成することによって、又はテキスト文書を提供することによって、患者固有の冠状血管系に基づく。これらのオプションのうち、カスタマイズされた概略的表現の使用は、一般に、インターベンションのコースを伝えるための好ましい方法と見なされる。しかしながら、各患者に対して個別にこのようなカスタマイズされた概略図を生成することは、非常に時間のかかるプロセスであり、医師による大量の手作業(入力、複製など)を必要とする。
医師によって行われる手作業を減らすために、患者の血管系内の血管を自動的に検出し、ラベル付けすることを可能にする手順を見つける努力がなされてきた。これらのアプローチは、医師の最小の関与を持つ直接的な構造化された報告を容易にする。これらのアプローチの基礎となる原理は、典型的には、例えば形態学的画像処理オペレータを用いる、中心線の抽出を含む。このようにして抽出された中心線は、(冠状)血管系内の異なる血管の長さ、コース等を含む幾何学的形状を表すと見なされる。これらは、血管系の標準モデルに対してマッチングされ、前記マッチングに基づいて、ラベル付けが実行される。
しかしながら、異なる患者における冠血管系には巨大な形態学的ばらつきがある。すなわち、各患者の血管の幾何学的形状は、血管の長さ、コース、又は方向等、したがって血管樹のトポロジ構造が患者ごとに異なり得るという点で異なる。したがって、「典型的な」血管トポロジを表す血管系のための標準モデルの使用は、臨床診療に特に十分ではない限られた精度しか有していない。
したがって、本発明の目的は、患者の血管系を分類するための改善された方法及び対応するシステムを提供することである。本発明の更なる目的は、患者の血管系を分類するための改善された方法を提供することであり、この方法は、一方では血管系における血管の検出及びその後のラベル付けの精度を改善することを可能にするが、他方では医師に対する不必要な手作業を回避する。より詳細には、本発明の目的が、小さなトレーニングデータセットを用いて自動検出及びラベル付けを実行するためにトレーニング装置をトレーニングするための方法を提供することである。
したがって、血管系を分類するための方法が提供され、前記方法は、a)第1の血管樹を表す診断画像データを使用して、前記血管系の初期モデルを用いてトレーニング装置をトレーニングするステップであって、前記診断画像データが、前記第1の血管樹の少なくとも1つの血管に対する対応する血管ラベルを有する、ステップと、b)第2の血管樹を表す少なくとも1つの診断画像を入力するステップと、c)前記第1の血管樹と前記第2の血管樹との間の少なくとも1つの偏差を識別するステップと、d)前記識別に応答して、前記少なくとも1つの偏差の標示をユーザに出力し、前記少なくとも1つの偏差について少なくとも1つのラベルを提供するステップと、e)前記少なくとも1つの偏差及び前記少なくとも1つのラベルに基づいて、前記血管系を分類するために前記初期モデルを調整するステップとを有する。
この方法によれば、小さな(初期)トレーニングデータセットのみを使用して患者の血管系内の個々の血管を自動的に検出し、ラベル付けするようにトレーニング装置をトレーニングすることが可能である。前記トレーニング装置は、特に、ディープラーニングアルゴリズムを実施して、前記トレーニングデータセットから、前記血管系の特定の血管と対応するラベルとの間の関連付けを導出してもよい。
この文脈では、診断画像データという用語が、特に、患者の血管系、特に患者の冠状血管系を表す1つ又は複数の画像を指してもよい。前記診断画像は、血管系を撮像するのに適した任意の医用撮像モダリティを使用して取得されうる。いくつかの特定の実施形態では、前記初期トレーニングデータセットに対して使用される前記診断画像は、特に、X線撮像モダリティを使用して取得されてもよい。他の実施形態では、前記診断画像は、磁気共鳴撮像、超音波撮像などの異なる撮像モダリティを使用して取得されてもよい。いくつかの実施形態では、前記診断画像データ内の複数の診断画像が、特に、前記患者の血管系の時系列を有してもよく、すなわち、特定の時間にわたって捕捉された前記患者の血管系の動画に対応してもよい。
患者の血管系の初期モデルという用語は、特に、複数の患者について取得された診断画像データのセットを使用して前記トレーニング装置に教示された前記患者の血管系のトレーニングされたモデルを指してもよい。この文脈において、前記診断画像データのセットは、従来技術のアプローチと比較して、診断画像データの比較的小さいセットであるべきである。
すなわち、前記トレーニング装置は、最初に、トレーニングデータセットとして複数の異なる患者について取得された複数の画像又は画像シーケンスを有する診断画像データを用いてトレーニングされてもよい。異なる患者に対する複数の画像又は複数の画像シーケンスを使用することは、様々な解剖学的構造を捕捉することを可能にする。前記画像シーケンスは、特に、時系列であってもよい。血管樹を示す画像の(時間的)シーケンスからの全てのフレームを使用することによって、自由なデータ増強を可能にする大きなトレーニングデータセットが、提供されてもよい。
ここで、前記トレーニングデータセットのサイズは、血管の十分に合理的な最初の分類で前記トレーニング装置のトレーニングを達成するために、必要な限り大きいが可能な限り小さく選択されるべきである。結果として得られる初期モデルは、(まだ)全てを包含しているわけではないが、したがって、異なる患者において見つけられうる血管樹の異なる幾何学的形状(すなわち、前記血管樹の1つ又は複数の血管の幾何学的形状)を十分に表す。
これにより、前記トレーニングは、特に、前記診断画像を含む前記診断画像データセットにおいて示される血管樹を識別することによって実行されてもよい。この目的のために、これらの診断画像において、1つ以上の、特に複数の血管を有する血管樹が、可視でありうる。ここで、血管樹という用語は、患者の血管系又はその一部を形成する1つ又は複数の血管を指しうることを理解されたい。
更に、血管樹の幾何学的形状という用語は、血管樹内で識別された血管の各々の幾何学的特性、すなわち、コース、長さなどを指しうる。代替的に、幾何学的形状という用語は、血管樹における複数の血管のサブセットのコース、長さなどを指してもよい。いくつかの実施形態では、幾何学的形状という用語が、血管樹における単一の血管のみの幾何学的形状を指してもよい。幾何学的形状という用語は、血管幾何学的形状とも称されてもよい。
この目的のために、血管樹における複数の血管の幾何学的形状は、血管トポロジ、すなわち、血管系における個々の血管間の構造的関係を決定することを更に可能にし得る。
血管を識別するために、前記診断画像データは、血管樹内の血管の少なくとも1つ、より具体的にはサブセット又は各々についてのそれぞれの血管ラベルを更に有してもよい。すなわち、前記診断画像データは、前記診断画像によって表される血管に対応する少なくとも1つの、特に複数の血管ラベルを有し、これによって、各血管ラベルは、1つの特定の血管に提供されてもよい。
このような血管ラベルを得るために、血管の幾何学的形状は、特に、例えば米国特許第9129417B2号に記載されているように、各血管の中心線が識別され、局所的に精緻化される中心線抽出アプローチを使用して決定されてもよい。これらの中心線は、血管系における血管の幾何学的形状を決定することを可能にする。このようにして識別された血管樹の幾何学的形状は、次いで、ここに表された血管に対するそれぞれの血管ラベルで(手動で)ラベル付けされてもよい。
前記血管ラベルは、特に、初期モデルによって表される各血管に対して、又はそのサブセットに対して提供されるべきであることを理解されたい。これにより、前記血管ラベルは、特に、少なくとも、標準的な解剖学的モデルの一部を形成すると見なされる血管、すなわち、全ての患者において最も一般的である血管系の血管に対して提供されてもよい。最も一般的な血管を識別することによって、前記モデルに対する最高の診断的洞察を得ることが可能である。冠血管系の場合、これらの最も一般的な血管は、特に、左前下行枝(LAD)及び回旋枝(CX)を有する左冠動脈(LCA)、後下行枝(PDA)を有する右冠動脈等の血管に関与し得る。一度これらの血管にラベル付けされると、前記ラベル付けは、必要に応じて、二次及び三次の枝に対しても続行されてもよい。これは、この初期モデルが前記トレーニング装置のその後の学習の更なるトレーニングステップに対する出発点に対応するので、患者固有の初期モデルのトレーニングの高い精度を保証する。前記血管ラベルは、特に、医師などのユーザによって手動で実行されてもよい。
前記患者について取得された診断画像データを使用する前記患者固有の初期モデルを用いて前記トレーニング装置をトレーニングすると、前記患者について取得された少なくとも1つの(更なる)診断画像が、入力されてもよい。前記少なくとも1つの診断画像は、特に、前記診断画像データの複数の画像に対して使用されるのと同じ撮像モダリティを使用して取得されたものであってもよい。
前記少なくとも1つの診断画像は、第2の血管樹を表してもよく、また、前記第2の血管樹の1つ以上の血管の幾何学的形状を決定することを可能にしてもよい。血管のこの(第2の)幾何学的形状を適切に導出するために、ここで述べられたような中心線抽出アプローチは、前記少なくとも1つの診断画像に対して実行されてもよい。この文脈において、前記少なくとも1つの診断画像は、特に、ここから抽出された前記中心線と共に入力されてもよい。これにより、前記少なくとも1つの診断画像は、特に、入力ユニットに提供されてもよい。前記入力ユニットは、前記トレーニング装置の一部であってもよい。代替的に、前記入力ユニットは、前記トレーニング装置に通信可能に結合されてもよい。
前記少なくとも1つの診断画像内の血管の幾何学的形状を識別すると、すなわち、第2の血管樹を識別すると、第1の血管樹及び第2の血管樹は、互いに比較されてもよい。
すなわち、第1の血管樹の一部である血管が、第2の血管樹においても見つけられうるかどうか、及び第2の血管樹の前記血管が、幾何学的形状、すなわち長さ、コース、位置、方向などに関して、第1の血管樹の対応する血管に対応するかどうかが、識別されうる。これは、前記初期モデルによって表される第1の血管樹と前記少なくとも1つの診断画像から決定される第2の血管樹との間の幾何学的及び/又はトポロジ差異、又は偏差若しくは変動を識別することを可能にする。
これらの偏差は、特に、解剖学的変化に関連してもよく、いくつかの実施形態では、血管が、第2の血管樹に存在し得るが、第1の血管樹には存在し得ない。次いで、この追加の血管は、第1の血管樹と第2の血管樹との間の偏差として識別されてもよい。第2の血管樹に存在するこの追加の血管は、典型的には、いかなる血管ラベルもまだ有していなくてもよい。前記ラベルは、したがって、前記初期モデルを更新するために加えられなければならないかもしれない。
いくつかの実施形態では、第1の血管樹に存在する血管が、第2の血管樹において見つからないかもしれない。したがって、前記初期モデルは、特定の血管が除去されうるように更新されてもよい。
いくつかの実施形態では、前記偏差は、また、第1の血管樹及び第2の血管樹における対応する血管間の幾何学的形状の差異に対応してもよい。すなわち、対応する血管は、長さ、コース、位置、又は方向などの点で異なっていてもよい。したがって、長さ、コース、位置、方向などに関するこのばらつきは、このモデルを更新するために、前記初期モデルに対してトレーニングされてもよい。
これにより、幾何学的形状の差は、特に、差分値を取得し、前記差分値を所定の閾値と比較することによって決定されてもよい。前記差分値が閾値を超えない場合、偏差は識別されない。前記閾値が超過される場合、偏差が存在し、前記偏差の標示が、ユーザに対して出力される。更に、関連する1つ又は複数の血管に対するラベルが提供される。
これにより、閾値処理は、異なるレベルで実行されてもよい。1つのレベルでは、第1の血管樹の第1の血管トポロジ及び第2の血管樹の第2の血管トポロジが、決定されうる。第1の血管トポロジ及び第2の血管トポロジは、第1の血管トポロジと第2の血管トポロジとの間の偏差を識別するために、互いに比較されうる。次いで、これらの偏差は、これらが測定及び/又は撮像誤差によるものであるか、又は第1及び第2の血管樹間の実際の幾何学的及び/又はトポロジ偏差によるものであるかを決定するために、1つ以上の差分値を使用して識別されてもよい。他のレベルでは、前記偏差を決定するために画素データを使用してもよい。すなわち、画素データに対するトレーニングが、実行されてもよい。次いで、1つ又は複数の画素は、これらが特定の血管(例えば、LCA又はLAD)に属するという信頼を受け取りうる。その後、受け取られた信頼は、閾値処理されてもよく、第2及び/又は第1の血管樹と比較して、第1及び/又は第2の血管樹において見つからない血管が存在するかどうかを識別するのを助けてもよい。これは、見つからない及び/又は追加の血管を識別することを可能にする。
この後に、ラベルが、前記少なくとも1つの診断画像における偏差に対して提供されてもよい。すなわち、第2の血管樹には存在するが、第1の血管樹には存在しない血管は、対応するラベルでラベル付けされてもよい。加えて又は代わりに、第1の血管樹とは異なる長さ又はコース等を第2の血管樹において有する血管は、前記少なくとも1つの診断画像におけるトポロジの偏差を識別するように、対応する血管ラベルでラベル付けされてもよい。
この文脈において、ユーザに対して示すことは、それぞれの偏差をどのようにラベル付け及び/又は処理するかについてのユーザに対する提案を有し得ることが理解されるべきである。代わりに、標示が、経験に基づいて手動で前記偏差をラベル付け及び/又は処理することをユーザに要求することであってもよい。この標示は、特に、視覚的標示であってもよいが、触覚的又は聴覚的であってもよい。
したがって、前記少なくとも1つの診断画像は、第2の血管樹における1つ又は複数の血管のそれぞれのラベルを提供されてもよい。この後に、前記少なくとも1つの診断画像が、血管系の前記患者固有の初期モデルを調整するために、対応する血管注釈として新たに追加されたラベルと共に、使用される。
この文脈では、調整という用語が、特に、提供された新しい情報に従って前記初期モデルを変更又は更新することを指してもよい。この変更は、特に、前記トレーニング装置において半教師付き学習アプローチを実施することによって実行されてもよい。加えて又は代わりに、前記変更は、ラベル付け時に、前記少なくとも1つの診断画像を前記診断画像データに追加し、このように更新されたトレーニングデータセットを使用して前記トレーニング装置を再トレーニングすることによって実行されてもよい。
このアプローチによれば、最初から包括的トレーニングデータセットを使用するのではなく、前記トレーニング装置は、前記診断画像データによって構成された比較的小さいトレーニングデータセットを開始点として使用して血管系の初期モデルでトレーニングされ、この後に、異なる患者の血管系における血管トポロジのばらつき、すなわち(前記初期モデルによって表されるような)第1の血管樹及び(少なくとも1つの画像から導出可能である)第2の血管樹の血管の間で見つけられる差に対応する、識別された偏差を使用して、前記初期モデルからの偏差によってのみトレーニングされる。これにより、患者固有の解剖学的ばらつきが、前記初期モデルに徐々に導入される。これは、前記初期トレーニングデータセットをかなり小さく保ちながら、1人の特定の患者に対して個別化することによって、血管系のモデルの精度を改善することを可能にする。
いくつかの実施形態では、前記少なくとも1つのラベルを提供することは、前記少なくとも1つのラベルを示す第1のユーザ入力を前記ユーザから受け取ることを有する。
いくつかの実施形態では、前記偏差のラベル付け、特に、前記少なくとも1つの診断画像によって表されるまだ識別されていない血管のラベル付けは、ユーザとのインタラクティブアプローチを使用して実行されてもよい。すなわち、前記ユーザは、前記偏差を提示され、前記偏差に対するラベルを手動で入力するように要求されてもよい。前記偏差が、1つ又は複数の追加の血管に対応する場合、前記ユーザは、特に、前記1つ又は複数の追加の血管に手動でラベル付けしてもよい。前記偏差が、以前にラベル付けされた血管の幾何学的形状、すなわち、異なるコース、長さ、位置、方向などの差に対応する場合、前記ユーザは、前記血管ラベルが正しいことを確認するか、又は新しい血管ラベルを入力するかのいずれかを要求され得る。これは、前記患者固有のデータに従って血管系の全体的なトポロジを更新することを可能にする。
いくつかの実施形態では、血管系を分類するために前記初期モデルを調整することは、複数の診断画像についてステップb)乃至e)を反復的に繰り返すことを有する。患者から取得された少なくとも1つの診断画像を入力するステップと、前記初期モデルによる第1の血管樹と前記患者について取得された少なくとも1つの診断画像から取得された第2の血管樹との間の偏差を識別するステップと、第1の血管樹と第2の血管樹との間で識別された前記偏差/ばらつきに対するラベルを提供するステップと、適切に前記初期モデルを調整するステップとを反復的に繰り返す手段によって、前記トレーニングデータセットは、次第に拡張されうる。
これは、特定の患者に対する血管系のトレーニングされたモデルの精度を次第に改善する。結果として、前記初期(すなわち、次第にトレーニングされる)モデルと前記患者特有の血管系との間で識別される偏差/ばらつきの量は、前記初期モデルが前記患者特有の実際の血管系に近づくにつれて、次第に減少するのであろう。これは、前記患者の血管系の正確なモデルに到達するまで、前記トレーニング装置をトレーニングするために前記トレーニングデータセットに必要な限り多くの画像を導入することを可能にし、これによって、必要な入力データの量を減少させ、同時に、前記ユーザが偏差/ばらつきの識別時に入力を提供することを求められるだけであるので、必要なユーザ入力を最小限に保つ。
いくつかの実施形態では、前記初期モデルを調整することは、第2の血管樹を表す前記少なくとも1つの診断画像及び対応する少なくとも1つのラベルと共に、前記第1の血管樹を表す前記診断画像データを使用して、前記トレーニング装置を再トレーニングすることを有する。
いくつかの実施形態では、血管系の前記初期モデルの調整は、特に、最初に使用された診断画像データと、識別された血管及び対応するラベルを含む前記患者の血管系の追加の少なくとも1つの診断画像とを有する更新されたトレーニングデータセットを用いて前記トレーニング装置を再トレーニングすることによって実行されてもよい。すなわち、前記少なくとも1つの診断画像において識別された血管のラベル付けの際に、前記診断画像は、前記トレーニングデータセットに追加されうる。再トレーニングに際して、前記トレーニング装置がトレーニングされた前記初期モデルは、前記少なくとも1つの診断画像が取得された前記患者の患者固有の血管系に、より密接に類似し得る。これによって、前記トレーニングされた初期モデルは、前記患者固有の血管系を正確に表すように次第に調整される。
いくつかの実施形態では、本方法は、前記少なくとも1つの診断画像をセグメント化し、前記セグメント化に基づいて、前記第2の血管樹の複数の血管のそれぞれの中心線情報を識別し、前記中心線情報を抽出することによって前記少なくとも1つの診断画像内の第2の血管樹の幾何学形状を識別するステップを更に有する。いくつかの実施形態では、前記中心線情報が、前記少なくとも1つの診断画像と共に入力される。
いくつかの実施形態では、前記少なくとも1つの診断画像によって表される第2の血管樹の幾何学的形状が、特に、本明細書で上述されたような中心線抽出アプローチを使用して決定されてもよい。すなわち、前記少なくとも1つの診断画像は、受信及びセグメント化されてもよい。前記セグメント化に基づいて、前記少なくとも1つの診断画像において撮像された血管系内の血管の仮定された幾何学的形状は、前記血管を通る中心線の初期推定を提供し、この後に前記中心線を精緻化することによって予測されてもよい。次いで、前記精密化された中心線情報は、前記血管の幾何学的形状を示すものと見なされてもよい。
いくつかの実施形態では、このように抽出された中心線情報は、これが抽出された前記少なくとも1つの診断画像と共に、使用されて、前記トレーニング装置にトレーニングされた前記初期モデルを調整する。すなわち、前記少なくとも1つの診断画像及び前記抽出された中心線情報は、前記トレーニング装置に入力され、前記トレーニング装置は、この追加情報を使用して、適切に前記初期モデルを更新してもよい。これは、半管理学習のような技術によって、又は前記少なくとも1つの診断画像及び対応するラベルを前記トレーニングデータセットに追加する際に再トレーニングすることによって、前記トレーニング装置を反復的にトレーニングすることを可能にする。
いくつかの実施形態によれば、前記偏差は、第1の血管樹の幾何学的形状と第2の血管樹の幾何学的形状との間のばらつき、すなわち、第1の血管樹と第2の血管樹との間の幾何学的ばらつきを有してもよい。
本明細書で上述したように、前記初期モデルによって表される第1の血管樹の幾何学的形状と第2の血管樹の幾何学的形状との間の偏差は、血管トポロジのトポロジ的ばらつきを生じ得る血管樹の幾何学的ばらつきによって引き起こされ得る。このような幾何学的ばらつきは、特に、欠損血管、欠損分岐、より長い及び/又はより短い分岐、又は非常に曲がりくねった分岐などのような解剖学的ばらつきに対応し得る。更に、特定の血管のコース及び/又は方向及び/又は位置は、前記初期モデルにおける対応する血管のものとは異なってもよく、又は同様のばらつきが生じうる。
いくつかの実施形態では、前記診断画像データが、複数の画像、特に10000乃至100の画像、更に具体的には1000乃至100の画像を有する。
いくつかの実施形態によれば、前記初期トレーニングデータセットを構成する診断画像データは、診断撮像モダリティを使用して取得された診断画像などの複数の画像を有する。前記トレーニング装置をトレーニングするための反復アプローチのため、小さな初期トレーニングデータセットのみが必要である。いくつかの実施形態では、前記初期モデルを用いて前記トレーニング装置をトレーニングするために、1000から100の間、より具体的には500から200の間の画像が十分である。次いで、特定の患者に特有の更なる偏差/解剖学的ばらつきが、専門家の入力に基づいてユーザインタラクションを通してラベル付けされた、前記患者に対して取得された前記診断画像を用いて次第に導入され得る。
いくつかの実施形態では、前記トレーニング装置が、外部から引き起こされたばらつきを前記初期モデルに含めるように更にトレーニングされる。
いくつかの実施形態では、外部要因が、前記診断画像データ及び/又は前記少なくとも1つの診断画像に影響を及ぼしてもよい。このような外部要因の例は、撮像モダリティの取得精度に悪影響を及ぼしうる、かなり小さい及び/又は不完全な視野又は他の外乱のような、取得誤差及び/又は測定不正確さに関連してもよい。更に、画像取得は、ステント、カテーテル、又はクランプ等のような患者に導入された装置によって悪影響を受ける可能性がある。ステントのような装置は、また、血管系における特定の血管の形状及び/又はコース等を変化させてもよい。
これらの外部影響因子を考慮するために、それから生じるばらつきは、前記初期モデルに含まれるように前記トレーニング装置にトレーニングされてもよく、これによって、分類の精度を更に改善する。
更なる態様によれば、血管系を分類するための分類システムが提供され、前記分類システムは、第1の血管樹を表す診断画像データを使用して血管系の初期モデルでトレーニングされるように構成されたトレーニング装置であって、前記診断画像データが、前記第1の血管樹の各血管についての対応する血管ラベルを有する、当該トレーニング装置と、第2の血管樹を表す少なくとも1つの診断画像を受信するように構成された入力ユニットと、前記第1の血管樹と前記第2の血管樹との間の少なくとも1つの偏差を識別し、前記識別に応答して、前記少なくとも1つの偏差の標示をユーザに対して出力し、前記少なくとも1つの偏差に対して少なくとも1つのラベルを提供するように構成された推論ユニットとを有し、前記トレーニング装置は、前記少なくとも1つの偏差及び前記少なくとも1つのラベルに基づいて、前記血管系を分類するために前記初期モデルを調整するように構成される。いくつかの実施形態では、前記分類システムが、前記少なくとも1つの偏差の前記標示をユーザに対して表示するように構成された表示ユニットと、前記少なくとも1つのラベルを示す前記ユーザからの第1のユーザ入力を受信するように構成されたユーザインタフェースとを更に有する。
更なる態様では、第1の血管樹の初期モデルでトレーニングされ得るトレーニング装置と、第2の血管樹を表す少なくとも1つの診断画像を受信し得る入力ユニットと、第1及び第2の血管樹の間の偏差を導出し、このような偏差をユーザに対して出力し得る推論ユニットとを有する分類システムが、提供される。前記推論ユニットは、前記偏差に対して少なくとも1つのラベルを更に提供してもよい。この文脈では、前記推論ユニットが、特に、特定の偏差に対する潜在的なラベルを決定し、それぞれの標示を使用して前記潜在的なラベルをユーザに提案してもよい。代わりに又は加えて、前記推論ユニットは、ラベルを手動で入力するように前記ユーザに要求するために前記標示を使用するように構成されてもよい。いくつかの実施形態では、前記推論ユニットが、リストを提供するように構成されてもよく、前記リストは、前記ユーザに提案されたラベルでランク付け又はアルファベット順にソートされてもよく、オプションとして前記ユーザに前記リストから選択させるか、ラベルを手動で入力させる。
これにより、前記システムは、特に、表示ユニットを有してもよく、又は、前記ユーザに対して前記標示を表示するための表示ユニットに通信可能に接続されてもよい。代わりに又は加えて、前記システムは、前記分類システムとインタラクトするようにユーザに指示するために、前記ユーザに対して聴覚及び/又は触覚標示を提供する、追加の又は統合された標示ユニットをも有してもよい。
前記分類システムは、特に、ユーザ入力を受信するためのユーザインタフェースを有してもよい。前記ユーザ入力は、特に、第1の血管樹と第2の血管樹との間の前記1つ以上の偏差のラベルを入力するために使用されてもよい。更に、前記ユーザ入力は、時間、又は撮像条件などの追加情報を取得するために使用されてもよい。前記ユーザインタフェースは、特に、キーボード及び/又マウス等を有してもよい。いくつかの実施形態では、前記ユーザインタフェースが、例えばタッチスクリーンの観点から、前記表示ユニットの一部として提供されてもよい。代わりに、前記ユーザインタフェースが、前記表示ユニットに加えて設けられたタッチスクリーンであってもよい。いくつかの実施形態では、前記ユーザインタフェースが、タッチスクリーン、キーボード、及び/又はマウスなどの組み合わせなど、いくつかのインタフェースの組み合わせとして提供されてもよい。更なるユーザインタフェースは、ユーザが前記分類システムとインタラクトすることを可能にする限り、想像されてもよい。
いくつかの実施形態では、前記推論ユニットが、医療表現を生成するように更に構成され、前記表現は、少なくとも血管系、すなわち、前記患者に対して識別された血管、前記血管ラベル、及び前記少なくとも1つのラベルを有し、前記推論ユニットが、前記表現をデータベースに送信する。いくつかの実施形態では、前記データベースが、電子医療記録(EMR)を有し、前記医療表現は、前記電子医療記録の所定のフォーマットに従って生成される。
いくつかの実施形態では、前記推論ユニットが、前記診断画像データ、前記少なくとも1つの診断画像、及び前記少なくとも1つの診断画像の対応するラベルから医療表現を生成してもよい。いくつかの実施形態では、前記医療表現は、また、他の場所で、例えば専用の生成ユニットによって、生成されてもよい。この文脈において、医療表現という用語は、特に、前記患者に対して実行され得るインターベンションのコースを、前記インターベンションに直接関与しない第三者に伝達することを可能にする、カスタマイズされた概略表現を指してもよい。代わりに又は加えて、医療表現という用語は、また、前記患者の血管系のモデルのグラフィック表現、特に3次元表現を包含してもよい。いくつかの実施形態では、前記グラフィック表現は、また、前記患者の血管系のモデルに示される全ての血管に対する血管ラベルを含んでもよい。いくつかの実施形態では、前記グラフィック表現が、前記表示ユニット上に表示されてもよい。表示中に、前記血管ラベルは、前記ユーザによって、オン又はオフに切り替えられ、移動され、又は外観等を変更されてもよい。
前記医療表現、特に血管系のカスタマイズされた概略表現は、他の医師、又は症例報告などとの通信のために、傾向及び治療のさらなる分析のために、対応する(医療)データベースに送信され、記憶されてもよい。いくつかの実施形態では、前記医療表現が、SNOMED CTなどの所定のフォーマットに従って生成される。この生成は、特に、前記トレーニング装置にトレーニングされた前記モデルに基づいて自動的に実行されてもよい。傾向分析のためにこのような情報を収集するレジストリ又は組織など、第三者によってデータに課せられた厳密なデータ構造に準拠する患者固有の医療表現を自動的に生成することによって、最小限のユーザ干渉での直接構造報告が、確立されうる。
更なる態様では、処理ユニットによって実行される場合に、本発明による方法を実行するように適合されたコンピュータプログラムが、提供される。更に別の態様では、前記コンピュータプログラムを記憶されたコンピュータ可読媒体が、提供される。
血管系を分類するための前記分類システムは、処理ユニットを用いて実現されてもよいと理解されるべきである。これにより、前記トレーニング装置、前記入力ユニット、及び前記推論ユニットは、前記処理ユニット内のモジュールとして実装されてもよい。これらのモジュールの機能は、特に、それぞれのアルゴリズムによって実現されてもよい。
請求項1の分類方法、請求項10の分類システム、請求項14のコンピュータプログラム、及び請求項15のコンピュータ可読媒体は、特に従属請求項に定義されるように、類似及び/又は同一の好ましい実施形態を有すると理解されるべきである。
好ましい実施形態は、また、従属請求項又は上記の実施形態とそれぞれの独立請求項との任意の組み合わせであることができると理解されるべきである。
これら及び他の態様は、以下に記載される実施形態から明らかになり、それを参照して説明される。
一実施形態による、患者の血管系を分類するための分類システムを概略的に示す。 一実施形態による、血管系を分類するための方法を示す。 一実施形態による、少なくとも1つの診断画像から第2の血管樹の幾何学的形状を識別し、前記第2の血管樹と第1の血管樹との間の(幾何学的)ばらつきを識別するための詳細な方法を概略的に示す。
図面中の図は概略的なものである。異なる図面において、類似又は同一の要素は、同一の参照番号を付されている。
図1は、患者の血管系を分類するための分類システム1の概略図を示す。図1の例示的な実施形態では、分類システム1が、トレーニング装置100、入力ユニット200、推論ユニット300、表示ユニット400、及びユーザインタフェース500を有する。更に、分類システム1は、データベース2に通信可能に結合される。
図1による実施形態では、分類システム1が、第1の血管樹を表す診断画像データ10を受信するトレーニング装置100を含む。トレーニング装置100は、診断画像データ10をトレーニングデータセットとして使用してトレーニングされるディープラーニングアルゴリズムを実施する。この目的のために、前記診断画像データは、特に、複数の患者の血管系の数百から数千の診断画像を有してもよい。これらは、第1の血管樹における血管を表す初期モデルを生成するために使用される。図1の例示的な実施形態では、前記診断画像データに含まれる前記診断画像が、X線撮像を使用して取得されている。しかしながら、血管の撮像を可能にする限り、他の撮像モダリティが、同様に使用されてもよい。更に、前記診断画像データは、1つ以上の血管、特に、少なくとも血管系の標準的な解剖学的モデルの血管に対する血管ラベルを有する。次いで、前記診断画像データを使用して、前記トレーニング装置は、第1の血管樹の血管を含む血管系の初期モデルを持つ、比較的小さいトレーニングデータセットによって、トレーニングされ得る。
分類システム1は、入力ユニット200を更に有する。入力ユニット200は、第2の血管樹を表す診断画像20を受信するように構成される。診断画像20は、血管系が前記分類システムを使用して評価される前記患者について取得されている。図1の例示的な実施形態では、少なくとも1つの診断画像20が、X線撮像を使用して取得されている。超音波撮像のような他の撮像モダリティも、前記患者の血管系内の血管を識別することを可能にする限り、同様に使用されてもよい。いくつかの実施形態では、診断画像20が、他の場所で前処理されており、入力ユニット200は、前記少なくとも1つの診断画像と共に、その幾何学的形状及びトポロジを識別することを可能にするように、第2の血管樹に対する抽出された中心線情報を更に受信する。いくつかの実施形態では、入力ユニット200は、診断画像20を受信するだけであり、診断画像20を推論ユニット300に提供し、次いで、推論ユニット300が、第2の血管樹内の血管の幾何学的形状を識別するために中心線抽出を実行する。
図1の実施形態では、推論部300が、したがって、入力部200から第2血管樹を表す診断画像20を、更に、トレーニング装置100から第1血管樹を表す前記初期モデルを受信する。推論ユニット300は、第1の血管樹及び第2の血管樹を互いに比較し、第1の血管樹と第2の血管樹との間の1つ又は複数の偏差を識別する。このために、推論ユニット300は、特に、差分アプローチを採用してもよく、すなわち、第1の血管樹及び第2の血管樹のそれぞれにおける血管の幾何学的形状の間の特定のばらつきについての差分を取得し、前記差分値を所定の閾値と比較してもよい。前記差分値が前記閾値未満である場合、前記差分は、撮像モダリティの誤差範囲内にあると見なされ、偏差は識別されない。しかしながら、前記閾値が超過される場合、偏差が存在すると仮定される。
推論ユニット300が、偏差が存在すると決定する場合、推論ユニット300は、表示ユニット400にそれぞれの標示を提供する。図1の特定の実施形態では、表示ユニット400が、偏差が検出されたという視覚的標示がユーザに対して表示され得るコンピュータスクリーンを有する。したがって、表示ユニット400は、前記視覚的標示を生成しうる。表示ユニット400は、特に、識別された偏差を示すためのマーカ又は他のインジケータと共に、第2の血管樹内の血管の一部又は全てのグラフィック表現を提供してもよい。表示ユニット400は、更に、前記偏差に対するラベルを提供する要求をユーザに対して出力してもよい。この要求は、前記ユーザが単純に受け入れるか又は拒否しなければならない、どのように偏差をラベル付けするかについての提案、又は前記ユーザが選択すべきである可能なラベル付け提案のリストのいずれかであってもよい。前記要求は、前記偏差に対するラベルを手動で入力する標示であってもよい。前記ユーザにシステム1とインタラクトするように指示する更なる要求も、想定されてもよい。
前記ユーザは、特に、ユーザインタフェース500を介して、前記ラベルを示すそれぞれのユーザ入力を提供してもよい。図1の例示的な実施形態では、ユーザインタフェース500が、特にキーボードを有してもよい。更に、ユーザインタフェース500は、タッチスクリーン、マウス、又はリモコンなどを有してもよい。
一度前記ユーザが前記ラベルを入力すると、このようにラベル付けされた診断画像20は、推論ユニット300に戻され、前記推論ユニット300は、前記診断画像20及び前記ラベルによってトレーニング装置100に対する前記トレーニングセットを拡張するために、前記ユーザによるラベル入力と共に、診断画像20をトレーニング装置100に送信する。このように拡張されたトレーニングセットに基づいて、トレーニング装置100は、診断画像20及び前記ラベルを使用して、適切に血管系の(初期)モデルを調整してもよい。前記モデルの調整は、いくつかの方法で、例えば、半教師付き学習によって、又はラベル付けされた診断画像20を診断画像データ10に追加し、前記トレーニング装置を再トレーニングすることによって、実行されてもよいことを理解されたい。図1による特定の実施形態では、前記トレーニング装置が、新たにラベル付けされた診断画像20を含む更新されたトレーニングデータセットに基づいて、新たなモデルで再トレーニングされる。
図1の実施形態によれば、このプロセスは、前記患者に対して取得された複数の診断画像20について反復的に繰り返される。これにより、各診断画像20は、上述のように処理及びラベル付けされ、この後に、前記トレーニング装置を再トレーニングするために使用される。この反復的再トレーニングを用いて、前記トレーニング装置に対してトレーニングされる前記モデルは、前記診断画像が収集される前記患者の血管系に近づくように次第に調整される。したがって、このプロセスの開始時には、ユーザインタラクションは、多くの偏差が識別されうるように、多様であるが、要求されるユーザ入力は、前記トレーニングされたモデルが、前記患者固有の血管系にますます類似するにつれて、経時的に減少する。このアプローチを用いて、各患者に対する解剖学的ばらつきをも考慮に入れる、血管系内の血管の正確な自動的ラベル付けが、次第に達成され得る。
この自動的なラベル付けアプローチを用いて、医学的表現、特に前記患者の血管系のカスタマイズされた概略表現が、取得されてもよい。この医療表現は、所定のフォーマットに従って構造化されてもよい。図1による特定の実施形態では、前記医療表現が、特に、SNOMED CTに従って必要とされる医療用語及び符号化標準に従って構造化されてもよい。
したがって、構造化されたデータは、データベース2に送信され、記憶され得る。データベース2は、患者情報及び症例報告を取得する他の医師によって、及び/又は治療及び傾向分析及び予後診断のためのレジストリ又は組織などの第三者によってアクセスされてもよい。前記医療表現は、所定のフォーマットで提供されるので、ここで提供される情報は、容易に、かつ明確な形で解釈されうる。
図2は、一実施形態による、患者の血管系を分類するための方法を概略的に示す。ステップS101において、トレーニング装置100は、第1の血管樹を表す診断画像データ10を受信する。ステップS102において、ディープラーニングアルゴリズムを実施するトレーニング装置100は、トレーニングデータセットとして診断画像データ10を使用してトレーニングされる。これにより、前記診断画像データは、特に、複数の血管を表す複数の患者の数百乃至千の診断画像と、これらの血管の少なくともサブセットに対する対応する血管ラベルとを有してもよい。ステップS103では、前記血管ラベルを含む第1の血管樹を表す診断画像データ10を使用してトレーニングされた前記初期モデルが、推論ユニット300に提供される。
ステップS201において、入力ユニット200は、第2の血管樹を表す患者から取得された診断画像20を受信する。図2の例示的実施形態では、入力ユニット200が、ステップS202において、更なる処理のために、診断画像20を推論ユニット300に提供する。これに関連して、代替の実施形態では、入力ユニット200によって受信された診断画像20が、前処理されてもよく、したがって、抽出された中心線情報を有してもよく、この情報は、次いで、診断画像20と共に推論ユニット300に渡されることを理解されたい。
ステップS301において、推論部300は、入力部200から第2血管樹を表す診断画像データ20を受信する。更に、ステップS301において、推論部300は、第1血管樹を表す前記初期モデルをトレーニング装置100から受信する。ステップS302において、推論部300は、入力部200から受信された診断用画像20によって表される第2血管樹内の血管の幾何学的形状を識別する。図2の例示的な実施形態では、推論ユニット300が、特に、中心線抽出アプローチを使用して、血管の幾何学的形状を識別する。ステップS303において、推論ユニット300は、次いで、第1及び第2の血管樹、特に、これらのそれぞれの幾何学的形状を互いに比較し、例えば、上述の差分アプローチを用いて、これらの間の1つ以上の偏差を識別する。
偏差が推論部300により見つけられる場合、推論部300は、ステップS304において、表示ユニット400にそれぞれの標示を提供する。ステップS401において、前記標示は、ステップS402において、この標示をユーザに提示する表示ユニット400によって受信される。図2による実施形態では、前記ユーザに提供される前記標示が、特に、視覚的標示であってもよい。前記標示は、触覚及び/又は聴覚コンポーネントを更に有してもよい。このために、表示ユニット400は、ステップS402において、オプションとして、前記識別された偏差を示すマーカ又は他のインジケータと共に、第2の血管樹内の血管のグラフィック表現を生成し、ユーザインタフェース500を用いて前記偏差にラベル付けする要求をユーザに対して出力してもよい。
ステップS501で、前記標示は、ユーザに対して出力されて、前記ユーザインタフェースを介して、前記偏差にラベル付けするためのそれぞれのインタラクティブ入力を提供するように前記ユーザに指示する。ステップS502において、前記ユーザは、オプションとして、前記システムによる要求に応答して、前記偏差に手動でラベル付けしてもよい。
図2による特定の実施形態では、前記それぞれのラベルを提供する前記ユーザ入力が、初期トレーニングステップS102に戻るように前記システムに指示する。すなわち、前記少なくとも1つの新たにラベル付けされた診断画像20は、トレーニング装置100に入力され、前記トレーニング装置は、新たなラベルに従って前記初期モデルを調整する。図2の例示的な実施形態では、これは、前記トレーニングデータセットを拡張し、前記拡張されたトレーニングデータセットを用いて前記トレーニング装置を再トレーニングするために、前記新たにラベル付けされた診断画像を前記診断画像データに追加することによって達成される。
これらのステップは、前記患者に対して取得された複数の診断画像に対して反復的に繰り返されてもよい。この反復的再トレーニングを用いて、前記トレーニング装置に対してトレーニングされた前記モデルは、前記患者固有の血管系に近づくように次第に調整される。これは、前記使用されたトレーニングデータセットを可能な限り小さく保ちながら、必要なユーザインタラクションの漸進的な低減につながる。
図3は、一実施形態による、少なくとも1つの診断画像、並びに第2の血管樹の血管と第1の血管樹の血管との間の幾何学的形状の偏差から、第2の血管樹内の血管の幾何学的形状を識別するための詳細な方法を概略的に示す。
具体的には、ステップS301において、トレーニング装置100により提供される前記初期モデル及び入力部200により提供されるような診断画像20が、推論ユニット300において受信される。ステップS302aにおいて、前記推論ユニットは、診断画像20をセグメント化し、ステップS302bにおいて、前記セグメント化に基づいて、既知の中心線抽出アプローチに従って中心線を抽出する。これらの抽出された中心線に基づいて、前記推論ユニットは、ステップS302cにおいて、第2の血管樹内の血管の幾何学的形状を識別する。次いで、ステップS303aにおいて、推論ユニット300は、前記トレーニングされた初期モデルから推論される第1の血管樹内の血管の幾何学的形状と、診断画像20から識別される第2の血管樹内の血管の幾何学的形状とを比較する。前記比較は、特に、第1及び第2の血管樹内の血管内の選択された点に対する差分値をそれぞれ決定し、前記差分が第1及び第2の血管樹の血管間の不正確さによるものであるか又は実際の幾何学的(したがって、解剖学的)ばらつきによるものであるかを決定するために、前記差分値をそれぞれの閾値と比較することによって実行されてもよい。
この比較に基づいて、前記推論ユニットは、ステップS303bにおいて、第1及び第2の血管樹の血管間の、幾何学的又はトポロジ的ばらつきなどの、少なくとも1つの偏差を識別する。ステップS304において、推論ユニット300は、前記ユーザに前記偏差を示し、前記ユーザに前記データとインタラクトするように指示するために、前記1つ又は複数の識別された偏差を表示ユニット400に示す。これは、前記患者の血管系のモデルを規定するために使用される前記データセットをインタラクティブに拡張することを可能にし、モデル精度を次第に改善し、前記初期トレーニングデータセットをかなり小さく維持しながら、改善された精度で、より多くの自律的なラベル付け及び構造報告を可能にする。
上述の実施形態では、前記診断画像が、X線撮像を使用して取得されているが、他の実施形態では、前記診断画像が、同様に、陽電子放出断層撮影、単一陽電子放出コンピュータ断層撮影、磁気共鳴撮像、X線走査、又は超音波撮像などの他の撮像方法によって取り出されてもよいことを理解されたい。
更に、上記の実施形態では、前記初期トレーニングデータセットが、対応する血管ラベル及び複数の診断画像を含む診断画像データを有するが、前記初期トレーニングデータセットは、X線システムの3D幾何学的パラメータを使用することによって2次元画像上に投影され得る冠状動脈の3D中心線を含む3次元冠状動脈アトラスの小さなセットから導出されてもよいことを理解されたい。
更に、上記の実施形態では、前記分析は、冠状血管系に対して実行されたが、他の実施形態では、前記分析が、末梢血管系などの人体の他の部分の血管系に対して同様に実行されてもよい。
また、上記の実施形態では、前記データが、SNOMED CTに従って前記データベースに記憶されているが、解釈が容易であり、明確な情報を提供する他のデータ構造が、同様に使用されてもよいことを理解されたい。
開示された実施形態に対する他の変形は、図面、開示、及び添付の特許請求の範囲の検討から、特許請求された発明を実施する際に当業者によって理解され、実施されることができる。
特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。
単一のユニット又は装置は、特許請求の範囲に列挙されるいくつかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。
1つ又は複数のユニット又は装置によって実行される、前記診断画像データの受信、前記少なくとも1つの診断画像の受信、前記診断画像のセグメント化、前記中心線の抽出、第1の血管トポロジと第2の血管トポロジとの間の偏差の識別などの手順は、任意の他の数のユニット又は装置によって実行されることができる。これにより、本発明によるこれらの手順は、コンピュータプログラムのプログラムコード手段として、及び/又は専用ハードウェアとして実施されることができる。
コンピュータプログラムは、他のハードウェアと一緒に、又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶/配布されてもよいが、インターネット又は他の有線若しくは無線電気通信システムなどを介して、他の形態で配布されてもよい。
特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
血管系を分類するための方法は、a)第1の血管樹を表す診断画像データを使用して血管系の初期モデルを用いてトレーニング装置をトレーニングするステップであって、前記診断画像データが前記第1の血管樹の少なくとも1つの血管に対する対応する血管ラベルを含むステップと、b)第2の血管樹を表す少なくとも1つの診断画像を入力するステップと、c)前記第1の血管樹と前記第2の血管樹との間の少なくとも1つの偏差を識別するステップと、d)前記識別に応答して、前記少なくとも1つの偏差の標示をユーザに対して出力し、前記少なくとも1つの偏差に対して少なくとも1つのラベルを提供するステップと、e)前記少なくとも1つの偏差及び前記少なくとも1つのラベルに基づいて、前記血管系を分類するために前記初期モデルを調整するステップとを有する。
本方法を用いて、前記初期モデルからの偏差は、前記画像内に表される偏差にインタラクティブにラベル付けしうる、医師等の専門家に偏差を提示し、これによって患者間の解剖学的ばらつきに関する必要な知識により前記トレーニングセットを拡張することにより、インタラクティブに解決されうる。これはり、(冠状)血管系の正確な自動ラベル付けを次第にもたらす。

Claims (15)

  1. 血管系を分類する方法において、
    a)第1の血管樹を表す診断画像データを使用して、前記血管系の初期モデルを用いてトレーニング装置をトレーニングするステップであって、前記診断画像データが、前記第1の血管樹の少なくとも1つの血管に対する対応する血管ラベルを有する、ステップと、
    b)第2の血管樹を表す少なくとも1つの診断画像を入力するステップと、
    c)前記第1の血管樹と前記第2の血管樹との間の少なくとも1つの偏差を識別するステップと、
    d)前記識別に応答して、前記少なくとも1つの偏差の標示をユーザに対して出力し、前記少なくとも1つの偏差に対する少なくとも1つのラベルを提供するステップと、
    e)前記少なくとも1つの偏差及び前記少なくとも1つのラベルに基づいて、前記血管系を分類するために前記初期モデルを調整するステップと、
    を有する方法。
  2. 前記少なくとも1つのラベルを提供するステップは、前記少なくとも1つのラベルを示す第1のユーザ入力を前記ユーザから受信するステップを含む、請求項1に記載の方法。
  3. 前記血管系を分類するために前記初期モデルを調整するステップは、複数の診断画像に対してステップb)乃至e)を反復的に繰り返すステップを含む、請求項1に記載の方法。
  4. 前記初期モデルを調整するステップは、前記第2の血管樹を表す前記少なくとも1つの診断画像及び前記対応する少なくとも1つのラベルと共に、前記第1の血管樹を表す前記診断画像データを使用して、前記トレーニング装置を再トレーニングするステップを含む、請求項1に記載の方法。
  5. 前記少なくとも1つの診断画像をセグメント化することによって、前記少なくとも1つの診断画像における前記第2の血管樹の幾何学的形状を識別するステップと、
    前記セグメント化に基づいて、前記第2の血管樹の複数の血管のそれぞれの中心線情報を識別し、前記中心線情報を抽出するステップと、
    を有する、請求項1に記載の方法。
  6. 前記中心線情報は、前記少なくとも1つの診断画像と共に入力される、請求項5に記載の方法。
  7. 前記偏差は、前記第1の血管樹の幾何学的形状と前記第2の血管樹の幾何学的形状との間のばらつきを有する、請求項1に記載の方法。
  8. 前記診断画像データは、複数の画像、特に10000乃至100の画像、更に具体的には1000乃至100の画像を有する、請求項1に記載の方法。
  9. 前記トレーニング装置は、外部から引き起こされたばらつきを前記初期モデルに含めるように更にトレーニングされる、請求項1に記載の方法。
  10. 血管系を分類するための分類システムにおいて、前記分類システムが、
    第1の血管樹を表す診断画像データを使用して前記血管系の初期モデルでトレーニングされるように構成されたトレーニング装置であって、前記診断画像データが、前記第1の血管樹の少なくとも1つの血管に対する対応する血管ラベルを有する、前記トレーニング装置と、
    推論ユニットであって、
    第2の血管樹を表す少なくとも1つの診断画像を受信するように構成された入力ユニットと、前記第1の血管樹と前記第2の血管樹との間の少なくとも1つの偏差を識別し、
    前記識別に応答して、前記少なくとも1つの偏差の標示をユーザに対して出力し、前記少なくとも1つの偏差に対して少なくとも1つのラベルを提供する、
    ように構成された前記推論ユニットと、
    を有し、
    前記トレーニング装置は、前記少なくとも1つの偏差及び前記少なくとも1つのラベルに基づいて、前記血管系を分類するために前記初期モデルを調整するように構成される、
    分類システム。
  11. 前記少なくとも1つの偏差の前記標示をユーザに対して表示するように構成された表示ユニットと、前記少なくとも1つのラベルを示す第1のユーザ入力を前記ユーザから受信するように構成されたユーザインタフェースとを更に有する、請求項10に記載の分類システム。
  12. 前記推論ユニットは、少なくとも前記血管系、前記血管ラベル、及び前記少なくとも1つのラベルを有する医療表現を生成し、前記表現をデータベースに送信するように更に構成される、請求項10に記載の分類システム。
  13. 前記データベースは、電子医療記録(EMR)を有し、前記医療表現は、前記電子医療記録の所定のフォーマットに従って生成される、請求項12に記載の分類システム。
  14. 処理ユニットによって実行される場合に、請求項10乃至13のいずれか一項に記載の分類システムを制御するために請求項1乃至9のいずれか1項に記載の方法を実行するように構成されたコンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。
JP2020558573A 2018-05-03 2019-04-24 インターベンショナルx線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け Pending JP2021521949A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18170529.4 2018-05-03
EP18170529.4A EP3564961A1 (en) 2018-05-03 2018-05-03 Interactive coronary labeling using interventional x-ray images and deep learning
PCT/EP2019/060430 WO2019211131A1 (en) 2018-05-03 2019-04-24 Interactive coronary labeling using interventional x-ray images and deep learning

Publications (2)

Publication Number Publication Date
JP2021521949A true JP2021521949A (ja) 2021-08-30
JPWO2019211131A5 JPWO2019211131A5 (ja) 2022-04-18

Family

ID=62110972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558573A Pending JP2021521949A (ja) 2018-05-03 2019-04-24 インターベンショナルx線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け

Country Status (5)

Country Link
US (2) US11861825B2 (ja)
EP (2) EP3564961A1 (ja)
JP (1) JP2021521949A (ja)
CN (1) CN112074912A (ja)
WO (1) WO2019211131A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022018415A (ja) * 2020-07-15 2022-01-27 キヤノンメディカルシステムズ株式会社 医用データ処理装置及び方法
CN113487628B (zh) * 2021-07-07 2024-02-23 广州市大道医疗科技有限公司 模型训练的方法及冠状血管识别方法、装置、设备和介质
WO2023079657A1 (ja) * 2021-11-04 2023-05-11 国立大学法人東北大学 情報処理装置、木構造を示す器官の構造の対応付け方法、及び、木構造を示す器官の構造の対応付けプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008520324A (ja) * 2004-11-19 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータ支援による肺結節誤検出低減における不均衡なケース数を克服するための層化方法
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03102477U (ja) 1990-02-05 1991-10-24
JP3231810B2 (ja) 1990-08-28 2001-11-26 アーチ・デベロップメント・コーポレーション ニューラル・ネットワークを用いた鑑別診断支援方法
JPH04125779U (ja) 1991-05-02 1992-11-17 忠 臣 黄 アコ−デイオンカ−テンブレ−ドの成型装置
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US7519207B2 (en) 2004-11-19 2009-04-14 Carestream Health, Inc. Detection and correction method for radiograph orientation
US9129417B2 (en) 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
EP3723041A1 (en) * 2012-10-24 2020-10-14 CathWorks Ltd. Automated measurement system and method for coronary artery disease scoring
WO2015059706A2 (en) * 2013-10-24 2015-04-30 Cathworks Ltd. Vascular characteristic determination with correspondence modeling of a vascular tree
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US9785746B2 (en) * 2014-03-31 2017-10-10 Heartflow, Inc. Systems and methods for determining blood flow characteristics using flow ratio
US9595089B2 (en) * 2014-05-09 2017-03-14 Siemens Healthcare Gmbh Method and system for non-invasive computation of hemodynamic indices for coronary artery stenosis
US10595790B2 (en) * 2014-12-16 2020-03-24 Siemens Healthcare Gmbh Method and system for personalized non-invasive hemodynamic assessment of renal artery stenosis from medical images
US10311566B2 (en) 2015-06-12 2019-06-04 International Business Machines Corporation Methods and systems for automatically determining image characteristics serving as a basis for a diagnosis associated with an image study type
WO2017114700A1 (en) * 2015-12-30 2017-07-06 Koninklijke Philips N.V. Three dimensional model of a body part
EP3246873B1 (en) * 2016-07-15 2018-07-11 Siemens Healthcare GmbH Method and data processing unit for segmenting an object in a medical image
JP2018061771A (ja) 2016-10-14 2018-04-19 株式会社日立製作所 画像処理装置、及び画像処理方法
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及***
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术(北京)有限公司 用于标注医学图像的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008520324A (ja) * 2004-11-19 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータ支援による肺結節誤検出低減における不均衡なケース数を克服するための層化方法
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム

Also Published As

Publication number Publication date
US20210174500A1 (en) 2021-06-10
EP3788631A1 (en) 2021-03-10
CN112074912A (zh) 2020-12-11
US20240078676A1 (en) 2024-03-07
EP3564961A1 (en) 2019-11-06
US11861825B2 (en) 2024-01-02
WO2019211131A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US10460838B2 (en) Automated anatomically-based reporting of medical images via image annotation
US20180060535A1 (en) Updating probabilities of conditions based on annotations on medical images
US10729396B2 (en) Tracking anatomical findings within medical images
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging
US20240078676A1 (en) Interactive coronary labeling using interventional x-ray images and deep learning
US11610667B2 (en) System and method for automated annotation of radiology findings
JP6930411B2 (ja) 情報処理装置及び情報処理方法
EP3432215A1 (en) Automated measurement based on deep learning
CN107106104B (zh) 用于骨科分析和治疗设计的***和方法
US20210059758A1 (en) System and Method for Identification, Labeling, and Tracking of a Medical Instrument
US20180060534A1 (en) Verifying annotations on medical images using stored rules
US20180060488A1 (en) Customizing annotations on medical images
EP3989828B1 (en) Automated coronary angiography analysis
EP4002275A1 (en) System and method for visualizing placement of a medical tube or line
US20220399107A1 (en) Automated protocoling in medical imaging systems
US20220331556A1 (en) System and method for visualizing placement of a medical tube or line
JP2017204041A (ja) 所見情報作成装置及びシステム
US20170322684A1 (en) Automation Of Clinical Scoring For Decision Support
US11657519B2 (en) Method for deformation correction
US20210383539A1 (en) Orientation detection for 2d vessel segmentation for angio-ffr
US20240164845A1 (en) Artificial Intelligence System and Method for Defining and Visualizing Placement of a Catheter in a Patient Coordinate System Together with an Assessment of Typical Complications
CN118072065A (zh) 用于利用患者坐标系来限定和可视化导管的放置的人工智能***和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240613