JP2020523659A - ネイティブ２ｄ医療画像と再構築３ｄ医療画像の閲覧の容易な切り替え - Google Patents

ネイティブ２ｄ医療画像と再構築３ｄ医療画像の閲覧の容易な切り替え Download PDF

Info

Publication number
JP2020523659A
JP2020523659A JP2019561305A JP2019561305A JP2020523659A JP 2020523659 A JP2020523659 A JP 2020523659A JP 2019561305 A JP2019561305 A JP 2019561305A JP 2019561305 A JP2019561305 A JP 2019561305A JP 2020523659 A JP2020523659 A JP 2020523659A
Authority
JP
Japan
Prior art keywords
native
image
component
medical image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019561305A
Other languages
English (en)
Other versions
JP7035083B2 (ja
Inventor
デ・スワート，ニコラス
インゴルド・フォコ，コーリン
オディー，ニザール
アリオッティ，アントワーヌ
ハーヴォ，パトリス
ラバール，ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020523659A publication Critical patent/JP2020523659A/ja
Application granted granted Critical
Publication of JP7035083B2 publication Critical patent/JP7035083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える医療撮像システムが提供される。一実施形態では、方法は、閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像を記述するインデックス付けされた画像メタデータを検索することを含む。方法は、ネイティブ医療画像を関連する画像の１つまたは複数のセットにグループ化し、関連する画像の１つまたは複数のセットの各セットに対して、関連する画像を、１つまたは複数の３Ｄ表現を生成するためにそれぞれ使用することができる３Ｄ互換画像の１つまたは複数のサブセットにソートすることをさらに含む。方法は、関連する画像の１つまたは複数のセットと３Ｄ互換画像の１つまたは複数のサブセットを識別するデータモデルを生成することと、データモデルを用いて、同じビューポートでのネイティブ医療画像と１つまたは複数の３Ｄ表現のレンダリングを容易に切り替えることとをさらに含む。【選択図】図１

Description

本出願は、一般に、医療撮像に関し、より具体的には、ネイティブ二次元（２Ｄ）医療画像と再構築三次元（３Ｄ）医療画像の閲覧を容易に切り替える医療撮像視覚化システムに関する。
放射線科医が日常業務で再構築３Ｄ医療画像の読み取りを採用するにつれて、ケアの標準は過去１０年間で変化している。これらの再構築医療画像は、複雑な解剖学的構造、損傷、および病状の評価および説明を容易にする。しかしながら、医療撮像デバイスからキャプチャされたネイティブ２Ｄ医療画像は、解釈が高速になる傾向があるために依然として不可欠である。これらは、臨床医が閲覧しているものが取得システムから直接来ていることを保証してレビューする主要なデータでもあり、部分的なボリュームまたは不正確な再構築アーチファクトを回避する。
市場には、ネイティブ２Ｄ医療画像の視覚化を可能にする多くの医療ビューアアプリケーションが存在する。同様に、これらの画像を再構築して３Ｄ表現を作成することができるアプリケーションがいくつか存在する。今日存在する問題は、これら２つの分離されたアプリケーション間の能力の収束である。
本発明の多数の態様、実施形態、目的および利点は、添付の図面と併せて以下の詳細な説明を検討することにより明らかになり、図面では、同様の参照文字は、全体を通して同様の部分を指す。
本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なネイティブ／再構築医療撮像システムを示す図である。 本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システムによって用いられる例示的なプロセスのフロー図である。 本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システムによって用いられる別の例示的なプロセスのフロー図である。 本明細書に記載の様々な態様および実施形態による、３Ｄ互換サブセット情報を決定するためにモデリング構成要素によって用いられる例示的なプロセスのフロー図である。 本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システムによって用いられる別の例示的なプロセスのフロー図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像との相互作用およびそれらの閲覧の切り替えを容易にする制御機能を含む例示的な制御構成要素を示す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なグラフィカルユーザインターフェース（ＧＵＩ）の様々な実施形態を表す図である。 本明細書に記載の様々な態様および実施形態による、面積選択構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、面積選択構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、面積選択構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、配向修正構成要素および厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、配向修正構成要素および厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、配向修正構成要素および厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、配向修正構成要素および厚さ修正構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、回転構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、回転構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、回転構成要素の特徴および機能性をさらに実証する一連の視覚化を提供する図である。 本明細書に記載の様々な態様および実施形態による、同じ注釈を含むネイティブおよび再構築医療画像を表す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的なネイティブ／再構築医療撮像システムを示す図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的な方法のフロー図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的な方法のフロー図である。 本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的な方法のフロー図である。 様々な態様および実施形態による、サンプルコンピューティング環境の概略ブロック図である。 様々な態様および実施形態による、別のサンプルコンピューティング環境の概略ブロック図である。 様々な態様および実施形態による、別のサンプルコンピューティング環境の概略ブロック図である。 様々な態様および実施形態による、別のサンプルコンピューティング環境の概略ブロック図である。 様々な態様および実施形態による、別のサンプルコンピューティング環境の概略ブロック図である。 様々な態様および実施形態による、適切な操作環境を示す概略ブロック図である。
米国特許出願公開第２０１５／２６９７８５号明細書
本発明の１つまたは複数の実施形態の基本的な理解をもたらすために、以下に概要を提示する。この概要は、不可欠な要素または重要な要素を識別しようとするものではなく、特定の実施形態の範囲または特許請求の範囲を境界付けようとするものでもない。この概要の唯一の目的は、後に提示されるさらに詳細な説明の前置きとして、概念を簡略化された形で提示することにある。本明細書に記載の１つまたは複数の実施形態では、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるシステム、コンピュータ実装方法、装置および／またはするコンピュータプログラム製品が提供される。
一実施形態では、コンピュータ実行可能構成要素を保存するメモリと、メモリに保存されたコンピュータ実行可能構成要素を実行するプロセッサとを備えるシステムが提供される。コンピュータ実行可能構成要素は、医療撮像閲覧セッションに関連してＧＵＩで閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像を記述するインデックス付けされた画像データ情報を検索するように構成されたクエリ構成要素を備えることができる。構成要素は、インデックス付けされた画像データ情報を処理してネイティブ医療画像を関連する画像の１つまたは複数のセットにグループ化し、関連する画像の１つまたは複数のセットの各セットに対して、関連する画像を、１つまたは複数の３Ｄ表現を生成するためにそれぞれ使用することができる３Ｄ互換画像の１つまたは複数のサブセットにソートするように構成されたデータモデリング構成要素を備える。データモデリング構成要素は、関連する画像の１つまたは複数のセットを識別する第１の情報と、３Ｄ互換画像の１つまたは複数のサブセットを識別する第２の情報とを含むデータモデルをさらに生成することができる。コンピュータ実行可能構成要素は、データモデルを用いて、ＧＵＩにおいて、ネイティブ医療画像と１つまたは複数の３Ｄ表現のレンダリングを容易に切り替えるように構成された視覚化構成要素をさらに備えることができる。
別の実施形態では、プロセッサを備えるシステムによって、医療撮像閲覧セッションに関連してＧＵＩで閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像を記述するインデックス付けされた画像データ情報を検索することを含む方法が提供される。方法は、システムによって、ネイティブ医療画像を関連する画像の１つまたは複数のセットにグループ化すること、関連する画像の１つまたは複数のセットの各セットに対して、関連する画像を、１つまたは複数の３Ｄ表現を生成するためにそれぞれ使用することができる３Ｄ互換画像の１つまたは複数のサブセットにソートすることによって、インデックス付けされたメタデータに基づいてデータモデルを生成することを含む。システムは、関連する画像の１つまたは複数のセットを識別するデータモデルに第１の情報を、３Ｄ互換画像の１つまたは複数のサブセットを識別するデータモデルに第２の情報をさらに組み込む。方法は、システムによって、データモデルを用いて、ＧＵＩにおいて、ネイティブ医療画像と１つまたは複数の３Ｄ表現のレンダリングを容易に切り替えることをさらに含む。
別の実施形態では、プロセッサによって実行されると、操作の実行を容易にする実行可能命令を含む機械可読記憶媒体が提供される。これらの操作は、閲覧のための医療撮像検査の選択に応じて、医療撮像検査に関連する医療画像シリーズを識別する第１の情報を含むデータモデルを受信することと、医療画像シリーズに関連するネイティブ医療画像を表示するビューポートを有するＧＵＩを生成することであって、ネイティブ医療画像は、身体部を示すこととを含む。操作は、身体部の１つまたは複数の３Ｄモデルを生成するために使用することができるシリーズのネイティブ医療画像のサブセットを識別する第２の情報を含むデータモデルの更新バージョンを受信することと、データモデルの更新バージョンを受信することに基づいてＧＵＩの１つまたは複数の３Ｄレンダリング機能をアクティブ化することであって、１つまたは複数の３Ｄレンダリング機能は、ビューポートでのネイティブ医療画像と１つまたは複数の３Ｄモデルのレンダリングの切り替えを行うこととをさらに含む。様々な実装において、１つまたは複数の３Ｄレンダリング機能は、ネイティブ医療画像の厚さを増加させる厚さ修正機能を備える。これらの実装によれば、操作は、厚さの増加を示す入力の受信に基づいて、ネイティブ医療画像を、厚さによって定義される身体部のボリュームに対応する１つまたは複数の３Ｄモデルの３Ｄモデルで置き換えることをさらに含む。さらに、様々な実施形態において、実行可能命令は、同じグラフィカルユーザインターフェース内で様々なモダリティのネイティブ画像および三次元画像のレンダリングに関連する追加の操作をシームレスに追加する拡張可能なコーディング形式を備えることができる。
他の実施形態および様々な非限定的な例、シナリオおよび実装について、以下でより詳細に説明する。以下の説明および図面は、本明細書のある特定の例示的な実施形態を記載する。しかしながら、これらの実施形態は、本明細書の原理を用いることができる様々な方法のうちのいくつかを示しているにすぎない。説明される実施形態の他の利点および新規の特徴は、図面と併せて検討されるとき、本明細書の以下の詳細な説明から明らかになるであろう。
導入として、主題の開示は、ＧＵＩの同じ表示エリアまたはビューポートでネイティブ医療画像と再構築医療画像の閲覧をシームレスに切り替える医療撮像視覚化アプリケーションを提供するシステム、方法、装置およびコンピュータ可読媒体に関する。様々な実施形態によれば、医療撮像視覚化アプリケーションは、デフォルトでネイティブ画像ビューアとして挙動する。これに関して、視覚化アプリケーションは、あらゆるモダリティの様々なタイプの撮像検査（例えば、Ｘ線、コンピュータ断層撮影（ＣＴ）、マンモグラフィ（ＭＧ）、磁気共鳴撮像（ＭＲＩ）など）に関連するネイティブ医療画像をロードし、取得システムから出てきたネイティブ医療画像をＧＵＩに即座に表示するように構成することができる。例えば、１つまたは複数の実施形態では、特定のデータセットが閲覧用に選択された後（例えば、特定の患者の特定の撮像検査または撮像検査のグループ）、視覚化アプリケーションは、ＧＵＩの１つまたは複数のビューポートでデータセットの１つまたは複数のネイティブ医療画像を最初にレンダリングするように構成することができる。そのために、視覚化アプリケーションは、データセットのネイティブ入力医療画像のコンテンツを記述するデータモデルに依存する。１つまたは複数の実装では、視覚化アプリケーションは、クエリ可能なデータベースでインデックス付けされた情報からこのデータモデルを生成する（例えば、バックエンド操作として）ように構成することができ、これにより、初期表示を高速で信頼性が高く、かつ堅牢にすることができる。このデータモデルの別の不可欠な特性は、３Ｄレンダリングと互換性があることであり、これは、検査に存在するネイティブ医療画像を関連するボリュームジオメトリを有するコヒーレント画像セットにソートし、セットを３Ｄ再構築または３Ｄボリュームとして後でレンダリングすることを可能にすることを意味する。いくつかの実装では、データモデル１２０は、ネイティブおよび再構築医療画像のウェブベースのレンダリングを可能にするＪＳＯＮデータモデルであり得る。
最初のネイティブ画像表示をサポートするクエリと共に、視覚化アプリケーションはまた、コヒーレントセットの画像に関連するピクセルデータを外部データストアからフェッチし、視覚化アプリケーションによって用いられるネイティブおよび３Ｄレンダリングサービスにアクセス可能なメモリ（例えば、バックエンドサーバのキャッシュ）にピクセルデータをロードするバックグラウンド検索タスクをトリガする。その結果、ネイティブ画像を即座にレンダリングすることができ、表示されたネイティブ医療画像に関連する３Ｄ再構築を効率的に生成してその場で表示することができる。例えば、医療撮像閲覧セッションの開始時にＧＵＩで１つまたは複数のネイティブ医療画像を最初にレンダリングすることに関連して、３Ｄレンダリングと互換性のあるネイティブ医療画像のサブセットを識別し、３Ｄ互換画像で生成することができる３Ｄ再構築の幾何学的ボリュームを決定し、ピクセルデータを検索して３Ｄ再構築を生成することを伴う、様々なバックエンド操作を開始することができる。
バックグラウンドタスクが完了し、システムが表示されたネイティブ画像に関連する３Ｄ再構築を生成および提供する準備ができたとき、視覚化アプリケーションは、ユーザがネイティブ医療画像からネイティブ医療画像に関連する３Ｄ再構築に閲覧を切り替えることを可能にすることができる。例えば、視覚化アプリケーションは、表示されたネイティブ医療画像の１つまたは複数に関連する３Ｄ再構築が閲覧に利用可能であることをユーザに通知することができる。視覚化アプリケーションは、ＧＵＩを介して様々な制御機能をさらに提供することができ、これにより、ユーザはネイティブ医療画像と３Ｄ再構築の閲覧を切り替えることが可能になる。例えば、様々な実装において、制御機能は、ユーザが表示されたネイティブ医療画像の厚さを増加させることを可能にする厚さ修正機能を含むことができる。厚さを増加させる入力の受信に基づいて、視覚化アプリケーションは、厚さの増加量に対応するボリュームを有する表示されたネイティブ医療画像に関連する３Ｄ再構築を生成および／または提供するように（バックエンド）３Ｄレンダリング構成要素に指示することが可能である。視覚化アプリケーションは、ＧＵＩで３Ｄ再構築をさらにレンダリングすることができる。
いくつかの実施形態では、ＧＵＩは、状況依存型および反応型であり得る。これに関して、ボリュームがバックエンドで利用可能になると、ＧＵＩに含まれる制御機能がより豊かになり得る。例えば、いくつかの実装では、厚さ修正制御機能は、選択されたネイティブ医療画像セットが３Ｄで閲覧することができる場合、および／または実際に３Ｄでレンダリングが可能であるときのみ、表示またはアクティブ化され得る。一実施形態では、初めてのユーザに対して、主題の視覚化アプリケーションはチュートリアルモードで実行することができ、ＧＵＩは、利用可能になると新しいＧＵＩ制御をユーザに明示的に指摘する。
本明細書で使用する場合、ネイティブ医療画像は、医療撮像取得デバイスまたは医療撮像取得デバイスによってキャプチャされた画像を指す。例えば、医療撮像キャプチャデバイスは、限定はしないが、従来のＸ線デバイス、デジタルラジオグラフィ（ＤＸ）Ｘ線デバイス、Ｘ線血管造影（ＸＡ）デバイス、パノラマＸ線（ＰＸ）デバイス、コンピュータ断層撮影（ＣＴ）デバイス、マンモグラフィ（ＭＧ）デバイス（トモシンセシスデバイスを含む）、磁気共鳴撮像（ＭＲＩ）デバイス、超音波（ＵＳ）撮像デバイス、カラーフロードプラ（ＣＤ）デバイス、位置放出断層撮影（ＰＥＴ）デバイス、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）デバイス、核医学（ＮＭ）撮像デバイスなどを含むことができる。これらの医療撮像デバイスのほとんどは、２Ｄネイティブ医療画像をキャプチャするように構成される。したがって、ほとんどの実装では、ネイティブ医療画像は２Ｄである。しかしながら、いくつかの実装では、上記の医療撮像デバイスまたは将来の医療撮像デバイスの１つまたは複数は、ネイティブ３Ｄ医療画像を生成することができる可能性がある。したがって、いくつかの実装では、ネイティブ医療画像は、３Ｄ画像を含むことができる。
本明細書で使用する場合、再構築医療画像は、１つまたは複数のネイティブ医療画像に基づいて生成されたコンピュータ生成医療画像を指す。再構築医療画像は、一般に、いくつかの組み合わされたネイティブ医療画像に基づいて生成された３Ｄモデルを指す。例えば、３Ｄ再構築医療画像は、三角形、四角形、点群、および／またはｎ角形の１つまたは複数のメッシュを含むことができる。３Ｄ再構築医療画像はまた、三次元空間の共通の表面積にマッピングされた２つのパラメータの関数である不均一有理基底スプライン（ＮＵＲＢＳ）などの湾曲面を含んでもよい。いくつかの態様では、３Ｄ再構築医療画像は、関連する色、テクスチャまたは素材のプロパティを有し得る。３Ｄ画像、３Ｄモデル、３Ｄ再構築、３Ｄ視覚化、および３Ｄレンダリングという用語は、本明細書では互換的に使用される。いくつかの実装では、再構築医療画像はまた、１つまたは複数のネイティブ医療画像に基づいて生成された再構築２Ｄ画像を含み得る。例えば、様々な実装において、ユーザは、元のネイティブ医療画像キャプチャによって提供されない身体部の面積または領域を示す２Ｄ医療画像を閲覧したい場合がある。例えば、ユーザは、元のネイティブ医療画像キャプチャによって提供されない視点または配向から身体部の面積または一部を閲覧したい場合がある。これに関して、再構築２Ｄ医療画像は、所望の配向に対する１つまたは複数の異なる視点／方向からキャプチャされた２つ以上のネイティブ医療画像に含まれる画像データ（例えば、ピクセル）に基づいて、所望の視点／配向から生成することができる。別の例では、ユーザは、視覚的な強化または修正を含むネイティブ医療画像の２Ｄバージョンを閲覧したい場合がある。この例によれば、何らかの方法で視覚的に修正されたネイティブ２Ｄ医療画像は、再構築医療画像と見なすことができる。
例えば、様々な実装において、再構築医療画像は、多断面再構築（ＭＰＲ）、曲線ＭＰＲ、最大輝度投影（ｍａｘ−ＩＰ）、最小輝度投影（ｍｉｎ−ＩＰ）、平均輝度投影（ａｖｇ−ＩＰ）、ボリュームレンダリング（ＶＲ）、または表面陰影表示（ＳＳＤ）として生成された単一ボリュームの視覚化を含むことができる。ＭＰＲは、３Ｄデータを使用して、軸画像から再構築された矢状および冠状断面など、取得中に直接取得されなかった他の平面を示す。ボリュームデータ全体が利用可能であるため、必要な平面を達成することが可能であり、解剖学的構造に平行な曲面を得ることさえ可能である。曲線ＭＰＲは、切断面が血管に平行である血管の分析にも使用することができ、したがって血管の解剖学的詳細を示す。血管に垂直に切断すると、血管の実際の寸法を測定することができる。Ｍａｘ−ＩＰは、選択されたビュー角度で、ビューに垂直な線に沿った最大輝度値が、再構築された身体の２Ｄ表示におけるこのピクセルの線を表す再構築である。ｍａｘ−ＩＰのバリエーションは、ｍｉｎ−ＩＰおよびａｖｇ−ＩＰを含み、ビューラインに沿った最小または平均値は、線を表している。これらのタイプの再構築は、気道や副鼻腔などのＣＴ検査で空気で満たされた臓器を示すために使用することができる。ＶＲ再構築では、データのボリューム全体を取得し、ビューアの目からデータセットを通る線に沿った各ボクセル（ボリュームピクセル）の寄与を算出し、ディスプレイの各ピクセルの合成結果を表示する。ＳＳＤは、データのボリューム内で見かけの表面を決定し、結果として得られる表面を表示するプロセスである。表面の輪郭は、通常、選択された対象の領域の境界から派生した多数の重なり合うポリゴンとしてモデル化される。仮想光源が各ポリゴンに対して計算され、オブジェクトが結果として得られる表面陰影と共に表示される。様々な実施形態において、本明細書では厚いスラブＭＰＲと呼ばれるＭＰＲのバージョンを使用して、表示される視覚化の厚さの増減に応じて３Ｄ再構築を生成することができる。厚いスラブＭＰＲでは、複数の薄いＭＰＲビューが事前定義されたレンダリングアルゴリズム（例えば、ＭＩＰ、ＭｉｎＩＰ、ＡｖｇＩＰ、ＶＲ、カラーエンハンストＶＲなど）と組み合わされる。
再構築医療画像はまた、マルチボリュームの視覚化を含むことができ、２つ以上のボリュームは、同じ３Ｄ視覚化で表示される。例えば、マルチボリュームの視覚化は、同じシリーズから生成された統合またはオーバーレイされた３Ｄボリュームまたはマスクを有するＭＰＲスライスを含み得る。いくつかの実装では、３Ｄ再構築医療画像は、異なる撮像モダリティでキャプチャされた画像から生成された２つ以上のボリュームを含むことができる。これらの実装では、異なる画像モダリティにより、視覚化の異なる視覚的特徴（例えば、色、テクスチャ、深さなど）を提供することが可能である。例えば、３Ｄ視覚化は、ＣＴ画像データから生成された３Ｄ特徴がその中またはその上に統合されたＰＥＴ画像から生成された３Ｄボリュームを含むことができる。別の例では、３Ｄ医療画像視覚化は、異なるモダリティ（例えば、ＣＴ）の他の画像データから生成されたいくつかの追加の解剖学的特徴をボリュームが過度に描写するネイティブ２Ｄ画像（例えば、Ｘ線画像）を含み得る。いくつかの実装では、３Ｄ再構築医療画像は、内視鏡ビューを含んでもよい。例えば、内視鏡ビューは、中心線の追跡に基づいて血管または同様の解剖学的構造の内側のＶＲを含み得る。内視鏡ビューは、中心線の追跡に基づいて展開された平らなビューとしてレンダリングされる、血管または同様の解剖学的構造の解剖ビューも含むことができる。再構築医療画像は、トレースに沿ってまっすぐ湾曲した再編成を提供する視覚化、定位表面投影、三角形メッシュ、映画的レンダリング、ＤＴＩファイバの視覚化なども含むことができる。いくつかの実施形態では、再構築医療画像はまた、ベクトルグラフ、速度ＭＩＰ、流線、時間分解パスラインなどを提供する四次元（４Ｄ）フロー視覚化を含んでもよい。例えば、いくつかの実装では、３Ｄ再構築医療画像を時系列に関連して閲覧することができるため、４Ｄ閲覧エクスペリエンスを提供する。これに関して、時系列は、すべてのタイプの多相取得（灌流だけでなく拡散、ＤＴＩなど）を含むことができる。
様々な実施形態において、主題の医療撮像システム、方法およびコンピュータ可読媒体で使用することが可能な特定のタイプのネイティブおよび再構築医療画像は、デジタル撮像と医学における通信（ＤＩＣＯＭ）規格に準拠している限り異なり得る。ＤＩＣＯＭは、医療撮像の情報を処理、保存、印刷、および送信するための世界標準である。これには、ファイル形式の定義とネットワーク通信プロトコルが含まれる。ＤＩＣＯＭは、世界中で医療画像の保存、交換、および送信に使用されている。例えば、ＤＩＣＯＭは、ラジオグラフィ、超音波検査、コンピュータ断層撮影、磁気共鳴、マンモグラフなどの様々な撮像モダリティの標準を組み込む。ＤＩＣＯＭは、画像交換（例えば、ＤＶＤなどのポータブルメディアを介して）、画像圧縮、３Ｄ視覚化、画像表示、および結果レポート用のプロトコルを含む。
本開示で使用する場合、「ユーザ」などの用語は、適切なコンピューティングデバイスを使用して、対象のネイティブ／再構築医療撮像システムとインターフェースする人、エンティティ、システム、またはそれらの組み合わせを指す。加えて、「患者」という用語は、主題の開示全体を通じて、ネイティブ医療画像がキャプチャされる人を指すために使用される。しかしながら、患者は、人間、動物、またはネイティブ医療画像をキャプチャすることができる別の存在を含むことができることを理解されたい。
次に、図面を参照して上記で概説した実施形態をより詳細に説明するが、同様の参照番号は、全体を通して同様の要素を指すために使用される。以下の説明では、説明の目的で、実施形態の完全な理解を提供するために多数の特定の詳細が述べられている。しかしながら、これらの特定の詳細なしで実施形態を実施することができることは明らかであろう。他の例では、実施形態の説明を容易にするために、周知の構造およびデバイスがブロック図形式で示されている。
ここで図面を参照すると、図１は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的なネイティブ／再構築医療撮像システム１００を示す。本開示において解説されるシステム、装置、またはプロセスの態様は、例えば、１つまたは複数の機械に関連する１つまたは複数のコンピュータ可読媒体に具現化される、機械内に具現化された機械実行可能構成要素を構成することができる。そのような構成要素は、１つまたは複数の機械、例えば、コンピュータ、コンピューティングデバイス、仮想マシンなどによって実行されると、機械に本明細書に記載の操作を行わせることができる。
システム１００および／またはシステム１００の構成要素は、ハードウェアおよび／またはソフトウェアを使用して、本質的に高度に技術的であり、抽象的ではなく、人間が一連の精神的行為として行うことができない問題を解決するために用いることができ、例えば、リモートの様々なソースからの関連するＤＩＣＯＭデータを分析および検索し、３Ｄレンダリングと互換性のある方法でＤＩＣＯＭデータをインデックス付けおよび処理し、表示されたネイティブ医療画像とのユーザ相互作用に基づいて再構築医療画像を生成およびレンダリングし、同じビューポートでのネイティブ医療画像と再構築医療画像のレンダリングを切り替える、などを行う。さらに、行われるプロセスのいくつかは、単一のアプリケーションによるネイティブおよび再構築医療画像のレンダリングに関連する定義されたタスクを実行するための専用コンピュータによって行われ得る。システム１００は、様々な技術的改善をネイティブ医療および再構築医療撮像アプリケーションに提供することができる。例えば、システム１００は、２つの別々のアプリケーションを同期させる必要なく、同じビューポートでネイティブおよび再構築医療画像の両方を閲覧することに関連するシームレスなワークフローを提供し得る。例えば、ネイティブおよび再構築画像レンダリングの両方と互換性のある単一のアプリケーションを提供することによって、フロントエンドでのデータモデル間の変換は必要ではなくなる。さらにビューポートレベルでは、２つのアプリケーション間で変更イベントを伝播するために必要な追加の同期アプリケーションプログラムインターフェース（ＡＰＩ）層を排除することができる。このような同期はバグが発生しやすいため、イベントバッファリングの問題を回避することが難しい場合が多いことから、２つの別々のアプリケーション間の同期を排除することは大きな利点を提供する。さらに、そのようなＡＰＩはまた、前述の厚み付けスライダなどの再構築医療撮像の切り替え制御機能に固有の本主題を実装することを困難にする。加えて、２つのアプリケーションが同じＧＵＩ技術スタックに基づいていない場合（すなわち、非ウェブベースのアプリケーション）、複雑なウィンドウ管理ハックが必要である。さらに、単一のアプリケーションを用いてネイティブおよび再構築医療画像を閲覧する場合、別々のアプリケーションで使用するための別々のデータセットをロードするのではなく、アプリケーションのネイティブおよび３Ｄレンダリングプロセスで使用するための単一の画像のセットをロードすることができる。その結果、ネットワーク帯域幅とリソースの効率的な使用を大幅に改善することが可能となり得る。
本明細書に記載のシステム１００および／もしくはシステム１００の構成要素または他のシステムは、医療撮像視覚化アプリケーションに関連する技術、コンピュータネットワーク、インターネットなどの進歩を通じて生じる新しい問題を解決するために用いることができる。例えば、主題のアプリケーションのフロントエンドコードとバックエンドコードの両方の設計は、拡張可能である。これに関して、システム１００の様々な構成要素は、同じグラフィカルユーザインターフェース内で様々なモダリティのネイティブおよび３Ｄ画像のレンダリングに関連する追加の操作をシームレスに追加する拡張可能なコーディング形式でコンピュータ実行可能命令を提供することができる。したがって、主題のネイティブ／再構築医療撮像アプリケーションは、ネイティブ医療画像から、本明細書に記載の様々なネイティブおよび再構築医療撮像モダリティを含む、様々なモダリティの再構築医療画像、ならびに新たに開発されたネイティブおよび再構築医療撮像モダリティにシームレスにスイッチする設計能力の恩恵を受ける新しい臨床アプリケーションの実装を促進することができる。
ネイティブ／再構築医療撮像システム１００は、ネイティブ医療画像およびネイティブ医療画像の３Ｄ再構築バージョンへのアクセス、閲覧および相互作用に関連する様々なサービスを提供するように構成することができる。様々な実装において、これらのサービスは、ウェブアプリケーション、クラウドアプリケーション、シンクライアントアプリケーション、シッククライアントアプリケーション、ネイティブクライアントアプリケーション、ハイブリッドクライアントアプリケーションなど、ネイティブ／再構築医療撮像ソフトウェアアプリケーションに具現化される。例えば、示される実施形態では、ネイティブ／再構築医療撮像システム１００は、様々なフロントエンドおよびバックエンド構成要素を含む。これに関して、フロントエンド構成要素は、ネイティブ／再構築医療撮像アプリケーションの表示層に関連するものを含むことができ、バックエンド構成要素は、ネイティブ／再構築医療撮像アプリケーションのデータアクセス層に関連するものを含む。例えば、フロントエンド構成要素は、様々なタイプのネイティブ医療画像（例えば、ＤＩＣＯＭ画像）の閲覧およびそれらとの相互作用、ならびにネイティブ医療画像とネイティブの医療画像の再構築３Ｄ表現の閲覧の切り替えを提供するＧＵＩを生成する視覚化構成要素１０２を含むことができる。バックエンド処理構成要素は、ＧＵＩの特徴および機能性を可能にする様々な処理サービス構成要素１３６を含むことができる。
バックエンド構成要素はまた、ネイティブ医療画像データ１３２を含む１つまたは複数のデータストア１３０を含む。例えば、１つまたは複数のデータストア１３０は、複数の患者および医療機関のネイティブ医療画像データ１３２を保存することができる。このネイティブ医療画像データ１３２は、限定はしないが、従来のＸ線デバイス、デジタルラジオグラフィ（ＤＸ）Ｘ線デバイス、Ｘ線血管造影（ＸＡ）デバイス、パノラマＸ線（ＰＸ）デバイス、コンピュータ断層撮影（ＣＴ）デバイス、マンモグラフィ（ＭＧ）デバイス（トモシンセシスデバイスを含む）、磁気共鳴撮像（ＭＲＩ）デバイス、超音波（ＵＳ）撮像デバイス、カラーフロードプラ（ＣＤ）デバイス、位置放出断層撮影（ＰＥＴ）デバイス、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）デバイス、核医学（ＮＭ）撮像デバイスなどを含む、様々な医療撮像デバイスを介してキャプチャされたネイティブ医療画像を含むことができる。様々な実施形態において、ネイティブ医療画像データ１３２は、ＤＩＣＯＭ規格またはデータモデルに従って保存される。これに関して、それぞれのネイティブ医療画像は、ＤＩＣＯＭファイル形式に従って保存することができる。例えば、ＤＩＣＯＭファイルは、ファイルヘッダ部分、ファイルメタ情報部分、および単一のサービスオブジェクトペア（ＳＯＰ）インスタンスを含む。ヘッダは、１２８バイトのプリアンブルで構成され、その後に文字ＤＩＣＭがすべて大文字で続く。ヘッダに続くのは、ファイルメタ情報である。この部分は、タグ付けされたファイル形式に従い、属する患者（例えば、患者名、患者識別番号、患者の生年月日など）、属する検査（例えば、検査の汎用識別子（ＵＩＤ）、検査日、担当医師、アクセッション番号など）、属するシリーズおよび検査（例えば、シリーズＵＩＤ、シリーズ番号、モダリティタイプなど）など、ファイルに関する情報またはメタデータを含む。このメタデータにより、ＤＩＣＯＭファイルにクエリおよびインデックスを作成することが可能になる。
例えば、ＤＩＣＯＭモデルでは、患者には、１つまたは複数の検査（試験または処置と呼ばれることもある）がある場合がある。各検査は、１つまたは複数のシリーズからなり得る。シリーズは、一般に、特定のタイプまたはモダリティのデータ、または取得デバイス上の患者の位置に相当する。各シリーズは、最も一般的なネイティブ医療画像である１つまたは複数のＤＩＣＯＭオブジェクトインスタンスを含むことができるが、レポート、波形オブジェクトなどを含むこともできる。この情報はすべて、検査の各ＤＩＣＯＭオブジェクトに含まれる。したがって、各々１０個のインスタンスを有する２つのシリーズを含む患者に対して検査が行われる場合、すべてのインスタンスは、属する患者、属する検査、属するシリーズ、および画像またはインスタンスに関する様々な他の潜在的な情報を識別するメタデータに関連付けられる。
様々な実施形態において、ネイティブ医療画像に関連する患者、検査、および／またはシリーズを識別する情報（例えば、メタデータ）に加えて、ネイティブ医療画像データ１３２に含まれるネイティブ医療画像は、限定はしないが、取得属性、位置属性、画像番号、画像タイプ、割り当てられたビット、ビット、ストア、高ビット、ピクセルの行と列の数、ピクセルごとのサンプル、平面構成、ピクセル表現、測光解釈、ピクセルデータ、ウィンドウ幅、ウィンドウ中心、ピクセル幅、ピクセル高さ、ピクセル配向、画像解像度などを含む、画像の特性または属性を記述する情報にも関連付けることができる。メタデータは、ネイティブ医療画像に含まれる身体部の特定のキャプチャビューまたは部分に関する情報を含むこともできる。例えば、いくつかの実装では、身体部のキャプチャビューまたは部分に関する情報には、画像番号（例えば、画像が身体部の画像のシーケンスまたはシリーズに関連付けられている場合）、患者の身体に対する画像の定義された配向（例えば、軸、冠状、矢状、右、左など）、キャプチャ軸などを含むことができる。加えて、ネイティブ画像は、３Ｄ座標空間および／または患者の身体に対するその３Ｄ座標平面位置を定義するメタデータに関連付けることができる。例えば、ネイティブ画像に描写かれた身体部は、３Ｄ座標空間に関連付けることができ、各ネイティブ画像は、座標空間に対するネイティブ画像によって表される平面の位置、および座標空間に対する平面の配向または角度を定義する情報に関連付けることができる。ネイティブ画像に関連するメタデータはまた、医療撮像取得機器（例えば、メーカー、施設名）、ネイティブ医療画像に含まれる身体部、画像が造影剤注入を含むかどうかなどに関する情報を含み得る。
いくつかの実施形態では、１つまたは複数のデータストア１３０はまた、インデックス付けされた医療画像データ情報１３４を含むことができる。インデックス付けされた医療画像データ情報１３４は、上述のネイティブ医療画像データ１３２の様々な特性および属性を識別、編成および関連付けるインデックス付けされた情報を含むことができる。例えば、インデックス付けされた医療画像データ情報１３４は、関連するメタデータに基づいて１つまたは複数のデータストア１３０に含まれるそれぞれのネイティブ医療画像を編成する、テーブルまたは他の適切なデータ構造を含むことができる。例えば、インデックス付けされた医療データ情報は、１つまたは複数のデータストア１３０に含まれるネイティブ医療画像のインスタンスおよびそれらのそれぞれの場所を識別する情報を含むことができる。識別された各ネイティブ医療画像について、インデックス付けされた医療画像データ情報１３４はまた、限定はしないが、ネイティブ医療画像がキャプチャされた患者を識別する情報、ネイティブ医療画像に含まれる身体部、画像を伴う医療撮像検査、画像に関連するシリーズ、キャプチャ日時、ネイティブ医療画像または医療画像のタイプをキャプチャした医療撮像キャプチャデバイス、画像が造影剤注入を含むかどうか、ネイティブ医療画像に含まれる身体部の特定のキャプチャビューまたは部分（例えば、画像のシリーズまたはシーケンスに対する画像番号、患者の身体に対する画像のキャプチャ配向、キャプチャ軸、３Ｄ座標空間および／または患者の身体に対するその３Ｄ座標平面位置など）、ピクセル特徴（例えば、ピクセルの行数、ピクセルの列数、ピクセル幅、ピクセル高さ、ピクセル表現、ピクセル配向、画像解像度など）などを含む、インデックス付けされたメタデータを含んでもよい。様々な実施形態において、インデックス付けされた医療画像データ情報１３４は、ＤＩＣＯＭモデルおよびタグ階層に従って編成およびインデックス付けすることができる。
主題のネイティブ／再構築医療撮像システム１００の展開アーキテクチャは、様々であり得る。しかしながら、図示されていないが、ネイティブ／再構築医療撮像システム１００は、コンピュータ実行可能構成要素（例えば、視覚化構成要素１０２、処理サービス構成要素１３６および１つまたは複数のデータストア１３０）を保存する少なくとも１つのメモリに通信可能に結合することができることを理解されたい。さらに、ネイティブ／再構築医療撮像システム１００は、コンピュータ実行可能構成要素を実行する少なくとも１つのプロセッサに通信可能に結合することができる。様々な実施形態において、ネイティブ／再構築医療撮像システム１００は、クラウドアーキテクチャ、仮想化エンタープライズアーキテクチャ、またはフロントエンド構成要素およびバックエンド構成要素の１つがクライアント／サーバ関係で分散されるエンタープライズアーキテクチャで展開することができる。これらの実施形態では、ネイティブ／再構築医療撮像システム１００の特徴および機能性は、ウェブアプリケーション、クラウドアプリケーション、シンクライアントアプリケーション、シッククライアントアプリケーション、ネイティブクライアントアプリケーション、ハイブリッドクライアントアプリケーションなどに展開することができ、フロントエンド構成要素の１つまたは複数は、クライアントデバイス（例えば、モバイルデバイス、ラップトップコンピュータ、デスクトップコンピュータなど）に提供され、バックエンド構成要素の１つまたは複数は、クラウド、仮想化サーバ、仮想化データストア、リモートサーバ、リモートデータストア、ローカルデータセンタなどに提供され、ネットワーク（例えば、インターネット）を介してアクセスされる。例えば、１つまたは複数の例示的な実施形態では、ネイティブ／再構築医療撮像システム１００のフロントエンドおよびバックエンド構成要素は、適切なブラウザを使用してクライアントデバイスによってアクセスすることができるウェブアプリケーションとして展開され得る。これに関して、視覚化構成要素１０２は、ネイティブおよび再構築医療画像のウェブベースのレンダリングのために提供することができる。しかしながら、ネイティブ／再構築医療撮像システム１００は、このアーキテクチャ構成に限定されないことを理解されたい。例えば、別の実施形態では、ネイティブ／再構築医療撮像システム１００は、ローカルウェブベースのアプリケーションとして、単一のローカルデバイス（例えば、デスクトップコンピュータ）で展開することができる。主題のネイティブ／再構築医療撮像システム１００の様々な例示的な展開アーキテクチャは、図１６〜図２１を参照して以下で説明される。
ネイティブ／再構築医療撮像システム１００の様々な構成要素は別々の構成要素として示されているが、様々な構成要素は、１つまたは複数の他の構成要素から構成することができることに留意されたい。さらに、実施形態は、簡潔にするために示されていない追加の構成要素を備えることができることに留意されたい。加えて、本明細書に記載の様々な態様は、互いに通信する１つのデバイスまたは２つ以上のデバイスによって行われ得る。例えば、主題のネイティブ／再構築医療撮像システム１００の１つまたは複数の構成要素および／またはデータストアは、別々の（実または仮想）機械に位置し、ネットワーク（例えば、インターネット）を介してアクセスされ得る。
１つまたは複数の実施形態によれば、ネイティブ／再構築医療撮像システム１００は、視覚化構成要素１０２と、処理サービス構成要素１３６と、１つまたは複数のデータストア１３０とを含むことができる。これらのフロントエンドおよびバックエンド構成要素は、ネイティブおよび再構築医療画像を閲覧およびそれらと相互作用するネイティブ／再構築医療撮像アプリケーションを集合的に形成する（および／またはアプリケーションによって用いられる）ことができる。ネイティブ医療画像または再構築医療画像のみを閲覧する従来の医療撮像視覚化アプリケーションとは異なり、主題のネイティブ／再構築医療撮像アプリケーションは、同じ表示エリア（例えば、ビューポート）でネイティブおよび再構築医療画像の両方を閲覧し、同じ表示エリアでネイティブ医療画像と再構築医療画像の閲覧をシームレスに切り替えることが可能である。
特に、主題のネイティブ／再構築医療撮像アプリケーションは、ユーザが１つまたは複数のデータストア１３０に含まれる関連するネイティブ医療画像にアクセスして閲覧することを可能にし（例えば、ネイティブ医療画像データ１３２として）、それによりネイティブ画像ビューアアプリケーションの特徴および機能性を提供することができる。加えて、従来のネイティブビューア撮像アプリケーションとは異なり、主題のネイティブ／再構築医療撮像アプリケーションは、同じ表示エリアまたはビューポートでネイティブ医療画像の３Ｄ表現を閲覧することもできる。そのために、視覚化構成要素１０２は、患者の撮像検査に含まれるネイティブ医療画像または閲覧用に選択された医療画像データのセットのコンテンツを記述するデータモデル（例えば、データモデル１２０）に依存する。データモデルはまた、３Ｄレンダリングと互換性がある。これに関して、データモデルは、選択されたデータセットのネイティブ医療画像を関連するボリュームジオメトリを有するコヒーレント画像サブセットにソートする情報を含むことができ、それによりサブセットを３Ｄモデルとして後でレンダリングすることを可能にする。１つまたは複数の実装では、このデータモデルは、インデックス付けされた医療画像データ情報１３４および／または１つまたは複数のデータストア１３０に含まれるネイティブ医療画像データ１３２に関連するメタデータに基づいて、１つまたは複数の処理サービス構成要素１３６のデータモデリング構成要素１１８によって生成され得る。データモデル１２０、およびデータモデル１２０を生成するためにデータモデリング構成要素１１８によって用いられるメカニズムの詳細な説明は、図２、図４および５図を参照して以下で説明される。
１つまたは複数の実施形態では、視覚化構成要素１０２は、限定はしないが、インターフェース構成要素１０４、入力受信構成要素１０８、選択構成要素１１０、制御構成要素１１２および処理サービス通信構成要素１１４を含む、様々なフロントエンド表示層構成要素を含むことができる。
インターフェース構成要素１０４は、ネイティブ医療画像と再構築医療画像の閲覧およびそれらとの相互作用を提供するＧＵＩを定義および／または生成するように構成することができる。ＧＵＩは、適切なクライアントデバイスのディスプレイを介して表す、または表示することができる。様々な実装において、インターフェース構成要素１０４は、ビューポート構成要素１０６を含むことができる。ビューポート構成要素１０６は、入力受信構成要素１０８を介して受信されたユーザ入力に基づいて、ＧＵＩで１つまたは複数のビューポートを生成し、データモデル（例えば、データモデル１２０）の適切な表現を表示する（例えば、ＪａｖａＳｃｒｉｐｔ／ＨＴＭＬ５を使用して）ように構成することができる。様々な実装において、閲覧用に選択された医療撮像データセット（例えば、特定の患者または検査に関連するデータセットなど）は、異なるＤＩＣＯＭシリーズに関連する関連する画像の異なるセットまたはグループなど、関連する画像の異なるセットまたはグループを含むことができる。これらの実装によれば、ビューポート構成要素１０６は、関連する画像の異なるグループまたはセットの各々を異なるビューポートでレンダリングするように構成することができる。
ビューポート構成要素１０６は、データモデル１２０の更新に基づいて、かつＧＵＩとのユーザ相互作用に応じて、閲覧セッションの過程でＧＵＩを適合させるように構成することができる。１つまたは複数の実施形態では、ビューポート構成要素１０６は、データモデル１２０への変更を伝播することによって、ネイティブ医療画像またはネイティブ医療画像に関連する３Ｄビューを示す複数のビューポートインスタンスの同期を管理するように構成することができる。
入力受信構成要素１０８は、インターフェース構成要素１０４によって生成およびレンダリングされるＧＵＩとの相互作用に関連するユーザ入力を受信および解釈するように構成することができる。特に、入力受信構成要素１０８は、制御アイコンを選択し、それぞれの制御アイコンの機能性を使用してＧＵＩに表示されるネイティブおよび再構築医療画像と相互作用するコマンドを受信および解釈することができる。例えば、様々な実装において、入力受信構成要素１０８は、インターフェース構成要素１０４にネイティブ医療画像をネイティブ医療画像に関連する再構築医療画像で置換させることができる、ＧＵＩのビューポートに表示されるネイティブ医療画像に対するユーザ入力を受信することができる。別の例では、ＧＵＩがネイティブまたは再構築医療画像を表示する２つ以上のビューポートを含む実装において、入力受信構成要素１０８は、同時に２つ以上のビューポートとの相互作用に関連する入力を受信することができる。２つ以上のビューポートが異なるネイティブまたは再構築医療画像をそれぞれ表示するいくつかの実施形態では、入力受信構成要素１０８は、ビューポートの１つに含まれる視覚化との相互作用に関連するユーザ入力を受信し、他のビューポートに含まれる視覚化を変更または修正するために入力を自動的に適用することができる。例えば、入力受信構成要素１０８は、注釈またはマークをあるビューポートのネイティブまたは再構築医療画像に適用し、注釈またはマークを他のビューポートの視覚化に自動的に適用することを伴うユーザ入力を受信することができる。
選択構成要素１１０は、データモデル１２０およびネイティブ画像処理サービス（例えば、ネイティブ画像処理構成要素１２６）または３Ｄレンダリングサービス（例えば、３Ｄレンダリング構成要素１２８）をアドレス指定することによって、受信されたユーザ入力に基づいてＧＵＩに表示するための適切なネイティブ医療画像または３Ｄ表現を決定および／または選択するように構成することができる。特に、閲覧のための医療画像データセットを選択または示す受信されたユーザ入力に基づいて、選択構成要素１１０は、データモデル１２０を用いて、どのネイティブ医療画像をＧＵＩに表示し、それらをどのように表示するか（例えば、単一のビューポート、２つ以上の異なるビューポートなど）を決定することができる。選択構成要素１１０は、ＧＵＩに表示するために適切なネイティブ２Ｄ画像を処理して返すようにネイティブ画像処理構成要素１２６をさらに呼び出すか、あるいは指示することができる。加えて、ネイティブ２Ｄ画像の閲覧から画像に関連する３Ｄ表現の閲覧への切り替えを希望することを示す受信された入力に基づいて、選択構成要素１１０は、データモデル１２０を用いて、画像に関連する３Ｄ互換情報を識別または決定することができる。例えば、データモデルに含まれるこの３Ｄ互換情報は、画像に関連するボリュームおよび／またはボリュームの幾何学的パラメータを構成するネイティブ医療画像のサブセットを識別することができる。選択構成要素１１０は、データモデルの画像の３Ｄ互換情報に基づいて、ＧＵＩに表示するための適切な３Ｄ表現を生成して返すように３Ｄレンダリング構成要素１２８をさらに呼び出すか、あるいは指示することができる。
制御構成要素１１２は、ユーザが表示されたビューと相互作用し、ネイティブ再構築と３Ｄ再構築とをシームレスにスイッチすることを可能にする様々なフロントエンド（例えば、ウェブベースの）制御機能を提供することができる。これらの制御機能は、ＧＵＩの１つまたは複数の制御アイコンまたはウィジェットによって提供され得る。例えば、制御アイコンは、ユーザが閲覧用にネイティブ医療画像および／または再構築医療画像を選択する入力を提供することを可能にする１つまたは複数のアイコンを含むことができる。制御アイコンはまた、ユーザがネイティブ医療画像の閲覧から再構築医療画像の閲覧へ、またはその逆への切り替えを制御する入力を提供することを可能にする１つまたは複数のアイコンを含むことができる。例えば、様々な実装において、制御機能は、ユーザが表示されたネイティブ医療画像の厚さを増加させることを可能にする厚さ修正機能を含むことができる。厚さを増加させる入力の受信に基づいて、選択構成要素１１０は、データモデルの３Ｄ互換情報に基づいて、厚さの増加量に対応するボリュームを有する表示されたネイティブ医療画像に関連する３Ｄ再構築を生成するように３Ｄレンダリング構成要素１２８に指示することが可能である（例えば、厚いスラブＭＰＲの視覚化）。インターフェース構成要素１０４は、ＧＵＩで３Ｄ再構築をさらにレンダリングすることができる。いくつかの実装では、厚さ制御機能は、限定はしないが、最小輝度投影（ｍｉｎ−ＩＰ）、最大輝度投影（ｍａｘ−ＩＰ）、および平均輝度投影（ａｖｇ−ＩＰ）ならびにボリュームレンダリング（ＶＲ）を含む、ネイティブ医療画像とネイティブ医療画像の様々なタイプの３Ｄレンダリングのシームレスなスイッチを可能にすることができる。制御機能はまた、ユーザがメニュー項目および／または参照線を右クリックしてネイティブスライスから再フォーマットされたビューを作成し、それらの配向を制御することを可能にすることができる。
いくつかの実施形態では、ＧＵＩは、状況依存型および反応型であり得る。これに関して、ビューポート構成要素１０６は、３Ｄ互換特徴がバックエンドで利用可能になると、制御機能を修正、アクティブ化、および／または追加するようにＧＵＩを適合させるように構成することができる。例えば、いくつかの実装では、厚さ修正制御機能は、選択されたネイティブ医療画像セットが３Ｄで閲覧することができる場合、および／または実際に３Ｄでレンダリングが可能であるときのみ、表示またはアクティブ化され得る。
処理サービス通信構成要素１１４は、フロントエンド視覚化構成要素（例えば、インターフェース構成要素１０４、入力受信構成要素１０８、選択構成要素１１０および制御構成要素１１２）を様々なバックエンド処理サービス構成要素１３６に接続することができる。示される実施形態では、これらの処理サービス構成要素１３６は、限定はしないが、クエリ構成要素１１６、データモデリング構成要素１１８、データローディング構成要素１２２、ネイティブ画像処理構成要素１２６および３Ｄレンダリング構成要素１２８を含むことができる。
１つまたは複数の実施形態では、クエリ構成要素１１６は、１つまたは複数のクエリを１つまたは複数のデータストア１３０に発行し、データモデリング構成要素１１８がデータモデル１２０を生成するのに必要な情報を検索するように構成することができる。例えば、新しい医療撮像閲覧セッションの開始に関連して閲覧する画像データセットを示すまたは選択する入力の受信に基づいて、クエリ構成要素１１６は、１つまたは複数のデータストア１３０をクエリし（例えば、プラグイン設計を介して）、閲覧用に選択された医療撮像データセットに関連するネイティブ医療画像を記述するインデックス付けされた情報（例えば、インデックス付けされた医療画像データ情報１３４）を検索するように構成することができる。図２、図４および図５を参照してより詳細に説明するように、データモデリング構成要素１１８は、インデックス付けされた情報をさらに処理し、ネイティブ画像のレンダリングならびにネイティブ画像に関連する３Ｄ再構築の生成およびレンダリングを容易にするデータモデル１２０を生成することができる（例えば、データセットが３Ｄ互換性であるとき）。結果として得られるデータモデル１２０は、関連するネイティブ医療画像のセットを識別およびグループ化する情報を含むことができ（例えば、各セットは、ＤＩＣＯＭシリーズに対応する）、３Ｄ表現を生成するために使用することができる３Ｄ互換ネイティブ画像のサブセットを識別およびグループ化し、３Ｄ互換ネイティブ画像の幾何学的ボリュームをさらに定義する。データモデリング構成要素１１８は、データモデル１２０を選択構成要素１１０にさらに提供するか、あるいはデータモデルを選択構成要素１１０にアクセス可能にする（例えば、処理サービス通信構成要素１１４を介して）ことができる。次に選択構成要素１１０は、データモデル１２０を用いて、ネイティブ医療画像と１つまたは複数の３Ｄ表現のレンダリングを容易に切り替えることができる。
例えば、１つまたは複数の実施形態では、選択構成要素１１０は、１つまたは複数の制御機能の適用に関連してユーザ入力を解釈し、ユーザ入力によって付与される変更／適合を考慮する一次表示エリアでレンダリングするための新しい視覚化を選択または決定するように構成することができる。特に、ユーザ入力および／または現在表示されている視覚化（例えば、ネイティブ医療画像または再構築医療画像）に基づいて、選択構成要素１１０は、入力が新しいネイティブ医療画像または新しい再構築医療画像への切り替えを促すかどうかを決定することができる。例えば、ユーザによって適用される制御機能と、現在表示されている視覚化がネイティブ医療画像または３Ｄ再構築画像であるかどうかに基づいて、選択構成要素１１０は、ユーザ入力がネイティブ画像から別のネイティブ画像、ネイティブ画像から再構築画像、再構築画像からネイティブ画像、または再構築画像から別の再構築画像への切り替えを示すかどうかを決定することができる。
一実装では、ユーザ入力が、現在表示されている視覚化（例えば、ネイティブ医療画像または再構築医療画像）、およびデータセットの利用可能なネイティブ医療画像のコンテンツを記述し、ネイティブ画像のコヒーレントサブセットを３Ｄボリュームに関連付けるデータモデル１２０に含まれる情報に基づいて、新しい視覚化がネイティブ医療画像であるべきことを示す場合、選択構成要素１１０は、ＧＵＩでのレンダリングのためにキャッシュ１２４から適切なネイティブ医療画像を選択および検索することができる。いくつかの実装では、選択構成要素１１０はまた、ＧＵＩで表示するためにネイティブ医療画像をインターフェース構成要素１０４に提供する前に、ネイティブ画像処理構成要素１２６を呼び出してネイティブ医療画像の２Ｄ画像処理（例えば、圧縮、解像度、モダリティＬＵＴなどの処理）を行うことができる。
別の実装では、ユーザ入力が、新しい視覚化が再構築医療画像であるべきことを示す場合、選択構成要素１１０は、データモデル１２０に含まれる３Ｄ互換情報に基づいて、その場で再構築医療画像（例えば、３Ｄモデルまたは表現）を生成するように３Ｄレンダリング構成要素１２８に指示することができる。例えば、現在表示されている視覚化（例えば、ネイティブ医療画像または再構築医療画像）、およびデータセットの利用可能なネイティブ医療画像のコンテンツを記述し、ネイティブ画像のコヒーレントサブセットを３Ｄボリュームに関連付けるデータモデル１２０に含まれる情報に基づいて、選択構成要素１１０は、新しい３Ｄ再構築の視覚的および空間的パラメータを決定することができる。例えば、選択構成要素１１０は、コヒーレント３Ｄ互換ネイティブ画像のサブセットを決定し、新しい３Ｄ再構築および３Ｄ再構築によって表される対応するボリュームを形成することができる。いくつかの実装では、現在表示されている視覚化の配向と、ユーザ入力がこの配向の変更を示したかどうかに応じて、選択構成要素１１０は、新しい３Ｄ再構築をレンダリングするための配向に関するパラメータを決定することもできる。選択構成要素１１０は、キャッシュ１２４に保存されたネイティブ画像の３Ｄ互換サブセットのピクセルデータを使用して、パラメータに従って新しい３Ｄ再構築を生成するように３Ｄレンダリング構成要素１２８にさらに指示することができる。３Ｄレンダリング構成要素１２８は、新しい３Ｄ再構築を生成するのに必要な適切な画像処理機能（例えば、フィルタリング、３Ｄセグメンテーション、３Ｄレジストレーションなど）をさらに行うことができる。
データモデル１２０を生成するのに必要なインデックス付けされた情報を検索するクエリと共に、クエリ構成要素１１６は、選択されたデータセットに含まれる実際のネイティブ医療画像を１つまたは複数のデータストア１３０から（例えば、ネイティブ医療画像データ１３２から）検索するようにさらに構成することができる。いくつかの実装では、検索されたネイティブ医療画像データは、所与の患者の以前の検査を含むすべての関連するネイティブ医療画像を含むことができる。他の実装では、検索されたネイティブ医療画像データは、３Ｄ表現を生成するために使用することができるネイティブ医療画像のコヒーレントセットまたはサブセットの関連するピクセルデータを含むことができる。データローディング構成要素１２２は、検索されたネイティブ医療画像データをローカルキャッシュ（例えば、キャッシュ１２４）にさらにロードすることができ、それにより画像は画像処理サービスによる（例えば、ネイティブ画像処理構成要素１２６および３Ｄレンダリング構成要素１２８による）処理が容易に利用可能となり、ＧＵＩで（例えば、フロントエンド視覚化構成要素１０２によって）レンダリングすることができる。
バックエンド処理サービス構成要素１３６はまた、同じハードウェア上に同じ場所に位置し、ＲＡＭで共有される同じデータセットで動作する複数の画像処理サービスの展開を可能にするサービスファブリックを提供することができる。これらの画像処理サービスは、限定はしないが、圧縮、多重解像度、モダリティＬＵＴなどの処理を含む、様々なネイティブ画像処理機能を行うように構成されたネイティブ画像処理構成要素１２６を含むことができる。これらの画像処理サービスは、様々な３Ｄレンダリングサービスを行い、ネイティブ医療画像の３Ｄ互換サブセットから３Ｄ再構築を生成するように構成された３Ｄレンダリング構成要素１２８も含むことができる。これらの３Ｄレンダリング機能には、限定はしないが、フィルタリング、３Ｄセグメンテーション、３Ｄレジストレーションなどを含んでもよい。すべてのバックエンドサービスはコンテナ化されており、拡張可能であるため、提案されたソリューションは多くの同時ユーザをサポートすることが可能である。
図２は、本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システム１００によって用いられる例示的なプロセス２００の高レベルフロー図を示す。
図１および図２を参照すると、プロセス２００によれば、２０２において、ネイティブ／再構築医療撮像システム１００は、現在の医療撮像閲覧セッションに関連して閲覧する医療画像データセットを選択する入力を最初に受信することができる（例えば、入力受信構成要素１０８を介して）。例えば、１つまたは複数の実施形態では、ネイティブ／再構築医療撮像アプリケーションは、ネイティブ／再構築医療撮像アプリケーションを開き、閲覧セッション中に閲覧するための特定の医療画像データセットを選択する入力を提供することによって（例えば、ＧＵＩを介して）、ユーザが医療撮像閲覧セッションを開始することを可能にし得る。例えば、初期入力は、特定の患者、特定の撮像検査、撮像検査の特定のグループなどを識別するまたは示す入力を含むことができる。例として、プロセス２００は、患者Ｊｏｈｎ Ｄｏｅの最近の脳検査を包含する医療画像データセットを選択する初期入力の受信に関連して説明される。
２０４において、初期データセット選択に基づいて、ネイティブ／再構築医療撮像システム１００は、データセットに含まれるネイティブ医療画像のすべてのインスタンスを記述するインデックス付けされたメタデータについて、高速クエリを（例えば、クエリ構成要素１１６を介して）１つまたは複数の外部データストア（例えば、１つまたは複数のデータストア１３０）に発行するように構成することができる。例えば、データセット選択に基づいて、処理サービス通信構成要素１１４は、インデックス付けされた医療画像データ情報１３４をクエリするようクエリ構成要素１１６を呼び出すか、あるいは指示し、選択されたデータセットに含まれるネイティブ医療画像のすべてのインスタンスを識別することができる。例えば、これらのネイティブ医療画像は、最近の脳撮像検査に含まれる患者Ｊｏｈｎ Ｄｏｅのすべての画像を含むことができる。クエリ構成要素１１６は、選択されたデータセットに含まれるネイティブ医療画像の関連するインデックス付けされたメタデータをさらに検索することができる。
２１０において、バックグラウンドタスクとして、クエリ構成要素１１６はまた、１つまたは複数のデータストア１３０（例えば、ネイティブ医療画像データ１３２として保存される）のそれぞれの場所から実際のネイティブ医療画像をフェッチすることができる。データローディング構成要素１２２は、フェッチされたネイティブ医療画像をローカルキャッシュ（例えば、キャッシュ１２４）にさらにロードすることができ、それにより画像は容易にアクセス可能となり、視覚化構成要素１０２によるレンダリング、およびネイティブ画像処理構成要素１２６および３Ｄレンダリング構成要素１２８による処理が容易に利用可能となる。いくつかの実装では、クエリ構成要素１１６が検索する特定のネイティブ医療画像、および／またはクエリ構成要素１１６が実際のネイティブ医療画像をフェッチする順序は、データモデリング構成要素２０６により決定され、データモデルによって定義されるネイティブ医療画像の論理グループおよび／またはサブグループに基づくことができる。このスケジューリング特徴は、図１２およびデータスケジューリング構成要素１３０２に関して以下で説明される。
２０６において、データモデリング構成要素１１８は、データモデルがデータセットに含まれる関連する画像の少なくとも１つまたは複数のグループを記述するように、インデックス付けされたメタデータに基づいてデータモデル１２０を生成することができる。例えば、多くのネイティブ医療撮像検査は、様々なタイプの医療撮像デバイス、モダリティまたは技法を使用して、患者の身体部の異なる部分またはビューのネイティブ医療画像のシーケンスまたはシリーズをキャプチャすることを伴う（例えば、ＣＴスキャン、ＭＲＩスキャンなど）。これらのグループの各々または関連する画像のセットは、ＤＩＣＯＭモデルではＤＩＣＯＭシリーズと呼ばれる。例えば、ＤＩＣＯＭモデルでは、患者には、１つまたは複数の検査（試験または処置と呼ばれることもある）がある場合がある。各検査は、１つまたは複数のシリーズからなり得る。シリーズは、一般に、特定のタイプまたはモダリティのデータ、または取得デバイス上の患者の位置に相当する。各シリーズは、最も一般的なネイティブ医療画像である１つまたは複数のＤＩＣＯＭオブジェクトインスタンスを含むことができるが、レポート、波形オブジェクトなどを含むこともできる。この情報はすべて、検査の各ＤＩＣＯＭオブジェクトに含まれる。したがって、様々な実装において、２０６における場合、インデックス付けされたメタデータは、選択されたデータセットに含まれるネイティブ医療画像の異なるシリーズを識別する情報を含む。インデックス付けされたメタデータに基づいて、データモデリング構成要素１１８は、ネイティブ医療画像を各シリーズに属する関連するネイティブ医療画像のグループまたはセットにソートし、各シリーズに対応する画像の異なるグループを識別および編成する情報を有するデータモデルを生成するように構成することができる。
２０８において、次に２Ｄ／３Ｄ撮像視覚化システム１００は、関連する画像の１つまたは複数のグループのネイティブ画像ビューでＧＵＩを初期化する（例えば、視覚化構成要素２０２を介して）。例えば、選択されたデータセットが２つ以上のＤＩＣＯＭシリーズ（例えば、関連する画像のグループ）に関連付けられる実装では、ビューポート構成要素１０６は、各シリーズのビューポートを生成することができる。ビューポート構成要素１０６は、シリーズの各ビューポートに初期ネイティブ画像をさらに表示することができる。例えば、最初に表示されるネイティブ画像は、シリーズの最初の画像、シリーズの中間画像、ユーザが選択した画像、またはシリーズに関連する別の事前定義された初期画像を含むことができる。他の実装では、ビューポート構成要素１０６は、シリーズの１つについてＧＵＩの一次表示エリアに単一のビューポートを生成および表示し、追加のシリーズを識別するＧＵＩの情報をさらに生成することができる。次にユーザは、必要に応じて一次表示エリアで閲覧する別のシリーズを選択したり、必要に応じて一次表示エリアで２つ以上のビューポートを閲覧したりなどをすることができる。この段階では、主題の２Ｄ／３Ｄ撮像視覚化アプリケーションは、ネイティブ画像ビューアとして挙動し、ユーザは、取得システムから出てきたときにネイティブ医療画像を迅速かつ即座に直接提示することができる。
その間、２１２において、データモデリング構成要素１１８は、インデックス付けされたメタデータに基づいておよび／または完了した（インデックス付けされていない）メタデータが利用可能になると、データモデルの開発および更新を続けて３Ｄ互換ネイティブ画像情報を含むことができる。例えば、いくつかの実装では、インデックス付けされた医療画像データ情報１３４は、画像の３Ｄ互換データを生成するのに必要なネイティブ医療画像の適切なメタデータを含まない場合がある。これらの実装により、データモデリング構成要素１１８は、ネイティブ医療画像データ１３２から検索されたとき、実際の画像ファイルから欠落情報を識別することができる。例えば、患者の心臓撮像データを含むデータセットの選択に関して、インデックス付けされた医療画像データ情報から（例えば、Ｃ−ＦＩＮＤ操作を介して）クエリ構成要素１１６によって検索された初期ＤＩＣＯＭデータは、データモデリング構成要素１１８が心臓位相を決定することができない限られた基本的なシリーズレベル情報のみを含み得る。しかしながら、クエリ構成要素１１６は、その後、追加のクエリを行い、心臓位相を決定するために必要な情報を提供するヘッダまたは完全なＤＩＣＯＭファイルを（例えば、Ｃ−ＭＯＶＥ操作を介して）検索することができる。
３Ｄ互換情報は、関連するネイティブ医療画像のグループを３Ｄモデルまたはボリュームとしてレンダリングすることを可能にする情報を含むことができる。特に、３Ｄレンダリング構成要素１２８が３Ｄ医療画像を生成およびレンダリングするために、データモデリング構成要素１１８は、データモデルをさらに開発し、ネイティブ医療画像を３Ｄレンダリングと互換性のある３Ｄ画像のサブグループまたはサブセットにソートまたはグループ化する情報を含み、および／または定義された幾何学的ボリュームを生成するためにサブグループまたはサブセットのネイティブ画像をどのように組み合わせることができるかを定義する幾何学的情報を含むことができる。例えば、ＤＩＣＯＭモデルによるネイティブ医療画像に関連する（例えば、インデックス付けされた医療画像データ情報１３４の、および／または実際のネイティブ医療画像に関連する）メタデータは、３Ｄレンダリング用にフォーマットされない。これに関して、ネイティブ医療画像データ１３２に含まれるおよび／またはインデックス付けされた医療画像データ情報１３４に記載される各ネイティブ画像は、その画像のみのメタデータに関連付けられる自己完結型エンティティである。例えば、各ネイティブ医療画像に関連するメタデータは、属する患者、属する検査、属するシリーズ、属する画像またはモダリティのタイプ、配向または視点、有する画像番号、ピクセル情報などに関する情報を含むことができる。しかしながら、３Ｄ医療モデルまたは再構築は、集合画像に含まれるそれぞれのピクセルが３Ｄボリュームを形成することができるように、３Ｄ互換性があり、幾何学的に整列して処理された関連する画像のコレクションまたはグループに基づいて生成される。したがって、ネイティブ医療画像からの３Ｄモデルの生成に関連する初期処理は、ネイティブ画像を識別して３Ｄ互換性があるネイティブ医療画像のサブセットまたはサブグループにグループ化し、サブセットに含まれる画像間の幾何学的プロパティをさらに決定することを伴う。
例えば、３Ｄレンダリング構成要素１２８がネイティブ医療画像（本明細書ではネイティブ画像インスタンスとも呼ばれる）のセットから３Ｄボリュームを構築することができるようにするためには、すべてのインスタンスが同じ特性を共有するという点でコヒーレントである必要がある（例えば、行数、列数、ピクセル幅、ピクセル高さ、ピクセル表現、配向）。加えて、インスタンスを取得軸に沿った同じ位置に複製することはできない。例えば、いくつかの実装では、ＤＩＣＯＭシリーズは、同じまたは同様の画像の複数のバージョンを含むことができる。例えば、ＣＴ取得の場合、画像検査は、造影剤注入なしの画像の第１のセットおよび造影剤注入ありの画像の第２のセットのキャプチャを伴うことができる。ＣＴ取得の結果は、一般に、単一のＤＩＣＯＭシリーズとして保存されてインデックス付けされる。しかしながら、３Ｄレンダリングの目的では、シリーズを画像の２つのサブグループにグループ化する必要があり、１つは造影剤注入ありの画像を含み、もう１つは造影剤注入なしの画像を含む。画像の各サブグループを使用して、別々の３Ｄモデルを生成することができる。しかしながら、集合画像はコヒーレントではないため、シリーズのすべての画像を共にグループ化して単一の３Ｄモデルを形成することはできない（例えば、身体部の同じビューまたはスライスの冗長画像を含むため、１つは造影剤注入あり、もう１つはなしである）。別の例では、心臓撮像取得はしばしば、単一のシリーズについてのネイティブ画像の複製サブセットを伴い、各サブセットは、異なる時間的位相に関連付けられる。この例によれば、各時間的位相にそれぞれ関連するシリーズの各サブセットを使用して、異なる３Ｄ表現を生成することができる。
３Ｄ互換ネイティブ画像のコヒーレントサブセットを決定することに加えて、データモデリング構成要素１１８はまた、サブセットのネイティブ医療画像に関連するメタデータを処理し、画像のサブセットから生成することができる３Ｄモデルを定義する幾何学的プロパティを決定するように構成することができる。この処理ステップは、例えば、コヒーレント画像のサブセットに含まれる集合ピクセルによって表される３Ｄボリュームジオメトリを計算することを伴い得る。１つまたは複数の実施形態では、データモデリング構成要素１１８は、同じ取得軸（例えば、ｚ軸）に沿って互いに対して等しい空間または距離で各ネイティブ画像を均一に配置することによって、ボリュームジオメトリを決定することができる。（言い換えると、ボリュームスライス間の空間は、一定にする必要がある）。３Ｄ互換ネイティブ画像のサブグループに当てはまらない場合、データモデリング構成要素１１８は、３Ｄレンダリング構成要素１２８がネイティブスライスを補間してボリュームを構築するために使用する、画像間の一定の空間を定義することができる。
したがって、様々な実施形態において、２１２において、データモデリング構成要素１１８は、ネイティブ画像を識別して３Ｄ互換性があるネイティブ医療画像のサブセットまたはサブグループにグループ化し、サブセットに含まれる画像間の３Ｄ幾何学的プロパティをさらに決定することによって、ネイティブ医療画像からの３Ｄモデルの生成に関連する初期処理を行うことができる。各シリーズについて、データモデリング構成要素１１８は、情報をデータモデル１２０にさらに追加し、それに関連するネイティブ医療画像の３Ｄ互換コヒーレントサブセットまたはサブグループおよび／またはサブグループの画像によって表される幾何学的ボリュームに関する幾何学的情報を識別することができる。その間、バックグラウンドタスクとして（例えば、２１２において）、データローディング構成要素１２２は、各３Ｄ互換サブセットの実際のネイティブ医療画像をキャッシュ１２４にロードし続けることができるため、３Ｄレンダリング構成要素１２８によって後で処理され、データモデルの３Ｄ互換情報に基づいて３Ｄ表現を生成することができる。
１つまたは複数の実装では、この３Ｄ互換ネイティブ画像情報がデータモデルに追加され、かつ／または１つまたは複数の３Ｄ互換サブセットに含まれる実際のネイティブ画像がキャッシュ１２４で受信され、３Ｄレンダリング構成要素１２８による処理に利用可能になると、視覚化構成要素１０２は、ネイティブ医療画像の閲覧とネイティブ医療画像に関連する３Ｄ再構築の閲覧の切り替えを可能にすることができる。例えば、２１４において、視覚化構成要素１０２は、３Ｄ互換ネイティブ画像情報がデータモデルに追加されるとＧＵＩの３Ｄ特徴をさらに追加またはアクティブ化し（例えば、インターフェース構成要素１０４を介して）、かつ／またはデータモデルが更新されるとＧＵＩを新たに利用可能なデータで強化することができる。例えば、様々な実装において、フロントエンド視覚化ＧＵＩは、状況依存型および反応型とすることができ、これは、３Ｄボリュームがバックエンドで利用可能になると制御がより豊かになることを意味する。これに関して、データモデルがＧＵＩに表示されるネイティブ医療画像に関連する３Ｄ再構築を生成およびレンダリングするために３Ｄレンダリング構成要素１２８によって使用され得る情報で更新されると（および／または３Ｄ互換サブセットに含まれる実際のネイティブ画像がキャッシュ１２４にロードされ、３Ｄレンダリング構成要素１２８にアクセス可能になると）、インターフェース構成要素１０４は、１つまたは複数の制御をＧＵＩに追加することができ、ユーザが同じビューポートでネイティブ画像の閲覧からネイティブ医療画像の再構築バージョンの閲覧にスイッチすることを可能にする。特に、インターフェース構成要素１０４は、ユーザが表示されたネイティブ医療画像の再構築バージョン（例えば、３Ｄ再構築医療画像または２Ｄ再構築医療画像）を閲覧することを可能にする１つまたは複数の制御機能をアクティブ化および／または提供することができる。以下で詳細に説明するように、ネイティブ医療画像と再構築医療画像の閲覧を切り替える１つのそのような制御機能は、ユーザが表示されたネイティブ医療画像の厚さを増加させ、表示されたネイティブ医療画像の身体部のボリューム（３Ｄ）視覚化（例えば、厚いスラブＭＰＲ視覚化）を生成することを可能にする厚さ制御機能を含むことができる。さらに、ネイティブ／再構築医療撮像視覚化システム１００が選択された医療画像データセットに関連する再構築医療画像を生成およびレンダリングする準備ができると、視覚化構成要素１０２はまた、ユーザが再構築医療画像と相互作用することを可能にする様々な制御をアクティブ化および／または提供することができる。例えば、制御は、再構築医療画像の外観をボリュームレンダリング（ＶＲ）、ｍｉｎ−ＩＰでの３Ｄレンダリングなどに変更することができる。これらの再構築医療画像制御は、異なる視点からの３Ｄモデルの閲覧、３Ｄモデルの選択された部分の閲覧なども提供することができる。ネイティブ医療画像と再構築医療画像の閲覧と、ネイティブ医療画像と再構築医療画像の相互作用の切り替えのための様々な制御ツールは、図６を参照して以下でより詳細に説明される。
図３は、本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システム１００によって用いられる別の例示的なプロセス３００の別のフロー図を示す。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔にするために省略される。
図１および図３を参照すると、プロセス３００によれば、３０２において、ネイティブ／再構築医療撮像システム１００は、現在の医療撮像閲覧セッションに関連して閲覧する医療画像データセットを選択する入力を最初に受信することができる（例えば、入力受信構成要素１０８を介して）。例えば、図２およびプロセス２００を参照して使用される例を続けると、入力は、患者Ｊｏｈｎ Ｄｏｅの最近の脳検査などの特定の患者の撮像検査の選択を含むことができる。３０４において、初期データセット選択に基づいて、ネイティブ／再構築医療撮像システム１００は、以前に生成されたデータモデルが生成され、選択されたデータセットに利用可能であるかどうかを決定することができる。例えば、データモデリング構成要素１１８は、選択されたデータセットに対して以前に生成されたデータモデルを（例えば、キャッシュ１２４または視覚化構成要素１０２にアクセス可能な別の適切なメモリに）保存するように構成することができる。したがって、同じデータセットが将来再び選択される場合、データモデリング構成要素１１８は、以前に生成されたデータモデルに即座にアクセスして用いることができる。３０４で既存のデータモデルが利用可能な場合、データモデリング構成要素１１８は、視覚化構成要素１０２に通知することができ、視覚化構成要素１０２は、既存のデータモデルを用いてネイティブおよび／または３Ｄ表現のレンダリングを始めることができる（例えば、データモデルによって提供される情報に応じて）。
３０４において、以前に生成されたデータモデルが選択されたデータセットに利用可能ではない場合、３０８において、クエリ構成要素１１６は、データセットに含まれるネイティブ医療画像のすべてのインスタンスを記述するインデックス付けされたメタデータについて、高速クエリを（例えば、クエリ構成要素１１６を介して）１つまたは複数の外部データストア（例えば、１つまたは複数のデータストア１３０）に発行するように構成することができる。例えば、データセット選択に基づいて、処理サービス通信構成要素１１４は、インデックス付けされた医療画像データ情報１３４をクエリするようクエリ構成要素１１６を呼び出すか、あるいは指示し、選択されたデータセットに含まれるネイティブ医療画像のすべてのインスタンスを識別することができる（例えば、彼の最近の脳撮像検査に含まれる患者Ｊｏｈｎ Ｄｏｅのすべてのネイティブ画像）。クエリ構成要素１１６は、選択されたデータセットに含まれるネイティブ医療画像の関連するインデックス付けされたメタデータをさらに検索することができる。例えば、データモデリング構成要素１１８は、限定はしないが、Ｃ−ＦＩＮＤ（例えば、ＤＩＣＯＭ ｔｃｐ−ｉｐ ＡＰＩ）、ＱＩＤＯ−ＲＳ（例えば、ＤＩＣＯＭ ＲＥＳＴ ＡＰＩ）、独自のＳＱＬクエリなど、様々な既存のクエリ方法に依存する１つまたは複数のデータストア１３０を使用するためにプラグイン設計を介して配線することができる。このインスタンスレベルのクエリは、選択されたデータセットのすべてのネイティブ医療画像ＤＩＣＯＭインスタンスのリストを返すことができる。例えば、各インスタンスは、ＤＩＣＯＭタグとそれらのそれぞれの値のリストの形式でメタデータに関連付けることができる。インデックス付けされたメタデータタグのリストは、インデックス付けされた医療画像データ情報１３４によってサポートされるサブセットによって制限される。
３１０において、インデックス付けされたメタデータを使用して、データモデリング構成要素１１８は、選択されたデータセットのネイティブ医療画像インスタンスを関連する画像のセットにグループ化することができる。例えば、これは、ネイティブ医療画像を画像の１つまたは複数のセットにグループ化することを伴うことができ、各セットは、ＤＩＣＯＭシリーズに対応する。３１２において、データモデリング構成要素１１８は、インデックス付けされたメタデータが３Ｄ互換サブセット情報を決定するために使用することができるデータを含むかどうかを決定することができる（例えば、ピクセル化属性に関してコヒーレント画像を識別するデータ、３Ｄボリュームの計算に使用され得る幾何学的データなど）。これに関して、３Ｄ互換サブセット情報は、３Ｄモデルを生成するために使用することができるネイティブ医療画像のコヒーレントサブセットを識別する情報と、サブセットを３Ｄボリュームとしてレンダリングするために使用することができる３Ｄ互換サブセットの幾何学的（例えば、ボリューム）情報とを含むことができる。
３１２において、インデックス付けされたメタデータが３Ｄ互換サブセット情報を決定するために使用することができるデータを含む場合、プロセス３００は３１４に進み、データモデリング構成要素１１８は、関連する画像の各セット（例えば、各シリーズ）の３Ｄ互換サブセット情報を決定することができる。次に３１６において、データモデリング構成要素１１８は、関連するネイティブ画像のセットおよびそれらの３Ｄ互換サブセット（およびいくつかの実装では、３Ｄ互換サブセットの幾何学的情報）を識別する完全なデータモデルを生成することができる。データモデリング構成要素１１８は、３１８において、完全なデータモデルの利用可能性に関して視覚化構成要素１０２にさらに通知することができ、完全なデータモデルに基づいて、視覚化構成要素１０２は、セット（例えば、各シリーズの）の各々（例えば、またはいくつかの実装では、１つまたは複数）のネイティブ画像ビュー、およびそれらの３Ｄ互換サブセットでＧＵＩを初期化することができる。これに関して、ＧＵＩは、ユーザがネイティブビューから再構築ビューに切り替えることを可能にする制御特徴および機能性をさらに含むことができる。
しかしながら、３１２でインデックス付けされたメタデータが３Ｄ互換サブセット情報を決定するために使用することができるデータを含まない場合、プロセス３００は３２２に進み、モデリング構成要素は、関連する画像のセット（例えば、各シリーズ）を識別する部分データモデルを生成することができる。データモデリング構成要素１１８は、３２４において、部分データモデルの利用可能性に関して視覚化構成要素１０２にさらに通知することができ、３２６において、部分データモデルに基づいて、視覚化構成要素１０２は、セットの各々（またはいくつかの実装では、１つまたは複数）のネイティブ画像ビューでＧＵＩを初期化することができる。この段階では、ＧＵＩは、まだネイティブ画像ビューから３Ｄビューへの切り替えを行わない。しかしながら、３２２での部分データモデルの生成に関連して、バックグラウンドタスクとして、３２８において、クエリ構成要素１１６は、１つまたは複数の外部データストア（例えば、１つまたは複数のデータストア１３０）から検索操作をトリガして欠落データを得ることができる。例えば、いくつかの実装では、クエリ構成要素１１６は、完全なネイティブ医療画像インスタンスファイルを検索し、完全なファイルを解析して３Ｄ互換サブセット情報を決定するために使用され得るデータを識別することができる。この検索操作は、ＤＩＣＯＭインスタンスの３Ｄ互換サブセットへのソートを完了し、フロントエンド構成要素によって開始されるピクセルデータを検索するための後続の呼び出しを予測するために必要になることがある。この欠落データが利用可能になると、プロセス３００は３１６に進み、データモデリング構成要素１１８は、関連するネイティブ画像のセットおよびそれらの３Ｄ互換サブセット（およびいくつかの実装では、３Ｄ互換サブセットの幾何学的情報）を識別する完全なデータモデルを生成することができる。例えば、データモデリング構成要素１１８は、３２２で生成された部分データモデルを更新して３Ｄ互換サブセット情報を含むことができる。データモデリング構成要素１１８は、３１８において、完全なデータモデルの利用可能性に関して視覚化構成要素１０２にさらに通知することができ、完全なデータモデルに基づいて、視覚化構成要素１０２は、セット（例えば、各シリーズの）の各々（例えば、またはいくつかの実装では、１つまたは複数）のネイティブ画像ビュー、およびそれらの３Ｄ互換サブセットでＧＵＩを初期化することができる。これに関して、ＧＵＩは、ユーザがネイティブビューから再構築ビューに切り替えることを可能にする制御特徴および機能性をさらに含むことができる。
プロセス３００によれば、３２２で開始されるワークフロー（例えば、ステップ３２２〜３２８、ならびにステップ３２８からステップ３１４〜３２０に続く）は、インデックス付けされたメタデータがＤＩＣＯＭインスタンスの３Ｄレンダリングと互換性のあるセットへのグループ化を完了するために必要なデータを最初に提供せず、それを行うために完全なＤＩＣＯＭインスタンスを検索する必要があるとき、データモデリング構成要素１１８によって行われ得る。このような構成では、相互作用性を最大化するために、ＤＩＣＯＭインスタンスがＤＩＣＯＭシリーズにのみソートされる部分データモデルができるだけ早くフロントエンド視覚化構成要素に返される。一方、３１４（例えば、３１４〜３２０）で開始されるワークフローは、外部データストアクエリサービスがＤＩＣＯＭインスタンスの３Ｄレンダリングと互換性のあるセットへのグループ化を完了するために必要な情報を提供するときの実装パスである。このような構成では、フロントエンド視覚化構成要素１０２は、３Ｄ互換サブセットに割り当てられたビューポートで表示を直接初期化することができる。
図４は、本明細書に記載の様々な態様および実施形態による、３Ｄ互換サブセット情報を決定するためにデータモデリング構成要素１１８によって用いられる例示的なプロセス４００のフロー図を示す。様々な実施形態において、プロセス４００は、プロセス３００の操作３１４に関連してデータモデリング構成要素１１８によって行うことができる。１つまたは複数の実施形態では、データモデリング構成要素１１８は、関連するネイティブ医療画像の各セットまたはグループ（例えば、各ＤＩＣＯＭシリーズ）に対してプロセス４００を行うように構成することができる。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
図１および図４を参照すると、４０２において、データモデリング構成要素１１８が、ＤＩＣＯＭシリーズに属する画像などの関連する画像のセットのインデックス付けされたメタデータおよび／またはインデックス付けされていないメタデータを識別および受信した後、モデリング構成要素は、セットが３Ｄレンダリングと互換性があるかどうかを決定することができる（例えば、初期のインデックス付けされたメタデータクエリ結果および／または実際に検索されたネイティブ医療画像インスタンスに関連するその後識別されるメタデータに基づいて）。例えば、各セットがＤＩＣＯＭシリーズに対応する実施形態では、関連するすべてのＤＩＣＯＭシリーズが３Ｄボリュームとしてレンダリングされ得るネイティブ医療画像を含み得るとは限らない。例えば、一部のＤＩＣＯＭシリーズは、スクリーンキャプチャ、ＳＣＯＵＴビュー、または３Ｄレンダリングに関係のない非画像データオブジェクトを含む場合がある。したがって、４０２でデータモデリング構成要素１１８が、特定のセットが３Ｄレンダリングと互換性がないと決定する場合、４０４でデータモデリング構成要素１１８は、セットをデータモデルに追加することができる。例えば、データモデリング構成要素１１８は、セットを識別する情報を追加することができ、ＤＩＣＯＭオブジェクトはセットに含まれる。いくつかの実装では、データモデリング構成要素１１８は、３Ｄレンダリングと互換性のあるネイティブ画像を含まないことを示す情報をセットに関連付けることができる。
４０２でデータモデリング構成要素１１８が、関連する画像のセットが３Ｄレンダリングと互換性があると決定する場合、次に４０６において、データモデリング構成要素１１８は、セットを３Ｄレンダリングと互換性のある１つまたは複数のコヒーレントサブセットにソートし始めることができる。例えば、データモデリング構成要素１１８は、コヒーレント視覚特性（例えば、行数、列数、ピクセル幅、ピクセル高さ、ピクセル表現、配向など）を有することに基づいてネイティブ医療画像をグループ化することができ、それにより各サブセットは、キャプチャ位置から取得される複製画像を含まない。この処理ステップは、そのような一貫性を強化し、ＤＩＣＯＭシリーズをより小さなサブセットに分割する可能性がある。４０８において、コヒーレントネイティブ医療画像の各３Ｄ互換サブセットについて、データモデリング構成要素１１８は、サブセットに含まれる各ピクセルの相対的な３Ｄ位置に基づいてサブセットに含まれる集合ピクセルの３Ｄボリュームジオメトリをさらに計算することができる。各画像が取得軸に沿って定義された距離または空間で分離されていない実装では、データモデリング構成要素１１８は、デフォルトの分離値（例えば、シリーズに含まれる画像のタイプと数によって異なる場合がある）を使用して一定の空間を定義することができる。次に、４１０において、データモデリング構成要素１１８は、コヒーレントサブセットおよびその関連するボリュームジオメトリを識別する情報をデータモデルに追加することができる。
図５は、本明細書に記載の様々な態様および実施形態による、同じビューポートでのネイティブ医療画像と再構築医療画像の閲覧を容易に切り替えるためにネイティブ／再構築医療撮像システムによって用いられる別の例示的なプロセス５００のフロー図を示す。プロセス５００は、特に、閲覧セッション中にネイティブ画像および再構築画像をレンダリングすることに関連して、フロントエンド視覚化構成要素１０２の特徴および機能性のいくつかを例示する。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
図１および図５を参照すると、５０２において、視覚化構成要素１０２は、患者Ｊｏｈｎ Ｄｏｅの脳撮像検査など、選択されたデータセットに対してデータモデリング構成要素１１８によって生成および／または提供されるデータモデルの第１の反復を受信することができる（例えば、処理サービス通信構成要素１１４を介して）。５０４において、視覚化構成要素は、データモデルによって表されるデータセットに関連する表示プロトコルを決定することができる（例えば、インターフェース構成要素１０４を介して）。例えば、データセットによって表される撮像検査のタイプに応じて、シリーズの数およびそれぞれのビューポートでシリーズを表示する順序は、異なり得る。したがって、様々な実施形態において、各検査またはデータセットは、定義されたＧＵＩレイアウトパラメータに関連付けることができる。５０６において、視覚化構成要素１０２は、表示プロトコルに従ったレイアウトでＧＵＩを生成およびレンダリングし、データモデルセットおよび３Ｄ互換サブセット（利用可能な場合）を異なるビューポートに割り当てることができる（例えば、ビューポート構成要素１０６を介して）。加えて、５０８において、視覚化構成要素１０２は、外部データストアからのすべてのセットおよびサブセットのＤＩＣＯＭインスタンスの非同期検索をトリガすることができる。これに関して、視覚化構成要素１０２は、表示するセットのすべてのインスタンスの完全なＤＩＣＯＭコンテンツの非同期検索のために１つまたは複数のデータストア１３０をクエリするようにバックエンドクエリ構成要素１１６に指示することができる。データローディング構成要素１２２は、ピクセルデータが画像処理構成要素（例えば、ネイティブ画像処理構成要素１２６および３Ｄレンダリング構成要素１２８）による処理に利用可能となるように、データをローカルメモリ（例えば、キャッシュ１２４）にさらにロードすることができる。データモデリング構成要素１１８は、インデックス付けされていないＤＩＣＯＭコンテンツに基づいてデータモデルをさらに更新することができる。５１０において、データモデリング構成要素１１８およびデータローディング構成要素１２２は、完全なＤＩＣＯＭコンテンツの利用可能性およびデータモデルの更新に関して視覚化構成要素１０２にさらに通知することができる。例えば、データローディング構成要素１２２およびデータモデリング構成要素１１８とインターフェースするフロントエンド処理サービス通信構成要素１１４は、（ウェブソケットを活用するプッシュ通知設計またはポーリングを介して）データモデル更新を監視することができる。１つを検出すると、そのような更新に依存するすべてのフロントエンド構成要素（レイアウトマネージャ、ビューポート構成要素など）に通知することができる。
５１２において、視覚化構成要素１０２は、データモデルの更新をリッスンすることができる。５１４において、画像オーバーレイの新しいメタデータを含むデータモデルの更新が提供される場合、５１６において、インターフェース構成要素１０４は、ＧＵＩの画像オーバーレイを更新することができる。例えば、様々な実装において、ＧＵＩビューポートでネイティブおよび再構築画像を表示することに加えて、インターフェース構成要素１０４はまた、画像上および／または画像のコンテンツおよび／または特性を記述するビューポートに（例えば、テキスト、記号、画像、ハイパーリンクなどの形式で）オーバーレイデータを含むことができる。例えば、心臓検査の場合、所与のＤＩＣＯＭ画像が属する心臓位相を識別するために必要なデータは、初期クエリ（インデックス付けされたＤＩＣＯＭメタデータのみを返す）への応答では利用可能ではない場合がある。ＤＩＣＯＭ画像の完全なデータファイルは、検索されると心臓位相を識別するインデックス付けされていないメタデータに関連付けることができる。このインデックス付けされていないメタデータは、データモデリング構成要素１１８によって抽出されてデータモデルに追加され得、それにより位相値はＧＵＩのネイティブ画像にオーバーレイデータとして（例えば、テキストとして）表示することができる。
５１８において、画像を３Ｄ互換サブセットにソートするデータモデルの更新が提供される場合、５２０において、インターフェース構成要素１０４は、ＧＵＩ層を更新して３Ｄ互換サブセットのビューポートを再分割することができる。例えば、ビューポート構成要素１０６は、新たに識別された３Ｄ互換サブセットの各々について、新しいビューポートをＧＵＩに追加することができる。例えば、データモデリング構成要素１１８が、初期クエリ応答に含まれるインデックス付けされたメタデータに基づいて心臓シリーズを位相に分割することは不可能な場合がある。しかしながら、実際のＤＩＣＯＭインスタンスが検索されると、データモデリング構成要素１１８は、実際のＤＩＣＯＭインスタンスからインデックス付けされていないメタデータを抽出し、異なる心臓位相に属するそれぞれの画像を識別することができる。データモデリング構成要素１１８は、各心臓位相に対応するそれぞれのサブセットを識別する３Ｄ互換サブセット情報でデータモデルをさらに更新することができる。次いで、ビューポート構成要素１０６は、完全なシリーズが割り当てられたビューポートに１つの位相を表示してもよく、または（選ばれた表示プロトコルに応じて）各位相の新しいビューポートを作成することを選択してもよい。
５２２において、ネイティブ医療画像の３Ｄ互換サブセットの完全なボリュームを計算するモデルの更新が提供される場合、次に５２４において、ビューポート構成要素１０６は、完全なボリュームが構築されたネイティブ画像サブセットを表示するビューポートの３Ｄ特徴を可能にすることができる。例えば、ビューポート構成要素１０６は、ユーザが単一のネイティブ画像を示すビューから複数のネイティブ画像から構築された３Ｄ集合体を示すビューにシームレスにスイッチすることを可能にする厚さスライダを所定のビューポートに追加することができる。同様に、メニュー項目を追加して、ユーザが異なる配向（例えば、軸、矢状、冠状など）で再構築画像を示すビューにスイッチすることを可能にすることができる。５２２において、データモデルへの更新が提供されていない場合、視覚化構成要素１０２は、５１４で新しい更新をリッスンし続けることができる。
プロセス２００、３００、４００および５００（および本明細書で説明する追加の処理）は、データモデルの初期バージョンを生成し、データセットのネイティブ医療画像に関するインデックス付けされていないメタデータ情報が利用可能になったときにデータモデルを後で更新することを伴い得る。この設計は、アプリケーションの反応性を最大化するために、シームレスなネイティブ／３Ｄ互換データモデルをできるだけ早く視覚化構成要素１０２で利用可能とすることを目的としている。これは、第１のバージョンが作成されて視覚化構成要素１０２に通信された後、１つまたは複数のデータストア１３０からより多くの情報が収集され、新しいコンテンツが検索されるとモデルを更新する必要があることを意味する。１つまたは複数の実装では、ネイティブ／再構築医療撮像システム１００は、フロントエンド構成要素とバックエンド構成要素との間の双方向接続を介してパブリッシュ／サブスクライブパターンを使用してそのようなデータフローを実装することができる。環境（ファイアウォールなど）を展開すると双方向接続の使用が妨げられる場合、代わりに複数のエンドポイントを使用した要求／応答パターンまたはポーリングパターンを使用することができる。
図６は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像との相互作用および／またはそれらの閲覧の切り替えを容易にするいくつかの制御機能を提供する制御構成要素１１２の例示的な実施形態を示す。これらの制御機能は、厚さ修正構成要素６０２、直接２Ｄ／３Ｄ変換構成要素６０４、配向選択構成要素６０６、視覚化修正構成要素６０８、面積選択構成要素６１０、回転構成要素６１２、注釈構成要素６１４および／または平面選択構成要素６１６の１つまたは複数によって提供され得る。様々な実施形態において、ビューポート構成要素１０６は、データモデルへの３Ｄ互換ネイティブ医療画像情報の追加に基づいて、および／または３Ｄ互換サブセットに含まれる実際のネイティブ医療画像がキャッシュ１２４で受信され、３Ｄレンダリング構成要素１２８による処理に利用可能になると、ＧＵＩでこれらの制御機能の１つまたは複数を提供またはアクティブ化するように構成することができる。
いくつかの前の例で述べたように、制御構成要素１１２は、ユーザが表示されたネイティブ医療画像の厚さを増加させることを可能にする厚さ修正機能を含むことができる。この厚さ修正機能は、厚さ修正構成要素６０２によって提供することができる。１つまたは複数の実施形態では、厚さ修正構成要素６０２は、表示される視覚化の厚さを調整することによって、ネイティブ医療画像とネイティブ医療画像の３Ｄ表現（例えば、厚いスラブＭＰＲ視覚化）の閲覧を容易に切り替えることができる。特に、厚さ修正構成要素６０２は、ユーザがＧＵＩに表示されるネイティブ医療画像の厚さを増加させる入力を提供することを可能にすることができる。厚さネイティブ画像の増加を示すユーザ入力の受信に基づいて、視覚化構成要素１０２は、厚さの増加量によって定義される身体部のボリュームに対応するネイティブ画像によって表される身体部の３Ｄ表現を表示することができる。例えば、表示されている現在のネイティブ画像によって表される身体部のビューに基づいて、データモデル１２０の３Ｄ互換情報を使用して、選択構成要素１１０は、厚さによって定義されるボリューム空間の異なる平面にそれぞれ関連する３Ｄ互換ネイティブ医療画像のサブセットを識別することができる。例えば、ＣＴまたはＭＲＩスキャン画像に関して、選択構成要素は、厚さによって定義されるボリューム面積の連続スライスをそれぞれ含むＣＴまたはＭＲＩ画像のセットを識別することができる。選択構成要素１１０は、厚さに対応するボリュームを有する身体部の対応する３Ｄモデルを生成するように３Ｄレンダリング構成要素１２８にさらに指示することができる。３Ｄレンダリング構成要素１２８は、ＧＵＩで表示するために３Ｄモデルを視覚化構成要素１０２にさらに提供することができる。
いくつかの実施形態では、厚さ修正構成要素６０２は、ＧＵＩに表示される身体部の３Ｄモデルの厚さを増加および減少させることもできる。例えば、身体部の表示された３Ｄモデルの厚さの増加を示す入力に基づいて、選択構成要素１１０は、新しい３Ｄ画像のボリュームが以前の３Ｄ画像と比較して増加するように、追加の解剖学的特徴３Ｄを以前にレンダリングされた３Ｄモデルに追加する身体部の新しい３Ｄモデルを生成するように３Ｄレンダリング構成要素１２８に指示することができる。同様に、身体部の表示された３Ｄモデルの厚さの減少を示す入力に基づいて、選択構成要素１１０は、新しい３Ｄモデルのボリュームが以前の３Ｄモデルと比較して減少するように、以前にレンダリングされた３Ｄ画像から解剖学的特徴を除去する身体部の新しい３Ｄモデルを生成するように３Ｄレンダリング構成要素１２８に指示することを選択することができる。様々な実装において、選択構成要素１１０は、データモデル１２０に含まれる情報に基づいて、新しい３Ｄモデルの幾何学的パラメータ（例えば、３Ｄ画像のボリューム）および視覚的パラメータ（例えば、用いる３Ｄ互換ネイティブ画像ピクセル）を決定することができる。
さらに、１つまたは複数の実施形態では、表示された３Ｄモデルの厚さが最小厚さ未満に減少することを示すユーザ入力に基づいて、選択構成要素１１０は、表示されるべき最小厚さによって定義される身体部の最小ボリュームに対応するネイティブ医療画像を決定することができる。このシナリオでは、データモデル１２０を使用して、選択構成要素は、データセットに含まれるネイティブ医療画像からネイティブ医療画像を選択し、最小ボリューム空間の最も近いまたは最良の平面ビューを提供することができる。例えば、表示される身体部の現在の３Ｄモデル、その配向、ならびに厚さの減少量、およびデータセットのネイティブ医療画像を記述する情報に基づいて、選択構成要素１１０は、閲覧するのに望ましい身体部の３Ｄ座標空間に対する断面積を決定することができる。選択構成要素１１０は、断面積を最もよく描写するネイティブ２Ｄ医療をさらに識別および選択することができる。例えば、選択構成要素１１０は、所望の断面積の位置および配向に最も近い位置および配向を有する平面に対応するデータセットのネイティブ医療画像からネイティブ医療画像を識別および選択することができる。視覚化構成要素１０２は、選択されたネイティブ２Ｄ医療画像をＧＵＩでさらにレンダリングすることができる。
１つまたは複数の実施形態では、厚さ修正構成要素６０２に加えて、または代替として、制御構成要素１１２は、直接２Ｄ／３Ｄ変換構成要素６０４を含むことができる。直接２Ｄ／３Ｄ変換構成要素６０４は、レンダリングされたネイティブ医療画像を３Ｄ画像に自動的に変換すること、および／またはレンダリングされた３Ｄ画像をネイティブ医療画像に変換することを容易にすることができる。この実施形態によれば、レンダリングされたネイティブ医療画像に関連する直接２Ｄ／３Ｄ変換機能を選択するユーザ入力に基づいて、選択構成要素１１０は、表示されたネイティブ医療画像に対応するデフォルトの３Ｄ画像を選択するように構成することができる。例えば、デフォルトの３Ｄ画像は、定義された外観（例えば、ｍｉｎ−ＩＰ、ｍａｘ−ＩＰ、ａｖｇ−ＩＰ、ＶＲなど）および／または１つまたは複数の他の事前定義された視覚的特性を有する、定義された配向（例えば、２Ｄ画像と同じ配向または異なる配向）から表示された身体部の３Ｄモデルを含むことができる。いくつかの実施形態では、直接２Ｄ／３Ｄ変換構成要素６０４は、再構築医療画像の閲覧から再構築医療画像に関連するネイティブ医療画像の閲覧への自動スイッチングも提供することができる。これらの実施形態によれば、レンダリングされた３Ｄ画像に関連する直接２Ｄ／３Ｄ変換機能を選択するユーザ入力に基づいて、選択構成要素１１０は、３Ｄ画像に関連するデフォルトのネイティブ医療画像を選択するように構成することができる。例えば、デフォルトのネイティブ医療画像は、３Ｄ画像に表示される身体部の最良の断面図を提供するネイティブ医療画像を含むことができる。デフォルトのネイティブ医療画像の配向は、３Ｄ画像と同じであっても異なっていてもよい。例えば、表示された３Ｄ画像の配向とは異なる単一の配向から身体部の複数のネイティブ医療画像がキャプチャされる実装では、デフォルトのネイティブ医療画像は、単一の配向からキャプチャされたネイティブ医療画像を含む。
配向選択構成要素６０６は、レンダリングされた再構築医療画像の配向を１つまたは複数の事前定義された配向に変更することができる。配向選択構成要素６０６はまた、直接２Ｄ／３Ｄ変換構成要素６０４と併せて使用して、第１の配向（例えば、そのキャプチャ配向）に表示されるネイティブ医療画像の閲覧から第１の配向、または第２の事前定義された配向の再構築医療画像の閲覧への切り替えを行うことができる。様々な実施形態において、第２の事前定義された配向は、１つまたは複数の事前定義された配向のグループから選択することができる。いくつかの実装では、１つまたは複数の事前定義された配向は、限定はしないが、軸配向、冠状配向および矢状配向を含む標準的な医療用の配向を含んでもよい。例えば、ネイティブ医療画像のＤＩＣＯＭシリーズは、単一の配向（例えば、軸、冠状または矢状）からキャプチャされた複数の連続画像を含むことができる。したがって、ネイティブの医療画像を閲覧するとき、ユーザは、画像に表される身体部をキャプチャ配向から閲覧することに制限される。しかしながら、３Ｄレンダリング構成要素１２８がＤＩＣＯＭシリーズに含まれる３Ｄ互換画像から身体部の３Ｄモデルを生成することができる実施形態では、３Ｄモデルは、キャプチャ配向以外の配向から生成および／またはレンダリングされてもよい。これに関して、事前定義された配向は、医療撮像検査の評価に関連して医療臨床医によって頻繁に閲覧されて理解される既知または基準の医療用の配向（例えば、標準的な配向）を含むことができる。
視覚化修正構成要素６０８は、表示された再構築医療画像の外観の変更に関連する様々な特徴および機能性を提供することができる。これらの特徴および機能性は、３Ｄレンダリング構成要素１２８の能力および再構築医療画像を生成するためにレンダリング構成要素１２８で利用可能な画像データに応じて異なり得る。例えば、様々な実施形態において、３Ｄレンダリング構成要素１２８は、限定はしないが、ｍｉｎ−ＩＰ、ｍａｘ−ＩＰ、ａｖｇ−ＩＰのおよびボリュームレンダリングとしての３Ｄ画像を含む、様々なタイプの３Ｄ再構築医療画像を生成およびレンダリングするように構成することができる。したがって、様々な実装において、ネイティブ／再構築医療撮像システム１００が３Ｄ互換画像のサブセットから身体部の３Ｄ表現を生成する準備が整うと、ビューポート構成要素１０６は、視覚化修正構成要素をアクティブ化し、ネイティブ医療画像の閲覧から異なるタイプの再構築医療画像（例えば、ｍｉｎ−ＩＰ、ｍａｘ−ＩＰ、平均ＩＰ、ＶＲなど）の閲覧への切り替えを可能にすることができる。
図７Ａ〜図７Ｇは、開示された主題の様々な態様および実施形態による、主題のネイティブ／再構築医療撮像システム１００の使用に関連してインターフェース構成要素１０４によって生成可能な例示的なＧＵＩ７００の様々な表現を示している。特に、図７Ａ〜図７Ｇは、選択されたデータセットのネイティブ医療画像と再構築医療画像を閲覧およびそれらと相互作用するための、主題のネイティブ／再構築医療撮像アプリケーションの開始に関連する例示的なワークフローを示している。図７Ａ〜図７Ｇによれば、選択されたデータセットは、患者Ｊｏｈｎ Ｄｏｅの最近の脳撮像検査を含む。図７Ａ〜図７Ｇに示すように、ＧＵＩ７００は、ウェブページの表示ウィンドウ内のブラウザを使用してレンダリングされる。しかしながら、主題の開示はこのレンダリング形式に限定されないことを理解されたい。
最初に図７Ａを参照すると、様々な実装において、図７Ａは、Ｊｏｈｎ Ｄｏｅの最近の脳撮像検査のための医療撮像閲覧セッションの開始に応じたＧＵＩ７００の初期レイアウトを提示する。図７Ａに示すように、主題のネイティブ／再構築医療撮像アプリケーションは、選択されたデータセットの１つまたは複数のネイティブ画像を最初に表示することによって、ネイティブ画像ビューアとして最初に挙動することができる。例えば、示される実施形態では、初期ＧＵＩレイアウトは、ＧＵＩの一次表示エリア７０４内に表示される、それぞれ４つのビューポート７０１、７０３、７０５および７０７を含む。一態様では、各ビューポートは、患者Ｊｏｈｎ Ｄｏｅの異なるＤＩＣＯＭシリーズに対応する関連する画像のセット、またはＤＩＣＯＭシリーズに関連する３Ｄ互換画像のサブセットを表す。ビューポート７０１、７０３、７０５および７０７の各々は、ビューポートの左上隅のオーバーレイテキスト７２６によって示されるように、異なるネイティブ医療画像を含む。各ビューポートに示される特定のネイティブ画像は、例えば、シリーズまたはサブセットの最初の画像、シリーズまたはサブセットの中間画像、デフォルトの画像またはユーザが選択した画像を含み得る。
一次表示エリア７０４および関連するビューポート７０１、７０３、７０５および７０７に加えて、ＧＵＩ７００は、上部メニューバー７０２と、サイド制御パネル７０６とを含むことができる。いくつかの実装では、上部メニューバー７０２は、閲覧セッションの開始、閲覧のための撮像検査または医療画像データセットの選択、閲覧セッションの終了、前の画面への復帰などを提供する１つまたは複数の制御アイコンを含むことができる。サイド制御パネル７０６は、一次表示エリア７０４に表示されるネイティブおよび再構築医療画像と相互作用するための異なる制御機能性を提供する様々な制御アイコン７０８〜７２４を含むことができる。例えば、制御アイコン７０８は、表示されたネイティブまたは再構築画像を一次表示エリア内で移動させ、かつ／または表示されたネイティブまたは再構築画像の異なる部分を選択してもよい。制御アイコン７１０は、表示されたネイティブまたは再構築画像のサイズの変更（例えば、画像の拡張／拡大および画像の縮小）を行うことができる。別の例では、制御アイコン７１２は、表示されたネイティブまたは再構築画像の輝度を変更することができる。制御アイコン７１４は、表示されたネイティブまたは再構築医療画像の厚さを変更するための厚さ修正制御を含むことができる。例えば、１つまたは複数の実装では、制御アイコン７１４は、厚さ修正構成要素６０２の特徴および機能性を提供してもよい。制御アイコン７１６は、測定線を表示されたネイティブまたは再構築医療画像に追加するための注釈制御を含むことができる。一態様では、制御アイコン７１６の選択は、注釈構成要素６１４の特徴および機能性を提供してもよい。制御アイコン７１８は、２Ｄ画像として表示するために表示された３Ｄ再構築画像内の平面の選択を提供する平面選択制御を含むことができる。一態様では、制御アイコン７１８の選択は、平面選択構成要素６１６の特徴および機能性を提供してもよい。制御アイコン７２０は、表示された３Ｄ画像を回転させる回転アイコンを含むことができる。一態様では、制御アイコン７２０の選択は、回転構成要素６１２の特徴および機能性を提供することを含んでもよい。制御アイコン７２２は、ネイティブ２Ｄ画像から２Ｄ画像の３Ｄ再構築バージョンへの自動スイッチングを提供することができる。例えば、いくつかの実装では、制御アイコン７２２は、直接２Ｄ／３Ｄ変換構成要素６０４の特徴および機能性を提供してもよい。制御アイコン７２４は、別々の２Ｄまたは３Ｄ画像として閲覧するために、表示されたネイティブまたは再構築医療画像の面積またはボリュームの選択を提供する面積選択構成要素を含むことができる。一態様では、制御アイコン７２４の選択は、面積選択構成要素６１０の特徴および機能性を提供してもよい。
様々な実施形態において、（ネイティブ医療画像とは対照的に）再構築医療画像の閲覧および相互作用を可能にする特徴および機能性を提供する制御アイコン７０８〜７２４の１つまたは複数は、アプリケーションが対応する再構築医療画像を生成およびレンダリングする準備が整うまで、無効化／非アクティブ化され、かつ／またはＧＵＩから削除されてもよい。
図７Ｂは、図７Ａに示す初期表示に続くＧＵＩ７００の別の表現を示す。図７Ｂに示すように、ビューポートの各々は、５０％のローディングレベルに達したことを示すローディングバー７２８を含むことができる。特に、閲覧セッションの開始時のネイティブ医療画像の初期レンダリングに関連して、主題のネイティブ／再構築医療撮像アプリケーションは、アプリケーションの準備に関連する適切な逆処理を開始するおよび／または行い（例えば、併行してまたは同時に）、それぞれのビューポート７０１、７０３、７０５および７０７に表示されるネイティブ医療画像に関連する３Ｄ表現をレンダリングすることができる。例えば、このバックエンド処理は、それぞれのビューポートによって表される異なるシリーズに関連するネイティブ画像のそれぞれのセットまたはサブセットの３Ｄ互換サブセット情報を決定し、３Ｄ互換サブセット情報をデータモデルに追加し、および／または３Ｄ互換サブセットを構成する実際のネイティブ画像を検索してローカルメモリ（例えば、キャッシュ１２４）にロードし、３Ｄレンダリング構成要素１２８による処理に利用可能になることを伴い得る。この例示的な実施形態によれば、ローディングバー７２８は、表示されたネイティブ医療画像に関連する３Ｄ表現をレンダリングするためのアプリケーションの準備に関連して、バックエンド処理構成要素の進捗を表すことができる。
図７Ｃは、バックエンド処理操作の完了前のビューポート７０７の拡大ビューを示し、アプリケーションが表示されたネイティブ医療画像に関連する３Ｄ表現をレンダリングすることを可能にする。例えば、様々な実装において、一次表示エリア７０４に表示されるそれぞれのビューポートは、完全なビューで表示するために選択することができ、それにより一次表示エリア７０４全体を包含する。
ビューポート７０７の拡大ビューに示すように、視覚化タイプおよび／または配向、ネイティブ医療画像を識別するビューポートの左上隅のオーバーレイテキスト７２６に加えて、ビューポートは、表示された画像のコンテンツのいくつかの説明を提供する様々な追加のテキスト／注釈も表示することができる。例えば、オーバーレイテキストをビューポートに含め、レンダリングされた視覚化に関連する特定の患者、検査、シリーズ、検査の説明などを識別する情報を提供することができる（例えば、患者名、患者ＩＤ、患者の生年月日、検査日、検査の説明、患者の年齢など）。この情報は、例えば、インデックス付けされた医療画像データ情報の初期高速クエリから検索され、ＧＵＩに含まれる対応するビューポートの各々に表示することができる。さらに、追加のクエリからおよび／または実際に検索されたＤＩＣＯＭファイルからより詳細な患者／検査／シリーズ情報が利用可能になると、この追加の情報は、ビューポートにオーバーレイテキストとして追加され得る（例えば、検査時の患者の体重、担当医師名、取得パラメータ（ＭＲ画像に使用されるシーケンスなど）など）。オーバーレイテキストはまた、限定はしないが、ビュータイプおよび／または配向、厚いスラブまたは３Ｄレンダリングモード（適用可能な場合、ＭＩＰ、ＭｉｎＩＰ、Ａｖｇ、ＶＲ）、ビュー厚さ（適用可能な場合）、適用されるコントラストおよび輝度（医学用語では、ウィンドウ幅／ウィンドウレベル）、幾何学的座標などのレンダリングパラメータを含むことができる。
図７ＣのＧＵＩ７００はまた、ビューポートの右上隅にあるビューポートメニューアイコン７３０のクリック（例えば、右クリック）に応じて生成され得るビューポートメニューウィンドウ７３２を含む。ビューポートメニューウィンドウ７３２は、ビューポートに表示される視覚化と相互作用および／または視覚化の外観を制御するための様々なツールを提供することができる様々な選択可能なフォーマットオプションを含むことができる。様々な実施形態において、インターフェース構成要素１０４は、システムが再構築医療画像を生成およびレンダリングする準備が整うまで（例えば、ツールバー７２８が１００％に達するまで）、再構築医療画像を閲覧および画像と相互作用するために提供されるビューポートメニューオプションを無効化または非アクティブ化するように構成することができる。例えば、示される実施形態では、アクティブ化されたビューポートメニューオプションのみが、ネイティブメニューオプションと、スナップショット作成メニューオプションとを含む。例えば、ネイティブとして現れる選択可能なフォーマットオプションは、ネイティブ医療画像を閲覧することができる。示される実施形態では、初期ネイティブ医療画像が表示されるため、ネイティブ画像メニューオプションは、現在選択されているものとして示されている。スナップショット作成メニューオプションは、表示された視覚化の静止ビューまたはスクリーンショットの取得を行うことができる（例えば、ネイティブ医療画像、注釈付きネイティブ医療画像、再構築医療画像など）。
示される実施形態では、軸、冠状、斜め、３Ｄ、ｍｉｎ−ＩＰ、ｍａｘ−ＩＰ、ａｖｇ−ＩＰ、ＶＲおよびＭＰＲ（多平面再フォーマット）として識別されるビューポートメニューの追加の選択オプションは、対応する配向から、および／または対応する３Ｄプロパティを使用して、再構築医療画像をそれぞれ表示することができる。ツールバー７２８は５０％にすぎないため、これらの再構築医療画像メニューオプションは、非アクティブ化される（例えば、アクティブ化され選択可能なネイティブメニューオプションおよびスナップショット作成メニューオプションと比較して明るいグレー色で示される）。例えば、システムがレンダリングされたネイティブ医療画像に関連する再構築画像を生成する準備が整うと（例えば、システムがレンダリングされたネイティブ画像に関連する画像の１つまたは複数の３Ｄ互換サブセットを定義し、３Ｄ互換サブセットの３Ｄ幾何学的プロパティを決定し、かつ／または３Ｄ互換サブセットに含まれる実際の画像を受信すると）、インターフェース構成要素１０４は、これらの追加の選択オプションの１つまたは複数をアクティブ化することができる。一態様では、アクティブ化されると、軸メニューオプションの選択により、軸配向からの表示されたネイティブ医療画像に関連する再構築医療画像がレンダリングされ得る。同様に、冠状または矢状メニューオプションの選択により、それぞれ冠状および矢状配向からの表示されたネイティブ医療画像に関連する再構築医療画像がそれぞれレンダリングされ得る。１つまたは複数の実施形態では、斜めメニューオプションは、表示された再構築医療画像の配向を様々な非標準的な配向に変更することができる。例えば、斜めメニューオプションを選択すると、ユーザは表示された再構築医療画像を様々な自由形式の方向でおよび／または様々な自由な場所の軸を中心に回転させることができるため、表示されたネイティブ医療画像で表される身体部の３Ｄモデルは、事前定義された標準的な視点に加えて様々なユーザ定義（非標準）の視点から閲覧しやすくなる。斜めメニューオプションについては、制御構成要素１１２の回転構成要素６１２を参照して以下でより詳細に説明される。３Ｄメニューオプションを選択すると、表示されたネイティブ医療画像に関連するデフォルトの３Ｄモデルを生成することができる（例えば、事前定義された輝度でまたは１つまたは複数の事前定義された３Ｄプロパティにより）。３Ｄメニューオプションに関連するサブメニューオプションにより、３Ｄ視覚化の外観をそれぞれｍｉｎ−ＩＰ、ｍａｘ−ＩＰ、ａｖｇ−ＩＰおよびＶＲに変更することができる。加えて、ＭＲＰレイアウトメニューオプションを選択すると、ＧＵＩを、ネイティブ医療画像を示す１つまたは複数のビューポートと、ネイティブ医療画像に関連する再構築医療画像を示す１つまたは複数の追加のビューポートとを含む定義されたビューポートレイアウトに変更することができる。
図７Ｄは、バックエンド処理操作の完了後のビューポート７０７の拡大ビューを示し、アプリケーションが表示されたネイティブ医療画像に関連する３Ｄ表現をレンダリングすることを可能にする。例えば、図７Ｄに示すように、ローディングバー７２８は１００％に達している。様々な実装において、ローディングバーが１００％に達した後は表示エリアから閉じることができ、表示されたネイティブ医療画像とネイティブ医療画像に関連する１つまたは複数の３Ｄ表現の切り替えを行う様々な制御アイコン／機能を提供および／またはアクティブ化することができる。例えば、図７Ｄに示すように、１つまたは複数の実施形態では、３Ｄ互換データが開発され、および／または表示されたネイティブ医療画像の３Ｄ再構築をレンダリングするために利用可能になると、制御アイコン７１４を選択することができる。様々な実装において、制御アイコン７１４は、厚さ修正構成要素６０２の対応する特徴および機能性を提供してもよい。これに関して、制御アイコン７１４の選択により表示された視覚化の厚さを変更することができることで、身体部のネイティブ２Ｄ医療画像の閲覧から身体部の再構築３Ｄ画像の閲覧への切り替えを容易にする。
例えば、示される実施形態では、制御アイコン７１４を選択すると、一次表示エリア７０４の右端に示される厚さバー７３４が生成され得る。（他の実装では、バックエンド３Ｄレンダリングの準備が完了すると、厚さバー７３４がビューポートに自動的に表示される）。厚さバー７３４は、基点７３８の両側に設けられた延長可能なハンドル７３６を含むことができる。表示された視覚化（例えば、このシナリオのネイティブ医療画像）の厚さを増加させるために、ハンドル７３６を引き離して厚さバー７３４の長さを延長することができる。示される実施形態では、一次表示エリア７０４に表示される視覚化は、依然としてネイティブ２Ｄ画像である。したがって、厚さバー７３４は、ハンドル７３６が基点７３８に隣接する最小長さに設定される。
図７Ｅは、１つまたは複数の実施形態による、図７Ｄに表示される視覚化から厚さバー７３４の長さを増加させた後のビューポート７０７の拡大ビューを示す。図７Ｅに示すように、厚さバーのハンドル７３６は、基点７３８からスライドまたは引き離されている。その結果、図７Ｄに示されているネイティブ視覚化は、同じビューポート７０７のネイティブ画像の３Ｄ再構築バージョンに置き換えられている。例えば、ビューポートの左上隅にあるオーバーレイテキスト７２６は、ここに表示される視覚化がネイティブ画像ではなく３Ｄ画像であることを現在示している。３Ｄ画像の配向は、冠状である。例えば、様々な実施形態において、厚さバー７３４によって提供される厚さ修正は、表示配向と一致する平面に平行な方向に３Ｄボリュームを増加または減少させることによって、ユーザに表示された視覚化を適合させることを可能にし得る。したがって、基礎となるネイティブ医療画像が冠状配向からキャプチャおよび表示されたため、厚さバー７３４の拡大に応じてそこから生成された対応する３Ｄ再構築画像もまた、冠状配向から示される。
しかしながら、様々な実施形態において、制御構成要素１１２は、一次表示エリア７０４に表示される３Ｄ視覚化の配向を変更するための１つまたは複数のメカニズムを提供することができる（例えば、配向選択構成要素６０６、回転構成要素６１２、および平面選択構成要素６１６によって提供される）。例えば、異なる配向を選択するか、またはビューポートメニュー７３２からの軸、冠状、矢状または斜めのメニューオプションの選択に関連して表示された画像の配向を変更することによって、ユーザは、異なる配向（例えば、軸、矢状または斜め配向）から図７Ｅに示される３Ｄ視覚化をレンダリングするようにインターフェース構成要素１０４に指示することができる。さらに、新しい視覚化が新しい配向から生成された後、ユーザは、厚さ修正構成要素６０２（例えば、厚さバー７３４によって具現化される）を使用して、新しい配向によって定義される平面に平行な方向に新しい配向で新しい視覚化の厚さを調整することもできる。
図７Ｆは、バックエンド処理操作の完了後のビューポート７０７の拡大ビューを示し、アプリケーションが表示されたネイティブ医療画像およびビューポートメニューアイコン７３０の選択に関連する３Ｄ表現をレンダリングすることを可能にする。図７Ｆに示すように、表示されたネイティブ画像は３Ｄ互換性であるため、表示されたネイティブ医療画像の３Ｄレンダリングおよび／または３Ｄ視覚化の配向の変更に関連する追加のビューポートメニューオプションがアクティブ化される。しかしながら、ネイティブフォーマットオプションがまだ選択されているため、表示された視覚化は、元のネイティブ画像を依然として含む。
図７Ｇは、図７Ｆに表示される視覚化に関連してビューポートメニューウィンドウ７３２から冠状、３ＤおよびＶＲフォーマットオプションを選択した後のビューポート７０７の拡大ビューを示す。図７Ｈに示すように、３ＤおよびＶＲフォーマットオプションを選択すると、図７Ｆに提示されたネイティブ医療画像は、図７Ｆに示されたネイティブ医療画像に関連する３Ｄ互換画像のサブセットに基づいて生成された冠状配向からの再構築ボリューム３Ｄレンダリングで置き換えられる。
再び図６を参照すると、様々な実施形態において、制御構成要素６１０は、別々の３Ｄ再構築としてレンダリングされる表示された３Ｄ再構築の面積またはボリュームを選択する面積選択構成要素を含むことができる。面積選択ツールは、例えば、患部（骨折のある面積、腫瘍のある面積など）を含むディスプレイの身体部の一部を選択するために使用されてもよい。例えば、面積選択構成要素６１０によって提供される面積選択特徴を使用して３Ｄ再構築がＧＵＩに表示された後、ユーザは、表示された３Ｄ再構築の面積またはボリュームを、別々の（例えば、拡大された）３Ｄ再構築として切り取り閲覧するために定義することができる。これに関して、面積選択ツールは、ユーザが別々の視覚化として閲覧するために、表示された３Ｄ視覚化に含まれる身体部の特定の面積またはボリュームを切り取ることを可能にする医療メスとして機能し得る。例えば、面積選択ツールの選択に基づいたいくつかの実装では、ユーザには、ユーザがあるいは３Ｄ画像の面積を定義する３Ｄ画像上に形状を生成することを可能にするメスまたは描画ツールが提供され得る。いくつかの実装では、面積選択ツールにより、ユーザは表示された３Ｄ再構築を自由形式で、または定義された選択形状（例えば、大きな長方形）を使用して描画することが可能となり得る。例えば、患者の心臓の３Ｄ画像の自由形式選択ツールを使用して、ユーザは、心臓の一部（例えば、大動脈、右心室、左心室など）のみの周りに自由形式の形状を描画することができる。他の実装では、選択ツールは、選択可能な形状のタイプを制限することができる（例えば、円形、長方形などに）。
面積またはボリュームが定義および選択されると、３Ｄレンダリング構成要素１２８は、ＧＵＩに表示するために選択された面積／ボリュームのみの新しい３Ｄ再構築を提供することができる。これらの実施形態によれば、ビューポート構成要素１０６は、ネイティブ／再構築医療撮像システム１００がネイティブ画像の３Ｄ再構築バージョンをレンダリングする準備が整うと（例えば、３Ｄ互換医療画像データがデータモデル１２０に追加されると、および／または３Ｄ互換ネイティブ医療画像が検索されると）、面積選択構成要素６１０をアクティブ化するように構成され得る。
例えば、図８Ａ〜図８Ｃは、本明細書に記載の１つまたは複数の実施形態による、面積選択構成要素６１０の１つまたは複数の特徴および機能性を示すワークフローを提供する。特に、図８Ａは、ビューポートメニューウィンドウ７３２が閉じられた、図７Ｈに提示された再構築ボリュームレンダリングを含むビューポート７０７の別の拡大ビューを示す。加えて、面積選択制御に対応する制御アイコン７２４が選択されている。この例示的な実装によれば、面積制御アイコン７２４の選択は、面積選択構成要素６１０の１つまたは複数の特徴および機能性を提供してもよい。例えば、示される実施形態では、制御アイコン７２４の選択に応じて、メスツール７４０を生成して一次表示エリア７０４に提示することができる。様々な実装において、メスツールは、３Ｄ画像に関連する面積またはボリュームを定義するためにのみ使用され得る。したがって、様々な実装において、インターフェース構成要素１０４は、一次表示エリアにおける３Ｄ視覚化の表示に関連してのみメスをアクティブ化するように構成することができる。図８Ｂに示すように、メスツール７４０を使用して、ユーザは、表示された視覚化を描画し、拡大された再構築画像として別々にレンダリングするための面積７４２を選択することができる。図８Ｃは、ボリューム３Ｄレンダリングとしてレンダリングされた面積７４２の結果として得られる拡大ビューを提示する。
１つまたは複数の追加の実施形態では、面積選択構成要素６１０はまた、身体部の３Ｄモデルとして閲覧するためにＧＵＩの一次表示エリア７０４に表示される身体部のネイティブ２Ｄ画像の面積を選択することができる。これに関して、面積選択構成要素６１０は、ユーザが２Ｄ画像の全面積よりも小さい２Ｄ画像の面積を選択することを可能にし得る。ネイティブ２Ｄ画像の定義された面積を示すユーザ入力の受信に基づいて、選択構成要素１１０は、選択された面積に関連するボリュームを決定するように構成することができる。次に、データモデルの３Ｄ互換情報を使用して、選択構成要素１１０は、コヒーレントネイティブ３Ｄ画像のサブセットを決定し、選択された面積に対応するボリュームで３Ｄ再構築を形成し得る。選択構成要素１１０は、対応する３Ｄ表現を生成するように３Ｄレンダリング構成要素１２８にさらに指示することができる。例えば、上記の例に加えて、患者の心臓のネイティブ２Ｄ画像の大動脈のみに対応する面積の選択に基づいて、データモデルの３Ｄ互換情報を使用して、３Ｄレンダリング構成要素は、大動脈のみの３Ｄモデルを生成することができる。３Ｄモデルは、ＧＵＩでさらにレンダリングされてもよい。
図９Ａ〜図９Ｃは、本明細書に記載の様々な態様および実施形態による、厚さ修正構成要素６０２の特徴および機能性をさらに実証するＧＵＩ７００でレンダリングされた一連の視覚化を提供する。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
図９Ａに関して、示される実施形態では、患者の脳のＣＴスキャンから生成された軸ネイティブ医療画像を含む単一のビューポート９０１が表示される。制御アイコン７１４は、表示された視覚化の厚さを変更するために選択される。ネイティブ画像が現在表示されているため、厚さバー７３４は、ハンドル７３６が基点７３８に隣接する最小長さに設定されているものとして示されている。
図９Ｂは、厚さバー７３４の長さをその最小長さから延長することに応じて、ビューポート９０１の視覚化がどのように変化し得るかを示している。特に、図９Ｂに示すように、厚さバー７３４の長さは増加しており、厚さバーのハンドル７３６は基点７３８からそれぞれ分離されている。その結果、ビューポート９０１に表示される視覚化は、軸配向からキャプチャされたネイティブ２Ｄ画像から、軸配向からレンダリングされた３Ｄ再構築画像に変化している。１つまたは複数の実施形態では、再構築画像の厚さまたはボリュームは、厚さバー７３４の長さに基づくことができる。例えば、ビューポート９０１の左下隅のテキストに記載のように、３Ｄ画像の厚さまたはボリュームは、３２．５の値に設定される（図９Ａに表示されるネイティブ２Ｄ画像の厚さまたはボリュームは、デフォルトの値の０．６に設定されている）。
図９Ｃは、厚さバー７３４の長さをさらに延長することに応じて、ビューポート９０１の視覚化がさらにどのように変化し得るかを示している。特に、図９Ｃに示すように、厚さバー７３４の長さは図９Ｂのその位置から増加しており、厚さバーのハンドル７３６は基点７３８からさらにそれぞれ分離されている。その結果、ビューポート９０１に表示される視覚化は、厚さまたはボリュームが３２．５の３Ｄ画像から厚さまたはボリュームが１４６．２の３Ｄ画像に変更されている。
図９Ａ〜図９Ｃに示す実施形態では、厚さバーの対向するハンドル７３６は、基点７３８から等しい距離だけ移動される。いくつかの実装では、それぞれのハンドル７３６の移動は、ハンドル７３６の１つの移動が対向するハンドルを基点７３８から同じ量だけ離れるように移動させるように、同期させることができる。これらの実装によれば、身体部の３Ｄ画像が基づく身体部の元の２Ｄ医療画像の断面位置は、３Ｄ画像の中心点／平面のままである。言い換えると、厚さバーの長さの増加に応じてネイティブ２Ｄ画像から生成された３Ｄ画像は、ネイティブ２Ｄ画像によって定義される平面の位置の上下に等しいボリューム量の身体部を含む。しかしながら、他の実装では、ハンドル７３６の１つの移動は、他から独立していてもよい。例えば、ハンドル７３６の１つのみを上方向に移動させると、３Ｄ画像のボリュームを元の２Ｄ医療画像の断面位置から上方向にのみ拡大することができる。同様に、ハンドルの１つのみを下方向に移動させると、３Ｄ画像のボリュームを元のネイティブ２Ｄ医療画像の断面位置から下方向にのみ拡大することができる。
図１０Ａ〜図１０Ｄは、本明細書に記載の様々な態様および実施形態による、厚さ修正構成要素６０２の特徴および機能性をさらに実証するＧＵＩ７００でレンダリングすることができる別の一連の視覚化を提供する。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
いくつかの実装では、厚さ修正構成要素６０２は、新たに選択された配向での３Ｄ画像との相互作用に基づいて、身体部のネイティブ２Ｄ画像の閲覧への切り替えをさらに提供することができる。例えば、前述のように、厚さ修正構成要素６０２は、表示された３Ｄ画像の厚さを減少させるユーザ入力を受信することができる。厚さを最小厚さに減少させることに基づいて、選択構成要素１１０は、データモデル１２０に基づいて、３Ｄ画像の減少したボリューム形状の断面積を提示するレンダリング用のネイティブ２Ｄ画像を選択することができる。これに関して、断面積によって表される平面は、表示された３Ｄ画像の現在の配向に基づいて決定される。これらの実施形態によれば、ネイティブ医療画像データ１３２は、身体部の３Ｄ画像を閲覧するための異なる可能な配向からキャプチャされた身体部の断面積にそれぞれ対応する、身体部の複数のネイティブ２Ｄ画像を含むことができる。例えば、いくつかの実装では、ネイティブ２Ｄ画像データは、軸配向、冠状配向、および／または矢状配向からキャプチャされた身体部の異なる断面に対応する複数の２Ｄ画像を含むことができる。この例によれば、ネイティブ２Ｄ画像が存在する特定の標準的な配向（例えば、軸、冠状、矢状など）で表示される３Ｄ画像の厚さを最小厚まで減少させる入力を受信した場合、利用可能な入力ネイティブ医療画像を記述するデータモデル１２０の情報を使用して、選択構成要素１１０は、最小ボリューム内に含まれる身体部の断面積を表す同じ特定の配向からキャプチャされた身体部のネイティブ２Ｄ画像を選択するように構成することができる。ネイティブ画像処理構成要素１２６はさらに、選択されたネイティブ医療画像をＧＵＩでレンダリングするために（例えば、インターフェース構成要素１０４によって）返すことができる。
例えば、図１０Ａは、図９Ｃに示される３Ｄ視覚化が、ビューポートメニュー７３２からの矢状配向の選択に応じて軸配向から矢状配向にどのように変化し得るかを示している。結果として得られる視覚化は、矢状３Ｄ画像である（オーバーレイテキスト７２６によって記載されている）。図１０Ｂは、ビューポートメニューが閉じられた、図１０Ａと同じＧＵＩおよびビューポート９０１の実施形態を示す。
図１０Ｃは、厚さバー７３４の長さを部分的に減少させることに応じて、図１０Ｂのビューポート９０１に提示される視覚化がどのように変化し得るかを示している。図１０Ｃに示すように、厚さバーの長さは実質的に減少しているが、その最小長さに達していない。例えば、ハンドル７３６は、基点７３８から部分的に分離されている。したがって、図１０Ｃに示される結果として得られる視覚化は、厚さバー７３４の長さに対応する深さ外観または厚さを有する矢状３Ｄ画像である（例えば、ビューポートの左下隅のテキストに記載されているように、３７．５）。
図１０Ｄは、厚さバー７３４の長さをその最小長さまでさらに減少させることに応じて、図１０Ｃに提示される視覚化がどのように変化し得るかを示している。特に、図１０Ｄに示すように、ビューポート９０１に表示される結果として得られる視覚化は、ここでは前の画面に示された身体部のネイティブ２Ｄ画像である。ネイティブ２Ｄ画像の配向は、主題のネイティブ医療画像の元となる前の３Ｄ画像と同じ、矢状配向である。一態様では、このネイティブ矢状画像は、この矢状配向からの身体部の再構築２Ｄビューとは対照的に示されるが、これはこの矢状視点からのネイティブ２Ｄ画像が元の選択されたデータセットで利用可能であったためである。したがって、利用可能な場合、ネイティブ画像が再構築２Ｄ画像上にレンダリングされる。
再び図６を参照すると、１つまたは複数の実施形態では、回転構成要素６１２は、ＧＵＩの一次表示エリアに表示される３Ｄ医療画像の配向を変更することができる。例えば、１つまたは複数の実施形態では、回転構成要素６１２により、ユーザは、一次表示エリア７０４内に表示されている三次元以上（例えば、ｘ軸、ｙ軸、ｚ軸、および３Ｄモデルの中心点を通る追加の軸を中心に）で３Ｄモデルを３６０度まで回転させることが可能となり得る。いくつかの実装では、３Ｄモデルの回転に関連して、回転構成要素６１２は、回転軸を定義することもできる。例えば、回転構成要素６１２により、ユーザは、３Ｄモデルの任意の部分を通して任意の方向に回転軸を定義することが可能となり得る。これに関して、回転構成要素６１２は、非標準的な視点を含む、任意の視点から身体部の３Ｄモデルをユーザが回転させて閲覧することを本質的に可能にすることができる。主題の開示によれば、任意の非標準的な配向（または事前定義されていない配向）は、本明細書では斜め配向と呼ばれる。
様々な実施形態において、一次表示エリアに表示される３Ｄ画像の配向の変化を示すユーザ入力に基づいて、選択構成要素１１０は、変更された配向に対応する配向を有する身体部の新しい３Ｄ画像の視覚的および幾何学的パラメータを（例えば、データモデル１２０によって提供される情報を使用して）決定するように構成され得る。例えば、表示される初期３Ｄモデル、回転量、回転軸およびユーザ入力に含まれる回転方向に基づいて、選択構成要素１１０は、前の３Ｄ画像に表された身体部を閲覧するための所望の新しい視点を決定することができる。３Ｄレンダリング構成要素１２８は、（例えば、インターフェース構成要素１０４を介して）一次表示エリアに表示され得る所望の新しい視点からの身体部の新しい３Ｄ画像をさらに生成および提供することができる。
図１１Ａ〜図１１Ｃは、本明細書に記載の様々な態様および実施形態による、回転構成要素６１２の特徴および機能性をさらに実証するＧＵＩ７００でレンダリングすることができる別の一連の視覚化を提供する。図１１Ａは、背骨に対して行われた患者Ｊｏｈｎ Ｄｏｅの撮像検査の選択に関連して患者Ｊｏｈｎ Ｄｏｅの背骨の３Ｄ視覚化を有する、ＧＵＩで提供される別のビューポート１１０１を示す。３Ｄ再構築視覚化は、オーバーレイテキスト７２６によって示されるように、冠状配向から示される。図１１Ｂ〜図１１Ｃは、回転構成要素６１２によって提供される回転制御機能の使用に応じて、ビューポート１１０１の３Ｄ冠状視覚化がどのように変化し得るかを示している。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
一実装では、回転制御構成要素６１２によって提供される回転制御機能は、ビューポートメニュー７３２からの斜めメニューオプションの選択に応じて、レンダリングされた３Ｄ視覚化に関連して適用することができる。例えば、図１１Ｂに示すように、斜めメニューオプションおよび３Ｄメニューオプションが選択される。その結果、ＧＵＩ７００の一次表示エリア７０４に提供される視覚化は、斜め配向からの３Ｄ視覚化である（例えば、オーバーレイテキスト７２６によって示されるように）。３Ｄ視覚化はまた、ビューポートメニュー７３２からのｍｉｎ−ＩＰオプションの選択に基づいて、ｍｉｎ−ＩＰでレンダリングされる。別の実装では、回転制御構成要素６１２によって提供される回転制御機能は、回転制御アイコン７２０の選択に関連して適用することができる。
これらの実装のいずれかでは、３Ｄ視覚化の表示に関連して、かつビューポートメニュー７３２からの斜めメニューオプションの選択に応じて、または回転制御アイコン７２０の選択に応じて、一次表示エリア７０４に表示される３Ｄ視覚化の配向は、斜め配向と見なすことができる。例えば、示される実施形態では、図１１Ｂに表示される視覚化の配向は斜めである（更新されたオーバーレイテキスト７２６によって示されるように）が、図１１Ｂの実際の視覚化は、図１１Ａに示されるものと変わらない（冠状配向を有すると見なされている）。しかしながら、様々な実施形態において、視覚化が斜め配向でレンダリングされると、回転制御構成要素６１２はアクティブ化されたままであり、ユーザが視覚化の配向を任意のユーザ定義の配向（例えば、標準的な配向および非標準的な配向を含む）に回転または変更することを可能にし得る。したがって、ビューポートメニュー７３２または回転制御アイコン７２０からの斜めメニューオプションの選択に関連して、視覚化アプリケーションは、斜め閲覧モードで操作することができ、ユーザには、表示された３Ｄ視覚化の配向を変更するための１つまたは複数の制御が提供される。
例えば、一実装では、図１１Ｂに示すように、斜め操作モードの場合、インターフェース構成要素１０４は、ビューポート１１０１に回転制御１１０２を提供することができる。一態様では、回転制御１１０２を押す、選択する、あるいは相互作用することにより、表示された３Ｄ視覚化を、３Ｄ視覚化に対して定義された回転点１１０４を中心に所望の方向に回転させることができる。加えて、いくつかの実施形態では、回転構成要素６１２により、ユーザは、回転点１１０４を３Ｄ視覚化上または内の任意の所望の場所に移動させることが可能となり得る。回転構成要素６１２はまた、ユーザが回転軸（図示せず）の配向を定義することを可能にすることができる。例えば、示される実施形態では、回転点１１０４は、３Ｄ視覚化のボリュームの中心のデフォルトの場所に載置され、回転軸は、回転点１１０４を介してデフォルトの垂直方向（例えば、ｙ軸）に設定される。しかしながら、様々な実装において、回転軸および回転点１１０４を選択して移動させることができる。
図１１Ｃは、視覚化の回転を要求するユーザ入力の受信に応じて、図１１Ｂのビューポート１１０１の視覚化がどのように変化し得るかを示している一連の画像を提供する。特に、画像１１０３は、回転入力が適用されていない図１１Ｂに示される視覚化を示す。画像１１０４、１１０５および１１０６は、垂直回転軸を中心とした時計回りの視覚化の回転に関連する、視覚化１１０３の再構築バージョンの連続的な実施形態をそれぞれ提供する。例えば、画像１１０４は約４５度の回転を示し、画像１１０５は約６５度の回転を示し、画像１１０６は約９０度の回転を示す。視覚化１１０４、１１０５および１１０６の各々の視覚化の配向は、配向が斜めモードでの操作に関連してユーザ定義されたために斜めと見なされる。例えば、画像１１０４、１１０５および１１０６に含まれる結果として得られる３Ｄ視覚化の配向は、非標準である。
再び図６を参照すると、様々な実施形態において、注釈構成要素６１４は、本明細書で開示されるＧＵＩでレンダリングされるネイティブおよび再構築医療画像に注釈を追加することができる。注釈には、限定はしないが、テキスト、記号、線、形状、画像、ハイパーリンクなどが含まれ得る。１つまたは複数の実装では、ＧＵＩ７００の制御アイコン７１６は、特に、一次表示エリア７０４に含まれるネイティブおよび再構築医療画像に測定線またはマークを追加するための注釈ツールを提供する。例えば、制御アイコン７１６の選択は、ユーザがディスプレイ上にネイティブまたは再構築医療画像を描画して測定線で画像をマークアップすることを可能にする、注釈ツールを生成することができる。
様々な実装において、身体部のネイティブ２Ｄ医療画像上の位置への注釈の適用に基づいて、注釈構成要素６１４は、場所の視点を提供する身体部の３Ｄ医療画像上の注釈を統合するように構成することができる。同様に、身体部の３Ｄ医療画像上の場所への注釈の適用に基づいて、注釈構成要素６１４は、場所の視点を提供する身体部の２Ｄネイティブ医療画像上の注釈を統合するように構成することができる。例えば、ネイティブおよび再構築医療画像に適用される注釈は、それぞれの画像の特定の視覚的または解剖学的特徴など、それぞれの画像の特定の空間的場所に関連付けることができる。例えば、測定注釈は、表示されたネイティブまたは再構築医療画像に示される第１の解剖学的特徴と第２の解剖学的特徴との間に描画された測定線を示し得る。１つまたは複数の実施形態では、注釈がネイティブ２Ｄ画像に適用されるか再構築２Ｄ画像に適用されるかにかかわらず、注釈構成要素６１４は、画像によって表される身体部に対する注釈の相対的な２Ｄおよび／または３Ｄの空間的場所を決定することができる。
例えば、身体部のネイティブ２Ｄ画像上の第１の解剖学的特徴と第２の解剖学的特徴との間の距離測定線の適用に関連して、注釈構成要素６１４は、第１の解剖学的特徴および第２の解剖学的特徴に関して測定線の相対的な３Ｄの空間的場所を決定することができる。注釈構成要素６１４は、注釈および身体部に対するその２Ｄ／３Ｄの空間的場所を識別する情報をさらに生成して保存することができる（例えば、キャッシュ１２４または他のアクセス可能なメモリに）。したがって、身体部の空間的場所の可視ビューを含む身体部の３Ｄ画像が生成されると、注釈構成要素６１４は、注釈を３Ｄ画像に自動的に適用することができる。さらに、注釈の外観は、３Ｄ画像の視点を反映することができる。例えば、２つの解剖学的特徴間の測定線の角度および長さは、３Ｄ画像の配向に基づいて３Ｄ画像に含まれる２つの解剖学的特徴の相対的な位置を反映するように適合し得る。
同様に、身体部の３Ｄ画像上の第１の解剖学的特徴と第２の解剖学的特徴との間の距離測定線の適用に関連して、注釈構成要素６１４は、第１の解剖学的特徴および第２の解剖学的特徴に関して測定線の相対的な３Ｄの空間的場所を決定することができる。注釈構成要素６１４は、注釈および身体部に対するその２Ｄ／３Ｄの空間的場所を識別する情報をさらに生成して保存することができる（例えば、キャッシュ１２４または他のアクセス可能なメモリに）。したがって、身体部の空間的場所の可視ビューを含む身体部の２Ｄネイティブ画像が生成されると、注釈構成要素６１４は、注釈を２Ｄ画像に自動的に適用することができる。さらに、注釈の外観は、２Ｄ画像の視点を反映することができる。例えば、２つの解剖学的特徴間の測定線の角度および長さは、２Ｄ画像の配向に基づいて２Ｄ画像に含まれる２つの解剖学的特徴の相対的な位置を反映するように適合し得る。
図１２は、本明細書に記載の様々な態様および実施形態による、同じ注釈を含むネイティブおよび再構築医療画像を提示する。視覚化１２０１は、患者の脳の断面積のネイティブ２Ｄ画像を提示する。視覚化１２０２は、視覚化１２０１に示される断面積の近くまたは周囲の患者の脳の第１のボリュームの３Ｄ画像を提示し、視覚化１２０３は、視覚化１２０１に示される断面積の近くまたは周囲の患者の脳の第２のより大きなボリュームの別の３Ｄ画像を提示する。視覚化１２０１の各々は、解剖学的特徴ａとｂとの間に描画された測定線１２００を含む。１つまたは複数の実施形態によれば、測定線１２００は、視覚化１２０１、１２０２または１２０３の１つのみに最初に適用された。しかしながら、測定線１２００の視覚化の１つのみへの適用に基づいて、測定線は、他の視覚化が特徴ａおよびｂの視点も含むために他の視覚化にも表示された。例えば、一実装では、測定線は、視覚化１２０１がグラフィカルユーザインターフェースに表示されたときに制御アイコン７１６を使用してユーザによって視覚化１２０１に適用された。その後、視覚化１２０２および１２０３が選択または生成およびレンダリングされると、注釈構成要素６１４は、解剖学的特徴ａおよびｂのビューを含むために測定線１２００をこれらの視覚化に適用することもできる。
再び図６を参照すると、１つまたは複数の実施形態では、平面選択構成要素６１６は、２Ｄでレンダリングするために身体部の３Ｄ画像の平面を選択することができる。例えば、平面選択構成要素６１６は、ユーザが３Ｄモデルを本質的に半分にスライスし、スライスされた半分の表面によって定義される断面積をネイティブ医療画像として閲覧することを可能にし得るナイフツールとして機能することができる。いくつかの実装では、平面選択構成要素６１６は、ユーザが身体部の３Ｄ画像の任意の平面を選択することを可能にし得る。例えば、これらの実装では、平面選択構成要素６１６により、ユーザは３Ｄモデルを任意の軸に沿った任意の点でスライスすることが可能となり得る。他の実装では、平面選択構成要素６１６は、身体部のキャプチャされた利用可能なネイティブ画像の配向に基づいて、選択可能な平面を制限することができる。例えば、これらの実装では、身体部のキャプチャされたネイティブ画像のセットが軸配向からのみキャプチャされる場合、次に平面選択構成要素６１６は、ユーザが３Ｄ画像の軸平面を選択することのみを可能にすることができる。
様々な実装において、３Ｄモデルの平面を選択するユーザ入力に基づいて、データモデル１２０を使用して、選択構成要素１１０は、身体部に対する選択された平面の特定の位置（例えば、３Ｄ）および配向を決定するように構成され得る。いくつかの実装では、選択構成要素１１０は、選択された平面に最も近いキャプチャ位置および配向を有する身体部のキャプチャされたデータセットの利用可能なネイティブ画像から、ネイティブ医療画像を選択するようにさらに構成され得る（例えば、そのような対応するネイティブ医療画像が利用可能である場合）。次に、選択されたネイティブ医療画像をグラフィカルユーザインターフェースの一次表示エリアにレンダリングし、それにより身体部の３Ｄモデルの閲覧から選択された平面に対応する身体部のネイティブ２Ｄ画像の閲覧に切り替えることができる。他の実装では、または選択された平面に対応するネイティブ医療画像が利用可能ではない実装では、３Ｄレンダリング構成要素は、選択された平面に沿った身体部の断面積に対応する２Ｄ再構築画像（またはｍｉｎ−ＩＰでの３Ｄ再構築画像）を生成するように構成することができる。
図１３は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的なネイティブ／再構築医療撮像システム１３００を示す。システム１３００は、データスケジューリング構成要素１３０２および機械学習構成要素１３０４がバックエンド処理サービス構成要素１３６に追加されたシステム１００と同じまたは同様の特徴および機能性を含む。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
様々な実施形態において、データローディング構成要素１２２は、視覚化構成要素１０２によるネイティブ画像およびネイティブ画像の再構築バージョンのレンダリングに関連して、画像処理構成要素（例えば、ネイティブ画像処理構成要素１２６および３Ｄレンダリング構成要素１２８）による処理のために、１つまたは複数の外部データストア１３０から関連するネイティブ医療画像またはＤＩＣＯＭインスタンスを検索およびロードする（例えば、キャッシュ１２４に）ように構成され得る。１つまたは複数の実装では、データスケジューリング構成要素１３０２は、ネイティブ医療画像データまたはＤＩＣＯＭインスタンスが検索される順序を決定および制御し、関連するネイティブ医療画像のレンダリングならびにネイティブ医療画像に関連する３Ｄ再構築の生成およびレンダリングに関連するレイテンシを最小限に抑えるように構成され得る。これに関して、データスケジューリング構成要素１３０２は、ネイティブ医療画像を検索し、それらが表示される、または表示される可能性が高い順序で利用可能にすることを目的とすることができ、最初に表示されるネイティブ医療画像は、最初に検索される。例えば、閲覧のために選択された医療撮像検査に基づいて、データスケジューリング構成要素１３０２は、１つまたは複数のビューポートで最初に表示される検査のネイティブ医療画像を最初にロードするようにデータローディング構成要素１２２に指示してもよい。データスケジューリング構成要素１３０２は、閲覧セッションの過程で検査における追加のネイティブ画像が閲覧される可能性が高い順序をさらに決定し、その後、その順序でネイティブ医療画像を検索するようにデータローディング構成要素１２２に指示することができる。
同様に、データスケジューリング構成要素１３０２は、３Ｄ表現がレンダリングされる可能性が高い順序で３Ｄ表現を生成するために使用される３Ｄ互換画像のサブセットを検索して利用可能にすることを目的とすることができ、３Ｄ表現に関連する３Ｄ画像のサブセットは、最初にレンダリングされ、最初に検索される。加えて、選択されたデータセットのネイティブ医療画像をランダムに検索するのではなく、データスケジューリング構成要素１３０２は、識別された３Ｄ互換サブセットに従ってネイティブ医療画像を検索するように構成することができる。これに関して、データスケジューリング構成要素１３０２は、第２の３Ｄ互換サブセットをロードする前に、ロードが完了した第１の３Ｄ互換サブセットをロードするようにデータローディング構成要素１２２に指示することができる。
様々な実施形態において、データスケジューリング構成要素１３０２は、選択された医療撮像データセットに関連する様々なコンテキスト要因に基づいて、ネイティブ医療画像を検索するための順序を決定することができる。これらのコンテキスト要因は、限定はしないが、選択されたデータセットに関連する表示状態、選択されたデータセットに関連する事前定義された臨床ワークフロー（例えば、選択されたユーザまたは選択されたデータセットに自動的に関連するユーザ）、ＧＵＩとのユーザ相互作用、選択されたデータセットの閲覧に関連するユーザ選好、ネイティブデータ画像／インスタンスの場所（例えば、短期アーカイブと長期アーカイブ）などを含んでもよい。
例えば、選択されたデータセットに基づいて、ＧＵＩレイアウトが異なる場合があり、データセットに含まれる関連するネイティブ画像のグループまたはセットの数（例えば、異なるＤＩＣＯＭシリーズにそれぞれ対応することができる）が異なる場合があり、かつ関連する医療画像のグループまたはセットに関連する３Ｄ互換ネイティブ医療画像のサブセットが異なる場合がある。これらの変動の各々は、ネイティブ医療画像／インスタンスが１つまたは複数の外部データストア１３０から検索される順序に影響を与える可能性がある。加えて、ある特定のタイプのデータセットおよび関連するＤＩＣＯＭシリーズは、ユーザが一般にまたは好ましくはあるネイティブ医療画像および／または再構築画像から次の画像に切り替える定義されたまたは予測可能なワークフローに関連付けることができる。この例によれば、データスケジューリング構成要素１３０２は、選択されたデータセットに関連する定義または予測されたワークフローに基づいて３Ｄ再構築をレンダリングおよび／または生成するためのネイティブ医療画像を検索することができる。
データスケジューリング構成要素１３０２はまた、現在の閲覧セッションに関連するＧＵＩとのユーザ相互作用に基づいて、ネイティブ医療画像を検索するための順序を決定することができる。例えば、選択されたデータセットが複数のＤＩＣＯＭシリーズに関連付けられる実装では、ＧＵＩの初期レンダリングは、各シリーズを異なるビューポートに関連付けてもよい。次に、ユーザは特定のビューポートを選択して拡大ビューで閲覧するか、あるいは最初に閲覧することができる。この例によれば、特定のビューポートを選択するユーザ入力に基づいて、データスケジューリング構成要素１３０２は、選択されたビューポートによって表されるシリーズに関連するＤＩＣＯＭインスタンスを最初に検索およびロードするようにデータローディング構成要素１２２に指示し得る。加えて、特定のネイティブ医療画像または再構築医療画像を促すまたは選択するユーザ入力に基づいて、表示されたビューポートで特定の選択されたシリーズのネイティブおよび／または再構築画像を閲覧しながら、データスケジューリング構成要素１３０２は、次に閲覧される可能性が高いネイティブおよび／または再構築医療画像を決定し、したがって関連するネイティブ画像データを適宜ロードすることができる。
ユーザが選択されたデータセットに関連するネイティブ画像と再構築画像を閲覧する順序は、ユーザの役割（例えば、医師と患者）、患者に影響を及ぼす医学的疾患、評価される身体部などに基づいて変わる可能性もある。例えば、ユーザの役割、患者に影響を及ぼす医学的疾患および評価される身体部に応じて、ユーザが一般にまたは好ましくは身体部の異なるネイティブ画像および再構築画像を閲覧する表示フロー／順序は、異なり得る。例えば、特定の医師は、脳検査を評価するときに特定の順序でネイティブおよび／または再構築画像データを閲覧することを好む場合がある。
いくつかの実施形態では、機械学習構成要素１３０４は、１つまたは複数の機械学習技法を用いて、閲覧のために選択された異なるタイプのデータセットの表示フローおよびユーザ選好の学習を容易にすることができる。例えば、それぞれのデータセットタイプおよび／またはユーザについて、機械学習構成要素１３０４は、閲覧される特定のネイティブおよび再構築画像、ならびにそれらが閲覧される順序に関する多くの閲覧セッションの情報を経時的に監視または記録することができる。機械学習構成要素１３０４は、１つまたは複数の機械学習技法を使用して、それぞれの臨床症例タイプおよび／またはユーザのための経時的に定義された表示フローをさらに開発することができる。データスケジューリング構成要素１３０２は、選択された画像データセットに関連する学習した表示フローおよび／または閲覧ユーザの学習した選好に基づいて、関連するネイティブ医療画像／ＤＩＣＯＭインスタンスをロードするようにデータローディング構成要素１２２にさらに指示することができる。
本明細書に記載の多数の推論をもたらし、あるいはそのような推論に役立つように、機械学習構成要素１３０４は、アクセスが許可されているデータの全体またはサブセットを調べることができ、イベントおよび／またはデータを介してキャプチャされた観測のセットからシステム（例えば、システム１００など）、環境などの状態についての推理をもたらし、あるいはそのような状態を推論することができる。推論は、特定のコンテキストまたはアクションを識別するために用いられてもよく、あるいは例えば、状態についての確率分布を生成することができる。推論は、確率的であってもよい（例えば、対象の状態についての確率分布の計算は、データおよびイベントの考慮に基づくことができる）。推論は、イベントおよび／またはデータのセットからより高いレベルのイベントを構成するために用いられる技法を指すこともできる。
そのような推論は、イベントが密接な時間的近接にて相関しているかどうか、ならびにイベントおよびデータが１つまたはいくつかのイベントおよびデータソースから由来するかどうかにかかわらず、観測されたイベントおよび／または保存されたイベントデータのセットからの新しいイベントまたはアクションの構築をもたらすことができる。特許請求される主題に関する自動および／または推論によるアクションの実行に関して、様々な分類（明示的および／または暗黙的に訓練される）の仕組みおよび／またはシステム（例えば、サポートベクターマシン、ニューラルネットワーク、エキスパートシステム、ベイジアン信念ネットワーク、ファジー論理、データ融合エンジンなど）を用いることができる。
分類器は、入力属性ベクトルｘ＝（ｘ１、ｘ２、ｘ３、ｘ４、ｘｎ）を、ｆ（ｘ）＝ｃｏｎｆｉｄｅｎｃｅ（ｃｌａｓｓ）などにより、入力があるクラスに属するという信頼度にマッピングすることができる。そのような分類は、ユーザが自動的に実行されることを望むアクションを予知または推論するために、確率論的分析および／または統計ベースの分析（例えば、ユーティリティおよびコストを分析に考慮する）を用いることができる。サポートベクターマシン（ＳＶＭ）は、用いることができる分類器の一例である。ＳＶＭは、可能性のある入力の空間内で超曲面を見つけることによって動作し、ここで超曲面は、トリガ基準を非トリガイベントから分割しようと企てる。直感的に、これは、訓練データに近いが同一ではないテストデータについて、分類を正しくする。他の有向および無向モデル分類手法として、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデル、および異なる独立パターンをもたらす確率的分類モデルを用いることができる。本明細書において使用される分類は、優先モデルを開発するために利用される統計的回帰を含む。
本明細書に記載の例示的なシステム、装置、およびコンピュータ可読記憶媒体を考慮して、開示される主題に従って実装され得る例示的な方法は、図１４〜図１６のフローチャートを参照してさらに理解され得る。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。説明を簡単にするために、本明細書で開示される例示的な方法は、一連の行為として提示および説明されるが、いくつかの行為は異なる順序で、および／または本明細書に示され説明されたものからの他の行為と併行して発生する可能性があるため、開示された主題は行為の順序によって限定されないことを理解および認識されたい。例えば、本明細書で開示される方法は、代替的に、状態図などの一連の相互に関係する状態またはイベントとして表され得る。さらに、相互作用図は、異なるエンティティが方法の異なる部分を制定する場合に、開示された主題に従った方法を表してもよい。さらに、主題の明細書に従って方法を実装するために、例示されているすべての行為が必要とされるわけではない。主題の明細書全体に開示される方法は、プロセッサによる実行またはメモリへの保存のためにそのような方法をコンピュータに移送および転送することを容易にするために、製造品に保存することが可能であることをさらに理解されたい。
図１４は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える例示的な方法１４００のフロー図示す。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
１４０２において、プロセッサ（例えば、システム１００または１４００）を備えるシステムは、医療撮像閲覧セッションに関連してＧＵＩ（例えば、ＧＵＩ７００）で閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像を記述するインデックス付けされた画像データ情報を（例えば、インデックス付けされた医療画像データ情報１３４から）検索する（例えば、クエリ構成要素１１６を介して）。１４０４において、システムは、インデックス付けされたメタデータに基づいてデータモデルを生成する（例えば、データモデリング構成要素１１８を介して）。このモデリング操作は、ネイティブ医療画像を関連する画像の１つまたは複数のセットにグループ化し、関連する画像の１つまたは複数のセットの各セットに対して、関連する画像を、１つまたは複数の３Ｄ表現を生成するためにそれぞれ使用することができる３Ｄ互換画像の１つまたは複数のサブセットにソートすることを含むことができる。次に、データモデルは、関連する画像の１つまたは複数のセットを識別するデータモデルに第１の情報を、３Ｄ互換画像の１つまたは複数のサブセットを識別するデータモデルに第２の情報を組み込むことによって生成される。次いで、１４０６において、システムは、データモデルを用いて、ＧＵＩにおいて、ネイティブ医療画像と１つまたは複数の３Ｄ表現のレンダリングを容易に切り替えることができる（例えば、視覚化構成要素１０２を介して）。
図１５は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的な方法１５００のフロー図を示す。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
１５０２において、プロセッサを備えるシステム（例えば、システム１００または１３００）は、閲覧のための医療撮像検査の選択に応じて、医療撮像検査に関連する医療画像シリーズを識別する第１の情報を含むデータモデル（例えば、データモデル１２０）を受信する（例えば、処理サービス通信構成要素１１４を介して）。例えば、医療画像シリーズは、選択されたデータセットの唯一のシリーズ、または選択されたデータセットに含まれる複数の異なるシリーズの１つを含むことができる。１５０４において、システムは、医療画像シリーズに関連するネイティブ医療画像を表示するビューポートを有するＧＵＩを生成し、ネイティブ医療画像は、身体部を示す。例えば、最初に表示されるネイティブ医療画像は、シリーズの最初の画像、シリーズの中間画像、シリーズのデフォルトの初期画像、ユーザが選択した画像などを含んでもよい。１５０６において、システムは、身体部の１つまたは複数の３Ｄモデルを生成するために使用することができるシリーズのネイティブ医療画像のサブセットを識別する第２の情報を含むデータモデルの更新バージョンを受信することができる。加えて、データモデルの更新バージョンは、３Ｄ互換画像が取得軸に沿って等距離で整列および分離されると、サブセットのそれぞれのピクセルによって定義されるボリュームに関するサブセットの幾何学的情報を含んでもよい。この幾何学的情報は、３Ｄレンダリング構成要素１２８によって使用され、対応するピクセルデータを使用して１つまたは複数の３Ｄモデルを生成することができる。１５０８において、次にシステムは、データモデルの更新バージョンを受信することに基づいて（例えば、制御構成要素１１２によって提供される）ＧＵＩの１つまたは複数の３Ｄレンダリング機能をアクティブ化することができ（例えば、ビューポート構成要素１０６を介して）、１つまたは複数の３Ｄレンダリング機能は、ビューポートでのネイティブ医療画像と１つまたは複数の３Ｄモデルのレンダリングの切り替えを行う。
図１６は、本明細書に記載の様々な態様および実施形態による、ネイティブ医療画像と再構築医療画像の閲覧を容易に切り替える別の例示的な方法１６００のフロー図を示す。それぞれの実施形態で用いられる同様の要素の繰り返しの説明は、簡潔さのために省略される。
１６０２において、プロセッサを備えるシステム（例えば、システム１００または１３００）は、閲覧のための医療撮像検査の選択に応じて、医療撮像検査に関連する医療画像シリーズを識別する第１の情報を含むデータモデル（例えば、データモデル１２０）を受信する（例えば、処理サービス通信構成要素１１４を介して）。例えば、医療画像シリーズは、選択されたデータセットの唯一のシリーズ、または選択されたデータセットに含まれる複数の異なるシリーズの１つを含むことができる。１６０４において、システムは、医療画像シリーズに関連するネイティブ医療画像を表示するビューポートを有するＧＵＩを生成し、ネイティブ医療画像は、身体部を示す。例えば、最初に表示されるネイティブ医療画像は、シリーズの最初の画像、シリーズの中間画像、シリーズのデフォルトの初期画像、ユーザが選択した画像などを含んでもよい。１６０６において、システムは、身体部の１つまたは複数の３Ｄモデルを生成するために使用することができるシリーズのネイティブ医療画像のサブセットを識別する第２の情報を含むデータモデルの更新バージョンを受信することができる。加えて、データモデルの更新バージョンは、３Ｄ互換画像が取得軸に沿って等距離で整列および分離されると、サブセットのそれぞれのピクセルによって定義されるボリュームに関するサブセットの幾何学的情報を含んでもよい。この幾何学的情報は、３Ｄレンダリング構成要素１２８によって使用され、対応するピクセルデータを使用して１つまたは複数の３Ｄモデルを生成することができる。
１６０８において、次にシステムは、データモデルの更新バージョンを受信することに基づいて（例えば、制御構成要素１１２によって提供される）ＧＵＩの１つまたは複数の３Ｄレンダリング機能をアクティブ化することができ（例えば、ビューポート構成要素１０６を介して）、１つまたは複数の３Ｄレンダリング機能は、ビューポートでのネイティブ医療画像と１つまたは複数の３Ｄモデルのレンダリングの切り替えを行う。例えば、１つまたは複数の３Ｄレンダリング機能は、ネイティブ医療画像の厚さを増加させるための厚さ修正機能（例えば、厚さ修正構成要素６０２によって提供される）を含むことができる。１６１０において、厚さの増加を示す入力の受信に基づいて、システムは、ネイティブ医療画像を、厚さによって定義される身体部のボリュームに対応する１つまたは複数の３Ｄモデルの３Ｄモデルで置き換えることができる。
様々なシステム、方法およびコンピュータ可読媒体は、単一のモードと同じビューポートでホストされるネイティブおよび再構築ビューを備えた単一のビューアを含む、ネイティブ／再構築医療撮像アプリケーションを提供する。画面に表示されるすべてのビューポートは、ビューポートに表示されるネイティブ２Ｄ画像をボリュームとして計算することができる場合、実質的に３Ｄビューポートである。主題の２Ｄ／３Ｄ医療撮像閲覧アプリケーションはまた、画像形式がＤＩＣＯＭ規格に依存している限りモダリティまたは技法に関係なく、あらゆるタイプの画像を表示することができる。さらに、２Ｄビューと３Ｄビューの同期には、複雑なコードの開発および保守は必要ない。２Ｄ画像ビューは、ボリュームから再計算された画像ではなく、真のネイティブ画像を含み、これにより、撮像取得システムから直接来る完全な忠実度の画像の閲覧が保証され得る。さらに、２Ｄビューから３Ｄビューへの切り替えを提供するワークフローは、直感的でシームレスであり、ビューポート自体で行われる臨床のエンドユーザの相互作用によって促進される。
例示的な操作環境
以下に説明するシステムおよびプロセスは、単一の集積回路（ＩＣ）チップ、複数のＩＣ、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア内で具現化することができる。さらに、プロセスブロックの一部またはすべてが各プロセスに現れる順序は、限定と見なされるべきではない。むしろ、プロセスブロックの一部は様々な順序で実行することができ、そのすべてが本開示で明示的に示されているわけではないことを理解されたい。
本開示の図示された態様は、ある特定のタスクが通信ネットワークを介してリンクされたリモート処理デバイスによって行われる分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリストレージデバイスに位置することができる。
さらに、本明細書で説明される様々な構成要素は、主題の革新の実施形態を実装するために適切な値の構成要素および回路要素を含み得る電気回路を含むことができることを理解されたい。さらに、様々な構成要素の多くが１つまたは複数の集積回路（ＩＣ）チップに実装され得ることを理解することができる。例えば、一実施形態では、構成要素のセットは、単一のＩＣチップに実装することができる。他の実施形態では、それぞれの構成要素の１つまたは複数は、別々のＩＣチップ上に製造または実装される。
図１７を参照すると、本開示によるコンピューティング環境１７００の概略ブロック図が示されており、主題のシステム（例えば、システム１００、１３００など）、方法およびコンピュータ可読媒体を展開することができる。コンピューティング環境１７００は、１つまたは複数のクライアント１７０２（例えば、ラップトップ、スマートフォン、ＰＤＡ、メディアプレーヤ、コンピュータ、ポータブル電子デバイス、タブレットなど）を含む。クライアント１７０２は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）であり得る。コンピューティング環境１７００はまた、１つまたは複数のサーバ１７０４を含む。サーバ１７０４はまた、ハードウェアまたはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）と組み合わせたハードウェアであり得る。サーバ１７０４は、例えば、本開示の態様を用いることによって変換を行うスレッドを収容することができる。様々な実施形態において、主題のフロントエンド構成要素（例えば、視覚化構成要素１０２および関連する構成要素）の１つまたは複数は、クライアント１７０２でハードウェアおよび／またはソフトウェアとして展開することができ、主題のバックエンド構成要素（例えば、処理サービス構成要素１３６）の１つまたは複数は、サーバ１７０４でハードウェアおよび／またはソフトウェアとして展開することができる。クライアント１７０２とサーバ１７０４との間の１つの可能な通信は、２つ以上のコンピュータプロセス間で送信されるデータパケットの形態であり得、データパケットは、ビデオデータを含んでもよい。データパケットは、例えば、関連するコンテキスト情報などのメタデータを含むことができる。コンピューティング環境１７００は、クライアント１７０２とサーバ１７０４との間の通信を促進するために用いることができる通信フレームワーク１７０６（例えば、インターネットまたはモバイルネットワークなどのグローバル通信ネットワーク）を含む。
通信は、有線（光ファイバを含む）および／または無線技術を介して促進することができる。クライアント１７０２は、クライアント１７０２にローカルな情報（例えば、関連するコンテキスト情報）を保存するために用いることができる１つまたは複数のクライアントデータストア１７０８を含むか、またはそれに操作可能に接続される。同様に、サーバ１７０４は、サーバ１７０４にローカルな情報（例えば、ネイティブ医療画像データ１３２、インデックス付けされた医療画像データ情報１３４など）を保存するために用いることができる１つまたは複数のサーバデータストア１７１０を含むか、またはそれに操作可能に接続される。
一実施形態では、クライアント１７０２は、開示された主題に従って、エンコードされたファイルをサーバ１７０４に転送することができる。サーバ１７０４は、ファイルを保存、ファイルをデコード、またはファイルを別のクライアント１７０２に送信することができる。クライアント１７０２は非圧縮ファイルをサーバ１７０４に転送することもでき、サーバ１７０４は開示された主題に従ってファイルを圧縮することができることを理解されたい。同様に、サーバ１７０４は、ビデオ情報をエンコードし、情報を通信フレームワーク１７０６を介して１つまたは複数のクライアント１７０２に送信することができる。
図１８は、本開示による別の例示的なコンピューティング環境１８００の概略ブロック図を示し、主題のシステム（例えば、システム１００、１３００など）、方法およびコンピュータ可読媒体を展開することができる。コンピューティング環境１８００は、ネットワーク（例えば、インターネット）を介してシステムクラウド１８０４に通信可能に結合することができる１つまたは複数のクライアント１８０２からなるクラウド展開アーキテクチャを含む。システムクラウド１８０４は、クラウドロードバランサ、１つまたは複数のアプリケーションコンテナ、１つまたは複数のクラウドサービスコンテナ、クラウドデータストア、および１つまたは複数のクラウド構成要素をクラウドデータストアに通信可能に結合するクラウドネットワークを含むことができる。クラウド展開アーキテクチャによれば、クライアント１８０２は、適切なアプリケーション（例えば、ネイティブモバイルアプリケーション、ウェブベースのアプリケーション、シン／シッククライアントアプリケーションなど）を含むまたは用いることができる１つまたは複数のクライアントデバイス（例えば、モバイルデバイス、ラップトップコンピュータ、デスクトップコンピュータなど）を含み、システムクラウド１８０４に展開された主題のネイティブ／再構築医療撮像システム（例えば、システム１００、１３００など）の１つまたは複数の特徴および機能性にアクセスして用いることができる。様々な実装において、システム１００および１３００の１つまたは複数の構成要素は、クライアント１８０２とシステムクラウド１８０４との間で分散させることができる。
図１９は、本開示による別の例示的なコンピューティング環境１９００の概略ブロック図を示し、主題のシステム（例えば、システム１００、１３００など）、方法およびコンピュータ可読媒体を展開することができる。コンピューティング環境１９００は、ネットワーク（例えば、インターネット）を介してリモートデータセンタ１９０２に通信可能に結合することができる１つまたは複数のクライアント１７０２からなる仮想化エンタープライズ展開を含む。リモートデータセンタ１９０２は、ロードバランサ、１つまたは複数のアプリケーションコンテナ、１つまたは複数の仮想化サーバ、および１つまたは複数のラックサーバを提供することができるアプリケーションサーバサブネット１９０４を含むことができる。データセンタ１９０２はまた、データセンタネットワークを介してアプリケーションサーバサブネット１９０４に通信可能に結合され得る１つまたは複数のデータストアを含み得る。仮想化エンタープライズ展開によれば、クライアント１７０２は、適切なアプリケーション（例えば、ネイティブモバイルアプリケーション、ウェブベースのアプリケーション、シン／シッククライアントアプリケーションなど）を含むまたは用いることができる１つまたは複数のクライアントデバイス（例えば、モバイルデバイス、ラップトップコンピュータ、デスクトップコンピュータなど）を含み、データセンタ１９０２およびアプリケーションサーバサブネット１９０４に展開された主題のネイティブ／再構築医療撮像システム（例えば、システム１００、１３００など）の１つまたは複数の特徴および機能性にアクセスして用いることができる。様々な実装において、システム１００および１３００の１つまたは複数の構成要素は、クライアント１７０２とアプリケーションサーバサブネット１９０４との間で分散させることができ、１つまたは複数のデータストア１３０は、データセンタ１９０２でリモートに提供することができる。
図２０は、本開示による別の例示的なコンピューティング環境２０００の概略ブロック図を示し、主題のシステム（例えば、システム１００、１３００など）、方法およびコンピュータ可読媒体を展開することができる。コンピューティング環境２０００は、ネットワーク（例えば、インターネット）を介してアプリケーションサーバサブネット２００４に通信可能に結合することができる１つまたは複数のクライアント１７０２からなるローカルエンタープライズ展開を含む。この実施形態によれば、アプリケーションサーバサブネット２００４は、（例えば、リモートデータセンタ１９０２とは対照的に）エンタープライズプレミス２００２に提供され得る。アプリケーションサーバサブネット２００４は、ロードバランサ、１つまたは複数のアプリケーションコンテナ、および１つまたは複数のサーバを含むことができる。アプリケーションサーバサブネット２００４は、エンタープライズネットワークを介してエンタープライズプレミス２００２で提供される１つまたは複数のデータストアに通信可能に結合することができる。クラウドおよび仮想化エンタープライズ展開と同様に、クライアント１７０２は、適切なアプリケーション（例えば、ネイティブモバイルアプリケーション、ウェブベースのアプリケーション、シン／シッククライアントアプリケーションなど）を含むまたは用いることができる１つまたは複数のクライアントデバイス（例えば、モバイルデバイス、ラップトップコンピュータ、デスクトップコンピュータなど）を含み、エンタープライズプレミス２００２およびアプリケーションサーバサブネット２００４に展開された主題のネイティブ／再構築医療撮像システム（例えば、システム１００、１３００など）の１つまたは複数の特徴および機能性にアクセスして用いることができる。様々な実装において、システム１００および１３００の１つまたは複数の構成要素は、クライアント１７０２とアプリケーションサーバサブネット２００４との間で分散させることができ、１つまたは複数のデータストア１３０は、エンタープライズプレミス２００２で提供することができる。
図２１は、本開示による別の例示的なコンピューティング環境２１００の概略ブロック図を示し、主題のシステム（例えば、システム１００、１３００など）、方法およびコンピュータ可読媒体を展開することができる。コンピューティング環境２１００は、システム１００または１３００のすべての構成要素が単一のクライアントデバイス２１０２で提供されるローカルデバイス展開を含む。この実装により、クライアントデバイス２１０２は、ループバックを介して１つまたは複数のアプリケーションコンテナに通信可能に結合され得るウェブベースのアプリケーションを含むことができる。１つまたは複数のアプリケーションコンテナは、１つまたは複数のデータベースおよび／または１つまたは複数のローカルファイルシステムにループバックを介して通信可能に結合され得る。
図２２を参照すると、特許請求される主題の様々な態様を実装するための適切な環境２２００は、コンピュータ２２０２を含む。コンピュータ２２０２は、処理ユニット２２０４、システムメモリ２２０６、コーデック２２３５、およびシステムバス２２０８を含む。システムバス２２０８は、限定はしないが、システムメモリ２２０６を含むシステム構成要素を処理ユニット２２０４に結合する。処理ユニット２２０４は、様々な利用可能なプロセッサのいずれかであり得る。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャもまた、処理ユニット２２０４として用いることができる。
システムバス２２０８は、限定はしないが、業界標準アーキテクチャ（ＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（ＩＤＥ）、ＶＥＳＡローカルバス（ＶＬＢ）、周辺構成要素相互接続（ＰＣＩ）、カードバス、ユニバーサルシリアルバス（ＵＳＢ）、アドバンストグラフィックポート（ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（ＰＣＭＣＩＡ）、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ ２２１０４）、およびスモールコンピュータシステムインターフェース（ＳＣＳＩ）を含む、任意の様々な利用可能なバスアーキテクチャを使用するメモリバスまたはメモリコントローラ、周辺バスまたは外部バス、および／またはローカルバスを含むいくつかのタイプのバス構造のいずれかであってもよい。
システムメモリ２２０６は、揮発性メモリ２２１０および不揮発性メモリ２２１２を含む。起動時などにコンピュータ２２０２内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）が、不揮発性メモリ２２１２に保存される。加えて、本革新によれば、コーデック２２３５は、エンコーダまたはデコーダの少なくとも１つを含むことができ、エンコーダまたはデコーダの少なくとも１つは、ハードウェア、ハードウェアとソフトウェアの組み合わせ、またはソフトウェアからなり得る。コーデック２２３５は別々の構成要素として示されているが、コーデック２２３５は不揮発性メモリ２２１２内に含まれてもよい。限定ではなく例示として、不揮発性メモリ２２１２は、読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含んでもよい。揮発性メモリ２２１０は、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）を含む。本態様によれば、揮発性メモリは、書き込み操作再試行ロジック（図２２には図示せず）などを保存することができる。限定ではなく例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、およびエンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）などの多数の形態で利用可能である。
コンピュータ２２０２はまた、リムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体を含むことができる。例えば、図２２は、ディスクストレージ２２１４を示す。ディスクストレージ２２１４は、限定はしないが、磁気ディスクドライブ、ソリッドステートディスク（ＳＳＤ）フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−７０ドライブ、フラッシュメモリカード、またはメモリスティックなどのデバイスを含む。加えて、ディスクストレージ２２１４は、限定はしないが、コンパクトディスクＲＯＭデバイス（ＣＤ−ＲＯＭ）、ＣＤ記録可能ドライブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え型ドライブ（ＣＤ−ＲＷドライブ）、またはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ−ＲＯＭ）などの光ディスクドライブを含む記憶媒体を、他の記憶媒体と別々に含むことができるか、または他の記憶媒体と組み合わせて含むことができる。ディスクストレージデバイス２２１４のシステムバス２２０８への接続を容易にするために、典型的には、インターフェース２２１６などのリムーバブルまたは非リムーバブルインターフェースが使用される。
図２２は、ユーザと適切な操作環境２２００で説明される基本的なコンピュータリソースとの間の媒介として機能するソフトウェアを記載していることを理解されたい。そのようなソフトウェアは、オペレーティングシステム２２１８を含む。ディスクストレージ２２１４に保存することができるオペレーティングシステム２２１８は、コンピュータシステム２２０２のリソースを制御および割り当てるように機能する。アプリケーション２２２０は、システムメモリ２２０６またはディスクストレージ２２１４のいずれかに保存された、ブート／シャットダウントランザクションテーブルなどのプログラムモジュール２２２４およびプログラムデータ２２２６を介したオペレーティングシステム２２１８によるリソースの管理を利用する。特許請求される主題は、様々なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実装することができることを理解されたい。
ユーザは、コマンドまたは情報を入力デバイス２２２８を介してコンピュータ２２０２に入力する。入力デバイス２２２８は、限定はしないが、マウス、トラックボール、スタイラス、タッチパッド、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどのポインティングデバイスを含む。これらおよび他の入力デバイスは、インターフェースポート２２３０を介してシステムバス２２０８を通じて処理ユニット２２０４に接続する。インターフェースポート２２３０は、例えば、シリアルポート、パラレルポート、ゲームポート、およびユニバーサルシリアルバス（ＵＳＢ）を含む。出力デバイス２２３６は、入力デバイスと同じタイプのポートのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、入力をコンピュータ２２０２に提供し、情報をコンピュータ２２０２から出力デバイス２２３６に出力することができる。出力アダプタ２２３４が、他の出力デバイス２２３６の中でもとりわけ特別なアダプタを必要とするモニタ、スピーカ、およびプリンタなどのいくつかの出力デバイス２２３６が存在することを示すために提供されている。出力アダプタ２２３４は、限定ではなく例示として、出力デバイス２２３６とシステムバス２２０８との間の接続手段を提供するビデオおよびサウンドカードを含む。リモートコンピュータ２２３８などの他のデバイスおよび／またはデバイスのシステムが、入力および出力の両方の能力を提供することに留意されたい。
コンピュータ２２０２は、リモートコンピュータ２２３８などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で操作することができる。リモートコンピュータ２２３８は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースのアプライアンス、ピアデバイス、スマートフォン、タブレット、または他のネットワークノードであってもよく、典型的には、コンピュータ２２０２に関連して説明した要素の多くを含む。簡潔にするために、リモートコンピュータ２２３８にはメモリストレージデバイス２２４０のみが示されている。リモートコンピュータ２２３８は、ネットワークインターフェース２２４２を介してコンピュータ２２０２に論理的に接続され、次いで、通信接続２２４４を介して接続される。ネットワークインターフェース２２４２は、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）およびセルラネットワークなどの有線および／または無線通信ネットワークを包含する。ＬＡＮ技術は、ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、イーサネット、トークンリングなどを含む。ＷＡＮ技術は、限定はしないが、ポイントツーポイントリンク、統合デジタル通信網（ＩＳＤＮ）およびその変種などの回線交換網、パケット交換網、およびデジタル加入者線（ＤＳＬ）を含む。
通信接続２２４４は、ネットワークインターフェース２２４２をバス２２０８に接続するために用いられるハードウェア／ソフトウェアを指す。通信接続２２４４は、説明をわかりやすくするためにコンピュータ２２０２内部に示されているが、コンピュータ２２０２の外部にあってもよい。ネットワークインターフェース２２４２への接続に必要なハードウェア／ソフトウェアは、例示のみを目的として、通常の電話グレードモデム、ケーブルモデムおよびＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ、ならびに有線および無線イーサネットカード、ハブならびにルータなどの内部および外部技術を含む。
上述したものは、本発明の実施形態の例を含む。もちろん、特許請求される主題を説明する目的で考えられる構成要素または方法論のすべての組み合わせを説明することは不可能であるが、主題の革新の多くのさらなる組み合わせおよび順列が可能であることを理解されたい。したがって、特許請求される主題は、添付の特許請求の範囲の精神および範囲内にあるそのようなすべての変更、修正、および変形を包含することを意図している。さらに、要約に記載されているものを含む、主題の開示の図示された実施形態の上述の説明は、網羅的であること、または開示された実施形態を開示された正確な形態に限定することを意図していない。本開示では特定の実施形態および例を例示の目的で説明しているが、当業者が認識することができるように、そのような実施形態および例の範囲内で考えられる様々な修正が可能である。
特に、上述の構成要素、デバイス、回路、システムなどによって行われる様々な機能に関して、そのような構成要素を説明するために使用される用語は、特に明記しない限り、特許請求される主題の例示的な態様を示す本開示における機能を行う開示された構造と構造的に同等ではないが、説明された構成要素の指定された機能を行う構成要素（例えば、機能的同等物）に対応することを意図している。これに関して、本革新は、特許請求される主題の様々な方法の行為および／またはイベントを行うためのコンピュータ実行可能命令を有するシステムならびにコンピュータ可読記憶媒体を含むことも認識されるであろう。
前述のシステム／回路／モジュールは、いくつかの構成要素／ブロック間の相互作用に関して説明されている。そのようなシステム／回路および構成要素／ブロックは、これらの構成要素または指定されたサブ構成要素、指定された構成要素またはサブ構成要素の一部、および／または追加の構成要素を、前述の様々な順列および組み合わせに従って含むことができることを理解することができる。サブ構成要素は、親構成要素（階層）内に含まれるのではなく、他の構成要素に通信可能に結合された構成要素として実装することも可能である。加えて、１つまたは複数の構成要素は、集約的な機能性を提供する単一の構成要素に組み合わせたり、またはいくつかの別々のサブ構成要素に分割してもよく、管理層などの１つまたは複数の中間層は、統合された機能性を提供するためにそのようなサブ構成要素に通信可能に結合するように提供されてもよいことに留意されたい。本開示で説明される任意の構成要素は、本開示では具体的に説明されていないが、当業者に知られている１つまたは複数の他の構成要素とも相互作用し得る。
加えて、主題の革新の特定の特徴はいくつかの実装の１つのみに関して開示されている場合があるが、そのような特徴は、任意の所与のまたは特定の用途にとって望ましいおよび有利である可能性があるように、他の実装の１つまたは複数の他の特徴と組み合わせることができる。さらに、「含む」、「含んでいる」、「有する」、「含有する」という用語、それらの変形、および他の同様の語が詳細な説明または特許請求の範囲で使用される限り、これらの用語は、追加または他の要素を排除することなく、オープンな移行語として「備えている」という用語と同様に包括的であることを意図している。
本出願で使用する場合、「構成要素」、「モジュール」、「システム」などの用語は、一般に、コンピュータ関連のエンティティ、ハードウェア（例えば、回路）、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または１つまたは複数の特定の機能性を有する操作機械に関連するエンティティのいずれかを指すことを意図している。例えば、構成要素は、限定はしないが、プロセッサ（例えば、デジタル信号プロセッサ）で実行されているプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、および／またはコンピュータであってもよい。例として、コントローラで実行されているアプリケーションとコントローラの両方は、構成要素になることができる。１つまたは複数の構成要素がプロセスおよび／または実行のスレッド内に存在してもよく、構成要素は、１つのコンピュータ上に局在してもよく、および／または２つ以上のコンピュータ間に分散されてもよい。さらに、「デバイス」は、特別に設計されたハードウェア、ハードウェアが特定の機能を実行することを可能にするソフトウェアの実行に特化した汎用ハードウェア、コンピュータ可読記憶媒体に保存されたソフトウェア、コンピュータ可読伝送媒体で伝送されるソフトウェア、またはそれらの組み合わせの形式で提供され得る。
さらに、本開示では、「例」または「例示的な」という語は、例、事例、または例示として機能することを意味するために使用される。本開示において「例示的な」として説明された態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈される必要はない。むしろ、「例」または「例示的な」という語の使用は、概念を具体的な方法で提示することを意図している。本出願で使用する場合、「または」という用語は、排他的な「または」ではなく、包括的な「または」を意味することを意図している。すなわち、特に指定しない限り、または文脈から明らかでない限り、「ＸはＡまたはＢを用いる」は、自然な包括的な順列のいずれかを意味することを意図している。すなわち、ＸがＡを用いる場合、ＸがＢを用いる場合、またはＸがＡとＢの両方を用いる場合、「ＸはＡまたはＢを用いる」は、前述のいずれかの場合に満たされる。加えて、本出願および添付の特許請求の範囲で使用される冠詞「ａ」および「ａｎ」は、特に明記しない限り、または単数形を対象とする文脈から明らかでない限り、一般に「１つまたは複数」を意味すると解釈されるべきである。
コンピューティングデバイスは、典型的には、コンピュータ可読記憶媒体および／または通信媒体を含むことができる様々な媒体を含み、これらの２つの用語は、この説明では以下のように互いに異なって使用される。コンピュータ可読記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な記憶媒体であり得、典型的には、非一時的な性質のものであり、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含み得る。限定ではなく例として、コンピュータ可読記憶媒体は、コンピュータ可読命令、プログラムモジュール、構造化データ、または非構造化データなどの情報を保存するための任意の方法または技術に関連して実装され得る。コンピュータ可読記憶媒体は、限定はしないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または他の有形および／もしくは非一時的媒体を含んでもよく、所望の情報を保存するために使用することができる。コンピュータ可読記憶媒体は、媒体によって保存された情報に関する様々な操作のために、例えば、アクセス要求、クエリまたは他のデータ検索プロトコルを介して、１つまたは複数のローカルまたはリモートコンピューティングデバイスによってアクセスすることができる。
一方、通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または変調データ信号、例えば、搬送波もしくは他のトランスポートメカニズムなどの一時的であり得るデータ信号の他の構造化もしくは非構造化データを具現化し、任意の情報配信またはトランスポート媒体を含む。「変調データ信号」という用語は、１つまたは複数の信号に情報をエンコードするように設定または変更されたその特性の１つまたは複数を有する信号を指す。限定ではなく例として、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、ならびに音響、ＲＦ、赤外線および他の無線媒体などの無線媒体を含む。
上述の例示的なシステムを考慮して、説明された主題に従って実装され得る方法論は、様々な図のフローチャートを参照してよりよく理解されるであろう。説明を簡単にするために、方法論は、一連の行為として図示および説明されている。しかしながら、本開示による行為は、様々な順序でおよび／または併行して、ならびに本開示で提示および説明されていない他の行為で発生する可能性がある。さらに、本開示のある特定の態様に従って方法論を実装するために、例示されたすべての行為が必要とされるわけではない。加えて、当業者は、方法論が状態図またはイベントを介して一連の相互に関係する状態として代替的に表され得ることを理解および認識するであろう。加えて、本開示で開示される方法論は、そのような方法論をコンピューティングデバイスに移送および転送することを容易にするために、製造品に保存することが可能であることを理解されたい。本開示で使用される製造品という用語は、任意のコンピュータ可読デバイスまたは記憶媒体からアクセス可能なコンピュータプログラムを包含することを意図している。
［実施態様１］
コンピュータ実行可能構成要素を保存するメモリと、
前記メモリに保存されたコンピュータ実行可能構成要素を実行するプロセッサであって、前記コンピュータ実行可能構成要素は、
医療撮像閲覧セッションに関連してグラフィカルユーザインターフェース（７００）で閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像（１３２）を記述するインデックス付けされた画像データ情報（１３４）を検索するように構成されたクエリ構成要素（１１６）、
前記インデックス付けされた画像データ情報（１３４）を処理して
前記ネイティブ医療画像（１３２）を関連する画像の１つまたは複数のセットにグループ化し、
前記関連する画像の１つまたは複数のセットの各セットに対して、前記関連する画像を、１つまたは複数の三次元表現を生成するためにそれぞれ使用することができる三次元互換画像の１つまたは複数のサブセットにソートし、
前記関連する画像の１つまたは複数のセットを識別する第１の情報と、前記三次元互換画像の１つまたは複数のサブセットを識別する第２の情報とを含むデータモデル（１２０）を生成する
ように構成されたデータモデリング構成要素（１１８）、および
前記データモデル（１２０）を用いて、前記グラフィカルユーザインターフェース（７００）において、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを容易に切り替えるように構成された視覚化構成要素（１０２）
を備える、プロセッサと
を備える、システム（１００、１３００）。
［実施態様２］
前記視覚化構成要素（１０２）が、前記医療撮像データセットを選択する入力の受信に基づいて、前記グラフィカルユーザインターフェース（７００）で前記ネイティブ医療画像（１３２）の１つまたは複数のネイティブ医療画像（１３２）を最初にレンダリングするように構成される、実施態様１に記載のシステム（１００、１３００）。
［実施態様３］
前記入力の受信に応じて、前記視覚化構成要素（１０２）が、前記視覚化構成要素（１０２）が前記１つまたは複数の三次元表現をレンダリングすることを可能にする１つまたは複数のバックエンド処理機能を開始するようにさらに構成され、前記１つまたは複数のバックエンド処理機能が、前記１つまたは複数のネイティブ医療画像（１３２）の前記初期レンダリングと併行して行われる、実施態様２に記載のシステム（１００、１３００）。
［実施態様４］
前記１つまたは複数のバックエンド処理機能が、前記データモデリング構成要素（１１８）によって前記第２の情報を生成することを含む、実施態様３に記載のシステム（１００、１３００）。
［実施態様５］
前記１つまたは複数のバックエンド処理機能が、前記データモデリング構成要素（１１８）によって、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を生成することと、前記第３の情報を前記データモデル（１２０）にさらに組み込むこととをさらに含む、実施態様４に記載のシステム（１００、１３００）。
［実施態様６］
前記１つまたは複数のバックエンド処理機能が、１つまたは複数の外部データストア（１３０）から、前記三次元互換画像の１つまたは複数のサブセットに含まれるそれぞれのネイティブ医療画像（１３２）を検索することと、それぞれのネイティブ医療画像（１３２）を前記視覚化構成要素（１０２）にアクセス可能なローカルキャッシュ（１２４）にロードすることとをさらに含む、実施態様４に記載のシステム（１００、１３００）。
［実施態様７］
１つまたは複数のデータストア（１３０）から前記ネイティブ医療画像（１３２）を検索し、前記医療画像データセットを選択する入力の受信に基づいて前記ネイティブ医療画像（１３２）をキャッシュ（１２４）にロードするように構成されたデータローディング構成要素（１２２）をさらに備え、前記視覚化構成要素（１０２）が、前記ネイティブ医療画像（１３２）のレンダリングに関連して前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）にアクセスする、
実施態様１に記載のシステム（１００、１３００）。
［実施態様８］
前記データローディング構成要素（１２２）が、前記第１の情報および前記第２の情報に基づいて決定された順序で前記ネイティブ医療画像（１３２）を検索するように構成される、実施態様７に記載のシステム（１００、１３００）。
［実施態様９］
前記医療撮像閲覧セッションに関連する１つまたは複数のコンテキストパラメータに基づいて、前記ネイティブ医療画像（１３２）を検索する前記データローディング構成要素（１２２）の順序を決定するように構成されたスケジューリング構成要素（１３０２）
をさらに備える、実施態様７に記載のシステム（１００、１３００）。
［実施態様１０］
前記医療撮像閲覧セッションに関連する前記グラフィカルユーザインターフェース（７００）とのユーザ相互作用に基づいて、前記ネイティブ医療画像（１３２）を検索する前記データローディング構成要素（１２２）の順序を決定するように構成されたスケジューリング構成要素（１３０２）
をさらに備える、実施態様７に記載のシステム（１００、１３００）。
［実施態様１１］
前記第２の情報に基づいて、かつ前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）を使用して前記１つまたは複数の三次元表現を生成するように構成された三次元レンダリング構成要素（１２８）
をさらに備える、実施態様７に記載のシステム（１００、１３００）。
［実施態様１２］
三次元互換画像の各サブセットについて、前記データモデリング構成要素（１１８）が、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を決定するようにさらに構成され、前記第３の情報を前記データモデル（１２０）にさらに含む、実施態様１に記載のシステム（１００、１３００）。
［実施態様１３］
前記視覚化構成要素（１０２）が、前記データモデル（１２０）への前記第２の情報または前記第３の情報の追加に基づいて、前記グラフィカルユーザインターフェース（７００）の１つまたは複数の三次元レンダリング機能を可能にするようにさらに構成され、前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを切り替える、実施態様１２に記載のシステム（１００、１３００）。
［実施態様１４］
前記視覚化構成要素（１０２）が、前記１つまたは複数の三次元レンダリング機能の使用に関連するユーザ入力の受信に応じて、前記１つまたは複数のネイティブ医療画像（１３２）のネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現の三次元表現のレンダリングを切り替えるように構成される、実施態様１２に記載のシステム（１００、１３００）。
［実施態様１５］
前記１つまたは複数の三次元レンダリング機能が、前記１つまたは複数の三次元表現の輝度投影特性の外観を変更すること、前記１つまたは複数の三次元表現の配向を変更すること、閲覧のために前記１つまたは複数の三次元表現の面積（７４２）を選択すること、または異なる三次元表現の閲覧を切り替えることの少なくとも１つを含む、前記１つまたは複数の三次元表現との相互作用をさらに提供する、実施態様１２に記載のシステム（１００、１３００）。
［実施態様１６］
前記１つまたは複数の三次元レンダリング機能が、前記グラフィカルユーザインターフェース（７００）でレンダリングされた前記１つまたは複数のネイティブ医療画像（１３２）のネイティブ医療画像（１３２）の厚さを増加させる厚さ修正機能を備え、前記厚さの増加を示す入力の受信に基づいて、前記視覚化構成要素（１０２）が、前記ネイティブ医療画像（１３２）に関連する前記１つまたは複数の三次元表現の三次元表現をレンダリングするように構成される、実施態様１２に記載のシステム（１００、１３００）。
［実施態様１７］
前記第３の情報に基づいて、かつ前記入力の受信に応じて前記三次元表現を生成するように構成された三次元レンダリング構成要素（１２８）
をさらに備える、実施態様１６に記載のシステム（１００、１３００）。
［実施態様１８］
前記視覚化構成要素（１０２）が、前記厚さの増加量に対応するボリュームで前記三次元表現をレンダリングするようにさらに構成される、実施態様１６に記載のシステム（１００、１３００）。
［実施態様１９］
プロセッサを備えるシステム（１００、１３００）によって、医療撮像閲覧セッションに関連してグラフィカルユーザインターフェース（７００）で閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像（１３２）を記述するインデックス付けされた画像データ情報（１３４）を検索すること（１４０２）と、
前記システム（１００、１３００）によって、前記インデックス付けされたメタデータに基づいてデータモデル（１２０）を生成すること（１４０４）であって、
前記ネイティブ医療画像（１３２）を関連する画像の１つまたは複数のセットにグループ化すること、
前記関連する画像の１つまたは複数のセットの各セットに対して、前記関連する画像を、１つまたは複数の三次元表現を生成するためにそれぞれ使用することができる三次元互換画像の１つまたは複数のサブセットにソートすること、および
前記システム（１００、１３００）によって、前記関連する画像の１つまたは複数のセットを識別する前記データモデル（１２０）に第１の情報を、前記三次元互換画像の１つまたは複数のサブセットを識別する前記データモデル（１２０）に第２の情報を組み込むこと
を含むことと、
前記システム（１００、１３００）によって、前記データモデル（１２０）を用いて、前記グラフィカルユーザインターフェース（７００）において、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを容易に切り替えること（１４０６）と
を含む、方法（１４００、１５００、１６００）。
［実施態様２０］
前記システム（１００、１３００）によって、前記医療撮像データセットを選択する入力の受信に基づいて、前記グラフィカルユーザインターフェース（７００）で前記ネイティブ医療画像（１３２）の１つまたは複数のネイティブ医療画像（１３２）を最初にレンダリングすること
をさらに含む、実施態様１９に記載の方法（１４００、１５００、１６００）。
［実施態様２１］
前記システム（１００、１３００）によって、１つまたは複数のデータストア（１３０）から前記ネイティブ医療画像（１３２）を検索することと、
前記システム（１００、１３００）によって、前記医療画像データセットを選択する入力の受信に基づいて前記ネイティブ医療画像（１３２）をキャッシュ（１２４）にロードすることと、
前記システム（１００、１３００）によって、前記ネイティブ医療画像（１３２）のレンダリングに関連して前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）にアクセスすることと
をさらに含む、実施態様１９に記載の方法（１４００、１５００、１６００）。
［実施態様２２］
前記システム（１００、１３００）によって、前記第２の情報に基づいて、かつ前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）を使用して前記１つまたは複数の三次元表現を生成すること
をさらに含む、実施態様２１に記載の方法（１４００、１５００、１６００）。
［実施態様２３］
前記データモデル（１２０）を前記生成すること（１４０４）が、
三次元互換画像の各サブセットについて、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を決定することと、
前記第３の情報を前記データモデル（１２０）にさらに組み込むことと
をさらに含む、実施態様２２に記載の方法（１４００、１５００、１６００）。
［実施態様２４］
前記システム（１００、１３００）によって、前記データモデル（１２０）への前記第２の情報または前記第３の情報の組み込みに基づいて、前記グラフィカルユーザインターフェース（７００）の１つまたは複数の三次元レンダリング機能をアクティブ化することをさらに含み、前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを切り替える、
実施態様２３に記載の方法（１４００、１５００、１６００）。
［実施態様２５］
プロセッサによって実行されると、
閲覧のための医療撮像検査の選択に応じて、前記医療撮像検査に関連する医療画像シリーズを識別する第１の情報を含むデータモデル（１２０）を受信すること（１５０２、１６０２）と、
前記医療画像シリーズに関連するネイティブ医療画像（１３２）を表示するビューポート（７０１、７０３、７０５、７０７、９０１、１１０１）を有するグラフィカルユーザインターフェース（７００）を生成することであって、前記ネイティブ医療画像（１３２）は、身体部を示すこと（１５０４、１６０４）と、
前記身体部の１つまたは複数の三次元モデルを生成するために使用することができる前記シリーズのネイティブ医療画像（１３２）のサブセットを識別する第２の情報を含む前記データモデル（１２０）の更新バージョンを受信すること（１５０６、１６０６）と、
前記データモデル（１２０）の前記更新バージョンを前記受信すること（１５０６、１６０６）に基づいて前記グラフィカルユーザインターフェース（７００）の１つまたは複数の３Ｄレンダリング機能をアクティブ化することであって、前記１つまたは複数の三次元レンダリング機能は、前記ビューポート（７０１、７０３、７０５、７０７、９０１、１１０１）での前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元モデルのレンダリングの切り替えを行うこと（１５０８、１６０８）と
を含む操作の実行を容易にする実行可能命令を含む、機械可読記憶媒体。
［実施態様２６］
前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）の厚さを増加させる厚さ修正機能を備え、前記厚さの増加を示す入力の受信に基づいて、前記操作が、
前記ネイティブ医療画像（１３２）を、前記厚さによって定義される前記身体部のボリュームに対応する前記１つまたは複数の三次元モデルの三次元モデルで置き換えること（１６１０）
をさらに含む、実施態様２５に記載の機械可読記憶媒体。
［実施態様２７］
前記実行可能命令が、同じグラフィカルユーザインターフェース（７００）内で様々なモダリティのネイティブ画像（１３２）および三次元画像のレンダリングに関連する追加の操作をシームレスに追加する拡張可能なコーディング形式を備える、実施態様２５に記載の機械可読記憶媒体。
１００ ネイティブ／再構築医療撮像システム
１０２ 視覚化構成要素
１０４ インターフェース構成要素
１０６ ビューポート構成要素
１０８ 入力受信構成要素
１１０ 選択構成要素
１１２ 制御構成要素
１１４ 処理サービス通信構成要素
１１６ クエリ構成要素
１１８ データモデリング構成要素
１２０ データモデル
１２２ データローディング構成要素
１２４ キャッシュ
１２６ ネイティブ画像処理構成要素
１２８ ３Ｄレンダリング構成要素
１３０ データストア
１３２ ネイティブ医療画像データ
１３４ インデックス付けされた医療画像データ情報
１３６ 処理サービス構成要素
２００ プロセス
３００ プロセス
４００ プロセス
５００ プロセス
６０２ 厚さ修正構成要素
６０４ 直接２Ｄ／３Ｄ変換構成要素
６０６ 配向選択構成要素
６０８ 視覚化修正構成要素
６１０ 面積選択構成要素、制御構成要素
６１２ 回転構成要素
６１４ 注釈構成要素
６１６ 平面選択構成要素
７００ グラフィカルユーザインターフェース（ＧＵＩ）
７０１ ビューポート
７０２ 上部メニューバー
７０３ ビューポート
７０４ 一次表示エリア
７０５ ビューポート
７０６ サイド制御パネル
７０７ ビューポート
７０８ 制御アイコン
７１０ 制御アイコン
７１２ 制御アイコン
７１４ 制御アイコン
７１６ 制御アイコン
７１８ 制御アイコン
７２０ 制御アイコン
７２２ 制御アイコン
７２４ 制御アイコン
７２６ オーバーレイテキスト
７２８ ローディングバー、ツールバー
７３０ ビューポートメニューアイコン
７３２ ビューポートメニュー、ビューポートメニューウィンドウ
７３４ 厚さバー
７３６ ハンドル
７３８ 基点
７４０ メスツール
７４２ 面積
９０１ ビューポート
１１０１ ビューポート
１１０２ 回転制御
１１０３ 画像、視覚化
１１０４ 回転点、画像、視覚化
１１０５ 画像、視覚化
１１０６ 画像、視覚化
１２００ 測定線
１２０１ 視覚化
１２０２ 視覚化
１２０３ 視覚化
１３００ ネイティブ／再構築医療撮像システム
１３０２ データスケジューリング構成要素
１３０４ 機械学習構成要素
１４００ 方法
１５００ 方法
１６００ 方法
１７００ コンピューティング環境
１７０２ クライアント
１７０４ サーバ
１７０６ 通信フレームワーク
１７０８ クライアントデータストア
１７１０ サーバデータストア
１８００ コンピューティング環境
１８０２ クライアント
１８０４ システムクラウド
１９００ コンピューティング環境
１９０２ リモートデータセンタ
１９０４ アプリケーションサーバサブネット
２０００ コンピューティング環境
２００２ エンタープライズプレミス
２００４ アプリケーションサーバサブネット
２１００ コンピューティング環境
２１０２ クライアントデバイス
２２００ 操作環境
２２０２ コンピュータ
２２０４ 処理ユニット
２２０６ システムメモリ
２２０８ システムバス
２２１０ 揮発性メモリ
２２１２ 不揮発性メモリ
２２１４ ディスクストレージ
２２１６ インターフェース
２２１８ オペレーティングシステム
２２２０ アプリケーション
２２２４ モジュール
２２２６ プログラムデータ
２２２８ 入力デバイス
２２３０ インターフェースポート
２２３４ 出力アダプタ
２２３５ コーデック
２２３６ 出力デバイス
２２３８ リモートコンピュータ
２２４０ メモリストレージ
２２４２ ネットワークインターフェース
２２４４ 通信接続

Claims (15)

  1. コンピュータ実行可能構成要素を保存するメモリと、
    前記メモリに保存されたコンピュータ実行可能構成要素を実行するプロセッサであって、前記コンピュータ実行可能構成要素は、
    医療撮像閲覧セッションに関連してグラフィカルユーザインターフェース（７００）で閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像（１３２）を記述するインデックス付けされた画像データ情報（１３４）を検索するように構成されたクエリ構成要素（１１６）、
    前記インデックス付けされた画像データ情報（１３４）を処理して
    前記ネイティブ医療画像（１３２）を関連する画像の１つまたは複数のセットにグループ化し、
    前記関連する画像の１つまたは複数のセットの各セットに対して、前記関連する画像を、１つまたは複数の三次元表現を生成するためにそれぞれ使用することができる三次元互換画像の１つまたは複数のサブセットにソートし、
    前記関連する画像の１つまたは複数のセットを識別する第１の情報と、前記三次元互換画像の１つまたは複数のサブセットを識別する第２の情報とを含むデータモデル（１２０）を生成する
    ように構成されたデータモデリング構成要素（１１８）、および
    前記データモデル（１２０）を用いて、前記グラフィカルユーザインターフェース（７００）において、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを容易に切り替えるように構成された視覚化構成要素（１０２）
    を備える、プロセッサと
    を備える、システム（１００、１３００）。
  2. 前記医療撮像データセットを選択する入力の受信に応じて、前記視覚化構成要素（１０２）が、前記グラフィカルユーザインターフェース（７００）で前記ネイティブ医療画像（１３２）の１つまたは複数のネイティブ医療画像（１３２）を最初にレンダリングし、前記視覚化構成要素（１０２）が前記１つまたは複数の三次元表現をレンダリングすることを可能にする１つまたは複数のバックエンド処理機能を開始するように構成される、請求項１に記載のシステム（１００、１３００）。
  3. 前記１つまたは複数のバックエンド処理機能が、前記データモデリング構成要素（１１８）によって、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を生成することと、前記第３の情報を前記データモデル（１２０）に組み込むこととを含む、請求項２に記載のシステム（１００、１３００）。
  4. １つまたは複数のデータストア（１３０）から前記ネイティブ医療画像（１３２）を検索し、前記医療画像データセットを選択する入力の受信に基づいて前記ネイティブ医療画像（１３２）をキャッシュ（１２４）にロードするように構成されたデータローディング構成要素（１２２）をさらに備え、前記視覚化構成要素（１０２）が、前記ネイティブ医療画像（１３２）のレンダリングに関連して前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）にアクセスするように構成される、
    請求項１に記載のシステム（１００、１３００）。
  5. 前記第２の情報に基づいて、かつ前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）を使用して前記１つまたは複数の三次元表現を生成するように構成された三次元レンダリング構成要素（１２８）
    をさらに備える、請求項４に記載のシステム（１００、１３００）。
  6. 三次元互換画像の各サブセットについて、前記データモデリング構成要素（１１８）が、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を決定するようにさらに構成され、前記第３の情報を前記データモデル（１２０）にさらに含む、請求項１に記載のシステム（１００、１３００）。
  7. 前記視覚化構成要素（１０２）が、前記データモデル（１２０）への前記第２の情報または前記第３の情報の追加に基づいて、前記グラフィカルユーザインターフェース（７００）の１つまたは複数の三次元レンダリング機能を可能にするようにさらに構成され、前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを切り替える、請求項６に記載のシステム（１００、１３００）。
  8. 前記１つまたは複数の三次元レンダリング機能が、前記グラフィカルユーザインターフェース（７００）でレンダリングされた前記１つまたは複数のネイティブ医療画像（１３２）のネイティブ医療画像（１３２）の厚さを増加させる厚さ修正機能を備え、前記厚さの増加を示す入力の受信に基づいて、前記視覚化構成要素（１０２）が、前記ネイティブ医療画像（１３２）に関連する前記１つまたは複数の三次元表現の三次元表現をレンダリングするように構成される、請求項７に記載のシステム（１００、１３００）。
  9. 前記視覚化構成要素（１０２）が、前記厚さの増加量に対応するボリュームで前記三次元表現をレンダリングするようにさらに構成される、請求項８に記載のシステム（１００、１３００）。
  10. プロセッサを備えるシステム（１００、１３００）によって、医療撮像閲覧セッションに関連してグラフィカルユーザインターフェース（７００）で閲覧するために選択された医療撮像データセットに関連するネイティブ医療画像（１３２）を記述するインデックス付けされた画像データ情報（１３４）を検索すること（１４０２）と、
    前記システム（１００、１３００）によって、前記インデックス付けされたメタデータに基づいてデータモデル（１２０）を生成すること（１４０４）であって、
    前記ネイティブ医療画像（１３２）を関連する画像の１つまたは複数のセットにグループ化すること、
    前記関連する画像の１つまたは複数のセットの各セットに対して、前記関連する画像を、１つまたは複数の三次元表現を生成するためにそれぞれ使用することができる三次元互換画像の１つまたは複数のサブセットにソートすること、および
    前記システム（１００、１３００）によって、前記関連する画像の１つまたは複数のセットを識別する前記データモデル（１２０）に第１の情報を、前記三次元互換画像の１つまたは複数のサブセットを識別する前記データモデル（１２０）に第２の情報を組み込むこと
    を含むことと、
    前記システム（１００、１３００）によって、前記データモデル（１２０）を用いて、前記グラフィカルユーザインターフェース（７００）において、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを容易に切り替えること（１４０６）と
    を含む、方法（１４００、１５００、１６００）。
  11. 前記システム（１００、１３００）によって、前記医療画像データセットを選択する入力の受信に基づいて、１つまたは複数のデータストア（１３０）から前記ネイティブ医療画像（１３２）を検索し、前記ネイティブ医療画像（１３２）をキャッシュ（１２４）にロードすることと、
    前記システム（１００、１３００）によって、前記ネイティブ医療画像（１３２）のレンダリングに関連して前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）にアクセスすることと
    前記システム（１００、１３００）によって、前記第２の情報に基づいて、かつ前記キャッシュ（１２４）の前記ネイティブ医療画像（１３２）を使用して前記１つまたは複数の三次元表現を生成することと
    をさらに含む、請求項１０に記載の方法（１４００、１５００、１６００）。
  12. 前記データモデル（１２０）を前記生成すること（１４０４）が、
    三次元互換画像の各サブセットについて、前記１つまたは複数の三次元表現にそれぞれ関連する１つまたは複数の幾何学的ボリュームを識別する第３の情報を決定することと、
    前記第３の情報を前記データモデル（１２０）にさらに組み込むことと
    をさらに含む、請求項１０に記載の方法（１４００、１５００、１６００）。
  13. 前記システム（１００、１３００）によって、前記データモデル（１２０）への前記第２の情報または前記第３の情報の組み込みに基づいて、前記グラフィカルユーザインターフェース（７００）の１つまたは複数の三次元レンダリング機能をアクティブ化することをさらに含み、前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）の初期厚さを増加させ、前記１つまたは複数の三次元表現の厚さを減少させることによって、前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元表現のレンダリングを切り替える、
    請求項１２に記載の方法（１４００、１５００、１６００）。
  14. プロセッサによって実行されると、
    閲覧のための医療撮像検査の選択に応じて、前記医療撮像検査に関連する医療画像シリーズを識別する第１の情報を含むデータモデル（１２０）を受信すること（１５０２、１６０２）と、
    前記医療画像シリーズに関連するネイティブ医療画像（１３２）を表示するビューポート（７０１、７０３、７０５、７０７、９０１、１１０１）を有するグラフィカルユーザインターフェース（７００）を生成することであって、前記ネイティブ医療画像（１３２）は、身体部を示すこと（１５０４、１６０４）と、
    前記身体部の１つまたは複数の三次元モデルを生成するために使用することができる前記シリーズのネイティブ医療画像（１３２）のサブセットを識別する第２の情報を含む前記データモデル（１２０）の更新バージョンを受信すること（１５０６、１６０６）と、
    前記データモデル（１２０）の前記更新バージョンを前記受信すること（１５０６、１６０６）に基づいて前記グラフィカルユーザインターフェース（７００）の１つまたは複数の３Ｄレンダリング機能をアクティブ化することであって、前記１つまたは複数の三次元レンダリング機能は、前記ビューポート（７０１、７０３、７０５、７０７、９０１、１１０１）での前記ネイティブ医療画像（１３２）と前記１つまたは複数の三次元モデルのレンダリングの切り替えを行うこと（１５０８、１６０８）と
    を含む操作の実行を容易にする実行可能命令を含む、機械可読記憶媒体。
  15. 前記１つまたは複数の三次元レンダリング機能が、前記ネイティブ医療画像（１３２）の厚さを増加させる厚さ修正機能を備え、前記厚さの増加を示す入力の受信に基づいて、前記操作が、
    前記ネイティブ医療画像（１３２）を、前記厚さによって定義される前記身体部のボリュームに対応する前記１つまたは複数の三次元モデルの三次元モデルで置き換えること（１６１０）
    をさらに含む、請求項１４に記載の機械可読記憶媒体。
JP2019561305A 2017-05-12 2017-06-23 ネイティブ２ｄ医療画像と再構築３ｄ医療画像の閲覧の容易な切り替え Active JP7035083B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/593,994 2017-05-12
US15/593,994 US10275130B2 (en) 2017-05-12 2017-05-12 Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
PCT/US2017/038923 WO2018208323A1 (en) 2017-05-12 2017-06-23 Facilitating transitioning between viewing native 2d and reconstructed 3d medical images

Publications (2)

Publication Number Publication Date
JP2020523659A true JP2020523659A (ja) 2020-08-06
JP7035083B2 JP7035083B2 (ja) 2022-03-14

Family

ID=59295337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561305A Active JP7035083B2 (ja) 2017-05-12 2017-06-23 ネイティブ２ｄ医療画像と再構築３ｄ医療画像の閲覧の容易な切り替え

Country Status (5)

Country Link
US (2) US10275130B2 (ja)
EP (1) EP3622485A1 (ja)
JP (1) JP7035083B2 (ja)
CN (1) CN110546711B (ja)
WO (1) WO2018208323A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586400B2 (en) * 2018-02-23 2020-03-10 Robert E Douglas Processing 3D medical images to enhance visualization
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6818570B2 (ja) * 2017-01-31 2021-01-20 キヤノンメディカルシステムズ株式会社 医用画像表示装置
EP3273374B1 (en) * 2017-05-23 2023-05-17 Siemens Healthcare GmbH Method for analysing image data of a patient, system for performing a method for analysing image data of a patient and computer readable medium
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10886029B2 (en) 2017-11-08 2021-01-05 International Business Machines Corporation 3D web-based annotation
US20190259491A1 (en) * 2018-02-22 2019-08-22 International Business Machines Corporation Instance level metadata population of a pacs database
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
US11188800B1 (en) * 2018-04-03 2021-11-30 Robert Edwin Douglas Method and apparatus for improved analysis of CT scans of bags
US11204598B2 (en) * 2018-06-27 2021-12-21 Orthopedix, Inc. Medical and surgical procedure training system
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
WO2020068788A1 (en) * 2018-09-24 2020-04-02 K2M, Inc. System and method for isolating anatomical features in computerized tomography data
US11449986B2 (en) * 2018-10-23 2022-09-20 International Business Machines Corporation Enhancing medical imaging workflows using artificial intelligence
US11823787B2 (en) 2019-03-29 2023-11-21 Fujifilm Healthcare Americas Corporation Systems and methods for transferring medical image records using a prefferred transfer protocol
US10790056B1 (en) 2019-04-16 2020-09-29 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
KR102075293B1 (ko) * 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법
EP3754666A1 (en) * 2019-06-20 2020-12-23 Koninklijke Philips N.V. Medical image check apparatus
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP7208874B2 (ja) * 2019-08-27 2023-01-19 富士フイルム株式会社 撮影制御装置、方法およびプログラム
US20210158938A1 (en) * 2019-11-27 2021-05-27 GE Precision Healthcare, LLC Enhanced Enterprise Image Reading with Search and Direct Streaming
USD991279S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface
USD991278S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface for auxiliary reading
CN111078346B (zh) * 2019-12-19 2022-08-02 北京市商汤科技开发有限公司 一种目标对象显示方法及装置、电子设备和存储介质
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质
USD927532S1 (en) * 2020-02-05 2021-08-10 Slack Technologies, Inc. Display screen or portion thereof with graphical user interface
US11615508B2 (en) * 2020-02-07 2023-03-28 GE Precision Healthcare LLC Systems and methods for consistent presentation of medical images using deep neural networks
CN111524201B (zh) * 2020-04-24 2023-12-26 江苏赛诺格兰医疗科技有限公司 图像重建速度的检测方法、计算机可读存储介质和设备
CN111862320B (zh) 2020-09-21 2020-12-11 之江实验室 一种spect三维重建图像到标准视图的自动转向方法
US20220139029A1 (en) * 2020-11-05 2022-05-05 Covidien Lp System and method for annotation of anatomical tree structures in 3d images
USD975122S1 (en) * 2020-11-09 2023-01-10 Siemens Healthcare Gmbh Display screen or portion thereof with an animated graphical user interface
EP4016466A1 (en) * 2020-12-17 2022-06-22 Inter IKEA Systems B.V. Method and device for displaying details of a texture of a three-dimensional object
USD1018584S1 (en) * 2021-07-30 2024-03-19 Siemens Healthcare Gmbh Display screen or portion thereof with a graphical user interface
US20230084202A1 (en) * 2021-09-14 2023-03-16 GE Precision Healthcare LLC Secure artificial intelligence model deployment and inference distribution
US11538578B1 (en) 2021-09-23 2022-12-27 International Medical Solutions, Inc. Methods and systems for the efficient acquisition, conversion, and display of pathology images
CN114648607B (zh) * 2022-02-23 2024-03-29 中国电建集团昆明勘测设计研究院有限公司 基于cad平台的倾斜三维模型重建与动态调度方法
US20230284986A1 (en) * 2022-03-09 2023-09-14 GE Precision Healthcare LLC X-Ray Tomosynthesis System Providing Neural-Net Guided Resolution Enhancement and Thinner Slice Generation
CN114968952B (zh) * 2022-05-11 2023-06-16 沈阳东软智能医疗科技研究院有限公司 医学影像数据压缩方法、渲染方法、装置和介质
CN116308960B (zh) * 2023-03-27 2023-11-21 杭州绿城信息技术有限公司 基于数据分析的智慧园区物业防控管理***及其实现方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002360564A (ja) * 2001-06-05 2002-12-17 Imagunooshisu Kk 医用三次元画像の表示制御装置および表示用プログラム
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
US20060152502A1 (en) * 2002-11-15 2006-07-13 Karl Barth Method for depicting an object displayed in a volume data set
JP2006518510A (ja) * 2003-02-21 2006-08-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ボリューム視覚化用のキャッシュ
JP2006280598A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 医用画像管理装置、医用画像管理方法及び医用画像管理システム
JP2013066242A (ja) * 2012-12-25 2013-04-11 Toshiba Corp 画像表示システム、装置、方法及び医用画像診断装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3878259B2 (ja) * 1996-11-13 2007-02-07 東芝医用システムエンジニアリング株式会社 医用画像処理装置
JP4648629B2 (ja) * 2002-03-14 2011-03-09 ネットケイアイエスアール インコーポレイテッド コンピュータ連動断層撮影データの解析およびディスプレイシステムおよび方法
US7489810B2 (en) 2003-06-06 2009-02-10 Ge Medical Systems Information Technologies, Inc. Method and system for linking location information between software applications for viewing diagnostic medical images
WO2006058342A2 (en) 2004-11-29 2006-06-01 Sanmina-Sci Corporation Systems and methods for base station enclosures
DE102005035430A1 (de) 2005-07-28 2007-02-01 Siemens Ag Verfahren zur verbesserten Darstellung co-registrierter 2D-3D-Bilder in der medizinischen Bildgebung
US8126226B2 (en) * 2007-09-20 2012-02-28 General Electric Company System and method to generate a selected visualization of a radiological image of an imaged subject
US8370293B2 (en) * 2008-08-21 2013-02-05 Terarecon Inc. Workflow template management for medical image data processing
EP2672882B1 (en) * 2011-06-15 2018-07-25 Mistretta Medical, LLC System and method for four dimensional angiography and fluoroscopy
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
CN105045886B (zh) * 2015-07-23 2020-03-13 青岛海信医疗设备股份有限公司 一种dicom图像的导入方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002360564A (ja) * 2001-06-05 2002-12-17 Imagunooshisu Kk 医用三次元画像の表示制御装置および表示用プログラム
JP2003091735A (ja) * 2001-09-19 2003-03-28 Toshiba Medical System Co Ltd 画像処理装置
US20060152502A1 (en) * 2002-11-15 2006-07-13 Karl Barth Method for depicting an object displayed in a volume data set
JP2006518510A (ja) * 2003-02-21 2006-08-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ボリューム視覚化用のキャッシュ
JP2006280598A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 医用画像管理装置、医用画像管理方法及び医用画像管理システム
JP2013066242A (ja) * 2012-12-25 2013-04-11 Toshiba Corp 画像表示システム、装置、方法及び医用画像診断装置

Also Published As

Publication number Publication date
US20190205013A1 (en) 2019-07-04
US20180329609A1 (en) 2018-11-15
US10275130B2 (en) 2019-04-30
CN110546711A (zh) 2019-12-06
JP7035083B2 (ja) 2022-03-14
EP3622485A1 (en) 2020-03-18
WO2018208323A1 (en) 2018-11-15
US10671255B2 (en) 2020-06-02
CN110546711B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US10671255B2 (en) Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
US11615878B2 (en) Systems and methods for integrating neural network image analyses into medical image viewing applications
US20210210179A1 (en) Evolving contextual clinical data engine for medical information
US10269449B2 (en) Automated report generation
JP5843414B2 (ja) 医療記録ソフトウエアと高度画像処理の統合
WO2018095346A1 (zh) 一种基于hmds的医学成像***
US20230125385A1 (en) Auto-focus tool for multimodality image review
US9953136B2 (en) System for displaying and editing data for a medical device
US9792261B2 (en) Medical image display apparatus, medical image display method, and recording medium
Tsymbal et al. Towards cloud-based image-integrated similarity search in big data
US9474497B2 (en) Method and system for generating pre-scaled images for a series of mammography images
Qiao et al. An HTML5‐Based Pure Website Solution for Rapidly Viewing and Processing Large‐Scale 3D Medical Volume Reconstruction on Mobile Internet
WO2018209515A1 (zh) 显示***及方法
US11334976B1 (en) Medical imaging with functional architecture tracking
US20210125705A1 (en) Techniques for displaying medical image data
CN111681739B (zh) 病理信息的显示方法及计算机可读存储介质
Torres Bisbal Web-based visualisation of MRI cardiac images
Kohlmann LiveSync: smart linking of 2D and 3D views in medical applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220302

R150 Certificate of patent or registration of utility model

Ref document number: 7035083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150