読影医師(「読み手」)が従来のコンピュータ化された読み取りおよびレポート・システムを使用して撮像検査(例えば、マンモグラム)を読み取るとき、レポート・システムは、例えば、図1に示されるように、現在の検査10および1つ以上の関連する先行検査15からの電子医用画像を表示し得る。代替的にまたは加えて、レポート・システムは、患者の臨床情報、現在の臨床レポート、1つ以上の先行臨床レポート、様々な電子形式、コンピュータ支援検出(CAD:computer-aided detection)構造化されたレポート、ならびにマンモグラフィ品質基準法(MQSA:Mammography Quality Standards Act)の要件および米国放射線学会議(ACR:American College of Radiology)のBreast Imaging-Reporting and Data System(BI-RADS(R))のガイドラインに従って所見を符号化するため、その所見をレポートするため、またはこれらの両方を行うための1つ以上のダイアログを表示し得る。
レポート・システムは、様々な手動で選択されたかもしくは自動的に選択された表示プロトコルを使用して、現在の検査10、関連する先行検査15、またはこれらの組み合わせを表示し得る。例えば、図1に示されるように、8つの医用画像を含む現在の検査10は、同様に8つの画像を含む関連する1つ以上の先行検査15の左に表示され得る。
個々の読影医師ごとの挙動にはばらつきがあるが、審査プロセスは、概して、読み手が患者の関連する病歴およびリスク因子を確認することから始まる。患者の関連する病歴およびリスク因子を確認することは、電子文書を開くこと、紙の文書を収集することなどのような複数のステップを伴うことがある。いくつかの実施形態では、図1に示されるように、患者の関連する病歴およびリスク因子を、例えば、事前処理された臨床レポート20の中に自動的に収集し、提示することができる。事前処理臨床レポート20により、読み手が、例えば、患者の情報および患者の照会元であるドクターによって提供された情報のより速い理解を得ることを可能にすることができる。
患者の関連する病歴およびリスク因子を確認した後、読み手は、概して、患者の臨床画像(例えば、現在の検査10に含まれる画像)を閲覧することに進む。読み手は、米国食品医薬品局(FDA:Food and Drug Administration)によるデジタル・マンモグラフィ用に承認された1つ以上のコンピュータ・モニタ上で患者の臨床画像を閲覧することができる。読み手は、患者の臨床画像を閲覧しながら、同じ検査の画像を比較するように複数回画像を再配置し、現在の検査10からの画像を、関連する1つ以上の先行検査15またはこれらの組み合わせからの画像と比較することができる。画像の配置および提示は、例えば、個人の嗜好によって制御され得る。例えば、読み手は、入力機構(例えば、キーボード、マウス、マイクロホンなど)を使用して、一連の表示プロトコルを経て進むことができる。さらに、読み手は、画像を拡大すること、コンピュータ支援診断(CAD:computer-aided diagnosis)マークを表示すること、またはこれらの組み合わせを選ぶことができる。代替的にまたは加えて、読み手は、画像の縮小像(例えば、画像サムネイル)を表示して、様々な表示位置における画像のドラッグ・アンド・ドロップを容易にするように選ぶことができる。
読影医師が自身の、患者の臨床画像の審査を完了した後、読み手は、例えば、口述、音声認識、タイプ分け、1つ以上のダイアログ上のマウス・クリック(例えば、口述からマウス駆動のデータ入力形式に及ぶ、レポートへのテキスト入力を可能にする様々なユーザ・インターフェース)、またはこれらの組み合わせによって、現在の検査10に関するレポートを生成する。それゆえに、読み手は、多くの場合、患者の臨床条件およびリスクの理解を得ることと、画像を閲覧することと、レポートを生成することとの間の時間を分割し、かつ多くの場合、レポートを完成させるために、自身の焦点、および多くのインターフェースと表示部との間の相互作用を変更する必要がある。この相互作用は非効率的であり得、かつエラーを導入し得る。
それゆえに、本発明の実施形態は、画像分析論、深層学習、人工知能、認知科学、またはこれらの組み合わせを使用して、読み手の能力を改善する。例えば、以下により詳細に記載されるように、本発明の実施形態は、読み手が、電子表示された医用画像(例えば、マンモグラムまたは他のタイプのデジタル表示された医用画像)をクリックし、レポートを自動的に埋め込むことを可能とし、これは、実質的にレポート時間を低減し、確立されたレポート基準(ACR BI-RADS(R)など)へのアドヒアランスを改善し、かつ一部の一般的なエラー(例えば、読み手が左***内の病変を見て、その病変が右***内にあると誤って述べる)を低減し得る。
例えば、図2は、レポートを生成するためのシステム30を概略的に示す。図2に示されるように、システム30は、電子プロセッサ40、非一過性のコンピュータ読み取り可能媒体45、および通信インターフェース50を含むコンピューティング・デバイス35を含む。電子プロセッサ40、コンピュータ読み取り可能媒体45、および通信インターフェース50は単一のコンピューティング・デバイス35(例えば、パーソナル・コンピュータまたはサーバなど)の一部として示されているが、コンピューティング・デバイス35の構成要素は、複数のコンピューティング・デバイス12にわたって分散され得る。同様に、コンピューティング・デバイス35は、複数の電子プロセッサ、コンピュータ読み取り可能媒体モジュール、および通信インターフェースを含み得、かつ図2に示される構成要素以外に追加の構成要素を含み得る。
電子プロセッサ40は、コンピュータ読み取り可能媒体45に格納された命令を回収および実行する。電子プロセッサ40はまた、コンピュータ読み取り可能媒体45へのデータを格納し得る。コンピュータ読み取り可能媒体45は、非一過性のコンピュータ読み取り可能媒体を含み得、かつ揮発性メモリ、不揮発性メモリ、またはこれらの組み合わせを含み得る。いくつかの実施形態では、コンピュータ読み取り可能媒体45は、ディスク・ドライブまたは他のタイプの大容量ストレージ機構を含む。
通信インターフェース50は、コンピューティング・デバイス35の外部データ・ソースからの情報を受信し、コンピューティング・デバイス35からの情報を外部データ・ソースに出力する。例えば、通信インターフェース50は、コンピューティング・デバイス35が、ローカル・エリア・ネットワークまたはインターネットなどのネットワーク上で情報を送信および受信することを可能にするイーサネット(R)カードまたは無線ネットワーク・カードなどのネットワーク・インターフェースを含み得る。図2に示されるように、いくつかの実施形態では、通信インターフェース50は、画像データベース55およびレポート・データベース60と(直接または間接的に)通信する。以下により詳細に記載されるように、画像データベース55は、画像、患者の識別子、患者の病歴、順序情報などを含む患者情報を格納し得る。レポート・データベース60は、構造化された画像研究レポートなどのレポートを格納する。いくつかの実施形態では、画像データベース55およびレポート・データベース60は、単一のデータベースに結合されている。他の実施形態では、画像データベース55、レポート・データベース60、またはこれらの組み合わせは、複数のデータベースにわたって分散されている。また、いくつかの実施形態では、画像データベース55、レポート・データベース60、またはこれらの両方は、(例えば、コンピュータ読み取り可能媒体45の一部として)コンピューティング・デバイス35内に含まれている。いくつかの実施形態では、コンピューティング・デバイス35はまた、キーボード、マウス、プリンタ、マイクロホン、モニタなどのような1つ以上の周辺デバイス(例えば、入力機構および出力機構)との間でデータを受信および送信するように構成されたドライバを含む。
コンピュータ読み取り可能媒体45に格納された命令は、電子プロセッサ40によって実行されると、特定の機能を遂行する。例えば、図2に示されるように、コンピュータ読み取り可能媒体45は、レポート・アプリケーション65を含む。以下により詳細に記載されるように、レポート・アプリケーション65は、電子プロセッサ40によって実行されると、医用画像研究のための構造化されたレポート(例えば、マンモグラム、心臓病学レポート、超音波レポートなど)のようなレポートを生成する。いくつかの実施形態では、レポート・アプリケーション65は、レポート機能を提供することに加えて、医用画像を閲覧すること、患者情報にアクセスすること、またはこれらの組み合わせのための機能を提供する。
いくつかの実施形態では、コンピューティング・デバイス35は、レポート・アプリケーション65をローカルで実行するために、読み手によって操作されるパーソナル・コンピュータである。しかしながら、他の実施形態では、コンピューティング・デバイス35は、ネットワークベースのアプリケーションとしてレポート・アプリケーション65をホストするサーバである。したがって、読み手は、インターネットなどの通信ネットワークを通じてレポート・アプリケーション65にアクセスすることができる。それゆえに、いくつかの実施形態では、読み手は、自身のワークステーションまたはパーソナル・コンピュータにレポート・アプリケーション65をインストールする必要がない。むしろ、いくつかの実施形態では、読み手は、Internet Explorer(R)またはFireFox(R)などのブラウザ・アプリケーションを使用して、レポート・アプリケーション65にアクセスすることができる。
いくつかの実施形態では、レポート・アプリケーション65は、画像にアクセスするために画像データベース55と相互作用し、画像に基づいて(例えば、読み手からの入力に基づいて)レポートを生成し、かつレポート・データベース60への生成されたレポートを格納する。いくつかの実施形態では、画像データベース55、レポート・データベース60、またはこれらの組み合わせは、画像保管通信システム(PACS:picture archiving and communication system)に含まれている。また、いくつかの実施形態では、コンピューティング・デバイス35は、PACSに含まれている。他の実施形態では、コンピューティング・デバイス35は、通信インターフェース50を通じて、画像データベース55、レポート・データベース60、およびPACSの他の構成要素にアクセスすることができる。
図3は、医用画像に関するレポートを生成するための、システム30によって遂行される方法70を示す。方法70は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法70またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。
図3に示されるように、電子医用画像が(例えば、レポート・アプリケーション65または別個の閲覧アプリケーションによって)表示される場合、方法70は、(ブロック75において)医用画像に関するアノテーションを受信することを含む。アノテーションは、表示された電子医用画像内の特定の位置の電子選択を表し、ラベル、測定値、所見などのような1つ以上の値に関連付けられ得る。本出願において使用される場合、アノテーションは、「marktation」と称されることもある。アノテーションは、(例えば、円形、矢印、線、矩形、球形などのような)様々な形状、サイズ、および形態をとることができ、一次元マーク、二次元マーク、または三次元マークであり得る。いくつかの実施形態では、レポート・アプリケーション65は、読み手が選択(ドラッグ・アンド・ドロップ)し、表示された画像に追加することができる異なる形状およびサイズのマークに関連付けられたアイコンを含むツールバーなどの、表示された医用画像にアノテーションを追加するための1つ以上のツールを含む。
いくつかの実施形態では、レポート・アプリケーション65はまた、読み手がアノテーションを生成するのを支援するための1つ以上のツールまたは自動機能を提供する。例えば、いくつかの実施形態では、レポート・アプリケーション65は、読み手に表示された医用画像を自動的に縮尺する。一例として、図4は、左の左右対称頭尾マンモグラム像100および右の左右対称頭尾マンモグラム像105を示す。左の左右対称頭尾マンモグラム像100および右の左右対称頭尾マンモグラム像105が背中合わせの向きで表示されている。右の左右対称頭尾マンモグラム像105は第1の表示コンテナ110内に位置決めされており、左の左右対称頭尾マンモグラム像100は第2の表示コンテナ115内に位置決めされている。レポート・アプリケーション65は、各左右対称頭尾マンモグラム像100および105を、それぞれの表示コンテナ110および115の各々の中に自動的に拡大することができる。例えば、図4に示されるように、レポート・アプリケーション65は、像内に表された解剖学的構造の関連する部分を切断することなく、左右対称頭尾マンモグラム像100および105の各々を、それぞれの表示コンテナ110および115の各々の中に当てはめるように、自動的に拡大するように構成され得る。レポート・アプリケーション65は、かかる自動縮尺を、画像分析論、自動倍率と左右対称頭尾マンモグラム像100および105の各々の表示とを容易にするために***の輪郭を査定するコンピュータ・アルゴリズム、またはこれらの組み合わせを使用して、遂行することができる。
いくつかの実施形態では、レポート・アプリケーション65はまた、医用画像内に表された解剖学的構造を1つ以上の画像深度に自動的に分割する。例えば、マンモグラムの場合、レポート・アプリケーション65は、***の輪郭を自動的に検出し、各***を、前部深度、中部深度、および後部深度などの複数(例えば、3つ)の解剖学的深度に分割することができる。レポート・アプリケーション65は、乳輪から胸壁までの距離を所望の深度の数で分割することによって分割を遂行することができる。例えば、図5は、右の頭尾マンモグラム像120および右の内外マンモグラム像125を示す。各マンモグラム像120および125は、前部深度130、中部深度135、および後部深度140に分割されている。いくつかの実施形態では、異なる解剖学的ランドマークに基づいて、追加のまたはより少ない解剖学的深度が存在し得る。また、本出願において提供される多くの例でマンモグラムが使用されているが、本明細書に記載される方法およびシステムは、磁気共鳴撮像(MRI:magnetic resonance imaging)スキャン、陽電子放射断層撮影(PET:positron(position) emission tomography)スキャン、X線コンピュータ断層撮影(CT:x-ray angiography)スキャン、核医学(NM:nuclear medicine)スキャン、コンピュータ・ラジオグラフィ(CR:computed radiography)スキャン、X線血管造影(XA:x-ray angiography)スキャン、***トモシンセシス、ならびに医学におけるデジタル撮像および通信(DICOM:Digital Imaging and Communications in Medicine)基準によって定義された他のモダリティを含むが、これらに限定されない様々なタイプの撮像モダリティを使用して生成された異なるタイプの解剖学的構造に関する異なるタイプの医用画像で使用することができる。
任意選択で、レポート・アプリケーション65は、深度分割に基づいて、1つ以上の深度グラフィック145を自動的に表示することができる。例えば、図5に示されるように、各マンモグラム像120および125は、前部深度130と中部深度135との間に位置決めされた第1の深度グラフィック145A、ならびに中部深度135と後部深度140との間に位置決めされた第2の深度グラフィック145Bを含む。いくつかの実施形態では、1つ以上の深度グラフィック145は、読み手が医用画像と相互作用すると自動的に現れる。例えば、1つ以上の深度グラフィック145は、読み手が医用画像をアノテーション付けする(例えば、病変をマークする)と過渡的に表れる。代替的にまたは加えて、1つ以上の深度グラフィック145は、読み手が所見を口述するために使用されるマイクロホンを作動すると現れる。
***が斜め平面内で撮像される場合、乳輪に対する解剖学的点の実際深度は、画像の傾斜度に依存する。したがって、図5に示される右の内外マンモグラム像125とは異なり、解剖学的深度は、斜めのマンモグラフィ投影でより深いことがある。したがって、図6に示されるように、解剖学的深度をより正確に描写することができる。図6に示されるように、右の内外マンモグラム像125の1つ以上の深度グラフィック145は、前部深度130と中部深度135との間に位置決めされた第1の斜線145C、ならびに中部深度135と後部深度140との間に位置決めされた第2の斜線145Dとして示され得る。
いくつかの実施形態では、レポート・アプリケーション65は、表示された医用画像に関連付けられた、医学におけるデジタル撮像および通信(DICOM:Digital Imaging and Communications in Medicine)メタファイルに格納された(例えば、画像データベース55に格納された)情報に基づいて、第1の斜線145Cの角度および第2の斜線145Dの角度を判定する。DICOMメタファイルの情報は、画像が取得されたときの撮像システムの傾斜度を示すことができる。読み手はまた、第1の斜線145Cおよび第2の斜線145Dのポジションの傾斜度を手動で調節することができる。いくつかの実施形態では、レポート・アプリケーション65は、DICOMメタファイル、他の画像傾斜度情報、またはこれらの両方を査定して、解剖学的グラフィックおよび分割を自動的に作成する。
深度グラフィック145に加えてまたは代替として、いくつかの実施形態では、レポート・アプリケーション65は、医用画像内に1つ以上のラベルを自動的に生成し、表示する。ラベルは、医用画像内の特定の解剖学的位置またはランドマークのポジションを識別する。例えば、マンモグラムの場合、レポート・アプリケーション65は、乳輪のポジション、乳輪下のポジション、真皮のポジション、真皮下のポジション、皮下のポジション、腋窩のポジション、胸壁のポジション、インプラントのポジション、またはこれらの組み合わせに関するラベルを表示することができる。レポート・アプリケーション65は、例えば、皮膚の輪郭、密度、MRI強度、血管増強パターン、画像組織のセグメント化、またはこれらの組み合わせの査定を含む1つ以上のタイプの画像分析論を使用してラベルを自動的に生成することができる。いくつかの実施形態では、レポート・アプリケーション65は、人工知能および深層学習(例えば、どこで手動ラベルが位置決めされるか、またはどのように自動生成ラベルが手動で調節されるかを追跡すること)に基づいて、自動ラベル付けを精密にすることができる。以下に記載されるように、自動ラベル付けをアノテーションにおいて使用することができる。しかしながら、これらを使用して、読み手が画像を閲覧および理解するのを助ける解剖学的位置の全般的な知識を提供することもできる。
いくつかの実施形態では、読み手は、1つ以上の深度グラフィック145、ラベル、またはこれらの両方の表示を、例えば、音響コマンド、マウスのクリック、キーボードのショートカット、またはこれらの組み合わせを使用して手動で制御する。さらに、読み手は、深度グラフィック145、ラベル、またはこれらの両方である1つ以上の分割のポジションを相互作用的に調節することができる。例えば、いくつかの実施形態では、読み手は、術後または先天性変形を伴う***の画像内に含まれる深度グラフィック145のポジションを手動で調節することができる。
また、いくつかの実施形態では、レポート・アプリケーション65は、構成可能な規則に基づいて、1つ以上の深度グラフィック145、ラベル、またはこれらの両方を生成し、表示する。規則は、読み手の嗜好、サイト管理者の設定、またはこれらの両方に基づき得る。代替的にまたは加えて、規則は、表示された医用画像に関連付けられた撮像モダリティ、表示された医用画像に関連付けられた1つ以上の患者の特徴、表示された医用画像に関連付けられた1つ以上の読み手の特徴、またはこれらの組み合わせに基づき得る。例えば、ある特定のラベルはMRIスキャンのために使用され得、他のラベルはマンモグラムのために使用され得る。規則はまた、特定の疾患を有することへの患者のリスク、撮像された身体領域(例えば、ある身体の部分)、またはこれらの組み合わせに基づき得る。概して、規則は、医用画像が表示されるワークステーション、組織、施設、位置、撮像モダリティ、患者、照会元であるドクター、1つ以上の読影医師の特徴、またはこれらの組み合わせに基づき得る。
規則はまた、表示された画像内のどこにカーソルが位置決めされるかに基づいて、どんなグラフィック、ラベル、またはこれらの両方が表示されるかを指定するために使用され得る。例えば、腹部のCTスキャンを閲覧する際、カーソルが肝臓の上に置かれると、解剖学的グラフィックおよび肝臓に関連するラベルは、アクセス可能であり得るか、自動的に現れ得るか、利用され得るか、またはこれらの組み合わせであり得、これらは、カーソルが腎臓の上に置かれると、アクセス可能であり得るか、自動的に現れ得るか、利用され得るか、またはこれらの組み合わせであり得る解剖学的グラフィックおよびラベルとは異なり得る。
読み手は、アノテーションを手動で提供することができる。例えば、読み手は、表示された画像上の位置を(例えば、位置をクリックすることによって)マークし、ラベル、所見、測定値、メモなどのような、位置に関連付けられた1つ以上の値を提供することができる。読み手は、マークする位置を判定するために、表示された深度グラフィック145、ラベル、またはこれらの両方を使用することができる。代替的にまたは加えて、読み手は、医用画像内に表示されたラベルを選択することによって、アノテーションを生成することができる。手動でマークされたアノテーションと同様に、読み手は、ラベル、測定値、所見、メモ、またはこれらの組み合わせを含むアノテーションに関する値を提供することができる。また、いくつかの実施形態では、レポート・アプリケーション65は、アノテーションに関する1つ以上の値を自動的に生成するように構成され得る。例えば、いくつかの実施形態では、読み手が表示された画像内の病変を手動でマークするか、または病変を識別する自動的に生成されたラベルを選択するときに、レポート・アプリケーション65は、マークされた位置の解剖学的ポジションを識別するか、病変を特徴付けるか、病変を測定するか、またはこれらの組み合わせを自動的に行うように構成され得る。いくつかの実施形態では、許可、拒否、または収集のために、任意の自動値が読み手に表示される。
例えば、読み手がキーボード、マウス、ジョイスティックなどのような入力機構を使用して、表示された画像内の病変をマークするようにカーソルを制御するときに、レポート・アプリケーション65は、マークされた病変の位置に関する情報(例えば、深度)を生成する。特に、図5に示されるように、(アステリスクとして示される)アノテーション150は、右の頭尾マンモグラム像120の後部深度140内の病変をマークし、レポート・アプリケーション65は、この情報を使用して、マークされた病変の位置(例えば、右***)および深度(後部深度)を含むアノテーション150に関する情報を格納することができ、これは、以下に記載されるように、電子構造化されたレポートの1つ以上のフィールドを自動的に埋め込むために使用され得る。
図3に戻ると、レポート・アプリケーション65は、(ブロック75において)(手動で置かれたアノテーション、自動的に生成されたアノテーション、またはこれらの組み合わせとして)アノテーションを受信することに応答して、(ブロック160において)医用画像内のアノテーションに関連付けられた解剖学的位置を自動的に識別する。いくつかの実施形態では、レポート・アプリケーションは、以前に判定された分割または深度グラフィック145を使用して、解剖学的位置を識別する。例えば、レポート・アプリケーション65は、マークされた病変が特定の深度内に位置決めされていると識別することができる。特に、図5に示されるように、レポート・アプリケーション65は、アノテーション150が右の頭尾マンモグラム像120の後部深度140内に位置決めされていると識別することができる。
深度に加えてまたは代替として、アノテーションに関連付けられた解剖学的位置は、様々な方法で指定され得るポジションを含み得る。例えば、マンモグラム内で、ポジションは、クロック・ポジション、および乳輪または乳頭などの参照点からの半径方向距離として表され得る。クロック・ポジションおよび半径方向距離は、経時的に進化し得る利用可能な基準を使用することができる。例えば、図7は、前面像からクロック基準を使用して表されたポジションを示す。図8は、斜位像および頭尾像からクロック基準を使用して表された同じポジションを示す。同様に、図9は、ポジションを説明するために、前面像から基準ゾーンの基準の対象となる点からの距離を示す。アノテーションのポジションを指定するために使用される特定の基準は、ラベルおよびグラフィックに関して上に記載される規則によって構成可能であり得る。
レポート・アプリケーション65はまた、他のタイプの画像分析論を使用して、特定の解剖学的構造またはアノテーションに関連付けられた解剖学的構造内の特定のポジションを識別する。例えば、レポート・アプリケーション65は、表示された医用画像内の特定の輪郭または形状を識別して、人工知能および深層学習を使用して開発および精密にされ得る特定の解剖学的構造またはポジションを識別する。同様に、レポート・アプリケーション65は、患者情報、順序情報などのような、表示された画像に関連付けられた情報を使用して、特定の解剖学的構造または解剖学的構造の特定の位置を識別することができる。
図3に戻ると、レポート・アプリケーション65は、上に記載される技法のうちの1つ以上を使用して、アノテーションに関連付けられた解剖学的位置を決定することに応答して、(ブロック260において)所定のマッピングに基づいて解剖学的位置に関連付けられた電子構造化されたレポート内の位置を自動的に判定し、(ブロック270において)アノテーションに基づいて電子レポートの位置を自動的に埋め込む。
図10は、部分的に完成したマンモグラム・レポート265のサンプルを示す。レポート265は、例えば、手技フィールド、比較フィールド、指示フィールドなどを含む複数のフィールドなどの1つ以上の位置を含む。フィールドのうちの1つ以上は、特定の解剖学的構造(例えば、肝臓、腎臓)、特定の解剖学的位置(例えば、左の左右対称頭尾)、またはこれらの両方にマッピングされ得る。例えば、構造化されたレポート内の行項目またはセクションは、特定の値タイプ(例えば、所見、タイプなど)および特定の解剖学的位置(例えば、腎臓、肝臓、左***など)に関連付けられ得る。これらの関連は、所定のマッピングに格納され、かつ手動で定義(入力機構からまたは別個のファイルから受信)され得るか、機械学習を使用して自動的に生成され得るか、またはこれらの組み合わせであり得る。
いくつかの実施形態では、所定のマッピングは、構造の特定の位置を他のタイプの画像の特徴またはアノテーションの特徴に同様にマッピングする。換言すれば、マッピングはアノテーションの解剖学的位置に基づく必要はないため、構造レポートは解剖学的に構造化される必要はない。
一例として、読影医師が病変をマークするアノテーション(例えば、アノテーション150)を提供すると、レポート・アプリケーション65は、病変に関する解剖学的位置構文を自動的に判定することができる。解剖学的位置構文は、[病変#][所見タイプ][特性][偏側性][深度][クロック上のポジション][参照点に対する半径方向距離][見られた像]の形式を有し得る。特に、読影医師が、アノテーションを、頭尾像および斜位像から見て、左***の画像上、***中部深度、6時のポジション、乳頭(nibble)に対して4センチメートル(cm:centimeter)半径方向に提供する場合、関連する解剖学的位置構文は、次のように読み取ることができる。病変#1:[所見タイプ][特性]頭尾像および斜位像から見て、左***、***中部深度、6時のポジション、乳頭に対して4cm半径方向。レポート・アプリケーション65は、解剖学的位置構文の構成要素を使用して、構造化されたレポートの適用可能な位置を埋め込むことができる。特に、レポート・アプリケーション65は、左***および***中部深部の所見に関連付けられた構造化されたレポートのフィールドを識別することができる。レポート・アプリケーション65は、これらのフィールドを判定することに応答して、これらのフィールドに解剖学的位置構文に含まれる関連する値(例えば、所見タイプ、特性、頭尾像および斜位像から見て、6時のポジション、乳頭に対して4cm半径方向、またはこれらの組み合わせ)を埋め込むことができる。
上に示されるように、解剖学的位置構文を生成する際、構成要素のうちの1つ以上が完成されていないことがある。例えば、読み手が画像上の病変をマークするときに、マークは病変のポジションを示すが、所見などの病変の他の特徴(例えば、悪性または良性)を必ずしも示さないことがある。読み手は、これらの詳細を、アノテーションを生成する一部として提供することができる。しかしながら、読み手がこれらの詳細を提供しないが、これらの詳細が、(上に記載されるマッピングを使用して識別される)構造化されたレポートの特定のデータ・フィールドにマッピングされることになる場合、レポート・アプリケーション65は、読影医師による完了が必要なフィールドを強調表示し得るか、値を読み手に求め得るか、フィールドの値を自動的に判定し得るか、またはこれらの組み合わせを遂行する。
レポート・アプリケーション65はまた、所定のマッピングおよび任意選択で、他のアノテーション、規則、またはこれらの組み合わせに基づいて、構造化されたレポート内の位置を自動的に判定することができる。例えば、所定のマッピングまたは(例えば、特定の読み手、ワークステーションなどに特異的な)無効化規則は、他のアノテーションの存在または値に基づいて、構造レポートの位置に特定の値をマッピングすることができる。例えば、病変が左***内で識別されると、所定のマッピングは、右***に関する情報の前に、左***に関するすべての情報を構造化されたレポート内に置くことができ、逆もまた同様である。
同様に、所定のマッピングまたは無効化規則は、複数のアノテーションから、構造化されたレポートに関する情報の収集および順序付けを指定することができる。それゆえに、構造レポートが埋め込まれる場合、埋め込みは他のアノテーションに基づき得る。上に述べられるように、このタイプのカスタマイズ化を提供するために使用される規則は、読み手、ワークステーション、組織、アプリケーション、患者、撮像モダリティ、解剖学的構造、医用画像、またはこれらの組み合わせに関連付けられ得る。いくつかの実施形態では、レポート・アプリケーション65はまた、読み手に関する収集および順序付けされた情報を事前閲覧し、読み手が情報を承認、拒否、または修正することを可能にすることができる。
例えば、左右対称マンモグラムについては、いずれかの***、両方の***、または左***のみに疑わしい所見がない場合、1つ以上の規則は、構造レポートに埋め込まれた情報が以下の形式を有すると指定し得る。
左
疑わしい#1
疑わしい#2
良性と思われる#1
右
疑わしい#1
疑わしい#2
良性と思われる#1
しかしながら、右***のみが疑わしい所見を有する場合、規則は以下の情報順序を指定することができる。
右
疑わしい#1
疑わしい#2
良性と思われる#1
左
良性と思われる#1
同様に、いずれの***も所見を有していない場合、規則は、「重大な所見なし」というテキストを追加する以下の情報順序を指定することができる。
右
疑わしい#1
疑わしい#2
良性と思われる#1
左
良性と思われる#1
いくつかの実施形態では、レポート・アプリケーション65(または他のアプリケーション)は、情報をレポートにマッピングするため、および技術を支持するための規則を格納および適用することができる。例えば、以下のような所見セクションを含む臨床レポート・テンプレートがあると仮定する。
所見:
肺:正常。肺炎なし。
胸膜:正常。浸出液なし。
縦隔:正常。腫瘤または腺症なし。
心臓:正常。心臓の異常なし。
その他:陰性。
アノテーション収集ダイアログが開いているときにアノテーション付けを行う場合、レポート・アプリケーション65は、text-to-voiceまたはtext displayを使用して、収集中の正確な行項目を読み手に示すことができる。例えば、レポート・アプリケーション65は、「肺」が所見下の第1の行項目であるため、このレポート・テンプレートにリンクされている任意の検査に対して第1のアノテーションが作成されると、「肺」の音響データを出力することができる。次いで、読み手は、マウス、マイクロホンなどを使用することなどでレポート・アプリケーション65と相互作用して、別の行項目に進むか、または前の行項目に戻ることができる。したがって、別個のレポート画面に注意を払うことなく、読み手は、アノテーション値(テキスト)がレポートに入力される場所を制御することができる。さらに、深層学習方法を使用することで、レポート・アプリケーションは、自動的に、マークされる解剖学的形態(縦隔内など)を判定し、レポート内の適切な行項目に進むことができる。また、規則を使用して、読み手、組織、モダリティ、または検査タイプに関連し得るこの機能を遂行することができる。いくつかの実施形態では、規則は、これらの実施形態のうちのどれが特定のインスタンスに対して使用されているかを判定することができる(例えば、text to voiceが使用されているかどうか、自動行項目検出が使用されているかどうか、または適当な行項目を選択するために手動アクションが必要かどうか)。
いくつかの実施形態では、読み手は、テキストを手動で入力すること、音声認識を使用すること、またはこれらの組み合わせによって、アノテーションに関連付けられた値(例えば、所見、タイプ、特性、またはこれらの組み合わせ)を提供することができる。同様に、いくつかの実施形態では、これらの値を上に記載されるように使用して自動的に生成することができる。値がいかに生成されるかにかかわらず、レポート・アプリケーション65は、ラベルなどのこれらの値のうちの1つ以上を関連する構造化されたレポートの適用可能なフィールドに自動的に伝達することができる。これらの値はまた、画像内のアノテーションをクリックすること、マウスオーバーすること、または別様に選択することなどによって、アノテーションによって表示されてもよいし、またはアクセス可能であってもよい。
いくつかの実施形態では、読み手が新しいアノテーションを生成するか、既存のアノテーションを調節するか、またはアノテーション(例えば、所見)に値を提供するたび、この活動は、レポート・アプリケーション65が適切な位置(複数可)の構造化されたレポートに情報を自動的に伝達することをトリガすることができる。例えば、ラベルが生成される(および任意選択で、読み手によって承認される)と、レポート・アプリケーション65は、ラベルを構造化されたレポートに自動的に伝達することができる。画像アノテーションから構造化されたレポートへの情報の自動伝達は、自動ラベル付けおよびグラフィックについて上に記載されるように、1つ以上の規則、格納されたデータ要素、またはこれらの組み合わせを使用して構成され得る。また、上に記載されるように、いくつかの実施形態では、レポート・アプリケーション65は、既存のアノテーションへの修正に基づいて、構造化されたレポートを自動的に更新するように構成され得る。同様に、いくつかの実施形態では、読み手は、構造化されたレポートを自動的に修正することができる。しかしながら、レポート・アプリケーション65は、構造化されたレポートに対する手動更新が既存のアノテーションと互換性がない状況では警告を生成するように構成され得る。
いくつかの実施形態では、レポート・アプリケーション65はまた、これらのアノテーションを、構造化されたレポートの位置にマッピングされていないアノテーション(深度ガイドおよび他の視覚ガイド)と区別する方法として、構造レポートの位置にマッピングされたアノテーションを表示するように構成されている。例えば、アノテーションが構造化されたレポートにマッピングされると、レポート・アプリケーション65は、アノテーションが構造化されたレポートにマッピングされていないアノテーションとは異なる様式で表示されるように、アノテーションの色、サイズ、フォント、アニメーション、またはグラフィックを更新することなどによって、医用画像内に表示されたアノテーションを更新することができる。この様式では、読み手は、アノテーションへの変更が対応する構造化されたレポートに影響を与えるかどうかを迅速かつ視覚的に判定し、特定の構造化されたレポート情報が引き出されている場所を識別することができる。
前述のように、レポート・アプリケーション65は、格納された語彙規則、ポジション・ロジック、またはこれらの組み合わせを使用して、エラーを低減し、同じ解剖学的構造の複数の像などの画像を読み手が審査するのを支援することができる。特に、レポート・アプリケーション65が読み手からアノテーションを受信すると、レポート・アプリケーション65は、アノテーションに基づいて、格納された規則を識別することができる。以下により詳細に記載されるように、格納された規則は、別の関連するアノテーションが必要であり、新しいアノテーションが確約される前に識別されるべきかどうか、またはアノテーションに対する値が自動的に生成されるべきかもしくは手動で生成されるべきかなどの、アノテーションに関する制約を指定することができる。上に述べられるように、規則は、特定の読み手、ワークステーション、検査タイプ、組織、アノテーションタイプ、解剖学的構造などに基づき得る。それゆえに、格納された規則は、アノテーション、または読み手がアノテーション、アノテーションタイプなどをマークすることなどの、アノテーションに関する他の特徴に基づいて識別され得る。格納された規則が識別された後、レポート・アプリケーション65は、アノテーションに基づいて、格納された規則を実行し、それに応じてアノテーションを自動的に修正するか、または実行に基づいて他の自動アクションをとる。いくつかの実施形態では、レポート・アプリケーション65は、ユーザが規則を指定または修正することを可能にする1つ以上のユーザ・インターフェースを提供する。代替的にまたは加えて、レポート・アプリケーション65は、深層学習または他の形態の機械学習および人工知能などを使用することによって、規則を自動的に生成するように構成され得る。
例えば、読影医師が病変を「腫瘤」として特徴付けようとするが、1つの像(1つの医用画像)上の病変のみをラベル付けする場合、ACR BI-RADS(R)基準は、「腫瘤」という用語が2つの像で視覚可能な病変にのみ適用されるべきであり、これらの要件が1つ以上の格納された規則で実装され得ると示しているため、レポート・アプリケーション65は、警告を生成すること、特徴付けを修正すること、特徴付けを防止すること、またはこれらの組み合わせなどの1つ以上の自動アクションを開始し得る。加えて、2つの像に病変をマークする際、レポート・アプリケーション65は、2つの像に必要なマークが提供されているため、病変を「腫瘤」として分類するように、病変に関連付けられたアノテーションのうちの1つまたは両方を自動的に更新し得る。同様に、読み手が、無エコーではない超音波病変を「嚢胞」として特徴付けようとすると、レポート・アプリケーション65は、1つ以上の自動アクションを開始し得る。別の例として、読み手が、自動的に判定された位置と互換性がない、アノテーションに関連付けられた病変などのアノテーションの位置を指定すると、レポート・アプリケーション65は、1つ以上の自動アクションを開始し得る。例えば、レポート・アプリケーション65が6時のポジションにあると査定する病変を、読み手が8時のポジションにあると記載すると、レポート・アプリケーション65は、1つ以上の自動アクションを開始し得る。
例えば、図11は、医用画像を審査するため、および特に、格納された規則を使用してアノテーションを検証するための、システム30によって遂行される方法300を示す。方法300は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法300またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。図11に示されるように、方法300は、(ブロック302において)レポート・アプリケーション65を用いて、表示された電子医用画像に関するアノテーションを受信することを含む。受信されたアノテーションは、医用画像内に表された病変のラベルを含む。レポート・アプリケーション65は、アノテーションを受信することに応答して、病変が、(ブロック304において)表示された電子医用画像に関連付けられた撮像検査中に得られた他の医用画像内で1回以上ラベル付けされているかどうかを自動的に判定し、アノテーションに基づいて、格納された規則を識別し、格納された規則は、(ブロック306において)病変が他の医用画像内でラベル付けされるべきかどうかを指定する。例えば、上に記載されるように、格納された規則は、医用画像内に病変がラベル付けされると、その病変を、(合計2つのラベルの場合)同じ病変が同じ解剖学的構造の少なくとも1つの他の像にもラベル付けされていない限り、「腫瘤」として特徴付けることはできないと指定することができる。格納された規則はまた、カスタマイズ化され得る。例えば、格納された規則は、読み手、ワークステーション、組織、アプリケーション、患者、画像モダリティ、解剖学的構造、医用画像、またはこれらの組み合わせに関連付けられ得る。それゆえに、レポート・アプリケーション65は、割り当てられた読み手、使用中のワークステーション、読み手に関連付けられた組織などに基づいて、格納された規則を識別するように構成されている。
図11に示されるように、レポート・アプリケーション65は、適用可能な格納された規則を識別することに応答して、(ブロック308において)病変が他の医用画像内で1回以上ラベル付けされているかどうかに基づいて、格納された規則を実行し、(ブロック310において)格納された規則の実行に基づいて、少なくとも1つの自動アクションを自動的に開始する。上に記載されるように、少なくとも1つの自動アクションは、警告(視覚警告、可聴警告、触覚警告、またはこれらの組み合わせ)を生成すること、アノテーションを更新すること、アノテーションを削除することなどを含み得る。例えば、いくつかの実施形態では、レポート・アプリケーション65は、病変が必要な数の像でマークされると、病変を「腫瘤」として特徴付けるようにアノテーションを自動的に更新する。
加えて、いくつかの実施形態では、レポート・アプリケーション65は、医用画像内のアノテーションを受信することに応答して、整合位置のグラフィックを自動的に生成する。例えば、図12に示されるように、アノテーション150は、病変を表す。レポート・アプリケーション65は、病変が1つの像内に(手動でまたは自動的に)マークされていることに応答して、病変が(同じ検査または異なる検査で)別の利用可能な像の上に現れるべき1つ以上の位置(各々は、例えば、ポジション、深度、またはこれらの両方を含む)を自動的に示す。いくつかの実施形態では、レポート・アプリケーション65は、1つの像内の病変に対する複数の候補位置を別の像内の病変のマークに基づいて生成することができる。いくつかの実施形態では、複数の潜在的位置がマークされると、レポート・アプリケーション65は、候補位置を(例えば、位置の尤度によって)スコア化またはランク付けすることができる。
整合位置のグラフィック170は、矩形のフレーム内などの医用画像内の領域または面積をマークすることができる。例えば、図12に示されるように、アノテーション150が右の頭尾マンモグラム像120の後部深度140内に位置決めされると、レポート・アプリケーション65は、右の内外マンモグラム像125の後部深度140内の整合位置のグラフィック170を自動的に生成し、表示することができる。図12に示されるように、整合位置のグラフィック170を右の内外マンモグラム像125の後部深度140の強調表示として表すことができる。いくつかの実施形態では、整合位置のグラフィック170の少なくとも一部は、透明である。同様に、図13に示されるように、病変が先行検査で自動的にまたは手動でマークされていると、レポート・アプリケーション65は、現在の検査の病変に対する1つ以上の候補位置を自動的にマークすることができ、逆もまた同様である。また、いくつかの実施形態では、レポート・アプリケーション65は、整合位置のグラフィック170の傾斜度を判定し、ラベル付けする。
いくつかの実施形態では、レポート・アプリケーション65は、三角測量を使用して位置の整合を遂行する。例えば、図13は、左から右へ、右***の頭尾マンモグラム像185、内外斜位マンモグラム像190、および内外マンモグラム像195のダイアグラム180を示す。これらの像を使用して、3つの像のいずれか1つの病変のポジションをその他の像のいずれか2つの相対的なポジションから推測し得る三角測量を遂行することができる。例えば、側***内にある病変は、内外マンモグラム像195上よりも内外斜位マンモグラム像190上でより上位に現れることがある。
代替的にまたは加えて、レポート・アプリケーション65は、乳輪などの参照点からの半径方向距離に基づいて、位置の整合を遂行することができる。例えば、図14に示されるように、画像の下側の列では、円200は、左の頭尾マンモグラム像205および左の内外マンモグラム像210上の小さな腫瘤をマークする。レポート・アプリケーション65は、例えば、上に記載される技法を使用して、関連する先行検査の小さな腫瘤の1つ以上の候補位置を自動的に示すことができる。特に、図14に示されるように、レポート・アプリケーション65は、より大きな円225によって、以前の左の頭尾マンモグラム像215および以前の左の内外マンモグラム像220内の小さな腫瘤の最も可能性の高い以前の位置を自動的に示すことができる。
いくつかの実施形態では、レポート・アプリケーション65は、位置、形態学、またはこれらの組み合わせに基づいて病変の整合を遂行することによって、位置の整合を遂行することができる。例えば、図15に示されるように、アノテーションは、左***の左の頭尾マンモグラム像245および左の内外斜位マンモグラム像250上の病変240の外周または境界をマークすることができる。病変240のマークは、手動で生成されてもよいし、または自動的に生成されてもよい。病変240のマークが自動的に生成される場合、病変240のマークは、CADの結果であり得るか、または読み手が病変240をマークし、レポート・アプリケーション65が病変240の境界を検出する場合には半自動化され得る。レポート・アプリケーション65は、検出された境界を使用して、その画像内のマークされた病変を表し得る別の画像内の同様の境界を識別することができる。いくつかの実施形態では、レポート・アプリケーション65はまた、腫瘤または石灰化として病変240を特徴付けることができる。さらに、レポート・アプリケーション65は、腫瘤、石灰化、またはこれらの両方をサブカテゴリ化することができる。レポート・アプリケーション65は、これらの特徴付けを使用して、整合する病変または潜在的な整合位置をさらに識別することができる。
上に述べられるように、いくつかの実施形態では、病変が1つの像内に(手動でまたは自動的に)マークされ、読み手がその病変の最初のマークと互換性がない領域または位置内の別の像に描写された同じ病変をマークしようとする場合、レポート・アプリケーション65は、警告(例えば、視覚警告、可聴警告、またはこれらの組み合わせ)を自動的に生成することなどの1つ以上の自動アクションを開始するように構成され得る。例えば、右の頭尾マンモグラム像120の前部深度130内に指標病変がマークされ、読み手がその同じ病変を右の内外マンモグラム像125の後部深度140内にマークしようとする場合、レポート・アプリケーション65は、警告を生成することができる。
代替的にまたは加えて、読み手が病変を特定の像の同じ病変のマークと互換性のない位置にマークしようとすると、レポート・アプリケーション65は、病変を第2の指標病変として自動的にマークすることができる。逆に、読み手が第2の指標病変を1つの像内にマークしようとするが、考えられる互換性のある病変が別の像に存在する場合、レポート・アプリケーション65は、警告を自動的に生成することができるか、病変を同じ指標病変として自動的にマークすることができるか、またはこれらの組み合わせを遂行することができる。
加えて、いくつかの実施形態では、レポート・アプリケーション65はまた、2つのアノテーションが(例えば、前述の深度および位置の整合に加えて)幾何学的形態学に基づいて、互換性があるかどうかを(例えば、構成可能なロジックを使用して)判定する。例えば、1つの像ではロッド形状である病変は、別の像では円形にすることができず、また、ロッドよりも大きい直径を有する可能性が高い。
例えば、図16は、医用画像を審査するため、および特に、一致しているアノテーションを確認するための、システム30によって遂行される方法400を示す。方法400は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法400またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。
図16に示されるように、方法400は、レポート・アプリケーション65を用いて、第1の解剖学的位置をマークする第1の電子医用画像に関する第1のアノテーションを受信することを含み、第1の医用画像は、(ブロック402において)第1の像による解剖学的構造を表す。第1のアノテーションは、レポート・アプリケーション65などによって自動的に生成され得るか、または手動で生成され得る。方法400はまた、レポート・アプリケーション65を用いて、第2の解剖学的位置をマークする第2の電子医用画像に関する第2のアノテーションを受信することを含み、第2の医用画像は、(ブロック404において)第2の像による解剖学的構造を表す。第1のアノテーションに基づいて、レポート・アプリケーション65は、(ブロック406において)第2の医用画像内の第3の解剖学的位置を自動的に判定し、(ブロック408において)第3の解剖学的位置を第2の解剖学的位置と比較する。換言すれば、同じ解剖学的構造のために2つの像が利用可能であり、像のうちの1つがアノテーションを含む場合、レポート・アプリケーション65は、関連するアノテーションが他の像内でマークされるべきである場所、例えば、異なる像内でマークされることに基づいて病変が1つの像内で現れる場所を自動的に判定する。上に記載されるように、レポート・アプリケーション65は、三角測量プロセスを使用して第3の解剖学的位置を判定することができ、かつ第3の解剖学的位置に関する深度、ポジション、またはこれらの両方を判定することができる。
レポート・アプリケーション65は、第2の解剖学的位置が第3の解剖学的位置と一致しないことに応答して、(ブロック410において)少なくとも1つの自動アクションを自動的に開始する。少なくとも1つの自動アクションは、第3の解剖学的位置と第2の解剖学的位置との間の整合の度合いを示し得る警告を自動的に生成することを含み得る。代替的にまたは加えて、少なくとも1つの自動アクションは、第2の医用画像内に表された第2の病変のラベルを含むように第2のアノテーションを自動的に更新することを含み得る。上記の検証プロセスは、同じ撮像手技中に生成された画像または異なる撮像手技中に生成された画像のために遂行され得る。また、解剖学的位置を比較することに加えて、レポート・アプリケーション65はまた、アノテーションによってマークされた解剖学的構造の面積を形態学的に比較することができる。
レポート・アプリケーション65は、読み手が病変を手動でマークする場合、自動CADが利用される場合、または手動および自動マークの組み合わせが利用される場合に、上記のマークおよび警告を展開することができる。例えば、CADは複数の像の複数の異常を識別することができ、上記の解剖学的位置同定機能は様々な像のどのマークが同じ病変対異なる病変の描写である可能性が高いかを読み手が理解するのを支援することができる。また、いくつかの実施形態では、レポート・アプリケーション65によって生成された警告は、明らかな不整合、境界線の不整合、または整合があるかどうかに基づいて変化し得る。
いくつかの実施形態では、位置の整合、アノテーションの互換性、および警告は、ラベルおよびグラフィックに関して上に記載されるように構成可能である。また、頭尾マンモグラム像および内外マンモグラム像を参照して整合位置のグラフィック170を記載しているが、レポート・アプリケーション65は、任意のタイプのマンモグラフィ像を用いて整合位置のグラフィック170を実装することができることを理解されたい。さらに、位置およびポジションの整合はまた、胸部X線写真、骨格X線写真などのような他のタイプの医用画像に適用することができる。位置の整合はまた、異なる時間に取得された検査からの同じまたは異なる像間の位置の整合に適用することができる。例えば、病変が以前のマンモグラム上にマークされているか、または自動的にコンピュータ検出された場合、レポート・アプリケーション65は、読み手が現在の検査で病変を検出するのを助けるために、上に記載されるような位置の整合を呼び出すことができる。
いくつかの実施形態では、レポート・アプリケーション65は、使用される撮像方法にかかわらず、指標番号、解剖学的ポジション、またはこれらの両方によって病変を自動的に追跡するように構成されている。例えば、レポート・アプリケーション65は、テーブルなどのデータ構造を自動的に作成し、病変のサイズを追跡することなどによって、1つ以上のパラメータに関する一連の先行検査および現在の検査の指標病変を追跡するように構成され得る。データ構造内のデータは、固形癌効果判定基準(RECIST:Response Evaluation Criteria in Solid Tumors)1.1などの既存のレポート基準と比較して秤量され得る。複数の指標病変を患者ごとに追跡することができ、患者は複数の連続的な検査を有し得る。
例えば、病変は解剖学的ポジションによって位置同定されるため、経時的に追跡された解剖学的に指定された病変ごとに、連続的な結果のテーブルを自動的に作成することができる。この追跡は、解剖学的病変、心臓左心室動脈瘤の進行性肥大もしくは頭蓋内動脈瘤、または血管の進行性狭窄もしくは椎体の崩壊などの他の解剖学的所見、あるいはこれらの組み合わせに適用することができる。同様に、追跡は、気管内チューブ、胸部チューブ、スワン-ガンツ・カテーテル、末梢挿入中心静脈カテーテル(PICC:peripherally inserted central catheter)線などの移植型デバイスまたは他のインプラントのために使用され得る。連続的な事象がタイムライン上で自動的または半自動的にレポートされると、外科手術または医学療法が開始されたときなどの重要な臨床事象および歴史的事象ならびに関連する詳細をテーブル上に重畳することもできる。例えば、いくつかの実施形態では、レポート・アプリケーション65は、参照データ、処置基準、臨床ガイドライン、参照画像データ、または新しいアノテーションが生成されるとき(例えば、新しい病変がマークされるとき)の組み合わせに関する照会をトリガする。レポート・アプリケーション65は、これらの照会を、読み手、画像タイプ、アノテーション、患者などに特異的である構成可能な規則に基づいて実行することができる。また、病変が現在の検査ではマークされているが、先行検査ではマークされていなかった場合、レポート・アプリケーション65は、先行検査の病変を(それが存在する場合)マークし、この先行検査のデータ構造にデータを追加することを試みるように構成され得る。換言すれば、レポート・アプリケーション65は、病変を追跡するために、先行検査にアノテーションを追加して、包括的なデータ構造を作成するように構成され得る。
例えば、図17は、医用画像を審査するため、および特に、1つ以上の医用画像内で識別された病変を追跡するための、システム30によって遂行される方法500を示す。方法500は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法500またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。
図17に示されるように、方法500は、(ブロック502において)レポート・アプリケーション65を用いて、解剖学的所見を追跡するための、テーブルなどのデータ構造を作成することを含む。方法500はまた、(ブロック504において)第1の電子医用画像内の第1の解剖学的所見をマークする第1のアノテーションを受信することと、(ブロック506において)第1の解剖学的所見の第1のパラメータを表すデータ構造にデータを追加することとを含む。第1のパラメータは、第1の解剖学的所見のサイズ、ポジション、タイプ、またはこれらの組み合わせであり得る。
方法500はまた、(ブロック508において)第2の電子医用画像内の第2の解剖学的所見をマークする第2のアノテーションを受信することと、(ブロック510において)第2の解剖学的所見の第2のパラメータを表すデータ構造にデータを追加することとを含む。第1のパラメータと同様に、第2のパラメータは、第2の解剖学的所見のサイズ、ポジション、タイプ、またはこれらの組み合わせであり得る。第1および第2の医用画像は、同じ撮像手技中に生成されている画像研究として含まれ得るか、または異なる撮像手技中に生成された別個の画像研究に含まれ得る。また、いくつかの実施形態では、第1の電子医用画像および第2の電子医用画像は、同じ画像であり得る。
データ構造にデータを追加した後、レポート・アプリケーション65は、(ブロック512において)データ構造の少なくとも一部を表示する。データ構造を使用して追跡されたデータは、データ構造またはその一部を表示すること、データ構造に基づいて統計もしくは動向を表示すること、またはこれらの組み合わせを含む様々な方法で読み手に表示され得る。例えば、いくつかの実施形態では、レポート・アプリケーション65は、データ構造を分析して、画像もしくは画像研究内のマークされたいくつかの病変を識別することができ、この数を迅速参照点として読み手に表示することができる。同様に、レポート・アプリケーション65は、データ構造を分析して、画像もしくは画像研究内に任意の病変がマークされているかどうかを識別し、これらの存在もしくは欠如の指示を迅速参照点として読み手に提供することができる。
いくつかの実施形態では、レポート・アプリケーション65はまた、アノテーション(例えば、解剖学的位置)に関連付けられた格納された情報を回収し、回収された情報を使用して、経過観察検査のレポートを自動化するか、調査もしくは品質査定の活動を容易にするか、またはこれらの組み合わせを遂行するように構成されている。さらに、格納された情報を使用して、画像分析論の深層学習アルゴリズムを精密にすることができる。さらに、格納された情報は、DICOMの構造化されたレポートまたはその組み合わせなどの相互運用可能な形式で格納され得る。それゆえに、アノテーションの解剖学的位置および関連情報を内部または外部の臨床レポートにエクスポートすることができる。
いくつかの実施形態では、本発明の実施形態はまた、読み手が臨床的リスク因子に基づいて読み取り判断基準の変更を呼び出し得るように、各患者のリスク層別化を読み手に通知することができる。以下に記載されるように、テストの予測値は、研究された集団内の疾患の確率によって影響を受けることがある。同様に、疾患の事前テストの確率に基づいた手動の判断基準の変更に加えてまたは代替として、患者の臨床的リスク因子に基づいて判断基準の変更が呼び出される場合、コンピュータ画像分析論をよりよく遂行することもできる。
例えば、仮説の撮像検査が90%の感度および90%の特異性であり、患者の99%が正常である集団を研究するために使用されると仮定する。したがって、検査はこの集団内で真陽性所見を有する一人の人物を検出する90%の可能性を有するが、次いで、検査はまた、偽陽性所見を引き起こすであろう。それゆえに、検査の陽性予測値は約9%であり(例えば、真陽性と偽陽性との合計で割った真陽性の数)、検査の陰性予測値は100%であり(例えば、真陰性と偽陰性との合計で割った真陰性の数)、検査の精度は約91%である(例えば、真陽性、偽陽性、真陰性、および偽陰性の合計で割った真陽性と真陰性との合計)。ここでは、検査が、患者の50%が正常である集団を研究するために使用されると仮定する。この集団では、検査は、45個の真陽性、45個の真陰性、5個の偽陽性、および5個の偽陰性を引き起こすであろう。したがって、検査の陽性予測値は90%になり、検査の陰性予測値は90%になり、検査の精度は90%になるであろう。それゆえに、臨床的リスク因子を知ることによって、検査は改善された結果を提供することができる可能性がある。
上述のように、審査プロセスは、読影医師が患者の臨床病歴(例えば、患者の現在の検査10)を閲覧することを伴う。それゆえに、いくつかの実施形態では、レポート・アプリケーション65は、事前テストの臨床情報(例えば、患者の関連する病歴およびリスク因子)を収集し、読み手に対して情報を統計学的に分析し、レポート(表示)するように構成され得る。これにより、読み手が様々な疾患状態の事前テストの確率(例えば、乳癌の確率)を簡潔に理解することが可能になる。上記により詳細に記載されるように、様々な可能性の高い同時疾患、可能性の高い今後の疾患、またはこれらの両方の事前テストの確率を、定義された規則に基づいて臨床レポートに自動的にマッピングすることができる。レポート・アプリケーション65はまた、(地理的位置、サービス組織、読影医師の嗜好、照会元である医師の嗜好、患者の特徴、遺伝的リスク因子、別の因子、またはこれらの組み合わせなどの因子にリンクされた規則で)規則指定範囲外の疾患確率を自動的に強調表示して、読み手の注意を高めることができる。また、いくつかの実施形態では、読み手に対して表示された様々な疾患状態の確率は、読み手が表示された医用画像に関するアノテーションを生成または更新するときに動的に更新され得る。特に、表示された医用画像内の特定の異常またはその欠如の識別は、関連する確率に劇的に影響を及ぼし得る。
例えば、図18は、医用画像を審査するため、および特に、表示された医用画像に関連付けられた疾患の確率を判定するための方法600を示す。方法600は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法600またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。
図18に示されるように、方法600は、(ブロック602において)電子医用画像を表示することを含む。方法600はまた、(ブロック604において)電子医用画像に関連付けられた臨床情報を収集することと、(ブロック606において)収集した臨床情報に基づいて、電子医用画像に関連付けられた患者に関連付けられた疾患の確率を判定することとを含む。臨床情報は、患者の病歴、リスク因子、地理的位置、照会元である医師、患者の特徴、またはこれらの組み合わせを含み得る。
判定された疾患の確率は、(ブロック608において)医用画像と共に(同じ画面内または関連する平行もしくは重なり合う画面上に)表示され得る。例えば、いくつかの実施形態では、疾患の確率は、ポップアップ・ウィンドウまたは他の関連するウィンドウもしくは画面内に表示され得る。他の実施形態では、疾患の確率は、表示された医用画像上に重畳され得る。また、同じまたは異なる疾患に対して複数の確率を表示することができる。加えて、臨床情報もしくはその一部は、疾患の確率で表示されてもよいし、または読み手が表示された確率を選択する(クリックする、マウスオーバーするなど)場合に利用可能であってもよい。
図18に示されるように、方法600はまた、(ブロック610において)レポート・アプリケーション65を用いて、電子医用画像に関するアノテーションを受信することを含む。受信されたアノテーションは、自動的に生成されてもよいし、または手動で生成されてもよい。レポート・アプリケーション65は、アノテーションを受信することに応答して、(ブロック612において)臨床情報およびアノテーションに基づいて、疾患の更新された確率を判定し、(ブロック614において)疾患の更新された確率を表示する。レポート・アプリケーション65は、疾患の更新された確率を、疾患の元の確率の適所にまたはそれに加えて表示し得、いくつかの実施形態では、更新された確率を元の確率とは異なる様式で表示し得るか、または色付けされた強調表示、点滅信号、もしくは可聴トーンを用いて確率を表示することなどによって確率が更新されていることを示すように元の確率を修正し得る。いくつかの実施形態では、レポート・アプリケーション65はまた、1つ以上の格納された規則を適用する。上に述べられるように、格納された規則は、地理的位置、組織、読み手、照会元である医師、患者、またはこれらの組み合わせに関連付けられ得る。読み手は、更新された確率を使用して、医用画像に関する所見を判定することができる。代替的にまたは加えて、レポート・アプリケーション65は、疾患の更新された確率に基づいて医用画像に関する所見を自動的に生成することができる。例えば、(元のまたは更新された)確率が所定の閾値に到達すると、自動所見が生成され得る。
いくつかの実施形態では、異なる患者のいくつかの検査が読み取りを必要とする場合、レポート・アプリケーション65はまた、例えば、異常のリスクに基づいて、一連の検査を順序付けるか、グループ化するか、またはこれらの両方を行うことができる。代替的にまたは加えて、レポート・アプリケーション65は、異常のタイプ、位置の順序付け、患者のサブタイプ、患者の特徴、画像および臨床情報の自動コンピュータ解析などのような他の因子に基づいて、一連の検査を順序付けるか、グループ化するか、またはこれらの両方を行うことができる。レポート・アプリケーション65はまた、撮像位置、読み手、患者の特徴、別のリスク因子、またはこれらの組み合わせにリンクされた規則を使用して検査を順序付けることができる。規則は、特異的な読影医師への検査の経路指定、割り当て、またはこれらの両方を判定することもできる。
本発明の実施形態は、確率を表示すること、検査配列を自動的に順序付けること、またはこれらの組み合わせに加えて、患者がより高いリスクまたはより低いリスクを有することを読み手が一目で理解するのを助ける他の視覚的合図を表示することができる。例えば、色付けされた強調表示、点滅信号、トーンなどは、相対的な患者のリスクについて読み手に信号を出すことができる。次いで、読影医師は、陽性および陰性予測値が最適化されるように、事前テスト確率を使用して診断の判定基準を変更することができる。いくつかの実施形態では、どれだけ判定基準を変更するか、事前テストで計算されたリスクに基づいて自動的に調節された因子による読み手のレポート結果の変更を自動的に提供もしくは推奨するか、またはこれらの組み合わせに関して、命令が医師に提供され得る。例えば、レポート・アプリケーション65の知識では高リスクであるという患者に医師が軽度に疑わしいとの所見をレポートすると、レポート・アプリケーション65は、患者が高リスク患者であることを読み手に警告し得る。したがって、読影医師は、疑わしさのレベルを増加させることを考慮し得る。代替的に、医師は、病変が疑わしいかまたは疑わしさの境界線であることを示すことができる。それに応答して、適切な説明またはBI-RADS(R)コードを医師の入力および患者の計算されたリスクの組み合わせに基づいて割り当てることができる。この状況では、読影医師の嗜好を構成ガイドラインとして使用することができる。
加えて、様々な正常または異常疾患の事前テスト確率を使用して、コンピュータ生成された画像分析論の判定基準を変更することができる。例えば、所見のコンピュータ検出された形態学に加えて、癌を診断するための閾値を患者のリスクに基づいて調節することができる。したがって、レポート結果の予測値を最適化することができる。
いくつかの実施形態では、読み取り中に読み手が自身の眼を医用画像から移動させる必要がないように、上に記載される視覚的合図、聴覚合図、またはこれらの両方が医用画像と同じ画面上に現れることがある。いくつかの実施形態では、合図が過渡的に現れることがある。合図の表示はまた、ラベルおよび深度グラフィックに関する上に記載される規則を使用して構成可能であり得る。
加えて、読み取り中に画像上で読影医師が自身の注視を維持し得るように、臨床情報が画像上に現れることがある。例えば、臨床情報は、患者がどこに症状を有するのか、介入(例えば、生検、乳腺腫瘍摘出術、または放射線療法)が前にどこで遂行されたか、またはこれらの組み合わせを示すラベルを含み得る。いくつかの実施形態では、重要な臨床情報が過渡的に現れることがある。また、重要な臨床情報は、上に記載されるように、規則によって構成可能であり得る。
いくつかの実施形態では、レポート・アプリケーション65はまた、既知の個人の偏り、一般的な読み手の偏り、またはこれらの組み合わせについて読み手に自動的に警告するように構成され得る。例えば、読み手が異常なレポートを作成する確率は、読み手自身が前の患者または最近の患者に対して作成したレポートによって偏ることがある。例えば、異なる患者の一連の検診マンモグラムを読み取る際、追加の後処理のために第1の患者を喚起した医師は、多かれ少なかれ追加の後処理のために次の患者を再度喚起する可能性が高い。換言すれば、たとえ各患者の評価が独立して考慮されるべきであっても、人的因子は後続の読み取り結果に影響を与える1つの読み取りをもたらし得る。それゆえに、かかる動向が明らかになると(例えば、コンピュータ化された分析の結果として)、特定の読み手は、かかる偏りから保護するための自動プロンプトを受信し得る。加えて、偏りは、1つ以上の患者の特徴に基づいて検出され得る。例えば、特定の読み手は、若い年齢の患者で提示されたときに異常に低い頻度で、特定のドクターによってもしくは特定の診療所から照会された患者で提示されたときに異常に高い頻度で、またはこれらの組み合わせで癌を診断する追跡記憶を有し得る。それゆえに、自動リアルタイム分析がかかる偏りから保護するのを助けるように読み手に求めることがある。
1つ以上の規則を使用してアノテーションをカスタマイズ化することもできる。例えば、読み手は、読み手が表示された医用画像に特定の形状(例えば、円、矢印など)を有するアノテーションを追加するとき、その形状が、病変をマークするアノテーション、測定値をマークするアノテーションなどのような特定のタイプのアノテーションを示すことを示す1つ以上の規則を定義することができる。それゆえに、これらの状況では、レポート・アプリケーション65は、アノテーションに関連付けられた1つ以上の値(例えば、説明、測定値など)を自動的に埋め込むか、アノテーションに関連付けられた1つ以上の値を読み手に求めるか、またはこれらの組み合わせを行うように構成されている。
例えば、図19は、医用画像を審査するため、および特に、アノテーションをカスタマイズ化するための、システム30によって遂行される方法700を示す。方法700は、(電子プロセッサ40によって実行された場合)レポート・アプリケーション65によって遂行されるものとして、以下に記載される。しかしながら、方法700またはその一部は、レポート・アプリケーション65(例えば、アドオン機能)と相互作用する、(電子プロセッサ40または1つ以上の他の電子プロセッサによって実行される)1つ以上の別個のソフトウェア・アプリケーションによって遂行され得る。
図19に示されるように、方法700は、レポート・アプリケーション65を用いて、(ブロック702において)入力機構(キーボード、マウス、タッチ画面など)を介して、マーク(例えば、特定の形状、サイズ、アイコンなど)の選択を受信することと、(ブロック704において)入力機構(同じまたは異なる入力機構)を介して、マークに関連付けられたアノテーションタイプ(例えば、病変タイプ、良性領域タイプ、腫瘤タイプなど)の選択を受信することとを含む。いくつかの実施形態では、レポート・アプリケーション65は、ユーザが選択するための事前定義された形状、タイプ、またはこれらの組み合わせのドロップダウン・メニュもしくは他のリストを表示する。他の実施形態では、ユーザは、表示された画像にアノテーションを追加し、アノテーションを特定のタイプのアノテーションとして定義し、かつアノテーションと同一(または実質的に同様)の他のアノテーションが同じタイプとして自動的に定義されるべきであるとレポート・アプリケーション65に示すための選択機構(ボタン、チェックボックス、ラジオ・ボタン、ホット・キーなど)を選択することができる。
レポート・アプリケーション65は、受信された選択に応答して、(ブロック706において)アノテーションタイプへのマークのマッピングを格納する。マッピングを特定の読み手、ワークステーションなどに関連付け、現在の読み取りセッション、および任意選択でさらなる読み取りセッションで適用することができる。その後に、レポート・アプリケーション65は、(ブロック708において)マッピングに含まれたマーク(同一または実質的に同一のマーク)を含む表示された電子医用画像に関するアノテーションを受信すると、レポート・アプリケーション65は、(ブロック710において)マッピングに基づいて、マッピングに含まれたアノテーションタイプに基づく受信されたアノテーションを自動的に更新する。換言すれば、レポート・アプリケーション65は、受信されたアノテーションをマッピングに含まれたマークと比較して、受信されたアノテーションがマッピング内のタイプに関連付けられたマークを含むかどうかを識別する。受信されたアノテーションがマッピング内のタイプに関連付けられたマークを含む場合、レポート・アプリケーション65は、マッピング内の関連するアノテーションタイプに基づいてアノテーションを自動的に更新する。
同様に、レポート・アプリケーション65は、1つ以上の規則を使用して、アノテーションがどのように完成されるかを判定することができる。例えば、上に記載されるように、アノテーション(またはその値の一部)は、テキスト、口述などを入力することなどによって手動で完成され得、人工知能もしくは機械学習またはこれらの組み合わせを使用するなどして自動的に完成され得る。したがって、規則は、特定のタイプのアノテーション(もしくはすべてのアノテーション)またはこれらの一部が自動的にもしくは手動で完成されているかどうかを指定することができる。これらの規則は、読み手ベース、部位ベース(撮像部位、読み取り部位、もしくはこれらの両方)、検査タイプ・ベースなどで設定され得る。いくつかの実施形態では、規則はまた、どんな値をアノテーションに追加することができるかを指定することができる。例えば、規則は、位置、病変の特徴、測定、診断などのようなアノテーションに追加され得る値の特定のカテゴリを指定することができる。また、いくつかの実施形態では、規則は、デフォルト診断などのアノテーションに関するデフォルト値を指定することができる。それゆえに、これらの規則および上に記載されるカスタマイズ化されたアノテーションを使用して、読み手は、表示された電子医用画像にアノテーションを追加し、コンピュータ・リソースおよび手動によるエラーまたは不一致を効率的に低減することができる。
上に述べられるように、本明細書に記載される方法およびシステムをマンモグラフィの例を参照して説明してきたが、上に記載される方法およびシステムをマンモグラフィ検査以外の撮像検査で使用することもできる。例えば、図20および21は、非マンモグラフィ検査の自動解剖学的レポートを示す。図20は、いくつかの実施形態によるCT検査280および関連するレポート285を示す。図21は、CT検査280に含まれた画像292に関する第1の所見ラベル290および第2の所見ラベル295を示す。
本発明の様々な実施形態の説明は例証の目的で提示されているが、開示される実施形態を網羅または限定することを意図するものではない。記載される実施形態の範囲から逸脱することなく、多くの修正例および変形例が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用的用途もしくは技術的改良を最もよく説明するため、または他の当業者が本明細書に開示される実施形態を理解することを可能にするために選択された。
また、本発明は、任意の考えられる技術的詳細レベルの統合におけるシステム、方法、コンピュータ・プログラム製品、またはこれらの組み合わせであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるための、コンピュータ読み取り可能ストレージ媒体(複数可)であって、そこにコンピュータ読み取り可能プログラム命令を有する、コンピュータ読み取り可能ストレージ媒体を含み得る。
コンピュータ読み取り可能ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納し得る有形のデバイスであり得る。コンピュータ読み取り可能ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能ストレージ媒体のより具体的な例の非網羅的リストは、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read-only memory)、消去型プログラム可能読み取り専用メモリ(EPROM:erasable programmable read-only memoryもしくはフラッシュメモリ(R))、スタティック・ランダム・アクセス・メモリ(SRAM:static random access memory)、携帯型コンパクト・ディスク読み取り専用メモリ(CD-ROM:portable compact disc read-only memory)、デジタル多用途ディスク(DVD:digital versatile disk)、メモリスティック(R)、フレキシブルディスク、穿孔カードもしくは溝であって、そこに記憶された命令を有する、溝の中の***構造などの機械的に符号化されたデバイス、および前述の任意の好適な組み合わせを含む。本明細書で使用される際、コンピュータ読み取り可能ストレージ媒体はそれ自体、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通って伝播する電磁波(例えば、光ファイバ・ケーブルを通過する光パルス)、またはワイヤを通って伝送される電子信号などの一過性の信号であると解釈されるべきではない。
本明細書に記載されるコンピュータ読み取り可能プログラム命令は、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、無線ネットワーク、またはこれらの組み合わせを介して、それぞれのコンピューティング/処理デバイスにコンピュータ読み取り可能ストレージ媒体から、または外部のコンピュータもしくは外部のストレージ・デバイスにダウンロードされ得る。ネットワークとしては、銅伝送ケーブル、光伝送ケーブル、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、エッジ・サーバ、またはこれらの組み合わせが挙げられ得る。各コンピューティング/処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、それぞれのコンピューティング/処理デバイスでのコンピュータ読み取り可能ストレージ媒体へのストレージのためにコンピュータ読み取り可能プログラム命令を転送する。
本発明の操作を実施するためのコンピュータ読み取り可能プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA:instruction-set-architecture)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、またはSmalltalk(R)、C++(R)などのオブジェクト指向プログラミング言語、および「C」プログラミング言語などの手続き型プログラミング言語もしくは同様のプログラミング言語を含む1つ以上のプログラミング言語の任意の組み合わせで書き出されたソース・コードもしくはオブジェクト・コードのいずれかであり得る。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、および部分的にリモート・コンピュータまたはサーバ上で実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク(LAN:local area network)もしくはワイド・エリア・ネットワーク(WAN:wide area network)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、またはその接続が外部のコンピュータに(例えば、インターネット・サービス・プロバイダを使用してインターネットを介して)なされてもよい。いくつかの実施形態では、例えば、プログラム可能ロジック回路、現場プログラム可能ゲート・アレイ(FPGA:field-programmable gate array)、プログラム可能ロジック・アレイ(PLA:programmable logic array)を含む電子回路は、本発明の態様を遂行するために、電子回路を個別化するためのコンピュータ読み取り可能プログラム命令の状態情報を利用することによってコンピュータ読み取り可能プログラム命令を実行することができる。
ここで本発明の態様を、本発明の実施形態による流れ図の説明、方法のブロック・ダイアグラム、装置(システム)、およびコンピュータ・プログラム製品、またはこれらの組み合わせを参照して記載する。流れ図の説明、ブロック・ダイアグラム、もしくはこれらの両方の各ブロック、および流れ図の説明、ブロック・ダイアグラム、もしくはこれらの両方におけるブロックの組み合わせは、コンピュータ読み取り可能プログラム命令によって実装され得ることが理解されるであろう。
これらのコンピュータ読み取り可能プログラム命令を汎用コンピュータ、特殊用途コンピュータ、もしくは他のプログラム可能データ処理装置のプロセッサに提供して、コンピュータもしくは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が流れ図、ブロック・ダイアグラムのブロック(複数可)、またはこれらの両方で指定された機能/行為を実装するための手段を作成するように、機械を生成することができる。これらのコンピュータ読み取り可能プログラム命令はまた、コンピュータ、プログラム可能データ処理装置、他のデバイス、もしくはこれらの組み合わせを特定の様式で機能するように方向付け得るコンピュータ読み取り可能ストレージ媒体に格納され得、その結果、内部に格納された命令を有するコンピュータ読み取り可能ストレージ媒体は、流れ図、ブロック・ダイアグラムのブロック(複数可)、またはこれらの組み合わせで指定された機能/行為の態様を実装する命令を含む製造物品を備える。
コンピュータ読み取り可能プログラム命令をコンピュータ、他のプログラム可能データ処理装置、もしくは他のデバイスにロードして、コンピュータ、他のプログラム可能装置、もしくは他のデバイス上で遂行される一連の操作ステップに、コンピュータ、他のプログラム可能装置、もしくは他のデバイス上で実行される命令が流れ図、ブロック・ダイアグラムのブロック(複数可)、またはこれらの組み合わせで指定された機能/行為を実装するように、コンピュータ実装プロセスを生成させることもできる。
図内の流れ図およびブロック・ダイアグラムは、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の考えられる実装例のアーキテクチャ、機能、および操作を示す。これに関して、流れ図またはブロック・ダイアグラムの各ブロックは、指定された論理関数(複数可)を実装するための1つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部を表し得る。いくつかの代替の実装例では、ブロック内に記される機能は、図に記される順序を脱して発生し得る。例えば、連続で示される2つのブロックを、実際に、実質的に同時に実行することができるか、または伴う機能に依存して、ブロックを逆の順序で実行することができる場合もある。ブロック・ダイアグラムの各ブロック、流れ図の説明、およびブロック・ダイアグラムもしくは流れ図の説明におけるブロックの組み合わせは、指定された機能もしくは行為を遂行するか、または特殊用途ハードウェアとコンピュータ命令との組み合わせを実施する特殊用途ハードウェアベースのシステムによって実装され得ることも留意されるであろう。
さらなる態様から見ると、本発明は、表示された電子医用画像に関連付けられた電子構造化されたレポートを生成する方法であって、表示された電子医用画像に関するアノテーションを受信することと、電子プロセッサを用いて、アノテーションに関連付けられた表示された電子医用画像内の解剖学的位置を自動的に判定することと、電子プロセッサを用いて、所定のマッピングに基づいて、解剖学的位置に関連付けられた電子構造化されたレポート内の位置を自動的に判定することと、アノテーションに基づいて、電子構造化されたレポートの位置を自動的に埋め込むこととを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像に関するアノテーションを受信することが、入力機構を介して読み手からアノテーションを受信することを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像に関するアノテーションを受信することが、自動的に生成されたアノテーションを受信することを含む、方法を提供する。
有利には、本発明は、方法であって、電子構造化されたレポート内の位置を判定することが、電子の自動的に構造化されたレポート内の位置を判定することを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像内に表された解剖学的構造を複数の深度に自動的に分割することと、複数の深度に基づいて、少なくとも1つの深度グラフィックを表示された電子医用画像上に表示することとをさらに含む、方法を提供する。
有利には、本発明は、方法であって、少なくとも1つの深度グラフィックを表示することが、少なくとも1つの深度グラフィックを過渡的に表示することを含む、方法を提供する。
有利には、本発明は、方法であって、少なくとも1つの深度グラフィックを表示することが、入力機構を介して読み手からアノテーションを受信することおよびマイクロホンの作動からなる群から少なくとも選択されたのに応答して、少なくとも1つの深度グラフィックを表示することを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像内の関連する解剖学的位置を自動的に判定することが、複数の深度に基づいて解剖学的位置を判定することを含む、方法を提供する。
有利には、本発明は、方法であって、少なくとも1つの深度グラフィックが、斜線を含み、かつ表示された電子医用画像に関連付けられたメタファイルに格納された情報に基づいて斜線の角度を自動的に判定することをさらに含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像内の解剖学的ポジションのラベルを自動的に表示することをさらに含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像に関するアノテーションを受信することが、ラベルの選択を受信することを含む、方法を提供する。
有利には、本発明は、方法であって、ラベルを自動的に表示することが、乳輪のポジション、乳輪下のポジション、真皮のポジション、真皮下のポジション、皮下のポジション、腋窩のポジション、および胸壁のポジション、インプラントのポジションからなる群から選択された少なくとも1つに関するラベルを自動的に表示することを含む、方法を提供する。
有利には、本発明は、方法であって、ラベルを自動的に表示することが、読み手、ワークステーション、組織、アプリケーション、患者、撮像モダリティ、解剖学的構造、および表示された電子医用画像からなる群から選択された少なくとも1つに関連付けられた少なくとも1つの規則に基づいてラベルを自動的に表示することを含む、方法を提供する。
有利には、本発明は、方法であって、ラベルを自動的に表示することが、表示された電子医用画像内のカーソルのポジションに基づいてラベルを表示することを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像に関するアノテーションを受信することが、ラベルおよび所見を受信することを含み、表示された電子医用画像内の解剖学的位置を自動的に判定することが、表示された電子医用画像内に表された解剖学的構造内のラベルのポジションを判定することを含み、電子構造化されたレポートの位置を自動的に判定することが、ラベルおよび解剖学的構造のポジションに関連付けられた電子構造化されたレポートに含まれた少なくとも1つの行項目を判定することを含み、かつアノテーションに基づいて、電子構造化されたレポートの位置を自動的に埋め込むことが、少なくとも1つの行項目に所見を埋め込むことを含む、方法を提供する。
有利には、本発明は、方法であって、表示された電子医用画像に関するアノテーションを受信することが、ラベルを受信することを含み、かつ電子構造化されたレポートの位置を自動的に埋め込むことが、ラベルを電子構造化されたレポートの位置に伝達することを含む、方法を提供する。
有利には、本発明は、方法であって、解剖学的位置を自動的に判定することが、アノテーションに関連付けられた解剖学的位置構文を自動的に生成することを含み、かつアノテーションに基づいて、電子構造化されたレポートの位置を自動的に埋め込むことが、位置を解剖学的位置構文に含まれた少なくとも1つの値に埋め込むことを含む、方法を提供する。
さらなる態様から見ると、本発明は、システムであって、電子プロセッサを備え、電子プロセッサが、電子医用画像を表示することと、電子医用画像に関する注解を受信することと、アノテーションに関連付けられた電子医用画像内の解剖学的位置を自動的に判定することと、所定のマッピングに基づいて、解剖学的位置に関連付けられた電子構造化されたレポート内の位置を自動的に判定することと、アノテーションに基づいて、電子構造化されたレポートの位置を自動的に埋め込むことと、電子医用画像の読み手にデータを自動的に出力して、電子構造化されたレポートの位置を読み手に通知することであって、出力データが視覚データおよび音響データのうちの少なくとも1つを含む、通知することとを行うように構成されている、システムを提供する。
さらなる態様から見ると、本発明は、医用画像を審査するためのシステムであって、電子プロセッサを備え、電子プロセッサが、表示された電子医用画像に関するアノテーションを受信することであって、アノテーションが医用画像内に表された病変のラベルを含む、受信することと、病変が、表示された電子医用画像に関連付けられた撮像検査中に得られた他の医用画像内で1回以上ラベル付けされているかどうかを自動的に判定することと、アノテーションに基づいて、格納された規則を識別することであって、格納された規則は病変が他の医用画像内でラベル付けされるべきかどうかを指定する、識別することと、病変が他の医用画像内で1回以上ラベル付けされているかどうかに基づいて、格納された規則を実行することと、格納された規則の実行に基づいて、少なくとも1つの自動アクションを自動的に開始することとを行うように構成されている、システムを提供する。
有利には、本発明は、システムであって、少なくとも1つの自動アクションが、警告を生成すること、およびアノテーションを更新することからなる群から選択された少なくとも1つを含む、システムを提供する。
有利には、本発明は、システムであって、少なくとも1つの自動アクションが、アノテーションを削除することを含む、システムを提供する。
有利には、本発明は、システムであって、ラベルが、腫瘤ラベルを含む、システムを提供する。
有利には、本発明は、システムであって、少なくとも1つの自動アクションが、病変が他の医用画像のうちの少なくとも2つでラベル付けされていない場合に警告を生成することを含む、システムを提供する。
有利には、本発明は、システムであって、格納された規則が、読み手、ワークステーション、組織、アプリケーション、患者、画像モダリティ、解剖学的構造、および医用画像からなる群から選択された少なくとも1つに関連付けられている、システムを提供する。
さらなる態様から見ると、本発明は、医用画像を審査する方法であって、方法が、第1の解剖学的位置をマークする第1の電子医用画像に関する第1のアノテーションを受信することであって、第1の医用画像が第1の像による解剖学的構造を表す、受信することと、第2の解剖学的位置をマークする第2の電子医用画像に関する第2のアノテーションを受信することであって、第2の医用画像が第2の像による解剖学的構造を表する、受信することと、電子プロセッサを用いて、第1のアノテーションに基づいて第2の医用画像内の第3の解剖学的位置を自動的に判定することと、電子プロセッサを用いて、第3の解剖学的位置を第2の解剖学的位置と比較することと、電子プロセッサを用いて、第2の解剖学的位置が第3の解剖学的位置と一致しないことに応答して、少なくとも1つの自動アクションを自動的に開始することとを含む、方法を提供する。
有利には、本発明は、方法であって、少なくとも1つの自動アクションを自動的に開始することが、警告を自動的に生成することを含む、方法を提供する。
有利には、本発明は、方法であって、警告を自動的に生成することが、第3の解剖学的位置と第2の解剖学的位置との間の整合の度合いを示す警告を自動的に生成することを含む、方法を提供する。
有利には、本発明は、方法であって、少なくとも1つの自動アクションを自動的に開始することが、第2の医用画像内に表された第2の病変のラベルを含むように第2のアノテーションを自動的に更新することを含む、方法を提供する。
有利には、本発明は、方法であって、第1のアノテーションを受信することが、第1のアノテーションを自動的に生成することを含む、方法を提供する。
有利には、本発明は、方法であって、第3の解剖学的位置を判定することが、三角測量プロセスを使用して第3の解剖学的位置を判定することを含む、方法を提供する。
有利には、本発明は、方法であって、第1の医用画像に関する第1のアノテーションを受信することが、第1の撮像手技の一部として生成された第1の医用画像に関する第1のアノテーションを受信することを含み、第2の医用画像に関する第2のアノテーションを受信することが、第1の撮像手技とは異なる第2の撮像手技の一部として生成された第2の医用画像に関する第2のアノテーションを受信することを含む、方法を提供する。
有利には、本発明は、方法であって、第3の解剖学的位置を判定することが、深度およびポジションのうちの少なくとも1つを判定することを含む、方法を提供する。
有利には、本発明は、方法であって、第3の解剖学的位置に位置する病変の第1の形態学を第2の解剖学的位置に位置する病変の第2の形態学と比較することをさらに含む、方法を提供する。
さらなる態様から見ると、本発明は、医用画像を審査するためのシステムであって、電子プロセッサを備え、電子プロセッサが、解剖学的所見を追跡するためのデータ構造を作成することと、第1の電子医用画像内の第1の解剖学的所見をマークする第1のアノテーションを受信することであって、第1の電子医用画像が解剖学的構造の第1の撮像手技中に捕捉されている、受信することと、第1の解剖学的所見の第1のパラメータを表すデータ構造に第1のデータを追加することと、第2の電子医用画像内の第2の解剖学的所見をマークする第2のアノテーションを受信することであって、第2の電子医用画像が解剖学的構造の第2の撮像手技中に捕捉されている、受信することと、第2の解剖学的所見の第2のパラメータを表すデータ構造に第2のデータを追加することと、データ構造の少なくとも一部を表示することとを行うように構成されている、システムを提供する。
有利には、本発明は、システムであって、第1の解剖学的所見が、病変である、システムを提供する。
有利には、本発明は、システムであって、第1の解剖学的所見が、心臓左心室動脈瘤、頭蓋内動脈瘤、血管の狭窄、および椎体の崩壊からなる群から選択された少なくとも1つである、システムを提供する。
有利には、本発明は、システムであって、第1の解剖学的所見が、移植型デバイスである、システムを提供する。
有利には、本発明は、システムであって、第1の解剖学的所見の第1のパラメータが、第1の解剖学的所見のサイズである、システムを提供する。
有利には、本発明は、システムであって、第1の解剖学的所見の第1のパラメータが、第1の解剖学的所見の位置である、システムを提供する。
有利には、本発明は、システムであって、電子プロセッサが、表示されたデータ構造上に臨床事象の識別子を重畳するようにさらに構成されている、システムを提供する。
有利には、本発明は、システムであって、臨床事象が、外科手術および医学療法からなる群から選択された少なくとも1つを含む、システムを提供する。
有利には、本発明は、システムであって、第2の撮像手技が、第1の撮像手技の前に遂行されており、第2のアノテーションが、第1の撮像手技が遂行された後に受信される、システムを提供する。
さらなる態様から見ると、本発明は、医用画像を審査する方法であって、解剖学的所見を追跡するためのデータ構造を作成することと、画像研究に関連付けられた第1の解剖学的所見をマークする第1のアノテーションを受信することと、第1の解剖学的所見の第1のパラメータをデータ構造に追加すること、画像研究に関連付けられた第2の解剖学的所見をマークする第2のアノテーションを受信することと、第2の解剖学的所見の第2のパラメータをデータ構造に追加することと、データ構造に基づいてデータを表示することとを含む、方法を提供する。
有利には、本発明は、方法であって、データ構造に基づいてデータを表示することが、画像研究内にマークされたいくつかの病変を表示することを含む、方法を提供する。
有利には、本発明は、方法であって、データ構造に基づいてデータを表示することが、画像研究に含まれた画像内にマークされたいくつかの病変を表示することを含む、方法を提供する。
有利には、本発明は、方法であって、データ構造に基づいてデータを表示することが、画像研究内に任意の病変がマークされているかどうかのインジケータを表示することを含む、方法を提供する。
有利には、本発明は、方法であって、データ構造に基づいてデータを表示することが、画像研究に含まれた画像内に任意の病変がマークされているかどうかのインジケータを表示することを含む、方法を提供する。
さらなる態様から見ると、本発明は、医用画像を手動でアノテーション付けするためのシステムであって、電子プロセッサを備え、電子プロセッサが、入力機構を介して、マークの第1の選択を受信することと、入力機構を介して、マークに関連付けられたアノテーションタイプの第2の選択を受信することと、第1の選択および第2の選択に基づいて、アノテーションタイプへのマークのマッピングを格納することと、表示された電子医用画像に関するアノテーションを受信することであって、アノテーションがマークを含む、受信することと、マッピングに基づいて、アノテーションタイプに基づいたアノテーションを自動的に更新することとを行うように構成されている、システムを提供する。
有利には、本発明は、システムであって、マークが、形状を含む、システムを提供する。
有利には、本発明は、システムであって、アノテーションタイプが、病変タイプを含む、システムを提供する。
有利には、本発明は、システムであって、アノテーションタイプが、良性領域タイプを含む、システムを提供する。
有利には、本発明は、システムであって、アノテーションタイプが、腫瘤タイプを含む、システムを提供する。
さらなる態様から見ると、本発明は、医用画像をアノテーション付けするための方法であって、方法が、電子医用画像を表示することと、電子医用画像に関するアノテーションを受信することと、電子プロセッサを用いて、アノテーションに基づいて、格納された規則を識別するであって、格納された規則は、1つ以上の値がアノテーションのために自動的に生成されるべきであるかどうかを指定する、識別することと、電子プロセッサを用いて、アノテーションに基づいて、格納された規則を実行することと、電子プロセッサを用いて、格納された規則の実行に基づいてアノテーションを自動的に修正することとを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則を識別することが、電子医用画像に割り当てられた読み手に基づいて、格納された規則を識別することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則を識別することが、電子医用画像に関連付けられた撮像部位および読み取り部位から選択された少なくとも1つに基づいて、格納された規則を識別することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則を識別することが、電子医用画像の検査タイプに基づいて、格納された規則を識別することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則を識別することが、電子医用画像内に表された解剖学的構造に基づいて、格納された規則を識別することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則を識別することが、アノテーションに関連付けられた解剖学的構造に基づいて、格納された規則を識別することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則の実行に基づいてアノテーションを自動的に修正することが、電子医用画像に基づいてアノテーションに関する値を自動的に判定することを含む、方法を提供する。
有利には、本発明は、方法であって、格納された規則の実行に基づいてアノテーションを自動的に修正することが、アノテーションに関する値を読み手に求めることを含み、格納された規則がアノテーションに含まれた値の少なくとも1つのタイプを指定する、方法を提供する。
有利には、本発明は、方法であって、格納された規則の実行に基づいてアノテーションを自動的に修正することが、第2のアノテーションに関連付けられた第2の値に基づいて第1のアノテーションに関する第1の値を自動的に判定することを含む、方法を提供する。
さらなる態様から見ると、本発明は、医用画像をアノテーション付けするため、表示された電子医用画像に関連付けられた電子構造化されたレポートを生成するため、または医用画像を審査するためのコンピュータ・プログラム製品であって、処理回路によって読み取り可能なコンピュータ読み取り可能ストレージ媒体を備え、本発明のステップを遂行するための方法を遂行するために、処理回路による実行のための命令を格納する、コンピュータ・プログラム製品を提供する。
さらなる態様から見ると、本発明は、コンピュータ読み取り可能媒体に格納され、デジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムであって、上記プログラムがコンピュータ上で起動されるときに、本発明のステップを遂行するためのソフトウェア・コード部分を備える、コンピュータ・プログラムを提供する。