JP7300802B2 - 患者の医学的状態もしくは治療又はその両方と関連付けられた拡張現実の提示 - Google Patents

Description

本出願は、一般に、改善されたデータ処理装置及び方法に関し、より具体的には、患者の医学的状態（medical condition）もしくは治療又はその両方と関連付けられた拡張現実表現を、医療専門家（medical professional）に提示するための機構に関する。

電子健康記録（ＥＨＲ：electronic health record）又は電子医療記録（ＥＭＲ：electronic medical record）は、健康情報をデジタル方式で電子的に格納した患者及び母集団の体系化された集合である。これらの記録は、異なる医療現場にわたって共有することができる。記録は、ネットワーク接続された企業規模の情報システム又は他の情報ネットワーク及び交換を通じて共有される。ＥＭＲは、人口統計学、診療歴、投薬及びアレルギー、予防接種記録（immunization status）、臨床検査結果、放射線画像、バイタルサイン（vital sign）、年齢及び体重のような個人統計、並びに課金情報を含む様々なデータを含み得る。

ＥＭＲシステムは、データを正確に格納し、過去の患者の状態を捉えるように設計されている。ＥＭＲシステムは、患者のこれまでの紙の医療記録を見つけ出す必要性をなくし、データが正確であり、読みやすいことを保証するのを助ける。ＥＭＲシステムは、変更可能なファイルが１つしかなく、それは、ファイルが最新のものである可能性が高いことを意味するので、データ複製のリスクを減らし、書類紛失のリスクを減少させる。デジタル情報は検索可能であり、単一のファイル内にあるため、ＥＭＲは、患者における考え得る傾向及び長期的変化の調査のために医療データを抽出するときにより有効である。ＥＭＲを幅広く採用することにより、医療記録の母集団ベースの研究も促進され得る。

本概要は、詳細な説明において本明細書でさらに説明される概念の選択を、簡略化した形で導入するために提供される。本概要は、特許請求される主題の主要な要因又は本質的な特徴を識別することを意図するものではなく、また、特許請求される主題の範囲を制限するために使用されることを意図するものでもない。

１つの例示的実施形態では、患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すヘッドマウント・ディスプレイ（ＨＭＤ）を介して拡張現実ディスプレイを実施するための、データ処理システムにおける方法が提供される。例示的実施形態は、コグニティブ・ヘルスケア・システム（cognitive healthcare system）のキャプチャ機構により、ＨＭＤシステムを介して医療専門家が見ている患者の身体の部位のリアルタイム画像をキャプチャする。例示的実施形態は、リアルタイム画像内の患者の１つ又は複数の身体部分を特定する。例示的実施形態は、１つ又は複数の特定された身体部分を、患者と関連付けられた医学的状態もしくは治療又はその両方を示す患者の電子医療記録（ＥＭＲ）と相関させる。例示的実施形態は、患者の身体の部位のリアルタイム画像にオーバーレイする、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の１つ又は複数の部位の拡張現実ディスプレイを、ＨＭＤシステム内に生成する。

他の例示的実施形態において、コンピュータ可読プログラムを有するコンピュータ使用可能もしくは可読媒体を含むコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、コンピューティング・デバイス上で実行されたとき、コンピューティング・デバイスに、方法の例示的実施形態に関して上に概説された動作の種々のもの及びそれらの組み合わせを実行させる。

さらに別の例示的実施形態において、システム／装置が提供される。システム／装置は、１つ又は複数のプロセッサと、１つ又は複数のプロセッサに結合されたメモリとを含むことができる。メモリは、１つ又は複数のプロセッサにより実行されたとき、１つ又は複数のプロセッサに、方法の例示的実施形態に関して上に概説された動作の種々のもの及びそれらの組み合わせを実行させる命令を含むことができる。

本発明のこれら及び他の特徴及び利点は、本発明の例示的実施形態の以下の詳細な説明に鑑みて説明される又は当業者には明らかになるであろう。

本発明、並びに、その使用、さらなる目的及び利点の好ましいモードは、添付図面と併せて読むときに、例示的実施形態の以下の詳細な説明を参照することにより、最もよく理解されるであろう。

コンピュータ・ネットワークにおけるコグニティブ・システムの１つの例示的実施形態の概略図を示す。 例証的実施形態の態様が実施される例示的データ処理システムのブロック図である。 １つの例示的実施形態による、入力を処理して、ヘッドマウント・ディスプレイ（ＨＭＤ：head mounted display）システムの拡張現実ディスプレイ（augmented reality display）内にオーバーレイを生成するためのコグニティブ・システム処理パイプラインを示す。 例示的実施形態による、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施する際にコグニティブ・ヘルスケア・システムにより実行される動作の例示的フローチャートを示す。

現在の医学的評価（medical assessment）において、医療専門家は、患者の治療のための最適な情報を見つけようとして、患者についての大量の医療情報を取捨選択しなければならない。一般的に、これらの評価は、医療専門家が患者についての物理的医療ファイルにアクセスできること、又は電子健康記録（ＥＭＲ）の使用の増大に伴い、患者のＥＭＲで示される大量のデータを解析することを必要とする。このことは、既に患者を治療する時間が限られている医療専門家の側に多くの時間と労力を必要とする。このため、患者は、多くの場合、医療専門家が患者のことを個人的に知らないか又は個人ベースで患者の治療をしておらず、かつ予定された予約の際に患者に十分な時間を費やしていないように感じる、すなわち、医療専門家が、患者をどのように治療するかという発想を得るために、患者と実際に対話し、患者と目を合わせるのではなくて、患者のＥＭＲデータ又は物理ファイルを検索するのにあまりにも忙し過ぎるように感じる。

従って、例示的実施形態は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す、装着型ヘッドセット、眼鏡等などのヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するための機構を提供する。本発明の機構は、医療専門家が見ている患者の身体の部位の画像をキャプチャする。見られている患者の身体の部分に基づいて、機構は、ビュー内の対応する身体部分を特定し、それらの身体部分を、患者と関連付けられた医学的状態もしくは治療又はその両方を示す患者の電子医療記録（ＥＭＲ）データと相関させる。場合によっては、顔認識を用いて、見られている特定の患者を特定することができる。

患者の身体上の重ね合わせられたグラフィカル表現は、医学的状態及び実装特有のものとすることができる。つまり、重ね合わせられたグラフィカル表現は、医学的状態を表すグラフィカル画像、罹患した（affected）又はさらに調べる必要がある身体の部分の強調表示、検査結果を表す文字情報、治療の選択肢、メディカル・コード等を含むことができる。また、機構は、複数の媒体ビューに対して注釈付けされたデータの医療コーパスへのアクセスも提供し、所与の患者の気分（mood）、１日のうちの時間、医療専門家のスケジュールの可用性（availability）等に適した媒体のリアルタイムの選択を可能にする。医療専門家のスケジュールに関して、スケジュールに応じて、可用性が限られている場合、より簡潔なもの（基本的器官モデル）を表示することができ、一方、可用性が長期にわたる場合、詳細なもの（患者の器官上でシミュレートされた手術の技術）を表示することができる。

例示的実施形態の種々の態様のより詳細な議論を始める前に、最初に、本説明全体を通じて、「機構」という用語は、種々の動作、機能等を実行する本発明の要素を指すために使用されることを理解されたい。この用語が本明細書で使用される場合、「機構」は、装置、プロシージャ、又はコンピュータ・プログラム製品の形態の、例示的実施形態の機能又は態様の実装とすることができる。プロシージャの場合、プロシージャは、１つ又は複数のデバイス、装置、コンピュータ、データ処理システム等により実施される。コンピュータ・プログラム製品の場合、コンピュータ・プログラム製品内又はその上に具体化されたコンピュータ・コード又は命令により表される論理が、１つ又は複数のハードウェア・デバイスにより実行され、機能を実施する又は特定の「機構」と関連付けられた動作を実行する。従って、本明細書で説明される機構は、専用ハードウェア、汎用ハードウェア上で実行されるソフトウェア、媒体上に格納されるソフトウェア命令として実装することができ、命令は、専用又は汎用ハードウェア、機能を実行するためのプロシージャもしくは方法、又は上記のいずれかの組み合わせにより容易に実行可能である。

本説明及び特許請求の範囲は、例示的実施形態の特定の特徴及び要素に関して、「１つの（a）」、「～の少なくとも１つ（at least one of）」及び「～の１つ又は複数（one or more of）」という用語を利用することがある。これらの用語及び句は、特定の例示的実施形態内に存在する特定の特徴又は要素の少なくとも１つが存在するが、１つより多くも存在し得ることを述べるように意図されることを理解されたい。つまり、これらの用語／句は、説明又は特許請求の範囲を存在する単一の特徴／要素に限定することも、又は複数のこうした特徴／要素が存在することを必要とすることも意図しない。逆に、これらの用語／句は、説明及び特許請求の範囲内にある複数のこうした特徴／要素の可能性を有する少なくとも単一の特徴／要素のみを必要とする。

さらに、本発明の実施形態及び特徴の記載に関して本明細書で使用される場合、「エンジン」という用語の使用は、エンジンに起因し得る、もしくはエンジンにより実行される又はその両方の動作、ステップ、プロセス等を達成もしくは実行又はその両方をするために、いずれかの特定の実装を制限することを意図するものではないことを理解されたい。エンジンは、これらに限定されるものではないが、機械可読メモリ内にロードもしくは格納され、プロセッサにより実行される適切なソフトウェアと組み合わせて汎用プロセッサもしくは専用プロセッサ又はその両方のいずれかの使用を含むがこれに限定されない指定された機能を実行する、ソフトウェア、ハードウェア、及び／又はファームウェア、又はそれらの任意の組み合わせとすることができる。さらに、特に定めのない限り、特定のエンジンと関連付けられたいずれの名称も、参照の利便性のためのものであり、特定の実装に制限することを意図するものではない。付加的に、エンジンに起因するいずれの機能も、複数のエンジンにより等しく実行すること、同じもしくは異なるタイプの別のエンジンの機能に組み入れること及び／又はそれと結合すること、又は種々の構成の１つ又は複数のエンジンにわたって分散させることができる。

さらに、以下の説明は、例示的実施形態の種々の要素についての複数の種々の例を用いて、例示的実施形態の例示的実装をさらに示し、例示的実施形態の機構の理解を助けることを理解されたい。これらの例は、限定ではなく、例示的実施形態の機構を実装するための種々の可能性を網羅するものでもない。本発明の趣旨及び範囲から逸脱することなく、本明細書で与えられる例に加えて又はその代わりに利用することができるこれらの種々の要素の多くの他の代替的な実装があることは、本説明に鑑みて当業者には明らかであろう。

上述のように、本発明は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す、装着型ヘッドセット、眼鏡等などのヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するための機構を提供する。例示的実施形態は、多くの異なるタイプのデータ処理環境で用いることができる。例示的実施形態の特定の要素及び機能の説明についての文脈を提供するために、例示的実施形態の態様を実施することができる例示的環境として、図１～図３が以下に与えられる。図１～図３は、単なる例に過ぎず、本発明の態様又は実施形態を実施することができる環境に関する何らかの制限を主張又は意味することを意図するものではないことを理解されたい。本発明の範囲から逸脱することなく、示される実施形態への多くの修正を行うことができる。

図１～図３は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す、装着型ヘッドセット、眼鏡等などのヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するための例示的なコグニティブ・システムの説明に向けられる。従って、患者と関連付けられた医学的状態もしくは治療又はその両方を特定するために、コグニティブ・システムは、例示的実施形態の機構を実装する要求処理パイプライン、要求処理方法、及び要求処理コンピュータ・プログラム製品を実装する。これらの要求は、構造化又は非構造化要求メッセージ、自然言語の質問、又はコグニティブ・システムにより実行される動作を要求するための他のいずれかの適切な形式として提供することができる。以下により詳細に説明されるように、本発明のコグニティブ・システムにおいて実施される特定のアプリケーションは、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するためのアプリケーションである。

コグニティブ・システムは、以下の例では単一の要求処理パイプラインとして示されるが、実際には、複数の要求処理パイプラインを有し得ることを理解されたい。各要求処理パイプラインは、所望の実施に応じて、別個に訓練すること、及び／又は異なる領域と関連付けられた要求を処理するように構成すること、又は入力要求（又は、ＱＡパイプラインを用いる実装における質問）に対して同じ又は異なる分析を実行するように構成することが可能である。例えば、場合によっては、第１の要求処理パイプラインは、患者の医学的状態の特定に向けられた入力要求に対して動作するように訓練し、患者の医者が、医学的状態と関連する患者の部位を見ることができるようにすることが可能である。他の場合には、例えば、要求処理パイプラインは、１つの要求処理パイプラインが、患者の医学的治療を特定するために使用されるなど、異なるタイプのコグニティブ機能を与える又は異なるタイプのアプリケーションをサポートするように構成し、患者の処置を行っている看護師が、適用される処置が関連する患者の部位等を見ることができるようにすることが可能である。

さらに、各要求処理パイプラインは、それらが取り込み、動作する関連したコーパス（単数又は複数）を有することができ、例えば、１つのコーパスは医学的状態の文書用のものであり、別のコーパスは上の例における医学的治療関連の文書用のものである。場合によっては、要求処理パイプラインはそれぞれ、入力質問の同じ領域に対して動作し得るが、異なる分析及び潜在的な回答が生成されるように、異なる注釈者又は異なるように訓練された注釈者などの異なる構成を有することができる。コグニティブ・システムは、入力要求の判断された領域に基づくなど、入力質問を適切な要求処理パイプラインに経路指定し、複数の要求処理パイプラインにより実行される処理によって生成された最終結果を組み合わせて評価するための付加的な論理、並びに複数の要求処理パイプラインの利用を容易にする他の制御及び相互作用論理を提供することができる。

本発明は、要求に対して動作する１つ又は複数の要求パイプラインを実装するコグニティブ・システムの文脈で説明されるが、例示的実施形態はそれに制限されないことを理解されたい。むしろ、例示的実施形態の機構は、「質問」として提示されない要求に対して動作できるが、関連したコーパス（単数又は複数）及びコグニティブ・システムを構成するために用いられる特定の構成情報を用いて、入力データの特定のセットに対するコグニティブ動作を実行するように、コグニティブ・システムに対する要求としてフォーマットされる。

以下により詳細に説明されるように、例示的実施形態は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す拡張現実ディスプレイの実施に関して要求処理パイプラインの機能を統合し、拡張し、拡大することができる。例えば、患者が虫垂炎の医学的状態を有する場合、医者が、ヘッドマウント・ディスプレイ（ＨＭＤ）システムの拡張現実ディスプレイを通じて患者の身体を見る場合、患者の盲腸は、ＨＭＤシステムの拡張現実ディスプレイを通じて患者の身体の下腹部をＨＭＤシステムの拡張現実ディスプレイを見たときに患者の身体の下腹部をオーバーレイするように示される。

図１～図３に記載される機構は、単なる例に過ぎず、例示的な実施形態が実施されるコグニティブ・システム機構のタイプに関する何らかの制限を述べる又は意味することを意図するものではないことを理解されたい。本発明の趣旨及び範囲から逸脱することなく、本発明の種々の実施形態において、図１～図３に示される例示的コグニティブ・システムへの多くの修正を実施することができる。

概要として、コグニティブ・システムは、人間のコグニティブ機能をエミュレートするように、ハードウェア論理もしくはソフトウェア論理又はその両方を有するように（ソフトウェアが実行するハードウェア論理と組み合わせて）構成された専用コンピュータ・システム、又はコンピュータ・システムのセットである。これらのコグニティブ・システムは、人間のような特性を適用して考えを伝達及び処理し、それにより、デジタル・コンピューティングの本来の強度と組み合わせられると、高い精度及び大規模なレジリエンスを有して問題を解決することができる。コグニティブ・システムは、人間の思考プロセスに近似し、人と機械がより自然な方法で対話して人間の専門知識及び認知を拡大し強めることを可能にする、１つ又は複数のコンピュータ実施コグニティブ動作を実行する。コグニティブ・システムは、例えば自然言語処理（ＮＬＰ）ベースの論理などの人工知能論理と、専用ハードウェア、ハードウェア上で実行されるソフトウェア、又は専用ハードウェアとハードウェア上で実行されるソフトウェアとの任意の組み合わせとして提供することができる機械学習論理とを含む。コグニティブ・システムの論理は、コグニティブ動作を実施し、その例として、これらに限定されるものではないが、質問応答、コーパス内のコンテンツの異なる部分内の関連概念の識別、例えばインターネット・ウェブページ検索などのインテリジェント検索アルゴリズム、医療診断及び治療の推奨、例えば特定のユーザに対する関心ある項目、潜在的な新しい連絡先の推奨等など他のタイプの推奨の生成が含まれる。

ＩＢＭ Ｗａｔｓｏｎ（商標）は、人間可読言語を処理し、テキスト・パッセージ間の推論を、人間よりはるかに高速かつ大規模で人間のような高精度で識別することができる１つのそうしたコグニティブ・システムの例である。一般に、そうしたコグニティブ・システムは、以下の機能を実施することができる。：
●人間の言語の複雑さ及び理解をナビゲートする
●膨大な量の構造化及び非構造化データを取り込み、処理する
●仮説を生成し、評価する
●関連証拠のみに基づいている応答を重み付けし、評価する
●状況固有のアドバイス、洞察及び助言を提供する
●知識を改善し、繰り返すたびに、機械学習プロセスを通した対話により学習する
●衝撃時に意思決定を可能にする（文脈上の助言）
●タスクに比例して縮小拡大する
●人間の専門知識及び認知（cognition）を拡大し、強める
●自然言語から、共鳴する人間のような属性及び特徴を識別する
●自然言語から、種々の言語固有の又は不可知論的（agnostic）属性を推測する
●データ・ポイント（画像、テキスト、音声）からの高度の関連記憶力（記憶し、呼び出す）
●経験に基づいて人間の認知を模倣する状況認識で予測し、感知する
●自然言語及び具体的証拠に基づいて質問に回答する。

１つの態様において、コグニティブ・システムは、要求処理パイプライン、もしくは自然言語要求として提示されることも又はされないこともある処理要求又はその両方を用いて、これらのコグニティブ・システムに提示された要求に応答するための機構を提供する。要求処理パイプラインは、自然言語で提示される所与の主題領域に関する要求に応答するデータ処理ハードウェア上で実行される人工知能アプリケーションである。要求処理パイプラインは、ネットワーク上での入力、電子文書又は他のデータのコーパス、コンテンツ・クリエータからのデータ、１つ又は複数のコンテンツ・ユーザからの情報、及び他の可能な入力ソースからの他のそうした入力を含む、種々のソースから入力を受け取る。データ・ストレージ・デバイスは、データのコーパスを格納する。コンテンツ・クリエータは、要求処理パイプラインにおいてデータのコーパスの一部として用いられる文書内のコンテンツを作成する。文書は、要求処理システムで用いられる任意のファイル、テキスト、記事、又はデータのソースを含むことができる。例えば、要求処理パイプラインは、例えば、財務領域、医療領域、法的領域等といった、領域又は主題領域についての知識体系にアクセスし、そこで、知識体系（知識ベース）を、例えば、オントロジなどの領域固有の情報の構造化リポジトリ、又は領域に関連した非構造化データ、又は領域についての自然言語文書の集合などの種々の構成で編成することができる。

コンテンツ・ユーザは、要求処理パイプラインを実装するコグニティブ・システムに要求を入力する。次に、要求処理パイプラインは、文書、文書のセクション、コーパス内のデータの部分等を評価することにより、データのコーパス内のコンテンツを用いて要求に応答する。プロセスが、意味コンテンツに関して文書の所与のセクションを評価すると、プロセスは、種々の規則を用いて、要求処理パイプラインからこうした文書に照会し、例えば、適格な要求としてクエリを要求処理パイプラインに送り、次に、要求処理パイプラインにより要求を解釈し、１つ又は複数の応答を含む応答が要求に与えられる。意味コンテンツは、語、句、符号及び記号などの記号表現（signifier）間の関係、それらが何を表しているか、それらの明示的意味（denotation）、又は暗示的意味（connotation）に基づいたコンテンツである。言い換えれば、意味コンテンツは、自然言語処理などを用いて、表現を解釈するコンテンツである。

以下により詳細に説明されるように、要求処理パイプラインは、要求を受け取り、要求を解析して要求の主な特徴を抽出し、抽出した特徴を用いてクエリを定式化し、これらのクエリをデータのコーパスに適用する。データのコーパスへのクエリの適用に基づいて、要求処理パイプラインは、データのコーパスにわたって、要求への有益な応答を含む何らかの可能性を有するデータのコーパスの部分を探すことにより、要求への応答のセットを生成する。次に、要求処理パイプラインは、要求の言語、及び種々の推論アルゴリズムを用いたクエリの適用中に見出されたデータのコーパスの部分の各々において用いられる言語の深い分析を実行する。適用される推論アルゴリズムは何百又は何千になることさえあり、その各々は、例えば比較、自然言語分析、語彙分析（lexical analysis）等などの異なる分析を実行し、スコアを生成する。例えば、幾つかの推論アルゴリズムは、要求の言語内の用語及び同義語と、データのコーパスの見つかった部分との一致を調べることができる。他の推論アルゴリズムは、言語内の時間的又は空間的特徴を調べる一方で、他のものは、データのコーパスの部分のソースを評価し、その正確さを評価することができる。

上述のように、要求処理パイプライン機構は、データ又は情報のコーパス（コンテンツのコーパスとも呼ばれる）からの情報にアクセスし、それを分析し、次に、このデータの分析に基づいて回答結果を生成することによって動作する。データのコーパスからの情報にアクセスすることは、一般的に、構造化記録の集合内に何があるかについての要求に回答するデータベース・クエリと、非構造化データ（テキスト、マークアップ言語等）の集合に対するクエリに応答して文書リンクの集合を伝える検索とを含む。従来の要求処理システムは、データのコーパス及び入力要求に基づいて回答を生成し、データのコーパスについての要求の集合への回答を検証し、データのコーパスを用いてデジタル・テキストにおけるエラーを訂正し、潜在的な回答のプール、すなわち候補回答から、要求への応答を選択する。

図１は、幾つかの実施形態においては、コンピュータ・ネットワーク１０２における要求処理パイプラインとすることができる、要求処理パイプライン１０８を実装するコグニティブ・システム１００の１つの例示的実施形態の概略図を示す。本説明のために、要求処理パイプライン１０８は、入力質問の形態の構造化要求もしくは非構造化要求又はその両方に対して動作すると仮定される。本明細書で説明される原理と関連して用いることができる質問処理（question processing）動作の一例は、米国特許出願公開第２０１１／０１２５７３４号に記載され、これは、その全体が引用により本明細書に組み入れられる。コグニティブ・システム１００は、コンピュータ・ネットワーク１０２に接続された１つ又は複数のコンピューティング・デバイス１０４Ａ～Ｄ（１つ又は複数のプロセッサ及び１つ又は複数のメモリ、並びに、バス、ストレージ・デバイス、通信インターフェース等を含む、一般的に当技術分野において周知の潜在的に任意の他のコンピューティング・デバイス要素を含む）上に実装される。単に説明のために、図１は、コンピューティング・デバイス１０４Ａ上のみに実装されているコグニティブ・システム１００を示すが、上述のように、コグニティブ・システム１００は、複数のコンピューティング・デバイス１０４Ａ～Ｄなど、複数のコンピューティング・デバイスにわたって分散され得る。ネットワーク１０２は、サーバ・コンピューティング・デバイスとして動作し得る複数のコンピューティング・デバイス１０４Ａ～Ｄと、１つ又は複数の有線データ通信リンクもしくは無線データ通信リンク又はその両方を介して、互いに及び他のデバイス又はコンポーネントと通信するクライアント・コンピューティング・デバイスとして動作し得るコンピューティング・デバイス１１０～１１２とを含み、ここで、各通信リンクは、有線、ルータ、スイッチ、送信機、受信機等のうちの１つ又は複数を含む。幾つかの例示的実施形態において、コグニティブ・システム１００及びネットワーク１０２は、それぞれのコンピューティング・デバイス１１０～１１２を介する、１つ又は複数のコグニティブ・システムのユーザのための要求処理機能を可能にする。他の実施形態において、コグニティブ・システム１００及びネットワーク１０２は、これに限定されるものではないが、例えば、コグニティブ情報の取り出し、ユーザの訓練／命令、データのコグニティブ評価等など、所望の実施に応じて多くの異なる形態を取ることができる要求処理及びコグニティブ応答生成を含む、他のタイプのコグニティブ動作を提供することができる。コグニティブ・システム１００の他の実施形態は、本明細書に示されるもの以外のコンポーネント、システム、サブシステム、もしくはデバイス又はそれらの組み合わせと共に用いることができる。

コグニティブ・システム１００は、種々のソースから入力を受け取る要求処理パイプライン１０８を実装するように構成される。要求は、自然言語の質問、情報に対する自然言語の要求、コグニティブ動作の実行のための自然言語の要求等の形態で提示され得る。例えば、コグニティブ・システム１００は、ネットワーク１０２、電子文書のコーパス（単数又は複数）１０６、コグニティブ・システムのユーザ、及び／又は入力の他のデータ及び他の可能なソースから、入力を受け取る。１つの実施形態において、コグニティブ・システム１００への入力の一部又は全ては、ネットワーク１０２を通じて経路指定される。ネットワーク１０２上の種々のコンピューティング・デバイス１０４Ａ～Ｄは、コンテンツ・クリエータ及びコグニティブ・システムのユーザのためのアクセス・ポイントを含む。コンピューティング・デバイス１０４Ａ～Ｄの幾つかは、データのコーパス（単数又は複数）１０６（単に説明のために図１では別個のエンティティとして示される）を格納するデータベースのためのデバイスを含む。データのコーパス（単数又は複数）１０６の一部は、１つ又は複数の他のネットワーク接続型デバイス（network attached device）上、１つ又は複数のデータベース内、又は図１には明示的に示されない他のコンピューティング・デバイス上に設けることもできる。ネットワーク１０２は、種々の実施形態において、ローカル・ネットワーク接続及び遠隔接続を含み、コグニティブ・システム１００は、ローカル及び例えばインターネットなどのグローバルを含む、任意のサイズの環境で動作することができる。

１つの実施形態において、コンテンツ・クリエータは、コグニティブ・システム１００においてデータのコーパスの一部として用いるために、データのコーパス（単数又は複数）１０６の文書内にコンテンツを作成する。文書は、コグニティブ・システム１００で用いられる任意のファイル、テキスト、記事、又はデータのソースを含むことができる。コグニティブ・システムのユーザは、ネットワーク１０２へのネットワーク接続又はインターネット接続を介して、コグニティブ・システム１００にアクセスし、データのコーパス（単数又は複数）１０６内のコンテンツに基づいて回答／処理される質問／要求をコグニティブ・システム１００に入力する。１つの実施形態において、質問／要求は、自然言語を用いて作られる。コグニティブ・システム１００は、要求処理パイプライン１０８を介して質問／要求を解析及び解釈し、提示された質問への１つ又は複数の回答を含む応答、要求への応答、要求を処理した結果等を、例えばコグニティブ・システムのユーザ１１０などのコグニティブ・システムのユーザに提供する。幾つかの実施形態において、コグニティブ・システム１００は、候補回答／応答のランク付けされたリストの形で応答をユーザに提供する一方で、他の例示的実施形態においては、コグニティブ・システム１００は、単一の最終回答／応答、又は最終回答／応答と他の候補回答／応答のランク付けされたリストの組み合わせを提供する。

コグニティブ・システム１００は、データのコーパス（単数又は複数）１０６から取得した情報に基づいて、入力質問／要求を処理するための複数の段階を含む要求処理１０８を実装する。要求処理１０８は、入力質問／要求の処理、及びデータのコーパス（単数又は複数）１０６に基づいて、入力質問又は要求に対する回答／応答を生成する。要求処理１０８は、図３に関して以下により詳細に説明される。

幾つかの例示的実施形態において、コグニティブ・システム１００は、以下に説明される例示的実施形態の機構により拡張される、ニューヨーク州アーモンク所在のインターナショナル・ビジネス・マシーンズ・コーポレーションから入手可能なＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システムとすることができる。前に概説したように、ＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システムのパイプラインは、入力質問又は要求を受け取り、次にそれを解析して、質問／要求の主な特徴を抽出し、次いで、それを用いて、データのコーパス（単数又は複数）１０６に適用されるクエリを定式化する。データのコーパス（単数又は複数）１０６へのクエリの適用に基づいて、データのコーパス（単数又は複数）１０６にわたって、入力質問／応答（以下、入力質問と仮定される）への有益な応答を含む何らかの可能性があるデータのコーパス（単数又は複数）１０６（以下、単にコーパス１０６と呼ばれる）の部分を探すことにより、仮説のセット、すなわち入力質問／要求への候補回答／応答が生成される。次に、ＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システムの要求処理１０８は、入力質問の言語、及び種々の推論アルゴリズムを用いたクエリの適用中に見出されたコーパス１０６の部分の各々において使用される言語の深い分析を実行する。

次に、種々の推論アルゴリズムから得られたスコアが、質問により潜在的な候補回答が推論される証拠に関して、この例ではＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システム１００の要求処理１０８が有する信頼度を要約する統計モデルに対して、重み付けされる。このプロセスは、候補回答の各々について繰り返され、候補回答のランク付けされたリストを生成し、次にそれを、例えばクライアント・コンピューティング・デバイス１１０のユーザなど、入力質問をサブミットしたユーザに提示することができ、又は、そこから最終回答が選択され、ユーザに提示される。ＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システム１００の要求処理１０８についてのさらなる情報は、例えば、ＩＢＭコーポレーションのウェブサイト、ＩＢＭ Ｒｅｄｂｏｏｋｓ等から得ることができる。例えば、ＩＢＭ Ｗａｔｓｏｎ（商標）コグニティブ・システムのパイプラインについての情報は、Ｙｕａｎ他著、「Ｗａｔｓｏｎ ａｎｄ Ｈｅａｌｔｈｃａｒｅ」、ＩＢＭ ｄｅｖｅｌｏｐｅｒＷｏｒｋｓ、２０１１年、及びＴｏｂ Ｈｉｇｈ著、「Ｔｈｅ Ｅｒａ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｓｙｓｔｅｍｓ：Ａｎ Ｉｎｓｉｄｅ Ｌｏｏｋ ａｔ ＩＢＭ ａｎｄ Ｗａｔｓｏｎ ａｎｄ Ｈｏｗ ｉｔ Ｗｏｒｋｓ」、ＩＢＭ Ｒｅｄｂｏｏｋｓ、２０１２年に見出すことができる。

上述のように、クライアント・デバイスからコグニティブ・システム１００への入力は、自然言語の質問の形で提示され得るが、例示的実施形態は、それに限定されない。むしろ、実際には、入力質問は、これに限定されるものではないが、認識分析を実行するベースを決定するための、ＩＢＭ Ｗａｔｓｏｎ（商標）のようなコグニティブ・システムの自然言語解析及び分析機構を含む、構造化及び／又は非構造化入力分析を用いて解析及び分析し、コグニティブ分析の結果を提供することができる任意の好適なタイプの要求としてフォーマット又は構造化することができる。ヘルスケア・ベースのコグニティブ・システムの場合、この分析は、患者の電子医療記録、１つ又は複数のコーパスからの医療指導文書等を処理して、ヘルスケア重視のコグニティブ・システムの結果を提供することを含むことができる。

本発明の文脈において、コグニティブ・システム１００は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するためのコグニティブ機能を提供することができる。例えば、特定の実施に応じて、ヘルスケア・ベースの動作は、患者の診断、医療行為管理システム、個人の患者ケアプランの監視、患者の医学的状態もしくは治療又はその両方の特定、及び医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す拡張現実ディスプレイの実装といった、種々の目的のための患者の電子医療記録（ＥＭＲ）の評価を含むことができる。従って、コグニティブ・システム１００は、医療又はヘルスケア・タイプの領域において動作し、構造化要求又は非構造化要求、自然言語の入力質問等のような要求処理パイプライン１０８の入力を介して、そうしたヘルスケア動作に対する要求を処理することができる、ヘルスケア・コグニティブ・システム１００とすることができる。１つの例示的実施形態において、コグニティブ・システム１００は、患者のＥＭＲを分析し、患者の医学的状態もしくは患者が受けている治療又はその両方の表示を提供する、コグニティブ・ヘルスケア・システム１００である。特定された医学的状態もしくは治療又はその両方を用いて、コグニティブ・ヘルスケア・システム１００は、特定の医学的状態もしくは治療又はその両方と関連付けられた患者の身体の特定の部分を分離し、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す拡張現実ディスプレイを実施する。

図１に示されるように、コグニティブ・システム１００は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すコグニティブ・ヘルスケア・システム１２０を実装するための、専門ハードウェア、ハードウェア上で実行されるソフトウェア、又は専門ハードウェアとハードウェア上で実行されるソフトウェアの任意の組み合わせで実装される論理を含むように、例示的実施形態の機構に従ってさらに拡張される。図１に示されるように、コグニティブ・ヘルスケア・システム１２０は、画像キャプチャ及び分析エンジン１２２と、音声キャプチャ及び分析エンジン１２４と、相関エンジン１２６と、医学的状態／治療分析エンジン１２８と、ディスプレイ・エンジン１３０とを含む。

コグニティブ・システム１００において、より具体的には、コグニティブ・ヘルスケア・システム１２０、画像キャプチャ及び分析エンジン１２２は、医療専門家によりケアされる患者もしくは該医療専門家又はその両方の１つ又は複数のリアルタイム画像をキャプチャする。つまり、画像キャプチャ及び分析エンジン１２２は、患者に面するカメラ、医療専門家の目に向けられた網膜カメラ等のような、ＨＭＤシステムと関連付けられた１つ又は複数のカメラを用いて、１つ又は複数の画像をキャプチャすることができる。画像キャプチャ及び分析エンジン１２２は、例示的実施形態の多数の異なる態様に対して１つ又は複数のリアルタイム画像を利用する。１つの実施形態において、画像キャプチャ及び分析エンジン１２２は、医療専門家の目の画像を利用して、患者のケアをしている医療専門家を特定する。別の実施形態において、画像キャプチャ及び分析エンジン１２２は、どの患者が医療専門家に見られているかを特定するために用いることができる患者の顔の画像、もしくは患者の気分又はその両方をキャプチャする。つまり、画像キャプチャ及び分析エンジン１２２は、顔認識を通じて、ケアされている患者を特定するのに用い得る患者の顔の画像をキャプチャすることができる。さらに、画像キャプチャ及び分析エンジン１２２は、患者が泣いているかどうか、又は顔の表情が恐怖、幸福、懸念、心配等を示すかどうかを識別することによって、患者の気分を識別するのに用い得る患者の顔の画像をキャプチャすることができる。

また、コグニティブ・ヘルスケア・システム１２０において、音声キャプチャ及び分析エンジン１２４は、患者もしくは患者をケアしている医療専門家又はその両方により１又は複数の可聴発話（audible utterance）をキャプチャする。音声キャプチャ及び分析エンジン１２４は、例示的実施形態の多数の異なる態様において１又は複数の可聴発話を利用する。１つの実施形態において、音声キャプチャ及び分析エンジン１２４は、患者をケアしている医療専門家を特定するために用いることができる、医療専門家による可聴発話をキャプチャする。別の実施形態において、音声キャプチャ及び分析エンジン１２４は、ＨＭＤシステムの拡張現実ディスプレイを介してさらなる情報を医療専門家に提示する際にコグニティブ・ヘルスケア・システム１２０により用いることができる、医療専門家により与えられる可聴命令をキャプチャする。更に別の実施形態において、音声キャプチャ及び分析エンジン１２４は、患者の気分を識別するために、患者の可聴発話をキャプチャする。つまり、音声キャプチャ及び分析エンジン１２４は、懸念、心配、恐怖、幸福等の１つ又は複数を識別するために、患者が泣いている音、患者の声における不安感、笑い声等をキャプチャすることができる。

画像キャプチャ及び分析エンジン１２２によりキャプチャされた１つ又は複数の画像、及び音声キャプチャ及び分析エンジン１２４によりキャプチャされた１又は複数の可聴発話を用いて、相関エンジン１２６が、必要な情報を医療専門家に与えるために、多数の相関を実行する。１つの例示的な相関は、相関エンジン１２６が、顔認識を用いて、１つ又は複数の画像を医療専門家データ・コーパス（単数又は複数）１４０内に格納された医療専門家の画像と比較する場合に、患者をケアしている医療専門家を特定することである。別の例示的な相関は、相関エンジン１２６が音声認識を用いて、１又は複数の音声発話を医療専門家データのコーパス（単数又は複数）１４０内に格納された医療専門家の音声パターンと比較する場合に、患者をケアしている医療専門家を特定することである。同様に、相関エンジン１２６は、医療専門家によりケアされている患者を特定するために相関を実行する。患者を特定するために、相関エンジン１２６は、顔認識を利用して、１つ又は複数の画像を、データのコーパス（単数又は複数）１４２内に格納された患者についての電子医療記録（ＥＭＲ）のセット内の画像と比較する。それに加えて又は完全に異なる形態の特定として、相関エンジン１２６は、音声認識を利用して、１又は複数の可聴発話を、データのコーパス（単数又は複数）１４２内に格納された患者についての電子医療記録（ＥＭＲ）のセット内の患者の音声パターンと比較する。

医療専門家及び患者を特定することに加えて、相関エンジン１２６は、医療専門家が見ている患者の１又は複数の身体部分も特定する。拡張現実ディスプレイを通して医療専門家の目に捉えられた患者の実際のビュー上に患者の医学的状態をオーバーレイするとき、見ている特定の身体部分の特定は特に重要である。つまり、医療専門家が見ている患者の身体の部分に基づいて、相関エンジン１２６は、患者と関連付けられた医学的状態もしくは治療又はその両方を示す患者の電子医療記録（ＥＭＲ）におけるそれらの身体部分にさらに相関させるために、特定の身体部分を特定する。従って、相関エンジン１２６が見ている特定の身体部分を特定すると、医学的状態／治療分析エンジン１２８は、データのコーパス（単数又は複数）１４２内に格納された患者の電子医療記録（ＥＭＲ）を分析し、患者と関連付けられた医学的状態もしくは治療又はその両方を特定する。患者の特定された医学的状態もしくは治療又はその両方を利用して、相関エンジン１２６は、医療専門家が患者の身体のその部分を見るとき、特定の医学的状態もしくは治療又はその両方と関連付けられた患者の身体の部分を特定する。例えば、患者が虫垂炎の医学的状態を有する場合、医療専門家は、拡張現実ディスプレイを通じて患者の身体を見て、患者の下腹部が視野に入ると、相関エンジン１２６は、患者の下腹部のビューを、患者の医学的状態と相関させ、患者の身体の下腹部にオーバーレイして示される虫垂のオーバーレイを提供する。相関エンジン１２６は、このオーバーレイをディスプレイ・エンジン１３０に提供し、ディスプレイ・エンジン１３０は、ＨＭＤシステムにおける拡張現実ディスプレイを介して、オーバーレイを医療専門家に提示する。

例示的実施形態に特に留意すべきなのは、相関エンジン１２６により提供されるオーバーレイが、医療専門家が必要とするビューに応じて変わり得ることである。つまり、医療専門家が看護師である場合、相関エンジン１２６は、一般的な器官を示す基本的器官モデルを提供することができる。しかしながら、医療専門家が医師である場合、相関エンジン１２６は、器官の実際のｘ線オーバーレイを提供することができる。さらに、医療専門家が外科医である場合、相関エンジン１２６は、部位全体のコンピュータ断層撮影（ＣＡＴ）スキャン（ＣＴ）オーバーレイ又は磁気共鳴イメージング（ＭＲＩ）スキャン・オーバーレイを提供することができる。基本的器官モデル、ｘ線、ＣＴスキャン、ＭＲＩスキャン等を提供することに加えて、相関エンジン１２６は、１つ又は複数の解剖モデル、重なり合う器官系、以前の医学的状態／治療からのｘ線、ＣＴスキャン、ＭＲＩスキャン等、手術もしくは圧迫の位置等を提供することもできる。画像キャプチャ及び分析エンジン１２２もしくは音声キャプチャ及び分析エンジン１２４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、提供すべきあらゆる付加的な情報の表示を識別することができる。

付加的に、相関エンジン１２６により提供されるオーバーレイは、医療専門家が患者に費やす必要がある時間に基づくことができる。例えば、医療専門家データ・コーパス（単数又は複数）１４０を通じて相関エンジン１２６によりアクセスできる医療専門家のスケジュールに基づいて、医療専門家は、朝の回診時中に起こり得るように患者に費やす時間が数分しかない場合がある。従って、相関エンジン１２６は、一般的器官を示す基本的器官モデルを提供することができる。しかしながら、医療専門家が手術の前に手術の相談を行っていることをスケジュールが示す場合、相関エンジン１２６は、部位全体のｘ線オーバーレイ、コンピュータ断層撮影（ＣＡＴ）スキャン（ＣＴ）オーバーレイ、又は磁気共鳴イメージング（ＭＲＩ）スキャン・オーバーレイを提供することができる。さらに、スケジュールがより多くの時間を許容するかどうかに関係なく、医療専門家が要求した場合には、相関エンジン１２６は、任意の付加的なオーバーレイを提供することができる。つまり、朝の回診時中に起こり得るように医療専門家が患者に費やす時間が数分しかなく、最初に一般的器官を示す基本的器官モデルを提供できることを、医療専門家のスケジュールが示したとしても、医療専門家が付加的な情報を要求した場合には、相関エンジン１２６は、ｘ線オーバーレイ、ＣＴスキャン・オーバーレイ、ＭＲＩスキャン・オーバーレイ、１つ又は複数の解剖モデル、重なり合う器官系、以前の医学的状態／治療からのｘ線、ＣＴスキャン、ＭＲＩスキャン等、手術もしくは圧迫の位置等を提供することができる。画像キャプチャ及び分析エンジン１２２もしくは音声キャプチャ及び分析エンジン１２４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、提供すべきあらゆる付加的な情報の表示を識別することができる。

さらに、相関エンジン１２６は、患者をケアしている医療専門家の特定の専門分野に基づいたオーバーレイを提供することができる。つまり、医療専門家の識別が麻酔専門医又は麻酔医である場合、相関エンジン１２６は、特定の医学的状態と関連付けられてさえいない器官オーバーレイを提供することができる。つまり、麻酔専門医又は麻酔医は、患者の肺、気道、鼻腔等により関心があり得る。逆に、医療専門家の識別が外科医である場合、相関エンジン１２６は、特定の医学的状態に直接関連した器官オーバーレイを提供することができる。さらに、医療専門家の識別が、患者に薬剤を与える看護師である場合、相関エンジン１２６は、特定の腕、腕の部位等のような薬剤が投与される場所の器官オーバーレイを提供することができる。

医学的状態を表し、罹患した又はさらに調査する必要がある身体の部分を強調表示するグラフィカル画像を識別するオーバーレイを提供することに加えて、相関エンジン１２６は、検査結果、治療の選択肢、メディカル・コード、最新の医学研究スタディ、移植に利用可能な器官等を表す文字情報を提供することもできる。医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、提供すべきあらゆる付加的な情報の表示を識別することができる。つまり、医療専門家により提供される入力に基づいて、相関エンジンは、要求された文字情報を識別し、次に、ディスプレイ・エンジン１３０が、ＨＭＤシステムの拡張現実ディスプレイ上に表示することができる。さらに、患者の１つ又は複数の画像もしくは１又は複数の可聴発話又はその両方を用いて識別された気分に基づいて、相関エンジン１２６は、医療専門家が、どのように情報を患者に提示すべきかの指示を与えることができる。つまり、患者が冷静であると識別された場合、相関エンジン１２６は、リラックスした口調で話すように医療専門家に指示を与えることができる。しかしながら、患者が神経質になっていると識別された場合、相関エンジン１２６は、より安心させる口調を使用するように医療専門家に指示を与えることができる。

付加的に、ひとたび医療専門家が、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより識別することができる、患者が従うべき治療を選択し、指示し、又は他の方法で特定すると、相関エンジン１２６は、１つ又は複数の電子通知手段を介して、手術の予定、手術中に提供される機器、相談の要求、投与される薬剤等を含むことができる治療を、リアルタイムで、ほぼリアルタイムで、又は非リアルタイムで、１又は複数の他の医療専門家に通知することができる。治療の指示は、画像キャプチャ及び分析エンジン１２２もしくは音声キャプチャ及び分析エンジン１２４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、識別することができる。

上述のように、例示的実施形態の機構は、コンピュータ技術の分野に根差しており、そうしたコンピューティング又はデータ処理システム内に存在する論理を用いて実装される。これらのコンピューティング又はデータ処理システムは、上述した種々の動作を実施するように、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせのいずれかを通じて特別に構成される。従って、図２は、本発明の態様を実施することができる１つのタイプのデータ処理システムの例として与えられる。同様に多くの他のタイプのデータ処理システムを、例示的実施形態の機構を特別に実装するように構成することができる。

図２は、例示的実施形態の態様が実施される例示的データ処理システムのブロック図である。データ処理システム２００は、図１のサーバ１０４又はクライアント１１０のようなコンピュータの一例であり、その中に、本発明の例示的実施形態のプロセスを実施するコンピュータ使用可能コード又は命令が配置される。１つの例示的実施形態において、図２は、以下に説明される例示的実施形態の付加的な機構を含むように拡張されたコグニティブ・システム１００及び要求処理パイプライン１０８を実装する、サーバ１０４のようなサーバ・コンピューティング・デバイスを表す。

示される例において、データ処理システム２００は、ノース・ブリッジ及びメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２と、サウス・ブリッジ及び入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）２０４とを使用する。処理ユニット２０６、メイン・メモリ２０８、及びグラフィックス・プロセッサ２１０は、ＮＢ／ＭＣＨ２０２に接続される。グラフィックス・プロセッサ２１０は、加速グラフィックス・ポート（ＡＧＰ）を通じて、ＮＢ／ＭＣＨ２０２に接続される。

示される例において、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１２が、ＳＢ／ＩＣＨ２０４に接続される。音声アダプタ２１６、キーボード及びマウス・アダプタ２２０、モデム２２２、読み出し専用メモリ（ＲＯＭ）２２４、ハードディスク・ドライブ（ＨＤＤ）２２６、ＣＤ－ＲＯＭドライブ２３０、ユニバーサル・シリアル・バス（ＵＳＢ）ポート及び他の通信ポート２３２、並びにＰＣＩ／ＰＣＩｅデバイス２３４が、バス２３８及びバス２４０を通じてＳＢ／ＩＣＨ２０４に接続される。ＰＣＩ／ＰＣＩｅデバイスは、例えば、イーサネット・アダプタ、アドイン・カード、及びノートブック型コンピュータ用のＰＣカードを含むことができる。ＰＣＩは、カード・バス・コントローラを使用するが、ＰＣＩｅは使用しない。ＲＯＭ２２４は、例えば、フラッシュ基本入力／出力システム（ＢＩＯＳ）とすることができる。

ＨＤＤ２２６及びＣＤ－ＲＯＭドライブ２３０は、バス２４０を通じてＳＢ／ＩＣＨ２０４に接続される。ＨＤＤ２２６及びＣＤ－ＲＯＭドライブ２３０は、例えば、ｉｎｔｅｇｒａｔｅｄ ｄｒｉｖｅ ｅｌｅｃｔｒｏｎｉｃｓ（ＩＤＥ）又はｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ（ＳＡＴＡ）インターフェースを使用することができる。スーパーＩ／Ｏ（ＳＩＯ）デバイス２３６は、ＳＢ／ＩＣＨ２０４に接続される。

オペレーティング・システムは、処理ユニット２０６上で実行される。オペレーティング・システムは、連携して図２のデータ処理システム２００内の様々なコンポーネントの制御を提供する。クライアントとして、オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ８（登録商標）などの市販のオペレーティング・システムである。Ｊａｖａ（商標）プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムと共に実行することができ、データ処理システム２００上で実行されるＪａｖａ（商標）プログラム又はアプリケーションからのオペレーティング・システムに対する呼び出しを提供する。

サーバとして、データ処理システム２００は、例えば、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅ（ＡＩＸ（登録商標））オペレーティング・システム又はＬＩＮＵＸ（登録商標）オペレーティング・システムを実行するＩＢＭ（登録商標） ｅＳｅｒｖｅｒ（商標）Ｓｙｓｔｅｍ ｐ（登録商標）コンピュータ・システムとすることができる。データ処理システム２００は、処理ユニット２０６内に複数のプロセッサを含む対称型マルチプロセッサ（ＳＭＰ）システムとすることができる。代替的に、シングル・プロセッサ・システムを用いることもできる。

オペレーティング・システム、オブジェクト指向プログラミング・システム及びアプリケーション又はプログラムに対する命令は、ＨＤＤ２２６などのストレージ・デバイス上に配置され、メイン・メモリ２０８内にロードされ、処理ユニット２０６により実行される。本発明の例示的実施形態のためのプロセスは、コンピュータ使用可能プログラム・コードを用いて処理ユニット２０６により実行され、コンピュータ使用可能プログラム・コードは、例えば、メイン・メモリ２０８、ＲＯＭ２２４などのメモリ内、又は１つ又は複数の周辺機器２２６及び２３０内に配置される。

図２に示されるバス２３８又はバス２４０などのバス・システムは、１つ又は複数のバスから成る。もちろん、バス・システムは、ファブリック又はアーキテクチャに取り付けられた異なるコンポーネント又はデバイス間のデータ転送を提供する任意のタイプの通信ファブリック又はアーキテクチャを用いて実装することができる。図２のモデム２２２又はネットワーク・アダプタ２１２などの通信ユニットは、データを送受信するのに用いられる１つ又は複数のデバイスを含む。メモリは、例えば、メイン・メモリ２０８、ＲＯＭ２２４、又は図２のＮＢ／ＭＣＨ２０２内に見られるようなキャッシュとすることができる。

当業者であれば、図１及び図２に示されるハードウェアは、実装によって異なり得ることを認識するであろう。図１及び図２に示されるハードウェアに加えて又はその代わりに、他の内部ハードウェア、フラッシュ・メモリ、同等の不揮発性メモリ、もしくは光ディスク・ドライブ等のような周辺機器を使用することができる。また、本発明の範囲から逸脱することなく、例示的実施形態のプロセスを、前述のＳＭＰシステム以外のマルチプロセッサ・データ処理システムに適用することもできる。

さらに、データ処理システム２００は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話又は他の通信機器、携帯情報端末（ＰＤＡ）等を含む多数の異なるデータ処理システムのいずれかの形をとることができる。幾つかの説明に役立つ実例において、データ処理システム２００は、例えば、オペレーティング・システム・ファイルもしくはユーザ生成データ又はその両方を格納するための不揮発性メモリを提供するようにフラッシュ・メモリを備えるように構成された携帯型コンピューティング・デバイスとすることができる。本質的に、データ処理システム２００は、アーキテクチャ上の制限なしに、いずれかの周知の又は後で開発されるデータ処理システムとすることができる。

図３は、１つの例示的実施形態による、コグニティブ・システムの要素の相互作用を示す例示的な図である。図３の例示的な図は、コグニティブ・システム３００の実装を示し、このコグニティブ・システム３００は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す、装着型ヘッドセット、眼鏡等を介するなど、ヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するように構成された、図１に記載されるコグニティブ・システム１００のようなコグニティブ・システムとすることができる。しかしながら、これは、単に例示的な実施に過ぎず、本発明の趣旨及び範囲から逸脱することなく、ヘルスケア・コグニティブ・システム３００の他の実施形態において、他のヘルスケア動作を実施できることを理解されたい。

さらに、図３は、患者３０２及び医療専門家３０６を人間の姿として示すが、これらのエンティティとの及びこれらの間の相互作用は、これらに限定されるものではないが、コンピューティング・デバイス、医療機器、及び／又は同類のものを含む多数のデバイスを用いて実行することができる。例えば、患者３０２とユーザ３０６との間の相互作用３０４、３１４、３１６、及び３３０は、例えば医者が患者に問診するなど、口頭で実行することができ、患者の属性３１８のような、コグニティブ・システム３００に入力できる情報を収集するために、例示的実施形態のヘッドマウント・ディスプレイ（ＨＭＤ）システムなどの１つ又は複数の医療機器、監視デバイス等の使用を要することがある。ユーザ３０６とコグニティブ・システム３００との間の相互作用は、図１のクライアント・コンピューティング・デバイス１１０又は１１２などのユーザ・コンピューティング・デバイス（図示せず）を介する電子的なものとなり、それは、例示的実施形態においては、１つ又は複数のデータ通信リンク及び潜在的に１つ又は複数のデータ・ネットワークを介してコグニティブ・システム３００と通信するＨＭＤシステムである。

図３に示されるように、１つの例示的実施形態によると、患者３０２は、医学的疾患（medical malady）又は状態の症状３０４を、医療専門家、医療関係者（healthcare practitioner）、技術者等のようなユーザ３０６に提示する。ユーザ３０６は、質問３１４及び応答３１６の交換を介して患者３０２と対話することができ、そこで、ユーザ３０６は、患者３０２、症状３０４、及び患者３０２の医学的疾患又は状態についてのさらなる情報を集める。質問／応答は、実際には、例えば、ＨＭＤシステム、血圧計、体温計、ＦｉｔＢｉｔ（商標）、ウェアラブル心臓モニターなどの患者３０２と関連付けられたウェアラブル健康及び活動監視デバイス、又は患者３０２の１つ又は複数の医学的特徴を監視することができる任意の他の医療機器などの種々の医療機器を用いて、患者３０２から情報を集めるユーザ３０６を表し得ることも理解されたい。場合によっては、そうした医療機器は、観察又は治療のために病院のベッドにいる患者のバイタルサイン及び医学的状態を監視するために、病院又は医療センターで一般的に使用される医療機器とすることができる。例示的実施形態によると、医療機器は、患者３０２及びユーザ３０６の両方から、画像及び可聴発話の両方を集めるＨＭＤシステムである。

これに応答して、ユーザ３０６は、ユーザが、コグニティブ・システム３００が解析及び処理できる形式で要求をコグニティブ・システム３００にサブミットするのを可能にするように構成されたＨＭＤシステムなどを介して、要求３０８をコグニティブ・システム３００にサブミットする。要求３０８は、患者３０２及びユーザ３０６の属性３１８を識別する情報を含むこと、又はこれを伴うことができる。つまり、上述のＨＭＤシステムは、患者３０２もしくは患者をケアしているユーザ３０６又はその両方の１つ又は複数のリアルタイム画像、並びに患者３０２もしくは患者３０２をケアしているユーザ３０６又はその両方による１又は複数の可聴発話をキャプチャすることができる。従って、患者属性３１８は、例えば、患者３０２についての患者ＥＭＲ３２２を取り出すことができる患者３０２からの可聴発話の患者の顔の画像、患者３０２、症状３０４、及び質問３１４への応答３１６から得られる他の関連情報についての人口学的情報、又は患者３０２と関連付けられた医学的状態を含む患者３０２の状態についてのデータを監視する又は集めるために用いられる、医療機器から得られた情報を含むことができる。コグニティブ・システム３００による患者３０２のコグニティブ評価に関連し得る患者３０２についてのいずれの情報も、要求３０８もしくは患者属性３１８又はその両方に含まれ得る。

コグニティブ・システム３００は、特定のヘルスケア指向のコグニティブ動作の実施を実行するように特別に構成される。示される例において、このコグニティブ精密コホート（cognitive precision cohort）動作は、ユーザ３０６が、質問３１４及び応答３１６のプロセスもしくは医療機器の監視／データ収集又はその両方を介して、報告された症状３０４と、患者３０２について集められた他の情報とに基づいて患者３０２をケアするのを助けるために、ユーザ３０６の目に捉えられた患者の実際のビュー上にオーバーレイされる、ＨＭＤシステムの拡張現実ディスプレイ内に、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すことに向けられる。コグニティブ・システム３００は、患者３０２の医学的状態を特定するために、患者３０２と関連付けられた患者ＥＭＲ３２２から集められた情報を用いて、要求３０８及び患者属性３１８に対して動作する。

例えば、要求３０８及び患者属性３１８に基づいて、コグニティブ・システム３００は、要求３０８及び患者属性３１８を解析し、どの患者を治療するかだけでなく、患者３０２が、ＨＭＤシステムのディスプレイを介して提示するのに利用可能な医学的状態と関連付けられたオーバーレイを有する特定の医学的状態も判断するように、要求に対して動作し得る。従って、コグニティブ・システム３００は、要求３０８及び患者属性３１８を解析し、何が要求されているか及び患者属性３１８により識別されるように要求が生成される基準を判断するように要求に対して動作し、かつ、データを取り出すために患者ＥＭＲ３２２に送られるクエリを生成するための種々の動作を実行し、データと関連付けられた関連表示を生成し、患者ＥＭＲ３２２内に見出される証拠のサポートを提供することができる。示される例において、患者ＥＭＲ３２２は、例えば、病院、実験室、診察室、健康保険会社、薬局等などの種々のソースから患者のデータを収集する患者情報リポジトリである。患者ＥＭＲ３２２は、コグニティブ・システム３００により情報を取り出し、処理することができる方法で（構造化形式、非構造化形式、又は構造化形式と非構造化形式の混合）、患者３０２などの個々の患者についての種々の情報を格納する。この患者情報は、患者についての種々の人口学的情報、患者についての個人連絡情報、雇用情報、健康保険情報、実験報告、外来診療による医師レポート、診療記録、以前の診断に関する履歴情報、症状、治療、投薬情報等を含むことができる。患者３０２の識別子に基づいて、この患者のリポジトリを、コグニティブ・システム３００により取り出し、検索／処理して、類似の患者のコホートが従った治療経路３２８を提供することができる。

本明細書における例示的実施形態によると、コグニティブ・システム３００は、コグニティブ・ヘルスケア・システム３４０を含むように拡張される。コグニティブ・ヘルスケア・システム３４０は、図１の対応する要素１２２～１３０に関して既に上述したのと同じような方法で動作する、画像キャプチャ及び分析エンジン３４２、音声キャプチャ及び分析エンジン３４４、相関エンジン３４６、医学的状態／治療分析エンジン３４８、及びディスプレイ・エンジン３５０を含む。つまり、画像キャプチャ及び分析エンジン３４２は、患者属性３１８から識別される患者３０２もしくはユーザ３０６又はその両方の１つ又は複数のリアルタイム画像をキャプチャする。画像キャプチャ及び分析エンジン３４２は、例示的実施形態の多数の異なる態様において１つ又は複数のリアルタイム画像を利用する。１つの実施形態において、画像キャプチャ及び分析エンジン３４２は、ユーザ３０６の目の画像を利用し、患者３０２をケアしている特定の医療専門家を特定する。別の実施形態において、画像キャプチャ及び分析エンジン３４２は、ユーザ３０６がどの患者をみているか、もしくは患者３０２の気分又はその両方を識別するために使用できる患者３０２の顔の画像をキャプチャする。つまり、画像キャプチャ及び分析エンジン３４２は、顔認識を通じてケアされている患者の識別に使用できる患者３０２の顔の画像をキャプチャすることができる。さらに、画像キャプチャ及び分析エンジン３４２は、患者３０２が泣いているか、又は顔の表情が恐怖、幸福、懸念、心配等を示しているかどうかを識別することにより、患者の気分の識別に使用できる患者３０２の画像をキャプチャすることができる。

音声キャプチャ及び分析エンジン３４４は、患者３０２もしくは患者３０２をケアしているユーザ３０６又はその両方による１又は複数の可聴発話をキャプチャする。音声キャプチャ及び分析エンジン３４４は、例示的実施形態の多数の異なる態様において１又は複数の可聴発話を利用する。１つの実施形態において、音声キャプチャ及び分析エンジン３４４は、ユーザ３０６による可聴発話をキャプチャし、これを用いて、患者３０２をケアしている医療専門家を識別することができる。別の実施形態において、音声キャプチャ及び分析エンジン３４４は、ＨＭＤシステムの拡張現実ディスプレイを介して、さらなる情報をユーザ３０６に提示する際にコグニティブ・ヘルスケア・システム３４０により用いることができる、ユーザ３０６により提供される可聴命令をキャプチャする。さらに別の実施形態において、音声キャプチャ及び分析エンジン３４４は、患者３０２の気分を識別するために、患者３０２の可聴発話をキャプチャする。つまり、音声キャプチャ及び分析エンジン３４４は、懸念、心配、恐怖、幸福等の１つ又は複数を識別するために用いられる、患者が泣いている音、患者の声における不安感、笑い声等をキャプチャすることができる。

画像キャプチャ及び分析エンジン３４２によりキャプチャされた１つ又は複数の画像及び音声キャプチャ及び分析エンジン３４４によりキャプチャされた１又は複数の可聴発話を用いて、相関エンジン３４６は、必要な情報を医療専門家に与えるために、多数の相関を実行する。１つの例示的な相関は、患者をケアしているユーザ３０６を特定することであり、そこで、相関エンジン３４６は、顔認識を利用して、１つ又は複数の画像を、医療専門家のコーパス及び他のソース・データ３２４内に格納されている医療専門家の画像と比較する。別の例示的な相関は、患者のケアをしているユーザ３０６を特定することであり、そこで、相関エンジン３４６は、音声認識を利用して、１又は複数の可聴発話を、医療専門家のコーパス及び他のソース・データ３２４内に格納されている医療専門家の音声パターンと比較する。同様に、相関エンジン３４６は、相関を実行して、ユーザ３０６にケアされている患者３０２を特定する。患者３０２を識別するために、相関エンジン３４６は、顔認識を用いて、１つ又は複数の画像を、患者ＥＭＲ３２２内に格納された患者についての電子医療記録（ＥＭＲ）のセット内の画像と比較する。これに加えて又は完全に異なる形の特定として、相関エンジン３４６は、音声認識を用いて、１又は複数の可聴発話を、患者ＥＭＲ３２２内に格納された患者についての電子医療記録（ＥＭＲ）のセット内の患者の音声パターンと比較する。

ユーザ３０６及び患者３０２を特定することに加えて、相関エンジン３４６は、ＨＭＤシステムを介して、ユーザ３０６が見ている患者３０２の１又は複数の身体部分も特定する。ＨＭＤシステムの拡張現実ディスプレイを通じてユーザ３０６の目に捉えられた患者の実際のビュー上に患者３０２の医学的状態をオーバーレイするとき、見られている特定の身体部分の特定は特に重要である。つまり、ユーザ３０６に見られている患者３０２の身体の部分に基づいて、相関エンジン３４６は、患者３０２と関連付けられた医学的状態もしくは治療又はその両方を示す、患者ＥＭＲ３２２のデータ内の身体部分へのさらなる相関のために特定の身体部分を特定する。従って、相関エンジン３４６が、見られている特定の身体部分を特定すると、医学的状態／治療分析エンジン３４８は、患者ＥＭＲ３２２内に格納された患者３０２の電子医療記録（ＥＭＲ）を分析し、患者３０２と関連付けられた医学的状態もしくは治療又はその両方を特定する。患者３０２の特定された医学的状態もしくは治療又はその両方を利用して、相関エンジン３４６は、患者の身体のその部分がＨＭＤシステムを介してユーザ３０６により見られるとき、特定の医学的状態もしくは治療又はその両方と関連付けられた患者の身体の部分と特定する。例えば、患者３０２が虫垂炎の医学的状態を有する場合、ユーザ３０６がＨＭＤシステムの拡張現実ディスプレイを通じて患者３０２の身体を見て、患者３０２の下腹部が視野に入ると、相関エンジン３４６は、下腹部のビューを患者３０２の医学的状態と相関させ、患者３０２の下腹部にオーバーレイして示される虫垂のオーバーレイを提供する。相関エンジン３４６は、このオーバーレイをディスプレイ・エンジン３５０に提供し、ディスプレイ・エンジン３５０が、ＨＭＤシステムの拡張現実ディスプレイを介してオーバーレイ３２８を医療専門家に提示する。

例示的実施形態に特に留意すべきなのは、相関エンジン３４６により提供されるオーバーレイが、ユーザ３０６が必要とするビューに応じて変わり得ることである。つまり、ユーザ３０６が看護師の場合、相関エンジン３４６は、一般的器官を示す基本的器官モデルを提供することができる。しかしながら、ユーザ３０６が医者である場合、相関エンジン３４６は、器官の実際のＸ線オーバーレイを提供することができる。さらに、ユーザ３０６が外科医である場合、相関エンジン３４６は、部位全体のコンピュータ断層撮影（ＣＡＴ）スキャン（ＣＴ）オーバーレイ又は磁気共鳴イメージング（ＭＲＩ）スキャン・オーバーレイを提供することができる。基本的器官モデル、ｘ線、ＣＴスキャン、ＭＲＩスキャン等を提供することに加えて、相関エンジン３４６は、１つ又は複数の解剖モデル、重なり合う器官系、以前の医学的状態／治療からのｘ線、ＣＴスキャン、ＭＲＩスキャン等、手術又は圧迫の位置等を提供することもできる。画像キャプチャ及び分析エンジン３４２もしくは音声キャプチャ及び分析エンジン３４４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、提供すべきあらゆる付加的な情報の表示を識別することができる。

付加的に、相関エンジン３４６により提供されるオーバーレイは、ユーザ３０６が患者３０２に費やす必要がある時間に基づくことができる。例えば、医療専門家のコーパス及び他のソース・データ３２４を通じて相関エンジン３４６によりアクセスできるユーザ３０６のスケジュールに基づいて、ユーザ３０６は、朝の回診時中に起こり得るように患者３０２に費やす時間が数分しかない場合がある。従って、相関エンジン３４６は、一般的器官を示す基本的器官モデルを提供することができる。しかしながら、ユーザ３０６が手術の前に手術の相談を行っていることをスケジュールが示す場合、相関エンジン３４６は、部位全体のｘ線オーバーレイ、コンピュータ断層撮影（ＣＡＴ）スキャン（ＣＴ）オーバーレイ、又は磁気共鳴イメージング（ＭＲＩ）スキャンを提供することができる。さらに、スケジュールがより多くの時間を許容するかどうかに関係なく、医療専門家が要求した場合には、相関エンジン３４６は、任意の付加的なオーバーレイを提供することができる。つまり、朝の回診時中に起こり得るように医療専門家が患者に費やす時間が数分しかなく、最初に一般的器官を示す基本的器官モデルを提供できることを、医療専門家のスケジュールが示したとしても、医療専門家が付加的な情報を要求した場合には、相関エンジン３４６は、ｘ線オーバーレイ、ＣＴスキャン・オーバーレイ、ＭＲＩスキャン・オーバーレイ、１つ又は複数の解剖モデル、重なり合う器官系、以前の医学的状態／治療からのｘ線、ＣＴスキャン、ＭＲＩスキャン等、手術もしくは圧迫の位置等を提供することができる。画像キャプチャ及び分析エンジン３４２もしくは音声キャプチャ及び分析エンジン３４４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、提供すべきあらゆる付加的な情報の表示を識別することができる。

さらに、相関エンジン３４６は、患者３０２をケアしているユーザ３０６の特定の専門分野に基づいたオーバーレイを提供することができる。つまり、ユーザ３０６の識別が麻酔専門医又は麻酔医である場合、相関エンジン３４６は、特定の医学的状態とは関連付けられてさえいない器官オーバーレイを提供することができる。つまり、麻酔専門医又は麻酔医は、患者の肺、気道、鼻腔等により関心があり得る。逆に、ユーザ３０６の識別が外科医である場合、相関エンジン３４６は、患者３０２の特定の医学的状態に直接関連した器官オーバーレイを提供することができる。さらに、ユーザ３０６の識別が、患者３０２に薬剤を与える看護師である場合、相関エンジン３４６は、患者３０２の特定の腕、腕の部位等といった薬剤が投与される場所の器官オーバーレイを提供することができる。

医学的状態を表し、罹患した又はさらに検査する必要がある身体の部分の強調表示するグラフィカル画像を識別するオーバーレイを提供することに加えて、相関エンジン３４６は、検査結果、治療の選択肢、メディカル・コード、最新の医学研究スタディ、移植に利用可能な器官等を表す文字情報を提供することもできる。つまり、ユーザ３０６により提供された入力に基づいて、相関エンジンは、要求された文字情報を識別し、次に、ディスプレイ・エンジン３５０が、ＨＭＤシステムの拡張現実ディスプレイ上に表示する。さらに、患者３０２の１つ又は複数の画像もしくは１又は複数の可聴発話又はその両方を用いて識別された気分に基づいて、相関エンジン３４６は、ユーザ３０６が、どのように情報を患者３０２に提示するべきかの指示を与えることができる。つまり、相関エンジン３４６が、患者３０２の気分を冷静であると識別した場合、相関エンジン３４６は、リラックスした口調で話すようにユーザ３０６に指示を与えることができ、次に、ディスプレイ・エンジン３５０が、ＨＭＤシステムの拡張現実ディスプレイ上に表示する。しかしながら、相関エンジン３４６が、患者３０２の気分を神経質になっていると識別した場合、相関エンジン３４６は、より安心させる口調を使用するようにユーザ３０６に指示を与え次に、それをディスプレイ・エンジン３５０がＨＭＤシステムの拡張現実ディスプレイ上に表示することができる。

付加的に、ひとたび医療専門家が、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより識別することができる、患者が従うべき治療を選択し、指示し、又は他の方法で特定すると、相関エンジン３４６は、１つ又は複数の電子通知手段を介して、手術の予定、手術中に提供される機器、相談の要求、投与される薬剤等を含むことができる治療を、リアルタイムで、ほぼリアルタイムで、又は非リアルタイムで、１又は複数の他の医療専門家に通知することができる。治療の指示は、画像キャプチャ及び分析エンジン３４２もしくは音声キャプチャ及び分析エンジン３４４又はその両方を介して、医療専門家からの目の動き、顔の表情、頭の動き、可聴発話等を監視することにより、識別することができる。

従って、例示的実施形態は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す装着型ヘッドセット、眼鏡等を介するなどのヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するための機構を提供する。本発明の機構は、医療専門家に見られている患者の身体の部位の画像をキャプチャする。見られている患者の身体の部分に基づいて、機構は、ビュー内の対応する身体部分を特定し、それらの身体部分を、患者と関連付けられた医学的状態もしくは治療又はその両方を示す患者の電子医療記録（ＥＭＲ）データと相関させる。

本発明は、システム、方法、もしくはコンピュータ・プログラム製品又はその組み合わせとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの：すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、命令がそこに記録された機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくは無線ネットワーク又はその組み合わせなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ又はその組み合わせを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述されるソース・コード又はオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータもしくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して、電子回路を個別化することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えて機械を製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、もしくは他のデバイス又はその組み合わせを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生産し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作を実行するためのプロセスを提供するようにすることもできる。

図４は、例示的実施形態による、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示すヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施する際の、コグニティブ・ヘルスケア・システムにより実行される動作の例示的フローチャートを示す。動作が開始すると、コグニティブ・ヘルスケア・システムは、ＨＭＤシステムからキャプチャした１つ又は複数のリアルタイム画像もしくは１又は複数のリアルタイム可聴発話又はその両方を受け取る（ステップ４０２）。１つ又は複数のリアルタイム画像もしくは１又は複数のリアルタイム可聴発話又はその両方を用いて、コグニティブ・ヘルスケア・システムは、患者の顔画像、ユーザの顔画像、患者の可聴発話、ユーザの可聴発話、患者の身体部分等のような１つ又は複数の特定の画像もしくは発話又はその両方を特定する（ステップ４０４）。コグニティブ・ヘルスケア・システムは、１つ又は複数の顔画像内の各顔画像を、患者ＥＭＲのコーパス内に格納された患者についての電子医療記録（ＥＭＲ）のセット内に格納された顔画像のセットと比較することにより、患者の識別を特定することができる（ステップ４０６）。代替的に又はそれに加えて、コグニティブ・ヘルスケア・システムは、１又は複数の可聴発話内の各可聴発話を、患者ＥＭＲのコーパス内に格納された患者についての電子医療記録（ＥＭＲ）のセット内に格納された音声記録のセットと比較することにより、患者の識別を特定することができる（ステップ４０８）。患者を特定することに加えて、コグニティブ・ヘルスケア・システムは、１つ又は複数の顔画像内の各顔画像を、医療専門家コーパス内に格納された医療専門家についての記録のセット内に格納された顔画像のセットと比較することにより、ユーザの識別を特定することができる（ステップ４１０）。代替的に又はそれに加えて、コグニティブ・ヘルスケア・システムは、１又は複数の可聴発話内の各可聴発話を、医療専門家コーパス内に格納された医療専門家についての記録のセット内に格納された顔画像のセットと比較することにより、ユーザの識別を特定することができる（ステップ４１２）。

ユーザ及び患者が特定されると、コグニティブ・ヘルスケア・システムは、ユーザの識別を用いて、患者の１つ又は複数の医学的状態もしくは治療又はその両方を特定する（ステップ４１４）。特定された医学的状態を用いて、コグニティブ・ヘルスケア・システムは、１つ又は複数の身体部分の画像を走査して、患者の医学的状態もしくは治療又はその両方が存在する身体の部分に相関する１つ又は複数の画像を特定する（ステップ４１６）。次に、ＨＭＤシステムの拡張現実ディスプレイを通じて、身体のその部分がユーザにより見られるとき、コグニティブ・ヘルスケア・システムは、医学的状態が存在する場所を強調表示するオーバーレイをユーザに提示する（ステップ４１８）。例えば、コグニティブ・ヘルスケア・システムは、一般的器官、器官の実際のｘ線オーバーレイ、部位全体のコンピュータ断層撮影（ＣＡＴ）スキャン（ＣＴ）オーバーレイ又は磁気共鳴イメージング（ＭＲＩ）スキャン・オーバーレイ等を示す基本的器官モデルを提示することができる。コグニティブ・ヘルスケア・システムにより用いられるオーバーレイは、ユーザのレベル又は専門分野に基づくことができ、ユーザと関連付けられたスケジュール等に基づくこともできる。

特定された医学的状態もしくは治療又はその両方と関連付けられたオーバーレイを提供することに加えて、コグニティブ・ヘルスケア・システムは、患者の肺、気道、鼻腔等を示すオーバーレイを次回の手術に関連し得る麻酔専門医又は麻酔医に提供するなど、医学的状態には際立つものではないが、特定された医学的状態の治療には重要であり得る他のオーバーレイ、又は特定の薬剤を投与する場所のオーバーレイを、患者をケアしている看護師に提示することができる（ステップ４２０）。さらに、コグニティブ・ヘルスケア・システムは、検査結果、治療の選択肢、メディカル・コード等を表す文字情報を提示することができる（ステップ４２２）。さらに、コグニティブ・ヘルスケア・システムは、患者と話すときにユーザが口調を変えることができるように、検知された患者の気分と関連付けられた情報を提示することができる（ステップ４２４）。識別されたオーバーレイもしくは文字情報又はその両方の提示にも関わらず、コグニティブ・ヘルスケア・システムは、オーバーレイもしくは文字情報又はその両方をＨＭＤシステムに送り、ＨＭＤシステムの拡張現実ディスプレイ上に表示する（ステップ４２６）。次に、コグニティブ・ヘルスケア・システムは、ＨＭＤシステムがオフにされたかどうかを判断した（ステップ４２８）。ステップ４２８において、ＨＭＤシステムがオフにされていない場合、ユーザが患者と対話するとき、オーバーレイもしくは文字情報又はその両方は、後で変更する必要がある場合があるので、プロセスはステップ４１４に戻る。ステップ４２８において、ＨＭＤシステムがオフにされると、動作は終了する。

図面内のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方におけるブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。

従って、例示的実施形態は、医療専門家の目に捉えられた患者の実際のビュー上にオーバーレイされる、患者の医学的状態もしくは治療又はその両方に対応する患者の身体の部位を示す、装着型ヘッドセット、眼鏡等を介するなどのヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して拡張現実ディスプレイを実施するための機構を提供する。本発明の機構は、医療専門家に見られている患者の身体の部位の画像をキャプチャする。見られている患者の身体の部位に基づいて、機構は、ビュー内の対応する身体部位を特定し、それらの身体部位を、患者と関連付けられた医学的状態もしくは治療又はその両方を示す患者の電子医療記録（ＥＭＲ）データと相関させる。場合によっては、顔認識を用いて、見られている特定の患者を特定することができる。

患者の身体上に重ね合わせられたグラフィカル表現は、医学的状態及び特有の実装とすることができる。つまり、重ね合わせられたグラフィカル表現は、医学的状態を表すグラフィカル画像、罹患した又はさらに調べる必要がある身体の部分の強調表示、検査結果を表す文字情報、治療の選択肢、メディカル・コード等を含むことができる。機構はまた、複数の媒体ビューに対して注釈付けされたデータの医療コーパスへのアクセスも提供し、所与の患者の気分、１日のうちの時間、医療専門家のスケジュールの予約状況等に適した媒体をリアルタイムでの選択することを可能にする。医療専門家のスケジュールに関して、スケジュールに応じて、予約状況が限られている場合、より簡潔なもの（基本的器官モデル）を表示することができ、一方、予約状況が長期の場合、詳細なもの（患者の器官上でシミュレートされた手術技術）を表示することができる。

上述のように、例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア要素及びソフトウェア要素の両方を含む実施形態の形をとることができる。１つの例示的な実施形態において、例示的な実施形態の機構は、これらに限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェア又はプログラム・コードの形で実装される。

プログラム・コードを格納もしくは実行又はその両方をするのに適したデータ処理システムは、例えばシステム・バスなどの通信バスを介してメモリ要素に直接又は間接的に結合された少なくとも１つのプロセッサを含む。メモリ要素は、プログラム・コードの実際の実行中に用いられるローカル・メモリ、大容量記憶装置、及び実行中に大容量記憶装置からコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。メモリは、これらに限定されるものではないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、ソリッド・ステート・メモリ等を含む種々のタイプのものとすることができる。

入力／出力すなわちＩ／Ｏデバイス（これらに限定されるものではないが、キーボード、ディスプレイ、ポインティング・デバイス等）は、直接システムに結合することもでき、又は介在する有線もしくは無線のＩ／Ｏインターフェースもしくはコントローラ又はその両方等を介してシステムに結合することができる。Ｉ／Ｏデバイスは、例えば、これらに限定されるものではないが、スマートフォン、タブレット・コンピュータ、タッチスクリーン・デバイス、音声認識デバイス等を含む有線又は無線接続を通じて結合される通信デバイスのような、従来のキーボード、ディスプレイ、ポインティング・デバイス等以外の多くの異なる形をとることができる。いずれの周知の又は後で開発されるＩ／Ｏデバイスも、例示的な実施形態の範囲内にあることが意図される。

ネットワーク・アダプタをシステムに結合させて、データ処理システムが、介在する私的ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔プリンタもしくはストレージ・デバイスに結合されるのを可能にすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、有線通信のためのネットワーク・アダプタの現在利用可能なタイプのうちのほんの数例である。無線通信ベースのネットワーク・アダプタは、これらに限定されるものではないが、８０２．１１ａ／ｂ／ｇ／ｎ無線通信アダプタ、Ｂｌｕｅｔｏｏｔｈ無線アダプタ等を含む、無線通信ベースのネットワーク・アダプタを用いることもできる。いずれの周知の又は後で開発されるネットワーク・アダプタも、本発明の趣旨にあることが意図される。

本発明の説明は、例証及び説明の目的のために提示されたが、これらは、網羅的であること、又は本発明を開示した形に限定することを意図するものではない。当業者には、説明される実施形態の範囲及び趣旨から逸脱することなく、多くの修正及び変形が明らかであろう。実施形態は、本発明の原理及び実際の用途を最もよく説明するため、及び、当業者が、企図した特定の用途に適するように種々の修正を有する種々の実施形態に関して本発明を理解することができるように、選択され記述された。本明細書で用いられる用語は、実施形態の原理、実際の用途、又は市場に見られる技術に優る技術的改善を最もよく説明するため、又は、当業者が、本明細書に開示される実施形態を理解するのを可能にするために選択された。

Claims (10)

1. 少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにコグニティブ・ヘルスケア・システムを実施させるための、前記少なくとも１つのプロセッサにより実行される命令を含む少なくとも１つのメモリとを含むデータ処理システムのデータ処理により、コグニティブ・ヘルスケア・システムを実施する方法であって、前記方法は、
   前記コグニティブ・ヘルスケア・システムのキャプチャ機構により、ヘッドマウント・ディスプレイ（ＨＭＤ）システムを介して医療専門家が見ている患者の身体の部位のリアルタイム画像をキャプチャすることと、
   前記コグニティブ・ヘルスケア・システムにより、前記リアルタイム画像内の前記患者の１つ又は複数の身体部分を特定することと、
   前記コグニティブ・ヘルスケア・システムにより、特定された前記１つ又は複数の身体部分を、前記患者と関連付けられた医学的状態もしくは治療又はその両方を示す前記患者の電子医療記録（ＥＭＲ）と相関させることと、
   前記コグニティブ・ヘルスケア・システムにより、前記患者の身体の前記部位の前記リアルタイム画像にオーバーレイする、前記患者の前記医学的状態もしくは前記治療又はその両方に対応する前記患者の身体の１つ又は複数の部位の拡張現実ディスプレイを前記ＨＭＤシステム内に生成することと、
   を含む、方法。
2. 前記患者の電子医療記録（ＥＭＲ）は、前記患者の顔の画像をキャプチャする前記キャプチャ機構と、顔認識を用いて前記患者を特定する前記コグニティブ・ヘルスケア・システムとによって、前記患者に相関される、請求項１に記載の方法。
3. 前記患者の電子医療記録（ＥＭＲ）は、前記患者から可聴発話をキャプチャする前記キャプチャ機構と、音声認識を用いて前記患者を特定する前記コグニティブ・ヘルスケア・システムとによって、前記患者に相関される、請求項１に記載の方法。
4. 前記拡張現実ディスプレイはさらに、前記医学的状態に関して罹患した前記患者の身体の部分を強調表示する、請求項１に記載の方法。
5. 前記患者を治療する前記医療専門家は、前記医療専門家の顔の画像をキャプチャする前記キャプチャ機構と、顔認識を用いて前記医療専門家を特定する前記コグニティブ・ヘルスケア・システムとによって特定される、請求項１に記載の方法。
6. 前記患者を治療する前記医療専門家は、前記医療専門家から可聴発話をキャプチャする前記キャプチャ機構と、音声認識を用いて前記医療専門家を特定する前記コグニティブ・ヘルスケア・システムとによって特定される、請求項１に記載の方法。
7. 前記拡張現実ディスプレイ内に表示される情報は、医療専門家のコーパス又は他のソース・データを通じて前記コグニティブ・ヘルスケア・システムによりアクセスされる前記医療専門家のスケジュールに基づいている、請求項１に記載の方法。
8. コンピューティング・デバイス上で実行されたときに、前記コンピューティング・デバイスに、請求項１から請求項７までのいずれかに記載の方法を実行させる、コンピュータ・プログラム。
9. 請求項８に記載のコンピュータ・プログラムを格納したコンピュータ可読ストレージ媒体。
10. 装置であって、
    プロセッサと、
    前記プロセッサに結合されたメモリと、
    を含み、前記メモリは、前記プロセッサにより実行されたときに前記プロセッサに請求項１から請求項７までのいずれかに記載の方法を行わせる命令を含む、装置。

Images