JP2009502335A - 生理的にガイドされるアバターを含むコンピュータ・インタフェース - Google Patents

Abstract

本発明は、１名以上の被験者の生理的観察から得られる生理的データを、より直感的に表示するユーザ・インタフェースを提供する。本発明のユーザ・インタフェースは、生理的観察データによってガイドされた動作を有する１以上のアバターを作成して表示する。観察データは、前記被験者が実質的な制約なしに正常な作業を実行している時に得られるのが好ましい。本発明は、例えば、携帯用電子端末から普通のＰＣ型コンピュータ及び強化されたグラフィック性能を有するシステムに至るまで、様々な処理性能及びグラフィック性能を有するユーザ機に適合する一連の実行を提供する。
【選択図】図３

Description

本発明は、コンピュータ表示用のグラフィカル・ユーザ・インタフェースの分野に関し、より詳細には、アバター手段によって生理的データを視覚化するためのグラフィカル・インタフェースに関する。

伝統的に、生理的観察は、多くの場合持ち運びできず且つ侵襲的でさえあるかもしれない観察装置を使用する診療所、病院、又は研究所でのみ実施することが可能であった。その結果、生理的観察は限定され、結果データは、訓練された人だけが一般的に利用可能であった。その結果、生理的データ表示装置は、主としてそのような人のために設計されていた。

しかしながら、生理的観察の進歩は、現在、広範囲の環境中で人の観察を可能にする。例えば、普通の活動を送っている無拘束の外来患者から、非侵襲的センサ及び軽量の観察装置を用いてリアルタイムに心肺データを入手することが可能である。外来観察システムの例は、２００３年４月２３日に発行された米国特許第６，５５１，２５２号（特許文献１）に記載されている。この特許は、多数の生理的パラメータのセンサ用プラットフォームとして快適な衣服を使用するシステム及び方法について記述する。センサ・データは、被観察者側で処理することも、あるいは送信されるか、またはリモート処理用にストア（ｓｔｏｒｅ）することもできる。

生理的観察データは、現在、訓練をされていない人に対してさえも利用可能になってはいるが、生理的データ表示装置は、依然として従来通り訓練された人用に設計されることがしばしばである。そのような表示装置は、訓練されていない人には難しい場合がある。生理的観察データへの訓練されていない人によるアクセスはそれによって制限され、そのようなデータ用の新規アプリケーションは妨げられる。

多数の参考文献が本明細書において引用されているが、これら文献の開示のすべては、すべての目的のために参照することにより、本明細書中にすべて含まれる。さらに、これらの参考文献はいずれも、上記でどのように特徴付けられたかに関わらず、本明細書で請求された主題の発明に先行するものと認められるものではない。
米国特許第６，５５１，２５２号

本発明は、専門的な生理的又は医学的訓練を受けていない人を含む熟練したユーザ又は未熟なユーザの両者用に設計された、生理的情報を表示するユーザ・インタフェースを提供する。

好適な表示インタフェースは、例えば、生理的観察データによって誘導されるアバターのような、生理的観察情報の直感的な理解を促進するグラフィカルな要素を含む。本発明はまた、例えば、瞬間毎のプレーヤーの生理機能の入力を伴うコンピュータ・ゲームといった、これらのユーザ・インタフェースについての新規アプリケーションを提供する。本発明はまた、訓練シミュレータ、携帯情報端末、携帯用パソコン、携帯電話、ＩＰｏｄ(登録商標)、デジタルカメラ、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、腕装着表示装置及びデジタル腕時計を含む、表示装置を有する様々なユーザ電子装置上で実行することが可能である。

具体的には、本発明のシステム及び方法は、被観察被験者から生理的観察データを得て、被観察生理的機能を表現し、シミュレートし、再現する、１以上のアバターによって、観察データを表示する。好適な実施例では、観察及び表示はリアルタイムであり、その結果、例えば、被観察被験者は、自身の現在の生理的機能を表現するアバターによって見たりインタフェース接続をしたりできる。あるいは、ストアされた観察データが表示される。そのような実施例は被験者の生理状態を調査し、及び／又は観察する必要がある者にとって有用である。本発明は、人間、馬、犬、猿、その他の哺乳類、及び、その他の相性が良い脊椎動物にとって有用である。

このように、本発明のユーザ・インタフェースは、リアルタイムに測定され又はデータ・ストアから検索された生理的観察データに従って及びそのデータに依存して、生理的なシステムを表現し、及び／又は、シミュレートし、及び／又は、再現する、被観察被験者（人又は動物）からの生理的データによってガイドされた、少なくとも１つのアバターを有する。生理的にガイドされたアバターは、例えば、心拍数、及び／又は、心臓の１回排出量、及び／又は、呼吸数、及び／又は、呼吸量、及び／又は、姿勢、及び／又は、活動レベル、及び／又は、皮膚コンダクタンス、及び／又は、皮膚温度、及び／又は、ストレス又は不安、感情の状態及び同種のもののレベルを含む、広範囲の生理的なシステムを表現することができる。

アバターの具体例は、以下を含む。心臓の生理的なシステムは、被観察心臓データに沿って（又はそれに比例して）、実際の心臓が動くように膨張・収縮する、多かれ少なかれリアルな心臓映像として登場する心臓アバターによって、表現し、又はシミュレートし、又は再現することができる。心臓アバターは、変化する振幅を伴って膨張・収縮することによって、１回排出量を表すこともできる。心臓アバターは、実際の心臓の音をシミュレートする（又は実際の心臓の音から得られる）心音を提供することができる。心機能不全もまた、シミュレートし又は再現することができる。例えば、不整脈は、不整脈に対応する形で心臓アバター脈搏として表すことができる。例えば、心不全、心筋梗塞で起こる収縮機能不全は、その機能不全をシミュレートする形で拡張、収縮する心臓アバターによって表現することができる。同時ＥＣＧ（心電図）信号中の又は同時ＥＣＧ信号から推定される心臓の電気的活動は、例えば電位によって変動するアバターの色で表現することができる。ＥＣＧ波形もまた、アバターと並べて表示することもできる。心臓の１回排出量の測定値は、胸部心電計（ＴＣＧ）によって決定されるのが好ましく、１回排出量に伴い変化するアバターの色で表すこともできる。

呼吸システムは、一方又は両方の肺及び／又は気道及び／又は胸部として現れる１以上のアバターによって表すことができる。これらの画像は、同時に測定された呼吸数に伴って（又は比例して）、及び／又は、同時に測定された呼吸気量に比例する振幅に伴って、拡張・収縮させることができる。そのような観察データが利用可能な場合、右肺と左肺との異なる活動は、左右の肺アバターの異なる拡張・収縮振幅によって表現することができる。胸部アバターは更に根本的な呼吸システムによって拡張・収縮させることができる。例えば、磁気プレチスモグラフ（呼吸ＩＰ）技術に基づくある種の呼吸センサは、被験者の根本的な呼吸と同様に胸部及び隣接する腹部を表現するアバターをガイドするために使用することができる胸郭サイズ及び／又は腹部サイズの測定値を返す。呼吸アバターは、また、気流を表現する呼吸音や、更に咳、ため息及び同種のものを表現する音を、これらの事象が観察された時に提供することができる。

さらに、呼吸アバター及び／又は心臓アバターは、血液や血管の色を例えば赤色や青色に変化させることによって、パルス酸素濃度計または同種のもので測定することができるような血液酸素処理データを表現することができる。血管アバターは、もしあるならば、肺血管系、及び／又は中枢血管系、及び／又は抹消血管系における酸素処理状態を表現することができる。

被験者の姿勢又は活動も、アバターで表すことができる。姿勢及び活動情報は、加速度計データ及び類似のデータから得られる場合がある。例えば、高域フィルター加速度計のデータは主として活動レベルを反映し、一方で低域フィルター加速度計のデータは主として姿勢を反映させる。そのとき、姿勢は、恐らくは多かれ少なかれ定形化された、すなわち、例えば側臥位及び／又は座位及び／又は立位の人物の画像からなるアバターによって、表現することができる。活動レベルは、対応する強度で、選択された活動に従事する人物アバターによって表現することができる。例えば、歩いている人物アバター及び／又は早歩きしている人物アバター及び／又は走っている人物アバター及び／又は登っている人物アバターの画像は、対応する被験者の活動レベルを表現することができる。適切な音は、姿勢及び活動に伴う場合がある。

アバターはまた、直接的ではない生理的情報を表現し、シミュレートし、再現することもできる。例えば、アバターは、直観的且つ一般的に、感情及び／又はストレス及び／又は不安のレベル状態に関連する顔の表情を有する定型化された顔を表示することによって、被験者のストレス、被験者の不安レベル、被験者の感情状態を表現することができる。そのようなアバターは、例えば、多かれ少なかれ上昇した身体的重圧及び／又は身体的温度のグラフや、あるいはもっと簡単に、例えば、「より冷たい」緑から「より熱い」赤まで進む色といった象徴的な表現を利用することもできる。そのようなアバターは更に、燃料計・暖房器及び同種のものの画像によってエネルギー消費の徴候及び同種のものを表現することができる。そのような直接的ではない生理的情報は、しばしば、線形モデル、ニューラル・ネットワーク、エキスパート・システム及び同種のもので直接測定された観察データから得られる。例えば、ストレス及び／又は不安の徴候は、特徴的に上昇した又は変化した呼吸活動、心臓活動、皮膚コンダクタンス及び／又は皮膚温度、ＥＣＧデータ等から得ることができる。エネルギー消費の徴候は、心臓データ、呼吸データ、加速度計データを組み合わせることによって得ることができる。

本発明のユーザ・インタフェースは、少なくとも１つの生理的にガイドされるアバターを含むが、生理的観察データによって直接ガイドされないアバターも提示することができる。そのような一実施例は、例えば、医学的リハビリテーション、運動トレーニング、耐久性トレーニングおよび同種のものといった、個人的トレーニングに向けられる。そのような実施例は、被験者に直接、及びトレーニング中の被観察被験者によって生理的にガイドされたアバターにリアルタイムで示すことができる。これにより、その被験者は、トレーニング又は運動の生体自己制御のやり方を受け取る。本実施例を実践するためのシステムは、好ましくは、被験者からの観察データの無線送信、及び、そのようなアバターを示すための表示装置を有する、例えば、エアロバイク又はトレッドミル又は同種のものといったトレーニング装置を含む。

さらに、トレーニング進捗及び目標に関する情報を、被験者に対し同様に提示することができる。進捗及び目標情報もまた、例えば「仮想トレーナー」又は「仮想ドクター」を演じる人物アバターといった１以上のアバターとして任意に提示することができる。運動トレーニングのコンテキスト（ｃｏｎｔｅｘｔ）では、『仮想トレーナー」アバターは、被験者のトレーニングプログラム及び／又は被験者のトレーニング成果及び／又は被験者の現在のトレーニング目標を提示できる。「仮想トレーナー」アバターは、その被験者にさらなるトレーニングの成就を促すかもしれない。リハビリテーションのコンテキストでは、「仮想ドクター」アバターは、例えば心筋梗塞患者のための、リハビリテーション・プログラムに関する類似の情報を提示できる。テキスト出力又はテキストから音声への出力を使用して関連する医学的問題や医学的解決を示唆するために、観察データについての危険な解釈であるかもしれない過度の生理的性能のために、そのようなアバターをモニターにガイドすることができる。

その他のアバターは、マウス、ジョイスティック、ゲーム機、会話入力その他同種のものを用いてエンターしたユーザ及び／又は被験者からの入力によって、直接制御することもできる。直接制御されたアバターは、ユーザ・インタフェース中で移動及び行動でき、また、例えばプレーヤーの生理的情報を含むコンピュータ・ゲーム用に、特に有用であろう。

さらに、本発明のユーザ・インタフェースは以下の追加の特徴を有する。アバターは、例えば、表現された生理的システムの状態に応じて色又はサイズを変更する、代わりの視覚的な表現を有していてもよい。アバターは、例えば視覚プレゼンテーションと同様にサウンド・プレゼンテーションといった、マルチメディア要素を含んでいてもよい。サウンドは、被観察生理的システムによって正常に生成されたサウンドをシミュレート又は再現でき、又は、観察データを要約する会話テキストを含んでいてもよく、あるいは、重要な場面及び同種のものへ注意を引き寄せることができる。アバターは、時々、サウンド・プレゼンテーション、又は、視覚プレゼンテーション、又は組み合わされたサウンド及び視覚プレゼンテーションのみを有していてもよい。それは、選択可能な組み合わせとしてユーザに提示することができる。

本発明のユーザ・インタフェースはまた、２つ以上のアバターを提示することもできる。異なるアバターは、単独の被験者から観察された異なる生理的機能、又は二人以上の異なる被験者からの生理的観察データ及び同種のものによってガイドすることができる。個別に表示することができるのと同様に、異なるアバターを組み合わせて表示することもできる。例えば、心臓データ及び呼吸データの両方によってガイドされる心肺機能アバターを提示するために、心臓観察データによってガイドされる心臓アバターは、呼吸観察データによってガイドされる呼吸アバターと組み合わせることができる。心肺機能アバターは、呼吸している胸部と視覚的に組み合わせることができ、またすべては、被験者の姿勢及び／又は活動を表す人物アバターと組み合わせることができる。

本発明のユーザ・インタフェースは、その他の視覚的要素を含むこともできる。アバターは、単純な色及び／又はテクスチャのような背景、若しくは、例えば医学的環境、住居環境、ジム環境又は運動環境のような様式化された一般的な環境、被観察着用者情報からのＧＰＳ情報、地理画像（例えばＧＰＳ情報に基づいた衛星画像）及び同種のものに対して表示することができる。ユーザ・インタフェースはまた、テクスチャ要素及び／又は数的要素も含むことができる。例えば、被観察生理的データの数的な値は、例えば体温計、ダイアル、スライダーおよび同種のものとして表示することができる。定量的データは、表示でき且つ話すことができるテキストフレーズ又は文へと変換することができる。さらに、多数の被観察被験者は、多数のアバターとして提示できる。例えば、２５名又は５０名の危険性物質清掃チームのような第１の応答者のチームは、それぞれ、スクリーンに表示された特有のアバターによって表現することができ、配置されたチームの配置及び各人の健康状態が表現される。

本発明はまた、アバターがシミュレートされた３Ｄ方法で動き及び／又は移動できる、仮想現実（ＶＲ）型ユーザ・インタフェースを含む。ユーザ又は被験者は、そのとき、表現されている生理学に積極的に浸ったように感じることもできる。ユーザ・インタフェース表示装置はまた、被観察被験者が、より好ましくはリアルタイムで、自身の生理的にガイドされたアバターを見ることができるように配置することができる。即時フィードバックは、身体トレーニング、又は運動トレーニング、又は生体自己制御および同種のもののために使用することができる。

好適には、本発明のユーザ・インタフェース及び方法は、低価格業務用コンピュータ及び家庭用ＰＣ型コンピュータから、高度なグラフィック機能を有するシステムまで、可能な限り広範囲で利用可能になる。本発明はまた、例えば、プレイステーション（登録商標）、エックスボックス（登録商標）、腕装着型低解像度表示装置、単眼鏡・表示装置付ヘルメット搭載型ヘッドアップディスプレイといったゲーム用システムに実装することもできる。これらのインタフェースはまた、携帯ゲーム機、携帯電話、ＰＤＡ及び同種のものといった携帯端末上で使用することもできる。実装システムの例は、速度が１ＧＨｚ以下のプロセッサと１２８ＭＢ以下のメモリを有する家庭用又は業務用に構成されたＰＣ型コンピュータを含む。実装システムはまた、速度が２ＧＨｚ以上のプロセッサと２５６ＭＢ以上のメモリを有し、且つ、処理能力及びグラフィック能力が強化された拡張グラフィック・ボードで構成されるより高性能のＰＣ型コンピュータ・システムを含む。実装システムはまた、ゲーム処理装置又はゲーム機を含み、これらは表示装置としてテレビを使用して、現在高性能グラフィック・システムを有している。本発明は、おそらく、例えばＶＲ型インタフェースといった付属グラフィック・サブシステム付の高性能ワークステーション型コンピュータ・システムに実装されることが更に好ましい。

様々な実装プラットフォームを提供するために、本発明は様々な方法実装を含むことが好ましい。これらの実装は、一般的には、クライアント機が生理的にガイドされたアバターを含むユーザ・インタフェースを表示する一方、サーバ機がクライアント機へのグラフィックを生成し送信するクライアント・サーバ型で構築されることが好ましい。クライアント・サーバ間の処理の分散は、クライアント機の能力に依存する。限られた性能のクライアント機のために、サーバ機はほとんどのグラフィックを生成し、且つ、ユーザ・インタフェース表示の前（例えば、着脱型コンピュータ読み取り可能媒体のプログラムとして）か、若しくはユーザ・インタフェース表示と同時に、クライアント機にそのグラフィックを送信する。より高性能のクライアント・システムは、インタフェース表示に加えいくつかの表示されたグラフィックも生成することができ、サーバ機のサポートをあまり必要としない。最終的に、最高性能のクライアント機は、実質的に表示されたすべてのグラフィックを生成でき、従って、サーバ機なしで済ますことができる。

従って、低価格ゲーム・システム及びＰＣ型システムに向けられた本発明の実施例は、グラフィック生成があってもほとんど実行せず、その代わりに、既にサーバ機で生成されたほとんどのアバター画像を検索して表示する。これらのアバター画像は、例えば、心収縮期から拡張期に至りさらに心収縮期に戻るまでの１サイクルを通した心臓のアニメーションのようなアニメーション・シーケンスとしてストアすることができる。更にこれらのクライアント機は、ある程度までグラフィックを修正するために十分な能力を有していることが、好ましい。例えば、クライアント機は、既に作成されたグラフィック・オブジェクトからスクリーン表示を構成することができ、及び／又は、生理的観察データによってガイドされる速度でアバター・アニメーションを表示することができ、及び／又は、選択した背景及びその他のデータ等とアバターとを組み合わせることができることが好ましい。

中間的グラフィック能力のクライアント・システムに向けられた実施例は、特定のグラフィックスを作成し又は修正することができるが、既に作成されたグラフィックス用のサーバ機に依然として依存してもよい。例えば、既に作成された心臓アバター画像は、例えば変化する１回排出量を表現したり、あるいは、例えば異所性心室拍動、間欠性心房頻脈等といった、予想しづらい心調律をシミュレート若しくは再現するために変形させたり（すなわち、最初の形から最後の形へとスムーズに変更すること）できる。そのようなクライアント機は、ユーザ制御又は被験者制御アバターを任意に生成でき、より多くの背景に寸法、視点、遠近感及び同種のものを提供する。

高機能処理、画像及びディスプレイ・クライアントシステムに向けられた実施例は、完全に、例えばオブジェクト記述からすべての又はほぼすべてのグラフィックス、特にアバター画像を新たに作成できる。オブジェクト記述は、アバターが、受信された生理的観察データの現在の詳細を表現し、シミュレートし、又は再現するために特に生成されるよう、パラメータ化することができる。また、上記の実施例の範囲の態様は、組み合わせることができる。

本明細書で使用される「アバター」及び「生理的にガイドされたアバター」という用語の意味及び限定は、被験者（人又は動物）の心機能及び心臓システムをシミュレートし、又は再現し、又は表現するためのいくつかの好適な実施例で表示される心臓アバターとして次に記述及び図示される。ただし、これに限定されるものではない。心臓アバターは、生理的な観察データによって構築され且つ表示される心臓画像のシーケンスを含むことが好ましい。ここでいう生理的な観察データは、心臓システムの場合には、主として心拍数や、更に心臓容積である。本発明の他のアバターは類似している。

単純な心臓アバターの実施例においては、脈動する心臓を表現する単一の心臓画像のシーケンスを含む１個の心臓アバターは、すべての被観察被験者を表現するために使用される。画像シーケンスは、任意に、単一の元の心臓画像から修正するか又はそれに由来することができる。この時、アバター画像シーケンスは、同時に観察された被験者の心拍数に相似する速度で表示することができる。表示された脈拍振幅が、同時に観察された被験者の心臓の一回排出量（又はその兆候）に相似するように、画像シーケンスを任意に修正することもできる。

より複雑な心臓アバターの実施例は、複数の異なって見える心臓アバターを使用することができ、特定の被験者のために使用される特定のアバターは、その被験者の心臓の、ある選択された特性を最も良く表現するために選ばれている。例えば、一実施例は、若い心臓を表現する１つ目の心臓アバター、老いた心臓を表現する別の心臓アバター、健康な心臓を表する別の心臓アバター、及び病気の心臓を表現する別の心臓アバターの、４つの心臓アバターを有していてもよい。その時、若い心臓アバター、老いた心臓アバター、健康な心臓アバター、病気の心臓アバターは、それぞれ、若い被験者、老いた被験者、健康な被験者、心不全に罹患中の被験者を表現するために使用される。本実施例は、前実施例が選択した心臓の特性よりもより現実的に表現する。

さらに複雑な心臓アバターの実施例は、各被観察被験者用に個別化された異なるアバターを使用することができる。例えば、ＭＲＩ（磁気共鳴映像法）画像やＣＡＴ（コンピュータ断層撮影）スキャン画像といった、特定の被験者（ヒトまたは動物）の心臓の医学的画像を得ることができる。従って、その被験者用の心臓アバター画像は、その医学的画像に由来する又はその医学的画像から修正された画像であって、特定の１回拍出量を有する心周期の一瞬間における被験者の心臓を表現するために拡大及び／又は縮小によって元の画像からおそらく変形させられている各画像を含むことができる。この時、この個別化されたアバターは、被験者の同時に観察された心拍数で決定される速度で、及び／又は、被験者の同時に観察された１回排出量で決定される振幅を伴って、表示される。本実施例は、さらに現実的である。

本発明のアバターが、医学的に正確な画像でもなければ単なる漫画様のアニメーションでもないことを今認識することができる。第１に、本発明の特定の実施例中のアバター画像は、医学的に正確な画像（例えば、ＭＲＩ画像、ＣＡＴ画像、医学写真及び同種のもの）に由来し又はその画像から修正して作成することができるが、表示されたアバター画像は、医学的に正確で且つ有用な被観察被験者の画像を提供するものではない。開業医のために有用な医学的画像は、必然的に、完全に忠実な方法ですべての画像詳細を提供する。本発明のアバターは、すべての医学的な詳細を忠実に描写するわけではない。代わりに、本発明のアバターは、生理的観察データで捕らえられるような被観察被験者の生理のための、直感的にアクセス可能で視覚的な相似を提供する。第２に、本発明のアバターは被験者の被観察生理の視覚的な相似ですが、たとえ特定の漫画のようなアニメーションが同様の視覚的な相似を提供しても、漫画のようなアニメーション及び同種のものの方法による完全に架空のものではない。漫画様のアニメーションは、単に作者の想像を表現する。本発明のアバターは、実際の被観察被験者を表現し、被験者の生理によって実際に瞬時毎にガイドされる。

多数の参考文献が本明細書において引用されているが、これら文献のすべての開示は、すべての目的のために参照することにより、本明細書中にすべて含まれる。さらに、これらの参考文献はいずれも、上記でどのように特徴付けられたかに関わらず、本明細書で請求された主題の発明に先行するものと認められるものではない。

本発明は、以下の本発明の好適な実施の形態の詳細な記述、本発明の特定の実施の形態の例証となる例、及び付け加えられた図によって完全に理解することができる。

本発明は、一人以上の被観察被験者から得られた生理的データによってガイドされた動作を有するアバターを含むユーザ・インタフェースを作成し及び表示する。従って、そのようなアバターは、本明細書において、しばしば「生理的にガイドされたアバター」と呼ばれる。好適な実施例においては、本発明は、ＰＣタイプのコンピュータ・システム上で実行することができる。以下の記述から、本発明が他のグラフィック性能を有する他のタイプのコンピュータ・システムでどのように実装することができるか、当該技術分野における通常の技術を有する者には明らかだろう。本明細書において、明確さ及び便宜のためにのみ標題が使用されるが、これによって本明細書が意図的に制限されるものではない。

［好適なシステム‐観察サブシステム］
本発明の好適なシステムは、被観察被験者からの生理的な観察データを収集するサブシステム（観察サブシステム）、及び、観察データを受信し本発明のユーザ・インタフェース中で表示するためにそのデータを処理するサブシステム（処理サブシステム及び／又は表示サブシステム）を含む。一般的に、生理的観察サブシステムは、病院内使用、診療所内使用、及び／又は、外来の使用のために設計することができ、侵襲性センサ及び／又は非侵襲性センサのいずれかを使用することができる。好適な観察サブシステムは、主として外来の使用のために設計され、非侵襲性センサのみを有する。

図１Ａ・図１Ｂ１・図１Ｂ２は、代替のシステム構成を概略的に図示する。図１Ｂ１・図１Ｂ２は、装置２９を装置３０と置き換えた点を除いて、同一構成に対しては同一参照番号を使用する。これらの図は、典型的な生理的センサ３、５、７を有する、典型的な、外来の、且つ非侵襲性生理的観察システムで構成される、被観察被験者１、１１、２７を図示する。センサ３は、典型的な「サイズ・センサ」である。そのようなセンサは、例えば表面長、全外周又は部分外周、直径その他同種のもののような身体サイズの様々な指標に反応し、さらに、被験者の上に置かれるか又は被験者の周辺に置かれる際に、そのようなセンサは、被験者の生理的処理に反応するデータを提供できる。例えば、腹部横断面や胸郭横断面といった胴体の１か所以上の横断面によるサイズ・センサは、例えば１回換気量のような呼吸数や呼吸容量を決定するための２成分呼吸モデルを使用して正確に解釈することができるデータを提供する。胴体の他の横断面によるサイズ・センサは、心拍又は大動脈拍に反応するデータを提供し、１本以上の手足に関するサイズ・センサは、静脈拍又は動脈拍に反応することができる。

本発明に有用なサイズ・センサは、磁力計、磁気的、機械的あるいは光学的手段を使用するひずみゲージ、干渉分光法を含む光学技術、電気的インピーダンス、表面の電気的磁気的活動、体壁運動又は胴体直径のプレスチモグラフ測定、超音波測定及びドップラー測定などを含む種々の技術に基づくことができる。好適なサイズ・センサは、磁気プレチスモグラフ（ＩＰ）技術に基づく。この技術は、センサのサイズの変化とともに変化するインダクタンスを有するセンサを使用する。各ＩＰセンサは、オシレータの周波数が、センサのインダクタンスが変化するとともに変化する形で、オシレータに連結されている。出力ＩＰ信号は、変化するオシレータ周波数のデジタル信号である。したがって、ＩＰセンサが身体部位にきちんと装着された場合、結果として出力されたＩＰ信号は、その身体部位のサイズの変化を反映する。

ＩＰ技術は、米国特許第６，７８３，４９８号（特許文献２）、米国特許第６，５５１，２５２号（特許文献１）、米国特許第６，４１３，２２５号（特許文献３）、米国特許第６，３４１，５０４号（特許文献４）、米国特許第６，０４７，２０３号（特許文献５）、米国特許第５，３３１，９６８号（特許文献６）、米国特許第５，３０１，６７８号（特許文献７）、米国特許第５，１７８，１５１号（特許文献８）、米国特許第４，８３４，１０９号（特許文献９）、１９８９年２月２８日に特許された米国特許第８０７，６４０号（特許文献１０）を含む、本出願の譲受人に譲渡された米国特許に既に記載されている。ＩＰ技術はまた、米国特許出願第１０／８２２，２６０号（特許文献１１）を含む公開された米国特許出願にも記載されている。胸部心電計（ＴＣＧ）として知られている専門のＩＰ技術もまた、心臓の１回排出量、大動脈拍動、及びその他の中枢血管の脈動の測定値を得ることができる。特に、例えば米国特許第６，７８３，４９８号（特許文献２）及び米国特許第５，１７８，１５１号（特許文献８）を参照されたい。本明細書中で参照されるすべての米国特許及び公開された米国特許出願は、すべての目的のためにそれらの全体を参照することにより、本明細書中に含まれる。

センサ４及び５は、本発明で使用できるその他の非侵襲的生理的センサを表す。例えば、被観察被験者と機械的に繋がれた加速度計は、その個人の身体及び部位の現在の活動レベル及び姿勢を記録することができる。被観察被験者と電気的に繋がれた電極は、例えば心電図（ＥＣＧ）信号、脳波図（ＥＥＧ）信号、眼電図（ＥＯＧ）信号、筋電図（ＥＭＧ）信号、皮膚コンダクタンスまたは皮膚抵抗、電気インピーダンス及び同種のものを含む電気的活動を記録することができる。その他のセンサは、表面体温、中核体温、血中酸素飽和、発生音、超音波信号及びエコー並びにその他のものを記録することができる。

図１Ａから図１Ｂに示す典型的な観察サブシステムはまた、例えばＰＤＵ９及び３３のような携帯型データ・ユニット（ＰＤＵ）も含む。ＰＤＵは、センサを操作し、センサ・データを検索し、検索されたデータを少なくともリアル・タイムにデジタル方式で送信することができるように処理する電気回路を含む。好適なＰＤＵは、被観察被験者の身に着けることができるか又はその被験者の周辺にあることができるように十分に小さく軽量である。図１Ａは、例えばＢｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は携帯電話技術を使用する無線送信を示す。図１Ｂ１及び図１Ｂ２は、有線接続を介した送信を示す。一時記憶装置は、必要に応じて半導体又は磁気媒体を使用することができる。

好適な観察サブシステムは、例えば衣服、上着、ベルト、徽章及び同種のものといった、１以上の装着可能なアイテム中にセンサを構成する。例えば衣服といった装着可能なアイテムは、押しつけがましくなく、快適で、手助けなしで使用できることが好ましい。図２Ａ〜図２Ｃは、いくつかの観察用衣服を示す。図２Ａの被験者は、単一の胸ベルト２０３ａ及び腕時計として構成されたローカル携帯データ・ユニット２０９ａから構成する観察サブシステムによってのびのびと活発に運動している。図２Ｂは、より多くのセンサを組み込むことができるが依然としてほとんどの活動レベルに適したシャツ２３７ｂを示す。１回換気量を決定することができる信号を返す胸郭（ＲＣ）サイズと腹部（ＡＢ）サイズの２つのサイズ・センサ２０３ｂが図示される。そのシャツはまた、（２本のリード線を有する）ＥＣＧ２０５ｂを含む。

最後に、図２Ｃはボディスーツとして構成され、且つ呼吸数及び１回換気量、個別の肺の働き、静脈拍及び動脈拍、心臓容積、個別の肺機能及び同種のものを測定するためのサイズ・センサ２０３ｃのより広範囲な配列を装備する衣服２３７ｃを示す。本実施例は、２つの携帯データ・ユニット、すなわち、至近範囲の無線送信及び限られた信号記憶用の衣服に装着されたユニット２０９ｃと、より長距離の無線送信及びより大規模なデータ記憶用の衣服の周辺にあるユニット２０９ｄと、を提供する。

図１Ａ、図１Ｂ１、図１Ｂ２及び図２Ｃにおいて、胸部を取り巻く上部及び下部の円又はベルトは、呼吸数、１回排気量、及びその他の呼吸関連パラメータを抽出することができる信号を提供する、胸郭及び腹部ＩＰセンサを表す。胸部中央を取り巻く円又はベルトは、心臓の１回排出量及びその他の心臓関連の測定値をＴＣＧ手段によって抽出することができる信号を提供する、さらなるＩＰセンサを表す。

ＩＰセンサ技術に基づいた適切な観察サブシステムは、カリフォルニア州ヴェンチュラのヴィヴォメトリクス社から入手可能である。

［好適なシステム‐処理及び表示サブシステム］
本発明の方法は、処理及び表示処理サブシステムの範囲で実行することができる。典型的な処理サブシステムは、図１Ａ、図１Ｂ１、及び図１Ｂ２に示される。

図１Ａは、複数の同時に観察された被験者である被験者１及び１１、複数の処理及び表示サブシステムであるサブシステム１３、１５〜１７、１９、２３、並びに、複数のネットワーク接続に適応する処理サブシステム及び表示サブシステムを示す。それぞれの被験者１及び１１は、ＰＤＵ９によって操作された１以上の生理的センサで構成された装着可能なアイテムを取り付けられる。ＰＤＵは、その後観察データをネットワーク２１に無線で送信し、次にネットワーク２１は観察データを処理及び表示システムに転送する。観察データは、データベース２５にストアすることができる。

本明細書において、表示装置１５及び１９付の処理サブシステム１３及び１７は、例えばＰＣ型コンピュータであっても良い。処理サブシステム１６は、内蔵ＬＣＤ表示装置付のラップトップ型コンピュータであっても良い。処理システム２３は、ワークステーション型コンピュータ又はサーバ型コンピュータであっても良い。本実施例において、処理及び表示サブシステムは、被観察被験者の近郊あるいは遠隔である場合がある。サブシステム１６、１７及び１９は、被験者１が同時の生理的機能をリアルタイムで表現するアバターを見ることができるように、この被験者の周辺に設けることができる。サブシステム１３及び１５は、例えば医療関係者、観察関係者及び同種のものの使用のために、被観察被験者１及び１１から離れている場合がある。これらすべての処理及び表示サブシステムは、被観察被験者を表現し、及びリアルタイムで又は事前に記録された観察データによってガイドされたアバターを表示する。

図１Ｂ１は、複数のセンサ付の衣服を着用しているのを図示した単一の被観察被験者２７のための典型的なシステムを示す。被験者がＰＤＵ３３を通じて有線接続によって直接リンクされた処理及び表示サブシステムは、ルーチン・ＰＣ型コンピュータ２９及びルーチン・ＰＣ型表示装置である。おそらくより限定された性能を有するコンピュータ２９は、より高性能のサーバ型コンピュータから事前にダウンロードされたグラフィック・テンプレートから容易に構築された生理的にガイドされたアバターを表示してもよい。図１Ｂ２は、１名以上のプレーヤーの生理機能によってガイドされたアバターを使用する、コンピュータ・ゲームに適合させた類似のシステムを示す。本ゲーム実施例は、処理サブシステム３０として、例えばマイクロソフト社（ワシントン州リッチモンド）のＸｂｏｘ（登録商標）、ソニー・コーポレーション・オブ・アメリカ社（ニューヨーク州、ニューヨーク）のＰｌａｙｓｔａｔｉｏｎ（登録商標）、及びニンテンドー・オブ・アメリカ社（ワシントン州リッチモンド）のＧａｍeＣｕｂｅ（登録商標）といった商用ゲーム・システムのうち１つを使用する。現代の商用ゲーム・システムは、リアルな画像やリアルな動作を有する生理的にガイドされたアバターを表示するために十分な処理能力及びグラフィック能力を備えることができる。ゲーム実施例（及びその他の実施例）は、例えばゲーム入力装置３５からの明示的なユーザ制御によってガイドされたアバターを任意に表示することができる。また、ゲーム実施例（及びその他の実施例）向けの表示サブシステムは、標準的なテレビセット、携帯用電子端末、携帯用ゲーム機器、携帯電話、及びその他の携帯用電子機器であってもよい。

本発明が、スタンドアロンで操作されるより高性能のサブシステムからサーバ・システムの援助を必要とするより性能の劣ったサブシステムといった、様々な性能の処理及び表示サブシステム上で実行することができることは、上記から理解されるべきである。例えば、いくつかの処理及び表示サブシステムは、本発明の生理的にガイドされたアバターを表現する全てのグラフィックを作成し且つ表示できるのに十分な処理及びグラフィック性能を有することができる。その他のサブシステムは、生理的にガイドされたアバターを表現するグラフィックのいくつか、おそらくは１つを作成し又は表示するためだけに十分な性能だけを有することができる。そのようなサブシステム能力を超えたより複雑なグラフィックは、これらのグラフィックスが作成されるサーバ・システムから、オンライン又はオフラインでダウンロードすることができる。最後に、本発明は、ほとんどのグラフィックがサーバ機からダウンロードされるか又はプレロードされることを必要とする低性能のサブシステム上で実行することができる。そのようなサブシステムは、既に作成されたアニメーションを表示するだけに制限することができる。

［本発明の方法］
本発明の方法は、最初に生理的センサ・データを受信し、次に受信したデータから生理的情報を抽出し、次に抽出された生理的情報によってガイドされた少なくとも１つのアバターを含む、ユーザ・インタフェース・グラフィックを作成し及び／又は修正し、最後に作成されたユーザ・インタフェースを表示する。データが生理的観察サブシステムからどのようにして受信されるのかは、既に詳細に記述した。本発明の方法のさらなるステップは、以下に詳細に記述される。

生理的情報を抽出するために必要とされるセンサ信号処理は、本発明に役に立つ重要なセンサの多くに関して知られている。例えば、ＩＰセンサからの胸郭及び／又は腹部のレベルでの信号といった呼吸ＩＰセンサ信号から、呼吸数及び呼吸容量情報を抽出するために要求される処理は、ＩＰ技術について記述しかつ本発明の譲受人に譲渡された、先に引用した米国特許又は米国特許出願に記載されている。特に、米国特許第６，５５１，２５２号（特許文献１）、米国特許第６，０４７，２０３号（特許文献５）、及び米国特許出願第１０／８２２，２６０号（特許文献１１）を参照されたい。心拍数情報は、既知の方法によってＥＣＧ信号から抽出することができる。胸部中央にあるＩＰセンサは、引用されたＩＰ特許、特に米国特許第６，７８３，４９８号（特許文献２）に既に記載された方法によって心臓の１回排出量及び心臓出力を抽出することができる信号を提供する。さらに、加速度計データは、姿勢及び活動データを提供するために処理することができる。脳波周波数スペクトル情報をもたらすために脳電気活動信号を処理することができ、この情報から、順に警戒或いは覚醒の程度が推測することができる。例えば、米国特許出願第１０／９９１，８７７号（特許文献１２）を参照されたい（特許文献１２は、すべての目的のために参照することにより、本明細書中にすべて含まれる）。体温信号、皮膚コンダクタンス信号及び同種のものは、しばしば、ただフィルタリング及びアーチファクト除去によって処理することができる。

本発明が広範囲の処理能力を有するユーザ・システムで実行することができるように、グラフィック作成及び表示方法が構築されるのが好ましい。この目的を達成するそのような好適な構造は、少なくとも概念的に連続する方法及びおそらくまた時間的に連続する方法で作動する多数の処理ユニットに、これらの方法を分割する。その場合、ユーザ・システムは、処理シーケンスにおいて、先の処理ユニットの処理用のサーバ・システムに依存している間、その能力範囲内にある最終の処理ユニットのみを処理することができる。例えば、高性能のユーザ・システムは、すべての処理ユニットを処理してもよく、一方、最小性能のユーザ・システムは、サーバ・システムから前のユニットの処理結果を受信する端末処理ユニットのみを処理してもよい。明確にするため及び限定をなくすため、本発明の方法は、２つの主要な処理ユニットがある一実施例中において、以下に記述される。この２つの処理ユニットとは、グラフィック・オブジェクトを作成して与える第１ユニットと、既に作成されたグラフィック・オブジェクトをアセンブルして表示する第２ユニットである。

図３は、本発明の方法が、グラフィックス作成装置９１、及びユーザ・インタフェース・セッション装置９５の２つの装置で構築される、そのような好適な実施例を示す。２つの処理装置は、ストア９３として表現されるグラフィック関連データの交換によって相互に関連付けられる。ストア９３は、磁気ディスク記憶装置として示されているが、これは例示的なものであり、光学媒体、ネットワーク・リンク、共有メイン・メモリ（単独システムが両装置を処理する場合）、又は当該技術分野で知られたその他の手段によってグラフィック関連データを交換することができることを制限するものではない。一般的に、グラフィック作成装置は、ストア９３として表現されているグラフィック・データを作成するため、最初に実行される。次に、ユーザ・セッション装置が実行される（又は重複するか、又はグラフィック作成装置とパイプライン化される）。ユーザ・セッション装置は、作成されたグラフィック・データを検索し、生理的にガイドされたアバターを備えたユーザ・インタフェースをアセンブルして表示するために、それを使用する。「ユーザ・セッション」という用語は、本明細書では、便宜上連続するユーザ・ステップのグループを表するために使用される。

異なる実施例は、図３に示された特定のステップを異なるシーケンスで実行することができる。例えば、より高性能の処理及び表示サブシステムは、グラフィック作成シーケンスのステップ５９ａ及び／又はステップ５７ａを、作成及びアセンブル・ステップ６９のオブジェクト作成のサブ・ステップの一部として実行することができる。この場合、ステップ５９ａ及び／又は５７ａを実行する必要はなく、ストア５９ｂ及び／又は５７ｂも作成する必要はない。しかしながら、より低性能の処理及び表示サブシステムは、ストア９３の既に作成されたグラフィック・データに依存して、図示のように、表示可能なグラフィック・データを作成する作成及びアセンブル・ステップを実行することのみが必要である。

グラフィック作成セッションは、さらに詳細なグラフィック記述及びグラフィック・オブジェクトを作成してストアするために、開始５１から終了６１までを段階的に進む。まず、ステップ５３ａで１以上のユーザ・インタフェースのシナリオを作成し、ストア５３ｂとしてストアする。ユーザ・インタフェースのシナリオは、例えばアバターのタイプやどんな生理的データでそれらがガイドされるか、アバターの視覚的な表現、アバターの動作及び同種のものといった、一般的なユーザ・インタフェースの特性を記述する。シナリオは、アバター形式を除いて、表示されるテキスト、数字、又は記号の情報要素の表示、ユーザ・インタフェース背景、アバター表示及び非アバター表示の視覚環境及び同種のものを特徴付ける一連の場面を含むことができる。ユーザ・インタフェースのシナリオは、例えばイラストレーター、アニメーター、インタフェース・デザイナー及び同種のものによって、新たに作成することができる。グラフィク表現は、例えば医学画像ライブラリといった、グラフィック及び画像ライブラリに由来してもよい。

次に、ステップ５５ａで、グラフィック・ソフトウェアは、ステップ５３ａの場面及びシナリオからグラフィック・オブジェクト記述を作成し、ストア５５ｂとしてストアする。これらの記述は、レンダリング・ソフトウェアが表示可能な画像を作成するために使用できる命令より、より高レベルの（しばしば、表示できない）命令である。例えば、そのような記述の１タイプは、画像の輪郭を描く一連のベクトルを規定し、別のタイプは、３次元表現画像を形成する複数の三角形、表面着色、及び表面テクスチャリングを規定することができる。これらの記述は、場面が全体として修正可能であるのと同様に、これらの場面の個々の要素の外観も修正可能であることを許容することができる。例えば、尺度、方向性、光、移動及び同種のものといった個々の要素の属性は、修正することができる。さらに、生理的にガイドされたアバター又はアバター要素の記述は、個々の表示要素がどのようにして生理的な観察情報に応答するのかを記述した情報を含まなければならない。例えば、呼吸でガイドされたアバター画像の場合では、場面要素の修正は、例えば１回排気量によってパラメータ化することができる。そのような記述は、例えばオープンＧＬのような、パラメータ化されたコマンドのリストとしてコード化することができる。

次に、ステップ５７ａにおいて、ストア５５ｂのグラフィック記述から表示可能なグラフィック画像及びグラフィック・オブジェクトを作成し、ストア５７ｂとしてストアする。表示可能な画像は、ラスター表示装置上での提示の準備ができている完全な画像へとアセンブルすることができるビットマップ、ビットマップ・フラグメント及び同種のものを含むことができる。これらのオブジェクトは、一般的に、前のグラフィック記述から構築されるが、既に作成されたオブジェクト及び画像ライブラリから抽出した画像を含むこともできる。ビットマップのような表示可能な画像は、一般的に、グラフィック記述よりも修正がしにくい。例えば、これらの場面の全体としての外観は、通常スケーリング、ローテーション、カラーリング及び同種のものによって修正することができる。しかし、個々の場面要素の外観は、通常は個別に修正することはできない。これらのビットマップ及び同種のものに付随しているのは、これらが生理的観察情報によってどのように制御されるのかを記述する情報である。そのような修正が可能であるので、この情報はビットマップ修正を制御することができる。或いは、各ビットマップは、密接に関連するビットマップのセットを含むことができ、また、生理的観察情報は、このセットから選択することができる。

次に、もし特別のシナリオによって要求された場合、ステップ５９ａにおいて、ユーザ・インタフェース中に表示用のアニメーションを作成し、ストア５９ｂとしてストアする。アニメーションは、一緒にアバターの動作またはアバター動作のフラグメントを表現する連続する画像又はフレームを含む映画の１カットと類似するように構築されるのが好ましい。アニメーションの修正は、一般的に、全体的な拡大縮小、再生速度、個々の画像の修正及び同種のものに限定される。また、アニメーションは、これらの修正（特に再生速度）が生理的観察情報によってどのように制御されるのかの記述を含む。アバターのアニメーションから構築されたユーザ・インタフェースの表示は、一般的にクライアント・リソースをほとんど必要とせず、例えば単独インタフェースへの１以上のアニメーションのアセンブル、及びその後の、生理的観察データによってガイドされるようにアセンブルされたアニメーションの再生に、限定される。例えば、あるアニメーションは、右左の肺が吸気・呼気サイクルの１サイクルを通じて進むように、右左の肺を描写することができる。このアニメーションは、被験者の観察された呼吸数に応じた速度で再生することができる。

ユーザ・インタフェースは、開始６３から終了８１まで続くユーザ・インタフェース・セッション・シーケンスの間にアセンブルされて表示される。まず、ユーザは、ステップ６７においてユーザ・インタフェース（ＵＩ）・セッションを開始し、ステップ６５において、既に作成されたライブラリから所望のユーザ・インタフェース記述を選択する。いくつかの実施例は、１つのＵＩだけを提供できる。その他の実施例は、複数のＵＩを提供できる。ＵＩは、実質的に独立したプログラムとして実行することができるか、若しくは、親アプリケーションに統合することができる。より高性能のユーザ・システムの場合、ユーザ・インタフェース記述は、ＵＩシナリオ・ストア５３ｂから選択されたシナリオであるかもしれず、その時、ユーザ・システムは、ステップ６９において、すべての表示画像を完全に構築し且つ修正する。限定された性能のユーザ・システムの場合、ユーザ・インタフェース記述は、ストア５９ｂから選択されたアニメーションであるかもしれず、また、ユーザ・システムは、ステップ６９において、生理的観察情報に応答して再生速度をただ単に制御する。

生理的にガイドされたアバター及び選択されたユーザ・インタフェースの他の制御可能な要素を制御するために必要な入力は、ステップ７３のユーザ観察データから抽出される。ステップ７３の生理的観察データは、観察サブシステムからリアルタイムで受信することができ、又は、観察データはストアされ、後に検索することもできる。１以上のアバター又は他のＵＩコンポーネントが、ステップ７１のユーザ入力に応答する場合、適切なユーザ・インタフェース装置からの入力もまた必要である。

次に、ステップ６９において、ユーザ・インタフェースが、検索されたユーザ・インタフェース記述から作成されてアセンブルされる。記述されたように、作成及びアセンブル・ステップにおいて、ユーザ・システムの能力に依存して、本質的にステップ５３ａからステップ５９ａのうちの１つ以上が実行されても良い。例えば、ユーザ・システムは、ステップ５３ａからステップ５９ａのすべてを実行してもよいし、ステップ５５ａからステップ５９ａを実行してもよいし、ステップ５７ａからステップ５９ａだけを実行してもよいし、又はステップ５９ａだけを実行してもよい。これらのケースでは、ステップ５３ａからステップ５９ａは、単に処理間のデータのインメモリ転送を表すかもしれない。或いは、ユーザ・システムは、単に（おそらくリムーバブル記憶装置から）既に作成したＵＩを検索し、生理的観察データの制御の下でそれらを表示することができるに過ぎない。また記載したように、グラフィック・オブジェクト及びデータ記述は、それらがどのようにして生理的観察データによってパラメータ化され及び制御されるかを含む。

より具体的なＵＩ記述は、一般的に、より一般的なＵＩ記述よりも修正しにくく且つ制御しにくい。このように、ストア５３ｂ又は５５ｂから作成され及びアセンブルされたＵＩは、役に立つ或いは十分な、そしておそらくはより現実的な被験者の生理的プロセスの描写である。また、ストア５９ｂから選択されて表示されたＵＩについて、再生速度、全体的な色の濃淡及び同種のものは、観察データによって制御することができる。

最後に、ステップ７５において、作成され及びアセンブルされたＵＩ場面が表示される。ステップ６９及び７５は、図示のように分けてもよいし、或いは、本質的に単一のステップであるものへ密接に連結することができる。上記の記述は、簡潔で明確な記述のために選択され示された本発明に係る方法の好適な一実施例である。本発明が、異なる構造及び配置を有する方法であるが本発明に係る生理的にガイドされたアバターを実行することができる他の実施例を含むことは、当該技術分野における当業者によって理解されるだろう。

ソフトウェア・モジュール及び付随するグラフィック・データ・オブジェクトは、クライアント及びサーバ・システムの性能及び／又は利用可能なリソースに応じて、それらのシステムに選択され、パッケージ化され、提供される。ソフトウェアの方法は、例えばＯｐｅｎＧＬ（ＯｐｅｎＧＬ財団、ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ）、ＤｉｒｅｃｔＸ（Ｍｉｃｒｏｓｏｆｔ社）及び同種のものといったインタフェース・ライブラリによって提供されるグラフィック機能とともに、適切なコンピュータ言語、好ましくはＣ言語又はＣ^＋＋言語で記述することができる。或いは、ソフトウェアは、例えばマクロメディア社（カリフォルニア州サン・フランシスコ）によって提供されるような、高レベルのグラフィック志向言語で記述することができる。実行可能なソフトウェア及びグラフィック・データは、光学記憶媒体及び磁気記憶媒体で、又はネットワーク・リンクによって、或いは他の既知の分散手段によって、クライアント・サーバ・システムに提供することができる。

［本発明の実施例］
図４Ａから図４Ｂは、いくつかの生理的にガイドされたアバターを有する本発明のユーザ・インタフェースを図示する。白黒で図示されてはいるが、このインタフェースは、カラーで表示される。図４Ａは、このユーザ・インタフェースの第１フレームを示す。２つの生理的にガイドされたアバターがある。呼吸数によってガイドされた肺アバター１０３ａと、心拍数によってガイドされた心臓アバター１０５ａとである。吸気から呼気へ、そして吸気へ戻る呼吸サイクルの間、肺アバターは、モニターされた吸気及び呼気に同期して、拡張し収縮し再び拡張して動作する。同様に、心拡張から心収縮し心拡張に戻るまでの１心周期中に、心臓アバターは、心臓データに同期して、拡張し収縮し再び拡張して動作する。具体的には、図４Ａは、吸気中に拡張するような肺アバター１０３ａ、及び心拡張中に拡張するような心臓アバター１０５ａを描写する。

ユーザ・インタフェースは、任意に、付加表示要素を含むことができる。付加要素は、アバター動作のコンテキストを提供できることが好ましい。例えば、表示背景は、表示要素と対照をなす実質的に不変の色である。心臓及び肺アバターは、リアルなコンテキストを提供するために胴体１０１ａの一画像のように表示される。数値データ要素もまた表示することができる。本明細書において、数値の呼吸数１０７ａは、現在の呼吸数の値を表示するために更新され、付随する肺画像（アバター）は、現在の呼吸数を反映するために陰影が付けられる。数値の心拍数１０９ａは同様に更新され、付随する静的心臓画像（アバター）は同様に陰影が付けられる。

また、被験者の活動指数を表現する体温計表示部１１３ａも表示される。この指数は、被観察被験者の身体活動の強度を表し、例えば加速度計データに由来させることができる。さらに、体温計型表示部１１１ａは、被験者のストレス指数の現在の値を表現するが、これは、本明細書では、被観察被験者の生理的ストレスの現在の状態を反映するよう意図されている。それは、複数の生理的観察データの型を組み合わせることにより抽出することができる。活動レベル表示及びストレス表示は、心呼吸的にガイドされたアバター及び他の表示要素を解釈するためのコンテキストを提供する。

図４Ｂ（図４Ａ及び図４Ｂ中の対応する要素は、それぞれ添え字「ａ」「ｂ」を有する）は、同じこのユーザ・インタフェースの異なるフレームを示す。本明細書では、心臓アバター１０５ｂは、収縮した心拡張状態で示される。また、肺アバター１０５ｂは、収縮した呼気状態で示される。数値の呼吸データ及び心臓データ１０７ｂ、１０９ｂは、増加する心呼吸活動を表示する。これらの増加する割合は、増加する身体活動１１３ｂ及び増加する生理的ストレス１１１ｂのコンテキスト中に生じる。

これらの実施例は、本発明のいくつかの態様の例とすることを意図されているので、本明細書に記載され請求された発明は、本明細書で開示された好適な実施例によって範囲が限定されるものではない。いかなる均等な実施例も、本発明の範囲内になるように意図される。実際に、本明細書で示され且つ記載された発明に加え、発明の様々な変更は、先の記載から、当業者に明白となるであろう。そのような変更もまた、添付の請求項の範囲内に収まるように意図される。

（Ａ)、(Ｂ１)、(Ｂ２)は、それぞれ本発明を実行するための典型的なシステムの図である。 （Ａ）、（Ｂ）、（ｃ）は、それぞれ本発明を実行するための典型的な生理的観察サブシステムの図である。 本発明の方法の概略図である 典型的なアバターの動作図である。 典型的なアバターの動作図である。

Claims (49)

1. １以上の時間間隔中における被観察被験者の１以上の生理的パラメータの瞬時毎の値を反映する生理的観察データを受信し、
   前記被観察被験者の前記生理を反映する視覚的な表現を有する少なくとも１つのアバターを含むコンピュータ・ユーザ・インタフェース（ＵＩ）を表示し、
   前記アバターの前記視覚的な表現の瞬時毎の外観は、１以上の受信された前記生理的パラメータによって制御されることを特徴とするユーザ・インタフェースを表示するためのコンピュータで実行される方法。
2. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の１回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項１に記載の方法。
3. 複数の前記アバターが表示され、異なるアバターはそれぞれ異なる受信した前記生理的パラメータを反映することを特徴とする請求項１に記載の方法。
4. 少なくとも１つのアバターは呼吸の活動を反映し、且つ少なくとも１つのアバターは心臓の活動を反映することを特徴とする請求項３に記載の方法。
5. 少なくとも１つのアバターは、その視覚的な表現の一部分又は全体が吸気及び呼気を反映するタイミングで拡張し及び収縮するように、呼吸のパラメータによって制御されることを特徴とする請求項１に記載の方法。
6. 前記呼吸アバターの視覚的な表現は、１回排気量を反映する振幅で拡張し及び収縮するように制御される少なくとも１つの肺の画像を含むことを特徴とする請求項５に記載の方法。
7. 少なくとも１つのアバターは、その視覚的な表現の一部分又は全体が心臓拡張及び心臓収縮を反映するタイミングで拡張し及び収縮するように、心臓パラメータによって制御されることを特徴とする請求項１に記載の方法。
8. 前記心臓アバターの視覚的な表現は、１回排出量を反映する振幅で拡張し及び収縮するように制御される少なくとも１つの心臓の画像を含むことを特徴とする請求項７に記載の方法。
9. 少なくとも１つのアバターは、被験者の活動レベルの指数によって制御され、且つ、対応する活動レベルを描写するように制御される画像を含む視覚的な表現を有することを特徴とする請求項１に記載の方法。
10. 前記活動レベルアバターの画像は、人間の表現を含むことを特徴とする請求項９に記載の方法。
11. １以上の時間間隔中における被観察被験者の１以上の生理的パラメータの瞬時毎の値を反映する生理的観察データを受信し、
    少なくとも１つのアバターの視覚的な表現のグラフィック記述言語中の記述を検索し、前記アバター記述は、前記被観察被験者の前記生理を反映するように前記アバターを制御するための命令をさらに含み、
    前記受信された観察データ及び１つ以上の受信された前記生理的パラメータによって制御される前記アバターの瞬時毎の視覚的な表現を提供する前記検索された記述に依存して、複数のコンピュータ・ユーザ・インタフェース（ＵＩ）画像を生成し、
    前記アバターを含む前記生成された画像を表示することを特徴とするユーザ・インタフェースを表示するためのコンピュータで実行される方法。
12. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の一回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項１１に記載の方法。
13. 複数のアバターが表示され、異なるアバターはそれぞれ異なる受信した生理的パラメータを反映することを特徴とする請求項１１に記載の方法。
14. 少なくとも１つのアバターは呼吸の活動を反映し、且つ少なくとも１つのアバターは心臓の活動を反映することを特徴とする請求項１３に記載の方法。
15. 前記アバター記述は、生成された画像の一部分を記述する少なくとも１つのベクトルを含むことを特徴とする請求項１１に記載の方法。
16. 前記アバター記述は、生成された画像の一部分を記述する少なくとも１つの多角形を含むことを特徴とする請求項１１に記載の方法。
17. 前記アバター記述は、生成された画像中に表示するために少なくとも１つの表示可能な画像を含むことを特徴とする請求項１１に記載の方法。
18. 前記アバター記述は、少なくとも１つのアニメーション・シーケンスを含むことを特徴とする請求項１１に記載の方法。
19. 前記アニメーションは、生理的速度を反映する１以上の受信された生理的パラメータによって制御された速度でユーザ・インタフェース中に表示されることを特徴とする請求項１８に記載の方法。
20. 少なくとも１つのアバターを含み、
    前記アバターは、前記被観察被験者の生理を反映する視覚的な表現を有し、
    前記アバターの前記視覚的な表現の瞬時毎の外観は、被観察被験者の１以上の生理的パラメータによって制御されることを特徴とするコンピュータ・ユーザ・インタフェース。
21. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の一回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項２０に記載のユーザ・インタフェース。
22. 複数のアバターをさらに含み、異なるアバターはそれぞれ異なる生理的パラメータを反映することを特徴とする請求項２０に記載の方法。
23. 呼吸の活動を反映する少なくとも１つのアバター、及び心臓の活動を反映する少なくとも１つのアバターをさらに含むことを特徴とする請求項２０に記載の方法。
24. ユーザ・インタフェース（ＵＩ）を表示するためのコンピュータ・システムであって、
    前記システムは、コンピュータ読み取り可能な記憶装置を備え、
    前記コンピュータ読み取り可能な記憶装置は、１以上の時間間隔中における被観察被験者の１以上の生理的パラメータの瞬時毎の値を反映する生理的観察データを受信して前記被観察被験者の前記生理を反映する視覚的な表現を有する少なくとも１つのアバターを含むコンピュータ・ユーザ・インタフェースを表示するステップを、プロセッサに実行させるためのコード化された命令を内部にストアしており、
    前記アバターの前記視覚的な表現の瞬時毎の外観は、１以上の受信された前記生理的パラメータによって制御されることを特徴とするユーザ・インタフェースを表示するためのコンピュータ・システム。
25. 前記生理的観察データが受信される１以上の生理的センサを備える装着可能なアイテムをさらに含むことを特徴とする請求項２４に記載のコンピュータ・システム。
26. 前記装着可能なアイテムは、前記被観察被験者が実質的に制約のない方法で普通の日常活動を実行することができるように構成され且つ配置されることを特徴とする請求項２５に記載のコンピュータ・システム。
27. 前記生理的センサは、心臓センサ、呼吸センサ、加速度計、心電図センサ、脳波図センサ、眼電図センサ、筋電図センサ、体温センサ、中核体温センサ、血中酸素センサ、音センサ、超音波センサ、及び電気インピーダンス・センサのうち１つ以上を含むことを特徴とする請求項２５に記載のコンピュータ・システム。
28. 少なくとも１つの前記生理的センサは、磁気プレチスモグラフ（「ＩＰ」）技術に基づくことを特徴とする請求項２５に記載のコンピュータ・システム。
29. 少なくとも１つの前記ＩＰ技術センサは、胸部心電計の信号を返すために胸部中央に置かれることを特徴とする請求項２８に記載のコンピュータ・システム。
30. 観察データが前記装着可能なアイテムから前記受信コンピュータ・システムへと伝達される無線ネットワーク・リンクをさらに備えることを特徴とする請求項２５に記載のコンピュータ・システム。
31. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の一回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項２４に記載のコンピュータ・システム。
32. 複数のアバターが表示され、異なるアバターはそれぞれ異なる受信した生理的パラメータを反映することを特徴とする請求項２４に記載のコンピュータ・システム。
33. 少なくとも１つのアバターは呼吸の活動を反映し、且つ少なくとも１つのアバターは心臓の活動を反映することを特徴とする請求項２４に記載のコンピュータ・システム。
34. 表示することには、少なくとも１つのアバターの視覚的な表現のグラフィック記述言語中の記述を検索すること（前記アバター記述は、前記被観察被験者の前記生理を反映させるよう前記アバターを制御するための命令をさらに含む）、並びに、前記受信された観察データ及び１以上の受信された前記生理的パラメータによって制御される瞬時毎の前記アバターの視覚的な表現を提供する前記検索された記述に依存して、複数のコンピュータ・ユーザ・インタフェース画像を生成することをさらに含むことを特徴とする請求項２４に記載のコンピュータ・システム。
35. 複数のコンピュータをさらに備え、
    第１のコンピュータは生成されたユーザ・インタフェースを表示し、且つ、少なくとももう１つの他のコンピュータは１以上のアバター記述を検索し且つ前記検索されたアバター記述から１以上のユーザ・インタフェース画像を生成することを特徴とする請求項３４に記載のコンピュータ・システム。
36. 表示装置付の訓練シミュレータ、表示装置付の携帯情報端末、表示装置付の携帯用ＰＣ、表示装置付の携帯電話、表示装置付の携帯用電子端末、表示装置付のデジタルカメラ、表示装置付の腕装着用装置、及び表示装置付のデジタル腕時計のうち１つ以上をさらに含むことを特徴とする請求項２４に記載のコンピュータ・システム。
37. プロセッサに請求項１又は請求項１１のステップを実行させるためのコード化された命令を含むコンピュータ読み取り可能なリムーバブル記憶装置。
38. １以上の訓練期間中における被観察被験者からの１以上の生理的パラメータの瞬時毎の値を反映する生理的観察データを受信し、
    前記訓練期間中に１つ以上のアバターを含むコンピュータ・ユーザ・インタフェース及び訓練計画、訓練進捗及び訓練目的のうち１つ以上に関する情報を前記被験者に表示し、
    前記アバターの視覚的な表現の瞬時毎の外観は、前記アバターが訓練中の前記被験者の瞬時毎の生理をリアルタイムで反映するように、１つ以上の受信された前記生理的パラメータによって制御されることを特徴とする個別の訓練又はリハビリテーションのための方法。
39. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の一回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項３８に記載の方法。
40. 複数のアバターが表示され、異なるアバターはそれぞれ異なる受信した生理的パラメータを反映することを特徴とする請求項３８に記載の方法。
41. 少なくとも１つのアバターは呼吸の活動を反映し、且つ少なくとも１つのアバターは心臓の活動を反映することを特徴とする請求項４０に記載の方法。
42. 前記コンピュータ・ユーザ・インタフェースは、被験者の訓練計画、被験者の訓練進捗、及び被験者の訓練目標のうち１つ以上を反映する視覚的な表現を有する１つのアバターをさらに含むことを特徴とする請求項３８に記載の方法。
43. 該装着可能なアイテムを装着する被観察被験者が、実質的に制約のない方法で普通の訓練活動を実行することができるように構成され及び配置される１以上の生理的センサを備える装着可能なアイテムと、
    ユーザ表示装置を備える訓練装置と、
    コンピュータ読み取り可能な記憶装置を備えるコンピュータ・システムと、を備え、
    前記コンピュータ読み取り可能記憶装置は、１以上の訓練期間中における被観察被験者からの１以上の生理的パラメータの瞬時毎の値を反映する生理的観察データを受信して前記訓練期間中に１つ以上のアバターを含むコンピュータ・ユーザ・インタフェース及び訓練計画、訓練進行及び訓練目的のうち１つ以上に関する情報を前記被験者に表示するステップを、プロセッサに実行させるためのコード化された命令を内部にストアしており、
    前記アバターの視覚的な表現の瞬時毎の外観は、前記アバターが訓練中の前記被験者の瞬時毎の生理をリアルタイムで反映するように、１つ以上の受信された前記生理的パラメータによって制御されることを特徴とする個別の訓練又はリハビリテーションのためのシステム。
44. 前記生理的センサは、心臓センサ、呼吸センサ、加速度計、心電図センサ、脳波図センサ、眼電図センサ、筋電図センサ、体温センサ、中核体温センサ、血中酸素センサ、音センサ、超音波センサ、及び電気インピーダンス・センサのうち１つ以上を含むことを特徴とする請求項４３に記載のシステム。
45. 前記装着可能なアイテムは、観察データを前記コンピュータ・システムに転送するための無線装置をさらに備えることを特徴とする請求項４３に記載のシステム。
46. 前記生理的パラメータは、呼吸数、１回排気量、心拍数、心臓の一回排出量、体温、活動指数、及び生理的ストレス指数のうち１つ以上を含むことを特徴とする請求項４３に記載のシステム。
47. 複数のアバターが表示され、異なるアバターはそれぞれ異なる受信した生理的パラメータを反映することを特徴とする請求項４３に記載のシステム。
48. 少なくとも１つの表示されたアバターは呼吸の活動を反映し、且つ少なくとも１つのアバターは心臓の活動を反映することを特徴とする請求項４７に記載のシステム。
49. 前記コンピュータ・ユーザ・インタフェースは、前記被験者の訓練計画、前記被験者の訓練進捗、及び前記被験者の訓練目標のうち１つ以上を反映する視覚的な表現を有する１つのアバターをさらに含むことを特徴とする請求項４７に記載のシステム。
    

Images