JP5797757B2 - サーマルイメージングを用いたユーザインタフェースシステムおよび方法 - Google Patents

Description

［優先権主張］
本願は、２０１０年９月２３日に出願された、BLOW TRACKING INTERFACE SYSTEM AND METHODと題する同一出願人Ruxin Chen およびSteven Osmanによる米国特許出願第12/889,347号の優先権の利益を主張し、その開示内容全体を参照によりここに組み入れる。

［技術分野］
本発明の実施の形態は、コンピュータシステムに対するユーザインタフェースに関し、特にコンピュータプログラムに対する制御入力を提供あるいは増強するためにサーマルイメージング（熱画像）を用いるユーザインタフェースに関する。

コンピュータプログラムに入力を提供するために用いることのできる数多くの制御インタフェースがある。そのようなインタフェースの例には、コンピュータキーボード、マウスまたはジョイスティックコントローラのような周知のインタフェースが含まれる。そのようなインタフェースは典型的には、コンピュータプログラムの実行に影響を与える特定のコマンドや入力信号にマップされる電気信号を提供するアナログまたはデジタルのスイッチをもつ。

最近、他のタイプの入力に依存するビデオゲームとともに利用するためにインタフェースが開発されている。マイクロホンやマイクロホンアレイにもとづくインタフェースや、カメラやカメラアレイにもとづくインタフェースがある。マイクロホンにもとづくシステムは、キーボード入力を話し言葉の入力で置き換える音声認識システムのために用いられる。マイクロホンアレイにもとづくシステムは、音を解釈するだけでなく音源を追跡することができる。カメラにもとづくインタフェースは、ジョイスティックを、ユーザまたはユーザが持っているオブジェクトのジェスチャや動きで置き換えることを試みる。

インタフェースが違えば長所短所も異なる。キーボードインタフェースはテキスト入力には適しているが方向コマンドの入力にはあまり役に立たない。ジョイスティックとマウスは方向コマンドの入力に適しているがテキスト入力にはあまり役に立たない。カメラにもとづくインタフェースは２次元でオブジェクトを追跡するのに適しているが、３次元でオブジェクトを追跡するには、一般的に何らかの増強を要する（たとえば、二つのカメラを使用するか、エコーロケーション（反響定位）のある単一のカメラを用いる）。そのような補強はカメラにもとづくシステムのコストを増大させる。カメラにもとづくシステムの中には、１以上のカメラで取得された画像においてユーザの顔の動きを追跡するための顔トラッキングシステムを用いるものがある。しかしながら、イメージトラッキングシステムは、人の顔と似たオブジェクトによって混乱することがある。さらに、そのようなシステムは、画像内の人物を画像内の背景と区別するのが難しい。

直感的に利用でき、比較的実装に費用がかからないインタフェースを提供して上記の欠点を克服することが望ましい。

本発明の実施の形態はこのような文脈の中で生じた。

本発明のある態様は、コンピュータプログラムの制御のためのサーマルイメージングインタフェース方法である。この方法は、ａ）１以上のサーモグラフィックカメラを用いて１以上のオブジェクトの１以上の熱赤外線画像を取得するステップと、ｂ）前記１以上の熱赤外線画像を分析するステップと、ｃ）前記１以上の熱赤外線画像から前記１以上のオブジェクトの１以上の特徴を特定するステップと、ｄ）前記１以上の特徴をコンピュータプログラムにおける制御入力として用いるステップとを含む。

本発明の教示内容は、添付の図面と併せて、以下の詳細な説明を考慮すれば容易に理解できる。
本発明の実施の形態に係るコンピュータプログラムの制御のためのサーマルイメージングインタフェースを説明する概略図である。 本発明の実施の形態に係るサーマルイメージングインタフェースの利用を説明する概略図である。 本発明の実施の形態に係るサーマルイメージングインタフェースの利用を説明する概略図である。 本発明の代替的な実施の形態に係るサーマルイメージングインタフェースの利用を説明する概略図である。 本発明の別の代替的な実施の形態に係るサーマルイメージングインタフェースの利用を説明する概略図である。 本発明の実施の形態に係るサーマルイメージングインタフェースを利用するコンピュータ実装された装置の例を説明するブロック図である。 本発明の実施の形態に係るサーマルイメージングインタフェース方法を実装するためのコンピュータ読み取り可能なインストラクションが含まれた持続的なコンピュータ読み取り可能な記録媒体を説明するブロック図である。

本発明の実施の形態は、制御入力を提供するためにサーマルイメージング（熱画像）を通じて様々なユーザ特性を検出することにもとづいた、コンピュータプログラムのための新しいユーザインタフェースを実装する。

イントロダクション
本発明の実施の形態は、コンピュータシステムに対する入力を提供または増強するためにユーザインタフェースとともにサーマルイメージング（熱画像）を用いることを通して、先行技術の欠点を克服することができる。サーマルイメージングカメラは、画像内のオブジェクトの温度または温度変化に関する情報を提供することができる。温度変化によって、従来の（可視光の）カメラで撮られた画像では同一に見えるオブジェクトを区別することができる。温度変化はまた、コンピュータプログラムを制御するために使うことのできる、各オブジェクトの特徴を検出するためにも用いられる。

実施の形態
本発明の実施の形態の例は図１を参照してまず理解される。図１は、サーマルイメージングインタフェースを用いてコンピュータプログラムを制御するためのシステムを説明する概略図である。システム１００は、一般にはコンピュータプロセッシングシステム１０５と結合されたサーモグラフィックカメラ１０３を含む。サーモグラフィックカメラ１０３は、ユーザ１０１がディスプレイ１０７に顔を向けたときにカメラ１０３に顔を向けることになるように、プロセッシングシステム１０５と結合されたビデオディスプレイ１０７に隣接する位置に置かれる。

様々なユーザの特徴（心拍数（heat rate）、呼吸数（respiration rate）など）を追跡するためにサーモグラフィックカメラ１０３を利用することは、ユーザの体にセンサをつける必要がないため、特に有利である。ユーザに関する付加的な情報は、あまり侵入すること（intrusion）なく取得することができる。サーモグラフィックイメージングを通してユーザの心拍数を追跡することにより、身体に脈拍計を取り付ける必要がなくなる。同様に、サーモグラフィックイメージングを通して呼吸数を追跡することにより、ユーザの顔にヘッドセットやマイクロホンを取り付ける必要がなくなる。究極的には、ユーザの可動性と快適さを犠牲にすることなく、コンピュータプログラムの機能性を、この付加的な情報の処理を通じてさらに最適化することができる。

サーモグラフィックカメラ１０３を用いてユーザの特徴を判定することはまた、ユーザの特徴を解明するためにユーザがコントローラデバイスを手でもつ必要がないため、有利である。これによってユーザは他のタスクに手を使うことができたり、コントローラに他のタスクをさせることができる。

ここでは、サーモグラフィックカメラは、前方赤外線（FLIR; Forward Looking InfraRed）カメラと呼ばれるタイプのカメラ、すなわち赤外線放射を用いて画像を形成する赤外線カメラのことである。サーモグラフィックカメラ１０３は、可視光を用いて画像を形成するカメラに似た方法で１以上のレンズおよびセンサを用いて画像を形成する。可視光カメラの４５０〜７５０ナノメートルの範囲の代わりに、赤外線カメラは、１４０００ナノメートル（１４マイクロメートル）の波長で動作する。

サーモグラフィックカメラ１０３は、すべての物体は、物体の温度の作用として、ある量の黒体放射を放射するという事実を利用することができる。一般的に言えば、物体の温度が高ければ高いほど、物体は、より多くの赤外線放射を黒体放射として放射する。通常のカメラが可視光を検出するのと似た方法で、赤外線カメラはこの放射を検出することができる。しかしながら、物体は完全な暗闇でさえ赤外線を放射するため、周辺光のレベルは問題とならない。

本発明の実施の形態は、２以上のサーモグラフィックカメラを用いてもよい。たとえば、３次元情報を提供できる立体（３Ｄ）画像を提供するために２つのサーモグラフィックカメラを並べて配置してもよい。センサまたはセンサアレイにシーンの異なるビューを結像する複数のレンズを並べた単一のデバイスにおいて、等価的なサーモグラフィ「ステレオ」カメラを実装してもよい。様々なユーザの特徴（呼吸量や呼吸流速など）の３次元的表現を生成するために複数のカメラを用いてもよい。

サーモグラフィックカメラ１０３は、冷却熱センサ、気温で動作する非冷却熱センサ、または小さな温度制御エレメントを用いて気温に近い温度で安定化されたセンサを用いてもよい。最新の非冷却検出器は、赤外線放射によって熱せられたときの抵抗、電圧または電流における変化を検出するセンサを用いる。これらの変化は測定され、センサの動作温度における値と比較される。非冷却赤外線センサは画像ノイズを減らすために動作温度まで安定化させることができるが、低温にまで冷却されることはなく、巨大で高価な低温冷却器を要しない。このことが赤外線カメラをより小さくコストのかからないものにしている。

非冷却検出器はたいてい焦電気性で強誘電性の物質すなわちマイクロボロメータ技術にもとづいている。これらの物質は、高度に温度依存の特性をもつピクセルアレイを有する検出器を形成するために用いられる。これらのピクセルは周囲の環境から熱的に絶縁され、電気的に読み取ることができる。

強誘電性検出器は、センサ物質の相転移温度に近いところで動作する。検出器のピクセル温度は、検出器の物質上の高度に温度依存の分極電荷にキャリブレートされる。ｆ／１光学で３２０×２４０センサをもつ強誘電性検出器の達成された等価雑音温度差（NETD; noise equivalent temperature difference）は７０〜８０ｍＫである。強誘電性センサアセンブリの例は、熱的に絶縁されたポリイミド結合によって接着されたバリウム・ストロンチウム・チタン酸塩の***物を含む。赤外線検出器に用いることのできる他のありうる相変化物質は、ランタン・バリウム・亜マンガン酸塩（LBMO）、メタル絶縁体相変化物質を含む。

センサ物質の電気的抵抗の小さな変化を検出することができる他の検出器がある。そのようなデバイスはマイクロボロメータと呼ばれる。マイクロボロメータは、２０ｍＫまでの等価雑音温度差まで到達可能である。典型的なマイクロボロメータは、シリコンベースのスキャニングエレクトロニクス上でシリコン窒化物ブリッジに浮遊した薄いフィルムバナジウム（Ｖ）酸化物のセンシングエレメントを含む。このセンシングエレメントの電気的抵抗はフレーム毎に一度測定される。

サーモグラフィックカメラ１０３の位置は、図１に示された例において任意であることに留意する。サーモグラフィックカメラ１０３は、ユーザ１０１に対面するビデオディスプレイ１０７の上に置くことができる。あるいは、サーモグラフィックカメラは、ハンドヘルドゲームコントローラまたはポータブルゲームデバイスに搭載することができる。もっとも、本発明の実施の形態はこれらの構成に限定されない。

サーモグラフィックカメラのイメージセンサの各ピクセルにおける温度（または温度差）の値はコンピュータシステム１０５のメモリに配列として格納することができる。コンピュータシステム１０５上で実行されるプログラムは、その配列における温度パターンを解析し、ユーザの周囲からユーザを区別したり、サーモグラフィックカメラ１０３からユーザまでの距離を測定することができる。さらに、その配列における温度パターンを用いて、ユーザの呼吸数１１５とユーザの心拍数１１３を判定してもよい。

ある実施の形態では、第２のサーモグラフィックカメラまたは通常の（すなわち可視光の）カメラを補助的なセンサ１０９として用いて、ユーザをさらに特徴づけるサーモグラフィ、音響、ビデオイメージの情報などの付加的な情報源を提供してもよい。一例として、限定するものではないが、別個の可視光カメラ１０９をサーモグラフィックカメラ１０３と結合してもよい。この別個の（付加的な）可視光カメラが最初に部屋のすべてのオブジェクトの位置を決定してもよい。しかしながら、オブジェクトとその背景の間で色やテクスチャの変化がないため、オブジェクトは周囲と混ざってしまうことがある。部屋のオブジェクトの位置とオブジェクトの特定の領域の位置をより正確に特定するために、サーモグラフィックカメラ１０３は、可視光カメラ１０９からの情報と結合することのできる付加的なサーモグラフィック情報を提供することができる。たとえば、サーモグラフィック情報をマイクロホンまたはマイクロホンアレイからの音響情報とともに用いて、与えられたサーモグラフィックイメージ内のどの部分が発声、口笛、せき、くしゃみなどの音源であるかを特定することができる。

図２Ａおよび２Ｂは、本発明の実施の形態に係る熱赤外線イメージングを用いてユーザの周囲に対するユーザの位置を特定する例を説明する図である。

多くのビデオゲームプラットフォームは、現在は可視光カメラを用いて、オブジェクトや環境が現実の物理的位置にしたがって（たとえば拡張現実ソフトウェアを介して）ゲームと相互作用するように、オブジェクトと環境の空間的位置を決定している。オブジェクトの現実の物理的動きやアクションはゲームプレイ中の仮想オブジェクトのアクションにマップすることができる。このように、ビデオゲームシステムが視野内のオブジェクトを正確に知覚して区別することはますます重要になっている。

可視光カメラは視野内のオブジェクト間を区別する仕事をうまくこなすが、可視光カメラはすべての状況でオブジェクトを区別するようには作られていない。たとえば、オブジェクトの色またはテクスチャが背景の色またはテクスチャと似ているときは、可視光からの画像を分析するソフトウェアは、オブジェクトと背景の両方を、二つの区別できるオブジェクトではなく一つの大きなオブジェクトとして間違って分類するかもしれない。サーモグラフィックカメラで取得される情報を導入することにより、このタイプの不正確さの可能性を弱めることができる。

図２Ａは、本発明の実施の形態にしたがってオブジェクトを環境から区別するために熱赤外線イメージングを用いるシステムの例を説明する。サーモグラフィックカメラ２０３はコンピュータプロセッシングシステム２０５に結合される。ユーザ２０１がディスプレイ２０７に対面するときにサーモグラフィックカメラ２０３に対面するように、サーモグラフィックカメラ２０３は、プロセッシングシステム２０５と結合されたビデオディスプレイ２０７の近くに位置づけられる。さらに、可視光カメラ２０９Ａは、サーモグラフィックカメラ２０３と同じ方向に対面するように位置づけられる。可視光カメラ２０９Ａは補助的なセンサとして使用することができる。

ユーザ２０１は、背景（たとえば壁）２１７のすぐ正面に位置づけられる。この例では、ユーザ２０１は、背景２１７の色に近い色の服を着ている。当初、可視光カメラ２０９Ａは、視野内のすべてのオブジェクトの物理的位置を決定するために使われる。しかしながら、ユーザ２０１とその背景２１７の間で色の類似性があるために、可視光カメラ２０９Ａからの画像を分析するソフトウェアは、ユーザ２０１と背景２１７の両方を単一のオブジェクトとして認識する。

この問題は、サーモグラフィックカメラ２０３で取得される情報を導入することで解決することができる。このケースでは、画像分析ソフトウェアは、ユーザ２０１と環境２１７を特徴づける際、可視光カメラ２０９Ａで取得された情報をサーモグラフィックカメラ２０３で取得した情報で補う。上述のように、サーモグラフィックカメラ２０３は、黒体放射の放射にもとづいて環境の画像を取得することができる。ユーザ２０１は生きて呼吸している存在であるから、背景２１７（無生物の物体）とは完全に異なる黒体放射のスペクトルを放射する。黒体放射プロファイルをユーザ２０１と背景２１７の両方に対して比較することにより、コンピュータプロセッサ２０５によって実行される画像分析ソフトウェアは、一つではなく二つのユニークなオブジェクトが画像内に表されていると判定することができる。コンピュータプロセッサ２０５は、将来の識別と処理のためのセグメンテーションの手がかりをそれぞれのユニークなオブジェクトにタグ付けしてもよい。

いったんコンピュータプロセッサ２０５が、サーモグラフィックカメラ２０３によって視野内のオブジェクトの位置を特定することができるようになると、コンピュータプロセッサ２０５は、以前に決定されたセグメンテーションの手がかりを用いて、オブジェクトの動き（たとえば、ユーザの手や腕の動き）を追跡し続けるように構成される。サーモグラフィックカメラ２０３は、可視光カメラ２０９Ａと結合された場合、動きを追跡するための付加的な情報源を提供してシステムの全体的な正確性を高める。

視野内でオブジェクトを互いに区別するための代替的または補完的なメカニズムを提供するのに加えて、サーモグラフィックカメラは、視野内のオブジェクトの奥行きを決定するための補助的なメカニズムとしても作用する。図２Ｂは、本発明の実施の形態にしたがってオブジェクトの奥行きを判定するために熱赤外線イメージングを用いるシステムの一例を説明する。

ここでも、ユーザ２０１がディスプレイ２０７に対面するときにサーモグラフィックカメラ２０３に対面するように、サーモグラフィックカメラ２０３は、プロセッシングシステム２０５と結合されたビデオディスプレイ２０７の近くに位置づけられる。一例として、限定するものではないが、サーモグラフィックカメラ２０３と同じ方向に対面するように位置づけられた赤外線エミッタ・センサ２０９Ｂを補助的なセンサとして用いる。

奥行き検出の実施の形態において、赤外線エミッタ・センサ２０９Ｂを用いてオブジェクト（たとえばユーザ２０１）の距離を決定することができる。エミッタ２０９Ｂはユーザ２０１に向かって赤外光２０８のパルスを送出し、ユーザ２０１はそのパルスにおいて赤外光２０８の一部を反射する。センサ２０９Ｂは反射された赤外光２０８を検出する。エミッタ２０９Ｂによるパルスの放射とセンサ２０９Ｂによる反射パルスの検出の相対的なタイミングを判定することにより、エミッタ・センサ２０９Ｂからユーザ２０１の異なる部分までの距離ｄを推定することができる。

しかしながら、エミッタ・センサ２０９Ｂは、ときおり、対応するオブジェクトの全部または一部の奥行きｄの検出に失敗することがある。オブジェクト（またはオブジェクトの一部）がＩＲ黒体（すなわち赤外光を反射しない）である場合、エミッタ・センサ２０９Ｂは、赤外光の反射だけを使ってオブジェクトの特定の部分の奥行きを判定することができない。

この点において、サーモグラフィックカメラ２０３は、オブジェクトの奥行きを決定するための補完的な方法を提供してもよい。サーモグラフィックカメラ２０３は、上述のように、オブジェクトの黒体放射プロファイルを用いて物体を環境から識別してもよい。オブジェクト（たとえばユーザ２０１）を識別した後、コンピュータプロセッシングシステム２０５は、赤外線エミッタ・センサ２０９Ｂから取得された奥行きデータをサーマルイメージングから取得されたデータと比較してもよい。最終的にコンピュータプロセッシングシステム２０５は、サーマルイメージングデータを用いてオブジェクトの欠落部分の奥行きを補間してもよい。

本発明の他の実施の形態では、オブジェクトの奥行きｄは、サーモグラフィックカメラだけを利用して決定してもよい。一例として、限定するものではないが、サーモグラフィックカメラの位置（または他の既知の位置）から発する冷気はオブジェクトに対して吹いてもよい。サーモグラフィックカメラからオブジェクトまでの距離は、その冷気がオブジェクトに到達することによって起こされる熱的摂動に必要な時間を測定することによって測定することができる。

視野内のオブジェクトを特定して区別することができ、オブジェクトの相対的な奥行きを決定することができることに加えて、サーモグラフィックカメラは、呼吸数を検出することのできる能力を通して、ユーザ（またはユーザのグループ）についての付加的な情報を提供するように構成することもできる。

図３は、本発明の実施の形態にしたがってユーザのグループの中で話者を特定するために熱赤外線イメージングを用いるシステムの例を説明する。ここでもサーモグラフィックカメラ３０３はコンピュータプロセッシングシステム３０５と結合することができる。ユーザ３０１がディスプレイ３０７に対面するときにサーモグラフィックカメラ３０３に対面するように、サーモグラフィックカメラ３０３は、プロセッシングシステム３０５と結合されたビデオディスプレイ３０７の近くに位置づけられる。可視光カメラ３０９は、サーモグラフィックカメラ３０３と同じ方向に対面するように位置づけられ、補助的なセンサとして用いることができる。

当初、可視カメラ３０９は、たとえば、顔追跡と顔識別を用いることにより、部屋にいるすべてのユーザ３０１を特定する。プロセッシングシステム３０５が可視光カメラ３０９で取得された画像を解析することによってユーザ３０１を特定する際に直面する困難は、上述のように可視光カメラ画像データを赤外線画像データで補うことにより解決することができる。プロセッシングシステム３０５はサーモグラフィックカメラ３０３からの画像を分析し、画像のサーモグラフィックパターンからユーザの鼻と口の近くの温度を測定するとともにユーザの鼻の周りの空気の流れを測定することにより、各ユーザ３０１の呼吸数を検出する。抽出される情報は、いつ呼吸が始まり、終わったか、すなわち一つの呼吸の期間あるいは呼吸していない期間、たとえば、呼吸と呼吸の間の期間、呼吸の方向、および呼吸が吸い込みまたは吐き出しのいずれに関わるものであるかを決定することを含む。呼吸検出器としてのサーモグラフィックカメラの役割についてのより詳細な説明のために、米国特許出願第12/889,347号を参照するべきであり、その内容を参照によりここに取り込む。

特定のユーザに関連づけられた多くの異なる特徴を特定するためにユーザの呼吸数３１５を用いてもよい。ある例では、特定のユーザが話しているかどうかを特定するために、サーモグラフィックカメラ３０３によって判定された呼吸数３１５を用いることができる。各ユーザの呼吸パターン３１５を基準値として用いて、コンピュータプロセッシングシステム３０５は、ユーザの呼吸パターン３１５における不規則性を見つけることによっていつユーザがスピーキング３１４しているかを認識する。ユーザの呼吸パターン３１５における特定の変化は、ユーザがスピーキング３１４のプロセスにあることを示す。我々の例で説明したように、大きなユーザのグループ３０１の中で、サーモグラフィックカメラ３０３は、どのユーザがスピーチ３１４のプロセスにあるかを特定するのに特に有益である。

ユーザの呼吸数を検出するためにサーモグラフィックカメラ３０３を使用することにより、より侵入式の（intrusive）検出メカニズム（たとえばヘッドセットやマイクロホン）を用いる必要がなくなる。呼吸器官の情報をコンピュータプログラムに提供するためにユーザが体にセンサを取り付ける必要がなくなることにより、ユーザの体験と快適さのレベルが大いに強化される。

コンピュータプログラムを制御するためにサーモグラフィックカメラによって決定されたユーザの呼吸数を使用することは、スピーチ検出に限定されない。サーマルイメージングインタフェースを用いることのできる数多くの異なるコンピュータアプリケーションがある。たとえば、マイクロホンをもって歌う人の音をキャプチャし、ピッチ、タイミング、および歌の歌詞を決定するために音を分析することにより、ユーザの歌唱を判定するコンピュータプログラムがある。これらの特徴は、特定の歌のピッチ、タイミング、および歌詞に対する参照パラメータと比較することができる。ユーザの歌唱能力を判定する基準は、判定パラメータとしてユーザの呼吸を導入することで大きく拡張できる。コンピュータプログラムはサーモグラフィックイメージからの情報を用いて、歌の期間中のユーザの呼吸タイミングを判定する。これを参照パラメータと比較することで、ユーザの歌唱能力のより正確な判定がもたらされる。

さらに、ユーザの呼吸パターンを音声認識およびセキュリティのために用いてもよい。上述のように、サーモグラフィックカメラを用いてユーザの呼吸数やユーザの呼吸にもとづくパターンを検出することができる。コンピュータプロセッシングシステムはこの情報を用いて、観察された呼吸パターンを参照パターンと比較することにより、ユーザの顔の画像が本当に現実のユーザに対応するかどうかを特定することができる。さらに、話中のユーザの個別の呼吸パターンにもとづいて特定のユーザを識別してもよい。さらに、すべての個人がユニークな呼吸パターンをもつことから、サーモグラフィックカメラは、コンピュータプログラムに対する権限のないアクセスを防ぐためのセキュリティバリアとして作用しうる。

可視光画像の分析からの顔特定、声による話者特定、およびサーモグラフィックイメージから判定されるユーザの呼吸の分析による呼吸パターン識別を組み合わせることにもとづいてユーザを識別することができる。ユーザ識別の異なるモードを組み合わせて用いることにより、顔と声だけでユーザを識別するシステムをだますために写真と録音を用いてユーザ識別を偽造する試みに対抗するのに適したメカニズムを提供することができる。人が話しているときの呼吸パターンの分析は、識別性能を向上させるために特に重要である。

サーモグラフィックカメラが、ユーザの呼吸パターンに全体的または部分的にもとづいて、権限のあるユーザを識別した場合、コンピュータプログラムに対するアクセスが許可される。サーモグラフィックカメラが特定のサーモグラフィックイメージを現実のユーザに対応するものとして認識できないか、呼吸パターンにもとづいてユーザとして認識できない場合、コンピュータプログラムに対するアクセスは拒否される。そのような音声認識の強化は、セキュリティの最前線の一部として、あるいは、配置済みの既存のセキュリティシステムを強化する付加的なセキュリティメカニズムとして実装してもよい。

ユーザの呼吸を制御入力として利用する他の例は、同一出願人による米国特許出願第12/889,347号に記載されている。

本発明の別の実施の形態は、ユーザの心拍数を判定するためにサーモグラフィックカメラを用いる。検出された心拍数はコンピュータプログラムに対する制御として用いられる。図４は、本発明の実施の形態にしたがってユーザの心拍数を特定するために熱赤外線イメージングを用いることのできるシステムの例を説明する。

図４に示すシステム４００において、サーモグラフィックカメラ４０３はコンピュータプロセッシングシステム４０５に結合される。ユーザ４０１がディスプレイ４０７に対面するときにサーモグラフィックカメラ４０３に対面するように、サーモグラフィックカメラ４０３は、プロセッシングシステム４０５と結合されたビデオディスプレイ４０７の近くに位置づけられる。さらに、サーモグラフィックカメラ４０３と同じ方向に対面するように位置づけられた可視光カメラ４０９を補助的なセンサとして使用してもよい。

サーモグラフィックカメラ４０３はユーザ４０１の熱赤外線画像を取得する。熱赤外線画像は、ユーザの体の熱に関連づけられた黒体放射パターンを記録する。熱赤外線画像から、コンピュータプロセッシングシステム４０５は、１以上のユーザに対してユーザの心拍数、呼吸数、体温、または血圧のような１以上のバイタルサイン（生命兆候）４１３を測定してもよい。一例として、限定するものではないが、ユーザの心拍数は、ユーザの心拍から生じるユーザの皮膚における周期的な温度変化の速度または周期を判定することにより測定してもよい。ユーザの血圧は、たとえば、そのような周期的な温度変化の振幅から推定することができる。呼吸数は、ユーザの呼吸から生じるユーザの口および／または鼻の近くの周期的な温度変化の周期を決定することによって測定してもよい。ユーザの体温は、ユーザの体の関連する部分の温度測定値の長期的な平均値から決定されてもよい。温度測定値は、たとえば、ある期間の急激な変動を除去するためのローパスフィルタなどのフィルタリングにかけてもよい。皮膚温と中核体温の間の差を説明するために、加法的または乗法的なオフセットを長期的な平均値に適用してもよい。

本発明の実施の形態は、先の例で述べた特定のバイタルサインを用いる実装だけに限定されない。ある実施の形態は、心拍数、呼吸数、体温、および血圧以外のバイタルサインを用いてもよいことに留意する。そのような代替的なバイタルサインは、サーモグラフィックカメラ４０３によって取得された測定値から外挿してもよい。一例として、限定するものではないが、バイタルサインは、特定の場所の時間的または空間的温度変化、サーモグラフィック画像のある領域上の平均温度または平均温度変化から外挿してもよい。

サーマルイメージングを通してユーザのバイタルサイン４１３を決定することにより、侵入式（intrusive）デバイス（たとえば、パルスモニタ、パルス酸素濃度計、血圧バンド、あるいは体温計）をユーザに取り付ける必要性がなくなり、コンピュータプロセッシングシステム４０５にプログラムの制御に対する付加的な制御入力を提供することができる。

ユーザのバイタルサイン４１３をコンピュータプログラムのいろいろな面に対する制御として用いてもよい。一例として、限定するものではないが、ユーザの心拍数、呼吸数、体温、または血圧などを用いて、ビデオゲームのコンテクストにおいてプログラムを制御してもよい。ユーザの物理的環境に対応する仮想世界を生成するために使われるユーザ４０１やオブジェクト４１７の位置を決定するために、特定のビデオゲームはサーモグラフィックカメラ４０３の視野をスキャンすることが必要である。

オブジェクトを環境から区別するためにいろいろな方法が既に述べられてきたが、区別の手段としてユーザのバイタルサイン４１３を適用することは、上述の方法を補完する作用がある。ビデオゲームまたはコンピュータプログラムが生物のオブジェクトを無生物のオブジェクト４１７から区別する必要がある場合、たとえば、心拍数、呼吸数、体温、血圧などの１以上のユーザのバイタルサイン４１３を利用してもよい。無生物のオブジェクト４１７は周期的な表面温度の変化を受けないから、容易に生物のオブジェクト４０１から区別することができる。このように、オブジェクト（生物と無生物の両方）でいっぱいの部屋において、コンピュータプロセッシングシステム４０５は、サーモグラフィックカメラによって取得された熱赤外線画像を用いることで二つのカテゴリの間を区別することができる。

プロセッシングシステム４０５は、１以上のユーザのバイタルサインにしたがってプログラムの実行中にアクションが起きるレートを調整するように構成される。一例として、限定しないが、ビジュアルディスプレイ４０７上でグラフィックス４１９のアニメーションを制御するためにユーザの心拍数を使用してもよい。たとえば、ビジュアルディスプレイ４０７上のグラフィックス４１９は、ユーザ４０１の視覚的表現（すなわちアバター）であってもよい。ユーザの心拍数４１３を制御入力として用いることにより、アバターの表情、感情、またはアバターの他の視覚的兆候をそれに応じて変化させてもよい。興奮したユーザは、それに対応してその役割（たとえば、取り乱した動き、誇張された表情など）を振る舞う興奮したアバターをもってもよい。同様に、感情が抑制されたユーザは、それに対応して元気のないアバター（たとえば、落ち着いた動き、しんみりした表情など）をもってもよい。ユーザの呼吸数、血圧、体温、またはサーモグラフィ的に得られた他のバイタルサインを用いて、同様の方法でコンピュータアニメーションを制御してもよい。

あるいは、ビデオゲームのコンテクストでグラフィックス４１９のアニメーション以上のものを制御するためにユーザのバイタルサイン４１３を用いてもよい。たとえば、ゲームがプレイされるベースなど、ビデオゲームの他の側面をバイタルサインが制御してもよい。たとえば、ユーザ４０１がエクササイズゲームをしているならば、ゲームは、ユーザの心拍数、呼吸数、体温、血圧などに応じて困難さを増やしたり、減らしたりすることができる。一例として、限定しないが、ユーザの心拍数または呼吸数が比較的低い場合、ユーザ４０１により大きなチャレンジを提供するためにゲームは困難さを増やすことができる。ユーザの心拍数または呼吸数が有酸素容量を超える点にまで増えた場合、ユーザが息を正常に戻し、回復できるようにゲームは困難さを減らしてもよい。

さらに、本発明のある実施の形態では、プロセッサ４０５は、１以上のバイタルサイン４１３の分析の結果からユーザの健康状態を決定し、決定された健康状態にしたがってプログラムの実行状態を修正するように構成されてもよい。一例として、限定するものではないが、エクササイズゲームにおいて、ユーザの代謝作用が増えるにつれて、エクササイズの過程でユーザの体温が上がるかもしれない。サーモグラフィックカメラ４０３の感度に応じて、プロセッシングシステム４０５は、ユーザがいつになく高いまたは低い体温である（たとえば、これは、ユーザの通常の温度または典型的な人の期待温度によって測定される）ことを識別することができる。これは、熱があるか、または他の健康状態を示すものである。この情報は入力として用いられたり、ゲームにおける進行中のアクションを調整するために用いられたりする。

本発明の実施の形態は、エクササイズや代謝測定以外の理由で体温の異常を検出するなどのバイタルサインの分析に関わってもよいことに留意する。そのような分析は、体温以外のバイタルサインに関係することができる。たとえば、もしユーザの典型的な体温をシステム４００が学習しているならば、システムは、（特に、速い呼吸数および／または上昇した心拍数のような他の兆候がない場合において）ユーザの温度が異常に高いならば、ユーザは熱があるか他の医学的状態にあると決定することができる。プロセッシングシステム４０５は、この情報を入力として用いて、たとえば、ユーザに通知するメッセージを表示するなどにより、それに応じて状態を変化させることができる。そのメッセージには、医療専門家にコンタクトし、関連する連絡先を提供するためのアドバイスが含まれる。ある実装では、システム４００は、電子メール、ビデオ／ボイスチャット、スカイプ接続などにより、医療専門家にコンタクトしたり、サーモグラフィックカメラ４０３からのサーモグラフィックイメージおよび／またはプロセッシングシステム４０５からのバイタルサイン情報をリアルタイムで分析するために医療専門家に転送するように構成されてもよい。

別の実装では、システム４００は、ユーザ４０１の決定された健康状態に応じて、他の方法でプロセッシングシステム４０５上で走っているプログラムの実行状態を修正してもよい。たとえば、ディスプレイ４０７上に表示されたシーン（たとえば、ゲームシーン、テレビプログラム、またはビデオ）を、ユーザのそのような状態を検出したことに応答して、病気または体が弱ったユーザが見るのにより心地よいシーンに変更してもよい。表示されたシーンとともに提示される音のボリュームや性質についても同様に修正してもよい。

心拍数または呼吸数のようなバイタルサインを用いてどのようなバックグラウンドサウンドまたは音楽をプレイするかを制御してもよい。たとえば、ガンシューティングに関するビデオゲームプレイのコンテクストにおいて、ユーザの心拍数や呼吸数の変化によって発砲レートを増やしたり減らしたりすることができる。固定された個数の銃弾（たとえば３）を心拍または呼吸毎に発砲してもよい。ゲームプレイ中に現れるミサイルまたは発射物のような仮想オブジェクトのアクションのトリガーにバイタルサインをマップすることができる。たとえば、バイタルサインによって、ミサイルが前進するときにどれくらい速く回転するかを決定することができる。他の実施の形態では、プロセッシングシステム４０５は、心拍数または呼吸数のようなユーザのバイタルサインにバックグラウンドミュージックのテンポを同期させることができる。たとえば、システムは、心拍数または呼吸数をアップサンプリングまたはダウンサンプリングし、心拍数の倍数または約数でバックグラウンドサウンド（たとえば発砲、ドラムビート）を生成することができる。このように同期されたドラムビートをバックグラウンドミュージックにブレンドしてもよい。

さらに、コンピュータプログラムのある側面を制御するためにユーザのバイタルサイン４１３をユーザインタフェースデバイス４１９（たとえば、コントローラ、キーボード、ジョイスティックなど）と結合させてもよい。ユーザのバイタルサイン４１３は、ユーザインタフェースデバイス４２１の応答速度を制御してもよい。たとえば、ユーザ４０１がコントローラ４２１を用いて仮想世界における仮想武器の機能を指示する場合に、ユーザの心拍数を用いてトリガーとなるレスポンスタイムを制御してもよい。ユーザの心拍数が増加するにつれて、武器のレスポンス速度も速くなる。コントローラ４２１はコンピュータプロセッシングシステム４０５と直接的に通信して、ユーザのバイタルサイン４１３に関する関連情報を取得してもよい。ユーザの動的なバイタルサイン４１３にしたがってユーザインタフェース４２１のレスポンス設定を調整することにより、ユーザにより現実的で本物のゲームプレイ体験を与えることができる。

図５は、上述のようにサーマルイメージングインタフェースを用いたコンピュータプログラムの制御を実装するために使われるコンピュータ装置５００のブロック図である。装置５００は、一般に、プロセッサモジュール５０１とメモリ５０５を備える。プロセッサモジュール５０１は１以上のプロセッサコアを含む。複数のプロセッサモジュールを用いるプロセッシングシステムの例は、セルプロセッサであり、その例は、たとえば、http://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/1AEEE1270EA2776387257060006E61BA/$file/CBEA_01_pub.pdfにおいてオンラインで参照可能なセルブロードバンドエンジンアーキテクチャに詳しく記述されており、その内容を参照によりここに組み込む。

メモリ５０５は、例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭなどの集積回路の形態を取ってもよい。そのメモリはまた、すべてのプロセッサモジュール５０１によってアクセス可能なメインメモリであってもよい。ある実施の形態では、プロセッサモジュール５０１は、各コアに関連付けられたローカルメモリを含む。プログラム５０３は、プロセッサモジュール５０１上で実行することができるプロセッサ読み取り可能なインストラクションの形態でメインメモリ５０５に格納されてもよい。プログラム５０３は、上述のように、コンピュータプログラムを制御するためのサーマルイメージングインタフェース方法を実装するように構成されたインストラクションを含む。特に、プログラムインストラクションは、サーモグラフィックカメラを用いてオブジェクトの熱赤外線画像を取得し、熱赤外線画像を分析し、熱赤外線画像からオブジェクトの特徴を特定し、その特徴を、コンピュータプログラム５０３またはプロセッサモジュール５０３によって実行される他のプログラムにおける制御入力として用いる。プログラム５０３は、任意の適切なプロセッサ読み取り可能な言語、たとえば、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、アセンブリ、ＭＡＴＬＡＢ、フォートラン、および他の様々な言語で書かれる。プログラム５０３の実行中、プログラムコードおよび／またはデータ５０７の一部は、メモリ５０５またはマルチプロセッサコアによる並列処理のためのプロセッサコアのローカルストアにロードされる。

入力データ５０７はメモリ５０５に格納されてもよい。一例であり、限定しないが、入力データ５０７は、サーモグラフィックカメラによって判定されるユーザ／オブジェクトの特徴を表現するデータを含んでもよい。

装置５００はさらに、入出力（Ｉ／Ｏ）装置５１１、電源（Ｐ／Ｓ）５１３、クロック（ＣＬＫ）５１５およびキャッシュ５１７などの周知のサポート機能５０９を備えてもよい。装置５００はオプションとして、プログラムおよび／またはデータを格納するためのディスクドライブ、ＣＤ−ＲＯＭドライブ、テープドライブなどの大容量記憶装置５１９を備えてもよい。装置５００はまた、オプションとして、装置５００とユーザの相互作用を容易にするために、ディスプレイユニット５２１、熱的特徴検出部５１８、およびユーザインタフェースユニット５２５を備えてもよい。ディスプレイユニット５２１は、テキスト、数値、グラフィカルシンボルや画像を表示する陰極線管（ＣＲＴ）、またはフラットパネルスクリーンの形態であってもよい。

熱的特性検出部５１８は、測定された温度変化からユーザの心拍数、呼吸数、および位置を識別するのに十分な温度の空間的および時間的変動を検知するセンサを含んでもよい。好適な実施の形態では、熱的特性検出部５１８は、図１を参照して上述したように動作するサーモグラフィックカメラを含む。サーモグラフィックカメラのイメージセンサの各ピクセルにおける温度（または温度差）の値は、メモリ５０５に配列として格納することができる。プログラム５０３は、ユーザの位置を特定し、ユーザの心拍数および呼吸数に対応する熱的パターンを特定するために配列に格納された温度パターンを分析することができる。この情報は制御入力として使用してもよい。

ある実施の形態では、２以上の熱的特性検出部５１８があってもよい。ある実施の形態では、各熱的特性検出部５１８は、オプションとして、好適に構成されたインストラクションを走らせる専用プロセッサユニット５２０を含むか、専用プロセッサユニット５２０に結合されていてもよい。そのような実施の形態では、各専用プロセッサユニット５２０が分散システムの一部であってもよく、分散システムにおいて、各専用プロセッサユニット５２０は、対応する検出部５１８のセンサによって生成された測定値を少なくとも処理してもよい。専用プロセッサユニット５２０の出力は、プロセッサモジュール５０１によって実装されるマスタ制御システムへの入力に寄与してもよい。そのような実装は、プログラムが熱的特性検出部５１８の詳細を知る必要がないから、プログラム５０３の設計を簡単化する。そのような構成はまた、プロセッサモジュール５０１上の処理負荷の一定量を、熱的特性検出部５１８に関連づけられた専用プロセッサにオフロードすることを可能にする。その結果、プロセッサモジュール５０１およびプログラム５０３は、装置５００に含まれる熱的特性検出部の数によって影響されることが少なくなる。

一例として、限定しないが、専用プロセッサユニット５２０は、サーモグラフィックカメラによって取得された熱赤外線画像を分析し、１以上の熱赤外線画像から１以上のオブジェクトの１以上の特徴を識別し、その特徴を用いてコンピュータプログラム５０３の制御入力を提供するように構成される。

ユーザインタフェース５２５は、キーボード、マウス、ジョイスティック、ライトペン、マイクロホン、従来のデジタルカメラ、加速度計、ジャイロスコープや他の装置を備えてもよく、これらは、熱的特徴検出部５１８と併せて使われてもよい。装置５００はまた、ネットワークインタフェース５２３を含み、これにより、当該装置がインターネットのようなネットワーク上で他の装置と通信することが可能になる。これらの構成要素はハードウェア、ソフトウェア、ファームウェアまたはこれらの２以上の組み合わせによって実装される。

プロセッサモジュール５０１、メモリ５０５、ユーザインタフェース５２５、および装置５００の他のコンポーネントは、システムバス５２７を介して互いに信号（たとえばコードインストラクションおよびデータ）をやりとりする。

別の実施の形態によれば、コンピュータプログラムを制御するためのサーマルイメージングインタフェース方法を実行するためのインストラクションをコンピュータ読み取り可能な記憶媒体に格納してもよい。一例として、これに限られないが、図６は、本発明の実施の形態に係る持続的なコンピュータ読み取り可能な記憶媒体６００の例を示す。記憶媒体６００には、コンピュータ・プロセッシング・デバイスが読み取って解釈することのできるフォーマットで格納されたコンピュータ読み取り可能な命令が含まれる。一例として、これに限られないが、コンピュータ読み取り可能な記憶媒体６００は、ＲＡＭまたはＲＯＭのようなコンピュータ読み取り可能なメモリ、固定ディスクドライブ（たとえば、ハードディスクドライブ）に対するコンピュータ読み取り可能なストレージディスク、またはリムーバブルディスクドライブであってもよい。さらに、コンピュータ読み取り可能な記憶媒体６００は、フラッシュメモリデバイス、コンピュータ読み取り可能なテープ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ（商標）、ＨＤ−ＤＶＤ、ＵＭＤ、あるいは他の光記憶媒体を含む。

ストレージメディア６００は、サーマルイメージング（熱画像）インタフェースを実装するように構成されたサーマルイメージングインストラクション６０１を含む。サーマルイメージングインストラクション６０１は、図２から図４を参照して上述した方法にしたがってコンピュータプログラムを制御するサーマルイメージングインタフェース方法を実装するように構成される。具体的には、サーマルイメージングインタフェースインストラクション６０１は、サーモグラフィックカメラの視野において１以上のユーザの熱赤外線画像を取得する熱赤外線画像取得インストラクション６０３を含む。サーマルイメージングインストラクション６０１は、さらに熱赤外線画像分析インストラクション６０５を含む。これらのインストラクションが実行されると、プロセッサは入力デバイスからの信号を分析し、取得された熱赤外線画像に関連づけられた熱的パターンを決定する。

サーマルイメージングインストラクション６０１は、さらに、熱赤外線画像から取得された熱的パターンを評価して、ユーザを特定し、ある特徴（たとえば、位置、深さ、呼吸数、心拍数）を決定するためのユーザ特徴特定インストラクション６０７を含む。

本発明の好ましいバージョンを参照しながらかなり詳細に本発明を説明したが、他のバージョンも可能である。したがって、添付の請求項の趣旨および範囲は、ここに含まれる好ましいバージョンの説明に限定されるべきではない。むしろ、本発明の範囲は、添付の請求項をその均等物の全範囲とともに参照することで決定されるべきである。

この明細書（添付の請求項、要約、図面を含めて）に開示したすべての特徴は、明示的に断らない限り、同じ目的または等価ないしは類似の目的を達する代替的な特徴で置き換えることができる。したがって、明示的に断らない限り、開示された各特徴は、等価または類似の特徴の包括的な体系のほんの一例である。いずれの特徴も、好ましいかどうかを問わず、他の特徴と組み合わせてもよい。請求項において、明示的に断らない限り、各項目は１またはそれ以上の数量である。請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項のいずれの構成も、３５ＵＳＣ§１１２第６パラグラフに規定された「手段」または「ステップ」として解釈されるものではない。特に請求項において「〜のステップ」を用いても３５ＵＳＣ§１１２第６パラグラフの規定を行使することを意図したものではない。

この明細書と同時に提出され、この明細書とともに公衆の閲覧に付されたすべての書面に読者の注意は向けられるものであり、それらの書面の内容を参照によりここに組み込む。

Claims (26)

1. コンピュータプログラムの制御のためのサーマルイメージングインタフェース方法であって、
   ａ）１以上のサーモグラフィックカメラを用いて１以上のオブジェクトの１以上の熱赤外線画像を取得するステップと、
   ｂ）前記１以上の熱赤外線画像を分析するステップと、
   ｃ）前記１以上の熱赤外線画像から前記１以上のオブジェクトの１以上の特徴を特定するステップと、
   ｄ）前記１以上の特徴をコンピュータプログラムにおける制御入力として用いるステップとを含み、
   前記オブジェクトはユーザを含み、前記１以上の特徴は、前記１以上のユーザの前記１以上の熱赤外線画像における温度または温度変化を測定することによって判定される前記１以上のユーザの１以上のバイタルサインを含み、
   ステップｄ）は、前記１以上のユーザのバイタルサインにしたがってプログラムの実行中にアクションが起きるレートを調整するか、前記１以上のユーザのバイタルサインにしたがってグラフィックスのアニメーションを制御することにより、前記１以上のユーザのバイタルサインをコンピュータプログラムにおける制御入力として用いる方法。
2. 前記コンピュータプログラムは、前記１以上のバイタルサインを、プログラムの実行中に起こるアクションのペースを制御するために利用する請求項１の方法。
3. 前記アクションのペースは音楽のテンポを含む請求項２の方法。
4. 前記コンピュータプログラムは、前記コンピュータプログラムに関連づけられたグラフィックスを制御するために前記１以上のバイタルサインを用いる請求項１の方法。
5. 前記コンピュータプログラムは、前記コンピュータプログラムと連動して前記１以上のユーザの性能を測定するために前記１以上のバイタルサインを用いる請求項１の方法。
6. 前記コンピュータプログラムは、生物オブジェクトを無生物オブジェクトから区別するために前記１以上のバイタルサインを用いる請求項１の方法。
7. 前記コンピュータプログラムは、前記コンピュータプログラムに関連づけられたユーザインタフェースのレスポンス速度を制御するために前記１以上のバイタルサインを用いる請求項１の方法。
8. 前記１以上のバイタルサインを仮想オブジェクトのアクションのトリガーにマップする請求項１の方法。
9. 前記１以上のバイタルサインをサンプルし、前記コンピュータプログラムによって音を生成するために使用する請求項１の方法。
10. 前記１以上のバイタルサインは心拍数、呼吸数、体温、または血圧である請求項１の方法。
11. 前記１以上のバイタルサインを分析するステップと、前記１以上のバイタルサインの分析の結果からユーザの健康状態を判定するステップとをさらに含む請求項１０の方法。
12. ステップｃ）における前記１以上の特徴は、前記ユーザの鼻と口の周辺の空気の流れおよび温度を測定することによって判定される各ユーザに対する呼吸パターンを含む請求項１の方法。
13. 前記１以上のユーザの間から発せられる音の発信源を特定するために前記１以上のユーザに対する呼吸パターンを用いる請求項１２の方法。
14. 前記１以上のユーザが権限のあるユーザであるかどうかを判定するために前記１以上のユーザに対する呼吸パターンを用いる請求項１２の方法。
15. ステップｃ）における前記１以上の特徴は、前記１以上の熱赤外線画像を用いた補間を加味して赤外線反射によって判定された、サーモグラフィックカメラに対する前記１以上のオブジェクトの奥行きを含む請求項１の方法。
16. ステップｄ）は、前記１以上のユーザに関連づけられた体の部分の動きを追跡するために、前記１以上のユーザの通常の画像と組み合わせて、各ユーザに対する前記１以上の特徴を用いるステップを含む請求項１５の方法。
17. ステップｃ）における前記１以上の特徴は、前記１以上のオブジェクトをその背景から区別するセグメンテーションの手がかりを含む請求項１の方法。
18. コンピュータプログラムの制御のための装置であって、
    １以上のサーモグラフィックカメラと、
    前記１以上のサーモグラフィックカメラと結合されたプロセッサと、
    前記プロセッサによって実行可能なインストラクションとを含み、前記インストラクションは、
    ａ）前記１以上のサーモグラフィックカメラを用いて１以上のオブジェクトの１以上の熱赤外線画像を取得し、
    ｂ）前記１以上の熱赤外線画像を分析し、
    ｃ）前記１以上の熱赤外線画像から前記１以上のオブジェクトの特徴を特定し、
    ｄ）前記１以上の特徴をコンピュータプログラムに対する制御入力として用いるように構成され、
    前記オブジェクトはユーザを含み、前記１以上の特徴は、前記１以上のユーザの前記１以上の熱赤外線画像における温度または温度変化を測定することによって判定される前記１以上のユーザの１以上のバイタルサインを含み、
    ステップｄ）は、前記１以上のユーザのバイタルサインにしたがってプログラムの実行中にアクションが起きるレートを調整するか、前記１以上のユーザのバイタルサインにしたがってグラフィックスのアニメーションを制御することにより、前記１以上のユーザのバイタルサインをコンピュータプログラムにおける制御入力として用いる装置。
19. ステップｃ）における前記１以上の特徴は、前記１以上のユーザの鼻と口の周辺の空気の流れおよび温度を測定することによって判定される各ユーザに対する呼吸数を含む請求項１８の装置。
20. ステップｃ）における前記１以上の特徴は、前記１以上の熱赤外線画像を用いた補間を加味して赤外線反射によって判定された、サーモグラフィックカメラに関する前記１以上のオブジェクトの奥行きを含む請求項１８の装置。
21. 前記１以上のサーモグラフィックカメラは、前記プロセッサに結合されたビデオディスプレイに搭載されたサーモグラフィックカメラを含む請求項１８の装置。
22. 前記プロセッサは、１以上の専用プロセッサを含み、各サーモグラフィックカメラは対応する専用プロセッサに結合されている請求項１８の装置。
23. ステップｂ）、ｃ）およびｄ）は前記１以上の専用プロセッサによって実装される請求項２２の装置。
24. サーマルイメージングインタフェースを用いてコンピュータプログラムを制御するためのコンピュータ読み取り可能なプログラムが具体化された持続的なコンピュータ読み取り可能なストレージメディアであって、前記プログラムは、
    ａ）１以上のサーモグラフィックカメラを用いて１以上のオブジェクトの１以上の熱赤外線画像を取得するためのコンピュータ読み取り可能なプログラムコードと、
    ｂ）前記１以上の熱赤外線画像を分析するためのコンピュータ読み取り可能なプログラムコードと、
    ｃ）前記１以上の熱赤外線画像から前記１以上のオブジェクトの１以上の特徴を特定するためのコンピュータ読み取り可能なプログラムコードと、
    ｄ）前記１以上の特徴をコンピュータプログラムにおける制御入力として用いるためのコンピュータ読み取り可能なプログラムコードとを含み、
    前記オブジェクトはユーザを含み、前記１以上の特徴は、前記１以上のユーザの前記１以上の熱赤外線画像における温度または温度変化を測定することによって判定される前記１以上のユーザの１以上のバイタルサインを含み、
    プログラムコードｄ）は、前記１以上のユーザのバイタルサインにしたがってプログラムの実行中にアクションが起きるレートを調整するか、前記１以上のユーザのバイタルサインにしたがってグラフィックスのアニメーションを制御することにより、前記１以上のユーザのバイタルサインをコンピュータプログラムにおける制御入力として用いるストレージメディア。
25. 前記コンピュータプログラムは、コンピュータエンタテインメントプログラムである請求項１の方法。
26. 前記制御入力はビデオゲームにおける状態の変化をもたらす請求項２５の方法。

Images