JP5782459B2

JP5782459B2 - 音声−体識別の相関

Info

Publication number: JP5782459B2
Application number: JP2012551183A
Authority: JP
Inventors: デルニス，ミッチェル; レイヴァンド，トマー; クライン，クリスチャン; リー，ジンユー
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2010-01-25
Filing date: 2011-01-06
Publication date: 2015-09-24
Anticipated expiration: 2031-01-06
Also published as: EP2529355B1; EP2529355A2; US20120327193A1; CN102135882B; WO2011090829A3; HK1177041A1; US8781156B2; KR20120116446A; JP2013519135A; CA2786681C; US20110182481A1; CN102135882A; CA2786681A1; KR101765970B1; WO2011090829A2; EP2529355A4; US8265341B2

Description

従来技術

[0001] コンピューター・ゲームおよびマルチメディア・アプリケーションというようなシステムは、当該システムがユーザーの動きや口頭伝達をシステムへの入力として利用できるところまで発展している。このような自然システムは、複数のユーザーに適合させることもでき、その場合、個々の人を互いに区別しなければならない。種々のメカニズムによって視野内にいるユーザーを識別することをゲームまたはアプリケーションに可能にする技法が存在し、サイズ、顔の表情、衣服の色等というような、ユーザーの特徴を検知することができる三次元深度カメラが含まれる。また、マイクロフォン・アレイを含む種々の技法によって、知覚されたユーザーの音声を識別する音声認識技法も存在する。

これら２つの技法は、従来組み合わせて使用されることはなかった。ユーザーの側では入念な設定を必要とすることなく、ユーザーの音声を体と自動的に一致させることができれば、興味が尽きないであろう。例えば、ある人の識別が、撮像技法のみまたはオーディオ技法のみを使用したのでは曖昧となるということが起こる場合もある。これは、特に、低価格の消費者用システムにおいて言えることである。このような音および視覚識別の相関は、ユーザーを明確に区別するのに役立つことに加えて、ゲームまたはアプリケーションにおけるユーザー体験を増すために使用することができる。

[0002] 本明細書において記載するのは、マルチユーザー・アプリケーションにおいて音声をユーザーに相関付けるシステムおよび方法である。このシステムは、撮像カメラ・コンポーネントを含み、撮像カメラ・コンポーネントの視野内にいる１人以上のユーザーの深度画像を与えることができる。更に、このシステムは、マイクロフォン・アレイを含み、このマイクロフォン・アレイのレンジ内において音を受けることができる。このマイクロフォン・アレイは、更に、第１許容範囲内で音声の発生源を突き止めることもできる。実施形態は、更に、計算環境も含む。この計算環境は、画像取り込みコンポーネントおよびマイクロフォン・アレイの双方と通信することができ、視野内にいる異なるユーザー間で、第２許容範囲までで区別することができる。実施形態では、第１および第２許容範囲が、撮像カメラからのデーターおよびマイクロフォン・アレイからのデーターの初期サンプリングの後、時々音声のユーザーに対する相関を妨げることもできる。しかしながら、この計算環境は、更に、撮像カメラからのデーターおよびマイクロフォン・アレイからのデーターの追加のサンプリングも実行する。これら追加のサンプリングによって、音声とユーザーとの相関が可能になり、あるいはこの追加のサンプリングは、音声がユーザーに相関付けられる可能性を低下させる。

図１Ａは、ターゲット認識、分析、および追跡システムの一実施形態例を、ゲームをプレイするユーザーと共に示す。図１Ｂは、ターゲット認識、分析、および追跡システムの一実施形態例を、ゲームをプレイするユーザーと共に示す。図２は、ターゲット認識、分析、および追跡システムにおいて使用することができるキャプチャー・デバイスの一実施形態例を示す。図３Ａは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために使用することができる計算環境の一実施形態例を示す。図３Ｂは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために使用することができる計算環境の他の一実施形態例を示す。図４は、音声を体に相関付ける方法例の上位流れ図を示す。図５は、視野内において１つ以上の体を識別する流れ図を示す。図６は、本システムのマイクロフォン・アレイによって拾われた音声を識別する流れ図を示す。図７は、音声を体に明確に相関付ける一実施形態の流れ図を示す。図８Ａは、図８Ｂと共に、音声の複数のサンプリングおよび***置識別によって、音声を体に相関付ける一実施形態の流れ図を示す。図８Ｂは、図８Ａと共に、音声の複数のサンプリングおよび***置識別によって、音声を体に相関付ける一実施形態の流れ図を示す。

[0012] 本技術の実施形態について、これより、図１Ａから図８Ｂまでを参照しながら説明する。これらの図は、概略的に、マルチユーザー・ゲームまたはマルチメディア設定において、ユーザーの音声のユーザーの体との相関に基づいて、人を自動的に識別するために、画像および音データーを経時的に追跡するシステムに関する。大まかに言うと、本システムは、視野において人のような物体を検知する１つ以上のカメラを含むキャプチャー・デバイスと、人の声のような音を検知するマイクロフォン・アレイとを含む。これらのカメラは、視野内にある物体が人であるか否か判断することができ、更に、例えば、骨格関節位置というような、識別された人の身体的特徴を判断することもできる。また、このカメラは、視野内にいる人々の互いに対する相対的位置、およびキャプチャー・デバイスに対する相対的位置を判定することができる。マイクロフォン・アレイは、聞こえたサウンドが音声か否か判断することができ、異なる音声間で区別することができる場合もある。また、これらのマイクロフォンは、検出された音声の、他の検出された音声に対する相対的位置、およびマイクロフォンに対する相対的位置も判定することもできるとよい。

[0013] 本撮像および音響システムが、所与の音声が視野内にいる所与のユーザーの体に属することを明確に判断することができるとき、その音声−体相関を格納する。しかしながら、本システムが、画像および音サンプリングの後、１つの明確な相関を確定できないということも起こる可能性がある。逆に、本システムが、サンプリングされた１つの音声が一人以上の候補ユーザーに属するかもしれないことを識別することもある。この場合、本システムは、種々のファクターを使用して、所定のしきい値信頼レベル（「ＴＣＬ」）よりも高く、音声が体と関連付けられているか否か判断することができる。関連付けられているが明確でない場合、音声−体の関連付けを返し、今後のサンプリングにおいて使用するために格納することができる。今後のサンプリングは、この関連付けを補強するか、またはこの関連付けが曖昧なままであることを示す。後者の場合、この関連付けを除去してもよい。

[0014] 最初に図１Ａから図２を参照すると、本技術を実現するハードウェアは、ターゲット認識、分析、および追跡システム１０を含む。このシステム１０は、ユーザーＡからＤまでのような、一人以上の人間ターゲットを認識、分析、および／または追跡するために使用することができる。ターゲット認識、分析、および追跡システム１０の実施形態は、ゲーミングまたは他のアプリケーションを実行する計算環境１２と、このゲーミングまたは他のアプリケーションから音および視覚表現を与えるオーディオビジュアル・デバイス１６を含む。更に、システム１０は、１つ以上の深度知覚カメラを含むキャプチャー・デバイス２０と、２つ以上のマイクロフォンを含むマイクロフォン・アレイとを含む。キャプチャー・デバイス２０は、計算環境１２が、少なくとも部分的に、キャプチャー・デバイス２０から受け取った情報に基づいて、オーディオビジュアル・デバイス１６への出力を制御することができるように、計算環境１２と通信する。これらのコンポーネントの各々については、以下で更に詳しく説明する。

[0015] 図１Ａおよび図１Ｂに示すように、一実施形態例では、計算環境１２において実行するアプリケーション・プログラムは、マルチプレーヤ・ゲームとすることができる。キャプチャー・デバイス２０から受け取った情報に基づいて、計算環境１２は、オーディオビジュアル・デバイス１６を使用してプレーヤー・アバターＡ’〜Ｄ’のような、各ユーザーＡ〜Ｄの視覚表現を与えることができる。ユーザーは、視野に入ったり出たりすることができる。例えば、図１ＡはユーザーＡ〜Ｄを示し、図１ＢはユーザーＡ〜Ｃを示す。アバターＡ’〜Ｄ’の各々は、画面上において、それぞれのユーザーＡ〜Ｄの動きを写像するように動くことができる。つまり、ユーザーは、図１Ｂにおいて、図１Ａにおける彼らの位置に対して動き回っており、ユーザーＤが視野から離れているので、ユーザーＤのアバターは図１Ｂでは見ることができない。

[0016] 本技術にとって重大なことではないが、ユーザーＡ〜Ｄはジェスチャーを行うことができ、計算環境１２において実行しているソフトウェア・エンジンがそのジェスチャーを認識して、そのユーザーのアバターが、ユーザーのジェスチャーを認識したときに、何らかの動作を実行するようにしている。４人のユーザーが図１Ａおよび図１Ｂの例には示されているが、本技術は実施形態において４人よりも多いユーザーでも少ないユーザーでも動作できることは言うまでもない。更に、本技術は、ゲーミングのコンテキストにおいて音声を話者に相関付けることにも限定されず、逆に、人を彼らの音声の彼らの体との相関に基づいて識別することが望ましい広範囲の他の場合にも使用することができる。

[0017] 図２は、ターゲット認識、分析、および追跡システム１０において使用することができるキャプチャー・デバイス２０の一実施形態例を示す。一実施形態例では、キャプチャー・デバイス２０は撮像カメラ・コンポーネント２２を含むことができる。コンポーネント２２は、例えば、飛行時間、構造化照明、立体画像等を含む任意の適した技法によって、視野内における三次元ビデオ画像を取り込むように構成されている。一実施形態によれば、撮像カメラ・コンポーネント２２は、計算された深度情報を「Ｚレイヤー」、または見通し線に沿って深度カメラから延びるＺ軸に垂直とするとよいレイヤーに編成することができる。

[0018] キャプチャー・デバイス２０の一部をなすことができるカメラに関する追加の詳細が、「ジェスチャー・ツール」（GESTURE TOOL)と題する同時係属中の米国特許出願第１２／４７４６５５号、および「標準的ジェスチャー」(STANDARD GESTURES)と題する同時係属中の米国特許出願第１２／３９１１５０号に明記されている。これらの出願の各々は、ここで引用したことにより、その内容全体が本願にも含まれるものとする。しかしながら、一般には、図２に示すように、撮像カメラ・コンポーネント２２は、取り込まれた場面の二次元（２−Ｄ）画素エリアを有する深度画像を取り込むことができる。この２−Ｄ画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の、例えば、センチメートル、ミリメートル等を単位とする長さを表すことができる。撮像カメラ・コンポーネント２２は、図１Ａおよび図１Ｂにおいて光線Ｒ１およびＲ２によって表されている視野内にある物体を撮像することができる。

[0019] 図２に示すように、一実施形態によれば、撮像カメラ・コンポーネント２２は、ＩＲ発光コンポーネント２４、三次元（３−Ｄ）カメラ２６、およびＲＧＢカメラ２８を含むことができ、これらは、場面の深度画像を取り込むために使用することができる。例えば、飛行時間分析では、キャプチャー・デバイス２０のＩＲ発光コンポーネント２４は赤外線光を場面に放出することができ、次いでセンサ（図示せず）を使用して、場面にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、３−Ｄカメラ２６および／またはＲＧＢカメラ２８を使用して、検出することができる。

[0020] 他の実施形態によれば、キャプチャー・デバイス２０は、２つ以上の物理的に分離されたカメラを含むこともでき、これらが１つの場面を異なる角度から見て視覚的立体データーを得て、このデーターを分解して深度情報を生成することができる。いずれの実施形態においても、撮像カメラ・コンポーネント２２は視野内における人々の互いに対する方位を判定することができ、視野における各人のキャプチャー・デバイス２０に対する角度を計算することができる。

[0021] キャプチャー・デバイス２０は、例えば、３Ｄカメラ２６および／またはＲＧＢカメラ２８によって取り込まれた深度情報および画像、ならびにキャプチャー・デバイス２０によって生成することができる骨格モデルを、計算環境１２に、通信リンク３６を介して供給することができる。キャプチャー・デバイス２０によって検出されたターゲットまたは物体が人間のターゲットに対応するか否か判断するために、種々の既知の技法が存在する。例えば、キャプチャー・デバイス２０は、人間のターゲットを含むかもしれないキャプチャー・エリアの深度情報を取り込むことができる。次に、この深度画像は分析されて、深度画像が人間のターゲットおよび／または人間以外のターゲットを含むか否か判断することができる。この深度画像の一部を塗りつぶし(flood filled)、ターゲットが人間のターゲットであるか否か判断することができる。深度画像におけるターゲットの１つ以上が人間のターゲットを含む場合、この人間のターゲットを走査することができる。

[0022] 次いで、骨格マッピング技法を使用して、ユーザーの骨格、手の関節、手首、肘、膝、鼻、踝、肩、および骨盤が脊椎と交わるところを判定することができる。他の技法には、画像をその人の体モデル表現に変換し、この画像をその人のメッシュ・モデル表現に変換することが含まれる。次いで、骨格モデルを計算環境１２に供給して、この計算環境がこの骨格モデルを追跡し、この骨格モデルと関連付けられているアバターをレンダリングできるようにする。

[0023] 更に、キャプチャー・デバイス２０は、２つ以上のマイクロフォン３０を含むマイクロフォン・アレイ３２も含むことができる。このマイクロフォンのアレイは、少なくとも２つの機能を実行する。マイクロフォン３０は、ユーザーＡ〜Ｄの一人以上によって供給することができる音信号を受け取り、彼らのアバターＡ’〜Ｄ’を制御し、他のゲームまたはシステム・メトリックに影響を及ぼし、あるいは計算環境１２によって実行することができる他のアプリケーションを制御することができる。マイクロフォン・アレイ３２の第２の機能は、以下で説明するように、ユーザーの識別を容易にすることである。

[0024] 以上で示した実施形態では、２つのマイクロフォン３０があるが、他の実施形態では、マイクロフォン・アレイは２つよりも多いマイクロフォンを有してもよいことは言うまでもない。垂直軸に沿った相対的位置を解明することが重要でなくてもよい実施形態では、これらのマイクロフォンを共通の垂直面に（即ち、同じ高さで）並べればよい。しかしながら、本技術は、異なる垂直線および水平線に沿って位置する２つから４つまたはそれ以上のカメラを使用してもよいことも言うまでもない。このような実施形態では、マイクロフォン・アレイは、垂直面および水平面双方に沿って音定位技法(acoustic localization technique)を採用して、三次元空間における１つ以上の音声の位置を特定することができる。

[0025] アレイの中にあるマイクロフォン３０は、図に示すように、例えば、１フィート離して位置付けるというように、互いに近づけて位置付けてもよい。尚、他の実施形態では、マイクロフォンを互いに近接させて、または、更に離して、例えば、キャプチャー・デバイス２０が隣接する壁の角に置いてもよいことは言うまでもない。

[0026] アレイの中にあるマイクロフォン３０は、互いに同期させることができ、各々が変換器またはセンサを含むことができ、信号を受け取って電気信号に変換することができる。マイクロフォンによって拾い上げられたサウンドを区別して、これらのサウンドの１つ以上が人間の音声であるか否か判断する技法が知られている。マイクロフォン３０は、ハイ・パス・フィルタのような種々の既知のフィルタを含み、マイクロフォン３０によって検出することができる低周波ノイズを減衰させることもできる。

[0027] 所与の許容範囲内で、アレイ３２は知覚された音声の互いに対する方位も判定することができ、そして音定位技法を使用して、マイクロフォン・アレイに対する各音声源の角度を計算することができる。種々の音定位技法が知られている。一実施形態では、到達時間差（ＴＤＯＡ）技法を採用することができる。この技法は、異なるマイクロフォン対間における１組のＴＤＯＡを判定するステップを有する。即ち、１組のマイクロフォン対における対毎に、その対の中にあるマイクロフォンの各々における音源信号の到達間の相対的時間差を判定する。例えば、音源の位置ｓを測定する２つのマイクロフォンｉおよびｊに対するＴＤＯＡは、次のように求めることができる。

ここで、ｍ_ｉは、ｉ番目のマイクロフォンの位置であり、ｍ_ｊは、ｊ番目のマイクロフォンの位置であり、ｃは光速である。
[0028] ＴＤＯＡ技法は、更に、判定されたＴＤＯＡデーターおよびマイクロフォン・アレイの幾何学的形状を使用して、音源の位置を推定する第２ステップを含む。この第２ステップは、種々の既知の方法によって実行することができ、例えば、最大尤度法、三角測量法、球交差法(spherical intersection method)、および球補間法が含まれる。

[0029] ＴＤＯＡ方法は、知覚された音声の発生源を突き止めるために採用することができる複数の既知の方法の中の１つである。他の方法には、操舵ビーム形成に基づく技法、および高分解能スペクトル推定に基づく技法が含まれる。音定位のためのマイクロフォン・システムに関する更なる詳細は、例えば、「ビデオ・カメラ操舵用途用受動型音源定位方法および装置」(Method and Apparatus for Passive Acoustic Source Localization for Video Camera Steering Applications)と題する米国特許第６，８２６，２８４号、およびH.Wang and P. Chuによる公開論文「テレビ会議における自動カメラ定点システムのための音声源定位」("Voice Source Localization for Automatic Camera Pointing System In Videoconferencing," in Proc. IEEE int. Conf. Acoustics, Speech, and Signal Processing (ICASSP), Munich, Germany, Apr. 1997, pp. 187--190)において見いだすことができる。以上の特許および論文は、ここで引用したことにより、その内容全てが本願にも含まれるものとする。１つのマイクロフォンを使用して所与の許容範囲で音源定位を可能にする技法があるのであれば、マイクロフォン・アレイ３２は１つ以上のマイクロフォンを含めばよい。

[0030] 一実施形態例では、キャプチャー・デバイス２０は、更に、撮像カメラ・コンポーネント２２およびマイクロフォン・アレイ３２と動作的に通信することができるプロセッサー３３も含むことができる。プロセッサー３３は、命令を実行することができる標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。これらの命令には、深度画像を受け取り、この深度画像に適したターゲットが含まれ得るか否か判定を行い、適したターゲットをそのターゲットの骨格表現またはモデルに変換する命令、または任意の他の適した命令を含むことができる。また、プロセッサー３３は、音定位に関して先に説明した動作も実行することができる。

[0031] キャプチャー・デバイス２０は、更に、メモリー・コンポーネント３４も含むことができる。メモリー・コンポーネント３４は、プロセッサー３３によって実行することができる命令、３ＤカメラまたはＲＧＢカメラによって取り込まれた画像または画像のフレーム、マイクロフォン３０からのオーディオ・データー、あるいは任意の他の適した情報等を格納することができる。一実施形態例によれば、メモリー・コンポーネント３４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または任意の他の適した記憶コンポーネントを含むことができる。図２に示すように、一実施形態では、メモリー・コンポーネント３４は、画像キャプチャー・コンポーネント２２、マイクロフォン・アレイ３２、およびプロセッサー３３と通信することができる別個のコンポーネントであってもよい。他の実施形態によれば、メモリー・コンポーネント３４は、プロセッサー３３および／またはマイクロフォン・アレイ３２に統合されてもよい。

[0032] 図２に示すように、キャプチャー・デバイス２０は、通信リンク３６を介して、計算環境１２と通信することができる。通信リンク３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット・ケーブル接続などを含む有線接続、および／またはワイヤレス８０２．１１ｂ、ｇ、ａ、またはｎ接続のようなワイヤレス接続とすることができる。一実施形態によれば、計算環境１２は、クロックをキャプチャー・デバイス２０２に供給することができる。このクロックは、例えば、通信リンク３６を介して場面をいつ取り込むべきか判定するために使用することができる。キャプチャー・デバイス２０からの画像およびオーディオ・データーも、通信リンク３６を介して計算環境１２に伝達することができる。

[0033] 図３Ａは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために使用することができる計算環境の一実施形態例を示す。図１Ａ〜図２に関して先に説明した計算環境１２のような計算環境は、ゲーミング・コンソールのような、マルチメディア・コンソール１００とすることができる。図３Ａに示すように、マルチメディア・コンソール１００は、レベル１キャッシュ１０２、レベル２キャッシュ１０４、およびフラッシュＲＯＭ１０６を有する中央処理ユニット（ＣＰＵ）１０１を有する。レベル１キャッシュ１０２およびレベル２キャッシュ１０４は、一時的にデーターを格納し、こうしてメモリー・アクセス・サイクルの回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ１０１は、１つよりも多いコア、つまり、追加のレベル１およびレベル２キャッシュ１０２および１０４を有するように装備することもできる。フラッシュＲＯＭ１０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール１００の電源をオンにしたときに、ブート・プロセスの初期段階中にロードされる。

[0034] グラフィクス処理ユニット（ＧＰＵ）１０８およびビデオ・エンコーダー／ビデオ・コデック（コーダー／デコーダー）１１４が、高速および高分解能グラフィクス処理のためにビデオ処理パイプラインを形成する。データーは、バスを通じて、グラフィクス処理ユニット１０８からビデオ・エンコーダー／ビデオ・コデック１１４に伝達される。ビデオ処理パイプラインは、テレビジョンまたは他のディスプレイに送信するために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート１４０に出力する。メモリー・コントローラー１１０がＧＰＵ１０８に接続されており、限定ではなく、ＲＡＭ（ランダム・アクセス・メモリー）のような、種々のタイプのメモリー１１２にプロセッサーがアクセスし易くなっている。

[0035] マルチメディア・コンソール１００は、Ｉ／Ｏコントローラー１２０、システム管理コントローラー１２２、オーディオ処理ユニット１２３、ネットワーク・インターフェース・コントローラー１２４、第１ＵＳＢホスト・コントローラー１２６、第２ＵＳＢコントローラー１２８、およびフロント・パネルＩ／Ｏサブアセンブリ１３０を含む。好ましくは、これらをモジュール１１８に実装する。ＵＳＢコントローラー１２６および１２８は、周辺コントローラー１４２（１）〜１４２（２）、ワイヤレス・アダプター１４８、および外部メモリー・デバイス１４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤＲＯＭドライブ、リムーバブル媒体等）のためのホストとしての役割を果たす。ネットワーク・インターフェース１２４および／またはワイヤレス・アダプター１４８は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを与え、イーサネット・カード、モデム、Ｂｌｕｅｔｏｏｔｈモジュール、ケーブル・モデム等を含む広範囲の種々の有線またはワイヤレス・アダプター・コンポーネントの内任意のものとすることができる。

[0036] システム・メモリー１４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ１４４が設けられており、ＤＶＤ／ＣＤドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ１４４は、マルチメディア・コンソール１００の内部にあっても外部にあってもよい。アプリケーション・データーは、実行、再生等のためにマルチメディア・コンソール１００によってメディア・ドライブ１４４を通じてアクセスすることができる。メディア・ドライブ１４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、ＩＥＥＥ１３９４）のようなバスを通じて、Ｉ／Ｏコントローラー１２０に接続されている。

[0037] システム管理コントローラー１２２は、マルチメディア・コンソール１００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット１２３およびオーディオ・コデック１３２は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データーは、通信リンクを通じて、オーディオ処理ユニット１２３とオーディオ・コデック１３２との間で伝達される。オーディオ処理パイプラインは、外部オーディオ・プレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データーをＡ／Ｖポート１４０に出力する。

[0038] フロント・パネルＩ／Ｏサブアセンブリ１３０は、電力ボタン１５０およびイジェクト・ボタン１５２の機能をサポートするだけでなく、マルチメディア・コンソール１００の外面上に露出する任意のＬＥＤ（発光ダイオード）またはその他のインディケーターもサポートする。システム電源モジュール１３６が、マルチメディア・コンソール１００のコンポーネントに電力を供給する。ファン１３８は、マルチメディア・コンソール１００の内部にある回路を冷却する。

[0039] ＣＰＵ１０１、ＧＰＵ１０８、メモリー・コントローラー１１０、およびマルチメディア・コンソール１００の内部にある種々のその他のコンポーネントは、１系統以上のバスを通じて相互接続されている。これらのバスには、シリアル・バスおよびパラレル・バス、メモリー・バス、周辺バス、ならびに種々のバス・アーキテクチャーの内任意のものを使用するプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラル・コンポーネント相互接続（ＰＣＩ）バス、ＰＣＩ−Ｅｘｐｒｅｓｓバス等を含むことができる。

[0040] マルチメディア・コンソール１００の電源をオンにすると、システム・メモリー１４３からメモリー１１２および／またはキャッシュ１０２、１０４にアプリケーション・データーをロードし、ＣＰＵ１０１において実行することができる。アプリケーションは、グラフィカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール１００において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび／またはメディア・ドライブ１４４に含まれている他のメディアをメディア・ドライブ１４４から起動または再生して、マルチメディア・コンソール１００に追加の機能を設けることもできる。

[0041] マルチメディア・コンソール１００は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、スタンドアロン・システムとして動作させることができる。このスタンドアロン・モードでは、マルチメディア・コンソール１００は、一人以上のユーザーがシステムと相互作用を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース１２４またはワイヤレス・アダプター１４８によって利用可能となるブロードバンド接続機能を統合することにより、更に大きなネットワーク・コミュニティにおける一関係要素(participant)としてマルチメディア・コンソール１００を動作させることもできる。

[0042] マルチメディア・コンソール１００の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー（例えば、１６ＭＢ）、ＣＰＵおよびＧＰＵサイクル（例えば、５％）、ネットワーキング帯域幅（例えば、８ｋｂｓ）等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。

[0043] 特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。サーブされたＣＰＵの使用がそのシステム・アプリケーションによって使用されない場合、アイドル状態にあるスレッドが未使用サイクルの内任意のものを消費するように、ＣＰＵの確保を一定レベルに維持することが好ましい。

[0044] ＧＰＵの確保に関して、ＧＰＵ割り込みを使用することによって、システム・アプリケーション（例えば、ポップアップ）によって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに使用されるメモリー量は、オーバーレイのエリア・サイズに依存し、オーバーレイは画面の解像度と共にスケーリングする(scale)ことが好ましい。コンカレント・システム・アプリケーションによって全ユーザー・インターフェースが使用される場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更しＴＶの同期を取り直す必要性をなくすように、スケーラーを使用してこの解像度を設定するとよい。

[0045] マルチメディア・コンソール１００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能が設けられる。これらのシステム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーションの中にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ１０１において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミング・アプリケーションに対するキャッシュの***(disruption)を最少に抑えるためにある。

[0046] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミング・アプリケーションにスケジューリングする。マルチメディア・コンソール・アプリケーション管理部（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。

[0047] 入力デバイス（例えば、コントローラー１４２（１）および１４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられて、各々がそのデバイスの重点(a focus of the device)を有するようにする。アプリケーション管理部は、好ましくは、ゲーミング・アプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーは重点スイッチ(focus switches)に関する状態情報を維持する。カメラ２６、２８およびキャプチャー・デバイス２０は、コンソール１００のための追加の入力デバイスを定めることができる。

[0048] 図３Ｂは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために使用される、計算環境２２０の他の実施形態例を示すこの計算環境は、図１Ａ〜図２に示した計算環境１２とすることができる。計算システム環境２２０は、適した計算環境の一例に過ぎず、本明細書において開示される主題の使用範囲または機能に関して、いかなる限定を示唆する意図もない。また、計算環境２２０が、当該動作環境例２２０において例示される任意の１つのコンポーネントまたはコンポーネントの組み合わせに関して、何らかの依存性または要件を有するように解釈すべきではない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成されている回路を含むこともあり得る。例えば、本開示において使用される回路という用語は、ファームウェアまたはスイッチによって機能（１つまたは複数）を実行するように構成されている特殊ハードウェア・コンポーネントを含むことができる。別の実施形態例では、回路という用語は、機能（１つまたは複数）を実行するために動作可能なロジックを具現化するソフトウェア命令によって構成される汎用処理ユニット、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具現化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用処理ユニットによって処理することができる。技術的現状では、ハードウェア、ソフトウェア、またはハードウェア／ソフトウェアの組み合わせの間には殆ど差がないというところまで発展していることを当業者は認めることができるので、特定の機能を実行するためにハードウェアまたはソフトウェアのどちらを選択するかということは、実装者に委ねられた設計選択事項である。更に具体的には、ソフトウェア・プロセスを等価のハードウェア構造に変換することができ、更にハードウェア構造自体を等価のソフトウェア・プロセスに変換することができることを、当業者は認めることができる。つまり、ハードウェアの実施態様およびソフトウェアの実施態様のどちらを選択するかということは、実装者に委ねられた設計選択事項の１つである。

[0049] 図３Ｂにおいて、計算環境２２０は、コンピューター２４１を含む。コンピューター２４１は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター２４１がアクセス可能な入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。システム・メモリー２２２は、リード・オンリー・メモリー（ＲＯＭ）２２３およびランダム・アクセス・メモリー（ＲＡＭ）２６０のような揮発性および／または不揮発性メモリーの形態で、コンピューター記憶媒体を含む。基本入出力システム２２４（ＢＩＯＳ）は、起動中のように、コンピューター２４１内のエレメント間におけるデーター転送を補助する基本的なルーチンを含み、通例ＲＯＭ２２３内に格納されている。ＲＡＭ２６０は、通例、処理ユニット２５９が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、または現在これによって処理されているデーターおよび／またはプログラム・モジュールを含む。一例として、そして限定ではなく、図３Ｂは、オペレーティング・システム２２５、アプリケーション・プログラム２２６、その他のプログラム・モジュール２２７、およびプログラム・データー２２８を示す。

[0050] また、コンピューター２４１は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図３Ｂは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ２３８、リムーバブル不揮発性磁気ディスク２５４からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ２３９、ならびにＣＤＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク２５３からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ２４０を示す。動作環境の一例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれる。ハード・ディスク・ドライブ２３８は、通例、インターフェース２３４のような非リムーバブル・メモリー・インターフェースを介してシステム・バス２２１に接続され、磁気ディスク・ドライブ２３９および光ディスク・ドライブ２４０は、通例、インターフェース２３５のようなリムーバブル・メモリー・インターフェースによって、システム・バス２２１に接続する。

[0051] 先に論じそして図３Ｂに示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター２４１のその他のデーターを格納する。図３Ｂでは、例えば、ハード・ディスク・ドライブ２３８は、オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データー２５５を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム２２５、アプリケーション・プログラム２２６、他のプログラム・モジュール２２７、およびプログラム・データー２２８と同じでも異なっていても可能であることを注記しておく。オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データー２５５は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が付けられている。ユーザーは、キーボード２５１、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれているポインティング・デバイス２５２のような入力デバイスによって、コマンドおよび情報をコンピューター２４１に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース２３６を介して、処理ユニット２５９に接続されている。ユーザー入力インターフェース２３６は、システム・バスに結合されているが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）によって接続することも可能である。カメラ２６、２８およびキャプチャー・デバイス２０は、コンソール１００の追加入力デバイスを定めることができる。モニター２４２またはその他のタイプの表示装置も、ビデオ・インターフェース２３２のようなインターフェースを介して、システム・バス２２１に接続されている。モニターに加えて、コンピューターは、スピーカー２４４およびプリンター２４３のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース２３３を通じて接続することができる。

[0052] コンピューター２４１は、リモート・コンピューター２４６のような１つ以上のリモート・コンピューターへの論理接続を使用して、ネットワーク環境において動作することも可能である。リモート・コンピューター２４６は、パーソナル・コンピューター、サーバー、ルータ、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター２４１に関して先に説明したエレメントの多くまたは全てを含むが、図３Ｂにはメモリー記憶装置２４７のみを示す。図３Ｂに示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）２４５およびワイド・エリア・ネットワーク（ＷＡＮ）２４９を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては一般的である。

[0053] ＬＡＮネットワーク環境で使用する場合、コンピューター２４１は、ネットワーク・インターフェースまたはアダプター２３７を介してＬＡＮ２４５に接続する。ＷＡＮネットワーク環境で使用する場合、コンピューター２４１は、通例、モデム２５０、またはインターネットのようなＷＡＮ２４９を通じて通信を設定するその他の手段を含む。モデム２５０は、内蔵でも外付けでもよく、ユーザー入力インターフェース２３６またはその他の適切な機構を介してシステム・バス２２１に接続することができる。ネットワーク環境では、コンピューター２４１に関係付けて図示したプログラム・モジュール、またはその一部は、リモート・メモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図３Ｂは、リモート・アプリケーション・プログラム２４８がメモリー・デバイス２４７に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを設定する他の手段も使用可能であることは認められよう。

[0054] ユーザーに関する知覚画像データーと知覚音声データーとの相関に基づいてユーザーを識別する方法について、これより図４から図８Ｂのフローチャートを参照しながら説明する。図４は、本技術の動作全体の上位フローチャートである。尚、本技術の動作は、キャプチャー・デバイス２０の中にあるプロセッサー３３、計算環境１２の中にあるプロセッサー１０１、２５９、または一緒に動作するこれら２つの組み合わせによって実行できることは言うまでもない。ステップ３００において、本システムは、撮像カメラ・コンポーネント２２の視野内にある（例えば、ユーザーＡ〜Ｄの内一人以上というような）体を識別、または登録する。この動作は、フレーム毎に実行されるが、背景情報というような以前のフレームからの情報をキャッシュして、処理を速めることもできる。ステップ３００の体登録に関する更なる詳細については、図５のフローチャートを参照して以下で説明する。

[0055] ステップ３０２において、本システムは、マイクロフォン・アレイ３２のレンジ内で検出された音声を登録する。本システムが音声を特定の体と明確に関連付けることができる場合がある。例えば、マイクロフォン・アレイ３２は、画像キャプチャー・デバイス２０に関して特定の角度または角度範囲を含む許容範囲で、音声の発生源を定位することができるとよく、撮像カメラ・コンポーネント２２は、その角度または角度範囲において一人のユーザーしかいないことを判定する。このような場合、本システムは、検出された人を検出された音声と明確に相関付けることができる。ステップ３０２および３０６に関する更なる詳細については、図６のフローチャートに関して、以下で明記する。

[0056] 一方、画像およびオーディオ・サンプリングの後、システムが１つの明確な相関を確定することができず、音声が属する可能性がある一人以上の候補ユーザーを識別するということも起こり得る。例えば、２人のユーザーの体の外観が非常に似ているため、本システムの画像認識技法を使用して区別することができないという場合がある。あるいはまたは代わりに、マイクロフォン・アレイが、一人よりも多い人がいる視野におけるあるエリアから音声が来ることしか判定できない場合もある。これは、例えば、消費者等級のハードウェアを使用して画像およびオーディオ・データーを取り組む場合に言えることである。

[0057] この場合、本システムは種々のファクターを採用して、音声が所与のユーザーと関連があることの信頼レベルを示す信頼レベル・スコアーを決めることができる。明確ではないが、これらのファクターから、しきい値信頼レベルよりも高いスコアーを得ることができる。得られた場合、このしきい値信頼レベルよりも高い音声−体の関連付けは、今後のサンプリングのために格納される。今後のサンプリングは、この関連付けを補強することができ、例えば、今後のサンプリングは、音声が属するかもしれない他のユーザーを排除する。あるいは、今後のサンプルが、この関連付けが曖昧なままであることを示すこともあり、その場合、この関連付けを除去してもよい。

[0058] 音声が体に相関付けられた後でも、本技術の実施形態は、音声−体相関の信頼レベルを繰り返し再評価し、再確認することができる（ステップ３１２）。信頼レベルを評価し、明確にし、再確認するプロセスについては、以下で図８Ａおよび図８Ｂのフローチャートに関して説明する。

[0059] 図５のフローチャートは、本システムがユーザーを他のユーザーから区別することを可能にすると思われる画像データーを得ることに基づいて、ユーザーを登録するステップを示す。本システムは、ユーザーを登録するための種々の規準を使用することができる。これらの規準は、異なるユーザーの複数の骨格基準点を分析することを含む。一旦ユーザーが識別されたなら、その情報は、例えば、メモリー３４および／または計算環境１２におけるメモリーに格納することができる。しかしながら、二人以上のユーザーの体の外観が互いに非常に似ているために、本システムが画像データーのみを使用したのでは区別できないということも起こり得る。以下で説明するように、このようなユーザーは、ある時間期間に亘る画像および音声データーのサンプリングを使用して、区別することができる。

[0060] したがって、ステップ３２０において、本システムはビデオ・フレームを走査して、例えば、一人以上のユーザーＡ〜Ｄのような、視野内にいる人間のユーザーを捜す。先に示したように、現行の技術は、人間の体を、視野内にあり得る他の物体から区別することを可能にする。ステップ３２２において、本システムは、視野内において体が発見されたか否か判定を行う。発見されていない場合、本システムは、ステップ３２６において、視野内に他に走査すべき物体があるか否か調べる。物体があると仮定すると、本システムはステップ３２０に戻り、走査して他の体を捜す。一方、ステップ３２２において体が発見された場合、本システムは、ステップ３３０において、その体が以前のフレームにもあったか否かチェックする。本システムは、この判定を行うときに、種々のファクターを見ることができ、骨格基準点または現フレームと直前のフレームとの間における体の他の身体的特徴の一致、および現フレームにおける体の位置が、所与のフレーム・レートで、直前のフレームにおいて検出された位置から動いた可能性があるか否かが含まれる。一旦、ステップ３３０において、発見された体が直前のフレームにもあったと判定されたなら、本システムはステップ３２０に戻って、走査して他の体を捜す。

[0061] 一方、ステップ３３０において、発見された体が直前のフレームでは発見されなかったと判定された場合、本システムは、ステップ３３４において、この発見された体が、既に登録されている体と一致するか否かチェックする。即ち、本システムは、現フレームにおける体を記述する情報を、以前に識別および登録された体に関する、メモリーからの情報と比較する。現フレームからの体が以前に登録されていない場合、本システムは、ステップ３３８において、体シグネチャー（即ち、骨格的特徴および／または他の身体的特徴）をメモリーに格納する。この体シグネチャーを格納した後、本システムは、ステップ３４４において、一致する体が識別されたという印を付け、次いでステップ３２０に戻り、走査して他の体を捜す。

[0062] 一方、ステップ３３４において、発見された体が既知の体と一致すると判定された場合、本システムは、ステップ３４０において、その発見された体が、１つのみの既知の体と一致するのか否かチェックする。即ち、発見された体は、以前に識別され格納されている体の骨格的特徴に十分近い骨格的特徴を有する場合がある。ステップ３４０において、本システムが、発見された体が１つの既知の体のみと一致すると判定した場合、ステップ３４４において、この発見された体に、既知の体と一致したという印を付け、本システムはステップ３２０に戻り、走査して他の体を捜す。そうではなく、ステップ３４０において、発見された体が１つよりも多い既知の体と一致すると判定された場合、ステップ３４６において、発見された体に、曖昧さが伴うという印を付け、次いで本システムはステップ３２０に戻り、フレームを走査して他の体を捜す。

[0063] ステップ３２６において、フレームには他に走査すべき物体がないと本システムが判断した後、本システムは、ステップ３５０において、現フレームに対する***置を更新し、ステップ３５４において全ての体一致を登録および格納する。また、ステップ３５４において、発見された体識別における曖昧さも格納する。

[0064] 先に示したように、音技術は、マイクロフォン・アレイによって拾い上げることができる種々のサウンドおよび背景ノイズから、人間の声を選別し識別することができる。図５のフローチャートに関して先に説明した体のサーチおよび登録と同時に、これから図６に関して説明するように、本システムは、音声もサーチし登録する。音声を登録するために、本システムは、ある音声を他の音声と区別して識別するのに十分な種々の音素を含む、音素的に豊富なデーターを収集する。

[0065] 音声を登録するプロセスは、ステップ３６０から開始して、識別された音声を、見える体と相関付けることができるか否か判定を行う。ステップ３６０については、図7のフローチャートを参照して、以下で更に詳しく説明する。ステップ３６２において、本システムは、登録する音声の発生源位置を推定する。先に説明したように、種々の音発生源定位技法の内任意のものを、この目的のために使用することができる。実施形態は、低コストの消費者向けシステムでは、発生源位置±何らかの許容範囲レベルを返す音定位技法を採用してもよい。ステップ３６３において、本システムは、撮像カメラ・コンポーネント２２の視野内にある発生源から、即ち、図１Ａおよび図１Ｂに示した光線ＡおよびＢの間から、音声が必ず来なければならないか否か判定を行う。そうでない場合、本システムは、ステップ３６４において、音声は見える体と相関付けられていないと判定する。

[0066] 一方、音声が視野内から来る場合、本システムは、ステップ３６６において、推定された音声の発生源において体があるか否か判定を行う。ない場合、本システムは、ステップ３６４において、音声が見える体と相関付けられていないと判断する。一方、推定された音声の発生源において体が検出された場合、本システムは、次にステップ３６８において、可能な音声の発生源の範囲内に１つよりも多い体があるか否かチェックする。ある場合、本システムは、ステップ３６４において、音声を１つの見える体と相関付けることができない。一方、本システムがステップ３６３、３６６、および３６８におけるチェック全てに通った場合、本システムはステップ３７０において音声を１つの見える体と明確に相関付けることができる。

[0067] 図６のフローチャートに戻って、本システムがステップ３６０において音声を見える体と相関付けることができない場合、ステップ３７２において、発声は登録の適格性がなく、実施形態では、本システムはこの発声を登録のために使用せず、それを特定の人と関連付けない。実施形態では、口頭命令またはコマンドの音声認識のために、この発声を本システムによってなおも使用することもできる。

[0068] 実施形態では、ステップ３７２において発声に登録の適格性がない場合、本システムは、ステップ３７３において、視野の中にいる一人以上のユーザーに、発話することおよび何らかの物理的行為を行うことを促すことができる。この物理的行為とは、例えば、視野内で、他のユーザーとは離れて立つことであってもよい。このように、音声データーを受け取ることに加えて、本システムは、話者を能動的に特定し、要求された行為を行った者として登録することができる。これらの物理的行為は、ゲームまたはアプリケーション・メトリックの一部であっても、あるいはゲームまたはアプリケーション・メトリックの外部であってもよい。他の実施形態では、ステップ３７３を省略することもできる。省略する場合、ユーザーは、登録による押し付けを殆ど体験しなくて済むが、登録の完了はユーザーの偶然の行為に委ねられることもある。

[0069] 一方、ステップ３６０において、音声が見える体と相関付けられていると判定された場合、本システムは、次にステップ３７４において、識別された見える体が、直前の登録発声から連続しているか否かチェックする。言い換えると、本システムがステップ３６０において音声を見える体と相関付けた場合、本システムは、ステップ３７４において、直前のフレームからのその体が、現フレームにおいてステップ３６０で識別された体の位置に連続的に移動した可能性があるか否かチェックする。ステップ３７４において、直前のフレームにおいて音声が関連付けられた体が、現フレームにおいて音声が関連付けられた体である可能性がないと判定された場合、本システムは以前の相関を正しくないものとして扱う。このような場合、本システムは、ステップ３７６において、この音声に対して、ステップ３６０において識別された体との新たな登録プロセスを開始する。次に、ステップ３７８において発声が登録に追加される。

[0070] ステップ３８０において、本システムは登録が完了したか否かチェックする。即ち、本システムが所与の音声を他の音声から区別して、明確に識別することを可能にする程十分な音素データーが既に収集されたか否か、本システムがチェックする。収集されていない場合、発声は登録に十分ではないが、実施形態では、一旦必要となる多様な音素データーが収集されたなら今後の発声と共に使用して登録を確定するために、ステップ３８１においてこれを格納することができる。一方、本システムがステップ３８０において登録が完了したと判断した場合、本システムはステップ３８２において、登録した音声を保存し、ステップ３８４において、登録した音声を既知の体と関連付けて格納する。次いで、本システムは、既知の体と相関付けられた既知の音声を返す。

[0071] 実施形態では、ステップ３８０において登録が完了していない場合、本システムは、ステップ３８３において、視野の中にいる一人以上のユーザーに、発話するように促すことができる。本システムによるこの動作は、ゲームまたはアプリケーション・メトリックの一部としてマスクすることができ、あるいはゲームまたはアプリケーション・メトリックの外側にあってもよい。ステップ３８３が実行される場合、特定の登録されているユーザーに、ある種の音素が豊富な単語および／またはサウンドを発話するように促して、一旦発話されたならば、本システムが、後の発声のために、このユーザーの音声をこのユーザーの既知の体と共に登録できるようにしてもよい。ステップ３８３を省略してもよく、その場合、ステップ３８０において登録することができなかった場合、前述のように、未知の音声が返されることもある。

[0072] 図６に関して以上で説明したように、本技術の動作は、新たな音声を登録および格納し、更に、この音声を明確に既知の体と関連付けることができるか否か判定する。前述のように、本システムがある音声を聞いても、その音声を１つの体と明確に相関付けることができない場合も多いと考えられる。したがって、本技術は、音声−体相関を評価し、明確にし、そして再確認するステップを含む。これより、図８Ａおよび図８Ｂのフローチャートに関して、このプロセスについて更に詳細に説明する。

[0073] 一般に、マイクロフォン・アレイ３２は、発声された音声を聞き取り、音声の発声を検出したときに、図８Ａおよび図８Ｂに関して以下で説明するステップ３８６〜４３２を実行する。１つよりも多い音声が同じ時間期間において検出される可能性もある。本システムは、マイクロフォン・アレイ３２が別々にそして個々に知覚することができる発声された音声毎に、図８Ａおよび図８Ｂのステップを実行することができる。本システムは、フレーム毎に１回、所定数のフレーム毎に１回、図８Ａおよび図８Ｂのステップ全てを実行して、音声−体相関を連続的に、ときの経過と共に評価し、明確にし、そして再確認することができる。

[0074] ステップ３８６において、本システムは、発声が、登録されている音声であるか否かチェックする。そうでない場合、本システムは、図６に関して先に説明したように、ステップ３６０に進み、その音声を登録することを試み、それが視野内にある体と明確に関連付けられているか否か調べる。

[0075] ステップ３８６において、音声が登録されていると判断された場合、本システムは、ステップ３８８において、その音声が既知の体と以前にも一致しているか否かチェックする。していない場合、本システムは、図８Ｂのステップ４１６に関して以下で説明するように、その音声と視野の中にある体との間に空間的一致があるか否か判定を行う。しかしながら、ステップ３８８において、その音声の既知の体との一致が以前にあったと判断された場合、本システムは、ステップ３９０において、その既知の体が視野の中で見ることができるか否かチェックする。見えない場合、本システムは、ステップ３９４において、発声された音声と、視野の中で見ることができる体との間に空間的一致があるか否かチェックする。本システムは、ステップ３９４を実行して、ステップ３８８において引き出された音声−体の関連付けが正しいか否かチェックする。即ち、ステップ３９４において、音声と見える体との間に一致があるが、ステップ３９０において、以前に識別された体が見えないと判定された場合、本システムは、以前の音声−体相関が正しくないかもしれず、曖昧さが存在するかもしれないと判断する。本システムは、この曖昧さを書き留め、以下で説明するステップ４０４に進む。例えば、図７において先に説明したように、音声の近似発生源を判定し、その近似発生源に体があるか否か確認することによって、ステップ３９４を実行することができる。

[0076] ステップ３９０において、以前に音声と一致した体が見ることができないと判断され、ステップ３９４において、そのときに見ることができた体に対する音声の一致がないことが確認された場合、ステップ３９８における直前の関連付けが維持され、本システムは、既知の音声を既知の体と共に返す。一方、ステップ３９０において、その音声と以前に一致した体が見えると判定された場合、本システムは、次にステップ４００において、その音声と既知の体との空間的一致が満足のいく一致であるか否か、即ち、空間的一致が明確であるか否かチェックする。ステップ４００は、例えば、図７において先に説明したように、実行することができる。

[0077] 本システムは、所与の音声−体の関連付けが、複数の異なるサンプリングにおいて曖昧のままであるか否か追跡する。複数の異なるサンプリングにおいて音声−体の関連付けを検査した後、本システムが、排除のプロセスによって、その音声が実際にその体と関連付けられていることを明確に判定できない場合、本システムは、この関連付けを、維持するには曖昧過ぎるものとして扱うことができ、その関連付けを除去する。したがって、ステップ４０４において、本システムは、所与の音声−体の関連付けが何回曖昧であると見なされたのか記録する。ステップ４０６において、本システムは、ステップ４０４における記録が何らかの曖昧さしきい値を超えたか否か判定を行う。超えた場合、ステップ４１０において、以前に識別された関連付けが除去され、本システムは、既知の音声を、既知の体と関連付けずに、返す。ステップ４０６における記録が曖昧さしきい値を超えていない場合、本システムは、ステップ４０８において、この関連付けを維持し、既知の音声−体の関連付けを返す。実施形態では、曖昧さしきい値は、例えば、３および６の間にすることができる。このように、例えば、しきい値を５に設定し、本システムが、５回のサンプリングの後、所与の音声と体との間の関連付けの曖昧さを打ち消すことができない場合、本システムはこの関連付けを除去する。他の実施形態では、曖昧さしきい値は３よりも小さくても、そして６よりも大きくてもよい。

[0078] 以上で説明したのは、ステップ４００において空間一致が曖昧であった場合に、システムが行うことである。しかしながら、ステップ４００において、空間位置が明確であると判定された場合、本システムは、ステップ４１４において、音声と一致した体が、以前に曖昧であると見なされたことがあるか否か判定を行う。ある場合、本システムは、図８Ｂのステップ４３０を参照して以下で説明するように、関連付けを更新して曖昧さを除去する。一方、ステップ４１４において、格納されている音声−体の関連付けが曖昧ではなかったと判定された場合、本システムはステップ４０８においてこの関連付けを維持し、本システムは既知の音声を既知の体と共に返す。

[0079] 前述のように、ステップ３９０以降が実行されるのは、ステップ３８８において、音声が既知の体と以前から関連付けられていると判定された場合である。しかしながら、ステップ３８８において、登録されている音声が以前に既知の体と一致していないと判定された場合、本システムは図８Ｂのステップ４１６を実行する。ステップ４１６では、音声と視野の中にいる一人以上のユーザーとの間に関連付けが存在するか否か判定することを試みる。ステップ４１６において、音声が属するはずである一人のユーザーを明確に特定できるということも起こり得る。例えば、図７に関して先に説明したように、本システムは、音声が視野内から来ており、視野の中には一人の人しかいないと判定する場合もある。

[0080] あるいは、明確ではないが、ステップ４１６において、音声と関連付けることができる一人以上のユーザーを識別することもある。この判定を行うために、本システムは、種々のファクターを採用し、採点された信頼レベルに達するように、これらを適用することができる。一般に、ファクターを考慮したときに、しきい値よりも高く音声を体と関連付けることができれば、その音声−体の関連付けは格納され、そして返される。実施形態では、スコアーに寄与することができるファクターは、以下の内１つ以上を含むことができる。

[0081] １つのファクターは、音声発生源の推定位置がどれくらい既知の体に近いかとすることができる。体が、音定位技法によって推定された正確な位置にある場合、このファクターは、体が音声の推定位置から離れている場合よりも高いスコアーを出すことになる。スコアーの一部をなす他のファクターは、視野の中にいくつの体があるかとすることができる。体が多い程、音声のこれらの体の内任意のものに対する相関において、信頼度が低くなる。逆に、視野の中にいる一人の人が、音声が以前に関連付けられた人である場合、その結果得られるスコアーは、この相関付けられた音声および体間における高い空間一致を示すことが多くなる。

[0082] スコアーに寄与する他のファクターは、聞かれている音声の数である。このファクターはスコアーから減算するか、またはスコアーに加算することができる。例えば、ノイズが多くあり過ぎて、考慮しようとしている音声の発生源を精度高く決定することができない程に多くの音声がある場合、これは、その音声の識別された体への関連付けのスコアーを下げることにつながる。一方、考慮対象の音声に加えて聴取された音声が、以前に他のユーザーと関連付けられており、これらのユーザーが視野の中にいる場合、このファクターは、考慮対象の音声と以前に識別された体との間における関連付けを測定するスコアーに追加することができる。

[0083] 視野の中にいる人数に加えて、これらの人々の推定音声発生源までの近さも、スコアーに影響を及ぼす他のファクターとなる。二人以上の人が推定発生源の近くいる場合、これはスコアーを下げることにつながり、一方視野の中に複数の人がいるが、以前に一致した人だけが推定発生源の近くいる場合、これはスコアーを上げることにつながる。

[0084] スコアーに寄与する他のファクターは、音声の発生源が視野内のエッジ付近ではなく、中心に来るように推定されているか否かである。音声が視野のエッジ付近にあると推定されたときには、この音声は、視野の中にいて以前に一致した人からである可能性や、視野の外側にいる人からである可能性がある。つまり、人と音声との間における空間一致が、視野の中心にあると推定されると、視野のエッジにある場合よりも高いスコアーが得られる。尚、音声と体との間に相関があるか否かを指示するスコアーに達するためには、追加のファクターも使用してよいことは、当業者には認められよう。

[0085] 異なる実施形態では、採点された信頼レベルに達するときに、前述のファクターの内１つ以上を使用することができる。前述のファクターの内１つ以上に加えて、またはその代わりに、他のファクターを使用することもできる。実施形態では、使用されるファクターに重み付けし、量子化して、特定の音声−体対に関して使用されるファクターを考慮するときに、数値スコアーが得られるようにすることができる。しきい値信頼レベルを任意に選択することができ、これよりも高いスコアーは、有意であり、音声と体との間の関連付けを格納するのに十分であると言われる。

[0086] ステップ４１６において、明確な識別または信頼レベルのスコアーに達した後、本システムは、ステップ４２０において、作られた任意の関連付けに対する証拠（スコアー）を更新する。ステップ４２４において、本システムは、明確な一致、またはしきい値信頼レベルを超えるスコアーが得られる一致が発見されたか否かチェックする。発見されていない場合、本システムは、既知の音声に一致する既知の体は発見されなかったことを返す。一方、ステップ４２４において、１つ以上の体が、しきい値信頼レベルよりも高く音声に一致することが発見された場合、ステップ４２８において、これらの関連付けを記録し、本システムは、既知の音声が少なくとも１つの既知の体と関連付けられたことを返す。先に示したように、図８Ａおよび図８Ｂのステップを次に複数のサンプリングにおいて繰り返して、どの体に音声が属する可能性があるかについて、排除のプロセスによって、関連付けが明確となるようにすることができ、あるいは複数回のサンプリングの後でも曖昧なままである場合、関連付けを除去することもできる。

[0087] 図８Ａに関して先に説明したように、ステップ４１４において、格納されている体識別が曖昧でないと判定された場合、ステップ４１４に続いてステップ４０８を実行する。しかしながら、ステップ４１４において、格納されている体識別が曖昧であると判定された場合、本システムは、図８Ｂに示すように、ステップ４３０を実行する。即ち、ステップ３８８、３９０、および４００において、音声が１つ以上の既知の体との関連付けを有すること、これら既知の体の内１つが見えること、そしてその既知の体との空間一致が明確であることを判定する。次いで、ステップ４１４において、メモリーを調べて、１つよりも多い体が、ストレージにおいて、その音声と関連付けられているか否か判定を行う。１つよりも多い体がある場合、証拠を更新して音声と体との間における明確な相関を示すことによって、ステップ４３０において、現行のサンプリングがその関連を明確にする。

[0088] 本システムが、音声がユーザーと明確に関連付けられたと判断した後であっても、本システムは、その関連付けにおいてエラーの可能性があれば、そのエラーにも対処する。即ち、同じ音声がメモリーにおける他のユーザーと明確に関連付けられていること、またはそのユーザーがメモリーにおける他の音声と明確に関連付けられていることも可能な場合がある。このため、ステップ４３２において、曖昧さが解消されたか否か判定を行う。解消されている場合、本システムは既知の音声を既知の体と共に返す。解消されていない場合、本システムは、既知の音声を返すが、関連のある既知の体を付けない。次いで、複数のサンプリングにおいて図８Ａおよび図８Ｂのステップを繰り返して、再度、どの体に音声が属する可能性があるかについて、排除のプロセスによって、関連付けが明確となるようにすることができ、あるいは複数回のサンプリングの後でも曖昧なままである場合、関連付けを除去することもできる。

[0089] 以上で説明したシステムを使用すると、ゲーミング、マルチメディア、または他のマルチユーザー・アプリケーションにおいて、音声を体と相関付けることができる。１回のサンプリングで音声を体に明確に関連付けることができるシステムも存在するかもしれないが、これらのシステムは、殆どのゲーミング、マルチメディア、または他の消費者ベース・システムでは実用可能でない高価な精密システムを必要とする。しかしながら、従来のシステムとは異なり、本システムは、使用される機器が１回のサンプリングでこのような相関を判定することができなくても、信頼性のある音声−体相関を行うことができる。更に、登録されているユーザーを使用して開始するシステムも知られている。即ち、１組のユーザーが、既知の登録されている体シグネチャーおよび／または既知の登録済み音声を有する。従来のシステムは、未知の体シグネチャーおよび未知の音声を有するユーザーを使用して開始して、音声−体相関を行うことができない。本技術は、このような相関を行うことを可能にする。

[0090] 以上、種々の図において示したような、好ましい態様と関連付けて本開示について説明したが、他の同様の態様も使用することができ、あるいは、本開示から逸脱することなく、その同じ機能を実行するために、変更や追加を、記載した態様に対して行うことができることも言うまでもない。したがって、本開示は、いずれの一態様にも限定されることはなく、逆に、添付した特許請求の範囲にしたがって、その広さおよび範囲が解釈されてしかるべきである。例えば、本明細書において記載した種々の手順は、ハードウェアまたはソフトウェア、あるいは双方の組み合わせで実現することができる。つまり、開示した実施形態の方法および装置、あるいはある種の態様またはその一部は、フロッピー・ディスケット、ＣＤ−ＲＯＭ、ハード・ドライブ、または任意の他の装置読み取り可能記憶媒体というような、有形媒体に具体化されたプログラム・コード（即ち、命令）の形態をなすことができる。このプログラム・コードが、コンピューターのような装置にロードされこれによって実行されると、この装置が、開示された実施形態を実施するように構成された装置となる。本明細書において具体的に明示された特定の実施態様に加えて、ここに開示した明細書から、他の態様や実施態様も当業者には明白であろう。本明細書および例示した実施態様は、例としてのみ解釈されることを意図している。

Claims

未知の１組のユーザ（Ａ〜Ｄ）から開始するマルチユーザ・アプリケーションにおいて、ユーザとユーザ音声との間における相関を識別する方法であって、
（ａ）複数の時間期間にわたって、ビデオ・キャプチャー・コンポーネントの視野内において撮影された複数の物体の画像（Ａ’〜Ｄ’）を受け取るステップと、
（ｂ）前記ステップ（ａ）において受け取った前記画像が一人以上のユーザを含むか否か判定を行うステップと、
（ｃ）複数の時間期間において、マイクロフォン・アレイのレンジ内で音を受け取るステップと、
（ｄ）前記ステップ（ｃ）において受け取った音が１つ以上の人間の音声を含むか否か判定を行うステップと、
（ｅ）異なる画像において判定されたユーザの位置の複数のサンプリング、および異なる時点における前記音声の決定された発生源位置に基づいて、前記ステップ（ｄ）において識別した音声を、前記視野内にいる前記一人以上のユーザ（Ａ〜Ｄ）の内一人のユーザに相関付けるステップと、
を含み、
前記ステップ（ｅ）が、前記音声と前記ユーザとの間における関連付けの信頼レベルを得るために、前記複数のサンプリングの内第１サンプリングを実行するステップを含み、予め定められたしきい値よりも高い信頼レベルが、前記音声および前記ユーザがメモリーにおいて互いに関連付けをもたらし、
前記ステップ（ｅ）が、前記複数のサンプリングの内後続のサンプリングにおいて、前記音声が属する可能性があるユーザ数が減少した場合、前記後続のサンプリングにおいて前記信頼レベルを高くするステップを含む、
方法。
請求項１記載の方法において、前記ステップ（ｅ）が、前記複数のサンプリングの内１つのサンプリングを、前記複数の画像の内の１つの画像の検査から前記一人以上のユーザの位置を判定することによって形成し、音発生源定位技法を使用して前記音声の位置を判定することによって形成するステップを含む、方法。
請求項１記載の方法であって、更に、前記複数のサンプリングにおいて前記音声が属する可能性がある他の全てのユーザを排除したときに、前記音声を１人のユーザに明確に相関付けるステップを含む、方法。
請求項３記載の方法であって、更に、前記音声と前記ユーザとの間における相関が、明確に互いに関連付けられた後に、前記複数のサンプリングにおいて追加のサンプリングを実行するステップを含む、方法。
請求項１記載の方法であって、更に、前記追加のサンプリングにおいて、前記音声がどのユーザに属するのかに関する曖昧さを除去することができない場合、または前記追加のサンプリングにおいて、前記音声が前記一人以上のユーザの内第２ユーザに属することを示す場合、前記相関を除去するステップを含む、方法。
未知の１組のユーザ（Ａ〜Ｄ）から開始するマルチユーザ・アプリケーションにおいて、ユーザとユーザ音声との間における相関を識別する方法であって、
（ａ）複数の時間期間にわたって、ビデオ・キャプチャー・コンポーネントの視野内において撮影された複数の物体の画像（Ａ’〜Ｄ’）を受け取るステップと、
（ｂ）前記ステップ（ａ）において受け取った前記画像が一人以上のユーザを含むか否か判定を行うステップと、
（ｃ）複数の時間期間において、マイクロフォン・アレイのレンジ内で音を受け取るステップと、
（ｄ）前記ステップ（ｃ）において受け取った音が１つ以上の人間の音声を含むか否か判定を行うステップと、
（ｅ）異なる画像において判定されたユーザの位置の複数のサンプリング、および異なる時点における前記音声の決定された発生源位置に基づいて、前記ステップ（ｄ）において識別した音声を、前記視野内にいる前記一人以上のユーザ（Ａ〜Ｄ）の内一人のユーザに相関付けるステップと、
を含み、
前記ステップ（ｅ）が、前記音声とユーザとの間における関連付けの採点された信頼レベルを導くために、前記複数のサンプリングの内第１サンプリングを実行するステップを含み、前記採点された信頼レベルが、
ｉ．前記音声発生源の推定位置が前記一人以上のユーザにどれだけ近いか、
ｉｉ．聞かれた音声の数、
ｉｉｉ．前記一人以上のユーザの、前記音声の推定発生源までの近接度、
ｉｖ．前記音声の発生源が、前記画像の視野内の中心に位置すると推定されるか、または前記視野のエッジの方に近いと推定されるか、
のファクターの内1つ以上を検査することによって得られる、方法。
請求項１又は６に記載の方法において、前記ステップ（ａ）において受け取った画像が一人以上のユーザを含むか否か判定を行う前記ステップ（ｂ）が、前記ユーザの骨格関節の少なくとも一部の位置を測定するステップを含む、方法。
請求項７記載の方法において、前記音声の決定された発生源位置に少なくとも部分的に基づいて、前記ステップ（ｄ）において識別した音声をユーザに相関付けるステップ（ｅ）が、到達時間差によって、音声の発生源位置を判定するステップを含む、方法。
マルチユーザ・アプリケーションにおいて音声をユーザ（Ａ〜Ｄ）に相関付けるシステムであって、
撮像カメラ・コンポーネントであって、該撮像カメラ・コンポーネントの視野内にいる一人以上のユーザ（Ａ〜Ｄ）の深度画像を供給することができる、撮像カメラ・コンポーネントと、
マイクロフォン・アレイであって、該マイクロフォン・アレイのレンジ内において音を受け取ることができ、第１許容範囲内で音声の発生源を定位することができる、マイクロフォン・アレイと、
前記画像キャプチャー・コンポーネントおよびマイクロフォン・アレイ双方と通信可能な計算環境であって、前記計算環境が、前記視野内にいる異なるユーザ間で、第２許容範囲までで区別することができ、
前記計算環境が、
（ａ）音声のソースが、前記第１許容範囲内にあるものと定位すること、及び、
（ｂ）前記第２許容範囲内で、前記視野内の異なったユーザ同士を区別すること、
に基づいて、前記撮像カメラからのデーターおよび前記マイクロフォン・アレイからのデーターの初期サンプリングの後、前記音声と前記一人以上のユーザの内一人のユーザとの相関を防止することができ、
前記計算環境が、更に、前記撮像カメラからのデーターおよび前記マイクロフォン・アレイからのデーターの追加サンプリングを実行し、前記追加サンプリングによって、前記音声の前記ユーザとの相関を可能とし、または前記追加サンプリングが、前記音声が前記ユーザに相関付けられる尤度を低下させる、計算環境と、
を含み、更に、
前記音声と前記ユーザとの間における関連付けの信頼レベルを得るために、前記複数のサンプリングの内第１サンプリングを実行するステップであって、予め定められたしきい値よりも高い信頼レベルが、前記音声および前記ユーザがメモリーにおいて互いに関連付けをもたらすものと、
前記複数のサンプリングの内後続のサンプリングにおいて、前記音声が属する可能性があるユーザ数が減少した場合、前記後続のサンプリングにおいて前記信頼レベルを高くするステップを含む、
システム。
請求項９記載のシステムにおいて、前記計算環境が、前記初期および追加サンプリングを実行しながら、前記一人以上のユーザが関与するゲーミング・アプリケーションを実行する、システム。
請求項９記載のシステムにおいて、前記計算環境が、前記一人以上のユーザの関節位置を検出することによって、前記視野内において異なるユーザ間で区別する、方法。
請求項１１記載のシステムにおいて、前記マイクロフォン・アレイが、２つのマイクロフォンを使用して、これら２つのマイクロフォンまでの前記音声の到達時間差によって、前記音声の発生源を定位する、システム。