JP6756777B2

JP6756777B2 - 情報処理装置および音発生方法

Info

Publication number: JP6756777B2
Application number: JP2018103966A
Authority: JP
Inventors: 昌毅高瀬; 直樹常盤; 朗宮下
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-05-30
Filing date: 2018-05-30
Publication date: 2020-09-16
Anticipated expiration: 2038-05-30
Also published as: WO2019230567A1; US11337025B2; JP2019208185A; US20210211827A1

Description

本発明は、空間内に音像を定位する技術に関する。

特許文献１は、音声情報を空間的に配置する音像定位技術を用いて、現実空間に仮想キャラクタが本当に存在しているようユーザに知覚させ、仮想キャラクタの音声により所定の場所への誘導情報を提示することで、当該誘導に従うモチベーションをユーザに励起させる技術を開示する。

特開２０１７−１０３５９８号公報

ユーザを取り囲むようにスピーカを配置したサラウンド音響空間は、音場の広がりや、音響の立体感および臨場感をユーザに提供する。５．１チャンネル、７．１チャンネルの音響システムが普及しているが、近年では３次元音響空間の立体感を向上するために、スピーカを天井などに設置して上方から音を出す音響システムも開発されている。また従来より、少ない数のスピーカを用いて仮想的なマルチチャンネル音響空間を実現するバーチャルサラウンド技術が存在し、バーチャルサラウンド技術では、仮想音源を音像定位することで、サラウンド音響を擬似的に再現する。

たとえば映画などの動画再生では、映画中の音をサラウンド音響空間内に定位して音響の立体感および臨場感を高める工夫が行われている。ゲーム分野においても同様に、ゲーム中の仮想オブジェクトから発生する音をサラウンド音響空間内に定位する処理が行われる。一方で、ゲームプレイ中のユーザに対してシステムから出力される通知音などは、複数のスピーカから均等なボリュームで出力されているに過ぎず、改善の余地がある。

本発明の目的は、音像定位技術を効果的に利用した技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、複数のスピーカに接続する情報処理装置であって、コンテンツの音の音像を定位する第１定位処理部と、定位処理された前記コンテンツの音データをスピーカに供給する第１音出力部と、前記コンテンツの音の音像が定位されている第１定位位置とは異なる第２定位位置に、前記コンテンツの音とは異なる音の音像を定位する第２定位処理部と、定位処理された前記コンテンツの音とは異なる音のデータをスピーカに供給する第２音出力部とを備える。

コンテンツは、たとえばゲームであって、コンテンツ音は、ゲーム中に発生するゲーム音であってよい。コンテンツ音とは異なる音は、コンテンツとは異なるシステムソフトウェアやアプリケーションで発生する音である。コンテンツ音がゲーム音であるとき、コンテンツ音と異なる音は、当該ゲームと異なるアプリケーションで発生する音や、システムソフトウェアで発生する音であってよい。なおコンテンツ音は、ゲーム以外のアプリケーション、たとえば動画再生アプリケーションにより再生される音であってもよい。音の発生主体は擬人化されて、ユーザに視覚的に提示されてもよく、擬人化されていなくてもよい。

本発明の別の態様は、音発生方法である。この方法は、コンテンツの音の音像を定位するステップと、定位処理された前記コンテンツの音データをスピーカに供給するステップと、前記コンテンツの音の音像が定位されている第１定位位置とは異なる第２定位位置に、前記コンテンツの音とは異なる音の音像を定位するステップと、定位処理された前記コンテンツの音とは異なる音のデータをスピーカに供給するステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

ユーザのサラウンド音響空間の一例を示す図である。情報処理装置のハードウェア構成を示す図である。実施例１における情報処理装置の機能ブロックを示す図である。ゲーム画像の一例を示す図である。ゲーム音の音像の定位位置を示す図である。エージェント実行部の構成の一例を示す図である。エージェント音の音像の定位位置を示す図である。エージェント音の音像定位処理のフローチャートを示す図である。実施例２における情報処理装置の機能ブロックを示す図である。ゲーム画像の一例を示す図である。

図１は、ゲームをプレイするユーザのサラウンド音響空間の一例を示す。情報処理システム１は、ユーザ端末装置である情報処理装置１０と、マルチチャンネル音響空間を実現する複数のスピーカ３ａ〜３ｊ（以下、特に区別しない場合には、単に「スピーカ３」と呼ぶ）と、テレビなどの表示装置４と、表示装置４の前方空間を撮影するカメラ７とを備える。カメラ７はステレオカメラであってよい。情報処理装置１０は、複数のスピーカ３、表示装置４およびカメラ７に接続する。

実施例において情報処理装置１０はゲームプログラムを実行するゲーム装置であり、ユーザが操作するゲームコントローラ（図示せず）と無線または有線で接続し、ゲームコントローラから供給される操作情報をゲームの処理に反映する。情報処理装置１０は、ゲーム画像を表示装置４に供給し、ゲーム音を複数のスピーカ３に供給する。実施例で情報処理装置１０はゲームプログラムを実行する機能を有するが、変形例では、情報処理装置１０はゲームプログラムの実行機能を有さず、ゲームコントローラに入力された操作情報をクラウドサーバに送信し、クラウドサーバからゲーム画音を供給される端末装置であってもよい。

ユーザは、ゲーム画像を表示する表示装置４の正面に座って、ゲームをプレイする。情報処理装置１０は、カメラ７が撮影したユーザの画像を取得して、室内におけるユーザの位置を特定する。ユーザの前方正面にはセンタースピーカ３ａ、前方左右には、表示装置４を挟んでフロントスピーカ３ｂ、３ｃ、および超低音域を担当するスピーカであるサブウーハー３ｋ、３ｌが配置される。ユーザの左右には、サラウンドスピーカ３ｄ、３ｅが配置される。ユーザの後方背面にはサラウンドバックスピーカ３ｆ、後方左右には、サラウンドバックスピーカ３ｇ、３ｈが配置される。また天井には、ハイトスピーカ３ｉ、３ｊが配置される。

実施例のサラウンド音響空間は、ハイトスピーカ３ｉ、３ｊを他のスピーカよりも高い位置に設置することで、高精度な３次元音像定位を実現可能としている。図１に示すサラウンド音響空間はユーザのゲームプレイ環境の一例であるが、情報処理装置１０がゲーム音などの音像を部屋空間内の所望の位置に定位するためには、室内のスピーカ３の位置および向きを把握している必要がある。

なお実施例では、ユーザを取り囲むように複数のスピーカ３を配置したサラウンド音響空間を前提とするが、従来より、少ない数のスピーカ、典型的には２つのスピーカを用いて仮想的なマルチチャンネル音響空間を実現するバーチャルサラウンド技術が存在する。バーチャルサラウンド音響空間を実現する場合、情報処理装置１０は、音像の方向等に応じた頭部伝達関数（Head-Related Transfer Function; HRTF）を用いて、仮想音源を音像定位する。

図２は、情報処理装置１０のハードウェア構成を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置（図示せず）またはＲＯＭ媒体４４に記録されたゲームプログラムを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は、外部の補助記憶装置およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえばゲームコントローラ６と無線通信する。有線通信モジュール４０は、外部機器と有線通信し、アクセスポイントを介して、インターネットなどの外部ネットワークに接続する。

図３は、実施例１における情報処理装置１０の機能ブロックを示す。実施例１では、情報処理装置１０が、ユーザによる発話に対して応答し、またユーザにお奨めの情報を提供するエージェント機能を実行する。エージェントは、視覚的に擬人化されたキャラクタの形態を有し、ユーザとコミュニケーションをとる際に、表示装置４にキャラクタが表示されてもよいが、視覚的な擬人化はされずに、音声のみによってユーザとコミュニケーションをとってもよい。

情報処理装置１０は、ゲーム処理部１００、エージェント処理部２００、画像処理部９０および混合部９２を備える。ゲーム処理部１００は、ゲーム実行部１０２、ゲーム画像出力部１０４、ゲーム音定位処理部１０６およびゲーム音出力部１０８を有し、エージェント処理部２００は、エージェント実行部２０２、エージェント音定位処理部２０４およびエージェント音出力部２０６を有する。

図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

ゲーム実行部１０２はゲームプログラム（以下、単に「ゲーム」とも呼ぶこともある）を実行して、ゲームの画像データおよび音声データを生成する。ゲーム実行部１０２として示す機能は、システムソフトウェア、ゲームプログラム、レンダリング処理などを実行するＧＰＵなどのハードウェアにより実現される。なおゲームはアプリケーションの一例であり、ゲーム実行部１０２は、ゲーム以外のアプリケーションを実行してもよい。

ゲーム実行部１０２は、ユーザがゲームコントローラ６に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ゲーム実行部１０２は、仮想空間における演算処理結果にもとづいて、仮想空間内の視点位置（仮想カメラ）からのゲーム画像データを生成する。またゲーム実行部１０２は、仮想空間内のゲーム音声データを生成する。

たとえばファーストパーソンシューター（ＦＰＳ）ゲームでは、ゲーム実行部１０２は、ユーザが操作するゲームキャラクタの本人（第１者）視点からの画像データを生成して、ゲーム画像出力部１０４に供給する。ゲーム画像出力部１０４は、ゲーム画像データを表示装置４の表示領域の全体に表示させる。

図４は、表示装置４に表示されるゲーム画像の一例を示す。ゲーム画像出力部１０４は、ゲーム画像データを画像処理部９０に供給し、画像処理部９０は、ゲーム画像データから表示用データを生成して、ゲーム画像を表示装置４の表示領域全体に表示する。

ゲーム実行部１０２は、ゲーム空間における音発生源で発生するゲーム音データを生成し、ゲーム音定位処理部１０６に供給する。このときゲーム実行部１０２は、ゲーム音定位処理部１０６がゲームキャラクタに対する音発生源の相対的な方向および距離を示す情報を算出するための音源位置情報も、ゲーム音定位処理部１０６に供給する。たとえば音源位置情報は、ゲーム空間のワールド座標系におけるゲームキャラクタの位置情報および方向（向き）と、音発生源の位置情報を含んでよい。ゲーム音定位処理部１０６は、音源位置情報から、ゲームキャラクタに対する音発生源の相対的な方向および距離を算出し、ゲーム音の音像を定位する３次元空間内の位置を定める。

ゲーム空間において、ゲームキャラクタの正面方向に対して角度αだけ左方向であって且つ距離Ｌの地点で、爆発音が発生したケースを想定する。ゲーム実行部１０２は、ゲーム空間のワールド座標系におけるゲームキャラクタの位置情報および方向（向き）と、音発生源の位置情報を含む音源位置情報を生成し、ゲーム音定位処理部１０６に供給する。なおゲーム実行部１０２は、音源位置がゲームキャラクタの左前方αの角度であって且つ距離Ｌであることを示す音源位置情報を生成して、ゲーム音定位処理部１０６に供給してもよい。ゲーム音定位処理部１０６は、ゲームキャラクタと音発生源との相対的な方向および距離の関係を、３次元空間におけるユーザを基点とした方向および距離の関係に変換して、ゲーム音の音像の定位位置Ｐ１を決定する。

図５は、ゲーム音の音像の定位位置Ｐ１を示す。ゲーム音定位処理部１０６は、３次元空間におけるユーザの頭部位置ＨＰおよびユーザの顔の向きを特定する。ゲーム音定位処理部１０６は、カメラ７が撮影した画像からユーザの頭部位置ＨＰおよび顔の向きを特定してよい。この例ではユーザが、表示装置４に対向する方向（正面方向）を向いて、ゲームをプレイしており、ゲーム音定位処理部１０６は、ユーザの頭部位置ＨＰおよび正面方向を基準として、ゲーム音の音像の定位位置Ｐ１を定める。ここでは、頭部位置ＨＰを基点とした正面方向と、頭部位置ＨＰと定位位置Ｐ１を結ぶ直線のなす角度がαに設定され、頭部位置ＨＰと定位位置Ｐ１の実空間内の距離が、ゲーム空間内の距離Ｌにもとづいて設定される。このようにゲーム音定位処理部１０６は、ゲーム空間内の音源位置を、３次元空間内の音像の定位位置Ｐ１に変換する。

ゲーム音定位処理部１０６は、ゲーム実行部１０２から供給されたゲーム音データに対して、決定した定位位置Ｐ１に音像を定位するための音像定位処理を実施する。音像定位処理は、サラウンド技術を用いて、定位位置Ｐ１から音が発せられたとユーザに知覚させる処理である。ゲーム音定位処理部１０６は、複数のスピーカ３におけるゲーム音出力を調整する音像定位処理を実施し、定位処理したゲーム音データを生成する。なおバーチャルサラウンド技術により定位位置Ｐ１に音像を定位させる場合、ゲーム音定位処理部１０６は、音像の方向等に応じた頭部伝達関数を用いて、音像定位処理を実施し、定位処理したゲーム音データを生成する。ゲーム音出力部１０８は、定位処理されたゲーム音データを、混合部９２を介して各スピーカ３に供給する。これによりユーザは、定位位置Ｐ１から、爆発音の発生を聞くことができる。

エージェント実行部２０２は、ユーザとコミュニケーションをとるエージェントプログラムを実行して、エージェントの音声をスピーカ３から出力させる。エージェント実行部２０２は、ユーザからの発話内容を理解して音声応答する機能をもつ。

図６は、エージェント実行部２０２の構成の一例を示す。エージェント実行部２０２は、音声認識部２１０、自然言語理解部２１２、対応処理生成部２１４、応答作成部２１６および音変換部２１８を備える。

音声認識部２１０は、マイク（図示せず）から入力されるユーザの発話を音声認識して、テキストに変換する。自然言語理解部２１２は、テキストからユーザの意図を理解し、対応処理生成部２１４は、ユーザの意図に応じた内部コマンドを生成する。応答作成部２１６は、ユーザに対する応答メッセージをテキストで作成し、音変換部２１８は、作成されたメッセージを、エージェントの音声に変換して、エージェント音定位処理部２０４に出力する。

たとえばユーザが「明日の天気は？」と発話した場合、自然言語理解部２１２は、音声認識部２１０によりテキスト化された文章から、明日の天気を知りたい、とするユーザの要求を理解し、対応処理生成部２１４が、明日の天気を問い合わせるコマンドを外部サーバに送信する。応答作成部２１６は、外部サーバから明日が晴れであることを示す情報を受け取り、「明日は晴れのようです」とする応答メッセージのテキストを作成する。音変換部２１８は、エージェントの声で、「明日は晴れのようです」を再生するエージェント音データを生成し、エージェント音定位処理部２０４に出力する。

エージェント音定位処理部２０４は、エージェント音の音像を定位する３次元空間内の位置を定める。具体的にエージェント音定位処理部２０４は、ゲーム音の音像が定位されている定位位置Ｐ１とは異なる定位位置Ｐ２に、エージェント音の音像を定位する。エージェント音定位処理部２０４は、ゲーム音の音像が定位される可能性のない３次元空間内の位置を、エージェント音の音像の定位位置Ｐ２として決定してよい。たとえばゲームにゲーム空間内で音を発生する可能性のある領域と、音を発生しない領域とを示すパラメータが設定されている場合、エージェント音定位処理部２０４は、ゲームから当該パラメータを取得して、ゲーム音を発生しない領域を特定してもよい。たとえばゲームキャラクタの頭上の空間に、他のオブジェクトが存在することがない場合、ゲームには、ゲームキャラクタの頭上の空間をゲーム音を発生しない領域とするパラメータが設定されている。エージェント音定位処理部２０４は、当該パラメータを取得することで、ユーザの頭上の空間にゲーム音の音像が定位される可能性のないことを判定し、ユーザの頭上に、エージェント音の音像の定位位置Ｐ２を設定してもよい。

エージェント音定位処理部２０４は、エージェント実行部２０２から供給されたエージェント音データに対して、決定した定位位置Ｐ２に音像を定位するための音像定位処理を実施する。エージェント音定位処理部２０４は、複数のスピーカ３におけるエージェント音出力を調整する音像定位処理を実施し、定位処理したエージェント音データを生成する。なおバーチャルサラウンド技術により定位位置Ｐ２に音像を定位させる場合、エージェント音定位処理部２０４は、音像の方向等に応じた頭部伝達関数を用いて、音像定位処理を実施し、定位処理したエージェント音データを生成する。ゲーム音定位処理部１０６とエージェント音定位処理部２０４とは、別個の定位処理部として設けられてもよいが、１つの定位処理部が共用されて、ゲーム音とエージェント音の双方を処理してもよい。エージェント音出力部２０６は、定位処理されたエージェント音データを、混合部９２を介して各スピーカ３に供給する。これによりユーザは、定位位置Ｐ２から、エージェント音を聞くことができ、仮想的なエージェントの存在を認識できる。

ユーザは、定位位置Ｐ１で発生したゲーム音を聞いているときに、定位位置Ｐ１とは異なる定位位置Ｐ２で発生したエージェント音を聞くことで、両者を明瞭に聞き分けることができる。なおユーザの頭部位置ＨＰから定位位置Ｐ１に向かう方向と、頭部位置ＨＰから定位位置Ｐ２に向かう方向とは、ずれていることが好ましい。頭部位置ＨＰ、定位位置Ｐ１、定位位置Ｐ２を直線上に配置しないことにより、ユーザは、ゲーム音とエージェント音とを明瞭に聞き分けることが可能となる。

図７は、エージェント音の音像の定位位置Ｐ２を示す。実施例でエージェント音定位処理部２０４は、ゲーム音定位処理部１０６から、ゲーム音の音像の定位位置Ｐ１を特定する定位情報を取得し、エージェント音の定位位置Ｐ２を、ゲーム音の定位位置Ｐ１とは異なる位置に設定する。

定位情報は、３次元空間におけるユーザとゲーム音の音像との相対位置を示す情報であってもよく、３次元空間におけるゲーム音の定位位置Ｐ１の座標値を示す情報であってもよい。エージェント音定位処理部２０４は、ユーザの頭部位置ＨＰから定位位置Ｐ１に向かう方向と、ユーザの頭部位置ＨＰから定位位置Ｐ２に向かう方向とのなす角度βが所定角度γ以上となるように、定位位置Ｐ２を決定することが好ましい。所定角度γは、音源の方向を区別できる角度であればよく、たとえば９０度であってよい。

定位位置Ｐ２がユーザの頭上の高い位置に設定されると、エージェントにより上空から見られているような感覚をユーザに提供できる。また定位位置Ｐ２がユーザの肩口に設定されると、エージェントが常に肩口で寄り添っているような感覚をユーザに提供できる。また定位位置Ｐ２が表示装置４の手前の所定位置に設定されると、エージェントが常に向かい合って存在しているような感覚を、ユーザに提供できる。またゲームキャラクタの頭上にドローンのような飛行体であるエージェントを登場させ、定位位置Ｐ２をユーザの頭上の低い位置に設定することで、エージェントが常に頭上を旋回しているような感覚をユーザに提供できる。エージェント音定位処理部２０４は、定位位置Ｐ１の方向と重ならない限りは、定位位置Ｐ２を固定的に所定位置に設定し、定位位置Ｐ１の方向と重なった場合に、定位位置Ｐ１の方向とずらすように定位位置Ｐ２を変更してもよい。

なおエージェントをゲーム中の移動体として登場させる場合、エージェントは、常にゲームキャラクタの頭上を旋回するだけでなく、ゲームの進行状況に応じてユーザの周囲を自由に移動してよく、ゲーム中のキャラクタのように行動してよい。ゲーム実行部１０２は音発生源の位置情報を把握しているため、音発生源の位置とは重ならない位置にエージェントを配置し、定位位置Ｐ２を定位位置Ｐ１と異ならせてよい。

実施例１ではエージェント音定位処理部２０４が、ゲーム音定位処理部１０６から定位位置Ｐ１を特定する定位情報を取得したが、他のルートから取得してもよい。音像の定位は、各スピーカ３の出力の音量および時間差を制御することで実現されるため、エージェント音定位処理部２０４は、各スピーカ３の出力の音量および時間差を監視することで、ゲーム音の音像の定位位置Ｐ１を解析して取得してもよい。

たとえば左右の２つのスピーカ３でバーチャルサラウンドによる仮想的なマルチチャンネル音響空間を実現する場合、エージェント音定位処理部２０４は、左右のスピーカ３の音量比から、ユーザに対する定位位置Ｐ１の角度を計算する。これによりエージェント音定位処理部２０４は定位位置Ｐ１を把握でき、ユーザの頭部位置ＨＰから定位位置Ｐ１に向かう方向と、ユーザの頭部位置ＨＰから定位位置Ｐ２に向かう方向とのなす角度βが所定角度γ以上となるように、定位位置Ｐ２を決定できる。

なお人間の耳には、低音だと低い位置、高音だと高い位置から音が聞こえる特性があるため、エージェント音定位処理部２０４は、ゲーム音が聞こえる高さとは異なる高さからエージェント音が聞こえるように、エージェント音の音像を定位してもよい。たとえばゲーム音に高音周波数が多く含まれている場合、エージェント音定位処理部２０４は、エージェント音を低音周波数で生成して、定位位置Ｐ２を低い位置に設定し、逆にゲーム音に低音周波数が多く含まれている場合、エージェント音定位処理部２０４は、エージェント音を高音周波数で生成して、定位位置Ｐ２を高い位置に設定してよい。

エージェント音定位処理部２０４は、ゲーム音の定位位置Ｐ１の移動に伴って、エージェント音の定位位置Ｐ２を移動してよい。なおエージェント音定位処理部２０４は、定位位置Ｐ２の移動を所定の範囲内に制限することで、ユーザにエージェントからの音声であることを認識させるようにしてよい。

なお実施例１では、エージェントが１体であることを前提としているが、複数のエージェントが存在していてもよい。複数のエージェントが存在する場合においても、エージェント音定位処理部２０４は、各エージェント音の音像の定位位置を、ユーザを基点として異なる方向に存在するように設定することが好ましい。

図８は、エージェント音の音像定位処理を示すフローチャートである。ゲーム実行部１０２は、ゲーム空間における音発生源で発生するゲーム音データを生成し、音源位置情報とともに、ゲーム音定位処理部１０６に供給する。ゲーム音定位処理部１０６は、ゲーム音データおよび音源位置情報を取得し（Ｓ１０）、音源位置情報から、ゲームキャラクタに対する音発生源の相対的な方向および距離を算出して、ゲーム音の音像を定位する３次元空間内の定位位置Ｐ１を定める（Ｓ１２）。

ゲーム音定位処理部１０６は、ゲーム実行部１０２から供給されたゲーム音データに対して、決定した定位位置Ｐ１に音像を定位するための音像定位処理を実施する（Ｓ１４）。ゲーム音定位処理部１０６は、複数のスピーカ３におけるゲーム音出力を調整する音像定位処理を実施し、定位処理したゲーム音データを生成する。なおバーチャルサラウンド技術により定位位置Ｐ１に音像を定位させる場合、ゲーム音定位処理部１０６は、音像の方向等に応じた頭部伝達関数を用いて、音像定位処理を実施し、定位処理したゲーム音データを生成する。

エージェント音定位処理部２０４は、ゲーム音定位処理部１０６から、ゲーム音の音像の定位位置Ｐ１を特定する定位情報を取得する（Ｓ１６）。定位情報は、３次元空間におけるユーザとゲーム音の音像との相対位置を示す情報であってもよく、３次元空間におけるゲーム音の定位位置Ｐ１の座標値を示す情報であってもよい。エージェント音定位処理部２０４は、定位位置Ｐ１と異なる位置に、エージェント音の定位位置Ｐ２を決定する（Ｓ１８）。エージェント音定位処理部２０４は、エージェント実行部２０２から供給されたエージェント音データに対して、決定した定位位置Ｐ２に音像を定位するための音像定位処理を実施する（Ｓ２０）。

図９は、実施例２における情報処理装置１０の機能ブロックを示す。実施例２では、情報処理装置１０が、情報処理装置１０におけるシステムソフトウェア、または外部サーバで生成された通知情報をユーザに提供する通知処理機能を実行する。

情報処理装置１０は、ゲーム処理部１００、通知処理部３００、画像処理部９０および混合部９２を備える。ゲーム処理部１００は、ゲーム実行部１０２、ゲーム画像出力部１０４、ゲーム音定位処理部１０６およびゲーム音出力部１０８を有し、通知処理部３００は、通知情報取得部３０２、通知音定位処理部３０４、通知音出力部３０６および通知画像出力部３０８を有する。実施例２のゲーム処理部１００は、図３に示した実施例１のゲーム処理部１００と同じ構成および機能を有する。

図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

通知情報取得部３０２は、情報処理装置１０におけるシステムソフトウェアで生成された内部通知情報および／または外部のサーバにより生成された外部通知情報を取得する。たとえばユーザのフレンドＡがゲーム装置にログインすると、外部サーバは、ユーザに対して、「フレンドＡがオンラインになりました。」とする通知情報を送信する。ユーザのゲームプレイ中、通知情報取得部３０２は、このような通知情報を取得すると、通知音データおよび通知画像データを生成して、それぞれ通知音定位処理部３０４および通知画像出力部３０８に供給する。通知画像出力部３０８は、通知画像データを、表示装置４の表示領域の一部に表示させる。通知画像出力部３０８は、通知画像データとあわせて、通知画像の表示場所を特定する情報（表示位置情報）を、画像処理部９０に供給する。

図１０は、表示装置４に表示されるゲーム画像の一例を示す。画像処理部９０は、ゲーム画像出力部１０４からゲーム画像データを供給され、通知画像出力部３０８から通知画像データを供給される。画像処理部９０は、ゲーム画像データから表示用データを生成し、また通知画像データから、表示位置情報で指定される位置に重畳表示するデータを生成し、表示装置４の表示領域に表示する。重畳画像の表示位置は、ゲーム進行の邪魔にならないように、画面の端部近傍に設定されることが多い。図１０には、ゲーム画像の左上隅に重畳表示された通知画像３１０が示されている。

通知画像３１０は、左上隅に表示されることでゲーム進行を邪魔しないが、一方で、視界に入らずに、ユーザが通知メッセージを見落とす可能性がある。そこで、通知音定位処理部３０４は、通知画像出力部３０８から表示位置情報を取得し、表示装置４の表示領域の一部の位置、つまり通知画像３１０が表示される位置またはその近傍に、通知音の音像の定位位置Ｐ３を設定する。このとき通知音定位処理部３０４は、通知画像３１０の表示位置が、ゲーム音の音像の定位位置Ｐ１とは異なることを条件として、当該表示位置を通知音の定位位置Ｐ３として定めてもよい。

通知音定位処理部３０４は、通知情報取得部３０２から供給された通知音データに対して、決定した定位位置Ｐ３に音像を定位するための音像定位処理を実施する。通知音定位処理部３０４は、音像定位処理を実施し、定位処理した通知音データを生成する。ゲーム音定位処理部１０６と通知音定位処理部３０４とは、別個の定位処理部として設けられてもよいが、１つの定位処理部が共用されて、ゲーム音と通知音の双方を処理してもよい。通知音出力部３０６は、定位処理された通知音データを、混合部９２を介して各スピーカ３に供給する。これによりユーザは、定位位置Ｐ３から、通知音を聞くことができ、通知音が発生した方向を見ることで、通知画像３１０の表示に気付くことができる。

なお実施例では、表示装置４がテレビである場合について説明したが、表示装置４は、ヘッドマウントディスプレイ（ＨＭＤ）の表示装置であってもよい。従来のＨＭＤでは、通知画像３１０が画面隅に表示されるとユーザが見落とす可能性があるため、ユーザに気付かせることを目的として、ゲーム画像の中央に通知画像３１０を表示している。しかしながら、この表示位置はゲームへの没入間を阻害する要因となる。

ＨＭＤはユーザの頭部に装着され、情報処理装置１０は、ＨＭＤに設けられた姿勢センサの検出値に応じて、ゲーム空間における仮想カメラの視線方向を定め、ゲーム画像をＨＭＤに供給する。このようにＨＭＤを用いたゲームプレイでは、ユーザが視線を変更するだけで、ゲーム空間のゲーム画像を変更できる。そこでユーザがＨＭＤを頭部に装着した状態で、図１０に示すように、通知画像３１０を画面左隅に表示し、画面左上方向から通知音を発生させることで、通知画像３１０がゲーム画像の邪魔をすることなく、またユーザは左上方向を向くことで、通知画像３１０をいち早く確認できる。

なお通知画像出力部３０８は、通知画像の表示場所をゲーム画像の左上隅とする表示位置情報を、画像処理部９０に供給することを説明したが、表示位置情報は、ゲーム音の音像の定位位置Ｐ１に応じた表示場所を特定してもよい。通知画像出力部３０８は、ゲーム音定位処理部１０６から、ゲーム音の音像の定位位置Ｐ１を特定する定位情報を取得し、通知画像の表示場所を、ゲーム音の定位位置Ｐ１とは異なる位置に設定してもよい。通知画像３１０の表示位置とゲーム音の定位位置Ｐ１とをずらすことで、通知音定位処理部３０４が、通知音の定位位置Ｐ３を通知画像の表示位置とする場合、定位位置Ｐ１と定位位置Ｐ３とが異なる位置に設定されるようになる。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、コンテンツにより発生するコンテンツ音の一例として、ゲーム実行部１０２が実行するゲームの音を示したが、コンテンツ音は、たとえば動画再生アプリケーションにより再生される動画で発生する音であってもよい。また実施例では、ゲーム実行部１０２がＦＰＳゲームを実行したが、他の種類のゲームを実行してもよい。

エージェント音定位処理部２０４および通知音定位処理部３０４は、ユーザに提供する音が遠くから次第に近付いてくると知覚されるように、定位位置Ｐ２、Ｐ３を動的に設定してもよい。エージェント音定位処理部２０４は、定位位置Ｐ２を動的に設定することでエージェントの人格や性格を表現してもよい。たとえば定位位置Ｐ２が忙しなく動くことで、せっかちなエージェントの人格や性格が表現されてよい。通知音定位処理部３０４は、たとえば通知メッセージの重要度に応じて、定位位置Ｐ３を動的に設定してもよい。

１・・・情報処理システム、３・・・スピーカ、４・・・表示装置、１０・・・情報処理装置、９０・・・画像処理部、９２・・・混合部、１００・・・ゲーム処理部、１０２・・・ゲーム実行部、１０４・・・ゲーム画像出力部、１０６・・・ゲーム音定位処理部、１０８・・・ゲーム音出力部、２００・・・エージェント処理部、２０２・・・エージェント実行部、２０４・・・エージェント音定位処理部、２０６・・・エージェント音出力部、２１０・・・音声認識部、２１２・・・自然言語理解部、２１４・・・対応処理生成部、２１６・・・応答作成部、２１８・・・音変換部、３００・・・通知処理部、３０２・・・通知情報取得部、３０４・・・通知音定位処理部、３０６・・・通知音出力部、３０８・・・通知画像出力部。

Claims

表示装置および複数のスピーカに接続する情報処理装置であって、
コンテンツの音の音像を定位する第１定位処理部と、
定位処理された前記コンテンツの音データをスピーカに供給する第１音出力部と、
前記コンテンツの音の音像が定位されている第１定位位置とは異なる第２定位位置に、前記コンテンツの音とは異なる音の音像を定位する第２定位処理部と、
定位処理された前記コンテンツの音とは異なる音のデータをスピーカに供給する第２音出力部と、
通知画像を、第１定位位置とは異なる表示装置における表示領域の位置に表示させる通知画像出力部と、を備え、
前記第２定位処理部は、前記表示装置において通知画像が表示される位置またはその近傍に、第２定位位置を設定する、ことを特徴とする情報処理装置。
前記第２定位処理部および前記通知画像出力部は、第１定位位置を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
コンテンツの音の音像を定位するステップと、
定位処理された前記コンテンツの音データをスピーカに供給するステップと、
前記コンテンツの音の音像が定位されている第１定位位置とは異なる第２定位位置に、前記コンテンツの音とは異なる音の音像を定位するステップと、
定位処理された前記コンテンツの音とは異なる音のデータをスピーカに供給するステップと、
通知画像を、第１定位位置とは異なる表示装置における表示領域の位置に表示するステップと、を備える音発生方法であって、
前記コンテンツの音とは異なる音の音像を定位するステップは、表示装置において通知画像が表示される位置またはその近傍に、第２定位位置を設定する、ことを特徴とする音発生方法。
コンピュータに、
コンテンツの音の音像を定位する機能と、
定位処理された前記コンテンツの音データをスピーカに供給する機能と、
前記コンテンツの音の音像が定位されている第１定位位置とは異なる第２定位位置に、前記コンテンツの音とは異なる音の音像を定位する機能と、
定位処理された前記コンテンツの音とは異なる音のデータをスピーカに供給する機能と、
通知画像を、第１定位位置とは異なる表示装置における表示領域の位置に表示する機能と、を実現させるためのプログラムであって、
前記コンテンツの音とは異なる音の音像を定位する機能は、表示装置において通知画像が表示される位置またはその近傍に、第２定位位置を設定する機能を含む、プログラム。