JP2010170166A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】空間内でのユーザーの手などの動きに応じた操作入力（ジェスチャー）に応じて、音声情報などの情報信号を効果的に処理できるようにする。
【解決手段】センサ部１０を通じて、例えばユーザーの手などの検出対象物により指定される所定の空間内における三次元座標を検出する。センサ部１０を通じて検出した当該三次元座標が含まれる予め指定された領域が、空間位置検出部４０６により判断される。空間位置検出部４０５が判断した検出対象物により指定された三次元座標が含まれる領域に基づいて、当該三次元座標のうち少なくとも二次元座標に対応する位置（二次元座標に応じた位置）のスピーカから音声情報に応じた音声を出力するように、音声処理部４１０を制御する。
【選択図】図６

Description

この発明は、例えば、ユーザーの操作入力に応じて、例えば、音声情報等の情報信号を処理する装置、方法およびプログラムに関する。

従来、人が何らかの入力をする場合には、操作ボタンやタッチパネルが用いられるのが一般的である。タッチパネルの場合には、ＬＣＤ（Liquid Crystal Display）などの平面ディスプレイと組み合わせられ、表示画面に表示されたボタンアイコンなどをあたかも押下操作するような操作入力となる。

これらの入力操作は、操作ボタントップの平面やタッチパネルの画面への接触や加圧を前提したものとなっている。そのため、平面との接触や加圧という限られた動作が操作入力となっていた。また、平面との接触が可能な限られた用途となっていた。

このため、接触や加圧による振動や力が、機器の性能を阻害するという問題や、接触面を汚したり、傷つけたりするなどという問題もあった。

上述の問題点を改善したものとして、出願人は、先に、特許文献１（特開２００８−１１７３７１号公報）に、近接検知型情報表示装置を開示した。この特許文献１においては、例えば、互いに直交する２方向に複数のライン電極または点電極を配したセンサパネルを備えるセンサ手段を用いる。

そして、このセンサ手段においては、複数個の電極を含むセンサパネル面と、このパネル面に対して空間的に離間する検出対象物、例えば人の手や指との距離を、当該距離に応じた静電容量を複数の電極について検出することにより検出する。

すなわち、センサパネルの複数の電極のそれぞれと接地点との間の静電容量は、人の手や指の位置と、パネル面との空間的な離間距離に応じて変化する。そこで、人の指の位置と、パネル面との空間的な距離にスレッショールド値を設定し、その距離よりも指がパネルに近接したか、遠のいたかを、前記距離に応じた静電容量の変化を検出することにより、検出するものである。

そして、特許文献１では、特に、検出対象物とセンサパネル面との距離に応じて、静電容量を検出する電極の間隔を変えることにより、静電容量の検知感度を向上させることができる技術が開示されている。

この先に提案した技術によれば、センサパネルに接触することなく、スイッチ入力を行うことができる。また、センサパネルには、互いに直交する２方向に複数のライン電極または点電極を配しているので、パネル面に沿う方向の手や指の動きを空間的に検出することができ、空間内での手や指の動きに応じた操作入力をすることもできるという特徴がある。

特開２００８−１１７３７１号公報

上述した特許文献１に開示されたセンサ手段は、非接触により、ユーザーからの操作入力を受け付けることができるものであり、従来にない入力手段を実現することができるものである。

そして、当該センサ手段の上述した特徴を効果的に活用し、当該センサ手段を通じて受け付けるユーザーからの操作入力に応じて、情報処理を行う情報処理装置を構成することが考えられる。

以上のことに鑑み、この発明は、空間内でのユーザーの手などの動きに応じた操作入力（ジェスチャー）に応じて、音声情報などの情報信号を効果的に処理できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の情報処理装置は、
空間的に離間する検出対象物により指定される三次元座標を検出するセンサ手段と、
上記センサ手段が検出した上記三次元座標が含まれる予め指定された領域を判断する判断手段と、
上記判断手段の判断結果に基づいて、上記三次元座標のうち少なくとも二次元座標に対応する位置から音声情報に応じた音声を出力する出力手段と、
を備える。

この請求項１に記載の発明の情報処理装置によれば、センサ手段により、例えばユーザーの手などの検出対象物により指定される所定の空間内における三次元座標が検出される。センサ手段により検出された当該三次元座標が含まれる予め指定された領域が、判断手段により判断される。

そして、判断手段の判断結果に基づいて、当該三次元座標のうち少なくとも二次元座標に対応する位置（二次元座標に応じた位置）から音声情報に応じた音声が、出力手段により出力される。

これにより、所定の空間内での手などの検出対象物の動きに応じた操作入力（ユーザーのジェスチャー）に応じて、所定の音声情報に応じた音声を効果的に出力することができるようにされる。

この発明によれば、空間内での手などの検出対象物の動きに応じた操作入力（ユーザーのジェスチャー）に応じて、音声情報などの情報信号を効果的に処理することができる。

この発明の一実施形態が適用された情報処理装置（情報処理システム）の構成例を説明するための図である。 実施形態におけるセンサ部１０の構成を説明するための図である。 実施形態におけるＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３の横断面図である。 実施形態におけるセンサ部１０の構成例を説明するための図である。 実施形態におけるセンサ部１０部分を中心とする構成例を説明するためのブロック図である。 実施形態の情報処理装置の構成例を説明するためのブロック図である。 実施形態のセンサ部１０が形成するセンサ領域の二次元座標領域を説明するための図である。 二次元座標に対応する位置から音声情報に応じた音声を出力する音声出力処理の第１の例を説明するための図である。 センサ値検出処理１を説明するためのフローチャートである。 音声出力処理１について説明するためのフローチャートである。 センサ部１０のセンサパネル１０Ｐ上に設定されるレイヤについて説明するための図である。 音源を含まない仮想的な閉曲面内の音場を示す図である。 キルヒホッフの積分公式を示す図である。 Ｎ点の音圧および粒子速度をＭ個の音源によって再現するシステムを示す図である。 キルヒホッフの積分公式の半空間への拡張の原理を示す図である。 キルヒホッフの積分公式の半空間への拡張の具体例を示す図である。 センサ値検出処理２を説明するためのフローチャートである。 センサ値検出処理２を説明するためのフローチャートである。 音声出力処理２について説明するためのフローチャートである。 ３個の各レイヤと、各レイヤ内に設定される領域とを説明するための図である。 音声情報記憶部４０７に記憶保持される音声情報の構成を説明するための図である。 実施形態の情報処理装置において、ユーザーの操作を受け付け、また、ユーザーに対して情報を提供する部分の構成を簡略して示した図である。 音声情報のミックス（混合）処理時の計算について説明するための図である。 センサ部１０が形成するセンサ領域（三次元座標空間）において、ユーザーの手などの検出対象物が突然に大きく移動した場合の例を説明するための図である。 センサ部１０が形成するセンサ領域において、ユーザーの手などの検出対象物が突然に大きく移動した場合に行う計算処理を説明するための図である。 図２５に示した計算処理により求められるミックスパラメータｖの変化の様子を示す図である。 音声出力処理３を説明するためのフローチャートである。 音声出力処理３の変形例を説明するためのフローチャートである。 ユーザーの手などの検出対象物が指示する三次元座標空間における指示位置に応じて、表示する映像に水紋を発生させる場合について説明するための図である。 表示する映像に水紋を発生させるための物理モデルの具体例を説明するための図である。 映像表示処理を説明するためのフローチャートである。 映像出力処理の応用例を説明するためのフローチャートである。 音声出力処理の応用例を説明するためのフローチャートである。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施形態について説明する。以下に説明する実施形態においては、センサ手段は、特許文献１に開示した静電容量を検出することにより、検出対象物との距離を検出するセンサ手段を用いる。また、検出対象物は、操作者の手や指を想定するものである。

［情報処理装置の構成］
図１は、この実施形態の情報処理装置（情報処理システム）の構成例を示す図である。図１に示すように、この実施形態の情報処理装置は、センサ部１０と、ディスプレイ部２０と、スピーカ部３０と、キーボード５０とが、処理装置部４０に対して例えば接続ケーブルによって接続されて構成されている。

センサ部１０は、ユーザーからの操作入力を受け付けて、これを処理装置部４０に対して供給するものである。このセンサ部１０は、検出対象物としての手などの空間的な離間距離を検出することができるものである。

具体的に、センサ部１０は、このセンサ部１０に対する検出対象物としての手や指の空間的な離間距離に応じたセンサ検出出力を出力する。この実施形態では、センサ部１０は、後述するように、所定の大きさの２次元平面からなる矩形状のセンサパネル１０Ｐを備え、このセンサパネル面から検出対象物までの距離を検出するものである。

そして、この実施形態では、センサ部１０は、センサパネル面の横方向および縦方向において、それぞれ複数の位置において、独立して検出対象物までの距離に応じたセンサ検出出力を出力することができるように構成されている。これにより、この実施形態では、センサ部１０は、検出対象物がセンサパネル面のいずれの位置上にあるかをも検出可能とされている。

すなわち、例えばセンサパネル面の横方向をｘ軸方向、縦方向をｙ軸方向とすると共に、センサパネル面に直交する方向をｚ軸方向としたとき、検出対象物の空間的な離間距離は、ｚ軸座標値として検出される。そして、センサパネル上の検出対象物の空間位置は、ｘ軸座標値およびｙ軸座標値により検出される。

ディスプレイ部２０は、例えば、ＣＲＴ（cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）パネル、ＰＤＰ（Plasma Display Panel）などにより構成されるものである。

この実施形態において、ディスプレイ部２０は、ＬＣＤ、有機ＥＬパネル、ＰＤＰなどのいわゆる薄型ディスプレイパネルが用いられて構成されたものである。ディスプレイ部２０は、例えば、画面サイズが５２Ｖ型のものを縦置きにして用いるようになっている。なお、ディスプレイ部２０の画面サイズや置き方は、種々の態様が可能である。

この実施形態においてスピーカ部３０は、１６個のスピーカＳＰ１〜ＳＰ１６が横方向（水平方向）に並べられて構成されたいわゆるアレイスピーカである。

処理装置部４０は、例えばパーソナルコンピュータ（以下、パソコンと略称する。）である。処理装置部４０は、音声情報（音声信号）や映像情報（映像信号）などの再生対象のコンテンツデータを自機の例えばハードディスクなどのメモリ内に記憶保持している。

処理装置部４０は、センサ部１０を通じてユーザーからの操作入力を受け付ける。センサ部１０からのセンサ検出出力は、検出対象物のセンサパネル面における空間位置（ｘ、ｙ座標）および空間的な離間距離（ｚ座標）に応じたものとなる。

そして、処理装置部４０は、受け付けた操作入力に基づいて、所定の音声情報に応じた音声をスピーカ部３０のスピーカから放音するようにしたり、所定の映像情報に応じた映像をディスプレイ部２０の表示画面に表示するようにしたりする。

この場合、処理装置部４０は、受け付けた操作入力に応じて、音声の放音位置を変えたり、音声信号を混合（ミックス）したり、表示する映像に対して目的とする効果を付与したりするなどの処理を行うようにしている。

キーボード５０は、アルファベットキー、数字キー、種々のファンクションキー等を備え、ユーザーからの指示入力を受け付けて、これを処理装置部４０に供給することができるものである。

処理装置部４０は、キーボードを通じて受け付けるユーザーからの指示入力に応じて、処理装置部４０において実行されるプログラムをメンテナンスしたり、処理装置部４０に対して、種々の設定や調整などを行ったりすることができるようにしている。

このように、この実施形態の情報処理装置は、センサ部１０を通じて受け付ける操作入力に応じて、スピーカ部３０のスピーカから音声を放音させたり、ディスプレイ部２０の表示画面に映像を表示させたりすることができるものである。

［センサ部１０の構造の説明］
図２は、この実施形態におけるセンサ部１０の構成を説明するための図である。この実施形態においては、図１に示し、また図２にも示すように、ディスプレイ部２０の前面にセンサ部１０が重ね合わせて設けられる積層構造となっている。

すなわち、図２に示すように、センサ部１０の操作方向の前面側から、その奥行き方向に向かって順に、Ｘ−Ｚセンサパネル１２、Ｙ−Ｚセンサパネル１３、ディスプレイ部２０の順で設けられた構成となっている。

Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３は、この実施形態のセンサ部１０の主要構成部分であり、センサパネル１０Ｐを構成するものである。これら、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３は、この例では、互いに直交する２方向に複数本のワイヤ電極が配列されて構成されている。

Ｘ−Ｚセンサパネル１２においては、ワイヤ電極の延伸方向が図２上の垂直方向（縦方向）である複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎ（ｎは、２以上の整数）が、図２上、水平方向（横方向）に、この例では等間隔に配置されている。

また、Ｙ−Ｚセンサパネル１３においては、ワイヤ電極の延伸方向が図２上の水平方向（横方向）である複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍ（ｍは、２以上の整数）が、図２上の垂直方向（縦方向）に、この例では等間隔に配置されている。

図３（Ａ）および（Ｂ）は、それぞれＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３の横断面図を示すものである。

Ｘ−Ｚセンサパネル１２は、２枚のガラス板１７Ｖ，１８Ｖの間に、複数個の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎが含まれる電極層１９Ｖが挟持される構成とされている。

また、Ｙ−Ｚセンサパネル１３は、２枚のガラス板１７Ｈ，１８Ｈの間に、複数個の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍが含まれる電極層１９Ｈが挟持される構成とされている。なお、図３（Ｂ）における１３Ｈｉは、ｉ番目の横電極を意味している。

なお、図２には図示しないが、後述するように、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３の電極端子が接続されると共に、ユーザーからの指示位置を検出するための回路構成部分も設けられる。

当該回路構成部品は、センサ部１０用のプリント配線基板であり、例えば、ディスプレイ２０の下側などの所定の位置に設けられるようにされている。このように、センサ部１０は、Ｘ−Ｚセンサパネル１２とＹ−Ｚセンサパネル１３からなるセンサパネル１０Ｐと、センサ部１０用のプリント配線基板とからなるものである。

そして、図２に示したように、センサ部１０は、多数のワイヤ電極を有するものであるが、ワイヤ電極は極めて細く、ディスプレイ部２０の表示画面に表示される映像が、センサ部１０によって遮られることは無い。

すなわち、ユーザーは、センサ部１０を通して、ディスプレイ部２０の表示画面に表示される映像を見ることになるが、表示画面に表示される映像が見難くなったり、表示される映像が劣化して見えたりするなどの不都合はないようにされている。

［センサ部１０の回路構成］
この実施形態においても、特許文献１の場合と同様に、センサ部１０のＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３と検出対象物との距離に応じた静電容量は、発振回路の発振周波数に変換して検出する。そして、この実施形態では、センサ部１０は、発振周波数に応じたパルス信号のパルス数を計数し、その発信周波数に応じた計数値をセンサ出力信号とする。

図４は、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３を積層した状態のセンサ部１０についての説明図である。また、図５は、センサ部１０から出力するセンサ検出出力信号を生成するための回路構成例を示している。

図４に示すように、また、前述もしたように、この実施形態のセンサ部１０では、互いに直交する２方向に複数本のワイヤ電極が配列されて構成されている。すなわち、複数個の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎと、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍとが、互いに直交する方向に配列されている。

この場合、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれと、接地間には静電容量（浮遊容量）ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍが存在する。そして、これらの静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍは、Ｙ−Ｚセンサパネル１３面上の空間における手や指の存在位置により変化する。

複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍの一方および他方の端部は、それぞれ横電極端子とされている。そして、この例では、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれの横電極端子の一方は、図５に示す横電極用の発信器１０１Ｈに接続される。

また、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれの横電極端子の他方は、アナログスイッチ回路１０３に接続される。なお、図５に示す回路部品は、例えば、ディスプレイ２０の下側などの所定の位置に設けられることは、既に述べたとおりである。

この場合、横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍは、図５に示すような等価回路で表わすことができる。図５では、横電極１３Ｈ１についての等価回路が示されているが、他の横電極１３Ｈ２，・・・，１３Ｈｍにおいても同様である。

すなわち、横電極１３Ｈ１の等価回路は、抵抗ＲＨと、インダクタンスＬＨと、検出対象の静電容量ＣＨ１とからなる。他の横電極１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍでは、静電容量がＣＨ２，ＣＨ３，・・・，ＣＨｍに変わる。

この横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍの等価回路は、共振回路を構成するもので、発信器１０１Ｈと共に発振回路を構成し、それぞれ横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍを構成する。そして、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれの出力は、検出対象物のセンサパネル面からの距離に応じた静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍのそれぞれに応じた発振周波数の信号となる。

ユーザーが、Ｙ−Ｚセンサパネル１３上で、手や指先の位置をＹ−Ｚセンサパネル１３に対して近づけたり、遠ざけたりすると、静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍの値が変化する。そのため、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれでは、手や指先位置の位置変化が、発振回路の発振周波数の変化として検出される。

一方、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎの一方および他方の端部は、それぞれ縦電極端子とされている。そして、この例では、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎのそれぞれの縦電極端子の一方は、縦電極用の発信器１０１Ｖに接続される。この例では、縦電極用の発信器１０１Ｖの出力信号の基本周波数は、横電極用の発信器１０１Ｈとは周波数が異なるものとされる。

また、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎのそれぞれの縦電極端子の他方は、アナログスイッチ回路１０３に接続される。

この場合、縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎも、図５に示すように、横電極の場合と同様の等価回路で表わすことができる。図５では、縦電極１２Ｖ１についての等価回路が示されているが、他の縦電極１２Ｖ２，・・・，１２Ｖｎにおいても同様である。

すなわち、縦電極１２Ｖ１の等価回路は、抵抗ＲＶと、インダクタンスＬＶと、検出対象の静電容量ＣＶ１とからなる。他の横電極１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎでは、静電容量がＣＶ２，ＣＶ３，・・・，ＣＶｎに変わる。

そして、この縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎの等価回路は、共振回路を構成するもので、発信器１０１Ｖと共に発振回路を構成し、それぞれ縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎを構成する。そして、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれの出力は、検出対象物のＸ−Ｚセンサパネル１２面からの距離に応じた静電容量ＣＶ１，ＣＶ２，ＣＶ３，・・・，ＣＶｎのそれぞれに応じた発振周波数の信号となる。

そして、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれにおいても、手や指先位置の位置変化に応じた静電容量ＣＶ１，ＣＶ２，ＣＶ３，・・・，ＣＶｎの値の変化が、発振回路の発振周波数の変化として検出される。

そして、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれの出力と、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれの出力とがアナログスイッチ回路１０３に供給される。

このアナログスイッチ回路１０３は、処理装置部４０からの切替信号ＳＷにより、横電極容量検出回路１０２Ｈ１〜１０２Ｈｍおよび縦電極容量検出回路１０２Ｖ１〜１０２Ｖｎのうちの、いずれか１つの出力を、順次に、所定の速度で選択して出力する。

そして、このアナログスイッチ回路１０３からの出力が、周波数カウンタ１０４に供給される。この周波数カウンタ１０４は、これに入力される信号の発振周波数を計数する。すなわち、周波数カウンタ１０４の入力信号は、発振周波数に応じたパルス信号であり、そのパルス信号の所定時間区間におけるパルス数を計数すると、その計数値は、発振周波数に対応したものとなる。

この周波数カウンタ１０４の出力計数値は、処理装置部４０に、アナログスイッチ回路１０３で選択されたワイヤ電極についてのセンサ出力として供給される。そして、周波数カウンタ１０４の出力計数値は、処理装置部４０からアナログスイッチ回路１０３に供給される切替信号ＳＷに同期して得られる。

したがって、処理装置部４０は、アナログスイッチ回路１０３に供給する切替信号ＳＷから、周波数カウンタ１０４の出力計数値がいずれのワイヤ電極についてのセンサ出力であるかを判断する。そして、処理装置部４０は、自己が備えるバッファ部に、ワイヤ電極と、出力計数値とを対応付けて保持する。

そして、処理装置部４０は、バッファ部に保持した検出対象の全てのワイヤ電極についてのセンサ出力から、検出対象物の空間位置（センサ部１０からの距離およびセンサ部１０でのｘ，ｙ座標）を検出する。

特許文献１に記載されているように、実際的には、センサ部１０のセンサパネル１０Ｐ上における検出対象物のｘ，ｙ座標位置に応じて、複数個の横電極容量検出回路１０２Ｈ１〜１０２Ｈｍおよび縦電極容量検出回路１０２Ｖ１〜１０２Ｖｎからのセンサ出力が得られる。

そして、その複数のセンサ出力は、検出対象物が存在するセンサパネル１０Ｐ上におけるｘ，ｙ座標位置から、センサパネル１０Ｐまでの距離が最も短くなるので、当該位置に対応する２電極間の静電容量を検出する横電極容量検出回路および縦電極容量検出回路からのセンサ出力が、他に比べて顕著なものとなる。

以上のことから、処理装置部４０は、センサ部１０からの複数個のセンサ出力から、センサパネル１０Ｐ上における検出対象物が位置するｘ，ｙ座標およびセンサパネル１０Ｐから検出対象物までの距離（ｚ座標）を求める。すなわち、検出したｘ，ｙ座標位置上の空間に、検出対象物、例えば手の位置があると判断する。

なお、検出対象物は、所定の大きさを有するので、検出対象物の大きさ分に相当する、センサパネル１２，１３上のｘ，ｙ座標位置範囲上において、静電容量に応じた距離だけ離れているとして検出されるものである。

この実施形態でも、検出対象物の、センサパネル１２，１３面に対する空間的な離間位置の距離に応じて、特許文献１の場合と同様にして、静電容量を検出するワイヤ電極の間引き切り替えをするようにする。

このワイヤ電極の間引き切り替えは、処理装置部４０からの切り替え制御信号ＳＷにより、アナログスイッチ回路１０３において、順次に選択するワイヤ電極を、何本置き（０本を含む）のワイヤ電極を選択するかが制御されることによりなされる。切り替えタイミングは、センサパネル１２，１３面から検出対象物までの距離に応じて予め定められ、例えば、後述するレイヤの変化点とするようにしてもよい。

なお、発信器は、上述の説明では、横電極用と縦電極用とを用いるようにしたが、簡易的には、１個の共通の発信器とするようにしても良い。また、理想的には、各ワイヤ電極毎に周波数の異なる複数個の発信器を設ける方が良い。

処理装置部４０は、センサ部１０からのセンサ出力に基づいて、再生対象の音声情報や映像情報を、どのように再生するかを決めて、それに応じて再生することができるようにしている。

［センサ部１０からのセンサ出力を用いた処理動作例］
図６は、図２〜図５を用いて説明したセンサ部１０からのセンサ出力を受け付ける処理装置部４０の構成と、その処理動作を説明するためのブロック図である。

図６に示すように、処理装置部４０は、システムバス４００を介して、ＣＰＵ（Central Processing Unit）４０１に対し、プログラムＲＯＭ（Read Only Memory）４０２およびワークエリア用ＲＡＭ（Random Access Memory）４０３が接続されている。

そして、この実施形態では、システムバス４００に対しては、Ｉ／Ｏ（Input/Output）ポート４０４、空間位置検出部４０５、映像情報記憶部４０６、音声情報記憶部４０７が接続されている。

さらに、システムバス４００には、映像情報用の物理計算処理部４０８、音声処理部４１０、音場制御部４１１、キーボードインターフェース（以下、キーボードＩ／Ｆと略称する。）４１３が接続されている。

また、物理計算処理部４０８には、表示処理部４０９が接続され、音声処理部４１０には、アンプ部（音声増幅部）４１２が接続されている。

そして、図６に示すように、処理装置部４０に対しては、Ｉ／Ｏポート４０４を介してセンサ部１０が接続され、物理計算処理部４０８及び表示処理部４０９を介してディスプレイ部２０が接続される。

また、処理装置部４０に対しては、音声処理部４１０及びアンプ部４１２を介してスピーカ部３０が接続され、キーボードＩ／Ｆ４１３を介してキーボード５０が接続される。

なお、図６において２重線で示した空間位置検出部４０５、物理計算処理部４０８、音声処理部４１０、音場制御部４１１は、ＣＰＵ４０１が、ＲＯＭ４０２に記憶されるプログラムに従ったソフトウエア処理としても実現することができる機能部である。

そして、センサ部１０は、上述もしたように、そのセンサパネル１０Ｐの前面に、当該センサパネル１０Ｐの面の横方向（ｘ軸方向）、縦方向（ｙ軸方向）、当該センサパネル１０Ｐの面に直交する方向（ｚ軸方向）により表現される三次元座標空間にセンサ領域１１１を形成している。

処理装置部４０は、Ｉ／Ｏポート４０４を通じて、センサ部１０のセンサ領域１１１におけるユーザーの手などの検出対象物の位置に応じたセンサ出力信号を受け付けることができるようにされている。

座標位置検出部４０５は、センサ部１０からのセンサ出力信号（検出出力）の供給を受けて、上述もしたように、三次元座標空間であるセンサ領域１１１におけるユーザーの手などにより指定される位置（三次元座標）を検出する。

そして、座標位置検出部４０５は、その検出結果に基づいて、ユーザーの手などにより指定された位置が、センサ領域１１１内に設定される複数の領域の内、どの領域に属しているのかを判断する判断手段としての機能を備えている。

映像情報記憶部４０６は、再生対象の映像情報を記憶している。映像情報記憶部４０６に記憶されている映像情報は、ＣＰＵ４０１の制御に応じて読み出され、後述するように、物理計算処理部４０８、映像処理部４０９によって処理されて、ディスプレイ部２０に供給される。なお、映像情報記憶部４０６に記憶保持されている再生対象の映像情報は、動画を再生するものと、静止画を再生するものいずれをも含む。

映像情報用の物理計算処理部４０８は、ＣＰＵ４０１に制御され、これに供給される映像情報に対して、例えば水紋（波紋）、音の振動、雪の結晶などの種々の物理モデルから予め選択された物理モデルにしたがって所定の効果を与えるようにするものである。

具体的に物理計算処理部４０８は、詳しくは後述もするが、ユーザーの手などの検出対象物が指示する三次元座標空間における指示位置に応じて、再生対象の映像情報に応じた再生映像に対して物理モデルに従った効果を与えるものである。

表示処理部４０９は、物理計算処理部４０８からの映像情報からディスプレイ部２０に供給する形式の映像信号を形成して、これをディスプレイ部２０に供給する。これにより、ディスプレイ部２０の表示画面には、物理計算処理部４０８、映像処理部４０９によって処理されて形成された映像信号に応じた映像が表示される。

なお、物理計算処理部４０８は、常時、映像情報に対して物理モデルにしたがって効果を付与するのではなく、後述もするように、例えばセンサ部１０を通じて受け付けるユーザーからの操作入力に応じて、物理モデルにしたがって効果を施すものである。

音声情報記憶部４０７は、再生対象の音声情報、例えば音楽データなどを記憶保持するものである。音声情報記憶部４０７に記憶されている音声情報は、ＣＰＵ４０１の制御に応じて読み出され、後述するように、音声処理部４１０、アンプ部４１２によって処理されて、スピーカ部３０に供給される。

なお、スピーカ部３０は、上述もしたように、アレイスピーカであり、音声処理部４１０及びアンプ部４１２は、スピーカ部３０が有するスピーカに対応する数のスピーカチャンネルを有するものである。

音声処理部４１０は、スイッチ回路やミックス（混合）回路を備え、ＣＰＵ４０１の制御に応じて、音声を出力するスピーカを選択する（切り替える）ようにしたり、複数の音声チャンネルの音声信号をミックス（混合）したりするなどの処理を行う。

ここで、スイッチ回路は、音声を出力するスピーカ（スピーカチャンネル）を選択する（切り替える）するものである。また、ミックス回路は、多チャンネルの音声情報の供給を受けて、これらの中から目的とする音声チャンネルの音声情報をミックス処理するものである。

さらに、音声処理部４１０は、各スピーカチャンネルに対応するデジタルフィルタ（デジタル信号処理回路）を備えている。このデジタルフィルタは、音場制御部４１１により制御され、アレイスピーカを構成するスピーカ部３０のそれぞれのスピーカに供給する音声情報に対してデジタル信号処理を施すものである。

また、音場制御部４１２は、ＣＰＵ４０１からの制御に応じて、適切な音場を形成することができるように、上述のように、音声処理部４１０がスピーカチャンネル毎に有する複数のデジタルフィルタのそれぞれを制御するものである。

これにより、スピーカ部３０のそれぞれのスピーカから放音される音声により、目的とする位置に仮想音源（仮想スピーカ）を形成するようにし、当該仮想音源から音声が放音されているかのように聴取できるようにすることもできるようにしている。

ここで、仮想音源（仮想スピーカ）は、実際に音源（スピーカ）が位置していないにもかかわらず、あたかもそこから音声が放音されているかのようにユーザーが感じる位置（場所）を意味するものである。

なお、音声処理部４１０において行われるデジタル信号処理は、例えば、波面合成の技術を用いることにより、仮想音源を形成することができるようにするものである。当該波面合成の技術の詳細については後述する。

また、キーボードＩ／Ｆ４１３は、キーボード５０を通じて受け付けるユーザーからの指示入力を、ＣＰＵ４０１が処理可能な形式の信号に変換し、これをシステムバス４００を通じて、ＣＰＵ４０１等に供給することができるものである。

［音声出力処理の第１の例］（請求項１、請求項８、請求項９）
上述のように構成されるこの実施形態の情報処理装置においては、センサ部１０からの検出出力である三次元座標に基づいて、処理装置部４０の空間位置検出部４０５が、当該三次元座標が含まれる領域を判断する。

空間位置検出部４０５は、検出された三次元座標が含まれる領域を判断することができるものである。しかし、この音声出力処理の第１の例においては、ＣＰＵ４０１は、空間位置検出部４０５の判断結果に基づいて、検出された三次元座標のうちの二次元座標に対応する位置から音声情報に応じた音声を出力するように、音声処理部４１０を制御する。

このように、この音声出力処理の第１の例は、センサ部１０を通じて検出するユーザーの手などの検出対象物が指示する三次元座標のうち少なくとも二次元座標に対応する位置から所定の音声情報に応じた音声を出力するものである。

図７、図８は、センサ部１０により検出される三次元座標のうち少なくとも二次元座標（ｘ座標、ｙ座標）に対応する位置から再生対象の音声情報に応じた音声を出力する、音声出力処理の第１の例を説明するための図である。

上述もしたように、センサ部１０は、センサパネル面の横方向をｘ軸方向、縦方向をｙ軸方向とすると共に、センサパネル面に直交する方向をｚ軸方向とする三次元座標空間において、ユーザーの手など検出対象物の位置に応じた三次元座標を検出できる。

したがって、処理装置部４０の空間位置検出部４０５は、センサ部１０からの三次元座標から、センサ部１０が形成する三次元座標空間であるセンサ領域１１１内のどの領域に、検出対象物が位置するのか判断できる。

しかし、この例において、処理装置部４０のＣＰＵ４０１は、上述もしたように、空間位置検出部４０５の判断結果に基づき、二次元座標空間における検出対象物の位置を特定し、その特定した位置に応じて、スピーカ部３０のスピーカを使い分けるようにする。

すなわち、ユーザーの手などの検出対象物のセンサパネル面に対する距離は考慮せず、センサ部１０が形成するセンサ領域１１１において、図７に示すように、横方向（ｘ軸方向）と縦方向（ｙ軸方向）の二次元座標領域１１１ＸＹを考える。

この例においては、図７に示すように、二次元座標領域１１１ＸＹを横方向（水平方向）に３等分し、領域Ｒ１、Ｒ２、Ｒ３を設定するようにしている。

そして、ＣＰＵ４０１は、空間位置検出部４０５の判断結果に基づいて、検出対象物が属する領域が、二次元座標領域１１１ＸＹ上のどの領域にあるのかに応じて、音声処理部４１０を制御し、音声情報を供給するスピーカを切り換える。

なお、この第１の例においては、音声情報記憶部４０７に記憶保持されている２チャンネルのステレオ音声情報が、ＣＰＵ４０１により読み出されて、常時、音声処理部４１０に供給するようにされているものとする。

そして、以下に説明するように、ユーザーの手などの検出対象物の指示する二次元座標領域１１１ＸＹにおける位置に応じて、音声情報を出力するスピーカを切り換えるようにしている。

すなわち、ユーザーの手など検出対象物が、二次元座標領域１１１ＸＹの領域Ｒ１にあると、空間位置検出部４０５が判断したとする。この場合、空間位置検出部４０５は例えばＣＰＵ４０１を通じて音声処理部４１０を制御し、図８（Ａ）に示すように、スピーカ部３０の左端部のスピーカＳＰ１、ＳＰ２に対してのみ、左（Ｌ）チャンネルの音声情報を供給する。

また、ユーザーの手など検出対象物が、二次元座標領域１１１ＸＹの領域Ｒ２にあると、空間位置検出部４０５が判断したとする。この場合には、空間位置検出部４０５は例えばＣＰＵ４０１を通じて音声処理部４１０を制御し、図８（Ｂ）に示すように、スピーカ部３０の中央部のスピーカＳＰ８、ＳＰ９に対してのみ音声情報を供給する。この場合、スピーカＳＰ８に対しては、左（Ｌ）チャンネルの音声情報を供給し、スピーカＳＰ９に対しては、右（Ｒ）チャンネルの音声情報を供給する。

また、ユーザーの手など検出対象物が、二次元座標領域１１１ＸＹの領域Ｒ３にあると、空間位置検出部４０５が判断したとする。この場合には、空間位置検出部４０５は例えばＣＰＵ４０１を通じて音声処理部４１０を制御し、図８（Ｃ）に示すように、スピーカ部３０の右端部のスピーカＳＰ１５、ＳＰ１６に対してのみ、右（Ｒ）チャンネルの音声情報を供給する。

これにより、センサ部１０のセンサパネル１０Ｐの左側部分の領域Ｒ１に手などの検出対象物を近づけたときには、スピーカ部３０の左側のスピーカＳＰ１、ＳＰ２からのみ音声を放音させることができるようにされる。

同様に、センサ部１０のセンサパネル１０Ｐの中央部分の領域Ｒ２に手などの検出対象物を近づけたときには、スピーカ部３０の中央のスピーカＳＰ８、ＳＰ９からのみ音声を放音させることができるようにされる。

同様に、センサ部１０のセンサパネル１０Ｐの左側部分の領域Ｒ３に手などの検出対象物を近づけたときには、スピーカ部３０の左側のスピーカＳＰ１５、ＳＰ１６からのみ音声を放音させることができるようにされる。

このように、センサ部１０からの三次元座標のうちの二次元座標に応じて、再生対象の音声情報に応じた音声の放音位置を制御することができるようにされる。

［音声出力処理の第１の例の動作のまとめ］
次に、この音声出力処理の第１の例について、図９、図１０のフローチャートを用いてまとめる。図９は、処理装置部１０の空間位置検出部４０５において行われるセンサ値検出処理１を説明するためのフローチャートである。また、図１０は、主に処理装置部１０の空間位置検出部４０５と音声処理部４１０が協働して行うようにされる音声出力処理１について説明するためのフローチャートである。

図９に示す処理は、所定の間隔で繰り返し、主に空間位置検出部４０５によって実行される。まず空間検出部４０５は、Ｉ／Ｏポート４０４を通じて、センサ部１０からの出力値（センサデータ）を受け付けたか否かを判断する（ステップＳ１０１）。

このステップＳ１０１の判断処理は、ユーザーの手などの検出対象物が、センサ部１０のセンサパネルの面に対してかざすようにされたか否かを判断する処理である。より具体的には、上述もしたように、Ｉ／Ｏポートを通じて受け付けたセンサ部１０からの検出出力がＲＡＭ４０２に保持するようにされたか否かを判断する処理である。

ステップＳ１０１の判断処理において、センサ部１０からの出力値は存在しないと判断したときには、この図９に示す処理を終了し、次の実行タイミングを待つことになる。ステップＳ１０１の判断処理において、センサ部１０からの出力値が存在すると判断したときには、空間位置検出部４０５は、処理装置部４０が受け付けたセンサ部１０からの出力値を平滑化する処理を行う（ステップＳ１０２）。

ステップＳ１０２の処理は、センサ部１０からの複数回（複数サンプル）の検出値の平均を算出し、検出値の精度を向上させるためのものである。

そして、空間位置検出部４０５は、二次元座標領域におけるｘ軸方向の値と、ｙ軸方向の値のピーク値を検出する（ステップＳ１０３）。すなわち、センサ部１０からの出力値は、上述もしたように、縦方向、横方向それぞれの積算値となるので、値が最も大きくなる点を検出値（座標値）として採用するようにしているのである。そして、図９に示す処理を終了し、次の実行タイミングを待つ。

このようにして、センサ部１０からの検出出力に基づいて、空間位置検出部４０５は、ユーザーの手などの検出対象物が指示する二次元座標領域における位置（座標）を検出するようにしている。

そして、検出された二次元座標領域における位置（座標）を示す情報（ピーク値）は、空間位置検出部４０５内のレジスタやＲＡＭ４０３などに一時記憶するようにされる。

次に、空間位置検出部４０５は、図１０に示す音声出力処理１を実行し、まず、図９に示した処理により検出したピーク値（二次元座標領域における位置（座標）を示す情報）を取得する（ステップＳ２０１）。

そして、空間位置検出部４０５は、取得したピーク値の強度が一定値以上か否かを判断する（ステップＳ２０２）。このステップＳ２０２の処理は、例えば、たまたまユーザーの手が、センサ部１０のセンサパネルの面に近づいてしまったような場合までをも処理の対象としないようにするための処理である。換言すれば、ユーザーが意思を持って、手などの検出対象物をセンサ部１０のセンサパネルの面に近づけた場合を検出するようにしている。

ステップＳ２０２の判断処理において、取得したピーク値の強度が一定値以上ではないと判断したときには、空間位置検出部４０５は、この図１０に示す処理を終了する。すなわち、この場合、音声の出力は行わないようにされる。

ステップＳ２０２の判断処理において、取得したピーク値の強度が一定値以上であると判断したときには、空間位置検出部４０５は、取得したピーク値が示す二次元座標（指示位置）が属する二次元座標領域における設定領域を判断する（ステップＳ２０３）。このステップＳ２０３の判断処理は、図７を用いて説明したように、取得したピーク値が示す二次元座標が、領域Ｒ１、Ｒ２、Ｒ３のどの領域に属するのかを判断する処理である。

そして、空間位置検出部４０５は、例えば、ＣＰＵ４０１を通じて、ステップＳ２０３の判断結果に基づいて、音声処理部４１０のスイッチ回路等を制御する（ステップＳ２０４）。これにより、スピーカ部３０の目的とするスピーカから、再生対象の目的とするチャンネルの音声情報に応じた音声が放音するようにされる。

すなわち、音声処理部４１０は、空間位置検出部４０５の制御に応じて、出力する音声情報のチャンネル（左（Ｌ）チャンネル、右（Ｒ）チャンネル）を特定する。そして、音声処理部４１０は、空間位置検出部４０５の制御に応じて、図８を用いて説明したように、音声を放音するスピーカを特定して、目的とするスピーカから特定した音声チャンネルの音声情報に応じた音声を放音するようにする。

そして、この図１０に示す処理を終了し、空間位置検出部４０５は、図１０に示した処理を次に実行するタイミングを待つことになる。

このようにして、音声出力処理の第１の例の場合、簡単に示せば、ユーザーの手などの検出対象物の二次元座標領域１１１ＸＹにおけるｘ軸方向の位置に応じて、音声を放音する位置（スピーカ）を決めることができるようにしている。

なお、この例においては、図８を用いて説明したように、アレイスピーカの構成とされたスピーカ部３０の左側２つ、中央２つ、右側２つのスピーカを用いるようにしたが、これに限るものではない。

例えば、スピーカ部３０の左側４つ、中央４つ、右側４つの１２個のスピーカを用いるようにしたり、スピーカ部３０の左側３つ、中央４つ、右側３つの１０個のスピーカを用いるようにしたりするなどのことも可能である。

また、上述した第１の例においては、左右２チャンネルの音声情報を再生するものとして説明したが、これに限るものではない。モノラルの音声情報を再生する場合にも、供給先のスピーカを切り換えるようにすればよい。

また、４チャンネルや５．１チャンネルなどの多チャンネルの音声信号の場合には、同サイドの音声信号同士を混合（ミックス）するなどして、左右２チャンネルの音声信号を形成して、これを図８を用いて説明したように出力するようにすることも可能である。

また、４チャンネルや５．１チャンネルなどの多チャンネルの音声信号の場合には、上述のように、混合することなく、同サイドの音声情報を異なるスピーカに供給するようにしてもよい。

例えば、５．１チャンネルの多チャンネルの音声信号の場合、左前方チャンネルの音声情報をスピーカＳＰ１に供給し、左後方チャンネルの音声情報をスピーカＳＰ２に供給するといったようにすることも可能である。この場合、サブウハーチャンネルの音声信号は、左前方チャンネルの音声情報や左後方チャンネルの音声情報に混合（ミックス）するようにしてもよい。

また、上述した第１の例においては、二次元座標領域において、水平方向に３つの領域Ｒ１、Ｒ２、Ｒ３を設定するようにしたが、これに限るものではない。水平方向に２つ以上の領域を設定するようにし、設定した領域毎に、用いるスピーカと用いる音声情報（どのチャンネルの音声情報か）を決めておくようにすればよい。

また、二次元座標領域に設定する領域は、図７を用いて説明したように、水平方向に領域を分けるようにする場合に限るものではない。垂直方向に２以上の領域を設定するようにし、設定した領域毎に、用いるスピーカと用いる音声情報（どのチャンネルの音声情報か）を決めておくようにしてももちろんよい。

要は、センサ部１０からの三次元座標のうちの二次元座標に応じて、再生対象の音声情報に応じた音声の放音位置を変えるようにすればよい。

そして、上述の説明から分るように、センサ手段の機能はセンサ部１０が実現している。また、判断手段の機能は主に空間位置検出部４０５が実現している。また、出力手段の機能は、主に、音声処理部４１０、アンプ部４１２、スピーカ部３０が実現している。

［音声出力処理の第２の例］（請求項２）
次に、この実施形態の情報処理装置によって行うことが可能な音声出力処理の第２の例について説明する。この第２の例は、センサ手段が検出する検出対象物が指示する三次元座標に対応する位置（三次元座標に応じた位置）から所定の音声情報に応じた音声を出力するものである。

すなわち、上述した第１の例が、センサ部１０が検出する三次元座標のうちの二次元座標に応じて、音声を放音する位置を制御した。これに対して、この第２の例においては、センサ部１０が検出する三次元座標に応じて、音声を放音する位置を制御する。

［距離方向（ｚ方向）の複数レイヤ］
図１１は、この実施形態におけるセンサ部１０のセンサパネル１０Ｐ上に設定されるレイヤについて説明するための図である。

この実施形態では、センサ部１０のセンサパネル１０Ｐ上に形成される三次元座標空間であるセンサ領域１１１においては、センサパネル１０Ｐの面からの距離の違いにより、複数個のレイヤが設定される。

この実施形態におけるセンサ領域１１１には、ボトムレイヤＢＬ、ミディアムレイヤＭＬ、トップレイヤＴＬの３個のレイヤが設定される。

この場合、図１１に示すように、センサ部１０のセンサパネル１０Ｐの表面位置をｚ軸の原点位置０としたとき、３個のレイヤＢＬ、ＭＬ、ＴＬの境界となるｚ方向の距離を、ＬＰ１、ＬＰ２、ＬＰ３に設定する。

したがって、０＜ボトムレイヤＢＬ≦ＬＰ１、ＬＰ１＜ミディアムレイヤＭＬ≦ＬＰ２、ＬＰ２＜トップレイヤＴＬ≦ＬＰ３として、各レイヤＢＬ、ＭＬ、ＴＬ２の距離範囲が設定される。

そして、この例においては、センサ部１０のセンサパネル１０Ｐ上に形成されるセンサ領域１１１において、ユーザーの手などの検出対象物がどのレイヤに属するかに応じて、仮想音源の位置を異ならせることができるようにしている。

そして、上述もしたように、この実施形態の情報処理装置においては、波面合成の技術を用いることにより、仮想音源を形成するようにしている。ここで、波面合成の技術について説明する。

［波面合成の技術（音場生成と制御の技術）］
ここで、波面合成の技術（音場生成と制御の技術）について説明する。３次元空間の音場を制御する方法としては、例えば、「早稲田大学理工学総合研究センター、音響情報処理研究室、山崎芳男、“Ｋｉｒｃｈｈｏｆｆ積分方程式に基づく３次元バーチャルリアリティに関する研究”」に示されている方法がある。当該方法は、以下のようなキルヒホッフ（Ｋｉｒｃｈｈｏｆｆ）の積分公式を用いるものである。

すなわち、図１２に示すような、音源を含まない閉曲面Ｓを想定した場合、その閉曲面Ｓ内の音場は、キルヒホッフの積分公式によって表現することができる。図１２において、ｐ（ｒｉ）は閉曲面Ｓ内の点ｒｉの音圧、ｐ（ｒｊ）は閉曲面Ｓ上の点ｒｊの音圧、ｎは点ｒｊにおける法線、ｕｎ（ｒｊ）は法線ｎの方向の粒子速度、｜ｒｉ−ｒｊ｜は点ｒｉと点ｒｊとの間の距離である。

キルヒホッフの積分公式は、図１３の式（１）で表され、閉曲面Ｓ上の音圧ｐ（ｒｊ）と法線ｎの方向の粒子速度ｕｎ（ｒｊ）を完全に制御できれば、閉曲面Ｓ内の音場を完全に再現できることを意味する。

なお、式（１）中のωは、音声周波数をｆとするとき、ω＝２πｆで表される角周波数であり、ρは空気の密度であり、Ｇｉｊは図１３の式（２）で表されるものである。

式（１）は定常音場についてのものであるが、音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）の瞬時値を制御することによって、過渡音場についても同じことが言える。

このように、キルヒホッフの積分公式による音場設計では、仮想的な閉曲面Ｓ上の音圧ｐ（ｒｊ）と粒子速度ｕｎ（ｒｊ）を再現できればよい。しかし、実際上、閉曲面Ｓ上の全ての連続的な点での音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）を制御することは不可能である。このため、閉曲面Ｓの微小要素内では音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）が一定であることを前提として、閉曲面Ｓを離散化する。

閉曲面ＳをＮ個の点で離散化すると、図１１の式（１）は図１３の式（３）で表されるものとなり、閉曲面Ｓ上のＮ点の音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）を再現することによって、閉曲面Ｓ内の音場を完全に再現することができる。

Ｎ点の音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）をＭ個の音源によって再現するためのシステムとしては、図１４に示すようなシステムが考えられている。

このシステムでは、信号源２０１からの音声信号を、それぞれフィルタ２０２を通じて、それぞれスピーカ２０３に供給し、制御領域２０４の境界面上のＮ点で音圧を測定する。法線方向の粒子速度ｕｎ（ｒｊ）は、２マイクロホン法によって音圧信号から近似的に求める。

このとき、Ｎ点の音圧ｐ（ｒｊ）および粒子速度ｕｎ（ｒｊ）を再現するためには、２Ｎ点の音圧が原音場と等しくなればよい。これは、フィルタ２０２の伝達関数Ｈｉ（ｉ＝１〜Ｍ）として、２Ｎ点の音圧が原音場に最も近くなるような値を求める問題に帰着する。

そこで、再生音場における音源ｉ（ｉ＝１〜Ｍ）と受音点ｊ（ｊ＝１〜２Ｎ）との間の伝達関数をＣｉｊとし、音源ｉの前段のフィルタの伝達関数をＨｉとする。そして、原音場における音源と受音点ｊとの間の伝達関数をＰｊとして、図１３の式（４）で表されるような、再生音場と原音場との差を最小にするための評価関数Ｊを考える。

式（４）で表される評価関数Ｊが最小となるような伝達関数Ｈｉを求めるには、図１３の式（５）を解けばよい。

さらに、キルヒホッフの積分公式の半空間への拡張として、図１５に示すように、境界面Ｓ１の片側（図の左側）の空間に音源２０５を配置し、反対側（図の右側）の空間に音源を含まない受聴領域２０６を想定する。

そして、キルヒホッフの積分公式によって、境界面Ｓ１上の全ての点または上記のような離散的な各点での音圧および粒子速度を制御すれば、音源を含まない受聴領域２０６内に所望の音場を実現することができる。

具体的には、図１６に示すように、ある有限長の制御ライン（境界ライン）Ｓ２の左側（片側）に複数のスピーカＳＰ１，ＳＰ２‥‥ＳＰｍを配置し、制御ラインＳ２上に複数の制御点Ｃ１，Ｃ２‥‥Ｃｋを設定する。そして、各制御点Ｃ１，Ｃ２‥‥Ｃｋでの音圧（振幅）および位相を制御する。

これにより、制御ラインＳ２の右側の受聴領域において、リスナー２０７がスピーカＳＰ１，ＳＰ２‥‥ＳＰｍからの音を制御ラインＳ２の左側の仮想点音源（仮想音源）２０８からの音として受聴できるようにすることができる。

ここで、制御ラインＳ２の右側の受聴領域は、図１６に示したように、スピーカＳＰ１，ＳＰ２‥‥ＳＰｍ側とは反対側の領域であり、制御ラインＳ２の左側は、スピーカＳＰ１，ＳＰ２‥‥ＳＰｍ側である。

このように、各スピーカに供給する音声信号の位相と音圧（音圧レベル）とを制御することにより、目的する音場を生成し、制御することが可能である。つまり、波面合成の技術により、アレイスピーカの各スピーカに供給する音声信号の位相と音圧とを制御することによって、スピーカ部３０の各スピーカから放音される音声による音像を目的とする位置に定位させるようにすることができる。

これは、イメージ的には、目的とする位置に光の焦点を結ばせる場合のようなイメージで、各スピーカから放音される音声の定位位置（音の焦点）を、目的とする位置に定位させる（結ばせる）ようにしているのである。

そして、この第２の例の場合、音像を定位させるために、図６に示した処理装置部４０の音場制御回路４１１が、センサ部１０からの三次元座標に応じて、音声処理部４１０が有する各スピーカに対応するデジタルフィルタの係数を制御する。

より具体的には、形成する音場においてリスナー位置を設定し、目的とする仮想音源から当該リスナー位置までの伝達関数を求めておき、この伝達関数を考慮して、音場制御回路４１１が、音声処理部４１０が有するデジタルフィルタの係数を制御する。

この場合、音場制御回路４１１が、想定される仮想音源に対応する伝達関数に応じたフィルタ係数などの必要なパラメータを保持している。そして、音場制御回路４１１が、目的とする仮想音源の位置に応じて、音声処理部４１０が有するデジタルフィルタ回路に供給するパラメータを変えることにより、目的とする仮想音源の位置に音像を定位させることができる。

より具体的に説明する。この第２の例においては、図１１を用いて説明したように、センサパネル１０Ｐの面からの距離に応じて、ボトムレイヤＢＬ、ミディアムレイヤＭＬ、トップレイヤＴＬの３つのレイヤが設定されているものとする。また、各レイヤに対しては、図７を用いて説明したように、横方向（ｘ軸方向）に３つの領域Ｒ１、Ｒ２、Ｒ３が設定されているものとする。

図１７は、この第２の例において、設定された仮想音源の例について説明するための図である。図１７において、音場ＡＦは、スピーカ部３０から放音される音声によって形成される音場を示している。

そして、図１７に示す例の場合、スピーカ部３０の放音面に対向する位置にリスナー位置Ｌを設定する。そして、リスナー位置Ｌに対して後方に、仮想音源Ｐ１Ｌ、Ｐ１Ｃ、Ｐ１Ｒを設定する。また、リスナー位置Ｌに対してやや後方に、仮想音源Ｐ２Ｌ、Ｐ２Ｃ、Ｐ２Ｒを設定し、リスナー位置Ｌに対して前方に、仮想音源Ｐ３Ｌ、Ｐ３Ｃ、Ｐ３Ｒを設定する。

これら各仮想音源Ｐ１Ｌ、Ｐ１Ｃ、Ｐ１Ｒ、Ｐ２Ｌ、Ｐ２Ｃ、Ｐ２Ｒ、Ｐ３Ｌ、Ｐ３Ｃ、Ｐ３Ｒに音像を定位させるために、音声処理部４１０が有する各スピーカに対応するデジタルフィルタに供給するパラメータが音場制御部４１１に用意されている。

そして、ユーザーが手などの検出対象物をセンサパネル１０Ｐに対して近づけるようにすると、検出対象物により指定される三次元座標がセンサ部１０により検出され、これが処理装置部４０に供給される。

そして、当該三次元座標に基づいて、空間位置検出部４０５が、当該三次元座標が属するレイヤと、当該レイヤ内（二次元座標領域内）の領域とを判断する。つまり、空間位置検出部４０５は、センサ部１０からの三次元座標が、ボトムレイヤＢＬ、ミディアムレイヤＭＬ、トップレイヤＴＬのいずれに属し、かつ、属するレイヤにおいて図７に示した領域Ｒ１、Ｒ２、Ｒ３のいずれに属するかを判断する。

そして、空間位置検出部４０５は、当該判断結果に基づいて、例えばＣＰＵ４０１を通じて音場制御部４１１を制御する。そして、空間位置検出部４０５の制御に応じて、音場制御部４１１が音声処理部４１０のデジタルフィルタにパラメータを設定することによって、目的とする仮想音源の位置に音像を定位させるようにする。

具体的には、センサ部１０からの検出出力である三次元座標が、トップレイヤＴＬの領域Ｒ１に属すると判断された場合には、図１７に示した仮想音場Ｐ１Ｌに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、トップレイヤＴＬの領域Ｒ２に属すると判断された場合には、図１７に示した仮想音場Ｐ２Ｃに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、トップレイヤＴＬの領域Ｒ３に属すると判断された場合には、図１７に示した仮想音場Ｐ２Ｒに音像を定位させるようにする。

同様に、センサ部１０からの検出出力である三次元座標が、ミディアムレイヤＭＬの領域Ｒ１に属すると判断された場合には、図１７に示した仮想音場Ｐ２Ｌに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、ミディアムレイヤＭＬの領域Ｒ２に属すると判断された場合には、図１７に示した仮想音場Ｐ２Ｃに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、ミディアムレイヤＴＬの領域Ｒ３に属すると判断された場合には、図１７に示した仮想音場Ｐ２Ｒに音像を定位させるようにする。

同様に、センサ部１０からの検出出力である三次元座標が、ボトムレイヤＢＬの領域Ｒ１に属すると判断された場合には、図１７に示した仮想音場Ｐ３Ｌに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、ボトムレイヤＢＬの領域Ｒ２に属すると判断された場合には、図１７に示した仮想音場Ｐ３Ｃに音像を定位させるようにする。

また、センサ部１０からの検出出力である三次元座標が、ボトムレイヤＢＬの領域Ｒ３に属すると判断された場合には、図１７に示した仮想音場Ｐ３Ｒに音像を定位させるようにする。

このようにして、この第２の例の場合には、ユーザーの手などの検出対象物が指示するレイヤをも考慮して、音声を放音する位置を異ならせることができるようにしている。

この場合、検出対象物が属するレイヤに応じて、仮想音源の位置をｚ軸方向にも変えるようにすることができるようにしている。

そして、上述の説明から分るように、この第２の例において、センサ手段の機能はセンサ部１０が実現している。また、判断手段の機能は主に空間位置検出部４０５が実現している。また、出力手段の機能は、音声処理部４１０、音場制御部４１１、アンプ部４１２、スピーカ部３０が実現している。

［音声出力処理の第２の例の変形例］（請求項３）
なお、図１７を用いて説明した仮想音源の設定位置は一例であり、仮想音源の設定位置は種々のものが考えられる。

例えば、各レイヤの二次元座標空間内の領域は考慮せず、検出対象物が指示する位置が、トップレイヤＴＬに属するときには、仮想音源Ｐ１Ｃに音像を定位させるようにする。また、検出対象物が指示する位置が、ミディアムレイヤＭＬに属するときには、仮想音源Ｐ２Ｃに音像を定位させるようにする。また、検出対象物が指示する位置が、ボトムレイヤＢＬに属するときには、仮想音源Ｐ３Ｃに音像を定位させるようにする。

このように、レイヤ毎に１つの仮想音源を設定し、手などの検対象物が指示する位置が属するレイヤに応じて決まる仮想音源から音声を放音するようにすることもできる。

また、センサ部１０からの三次元座標が、どのレイヤに属し、そのレイヤの二次元座標領域のどこを指示しているのかは、空間位置検出部４０５の機能により正確に判断することができる。

そして、検出対象物がユーザーの手であることを前提にすると、センサ部１０からの三次元座標が指示する位置から、当該ユーザーの頭部の位置も推定することができる。

つまり、センサ部１０からの三次元座標から、当該ユーザーの手の位置（例えば、地面からユーザーの肩までの高さ）を推定することができ、当該ユーザーの手の位置から当該ユーザーの身長を推定することができる。

さらに、センサ部１０からの三次元座標から、成人の手の長さの平均等を考慮することによって、センサパネル１０Ｐの面からユーザーまでのおおよその距離も推定することができる。

これら、推定したユーザーの身長と、センサパネル１０Ｐの面からユーザーまでの凡その距離とに基づいて、センサパネル１０Ｐに対するユーザーの位置（ユーザーの頭部の位置）を推定することができる。

そして、この推定したユーザーの位置に応じて、当該ユーザーの頭部の近傍（耳の近傍）に仮想音源を設け、当該仮想音源に音像を定位させるようにすることもできる。このようにすることによって、センサパネル１０Ｐに対して手をかざすようにしたユーザー対してのみに良好に聴取可能にして音声を放音することができる。

この場合、ユーザーの位置の推定は、空間位置検出部４０５の検出結果に基づいて、ＣＰＵ４０１が行うことができる。そして、推定したユーザーの位置に応じて、仮想音源の位置を特定する処理もＣＰＵ４０１によって行うことができる。

この場合、仮想音源の位置は、推定したユーザーの位置に応じて決まるように、ユーザーの位置（頭部の位置）と仮想音源の位置とを対応付けたテーブルを作成しておくことにより、一意に特定できるようにすることができる。

そして、この場合にも、各仮想音源に応じて、音声処理部４１０の各スピーカに対応するデジタルフィルタ路に設定する係数などのパラメータを、例えば、音場制御部４１１が保持しておくようにする。

これにより、推定されたユーザーの位置に応じて設定された仮想音源の位置に応じて、音声処理部４１０のデジタルフィルタ回路に対して適切な係数を設定して、設定した仮想音源に音像を定位させるようにすることができる。

そして、上述の説明から分るように、この第２の例の変形例においては、ユーザーの位置を推定する推定手段の機能は空間位置検出部４０５とＣＰＵ４０１が実現している。なお、この変形例においても、センサ手段の機能はセンサ部１０が、判断手段の機能は空間位置検出部４０５が、出力手段の機能は、音声処理部４１０、音場制御部４１１、アンプ部４１２、スピーカ部３０が実現している。

［音声出力処理の第２の例の動作のまとめ］
次に、この音声出力処理の第２の例について、図１８、図１９のフローチャートを用いてまとめる。図１８は、処理装置部１０の空間位置検出部４０５において行われるセンサ値検出処理２を説明するためのフローチャートである。また、図１９は、主に処理装置部１０の空間位置検出部４０５により行うようにされる音声出力処理２について説明するためのフローチャートである。

図１８に示す処理は、図９を用いて説明したセンサ検出処理１の場合と同様に、所定の間隔で繰り返し、空間位置検出部４０５によって実行される処理である。そして、図９を用いて説明したセンサ検出処理１の場合には、ｘ軸、ｙ軸の値のピーク値であるＸ，Ｙを検出した。これに対して、図１８に示したセンサ検出処理２の場合には、ｘ軸、ｙ軸、ｚ軸の値のピーク値であるＸ，Ｙ，Ｚを検出するものである。

このため、図１８に示す処理において、ステップＳ３０１、ステップＳ３０２においては、図９に示したステップＳ１０１、１０２の処理と同様の処理が行われる。すなわち、まず空間検出部４０５は、Ｉ／Ｏポート４０４を通じて、センサ部１０からの出力値（センサデータ）を受け付けたか否かを判断する（ステップＳ３０１）。

このステップＳ３０１の判断処理は、ユーザーの手などの検出対象物が、センサ部１０のセンサパネルの面に対してかざすようにされたか否かを判断する処理である。より具体的には、上述もしたように、Ｉ／Ｏポートを通じて受け付けたセンサ部１０からの検出出力がＲＡＭ４０２に保持するようにされたか否かを判断する処理である。

ステップＳ３０１の判断処理において、センサ部１０からの出力値は存在しないと判断したときには、この図１８に示す処理を終了し、次の実行タイミングを待つことになる。ステップＳ３０１の判断処理において、センサ部１０からの出力値が存在すると判断したときには、空間位置検出部４０５は、処理装置部４０が受け付けたセンサ部１０からの出力値を平滑化する処理を行う（ステップＳ３０２）。

ステップＳ３０２の処理は、センサ部１０からの複数回（複数サンプル）の検出値の平均を算出し、検出値の精度を向上させるためのものである。

そして、空間位置検出部４０５は、三次元座標領域におけるｘ軸方向の値と、ｙ軸方向の値と、ｚ軸方向の値のピーク値Ｘ，Ｙ，Ｚを検出する（ステップＳ３０３）。すなわち、センサ部１０からの出力値は、上述もしたように、縦方向、横方向それぞれの積算値となるので、値が最も大きくなる点を検出値（座標値）として採用するようにしているのである。そして、図１８に示す処理を終了し、次の実行タイミングを待つ。

このようにして、センサ部１０からの検出出力に基づいて、空間位置検出部４０５は、ユーザーの手などの検出対象物が指示する三次元座標領域における位置（座標）を検出するようにしている。

そして、検出された三次元座標領域における位置（座標）を示す情報（ピーク値）は、空間位置検出部４０５内のレジスタやＲＡＭ４０３などに一時記憶するようにされる。

次に、空間位置検出部４０５は、図１９に示す音声出力処理２を実行し、まず、図１８に示した処理により検出したピーク値（三次元座標領域における位置（座標）を示す情報）を取得する（ステップＳ４０１）。

そして、空間位置検出部４０５は、取得したピーク値の強度が一定値以上か否かを判断する（ステップＳ４０２）。このステップＳ４０２の処理は、図１０に示したステップＳ２０２の処理と同様に、たまたまユーザーの手が、センサ部１０のセンサパネルの面に近づいてしまったような場合までをも処理の対象としないようにするための処理である。

ステップＳ４０２の判断処理において、取得したピーク値の強度が一定値以上ではないと判断したときには、空間位置検出部４０５は、この図１９に示す処理を終了し、次の実行タイミングを待つことになる。

ステップＳ４０２の判断処理において、取得したピーク値の強度が一定値以上であると判断したときには、空間位置検出部４０５は、取得したピーク値が示す三次元座標（指示位置）が属する三次元座標領域における設定領域を判断する（ステップＳ４０３）。

このステップＳ２０３の判断処理は、図７、図１１を用いて説明したように、取得したピーク値が示す三次元座標が、どのレイヤのどの領域（領域Ｒ１、Ｒ２、Ｒ３）に属するのかを判断する処理である。

そして、空間位置検出部４０５は、ＣＰＵ４０１を通じて、ステップＳ２０３の判断結果に基づいて、仮想音源の位置を特定し、音場制御部４１１を通じて音声処理部４１０のデジタルフィルタを制御する（ステップＳ４０４）。

すなわち、音場制御部４１１は、波面合成の技術に基づいて、音声処理部４１０の各スピーカに対応するデジタルフィルタの係数を制御し、ユーザーの指示位置に応じた位置を仮想音源として再生音声を放音する。

そして、この図１９に示す処理を終了し、空間位置検出部４０５は、図１９に示した処理を次に実行するタイミングを待つことになる。

このようにして、音声出力処理の第２の例の場合、簡単に示せば、ユーザーの手などの検出対象物の三次元座標領域における位置に応じて、音声を放音する仮想音源を特定する。そして、その特定した仮想音源から音声が放音されているかのように聞こえるように、波面合成の技術を用いて音声情報を処理して、スピーカ部３０から音声を放音することができるようにしている。

［音声出力処理の第３の例］（請求項６）
次に、この実施形態の情報処理装置によって行うことが可能な音声出力処理の第３の例について説明する。この第３の例は、複数のレイヤ毎であって、各レイヤ内に設定される領域毎に、音声情報を記憶手段に記憶保持しているものとする。

そして、ユーザーの手などの検出対象物が通過したレイヤの領域と到達したレイヤの領域とを特定する。そして、記憶手段に記憶されている前記音声情報であって、検出対象物が通過したレイヤの領域に対応する音声情報と検出対象物が到達したレイヤの領域に対応する音声情報とをミックス（混合）して出力するようにしている。

［レイヤとレイヤ内の領域］
図２０は、この第３の例において、図１１を用いて説明したように設定される３個の各レイヤと、各レイヤ内に設定される領域とを説明するための図である。

図１１を用いて説明し、また、図２０にも示すように、この第３の例においても、センサパネル１０Ｐの面からの距離の違いにより、ボトムレイヤＢＬ、ミディアムレイヤＭＬ、トップレイヤＴＬの３個のレイヤが設定されているものとする。

そして、各レイヤ内は、図２０に示すように、各レイヤの二次元座標領域（ｘ−ｙ平面）を水平方向に２等分、垂直方向に２等分することにより、大きく４つの領域を設定するようにしている。

すなわち、図２０に示した例の場合、各レイヤは、実線Ｌ１で囲んだ左上領域ＬＵと、実線Ｒ１で囲んだ右上領域ＲＵと、実線Ｌ２で囲んだ左下領域ＬＤと、実線Ｒ２で囲んだ右下領域ＲＤとが設定するようにされている。そして、図２０に示したように、各領域ＬＵ、ＲＵ、ＬＤ、ＲＤは、その境界部分において重なりあう部分（オーバーラップ部分）が設けられるようにされている。

そして、この第３の例においては、レイヤ毎であって、各レイヤの領域毎に、異なる音声情報を割り当てるようにしている。このように、レイヤ毎であって、各レイヤの領域毎に割り当てられる音声情報が、音声情報記憶部４０７に記憶保持されている。

図２１は、音声情報記憶部４０７に記憶保持される音声情報の構成を説明するための図である。図２１に示すように、この第３の例において、音声情報記憶部４０７には、レイヤ別、レイヤ内の領域別に、再生対象の音声情報が記憶保持されている。

そして、図２１に示すように、トップレイヤＴＬは、伴奏パートの音声情報が割り当てられる。具体的に、トップレイヤＴＬの左上領域ＬＵに対しては、弦楽器の高音部の音声情報が割り当てられ、トップレイヤＴＬの右上領域ＲＵに対しては、ブラス楽器の高音部の音声情報が割り当てられる。

また、トップレイヤＴＬの左下領域ＬＤに対しては、弦楽器の低音部の音声情報が割り当てられ、トップレイヤＴＬの右下領域ＲＤに対しては、ブラス楽器の低音部の音声情報が割り当てられる。

また、図２１に示すように、ミディアムレイヤＭＬは、伴奏パートとソロパートの一部の音声情報が割り当てられる。具体的に、ミディアムレイヤＭＬの左上領域ＬＵに対しては、弦楽器（全音域）の音声情報とフルートの高音部の音声情報とが割り当てられる。また、ミディアムレイヤＭＬの右上領域ＲＵに対しては、ブラス楽器（全音域）の音声情報と木琴の高音部の音声情報が割り当てられる。

また、ミディアムレイヤＭＬの左下領域ＬＤに対しては、弦楽器（前音域）の音声情報と木琴の低音部の音声情報が割り当てられる。また、ミディアムレイヤＭＬの右下領域ＲＤに対しては、ブラス楽器（全音域）の音声情報と女性ボーカル（女声）の低音部の音声情報が割り当てられる。

また、図２１に示すように、ボトムレイヤＢＬは、ソロパートの音声情報が割り当てられる。具体的に、ボトムレイヤＢＬの左上領域ＬＵに対しては、ハープとフルートの音声情報が割り当てられ、ボトムレイヤＢＬの右上領域ＲＵに対しては、ハープと木琴の音声情報が割り当てられる。

また、ボトムレイヤＢＬの左下領域ＬＤに対しては、木管と女性ボーカル（女声）の音声情報が割り当てられ、ボトムレイヤＭＬの右下領域ＲＤに対しては、木琴と女性ボーカル（女声）の音声情報が割り当てられる。なお、ボトムレイヤＢＬの各領域に割り当てられるソロパートの音声情報は、全音域のものである。

このように、この第３の例において、音声情報記憶部４０７には、３個のレイヤ毎であって、各レイヤの４つの領域毎に割り当てられるようにされる１２トラックの音声情報（音楽ファイル）が記憶するようにされている。

この第３の例においても、センサパネル１０Ｐの面に、ユーザーの手などの検出対象物が近づけられると、センサ部１０は、検出対象物が指示する位置の三次元座標を出力する。

そして、空間位置検出部４０５により、ユーザーの手などの検出対象物が指示する位置が属する領域（レイヤとレイヤ内の領域）がどこかを判断する。この判断結果に応じて、ＣＰＵ４０１は、音声処理部４１０を制御し、音声情報の混合（ミックス）処理を行う。

例えば、図２０を用いて説明したように、レイヤとレイヤ内の領域とが設定されている場合において、ユーザーの手などが、トップレイヤＴＬの左上領域ＬＵに位置するときには、弦楽器の高音部の音声情報に応じた音声をスピーカ部３０から出力する。

さらに、ユーザーの手などが、ミディアムレイヤＭＬの左上領域ＬＵに到達したときには、弦楽器の高音部の音声情報と、弦楽器（全音域）の音声情報とフルートの高音部の音声情報との全部をミックスした音声情報に応じた音声をスピーカ部３０から放音する。

さらに、ユーザーの手などが、ボトムレイヤＢＬの左上領域ＬＵに到達したときには、弦楽器の高音部の音声情報と、弦楽器（全音域）の音声情報とフルートの高音部の音声情報と、ハープの音声情報とフルートの音声情報との全部をミックスする。そして、当該ミックスした音声情報に応じた音声をスピーカ部３０から放音する。

このように、この第３の例においては、図２０、図２１を用いて説明したように、音声情報記憶部４０７に、複数のレイヤ毎であって、各レイヤ内に設定される領域毎に記憶保持されている音声情報を利用するものである。

そして、ユーザーの手などの検出対象物が通過したレイヤの領域と到達したレイヤの領域とを特定する。そして、音声情報記憶部４０７に記憶されている音声情報であって、検出対象物が通過したレイヤの領域に対応する音声情報と検出対象物が到達したレイヤの領域に対応する音声情報とを音声処理部４１０においてミックス（混合）して出力する。

このように、センサ部１０のセンサパネル１０Ｐに対するユーザーの手などの検出対象物の位置に応じて、必要な音声情報を選択することができるようにされる。そして、その選択した音声情報をミックスし、このミックスした音声情報に応じた音声を放音することができる。

次に、この第３の例において行われる音声情報のミックス（混合）処理について具体的に説明する。図２２は、実施形態の情報処理装置において、ユーザーの操作を受け付け、また、ユーザーに対して情報を提供する部分の構成を簡略して示した図である。また、図２３は、音声情報のミックス（混合）処理時の計算について説明するための図である。

図２２に示すように、ユーザーからの操作を受け付け、ユーザーに対して情報を提供する部分は、ディスプレイ部２０と、その前面に設けられるセンサパネル１０Ｐと、例えば、ディスプレイ部１０の上部に設けられるスピーカ部３０である。

そして、センサパネル１０Ｐを有するセンサ部１０が、これにユーザーの手などの検出対象物が近づけられた場合に、その検出対象物が指示する位置の三次元座標を検出して、処理装置部４０に対して出力することができる構成となっている。

そして、この第３の例においては、ユーザーがセンサパネル１０Ｐに対して手などをかざしていない場合であっても、音声情報記憶部４０７に記憶保持されている１２トラックの音声情報は、常に繰り返し再生するようにしている。

つまり、ＣＰＵ４０１は、図２１を用いて説明したように、音声情報記憶部４０７に記憶保持されている１２トラックの音声情報を読み出して、音声処理部４１０に供給するようにしている。しかし、この段階では、音声処理部４１０において音声情報のミックス処理は行われず、音声情報に応じた音声がスピーカ部３０から放音されることはない。

そして、人の手などの検出対象物がセンサ部１０のセンサパネル１０Ｐに対して近づけられた場合に、センサ部１０は検出対象物が指示する位置の三次元座標を検出して処理装置部４０に供給する。

この場合に、空間位置検出部４０５が、センサ部１０からの三次元座標から音声情報のミックス処理に用いる調整した三次元座標を計算により求める。そして、空間位置検出部４０５は、当該調整した三次元座標が属することになるセンサ領域（三次元座標空間）内の領域を判断する。

さらに、空間位置検出部４０５は、当該調整した三次元座標が属する領域の判断結果に基づいて、センサ領域（センサ部１０が形成する座標の検出が可能な三次元座標領域）において、ユーザーの手などが通過した領域と到達した領域を判別する。

そして、空間位置検出部４０５は、この判別結果に基づいて、どの領域に割り当てられた音声情報を出力するかを判別し、この判別結果を音声処理部４１０に通知する。

音声処理部４１０は、空間位置検出部４０５からの判別結果に基づいて、出力すべき音声情報に対するミックスボリューム（混合調整値）を変化させる。これにより、出力すべき音声情報が音声処理部４１０においてミックス処理され、アンプ部４１２を通じてスピーカ部３０に供給され、ユーザーの手などの検出対象物の指示する位置に応じた音声が放音するようにされる。

そして、この第３の例においては、図２３の式（１）に示すように、センサ部１０からの検出出力である三次元座標Ｖを（Ｘ，Ｙ，Ｚ）とし、音声情報のミックス処理に用いるパラメータであるミックスパラメータｖを（ｘ，ｙ，ｚ）とする。

そして、空間位置検出部４０５は、センサ部１０から供給される三次元座標Ｖを用いて、調整後の三次元座標であって、音声情報のミックス処理に用いるミックスパラメータｖを求める。

具体的に、空間位置検出部４０５は、ミックスパラメータｖのｘ軸の座標値ｘは、図２３の式（３）により求める。式（３）において、ｘ´（ｘダッシュ）は、１ステップ前のｘの値である。また、αは、予め決められた値であり、例えば、図２３にも示したように、値「０．００００４」が用いられる。

同様に、ミックスパラメータｖのｙ軸の座標値ｙは、図２３の式（４）により求める。式（４）において、ｙ´（ｙダッシュ）は、１ステップ前のｙの値である。また、αは、予め決められた値であり、例えば、図２３にも示したように、値「０．００００４」が用いられる。

また、ミックスパラメータｖのｚ軸の座標値ｚは、図２３の式（５）により求める。式（５）において、ｚ´（ｚダッシュ）は、１ステップ前のｚの値である。また、α１は、予め決められた値であり、図２３にも示したように、座標値ｘ、ｙを求めるために用いた値αとは異なる値を用いるようにする。座標値ｚは、ｘ軸やｙ軸に対して直交する座標軸の値であるからである。

なお、ｚ軸用の係数であるα１は、（Ｚ−ｚ´）の値の正負により値を変える。たとえば、（Ｚ−ｚ´）＞０の場合にはα１＝０．０００６とし、（Ｚ−ｚ´）＜０の場合にはα１＝０．００００１５とする。

このようにするのは、センサ部１０に対して、手などの検出対象物が遠ざかっているときは、ゆっくりとした変化にしたい（リリースを長くしたい）、と言うことを考慮したものである。

なお、上述したα、α１の値は、上述したものに限るものではなく、他の種々の値を用いるようにすることももちろん可能である。

このように、１ステップ前のミックスパラメータｖ´を考慮すると共に、値α、α１を指数として用いて演算を行い、ミックスパラメータｖ＝（ｘ，ｙ，ｚ）を求め、これに応じて、ユーザーが指示した位置が属する領域を判断する。この判断結果に基づいて、ミックス処理する音声情報を特定して、ミックスボリュームを調整して、音声を放音することができるようにしている。

これにより、ミックスパラメータｖは、センサ部１０からの三次元座標Ｖの動きに少し遅れて（指数関数的に）追従するようにされる。そして、図２３に示した計算を、音声情報のサンプリング周波数（例えば４８ｋＨｚ）に応じて、繰り返し行うことで、ユーザーの手などの動きに応じて、用いる音声情報を変更しても滑らかに音声を放音することができるようにされる。

［指示位置が大きく移動した場合の処理］（請求項７）
ユーザーの手などの検出対象物が、センサ部１０のセンサパネル１０Ｐの面に対してかざすようにされた場合、当該検出対象物が連続的に徐々に移動する場合もあれば、突然に離れた位置に大きく移動する場合もある。

前者の場合には、図２３を用いて説明した計算処理により、音声情報のミックスに用いるようにするミックスパラメータｖは、実際の検出出力（三次元座標）Ｖに対して滑らかに追従するので再生される音声が不自然にならないようにすることができる。また、後者の場合にも、図２３を用いて説明した計算処理により、再生音声が不自然にならないようにすることができる。

図２４〜図２６は、指示位置が大きく移動した場合の処理について説明するための図である。具体的に図２４は、センサ部１０が形成するセンサ領域（三次元座標空間）において、ユーザーの手などの検出対象物が突然に大きく移動した場合の例を説明するための図である。

また、図２５は、センサ部１０が形成するセンサ領域（三次元座標空間）において、ユーザーの手などの検出対象物が突然に大きく移動した場合にパラメータの変化の性質を説明するための計算式を示す図である。また、図２６は、図２５に示した計算式により求められるミックスパラメータｖの変化の様子の一例を示す図である。

図２４に示すように、位置Ｖ１（Ｘ１，Ｙ１，Ｚ１）を指示していたユーザーの手などの検出対象物が、突然に、位置Ｖ２（Ｘ２，Ｙ２，Ｚ２）に移動した場合を考える。この場合、１つのレイヤ内において、二次元座標領域（ｘ−ｙ平面）内の位置が変わる場合もあれば、位置するレイヤが変わると共に、ｘ−ｙ平面内の位置も変わる場合もある。

この図２４に示すように、ユーザーの手などの検出対象物が指示する位置が、異なる領域に移動するように大きく移動する場合、ミックスパラメータｖ（ｘ，ｙ，ｚ）の動きは、ほぼ指数関数となる。

つまり、ユーザーの手などの検出対象物が指示する位置が、大きく移動した場合、ミックスパラメータｖ（ｘ，ｙ，ｚ）は、図２５に示した計算式のような性質を有すると言える。

すなわち、空間位置検出部４０６は、センサ部１０から三次元座標に基づいて、ユーザーの手などの検出対象物が指示する位置が、大きく移動したか否かを判別することができる。

例えば、図２０に示したように、レイヤ毎に４つの領域が設定されている場合に、右下領域ＲＤから左上領域ＬＵに移動するなど、異なる領域に移動したことを検出したとする。この場合、同一レイヤ内において移動する場合もあれば、レイヤも異なるように移動する場合もある。

この場合、図２５の式（１）に示すように、移動前の三次元座標が示す位置（始点）をＶ１＝（Ｘ１，Ｙ１，Ｚ１）とし、移動後の三次元座標が示す位置（終点）をＶ２＝（Ｘ２，Ｙ２，Ｚ２）とする。

そして、空間位置検出部４０５で求められるミックスパラメータｖの性質は、図２５の式（３）、（４）、（５）のように示すことができる。すなわち、大きく移動した場合のミックスパラメータｖのｘ軸の座標値ｘ（ｔ）の性質は、図２５の式（３）のように示すことができる。

同様に、大きく移動した場合のミックスパラメータｖのｙ軸の座標値ｙ（ｔ）の性質は、図２５の式（４）のように示すことができる。また、大きく移動した場合のミックスパラメータｖのｚ軸の座標値ｚ（ｔ）の性質は、図２５の式（５）のように示すことができる。

なお、式（３）、式（４）、式（５）において、値βは、図２３に示した計算処理に用いるようにした値αにより決まる値であり、値０（ゼロ）より大きな値である。具体的にβは、β＝α×ｆで求めることができる値である。ここで、値ｆは１秒間に何回処理が行われるかを示す値であり、単位はＨｚである。そして、値ｆは、例えば数十Ｈｚ程度の値とされる。

そして、図２５の式（３）、式（４）、式（５）において、指数関数ｅｘｐ（−βｔ）は、ｔが小さい状態（位置Ｖ１から位置Ｖ２へ飛んだ直後）では、値が大きく動く性質がある。

そして、ユーザーの手などの検出対象物が突然に大きく移動した場合において、ｘ軸の座標について見ると、図２６において実線で示したように、検出対象物の実際の移動は、時刻ｔ０において、突然に座標Ｘ１から座標Ｘ２に移動したように見える。

しかし、図２５に示した計算式により、図２６において点線で示すように、移動直後においては大きく、その後において徐々に、ミックスパラメータを変化させることが可能となる。

そして、図２５の式（３）、（４）、（５）と、前述した図２３の式（３）、（４）、（５）とを比較すると、両方とも指数関数であり、図２３の式（３）、（４）、（５）は、図２５の式（３）、（４）、（５）の性質を実現できる式であることが分る。すなわち、図２５の式（３）、（４）、（５）と、前述した図２３の式（３）、（４）、（５）とは、ほぼ等価の式である。

したがって、図２３に示した計算式を用いて、ミックスパラメータｖを求めることにより、ユーザーの手などの検出対象物が大きく移動した場合であっても、その移動に応じて、違和感を生じさせないようにして、音声情報の再生を行うことができるようにされる。

また、ユーザーの手などの検出対象物を、センサ領域１１１において、５０センチ移動させる場合と、その２倍の１００センチ移動させる場合とについて考える。

この場合、単純に考えると、５０センチ移動させる場合にかかる時間を「１」とすると、１００センチ移動させる場合にかかる時間は「２」となる。しかし、図２５の性質を実現する図２３を用いて説明した計算処理を行うようにすることによって、１００センチ移動させるようにした場合であって、位置Ｖ１から位置Ｖ２へ移動する間隔的な時間は２倍未満（例えば１．２倍程度）とすることができる。

すなわち、ユーザーの手などの移動距離に左右されること無く、図２３の計算処理により、ユーザーの手などの検出対象物が大きく移動した場合には、ほぼ一定の時間で、ユーザーの手などが移動されたものとして、目的とする音声情報による音声の再生を行うことができる。

換言すれば、ユーザーの手などの移動距離に左右されること無く、ミックスパラメータｖを一定の時間内に適切に求め、当該ミックスパラメータｖ＝（ｘ，ｙ，ｚ）により決まる領域に応じて、再生対象の音声情報を決定し、ミックス処理を行うことができる。したがって、指示位置が大きく移動した場合であっても、ミックスして再生するようにされる再生音声が、不自然なものとなることがないようにされる。

これにより、ユーザーの手などの検出対象物を、始点Ｖ１から終点Ｖ２に大きく移動させた場合であっても、処理装置部４０内においては、いきなり位置Ｖ１から位置Ｖ２に変化したものとして音声の出力処理を行うことは無いようにしている。また、再生音声を変化させる場合であっても、移動距離に応じて音声処理に時間がかかることもないようにしている。

なお、この第３の例においても、音声の放音位置は、図７、図８を用いて説明したように、三次元座標のうちのｘ軸方向（横方向）のパラメータにより、１６チャンネルのアレイスピーカの内の用いるスピーカを切り換えるようにする。

この場合に、音声を放音するスピーカをスムーズに切り換えるようにするために、換言すれば、音声の放音位置をスムーズに移動させるために、例えば、１０サンプル程度のクロスフェードを行うようにしてもよい。

例えば、図７、図８を用いて説明したように、センサ部１０のセンサパラメータ１０Ｐの面に対するユーザーの手などの検出対象物による指示位置が、領域Ｒ１から領域Ｒ２に変わった場合を考える。

この場合には、領域Ｒ１から領域Ｒ２に変わった直後の例えば１０サンプル期間においては、スピーカＳＰ１、ＳＰ２からと、スピーカＳＰ８、ＳＰ９からの音声との両方を出力する。

そして、スピーカＳＰ１、ＳＰ２から出力する音声の放音レベル（音量）は徐々に小さくし、スピーカＳＰ１、ＳＰ２から出力する音声の放音レベル（音量）は徐々に大きくする。これにより、音声の放音位置の移動がスムーズに行われる。

なお、ここでは、ユーザーの手など検出対象物が大きく移動したか否かは、センサ領域１１１内に予め設定するようにされている領域を変わるような移動があった場合に、検出対象物の移動が発生したと判断するようにした。

しかし、これに限るものではない、少なくとも二次元座標領域（ｘ−ｙ平面）内において、予め決められる一定以上の距離の移動が行われた場合に、検出対象物が大きく移動した判断することができる。

当該判断は、センサ部１０から三次元座標に応じた始点、終点のうちの、ｘ座標の値とｙ座標の値とに応じて決まる二次元座標平面における位置に基づいて移動距離を求め、閾値以上移動したか否かに応じて判断することができる。

［音声出力処理の第３の例の動作のまとめ］
次に、この音声出力処理の第３の例について、図２７、図２８のフローチャートを用いてまとめる。図２７は、ユーザーの手などの指示位置に応じて、ミックスする音声情報を特定してミックスし、当該指示位置に応じたスピーカからミックスした音声を出力する音声出力処理３を説明するためのフローチャートである。

また、図２８は、ユーザーの手などの指示位置に応じて、ミックスする音声情報を特定してミックスし、当該指示位置に応じた仮想音源から音声が放音されているかのように、スピーカ部３０から当該音声を出力する処理を説明するためのフローチャートである。

まず、図２７に示す処理について説明する。この音声出力処理の第３の例の場合にも、空間位置検出部４０５においては、図１８を用いて説明したセンサ値検出処理２が実行され、三次元座標領域におけるｘ軸方向の値と、ｙ軸方向の値と、ｚ軸方向の値のピーク値Ｘ，Ｙ，Ｚとが検出される。

この後、空間位置検出部４０５は、図２７に示す処理を実行し、まず、図１８に示した処理により検出したピーク値（三次元座標領域における位置（座標）を示す情報）を取得する（ステップＳ５０１）。

そして、空間位置検出部４０５は、取得したピーク値の強度が一定値以上か否かを判断する（ステップＳ５０２）。このステップＳ５０２の処理は、例えば、たまたまユーザーの手が、センサ部１０のセンサパネルの面に近づいてしまったような場合までをも処理の対象としないようにするための処理である。換言すれば、ユーザーが意思を持って、手などの検出対象物をセンサ部１０のセンサパネルの面に近づけた場合を検出するようにしている。

ステップＳ５０２の判断処理において、取得したピーク値の強度が一定値以上ではないと判断したときには、空間位置検出部４０５は、この図２７に示す処理を終了する。そして、次の実行タイミングを待つことになる。

ステップＳ５０２の判断処理において、取得したピーク値の強度が一定値以上であると判断したときには、空間位置検出部４０５は、取得したピーク値Ｖ＝（Ｘ，Ｙ，Ｚ）を用い、図２３の計算式に基づき、ミックスパラメータｖ＝（ｘ，ｙ，ｚ）を求める（ステップＳ５０３）。

そして、空間位置検出部４０５は、求めたパラメータｖに基づいて、ユーザーの手などの検出対象物が通過した領域と到達した領域を特定し、これに応じて、再生すべき音声情報を特定する（ステップＳ５０４）。

この後、空間位置検出部４０５は、ステップＳ５０５の特定結果に基づいて、音声処理部４１０を制御し、再生すべき音声情報をミックス処理するようにする（ステップＳ５０５）。

さらに、空間位置検出部４０５は、ユーザーの手などの検出対象物が到達した領域に応じて、音声を放音するスピーカを特定し、そのスピーカからミックスした音声情報に応じた音声を出力するように用いるスピーカチャンネルを切り換える（ステップＳ５０６）。そして、この図２７に示す処理を終了し、次の実行タイミングを待つ。

このようにして、ユーザーの手などの検出対象物による指示位置が属する領域に応じて、再生すべき音声情報を特定し、特定した音声情報をミックス処理して、当該指示位置に応じたスピーカから音声を放音することができる。

次に、図２８に示す処理について説明する。上述したように、図２８に示す処理は、ユーザーの手などの指示位置に応じて、ミックスする音声情報を特定してミックスし、当該指示位置に応じた仮想音源から音声が放音されているかのように、スピーカ部３０から当該音声を出力する処理である。

このため、図２８のフローチャートにおいて、上述した図２７のフローチャートと同様の処理が行われるステップには同じ参照符号を付し、その部分の説明は重複するので省略することとする。

そして、図２７と図２８とを比べると分かるように、図２８において、ステップＳ５０６Ａの処理が、図２７に示した処理とは異なるものである。

ステップＳ５０７Ａにおいては、特定してミックスした音声情報を、ユーザーの指示位置に応じた仮想音源から放音されているように聴取できるようにする。

具体的には、音声出力処理の第２の例の場合と同様に、空間位置検出部４０５が、ユーザーの指示位置が属する領域に基づいて、仮想音源を特定し、これに基づき、音場制御部５１１を通じて音声処理部５１０のデジタルフィルタを制御する。

これにより、ミックスした音声情報に応じた音声が、特定された仮想音源から放音されているように聴取できるようにして、アレイスピーカの構成とされたスピーカ部３０から放音するようにされる。

このように、ユーザーの手などの検出対象物が通過した領域と到達した領域とに基づいて、ミックス処理する音声情報を特定してミックスする。そして、このミックスした音声情報に応じた音声を、ユーザーの手などの指示位置に応じた仮想音源から音声が放音されているかのように聴取できるように、波面合成の技術を用いて音像の定位処理をも行うことができる。

なお、上述した第３の例の場合には、各レイヤを４つの領域ＬＵ、ＲＵ、ＬＤ、ＲＤに分け、隣り合う領域同士が重なりあう部分を設けるようにした。これは、当該重なり合う部分では、その重なり合う領域の双方の音声情報をミックスするようにする。

このようにすることによって、例えば、ユーザーの手などの検出対象物が、同一レイヤ内において領域を変えるように移動した場合であっても、急に出力される音声が変わるのではなく、より自然に出力される音声を変えることができるようにしている。

また、上述した第３の例においては、レイヤ毎に４つの領域ＬＵ、ＲＵ、ＬＤ、ＲＤを設けるようにしたが、これに限るものではない。レイヤ毎に２つ以上の複数の領域を設けるようにすることができる。

そして、各領域は、必ずしも等しい大きさにする必要はなく、設ける領域の位置や大きさは、様々なものとすることができる。また、レイヤ毎に、異なる位置に異なる大きさの領域を設けるようにすることももちろん可能である。

なお、上述した説明から明らかなように、この音声出力処理の第３の例において、記憶手段は、音声情報記憶部４０７が実現している。また、センサ手段の機能はセンサ部１０が実現している。判断手段の機能は、空間位置検出部４０５が実現している。また、出力手段の機能は、主に、音声処理部４１０、アンプ部４１２、スピーカ部３０が実現している。また、座標調整手段の機能は、空間位置検出部４０５が実現している。

［音声出力処理の第３の例の変形例１］（請求項４、請求項５）
上述した音声出力処理の第３の例は、レイヤ毎であって、各レイヤに設定された領域毎に、再生対象の音声情報を割り当て、通過した領域と、到達した領域とに応じて、ミックス処理する音声情報を特定するようにした。しかし、これに限るものではない。

例えば、レイヤ毎に領域は設けず、各レイヤに対して音声情報を割り当てるようにすることもできる。つまり、レイヤ毎に１つの領域が設けられているここと等価である。

そして、ユーザーの手などの検出対象物が指示する位置が属するレイヤに割り当てられている音声だけを出力することが可能である。また、検出対象物が通過したレイヤに割り当てられている音声情報と到達したレイヤに割り当てられている音声情報とをミックス処理して出力したりすることも可能である。

前者の場合には、空間位置検出部４０５において、ユーザーの手などの指示位置が属するレイヤを判断し、そのレイヤに割り当てられている音声情報に応じた音声を出力するように、空間位置検出部４０５が音声処理部を制御するようにすればよい。

この場合、上述した第３の例の場合と同様に、ユーザーの指示位置に応じて音声を放音するスピーカを変えることも可能である。また、音場制御部４１１を通じて音声処理部４１０のデジタルフィルタを制御することによって、仮想音源から音声が放音されているかのように制御することも可能である。

また、後者の場合には、レイヤ毎に設定された領域が１つの場合であるので、ユーザーの手などの検出対象物が通過したレイヤに割り当てられている音声情報と到達したレイヤに割り当てられている音声情報とを音声処理部４０５においてミックスして出力する。

この場合においても、上述した音声出力処理の第３の例の場合と同様に、ユーザーの指示位置に応じて音声を放音するスピーカを変えることも可能である。また、音場制御部４１１を通じて音声処理部４１０のデジタルフィルタを制御することによって、仮想音源から音声が放音されているかのように制御することも可能である。

なお、この音声出力処理の第３の例の場合には、３つのレイヤを用いるようにしたが、レイヤの数は３つに限るものではなく、２つ以上の任意の数のレイヤを設定して用いるようにすることが可能である。なお、センサ部１０の検出感度に応じて、レイヤの数は適切なものとすることが好ましい。

［映像出力処理］（請求項８）
上述したように、この実施形態の情報処理装置は、センサ部１０を通じて検出する三次元座標領域におけるユーザーの手などの検出対象物の指示位置に応じて、音声情報の出力処理を制御できるものである。具体的には、検出対象物による指示位置に応じて、用いるスピーカを変えたり、仮想音源を設定したり、また、ミックスする音声情報を特定してミックスしたりすることができる。

しかし、この実施形態の情報処理装置は、音声出力処理だけでなく、映像出力処理についても検出対象物による指示位置に応じて制御することができるようにしている。

すなわち、上述もしたように、この実施形態の情報処理装置は、映像情報記憶部４０６に記憶保持されている映像情報は、ＣＰＵ４０１により読み出され、物理計算処理部４０８、映像処理部４０９を通じてディスプレイ装置２０に供給するようにされる。

この場合、物理計算処理部４０８は、上述もしたように、ユーザーの手などの検出対象物が指示する三次元座標空間における指示位置に応じて、映像情報に対して物理モデルに従った効果を与える。

この例においては、物理モデルとして水紋（波紋）を用いる。図２９は、ユーザーの手などの検出対象物が指示する三次元座標空間における指示位置に応じて、表示する映像に水紋を発生させる場合について説明するための図である。また、図３０は、表示する映像に水紋を発生させるための物理モデルの具体例を説明するための図である。

図２９に示すように、ユーザーがセンサパネル１０Ｐに対して手を近づけた場合、ユーザーの手が指示する三次元座標空間における位置を中心にして、水紋を発生させるように物理計算処理部４０８が、これに供給される映像情報に対して計算を施す。

ユーザーの手が、図２９において、点線で示した手の位置から、実線で示した手の位置に移動した場合には、さらに移動後の手の位置に応じても、水紋を表示させる。この場合の計算は、ユーザーの手などによる指示位置を中心にして、再生対象の映像情報による映像を水面とみなし、当該水面に対して垂直方向の加速度を加算するようにする。

この場合、加算する加速度は、１点だけでなく、広がりを持っていて、その分布はガウス関数をいくつか組み合わせたものである。つまり、図３０（Ａ）に示すように、正方向に変化するガウス関数と、図３０（Ｂ）に示すように、負方向に変化するガウス関数を組み合わせることによって、図３０（Ｃ）に示すように、正方向にも、負方向にも変化する関数を形成する。

そして、下側矢印で示した分布の中心を、センサ部１０からの検出出力により決まる三次元座標のうちの二次元座標（ｘ，ｙ）となり、その形状（大きさ）は、センサパネル１０Ｐに直交する方向（ｚ軸方向）の深度ｚに応じて変化させるようにする。

これにより、図２９に示したように、ユーザーの手などの検出対象物によって指示される三次元座標空間における位置に応じて、物理計算処理部４０８において、映像情報に対して水紋を生じさせるようにする効果を与えることができる。

次に、空間位置検出部４０５と、物理計算処理部４０８とが協働して行う映像表示処理について説明する。図３１は、空間位置検出部４０５と、物理計算処理部４０８とが協働して行う映像表示処理を説明するためのフローチャートである。

上述もしたように、この実施形態の情報処理装置においては、空間位置検出部４０５が、図１８に示したセンサ値検出処理２を例えば一定時間毎に繰り返し実行している。そして、空間位置検出部４０５は、図３１に示す映像表示処理も、例えば一定時間ごとに繰り返し実行するようにしている。

そして、空間位置検出部４０５は、図３１に示す映像出力処理を実行し、まず、図１８に示した処理により検出したピーク値（三次元座標領域における位置（座標）を示す情報）を取得する（ステップＳ６０１）。

そして、空間位置検出部４０５は、取得したピーク値の強度が一定値以上か否かを判断する（ステップＳ６０２）。このステップＳ６０２の処理は、上述した音声出力処理１，２，３の場合と同様に、たまたまユーザーの手が、センサ部１０のセンサパネルの面に近づいてしまったような場合までをも処理の対象としないようにするための処理である。

ステップＳ６０２の判断処理において、取得したピーク値の強度が一定値以上であると判断したときには、空間位置検出部４０５は、物理計算処理部４０８を制御し、予め決められた物理モデルに従って映像情報に対して計算処理を施す（ステップＳ６０３）。

具体的には、上述もしたように、物理モデルとして水紋現象を用いるようにし、図３０を用いて説明したようなガウス関数をいくつか組み合わせた関数を用いて、ユーザーの指示位置に応じて、表示する映像に波紋を生じさせる処理を行う。

この後、物理計算処理部４０８は、物理状態を１ステップ発展させるように、映像情報に対して計算処理を施し（ステップＳ６０４）、この図３１に示す処理を終了させ、次の実行タイミングを待つ。

また、ステップＳ６０２の判断処理において、取得したピーク値の強度が一定値以上ではないと判断したときには、ステップＳ６０４の処理に進む。そして、空間位置検出部４０５が物理計算処理部４０８を制御し、物理計算処理部４０８において、物理状態を１ステップ発展させるように、映像情報に対して計算処理を施す（ステップＳ６０４）。この後、この図３１に示す処理を終了させ、次の実行タイミングを待つ。

このように、この実施形態の情報処理装置は、ユーザーの手などの検出対象物が指示する三次元座標空間における指示位置に応じて、映像情報に対して物理モデルに従った効果を与えることができるようにしている。

なお、ここでは物理モデルとして水紋を用いるようにしたが、これに限るものではない。水紋以外の種々の物理モデルを用いることにより、表示する映像に対して種々の効果（エフェクト）を与えることができる。

なお、上述した説明から明らかなように、この映像出力処理において、画像表示手段はディスプレイ部２０が実現している。また、効果付与手段は主に物理計算処理部４０８が実現している。

［応用例］
この実施形態の情報処理装置は、上述したように音声出力処理や映像出力処理を行う機能を有するものである。以下においては、これらの機能を用いる場合の応用例について説明する。

以下に説明する応用例は、センサ部１０に対して操作が行われていない場合においては、映像情報記憶部４０６に記憶保持されている映像情報に応じた映像が、物理計算処理部４０８、映像処理部４０９を通じて、ディスプレイ部２０の表示画面に表示される。

そして、ランダムなタイミングで、表示されている映像の任意の位置（ランダムな位置）に、水滴を落として水紋（波紋）を広げるように表示する処理を、空間位置検出部４０５とＣＰＵ４０１とが協働して物理計算処理部を制御することにより行う。

同時に、表示するようにされる上述の水滴が水面に落ちるタイミングで、水滴が水面に落ちる音（水滴音）を、波面合成の技術を用い、仮想音源をランダムな位置に設定して、水滴音をスピーカ部３０から放音する処理を行なう。

当該水滴音の放音処理は、空間位置検出部４０５とＣＰＵ４０１とが協働して、音声処理部４１０と音場制御部４１１とを制御することにより行う。これにより、水滴音は、設定された仮想音源から放音されているかのように聴取することができるようにされる。

このように、センサ部１０に対して操作が行われていない場合には、表示画像に対して、ランダムなタイミングで、ランダムな位置に水滴を落として水紋を広げるようにする映像を表示することができる。そして、同時に、表示される水滴が水面に落ちるタイミングで、水滴音を任意の位置から放音されたように聴取できるようにして、スピーカ部３０から放音することができる。

また、センサ部１０に対して操作が行われた場合、すなわち、センサパネル１０Ｐに対してユーザーの手などの検出対象物が近づけるようにされた場合には、当該検出対象物が示す位置に応じて、表示される映像に水紋を発生させるようにする。

この場合には、上述もしたように、主に、空間位置検出部４０５が物理計算処理部４０８を制御して、検出対象物による指示位置に応じた表示画面上の位置から水紋を発生させるようにして表示する。

また、この場合、図２７を用いて説明した第３の例に従った音声出力処理を行う。すなわち、音声情報記憶部４０７には、図２０、図２１を用いて説明した態様で、音声情報が記憶されている。

そこで、空間位置検出部４０６は、検出対象物が指示する位置が属する領域に応じて、当該検出対象物が通過した領域と到達した領域とを判別して、ミックス処理する音声情報を特定する。また、同時に、空間位置検出部４０６は、検出対象物が指示する位置が属する領域に応じて、音声を放音するスピーカを特定する。

この特定結果に基づいて、空間位置検出部４０６が、音声処理部４１０を制御し、音声処理部４１０のミックスボリュームとスイッチ回路とを調整して、ユーザーの指示に応じた音声情報をミックス処理して、ユーザーの指示に応じたスピーカから放音する。

このように、この実施形態の情報処理装置は、センサ部１０に対してユーザーが指示していない場合と、指示している場合とで、音声出力処理や映像出力処理を異ならせることができる。

次に、この応用例における映像出力処理と音声出力処理について、図３２、図３３のフローチャートを参照しながら説明する。

図３２は、この実施形態の情報処理装置において、空間位置検出部４０５と、物理計算処理部４０８とが協働して行う、この応用例における映像出力処理を説明するためのフローチャートである。

上述もしたように、この実施形態の情報処理装置においては、空間位置検出部４０５が、図１８に示したセンサ値検出処理２を例えば一定時間毎に繰り返し実行している。そして、空間位置検出部４０５は、図３２に示す映像表示処理も、例えば一定時間ごとに繰り返し実行するようにしている。

そして、空間位置検出部４０５は、図３２に示す映像出力処理を実行し、まず、図１８に示した処理により検出したピーク値（三次元座標領域における位置（座標）を示す情報）を取得する（ステップＳ７０１）。

そして、空間位置検出部４０５は、取得したピーク値の強度が一定値以上か否かを判断する（ステップＳ７０２）。このステップＳ７０２の処理は、上述した音声出力処理１，２，３の場合と同様に、たまたまユーザーの手が、センサ部１０のセンサパネルの面に近づいてしまったような場合までをも処理の対象としないようにするための処理である。

ステップＳ７０２の判断処理において、取得したピーク値の強度が一定値以上であると判断したときには、空間位置検出部４０５は、物理計算処理部４０８を制御し、水紋を発生させて表示するようにする処理を行う（ステップＳ７０３）。

具体的に、上述もしたように、物理モデルとして水紋現象を用いるようにし、図３０を用いて説明したようなガウス関数をいくつか組み合わせた関数を用いて、映像情報に対して計算処理を施し、ユーザーの指示位置に応じて、表示映像に波紋を生じさせる。

この後、物理計算処理部４０８は、物理状態を１ステップ発展させるように、映像情報に対して計算処理を施し（ステップＳ７０４）、この図３２に示す処理を終了させ、次の実行タイミングを待つ。

また、ステップＳ７０２の判断処理において、取得したピーク値の強度が一定値以上ではないと判断したときには、空間位置検出部４０５は、物理計算処理部４０８を制御し、水滴を発生させて落とすように表示する処理を行う（ステップＳ７０６）。

この場合、水滴を落とす位置はランダムに決められる。また、水滴を落とした位置から水紋が広がるように、物理計算処理部４０８においての計算処理も合わせて行うようにされる。

この後、物理計算処理部４０８は、物理状態を１ステップ発展させるように、映像情報に対して計算処理を施し（ステップＳ７０４）、この図３２に示す処理を終了させ、次の実行タイミングを待つ。

このようにして、ユーザーからの指示がない場合には、ランダムに水滴を発生させて水面に落とし、その落下位置から水紋が広がるように、表示映像に対して効果（エフェクト）を与えるようにすることができる。

そして、ユーザーからの指示がある場合には、指示位置に応じたディスプレイ２０の表示画面上の位置から水紋が広がるように、表示映像に対して効果（エフェクト）を与えるようにすることができる。

図３３は、この実施形態の情報処理装置において、空間位置検出部４０５と、音声処理部４１０と、音場制御部４１１とが協働して行う、この応用例における音声出力処理を説明するためのフローチャートである。

この図３３に示す処理は、図３２に示した映像表示処理に連動して実行される処理であり、ＣＰＵ４０１と、座標位置検出部４０５と、音声処理部４１０と、音場制御部４１１とが協働して実行する処理である。

図３３に示す映像出力処理が実行されると、ＣＰＵ４０１は、物理計算処理部（物理エンジン）４０８において、水滴を形成して表示するようにする処理が行われたか否かを判断するステップＳ８０１）。

ステップＳ８０１の判断処理において、水滴が生成されたと判断したときには、ＣＰＵ４０１が、音声処理部４１０、空間位置検出部４０５を制御し、新たな水滴音を再生するようにすると共に、仮想音源を移動させるようにする処理を行う（ステップＳ８０２）。

そして、空間位置検出部４０５が、音場制御部４１１を制御し、ステップＳ８０２において移動させるようにした仮想音源から水滴音が放音されているかのように聴取できるようにするために、音声処理部４１０のデジタルフィルタを制御する（ステップＳ８０３）。

つまり、ステップＳ８０３の処理は、波面合成の技術を用いて、音声処理部４１０のデジタルフィルタの係数等を制御することにより、仮想音源を設定し、その仮想音源から音声が放音されているように音声信号のデジタルフィルタ処理を行うものである。

この後、ＣＰＵ４０１は、空間位置検出部４０５等を制御し、図２７のフローチャートを用いて説明した音声出力処理３を実行する（ステップＳ８０４）。そして、この図３２の処理を終了し、次の実行タイミングを待つことになる。

このように、この応用例の場合には、センサ部１０に対してユーザーが操作を行っていない場合であっても、表示映像に対して水滴を落として水紋を発生させるようにすると言う効果を与えることができる。同時に、波面合成の技術を用い、水滴音を仮想音源を移動させながら、再生して放音させるようにすることができる。

そして、センサ部１０に対してユーザーが操作を行った場合には、ユーザーの指示位置に応じて、表示映像に対して水紋を発生させるようにすると言う効果を与えることができる。同時に、ユーザーの手などの検出対象物が通過した領域と到達した領域とに応じて合成するべき音声情報を特定し、これらをミックス処理して、ユーザーの指示位置に応じたスピーカから当該ミックス処理した音声情報に応じた音声を放音することができる。

［この発明の方法、プログラム］
なお、上述した実施形態から明らかなように、この発明の方法、プログラムは、図９及び図１０、図１８及び図１９、図２７、図２８のフローチャートを用いて説明した方法、プログラムとして実現可能である。

すなわち、図９及び図１０、図１８及び図１９、図１８及び、図２７又は図２８のフローチャートを用いて説明した方法は、この発明の方法である。

そして、図９及び図１０、図１８及び図１９、図１８及び、図２７又は図２８のフローチャートに応じて形成可能なプログラムは、この発明のプログラムである。

［実施形態の効果］
ユーザーの手などの検出対象物が近づけられることにより、センサ部１０のセンサパネル１０Ｐにおける静電容量が変化するようにされる。そして、このセンサ部１０を通じて検出可能な静電容量の測定値の変化に基づき、オーディオ出力を制御することにより、人の手によるジェスチャーフィードバックに応じて、再生対象の音声の放音制御を行うことができる。

すなわち、当該人の手の位置（センサパネル１０Ｐに対する左右、奥行き）に応じて、再生対象の音声を再生して放音できるようにする。この場合、音声が放音される位置、仮想音源の位置、音声のミックス処理等を人の手によるジェスチャーに応じて変化させることができる。

また、指数関数を用いてオーディオ出力を制御することにより、遷移量にかかわらずほぼ同一の時間でオーディオ出力を遷移させることができる。

さらに、静電容量の測定値の変化に基づき、画面エフェクトをも制御できる。

これらにより、ユーザーの手によるジェスチャーに応じて、音声出力を制御し、また、表示映像（表示画像）に所定の効果（エフェクト）を与えることができる。これにより、従来にない、新たな情報処理装置（情報提供装置）を実現することができる。

そして、上述した実施形態の情報処理装置は、例えば、デパートや種々のショールーム等で用いることが可能な、従来にないタッチパネルディスプレイを実現することができる。

例えば、商品等の映像と、音声（音楽や説明音声）とを、ユーザーのセンサパネル１０Ｐに対して行うようにするジェスチャー（手などの検出対象物の動き）に応じて変化させるようにすることができる。

また、上述した実施形態の情報処理装置は、例えば、遊園地などのアミューズメントパークなどにおける新規のアトラクションや、あるいは、案内表示などに適用可能である。

［その他］
なお、再生可能な音声情報は、上述した実施の形態のように、種々の楽曲などの音楽情報や水滴なの種々の効果音の他、アナウンスなどの人の声や、これらの種々の音声情報を合成した音などを用いることができる。すなわち、再生可能な種々の音声情報を用いることが可能である。

また、再生可能な映像情報（画像情報）は、種々の静止画像や動画像を用いることが可能である。静止画像の場合には、いわゆるスライドショーのように、複数の静止画像を順次に再生することも可能である。

また、静止画像と動画像とを交互に再生するようにしたり、また、アニメーション画像や種々のコンピュータグラフィックス画像などを再生するようにしたりすることももちろん可能である。

１０…センサ部、１０Ｐ…センサパネル、１２…Ｘ−Ｚセンサパネル、１３…Ｙ−Ｚセンサパネル、１０１Ｈ…発振器、１０２Ｈ１〜１０２Ｈｍ…横電極容量検出回路、１０１Ｖ…発振器、１０２Ｖ１〜１０２Ｖｍ…縦電極容量検出回路、１０３…アナログスイッチ回路、１０４…周波数カウンタ、２０…ディスプレイ部、２０Ｇ…表示画面、３０…スピーカ部、ＳＰ１〜ＳＰ１６…スピーカ、４０…処理装置部、４００…システムバス、４０１…ＣＰＵ、４０２…ＲＯＭ、４０３…ＲＡＭ、４０４…Ｉ／Ｏポート、４０５…空間位置検出部、４０６…映像情報記憶部、４０７…音声情報記憶部、４０８…物理計算処理部、４０９…映像処理部、４１０…音声処理部、４１１…音場制御部、４１２…アンプ部、４１３…キーボードＩ／Ｆ

Claims (10)

1. 空間的に離間する検出対象物により指定される三次元座標を検出するセンサ手段と、
   上記センサ手段が検出した上記三次元座標が含まれる予め指定された領域を判断する判断手段と、
   上記判断手段の判断結果に基づいて、上記三次元座標のうち少なくとも二次元座標に対応する位置から音声情報に応じた音声を出力する出力手段と、
   を備える情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   上記出力手段は、上記判断手段の判断結果に基づいて、上記三次元座標に対応する位置から音声情報に応じた音声を出力するようにすることが可能な情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   上記センサ手段は、検出対象物であるユーザーの手により指定される上記三次元座標を検出することができるものであり、
   上記センサ手段により検出される上記三次元座標に基づいて、上記ユーザーの位置を推定する推定手段を備え、
   上記出力手段は、上記推定手段により推定された上記ユーザーの位置に応じた位置から上記音声情報に応じた音声を出力する情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   上記センサ手段のセンサ面からの距離に応じて設定される複数のレイヤ毎に、音声情報を記憶保持する記憶手段を備え、
   上記出力手段は、上記判断手段の判断結果に基づいて、上記センサ手段が検出した上記三次元座標が属するレイヤを判別し、上記記憶手段に記憶されている上記レイヤに応じた上記音声情報を出力する情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   上記出力手段は、上記判断手段の判断結果に基づいて、上記検出対象物が通過したレイヤと到達したレイヤとを特定し、上記記憶手段に記憶されている上記音声情報であって、上記検出対象物が通過したレイヤに対応する音声情報と上記検出対象物が到達したレイヤに対応する音声情報とを混合して出力する情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   上記記憶手段は、上記複数のレイヤ毎であって、各レイヤ内に設定される領域毎に、音声情報を記憶保持しており、
   上記出力手段は、上記判断手段の判断結果に基づいて、上記検出対象物が通過したレイヤの領域と到達したレイヤの領域とを特定し、上記記憶手段に記憶されている上記音声情報であって、上記検出対象物が通過した上記レイヤの領域に対応する音声情報と上記検出対象物が到達した上記レイヤの領域に対応する音声情報とを、混合して出力する情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   上記センサ手段からの今回の検出出力と前回の検出出力とを用い、所定の関数に応じて、検出出力である上記三次元座標を所定の時間範囲において変化させるように調整する座標調整手段と、
   を備え、
   上記出力手段は、上記座標調整手段からの調整された上記三次元座標に基づいて、用いる音声情報を変えるようにする情報処理装置。
8. 請求項２に記載の情報処理装置であって、
   画像表示手段と、
   上記判断手段の判断結果が、上記三次元座標が予め指定された領域に含まれていることを示している場合に、上記三次元座標を用い、所定の物理モデルにしたがって、上記画像表示手段に供給する映像信号に対して所定の効果を与える効果付与手段と、
   を備える情報処理装置。
9. センサ手段を通じて、空間的に離間する検出対象物により指定される三次元座標を検出する検出工程と、
   判断手段が、上記検出工程において検出した上記三次元座標が含まれる予め指定された領域を判断する判断工程と、
   出力手段が、上記判断工程においての判断結果に基づいて、上記三次元座標のうち少なくとも二次元座標に対応する位置から音声情報に応じた音声を出力する出力工程と、
   を有する情報処理方法。
10. センサ手段を通じて、空間的に離間する検出対象物により指定される三次元座標を検出する検出ステップと、
    判断手段を通じて、上記検出ステップにおいて検出した上記三次元座標が含まれる予め指定された領域を判断する判断ステップと、
    出力手段が、上記判断ステップにおいての判断結果に基づいて、上記三次元座標のうち少なくとも二次元座標に対応する位置から音声情報に応じた音声を出力する出力ステップと、
    を情報処理装置に搭載されたコンピュータが実行する情報処理プログラム。

Images