JP6651231B2 - 携帯情報端末、情報処理装置、及びプログラム - Google Patents

携帯情報端末、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP6651231B2
JP6651231B2 JP2015229972A JP2015229972A JP6651231B2 JP 6651231 B2 JP6651231 B2 JP 6651231B2 JP 2015229972 A JP2015229972 A JP 2015229972A JP 2015229972 A JP2015229972 A JP 2015229972A JP 6651231 B2 JP6651231 B2 JP 6651231B2
Authority
JP
Japan
Prior art keywords
sound source
terminal
portable information
angle change
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015229972A
Other languages
English (en)
Other versions
JP2017079457A (ja
Inventor
このみ 一色
このみ 一色
Original Assignee
このみ 一色
このみ 一色
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by このみ 一色, このみ 一色 filed Critical このみ 一色
Publication of JP2017079457A publication Critical patent/JP2017079457A/ja
Application granted granted Critical
Publication of JP6651231B2 publication Critical patent/JP6651231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stereophonic System (AREA)
  • Telephone Function (AREA)

Description

本発明は、携帯情報端末、情報処理装置、及びプログラムに係り、特に、音源を再生する携帯情報端末、情報処理装置、及びプログラムに関する。
従来より、立体音響技術は、あくまでも頭部を固定した状態での聴取を前提としている。
様々な種類の立体音響技術があるが、ほぼ全てが聴取者の頭部回転に対応する事なく、聴取者の固定された頭部の周囲に音源を定位させる方式である（例えば、特許文献１）。
特開２０１３−２１１７１２号公報
上述した従来の方式では、例えば聴取者が後ろを向くといった動作には対応出来ず、想定した効果を得る事は難しい。
本発明は、上記の事情を鑑みてなされたもので、聴取者の向きに応じた音源を再生することができる携帯情報端末、情報処理装置、及びプログラムを提供することを目的とする。
上記の目的を達成するために第１の発明に係る携帯情報端末は、自端末の方向情報を検出するセンサと、聴取者が自端末を携帯しているときに、複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。
第２の発明に係る情報処理装置は、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、前記携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。
第３の発明に係るプログラムは、コンピュータを、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。
第４の発明に係る情報処理装置は、聴取者が向いている方向情報の入力を受け付ける入力部と、複数の方向に対応して用意された複数の音源情報のうち、前記入力部によって受け付けた方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。
第５の発明に係る情報処理装置は、聴取者が向いている方向情報が入力されたときに、複数の方向に対する複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の前記聴取者の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。
第６の発明に係るプログラムは、コンピュータを、聴取者が向いている方向情報が入力されたときに、複数の方向に対応して用意された複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。
上記のプログラムは、記憶媒体に格納して提供することができる。
以上説明したように、本発明の携帯情報端末、情報処理装置、及びプログラムによれば、聴取者が携帯情報端末を携帯しているときに、センサによって検出された自端末の方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御することにより、携帯情報端末を持つ聴取者の向きに応じた音源を再生することができる、という効果が得られる。またパノラマ映像等の再生に於いても、携帯情報端末に表示される視覚情報と同期した音が得られる為、仮想現実の効果を最大限に発揮する事が可能となる。
また、本発明の情報処理装置及びプログラムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御することにより、聴取者の向きに応じた音源を再生することができる、という効果が得られる。
本発明の第１の実施の形態に係る携帯情報端末の構成を示す概略図である。 複数の発音源の配置と仮想聴取点の軌道の一例を示す図である。 音源の最大距離の設定の一例を示す図である。 仮想聴取点の軌道の一例を示す図である。 ロールオフ係数の一例を示す図である。 本発明の第１の実施の形態に係る携帯情報端末の再生制御処理ルーチンの内容を示すフローチャートである。 複数の方向の音源情報に対応した複数の発音源の配置の一例を示す図である。 音源の最大距離の設定の一例を示す図である。 複数の発音源の一例を示す図である。 本発明の第３の実施の形態に係る再生システムの構成を示す概略図である。 本発明の第４の実施の形態に係る再生システムの構成を示す概略図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態の概要＞
全方位音源、若しくは多方向音源を収録し、任意の聴取角に対応する音源を選択して聴取する方法について説明する。
聴取したい全ての方向の音源を予め収録、若しくはリアルタイム収録し、聴取者が携帯情報端末を携帯しているときに、携帯情報端末の向きを、聴取者の身体の向きや頭部方向等として、ジャイロセンサ等で検知する事により、その方向の音源及び音場を選択的に聴取可能とする。
これにより、選択した聴取角に指向性マイクを向けているかの様な聴取体験が可能となる。
＜第１の実施の形態＞
＜システム構成＞
図１に示すように、本発明の実施の形態に係る携帯情報端末１０は、携帯情報端末１０の角速度を検出するジャイロセンサ１２と、制御部１４と、スピーカ又はヘッドホンである音源出力部１６とを備えている。
携帯情報端末１０は、携帯電話、スマートフォン、頭部装着ディスプレイ、ウェアラブル端末、メガネ型端末、時計型端末、あるいはノート型・ブック型コンピュータ端末等からなる。なお、携帯情報端末１０を、スマートフォンを一例として以下、説明する。携帯情報端末１０は、インターネットなどのネットワークに接続されている。
制御部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されており、ＨＤＤやフラッシュメモリ等には、Ｗｅｂサーバ（図示省略）が提供するサイトからダウンロードし、かつ、インストールした、後述する各種処理ルーチンを含む音源再生アプリケーションソフトが記憶されている。制御部１４は、機能的には次に示すように構成されている。制御部１４は、方向算出部２０、音源記憶部２４、及び再生制御部２６を備えている。
方向算出部２０は、ジャイロセンサ１２によって検出された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。例えば、音源再生アプリケーションソフトが起動されたときを基準方向として、音源再生アプリケーションソフトが起動されたときから現時点までに検出された水平面の回転角速度を積算することにより、当該基準方向からの自端末の角度変化を算出する。
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。例えば、mp4、mov等の動画や、aac、aif、wav等の音データとして記憶されている。
図２に示すように、複数の発音源は、２次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした円周（図２の聴取軌道を参照）上に配置され、複数の方向に対応している。
また、後述するように、仮想聴取点と、発音源の配置位置との距離と定位に応じた音量と音場で、再生するように制御する。例えば、仮想聴取点が、発音源の配置位置から離れる程、音は聴こえなくなる。
この場合の、音量が最小になる地点から発音源までの距離を音源の最大距離とする。音源の最大距離の設定により、聴取範囲の制御が可能となり、目的に応じた立体感を得る事が出来る。図３（Ａ）、（Ｂ）、（Ｃ）にその例を示す。
図３（Ａ）では、音源の最大距離と、聴取者の仮想位置と発音源の距離が一致するように、音源の最大距離が設定されている例を示している。
図３（Ｂ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より短くなるように、音源の最大距離が設定されている例を示している。この例では、別の方向の発音源との重なりを防ぐことができる。
図３（Ｃ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より長くなるように、音源の最大距離が設定されている例を示す。この例では、方向間の自然な表現と立体感が得られる。
また、仮想現実空間をよりリアルに構築する為には、どの方向を向いても明確な音源の定位が得られるよう予め全ての方向に対して頭部伝達関数(Head-Related Transfer Function, HRTF)を畳み込んだ発音源を用意しておく。線形時不変システムでは伝達関数Ｈ（ｆ）は以下の式で表される。
また、以下の式に示すように、周波数領域に於いて発音源Ｓ（ω）に頭部伝達関数HRTFL(d,e,a,ω)とHRTFR(d,e,a,ω)を掛ける事により、左耳用の信号ＸL(ω)と右耳用の信号ＸR(ω)が得られる。
ただし、ωは角周波数を表し、d、e、aは発音源の位置（距離、仰角、水平角）を表す。同様に、時間領域に於いてはベクトルＳ（ｔ）と頭部インパルス応答を畳み込む事により左耳用の信号ＸL(ｔ)と右耳用の信号XR(ｔ)が得られる。
上記のようにして得られた全方位音源を、全方向に対して収録しておく事で、より自然で臨場感のある仮想現実音空間を構築する事が出来、頭部回転などにより携帯情報端末１０がどの方向を向いても、明瞭な音像定位を実現する事が可能となる。
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。
なお、図４（Ａ）に示すように、ステレオ音源等、２つの発音源間での聴取がメインの場合には、聴取点から両発音源までの距離が短い程クリアに聴こえるので、両発音源を結んだ線上に仮想聴取点を決定するのが望ましい。この場合には、仮想聴取点の軌道となる円周の半径と、聴取者の仮想位置と発音源の距離の比は、１対√２になる。また、仮想空間における発音源の配位位置は円周上ではない位置となる。または、図４（Ｂ）に示すように、発音源間を結んだ線を聴取軌道として設定する事も効果的である。
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。
ここで、発音源から音源の最大距離に至るまでの間で音量を減衰させる際に、ロールオフ係数を設定する事により、目的に応じた音量減衰を得る事が出来る。図５にその例を示す。
例えば、発音源から離れるほど聴こえなくなるように音量を減衰させるロールオフ係数（図５の直線Ａを参照）、発音源から少し離れると急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｂを参照）、発音源から離れていくと自然に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｃを参照）、及び発音源から離れていくと急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｄを参照）等を設定することができる。これにより、特にパノラマ映像等の視覚情報との整合が図れる。
＜携帯情報端末の作用＞
次に、本発明の第１の実施の形態に係る携帯情報端末１０の作用について説明する。
まず、聴取者が、携帯情報端末１０を手に携帯し、携帯情報端末１０を操作して、音源再生アプリケーションを起動すると、携帯情報端末１０は、図６に示す再生制御処理ルーチンを実行する。
まず、ステップＳ１００において、ジャイロセンサ１２によって検出された水平面の回転角速度を取得する。聴取者が携帯情報端末１０を手に携帯したまま、向きを変えると、それに応じた水平面の回転角速度がジャイロセンサ１２によって検出される。そして、ステップＳ１０２において、上記ステップＳ１００で現時点までに取得された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。
そして、ステップＳ１０４において、上記ステップＳ１０２で算出された自端末の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離と定位を算出し、聴取角内の音のみが聴こえるよう、各発音源の音量と音場を制御する。
ステップＳ１０６では、上記ステップＳ１０４で算出された、各発音源の仮想聴取点からの距離と定位に応じた音量と音場で、音源を再生するように、音源出力部１６に受け渡し、ステップＳ１０８において、終了指示があったか否かを判定し、終了指示がない場合には、上記ステップＳ１００へ戻り、一方、終了指示があった場合には、再生制御処理ルーチンを終了する。
以上説明したように、本発明の第１の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。
また、任意の自端末方向の先にある発音源を選択して聴取可能にする為には、仮想聴取点を選択音源に近づける必要がある。ジャイロセンサの検出によって得られた回転角速度に対して、発音源の近くを通る聴取軌道を設定する事により、仮想聴取点と各発音源との距離に差が生まれる為、仮想聴取点から近い距離の音源のみを選択聴取する事が可能となる。
また、各発音源上を結ぶ聴取軌道を設定する事により、選択発音源と同じ位置にある仮想聴取点では、距離による遅延が無くなり、音源をよりクリアに聴取する事が可能となる。これにより、あたかも自端末方向の先にある発音場所で聴取しているような効果を得る事が出来る。
また、ジャイロセンサの検出によって得られた回転角速度に対して、発音源近くを通る聴取軌道上を、仮想聴取点が移動する事により、シームレスな音像定位が可能となる。これにより、全方位の中心に聴取者の仮想位置があるのに対し、仮想聴取点が、自端末方向の発音源に近くなり、その他の発音源との距離が、その発音源の最大距離を超える為、自端末方向の発音源のみを選択聴取する事が可能となる。
＜第２の実施の形態＞
次に、第２の実施の形態に係る携帯情報端末について説明する。なお、第２の実施の形態に係る携帯情報端末の構成は、第１の実施の形態と同様であるため、説明を省略する。
第２の実施の形態では、３次元の仮想空間に、複数の発音源が配置されている点が、第１の実施の形態と異なっている。
第２の実施の形態に係る携帯情報端末の方向算出部２０は、ジャイロセンサ１２によって検出された３軸の回転角速度を積算することにより、３次元における自端末の基準方向からの角度変化を、自端末の方向として算出する。
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。図７に示すように、例えば、複数の発音源は、３次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした球面上に配置され、複数の方向に対応している。
また、上記の第１の実施の形態と同様に、図８に示すように、複数の発音源の各々では、音源の最大距離が設定されている。
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。
なお、第２の実施の形態に係る携帯情報端末の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
以上説明したように、本発明の第２の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、３次元における現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。
また、全方位に対応する事が可能な為、例えば３６０度パノラマ映像等に取り入れる事で、視聴者の視覚と聴覚を融合する事が可能である。この場合には、携帯情報端末の表示画面に相当する、見える窓内の発音源を選択して聴取することが可能となる（図９（Ｂ）参照）。また、視覚の中心にある発音源をクローズアップして聴くという、新しい聴取体験を可能とする。
また、頭部回転や携帯情報端末の回転によって聴きたい発音源をアクティブ聴取出来る為、予め多言語を収録し、頭部回転や携帯情報端末の回転により言語を選択するといった使い方も可能である（図９（Ａ）参照）。また、前を向いた時と後ろを向いた時で、別のアーティストの演奏をクローズアップ聴取したり、様々な新しい聴取形態が可能となる。
＜第３の実施の形態＞
次に、第３の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
第３の実施の形態では、再生制御をサーバ側で行っている点が、第１の実施の形態と異なっている。
図１０に示すように、第３の実施の形態に係る再生システム３００は、携帯情報端末２１０と、サーバ２２０とを備えている。携帯情報端末２１０とサーバ２２０とはネットワーク２３０を介して接続されている。
携帯情報端末２１０は、ジャイロセンサ１２と、通信部２１４と、音源出力部１６とを備えている。
通信部２１４は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信すると共に、サーバ２２０から受信した再生データを、音源出力部１６により出力する。
サーバ２２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ２２０は、機能的には次に示すように構成されている。サーバ２２０は、通信部２２２、方向算出部２２４、音源記憶部２４、及び再生制御部２２６を備えている。
通信部２２２は、携帯情報端末２１０から送信された回転角速度を受信し、方向算出部２２４へ受け渡す。また、通信部２２２は、再生制御部２２６から出力された再生データを、携帯情報端末２１０へ送信する。
方向算出部２２４は、通信部２２２によって受信した回転角速度を積算することにより、自端末の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。
再生制御部２２６は、方向算出部２２４によって算出された現在の携帯情報端末２１０の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部２２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。
＜再生システムの作用＞
次に、本発明の第３の実施の形態に係る再生システム３００の作用について説明する。
まず、聴取者が、携帯情報端末２１０を手に携帯し、音源再生アプリケーションを起動すると、携帯情報端末２１０は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信する。
サーバ２２０は、携帯情報端末２１０から受信した回転角速度を取得すると、現時点までに取得された回転角速度を積算することにより、携帯情報端末２１０の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。
そして、サーバ２２０は、算出された携帯情報端末２１０の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、携帯情報端末２１０へ送信する。
そして、携帯情報端末２１０は、サーバ２２０から受信した再生データを、音源出力部１６により出力する。
以上説明したように、本発明の第３の実施の形態に係る再生システムによれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから携帯情報端末へ送信することにより、聴取者は、携帯情報端末の向きに応じた音源を選択聴取することができる。
なお、上記の第１の実施の形態と第２の実施の形態では、発音源が聴取者の仮想位置を中心とした円周上や球面上に配置されている場合を例に説明したが、これに限定されるものではなく、円周上や球面上ではない位置に発音源が配置されていてもよい。
また、上記の第１の実施の形態〜第３の実施の形態では、聴取者が携帯情報端末を手に携帯している場合を例に説明したがこれに限定されるものではなく、携帯情報端末がメガネ型端末や時計型端末のように聴取者に取り付けられることにより携帯している場合であってもよい。
また、ジャイロセンサを用いる場合を例に説明したが、これに限定されるものではなく、携帯情報端末の方向情報が得られれば、他のセンサを用いてもよい。例えば、方位センサを用いて、携帯情報端末の方向情報として方角を検出してもよい。この場合には、各方角に対応して発音源を用意すればよい。
＜第４の実施の形態＞
次に、第４の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態〜第３の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
第４の実施の形態では、聴取者が仮想的に向いている方向を入力操作で受け付けている点が、第３の実施の形態と異なっている。
図１１に示すように、第４の実施の形態に係る再生システム４００は、情報処理装置４１０と、サーバ４２０とを備えている。情報処理装置４１０とサーバ４２０とはネットワーク２３０を介して接続されている。
情報処理装置４１０は、入力部４１２と、通信部４１４と、音源出力部１６とを備えている。
入力部４１２は、ユーザのマウス操作、キーボード操作、又はジョイスティック操作などにより聴取者が仮想的に向いている方向情報を受け付ける。
通信部４１４は、入力部４１２により受け付けた方向情報をサーバ４２０へ送信すると共に、サーバ４２０から受信した再生データを、音源出力部１６により出力する。
サーバ４２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ４２０は、機能的には次に示すように構成されている。サーバ４２０は、通信部４２２、方向算出部４２４、音源記憶部２４、及び再生制御部２２６を備えている。
通信部４２２は、情報処理装置４１０から送信された方向情報を受信し、方向算出部４２４へ受け渡す。また、通信部４２２は、再生制御部２２６から出力された再生データを、情報処理装置４１０へ送信する。
方向算出部４２４は、通信部４２２によって受信した方向情報に基づいて、聴取者の仮想的な方向を算出する。
再生制御部２２６は、方向算出部４２４によって算出された現在の聴取者の仮想的な方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部４２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。
＜再生システムの作用＞
次に、本発明の第４の実施の形態に係る再生システム４００の作用について説明する。
まず、聴取者が、マウス操作、キーボード操作、又はジョイスティック操作などにより、情報処理装置４１０に、聴取者の仮想的な向きを示す方向情報を入力すると、情報処理装置４１０は、受け付けた方向情報をサーバ４２０へ送信する。
サーバ４２０は、情報処理装置４１０から受信した方向情報を取得すると、聴取者の仮想的な方向を算出する。
そして、サーバ４２０は、算出された聴取者の仮想的な方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、情報処理装置４１０へ送信する。
そして、情報処理装置４１０は、サーバ４２０から受信した再生データを、音源出力部１６により出力する。
以上説明したように、本発明の第４の実施の形態に係る再生システムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから情報処理装置へ送信することにより、聴取者は、入力した向きに応じた音源を選択聴取することができる。
なお、上記第４の実施の形態において、サーバ４２０を用いずに、情報処理装置４１０が、方向算出部４２４、再生制御部２２６、及び音源記憶部２４を備えているように構成してもよい。
１０ 携帯情報端末
１２ ジャイロセンサ
１４ 制御部
１６ 音源出力部
２０ 方向算出部
２４ 音源記憶部
２６ 再生制御部
２１０ 携帯情報端末
２１４、４１４ 通信部
２２０、４２０ サーバ
２２２、４２２ 通信部
２２４、４２４ 方向算出部
２２６ 再生制御部
２３０ ネットワーク
３００、４００ 再生システム
４１０ 情報処理装置
４１２ 入力部

Claims (6)

  1. 特定のタイミングにおける自端末の基準方向からの自端末の角度変化を表す方向情報を検出するセンサと、
    聴取者が自端末を携帯しているときに、前記基準方向からの自端末の角度変化を表す複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部と、
    を含み、
    ２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    携帯情報端末。
  2. 特定のタイミングにおける自端末の基準方向からの自端末の角度変化を表す方向情報を検出するセンサと、
    聴取者が自端末を携帯しているときに、前記基準方向からの自端末の角度変化を表す複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部と、
    を含み、
    ３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    携帯情報端末。
  3. 聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
    を含み、
    ２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    情報処理装置。
  4. 聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
    を含み、
    ３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    情報処理装置。
  5. コンピュータを、
    聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
    として機能させるためのプログラムであって、
    ２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    プログラム。
  6. コンピュータを、
    聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
    として機能させるためのプログラムであって、
    ３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
    前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
    プログラム。
JP2015229972A 2015-10-19 2015-11-25 携帯情報端末、情報処理装置、及びプログラム Active JP6651231B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015205889 2015-10-19
JP2015205889 2015-10-19

Publications (2)

Publication Number Publication Date
JP2017079457A JP2017079457A (ja) 2017-04-27
JP6651231B2 true JP6651231B2 (ja) 2020-02-19

Family

ID=58666266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015229972A Active JP6651231B2 (ja) 2015-10-19 2015-11-25 携帯情報端末、情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP6651231B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071539B (zh) * 2017-05-08 2020-04-17 深圳小辣椒科技有限责任公司 基于vr设备的终端上信息资源同步显示方法及***
CN108777743B (zh) * 2018-05-24 2020-07-31 柳州智视科技有限公司 一种基于陀螺仪的实时改变视频颜色的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
JP2013101248A (ja) * 2011-11-09 2013-05-23 Sony Corp 音声制御装置、音声制御方法、およびプログラム
JP5825176B2 (ja) * 2012-03-29 2015-12-02 富士通株式会社 携帯端末、音源位置制御方法および音源位置制御プログラム

Also Published As

Publication number Publication date
JP2017079457A (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6610258B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2020509492A (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US20210112366A1 (en) Display A Graphical Representation to Indicate Sound Will Externally Localize as Binaural Sound
EP2942980A1 (en) Real-time control of an acoustic environment
US20140328505A1 (en) Sound field adaptation based upon user tracking
US10754608B2 (en) Augmented reality mixing for distributed audio capture
US10798518B2 (en) Apparatus and associated methods
GB2542609A (en) Differential headtracking apparatus
US10496360B2 (en) Emoji to select how or where sound will localize to a listener
EP3399398B1 (en) An apparatus and associated methods for presentation of spatial audio
JP5971316B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US11356795B2 (en) Spatialized audio relative to a peripheral device
JP2021535632A (ja) オーディオ信号の処理用の方法及び装置
JP2020520576A5 (ja)
CN111492342B (zh) 音频场景处理
Sodnik et al. Spatial auditory human-computer interfaces
US20200084561A1 (en) Moving an Emoji to Move a Location of Binaural Sound
KR102656969B1 (ko) 불일치 오디오 비주얼 캡쳐 시스템
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
US20190075417A1 (en) Spatially representing graphical interface elements as binaural audio content
US11696085B2 (en) Apparatus, method and computer program for providing notifications
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
JP2019153943A (ja) 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム
WO2022070337A1 (ja) 情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システム
KR20160073879A (ko) 3차원 오디오 효과를 이용한 실시간 내비게이션 시스템

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20160112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

R150 Certificate of patent or registration of utility model

Ref document number: 6651231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250