JP2020198545A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020198545A JP2020198545A JP2019103734A JP2019103734A JP2020198545A JP 2020198545 A JP2020198545 A JP 2020198545A JP 2019103734 A JP2019103734 A JP 2019103734A JP 2019103734 A JP2019103734 A JP 2019103734A JP 2020198545 A JP2020198545 A JP 2020198545A
- Authority
- JP
- Japan
- Prior art keywords
- listening point
- information
- sound
- sound collecting
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】設定された聴取点に対応する音響信号における音の偏りを抑制することを目的とする。【解決手段】複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得し、複数の収音部それぞれの収音信号から取得された音響信号に基づいて、聴取点に対応する音響信号を生成する。【選択図】図5
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
近年、多数のカメラ映像を合成、処理することにより、撮影エリア内の任意位置に視点を設定し、その視点から見た場合の映像を生成する自由視点映像生成技術がある。このような状況において、設定された視点等の指定された地点における音場を再現する音響信号を生成する技術が求められている。
空間上のある位置における音場を再現する従来技術として、アンビソニック技術がある。アンビソニック技術では、専用のマイクロホンアレイを設置した位置における全方向からの音を再現することでその地点の音場を再現することができる、また、その位置における任意方向の指向性を持つ信号を、収音後の処理によって生成することが可能である。アンビソニック技術では、マイクロホンアレイが設置された地点における音場の再現が可能であるが、それ以外の地点における音場の再現も考えられている。
マイクロホンアレイが設置された地点以外の地点における音場再現方法として、特許文献1に記載の技術がある。特許文献1には、二つ以上のアンビソニック収音シーンを、ターゲット位置を中心とする円形状または球形状に等方に投影した仮想ラウドスピーカー位置に位置付けて、ターゲット位置のアンビソニック音場を生成する技術が開示されている。
空間上のある位置における音場を再現する従来技術として、アンビソニック技術がある。アンビソニック技術では、専用のマイクロホンアレイを設置した位置における全方向からの音を再現することでその地点の音場を再現することができる、また、その位置における任意方向の指向性を持つ信号を、収音後の処理によって生成することが可能である。アンビソニック技術では、マイクロホンアレイが設置された地点における音場の再現が可能であるが、それ以外の地点における音場の再現も考えられている。
マイクロホンアレイが設置された地点以外の地点における音場再現方法として、特許文献1に記載の技術がある。特許文献1には、二つ以上のアンビソニック収音シーンを、ターゲット位置を中心とする円形状または球形状に等方に投影した仮想ラウドスピーカー位置に位置付けて、ターゲット位置のアンビソニック音場を生成する技術が開示されている。
複数の位置に設置された収音部による収音に基づいて得られる収音信号を用いて、設定された仮想の聴取位置(聴取点)における音場を再現可能な音響信号を生成することが考えられる。この場合に、聴取点と複数の収音部との位置関係によって、生成された音響信号を用いて再生される音に不要な偏りが生じる虞がある。例えば、図1に示すように、収音対象範囲を取り囲むように複数の収音部1003が設置されているとする。そして、各収音部1003により取得された収音信号を、設定された聴取点1001から見た各収音部1003の方向1002に応じてレンダリングすることにより、聴取点における音場を再現するための音響信号を生成することを考える。この場合、聴取点1001が収音対象範囲の端に寄ると、聴取点1001に対する収音信号の方向に偏りが生じ、網掛けで図示した領域1004のように、他の方向に比べて音源が疎となる方向ができる。その結果、音場の再現の質が低下する。
そこで、本発明は、設定された聴取点に対応する音響信号における音の偏りを抑制することを目的とする。
そこで、本発明は、設定された聴取点に対応する音響信号における音の偏りを抑制することを目的とする。
本発明の情報処理装置は、複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得手段と、前記取得手段により前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成手段と、を有する。
本発明によれば、設定された聴取点に対応する音響信号における音の偏りを抑制することができる。
以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。
<実施形態1>
図1は、本実施形態における生成システムのシステム構成の一例を示す図である。
生成システムは、複数のマイクロホンアレイ1、情報処理装置200、スピーカーアレイ14を含む。情報処理装置200は、複数のマイクロホンアレイ1、スピーカーアレイ14それぞれと接続されている。
図1は、本実施形態における生成システムのシステム構成の一例を示す図である。
生成システムは、複数のマイクロホンアレイ1、情報処理装置200、スピーカーアレイ14を含む。情報処理装置200は、複数のマイクロホンアレイ1、スピーカーアレイ14それぞれと接続されている。
情報処理装置200は、音場の信号を生成する情報処理装置である。本実施形態では、情報処理装置200は、パーソナルコンピュータ(PC)であるとするが、サーバ装置、タブレット装置等の他の情報処理装置であってもよい。
マイクロホンアレイ1は、収音対象となる範囲の周囲に設置され、設置された位置の設定された方向の音を、方向情報に対応付けて収音する。
スピーカーアレイ14は、情報処理装置200から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。
マイクロホンアレイ1は、収音対象となる範囲の周囲に設置され、設置された位置の設定された方向の音を、方向情報に対応付けて収音する。
スピーカーアレイ14は、情報処理装置200から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。
図1を用いて、情報処理装置200の機能構成の一例について説明する。
情報処理装置200は、収音制御部2、複数の指向性成分生成部3、音場生成部4、操作制御部5、座標・向き決定部6、距離算出部7、座標管理部8、指向性決定部9、通信制御部10、出力制御部12、再生部13を含む。
収音制御部2は、マイクロホンアレイ1により収音されたアナログ音響信号を適宜増幅し、デジタル音響信号にAD変換して指向性成分生成部3へ送信する。
情報処理装置200は、収音制御部2、複数の指向性成分生成部3、音場生成部4、操作制御部5、座標・向き決定部6、距離算出部7、座標管理部8、指向性決定部9、通信制御部10、出力制御部12、再生部13を含む。
収音制御部2は、マイクロホンアレイ1により収音されたアナログ音響信号を適宜増幅し、デジタル音響信号にAD変換して指向性成分生成部3へ送信する。
指向性成分生成部3は、対応する収音制御部2から受信した音響信号を処理して、各マイクロホンアレイ1について、指向性決定部9により決定された指向性を持つ音響信号を生成する。ここで、指向性とは、対応する音響信号がどの方向にかかる音響の信号であるかを示す性質である。
音場生成部4は、指向性成分生成部3によって各マイクロホンアレイの信号から生成された指向性信号を、聴取点とマイクロホンとの位置関係に応じてレンダリングする。これにより、音場生成部4は、予め定めた出力チャンネルフォーマット(例えば、5.1ch、7.1ch、22.2ch等)の音響信号を生成する。なお、音場生成部4は、出力チャンネルフォーマットとして独自のフォーマットの音響信号を生成してもよい。
音場生成部4は、指向性成分生成部3によって各マイクロホンアレイの信号から生成された指向性信号を、聴取点とマイクロホンとの位置関係に応じてレンダリングする。これにより、音場生成部4は、予め定めた出力チャンネルフォーマット(例えば、5.1ch、7.1ch、22.2ch等)の音響信号を生成する。なお、音場生成部4は、出力チャンネルフォーマットとして独自のフォーマットの音響信号を生成してもよい。
操作制御部5は、聴取点の位置指定等のユーザからの各種入力を受け付け、制御信号に変換する。
座標・向き決定部6は、操作制御部5により受け付けられた入力に従って、聴取点の位置と向き(聴取点の正面方向)とを決定する。なお、本実施形態では、座標・向き決定部6により決定される聴取点の座標は、収音対象となる範囲に設定された三次元座標系における三次元座標として表される。本実施形態では、この三次元座標系は、図3に示すように、競技範囲1005の南北に南に向けてX軸、東西に東に向けてY軸、水平面に対して鉛直方向に上に向けてZ軸を取り、競技範囲の北西角を原点Oとする座標系である。以下では、図3に示すX軸、Y軸、Z軸で示される三次元座標系を、XYZ座標系とする。
座標・向き決定部6は、操作制御部5により受け付けられた入力に従って、聴取点の位置と向き(聴取点の正面方向)とを決定する。なお、本実施形態では、座標・向き決定部6により決定される聴取点の座標は、収音対象となる範囲に設定された三次元座標系における三次元座標として表される。本実施形態では、この三次元座標系は、図3に示すように、競技範囲1005の南北に南に向けてX軸、東西に東に向けてY軸、水平面に対して鉛直方向に上に向けてZ軸を取り、競技範囲の北西角を原点Oとする座標系である。以下では、図3に示すX軸、Y軸、Z軸で示される三次元座標系を、XYZ座標系とする。
距離算出部7は、座標・向き決定部6により決定された聴取点の座標と、座標管理部8により管理されている各マイクロホンアレイ1の座標と、を用いて、聴取点と各マイクロホンアレイ1間の直線距離を算出する。そして、距離算出部7は、聴取点とマイクロホンアレイ1との間の距離を指向性決定部9へ出力する。
座標管理部8は、各マイクロホンアレイ1を設置した位置の座標を、情報処理装置200の記憶部に記憶し、適宜、距離算出部7の要求に応じて出力する。
座標管理部8は、各マイクロホンアレイ1を設置した位置の座標を、情報処理装置200の記憶部に記憶し、適宜、距離算出部7の要求に応じて出力する。
指向性決定部9は、聴取点と各マイクロホンアレイ1との間の距離や、聴取点から見た方向に基づき、各マイクロホンアレイ1について、どのような指向性の音響信号を取得するかを決定する。
通信制御部10は、音場生成部4から出力される音響信号を、通信網11を介して外部の機器に出力する。
通信網11は、インターネットや一般電話回線等である。本実施形態では、情報処理装置200は、通信網11を介して生成システム外の機器に対して音響信号を出力することができる。
通信制御部10は、音場生成部4から出力される音響信号を、通信網11を介して外部の機器に出力する。
通信網11は、インターネットや一般電話回線等である。本実施形態では、情報処理装置200は、通信網11を介して生成システム外の機器に対して音響信号を出力することができる。
出力制御部12は、出力端子に接続した外部機器に、音場生成部4によって送信される音響信号を出力する。
再生部13は、音場生成部4によって生成された音響信号を適宜増幅し、アナログ信号に変換して、予め定められた出力フォーマットに準じるスピーカーアレイ14に出力する。
再生部13は、音場生成部4によって生成された音響信号を適宜増幅し、アナログ信号に変換して、予め定められた出力フォーマットに準じるスピーカーアレイ14に出力する。
スピーカーアレイ14は、再生部13から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。
図2に示す生成システムの構成要素のうち、マイクロホンアレイ1、通信網11、及びスピーカーアレイ14以外の構成要素は、情報処理装置200に含まれる。ただし、構成要素2−10、12、13の一部が情報処理装置200とは別の装置に含まれることとしてもよい。
図2に示す生成システムの構成要素のうち、マイクロホンアレイ1、通信網11、及びスピーカーアレイ14以外の構成要素は、情報処理装置200に含まれる。ただし、構成要素2−10、12、13の一部が情報処理装置200とは別の装置に含まれることとしてもよい。
情報処理装置200のハードウェア構成の一例について、図4を用いて説明する。情報処理装置200は、Central Processing Unit(CPU)211、Read Only Memory(ROM)212、Random Access Memory(RAM)213、補助記憶装置214を含む。また、情報処理装置200は、表示部215、操作部216、通信I/F217、及びバス218を含む。CPU211、ROM212、RAM213、補助記憶装置214、表示部215、操作部216、通信I/F217は、バス218を介して相互に通信可能に接続されている。
CPU211は、情報処理装置200の全体を制御する中央演算装置である。ROM212は、変更を必要としないプログラム等を格納する記憶装置である。RAM213は、補助記憶装置214から供給されるプログラムやデータ、及び通信I/F217を介して外部から供給されるデータ等を一時記憶する記憶装置である。補助記憶装置214は、画像データや音声データ等の種々のデータを記憶する。本実施形態では、補助記憶装置214は、ハードディスクドライブ(HDD)であるとするが、ソリッドステートドライブ(SSD)、フラッシュメモリ等の他の記憶装置であってもよい。
CPU211は、情報処理装置200の全体を制御する中央演算装置である。ROM212は、変更を必要としないプログラム等を格納する記憶装置である。RAM213は、補助記憶装置214から供給されるプログラムやデータ、及び通信I/F217を介して外部から供給されるデータ等を一時記憶する記憶装置である。補助記憶装置214は、画像データや音声データ等の種々のデータを記憶する。本実施形態では、補助記憶装置214は、ハードディスクドライブ(HDD)であるとするが、ソリッドステートドライブ(SSD)、フラッシュメモリ等の他の記憶装置であってもよい。
表示部215は、ユーザが情報処理装置200を操作するためのGUI(Graphical User Interface)等を表示する表示装置(例えば、液晶ディスプレイやLED等)である。操作部216は、ユーザによる操作を受けて各種の指示をCPU211に入力する入力装置(例えば、キーボードやマウス、ジョイスティック、タッチパネル等)である。
通信I/F217は、情報処理装置200の外部の装置との通信に用いられるインターフェースである。例えば、情報処理装置200が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F217に接続される。通信I/F217がアンテナを備え、情報処理装置200が外部の装置と無線通信する機能を有することとしてもよい。バス218は、情報処理装置200の各部をつないで情報を伝達するバスである。
通信I/F217は、情報処理装置200の外部の装置との通信に用いられるインターフェースである。例えば、情報処理装置200が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F217に接続される。通信I/F217がアンテナを備え、情報処理装置200が外部の装置と無線通信する機能を有することとしてもよい。バス218は、情報処理装置200の各部をつないで情報を伝達するバスである。
本実施形態では、表示部215と操作部216とが情報処理装置200の内部に存在するものとするが、表示部215と操作部216との少なくとも一方が情報処理装置200の外部に別の装置として存在していてもよい。この場合でも、CPU211が、表示部215、操作部216を制御する。
CPU211がROM212、補助記憶装置214等に記憶されたプログラムに従って処理を実行することで、図1で説明した情報処理装置200の機能、図5、6、8、11、12、15、16,18で後述するフローチャートの処理等が実現される。
CPU211がROM212、補助記憶装置214等に記憶されたプログラムに従って処理を実行することで、図1で説明した情報処理装置200の機能、図5、6、8、11、12、15、16,18で後述するフローチャートの処理等が実現される。
本実施形態では、生成システムは、複数のマイクロホンアレイ1で収音し、聴取点と各マイクロホンアレイ1との位置関係に応じて、各マイクロホンアレイ1についての指向性を決定し、それに基づいて聴取点における音場を生成する。
図5は、情報処理装置200の処理の一例を示すフローチャートである。
図5は、情報処理装置200の処理の一例を示すフローチャートである。
S101において、収音制御部2は、マイクロホンアレイ1の各マイクユニットによって、アナログ電気信号に変換された音の信号を、予め調整した増幅レベルに従って適宜増幅してからデジタル信号に変換する。そして、収音制御部2は、変換したデジタル信号を、各マイクロユニット別のチャンネル信号として指向性成分生成部3へ送信する。
S102において、座標・向き決定部6は、操作部216に対するユーザからの入力に基づいて、聴取点の位置と向きとを決定する。以下では、S102で位置と向きとを決定された聴取点を、指定聴取点とする。
S102において、座標・向き決定部6は、操作部216に対するユーザからの入力に基づいて、聴取点の位置と向きとを決定する。以下では、S102で位置と向きとを決定された聴取点を、指定聴取点とする。
S103において、距離算出部7は、座標管理部8により管理されている各マイクロホンアレイ1の座標と、指定聴取点の座標と、に基づいて、各マイクロホンアレイ1と指定聴取点との間の距離などの情報を含むマイクロホン情報を生成する。S103の処理の詳細は、図6で後述する。
S104において、指向性決定部9は、S103で生成したマイクロホン情報に基づき、各マイクロホンアレイで収音した音響信号から生成する信号の指向性を決定する。S104の処理の詳細は、図8で後述する。
S104において、指向性決定部9は、S103で生成したマイクロホン情報に基づき、各マイクロホンアレイで収音した音響信号から生成する信号の指向性を決定する。S104の処理の詳細は、図8で後述する。
S105において、指向性成分生成部3それぞれは、対応するマイクロホンアレイ1の収音信号を用いて、S104で決定された指向性の信号を生成する。S105の処理の詳細は、図11で後述する。
S106において、音場生成部4は、S105で生成された複数の指向性信号を、指定聴取点と各マイクロホンアレイ1との位置関係に基づいて、予め定めた出力チャンネルフォーマットにレンダリングする。これにより、音場生成部4は、指定聴取点における音場を再現するための音響信号である音場信号を生成する。S106の処理の詳細は、図12で後述する。
S106において、音場生成部4は、S105で生成された複数の指向性信号を、指定聴取点と各マイクロホンアレイ1との位置関係に基づいて、予め定めた出力チャンネルフォーマットにレンダリングする。これにより、音場生成部4は、指定聴取点における音場を再現するための音響信号である音場信号を生成する。S106の処理の詳細は、図12で後述する。
S107において、音場生成部4は、S106で生成した音場信号の出力先を判定する。本実施形態では、音場生成部4は、音場信号の出力先を、予め、ユーザによる操作部216を用いた入力に基づいて決定し、決定した出力先の情報をRAM213に記憶している。
音場生成部4は、出力先が通信網11に接続された外部機器であると判定した場合、処理をS108へ進め、出力先が出力端子に接続された外部機器であると判定した場合、処理をS109へ進める。また、音場生成部4は、出力先がスピーカーアレイ14であると判定した場合、処理をS110へ進める。
音場生成部4は、出力先が通信網11に接続された外部機器であると判定した場合、処理をS108へ進め、出力先が出力端子に接続された外部機器であると判定した場合、処理をS109へ進める。また、音場生成部4は、出力先がスピーカーアレイ14であると判定した場合、処理をS110へ進める。
S108において、音場生成部4は、通信制御部10を介して、S106で生成された音場信号を、通信網11を経由して出力先の外部機器へ送信する。
S109において、音場生成部4は、出力制御部12を介して、S106で生成された音場信号を、出力端子に接続された外部機器に送信する。
S109において、音場生成部4は、出力制御部12を介して、S106で生成された音場信号を、出力端子に接続された外部機器に送信する。
S110において、音場生成部4は、再生部13を介して、S106で生成された音場信号を、スピーカーアレイ14に出力する。そして、スピーカーアレイ14は、出力された音場信号を、音に変換し出力する。
S111において、CPU211は、図5の処理を終了するか否かを判定する。CPU211は、図5の処理を終了しないと判定した場合、処理をS101へ進め、図5の処理を終了すると判定した場合、図5の処理を終了する。
S111において、CPU211は、図5の処理を終了するか否かを判定する。CPU211は、図5の処理を終了しないと判定した場合、処理をS101へ進め、図5の処理を終了すると判定した場合、図5の処理を終了する。
図6は、S103の処理の詳細の一例を示すフローチャートである。
S201において、距離算出部7は、座標・向き決定部6によって決定された指定聴取点の座標と向きとRAM213に記憶する。
S202において、距離算出部7は、RAM213に記憶されているマイクロホン情報リストを初期化する。マイクロホン情報リストとは、マイクロホン情報というデータについて、複数をまとめてリスト化したデータ構造の情報である。ここで、マイクロホン情報は、1つのマイクロホンアレイ1と一対一で対応する情報であり、対応するマイクロホンアレイ1の各種の属性を示す情報である。マイクロホン情報の詳細について図7を用いて説明する。
S201において、距離算出部7は、座標・向き決定部6によって決定された指定聴取点の座標と向きとRAM213に記憶する。
S202において、距離算出部7は、RAM213に記憶されているマイクロホン情報リストを初期化する。マイクロホン情報リストとは、マイクロホン情報というデータについて、複数をまとめてリスト化したデータ構造の情報である。ここで、マイクロホン情報は、1つのマイクロホンアレイ1と一対一で対応する情報であり、対応するマイクロホンアレイ1の各種の属性を示す情報である。マイクロホン情報の詳細について図7を用いて説明する。
図7(a)は、マイクロホン情報のデータ構造の一例を示す図である。マイクロホン情報は、「マイクロホンID」、「マイクロホン座標」、「聴取点座標」、「聴取点向き」、「聴取点との距離」、「聴取点から見た方向」の項目を含む。また、マイクロホン情報は、「指向方向の数」、「指向方向の数」が示す個数の「指向性情報」を含む。
「マイクロホンID」は、対応するマイクロホンアレイ1を識別するための情報(例えば、番号等)であり、対応するマイクロホンアレイ1と一対一で紐付けられる。本実施形態では、「マイクロホンID」は、対応するマイクロホン情報と紐付けられるマイクロホンアレイ1のIDであるとする。
「マイクロホンID」は、対応するマイクロホンアレイ1を識別するための情報(例えば、番号等)であり、対応するマイクロホンアレイ1と一対一で紐付けられる。本実施形態では、「マイクロホンID」は、対応するマイクロホン情報と紐付けられるマイクロホンアレイ1のIDであるとする。
「マイクロホン座標」は、対応するマイクロホンアレイ1が設置される場所の三次元座標を示す。「聴取点座標」は、指定聴取点の三次元座標を示し、図3で説明したX、Y、Z軸による座標で表される。「聴取点の向き」は、指定聴取点が向いている向きを示し、図3のX軸の正の向きを0°として、XY平面でなす水平角Θと、XY平面に対する俯角Φと、指定聴取点のロール角Δと、で表される。
「聴取点との距離」は、対応するマイクロホンアレイ1と指定聴取点との距離を示す。「聴取点から見た方向」は、指定聴取点の正面方向を基準として、指定聴取点から見たこのマイクロホンアレイ1の方向を示し、水平角θ、俯角φ、ロール角δによって表される。なお、本実施形態では、XYZ座標系を基準として表される角度を大文字(Θ、Φ、Δ)で表し、指定聴取点の向きを基準とする相対的な角度を小文字(θ、φ、δ)で表すこととする。
「聴取点との距離」は、対応するマイクロホンアレイ1と指定聴取点との距離を示す。「聴取点から見た方向」は、指定聴取点の正面方向を基準として、指定聴取点から見たこのマイクロホンアレイ1の方向を示し、水平角θ、俯角φ、ロール角δによって表される。なお、本実施形態では、XYZ座標系を基準として表される角度を大文字(Θ、Φ、Δ)で表し、指定聴取点の向きを基準とする相対的な角度を小文字(θ、φ、δ)で表すこととする。
「指向方向の数」は、対応するマイクロホンアレイ1について、指向性の異なる幾つの音響信号が取得されるかを示す。「指向性情報」は、対応するマイクロホンアレイ1の信号に基づいて取得される音響信号の各種属性を示す情報である。本実施形態では、「指向性情報」は、図7(b)で後述するデータ構造の情報である。なお、「指向性情報」は、「指向方向の数」が示す個数だけ、マイクロホン情報に含まれる。
図7(b)は、本実施形態の「指向性情報」のデータ構造の一例を示す図である。「指向性情報」は、「指向性情報ID」、「指向性種別」、「聴取点から見た指向性の方向」、「指向性信号データ」を含む。
「指向性情報ID」は、「指向性情報」を識別するための情報(例えば、番号等)であり、全ての「指向性情報」それぞれについて唯一の値となる。「指向性種別」は、対応する音響信号の指向性の種別を示し、無指向性、単一指向性、双指向性、狭指向性、超指向性等の値を取る。「聴取点から見た指向性の方向」は、指定聴取点の正面を基準方向とした場合の対応する音響信号の指向性の方向を示し、水平角θ、俯角φ、ロール角δによって表される。「指向性信号データ」は、指向性成分生成部3によって生成された音響信号を示す。
「指向性情報ID」は、「指向性情報」を識別するための情報(例えば、番号等)であり、全ての「指向性情報」それぞれについて唯一の値となる。「指向性種別」は、対応する音響信号の指向性の種別を示し、無指向性、単一指向性、双指向性、狭指向性、超指向性等の値を取る。「聴取点から見た指向性の方向」は、指定聴取点の正面を基準方向とした場合の対応する音響信号の指向性の方向を示し、水平角θ、俯角φ、ロール角δによって表される。「指向性信号データ」は、指向性成分生成部3によって生成された音響信号を示す。
図6の説明に戻る。
距離算出部7は、S202で、RAM213に記憶されたマイクロホン情報リストを初期化し、マイクロホン情報が1つも含まれていない状態にする。
S203において、距離算出部7は、マイクロホン情報リストに含まれるマイクロホン情報のカウントに用いられるカウンタ変数iを、RAM213に記憶し、iの値を1に初期化する。
距離算出部7は、S202で、RAM213に記憶されたマイクロホン情報リストを初期化し、マイクロホン情報が1つも含まれていない状態にする。
S203において、距離算出部7は、マイクロホン情報リストに含まれるマイクロホン情報のカウントに用いられるカウンタ変数iを、RAM213に記憶し、iの値を1に初期化する。
S204において、距離算出部7は、新規のマイクロホン情報を生成する。以下、図6の処理の説明において、最新のS204の処理で生成されたマイクロホン情報を生成マイクロホン情報とする。
S205において、距離算出部7は、生成マイクロホン情報の「マイクロホンID」の値をiに決定する。
S206において、距離算出部7は、「マイクロホンID」=iをキーとして座標管理部8にID=iのマイクロホンアレイ1の座標を要求することにより、ID=iのマイクロホンアレイ1の座標を取得する。そして、距離算出部7は、取得した座標を、生成マイクロホン情報の「マイクロホン座標」の値に決定する。
S205において、距離算出部7は、生成マイクロホン情報の「マイクロホンID」の値をiに決定する。
S206において、距離算出部7は、「マイクロホンID」=iをキーとして座標管理部8にID=iのマイクロホンアレイ1の座標を要求することにより、ID=iのマイクロホンアレイ1の座標を取得する。そして、距離算出部7は、取得した座標を、生成マイクロホン情報の「マイクロホン座標」の値に決定する。
S207において、距離算出部7は、生成マイクロホン情報の「聴取点座標」と「聴取点向き」との値を、それぞれS201でRAM213に記憶した指定聴取点の座標と指定聴取点の向きとに決定する。
S208において、距離算出部7は、S206で決定した「マイクロホン座標」と、S207で決定した「聴取点座標」と、を用いて、三平方の定理よりマイクロホンアレイ1と指定聴取点との距離を求める。そして、距離算出部7は、求めた距離を、生成マイクロホン情報の「聴取点との距離」の値に決定する。
S208において、距離算出部7は、S206で決定した「マイクロホン座標」と、S207で決定した「聴取点座標」と、を用いて、三平方の定理よりマイクロホンアレイ1と指定聴取点との距離を求める。そして、距離算出部7は、求めた距離を、生成マイクロホン情報の「聴取点との距離」の値に決定する。
S209において、距離算出部7は、生成マイクロホン情報の「聴取点向き」と、「聴取点座標」と、「マイクロホン座標」と、に基づいて、指定聴取点から見たマイクロホンアレイ1の方向を求める。そして、距離算出部7は、求めた方向を、生成マイクロホン情報の「聴取点から見た方向」の値に決定する。
S210において、距離算出部7は、生成マイクロホン情報を、RAM213に記憶されたマイクロホン情報リストの末尾に追加する。なお、この時点では、生成マイクロホン情報の「指向方向の数」は、未定であり、「指向性情報」もマイクロホン情報には含まれていない。「指向方向の数」、「指向性情報」の情報は、S104の処理によって決定される。
S210において、距離算出部7は、生成マイクロホン情報を、RAM213に記憶されたマイクロホン情報リストの末尾に追加する。なお、この時点では、生成マイクロホン情報の「指向方向の数」は、未定であり、「指向性情報」もマイクロホン情報には含まれていない。「指向方向の数」、「指向性情報」の情報は、S104の処理によって決定される。
S211において、距離算出部7は、カウンタiの値がマイクロホンアレイ1の総数nに達したか否かを判定する。本実施形態では、マイクロホンアレイの総数nは、RAM213に記憶されているとする。距離算出部7は、iの値がnに達したと判定した場合、処理をS213に進め、iがnに満たないと判定した場合、処理をS212へ進める。
S212において、距離算出部7は、カウンタiに1を足して処理をS204へ進める。
S213において、距離算出部7は、RAM213に記憶されたマイクロホン情報リストを指向性決定部9に出力し図6の処理を終了する。
S212において、距離算出部7は、カウンタiに1を足して処理をS204へ進める。
S213において、距離算出部7は、RAM213に記憶されたマイクロホン情報リストを指向性決定部9に出力し図6の処理を終了する。
図8は、本実施形態におけるS104の処理の詳細の一例を示すフローチャートである。
S301において、指向性決定部9は、指定聴取点から見た方向に応じて、距離算出部7から受信したマイクロホン情報リスト内のマイクロホン情報をソートする。本実施形態では、複数のマイクロホンアレイ1は、XY平面で見ると、指定聴取点を囲むように配置されている。そこで、指向性決定部9は、マイクロホン情報リスト内のマイクロホン情報を、対応するマイクロホンアレイ1がXY平面において指定聴取点から見て時計回りの順序になるように、ソートする。
S301において、指向性決定部9は、指定聴取点から見た方向に応じて、距離算出部7から受信したマイクロホン情報リスト内のマイクロホン情報をソートする。本実施形態では、複数のマイクロホンアレイ1は、XY平面で見ると、指定聴取点を囲むように配置されている。そこで、指向性決定部9は、マイクロホン情報リスト内のマイクロホン情報を、対応するマイクロホンアレイ1がXY平面において指定聴取点から見て時計回りの順序になるように、ソートする。
S302において、指向性決定部9は、指定聴取点から見た隣接するマイクロホンアレイ1間の開き角(∠一方のマイクロホンアレイ1、指定聴取点、他方のマイクロホンアレイ1)を、各マイクロホン情報の「聴取点から見た方向」に基づいて求める。指向性決定部9は、以上の処理を、S301でソートした順に、一番目と二番目のマイクロホン情報間、二番目と三番目のマイクロホン情報間というように順番に行い、最後に、n番目と一番目のマイクロホン情報間で行う。
指向性決定部9は、求めた開き角それぞれを、RAM213に記憶する。図9にRAM213に記憶された開き角のデータの一例を示す。開き角は、それをなす二つのマイクロホンアレイ1のIDと紐付けて記憶される。S302で求められた各開き角は、それぞれ、隣接する2つのマイクロホンアレイ1の一方と指定聴取点とを結ぶ線分と、この2つのマイクロホンアレイ1の他方と指定聴取点とを結ぶ線分と、のなす角である。
指向性決定部9は、求めた開き角それぞれを、RAM213に記憶する。図9にRAM213に記憶された開き角のデータの一例を示す。開き角は、それをなす二つのマイクロホンアレイ1のIDと紐付けて記憶される。S302で求められた各開き角は、それぞれ、隣接する2つのマイクロホンアレイ1の一方と指定聴取点とを結ぶ線分と、この2つのマイクロホンアレイ1の他方と指定聴取点とを結ぶ線分と、のなす角である。
S303において、指向性決定部9は、マイクロホン情報リストに格納されている全てのマイクロホン情報から、1つのマイクロホン情報を選択する。以下、図8の処理の説明において、最新のS303の処理で選択されたマイクロホン情報を、選択マイクロホン情報とする。
S304において、指向性決定部9は、選択マイクロホン情報の「聴取点との距離」が、予め定められた閾値(L)以上か否かを判定する。なお、本実施形態において、閾値Lは、予めRAM213に記憶されている。指向性決定部9は、選択マイクロホン情報の「聴取点との距離」が閾値以上(L以上)と判定した場合、処理をS305へ進め、選択マイクロホン情報の「聴取点との距離」が閾値未満(L未満)と判定した場合、処理をS308へ進める。
S304において、指向性決定部9は、選択マイクロホン情報の「聴取点との距離」が、予め定められた閾値(L)以上か否かを判定する。なお、本実施形態において、閾値Lは、予めRAM213に記憶されている。指向性決定部9は、選択マイクロホン情報の「聴取点との距離」が閾値以上(L以上)と判定した場合、処理をS305へ進め、選択マイクロホン情報の「聴取点との距離」が閾値未満(L未満)と判定した場合、処理をS308へ進める。
S305〜S307では、指向性決定部9は、選択マイクロホン情報に対応するマイクロホンアレイ1の信号に基づいて、無指向性の音響信号のみを生成することを決定する。
S305において、指向性決定部9は、選択マイクロホン情報の「指向方向の数」を、1に決定する。
S305において、指向性決定部9は、選択マイクロホン情報の「指向方向の数」を、1に決定する。
S306において、指向性決定部9は、「指向性情報」を一個生成し、選択マイクロホン情報に追加する。これにより、選択マイクロホン情報に「指向性情報」が1つだけ含まれることとなり、図11で後述する処理で選択マイクロホン情報について1つの指向性の音響信号が生成される。
S307において、指向性決定部9は、S306で生成した「指向性情報」の「指向性種別」の値を、「無指向性」に決定し、処理をS318へ進める。
S307において、指向性決定部9は、S306で生成した「指向性情報」の「指向性種別」の値を、「無指向性」に決定し、処理をS318へ進める。
S308において、指向性決定部9は、S302で求められた開き角のうち、選択マイクロホン情報に対応するマイクロホンアレイ1に対応づけられた2つの開き角を特定する。この2つの開き角は、それぞれ∠(選択マイクロホン情報に対応するマイクロホンアレイ1)、(指定聴取点)、(このマイクロホンアレイ1に隣接するマイクロホンアレイ1)である。そして、指向性決定部9は、特定した2つの開き角を加算することで、開き角αを求める。この開き角αは、∠(選択マイクロホン情報に対応するマイクロホンアレイ1に隣接する一方のマイクロホンアレイ1)、(指定聴取点)、(選択マイクロホン情報に対応するマイクロホンアレイ1に隣接する他方のマイクロホンアレイ1)である。開き角αは、この一方のマイクロホンアレイ1と指定聴取点とを結ぶ線分と、他方のマイクロホンアレイ1と指定聴取点とを結ぶ線分と、のなす角である。
図10を用いて、S308で求められた開き角を説明する。図10の例では、説明の便宜のため、指定聴取点とマイクロホンアレイ1それぞれが同一平面(水平面)上にあることとするが、同一平面上に無いこととしてもよい。
ここで、選択マイクロホン情報に対応するマイクロホンアレイ1が位置1006に存在するとする。また、その両隣にあるマイクロホンアレイ1は、それぞれ位置1007と位置1008とに存在するとする。また、指定聴取点は、位置1100に存在するとする。
指向性決定部9は、S302で求められた開き角から、∠(位置1006)、(位置1100)、(位置1007)と、∠(位置1006)、(位置1100)、(位置1008)と、を特定し、特定した2つの角度を加算する。これにより、指向性決定部9は、開き角α(∠(位置1007)、(位置1100)、(位置1008))を求める。
ここで、選択マイクロホン情報に対応するマイクロホンアレイ1が位置1006に存在するとする。また、その両隣にあるマイクロホンアレイ1は、それぞれ位置1007と位置1008とに存在するとする。また、指定聴取点は、位置1100に存在するとする。
指向性決定部9は、S302で求められた開き角から、∠(位置1006)、(位置1100)、(位置1007)と、∠(位置1006)、(位置1100)、(位置1008)と、を特定し、特定した2つの角度を加算する。これにより、指向性決定部9は、開き角α(∠(位置1007)、(位置1100)、(位置1008))を求める。
S309において、指向性決定部9は、S302で求めた開き角のうち、選択マイクロホンアレイがなす角以外で、最大の開き角βを求める。これは、S308の処理に用いられた開き角以外の開き角で、最大の値を検索することに相当する。図10の例では、開き角βは、図示の角度になる。
S310において、指向性決定部9は、αをβで割った整数の商mを求める。指向性決定部9は、求めたmを、選択マイクロホン情報の「指向方向の数」の値として決定する。
S310において、指向性決定部9は、αをβで割った整数の商mを求める。指向性決定部9は、求めたmを、選択マイクロホン情報の「指向方向の数」の値として決定する。
S311において、指向性決定部9は、「指向性情報」をm個(「指向性情報1」〜「指向性情報m」)生成し、選択マイクロホン情報に追加する。図10の例ではmは2となるため、指向性決定部9は、「指向方向の数」を2に決定し、「指向性情報」を2つ生成する。つまり、指向性決定部9は、図11で後述する処理で、位置1006に存在するマイクロホンアレイ1による収音信号から2方向に対する指向性を生成する。これにより、情報処理装置200は、開き角αの方向に二つの音響信号を配置し、まばらさを埋めることができる。
図10の例では、指定聴取点から見て、位置1006に存在するマイクロホンアレイ1の方向は、他の方向に比べてマイクロホンアレイ1が粗に配置されている。そこで、情報処理装置200は、位置1006に存在するマイクロホンアレイ1については、m個の指向性の異なる音響信号を生成し、指定聴取点における音場の情報を生成することで、このマイクロホンアレイ1の方向についての音響信号のまばらさを軽減できる。
図10の例では、指定聴取点から見て、位置1006に存在するマイクロホンアレイ1の方向は、他の方向に比べてマイクロホンアレイ1が粗に配置されている。そこで、情報処理装置200は、位置1006に存在するマイクロホンアレイ1については、m個の指向性の異なる音響信号を生成し、指定聴取点における音場の情報を生成することで、このマイクロホンアレイ1の方向についての音響信号のまばらさを軽減できる。
S312において、指向性決定部9は、カウンタiの値を1に初期化する。
S313において、指向性決定部9は、S311で生成したm個の「指向性情報」のうち、「指向性情報i」を処理対象として決定する。
S314において、指向性決定部9は、「指向性情報i」の「指向性種別」の値を、予め定められた指向性(例えば、「単一指向性」等)に決定する。本実施形態では、この予め定められた指向性は、予めRAM213に記憶されている。
S313において、指向性決定部9は、S311で生成したm個の「指向性情報」のうち、「指向性情報i」を処理対象として決定する。
S314において、指向性決定部9は、「指向性情報i」の「指向性種別」の値を、予め定められた指向性(例えば、「単一指向性」等)に決定する。本実施形態では、この予め定められた指向性は、予めRAM213に記憶されている。
S315において、指向性決定部9は、「指向性情報i」の「聴取点から見た指向性方向」の値を、θi=θ+α/(m+1)×iに決定する。ここで、θは、指定聴取点から、選択マイクロホン情報に対応するマイクロホンアレイ1の左隣のマイクロホンアレイ1を見た方向を示す角度である。指向性決定部9は、マイクロホン情報リストを検索してθを取得する。図10の場合は、θ、θ1は各々図示したようになる。情報処理装置200は、このように指向性の方向を決めることで、開き角αの方向に対して音源を均等に配置することができる。
S316において、指向性決定部9は、カウンタiに1を足す。
S317において、指向性決定部9は、iがmと等しいか否かを判定する。指向性決定部9は、iがmと等しいと判定した場合、全ての「指向性情報」に対する処理を終えたとして、処理をS318に進め、iがm未満と判定した場合、処理をS313に進める。
S316において、指向性決定部9は、カウンタiに1を足す。
S317において、指向性決定部9は、iがmと等しいか否かを判定する。指向性決定部9は、iがmと等しいと判定した場合、全ての「指向性情報」に対する処理を終えたとして、処理をS318に進め、iがm未満と判定した場合、処理をS313に進める。
S318において、指向性決定部9は、マイクロホン情報リストに格納されている全てのマイクロホン情報について、S304〜S317の処理を終えたか否かを判定する。指向性決定部9は、マイクロホン情報リストに格納されている全てのマイクロホン情報について、S304〜S317の処理を終えたと判定した場合、処理をS319に進める。指向性決定部9は、マイクロホン情報リストに格納されているマイクロホン情報の中にS304〜S317の処理を終えていないマイクロホン情報があると判定した場合、処理をS303に進める。
S319において、指向性決定部9は、マイクロホン情報リストを指向性成分生成部3それぞれに出力する。
S319において、指向性決定部9は、マイクロホン情報リストを指向性成分生成部3それぞれに出力する。
図11は、S105の処理の詳細の一例を示すフローチャートである。
S401において、指向性成分生成部3は、指向性決定部9から出力されたマイクロホン情報リストから、対応するマイクロホンアレイ1のIDに対応するマイクロホン情報を選択する。本実施形態では、指向性成分生成部3それぞれに対応するマイクロホンアレイ1のIDは、予めRAM213に記憶されている。
S401において、指向性成分生成部3は、指向性決定部9から出力されたマイクロホン情報リストから、対応するマイクロホンアレイ1のIDに対応するマイクロホン情報を選択する。本実施形態では、指向性成分生成部3それぞれに対応するマイクロホンアレイ1のIDは、予めRAM213に記憶されている。
S402において、指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる「指向性情報」から1つを選択する。以下、図11の処理の説明において、最新のS402の処理で選択された「指向性情報」を選択指向性情報とする。
S403において、指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点との距離」が閾値(L)以上か否かを判定する。指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点との距離」がL以上であると判定した場合、処理をS404に進め、L未満であると判定した場合、処理をS406に進める。
S403において、指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点との距離」が閾値(L)以上か否かを判定する。指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点との距離」がL以上であると判定した場合、処理をS404に進め、L未満であると判定した場合、処理をS406に進める。
S404において、指向性成分生成部3は、対応するマイクロホンアレイ1により取得された全ての収音チャンネルの信号に基づき、無指向性の音響信号を生成する。本実施形態では、マイクロホンアレイ1はアンビソニックマイクロホンであるとする。この場合、指向性成分生成部3は、マイクロホンアレイ1の4つの収音チャンネル、LF(左前上向き)、LB(左後下向き)、RF(右前下向き)、RB(右後上向き)の信号について、以下の式1の計算を行うことで、無指向性の音響信号Wを生成する。
W=LB−LF+RF−RB (式1)
アンビソニックマイクロホンについては、式1のように収音信号の単純な一次加算により無指向性の音響信号を生成することができる。このように、指向性成分生成部3は、収音チャンネルの全てに共通に含まれる信号成分を、相互相関等を用いて抽出することにより、無指向性の音響信号を生成することができる。
W=LB−LF+RF−RB (式1)
アンビソニックマイクロホンについては、式1のように収音信号の単純な一次加算により無指向性の音響信号を生成することができる。このように、指向性成分生成部3は、収音チャンネルの全てに共通に含まれる信号成分を、相互相関等を用いて抽出することにより、無指向性の音響信号を生成することができる。
S405において、指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点から見た方向」の値を、選択指向性情報の「配置方向」の値に決定し、処理をS408に進める。これにより、後の指定聴取点における音場の情報の生成処理において、S404で生成された無指向性信号が、指定聴取点から見て、S401で選択されたマイクロホン情報に対応するマイクロホンアレイ1の方向に配置されることになる。
S406において、指向性成分生成部3は、対応するマイクロホンアレイ1により取得された全ての収音チャンネルの信号に基づき、選択指向性情報の「指向性種別」と「聴取点から見た指向性の方向」とに応じた音響信号を生成する。本実施形態では、マイクロホンアレイ1が水平面に対して平行な向きを正面として設置されているとする。また、選択指向性情報の「指向性種別」が単一指向性であるとする。X軸の正方向が、マイクロホンアレイ1の正面向きの方向とする。また、Y軸は、X軸と垂直、かつ、水平面内に存在するとする。Z軸は、XY平面に対して鉛直方向の軸となる。この場合、このマイクロホンアレイ1により取得された音響信号のX軸、Y軸、X軸方向それぞれの成分、Xs、Ys、Zsは、以下の式2で表される。指向性成分生成部3は、式2を用いてXs、Ys、Zsを求める。
Xs=LF−RB+RF−LB
Ys=LF−RB−RF+LB (式2)
Zs=LF−LB+RB−RF
Xs=LF−RB+RF−LB
Ys=LF−RB−RF+LB (式2)
Zs=LF−LB+RB−RF
この場合、マイクロホンアレイ1の正面となるX軸に対して水平面内で角度ψだけ回転した方向の指向性信号Xs´は、以下の式3で表される。指向性成分生成部3は、選択指向性情報の「聴取点から見た指向性の方向」が示す方向と、X軸と、画水平面内でなす角度をψとして、選択指向性情報の「聴取点から見た指向性の方向」が示す方向に係る音響信号Xs´を、式3を用いて求める。
Xs´=(cosψ)Xs−(sinψ)Ys (3)
なお、アンビソニックマイクロホンと異なるマイクロホンアレイについては、ビームフォーミング等の処理計算を行うことにより、任意方向、かつ、任意の指向性を持つ音響信号を生成することができる。ただし、アレイを構成するマイクロホンユニットの数や配列により物理的な制限が発生する。
Xs´=(cosψ)Xs−(sinψ)Ys (3)
なお、アンビソニックマイクロホンと異なるマイクロホンアレイについては、ビームフォーミング等の処理計算を行うことにより、任意方向、かつ、任意の指向性を持つ音響信号を生成することができる。ただし、アレイを構成するマイクロホンユニットの数や配列により物理的な制限が発生する。
S407において、指向性成分生成部3は、指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点から見た方向」の値を、選択指向性情報の「配置方向」の値に決定し、処理をS408に進める。これにより、後の指定聴取点における音場の情報の生成処理において、S406で生成された指向性信号が、聴取点の周囲に、疎となる方向ができないように配置されることになる。
S408において、指向性成分生成部3は、S404、又はS406で生成した音響信号に対して、S401で選択したマイクロホン情報の「聴取点との距離」に基づいて重み付けを行う。例えば、対象のマイクロホンアレイ1と指定聴取点との距離がl[m]とする。この場合、指向性成分生成部3は、例えば、音響信号の時間領域における振幅を1/l2倍する。
S408において、指向性成分生成部3は、S404、又はS406で生成した音響信号に対して、S401で選択したマイクロホン情報の「聴取点との距離」に基づいて重み付けを行う。例えば、対象のマイクロホンアレイ1と指定聴取点との距離がl[m]とする。この場合、指向性成分生成部3は、例えば、音響信号の時間領域における振幅を1/l2倍する。
S409において、指向性成分生成部3は、S408で重みづけした音響信号を選択指向性情報内の「指向性信号データ」の値に決定する。
S410において、指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる全ての「指向性情報」についてS403で選択したか否かを判定する。指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる全ての「指向性情報」についてS403で選択したと判定した場合、処理をS411に進める。また、指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる「指向性情報」の中にS403で選択されていないものがあると判定した場合、処理をS403に進める。
S411において、指向性成分生成部3は、S401で選択したマイクロホン情報を音場生成部4へ出力し、図11の処理を終了する。
S410において、指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる全ての「指向性情報」についてS403で選択したか否かを判定する。指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる全ての「指向性情報」についてS403で選択したと判定した場合、処理をS411に進める。また、指向性成分生成部3は、S401で選択したマイクロホン情報に含まれる「指向性情報」の中にS403で選択されていないものがあると判定した場合、処理をS403に進める。
S411において、指向性成分生成部3は、S401で選択したマイクロホン情報を音場生成部4へ出力し、図11の処理を終了する。
図12は、S106の処理の詳細の一例を示すフローチャートである。
S501において、音場生成部4は、指向性成分生成部3の各々から受信した全てのマイクロホン情報から1つを選択する。以下、図12の処理の説明において、最新のS501の処理で選択されたマイクロホン情報を選択マイクロホン情報とする。
S502において、音場生成部4は、選択マイクロホン情報に含まれる「指向性情報」から1つを選択する。以下、図12の処理の説明において、最新のS502の処理で選択された「指向性情報」を選択指向性情報とする。
S501において、音場生成部4は、指向性成分生成部3の各々から受信した全てのマイクロホン情報から1つを選択する。以下、図12の処理の説明において、最新のS501の処理で選択されたマイクロホン情報を選択マイクロホン情報とする。
S502において、音場生成部4は、選択マイクロホン情報に含まれる「指向性情報」から1つを選択する。以下、図12の処理の説明において、最新のS502の処理で選択された「指向性情報」を選択指向性情報とする。
S503において、音場生成部4は、選択指向性情報の「指向性信号データ」が示す音響信号の音場における配置方向を、選択指向性情報の「配置方向」に決定する。
S504において、音場生成部4は、S503で音場における配置方向を決定した音響信号を、予め定めた出力フォーマット(例えば、5.1ch、7.1ch、22.2ch等)にレンダリングする。このようなレンダリングは、VBAP等のアルゴリズムを用いて音源を配置した方向周辺のチャンネルに音源信号を適宜分配することによって配置方向に定位させることで実現できる。レンダリングにより生成される音響信号(音場信号)は、設定された聴取点に対応する音響信号となり、この音響信号を出力フォーマットに応じた再生環境で再生することで、聴取点における音場を再現することができる。本実施形態では、予め定められた出力フォーマットは、予めRAM213に記憶されている。また、RAM213には、予め定められた出力フォーマットに含まれる出力チャネルそれぞれについて、出力信号用のバッファが予め用意されている。即ち、これらのバッファに記憶される情報が、指定聴取点における音場の情報(即ち、指定聴取点に対応する音響信号)となる。
S504において、音場生成部4は、S503で音場における配置方向を決定した音響信号を、予め定めた出力フォーマット(例えば、5.1ch、7.1ch、22.2ch等)にレンダリングする。このようなレンダリングは、VBAP等のアルゴリズムを用いて音源を配置した方向周辺のチャンネルに音源信号を適宜分配することによって配置方向に定位させることで実現できる。レンダリングにより生成される音響信号(音場信号)は、設定された聴取点に対応する音響信号となり、この音響信号を出力フォーマットに応じた再生環境で再生することで、聴取点における音場を再現することができる。本実施形態では、予め定められた出力フォーマットは、予めRAM213に記憶されている。また、RAM213には、予め定められた出力フォーマットに含まれる出力チャネルそれぞれについて、出力信号用のバッファが予め用意されている。即ち、これらのバッファに記憶される情報が、指定聴取点における音場の情報(即ち、指定聴取点に対応する音響信号)となる。
S505において、音場生成部4は、S504でのレンダリングの結果、各出力チャンネルに分配された音響信号を、出力チャンネル毎に、RAM213内に用意された出力バッファに加算する。S505の処理によって、選択指向性情報の「指向性信号データ」の音響信号が各出力チャンネルの音響信号として適宜出力される。結果として全ての「指向性信号データ」が配置方向に配置された状態で出力されることになる。
S506において、音場生成部4は、選択マイクロホン情報の全ての「指向性情報」をS502で選択したか否かを判定する。音場生成部4は、選択マイクロホン情報の全ての「指向性情報」をS502で選択したと判定した場合、処理をS507に進め、選択マイクロホン情報にS502で選択されていない「指向性情報」があると判定した場合、処理をS502に進める。
S506において、音場生成部4は、選択マイクロホン情報の全ての「指向性情報」をS502で選択したか否かを判定する。音場生成部4は、選択マイクロホン情報の全ての「指向性情報」をS502で選択したと判定した場合、処理をS507に進め、選択マイクロホン情報にS502で選択されていない「指向性情報」があると判定した場合、処理をS502に進める。
S507において、音場生成部4は、マイクロホン情報リスト内の全てのマイクロホン情報をS501で選択したか否かを判定する。音場生成部4は、マイクロホン情報リスト内の全てのマイクロホン情報をS501で選択したと判定した場合、処理をS508に進め、マイクロホン情報リスト内にS501で選択されていないマイクロホン情報があると判定した場合、処理をS501に進める。
S508において、音場生成部4は、RAM213に記憶された予め定められた出力フォーマットにLFE(Low Frequency Element:低域周波数成分)が含まれるか否かを判定する。音場生成部4は、予め定められた出力フォーマットにLFEが含まれると判定した場合、処理をS509へ進め、予め定められた出力フォーマットにLFEが含まれないと判定した場合、図12の処理を終了する。
S508において、音場生成部4は、RAM213に記憶された予め定められた出力フォーマットにLFE(Low Frequency Element:低域周波数成分)が含まれるか否かを判定する。音場生成部4は、予め定められた出力フォーマットにLFEが含まれると判定した場合、処理をS509へ進め、予め定められた出力フォーマットにLFEが含まれないと判定した場合、図12の処理を終了する。
S509において、音場生成部4は、各出力チャンネルに係る音響信号を加算して、予め定められたLPF(Low Pass Filter:低域通過フィルタ)を掛けることにより、LFE信号を生成する。音場生成部4は、生成したLFE信号を、RAM213に用意されたLFE出力チャンネルのバッファに加算する。
図12の処理により、RAM213に用意された出力チャネルそれぞれについてのバッファに指定聴取点における音場の情報が記憶される。
図12の処理により、RAM213に用意された出力チャネルそれぞれについてのバッファに指定聴取点における音場の情報が記憶される。
以上、本実施形態では、情報処理装置200は、指定聴取点と各マイクロホンアレイ1との位置関係に基づいて、各マイクロホンアレイ1について、1つ以上のどの指向性の音響信号を取得するかを決定する。情報処理装置200は、各マイクロホンアレイ1について、決定した指向性の音響信号を取得し、取得した音響信号を用いて、指定聴取点における音場を再現するための信号を生成することとした。このように、情報処理装置200は、指定聴取点と各マイクロホンアレイ1との位置関係に基づき、各マイクロホンアレイ1から取得する音響信号の指向性を決定する。これにより、情報処理装置200は、より適切な指向性の音響信号を取得することができ、このように取得された音響信号を用いて、指定聴取点におけるより適切な音場の情報を生成できる。
<実施形態2>
本実施形態の情報処理装置200は、映像信号から得られる情報を用いて、収音対象範囲で生じたイベントに応じた音場の情報の生成を行う。
まず、図13を用いて、本実施形態の情報処理装置200の処理の概要を説明する。図13の例では、撮影・収音対象は、サッカーの試合が行われている競技場である。情報処理装置200は、カメラ101によって撮影された映像1014を解析することにより、イベントである位置1011でのシュートを検出する。そして、情報処理装置200は、検出したイベントの位置に最も近い位置1009のマイクロホンアレイ1の収音信号に対して、イベントの位置に向けた指向性1010の音響信号を取得する。情報処理装置200は、取得したこの信号を、聴取点1001から見た競技イベント位置の方向である1012に配置して音場を生成することにより、聴取点における音場を生成する。以上が、本実施形態の情報処理装置200の処理の概要である。
本実施形態の情報処理装置200は、映像信号から得られる情報を用いて、収音対象範囲で生じたイベントに応じた音場の情報の生成を行う。
まず、図13を用いて、本実施形態の情報処理装置200の処理の概要を説明する。図13の例では、撮影・収音対象は、サッカーの試合が行われている競技場である。情報処理装置200は、カメラ101によって撮影された映像1014を解析することにより、イベントである位置1011でのシュートを検出する。そして、情報処理装置200は、検出したイベントの位置に最も近い位置1009のマイクロホンアレイ1の収音信号に対して、イベントの位置に向けた指向性1010の音響信号を取得する。情報処理装置200は、取得したこの信号を、聴取点1001から見た競技イベント位置の方向である1012に配置して音場を生成することにより、聴取点における音場を生成する。以上が、本実施形態の情報処理装置200の処理の概要である。
本実施形態における生成システムのシステム構成は、実施形態1と同様である。また、本実施形態の情報処理装置200のハードウェア構成についても、実施形態1と同様である。
本実施形態における情報処理装置200の機能構成の一例について図14を用いて説明する。本実施形態の情報処理装置200は、図2と同様の機能構成要素1−13に加えて、映像取得部102、イベント検出部103を含む。
映像取得部102は、情報処理装置200に接続されたカメラ101から受信したRAW画像に対して現像や映像調整などの処理を行って、映像信号を生成し、イベント検出部103に出力する。カメラ101は、撮影対象範囲の撮像をCMOS等のセンサーで画素ごとに取り込み、AD変換したデジタル映像信号を出力する撮像装置である。
本実施形態における情報処理装置200の機能構成の一例について図14を用いて説明する。本実施形態の情報処理装置200は、図2と同様の機能構成要素1−13に加えて、映像取得部102、イベント検出部103を含む。
映像取得部102は、情報処理装置200に接続されたカメラ101から受信したRAW画像に対して現像や映像調整などの処理を行って、映像信号を生成し、イベント検出部103に出力する。カメラ101は、撮影対象範囲の撮像をCMOS等のセンサーで画素ごとに取り込み、AD変換したデジタル映像信号を出力する撮像装置である。
イベント検出部103は、映像取得部102から出力された映像信号を解析して、イベント(例えば、サッカーにおけるキックやシュート、ゴール等)の発生と発生位置とを検出する。そして、イベント検出部103は、検出した情報をイベント情報として、イベントの発生位置に最も近いマイクロホンアレイ1に対応する指向性成分生成部3へ出力する。
イベント情報を受信した指向性成分生成部3は、受信したイベント情報に基づいて、イベントの発生位置に向けた指向性の音響信号を生成し、出力する。
イベント情報を受信した指向性成分生成部3は、受信したイベント情報に基づいて、イベントの発生位置に向けた指向性の音響信号を生成し、出力する。
図15は、本実施形態の情報処理装置200の処理の一例を示すフローチャートである。図15のS101−S104、S106−S111それぞれの処理は、図5と同様である。
本実施形態では、情報処理装置200は、S101−S104の処理と、S1001−S1002の処理と、を並列実行する。
S1001において、映像取得部102は、カメラ101から受信したRAW画像に対して、予め定められた処理(現像や映像調整等の処理)を行うことで、映像信号を生成し、イベント検出部103に出力する。
本実施形態では、情報処理装置200は、S101−S104の処理と、S1001−S1002の処理と、を並列実行する。
S1001において、映像取得部102は、カメラ101から受信したRAW画像に対して、予め定められた処理(現像や映像調整等の処理)を行うことで、映像信号を生成し、イベント検出部103に出力する。
S1002において、イベント検出部103は、S1001で出力された映像信号を解析し、イベントの検出を行う。S1002の処理の詳細は、図16で後述する。
S1003において、指向性成分生成部3は、S104で生成した「指向性情報」と、S1002で生成されたイベント情報と、に基づいて、撮影・収音対象の範囲の外側やイベントの発生位置に向けた指向性の音響信号を生成する。S1003の処理の詳細は、図18で後述する。
S1003において、指向性成分生成部3は、S104で生成した「指向性情報」と、S1002で生成されたイベント情報と、に基づいて、撮影・収音対象の範囲の外側やイベントの発生位置に向けた指向性の音響信号を生成する。S1003の処理の詳細は、図18で後述する。
図16は、S1002の処理の詳細の一例を示すフローチャートである。
S1101において、イベント検出部103は、映像取得部102から出力された映像信号を解析し、予め定められた被写体オブジェクト(例えば、人物やボール等)を検出して抽出する。イベント検出部103は、例えば、映像信号から輪郭を抽出し、その形状に対して学習結果に基づく認識処理を行う等の方法で、被写体オブジェクトを検出する。
S1101において、イベント検出部103は、映像取得部102から出力された映像信号を解析し、予め定められた被写体オブジェクト(例えば、人物やボール等)を検出して抽出する。イベント検出部103は、例えば、映像信号から輪郭を抽出し、その形状に対して学習結果に基づく認識処理を行う等の方法で、被写体オブジェクトを検出する。
S1102において、イベント検出部103は、時間的に連続するフレームにおいて同じオブジェクトと判定された物の位置を追っていくことにより、被写体オブジェクトの軌跡を抽出する。
S1103において、イベント検出部103は、S1101で検出した被写体オブジェクト、S1102で取得された軌跡の少なくとも1つに基づいて、予め定められたイベントを検出する。イベント検出部103は、例えば、撮影対象としている競技がサッカーで、被写体オブジェクトとしてボールを検出し、ボールの軌跡が人物と認識されたオブジェクトと接触して方向転換した場合、キックが発生しているとして、イベントとしてキックを検出する。
S1103において、イベント検出部103は、S1101で検出した被写体オブジェクト、S1102で取得された軌跡の少なくとも1つに基づいて、予め定められたイベントを検出する。イベント検出部103は、例えば、撮影対象としている競技がサッカーで、被写体オブジェクトとしてボールを検出し、ボールの軌跡が人物と認識されたオブジェクトと接触して方向転換した場合、キックが発生しているとして、イベントとしてキックを検出する。
S1104において、イベント検出部103は、イベント情報を新規に生成して、RAM213に記憶する。
S1104で生成されるイベント情報のデータ構造について、図17を用いて説明する。競技イベント情報は、「マイクロホンID」と、「イベント発生座標」と、の項目を含む。「マイクロホンID」は、対応するイベントが発生した位置に最も近いマイクロホンアレイ1のIDを示す。「イベント発生座標」は、対応するイベントが発生した位置のXYZ座標系における座標を示す。S1104の処理の完了時点では、S1104で生成されたイベント情報の「マイクロホンID」と「イベント発生座標」との項目には、予め定められた初期値が入力されている。
S1104で生成されるイベント情報のデータ構造について、図17を用いて説明する。競技イベント情報は、「マイクロホンID」と、「イベント発生座標」と、の項目を含む。「マイクロホンID」は、対応するイベントが発生した位置に最も近いマイクロホンアレイ1のIDを示す。「イベント発生座標」は、対応するイベントが発生した位置のXYZ座標系における座標を示す。S1104の処理の完了時点では、S1104で生成されたイベント情報の「マイクロホンID」と「イベント発生座標」との項目には、予め定められた初期値が入力されている。
S1105において、イベント検出部103は、映像取得部102から出力された映像信号における被写体オブジェクト位置に基づき、イベントが発生した位置の実空間(XYZ座標系)における座標を検出する。イベント検出部103は、映像信号内に撮影されている実空間の3Dモデル上にマッピングを行う手法等を用いる。例えば、イベント検出部103は、映像信号上の複数の目印(例えば、ピッチ上の白線の角等)と実空間上の座標とのマッピングを事前に行っておく。そして、イベント検出部103は、イベントが発生した時点のフレームにおいて、処理対象のオブジェクトと、フレーム上におけるこれら目印との位置関係より、実空間モデルに落とし込むことにより実空間上の座標を推定する。イベント検出部103は、検出した座標を、S1104で生成したイベント情報の「イベント発生座標」に記憶する。
S1106において、イベント検出部103は、マイクロホンアレイ1のうち、S1106で検出した座標が示すイベントの発生位置に最も近いマイクロホンアレイ1を、座標管理部8により管理される座標に基づき特定する。そして、イベント検出部103は、特定したマイクロホンアレイ1のIDをS1104で生成したイベント情報の「マイクロホンID」に記憶する。
S1107において、イベント検出部103は、S1106で記憶したIDのマイクロホンアレイ1に対応する指向性成分生成部3に、RAM213に記憶されたイベント情報を出力する。
S1107において、イベント検出部103は、S1106で記憶したIDのマイクロホンアレイ1に対応する指向性成分生成部3に、RAM213に記憶されたイベント情報を出力する。
図18は、S1003の処理の詳細の一例を示すフローチャートである。図18のS401、S402−S406、S407−S410それぞれの処理は、図11と同様である。
S1201において、指向性成分生成部3は、イベント検出部103からイベント情報を受信したか否かを判定する。指向性成分生成部3は、イベント検出部103からイベント情報を受信したと判定した場合、処理をS1202に進め、イベント検出部103からイベント情報を受信していないと判定した場合、処理をS402に進める。
S1201において、指向性成分生成部3は、イベント検出部103からイベント情報を受信したか否かを判定する。指向性成分生成部3は、イベント検出部103からイベント情報を受信したと判定した場合、処理をS1202に進め、イベント検出部103からイベント情報を受信していないと判定した場合、処理をS402に進める。
S1202において、指向性成分生成部3は、新規に「指向性情報」を生成し、S401で選択したマイクロホン情報に追加する。
S1203において、指向性成分生成部3は、S401で選択したマイクロホン情報に格納されている「マイクロホン座標」と、イベント検出部103から受信したイベント情報に格納されている「イベント発生座標」と、を用いて、以下の処理を行う。即ち、指向性成分生成部3は、「マイクロホン座標」の位置から「イベント発生座標」の位置を見た方向を求める。そして、指向性成分生成部3は、求めた方向の情報を、S1202で生成した「指向性情報」の「聴取点から見た指向性の方向」の値に決定する。これにより、以降のS406の処理において、マイクロホンアレイ1からイベントの発生位置への方向に向けた指向性の音響信号が生成される。
S1203において、指向性成分生成部3は、S401で選択したマイクロホン情報に格納されている「マイクロホン座標」と、イベント検出部103から受信したイベント情報に格納されている「イベント発生座標」と、を用いて、以下の処理を行う。即ち、指向性成分生成部3は、「マイクロホン座標」の位置から「イベント発生座標」の位置を見た方向を求める。そして、指向性成分生成部3は、求めた方向の情報を、S1202で生成した「指向性情報」の「聴取点から見た指向性の方向」の値に決定する。これにより、以降のS406の処理において、マイクロホンアレイ1からイベントの発生位置への方向に向けた指向性の音響信号が生成される。
S1204において、指向性成分生成部3は、S401で選択したマイクロホン情報の「聴取点座標」及び「聴取点向き」と、イベント検出部103から受信したイベント情報の「イベント発生座標」と、を用いて、以下の処理を行う。即ち、指向性成分生成部3は、指定聴取点からイベントの発生位置を見た場合の方向を求める。そして、指向性成分生成部3は、求めた方向の情報を、S1202で生成した「指向性情報」の「配置方向」の値として決定する。
これにより、情報処理装置200は、後のS106の処理で、発生したイベントに係る音響信号を、指定聴取点から見たそのイベントの発生方向に配置することができる。
これにより、情報処理装置200は、後のS106の処理で、発生したイベントに係る音響信号を、指定聴取点から見たそのイベントの発生方向に配置することができる。
S1205において、指向性成分生成部3は、S1202で生成した「指向性情報」の「指向性種別」の値を、予め定めた指向性の種類を示す値に決定する。なお、予め定めた指向性の種類の情報は、予めRAM213に記憶されている。
S1206において、指向性成分生成部3は、S402で選択した選択指向性情報の「配置方向」の値が決定されているか否かを判定する。指向性成分生成部3は、選択指向性情報の「配置方向」の値が決定されていると判定した場合、処理をS408に進め、選択指向性情報の「配置方向」の値が決定されていないと判定した場合、処理をS407に進める。
S1206において、指向性成分生成部3は、S402で選択した選択指向性情報の「配置方向」の値が決定されているか否かを判定する。指向性成分生成部3は、選択指向性情報の「配置方向」の値が決定されていると判定した場合、処理をS408に進め、選択指向性情報の「配置方向」の値が決定されていないと判定した場合、処理をS407に進める。
以上、本実施形態の処理により、情報処理装置200は、発生したイベントに係る音響信号が適切な方向に配置された音場を生成できる。
本実施形態では、生成システムは、イベントの種類に関わらず、一律に同じ指向性のイベントに係る音響信号を取得することとした。ただし、生成システムは、イベントの種類を検出し、検出したイベントの種類に応じて、イベントに係る音響信号の指向性の種類を変更するようにしてもよい。例えば、生成システムは、ラグビーにおけるキックのイベントについてはより狭い指向性の音響信号を取得し、ラインアウトやスクラムの場合は単一指向性等のより広い指向性の音響信号を取得するようにしてもよい。
本実施形態では、生成システムは、イベントの種類に関わらず、一律に同じ指向性のイベントに係る音響信号を取得することとした。ただし、生成システムは、イベントの種類を検出し、検出したイベントの種類に応じて、イベントに係る音響信号の指向性の種類を変更するようにしてもよい。例えば、生成システムは、ラグビーにおけるキックのイベントについてはより狭い指向性の音響信号を取得し、ラインアウトやスクラムの場合は単一指向性等のより広い指向性の音響信号を取得するようにしてもよい。
<その他の実施形態>
実施形態1、2では、位置、方向を、それぞれ、三次元座標系の座標値、水平角と俯角とロール角との組み合わせで表現されることとした。ただし、位置、方向を、他の形式で表現されることとしてもよい。
また、実施形態1、2では、生成システムの収音部は、マイクロホンアレイ1であるとした。ただし、生成システムは、収音部として、指向特性の異なる複数のマイクロホンを含む収音部であれば、マイクロホンアレイと異なる収音部を含むこととしてもよい。例えば、生成システムは、収音部として、無指向性マイクロホンと複数の指向性マイクロホンとの組み合わせを用いることとしてもよい。その場合、生成システムは、指定聴取点からの距離に応じて、収音部において使用されるマイクロホンを適宜選択するようにしてもよい。
実施形態1、2では、位置、方向を、それぞれ、三次元座標系の座標値、水平角と俯角とロール角との組み合わせで表現されることとした。ただし、位置、方向を、他の形式で表現されることとしてもよい。
また、実施形態1、2では、生成システムの収音部は、マイクロホンアレイ1であるとした。ただし、生成システムは、収音部として、指向特性の異なる複数のマイクロホンを含む収音部であれば、マイクロホンアレイと異なる収音部を含むこととしてもよい。例えば、生成システムは、収音部として、無指向性マイクロホンと複数の指向性マイクロホンとの組み合わせを用いることとしてもよい。その場合、生成システムは、指定聴取点からの距離に応じて、収音部において使用されるマイクロホンを適宜選択するようにしてもよい。
また、実施形態1、2では、生成システムは、マイクロホンアレイ1により収音された信号を即時に処理することによって音場生成を行っている。ただし、他の例として、生成システムは、マイクロホンアレイ1群で収音した信号を記憶メディアに一旦記憶しておき、収音後に聴取点座標・向きの決定指示操作を行うことによって音場生成を行うようにしてもよい。
また、実施形態1、2では、生成システムは、指定聴取点との距離が閾値L以上のマイクロホンアレイ1について、無指向性の音響信号を取得することとした。ただし、生成システムは、指定聴取点との距離が閾値L以上のマイクロホンアレイ1について、マイクロホンアレイ1から見て、聴取点方向と逆向きの指向性を持つ音響信号を取得してもよい。その場合、生成システムは、指定聴取点から見たマイクロホン方向に配置することで、指定聴取点における音場を生成してもよい。
また、実施形態1、2では、生成システムは、指定聴取点との距離が閾値L以上のマイクロホンアレイ1について、無指向性の音響信号を取得することとした。ただし、生成システムは、指定聴取点との距離が閾値L以上のマイクロホンアレイ1について、マイクロホンアレイ1から見て、聴取点方向と逆向きの指向性を持つ音響信号を取得してもよい。その場合、生成システムは、指定聴取点から見たマイクロホン方向に配置することで、指定聴取点における音場を生成してもよい。
また、実施形態1、2では、生成システムは、指向性成分生成部3を介し、取得した音響信号に対して、指定聴取点からの距離による重み付けを行うこととした。ただし、生成システムは、指向性成分生成部3を介して重み係数だけを求めて、後に、音場生成部4を介して、レンダリングの際に重み付けを行うようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した生成システムの機能構成の一部又は全てをハードウェアとして情報処理装置200に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。
101 マイクロホンアレイ
200 情報処理装置
211 CPU
200 情報処理装置
211 CPU
Claims (11)
- 複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得手段と、
前記取得手段により前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成手段と、
を有する情報処理装置。 - 前記生成手段は、前記取得手段により前記複数の収音部それぞれについて取得された音響信号と、前記聴取点と前記複数の収音部との位置関係と、に基づいて、前記聴取点に対応する音響信号を生成する請求項1に記載の情報処理装置。
- 前記生成手段は、前記取得手段により前記複数の収音部それぞれについて取得された音響信号であって、音響信号に対応する収音部と前記聴取点との距離が小さい程、重くなるように重み付けされた音響信号に基づいて、前記聴取点に対応する音響信号を生成する請求項1又は2に記載の情報処理装置。
- 前記取得手段は、前記聴取点と収音部との距離が設定された閾値以上である場合、前記収音部について無指向性の音響信号を取得する請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記取得手段は、前記聴取点と収音部との距離が設定された閾値以上である場合、前記収音部について、前記収音部に対して前記聴取点の方向と逆向きの方向に係る指向性の音響信号を取得する請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記取得手段は、前記聴取点と収音部との距離が設定された閾値未満である場合、前記収音部について、前記聴取点から見て他の収音部の方向と異なる1つ以上の方向それぞれに係る音響信号を取得する請求項1乃至5の何れか1項に記載の情報処理装置。
- 前記取得手段は、前記聴取点と収音部との距離が予め定められた閾値未満である場合、前記収音部について、前記収音部の両隣の2つの収音部の一方の収音部と前記聴取点とを結ぶ線分と、前記2つの収音部の他方の収音部と前記聴取点とを結ぶ線分と、のなす角αと、前記収音部と異なる2つの収音部であって、互いに隣接する前記2つの収音部の一方の収音部と前記聴取点とを結ぶ線分と、前記2つの収音部の他方の収音部と前記聴取点とを結ぶ線分と、のなす角βと、に基づいて決定された数だけ、指向性の異なる音響信号を取得する請求項1乃至6の何れか1項に記載の情報処理装置。
- 収音対象の範囲において発生したイベントを検出する検出手段を更に有し、
前記取得手段は、更に、前記複数の収音部それぞれと前記検出手段により検出されたイベントとの距離に応じて前記複数の収音部から決定される収音部について、前記収音部から前記イベントへ向かう指向性の音響信号を取得し、
前記生成手段は、前記取得手段により取得された前記収音部から前記イベントへ向かう指向性の音響信号の配置方向を、前記聴取点から見て前記イベントの方向として、前記聴取点に対応する音響信号を生成する請求項1乃至7の何れか1項に記載の情報処理装置。 - 前記複数の収音部それぞれは、マイクロホンアレイである請求項1乃至8の何れか1項に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得ステップと、
前記取得ステップで前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至9の何れか1項に記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103734A JP2020198545A (ja) | 2019-06-03 | 2019-06-03 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103734A JP2020198545A (ja) | 2019-06-03 | 2019-06-03 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020198545A true JP2020198545A (ja) | 2020-12-10 |
Family
ID=73649357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103734A Pending JP2020198545A (ja) | 2019-06-03 | 2019-06-03 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020198545A (ja) |
-
2019
- 2019-06-03 JP JP2019103734A patent/JP2020198545A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11838707B2 (en) | Capturing sound | |
US10855967B2 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2021175022A1 (zh) | 地图构建方法、重定位方法及装置、存储介质和电子设备 | |
CN107943275B (zh) | 模拟环境显示***及方法 | |
CN112270754B (zh) | 局部网格地图构建方法及装置、可读介质和电子设备 | |
CN108370471A (zh) | 分布式音频捕获和混合 | |
CN109151442B (zh) | 一种图像拍摄方法及终端 | |
CN113014983B (zh) | 视频播放方法、装置、存储介质及电子设备 | |
CN113676592B (zh) | 录音方法、装置、电子设备及计算机可读介质 | |
JPWO2020017261A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10664128B2 (en) | Information processing apparatus, configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium | |
US10970932B2 (en) | Provision of virtual reality content | |
CN109314832A (zh) | 音频信号处理方法和设备 | |
JP6410769B2 (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
WO2017112070A1 (en) | Controlling audio beam forming with video stream data | |
CN107079219A (zh) | 面向用户体验的音频信号处理 | |
JP2018019295A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
CN111428551A (zh) | 密度检测方法、密度检测模型训练方法和装置 | |
JP2020198545A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112233146B (zh) | 位置推荐方法及装置、计算机可读存储介质和电子设备 | |
CN114205695A (zh) | 一种音响参数确定方法和*** | |
CN111512640A (zh) | 多相机设备 | |
CN112927718B (zh) | 感知周围环境的方法、装置、终端和存储介质 | |
JP6664456B2 (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
CN113707165A (zh) | 音频处理方法、装置及电子设备和存储介质 |