JP2021153292A - 情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】物理的な空間の形状を考慮した音像定位を実現する情報処理方法および情報処理装置を提供する。【解決手段】情報処理方法は、第１の空間情報および第２の空間情報の設定を受け付け、前記第１の空間情報における第１座標において、音像を定位させる位置を示す第１音像定位情報を受け付け、前記第１音像定位情報を前記第２の空間情報における第２座標に対応する第２音像定位情報に変換する。【選択図】 図２

Description

本発明の一実施形態は、情報処理方法および情報処理装置に関する。

特許文献１の音声調整卓は、直方体形状の空間において、音像定位点の座標を受け付ける。特許文献１の音声調整卓は、受け付けた座標に音像が定位するように、空間に配置された複数のスピーカから出力される音の音量を計算する。

特開２０１８−７４２８０号公報

しかし、コンサートホール等の物理的な空間は、直方体形状に限らない。したがって、特許文献１の音声調整卓の様な装置は、直方体空間で音像定位点の座標を受け付けても、物理的な空間の座標を考慮していないため、利用者の意図通りの位置に音像を定位させることができない場合がある。

そこで、本発明の一実施形態の目的の一つは、物理的な空間の形状を考慮した音像定位を実現する情報処理方法および情報処理装置を提供することにある。

本発明の一実施形態に係る情報処理方法は、第１の空間情報および第２の空間情報の設定を受け付け、前記第１の空間情報における第１座標において、音像を定位させる位置を示す第１音像定位情報を受け付け、前記第１音像定位情報を前記第２の空間情報における第２座標に対応する第２音像定位情報に変換する。

本発明の一実施形態によれば、物理的な空間の形状を考慮した音像定位を実現することができる。

情報処理装置１の構成を示すブロック図である。 表示器１５に表示される音像定位の設定画面の一例を示す図である。 プロセッサ１２の動作を示すフローチャートである。 座標変換の概念を説明する図である。 座標変換の概念を説明する図である。 変形例１に係る情報処理装置１Ａの構成を示すブロック図である。 情報処理装置１Ａの動作を示すフローチャートである。 レイヤの概念を示す図である。 座標変換の変形例を説明する図である。 複数の音源５５Ａおよび音源５５Ｂの音像定位置情報を編集する場合の表示器１５に表示される音像定位の設定画面の一例を示す図である。 図１１（Ａ）および図１１（Ｂ）は、複数の音源５５Ａおよび音源５５Ｂの音像定位置情報を編集する場合の表示器１５に表示される音像定位の設定画面の一例を示す図である。 表示器１５に表示される音像定位の設定画面の一例を示す図である。 図１３（Ａ）および図１３（Ｂ）は、表示器１５に表示される音像定位の設定画面の一例を示す図である。 図１４（Ａ）および図１４（Ｂ）は、表示器１５に表示される音像定位の設定画面の一例を示す図である。 図１５（Ａ）および図１５（Ｂ）は、表示器１５に表示される音像定位の設定画面の一例を示す図である。 情報処理装置１または情報処理装置１Ａの動作を示すフローチャートである。

図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、通信部１１、プロセッサ１２、ＲＡＭ１３、フラッシュメモリ１４、表示器１５、およびユーザＩ／Ｆ１６を備えている。

情報処理装置１は、パーソナルコンピュータ、スマートフォン、あるいはタブレット型コンピュータ等からなる。また、オーディオミキサ等の音響機器も、情報処理装置の一例である。

通信部１１は、サーバ等の他装置と通信する。通信部１１は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）等の無線通信機能、ＵＳＢまたはＬＡＮ等の有線通信機能を有する。通信部１１は、例えばコンサートホール等の物理的な空間の形状を示す空間情報を取得する。空間情報は、ある位置を基準点（原点）とした２次元または３次元の座標を示す情報である。空間情報は、例えばコンサートホール等の物理的な空間の形状を示すＣＡＤデータ等の２次元または３次元の座標を含む情報である。

プロセッサ１２は、ＣＰＵ、ＤＳＰ、またはＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等からなる。プロセッサ１２は、記憶媒体であるフラッシュメモリ１４からプログラムを読み出し、ＲＡＭ１３に一時記憶することで、種々の動作を行う。プロセッサ１２は、読み出したプログラムにより、空間設定部１４１、音像定位情報受付部１４２、および変換部１４３等の機能的構成を実現する。なお、プログラムは、フラッシュメモリ１４に記憶している必要はない。プロセッサ１２は、例えば、サーバ等の他装置から必要な場合にダウンロードしてＲＡＭ１３に一時記憶してもよい。

表示器１５は、ＬＣＤ等からなる。表示器１５は、例えば図２に示す様な音像定位の設定画面を表示する。

ユーザＩ／Ｆ１６は、操作部の一例である。ユーザＩ／Ｆ１６は、マウス、キーボード、あるいはタッチパネル等からなる。ユーザＩ／Ｆ１６は、利用者の操作を受け付ける。なお、タッチパネルは、表示器１５に積層されていてもよい。

図２および図３を参照して、音像定位の設定画面について説明する。図２は、表示器１５に表示される音像定位の設定画面の一例を示す図である。図３は、プロセッサ１２の動作を示すフローチャートである。図２に示す音像定位の設定画面は、コンテンツの編集画面の一例である。利用者は、音像定位の設定画面において、コンテンツに含まれる音源の音像定位位置を編集する。

表示器１５は、論理座標系の論理空間画像１５１、物理座標系の物理空間画像１５２を表示する。この例では、表示器１５は、画面の左上に論理空間画像１５１を表示し、画面の右上に物理空間画像１５２を表示する。また、表示器１５は、画面の左下に論理平面画像１５３を表示し、画面の右下に物理平面画像１５４を表示する。

論理空間画像１５１は、一例として直方体形状である。論理平面画像１５３は、論理平面画像１５３を平面視した図に対応する。物理空間画像１５２は、一例として八角柱形状である。物理平面画像１５４は、物理空間画像１５２を平面視した図に対応する。

まず、プロセッサ１２の空間設定部１４１は、論理的な空間に対応する情報である第１の空間情報、およびコンサートホール等の物理的な空間に対応する情報である第２の空間情報の設定を受け付ける（Ｓ１１）。

第１の空間情報は、論理座標である。論理座標は、例えば、０〜１の正規化された座標である。本実施形態では、空間設定部１４１は、第１の空間情報として直方体の空間情報の設定を受け付けるが、他にも角錐、角柱、多面体、円柱、円錐、あるいは球体等の様々な空間情報を受け付けてもよい。また、空間設定部１４１は、２次元空間の情報を受け付けてもよい。２次元空間は、例えば、直線で構成される多角形、曲線で構成される円形、あるいは直線および曲線で構成される複合形状等を含む。

第２の空間情報は、物理座標である。物理座標は、コンサートホール等の物理的な空間の形状を示すＣＡＤデータ等に含まれる２次元または３次元の座標である。プロセッサ１２の空間設定部１４１は、例えばフラッシュメモリ１４からＣＡＤデータ等の２次元または３次元の座標を含む情報を読み出すことで、第２の空間情報の設定を受け付ける。

次に、空間設定部１４１は、論理空間画像１５１、物理空間画像１５２、論理平面画像１５３、および物理平面画像１５４を生成し、表示器１５に表示する（Ｓ１２）。図２の例では、論理空間画像１５１は、立方体形状の立面図の画像であり、論理平面画像１５３は、正方形状の画像である。物理空間画像１５２および物理平面画像１５４は、コンサートホール等の実在の空間を模した画像である。空間設定部１４１は、ＣＡＤデータ等の２次元または３次元の座標を含む情報に基づいて、物理空間画像１５２および物理平面画像１５４を生成する。

次に、プロセッサ１２の音像定位情報受付部１４２は、スピーカの配置情報または音像定位情報を受け付ける（Ｓ１３）。スピーカの配置情報および音像定位情報は、それぞれ論理座標系の座標であり、第１音像定位情報の一例である。

利用者は、ユーザＩ／Ｆ１６を操作して、図２に示す論理空間画像１５１または論理平面画像１５３において、スピーカの配置情報または音像定位情報を編集する。例えば、図２の例では、利用者は、論理空間画像１５１および論理平面画像１５３において、センタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、および右リアスピーカ５０ＳＲを配置している。センタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、および右リアスピーカ５０ＳＲは、高さ方向の中間に配置されている。

論理平面画像１５３における左上の頂点の位置を原点とすると、左スピーカ５０Ｌの座標は、（ｘ，ｙ）＝（０，０）である。右スピーカ５０Ｒの座標は、（ｘ，ｙ）＝（１，０）である。センタスピーカ５０Ｃの座標は、（ｘ，ｙ）＝（０．５，０）である。左リアスピーカ５０ＳＬの座標は、（ｘ，ｙ）＝（０，１）である。右リアスピーカ５０ＳＲの座標は、（ｘ，ｙ）＝（１，１）である。

また、図２の例では、利用者は、論理空間画像１５１および論理平面画像１５３において、中心よりも左側（左端と中心との間）に、音源５５の音像定位位置を配置している。すなわち、音源５５の座標は、（ｘ，ｙ）＝（０．２５，０．５）である。

図２の例では、センタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、右リアスピーカ５０ＳＲ、および音源の高さ方向の座標は、すべてｚ＝０．５である。

音像定位情報受付部１４２は、例えば、図２に示した様に、利用者のスピーカの配置情報または音源の音像定位情報を編集する操作を受け付けることで、スピーカの配置情報または音源位置情報を受け付ける（Ｓ１３：Ｙｅｓ）。

変換部１４３は、受け付けたスピーカの配置情報または音源位置情報に基づいて、座標変換を行なう（Ｓ１４）。

図４および図５は、座標変換の概念を説明する図である。変換部１４３は、スピーカの配置情報および音源位置情報を、論理座標系の第１空間情報の第１座標から、物理座標系の第２空間情報の第２座標に変換する。図４の例では、物理座標系において８つの基準点７０Ａ（ｘ１，ｙ１），７０Ｂ（ｘ２，ｙ２），７０Ｃ（ｘ３，ｙ３），７０Ｄ（ｘ４，ｙ４），７０Ｅ（ｘ５，ｙ５），７０Ｆ（ｘ６，ｙ６），７０Ｇ（ｘ７，ｙ７），７０Ｈ（ｘ８，ｙ８）、および変換前の論理座標系の８つの基準点７０Ａ（０，０），７０Ｂ（０．２５，０），７０Ｃ（０．７５，０），７０Ｄ（１，０），７０Ｅ（０，１），７０Ｆ（０．２５，１），７０Ｇ（０．７５，１），７０Ｈ（１，１）がある。変換部１４３は、変換前の論理座標系の８つの基準点の重心Ｇ、および変換後の物理座標系の８つの基準点の重心Ｇ’を求め、これら重心を中心とした三角形のメッシュを生成する。変換部１４３は、論理座標系の三角形の内部空間と物理座標系の三角形の内部空間を所定の座標変換によって変換する。変換は、例えばアフィン変換を用いる。アフィン変換は、幾何学的変換の一例である。アフィン変換は、変換後のｘ座標（ｘ’）およびｙ座標（ｙ’）をそれぞれ変換前のｘ座標（ｘ）およびｙ座標（ｙ）の関数として表す。すなわち、アフィン変換は、ｘ’＝ａｘ＋ｂｙ＋ｃおよびｙ’＝ｄｘ＋ｅｙ＋ｆの式で座標変換を行なう。変換前の三角形の三頂点の座標と、変換後の三角形の三頂点の座標より、係数ａ〜ｆは、一意に求めることができる。変換部１４３は、すべての三角形について同様にアフィン変換係数を求めることにより、論理座標系の第１座標から、物理座標系の第２空間情報の第２座標に変換する。なお、係数ａ〜ｆは、最小自乗法により求めてもよい。

そして、変換部１４３は、求めた係数ａ〜ｆを用いて、スピーカの配置情報および音源位置情報の座標を変換する。図５では、変換部１４３は、上記式を用いて、音源５５の論理座標系の座標（ｘ，ｙ）を物理座標系の座標（ｘ’，ｙ’）に変換する。

これにより、スピーカの配置情報および音源位置情報の座標は、物理的な空間の形状に合わせた第２音像定位情報に変換される。プロセッサ１２は、第２音像定位情報を、例えばフラッシュメモリ１４に記憶する。あるいは、プロセッサ１２は、第２音像定位情報を、例えば通信部１１を介して音響機器等の他装置に送信する。音響機器は、受信した第２音像定位情報に基づいて、音像を定位させる処理を行なう。音響機器は、第２音像定位情報に含まれるスピーカの配置情報および音源位置情報に基づいて、指定された位置に音源の音像が定位するように、複数のスピーカに出力する音信号のレベルバランスを計算し、音信号のレベルを調整する。よって、本実施形態の情報処理装置１は、物理的な空間の形状を考慮した音像定位を実現することができる。

なお、上記メッシュは、三角形以外の多角形のメッシュや、それらの組み合わせでも良い。例えば、変換部１４３は、図９に示す様に、四角形のメッシュを生成し、座標変換を行なってもよい。変換手法は、上記アフィン変換に限らない。例えば、変換部１４３は、以下の様な式に基づいて四角形のメッシュを変換し、音源５５の論理座標系の座標（ｘ，ｙ）を物理座標系の座標（ｘ’，ｙ’）に変換してもよい（ただしｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３はそれぞれ変換点の座標である）。
ｘ’＝ｘ０＋（ｘ１−ｘ０）ｘ＋（ｘ３−ｘ０）ｙ＋（ｘ０−ｘ１＋ｘ２−ｘ３）ｘｙ
ｙ’＝ｙ０＋（ｙ１−ｙ０）ｘ＋（ｙ３−ｙ０）ｙ＋（ｙ０−ｙ１＋ｙ２−ｙ３）ｘｙ
変換手法は、他にも、例えば、等長写像、相似変換、あるいは射影変換等の他の幾何学的変換であってもよい。例えば射影変換は、ｘ’＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）およびｙ’＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）の式で表される。係数は、上述のアフィン変換と同様に求める。例えば四角形の射影変換を構成する８つの係数（ａ〜ｈ）は、８連立方程式により一意に求めることができる。または、係数は、例えば最小自乗法により求めてもよい。

図６は、変形例１に係る情報処理装置１Ａの構成を示すブロック図である。図７は、情報処理装置１Ａの動作を示すフローチャートである。情報処理装置１と同じ構成、機能、および動作は、同じ符号を付し、説明を省略する。

情報処理装置１Ａは、さらにオーディオＩ／Ｆ１７を備えている。オーディオＩ／Ｆ１７は、アナログオーディオ端子またはデジタルオーディオ端子等からなる。プロセッサ１２は、オーディオＩ／Ｆ１７を介して、音源の音信号を取得する。これにより、プロセッサ１２は、音信号取得部として機能する。また、音信号は通信部１１を介して外部の装置から取得してもよい。また、音信号は、フラッシュメモリ１４に記憶していてもよい。

オーディオＩ／Ｆ１７は、コンサートホール等の実在の空間に設置された、センタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、および右リアスピーカ５０ＳＲに接続されている。

プロセッサ１２は、ＤＳＰを備えている。プロセッサ１２は、音信号に対して所定の信号処理を施す。プロセッサ１２は、オーディオＩ／Ｆ１７を介して、信号処理後の音信号をセンタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、および右リアスピーカ５０ＳＲに出力する。

プロセッサ１２は、フラッシュメモリ１４に記憶されているプログラムをＲＡＭ１３に読み出すことにより、さらに定位処理部１４４の機能的構成を実現する。プロセッサ１２の定位処理部１４４は、変換部１４３で変換したスピーカの配置情報および音源位置情報（第２音像定位情報）に基づいて、音信号を第２音像定位情報に対応する位置に音像定位させる処理を行なう（Ｓ１５）。すなわち、定位処理部１４４は、第２音像定位情報に含まれるスピーカの配置情報および音源位置情報に基づいて、指定された位置に音源の音像が定位するように、センタスピーカ５０Ｃ、左スピーカ５０Ｌ、右スピーカ５０Ｒ、左リアスピーカ５０ＳＬ、および右リアスピーカ５０ＳＲに出力する音信号のレベルバランスを計算し、音信号のレベルを調整する。この様に、情報処理装置は、音像定位処理を行なってもよい。

図２乃至図５では、２次元空間（平面）における座標変換を示した。しかし、情報処理装置は、３次元空間における座標変換を行なってもよい。この場合、変換後の座標のｘ’，ｙ’，ｚ’は、それぞれｘ，ｙ，ｚの関数で表される。変換部１４３は、当該関数に基づいて、スピーカの配置情報および音源位置情報を変換する。

また、３次元空間の情報は、平面座標（ｘ，ｙ）と、高さ方向に複数のレイヤを示す情報と、含む態様であってもよい。

図８は、レイヤの概念を示す図である。利用者は、ユーザＩ／Ｆ１６を操作して、レイヤ、スピーカの配置情報または音源の音像定位情報を編集する。図８の例では、利用者は、高さ方向に並ぶ３つのレイヤの高さを指定する。また、利用者は、指定したレイヤのいずれかにおいてスピーカの配置または音源の音像を指定する。図８の例では、利用者は、レイヤ１５１Ｌ１、レイヤ１５１Ｌ２、レイヤ１５１Ｌ３、レイヤ１５２Ｌ１、レイヤ１５２Ｌ２、およびレイヤ１５２Ｌ３を指定し、これらのレイヤからスピーカの配置または音源の音像を指定する。

変換部１４３は、物理座標系の平面の座標（ｘ’，ｙ’）を上述の様に幾何学的変換で変換する。高さの座標は、利用者により指定される。図８の例では、論理座標系のレイヤ１５１Ｌ１は、ｚ＝１．０であり、レイヤ１５１Ｌ２は、ｚ＝０．５の座標であり、レイヤ１５１Ｌ３は、ｚ＝０である。物理座標系のレイヤ１５２Ｌ１は、実在の空間における最も高い位置、すなわち天井面の座標に対応する。物理座標系のレイヤ１５２Ｌ３は、実在の空間における最も低い位置、すなわち床面の座標に対応する。レイヤ１５２Ｌ２は、天井面の座標および床面の座標の間の座標である。例えば、音源５５が論理座標系のレイヤ１５１Ｌ３に配置されている場合、変換部１４３は、物理座標系のレイヤ１５２Ｌ３の高さ方向の座標ｚ３を、第２音像定位情報の高さ情報として求める。

また、スピーカの配置情報または音源位置情報のいずれかは、複数のレイヤ間の座標を指定してもよい。例えば、スピーカの配置情報はレイヤで指定し、音源位置情報は３次元空間内の自由な位置を指定してもよい。この場合、変換部１４３は、複数のレイヤの高さ情報に基づいて、音源位置情報を求める。変換部１４３は、例えば線形補間により、物理座標系の座標を求める。例えば、音源がレイヤ１５１Ｌ１およびレイヤ１５１Ｌ２の間にある場合、変換部１４３は、変換前の音源の座標ｚから変換後の音源座標ｚ’を、以下のよう求める。

ｚ’＝（ｚ−ｚ１）＊（ｚ’２−ｚ’１）／（ｚ２−ｚ１）＋ｚ’１
無論、レイヤの数は３つに限らない。レイヤの数は、２つまたは４つ以上であってもよい。

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

例えば、利用者は、物理空間画像１５２または物理平面画像１５４において、スピーカの配置情報および音源の音像定位情報を編集してもよい。この場合、空間設定部１４１は、第１の空間情報として物理座標系の空間情報を受け付け、第２の空間情報として論理座標系の空間情報を受け付ける。変換部１４３は、物理座標系のスピーカの配置情報および音源位置情報（第１音像定位情報）を、論理座標系のスピーカの配置情報および音源位置情報（第２音像定位情報）に変換する。

なお、音源の数は１つに限らない。図１０は、複数の音源５５Ａおよび音源５５Ｂの音像定位置情報を編集する場合の表示器１５に表示される音像定位の設定画面の一例を示す図である。図１０の例では、情報処理装置１または情報処理装置１Ａは、論理平面画像１５３および物理平面画像１５４を表示するが、実際には論理空間画像１５１および物理空間画像１５２も表示している。情報処理装置１の動作は、図３に示したフローチャートと同様であり、情報処理装置１Ａの動作は、図７に示したフローチャートと同様である。

この例では、利用者は、論理平面画像１５３および物理平面画像１５４において、音源５５Ａおよび音源５５Ｂの音像定位位置を配置している。音源５５Ａの座標は、（ｘ１，ｙ１）＝（０．２５，０．５）である。音源５５Ｂの座標は、（ｘ２，ｙ２）＝（０．２５，０．２５）である。

利用者は、論理平面画像１５３または物理平面画像１５４に配置された音源５５Ａおよび音源５５Ｂをそれぞれ編集する。例えば、利用者は、物理平面画像１５４に配置された音源５５Ａおよび音源５５Ｂをそれぞれ異なる位置に変更する。変換部１４３は、変更後の音源５５Ａおよび音源５５Ｂの物理座標系の音源位置座標（第１音像定位情報）をそれぞれ、論理座標系の音源位置情報（第２音像定位情報）に変換する。

また、第１音像定位情報は、複数の音像を含むグループとして規定されてもよい。図１１（Ａ）および図１１（Ｂ）は、複数の音源５５Ａおよび音源５５Ｂの音像定位置情報を編集する場合の表示器１５に表示される音像定位の設定画面の一例を示す図である。

この場合、音源５５Ａおよび音源５５Ｂは、同じグループとして規定されている。そして、第１音像定位情報は、音源５５Ａおよび音源５５Ｂを含むグループとして規定されている。さらに、第２音像定位情報も、音源５５Ａおよび音源５５Ｂを含むグループとして規定されている。利用者は、論理平面画像１５３または物理平面画像１５４に配置された音源５５Ａまたは音源５５Ｂのいずれかを編集する。音像定位情報受付部１４２は、同じグループに含まれる複数の音像のそれぞれの相対的な位置関係を保持して第１音像定位情報を変更する。例えば、利用者は、図１１（Ａ）に示す様に、論理平面画像１５３に配置された音源５５Ａを（ｘ１，ｙ１）＝（０．２５，０．５）の座標から、（ｘ１，ｙ１）＝（０．７５，０．７５）の座標に変更する。音像定位情報受付部１４２は、同じグループに含まれる音源５５Ａおよび音源５５Ｂの相対的な位置関係を保持して音源５５Ｂの座標を変更する。音源５５Ａの座標は、（ｘ１，ｙ１）＝（０．２５，０．５）である。音源５５Ｂの座標は、（ｘ２，ｙ２）＝（０．２５，０．２５）である。この場合、相対的な位置は、（ｘ１−ｘ２，ｙ１−ｙ２）＝（０．０．２５）である。したがって、音像定位情報受付部１４２は、音源５５Ｂの座標を（ｘ２，ｙ２）＝（０．７５．０．５）に変更する。表示器１５は、変更後の音源５５Ａおよび音源５５Ｂの座標に応じて論理平面画像１５３に音源５５Ａおよび音源５５Ｂを表示する。そして、変換部１４３は、変更後の音源５５Ａおよび音源５５Ｂの論理座標系の音源位置座標（第１音像定位情報）をそれぞれ、物理座標系の音源位置情報（第２音像定位情報）に変換する。あるいは、変換部１４３は、論理座標系における変更後の音源５５Ａおよび相対的な位置の座標をそれぞれ、物理座標系に変換してもよい。この場合、変換部１４３は、物理座標系の音源５５Ａの座標および相対的な位置の座標に基づいて、物理座標系の音源５５Ｂの位置を求めてもよい。その後、表示器１５は、図１１（Ｂ）に示す様に、物理平面画像１５４において、音源５５Ａおよび音源５５Ｂの位置を変更する。

利用者は、物理平面画像１５４に配置された音源５５Ａおよび音源５５Ｂのいずれかを変更してもよい。例えば、利用者が物理平面画像１５４に配置された音源５５Ａを変更すると、音像定位情報受付部１４２は、同じグループに含まれる音源５５Ａおよび音源５５Ｂの相対的な位置関係を保持して音源５５Ｂの座標を変更する。表示器１５は、変更後の音源５５Ａおよび音源５５Ｂの座標に応じて物理平面画像１５４に音源５５Ａおよび音源５５Ｂを表示する。そして、変換部１４３は、変更後の音源５５Ａおよび音源５５Ｂの物理座標系の音源位置座標（第１音像定位情報）をそれぞれ、論理座標系の音源位置情報（第２音像定位情報）に変換する。その後、表示器１５は、論理平面画像１５３において、音源５５Ａおよび音源５５Ｂの位置を変更する。

なお、表示器１５は、例えばグループの代表点を表示してもよい。ユーザは、グループの代表点の位置を変更することで、音源５５Ａおよび音源５５Ｂの位置をまとめて変更してもよい。この場合も、音像定位情報受付部１４２は、同じグループに含まれる音源５５Ａおよび音源５５Ｂの相対的な位置関係を保持して各音源の座標を変更する。

次に、物理平面画像１５４内にさらに別の物理座標系の空間情報（第３の空間情報）の指定を受け付ける例について説明する。図１２は、情報処理装置１または情報処理装置１Ａの表示器１５に表示される音像定位の設定画面の一例を示す図である。説明を容易にするために、図１２においてはスピーカの表示を省略する。この場合も情報処理装置１の動作は、図３に示したフローチャートと同様であり、情報処理装置１Ａの動作は、図７に示したフローチャートと同様である。

この例では、表示器１５は、物理平面画像１５４内にさらに物理平面画像１５５を表示する。物理平面画像１５５は、物理平面画像１５４に対応する第１の空間情報とは別の第３の空間情報に対応する。第３の空間情報も、物理座標である。空間設定部１４１は、図３および図７に示したＳ１１の動作において、例えばフラッシュメモリ１４からＣＡＤデータ等の２次元または３次元の座標を含む情報を読み出すことで、第３の空間情報の設定を受け付ける。この様にして、空間設定部１４１は、表示器１５に表示した第１の空間情報の中に第３の空間情報の指定を受け付ける。音像定位情報受付部１４２は、論理平面画像１５３または物理平面画像１５４において音像の位置を受け付ける。変換部１４３は、物理座標系の音源位置座標を論理座標系の音源位置座標に変換する、または論理座標系の音源位置座標を物理座標系の音源位置座標に変換する。

また、音像定位情報受付部１４２は、論理平面画像１５３または物理平面画像１５４において音像の位置の変更を受け付ける。例えば、図１３（Ａ）に示す様に、利用者は、物理平面画像１５４に配置された音源５５の位置を物理平面画像１５５の右上端部に指定する。

表示器１５は、物理平面画像１５４において変更後の音源５５の位置を表示する。図１３（Ａ）の例では、表示器１５は、物理平面画像１５４内に表示されている物理平面画像１５５の右上端部に音源５５の位置を表示する。

変換部１４３は、アフィン変換等により、物理座標系の音源位置座標（第１音像定位情報）を論理座標系の音源位置座標（第２音像定位情報）に変換する。上述した実施形態では、変換部１４３は、物理平面画像１５４に対応する物理座標と、論理平面画像１５３に対応する論理座標との変換を行った。一方、図１３（Ａ）の例では、物理座標系の第３の空間情報は、論理座標系の第２の空間情報に対応する。例えば、物理平面画像１５５の左下端部の座標が論理座標系の座標（ｘ，ｙ）＝（０，０）に対応し、物理平面画像１５５の左上端部の座標が論理座標系の座標（ｘ，ｙ）＝（０，１）に対応し、物理平面画像１５５の右下端部の座標が論理座標系の座標（ｘ，ｙ）＝（１，０）に対応し、物理平面画像１５５の右上端部の座標が論理座標系の座標（ｘ，ｙ）＝（１，１）に対応する。

変換部１４３は、物理平面画像１５５の第３の空間情報と論理平面画像１５３の第２の空間情報と、に基づいて論理座標系の音源位置座標を求める。つまり、変換部１４３は、物理平面画像１５５に対応する物理座標を、論理平面画像１５３に対応する論理座標に変換する。

図１３（Ａ）の例では、音源５５は、物理平面画像１５５の右上端部に位置する。したがって、音源５５の論理座標系の音源位置座標は、（ｘ，ｙ）＝（１，１）となる。表示器１５は、変換部１４３で求められた論理座標系の音源位置座標に音源５５の位置を表示する。

この様に、変換部１４３は、第３の空間情報と第２の空間情報に基づいて、物理座標系の第１音像定位情報を論理座標系の第２音像定位情報に変換する。

なお、図１４（Ａ）に示す様に、ユーザは、音源５５の位置を、物理平面画像１５４内で物理平面画像１５５の外にも指定できる。物理平面画像１５５の端部の座標は、論理平面画像１５３の端部の座標に対応する。そのため、音源５５が物理平面画像１５５の外に位置する場合、変換部１４３は、論理座標系の音源５５の座標のｘ座標またはｙ座標の少なくともいずれかを、論理平面画像１５３の端部に対応する０または１に対応させる。図１４（Ｂ）の例では、音源５５の座標のｘ座標およびｙ座標ともに物理平面画像１５５の外に指定されているため、ユーザが音源５５の位置を物理平面画像１５５の右上端部からさらに右上に変更しても論理平面画像１５３の音源５５の位置は、（ｘ，ｙ）＝（１，１）のまま変化しない。

なお、同じグループで規定された複数の音源についても同様である。同じグループで規定された複数の音源のうち少なくとも１つの音源が物理平面画像１５５の外に指定された場合、変換部１４３は、当該外に指定された音源について、論理座標系の音源５５の座標のｘ座標またはｙ座標の少なくともいずれかを、０または１に対応させる。そして、当該外に指定された音源と同じグループとして規定されている、当該外に指定された音源以外の他の音源については、当該外に指定された音源の、当該指定された物理座標系の座標と、当該グループにおいて保持すべきそれぞれの相対的な位置関係となるように、物理座標系の座標を変更する。

上述した様に、利用者は、論理平面画像１５３または物理平面画像１５４に配置された音源５５を編集する。ユーザは、図１５（Ａ）の様に音源５５が物理平面画像１５５の外に位置する場合において、論理平面画像１５３の音源５５の位置を変更する場合もある。上述の様に、物理座標系の物理平面画像１５５は、論理座標系の論理平面画像１５３に対応する。図１５（Ａ）の様に音源５５が物理平面画像１５５の外に位置し、ユーザが論理平面画像１５３の音源５５の位置を変更した場合において、仮に、変換部１４３が論理座標系の座標を物理座標系の座標に変換すると、物理座標系の音源５５の位置が物理平面画像１５５の外から物理平面画像１５５の中に瞬間的に移動することなる。音響機器は、物理座標系の音源５５の位置に基づいて、音像を定位させる処理を行なうため、物理座標系の音源５５の位置が物理平面画像１５５の外から物理平面画像１５５の中に瞬間的に移動すると、音像の定位位置が急激に変化する。

そこで、情報処理装置１または情報処理装置１Ａは、図１６のフローチャートに示す動作を行う。情報処理装置１または情報処理装置１Ａは、音源５５が物理平面画像１５５の外に位置する状態で、論理座標系で音源５５の位置の変更を受け付けた場合に、図１６に示す動作を行う。まず変換部１４３は、物理座標系の音源５５の位置（物理座標系の音源位置座標（第1音像定位情報））を求める（Ｓ３１）。具体的には、変換部１４３は、論理座標系における、音源５５の移動前と移動後の相対的な位置を求める。そして、変換部１４３は、当該相対的な位置を物理座標系の相対的な位置に換算して、物理座標系における移動後の音源５５の位置を求める。この場合、変換部１４３は、物理平面画像１５５に対応する物理座標系と論理座標系とを対応付けて、論理座標系の相対的な位置を物理座標系の相対的な位置に換算してもよい。あるいは、変換部１４３は、物理平面画像１５４に対応する物理座標系と論理座標系とを対応付けて、論理座標系の相対的な位置を物理座標系の相対的な位置に換算してもよい。

また、変換部１４３は、物理平面画像１５４に対応する物理座標系と論理座標系とを対応付けて、論理座標系における音源５５の移動後の座標を物理座標系の移動後の座標に変換し、物理座標系における移動後の音源５５の位置を求めてもよい。

そして、表示器１５は、図１５（Ａ）に示す様に、まず物理座標系の物理平面画像１５４において、移動後の音源５５の位置を表示する（Ｓ３２）。この時、表示器１５は、論理座標系における移動後の音源５５の位置を薄い色で表示したり点線で表示したりして仮の位置として表示することが好ましい。

その後、変換部１４３は、移動後の物理座標系の音源５５の座標を論理座標系の座標（論理座標系の音源位置座標（第２音像定位情報））に変換する（Ｓ３３）。物理座標系の音源５５の座標が物理平面画像１５５の中になる場合、論理座標系の音源５５の座標は、論理平面画像１５３の中になる。一方、物理座標系の音源５５の座標が物理平面画像１５５の外になる場合、変換部１４３は、論理座標系の音源５５の座標を、論理座標系の端部の座標である０または１に対応させる。この場合、図１５（Ｂ）に示す様に、論理座標系の音源５５は、論理平面画像１５３の端部に位置したままになる。

以上の様にして、音源５５が物理平面画像１５５の外に位置する場合に、論理平面画像１５３の音源５５の位置の変更を受け付けた場合でも、物理座標系の音源５５の位置が急激に変化することがない。音像の定位位置が急激に変化することがない。なお、図１６に示す動作は、音源５５が物理平面画像１５５の外に位置する状態で、論理座標系で音源５５の位置の変更を受け付けた場合に限らず、論理座標系で音源５５の位置の変更を受け付けた場合は常に動作を行うようにしてもよい。

（その他の例）
論理座標系の画像（論理空間画像１５１および論理平面画像１５３）と、物理座標系の画像（物理空間画像１５２および物理平面画像１５４）とは、別々の異なる装置で表示してもよい。例えば、論理座標系の画像は情報処理装置１で表示し、物理座標系の画像は情報処理装置１Ａに表示してもよい。この場合、情報処理装置１および情報処理装置１Ａは、互いに空間情報および音源の座標を示す情報を送受信し、共有すればよい。

図１０〜図１５では、２次元空間（平面）における音源の表示および座標変換を示した。しかし、３次元空間における音源の表示および座標変換を行なってもよい。また、図８に示した様に、３次元空間の情報は、平面座標（ｘ，ｙ）と、高さ方向に複数のレイヤを示す情報と、含む態様であってもよい。

１，１Ａ…情報処理装置
１１…通信部
１２…プロセッサ
１３…ＲＡＭ
１４…フラッシュメモリ
１５…表示器
１６…ユーザＩ／Ｆ
１７…オーディオＩ／Ｆ
５０Ｃ…センタスピーカ
５０Ｌ…左スピーカ
５０Ｒ…右スピーカ
５０ＳＬ…左リアスピーカ
５０ＳＲ…右リアスピーカ
５５…音源
７０Ａ，７０Ｂ，７０Ｃ，７０Ｄ，７０Ｅ，７０Ｆ，７０Ｇ，７０Ｈ…基準点
１４１…空間設定部
１４２…音像定位情報受付部
１４３…変換部
１４４…定位処理部
１５１…論理空間画像
１５２…物理空間画像
１５１Ｌ１，１５１Ｌ２，１５１Ｌ３，１５２Ｌ１，１５２Ｌ２，１５２Ｌ３…レイヤ
１５３…論理平面画像
１５４…物理平面画像

Claims (23)

1. 第１の空間情報および第２の空間情報の設定を受け付け、
   前記第１の空間情報における第１座標において、音像を定位させる位置を示す第１音像定位情報を受け付け、
   前記第１音像定位情報を前記第２の空間情報における第２座標に対応する第２音像定位情報に変換する、
   情報処理方法。
2. 音信号を取得し、
   前記音信号を前記第２音像定位情報に対応する位置に前記音像を定位させる、
   請求項１に記載の情報処理方法。
3. 前記第１の空間情報および前記第２の空間情報は２次元空間の情報を含む、
   請求項１または請求項２に記載の情報処理方法。
4. 前記第１の空間情報および前記第２の空間情報は３次元空間の情報を含む、
   請求項１または請求項２に記載の情報処理方法。
5. 前記３次元空間の情報は、平面座標と、高さ方向に複数のレイヤを示す情報と、含む、
   請求項４に記載の情報処理方法。
6. 前記複数のレイヤの高さ情報に基づいて、前記第１音像定位情報を前記第２音像定位情報に変換する、
   請求項５に記載の情報処理方法。
7. 前記第１音像定位情報は、複数の音像を含むグループとして規定され、
   前記複数の音像の少なくともいずれか１つの位置の変更を受け付けた場合、前記グループに含まれる前記複数の音像のそれぞれの相対的な位置関係を保持して前記第１音像定位情報を変更し、
   前記グループに含まれる前記複数の音像のそれぞれの前記第１音像定位情報を前記第２音像定位情報に変換する、
   請求項１乃至請求項６のいずれか１項に記載の情報処理方法。
8. 前記第１の空間情報は、論理的な空間に対応する情報であり、
   前記第２の空間情報は、物理的な空間に対応する情報である、
   請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
9. 前記第１の空間情報は、物理的な空間に対応する情報であり、
   前記第２の空間情報は、論理的な空間に対応する情報である、
   請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
10. 前記第１の空間情報、前記第２の空間情報、および前記第１音像定位情報、および前記第２音像定位情報を表示し、
    表示した前記第１の空間情報の中にさらに物理的な空間に対応する第３の空間情報の指定を受け付ける、
    請求項９に記載の情報処理方法。
11. 前記第２の空間情報において前記音像の位置の変更を受け付け、
    前記受け付けた変更に基づいて、前記第１音像定位情報を求め、その後、前記第３の空間情報と前記第２の空間情報に基づいて、前記第１音像定位情報を第２音像定位情報に変換する、
    請求項１０に記載の情報処理方法。
12. 第１の空間情報および第２の空間情報の設定を受け付ける空間設定部と、
    前記第１の空間情報における第１座標において、音像を定位させる位置を示す第１音像定位情報を受け付ける音像定位情報受付部と、
    前記第１音像定位情報を前記第２の空間情報における第２座標に対応する第２音像定位情報に変換する変換部と、
    を備えた情報処理装置。
13. 音信号を取得する音信号取得部と、
    前記音信号を前記第２音像定位情報に対応する位置に前記音像を定位させる定位処理部と、
    を備えた請求項１２に記載の情報処理装置。
14. 前記第１の空間情報および前記第２の空間情報は２次元空間の情報を含む、
    請求項１２または請求項１３に記載の情報処理装置。
15. 前記第１の空間情報および前記第２の空間情報は３次元空間の情報を含む、
    請求項１２または請求項１３記載の情報処理装置。
16. 前記３次元空間の情報は、平面座標と、高さ方向に複数のレイヤを示す情報と、含む、
    請求項１５に記載の情報処理装置。
17. 前記変換部は、前記複数のレイヤの高さ情報に基づいて、前記第１音像定位情報を前記第２音像定位情報に変換する、
    請求項１６に記載の情報処理装置。
18. 第１音像定位情報は、複数の音像を含むグループとして規定され、
    音像定位情報受付部は、前記複数の音像の少なくともいずれか１つの位置の変更を受け付けた場合、前記グループに含まれる前記複数の音像のそれぞれの相対的な位置関係を保持して前記第１音像定位情報を変更し、
    前記変換部は、前記グループに含まれる前記複数の音像のそれぞれの前記第１音像定位情報を前記第２音像定位情報に変換する、
    請求項１２乃至請求項１７のいずれか１項に記載の情報処理装置。
19. 前記第１の空間情報は、論理的な空間に対応する情報であり、
    前記第２の空間情報は、物理的な空間に対応する情報である、
    請求項１２乃至請求項１８のいずれか１項に記載の情報処理装置。
20. 前記第１の空間情報は、物理的な空間に対応する情報であり、
    前記第２の空間情報は、論理的な空間に対応する情報である、
    請求項１２乃至請求項１８のいずれか１項に記載の情報処理装置。
21. 前記第１の空間情報、前記第２の空間情報、および前記第１音像定位情報、および前記第２音像定位情報を表示する表示器と、
    前記第１音像定位情報を指定する利用者の操作を受け付ける操作部と、
    を備えた、請求項１２乃至請求項２０のいずれか１項に記載の情報処理装置。
22. 前記第１の空間情報、前記第２の空間情報、および前記第１音像定位情報、および前記第２音像定位情報を表示する表示器と、
    前記第１音像定位情報を指定する利用者の操作を受け付ける操作部と、
    を備え、
    前記操作部は、前記表示器に表示した前記第１の空間情報の中に第３の空間情報の指定を受け付ける、
    請求項２１に記載の情報処理装置。
23. 前記操作部は、前記第２の空間情報において前記音像の位置の変更を受け付け、
    前記変換部は、前記受け付けた変更に基づいて、前記第１音像定位情報を求め、その後、前記第３の空間情報と前記第２の空間情報に基づいて、前記第１音像定位情報を第２音像定位情報に変換する、
    請求項２２に記載の情報処理装置。

Images