JP2000013900A - 音再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 音源に関する３次元情報を生かして処理装置
への負荷を低減した、複数の音源の３次元音効果処理を
する音再生装置を提供する。 【解決手段】 音源の特徴を記憶するオブジェクト記憶
部を有し、再生する３次元仮想空間内のシーンが特定さ
れると、聞手の位置と向き、音源の位置を特定し、聞手
の正面方向と、聞手から音源を直線でつないだ方向との
方向の差に応じて、シーン構成部が配置した音源をグル
ープ分けし、同一のグループに区分された音源を、それ
ぞれ音源と聞手との距離の関係を考慮した重み付けをし
て一つの音源としてまとめ、これに対し、方向をパラメ
ータとした３次元音効果処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、３次元仮想空間内
に仮想的に配置される複数の仮想的な音源（以下、単に
音源という）から音声を発生させる音再生装置に関す
る。

【０００２】

【従来の技術】従来の、３次元仮想空間における音再生
技術では、一つ一つの音源に対する演算を忠実に行うこ
とで、いかに臨場感のある３次元音を実現するかを追求
して、様々な手法の試みがなされている。これらの手法
はいずれも演算処理量が多く、特別な演算装置を必要と
する。そのため、映像と３次元音とを同時に再生するシ
ステムを構築する場合、処理する映像の品質や映像の内
容と、３次元音を実現するシステムの性能との調整をと
り、３次元音処理における精度を決めて、個々のシステ
ムが構成されている。近年、コンピュータの性能の急速
な発達により、パソコンによるビデオ、グラフィックス
及び音などのマルチメディアデータのリアルタイム再生
が可能となってきた。このため、パソコンで３次元仮想
空間に３次元音を自由に生成したいというニーズが高ま
っている。

【０００３】

【発明が解決しようとする課題】３次元仮想空間におい
て３次元音を生成する場合、３次元仮想空間内に多数の
音源を自由に配置することが必要となる。従来のように
個々の音源について音源演算処理を行う方法では、音源
の数が増加すると処理量も増加してしまい、３次元音の
効果を限られた処理量で実現するのは難しい。

【０００４】また、従来の方法では、音再生装置を種々
のシステムに実装する場合、そのシステム毎に、３次元
音再生の装置を再設計する必要が生じる。このため、ユ
ーザが複数の音源が存在する３次元仮想空間における音
再生技術を積極的に利用できない問題点を有していた。

【０００５】本発明は上記従来の問題点を解決するため
のものであり、音源に関する３次元情報を生かして処理
量を低減し、同一の３次元空間内に存在する複数の音源
の音声を３次元空間に生成する３次元音効果処理をする
音再生装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】この目的を達成するため
に本発明の音再生装置は、複数の音源をそれぞれ表す複
数の音データを記憶したオブジェクト記憶部と、前記複
数の音データに基づく音源を配置する位置と聞手の頭の
位置と頭の向きとが指定されると、３次元空間内に複数
の音データに基づく音源と聞手を配置して音声を再生す
るシーンを構成するシーン構成部と、前記シーン構成部
から前記音データを配置する位置と前記聞手の頭の位置
と頭の向きを取得し、前記聞手の頭の位置を原点として
前記複数の音源の相対位置を求め、前記相対位置より、
前記聞手の頭の正面方向と、前記原点と前記複数の音源
をそれぞれ直線でつないだ方向との角度差を基準に、特
定の角度差内に存在する前記複数の音データを一つのグ
ループとするグループ分けをする音源管理部と、前記音
源管理部により区分された全てのグループに対し、前記
音源管理部により同一のグループに区分された音データ
を前記オブジェクト記憶部より同一グループ音データと
して取得し、前記同一グループ音データのレベルに、前
記聞手との距離が遠い程レベルを下げる前記聞手との距
離の関係を考慮した重みづけをし、前記同一のグループ
に区分され、かつ、前記重みづけをされた音データを加
算した音データに前記同一グループに区分した時の前記
角度差の平均の角度差を音源の方向とし、前記角度差を
パラメータとした３次元音効果処理を行う再生音発生部
とを有している。

【０００７】また本発明の音再生方法は、複数の音源を
それぞれ表す複数の音データを記憶したオブジェクト記
憶部に記憶させる工程と、前記複数の音データに基づく
音源を配置する位置と聞手の頭の位置と頭の向きとが指
定することにより、３次元空間内に複数の音データに基
づく音源と聞手を配置して音声を再生するシーンを構成
するシーン構成工程と、前記シーン構成工程で得た前記
音データを配置する位置と前記聞手の頭の位置と頭の向
きを示すデータから、前記聞手の頭の位置を原点として
前記複数の音源の相対位置を求め、前記相対位置より、
前記聞手の頭の正面方向と、前記原点と前記複数の音源
をそれぞれ直線でつないだ方向との角度差を基準に、特
定の角度差内に存在する前記複数の音データを一つのグ
ループとするグループ分けをする音源管理工程と、前記
音源管理工程において区分された全てのグループに対
し、前記音源管理工程により同一のグループに区分され
た音データを前記オブジェクト記憶部より同一グループ
音データとして取得し、前記同一グループ音データのレ
ベルに、前記聞手との距離が遠い程レベルを下げる前記
聞手との距離の関係を考慮した重みづけをし、前記同一
のグループに区分され、かつ、前記重みづけをされた音
データを加算した音データに前記同一グループに区分し
た時の前記角度差の平均の角度差を音源の方向とし、前
記角度差をパラメータとした３次元音効果処理を行う再
生音発生工程とを有している。

【０００８】上記の構成により、３次元仮想空間におけ
る音源の位置が聞手の頭の位置を原点とする座標系によ
って表される、上記座標系における複数の音源を、同一
の中心角を有する領域毎にグループ分けし、グループ分
けした音源を１つの音源として音データを参照して３次
元音効果処理がなされる。

【０００９】また、本発明の他の観点の装置は３次元音
効果処理の負荷を計測し、前記３次元音効果処理の負荷
の計測値と入力された最大負荷値から再生するシステム
のリアルタイムで処理可能な最大音源数を決定する最大
音源数決定部を持ち、音源の方向により、聴覚の方向判
別能力が異なるという人間の聴覚特性に基づいたグルー
プ分け情報を持ち、前記最大音源数決定部より求められ
た前記最大音源数以内の数に、シーン内に配置する音デ
ータのグループ分けをする音源管理部と、音データを記
憶したオブジェクト記憶部と、配置する複数の音源と前
記複数の音源を配置する位置と聞手の頭の位置と頭の向
きが指定されると、３次元空間内に複数の音源と聞手を
配置し、再生するシーンを構成するシーン構成部と、前
記音源管理部により区分された全てのグループに対し、
前記音源管理部により同一のグループに区分された音デ
ータを前記オブジェクト記憶部より同一グループ音デー
タとして取得し、前記同一グループ音データのレベル
に、前記聞手との距離が遠い程レベルを下げる前記聞手
との距離の関係を考慮した重みづけをし、前記同一のグ
ループに区分され、かつ、前記重みづけをされた音デー
タを加算した音データに前記同一グループに区分した時
の前記角度差の平均の角度差を音源の方向とし、前記角
度差をパラメータとした３次元音効果処理を行う再生音
発生部とを有している。

【００１０】さらに本発明の音再生方法は、３次元音効
果処理の負荷を計測する工程と、前記３次元音効果処理
の負荷の計測値と入力された最大負荷値から再生するシ
ステムのリアルタイムで処理可能な最大音源数を決定す
る最大音源数決定工程を持ち、音源の方向により、聴覚
の方向判別能力が異なるという人間の聴覚特性に基づい
たグループ分け情報を持ち、前記最大音源数決定工程よ
り求められた前記最大音源数以内の数に、シーン内に配
置する音データのグループ分けをする音源管理工程と、
音データをオブジェクト記憶部に記憶する工程と、配置
する複数の音源と前記複数の音源を配置する位置と聞手
の頭の位置と頭の向きが指定されると、３次元空間内に
複数の音源と聞手を配置し、再生するシーンを構成する
シーン構成工程と、前記音源管理工程により区分された
全てのグループに対し、同一のグループに区分された音
データを前記オブジェクト記憶部より同一グループ音デ
ータとして取得し、前記同一グループ音データのレベル
に、前記聞手との距離が遠い程レベルを下げる前記聞手
との距離の関係を考慮した重みづけをし、前記同一のグ
ループに区分され、かつ、前記重みづけをされた音デー
タを加算した音データに前記同一グループに区分した時
の前記角度差の平均の角度差を音源の方向とし、前記角
度差をパラメータとした３次元音効果処理を行う再生音
発生工程とを有している。

【００１１】上記の構成により、３次元仮想空間におけ
る音源のリアルタイムで処理可能な最大音源数を求め、
人間の聴覚特性に基づいて音源を最大音源数以内の数の
グループに分ける。グループ分けした音源を１つの音源
として音データを参照して３次元効果処理がなされる。

【００１２】また他の観点の音再生装置は、音データを
記憶したオブジェクト記憶部と、音データに基づく音源
を配置する位置と聞手の頭の位置と頭の向きが指定され
ると３次元空間内に複数の音源と聞手を配置し、聞手が
注目する音源である注目音源が指定されると前記注目音
源に別情報を付けて再生するシーンを構成する、シーン
構成部と、前記注目音源である音データを一つの注目グ
ループとし、前記聞手の頭の位置を原点とした前記注目
音源の相対位置を求め、前記シーン構成部から前記注目
音源を除いた音データの前記聞き手の頭の位置を原点と
して前記注目音源を除いた複数の音データの相対位置を
求め、前記相対位置より、前記聞手の頭の正面方向と、
前記原点と前記注目音源を除いた複数の音データをそれ
ぞれ直線でつないだ方向との角度差を基準に特定の角度
差内に存在する前記注目音源を除いた複数の音データを
グループ分けする音源管理部と、前記音源管理部により
区分された全てのグループに対し、前記音源管理部によ
り同一のグループに区分された音データを前記オブジェ
クト記憶部より同一グループ音データとして取得し同一
のグループに区分された音データのレベルに、前記聞手
との距離が遠い程レベルを下げる前記聞手との距離の関
係を考慮した重みづけをし、前記同一のグループに区分
されて重みづけをされた音データを加算した音データに
前記同一グループに区分した時の前記角度差の平均角度
差を音源の方向とし、前記角度差をパラメータとした３
次元音効果処理を行う再生音発生部とを有している。

【００１３】また他の観点の音再生方法は、音データを
オブジェクト記憶部に記憶する工程と、音データに基づ
く音源を配置する位置と聞手の頭の位置と頭の向きが指
定されると３次元空間内に複数の音源と聞手を配置し、
聞手が注目する音源である注目音源が指定されると前記
注目音源に別情報を付けて再生するシーンを構成する、
シーン構成工程と、前記注目音源である音データを一つ
の注目グループとし、前記聞手の頭の位置を原点とした
前記注目音源の相対位置を求め、前記シーン構成部から
前記注目音源を除いた音データの前記聞き手の頭の位置
を原点として前記注目音源を除いた複数の音データの相
対位置を求め、前記相対位置より、前記聞手の頭の正面
方向と、前記原点と前記注目音源を除いた複数の音デー
タをそれぞれ直線でつないだ方向との角度差を基準に特
定の角度差内に存在する前記注目音源を除いた複数の音
データをグループ分けする音源管理工程と、前記音源管
理工程により区分された全てのグループに対し、同一の
グループに区分された音データを前記オブジェクト記憶
部より同一グループ音データとして取得し同一のグルー
プに区分された音データのレベルに、前記聞手との距離
が遠い程レベルを下げる前記聞手との距離の関係を考慮
した重みづけをし、前記同一のグループに区分されて重
みづけをされた音データを加算した音データに前記同一
グループに区分した時の前記角度差の平均角度差を音源
の方向とし、前記角度差をパラメータとした３次元音効
果処理を行う再生音発生工程とを有している。

【００１４】上記の構成により、３次元仮想空間におけ
る音源の位置が聞手の頭の位置を原点とする座標系によ
って表される。上記座標系における複数の音源を、同一
の中心角を有する領域毎にグループ分けし、グループ分
けした音源を１つの音源として音データを参照して３次
元音効果処理がなされる。この際注目音源については１
つのグループとして処理をする。

【００１５】

【発明の実施の形態】以下、本発明の好適な実施例につ
いて、図１ないし図１０を参照しながら説明する。

【００１６】《実施例１》図１は本発明の実施例１にお
ける音再生装置のブロック図である。図１において、オ
ブジェクト記憶部１の出力端はシーン構成部２と再生音
発生部４の各入力端に接続されている。シーン構成部２
の出力端は音源管理部３の入力端に接続されている。シ
ーン構成部２の他の入力端には外部入力信号２ａが入力
される。音源管理部３の出力端は再生音発生部４の他の
入力端に接続されている。

【００１７】以下、図１ないし図６を参照しながらこの
音再生装置の動作を説明する。オブジェクト記憶部１
は、音データとして、ＰＣＭサンプル形式のデータとＭ
ＩＤＩ形式(Musical Instrument Digital Interface fo
rmat)のデータを形式別に区分して記憶している。外部
入力信号２ａにより、音データのファイル名と、この音
データに基づく音源を配置する３次元空間内の場所と、
聞手の頭の位置と頭の向きが指定される。シーン構成部
２は、外部入力信号２ａによって指定された絶対座標系
に基づいて音データに基づく音源と聞手を配置し、再生
すべきシーンを構成する。音源管理部３は、シーン構成
部２により構成された再生シーンの音源の座標を、聞手
の頭の位置を原点０とし、Ｚ軸の正方向を顔の正面の向
きとした新たな座標系に変換する。次に、変換後の座標
から、原点を中心とし、Ｚ軸の正方向に対する縦方向の
角度と横方向の角度をそれぞれの音源について求め、そ
れぞれの角度から、音源をグループ分けする。再生音発
生部４では、グループ分けされたグループ毎に、一つの
グループにまとめられた全ての音源の音データに対し
て、聞手と音源との距離に反比例する重み付け値を掛け
る。重み付け値を掛けたすべての音データを加算した
後、３次元空間に音声を生成する３次元効果処理を行
い、処理結果を出力する。

【００１８】図２は、本発明の音再生装置で再生するシ
ーンの一例としての、聞手２０２が合唱団２０１の合唱
を遠く離れた位置から聴くシーンを示す側面図である。
同図において、この合唱団２０１は複数の音源から構成
されている。このシーンを再生する時の音再生装置の動
作を以下に説明する。オブジェクト記憶部1は、合唱団
２０１の団員全員の歌声や楽器など物体の発する音をモ
ノラルのＰＣＭサンプルデータとして記憶するととも
に、ＭＩＤＩデータとして記憶している。図３は、オブ
ジェクト記憶部１の音データの蓄積状態を示す図であ
る。音データを、ＰＣＭ形式とＭＩＤＩ形式でディレク
トリとして分けて、それぞれの形式に応じて蓄積してい
る。ユーザ入力である外部入力信号２ａにより、合唱団
２０１を構成する全ての声の音データのファイル名と、
音データに基づく音源の位置と、聞手の頭の位置と、頭
の方向とが指定されると、シーン構成部２は、絶対座標
系においてこれらの音源と聞手を配置し、再生するシー
ンを構成する。

【００１９】次に、音源管理部３は、このようにしてシ
ーン構成部２により構成されたシーンの各音源の座標
を、聞手の頭の位置を原点０とし、Ｚ軸の正方向を顔の
正面の向きとした座標系に変換する。図４の（ａ）は、
シーン構成時の座標系の図であり、図４の（ｂ）は聞手
を中心にした座標系の図である。同図において、位置４
０１はシーン構成時の座標系での聞手の配置を示し、位
置４０２はシーン構成時の座標系での音源の配置を示
す。位置４０３は座標変換後の聞手の配置を示し、位置
４０４は座標変換後の音源の配置を示す。次に、図４の
（ｂ）の変換後の座標から、それぞれの音源について、
原点を中心とした縦方向と横方向の角度を求め、縦方向
に角度±α度、横方向に角度±β度の範囲に存在する音
源を一つのグループにまとめてグループ分けをする。こ
のようにして、配置された全ての音源がいくつかのグル
ープにグループ分けされる。

【００２０】次に、再生音発生部４は、グループ数、グ
ループＩＤ、グループを構成する音データ名、その音デ
ータの座標変換後の位置座標、及びグループ化処理時に
計算した原点を中心とした角度を示すデータを有するグ
ループ情報を音源管理部３から受け取る。再生音発生部
４は、受け取った音データ名を用いて、オブジェクト管
理部１より音データを取得する。また受け取った位置座
標データからそれぞれの音データと聞手との距離を求
め、距離に反比例する重み付け値を音データに掛け、同
じグループに属する重み付け値を掛けた各々の音データ
を加算する。次に、再生音発生部４は、受け取った原点
を中心とした縦方向及び横方向の角度データから１つの
グループを構成する各音源の原点を中心とした縦方向及
び横方向の角度の平均値を求める。加算結果に対し、こ
の平均値の角度の方向に音源があると仮定して３次元効
果処理を実行し、この演算結果を出力する。

【００２１】図５は、一つのグループの音データを処理
する再生音発生部４の構成例を示すブロック図である。
同図において、再生音発生部４は複数の重みづけ演算部
５０１、重み付け演算部５０１の出力から平均値を求め
る平均値演算部５０２、重み付け演算部５０１の出力と
平均値演算部５０２の出力が入力される３次元音効果処
理部５０３を有する。重みづけ演算部５０１は、一つの
グループを構成する全ての音データをオブジェクト記憶
部１から取得し、音源管理部３から一つのグループを構
成する全ての音データに基づく音源の座標を取得する。
この座標から、聞手と全ての音源との間の距離を演算
し、各音データに対し距離に反比例する重みづけ演算を
し、これら演算結果の総和を出力する。平均値演算部５
０２は、音源管理部３より取得した聞手の正面方向を中
心とした音源の縦方向の角度と横方向の角度を用いて、
一つのグループを構成する全ての音源の縦方向の角度と
横方向の角度の平均値をそれぞれ演算し、演算結果を出
力する。３次元音効果処理部５０３は、重みづけ演算手
段５０１より取得した演算結果に対し平均値演算部５０
２から取得した縦方向と横方向の角度で定まる方向に音
源があると設定した３次元音効果処理を行い、処理結果
を出力する。

【００２２】図６は、聞手２０２の近辺に複数の音源群
２１０〜２１５が存在するシーンの例を示す平面図であ
る。同図において、音源群２１０〜２１５は、同一角度
で分割された領域内に配置されている。このシーンにお
ける音再生時の音再生装置の動作を図１及び図６を参照
して説明する。オブジェクト記憶部１及びシーン構成部
２は、聞手２０２が遠方に位置する合唱団２０１の合唱
を聴いているシーンの場合と同様の動作をする。音源管
理部３は、シーン構成部２により構成されたシーンの音
データによる音源の座標を、聞手２０２の頭の位置を原
点とし、Ｚ軸の正方向を聞手２０２の顔の正面の向きと
した座標系に変換する。

【００２３】次に、変換後の座標から、それぞれの音源
について原点を中心とし、Ｚ軸の正方向に対する縦方向
と横方向の角度を求め、この角度から、音データをグル
ープに分ける。音源管理部３においては、図６に示すよ
うに、Ｚ軸から横方向に±α度の２本の線で区切られた
領域にある音源群２１２と２１３をグループ１とする。
また横方向に−（α＋α１）度と−α度の２本の線で区
切られた領域にある音源２１１をグループ２とする。横
方向にα度と（α＋α１）度の２本の線で区切られた領
域にある音源２１３をグループ３とする。横方向に−
（α＋α１＋α２）度と−（α＋α１）度の２本の線で
区切られた領域にある音源２１０をグループ４とする。
横方向に（α＋α１＋α２）度と（α＋α１）度の２本
の線で区切られた領域にある音源２１４をグループ５と
する。グループ分けした区分を、聞手から放射線状に伸
ばした点線により示している。

【００２４】音源管理部３は、グループ数としての５、
グループＩＤとしての１〜５、グループを構成する音デ
ータ名、その音データの座標変換後の位置座標、及びグ
ループ化処理時に計算した原点を中心とした角度、の各
データをグループ情報として再生音発生部４に出力す
る。再生音発生部４は、グループ１〜グループ５に対
し、聞手が遠方に位置する合唱を聴いているシーンの場
合と同様の演算をそれぞれ行い、演算結果を加算した結
果を出力する。なお、本実施例では、シーン構成部３で
外部入力信号２ａにより音データに基づく音源と聞手の
配置がなされたが、シーンを構成する対象物とその対象
物の３次元空間内の位置や動きなどのシーン情報を記述
したシナリオデータを入力してもよく、前記と同様のシ
ーンを構成して同様に利用できる。

【００２５】《実施例２》図７は本発明の実施例２にお
ける音再生装置のブロック図である。図７において、オ
ブジェクト記憶部１とシーン構成部２は、実施例１のも
のと同様の構成を有し同様の動作をする。最大音源数決
定部５は、起動時に再生音発生部４が持つ３次元音効果
処理と同様の処理を行い、処理の量を計測する。最大音
源数決定部５は、外部から最大処理量信号５Ａで入力さ
れる音源演算に関する最大処理量を、計測した処理量で
除算して、その結果から最大音源数を決定する。音源管
理部３は、人間の聴覚特性を表す情報に基づく横方向の
角度と縦方向の角度をパラメータとしたグループ化情報
を持つ。人間の聴覚特性では、音源の判別能力は、前方
で最も高く、左右の側方に行くに従って低下する。音源
管理部３では、最大音源数決定部５によって決定された
最大音源数が、グループ数以下になるように、グループ
分け情報に準じてグループ分けをする。図６に示すよう
に、聞手の近辺に音源が複数存在するシーンにおいて、
全ての音源は同一平面上に配置されているものとする。

【００２６】このシーンの再生時の音再生装置の動作を
以下に説明する。オブジェクト記憶部１とシーン構成部
２は、実施例１と同様の動作をする。今、最大音源数決
定部５が、最大音源数を３と決定したとする。図８は、
音源管理部３が持つ人間の聴覚特性に基づくグループ分
け情報におけるグループ分け範囲の領域を示す図であ
る。図９は、音源管理部３が持つ人間の聴覚に基づくグ
ループ分け情報を示す図である。図９において、最大音
源数が５の場合は、領域１、領域２、領域３、領域４及
び領域５にそれぞれ含まれる複数の音源がそれぞれ一つ
の音源のグループとしてまとめられる。人間の聴覚の方
向判別能力は、左右の側方へ行くに従って低下するの
で、領域２と４及び領域３と５の音源をそれぞれ１つの
グループにまとめても、音再生の効果に与える影響は小
さい。最大音源数が３の場合は、領域４と領域２を合わ
せた領域、領域１及び領域３と領域５を合わせた領域に
含まれるそれぞれの音源をそれぞれ一つの音源としてグ
ループ分けすることを表している。音源管理部３は、原
点を中心とし、Ｚ軸の正方向に対する縦方向の角度と横
方向の角度を求める。次に、音源管理部３は、人間の聴
覚情報に基づくグループ分け情報を参照し、図９に示す
ように最大音源数が３である場合のグループ分け領域を
決定する。すなわち（領域４＋領域２）、領域１、又は
（領域３＋領域５）に含まれる音源をそれぞれ一つの音
源となるようにグループ分けすることを決定する。そし
てグループ情報として、グループ数３、グループＩＤ１
〜３、グループを構成する音データ名、とその音データ
の座標変換後の位置座標、及びグループ化処理時に計算
した原点を中心とした角度、の各データを再生音発生部
４に送る。再生音発生部４は、グループ１ないしグルー
プ３に対し、実施例１と同様の演算を行い、これらを加
算した結果を出力する。

【００２７】《実施例３》次に前記実施例１又は２の動
作例について図１０を参照して説明する。オブジェクト
記憶部１、再生音発生部４は、実施例１と同様の動作を
する。外部入力信号２ａにより、音データのファイル名
と、この音データに基づく音源を配置する場所と、聞手
の頭の位置と、頭の向きが指定される。シーン構成部２
は、絶対座標系に基づいて音源と聞手を配置し、注目す
る音データのファイル名が指定されると、ファイル名と
その音データの音源の絶対座標系での位置のデータを出
力するとともに、注目音源として扱うフラグをシーンの
構成情報として出力し、再生するシーンを構成する。注
目音源とは特に聞手の注意をひきつける音源で、例え
ば、図１０において突然飛来するすずめの鳴き声であ
る。

【００２８】音源管理部３は、シーン構成部２により構
成されたシーンの音データに基づく音源の座標を、聞手
の頭の位置を原点とし、Ｚ軸正方向を顔の正面の向きと
した座標系に変換する。次に、変換後の座標から、それ
ぞれの音源の原点を中心とした縦方向と横方向の角度を
求め、この角度から、シーン構成部２より指定された注
目音源を除く音源をグループに分ける。そして、シーン
構成部２により指定された注目音源を一つのグループと
みなすグループ情報を出力する。

【００２９】図１０は、聞手２０２が遠くに位置する合
唱団２０１の合唱を聴いている時、すずめ２０３が鳴き
ながら飛んでくるシーンを示す側面図である。前記のよ
うに、合唱団２０１は複数の音源から構成されている。
このシーンの再生時の音再生装置の動作を図１を参照し
て以下に説明する。オブジェクト記憶部1は、実施例１
と同じ動作をする。外部入力信号２ａにより、合唱団を
構成する全ての声の音データのファイル名、音データに
基づく音源の位置、及び聞手の頭の位置と頭の方向が指
定されると、シーン構成部２は、絶対座標系に基づいて
これらの音データに基づく音源と聞手を配置する。次に
すずめ２０３の声の音データのファイル名、音データに
基づく音源の位置と位置の変化のデータ及び、この音デ
ータを注目音源とするフラグが入力され、再生するシー
ンを構成する。

【００３０】次に、音源管理部３は、シーン構成部２に
より構成されたシーンの音源の座標を、聞手の頭の位置
を原点としＺ軸の正方向を顔の正面の向きとした座標系
に変換する。次に、変換後の座標から、それぞれの音源
の原点を中心としたＺ軸正方向に対する縦方向と横方向
の角度を求め、シーン構成部２により注目音源として指
定されたすずめ２０３の鳴き声以外の音データの音源に
ついて、原点を中心に縦方向に±α度、横方向に±β度
の範囲に存在する音源を一つのグループにまとめる。
今、注目音源以外の全ての音源が一つのグループにグル
ープ分けされたとする。再生音発生部４は、グループ数
として２、グループＩＤとして１〜２、グループを構成
する音データ名、その音データの座標変換後の位置座
標、及びグループ化処理時に計算した原点を中心とした
Ｚ軸の正方向に対する角度のデータをグループ情報とし
て、音源管理部３から受け取る。再生音発生部４は、オ
ブジェクト管理部１より音データを取得し、注目音源の
音データ以外に対して、それぞれの音データに基づく音
源と聞手との距離を求め、各音データに距離に反比例す
る重み付け値を掛け、重み付け値を掛けた各音データを
加算する。

【００３１】次に、再生音発生部４は、注目音源以外の
音データに基づく音源の原点を中心としたＺ軸の正方向
に対する角度の平均値を求め、加算結果に対し、この平
均値方向に音源があると仮定して３次元効果処理を実行
する。同様に、注目音源とされたすずめ２０３の声の音
データに対しても、すずめ２０３と聞手２０２との距離
を求め、各音データに距離に反比例する重み付け値を掛
け、重みを付け値掛けた音データに対し、原点を中心と
した角度における３次元効果処理を実行する。最後に、
この演算結果と注目音源以外の音データに関して行った
演算結果を加算し、加算結果を出力する。

【００３２】

【発明の効果】以上、実施例について詳細に説明したと
ころから明らかなように、本発明は次の効果を有する。
３次元空間に配置された音源と聞手の位置から見た音源
の方向を求めることにより複数の音源をグループ分けす
る。グループ分けをした音源に対し、３次元音効果処理
をすることにより、３次元音効果処理における処理装置
の負荷を減らす事が出来る。

【００３３】また、あらかじめシステムで再生可能な音
源数の最大値を設定し、この最大値に収まるよう、複数
の音源を、聞手から見た音源の方向に関する人間の聴覚
特性に基づく情報を利用してグループ分けし、各グルー
プ毎に３次元音効果処理をすることにより、様々なシス
テムにおいて３次元仮想空間の音再生が限られた処理量
で実現出来る。

【００３４】また、配置する複数の音源に対し特定の注
目音源を設定し、３次元空間に配置された音源と聞手の
位置から見た音源の方向を求め、これを利用して複数の
音源をグループ分けする時に、注目音源は単独で一つの
グループとする。これにより、３次元音効果を特に明確
にしたい注目音源に関してもその効果を損なうことな
く、３次元仮想空間の音再生が出来る。

【図面の簡単な説明】

【図１】本発明の実施例１における音再生装置の構成図

【図２】本発明の実施例１における聞手が合唱を遠くか
ら聴くシーンを示す側面図

【図３】本発明の実施例１におけるオブジェクト記憶部
における音データの蓄積状態を示す図

【図４】（ａ）は本発明の実施例１におけるシーン構成
時の座標系を示す （ｂ）は聞手を中心にした座標系を示す

【図５】本発明の実施例１における一つのグループの音
データを処理する再生音発生部の構成を示すブロック図

【図６】本発明の実施例１における、聞手の近辺に音源
が複数存在するシーンの平面図

【図７】本発明の実施例２における音再生装置の構成を
示すブロック図

【図８】音源管理部が持つ人間の聴覚に基づくグループ
化情報におけるグループ化範囲の領域を示す図

【図９】本発明の実施例２における音源管理部が持つ人
間の聴覚に基づくグループ化情報を示す図

【図１０】本発明の実施例１及び２における、聞手が合
唱を遠くから聴いている最中に、すずめが鳴きながら飛
んでくるシーンを示す側面図

【符号の説明】

１ オブジェクト記憶部 ２ シーン構成部 ３ 音源管理部 ４ 再生音発生部 ５ 最大音源数決定部 ２０１ 合唱団 ２０２ 聞手 ２０３ 鳴きながら飛んでいるすずめ ４０１ シーン構成時の座標系での聞手の配置 ４０２ シーン構成時の座標系での音データの配置 ４０３ 座標変換後の聞手の配置 ４０４ 座標変換後の音データの配置 ５０１ 重みづけ演算手段 ５０２ 平均値演算手段 ５０３ ３次元音効果処理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 白井 豊 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5D062 CC13

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数の音源をそれぞれ表す複数の音デー
   タを記憶したオブジェクト記憶部と、 前記複数の音データに基づく音源を配置する位置と聞手
   の頭の位置と頭の向きとが指定されると、３次元空間内
   に複数の音データに基づく音源と聞手を配置して音声を
   再生するシーンを構成するシーン構成部と、 前記シーン構成部から、前記音データに基づく音源を配
   置する位置と前記聞手の頭の位置と頭の向きとを示すデ
   ータを取得し、前記聞手の頭の位置を原点として前記複
   数の音データに基づく音源の相対位置を求め、前記相対
   位置より、前記聞手の頭の正面方向と、前記原点と前記
   複数の音データに基づく音源とをそれぞれ直線でつない
   だ方向との角度差を基準に、特定の角度差内に存在する
   前記複数の音データに基づく音源を一つのグループとす
   るグループ分けをする音源管理部と、 前記音源管理部により区分された全てのグループに対
   し、前記音源管理部により同一のグループに区分された
   音データを前記オブジェクト記憶部より同一グループ音
   データとして取得し、前記同一グループ音データのレベ
   ルに、前記聞手と音源との距離が遠い程レベルを下げる
   前記聞手と音源との距離の関係を考慮した重みづけを
   し、前記同一のグループに区分され、かつ、前記重みづ
   けをなされた音データを加算した音データに前記同一グ
   ループに区分した時の前記角度差の平均の角度差を音源
   の方向とし、前記角度差をパラメータとした３次元音効
   果処理を行う再生音発生部と、 を具備する音再生装置。
2. 【請求項２】 ３次元音効果処理における処理装置の負
   荷を計測し、前記３次元音効果処理の負荷の計測値と入
   力された最大負荷値から、再生するシステムのリアルタ
   イムで処理可能な最大音源数を決定する最大音源数決定
   部を更に備え、前記音源管理部は、人間の聴覚特性に基
   づいてあらかじめ定められたグループ分け情報を有し、
   ３次元空間内に配置する音源を前記最大音源数決定部よ
   り得られた前記最大音源数以内の数になるようにグルー
   プ分けをする請求項１記載の音再生装置。
3. 【請求項３】 音源を表す音データを記憶したオブジェ
   クト記憶部と、 音データに基づく音源を配置する位置と聞手の頭の位置
   と頭の向きとが指定されると、３次元空間内に複数の音
   データに基づく音源と聞手を配置し、聞手が注目する音
   データである注目音源が指定されたとき前記注目音源に
   別情報を付けて再生するシーンを構成するシーン構成部
   と、 前記注目音源を表す音データを一つの注目グループと
   し、前記聞手の頭の位置を原点とした前記注目音源の相
   対位置を求め、前記シーン構成部から前記注目音源を除
   いた他の音データに関して、前記聞き手の頭の位置を原
   点として前記注目音源を除いた複数の音データに基づく
   音源の相対位置を求め、前記相対位置から、前記聞手の
   頭の正面方向と、前記原点と前記注目音源を除いた複数
   の音源をそれぞれ直線でつないだ方向との角度差を基準
   に特定の角度差内に存在する前記注目音源を除いた複数
   の音源をグループ分けする音源管理部と、 前記音源管理部により区分された全ての音源のグループ
   に対し、同一のグループに区分された音源の音データを
   前記オブジェクト記憶部より同一グループ音データとし
   て取得し、前記音源管理部により同一のグループに区分
   された音データのレベルに、前記聞手との距離が遠い程
   レベルを下げる前記聞手との距離の関係を考慮した重み
   づけをし、前記同一のグループに区分されて重みづけを
   された音データを加算した第２の音データに前記同一グ
   ループに区分した時の前記角度差の平均角度差を音源の
   方向とし、前記角度差をパラメータとした３次元音効果
   処理を行う再生音発生部と、 を具備する音再生装置。
4. 【請求項４】 複数の音源をそれぞれ表す複数の音デー
   タをオブジェクト記憶部に記憶させる工程と、 前記複数の音データに基づく音源を配置する位置と聞手
   の頭の位置と頭の向きとを指定することにより、３次元
   空間内に複数の音データに基づく音源と聞手を配置して
   音声を再生するシーンを構成するシーン構成工程と、 前記シーン構成工程で得た前記音データに基づく音源を
   配置する位置と前記聞手の頭の位置と頭の向きとを示す
   データから、前記聞手の頭の位置を原点として前記複数
   の音データに基づく音源の相対位置を求め、前記相対位
   置より、前記聞手の頭の正面方向と、前記原点と前記複
   数の音データに基づく音源とをそれぞれ直線でつないだ
   方向との角度差を基準に、特定の角度差内に存在する前
   記複数の音データに基づく音源を一つのグループとする
   グループ分けをする音源管理工程と、 前記音源管理工程において区分された全てのグループに
   対し、前記音源管理工程により同一のグループに区分さ
   れた音データを前記オブジェクト記憶部より同一グルー
   プ音データとして取得し、前記同一グループ音データの
   レベルに、前記聞手と音源との距離が遠い程レベルを下
   げる前記聞手と音源との距離の関係を考慮した重みづけ
   をし、前記同一のグループに区分され、かつ、前記重み
   づけをなされた音データを加算した音データに前記同一
   グループに区分した時の前記角度差の平均の角度差を音
   源の方向とし、前記角度差をパラメータとした３次元音
   効果処理を行う再生音発生工程と、 を具備する音再生方法。
5. 【請求項５】 ３次元音効果処理における処理装置の負
   荷を計測する工程と、前記３次元音効果処理の負荷の計
   測値と入力された最大負荷値から、再生するシステムの
   リアルタイムで処理可能な最大音源数を決定する最大音
   源数決定工程とを更に備え、且つ、 前記音源管理工程は、人間の聴覚特性に基づいてあらか
   じめ定められたグループ分け情報を有し、３次元空間内
   に配置する音源を前記最大音源数決定部より得られた前
   記最大音源数以内の数になるようにグループ分けをする
   工程と、 を更に具備する、 請求項１記載の音再生方法。
6. 【請求項６】 音源を表す音データをオブジェクト記憶
   部に記憶させる工程と、 音データに基づく音源を配置する位置と聞手の頭の位置
   と頭の向きとを指定することにより、３次元空間内に複
   数の音データに基づく音源と聞手を配置し、聞手が注目
   する音データである注目音源が指定されたとき前記注目
   音源に別情報を付けて再生するシーンを構成するシーン
   構成工程と、 前記注目音源を表す音データを一つの注目グループと
   し、前記聞手の頭の位置を原点とした前記注目音源の相
   対位置を求め、前記シーン構成工程で得た前記注目音源
   を除いた他の音データに関して、前記聞き手の頭の位置
   を原点として前記注目音源を除いた複数の音データに基
   づく音源の相対位置から、前記聞手の頭の正面方向と、
   前記原点と前記注目音源を除いた複数の音源をそれぞれ
   直線でつないだ方向との角度差を基準に特定の角度差内
   に存在する前記注目音源を除いた複数の音源をグループ
   分けする音源管理工程と、 前記音源管理工程により区分された全ての音源のグルー
   プに対し、同一のグループに区分された音源の音データ
   を前記オブジェクト記憶部より同一グループ音データと
   して取得し、前記音源管理工程により同一のグループに
   区分された音データのレベルに、前記聞手との距離が遠
   い程レベルを下げる前記聞手との距離の関係を考慮した
   重みづけをし、前記同一のグループに区分されて重みづ
   けをされた音データを加算した他の音データに前記同一
   グループに区分した時の前記角度差の平均角度差を音源
   の方向とし、前記角度差をパラメータとした３次元音効
   果処理を行う再生音発生工程と、 を具備する音再生方法。