JP2015159580A - 音響処理装置および情報処理装置 - Google Patents
音響処理装置および情報処理装置 Download PDFInfo
- Publication number
- JP2015159580A JP2015159580A JP2015077488A JP2015077488A JP2015159580A JP 2015159580 A JP2015159580 A JP 2015159580A JP 2015077488 A JP2015077488 A JP 2015077488A JP 2015077488 A JP2015077488 A JP 2015077488A JP 2015159580 A JP2015159580 A JP 2015159580A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- processing
- unit
- data
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
1−1.システムの全体構成
図1は、本発明の実施形態に係る音響処理システム9の構成を表す図である。音響処理システム9は、ゲーム機1と音響処理装置2と放音機器3とを有する。ゲーム機1と音響処理装置2とは、例えば、HDMI(High-Definition Multimedia Interface;登録商標)などの規格に沿ったマルチチャンネルの通信ケーブルによって接続されている。ここでチャンネルとはデータを伝送する伝送経路を意味し、マルチチャンネルの通信ケーブルは、独立した複数のチャンネルを有する通信ケーブルである。ゲーム機1は、ソフトウェアやコンテンツを再生する情報処理装置の一例である。音響処理装置2と放音機器3とは、音響信号を伝達するオーディオケーブルによって接続されている。なお、ゲーム機1と音響処理装置2とは互いに情報を遣り取り可能に構成されており、音響処理装置2からゲーム機1への情報の伝達は、同図に破線で示すように可能であるが、以下の実施形態の説明において省略する。
図2は、ゲーム機1の構成を表す図である。制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有し、CPUがROMに記憶されているブートローダや記憶部12に記憶されている各種のプログラムをRAMに読み出して実行することによりゲーム機1の各部を制御する。また、制御部11は、MPEG2やMPEG4などの規格に準じて圧縮された動画・音声データを展開して、非圧縮のPCM(pulse code modulation)データを生成するデコーダを備えている。なお、このデコーダはCPUと別のハードウェアである専用のプロセッサによって実現されてもよいし、CPUがプログラムを実行することにより実現されてもよい。制御部11は、例えば、後述するゲーム進行部110や原音データ生成部111などとして機能する。
表示部14は、例えば、液晶ディスプレイなどの表示体を備えており、制御部11の制御の下、ゲームの進行に応じた映像を表示する。
図3は、ゲーム機1の機能的構成を示す図である。制御部11は、記憶部12に記憶されたゲームプログラム121(図2参照)を読み出して実行することにより、ゲーム進行部110、原音データ生成部111、および制御信号生成部112として機能する。ゲーム進行部110は、ゲームプログラム121に沿ってユーザの操作に応じたゲームを進行させる。すなわち、ゲーム進行部110は、ユーザの操作に応じてゲームを進行させるゲーム進行手段として機能する。具体的には、ゲーム進行部110は、記憶部12に記憶されたゲームの設定情報を読み出し、この設定情報に応じてゲームの進行状況や操作信号の割り当てなどを決定する。また、ゲーム進行部110は、操作部13で受け付けられたユーザによる操作を示す操作信号を解釈してゲームを進行させる。また、ゲーム進行部110は、ゲームの進行状況に応じた映像を示す映像データを記憶部12から読み出して表示部14に送り、映像データに応じたその映像を表示部14に表示させる。そして、ゲーム進行部110は、ゲームの進行状況に応じて記憶部12からゲームで用いる音声データを読み出す。
また、加工部152は、取得したパラメータにより原音データを加工して得た加工音データの構成を示す情報を生成し、これを包含する制御信号(以下、加工制御信号という)を出力する。
図4は、制御信号生成部112が生成した制御信号の例を示す図である。また、図5は、加工部152が生成し、出力部15のチャンネルctから送信される加工制御信号の例を示す図である。制御信号には、図4に示すように、その制御信号が適用されるべきタイミングを示したタイムスタンプと、チャンネル(ch1〜ch5)ごとに定められた種類、定位、リバーブ率、およびビットレートの4つの属性をそれぞれ示す各パラメータとが記述されている。
例えば、図5(a)に示す加工制御信号では、タイムスタンプはt=0.0秒であり、チャンネルLから送信される原音データの種類はBGM(L)とSE(環境音)であり、音響効果は0%である。また、チャンネルSLから送信される原音データは、種類がSE(環境音)であり、音響効果は12%、ビットレートは64kbpsである。
図6は、加工部152の機能的構成を示す図である。加工部152は、解釈部1520、同期部1521、音響効果付与部1523、および定位処理部1524として機能する。解釈部1520は、制御信号生成部112により生成された制御信号を解釈する。すなわち、解釈部1520は、制御信号に含まれるタイムスタンプを読み出し同期部1521に伝える。同期部1521は、原音データ生成部111により生成された原音データの中から、解釈部1520から伝えられたタイムスタンプに一致するタイムスタンプ、またはそのタイムスタンプが示す時刻以降の時刻を示すタイムスタンプに関連付けられた原音データを探す。この原音データは、音響効果付与部1523、および定位処理部1524へ順次、伝えられる。
また、解釈部1520は、解釈した制御信号から加工制御信号を生成し、音響処理装置2へ伝える。
図7は、音響処理装置2の構成を示す図である。制御部21は、CPU、ROM、RAMを有し、CPUがROMに記憶されているブートローダや記憶部22に記憶されている制御プログラムをRAMに読み出して実行することにより音響処理装置2の各部を制御する。また、制御部21は、取得部25を介して取得される加工音データ(第2加工音データ)を修正するDSP(Digital Signal Processor)を備える。
なお、この記憶部22は、外付けの不揮発性メモリなどの記録媒体であってもよい。この場合、図示しない接続インターフェイスなどを介して記憶部22が音響処理装置2に接続されている。
図8は、音響処理装置の主に制御部21の機能的構成を示す図である。制御部21は、特定部210、同期部211、音質修正部212、音響効果修正部213として機能する。特定部210は、取得部25が取得した加工制御信号と、接続部24の検知部243が検知した放音機器3の機器放音条件とを取得する。そして、特定部210は、記憶部22の修正内容テーブル221を参照し、取得された機器放音条件下で放音機器3が放音する音(以下、第2の音という)を、第1の音に近づけるために、機器放音条件の基準放音条件に対する差、加工制御信号、および放音機器3に対応付けて取得した第2加工音データに基づいて、その第2加工音データの修正内容を特定する。
音質修正部212は、加工制御信号から加工音データの構成を読み出し、ビットレートが閾値よりも低い場合に、そのビットレート値に応じた高音質化処理を加工音データに対して行う。これにより、音質修正部212は、第2加工音データに高音質化処理を施して第3の加工音を示す音声データ(第3加工音データという)を生成する。
次に、図4に示した制御信号を例に挙げて、音響処理システム9の動作を説明する。動作はゲーム機1における原音データの加工に関する動作と、音響処理装置2における加工音データの修正に関する動作とに大別される。
ゲーム進行部110が、ゲームプログラム121に沿って、記憶部12から複数の映像データおよび音声データを読み出してゲームを開始し、制御信号生成部112により、図4(a)に示した制御信号が生成されると、出力部15の加工部152は、生成されたこの制御信号に含まれるパラメータに基づいて、原音データ生成部111により生成された原音データを加工し、複数の加工音データを生成する。この加工音データの構成は図5(a)の加工制御信号に示す通りとなる。
次に、ゲーム開始から2.5秒が経過したとき、制御信号生成部112により、図4(b)に示す制御信号が生成される。この制御信号を受け取った音響処理装置2は、t=2.5の各原音データを探してこれらをそれぞれ加工する。図4(b)に太枠で示した部分がt=0.0の制御信号から変更された部分であり、具体的には、チャンネルch3の定位とリバーブ率、およびチャンネルch5の定位が変更されている。したがって、例えば、t=2.5秒の時点において、チャンネルch3を介して伝達される原音は、ユーザから30度の角度に定位し、12%のリバーブがかけられる。この加工音データの構成は図5(b)の加工制御信号に示す通りとなる。
出力部15は、上述のように生成された複数の加工音データとその加工に用いられた制御信号とを音響処理装置2に送信する。
音響処理装置2の制御部21は、ゲーム機1から加工制御信号を受け取ると、この加工制御信号のタイムスタンプに対応するパケットから再構成された各加工音データを探し、記憶部22に記憶された修正内容テーブル221と加工制御信号とに基づいて修正処理の内容を決定し、各加工音データを修正する。
(1)放音機器3の有無
基準放音条件には、L,R,C,SL,SR,SWの6種類のチャンネルに相当する放音機器3(3L、3R,3C,3SL,3SR,3SW)が定められているが、実際に用いる放音機器3は6種類全てがそろっていない場合もあり、また、7種類以上である場合もある。記憶部12に記憶された修正内容テーブル221には、例えば、基準放音条件下において前方中央からの音源を表現する放音機器3Cが実際に接続された放音機器3に無い場合において、基準放音条件において放音機器3Cがあるはずの位置に、その加工音データによって示される加工音の音像が定位するように、放音機器3Cに放音させるための加工音データを、放音機器3Lと放音機器3Rとに割り当てるという修正処理の内容が記載されている。
検知部243は、各放音機器3の性能を検知して、その内容を制御部21に伝達する。例えば、検知部243は、予め設定された閾値と比較することなどにより、放音機器3Rが十分な低域再生能力を持つことを検知する一方、放音機器3SRの低域再生能力が十分でないことを検知しているとする。ここで、或る種類の原音の音像が、基準放音条件下で放音機器3Rの位置から放音機器3SRの位置へ移動しているとユーザに感じられるように、加工部152により原音データが加工されると、制御部21は、加工制御信号を参照して、音像の移動に伴って、チャンネルSRを介して送信された加工音データをハイパスフィルタやローパスフィルタなどのフィルタを通して帯域毎に分離し、分離された加工音データにより示される加工音のうち、中高域のものを放音機器3SRに放音させるとともに、低域成分に相当するものを放音機器3SWに放音させるように、加工音データを修正する。なお、このような分離処理を行うのではなく、放音機器3SWによる放音を行わないようにしてもよい。
例えば、聴取位置にいるユーザにとって正面を0度とし、ユーザの頭上から見て反時計回り増加する角度によって、各放音機器3の配置を表した場合、基準放音条件において、放音機器3Cは0度に配置され、放音機器3Lは45度に配置されているものとする。ここで、制御信号が或る原音を30度に定位させようとするものだとすると、その定位が放音機器3Cと放音機器3Lとの間にあり、且つ、放音機器3Cよりも放音機器3Lに近いため、ゲーム機1は、その原音を放音機器3Cよりも放音機器3Lに、より高い音圧(例えば、2倍)で放音させるようにそれぞれの加工音データを生成する。
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
(1)上記の実施形態では、出力部15は、チャンネルL,R,C,SL,SR,SWにPCMデータである加工音データをそれぞれ送信していたが、圧縮処理を施された加工音データを送信してもよい。この場合、制御信号には、各チャンネルで送信される原音データに対して施す圧縮処理の圧縮フォーマットや圧縮率などを示す情報を含めてもよい。
Claims (2)
- 供給されるデータに応じた放音を行う複数の放音機器に接続される音響処理装置であって、
発音オブジェクトが含まれる音声データから、該発音オブジェクトの音像を空間に配置するよう該音声データを加工した加工音データを取得する加工音データ取得部と、
前記加工音データの構成を示す情報を包含する制御信号を取得する制御信号取得部と、
前記制御信号に基づいて、前記加工音データを前記複数の放音機器にそれぞれ割り当てる割り当て部と、
を具備することを特徴とする音響処理装置。 - 供給されるデータに応じた放音を行う複数の放音機器に接続される情報処理装置であって、
発音オブジェクトが含まれる音声データを取得する音声データ取得部と、
前記発音オブジェクトの音像を空間に配置するよう前記音声データを加工した加工音データを生成する加工音データ生成部と、
前記加工音データの構成を示す情報であって、該加工音データを前記複数の放音機器にそれぞれ割り当てるために用いられる情報を包含する制御信号を生成する制御信号生成部と、
を具備することを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077488A JP6004031B2 (ja) | 2015-04-06 | 2015-04-06 | 音響処理装置および情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077488A JP6004031B2 (ja) | 2015-04-06 | 2015-04-06 | 音響処理装置および情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014079347A Division JP5729509B2 (ja) | 2014-04-08 | 2014-04-08 | 情報処理装置、音響処理装置、音響処理システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015159580A true JP2015159580A (ja) | 2015-09-03 |
JP6004031B2 JP6004031B2 (ja) | 2016-10-05 |
Family
ID=54183221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015077488A Active JP6004031B2 (ja) | 2015-04-06 | 2015-04-06 | 音響処理装置および情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6004031B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03125600A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 多チャンネル音声信号再生装置 |
JPH03258176A (ja) * | 1990-03-08 | 1991-11-18 | Sharp Corp | テレビジョン受像機 |
JPH07222299A (ja) * | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
JP2002218599A (ja) * | 2001-01-16 | 2002-08-02 | Sony Corp | 音声信号処理装置、音声信号処理方法 |
JP2005202052A (ja) * | 2004-01-14 | 2005-07-28 | Nec Corp | チャンネル数可変オーディオ配信システム、オーディオ配信装置、オーディオ受信装置 |
JP2006033551A (ja) * | 2004-07-20 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 音像定位制御装置 |
JP2006267226A (ja) * | 2005-03-22 | 2006-10-05 | Yamaha Corp | 楽音制御装置 |
JP2006295592A (ja) * | 2005-04-12 | 2006-10-26 | Nippon Hoso Kyokai <Nhk> | スピーカ装置 |
JP2008245984A (ja) * | 2007-03-30 | 2008-10-16 | Konami Digital Entertainment:Kk | ゲーム音出力装置、音像定位制御方法、および、プログラム |
JP2010520671A (ja) * | 2007-03-01 | 2010-06-10 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
-
2015
- 2015-04-06 JP JP2015077488A patent/JP6004031B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03125600A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 多チャンネル音声信号再生装置 |
JPH03258176A (ja) * | 1990-03-08 | 1991-11-18 | Sharp Corp | テレビジョン受像機 |
JPH07222299A (ja) * | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
JP2002218599A (ja) * | 2001-01-16 | 2002-08-02 | Sony Corp | 音声信号処理装置、音声信号処理方法 |
JP2005202052A (ja) * | 2004-01-14 | 2005-07-28 | Nec Corp | チャンネル数可変オーディオ配信システム、オーディオ配信装置、オーディオ受信装置 |
JP2006033551A (ja) * | 2004-07-20 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 音像定位制御装置 |
JP2006267226A (ja) * | 2005-03-22 | 2006-10-05 | Yamaha Corp | 楽音制御装置 |
JP2006295592A (ja) * | 2005-04-12 | 2006-10-26 | Nippon Hoso Kyokai <Nhk> | スピーカ装置 |
JP2010520671A (ja) * | 2007-03-01 | 2010-06-10 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
JP2008245984A (ja) * | 2007-03-30 | 2008-10-16 | Konami Digital Entertainment:Kk | ゲーム音出力装置、音像定位制御方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6004031B2 (ja) | 2016-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5521908B2 (ja) | 情報処理装置、音響処理装置、音響処理システムおよびプログラム | |
JP5518638B2 (ja) | 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム | |
US9426599B2 (en) | Method and apparatus for personalized audio virtualization | |
US8750536B2 (en) | Output control apparatus, output controlling method, program, and output control system | |
US8565455B2 (en) | Multiple display systems with enhanced acoustics experience | |
KR20140027954A (ko) | 3차원 오디오 사운드트랙의 인코딩 및 재현 | |
TW201926999A (zh) | 音視頻播放系統及應用於其上的音訊資料的播放方法 | |
JP5531486B2 (ja) | オーディオ機器 | |
CN113348677B (zh) | 沉浸式和双耳声音的组合 | |
US11683567B2 (en) | Apparatus and method for providing audio description content | |
US10547962B2 (en) | Speaker arranged position presenting apparatus | |
WO2017209196A1 (ja) | スピーカシステム、音声信号レンダリング装置およびプログラム | |
US11337025B2 (en) | Information processing apparatus and sound generation method | |
US11361771B2 (en) | Method for transmitting/receiving audio data and device therefor | |
CN114339297B (zh) | 音频处理方法、装置、电子设备和计算机可读存储介质 | |
JP6004031B2 (ja) | 音響処理装置および情報処理装置 | |
JP5729509B2 (ja) | 情報処理装置、音響処理装置、音響処理システムおよびプログラム | |
JP5729508B2 (ja) | 情報処理装置、音響処理装置、音響処理システムおよびプログラム | |
JPWO2020045044A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP2009005012A (ja) | データ配信装置、データ配信方法およびプログラム | |
JP2008312034A (ja) | 音声信号再生装置、および音声信号再生システム | |
JP2008147840A (ja) | 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム | |
JP2008010908A (ja) | 音声出力装置、音声出力装置の制御方法及びプログラム | |
JP2012235202A (ja) | 音声信号処理装置及び音声信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6004031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |