JP5658506B2 - 音響信号変換装置及び音響信号変換プログラム - Google Patents
音響信号変換装置及び音響信号変換プログラム Download PDFInfo
- Publication number
- JP5658506B2 JP5658506B2 JP2010173946A JP2010173946A JP5658506B2 JP 5658506 B2 JP5658506 B2 JP 5658506B2 JP 2010173946 A JP2010173946 A JP 2010173946A JP 2010173946 A JP2010173946 A JP 2010173946A JP 5658506 B2 JP5658506 B2 JP 5658506B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- acoustic signal
- signal level
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 70
- 230000000694 effects Effects 0.000 claims description 141
- 230000005236 sound signal Effects 0.000 claims description 136
- 238000004519 manufacturing process Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 206010011878 Deafness Diseases 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 230000002542 deteriorative effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 230000007115 recruitment Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100126625 Caenorhabditis elegans itr-1 gene Proteins 0.000 description 1
- 101100018996 Caenorhabditis elegans lfe-2 gene Proteins 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Stereophonic System (AREA)
Description
本発明は、例えば、3次元音響方式等の多数の音響チャンネル(第1のチャンネル数)を有する多チャンネル音響コンテンツの制作と同時並行して、多チャンネル音響信号コンテンツから2チャンネル音響信号や5.1チャンネルサラウンドコンテンツの音響信号等のチャンネル数(第2のチャンネル数)の音響信号コンテンツに自動的に変換(ダウンミックス)する。また、本発明では、多数の音響チャンネルを有する番組コンテンツとこれに付随して生成されたメタデータを用いて、受信側において、上述したメタデータに基づいて2チャンネル音響信号や5.1チャンネルサラウンド音響信号等、受信側の音響設備等に対応した音響信号に変換(ダウンミックス)する。なお、本発明では、上述した音響信号の変換において、発話音と効果音とのバランス調整を行うための機能を有する。
図1は、第1の実施形態における音響信号変換システムの一例を示す図である。図1に示す音響信号変換システム10は、音響収録再生装置11と、音声入力手段としてのマイク12と、音響ミキシング装置13と、音響信号変換装置14とを有するよう構成されている。音響信号変換装置14は、発話音/効果音バランス測定装置21と、ゲイン調整量算出手段22と、ゲイン調整手段23と、合成手段24とを有している。
ここで、上述した変換式を用いたダウンミックスの具体例について図を用いて説明する。なお、以下の説明では、多チャンネル音響の一例として、22.2チャンネル音響を用いこととするが、本発明においてはこれに限定されるものではない。
ここで、上述した本実施形態における音響信号変換(ダウンミックス)を行うために入力可能な音響信号については、上述した22.2チャンネルに限定されるものではなく、例えば12.2チャンネル、10.2チャンネル、9.1チャンネル、8.1チャンネル、7.1チャンネル、6.1チャンネル等を用いることができる。
次に、ゲイン調整量算出手段22におけるゲイン調整量算出例について図を用いて説明する。図4は、本実施形態におけるゲイン調整量算出例を説明するための図である。なお、図4では、発話音信号(発話音ダウンミックス信号32)レベルのゲイン調整値関数の例を示している。
次に、音響信号変換システムの第2の実施形態について図を用いて説明する。
図5は、第2の実施形態における音響信号変換システム(送信側)の一例を示す図である。また、図6は、第2の実施形態における音響信号変換システム(受信側)の一例を示す図である。つまり、第2の実施形態における音響信号変換システム40は、図5に示す送信側の音響信号変換システム40−1と、図6に示す受信側の音響信号変換システム40−2とに大別される。
図5に示す音響信号変換システム40−1は、音響収録再生装置11と、音声入力手段としてのマイク12と、音響ミキシング装置43と、音響信号制作装置44とを有するよう構成されている。音響信号制作装置44は、発話音/効果音バランス測定装置21と、ゲイン調整量算出手段22と、ミキシングメタデータ多重手段45とを有している。
次に、図6を用いて音響信号変換システム40−1の音響信号制作装置44から送信されたミキシング信号を受信し、受信した信号をスピーカ等の音響出力手段等を用いて出力する受信側の音響信号変換システム40−2である音響信号変換装置60の機能構成について図を用いて説明する。
次に、上述した属性データとしての「発話音/効果音識別」の付加例について具体的に説明する。
なお、上述した実施形態は、上述した音響信号変換システムにおける専用の装置構成により、本発明における上述した音響信号変換手順を行うこともできるが、上述した音響信号変換手順に関する各処理をコンピュータに実行させることができる実行プログラム(音響信号変換プログラム)を生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等に音響信号変換プログラムをインストールすることにより本発明における音響信号変換が実現可能となる。
図8は、第1の実施形態における音響信号変換処理手順の一例を示すフローチャートである。図8において、まず1又は複数の音響信号(「発話音/効果音識別」等の属性データ付き)を取得し(S01)、得られた音響信号等から多チャンネル音響信号コンテンツを制作する(S02)。このとき、多チャンネル音響信号コンテンツは、音響調整者等により最適な音響に調整されている。
図9は、第2の実施形態における音響信号変換処理手順の一例を示すシーケンス図である。図9において、まず送信側の音響信号制作装置44において、1又は複数の音響信号(「発話音/効果音識別」等の属性データ付き)を取得し(S11)、得られた音響信号等から多チャンネル音響信号コンテンツを制作する(S12)。このとき、多チャンネル音響信号コンテンツは、音響調整者等により最適な音響に調整されている。また、発話音/効果音の識別メタデータを生成する(S13)。
11 音響収録再生装置
12 マイク(音声入力手段)
13,43 音響ミキシング装置
14,60 音響信号変換装置
21 発話音/効果音バランス測定装置
22 ゲイン調整量算出手段
23,63 ゲイン調整手段
24,64 合成手段
31 発話音ダウンミックス信号
32 効果音ダウンミックス信号
33 多チャンネル音響信号コンテンツ
34 2チャンネル音響信号コンテンツ
44 音響信号制作装置
45 ミキシングメタデータ多重手段
51 発話音/効果音識別メタデータ
52 ゲイン調整量
61 ミキシングメタデータ分離手段
62 チャンネル分離手段
Claims (6)
- 第1の信号レベルと第2の信号レベルとからなる音響信号を予め設定されたチャンネル数に対応させて変換する音響信号変換装置において、
第1のチャンネル数に対応する音響信号から第2のチャンネル数に対応する音響信号にダウンミックスされたときの前記第1の信号レベルの音響信号と、前記第2の信号レベルの音響信号とに対する信号レベルのミックスバランスを測定するバランス測定手段と、
前記バランス測定手段により得られる前記第1の信号レベルと前記第2の信号レベルとの相対レベル差に対応させて、前記第1の信号レベル又は前記第2の信号レベルのゲイン調整量を算出するゲイン調整量算出手段と、
前記ゲイン調整量算出手段により得られるゲイン調整量に基づいて、前記第1の信号レベル及び/又は前記第2の信号レベルのゲインを調整するゲイン調整手段と、
前記ゲイン調整手段により得られるゲイン調整された音響信号を用いて、前記第1の信号レベルの音響信号及び前記第2の信号レベルの音響信号を合成し、前記第2のチャンネル数に対応する音響信号を出力する合成手段とを有し、
前記ゲイン調整手段は、前記ゲイン調整量算出手段により得られる前記ゲイン調整量の増加量又は減少量の大きさに応じた長さの調整時間を設定し、設定された調整時間で前記合成手段による合成後のトータル音量が一定に保たれるようにゲインを調整することを特徴とする音響信号変換装置。 - 制作側から伝送された第1の信号レベルと第2の信号レベルとからなる音響信号を予め設定されたチャンネル数に対応させて変換する音響信号変換装置において、
前記制作側から伝送された多重化信号から、第1のチャンネル数に対応する音響信号と、前記第1のチャンネル数から第2のチャンネル数にダウンミックスされたときの前記第1の信号レベル及び前記第2の信号レベルのミックスバランスに対応した記第1の信号レベル又は前記第2の信号レベルのゲイン量と、前記第1の信号レベル及び前記第2の信号レベルの音響信号を識別するための識別メタデータとに分離するミキシングメタデータ分離手段と、
前記ミキシングメタデータ分離手段により得られる第1のチャンネル数に対応する音響信号に対して、前記識別メタデータを用いて、第2のチャンネル数に対応する音響信号にダウンミックスされたときの前記第1の信号レベルの音響信号と、前記第2の信号レベルの音響信号とに分離するチャンネル分離手段と、
前記第1の信号レベル及び/又は前記第2の信号レベルのゲインを、前記第1の信号レベルと前記第2の信号レベルとの相対レベル差に対応させたゲイン調整量に基づいて調整するゲイン調整手段と、
前記ゲイン調整手段により得られるゲイン調整された音響信号を用いて、前記第1の信号レベルの音響信号及び前記第2の信号レベルの音響信号を合成し、前記第2のチャンネル数に対応する音響信号を出力する合成手段とを有し、
前記ゲイン調整手段は、前記ゲイン調整量の増加量又は減少量の大きさに応じた長さの調整時間を設定し、設定された調整時間で前記合成手段による合成後のトータル音量が一定に保たれるようにゲインを調整することを特徴とする音響信号変換装置。 - 前記合成手段は、
前記ゲイン調整手段によりゲイン調整された音響信号の変化量に応じて、前記第2のチャンネル数に対応する音響信号の音量を調整することを特徴とする請求項1又は2に記載の音響信号変換装置。 - 前記第1の信号レベルと第2の信号レベルとからなる音響信号は、発話音と効果音であることを特徴とする請求項1乃至3の何れか1項に記載の音響信号変換装置。
- 入力される前記第1の信号レベルと前記第2の信号レベルとからなる音響信号は、予め設定される聴覚の臨界帯域幅を用いて前記発話音又は前記効果音に分離されていることを特徴とする請求項4に記載の音響信号変換装置。
- コンピュータを、請求項1乃至5の何れか1項に記載の音響信号変換装置が有する各手段として機能させるための音響信号変換プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010173946A JP5658506B2 (ja) | 2010-08-02 | 2010-08-02 | 音響信号変換装置及び音響信号変換プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010173946A JP5658506B2 (ja) | 2010-08-02 | 2010-08-02 | 音響信号変換装置及び音響信号変換プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012034295A JP2012034295A (ja) | 2012-02-16 |
JP5658506B2 true JP5658506B2 (ja) | 2015-01-28 |
Family
ID=45847140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010173946A Active JP5658506B2 (ja) | 2010-08-02 | 2010-08-02 | 音響信号変換装置及び音響信号変換プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5658506B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014034555A1 (ja) * | 2012-08-29 | 2014-03-06 | シャープ株式会社 | 音声信号再生装置、方法、プログラム、及び記録媒体 |
AU2013355504C1 (en) * | 2012-12-04 | 2016-12-15 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
JP6204683B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
JP6228387B2 (ja) * | 2013-05-14 | 2017-11-08 | 日本放送協会 | 音響信号再生装置 |
WO2015038475A1 (en) * | 2013-09-12 | 2015-03-19 | Dolby Laboratories Licensing Corporation | Dynamic range control for a wide variety of playback environments |
US9521501B2 (en) * | 2013-09-12 | 2016-12-13 | Dolby Laboratories Licensing Corporation | Loudness adjustment for downmixed audio content |
JP6285790B2 (ja) * | 2014-03-25 | 2018-02-28 | 日本放送協会 | チャンネル数変換装置 |
JP2016072890A (ja) * | 2014-09-30 | 2016-05-09 | シャープ株式会社 | 音声処理装置、および、音声出力装置 |
JP6321514B2 (ja) * | 2014-09-30 | 2018-05-09 | シャープ株式会社 | 音声出力制御装置および音声出力制御方法 |
BR112017003218B1 (pt) * | 2014-12-12 | 2021-12-28 | Huawei Technologies Co., Ltd. | Aparelho de processamento de sinal para aprimorar um componente de voz dentro de um sinal de áudio multicanal |
JP6510870B2 (ja) * | 2015-04-20 | 2019-05-08 | 日本放送協会 | 番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラム |
JP6703884B2 (ja) * | 2016-04-13 | 2020-06-03 | 日本放送協会 | チャンネル数変換装置、放送受信機およびプログラム |
JP6564489B2 (ja) * | 2018-04-04 | 2019-08-21 | シャープ株式会社 | 音響信号処理装置 |
JP7162698B2 (ja) * | 2019-11-07 | 2022-10-28 | グリー株式会社 | 出力制御プログラム、情報処理装置及び出力制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10308999A (ja) * | 1997-05-09 | 1998-11-17 | Nippon Hoso Kyokai <Nhk> | 音声レベルバランス指示装置 |
JP2005341538A (ja) * | 2004-04-28 | 2005-12-08 | Yamaha Corp | ミキサモジュール、ミキサ装置およびプログラム |
JP4997781B2 (ja) * | 2006-02-14 | 2012-08-08 | 沖電気工業株式会社 | ミックスダウン方法およびミックスダウン装置 |
JP4881131B2 (ja) * | 2006-11-14 | 2012-02-22 | 日本放送協会 | ミキシングバランス表示装置及びミキシングバランス表示プログラム |
JP4823030B2 (ja) * | 2006-11-27 | 2011-11-24 | 株式会社ソニー・コンピュータエンタテインメント | 音声処理装置および音声処理方法 |
JP2010068292A (ja) * | 2008-09-11 | 2010-03-25 | Seiko Epson Corp | 音声出力装置、プロジェクタ、プログラムおよび情報記憶媒体 |
-
2010
- 2010-08-02 JP JP2010173946A patent/JP5658506B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012034295A (ja) | 2012-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5658506B2 (ja) | 音響信号変換装置及び音響信号変換プログラム | |
US10685638B2 (en) | Audio scene apparatus | |
JP5149968B2 (ja) | スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法 | |
Yang et al. | Effects of room acoustics on the intelligibility of speech in classrooms for young children | |
KR101387195B1 (ko) | 오디오 신호의 공간 추출 시스템 | |
Lee et al. | Effect of vertical microphone layer spacing for a 3D microphone array | |
JP2002078100A (ja) | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 | |
TW201514455A (zh) | 產生多重頻道聲音訊號之方法,該訊號用於揚聲器頻道的l1頻道至不同的l2頻道,及產生多重頻道聲音訊號之裝置,該訊號用於揚聲器頻道的l1頻道至不同的l2頻道 | |
JP6228701B2 (ja) | チャンネル数変換装置 | |
CN112567765B (zh) | 空间音频捕获、传输和再现 | |
Lee | 2D to 3D ambience upmixing based on perceptual band allocation | |
CN113574596B (zh) | 音频信号编码方法、音频信号解码方法、程序、编码装置、音频***及解码装置 | |
EP2665293B1 (en) | Sound reproduction device, reproduction sound adjustment method, acoustic property adjustment device, acoustic property adjustment method, and computer program | |
US20230254655A1 (en) | Signal processing apparatus and method, and program | |
JP5338053B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
JP2010136236A (ja) | オーディオ信号処理装置、オーディオ信号処理方法およびプログラム | |
JP6694755B2 (ja) | チャンネル数変換装置およびそのプログラム | |
Kamado et al. | Object-based stereo up-mixer for wave field synthesis based on spatial information clustering | |
Coleman et al. | Perceptual evaluation of blind source separation in object-based audio production | |
JP6285790B2 (ja) | チャンネル数変換装置 | |
JP5743003B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
WO2018193160A1 (en) | Ambience generation for spatial audio mixing featuring use of original and extended signal | |
JP5590169B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
Raitio et al. | On measuring the intelligibility of synthetic speech in noise—Do we need a realistic noise environment? | |
Ueno et al. | Comparison of subjective characteristics between binaural rendering and stereo width control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5658506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |