JP6285790B2

JP6285790B2 - Channel number converter

Info

Publication number: JP6285790B2
Application number: JP2014085526A
Authority: JP
Inventors: 岳大杉本; 靖茂中山; 大出　訓史; 訓史大出
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-03-25
Filing date: 2014-04-17
Publication date: 2018-02-28
Anticipated expiration: 2034-04-17
Also published as: JP2015195544A

Description

本発明は、チャンネル数変換装置に関するものである。より詳細には、本発明は、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号（音響信号）のチャンネル数を変換する装置に関するものである。 The present invention relates to a channel number conversion apparatus. More specifically, the present invention relates to an apparatus for converting the number of channels of a multi-channel audio signal (acoustic signal) exceeding, for example, 5.1 ch.

近年、多数の音声チャンネルを用いることにより、三次元音響のような高い臨場感の音響再生を実現する音響システムが提案されている（特許文献１および非特許文献１参照）。例えば、５．１ｃｈサラウンドのような音響システムによるホームシアターシステムが、家庭用として登場している。また、例えばスーパーハイビジョン（ＳＨＶ）放送においては、２２．２ｃｈというマルチチャンネルの音響が採用される。 In recent years, an acoustic system has been proposed that realizes highly realistic sound reproduction such as three-dimensional sound by using a large number of audio channels (see Patent Document 1 and Non-Patent Document 1). For example, a home theater system using an acoustic system such as 5.1ch surround has appeared for home use. For example, in Super Hi-Vision (SHV) broadcasting, 22.2 ch multi-channel sound is adopted.

しかしながら、家庭における使用を想定した場合、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムを構成するチャンネル数よりも少ないことがほとんどであると想定される。 However, assuming use in homes, it is assumed that the number of speakers installed in each home is mostly smaller than the number of channels constituting the 22.2 ch multi-channel sound system.

このため、２２．２ｃｈのようなマルチチャンネルの音響を家庭で再現するには、ダウンミックスのような、チャンネル数を少なく変換する手法が必要になる。従来、５．１ｃｈサラウンドを２ｃｈのステレオに変換する手法は既に提案されている（例えば非特許文献２参照）。しかしながら、５．１ｃｈを超えるようなマルチチャンネルの音響システムのチャンネル数を変換する方法については、その実用化が依然として望まれている。 For this reason, in order to reproduce multi-channel sound such as 22.2ch at home, a technique for converting the number of channels to be small, such as downmixing, is required. Conventionally, a method for converting 5.1ch surround to 2ch stereo has been proposed (see Non-Patent Document 2, for example). However, the practical use of a method for converting the number of channels of a multi-channel acoustic system exceeding 5.1 ch is still desired.

一般的に、各家庭に設置されているスピーカの数は決まっていない。また、上述したように、各家庭に設置されるスピーカの数は、２２．２ｃｈのマルチチャンネル音響システムに対応していないことが通常である。このため、例えば５．１ｃｈを超えるようなマルチチャンネルの音声信号に基づく音声（音響）を再生する場合、設置されているスピーカの数に合わせて、音声信号のチャンネル数を変換する必要がある。 In general, the number of speakers installed in each home is not fixed. Further, as described above, the number of speakers installed in each home is usually not compatible with the 22.2 ch multi-channel sound system. For this reason, for example, when reproducing sound (sound) based on a multi-channel audio signal exceeding 5.1 ch, it is necessary to convert the number of channels of the audio signal in accordance with the number of installed speakers.

特開２００９−７７３７９号公報JP 2009-77379 A

IEICE Fundamentals Review Vol.3，No.4 (2010)，pp.33-46「高臨場感音響技術とその理論」安藤彰男IEICE Fundamentals Review Vol.3, No.4 (2010), pp.33-46 "Highly realistic acoustic technology and its theory" Akio Ando ARIB STD-B21「デジタル放送用受信装置（望ましい仕様）」ARIB STD-B21 “Digital Broadcasting Receiver (Preferred Specifications)”

しかしながら、提供するコンテンツに依存せずに一意にチャンネル数の変換を行うと、種々の不都合が想定される。 However, if the number of channels is uniquely converted without depending on the provided content, various inconveniences are assumed.

したがって、本発明の目的は、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することにある。 Accordingly, it is an object of the present invention to provide a channel number conversion device that improves the disadvantages of converting the number of audio signal channels of a plurality of audio channels exceeding 5.1 ch, for example.

上記目的を達成する第１の観点に係る発明は、
複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルを所定数に分配した音声信号のチャンネル数を変換し、当該分配した音声信号のチャンネル数を変換する前後の信号レベルに基づいて、当該分配した音声信号のチャンネル数を変換した後の信号レベルを調整する制御部を備えるものである。 The invention according to the first aspect to achieve the above object is
A channel number conversion device for converting the number of channels of audio signals of a plurality of audio channels,
The number of channels of the audio signal in which the plurality of audio channels are distributed into a predetermined number is converted, and the number of channels in the distributed audio signal is converted based on the signal level before and after converting the number of channels in the distributed audio signal. The control part which adjusts a later signal level is provided.

また、前記制御部は、前記所定数に分配した音声信号のうち少なくとも１つのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整してもよい。 In addition, the control unit may convert each of the signal levels after converting the number of channels of the distributed audio signal based on a signal level before and after converting the number of channels of at least one of the audio signals distributed to the predetermined number. May be adjusted.

また、前記制御部は、前記所定数に分配した音声信号のうち１つのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整してもよい。 In addition, the control unit sets each signal level after converting the number of channels of the distributed audio signal based on a signal level before and after converting the number of channels of the audio signal distributed to the predetermined number. You may adjust.

また、前記制御部は、前記所定数に分配した音声信号のうち全てのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整してもよい。 Further, the control unit converts each of the signal levels after converting the number of channels of the distributed audio signal based on the signal level before and after converting all the channel numbers of the audio signal distributed to the predetermined number. You may adjust.

また、前記制御部は、前記分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方を測定するように構成してもよい。 The control unit is configured to measure at least one of a signal level before converting the number of channels of the distributed audio signal and a signal level after converting the number of channels of the distributed audio signal. Also good.

また、前記制御部は、前記分配した音声信号のチャンネル数を変換する前の信号レベルの情報、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの情報の少なくとも一方を、前記チャンネル数変換装置の外部から供給されるように構成してもよい。 Further, the control unit receives at least one of the information on the signal level before converting the number of channels of the distributed audio signal and the information on the signal level after converting the number of channels of the distributed audio signal in the channel. You may comprise so that it may be supplied from the outside of a number converter.

本発明によれば、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を変換する際の不都合を改善するチャンネル数変換装置を提供することができる。 According to the present invention, it is possible to provide a channel number conversion device that improves the inconvenience when converting the number of audio signal channels of a plurality of audio channels exceeding 5.1 ch, for example.

本発明の実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。It is a functional block diagram explaining schematic structure of the channel number converter which concerns on embodiment of this invention. 本発明の実施形態におけるチャンネル数の変換を説明する図である。It is a figure explaining conversion of the number of channels in the embodiment of the present invention.

以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

上述したように、例えば５．１ｃｈを超えるような複数の音声チャンネルの音声信号のチャンネル数を、提供するコンテンツに依存せずに一意に変換すると、種々の不都合が想定される。 As described above, for example, various inconveniences are assumed when the number of audio signal channels of a plurality of audio channels exceeding 5.1 ch is uniquely converted without depending on the provided content.

例えば、このようなチャンネル数の変換を行うと、音声信号におけるダイアログなどのオブジェクト成分の信号レベルまたはラウドネスに変化が生じる。特に影響が顕著になる例として、以下のような場合が挙げられる。すなわち、
（１）音声信号のオブジェクト成分の信号レベルが変化する場合、
（２）オブジェクト成分を含む音声信号を出力するチャンネルの信号レベルが変化する場合、
（３）音声信号のオブジェクト成分とその他のバックグラウンド成分との信号レベル比が変化する場合、である。 For example, when such channel number conversion is performed, the signal level or loudness of an object component such as a dialog in an audio signal changes. Examples where the effect is particularly noticeable include the following cases. That is,
(1) When the signal level of the object component of the audio signal changes,
(2) When the signal level of the channel that outputs the audio signal including the object component changes,
(3) When the signal level ratio between the object component of the audio signal and other background components changes.

提供するコンテンツに依存せずに一意にチャンネル数変換を行うと、これに伴って、方向別ラウドネス値および方向別マスキング効果が変化する。この変化に起因して、チャンネル数変換前の音声信号が有していた特定のオブジェクト成分のバランスおよび明瞭度が損なわれてしまう。このように、チャンネル数の変換を行うと、音声信号の特定のオブジェクト成分に基づく音声がダイアログである場合などに、再生される音声の明瞭度が著しく変化するおそれがある。したがって、ダイアログなどのオブジェクト成分の信号レベルまたはラウドネスに変化があると、家庭での受聴を目的としたチャンネル数の変換を行う際に、不都合が生じる。 When the number of channels is uniquely converted without depending on the content to be provided, the direction-specific loudness value and the direction-specific masking effect change accordingly. Due to this change, the balance and intelligibility of specific object components that the audio signal before the channel number conversion has had are impaired. As described above, when the number of channels is converted, the clarity of the reproduced sound may change remarkably when the sound based on a specific object component of the sound signal is a dialog. Therefore, if there is a change in the signal level or loudness of an object component such as a dialog, inconvenience occurs when converting the number of channels for the purpose of listening at home.

そこで、本実施形態においては、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号におけるオブジェクト成分とバックグラウンド成分との信号レベル比が、変換後も維持されるようにする。 Therefore, in the present embodiment, when the number of channels of an acoustic system having a plurality of audio channels is converted, the signal level ratio between the object component and the background component in the audio signal before conversion is maintained after the conversion. Like that.

図１は、本発明の一実施形態に係るチャンネル数変換装置の概略構成を説明する機能ブロック図である。 FIG. 1 is a functional block diagram illustrating a schematic configuration of a channel number conversion apparatus according to an embodiment of the present invention.

図１に示すように、本実施形態に係るチャンネル数変換装置１は、制御部１０、および記憶部２０を備えている。制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換したものを出力する。図１においては、チャンネル数変換装置１の左側から２２．２ｃｈの音声信号が入力され、チャンネル数変換装置１の左側から、例えば５．１ｃｈのような、チャンネル数が変換された音声信号が出力される様子を示してある。 As shown in FIG. 1, the channel number conversion device 1 according to the present embodiment includes a control unit 10 and a storage unit 20. When an audio signal of a plurality of channels is input, the control unit 10 outputs a signal obtained by converting the number of channels of the audio signal. In FIG. 1, an audio signal of 22.2 ch is input from the left side of the channel number conversion device 1, and an audio signal with the channel number converted, such as 5.1 ch, is output from the left side of the channel number conversion device 1. It shows how it is done.

以下、制御部１０および記憶部２０を含んで本発明に係るチャンネル数変換装置１を構成するものとして説明する。しかしながら、本発明はこのような実施形態に限定されるものではない。例えば、制御部１０が記憶部２０を内蔵するような構成としたり、チャンネル数変換装置１を制御部１０および記憶部２０の機能を有するシステムオンチップ（ＳｏＣ）として構成するなど、種々の構成態様を想定することができる。 Hereinafter, description will be made assuming that the channel number conversion apparatus 1 according to the present invention includes the control unit 10 and the storage unit 20. However, the present invention is not limited to such an embodiment. For example, various configurations such as a configuration in which the control unit 10 includes the storage unit 20, or the channel number conversion device 1 is configured as a system-on-chip (SoC) having the functions of the control unit 10 and the storage unit 20. Can be assumed.

制御部１０は、例えばプロセッサまたはマイコンなどの任意の処理装置を含んで構成することができる。本実施形態において、制御部１０は、音声信号を含む各種のデータの入力に基づいて、当該データを解析したり、各種の演算処理を施したりする。また、制御部１０は、必要に応じて各種の解析結果を記憶部２０に記憶させたり、必要に応じて記憶部２０に記憶された各種情報を読み出したりすることができる。特に、本実施形態において、制御部１０は、複数のチャンネルの音声信号が入力されると、当該音声信号のチャンネル数を変換する処理を行う。また、本実施形態において、制御部１０は、このようなチャンネル数の変換に関連する各種の処理も行う。本実施形態において制御部１０が行う処理については、さらに後述する。 The control part 10 can be comprised including arbitrary processing apparatuses, such as a processor or a microcomputer, for example. In this embodiment, the control part 10 analyzes the said data based on the input of the various data containing an audio | voice signal, or performs various arithmetic processing. Moreover, the control part 10 can memorize | store various analysis results in the memory | storage part 20 as needed, and can read the various information memorize | stored in the memory | storage part 20 as needed. In particular, in the present embodiment, when an audio signal of a plurality of channels is input, the control unit 10 performs a process of converting the number of channels of the audio signal. In the present embodiment, the control unit 10 also performs various processes related to the conversion of the number of channels. The processing performed by the control unit 10 in the present embodiment will be further described later.

記憶部２０は、任意のメモリ装置を含んで構成することができる。記憶部２０は、制御部１０が上述したようなデータ解析および各種の演算処理などを行う際のアルゴリズム、およびルックアップテーブル（ＬＵＴ）のような各種の参照テーブルなども記憶する。 The storage unit 20 can be configured to include any memory device. The storage unit 20 also stores an algorithm used when the control unit 10 performs data analysis and various arithmetic processes as described above, and various reference tables such as a lookup table (LUT).

上述したように、本実施形態に係るチャンネル数変換装置１は、複数のチャンネルの音声信号の入力に基づいて、当該音声信号のチャンネル数を変換してから出力する。ここで、チャンネル数変換装置１が扱う音声信号の複数のチャンネル数は特に限定されるものではなく、任意の複数のチャンネルとすることができる。しかしながら、本実施形態に係るチャンネル数変換装置１は、５．１ｃｈを超えるようなマルチチャンネルの音声信号を扱うのに特に好適である。以下の説明においては、チャンネル数変換装置１に入力される音声信号は、例として、ＳＨＶにおいて採用される２２．２ｃｈサラウンドの音声信号である場合について述べる。ここで、チャンネル数変換装置に入力する２２．２ｃｈの音声信号は、例えばＰＣＭ信号または圧縮符号化した信号など、種々の形式の信号とすることができる。 As described above, the channel number conversion device 1 according to the present embodiment converts the number of channels of the audio signal based on the input of the audio signals of a plurality of channels and outputs the converted signal. Here, the number of channels of the audio signal handled by the channel number conversion apparatus 1 is not particularly limited, and any number of channels can be used. However, the channel number conversion device 1 according to the present embodiment is particularly suitable for handling multi-channel audio signals exceeding 5.1 ch. In the following description, the case where the audio signal input to the channel number conversion apparatus 1 is, for example, a 22.2 ch surround audio signal employed in SHV will be described. Here, the 22.2 ch audio signal input to the channel number conversion device can be a signal of various formats such as a PCM signal or a compression-coded signal.

すなわち、本実施形態で２２．２ｃｈの音声信号に基づく音声の再生を行う音響システムにおいてスピーカが配置される位置は、規格ＳＭＰＴＥＳＴ２０３６−２−２００８に規定されている。ＳＨＶの音響システムでは、聴取位置を中心とする三次元空間において、ｃｈ１〜１２の中層には１０個のスピーカを配置し、ｃｈ１３〜２１の上層（Ｔｏｐ）に９個のスピーカを配置し、ｃｈ２２〜２４の下層（Ｂｏｔｔｏｍ）に３個のスピーカを配置する。なお、ｃｈ４および１０は、低域効果音（ＬＦＥ）用のチャンネルである。このように、２２．２ｃｈの音響システムにおいては、合計２４ｃｈのチャンネルの音声信号に基づく音声を再生する。 That is, in the present embodiment, the position where the speaker is arranged in the acoustic system that reproduces audio based on the 22.2 ch audio signal is defined in the standard SMPTE ST2036-2-2-2008. In the SHV acoustic system, in a three-dimensional space centered at the listening position, ten speakers are arranged in the middle layer of ch1-12, nine speakers are arranged in the upper layer (Top) of ch13-21, and ch22 Three speakers are arranged in the lower layer (Bottom) of ˜24. Note that channels 4 and 10 are channels for low-frequency sound effects (LFE). In this way, in the 22.2 ch acoustic system, audio based on the audio signals of a total of 24 ch channels is reproduced.

次に、本実施形態に係るチャンネル数変換装置１において、複数のチャンネルの音声信号の入力に基づいて、チャンネル数を変換する際の処理について説明する。 Next, in the channel number conversion apparatus 1 according to the present embodiment, processing when converting the number of channels based on input of audio signals of a plurality of channels will be described.

図２は、本発明の一実施形態におけるチャンネル数の変換を説明する図である。図２は、チャンネル数変換装置１が、複数の音声チャンネルの音声信号を入力されて、当該音声信号のチャンネル数を変換してから出力する際の処理の流れを、左から右の方向に示している。 FIG. 2 is a diagram for explaining the conversion of the number of channels in an embodiment of the present invention. FIG. 2 shows the flow of processing when the channel number conversion apparatus 1 receives audio signals of a plurality of audio channels, converts the number of channels of the audio signals, and outputs the converted audio signals, from left to right. ing.

チャンネル数変換装置１に２２．２ｃｈの音声信号が入力されると、制御部１０は、入力された２２．２ｃｈ音声信号を、ダイアログ成分の１ｃｈと、その他のバックグラウンド成分の２１．２ｃｈとに分配する（ステップＳ１１）。本実施形態においては、複数の音声チャンネルを１ｃｈと２１．２ｃｈとで分配したが、本発明のチャンネル数変換はこのような分配に限定されるものではなく、要求される仕様などに応じて、任意に分配することができる。また、本実施形態においては、複数の音声チャンネルを２つに分配したが、本発明のチャンネル数変換はこのような分配に限定されるものではなく、任意の所定数に分配することができる。 When a 22.2 ch audio signal is input to the channel number conversion device 1, the control unit 10 converts the input 22.2 ch audio signal into a dialog component 1 ch and another background component 21.2 ch. Distribute (step S11). In the present embodiment, a plurality of audio channels are distributed between 1ch and 21.2ch. However, the conversion of the number of channels of the present invention is not limited to such distribution, and according to the required specifications, etc. Can be distributed arbitrarily. Further, in the present embodiment, a plurality of audio channels are distributed into two, but the channel number conversion of the present invention is not limited to such distribution, and can be distributed to any predetermined number.

ステップＳ１１においてチャンネルが分配されたら、制御部１０は、分配されたチャンネルの音声信号の信号レベルを、それぞれ測定する（ステップＳ１２）。本実施形態においては、信号レベルの測定として、それぞれの音声信号のラウドネス値を測定する。 When the channel is distributed in step S11, the control unit 10 measures the signal level of the audio signal of the distributed channel (step S12). In this embodiment, the loudness value of each audio signal is measured as the signal level.

ここで、複数の音声チャンネルを有する音響システムのラウドネスの測定方法は、現状の５．１ｃｈ用の測定方法または方向別のラウドネスを考慮した方法など、任意の手法とすることができる。従来の５．１ｃｈの音声信号からラウドネス値を算出する方法については、ＡＲＩＢ技術資料ＴＲ−Ｂ３２（社団法人電波産業会「デジタルテレビ放送番組におけるラウドネス運用規定」）に規定されている。 Here, the method for measuring the loudness of an acoustic system having a plurality of audio channels can be any method such as the current measurement method for 5.1ch or a method that takes into account the direction-specific loudness. A conventional method for calculating a loudness value from a 5.1ch audio signal is defined in ARIB Technical Document TR-B32 (Radio Industry Association “Loudness Operation Rules for Digital Television Broadcasting Programs”).

また、５．１ｃｈを超えるようなマルチチャンネルの音声信号のラウドネスを測定する際には、上述のＡＲＩＢ技術資料ＴＲ−Ｂ３２に規定された方法を単純に拡張することもできるが、各チャンネルからの音の到来方向を考慮したラウドネス値を算出してもよい。このように音の到来方向を考慮したラウドネス測定は、本出願人による先の特許出願（特願２０１４−３２１９０）の明細書に開示したため、ここではその詳細な説明は省略する。 Moreover, when measuring the loudness of a multi-channel audio signal exceeding 5.1 ch, the method defined in the above-mentioned ARIB technical document TR-B32 can be simply expanded. A loudness value may be calculated in consideration of the direction of sound arrival. Since the loudness measurement in consideration of the sound arrival direction is disclosed in the specification of the previous patent application (Japanese Patent Application No. 2014-32190) by the present applicant, the detailed description thereof is omitted here.

ステップＳ１２においてそれぞれの音声信号のラウドネスが測定されたら、制御部１０は、ダイアログ成分およびバックグラウンド成分のチャンネル数を、それぞれ変換する（ステップＳ１３，ステップＳ１４）。 When the loudness of each audio signal is measured in step S12, the control unit 10 converts the number of channels of the dialog component and the background component, respectively (step S13, step S14).

２２．２ｃｈの音声信号は、オブジェクト成分とバックグラウンド成分とが既に不可分な状態にミックスされている場合、以下の式（１）〜（６）を用いることにより、５．１ｃｈにダウンミックスすることができる。これらの式に示す固定ダウンミックス係数を用いることで、２２．２ｃｈ信号時の音声バランスを大幅に損なうことなく、チャンネル数を５．１ｃｈに変換することができる。なお、以下の変換式中の係数をｄＢに変換すると、１／２^１／２は−３ｄＢに、１／２^３／４は−４．５ｄＢに、１／２は−６ｄＢに対応する。この関係は、真数表示において完全には一致しないが、例えば±０．０１程度の範囲のような、ある程度の数値のズレは、本式に規定する関係に含まれるものとする。また、このようなチャンネル数変換において、各チャンネル間の係数比を維持したまま、全チャンネルのレベルをシフトさせることにより、全体のレベルを上げ下げしてもよい。

The 22.2ch audio signal should be downmixed to 5.1ch by using the following equations (1) to (6) when the object component and the background component are already mixed in an indivisible state. Can do. By using the fixed downmix coefficients shown in these equations, the number of channels can be converted to 5.1ch without significantly impairing the sound balance at the time of 22.2ch signal. When the coefficients in the following conversion equations are converted to dB, ^{1/2 1/2} corresponds to −3 dB, ^1/2 ^3/4 corresponds to −4.5 dB, and ^1/2 corresponds to −6 dB. This relationship is not completely coincident in the true number display, but a certain amount of deviation, such as a range of about ± 0.01, is included in the relationship defined in this equation. In such channel number conversion, the overall level may be raised or lowered by shifting the level of all channels while maintaining the coefficient ratio between the channels.

また、上述のようにして２２．２ｃｈの音声信号を５．１ｃｈにダウンミックスする際は、上記の式（１）〜（６）に代えて、以下の式（７）〜（１２）を用いてもよい。これらの式に示す固定ダウンミックス係数を用いることで、２２．２ｃｈ信号時の音声バランスを損なうことなく、さらに好適にチャンネル数を５．１ｃｈに変換することができる。

When the 22.2 ch audio signal is downmixed to 5.1 ch as described above, the following formulas (7) to (12) are used instead of the above formulas (1) to (6). May be. By using the fixed downmix coefficients shown in these equations, the number of channels can be more suitably converted to 5.1ch without impairing the sound balance at the time of 22.2ch signal.

さらに、上述のようにして２２．２ｃｈの音声信号を５．１ｃｈにダウンミックスする際は、上記の式（１）〜（６）または式（７）〜（１２）に代えて、以下の式（１３）〜（１８）を用いてもよい。これらの式に示した係数ｇ_１〜ｇ_５およびｇ_ＬＦＥの関係を維持してダウンミックスをおこなうことで、２２．２ｃｈ信号時の音声バランスを大きく損なうことなく、５．１ｃｈ信号のレベルやラウドネスの調整幅を拡大することができる。このため、さらに好適にチャンネル数を５．１ｃｈに変換することができる。なお、各係数はそれぞれ等しい値とすることも可能である。

Further, when the 22.2 ch audio signal is downmixed to 5.1 ch as described above, the following formula is used instead of the formula (1) to (6) or the formulas (7) to (12). (13) to (18) may be used. By performing the downmix while maintaining the relationship between the coefficients g _{1 to} g ₅ and g _LFE shown in these equations, the level and loudness of the 5.1 ch signal are not significantly impaired without significantly degrading the audio balance at the 22.2 ch signal. The adjustment range can be expanded. For this reason, the number of channels can be more preferably converted to 5.1 ch. Each coefficient can be set to an equal value.

本実施形態においては、複数のチャンネルの音声信号を、ダイアログ成分の１ｃｈと、バックグラウンド成分の２１．２ｃｈとに分配して、チャンネル変換を行う態様を記載している。しかしながら、本発明は、例えば、オブジェクト（ダイアログ）成分のチャンネル数を１ｃｈとするのではなく、複数のチャンネルにまたがるオブジェクト成分、または複数個のオブジェクトに対しても適用することができる。 In the present embodiment, a mode is described in which audio signals of a plurality of channels are distributed to 1 ch of the dialog component and 21.2 ch of the background component to perform channel conversion. However, the present invention can be applied to, for example, an object component extending over a plurality of channels or a plurality of objects, instead of setting the number of channels of the object (dialog) component to 1ch.

ステップＳ１３およびＳ１４においてチャンネル数が変換されたら、制御部１０は、チャンネル変換後のそれぞれの音声信号のレベル（本実施形態においてはラウドネス）を再び測定する（ステップＳ１５）。なお、ステップＳ１３およびＳ１４で用いられるチャンネル数変換は、５．１ｃｈと同様の固定されたダウンミックス係数によるチャンネル数変換の他、三次元的なチャンネル配置を所望のチャンネル配置・数にレンダリングする方法（例えば、A. Ando and K. Hamasaki, “Sound intensity based three-dimensional panning,” AES Convention, Convention Paper 7675 (2009)など参照）などを用いることができる。 When the number of channels is converted in steps S13 and S14, the control unit 10 measures again the level (loudness in this embodiment) of each audio signal after the channel conversion (step S15). The channel number conversion used in steps S13 and S14 is a method of rendering a three-dimensional channel arrangement into a desired channel arrangement / number in addition to channel number conversion using a fixed downmix coefficient similar to 5.1ch. (See, for example, A. Ando and K. Hamasaki, “Sound intensity based three-dimensional panning,” AES Convention, Convention Paper 7675 (2009), etc.).

ステップＳ１５においてそれぞれの音声信号のラウドネスが測定されたら、制御部１０は、ステップＳ１２およびステップＳ１５で測定したラウドネスに基づいて、それぞれの音声信号のレベルを調整する（ステップＳ１６）。 When the loudness of each audio signal is measured in step S15, the control unit 10 adjusts the level of each audio signal based on the loudness measured in steps S12 and S15 (step S16).

ステップＳ１６においては、例えば、ダイアログ成分とバックグラウンド成分とのチャンネル数変換前のラウドネス値の比率、および、これらのチャンネル数変換後のラウドネス値の比率に基づいて、チャンネル数変換後の音声信号のレベルをそれぞれ調整する。この際、ダイアログ成分のみの信号レベルの変化、バックグラウンド成分のみの信号レベルの変化、またはダイアログ成分およびバックグラウンド成分の両方の信号レベルの変化、によって調整することができる。 In step S16, for example, based on the ratio of the loudness value before the channel number conversion between the dialog component and the background component, and the ratio of the loudness value after the channel number conversion, the audio signal after the channel number conversion is converted. Adjust each level. At this time, the adjustment can be made by changing the signal level of only the dialog component, changing the signal level of only the background component, or changing the signal level of both the dialog component and the background component.

ステップＳ１６における信号レベル調整の精度は、例えば、モメンタリ値の精度に追随させたり、または、信号レベル差が１ＬＫＦＳを超えた場合に調整を行ったりするなど、コンテンツの要求精度に合わせた指標を採用することができる。 The accuracy of the signal level adjustment in step S16 employs an index that matches the required accuracy of the content, such as following the accuracy of the momentary value or adjusting when the signal level difference exceeds 1 LKFS. can do.

ステップＳ１６において信号レベルが調整されたら、制御部１０は、信号レベルを調整したダイアログ成分とバックグラウンド成分とを加算する（ステップＳ１７）。このステップＳ１７の後、チャンネル数変換装置１は、チャンネル数を変換した音声信号を出力することができる。 When the signal level is adjusted in step S16, the control unit 10 adds the dialog component adjusted for the signal level and the background component (step S17). After this step S17, the channel number conversion device 1 can output an audio signal obtained by converting the number of channels.

このように、本実施形態において、チャンネル数変換装置１は、複数の音声チャンネル（例えば２２．２ｃｈ）の音声信号のチャンネル数を（例えば５．１ｃｈなどの少ないチャンネル数に）変換する。ここで、制御部１０は、複数の音声チャンネルを所定数に分配した音声信号のチャンネル数を変換する。また、制御部１０は、分配した音声信号のチャンネル数を変換する前後の信号レベルに基づいて、当該分配した音声信号のチャンネル数を変換した後の信号レベルを調整する。 Thus, in this embodiment, the channel number conversion apparatus 1 converts the number of audio signal channels of a plurality of audio channels (for example, 22.2 ch) (for example, to a small number of channels such as 5.1 ch). Here, the control unit 10 converts the number of audio signal channels obtained by distributing a plurality of audio channels into a predetermined number. Further, the control unit 10 adjusts the signal level after converting the number of channels of the distributed audio signal based on the signal level before and after converting the number of channels of the distributed audio signal.

また、本実施形態において、制御部１０は、所定数に分配した音声信号のうち少なくとも１つのチャンネル数を変換する前後の信号レベルに基づいて、分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整してもよい。ここで、所定数に分配した音声信号のうち少なくとも１つとは、所定数に分配した音声信号のうち１つ（ダイアログ成分のｃｈ）とすることができる。また、所定数に分配した音声信号のうち少なくとも１つとは、所定数に分配した音声信号のうち全てとすることもできる。 Further, in the present embodiment, the control unit 10 converts the number of channels of the distributed audio signal after converting the number of channels of the distributed audio signal based on the signal level before and after converting the number of at least one channel among the audio signals distributed to the predetermined number. The signal level may be adjusted. Here, at least one of the audio signals distributed in a predetermined number can be one of the audio signals distributed in a predetermined number (dialog component ch). Further, at least one of the audio signals distributed to the predetermined number may be all of the audio signals distributed to the predetermined number.

このように、本実施形態においては、複数の音声チャンネルを有する音響システム用の音声信号のオブジェクト成分とその他のバックグラウンド成分との信号レベル比またはラウドネス比などを測定する。この測定に基づいて、本実施形態においては、オブジェクト成分の音声信号およびバックグラウンド成分の音声信号のチャンネル数を個別に変換する。このチャンネル数変換後、本実施形態において、再度、音声信号のオブジェクト成分とバックグラウンド成分との信号レベル比またはラウドネス比などを測定する。この測定および先の測定に基づいて、本実施形態においては、チャンネル数変換後のオブジェクト成分およびバックグラウンド成分の信号レベルを調整することにより、チャンネル数変換を行う。 Thus, in this embodiment, the signal level ratio or the loudness ratio between the object component of the audio signal for the acoustic system having a plurality of audio channels and other background components is measured. Based on this measurement, in this embodiment, the number of channels of the audio signal of the object component and the audio signal of the background component are individually converted. After this channel number conversion, in this embodiment, the signal level ratio or the loudness ratio between the object component and the background component of the audio signal is measured again. Based on this measurement and the previous measurement, in the present embodiment, the channel number conversion is performed by adjusting the signal levels of the object component and the background component after the channel number conversion.

したがって、本実施形態に係るチャンネル数変換装置によれば、複数の音声チャンネルを有する音響システムのチャンネル数を変換する際に、変換前の音声信号におけるオブジェクト成分とバックグラウンド成分との信号レベル比を、変換後も維持することができる。 Therefore, according to the channel number conversion device according to the present embodiment, when converting the number of channels of an acoustic system having a plurality of audio channels, the signal level ratio between the object component and the background component in the audio signal before conversion is calculated. , Can be maintained after conversion.

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。また、上述した本発明の実施形態は、それぞれ説明した実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each functional unit, each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of functional units, steps, etc. are combined or divided into one. It is possible. Further, the above-described embodiments of the present invention are not limited to being implemented faithfully to the embodiments described above, and may be implemented by appropriately combining the features or omitting some of them. it can.

また、上述した実施形態においては、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルの音声信号を少ないチャンネル数に変換する装置を説明したが、本発明は、このような実施形態に限定されない。本発明は、ＳＨＶに採用される２２．２ｃｈのマルチチャンネルのみならず、その他のチャンネルベースの立体音響フォーマットにおいても実施することができる。また、本発明は、上述した２２．２ｃｈなどのチャンネルベース方式以外にも、Dolby ATMOSなどのオブジェクトベース方式、または高次アンビソニックスなどのシーンベース方式に適用することもできる。 In the above-described embodiment, an apparatus for converting a 22.2 ch multi-channel audio signal employed in SHV into a small number of channels has been described, but the present invention is not limited to such an embodiment. The present invention can be implemented not only in the 22.2 channel multi-channel adopted in SHV but also in other channel-based stereophonic audio formats. Further, the present invention can be applied to an object-based method such as Dolby ATMOS or a scene-based method such as higher-order ambisonics, in addition to the above-described channel-based method such as 22.2ch.

また、上述した実施形態では、ステップＳ１２およびステップＳ１５の信号レベルの測定は、ラウドネス値を指標として用いてラウドネスを測定する態様を説明した。しかしながら、本発明におけるステップＳ１２およびステップＳ１５の信号レベル測定は、ラウドネス測定に限定されるものではない。例えば、ダイアログにとって重要であるホルマント成分の帯域に限定した信号レベル比、または聴覚心理上敏感な４ｋＨｚ付近のみに着目した信号レベル比など、使用の目的によって、基準とする指標を適宜変更することができる。 In the above-described embodiment, the measurement of the signal level in steps S12 and S15 has been described with respect to the aspect in which the loudness is measured using the loudness value as an index. However, the signal level measurement in step S12 and step S15 in the present invention is not limited to the loudness measurement. For example, it is possible to appropriately change the reference index according to the purpose of use, such as a signal level ratio limited to a formant component band that is important for a dialog, or a signal level ratio focused only on the vicinity of 4 kHz that is sensitive to auditory psychology. it can.

また、上述した実施形態では、制御部１０が、ステップＳ１２およびステップＳ１５における信号レベル（ラウドネス）測定を行う態様について説明した。しかしながら、本発明はこのような態様に限定されるものではなく、各種の情報を適宜外部から供給されるように構成してもよい。例えば、分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方は、制御部１０が測定するのではなく、これらの信号レベルの情報をチャンネル数変換装置１から供給されてもよい。すなわち、制御部１０は、分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方を測定してもよい。また、制御部１０は、分配した音声信号のチャンネル数を変換する前の信号レベルの情報、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの情報の少なくとも一方を、チャンネル数変換装置１の外部から供給されるように構成してもよい。 In the above-described embodiment, the aspect in which the control unit 10 performs the signal level (loudness) measurement in Step S12 and Step S15 has been described. However, the present invention is not limited to such an embodiment, and various types of information may be appropriately supplied from the outside. For example, the control unit 10 does not measure at least one of the signal level before converting the number of channels of the distributed audio signal and the signal level after converting the number of channels of the distributed audio signal. The signal level information may be supplied from the channel number conversion device 1. That is, the control unit 10 may measure at least one of the signal level before converting the number of channels of the distributed audio signal and the signal level after converting the number of channels of the distributed audio signal. Further, the control unit 10 converts at least one of the information on the signal level before converting the number of channels of the distributed audio signal and the information on the signal level after converting the number of channels of the distributed audio signal into the number of channels. You may comprise so that it may be supplied from the exterior of the apparatus 1. FIG.

１チャンネル数変換装置
１０制御部
２０記憶部 1 Channel Number Conversion Device 10 Control Unit 20 Storage Unit

Claims

複数の音声チャンネルの音声信号のチャンネル数を変換するチャンネル数変換装置であって、
前記複数の音声チャンネルを所定数に分配した音声信号のチャンネル数を変換し、当該分配した音声信号のチャンネル数を変換する前後の信号レベルに基づいて、当該分配した音声信号のチャンネル数を変換した後の信号レベルを調整する制御部を備える、チャンネル数変換装置。 A channel number conversion device for converting the number of channels of audio signals of a plurality of audio channels,
The number of channels of the audio signal in which the plurality of audio channels are distributed into a predetermined number is converted, and the number of channels in the distributed audio signal is converted based on the signal level before and after converting the number of channels in the distributed audio signal. A channel number conversion device comprising a control unit for adjusting a later signal level.

前記制御部は、前記所定数に分配した音声信号のうち少なくとも１つのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整する、請求項１に記載のチャンネル数変換装置。 The control unit adjusts each signal level after converting the number of channels of the distributed audio signal based on a signal level before and after converting the number of channels of at least one of the audio signals distributed to the predetermined number. The channel number conversion device according to claim 1.

前記制御部は、前記所定数に分配した音声信号のうち１つのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整する、請求項２に記載のチャンネル数変換装置。 The controller adjusts each signal level after converting the number of channels of the distributed audio signal based on a signal level before and after converting the number of channels of the audio signal distributed to the predetermined number. The channel number conversion apparatus according to claim 2.

前記制御部は、前記所定数に分配した音声信号のうち全てのチャンネル数を変換する前後の信号レベルに基づいて、前記分配した音声信号のチャンネル数を変換した後のそれぞれの信号レベルを調整する、請求項２に記載のチャンネル数変換装置。 The control unit adjusts the respective signal levels after converting the number of channels of the distributed audio signal based on signal levels before and after converting all the channel numbers of the audio signal distributed to the predetermined number. The channel number conversion apparatus according to claim 2.

前記制御部は、前記分配した音声信号のチャンネル数を変換する前の信号レベル、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの少なくとも一方を測定するように構成した、請求項１〜４のいずれか１項に記載のチャンネル数変換装置。 The control unit is configured to measure at least one of a signal level before converting the number of channels of the distributed audio signal and a signal level after converting the number of channels of the distributed audio signal. The channel number conversion device according to any one of 1 to 4.

前記制御部は、前記分配した音声信号のチャンネル数を変換する前の信号レベルの情報、および当該分配した音声信号のチャンネル数を変換した後の信号レベルの情報の少なくとも一方を、前記チャンネル数変換装置の外部から供給されるように構成した、請求項１〜４のいずれか１項に記載のチャンネル数変換装置。
The control unit converts at least one of signal level information before converting the number of channels of the distributed audio signal and signal level information after converting the number of channels of the distributed audio signal into the channel number conversion. The channel number conversion apparatus according to claim 1, wherein the channel number conversion apparatus is configured to be supplied from outside the apparatus.