JP5417227B2

JP5417227B2 - Multi-channel acoustic signal downmix device and program

Info

Publication number: JP5417227B2
Application number: JP2010056681A
Authority: JP
Inventors: 馨渡辺; 靖茂中山
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-03-12
Filing date: 2010-03-12
Publication date: 2014-02-12
Anticipated expiration: 2030-03-12
Also published as: JP2011193164A

Description

本発明は、多数の音響チャンネルを持つ番組コンテンツの音響信号を受信し、２チャンネル音響信号や５．１チャンネルサラウンド音響信号へダウンミックスする技術に関する。 The present invention relates to a technique for receiving an audio signal of a program content having a large number of audio channels and downmixing it to a 2-channel audio signal or a 5.1-channel surround audio signal.

大画面・高精細の映像システムに対応した２次元音響方式として、２チャンネル音響方式や５．１チャンネルサラウンド音響方式よりもさらに臨場感の高い音響再生が実現できる「前方５チャンネル＋側方・後方５チャンネル音響方式」がある。 As a two-dimensional audio system compatible with large-screen, high-definition video systems, it is possible to realize more realistic sound reproduction than the 2-channel audio system and 5.1-channel surround sound system. There is a “5-channel sound system”.

また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした「３次元（立体）音響方式」がある。この３次元音響方式の例を図８に示す。３次元音響方式は、例えば図８に示す多数の音響チャンネル（メインチャンネル２２ｃｈ、低域強調（ＬＦＥ）チャンネル２ｃｈ）から構成されている。この３次元音響方式の番組制作は、大画面映像ディスプレイ（ＴＶディスプレイ）と多数のスピーカーを配置した図８の標準制作配置で行われる。 In addition, there is a “three-dimensional (three-dimensional) sound system” in which channels are expanded hierarchically in the height direction to enable sound image localization in the height direction. An example of this three-dimensional acoustic method is shown in FIG. The three-dimensional sound system is composed of, for example, a large number of sound channels (main channel 22ch, low frequency emphasis (LFE) channel 2ch) shown in FIG. This three-dimensional audio system program production is performed in the standard production arrangement of FIG. 8 in which a large screen video display (TV display) and a large number of speakers are arranged.

３次元音響方式などのマルチチャンネル音響の形式で制作された番組コンテンツの音響信号は、音響符号化ストリーム信号として多重され電波等により家庭に伝送される。この音響符号化ストリーム信号には、マルチチャンネル音響信号のほかに、音響方式に関するパラメータや番組コンテンツに適切なダウンミックス係数のパラメータなどの音響チャンネル関連メタデータが多重されている。 An audio signal of program content produced in a multi-channel audio format such as a three-dimensional audio system is multiplexed as an audio encoded stream signal and transmitted to a home by radio waves or the like. In addition to the multi-channel audio signal, audio channel-related metadata such as a parameter relating to the audio system and a parameter of a downmix coefficient appropriate for the program content are multiplexed in the audio encoded stream signal.

家庭においては、標準制作配置に則った音響用スピーカーを設置しない場合が多く、従来の２チャンネル音響信号や５．１チャンネルサラウンド音響信号の再生装置で再生されることも多いと想定される。この場合、家庭等においては、音響符号化ストリーム信号を受信し、これをマルチチャンネル音響信号の形式に復号し、また音響チャンネル関連メタデータを分離し、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置側で設定される再生チャンネル数に従って分配し、２チャンネル音響信号や５．１チャンネルサラウンド音響信号にダウンミックスした後、音響再生される。 In homes, there are many cases where an acoustic speaker is not installed according to the standard production arrangement, and it is assumed that it is often reproduced by a conventional reproducing apparatus for 2-channel sound signals and 5.1-channel surround sound signals. In this case, at home, etc., an audio encoded stream signal is received, decoded into a multi-channel audio signal format, audio channel-related metadata is separated, and the multi-channel audio signal is converted into audio channel-related metadata. Are distributed according to the number of playback channels set on the playback device side, down-mixed into a 2-channel audio signal or a 5.1-channel surround sound signal, and then played back.

例えば、ＤＶＤやハイビジョン放送の音響システムとして、「国際電気通信連合無線通信部門（ＩＴＵ−Ｒ）で勧告されている、５．１チャンネルサラウンド音響技術方式が普及している（例えば、非特許文献１参照）。電波産業会（ＡＲＩＢ）では、５．１チャンネルサラウンド音響信号を受信したときに２チャンネルステレオ音響信号にダウンミックスする機能を、「ＡＲＩＢＳＴＤ−Ｂ２１デジタル放送用受信装置（望ましい仕様）」として規定している（例えば、非特許文献２参照）。この規定においては具体的なダウンミックスの計算式及びメタデータとして送出される後方チャンネルパラメータが規定されている。 For example, as a sound system for DVD and high-definition broadcasting, “a 5.1 channel surround sound technology system recommended by the International Telecommunications Union Wireless Communication Sector (ITU-R) is widespread (for example, Non-Patent Document 1). (See ARIB STD-B21 Receiver for Digital Broadcasting (preferred specifications).) The Radio Industry Association (ARIB) has a function to downmix 5.1 channel surround sound signals to 2 channel stereo sound signals. (See, for example, Non-Patent Document 2). In this specification, a specific downmix calculation formula and a rear channel parameter transmitted as metadata are specified.

また、２次元音響方式よりもさらに臨場感の高い音響を再生できる「３次元（立体）音響方式」の番組制作に基づくマルチチャンネル音響信号についても、多数のスピーカーを標準配置とは異なる従来からの２チャンネル音響信号の再生装置や５．１チャンネルサラウンド音響信号の再生装置で再生されることも多い。この３次元音響方式などの多数の音響チャンネル信号を２チャンネル音響信号や５．１チャンネルサラウンド音響信号にダウンミックスするための具体的な計算式及びメタデータ、メタデータ受信時の計算式の例はＡＲＩＢＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」に記載されている（例えば、非特許文献３参照）。 Also, for multi-channel audio signals based on “3D (stereoscopic) audio system” program production that can reproduce sounds with a higher sense of presence than 2D audio systems, many speakers are different from the standard arrangement. It is often played back by a 2-channel sound signal playback device or a 5.1-channel surround sound signal playback device. Examples of specific calculation formulas and metadata, and calculation formulas at the time of receiving metadata for downmixing a large number of audio channel signals such as this three-dimensional audio system into 2-channel audio signals and 5.1-channel surround sound signals are as follows: It is described in ARIB STD-B32 “Video Coding, Audio Coding and Multiplexing System in Digital Broadcasting” (for example, see Non-Patent Document 3).

ＩＴＵ−Ｒ勧告ＢＳ．７７５、“Multichannel stereophonic sound system with and without accompanying picture”ITU-R recommendation BS. 775, “Multichannel stereophonic sound system with and without accompanying picture” ＡＲＩＢＳＴＤ−Ｂ２１「デジタル放送用受信装置（望ましい仕様）」ARIB STD-B21 “Digital Broadcasting Receiver (Preferred Specifications)” ＡＲＩＢＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」ARIB STD-B32 “Video Coding, Audio Coding and Multiplexing Methods in Digital Broadcasting”

しかしながら、ＡＲＩＢＳＴＤ−Ｂ３２に記載されている規定のダウンミックスの計算式に則りつつ単純にダウンミックスを行うと、「オーバーフローに伴う音質劣化又は番組（５．１チャンネルサラウンド音響信号や２チャンネル音響信号も混在する）間の音の大きなレベル差、及び音声バランスの劣化」が頻繁に発生する。 However, when downmixing is simply performed in accordance with the prescribed downmix calculation formula described in ARIB STD-B32, “sound quality deterioration due to overflow or program (5.1 channel surround sound signal or 2 channel sound signal) A large difference in sound level between the two) and a deterioration in sound balance occur frequently.

そこで、ダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化、又は番組間の音の大きなレベル差及び音声バランスの劣化を少なくする技術が必要とされていた。 Therefore, a technique for reducing deterioration in sound quality due to frequent overflow, or a large level difference in sound between programs and deterioration in sound balance, in accordance with the downmix calculation formula is required.

本発明の目的は、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減する、マルチチャンネル音響信号のダウンミックス装置及びプログラムを提供することにある。 An object of the present invention is to reduce a sound quality deterioration due to a frequent overflow or a large level difference of sound generated between programs and a deterioration of sound balance in accordance with a prescribed downmix calculation formula. It is in providing the downmix apparatus and program of this.

本発明は、３次元（立体）音響方式のように多数のチャンネルから構成されるマルチチャンネル音響信号に対してダウンミックスする際に、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を少なくするため、主に、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置側で設定される「再生チャンネル数」に従って各再生チャンネルのマルチチャンネル音響信号を選択して分配する音響チャンネル選択・分配部と、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定のダウンミックスの計算式のダウンミックス係数に従ってダウンミックスを行う各再生チャンネル用のダウンミックス音響チャンネルブロックとを備える。 In the present invention, when a multi-channel audio signal composed of a large number of channels is downmixed as in a three-dimensional (stereoscopic) audio system, an overflow that frequently occurs in accordance with a prescribed downmix calculation formula. In order to reduce the accompanying sound quality deterioration or the large level difference of sound generated between programs and the deterioration of sound balance, “parameters related to the sound system” in the sound channel related metadata and “ Select and distribute the multi-channel audio signal of each playback channel according to the number of playback channels, and input the multi-channel audio signal distributed for each playback channel, in the audio channel related metadata According to the downmix coefficient of the prescribed downmix calculation formula indicated by And a downmix acoustic channel block for each reproduction channel to be mixed.

各再生チャンネル用のダウンミックス音響チャンネルブロック（第ｉダウンミックス音響チャンネルブロック）は、ダウンミックスに際し、位相シフトダウンミックス音響信号及び単純ダウンミックス音響信号を生成するとともに、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号に対してフェードイン／フェードアウト処理を用いて切替を行い、第ｉダウンミックス音響信号を出力する。ダウンミックスされた第ｉダウンミックス音響信号は、対応するスピーカーを通して音響再生される。 The downmix sound channel block (i-th downmix sound channel block) for each reproduction channel generates a phase-shifted downmix sound signal and a simple downmix sound signal during downmixing, and also provides a base for the i-th downmix sound channel. According to the cross-correlation value and the sound signal level of the sound channel signal and the accompanying sound channel signal, the phase-shift downmix sound signal or the simple downmix sound signal is switched using the fade-in / fade-out process, and the i-th downmix sound Output a signal. The downmixed i-th downmix sound signal is reproduced as sound through a corresponding speaker.

即ち、本発明のダウンミックス装置は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネル信号を除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、を備えることを特徴とする。 That is, the downmix device of the present invention is a downmix device that downmixes multichannel audio signals to generate downmix audio signals for the number of playback channels, and is an audio channel multiplexed in association with the multichannel audio signals. An acoustic channel-related metadata separating means for receiving a multiplexed signal of related metadata and separating and extracting a parameter relating to an acoustic method in the acoustic channel-related metadata; a parameter relating to the acoustic method; and the downmix device Based on the number of playback channels set in advance, among the multi-channel audio signals of each playback channel, select and determine a base acoustic channel signal and an accompanying acoustic channel signal that is another acoustic signal excluding the base acoustic channel signal , Distribute for each playback channel The sound channel selection / distribution means generates a phase-shift downmix sound signal for downmixing by phase shift and a simple downmix sound signal for downmixing only by delay processing for each playback channel, and for each playback channel. Switching between the phase shift downmix sound signal or the simple downmix sound signal is determined according to the cross-correlation value and sound signal level of the base sound channel signal and the accompanying sound channel signal, and the downmix sound signal for each reproduction channel is determined. Downmix acoustic signal generation means for outputting.

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、を備えることを特徴とする。 In the downmix device according to the present invention, the downmix sound signal generating means may be a phase shift downmix sound generating means for generating a phase shift downmix sound signal for downmixing by the phase shift, and a downshift only by the delay process. Simple downmix generation means for generating a simple downmix sound signal for mixing, and the phase shift downmix sound signal according to the cross-correlation value and sound signal level of the base sound channel signal and the accompanying sound channel signal in each reproduction channel, or Downmix switching means for determining switching of the simple downmix sound signal and outputting a downmix sound signal for each reproduction channel.

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする。 Further, in the downmix device of the present invention, the downmix sound signal generating means is configured to generate the phase shift downmix sound signal based on the cross-correlation value and sound signal level of the base sound channel signal and the accompanying sound channel signal. The apparatus further includes phase shift block switching determination means for generating a downmix switching signal indicating that any one of the simple downmix acoustic signals is determined.

また、本発明のダウンミックス装置において、前記位相シフトブロック切替判定手段は、前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、を備えることを特徴とする。 Further, in the downmix device of the present invention, the phase shift block switching determination means includes a cross-correlation between the base acoustic channel signal and the accompanying acoustic channel signal determined based on the parameters relating to the acoustic scheme and the number of reproduction channels. A cross-correlation calculating means for calculating a value, an acoustic signal level calculating means for calculating the respective acoustic signal levels of the base acoustic channel signal and the accompanying acoustic channel signal, and a cross-correlation value obtained from the cross-correlation calculating means, From the sound signal level of the accompanying sound channel signal obtained from the sound signal level calculation means, any of the phase shift downmix sound signal and the simple downmix sound signal is suitable for downmix processing (suppression of sound quality degradation and the like). In accordance with predetermined switching criteria Determined, the switching determination means for generating a downmix switching signal based on the judgment result, characterized in that it comprises a.

また、本発明のダウンミックス装置において、前記切替判定手段は、前記切替判定基準として、前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする。 Further, in the downmix device of the present invention, the switching determination means uses, as the switching determination criterion, the cross-correlation value is a predetermined value or more and at least one of the acoustic signal levels of the base acoustic channel signal is predetermined in full scale conversion. More than a level, and at least one of the audio signal levels of the accompanying audio channel signal is set to a predetermined level or more in full scale conversion, and when all are satisfied, the phase shift downmix audio signal is switched to, and otherwise the simple down It has the means to determine to switch to a mix sound signal, and to produce | generate the downmix switching signal based on the determined result, It is characterized by the above-mentioned.

また、本発明のダウンミックス装置において、前記音響チャンネル関連メタデータ分離手段は、前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、前記ダウンミックス音響信号生成手段は、該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする。 Further, in the downmix device of the present invention, the acoustic channel related metadata separation means may include metadata for a downmix switching signal instructing to switch the phase shift downmix acoustic signal or the simple downmix acoustic signal. If the metadata for the downmix switching signal is determined to be present in the acoustic channel-related metadata, it is determined whether the metadata is present in the acoustic channel-related metadata. Means for generating a signal, wherein the downmix sound signal generation means determines switching between the phase shift downmix sound signal or the simple downmix sound signal based on the downmix switch signal, and for each reproduction channel. To output downmix sound signal Characterized in that it has.

また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理手段を有することを特徴とする。 In the downmix device of the present invention, the downmix sound signal generating means includes fade-in / fade-out processing means for performing a fade-in / fade-out process when switching according to the downmix switching signal. .

さらに、本発明は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネル信号を除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、を実行させるためのプログラムとして特徴を有する。 Furthermore, the present invention provides an audio channel-related meta that is multiplexed in association with a multichannel audio signal on a computer configured as a downmix device that downmixes multichannel audio signals to generate downmix audio signals for the number of playback channels. Receiving a multiplexed signal of data, separating and extracting parameters related to the audio system in the audio channel related metadata, parameters related to the audio system, and the number of playback channels set in advance in the downmix device; A step of selecting and determining a base sound channel signal and an accompanying sound channel signal other than the base sound channel signal among the multi-channel sound signals of each play channel, and distributing the selected sound signals to the play channels; And play channel For each, a phase-shifted downmix sound signal that is downmixed by phase shift and a simple downmix sound signal that is downmixed only by delay processing are generated, and the base sound channel signal and the associated sound channel in each reproduction channel are generated. Determining whether to switch the phase-shift downmix audio signal or the simple downmix audio signal according to a signal cross-correlation value and an audio signal level, and outputting a downmix audio signal for each reproduction channel. Features as a program.

本発明によれば、３次元音響方式などの多数の音響チャンネル信号のダウンミックスを行うにあたり、２チャンネル音響や５．１チャンネルサラウンド音響信号などの番組間での音響信号レベル等の差異がある場合でも、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減させることができるようになる。 According to the present invention, when downmixing a large number of sound channel signals such as a three-dimensional sound system, there is a difference in the sound signal level between programs such as 2-channel sound and 5.1-channel surround sound signal. However, it is possible to reduce deterioration in sound quality due to frequent overflow or a large level difference in sound generated between programs and deterioration in sound balance in accordance with a prescribed downmix calculation formula.

本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図である。1 is a diagram illustrating a multi-channel audio signal downmix apparatus according to an embodiment of the present invention. FIG. 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。It is a block diagram of the phase shift block switching determination part in the downmix apparatus of the multi-channel acoustic signal of one Example by this invention. 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。FIG. 3 is a block diagram of a phase shift downmix unit in a multichannel audio signal downmix apparatus according to an embodiment of the present invention. 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。FIG. 3 is a block diagram of a simple downmix unit in a multichannel audio signal downmix apparatus according to an embodiment of the present invention. 本発明による一実施例のダウンミックス装置の動作フロー図である。It is an operation | movement flowchart of the downmix apparatus of one Example by this invention. 本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置の変形例を示す図である。It is a figure which shows the modification of the downmix apparatus of the multichannel acoustic signal of one Example by this invention. （ａ)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動の様子を示す図であり、（ｂ)は、本発明による一実施例のダウンミックス装置による、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制する様子を示す図である。(A) is a figure which shows the mode of the overflow and level fluctuation | variation which may occur when downmix is simply performed based on the calculation formula of a regular downmix, (b) is a figure of one Example by this invention. It is a figure which shows a mode that the overflow and level fluctuation which may arise when downmix is performed by a downmix apparatus are suppressed suitably. ３次元音響方式の標準制作配置の例を示す図である。It is a figure which shows the example of the standard production arrangement | positioning of a three-dimensional sound system. メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。It is a figure which shows an example of the calculation formula in the case of downmixing the acoustic channel signal of the main channel 22ch to the acoustic channel signal of the main channel 5ch. メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。It is a figure which shows an example of the calculation formula in the case of downmixing the acoustic channel signal of the main channel 22ch to the acoustic channel signal of the main channel 2ch. メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。It is a figure which shows an example of the calculation formula in the case of downmixing the acoustic channel signal of the main channel 22ch to the acoustic channel signal of the main channel 5ch. メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。It is a figure which shows an example of the calculation formula in the case of downmixing the acoustic channel signal of the main channel 22ch to the acoustic channel signal of the main channel 2ch.

以下、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を説明する。 Hereinafter, a multi-channel audio signal downmix apparatus according to an embodiment of the present invention will be described.

図１は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図であり、３次元音響方式などの多数の音響チャンネル信号を２チャンネル音響や５．１チャンネルサラウンド音響信号にダウンミックスする装置である。本実施例のダウンミックス装置１は、音響符号化ストリームとして伝送される図８に示す標準制作配置に従ったマルチチャンネル音響信号と音響チャンネル関連メタデータ多重信号を受信して、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置（ダウンミックス装置１）側で設定される再生チャンネル数に従って分配し、２チャンネル音響や５．１チャンネルサラウンド音響信号へとダウンミックスを行う装置である。尚、図８は、前述したように、大画面・高精細の映像システムに適した音響方式として、臨場感の高い音響を再生できる「３次元（立体）音響方式」のスピーカー配置例であり、メインチャンネル２２ｃｈ、低域強調（ＬＦＥ）チャンネル２ｃｈの場合である。 FIG. 1 is a diagram illustrating a multi-channel audio signal downmixing apparatus according to an embodiment of the present invention, in which a large number of audio channel signals such as a three-dimensional audio system are downgraded to 2-channel audio or 5.1-channel surround audio signals. It is a device to mix. The downmix device 1 of the present embodiment receives a multichannel audio signal and an audio channel related metadata multiplexed signal according to the standard production arrangement shown in FIG. 8 transmitted as an audio encoded stream, and converts the multichannel audio signal. This is a device that distributes according to the sound channel related metadata and the number of playback channels set on the playback device (downmix device 1) side, and performs downmixing to 2-channel sound or 5.1-channel surround sound signal. FIG. 8 is an example of speaker arrangement of the “three-dimensional (three-dimensional) acoustic system” that can reproduce highly realistic sound as an acoustic system suitable for a large-screen / high-definition video system, as described above. This is the case of the main channel 22ch and the low frequency emphasis (LFE) channel 2ch.

本実施例のダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１と、音響チャンネル選択・分配部１２と、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、単純ダウンミックス部１５、及びダウンミックス切替部１６からなる第ｎダウンミックス音響チャンネルブロックとを備える。第ｎダウンミックス音響チャンネルブロックは、再生チャンネル数（ｎ）に対応した数で構成される。 The downmix device 1 of this embodiment includes an acoustic channel related metadata separation unit 11, an acoustic channel selection / distribution unit 12, a phase shift block switching determination unit 13, a phase shift downmix unit 14, a simple downmix unit 15, And an n-th downmix acoustic channel block comprising the downmix switching unit 16. The n-th downmix sound channel block is configured with a number corresponding to the number of playback channels (n).

音響チャンネル関連メタデータ分離部１１は、音響符号化ストリームにてｍチャンネルマルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」を分離して抽出し、抽出した「音響方式に関するパラメータ」を、音響チャンネル選択・分配部１２、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、及び単純ダウンミックス部１５に送出する。 The acoustic channel-related metadata separation unit 11 receives the multiplexed signal of the acoustic channel-related metadata that is multiplexed in association with the m-channel multi-channel acoustic signal in the acoustic encoded stream, and receives “acoustics” in the acoustic channel-related metadata. The “parameters related to the system” are separated and extracted, and the extracted “parameters related to the acoustic system” are extracted from the acoustic channel selection / distribution unit 12, the phase shift block switching determination unit 13, the phase shift downmix unit 14, and the simple downmix unit 15. To send.

ここで、「音響方式に関するパラメータ」は、マルチチャンネル音響信号におけるベース音響チャンネル信号を指定するパラメータを含み、好適には、位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含めることもできる。「音響方式に関するパラメータ」に位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含んでいない場合には、再生装置側（ダウンミックス装置１側）で予め定めたダウンミックス係数を用いるようにする。 Here, the “parameters related to the acoustic system” include parameters that specify the base acoustic channel signal in the multi-channel acoustic signal, and preferably the parameters of the downmix coefficient in the calculation formula of the phase shift downmix and the simple downmix. It is also possible to include a parameter of the downmix coefficient in the calculation formula. If the “parameter for acoustic method” does not include the parameter of the downmix coefficient in the calculation formula of the phase shift downmix and the parameter of the downmix coefficient in the calculation formula of the simple downmix, the playback device side (downmix device) The downmix coefficient predetermined in (1 side) is used.

音響チャンネル選択・分配部１２は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」と再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて、第ｉダウンミックス音響チャンネルブロックに入力される各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号とベース音響チャンネルを除く他の音響信号（付随音響チャンネル信号）を選択して決定し、第ｎダウンミックス音響チャンネルブロックの各々（第ｉダウンミックス音響チャンネルブロック）に分配する。 The sound channel selection / distribution unit 12 performs the i-th downmix sound based on the “parameters related to the sound method” in the sound channel related metadata and the “number of playback channels” set on the playback device (downmix device 1) side. A base acoustic channel signal and other acoustic signals excluding the base acoustic channel (accompanying acoustic channel signal) are selected and determined from among the multi-channel acoustic signals of each reproduction channel input to the channel block, and the nth downmix acoustic channel block Distributed to each (i th downmix acoustic channel block).

位相シフトブロック切替判定部１３は、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号のいずれがダウンミックス処理（音質劣化等の抑制）に適しているかを、後述する予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成してダウンミックス切替部１６に送出する。 The phase shift block switching determination unit 13 generates the phase shift downmix sound generated by the phase shift downmix unit 14 according to the cross-correlation value and the sound signal level of the base sound channel signal and the accompanying sound channel signal of the i-th downmix sound channel. Which one of the signal and the simple downmix sound signal generated by the simple downmix unit 15 is suitable for downmix processing (suppression of sound quality degradation, etc.) in units of sound blocks in accordance with a predetermined switching determination criterion described later. The downmix switching signal based on the determination result is generated and sent to the downmix switching unit 16.

位相シフトダウンミックス部１４は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の位相シフトダウンミックスの計算式のダウンミックス係数に従って位相シフトダウンミックス音響信号を生成する。 The phase shift downmix unit 14 receives the multi-channel audio signal distributed for each reproduction channel, and outputs a phase in accordance with a downmix coefficient of a prescribed phase shift downmix calculation formula indicated in the audio channel related metadata. A shift downmix acoustic signal is generated.

単純ダウンミックス部１５は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の単純ダウンミックスの計算式のダウンミックス係数に従って単純ダウンミックス音響信号を生成する。 The simple downmix unit 15 receives the multichannel audio signal distributed for each reproduction channel, and performs simple downmix according to the downmix coefficient of the prescribed simple downmix calculation formula indicated in the audio channel related metadata. Generate an acoustic signal.

ダウンミックス切替部１６は、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部１３からのダウンミックス切替信号にしたがって切替を行い、第ｉダウンミックス音響信号を出力する。尚、ダウンミックス切替部１６は、位相シフトブロック切替判定部１３からのダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理部１６１を有する。このフェードイン／フェードアウト処理を行うことにより、音質劣化等の抑制に伴う信号切替時に生じうる雑音（歪み）を低下させることができる。ダウンミックスされた第ｉダウンミックス音響信号は、対応するスピーカー１７−１〜１７−ｎを通して音響再生される。 The downmix switching unit 16 converts the phase shift downmix acoustic signal generated by the phase shift downmix unit 14 and the simple downmix acoustic signal generated by the simple downmix unit 15 from the phase shift block switching determination unit 13. Are switched in accordance with the downmix switching signal, and the i-th downmix sound signal is output. The downmix switching unit 16 includes a fade-in / fade-out processing unit 161 that performs a fade-in / fade-out process when switching according to the downmix switching signal from the phase shift block switching determination unit 13. By performing the fade-in / fade-out process, it is possible to reduce noise (distortion) that may occur at the time of signal switching accompanying suppression of sound quality degradation and the like. The downmixed i-th downmix sound signal is reproduced as sound through the corresponding speakers 17-1 to 17-n.

このように、各再生チャンネル用のダウンミックス音響チャンネルブロック（第ｉダウンミックス音響チャンネルブロック）は、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおけるベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルを算出し、算出した相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行い、各再生チャンネル用のダウンミックス音響信号を出力する。 As described above, the downmix sound channel block (i-th downmix sound channel block) for each reproduction channel is down by only the phase shift downmix sound signal for performing the downmix by the phase shift and the delay process for each reproduction channel. Generates a simple downmix sound signal for mixing, calculates the cross-correlation value and sound signal level of the base sound channel signal and the accompanying sound channel signal in each reproduction channel, and calculates the phase according to the calculated cross-correlation value and sound signal level. The shift downmix sound signal or the simple downmix sound signal is switched, and the downmix sound signal for each reproduction channel is output.

尚、音響チャンネル関連メタデータ分離部１１は、位相シフトブロック切替判定部１３によって再生装置側（ダウンミックス装置１側）で「位相シフトブロック切替判定処理」を行う代わりに、送信側で予め位相シフトブロック切替判定部１３の「位相シフトブロック切替判定処理」を行っておき、「ダウンミックス切替信号用のメタデータ」として音響チャンネル関連メタデータに含めて伝送することも可能である。この場合、音響チャンネル関連メタデータ分離部１１は、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行うよう指示する「ダウンミックス切替信号用のメタデータ」が、音響チャンネル関連メタデータ内に存在するか否かを判定し、音響チャンネル関連メタデータ内に「ダウンミックス切替信号用のメタデータ」が存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する（図６参照）。したがって、図６に示す例では、再生装置側（ダウンミックス装置１側）で位相シフトブロック切替判定部１３を備える必要がなくなる。 The acoustic channel related metadata separation unit 11 does not perform the “phase shift block switching determination process” on the playback device side (downmix device 1 side) by the phase shift block switching determination unit 13, but performs phase shift beforehand on the transmission side. It is also possible to perform “phase shift block switching determination processing” of the block switching determination unit 13 and transmit it as “downmix switching signal metadata” included in the acoustic channel related metadata. In this case, the acoustic channel related metadata separation unit 11 includes “downmix switching signal metadata” instructing to switch the phase shift downmix acoustic signal or the simple downmix acoustic signal in the acoustic channel related metadata. And when it is determined that the “metadata for downmix switching signal” exists in the acoustic channel-related metadata, a downmix switching signal is generated from the metadata (see FIG. 6). ). Therefore, in the example shown in FIG. 6, it is not necessary to provide the phase shift block switching determination unit 13 on the playback device side (downmix device 1 side).

以下、より詳細に、位相シフトブロック切替判定部１３、位相シフトダウンミックス部１４、及び単純ダウンミックス部１５についてそれぞれ説明する。 Hereinafter, the phase shift block switching determination unit 13, the phase shift downmix unit 14, and the simple downmix unit 15 will be described in more detail.

（位相シフトブロック切替判定部）
図２は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。位相シフトブロック切替判定部１３は、相互相関演算部１３１と、音響信号レベル算出部１３２と、切替判定部１３３とを備える。 (Phase shift block switching determination unit)
FIG. 2 is a block diagram of a phase shift block switching determination unit in the multi-channel audio signal downmix apparatus according to an embodiment of the present invention. The phase shift block switching determination unit 13 includes a cross-correlation calculation unit 131, an acoustic signal level calculation unit 132, and a switching determination unit 133.

相互相関演算部１３１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出し、切替判定部１３３に送出する。 The cross-correlation calculation unit 131 includes a base acoustic channel signal determined based on the “parameters relating to the acoustic method” in the acoustic channel-related metadata and the “number of reproduction channels” set on the reproduction device (downmix device 1) side. A cross-correlation value with the accompanying acoustic channel signal is calculated and sent to the switching determination unit 133.

音響信号レベル算出部１３２は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号及び付随音響チャンネル信号のそれぞれの音響信号レベルを算出し、切替判定部１３３に送出する。 The sound signal level calculation unit 132 is a base sound channel signal determined based on the “parameters related to sound method” in the sound channel-related metadata and the “number of playback channels” set on the playback device (downmix device 1) side. And the sound signal level of each of the accompanying sound channel signals are calculated and sent to the switching determination unit 133.

切替判定部１３３は、相互相関演算部１３１から得られる相互相関値と、音響信号レベル算出部１３２から得られる付随音響チャンネル信号の音響信号レベルから、位相シフトダウンミックス部１４で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成される単純ダウンミックス音響信号のいずれがダウンミックス（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。 The switching determination unit 133 generates a phase shift generated by the phase shift downmix unit 14 from the cross correlation value obtained from the cross correlation calculation unit 131 and the acoustic signal level of the accompanying acoustic channel signal obtained from the acoustic signal level calculation unit 132. Which one of the downmix sound signal and the simple downmix sound signal generated by the simple downmix unit 15 is suitable for downmix (suppression of sound quality deterioration, etc.) is determined in units of sound blocks in accordance with a predetermined switching criterion. Determine and generate a downmix switching signal based on the determined result.

切替判定部１３３は、「位相シフトダウンミックス」と「単純ダウンミックス」の切替判定基準として、相互相関値がａ（例えば、０．７）以上、且つベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベルＬｅ＿ｂａｓｅ（例えば−６ｄＢ）以上、且つ付随音響チャンネルの音響信号レベルの少なくとも１つがフルスケール換算で所定レベルＬｅ＿ａｕｘ（例えば−６ｄＢ）以上とし、全てが満たされた場合に位相シフトダウンミックス音響信号へと切り替え、それ以外は単純ダウンミックス音響信号に切り替えるように判定する。 The switching determination unit 133 uses, as a switching determination criterion between “phase shift downmix” and “simple downmix”, a cross-correlation value of a (for example, 0.7) or more and at least one of the acoustic signal levels of the base acoustic channel signal. One is a predetermined level Le_base (for example, −6 dB) or more in full scale conversion, and at least one of the acoustic signal levels of the accompanying sound channel is a predetermined level Le_aux (for example, −6 dB) or more in full scale conversion. It is determined to switch to a shift downmix sound signal and to switch to a simple downmix sound signal otherwise.

メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル５ｃｈの音響チャンネル信号にダウンミックスする場合、図９及び図１１の２種類が規定のダウンミックスの計算式としてＡＲＩＢ等で規定されているものを用いる。 When downmixing the sound channel signal of the main channel 22ch to the sound channel signal of the main channel 5ch, the two types shown in FIGS. 9 and 11 are defined by ARIB or the like as a prescribed downmix calculation formula.

メインチャンネル２２ｃｈの音響チャンネル信号をメインチャンネル２ｃｈの音響チャンネル信号にダウンミックスする場合、図１０及び図１２の２種類が規定のダウンミックスの計算式としてＡＲＩＢ等で規定されているものを用いる。 When downmixing the sound channel signal of the main channel 22ch to the sound channel signal of the main channel 2ch, the two types shown in FIGS. 10 and 12 are defined by ARIB or the like as the prescribed downmix calculation formula.

つまり、チャンネル２２．２ｃｈの音響チャンネル信号をチャンネル５．１ｃｈへダウンミックスする場合、図８に示す２２．２ｃｈの音響チャンネル信号のうち、ＦＬ，ＦＲ，ＦＣ，ＢＬ，ＢＲ（図９及び図１１）が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。 That is, when down-mixing the 22.2ch acoustic channel signal to the 5.1ch channel, among the 22.2ch acoustic channel signals shown in FIG. 8, FL, FR, FC, BL, BR (FIGS. 9 and 11). ) Is a “base acoustic channel signal”, and the “accompanying acoustic channel signal” is another acoustic signal, and this information is multiplexed as “parameters related to the acoustic method” in the acoustic channel related metadata.

また、チャンネル２２．２ｃｈの音響チャンネル信号をチャンネル２ｃｈへダウンミックスする場合、図８に示す２２．２ｃｈの音響チャンネル信号のうち、ＦＬ，ＦＲ（図１０及び図１２）が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。 In addition, when down-mixing the channel 22.2 channel audio channel signal to channel 2 channel, FL and FR (FIGS. 10 and 12) of the 22.2 channel channel shown in FIG. The “accompanying acoustic channel signal” is another acoustic signal, and this information is multiplexed as “parameters relating to the acoustic method” in the acoustic channel-related metadata.

このように、位相シフトブロック切替判定部１３は、第ｉダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部１４で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成される単純ダウンミックス音響信号のいずれがダウンミックス（音質劣化等の抑制）に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。 Thus, the phase shift block switching determination unit 13 generates the phase generated by the phase shift downmix unit 14 according to the cross-correlation value and the acoustic signal level of the base acoustic channel signal and the accompanying acoustic channel signal of the i-th downmix acoustic channel. Which one of the shift downmix sound signal and the simple downmix sound signal generated by the simple downmix unit 15 is suitable for downmix (suppression of sound quality degradation, etc.) in units of sound blocks according to a predetermined switching determination criterion And a downmix switching signal based on the determined result is generated.

（位相シフトダウンミックス部）
図３は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。位相シフトダウンミックス部１４は、遅延部１４１と、位相シフト部１４２−ｋと、加算部１４３とを備える。 (Phase shift downmix part)
FIG. 3 is a block diagram of a phase shift downmix unit in a multichannel audio signal downmix apparatus according to an embodiment of the present invention. The phase shift downmix unit 14 includes a delay unit 141, a phase shift unit 142-k, and an adder 143.

遅延部１４１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部１４３に出力する。 The delay unit 141 applies the sound signal of the base sound channel determined based on the “parameters related to the sound method” in the sound channel-related metadata and the “number of playback channels” set on the playback device (downmix device 1) side. On the other hand, a delay corresponding to the delay time associated with the phase shift of the accompanying acoustic channel signal is given and output to the adder 143.

位相シフト部１４２−ｋは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた位相シフトを行い、加算部１４３に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの位相シフトに伴う遅延時間を所定の範囲内、例えば１音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限して位相シフトを行うのが望ましい。 The phase shift unit 142-k includes the accompanying acoustic channel signal determined based on the “parameters relating to the acoustic method” in the acoustic channel-related metadata and the “number of reproduction channels” set on the reproduction device (downmix device 1) side. A predetermined phase shift is performed for each (k) of each of the associated acoustic channels, and the result is output to the adding unit 143. However, in order to prevent a large shift between the video signal and the audio signal, the delay time associated with the phase shift of the accompanying audio channel is limited within a predetermined range, for example, within one audio block. It is desirable to perform phase shifting by limiting the delay time in the acoustic channel to be substantially the same.

加算部１４３は、遅延を施したベース音響チャンネル信号及び位相シフトを施した付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。 The adder 143 down-converts the prescribed downmix calculation formula indicated by the “parameters related to the acoustic system” in the acoustic channel-related metadata for the delayed base acoustic channel signal and the phase-shifted accompanying acoustic channel signal. Downmixing is performed according to the mix coefficient (FIGS. 9 to 12) to generate a phase shift downmix sound signal.

ここで、位相シフトダウンミックス部１４における付随音響チャンネルの音響信号の位相シフト及び加算処理の順は、加算を行った後、位相シフトを行うように構成することも可能である。位相シフトは、信号の周波数特性は変化させずに信号の位相特性のみを変える処理であり、全域通過フィルタ（ＡｌｌＰａｓｓＦｉｌｔｅｒ：ＡＰＦ）を用いて行う。位相シフトを行うフィルタの設計は、例えば、「ディジタル信号処理ハンドブック」（オーム社、ｐｐ９２−１０１、ｐｐ３８１−３８４）や、「コンピュータ音楽」（東京電機大学出版局、ｐｐ１５９−１６１，ｐｐ３１５−３３９，ｐｐ３８８−４００）や、「ディジタルフィルタデザイン」（昭晃堂）などで詳述されている。 Here, the order of the phase shift and addition processing of the acoustic signal of the accompanying acoustic channel in the phase shift downmix unit 14 may be configured to perform phase shift after performing addition. The phase shift is a process of changing only the phase characteristic of the signal without changing the frequency characteristic of the signal, and is performed using an all-pass filter (All Pass Filter: APF). The design of the filter for performing the phase shift is, for example, “Digital Signal Processing Handbook” (Ohm, pp92-101, pp381-384) or “Computer Music” (Tokyo Denki University Press, pp159-161, pp315-339, pp. 388-400) and “Digital Filter Design” (Shokodo).

各付随音響チャンネル信号の位相シフトは異なる特性を持つＡＰＦを使用することもできるが、同一の特性を持つＡＰＦを使用しても効果が得られる。同一の特性を持つＡＰＦを使用する場合、付随音響チャンネル信号の加算を行った後、位相シフトを行うことも可能である。 The phase shift of each accompanying acoustic channel signal can use an APF having different characteristics, but an effect can be obtained by using an APF having the same characteristics. When using an APF having the same characteristics, it is also possible to perform phase shift after adding the accompanying acoustic channel signal.

このように、位相シフトダウンミックス部１４は、付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた位相シフトを行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。 As described above, the phase shift downmix unit 14 performs a predetermined phase shift for each of the accompanying sound channel signals (k pieces) for each of the accompanying sound channels, and performs the accompanying sound channel on the base sound channel signal. A delay corresponding to the delay time associated with the phase shift of the signal is applied, downmixing is performed according to a downmix coefficient (FIGS. 9 to 12) of a prescribed downmix calculation formula, and a phase shift downmix sound signal is generated.

（単純ダウンミックス部）
図４は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。単純ダウンミックス部１５は、ベース音響チャンネル信号用の遅延部１５１と、付随音響チャンネル信号用の遅延部１５２−１〜遅延部１５２−ｋと、加算部１５３とを備える。 (Simple downmix part)
FIG. 4 is a block diagram of a simple downmix unit in the multichannel audio signal downmix apparatus according to an embodiment of the present invention. The simple downmix unit 15 includes a delay unit 151 for a base sound channel signal, a delay unit 152-1 to a delay unit 152-k for an accompanying sound channel signal, and an adder 153.

遅延部１５１は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部１５３に出力する。 The delay unit 151 applies the sound signal of the base sound channel determined based on the “parameters related to the sound method” in the sound channel-related metadata and the “number of playback channels” set on the playback device (downmix device 1) side. On the other hand, a delay corresponding to the delay time associated with the phase shift of the accompanying acoustic channel signal is given and output to the adder 153.

遅延部１５２−ｋは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置（ダウンミックス装置１）側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた遅延処理を行い、加算部１５３に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの遅延時間を所定の範囲内、例えば１音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限するのが望ましい。 The delay unit 152-k is configured to output the associated acoustic channel signal determined based on the “parameters relating to the acoustic method” in the acoustic channel-related metadata and the “number of reproduction channels” set on the reproduction device (downmix device 1) side. Each (k) is subjected to a predetermined delay process for each accompanying acoustic channel, and is output to the adder 153. However, in order to prevent a large shift between the video signal and the audio signal, the delay time of the associated audio channel is limited to be within a predetermined range, for example, within one audio block, and the delay in each associated audio channel. It is desirable to limit the time to be approximately the same.

加算部１５３は、遅延を施したベース音響チャンネル信号及び付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。ここで、音響チャンネル信号の遅延処理は、ダウンミックス加算を行った後、遅延処理を行うことも可能である。 The adder 153 uses the down-mix coefficient (FIG. 9) of the prescribed down-mix calculation formula instructed by the “parameters related to the acoustic method” in the acoustic channel-related metadata for the delayed base acoustic channel signal and accompanying acoustic channel signal. Through FIG. 12), downmixing is performed to generate a simple downmix sound signal. Here, the delay processing of the acoustic channel signal can be performed after the downmix addition is performed.

このように、単純ダウンミックス部１５は、付随音響チャンネル信号の各々（ｋ個）に対して付随音響チャンネルごとに予め定めた遅延処理を行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号に伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数（図９乃至図１２）に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。 As described above, the simple downmix unit 15 performs a predetermined delay process for each of the accompanying sound channel signals for each of the accompanying sound channel signals (k), and performs the accompanying sound channel signal on the base sound channel signal. A delay corresponding to the delay time is applied, downmixing is performed according to a downmix coefficient (FIGS. 9 to 12) of a prescribed downmix calculation formula, and a simple downmix sound signal is generated.

（ダウンミックス切替部）
図１に示すように、ダウンミックス切替部１６は、位相シフトダウンミックス部１４で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部１５で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部１３からのダウンミックス切替信号にしたがって、切替時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切替の際にフェードイン／フェードアウト処理を施しながら切替を行い、第ｉダウンミックス音響信号を出力する。 (Downmix switching part)
As shown in FIG. 1, the downmix switching unit 16 converts the phase shift downmix acoustic signal generated by the phase shift downmix unit 14 and the simple downmix acoustic signal generated by the simple downmix unit 15 into a phase. In accordance with the downmix switching signal from the shift block switching determination unit 13, fade-in / fade-out processing is performed when switching between the “phase shift downmix acoustic signal” and the “simple downmix acoustic signal” in order to suppress noise during switching. The i-th downmix sound signal is output while switching.

次に、本発明による一実施例のダウンミックス装置１の動作について説明する。 Next, operation | movement of the downmix apparatus 1 of one Example by this invention is demonstrated.

図５は、本発明による一実施例のダウンミックス装置１の動作フロー図である。 FIG. 5 is an operation flowchart of the downmix device 1 according to the embodiment of the present invention.

ステップＳ１にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、音響チャンネル関連メタデータ多重信号を受信する。 In step S 1, the downmix device 1 receives the acoustic channel-related metadata multiplexed signal by the acoustic channel-related metadata separation unit 11.

ステップＳ２にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、音響チャンネル関連メタデータの分離を行い、「音響方式に関するパラメータ」を抽出する。 In step S 2, the downmix device 1 separates the acoustic channel-related metadata by the acoustic channel-related metadata separation unit 11 and extracts “parameters related to the acoustic method”.

ステップＳ３にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、再生チャンネル数に対応するチャンネルパラメータを設定する。 In step S 3, the downmix device 1 sets channel parameters corresponding to the number of reproduction channels by the acoustic channel selection / distribution unit 12.

ステップＳ４にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、マルチチャンネル音響信号を受信する。 In step S 4, the downmix device 1 receives the multichannel acoustic signal by the acoustic channel selection / distribution unit 12.

ステップＳ５にて、ダウンミックス装置１は、音響チャンネル関連メタデータ分離部１１によって、「音響チャンネル関連メタデータ」内に、送信側から「ダウンミックス切替信号用のメタデータ」が存在するか否かを確認する。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在する場合には、音響チャンネル関連メタデータ分離部１１は、「ダウンミックス切替信号用のメタデータ」からダウンミックス切替信号を生成して、ステップＳ１０に進む。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在しない場合、ステップＳ６に進む。 In step S5, the downmix device 1 determines whether or not “acoustic channel related metadata” includes “downmix switching signal metadata” from the transmitting side in the “acoustic channel related metadata” by the acoustic channel related metadata separation unit 11. Confirm. When “metadata for downmix switching signal” is present in “acoustic channel related metadata”, the acoustic channel related metadata separating unit 11 performs downmix switching from “metadata for downmix switching signal”. A signal is generated and the process proceeds to step S10. If “metadata for downmix switching signal” does not exist in “acoustic channel related metadata”, the process proceeds to step S6.

ステップＳ６にて、ダウンミックス装置１は、音響チャンネル選択・分配部１２によって、ダウンミックス切替信号用のメタデータ」内の「音響方式に関するパラメータ」に基づいて、マルチチャンネル音響信号をベース音響チャンネル信号と付随音響チャンネル信号に分離する。 In step S 6, the downmix device 1 uses the acoustic channel selection / distribution unit 12 to convert the multichannel acoustic signal to the base acoustic channel signal based on the “parameter regarding acoustic scheme” in the metadata for downmix switching signal. And an accompanying acoustic channel signal.

ステップＳ７にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との相互相関値をそれぞれ算出する。 In step S7, the downmix device 1 uses the phase shift block switching determination unit 13 to calculate cross-correlation values between the base acoustic channel signal and each associated acoustic channel signal in units of acoustic blocks.

ステップＳ８にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との音響信号レベルをそれぞれ算出する。 In step S 8, the downmix device 1 uses the phase shift block switching determination unit 13 to calculate the sound signal levels of the base sound channel signal and each accompanying sound channel signal for each sound block.

ステップＳ９にて、ダウンミックス装置１は、位相シフトブロック切替判定部１３によって、再生チャンネルごとに、音響ブロック単位のダウンミックス切替信号（位相シフトダウンミックス／単純ダウンミックス）を生成する。 In step S 9, the downmix device 1 causes the phase shift block switching determination unit 13 to generate a downmix switching signal (phase shift downmix / simple downmix) in units of sound blocks for each reproduction channel.

ステップＳ１０にて、ダウンミックス装置１は、位相シフトダウンミックス部１４及び単純ダウンミックス部１５によって、「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」をそれぞれ生成する。 In step S 10, the downmix device 1 generates a “phase shift downmix sound signal” and a “simple downmix sound signal” by the phase shift downmix unit 14 and the simple downmix unit 15, respectively.

ステップＳ１１にて、ダウンミックス装置１は、ダウンミックス切替部１６によって、ダウンミックス切替信号にしたがって、切り替え時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えの際にフェードイン／フェードアウト処理を施しながら切り替えを行い、第ｉダウンミックス音響信号を出力する。これにより、再生チャンネル数（ｎ）分のダウンミックス音響信号を生成して、音質や音圧の劣化を抑制しつつ各対応するスピーカー１７−１〜１７−ｎに送出して再生することが可能となる。 In step S 11, the downmix device 1 causes the downmix switching unit 16 to perform “phase shift downmix acoustic signal” and “simple downmix acoustic signal” in accordance with the downmix switching signal in order to suppress noise at the time of switching. Switching is performed while performing fade-in / fade-out processing at the time of switching, and the i-th downmix sound signal is output. As a result, it is possible to generate downmix sound signals for the number of playback channels (n) and send them to the corresponding speakers 17-1 to 17-n for playback while suppressing deterioration of sound quality and sound pressure. It becomes.

図７は、この音質や音圧の劣化を抑制する様子の説明図である。図７（ａ）は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を示す図である。ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判別することなくダウンミックスを実行した場合、再生装置側で許容されるダイナミックレンジ（Ｄレンジ）を超える可能性がある。一方、図７（ｂ)に示すように、本実施例のダウンミックス装置１によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるようになる。 FIG. 7 is an explanatory diagram showing how the deterioration of sound quality and sound pressure is suppressed. FIG. 7A is a diagram showing overflow and level fluctuation that may occur when downmixing is performed simply in accordance with a prescribed downmix calculation formula. When downmixing is performed without discriminating the cross-correlation value and level difference between the base sound channel signal and the accompanying sound channel signal, there is a possibility that the dynamic range (D range) allowed on the playback device side may be exceeded. . On the other hand, as shown in FIG. 7B, according to the downmix device 1 of the present embodiment, the cross-correlation value and the level difference are determined between the base acoustic channel signal and the accompanying acoustic channel signal, and real-time characteristics are further obtained. Since the “phase shift downmix sound signal” and the “simple downmix sound signal” are switched in order to maintain the level, it is possible to suitably suppress overflow and level fluctuation that may occur when downmixing is performed. .

本発明に係るダウンミックス装置１をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。 When the downmix device 1 according to the present invention is configured by a computer, a program describing processing contents for realizing each function is stored in an internal or external storage unit of the computer, and the central processing unit of the computer This can be realized by reading and executing this program by the (CPU). In addition, such a program can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM, and such a program is stored in a storage unit of a server on a network, for example. And the program can be distributed by transferring the program from the server to another computer via the network. In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In addition, the processing according to the received program may be executed sequentially. Therefore, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.

本発明によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるので、マルチチャンネル信号をダウンミックスする用途に有用である。 According to the present invention, a cross-correlation value and a level difference are determined between a base sound channel signal and an accompanying sound channel signal, and a “phase shift downmix sound signal” and a “simple downmix sound” are maintained in order to maintain real-time characteristics. Since the “signal” is switched, overflow and level fluctuation that may occur when downmixing is performed can be suitably suppressed, which is useful for applications in which multichannel signals are downmixed.

１ダウンミックス装置
１１音響チャンネル関連メタデータ分離部
１２音響チャンネル選択・分配部
１３位相シフトブロック切替判定部
１４位相シフトダウンミックス部
１５単純ダウンミックス部
１６ダウンミックス切替部
１７−１〜１７−ｎスピーカー
１３１相互相関演算部
１３２音響信号レベル算出部
１３３切替判定部
１４１遅延部
１４２−ｋ位相シフト部
１４３加算部
１５１遅延部
１５２−ｋ遅延部
１５３加算部
１６１フェードイン・フェードアウト処理部 DESCRIPTION OF SYMBOLS 1 Downmix apparatus 11 Acoustic channel related metadata separation part 12 Acoustic channel selection / distribution part 13 Phase shift block switching determination part 14 Phase shift downmix part 15 Simple downmix part 16 Downmix switching part 17-1 to 17-n Speaker 131 Cross-correlation calculation unit 132 Acoustic signal level calculation unit 133 Switching determination unit 141 Delay unit 142-k Phase shift unit 143 Adder 151 Delay unit 152-k Delay unit 153 Adder 161 Fade-in / fade-out processor

Claims

マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネル信号を除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、
を備えることを特徴とするダウンミックス装置。 A downmix device for downmixing multichannel audio signals to generate downmix audio signals for the number of playback channels,
An acoustic channel-related metadata separation means for receiving a multiplexed signal of acoustic channel-related metadata multiplexed in association with a multi-channel acoustic signal, and separating and extracting a parameter relating to an acoustic method in the acoustic channel-related metadata;
Based on the parameters related to the sound system and the number of playback channels preset in the downmix device, the base sound channel signal and other sound signals excluding the base sound channel signal among the multi-channel sound signals of each play channel. Sound channel selection / distribution means for selecting and determining a certain accompanying sound channel signal and distributing it for each reproduction channel;
For each playback channel, a phase-shifted downmix sound signal that is downmixed by phase shift and a simple downmix sound signal that is downmixed only by delay processing are generated, and the base sound channel signal and the associated sound signal in each playback channel are generated. Downmix sound signal generation means for determining switching between the phase shift downmix sound signal or the simple downmix sound signal according to the cross-correlation value and sound signal level of the sound channel signal and outputting the downmix sound signal for each reproduction channel When,
A downmix device comprising:

前記ダウンミックス音響信号生成手段は、
前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、
前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、
各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、
を備えることを特徴とする、請求項１に記載のダウンミックス装置。 The downmix sound signal generating means includes
A phase shift downmix generating means for generating a phase shift downmix acoustic signal for downmixing by the phase shift;
Simple downmix generation means for generating a simple downmix sound signal for downmixing only by the delay processing;
Switching between the phase shift downmix sound signal or the simple downmix sound signal is determined according to the cross-correlation value and sound signal level of the base sound channel signal and the accompanying sound channel signal in each reproduction channel, and the down for each reproduction channel is determined. Downmix switching means for outputting a mixed sound signal;
The downmix device according to claim 1, comprising:

前記ダウンミックス音響信号生成手段は、
前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする、請求項２に記載のダウンミックス装置。 The downmix sound signal generating means includes
A downmix switching signal indicating that the phase shift downmix sound signal or the simple downmix sound signal is discriminated based on the cross-correlation value and the sound signal level of the base sound channel signal and the accompanying sound channel signal. The downmix device according to claim 2, further comprising phase shift block switching determination means for generating

前記位相シフトブロック切替判定手段は、
前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、
前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、
前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、
を備えることを特徴とする、請求項３に記載のダウンミックス装置。 The phase shift block switching determination means is
Cross-correlation calculating means for calculating a cross-correlation value between the base sound channel signal and the accompanying sound channel signal determined based on the parameters related to the sound system and the number of reproduction channels;
Acoustic signal level calculation means for calculating the respective acoustic signal levels of the base acoustic channel signal and the accompanying acoustic channel signal;
From the cross-correlation value obtained from the cross-correlation calculating means and the sound signal level of the accompanying sound channel signal obtained from the sound signal level calculating means, any of the phase shift downmix sound signal and the simple downmix sound signal is Switching determination means for determining whether it is suitable for downmix processing according to a predetermined switching determination criterion, and generating a downmix switching signal based on the determined result;
The downmix device according to claim 3, further comprising:

前記切替判定手段は、前記切替判定基準として、
前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネル信号の音響信号レベルの少なくとも１つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする、請求項４に記載のダウンミックス装置。 The switching determination means, as the switching determination criterion,
The cross-correlation value is not less than a predetermined value, at least one of the sound signal levels of the base sound channel signal is not less than a predetermined level in full scale conversion, and at least one of the sound signal levels of the accompanying sound channel signal is predetermined in full scale conversion It is determined to switch to the phase shift downmix sound signal when all are satisfied, and to switch to the simple downmix sound signal otherwise, and a downmix switch signal is generated based on the determined result. The downmix device according to claim 4, further comprising means.

前記音響チャンネル関連メタデータ分離手段は、
前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、
前記ダウンミックス音響信号生成手段は、
該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする、請求項１に記載のダウンミックス装置。 The acoustic channel-related metadata separating means is
Determining whether or not metadata for a downmix switching signal instructing switching of the phase shift downmix acoustic signal or the simple downmix acoustic signal exists in the acoustic channel related metadata; Means for generating a downmix switching signal from the metadata when it is determined that the metadata for the downmix switching signal exists in the channel-related metadata;
The downmix sound signal generating means includes
And a means for determining whether to switch the phase-shifted downmix sound signal or the simple downmix sound signal based on the downmix switch signal and outputting a downmix sound signal for each reproduction channel. Item 2. The downmix device according to item 1.

前記ダウンミックス音響信号生成手段は、
前記ダウンミックス切替信号に従う切替を行う際にフェードイン／フェードアウト処理を施すフェードイン／フェードアウト処理手段を有することを特徴とする、請求項３〜６のいずれか一項に記載のダウンミックス装置。 The downmix sound signal generating means includes
The downmix device according to any one of claims 3 to 6, further comprising fade-in / fade-out processing means for performing fade-in / fade-out processing when switching according to the downmix switching signal.

マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネル信号を除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、
を実行させるためのプログラム。 In a computer configured as a downmix device that downmixes multichannel audio signals and generates downmix audio signals for the number of playback channels,
Receiving a multiplexed signal of acoustic channel-related metadata multiplexed in association with the multi-channel acoustic signal, and separating and extracting parameters relating to the acoustic scheme in the acoustic channel-related metadata;
Based on the parameters related to the sound system and the number of playback channels preset in the downmix device, the base sound channel signal and other sound signals excluding the base sound channel signal among the multi-channel sound signals of each play channel. Selecting and determining certain accompanying audio channel signals and distributing them for each playback channel;
For each playback channel, a phase-shifted downmix sound signal that is downmixed by phase shift and a simple downmix sound signal that is downmixed only by delay processing are generated, and the base sound channel signal and the associated sound signal in each playback channel are generated. Determining whether to switch the phase shift downmix sound signal or the simple downmix sound signal according to the cross-correlation value and sound signal level of the sound channel signal, and outputting a downmix sound signal for each reproduction channel;
A program for running