JP2013174891A - High quality multi-channel audio encoding and decoding apparatus - Google Patents
High quality multi-channel audio encoding and decoding apparatus Download PDFInfo
- Publication number
- JP2013174891A JP2013174891A JP2013069452A JP2013069452A JP2013174891A JP 2013174891 A JP2013174891 A JP 2013174891A JP 2013069452 A JP2013069452 A JP 2013069452A JP 2013069452 A JP2013069452 A JP 2013069452A JP 2013174891 A JP2013174891 A JP 2013174891A
- Authority
- JP
- Japan
- Prior art keywords
- channel
- audio encoding
- audio
- signal
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 90
- 238000009877 rendering Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
Description
本発明は、高品質マルチチャネルオーディオ符号化および復号化装置に関し、入力されるオーディオ信号の特性に応じてオーディオ信号符号化を異なるように行うオーディオ符号化および復号化装置に関する。 The present invention relates to a high-quality multi-channel audio encoding and decoding apparatus, and more particularly to an audio encoding and decoding apparatus that performs audio signal encoding differently according to the characteristics of an input audio signal.
本発明は、放送通信委員会、放送通信委員会のITリソース技術開発事業の一環として行う研究から導き出されたものである[課題管理番号:2008−F−011−01、課題名:次世代DTVコア技術開発(標準化関係)−無眼鏡個人型3D放送技術開発(継続)]。 The present invention was derived from research conducted as part of the Broadcast Communication Committee and the IT Resource Technology Development Project of the Broadcast Communication Committee [Problem Management Number: 2008-F-011-01, Issue Name: Next Generation DTV Core technology development (standardization related)-Non-glasses personal 3D broadcasting technology development (continued)].
5.1チャネルのようなマルチチャネルオーディオ信号は、効率的に放送網を介して送信されるか、DVDまたはブルーレイ(blue−ray)のような光学メディアに格納されるため圧縮、符号化、および復号化の過程を行う。 Multi-channel audio signals such as 5.1 channels are efficiently transmitted over the broadcast network or stored on optical media such as DVD or blue-ray, so that compression, encoding, and Perform the decryption process.
かかる圧縮、符号化、および復号化の技術は音響心理(psychoacoustic)モデルと時間/周波数変換を用いる知覚音響符号化(perceptual audio coding)の技術に基づく。このとき、マルチチャネルオーディオ信号と隣接する信号の間の相関度を用いるチャネル符号化技術が付加的に用いられてもよい。一例として、チャネル符号化技術には、AC−3(またはドルビーデジタル(dolby digital))、DTS(Digital Theater System)、MPEGで標準化されるAAC(Advanced Audio Coding)等がある。このようなチャネル符号化技術は、国内外のデジタル放送標準とDVD、DVD−Audio、DVD−HD、ブルーレイなどのような光学メディアの格納フォーマット標準に採択されて用いられる。 Such compression, encoding, and decoding techniques are based on perceptual acoustic coding techniques using a psychopsychic model and time / frequency conversion. At this time, a channel coding technique using the degree of correlation between the multi-channel audio signal and the adjacent signal may be additionally used. As an example, channel coding techniques include AC-3 (or Dolby Digital), DTS (Digital Theater System), AAC (Advanced Audio Coding) standardized by MPEG, and the like. Such channel coding technology is adopted and used in domestic and foreign digital broadcast standards and storage formats standards for optical media such as DVD, DVD-Audio, DVD-HD, and Blu-ray.
近年では、マルチチャネルオーディオサービスを移動放送またはIPTVなどのように帯域幅が制限される環境で提供するために、マルチチャネルオーディオ信号が有する空間情報(spatial cue)をパラメータに表現して圧縮する空間オーディオ符号化技術の研究が進められている。空間オーディオ符号化技術は、マルチチャネルオーディオ信号をモノまたはステレオ信号にダウンミックスし、マルチチャネルオーディオ信号を復元するために必要な空間パラメータを付加情報に符号化する技術である。空間符号化技術の代表的な例として、MPEGサラウンドが挙げられる。 In recent years, in order to provide a multi-channel audio service in an environment where bandwidth is limited, such as mobile broadcasting or IPTV, a space in which spatial information (spatial cue) of a multi-channel audio signal is expressed as a parameter and compressed. Research on audio coding technology is underway. The spatial audio encoding technique is a technique for down-mixing a multi-channel audio signal into a mono or stereo signal and encoding spatial parameters necessary for restoring the multi-channel audio signal into additional information. A typical example of the spatial coding technique is MPEG surround.
3DTVおよびUHDTVのような実感放送の環境において再現しようとする高臨場感の生々しい実感オーディオを正しく表現するためには10チャネル以上のラウドスピーカが必要となる。これまでは、HDTVとDVDに適用された5.1チャネルが広く用いられたが、DVD−HD、ブルーレイでは最大7.1チャネルまで支援が可能である。さらに、劇場のような大規模のオーディオ空間において窮極の音場感を提供するために100チャネル以上のラウドスピーカが用いられることもある。 In order to correctly express a lively and realistic audio that is to be reproduced in an actual broadcasting environment such as 3DTV and UHDTV, a loudspeaker having 10 or more channels is required. Up to now, 5.1 channels applied to HDTV and DVD have been widely used, but DVD-HD and Blu-ray can support up to 7.1 channels. Furthermore, a loudspeaker having 100 channels or more may be used in order to provide an extreme sound field in a large-scale audio space such as a theater.
しかし、ほとんどの一般家庭で用いるTVおよびラジオは2チャネルのラウドスピーカを用いており、HDTVおよびDVDが普遍化して5.1チャネルを再生できるようになっている。 However, TVs and radios used in most ordinary homes use two-channel loudspeakers, and HDTV and DVD are universal and can reproduce 5.1 channels.
一例として、図1に示すようなチャネルエンコーダによって10チャネル以上のマルチチャネルオーディオ信号を圧縮する場合、5.1チャネル再生端末との互換性を維持することが難しい。 As an example, when a multi-channel audio signal of 10 channels or more is compressed by a channel encoder as shown in FIG. 1, it is difficult to maintain compatibility with a 5.1 channel playback terminal.
これによって、10チャネル以上などのマルチチャネルオーディオ信号を圧縮しながら下位チャネルとの互換性を提供するマルチチャネルオーディオ符号化および復号化技術が求められる。 Accordingly, there is a need for a multi-channel audio encoding and decoding technique that provides compatibility with lower channels while compressing multi-channel audio signals such as 10 channels or more.
本発明は、オーディオ信号の特性に応じて符号化を異なるようにして下位チャネルとの互換性を提供する高品質マルチチャネルオーディオ符号化および復号化装置を提供する。 The present invention provides a high-quality multi-channel audio encoding and decoding apparatus that provides compatibility with lower channels by changing encoding according to the characteristics of an audio signal.
本発明の一実施形態に係るマルチチャネルオーディオ符号化装置は、入力されるオーディオ信号の特性に基づいてオーディオ信号に対してチャネル基盤オーディオ符号化を行うチャネル基盤オーディオ符号化部と、オーディオ信号の特性に基づいてオーディオ信号に対してオブジェクト基盤オーディオ符号化を行うオブジェクト基盤オーディオ符号化部とを含んでもよい。 A multi-channel audio encoding device according to an embodiment of the present invention includes a channel-based audio encoding unit that performs channel-based audio encoding on an audio signal based on characteristics of an input audio signal, and characteristics of the audio signal. And an object-based audio encoding unit that performs object-based audio encoding on the audio signal based on the above.
このとき、チャネル基盤オーディオ符号化部は、入力されるオーディオ信号がマルチチャネルオーディオ信号である場合、マルチチャネルオーディオ信号に対してチャネル基盤オーディオ符号化を行ってビットストリームを生成してもよい。 At this time, if the input audio signal is a multi-channel audio signal, the channel-based audio encoding unit may generate a bitstream by performing channel-based audio encoding on the multi-channel audio signal.
また、オブジェクト基盤オーディオ符号化部は、入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、マルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってビットストリームを生成してもよい。 In addition, when the input audio signal is a multi-object audio signal, the object-based audio encoding unit may generate a bitstream by performing object-based audio encoding on the multi-object audio signal.
また、チャネル基盤オーディオ符号化部は、マルチチャネルオーディオ信号をダウンミックスして第1ダウンミックス信号を生成し、マルチチャネルオーディオ信号から抽出される空間パラメータを符号化して第2向上階層ビットストリームを生成してもよい。 In addition, the channel-based audio encoding unit generates a first downmix signal by downmixing the multichannel audio signal, and generates a second enhancement layer bitstream by encoding a spatial parameter extracted from the multichannel audio signal. May be.
また、チャネル基盤オーディオ符号化部は、第1ダウンミックス信号をダウンミックスして第2ダウンミックス信号を生成し、第1ダウンミックス信号と追加チャネル信号を合成するチャネル合成部をさらに含んでもよい。 The channel-based audio encoding unit may further include a channel combining unit that downmixes the first downmix signal to generate a second downmix signal and combines the first downmix signal and the additional channel signal.
また、チャネル基盤オーディオ符号化部は、合成された第1ダウンミックス信号を符号化して第1向上階層ビットストリームを生成する第2チャネルエンコーダをさらに含んでもよい。 In addition, the channel-based audio encoding unit may further include a second channel encoder that encodes the combined first downmix signal to generate a first enhancement layer bitstream.
また、チャネル基盤オーディオ符号化部は、第2ダウンミックス信号を符号化して基本階層ビットストリームを生成する第1チャネルエンコーダをさらに含んでもよい。 In addition, the channel-based audio encoding unit may further include a first channel encoder that encodes the second downmix signal to generate a base layer bitstream.
また、オブジェクト基盤オーディオ符号化部は、入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、マルチオブジェクトオーディオ信号をミックスするミックス部と、ミックスされた信号を符号化して基本階層ビットストリームを生成するビットストリーム生成部と、入力されたマルチオブジェクトオーディオ信号をモノオブジェクト、ステレオオブジェクト、およびマルチオブジェクトオーディオ信号に分離し、予め設定されたレンダリング情報を用いて分離したオーディオ信号を多重化してオブジェクト階層ビットストリームを生成するオブジェクトエンコーダと、を含んでもよい。 In addition, when the input audio signal is a multi-object audio signal, the object-based audio encoding unit generates a base layer bitstream by encoding the mixed signal and a mix unit that mixes the multi-object audio signal. Bit stream generation unit and input multi-object audio signal is separated into mono object, stereo object, and multi-object audio signal, and the audio signal separated using preset rendering information is multiplexed to create an object hierarchy bit stream And an object encoder for generating.
このとき、チャネル基盤オーディオ符号化部によって生成される第1および第2向上階層ビットストリームは、基本階層ビットストリーム構造で付加データ領域に含まれてもよい。 At this time, the first and second enhancement layer bitstreams generated by the channel-based audio encoding unit may be included in the additional data area in a base layer bitstream structure.
また、オブジェクト基盤オーディオ符号化部によって生成されるオブジェクト階層ビットストリームは、基本階層ビットストリーム構造で付加データ領域に含まれてもよい。 Also, the object layer bitstream generated by the object-based audio encoding unit may be included in the additional data area with a basic layer bitstream structure.
本発明の一実施形態に係る高品質マルチチャネルオーディオ復号化装置は、高品質マルチチャネルオーディオ符号化装置から受信されるエンコーディングモードに基づいてチャネル基盤オーディオ復号化のために初期化を行うチャネル基盤オーディオ復号化部と、エンコーディングモードに基づいてオブジェクト基盤オーディオの復号化のために初期化を行うオブジェクト基盤オーディオ復号化部とを含んでもよい。 A high-quality multi-channel audio decoding apparatus according to an embodiment of the present invention is a channel-based audio that performs initialization for channel-based audio decoding based on an encoding mode received from a high-quality multi-channel audio encoding apparatus. A decoding unit and an object-based audio decoding unit that performs initialization for decoding object-based audio based on an encoding mode may be included.
このとき、前記チャネル基盤オーディオ復号化部は、高品質マルチチャネルオーディオ符号化装置から受信されたフレームに含まれるビットストリーム階層に基づいてチャネル基盤オーディオの復号化を行ってもよい。 At this time, the channel-based audio decoding unit may perform channel-based audio decoding based on a bitstream hierarchy included in a frame received from the high-quality multi-channel audio encoding device.
また、オブジェクト基盤オーディオ復号化部は、ビットストリーム階層に基づいてオブジェクト基盤オーディオの復号化を行ってもよい。 The object-based audio decoding unit may decode object-based audio based on the bitstream hierarchy.
本発明は、高品質マルチチャネルオーディオ符号化および復号化装置によってAC−3のような再生システムと互換性を維持しながら高品質マルチチャネルオーディオ信号を圧縮および復元することができる。 The present invention can compress and decompress a high quality multi-channel audio signal while maintaining compatibility with a playback system such as AC-3 by a high quality multi-channel audio encoding and decoding apparatus.
また、マルチチャネル信号の復元において、ビットストリーム階層に基づいて段階別にチャネルの拡張技法を適用するため、再生端末の環境に適するチャネル信号を復号化の中間ステップで抽出して用いることができる。 In addition, since the channel expansion technique is applied step by step based on the bitstream hierarchy in the reconstruction of the multi-channel signal, a channel signal suitable for the playback terminal environment can be extracted and used in an intermediate decoding step.
また、オブジェクト別に符号化および復号化を行うことによって、マルチチャネル環境において帯域幅を節約することができる。 Further, by performing encoding and decoding for each object, bandwidth can be saved in a multi-channel environment.
また、再生端末の環境に最適であり、レンダリングされた音響信号を提供するだけでなく、オーディオオブジェクト信号を自由に制御できるようユーザへ自由度を提供することができる。 Moreover, it is most suitable for the environment of the playback terminal, and not only provides a rendered acoustic signal, but also provides a user with a degree of freedom so that the audio object signal can be freely controlled.
以下、添付の図面に記載される内容を参照して本発明に係る実施形態を詳細に説明する。ただし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示される同じ参照符号は同じ部材を示す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the embodiment. The same reference numerals provided in each drawing denote the same members.
図2は、高品質オーディオ符号化装置の構成を示す図である。図2に示すように、高品質オーディオ符号化装置(High Quality Multichannel Audio Coding、以下、HQMAC)は、入力されるオーディオ信号の特性に基づいて、オーディオ信号に対してチャネル基盤オーディオ符号化(High Quality Multichannel Audio Coding−Channel Based、以下、HQMAC−CB)またはオブジェクト基盤オーディオ符号化(High Quality Multichannel Audio Coding−Objected Based、以下、HQMAC−OB)を行うことができる。 FIG. 2 is a diagram illustrating a configuration of a high-quality audio encoding device. As shown in FIG. 2, a high quality multi-channel audio coding (hereinafter referred to as “HQMAC”) is based on the characteristics of an input audio signal and is based on channel-based audio coding (High Quality). Multichannel Audio Coding-Channel Based (hereinafter, HQMAC-CB) or object-based audio coding (High Quality Multichannel Audio-Objected Based, hereinafter, HQMAC-OB) can be performed.
一例として、入力されるオーディオ信号がマルチチャネル(Mチャネル)オーディオ信号である場合、マルチチャネルオーディオ符号化装置は、マルチチャネルオーディオ信号に対してチャネル基盤オーディオ符号化を行ってもよい。また、入力されるオーディオ信号がマルチオブジェクト(Pオブジェクト)オーディオ信号である場合、マルチオブジェクトオーディオ符号化装置はマルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってもよい。高品質オーディオ符号化装置は、入力されるオーディオ信号の特性に応じて、HQMAC−CBおよびHQMAC−OBの過程を行って高品質オーディオビットストリーム(HQMAC bitstream)を生成してもよい。 As an example, when the input audio signal is a multi-channel (M-channel) audio signal, the multi-channel audio encoding device may perform channel-based audio encoding on the multi-channel audio signal. When the input audio signal is a multi-object (P object) audio signal, the multi-object audio encoding device may perform object-based audio encoding on the multi-object audio signal. The high quality audio encoding device may generate a high quality audio bitstream by performing the processes of HQMAC-CB and HQMAC-OB according to the characteristics of the input audio signal.
また、入力されるオーディオ信号がマルチチャネルオーディオ信号とマルチオブジェクトオーディオ信号が混在されている場合、HQMAC−CBおよびHQMAC−OBの過程をすべて行って高品質オーディオビットストリームを生成してもよい。 Further, when the input audio signal is a mixture of a multi-channel audio signal and a multi-object audio signal, a high-quality audio bit stream may be generated by performing all the processes of HQMAC-CB and HQMAC-OB.
以下は、図3を参照してチャネル基盤オーディオ信号符号化の技術に対して説明することとする。 Hereinafter, the channel-based audio signal encoding technique will be described with reference to FIG.
図3は、チャネル基盤オーディオ符号化部の構成を示すブロック図である。図3を参照すれば、チャネル基盤オーディオ符号化部200は、高効率チャネルエンコーダ210、チャネル合成部230、第2チャネルエンコーダ250、および第1チャネルエンコーダ270を含んでもよい。
FIG. 3 is a block diagram showing the configuration of the channel-based audio encoding unit. Referring to FIG. 3, the channel-based
高効率チャネルエンコーダ(High Efficiency Channel Encoder、以下、HECE)210は、入力されるマルチチャネル(Mチャネル)オーディオ信号をNチャネルにダウンミックス(M2N down mixing)211して第1ダウンミックス信号を生成してもよい。一例として、22.2チャネル(M=24)を10.2チャネル(N=12)にダウンミックスして第2ダウンミックス信号を構成してもよい。 A high efficiency channel encoder (hereinafter referred to as HECE) 210 generates a first downmix signal by downmixing an input multichannel (M channel) audio signal to N channel 211 (M2N down mixing). May be. As an example, the second downmix signal may be configured by downmixing 22.2 channels (M = 24) to 10.2 channels (N = 12).
また、高効率チャネルエンコーダ210は、マルチチャネルオーディオ信号から空間情報を分析して空間パラメータを抽出213してもよい。このとき、空間パラメータは、Nチャネルでダウンミックスされた第1ダウンミックス信号がM個のマルチチャネルオーディオ信号に復元するため必要なパラメータを含んでもよい。
Further, the high-
また、高効率チャネルエンコーダ210は、マルチチャネルオーディオ信号を符号化して第2向上階層ビットストリーム(enhancement layer II bitstream)を生成してもよい。チャネル合成部230は、Nチャネルにダウンミックスされた第1ダウンミックス信号を、Lチャネルにダウンミックス231して第2ダウンミックス信号を生成してもよい。一例として、10.2チャネル(N=12)を5.1チャネル(L=6)にダウンミックスして第2ダウンミックス信号を構成してもよい。
Further, the high
このとき、チャネル合成部230は、Lチャネルにダウンミックスされた第2ダウンミックス信号をNチャネルの第1ダウンミックス信号に復元するため必要な空間情報分析233を第1ダウンミックス信号に対して行ってもよい。これによって、Nチャネルの第1ダウンミックス信号は、Kチャネル信号に合成されてもよい。ここで、追加チャネル信号のチャネル数(K)は、第2ダウンミックス信号のチャネル数(N)と第1ダウンミックス信号のチャネル数(L)との間の差(N−L)よりも小さいか同じであってもよい。
At this time, the
第2チャネルエンコーダ250は、合成されたKチャネル信号を符号化して第1向上階層ビットストリーム(enhancement layer I bitstream)を生成してもよい。ここで、合成されたKチャネル信号は、N2Lダウンミックス231の過程において生成されるLチャネルダウンミックスとともに第1ダウンミックス信号を構成してもよい。このとき、第2チャネルエンコーダ250は、AC−3またはAACなどの高品質チャネルエンコーディング(High Quality Channel Encoding、以下、HQCE)の技術を用いて第1向上階層ビットストリームを生成してもよい。一例として、基本階層ビットストリームによって構成されるチャネルが5.1チャネル(L=6)であり、第1向上階層ビットストリームによって構成されるチャネルが5.1チャネル(K=6)であれば、この2ビットストリームによって10.2チャネル(N=12)を構成してもよい。
The
第1チャネルエンコーダ270は、第2ダウンミックス信号を符号化して基本階層ビットストリームを生成してもよい。ここで、基本階層ビットストリームによって構成されるチャネルは、5.1チャネル(L=6)で構成してもよい。
The
このとき、第1チャネルエンコーダ270としては、5.1チャネルエンコーダのようなマルチチャネルエンコーダが用いられてもよい。ここで、生成される第1および第2向上階層ビットストリームは基本階層ビットストリームに多重化されてもよい。これによって、基本階層のみを復号化することのできるマルチチャネルデコーダでも10チャネル以上のオーディオ信号に対して圧縮および符号化によって生成されるビットストリームを処理することができる。
At this time, as the
すると、高品質マルチチャネルオーディオ符号化装置は、生成される第1および第2向上階層ビットストリーム、および基本ビットストリームからなるHQMACビットストリームを高品質マルチチャネルオーディオ復号化装置に送信してもよい。ここで、HQMACビットストリームは、HQMACヘッダおよびHQMACフレームから構成してもよい。 Then, the high quality multi-channel audio encoding device may transmit the generated HQMAC bit stream including the first and second enhancement layer bit streams and the basic bit stream to the high quality multi-channel audio decoding device. Here, the HQMAC bit stream may be composed of an HQMAC header and an HQMAC frame.
また、第1および第2向上階層ビットストリームのうちのいずれか1つ、またはすべてが存在しないこともある。また、高品質マルチチャネルオーディオ符号化装置は、第1および第2向上階層ビットストリームそれぞれのチャネル数を決めてもよい。すると、決められたチャネル数はHQMACビットストリームのヘッダに含まれてもよい。 Also, any one or all of the first and second enhancement layer bitstreams may not exist. Further, the high quality multi-channel audio encoding device may determine the number of channels for each of the first and second enhancement layer bitstreams. Then, the determined number of channels may be included in the header of the HQMAC bitstream.
図4は、オブジェクト基盤オーディオ符号化部の構成を示すブロック図である。図4を参照すれば、オブジェクト基盤オーディオ符号化部300は、ミックス部310、ビットストリーム生成部330、オブジェクトエンコーダ350を含んでもよい。
FIG. 4 is a block diagram illustrating a configuration of the object-based audio encoding unit. Referring to FIG. 4, the object-based
ミックス部310は、外部から入力されるミックス情報を用いてP個のマルチオブジェクトオーディオ信号をLチャネルにミックスしてもよい。
The
ビットストリーム生成部330は、ミックスされたLチャネルオーディオ信号を符号化して基本階層ビットストリームを生成してもよい。このとき、ビットストリーム生成部330は、5.1チャネルエンコーダのようなマルチャネルエンコーダを用いて基本階層ビットストリームを生成してもよい。
The bit
オブジェクトエンコーダ350は、P個のマルチオブジェクトオーディオ信号をモノ、ステレオ、およびマルチチャネルオブジェクトオーディオ信号にそれぞれ分離し、分離されたオブジェクトそれぞれに対して符号化を行ってもよい。
The
一例として、モノオブジェクトオーディオ信号はモノチャネルエンコーダ351によって符号化され、ステレオオブジェクトオーディオ信号はステレオチャネルエンコーダ352によって符号化され、マルチチャネルオブジェクトオーディオ信号はマルチチャネルエンコーダ353によって符号化される。このとき、モノチャネルエンコーダ351、ステレオチャネルエンコーダ352、およびマルチチャネルエンコーダ353では、AC−3、AAC、およびMP3等の符号化技術を用いて分離したオブジェクトオーディオ信号を符号化してもよい。
As an example, the mono object audio signal is encoded by the
すると、マルチプレクサ354は、符号化されたオブジェクト符号化ビットストリームをレンダリング情報とともに多重化してオブジェクト階層ビットストリームを生成してもよい。ここで、オブジェクト符号化ビットストリームは、符号化されたモノオブジェクトオーディオ信号、ステレオオブジェクトオーディオ信号、およびマルチチャネルオブジェクトオーディオ信号を含んでもよい。
Then, the
このとき、レンダリング情報は、ヘッドホン、ラウドスピーカ、ラウドスピーカの個数、ラウドスピーカの位置のような再生環境に応じて予め設定されてもよい。また、レンダリング情報は、3次元の空間上に仮想的に配置される位置を直接的に表現できる情報を含んでもよい。 At this time, the rendering information may be set in advance according to the reproduction environment such as the headphones, the loudspeakers, the number of loudspeakers, and the position of the loudspeakers. In addition, the rendering information may include information that can directly represent a position virtually arranged in a three-dimensional space.
すると、高品質マルチチャネルオーディオ符号化装置は、生成されるオブジェクト階層ビットストリーム、および基本ビットストリームからなるHQMACビットストリームを高品質マルチチャネルオーディオ復号化装置に送信してもよい。ここで、HQMACビットストリームは、HQMACヘッダおよびHQMACフレームに構成してもよい。このとき、HQMACヘッダは、エンコーディングモード、チャネル数、量子化ビット、量子化周波数、付加階層構成情報、オブジェクト数などのようにデコーダを初期化するために必要な復号化情報を含んでもよい。 Then, the high quality multi-channel audio encoding device may transmit the generated object layer bit stream and the HQMAC bit stream including the basic bit stream to the high quality multi-channel audio decoding device. Here, the HQMAC bit stream may be configured into an HQMAC header and an HQMAC frame. At this time, the HQMAC header may include decoding information necessary for initializing the decoder, such as an encoding mode, the number of channels, a quantization bit, a quantization frequency, additional layer configuration information, and the number of objects.
ここで、エンコーディングモードは、HQMACで生成されたビットストリームがHQMAC−CBまたはHQMAC−OBに符号化されたかを表す情報を含んでもよい。また、付加階層構成情報は、HQMACから送信されるビットストリームがオブジェクト階層または第1および第2向上階層ビットストリームを含むか否かを表わしてもよい。 Here, the encoding mode may include information indicating whether the bit stream generated by HQMAC is encoded by HQMAC-CB or HQMAC-OB. Further, the additional layer configuration information may indicate whether the bit stream transmitted from the HQMAC includes an object layer or first and second enhancement layer bit streams.
一方、オブジェクトエンコーダ350としては、MPEG SAOC(Spatial Audio Object Coding)技術のようなパラメータ基盤のマルチオブジェクトオーディオエンコーダが用いられてもよい。このとき、ダウンミックス信号は、オブジェクトエンコーダ350で直接に生成するか、ミックス部310から出力されるLチャネルオブジェクトオーディオ信号になり得る。すると、オブジェクトエンコーダ350で生成されるオブジェクト符号化ビットストリームは、ダウンミックス信号と空間パラメータに構成されるオブジェクト付加データを含んでもよい。
On the other hand, as the
今までHQMAC−CB符号化部200は、基本階層、第1向上階層、および第2向上階層ビットストリームを生成し、HQMAC−OB符号化部300は、基本階層およびオブジェクト階層ビットストリームを生成する過程について説明した。このとき、HQMAC−CB符号化部200およびHQMAC−OB符号化部300で生成される基本階層ビットストリームが一般的なLチャネル(一例として、5.1チャネル)ビットストリームと同じである場合、基本階層に追加されるビットストリームは基本階層ビットストリーム構造にて付加データ領域に位置してもよい。
Until now, the HQMAC-
すなわち、図5に示すように、HQMACビットストリームを構成するHQMACヘッダとHQMACフレームは、基本階層ヘッダと基本階層フレームの付加データ領域にそれぞれ位置してもよい。これによって、基本階層ビットストリームを復号化することのできる5.1チャネルデコーダは、付加データ領域を無視することになるため、HQMACビットストリーム内で基本階層ビットストリームを解析して5.1チャネルオーディオ信号を再生してもよい。このとき、基本階層ヘッダはレガシーチャネルLヘッダ(legacy L−channel header)を含んでもよく、基本階層フレームはレガシーLチャネルフレーム(legacy L−channel frame)を含んでもよい。 That is, as shown in FIG. 5, the HQMAC header and the HQMAC frame constituting the HQMAC bitstream may be located in the additional data area of the base layer header and the base layer frame, respectively. As a result, the 5.1 channel decoder that can decode the base layer bitstream ignores the additional data area. Therefore, the 5.1 layer audio is analyzed by analyzing the base layer bitstream in the HQMAC bitstream. The signal may be reproduced. At this time, the basic layer header may include a legacy channel L header (legacy L-channel header), and the base layer frame may include a legacy L channel frame (legacy L-channel frame).
より詳しくは、図6を参照すれば、HQMAC−CB符号化部200によって生成されるHQMAC−CBビットストリーム600は、チャネル基盤のヘッダおよびフレーム(以下、HQMAC−CBヘッダおよびHQMAC−CBフレーム)を含んでもよい。このとき、HQMAC−CBヘッダ610は、基本階層ヘッダ611およびHQMAC−CBヘッダ612を含んでもよい。
More specifically, referring to FIG. 6, the HQMAC-
また、HQMAC−CBフレーム620は、基本階層フレーム621およびHQMAC−CBフレーム622を含んでもよい。このとき、基本階層ヘッダ611とフレーム621は、Lチャネル(一例として、5.1チャネル)ビットストリームの構造を有してもよい。すると、Lチャネルビットストリーム構造の付加データ領域にHQMAC−CBヘッダ612とHQMAC−CBフレーム622が位置してもよい。ここで、HQMAC−CBフレーム622は、第1向上階層ビットストリーム621−1および第2向上階層ビットストリーム621−2を含んでもよい。
Further, the HQMAC-
このとき、HQMAC−CBフレーム622には、第1および第2向上階層ビットストリームのうちの少なくとも1つが含まれるか、あるいは第1および第2向上階層ビットストリームのすべてが含まないことがある。すなわち、第1および第2向上階層ビットストリームは、入力されるオーディオ信号の特性およびユーザの選択に応じて選択的に用いてもよい。
At this time, the HQMAC-
同様に、図7を参照すれば、HQMAC−OB符号化部300によって生成されるHQMAC−OBビットストリーム700は、オブジェクト基盤のヘッダおよびフレーム(以下、HQMAC−OBヘッダおよびHQMAC−OBフレーム)を含んでもよい。このとき、図5にて説明したように、HQMAC−OBヘッダ710およびHQMAC−OBフレーム720は、基本階層ビットストリームの付加データ領域に位置してもよい。
Similarly, referring to FIG. 7, the HQMAC-
また、HQMAC−OBヘッダ710は、HAMAC−OBの復号化のための復号化情報、およびレンダリング情報(RI)を含んでもよい。ここで、レンダリング情報は、復号化されたオブジェクトオーディオ信号をマルチチャネルラウドスピーカでレンダリングするために用いてもよい。
Further, the HQMAC-
また、レンダリング情報は、時間に応じて変更(update)してもよい。これによって、変更されたレンダリング情報722−2は、オブジェクト階層ビットストリーム722−1の次に位置してもよい。このとき、すべてのフレームごとにレンダリング情報が変更される必要がないことから、変更が生じる場合のみフラグを用いて変更の有無を知らせてもよい。 The rendering information may be updated according to time. Accordingly, the changed rendering information 722-2 may be positioned next to the object hierarchy bitstream 722-1. At this time, since it is not necessary to change the rendering information for every frame, the flag may be used to notify the presence or absence of the change only when the change occurs.
また、HQMAC−CB符号化部とHQMAC−OB符号化部とが同時に用いられる場合、HQMAC−CBとHQMAC−OBヘッダとフレームがすべて存在してもよい。 In addition, when the HQMAC-CB encoder and the HQMAC-OB encoder are used at the same time, the HQMAC-CB, the HQMAC-OB header, and the frame may all exist.
以下は、高品質マルチチャネルオーディオ復号化装置に対して説明することとする。高品質マルチチャネルオーディオ復号化装置は、チャネル基盤オーディオ復号化部800およびオブジェクト基盤オーディオ復号化部900を含んでもよい。
The following will be described for a high quality multi-channel audio decoding device. The high quality multi-channel audio decoding apparatus may include a channel-based
このとき、高品質マルチチャネルオーディオ復号化装置は、HQMACヘッダおよびHQMACフレームに構成されるHQMACビットストリームを高品質マルチチャネルオーディオ符号化装置から受信してもよい。すると、高品質マルチチャネルオーディオ復号化装置は、HQMACヘッダに含まれるエンコーディングモードに基づいて受信されるHQMACビットストリームに対してチャネル基盤オーディオ復号化またはオブジェクト基盤オーディオの復号化を行ってもよい。 At this time, the high-quality multi-channel audio decoding apparatus may receive an HQMAC bitstream configured with an HQMAC header and an HQMAC frame from the high-quality multi-channel audio encoding apparatus. Then, the high-quality multi-channel audio decoding apparatus may perform channel-based audio decoding or object-based audio decoding on the HQMAC bitstream received based on the encoding mode included in the HQMAC header.
図8は、チャネル基盤オーディオ復号化部の構成を示すブロック図である。図8を参照すれば、チャネル基盤オーディオ復号化部800は、第2チャネルデコーダ810、第1チャネルデコーダ820、アップミックス部830、および高効率チャネルデコーダ840を含んでもよい。このとき、チャネル基盤オーディオ復号化部800は、受信されるHQMACフレームに含まれたビットストリーム階層に基づいてHQMACビットストリームを復号化してもよい。HQMAC−CBである場合、ビットストリーム階層は、基本階層、第1および第2向上階層ビットストリームを含んでもよい。
FIG. 8 is a block diagram showing the configuration of the channel-based audio decoding unit. Referring to FIG. 8, the channel-based
エンコーディングモードがHQMAC−CBである場合、第2チャネルデコーダ810は、HQMACフレームに含まれる第1向上階層ビットストリームを復号化して合成されたKチャネル信号を復元してもよい。ここで、第2チャネルデコーダ810としては、AAC、またはAC−3のような一般的な高品質チャネルデコーダを用いてもよい。
When the encoding mode is HQMAC-CB, the
一例として、高品質マルチチャネルオーディオ復号化装置から送信されたHQMACビットストリームがチャネル基盤オーディオ符号化部200によって符号化される場合、第2チャネルデコーダ810は第1向上階層ビットストリームを復号化して合成されたKチャネル信号を復元してもよい。すなわち、第2チャネルデコーダ810を用いて合成されたKチャネルと、第1チャネルデコーダを用いて合成されたLチャネルとを用いてNチャネルを有する第1ダウンミックス信号を復元してもよい。
As an example, when the HQMAC bitstream transmitted from the high-quality multi-channel audio decoding apparatus is encoded by the channel-based
第1チャネルデコーダ820は、HQMACフレームに含まれる基本階層ビットストリームを復号化してLチャネルの第2ダウンミックス信号を復元してもよい。すなわち、基本階層ビットストリームは、第1チャネルデコーダ820によってL個のチャネルに構成された第2ダウンミックス信号を復元してもよい。ここで、第2チャネルデコーダとしては、一般的な5.1チャネルデコーダを用いてもよい。
The
アップミックス部830は、第2ダウンミックス信号(Lチャネル)と第2チャネルデコーダを用いて合成されたKチャネル信号を用いてアップミックスしてNチャネルの第1ダウンミックス信号を復元してもよい。
The
高効率チャネルデコーダ840は、第1ダウンミックス信号とHQMACフレームに含まれる第2向上階層ビットストリームとを用いてマルチチャネル(Mチャネル)オーディオ信号を復元してもよい。このとき、アップミックス部830で復元されたNチャネルの第1ダウンミックス信号と、第1チャネルデコーダ820で復元されたLチャネルの第2ダウンミックス信号とが直ちに出力されてもよい。すなわち、第1ダウンミックス信号および第2ダウンミックス信号は、チャネル基盤オーディオ復号化部800の出力信号になり得る。
The high-
図9は、オブジェクト基盤オーディオ復号化部の構成を示すブロック図である。図9を参照すれば、オブジェクト基盤オーディオ復号化部900は、ビットストリーム処理部910、オブジェクトデコーダ930、およびレンダリング部950を含んでもよい。このとき、オブジェクト基盤オーディオ復号化部900は、受信されたQMACフレームに含まれるビットストリーム階層に基づいてHQMACビットストリームを復号化してもよい。HQMAC−OBである場合、ビットストリーム階層は、基本階層、オブジェクト階層ビットストリームを含んでもよい。
FIG. 9 is a block diagram showing a configuration of the object-based audio decoding unit. Referring to FIG. 9, the object-based
ビットストリーム処理部910は、基本階層ビットストリームを用いてオブジェクト基盤オーディオ符号化部300でLチャネルにミックスされたオーディオ信号を復元してもよい。一例として、ビットストリーム処理部910は、5.1チャネルデコーダを用いてLチャネルにミックスされたオーディオ信号を復元してもよい。
The bit
オブジェクトデコーダ930は、オブジェクト階層ビットストリームに含まれるオブジェクト別符号化ビットストリームをそれぞれ復号化してマルチオブジェクトオーディオ信号を復元してもよい。すなわち、オブジェクトデコーダ930は、基本階層ビットストリームを用いることなく、マルチオブジェクトオーディオ信号を復元してもよい。ここで、オブジェクト別の符号化ビットストリームは、符号化されたモノオブジェクト、ステレオオブジェクト、およびマルチチャネルオブジェクトビットストリームを含んでもよい。
The
一例として、モノチャネルデコーダ931は符号化されたモノオブジェクトビットストリームを復号化し、ステレオチャネルデコーダ933は符号化されたステレオオブジェクトビットストリームを復号化し、マルチチャネルデコーダ935は符号化されたマルチチャネルオブジェクトビットストリームを復号化してもよい。
As an example, the
レンダリング部950は、レンダリング情報を用いてモノオブジェクト、ステレオオブジェクト、およびマルチチャネルオブジェクトそれぞれのビットストリームをレンダリングして再生できる形態の出力信号を生成してもよい。一例として、レンダリング部950は、Qチャネルラウドスピーカ信号を出力信号に生成してもよい。このとき、レンダリング情報は、高品質オーディオ符号化装置から送信されるHQMACビットストリームに含まれてもよい。
The
また、レンダリング部950は、HQMACフレームに含まれる基本階層から復元されるオーディオ信号を選択的に用いてもよい。すなわち、レンダリング部950は、ビットストリーム処理部910で復元されたLチャネルにミックスされたオーディオ信号を用いてもよい。
Further, the
また、入力される高品質マルチチャネルオーディオビットストリームにHQMAC−CBビットストリームとHQMAC−OBビットストリームがすべて含まれている場合には、それぞれの復号化過程を介する出力信号を多重化して出力してもよい。 Also, when the HQMAC-CB bitstream and HQMAC-OB bitstream are all included in the input high quality multi-channel audio bitstream, the output signals through the respective decoding processes are multiplexed and output. Also good.
以上は、説明の便宜のためにHQMAC−CBビットストリーム、およびHQMAC−OBビットストリームに区分して説明したが、HQMAC−CBビットストリーム、およびHQMAC−OBビットストリームはすべてHQMACビットストリームを表わしてもよい。すなわち、HQMAC−CBビットストリームはHQMAC−CB符号化によって生成されるHQMACビットストリームであってもよく、HQMAC−OBビットストリームはHQMAC−OB符号化によって生成されるHQMACビットストリームであってもよい。 In the above description, the HQMAC-CB bit stream and the HQMAC-OB bit stream are divided into the HQMAC-CB bit stream and the HQMAC-OB bit stream for convenience of explanation. Good. That is, the HQMAC-CB bitstream may be an HQMAC bitstream generated by HQMAC-CB encoding, and the HQMAC-OB bitstream may be an HQMAC bitstream generated by HQMAC-OB encoding.
また、以上では図3を参照してチャネル基盤オーディオ符号化部において第1チャネルエンコーダとともに高効率チャネルエンコーダおよび第2チャネルエンコーダを用いてチャネル基盤オーディオ符号化を行うものとして説明したが、これは実施形態に該当し、高効率チャネルエンコーダおよび第2チャネルエンコーダは選択的に用いてもよい。 In the above description, the channel-based audio encoding unit performs channel-based audio encoding using the high-efficiency channel encoder and the second channel encoder together with the first channel encoder in the channel-based audio encoding unit. The high-efficiency channel encoder and the second channel encoder may be selectively used.
すなわち、チャネル基盤オーディオ符号化は、高効率チャネルエンコーダおよび第2チャネルエンコーダのうちの少なくとも1つを用いるか、または2つとも用いることなく第1チャネルエンコーダだけでもチャネル基盤オーディオ符号化を行ってもよい。 That is, the channel-based audio encoding may be performed using only the first channel encoder without using at least one of the high-efficiency channel encoder and the second channel encoder, or using both. Good.
このように、高効率チャネルエンコーダおよび第2チャネルエンコーダは選択的に用いられる場合、チャネル合成部ではダウンミックスを選択的に用いてもよい。すなわち、高効率チャネルエンコーダを使用しない場合、チャネル合成部は、入力されるマルチチャネル(Mチャネル)オーディオ信号をLチャネルにダウンミックスしてもよい。 As described above, when the high-efficiency channel encoder and the second channel encoder are selectively used, the channel synthesis unit may selectively use downmix. That is, when the high-efficiency channel encoder is not used, the channel synthesis unit may downmix the input multi-channel (M channel) audio signal to the L channel.
同様に、チャネル基盤オーディオ復号化は、高効率チャネルデコーダおよび第2チャネルデコーダのうちの少なくとも1つを用いるか、または2つとも用いることなく第1チャネルデコーダのみを用いてチャネル基盤オーディオ復号化を行ってもよい。このとき、高効率チャネルデコーダを使用しない場合、アップミックス部は第2ダウンミックス信号と合成された第1ダウンミックス信号をMチャネルにアップミックスしてもよい。 Similarly, channel-based audio decoding is performed using only the first channel decoder without using at least one of the high-efficiency channel decoder and the second channel decoder, or using both. You may go. At this time, when the high-efficiency channel decoder is not used, the upmix unit may upmix the first downmix signal combined with the second downmix signal into the M channel.
上述したように、本発明は、たとえ限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような基材から多様な修正および変形が可能である。 As described above, the present invention has been described with reference to the limited embodiments and drawings. However, the present invention is not limited to the above-described embodiments, and the person having ordinary knowledge in the field to which the present invention belongs. If present, various modifications and variations are possible from such substrates.
したがって、本発明の範囲は説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。 Accordingly, the scope of the present invention should not be determined by being limited to the embodiments described, but must be determined not only by the claims described below, but also by the equivalents of the claims.
200:チャネル基盤オーディオ符号化部
300:オブジェクト基盤オーディオ符号化部
210:高効率チャネルエンコーダ
230:チャネル合成部
250:第2チャネルエンコーダ
270:第1チャネルエンコーダ
200: Channel-based audio encoding unit 300: Object-based audio encoding unit 210: High-efficiency channel encoder 230: Channel synthesis unit 250: Second channel encoder 270: First channel encoder
Claims (12)
前記オーディオ信号の特性に基づいて前記オーディオ信号に対してオブジェクト基盤オーディオ符号化を行うオブジェクト基盤オーディオ符号化部と
を備えたことを特徴とする高品質マルチチャネルオーディオ符号化装置。 A channel-based audio encoding unit that performs channel-based audio encoding on the audio signal based on characteristics of the input audio signal;
A high-quality multi-channel audio encoding device comprising: an object-based audio encoding unit that performs object-based audio encoding on the audio signal based on the characteristics of the audio signal.
前記オブジェクト基盤オーディオ符号化部は、前記入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、前記マルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってビットストリームを生成することを特徴とする請求項1に記載の高品質マルチチャネルオーディオ符号化装置。 The channel-based audio encoding unit generates a bitstream by performing channel-based audio encoding on the multi-channel audio signal when the input audio signal is a multi-channel audio signal;
When the input audio signal is a multi-object audio signal, the object-based audio encoding unit performs object-based audio encoding on the multi-object audio signal to generate a bitstream. The high quality multi-channel audio encoding device according to claim 1.
前記入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、前記マルチオブジェクトオーディオ信号をミックスするミックス部と、
前記ミックスされた信号を符号化して基本階層ビットストリームを生成するビットストリーム生成部と、
前記入力されたマルチオブジェクトオーディオ信号をモノオブジェクト、ステレオオブジェクト、およびマルチオブジェクトオーディオ信号に分離し、予め設定されたレンダリング情報を用いて前記分離したオーディオ信号を多重化してオブジェクト階層ビットストリームを生成するオブジェクトエンコーダと
を含むことを特徴とする請求項1に記載の高品質マルチチャネルオーディオ符号化装置。 The object-based audio encoding unit is
When the input audio signal is a multi-object audio signal, a mixing unit that mixes the multi-object audio signal;
A bitstream generator that encodes the mixed signal to generate a base layer bitstream;
An object that separates the input multi-object audio signal into a mono object, a stereo object, and a multi-object audio signal, and multiplexes the separated audio signal using preset rendering information to generate an object hierarchy bitstream The high quality multi-channel audio encoding device according to claim 1, further comprising: an encoder.
前記オブジェクト基盤オーディオ符号化部によって生成されるオブジェクト階層ビットストリームは、前記基本階層ビットストリーム構造で付加データ領域に含まれることを特徴とする請求項1に記載の高品質マルチチャネルオーディオ符号化装置。 The first and second enhancement layer bitstreams generated by the channel-based audio encoding unit are included in an additional data region in a base layer bitstream structure,
The high-quality multi-channel audio encoding device according to claim 1, wherein the object layer bit stream generated by the object-based audio encoding unit is included in an additional data area in the basic layer bit stream structure.
前記オブジェクト基盤オーディオ符号化部は、前記基本階層ビットストリーム、前記オブジェクト階層ビットストリームを用いてオブジェクト基盤のヘッダおよびフレームを構成して送信することを特徴とする請求項10に記載の高品質マルチチャネルオーディオ符号化装置。 The channel-based audio encoding unit configures and transmits a channel-based header and a frame using the base layer bitstream and the first and second enhancement layer bitstreams,
The high-quality multi-channel according to claim 10, wherein the object-based audio encoding unit configures and transmits an object-based header and frame using the base layer bitstream and the object layer bitstream. Audio encoding device.
前記チャネル基盤のヘッダまたは前記オブジェクト基盤のヘッダは、前記チャネル基盤オーディオ符号化部またはオブジェクト基盤オーディオ符号化部によって生成されるビットストリームを復号化するために用いられる復号化情報を含むことを特徴とする請求項11に記載の高品質マルチチャネルオーディオ符号化装置。 When audio encoding is performed on the audio signal using all of the channel-based audio encoding unit and the object-based audio encoding unit, a bitstream generated by the audio encoding includes the channel-based audio encoding unit. A header and a frame for each of the audio encoding and the object-based audio encoding are included;
The channel-based header or the object-based header includes decoding information used to decode a bitstream generated by the channel-based audio encoding unit or the object-based audio encoding unit. The high quality multi-channel audio encoding device according to claim 11.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090055757 | 2009-06-23 | ||
KR10-2009-0055757 | 2009-06-23 | ||
KR1020090120078A KR101283783B1 (en) | 2009-06-23 | 2009-12-04 | Apparatus for high quality multichannel audio coding and decoding |
KR10-2009-0120078 | 2009-12-04 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010143218A Division JP2011008258A (en) | 2009-06-23 | 2010-06-23 | High quality multi-channel audio encoding apparatus and decoding apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013174891A true JP2013174891A (en) | 2013-09-05 |
Family
ID=43512147
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010143218A Pending JP2011008258A (en) | 2009-06-23 | 2010-06-23 | High quality multi-channel audio encoding apparatus and decoding apparatus |
JP2013069452A Pending JP2013174891A (en) | 2009-06-23 | 2013-03-28 | High quality multi-channel audio encoding and decoding apparatus |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010143218A Pending JP2011008258A (en) | 2009-06-23 | 2010-06-23 | High quality multi-channel audio encoding apparatus and decoding apparatus |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP2011008258A (en) |
KR (1) | KR101283783B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017501438A (en) * | 2013-11-27 | 2017-01-12 | ディーティーエス・インコーポレイテッドDTS,Inc. | Multiplet-based matrix mixing for high channel count multi-channel audio |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI573131B (en) * | 2011-03-16 | 2017-03-01 | Dts股份有限公司 | Methods for encoding or decoding an audio soundtrack, audio encoding processor, and audio decoding processor |
US8838262B2 (en) * | 2011-07-01 | 2014-09-16 | Dolby Laboratories Licensing Corporation | Synchronization and switch over methods and systems for an adaptive audio system |
CN103890841B (en) * | 2011-11-01 | 2017-10-17 | 皇家飞利浦有限公司 | Audio object is coded and decoded |
KR20130093798A (en) * | 2012-01-02 | 2013-08-23 | 한국전자통신연구원 | Apparatus and method for encoding and decoding multi-channel signal |
EP2815399B1 (en) | 2012-02-14 | 2016-02-10 | Huawei Technologies Co., Ltd. | A method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal |
TWI505262B (en) | 2012-05-15 | 2015-10-21 | Dolby Int Ab | Efficient encoding and decoding of multi-channel audio signal with multiple substreams |
US10140995B2 (en) * | 2012-07-02 | 2018-11-27 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
US10083700B2 (en) | 2012-07-02 | 2018-09-25 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
TWI517142B (en) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
US9437198B2 (en) | 2012-07-02 | 2016-09-06 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
CN108806706B (en) | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | Encoding/decoding apparatus and method for processing channel signal |
WO2014112793A1 (en) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | Encoding/decoding apparatus for processing channel signal and method therefor |
US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
KR101751228B1 (en) * | 2013-05-24 | 2017-06-27 | 돌비 인터네셔널 에이비 | Efficient coding of audio scenes comprising audio objects |
EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
EP3028273B1 (en) | 2013-07-31 | 2019-09-11 | Dolby Laboratories Licensing Corporation | Processing spatially diffuse or large audio objects |
KR101511553B1 (en) * | 2014-02-14 | 2015-04-13 | 전자부품연구원 | Multi Step Audio Separation Method and Audio Device using the same |
WO2015190864A1 (en) * | 2014-06-12 | 2015-12-17 | 엘지전자(주) | Method and apparatus for processing object-based audio data using high-speed interface |
CA3091150A1 (en) * | 2018-07-02 | 2020-01-09 | Dolby Laboratories Licensing Corporation | Methods and devices for encoding and/or decoding immersive audio signals |
KR20220101427A (en) * | 2021-01-11 | 2022-07-19 | 삼성전자주식회사 | Method for processing audio data and electronic device supporting the same |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007083957A1 (en) * | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
WO2007140809A1 (en) * | 2006-06-02 | 2007-12-13 | Dolby Sweden Ab | Binaural multi-channel decoder in the context of non-energy-conserving upmix rules |
WO2008039038A1 (en) * | 2006-09-29 | 2008-04-03 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel |
WO2008046531A1 (en) * | 2006-10-16 | 2008-04-24 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
WO2008100100A1 (en) * | 2007-02-14 | 2008-08-21 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
US20090125314A1 (en) * | 2007-10-17 | 2009-05-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio coding using downmix |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1946295B1 (en) * | 2005-09-14 | 2013-11-06 | LG Electronics Inc. | Method and apparatus for decoding an audio signal |
-
2009
- 2009-12-04 KR KR1020090120078A patent/KR101283783B1/en active IP Right Grant
-
2010
- 2010-06-23 JP JP2010143218A patent/JP2011008258A/en active Pending
-
2013
- 2013-03-28 JP JP2013069452A patent/JP2013174891A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007083957A1 (en) * | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
WO2007140809A1 (en) * | 2006-06-02 | 2007-12-13 | Dolby Sweden Ab | Binaural multi-channel decoder in the context of non-energy-conserving upmix rules |
WO2008039038A1 (en) * | 2006-09-29 | 2008-04-03 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel |
WO2008046531A1 (en) * | 2006-10-16 | 2008-04-24 | Dolby Sweden Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
WO2008100100A1 (en) * | 2007-02-14 | 2008-08-21 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
US20090125314A1 (en) * | 2007-10-17 | 2009-05-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio coding using downmix |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017501438A (en) * | 2013-11-27 | 2017-01-12 | ディーティーエス・インコーポレイテッドDTS,Inc. | Multiplet-based matrix mixing for high channel count multi-channel audio |
Also Published As
Publication number | Publication date |
---|---|
JP2011008258A (en) | 2011-01-13 |
KR101283783B1 (en) | 2013-07-08 |
KR20100138716A (en) | 2010-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101283783B1 (en) | Apparatus for high quality multichannel audio coding and decoding | |
US20100324915A1 (en) | Encoding and decoding apparatuses for high quality multi-channel audio codec | |
KR102131748B1 (en) | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field | |
KR101506837B1 (en) | Method and apparatus for generating side information bitstream of multi object audio signal | |
CA2557993C (en) | Frequency-based coding of audio channels in parametric multi-channel coding systems | |
KR102172279B1 (en) | Encoding and decdoing apparatus for supprtng scalable multichannel audio signal, and method for perporming by the apparatus | |
US20200013426A1 (en) | Synchronizing enhanced audio transports with backward compatible audio transports | |
RU2323551C1 (en) | Method for frequency-oriented encoding of channels in parametric multi-channel encoding systems | |
CN104428835A (en) | Encoding and decoding of audio signals | |
JP2011066868A (en) | Audio signal encoding method, encoding device, decoding method, and decoding device | |
Hilpert et al. | The MPEG Surround audio coding standard [Standards in a nutshell] | |
US11081116B2 (en) | Embedding enhanced audio transports in backward compatible audio bitstreams | |
KR100636145B1 (en) | Exednded high resolution audio signal encoder and decoder thereof | |
Quackenbush et al. | MPEG surround | |
WO2008084436A1 (en) | An object-oriented audio decoder | |
JP2005521921A (en) | Signal processing | |
KR20090039642A (en) | Method of decoding a dmb signal and apparatus of decoding thereof | |
US11062713B2 (en) | Spatially formatted enhanced audio data for backward compatible audio bitstreams | |
KR102059846B1 (en) | Apparatus and method for audio signal processing | |
WO2013073810A1 (en) | Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same | |
Lee et al. | Design and Development of T‐DMB Multichannel Audio Service System Based on Spatial Audio Coding | |
KR20110085155A (en) | Apparatus for generationg and reproducing audio data for real time audio stream and the method thereof | |
Komori | Trends in Standardization of Audio Coding Technologies | |
KR102191260B1 (en) | Apparatus and method for encoding/decoding of audio using multi channel audio codec and multi object audio codec | |
Fug et al. | An Introduction to MPEG-H 3D Audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150707 |