JP2015038623A - Audio reproduction apparatus and audio reproduction method - Google Patents

Audio reproduction apparatus and audio reproduction method Download PDF

Info

Publication number
JP2015038623A
JP2015038623A JP2014205836A JP2014205836A JP2015038623A JP 2015038623 A JP2015038623 A JP 2015038623A JP 2014205836 A JP2014205836 A JP 2014205836A JP 2014205836 A JP2014205836 A JP 2014205836A JP 2015038623 A JP2015038623 A JP 2015038623A
Authority
JP
Japan
Prior art keywords
basic codec
information
band
stereo
extension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014205836A
Other languages
Japanese (ja)
Other versions
JP5943982B2 (en
Inventor
宇志 横山
Takashi Yokoyama
宇志 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2014205836A priority Critical patent/JP5943982B2/en
Publication of JP2015038623A publication Critical patent/JP2015038623A/en
Application granted granted Critical
Publication of JP5943982B2 publication Critical patent/JP5943982B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an audio reproduction apparatus with multichannel capable of preventing generation of abnormal noises without largely increasing the operation amount.SOLUTION: An audio reproduction apparatus 100 for reproducing a stream including a basic codec, includes: a stream separation section 101 that separates the stream into a basic codec and a band extension data; a basic codec analysis section 102 that analyzes the separated basic codec; a basic codec decoding section 103 that decodes the basic codec according to a piece of basic codec analyze information; and a band extension processing section that performs a processing to extend the frequency bandwidth of the basic codec decoded signal using a piece of band expansion information based on the analyzed information by using either one of QMF(Quadrature Mirror Filter) processing of real number calculation and QMF processing of complex number.

Description

本発明は、符号化されたオーディオ信号を復号し再生するオーディオ再生装置に関するものである。   The present invention relates to an audio reproducing apparatus that decodes and reproduces an encoded audio signal.

従来、低域オーディオ信号と帯域拡張情報とが入力され、入力された帯域拡張情報に含まれるサイド情報を参照しながら予測して高域を再構成するスペクトルバンド複製（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ、以下ではＳＢＲと呼ぶ）技術を用いて、高域拡張オーディオ信号を生成するオーディオ再生装置が知られている。このサイド情報の情報量はごく少なくて良いため、低いビットレートでの符号化オーディオ信号の音質を向上することができる。   Conventionally, a low-band audio signal and band extension information are input, and spectral band replication (SBR in the following) is performed by referring to side information included in the input band extension information and reconstructing a high band. An audio playback device that generates a high-frequency extended audio signal using a technology is known. Since the amount of the side information is very small, the sound quality of the encoded audio signal at a low bit rate can be improved.

ＳＢＲの処理方法には、高音質版ＳＢＲ（Ｈｉｇｈ−Ｑｕａｌｉｔｙ ＳＢＲ、以下ではＨＱ−ＳＢＲと呼ぶ）と低演算量版ＳＢＲ（Ｌｏｗ−Ｐｏｗｅｒ ＳＢＲ、以下ではＬＰ−ＳＢＲと呼ぶ）との２種類が規定されている。   There are two types of SBR processing methods: high sound quality version SBR (High-Quality SBR, hereinafter referred to as HQ-SBR) and low-computation version SBR (Low-Power SBR, hereinafter referred to as LP-SBR). It is prescribed.

ＨＱ−ＳＢＲは、サブバンド分析、高域生成、サブバンド合成に渡る全体の処理を複素数演算で行う。このため、高音質化処理に適しているが、演算量が多いという特徴がある。   HQ-SBR performs complex processing on the entire processing from subband analysis, high-frequency generation, and subband synthesis. For this reason, it is suitable for high sound quality processing, but has a feature that the amount of calculation is large.

ＬＰ−ＳＢＲは、ＨＱ−ＳＢＲの複素数演算に代えて実数演算を用いており、また、その実数演算を用いることにより生じる折り返し歪みの発生を抑制するように改善されたものである。このため、演算量を大幅に削減し、かつ、低ビットレートではＨＱ−ＳＢＲと同等の音質を実現することができるという特徴がある。ＬＰ−ＳＢＲは、ＨＱ−ＳＢＲの約半分の処理量で処理できることが知られている（非特許文献１参照）。   The LP-SBR uses a real number operation instead of the complex number operation of the HQ-SBR, and is improved to suppress the occurrence of aliasing distortion caused by using the real number operation. For this reason, there is a feature that the calculation amount can be greatly reduced and sound quality equivalent to that of HQ-SBR can be realized at a low bit rate. It is known that LP-SBR can be processed with about half the processing amount of HQ-SBR (see Non-Patent Document 1).

ＳＢＲは、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）と組み合わせて使用されることが知られており、その構成はＨＥ−ＡＡＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ ＡＡＣ）プロファイルと呼ばれる。ＡＡＣと組み合わせた場合、ＡＡＣ＋ＬＰ−ＳＢＲは、ＡＡＣ＋ＨＱ−ＳＢＲの約７０％の処理量で処理できることが知られている（非特許文献１参照）。   SBR is known to be used in combination with AAC (Advanced Audio Coding), and its configuration is called HE-AAC (High-Efficiency AAC) profile. When combined with AAC, it is known that AAC + LP-SBR can be processed with a processing amount of about 70% of AAC + HQ-SBR (see Non-Patent Document 1).

また、モノラルオーディオ信号とステレオ化情報とが入力され、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理することで、ステレオオーディオ信号を生成する再生装置が知られている。このステレオ化処理はパラメトリック・ステレオ（Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ、以下ではＰＳと呼ぶ）処理として知られ、上記ＳＢＲ処理と組み合わせて使用される。ＰＳ処理は、複素ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）をＳＢＲ処理と共通に用いて、ステレオ化を実現する（非特許文献２参照）。   There is also known a playback apparatus that receives a monaural audio signal and stereophonic information and performs a stereo process on the monaural audio signal based on the stereogenic information to generate a stereo audio signal. This stereo processing is known as parametric stereo (hereinafter referred to as PS) processing, and is used in combination with the SBR processing. The PS process uses a complex QMF (Quadrature Mirror Filter) in common with the SBR process to realize stereophony (see Non-Patent Document 2).

ＰＳは、ＡＡＣとＳＢＲとの組み合わせで使用されることが知られており、その構成はＨＥ−ＡＡＣｖ２プロファイルと呼ばれ、ＰＳ処理を行うには複素ＱＭＦを用いるＨＱ−ＳＢＲと組み合わせて使用することが必須となる（非特許文献２及び非特許文献３参照）。なお、ＰＳデータがない場合は、ＨＱ−ＳＢＲ又はＬＰ−ＳＢＲのどちらと組み合わせて処理してもよい。   PS is known to be used in combination with AAC and SBR, and its configuration is called HE-AACv2 profile, and it is used in combination with HQ-SBR using complex QMF to perform PS processing. Is essential (see Non-Patent Document 2 and Non-Patent Document 3). If there is no PS data, it may be processed in combination with either HQ-SBR or LP-SBR.

なお、ＨＥ−ＡＡＣプロファイル及びＨＥ−ＡＡＣｖ２プロファイルにはレベルという概念が存在しており、レベルが高くなるほど、復号可能な信号の種類が多くなっていく特徴がある。種類とは、入力符号化オーディオ信号の最大サンプリング周波数、若しくは、最大チャンネル数、又は、出力復号オーディオ信号の最大サンプリング周波数などである（非特許文献３参照）。   The HE-AAC profile and the HE-AACv2 profile have a concept of level, and there is a feature that the higher the level, the more kinds of signals that can be decoded. The type is the maximum sampling frequency of the input encoded audio signal, the maximum number of channels, or the maximum sampling frequency of the output decoded audio signal (see Non-Patent Document 3).

羽鳥光俊、「１セグ放送教科書」、インプレス、２００５年６月１５日Mitsutoshi Hatori, “1Seg Broadcast Textbook”, Impress, June 15, 2005 野村俊之、「ＭＰＥＧオーディオの最新動向と応用」、［ｏｎｌｉｎｅ］、琉球大学総合情報処理センター広報 第５号、２００８年４月、［平成２０年９月１７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｃ．ｕ−ｒｙｕｋｙｕ．ａｃ．ｊｐ／ｎｅｗｓ／ｋｏｕｈｏｕ／Ｎｏ５／２−５．ｐｄｆ＞Toshiyuki Nomura, “Latest Trends and Applications of MPEG Audio”, [online], Public Information Center No. 5 of the University of the Ryukyus, April 2008, [Searched on September 17, 2008], Internet <URL: http: // www. cc. u-ryukyu. ac. jp / news / kouhou / No5 / 2-5. pdf> ＩＳＯ／ＩＥＣ １４４９６−３：２００５／ＦＤＡＭ２、「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ ３：Ａｕｄｉｏ、ＡＭＥＮＤＭＥＮＴ ２：Ａｕｄｉｏ Ｌｏｓｓｌｅｓｓ Ｃｏｄｉｎｇ （ＡＬＳ）、ｎｅｗ ａｕｄｉｏ ｐｒｏｆｉｌｅｓ ａｎｄ ＢＳＡＣ ｅｘｔｅｎｓｉｏｎｓ」、２００５年８月ISO / IEC 14496-3: 2005 / FDAM2, "Information technology-Coding of audio-visual objects-Part 3: Audio, AMENDENT 2: Audio Loss Coding (ALS), new 200

しかしながら、上記従来の符号化オーディオ信号復号手段において、ＨＥ−ＡＡＣｖ２プロファイルに対応し、かつ、高レベルに対応するには演算量の多いＨＱ−ＳＢＲを用いることになり、例えば、入力符号化オーディオ信号がマルチチャンネルの場合、著しく演算量（処理量）が増加してしまうという課題を有している。さらに、この課題を、上記従来技術を用いて解決しようとすると、復号により得られたオーディオ信号に異音が発生するという課題を有している。具体的には、以下の通りである。   However, in the above-described conventional encoded audio signal decoding means, HQ-SBR having a large amount of calculation is used to support the HE-AACv2 profile and to correspond to a high level. For example, the input encoded audio signal However, in the case of multi-channel, there is a problem that the calculation amount (processing amount) increases remarkably. Furthermore, if this problem is solved by using the above-described conventional technique, there is a problem that abnormal sound is generated in the audio signal obtained by decoding. Specifically, it is as follows.

非特許文献３によれば、上述したように、ＨＥ−ＡＡＣｖ２プロファイルに対応する場合で、ＰＳデータがある場合は、ＨＱ−ＳＢＲと組み合わせて処理することが必須とされているが、ＰＳデータがない場合は、ＨＱ−ＳＢＲ又はＬＰ−ＳＢＲのどちらと組み合わせて処理してもよいことになっている。   According to Non-Patent Document 3, as described above, when there is PS data in a case corresponding to the HE-AACv2 profile, it is essential to process in combination with HQ-SBR. If not, processing may be performed in combination with either HQ-SBR or LP-SBR.

例えば、上記のような演算量の増加の課題を回避する方法として、非特許文献３の記載内容を考慮し、復号ストリームの状態によってＳＢＲ処理を切り替える方法が考えられる。具体的には、ＨＱ−ＳＢＲを用いることが必須となる場合、すなわち、ＰＳデータがある場合は、ＨＱ−ＳＢＲを用いる。そして、それ以外の場合、すなわち、ＰＳデータがない場合は、演算量の増加を抑えるためにＬＰ−ＳＢＲを用いる。   For example, as a method for avoiding the problem of increase in the amount of computation as described above, a method of switching the SBR processing depending on the state of the decoded stream in consideration of the contents described in Non-Patent Document 3 can be considered. Specifically, when it is essential to use HQ-SBR, that is, when there is PS data, HQ-SBR is used. In other cases, that is, when there is no PS data, LP-SBR is used to suppress an increase in the amount of calculation.

この場合、正常なＰＳデータが付加されているストリームの途中でＰＳデータが欠損していた場合、ＨＱ−ＳＢＲからＬＰ−ＳＢＲへの処理の切替が生じる。あるいは、ＰＳデータは付加されているが、ＳＢＲヘッダが未取得のためＳＢＲ処理とステレオ化処理とが実行できない状態からＳＢＲヘッダが取得された場合、ＬＰ−ＳＢＲからＨＱ−ＳＢＲへの処理の切替が生じる。   In this case, when the PS data is missing in the middle of the stream to which normal PS data is added, the process is switched from HQ-SBR to LP-SBR. Alternatively, when PS data is added, but SBR header is acquired from a state where SBR processing and stereo processing cannot be performed because SBR header is not acquired, switching of processing from LP-SBR to HQ-SBR Occurs.

前述の通り、ＨＱ−ＳＢＲでのＱＭＦフィルタ処理は複素数演算を行い、ＬＰ−ＳＢＲでのＱＭＦフィルタ処理は実数演算を行っている。このため、両者の遅延情報の形式は異なるので、両者のＱＭＦフィルタ遅延情報を共用することは困難である。これにより、ＳＢＲの切替が生じた時点でＱＭＦフィルタ遅延情報の不連続を引き起こし、異音が発生する。   As described above, the QMF filter process in the HQ-SBR performs a complex number operation, and the QMF filter process in the LP-SBR performs a real number operation. For this reason, since the format of the delay information of both is different, it is difficult to share both of the QMF filter delay information. Thereby, discontinuity of the QMF filter delay information is caused at the time when the SBR is switched, and abnormal noise is generated.

図７（ａ）は、時刻ｔ０、ｔ２でＳＢＲ処理が切り替わった場合の１チャンネル分の出力オーディオ信号を表している。ｔ０からｔ１、ｔ２からｔ３はＳＢＲ処理の切り替わりによって遅延情報が使用できなくなるため異音が発生することを表している（なお、正常なオーディオ信号は図７（ｂ）に示す）。このように、ＳＢＲの切替を行うことで演算量の増加を防ごうとすると、ＳＢＲの切替時に異音が発生する。   FIG. 7A shows an output audio signal for one channel when the SBR processing is switched at times t0 and t2. t0 to t1 and t2 to t3 indicate that abnormal sound is generated because the delay information cannot be used due to the switching of the SBR process (a normal audio signal is shown in FIG. 7B). In this way, if an attempt is made to prevent an increase in the amount of calculation by switching the SBR, an abnormal noise is generated when the SBR is switched.

そこで、本発明は、上記課題を解決するものであり、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量を増加させること無く、かつ、異音の発生を回避することができるオーディオ再生装置及びオーディオ再生方法を提供することを目的とする。   Therefore, the present invention solves the above-mentioned problem, and even when the input encoded audio signal is multi-channel, the audio reproduction that can avoid the occurrence of abnormal noise without significantly increasing the amount of calculation. An object is to provide an apparatus and an audio reproduction method.

上記課題を解決するために、本発明のオーディオ再生装置は、符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生装置であって、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離部と、前記ストリーム分離部によって分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析部と、前記基本コーデック情報解析部によって生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する処理を、前記解析情報に基づいて、実数演算のＱＭＦ処理及び複素数演算のＱＭＦ処理のいずれか一方を用いて実行する帯域拡張処理部とを備える。   In order to solve the above-described problem, an audio playback device of the present invention is an audio playback device that plays back a stream including a basic codec that is an encoded audio signal, and the stream is divided into frames in units of frames. Analyzing the basic codec by analyzing the basic codec separated by the stream separation unit and the stream separation unit separated into the band extension information used for extending the band of the basic codec. A basic codec information analysis unit to generate, a basic codec decoding unit that generates a basic codec decoding signal by decoding the basic codec according to the analysis information generated by the basic codec information analysis unit, and the basic codec decoding unit Of the generated basic codec decoded signal A band extension processing unit that executes a process of extending a wave number band using the band extension information using one of a QMF process of a real number operation and a QMF process of a complex number operation based on the analysis information. .

また、本発明のオーディオ再生装置は、符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生装置であって、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離部と、前記ストリーム分離部によって分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析部と、前記基本コーデック情報解析部によって生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する第１処理を実行する第１帯域拡張処理部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて前記第１処理より高い精度で拡張する第２処理を実行する第２帯域拡張処理部と、前記解析情報に基づいて、前記第１帯域拡張処理部と前記第２帯域拡張処理部とを切り替える切替部とを備え、前記第１処理は、実数演算のＱＭＦ処理を用いる処理であり、前記第２処理は、複素数演算のＱＭＦを用いる処理であってもよい。   The audio playback device of the present invention is an audio playback device that plays back a stream including a basic codec that is an encoded audio signal, the stream being divided into frames, the basic codec, and a band of the basic codec. Basic codec information analysis that generates analysis information indicating the characteristics of a basic codec by analyzing a stream separation unit that separates into band extension information used to extend the bandwidth, and a basic codec separated by the stream separation unit A basic codec decoding unit that generates a basic codec decoding signal by decoding the basic codec according to the analysis information generated by the basic codec information analysis unit, and the basic codec decoding generated by the basic codec decoding unit The frequency band of the signal is A first band extension processing unit that executes a first process that extends using extension information, and a frequency band of a basic codec decoded signal that is generated by the basic codec decoding unit, the first process using the band extension information A second band extension processing unit that executes a second process that extends with higher accuracy; and a switching unit that switches between the first band extension processing unit and the second band extension processing unit based on the analysis information. The first process may be a process using a real number arithmetic QMF process, and the second process may be a process using a complex number arithmetic QMF.

これにより、処理量の異なる２つの処理の切り替えを、基本コーデックの性質を示す解析情報に基づいて実行することで、より適した処理を選択することができる。よって、例えば、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量（処理量）を増加させることがない。また、解析情報に基づいて処理を切り替えるので、基本コーデックの性質が一定である間は、処理が切り替わることはないので、処理の切り替わり時に生じる恐れのある異音の発生を防ぐことができる。   Thus, a more suitable process can be selected by switching between two processes having different processing amounts based on the analysis information indicating the nature of the basic codec. Therefore, for example, even when the input encoded audio signal is multi-channel, the calculation amount (processing amount) is not significantly increased. In addition, since the process is switched based on the analysis information, the process is not switched while the properties of the basic codec are constant, so that it is possible to prevent the generation of abnormal noise that may occur at the time of the process switch.

また、前記ストリーム分離部は、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報と、当該基本コーデックをステレオ化するために用いられるステレオ拡張情報とに分離し、前記オーディオ再生装置は、さらに、前記第２帯域拡張処理部によって周波数帯域が拡張された基本コーデック復号信号を、前記ステレオ拡張情報を用いてステレオ化するステレオ拡張処理部を備えてもよい。   The stream separation unit includes the basic codec, band extension information used to extend a band of the basic codec, and a stereo extension used to make the basic codec stereo. The audio reproduction apparatus further includes a stereo extension processing unit that converts the basic codec decoded signal whose frequency band is extended by the second band extension processing unit to stereo using the stereo extension information. May be.

これにより、基本コーデックがモノラルオーディオ信号である場合に、正しくステレオ化することができる。   As a result, when the basic codec is a monaural audio signal, it can be correctly converted to stereo.

また、前記基本コーデック情報解析部は、前記ストリーム分離部によって分離された基本コーデックを解析することで、当該基本コーデックのチャンネル数を示すチャンネル情報と、当該基本コーデックのサンプリング周波数を示すサンプリング周波数情報との少なくとも１つを含む解析情報を生成し、前記切替部は、前記チャンネル情報が示すチャンネル数が予め定められた第１閾値より大きいか否かと、前記サンプリング周波数情報が示すサンプリング周波数が予め定められた第２閾値より大きいか否かとの少なくとも一方を判定し、少なくとも一方が大きいと判定した場合、第１帯域拡張処理部を選択してもよい。   Further, the basic codec information analysis unit analyzes the basic codec separated by the stream separation unit, so that channel information indicating the number of channels of the basic codec, sampling frequency information indicating the sampling frequency of the basic codec, Analysis information including at least one of the channel information, and the switching unit determines whether the number of channels indicated by the channel information is greater than a predetermined first threshold and a sampling frequency indicated by the sampling frequency information. If at least one of whether or not it is larger than the second threshold is determined and it is determined that at least one is larger, the first band extension processing unit may be selected.

これにより、基本コーデックのチャンネル数が多い場合、すなわち、基本コーデックがマルチチャンネルである場合は、精度が低い代わりに処理量の少ない第１処理を選択するので、１チャンネルの信号と比較して、処理量を著しく増加してしまうことを防ぐことができる。あるいは、基本コーデックのサンプリング周波数が大きい場合も、精度が低い代わりに処理量の少ない第１処理を選択するので、同様に、サンプリング周波数が小さい基本コーデックを処理する場合と比較して、処理量を著しく増加してしまうことを防ぐことができる。   Thereby, when the number of channels of the basic codec is large, that is, when the basic codec is multi-channel, the first processing with a small amount of processing is selected instead of low accuracy, so compared with the signal of one channel, It is possible to prevent the amount of processing from significantly increasing. Alternatively, even when the sampling frequency of the basic codec is large, the first processing with a small processing amount is selected instead of the low accuracy, and similarly, the processing amount is reduced as compared with the case of processing the basic codec with a small sampling frequency. A significant increase can be prevented.

また、前記オーディオ再生装置は、さらに、第１フレームのステレオ拡張情報を保持するバッファを備え、前記ステレオ拡張処理部は、前記第１フレームより後のフレームであり、かつ、前記ステレオ拡張情報が欠損している第２フレームの基本コーデック復号信号を、前記バッファに保持されたステレオ拡張情報を用いてステレオ化してもよい。   The audio playback device further includes a buffer that holds stereo extension information of the first frame, and the stereo extension processing unit is a frame after the first frame, and the stereo extension information is missing. The basic codec decoded signal of the second frame may be made stereo using the stereo extension information held in the buffer.

これにより、ステレオ化に用いたステレオ拡張情報をバッファに保持し、ステレオ拡張情報が得られない場合に、バッファに保持されたステレオ拡張情報を利用するので、ストリーム中にステレオ拡張データが欠損したフレームを含む場合であっても、当該フレームを正しくステレオ化することができる。   As a result, the stereo extension information used for stereoization is held in the buffer, and when the stereo extension information cannot be obtained, the stereo extension information held in the buffer is used. Even if it contains, the said frame can be stereoified correctly.

また、前記第２帯域拡張処理部は、前記基本コーデック復号信号から前記帯域拡張情報を用いて高周波成分信号を生成し、前記ステレオ拡張処理部は、前記ステレオ拡張情報を用いて、前記基本コーデック復号信号と、前記第２帯域拡張処理部によって生成された高周波成分信号とをそれぞれステレオ化することで、第１チャンネルの基本コーデック復号信号と高周波成分信号と、第２チャンネルの基本コーデック復号信号と高周波成分信号とを生成し、前記第２帯域拡張処理部は、さらに、生成した高周波成分信号と前記基本コーデック復号信号とを合成する帯域合成フィルタを備え、前記ステレオ拡張情報が欠損している場合、前記第１チャンネルの帯域合成フィルタに保持される遅延情報を、前記第２チャンネルの帯域合成フィルタに保持される遅延情報として用いて第２チャンネルの帯域合成を行ってもよい。   The second band extension processing unit generates a high frequency component signal from the basic codec decoded signal using the band extension information, and the stereo extension processing unit uses the stereo extension information to generate the basic codec decoding. The signal and the high-frequency component signal generated by the second band extension processing unit are respectively made stereo, so that the basic codec decoded signal and the high-frequency component signal of the first channel, the basic codec decoded signal of the second channel and the high-frequency signal The second band extension processing unit further includes a band synthesis filter for synthesizing the generated high frequency component signal and the basic codec decoded signal, and the stereo extension information is missing, The delay information held in the band synthesis filter of the first channel is transferred to the band synthesis filter of the second channel. May be carried out band synthesis of the second channel is used as a delay information to be lifting.

これにより、１チャンネル分の遅延情報しか得られていない場合でも、得られている遅延情報を他のチャンネルの遅延情報として利用するので、２つのチャンネルの信号を正しく帯域合成することができる。   As a result, even when only delay information for one channel is obtained, the obtained delay information is used as delay information for other channels, so that the signals of the two channels can be correctly combined.

また、前記基本コーデックは、ＡＡＣ方式に基づいて符号化されたオーディオ信号であり、前記帯域拡張情報は、ＳＢＲ方式に基づいて生成されたＳＢＲ情報であり、前記ステレオ拡張情報は、ＰＳ方式に基づいて生成されたＰＳ情報であり、前記第１帯域拡張処理部は、ＬＰ−ＳＢＲ方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張し、前記第２帯域拡張処理部は、ＨＱ−ＳＢＲ方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張してもよい。   The basic codec is an audio signal encoded based on the AAC system, the band extension information is SBR information generated based on the SBR system, and the stereo extension information is based on the PS system. The first band extension processing unit extends the frequency band of the basic codec decoded signal based on the LP-SBR method, and the second band extension processing unit uses the HQ-SBR. The frequency band of the basic codec decoded signal may be extended based on a scheme.

なお、本発明は、オーディオ再生装置として実現できるだけではなく、当該オーディオ再生装置を構成する処理部をステップとするオーディオ再生方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。   Note that the present invention can be implemented not only as an audio playback device, but also as an audio playback method using a processing unit constituting the audio playback device as a step. Moreover, you may implement | achieve as a program which makes a computer perform these steps. Furthermore, it may be realized as a recording medium such as a computer-readable CD-ROM (Compact Disc-Read Only Memory) in which the program is recorded, and information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.

また、上記の各オーディオ再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。なお、システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。   In addition, some or all of the constituent elements included in each of the audio playback apparatuses may be configured by a single system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, a ROM, a RAM (Random Access Memory), and the like. A computer system configured.

本発明によれば、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量を増加させること無く、かつ、異音の発生を回避することができる。   According to the present invention, even when the input encoded audio signal is multi-channel, it is possible to avoid the occurrence of abnormal noise without significantly increasing the amount of calculation.

実施の形態１のオーディオ再生装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an audio reproduction device according to Embodiment 1. FIG. 実施の形態１のオーディオ再生装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the audio reproduction device according to the first embodiment. 実施の形態１の切替部の動作の具体例を示すフローチャートである。3 is a flowchart illustrating a specific example of the operation of the switching unit according to the first embodiment. ステレオ拡張データが付加された入力ストリームの一例を示す図である。It is a figure which shows an example of the input stream to which stereo expansion data was added. ステレオ拡張データが付加されていない入力ストリームの一例を示す図である。It is a figure which shows an example of the input stream to which stereo expansion data is not added. ステレオ拡張データが欠損しているフレームを含む入力ストリームの一例を示す図である。It is a figure which shows an example of the input stream containing the flame | frame from which stereo expansion data is missing. 出力オーディオ信号の波形の一例を示す図である。It is a figure which shows an example of the waveform of an output audio signal. 実施の形態２のオーディオ再生装置の構成を示すブロック図である。6 is a block diagram illustrating a configuration of an audio reproduction device according to Embodiment 2. FIG. 実施の形態２のステレオ拡張処理部の動作を示すフローチャートである。10 is a flowchart illustrating an operation of a stereo expansion processing unit according to the second embodiment. ステレオ化された出力オーディオ信号の波形の一例を示す図である。It is a figure which shows an example of the waveform of the stereo output audio signal. 本発明のオーディオ再生装置を搭載するオーディオ再生機器の一例を示す外観図である。It is an external view which shows an example of the audio reproduction apparatus carrying the audio reproduction apparatus of this invention.

以下、本発明のオーディオ再生装置などの実施の形態について図面を参照して説明する。   Embodiments of an audio playback device and the like of the present invention will be described below with reference to the drawings.

（実施の形態１）
本実施の形態のオーディオ再生装置は、モノラルオーディオ信号をステレオ化するためのステレオ拡張情報の有効・無効に関わらず、基本コーデックの解析結果に基づいて互いに異なる特徴を有する２つの帯域拡張処理を切り替える。２つの帯域拡張処理は、処理量が多いが精度が高い処理、すなわち、音質が優れた出力オーディオ信号を出力する処理と、処理量は少ないが精度が低い処理とである。 (Embodiment 1)
The audio playback apparatus according to the present embodiment switches between two band extension processes having different characteristics based on the analysis result of the basic codec, regardless of the validity / invalidity of the stereo extension information for converting the monaural audio signal to stereo. . The two band expansion processes are a process with a large amount of processing but a high precision, that is, a process for outputting an output audio signal with excellent sound quality, and a process with a small amount of processing but a low precision.

図１は、本実施の形態のオーディオ再生装置１００の構成を示すブロック図である。同図のオーディオ再生装置１００は、ストリーム分離部１０１と、基本コーデック解析部１０２と、基本コーデック復号部１０３と、帯域拡張データ解析部１０４と、ステレオ拡張データ解析部１０５と、第１帯域拡張処理部１０６と、第２帯域拡張処理部１０７と、ステレオ拡張処理部１０８と、切替部１０９とを備える。   FIG. 1 is a block diagram showing a configuration of an audio playback device 100 according to the present embodiment. The audio reproduction device 100 in FIG. 1 includes a stream separation unit 101, a basic codec analysis unit 102, a basic codec decoding unit 103, a band extension data analysis unit 104, a stereo extension data analysis unit 105, and a first band extension process. Unit 106, second band extension processing unit 107, stereo extension processing unit 108, and switching unit 109.

ストリーム分離部１０１は、入力されたストリームを、基本コーデックと帯域拡張データとステレオ拡張データとに分離する。なお、ストリームにステレオ拡張データが含まれない場合は、ストリーム分離部１０１は、入力されたストリームを基本コーデックと帯域拡張データとに分離する。そして、ストリーム分離部１０１は、分離した基本コーデックを基本コーデック解析部１０２に伝送し、帯域拡張データを帯域拡張データ解析部１０４に伝送し、ステレオ拡張データをステレオ拡張データ解析部１０５に伝送する。   The stream separation unit 101 separates the input stream into a basic codec, band extension data, and stereo extension data. If the stereo extension data is not included in the stream, the stream separation unit 101 separates the input stream into the basic codec and the band extension data. Then, the stream separation unit 101 transmits the separated basic codec to the basic codec analysis unit 102, transmits the band extension data to the band extension data analysis unit 104, and transmits the stereo extension data to the stereo extension data analysis unit 105.

ここで、オーディオ再生装置１００に入力されるストリームは、例えば、ＨＥ−ＡＡＣｖ２プロファイルの構成を有するストリームである。また、基本コーデックは、符号化されたオーディオ信号であり、例えば、ＡＡＣ方式に基づいて符号化されたオーディオ信号である。帯域拡張データは、基本コーデックの帯域を拡張するために用いられるデータであり、例えば、ＳＢＲデータである。ステレオ拡張データは、モノラルオーディオ信号をステレオ化するために用いられるデータであり、例えば、ＰＳデータである。   Here, the stream input to the audio playback device 100 is, for example, a stream having a HE-AACv2 profile configuration. The basic codec is an encoded audio signal, for example, an audio signal encoded based on the AAC system. The band extension data is data used to extend the band of the basic codec, for example, SBR data. The stereo extension data is data used to make a monaural audio signal stereo, and is PS data, for example.

基本コーデック解析部１０２は、ストリーム分離部１０１から伝送された基本コーデックを解析することで基本コーデック解析情報を生成する。なお、基本コーデック解析情報は、基本コーデックのチャンネル数（ＣＨ）を示すチャンネル情報と、基本コーデックのサンプリング周波数（ＦＳ）を示すサンプリング周波数情報となどを含む。基本コーデック解析部１０２は、生成した基本コーデック解析情報を基本コーデック復号部１０３に伝送する。また、基本コーデック解析情報のうち、チャンネル情報とサンプリング周波数情報とを切替部１０９にも伝送する。   The basic codec analysis unit 102 generates basic codec analysis information by analyzing the basic codec transmitted from the stream separation unit 101. Note that the basic codec analysis information includes channel information indicating the number of channels (CH) of the basic codec, sampling frequency information indicating the sampling frequency (FS) of the basic codec, and the like. The basic codec analysis unit 102 transmits the generated basic codec analysis information to the basic codec decoding unit 103. Also, channel information and sampling frequency information in the basic codec analysis information are transmitted to the switching unit 109.

基本コーデック復号部１０３は、基本コーデック解析部１０２から伝送された基本コーデック解析情報を使用して基本コーデックを復号し、基本コーデック復号信号を生成する。そして、基本コーデック復号部１０３は、生成した基本コーデック復号信号を切替部１０９に伝送する。   The basic codec decoding unit 103 decodes the basic codec using the basic codec analysis information transmitted from the basic codec analysis unit 102, and generates a basic codec decoded signal. Then, basic codec decoding section 103 transmits the generated basic codec decoded signal to switching section 109.

帯域拡張データ解析部１０４は、ストリーム分離部１０１から伝送された帯域拡張データを解析することで帯域拡張情報を生成し、生成した帯域拡張情報を切替部１０９に伝送する。帯域拡張情報は、例えば、ＳＢＲ技術を用いて基本コーデック復号信号の高域を再構成するための予測に用いられるサイド情報などを含む。   The band extension data analysis unit 104 generates band extension information by analyzing the band extension data transmitted from the stream separation unit 101, and transmits the generated band extension information to the switching unit 109. The band extension information includes, for example, side information used for prediction for reconstructing the high band of the basic codec decoded signal using the SBR technique.

ステレオ拡張データ解析部１０５は、ストリーム分離部１０１から伝送されたステレオ拡張データを解析することでステレオ拡張情報を生成し、生成したステレオ拡張情報をステレオ拡張処理部１０８に伝送する。ステレオ拡張情報は、例えば、ＰＳ技術を用いて、モノラルオーディオ信号をステレオ化するためのステレオ拡張処理（ステレオ化処理とも記載）に用いられる情報である。   The stereo extension data analysis unit 105 generates stereo extension information by analyzing the stereo extension data transmitted from the stream separation unit 101, and transmits the generated stereo extension information to the stereo extension processing unit 108. The stereo extension information is information used for stereo extension processing (also referred to as stereo processing) for stereo-izing a monaural audio signal using PS technology, for example.

第１帯域拡張処理部１０６は、切替部１０９から伝送された帯域拡張情報を使用し、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を出力する。具体的には、帯域拡張情報を用いて高周波成分を予測して生成し、生成した高周波成分信号と基本コーデック復号信号とを帯域合成することで、出力オーディオ信号を出力する。   The first band extension processing unit 106 uses the band extension information transmitted from the switching unit 109 and extends the frequency band of the basic codec decoded signal to output an output audio signal. Specifically, a high frequency component is predicted and generated using band extension information, and an output audio signal is output by performing band synthesis on the generated high frequency component signal and the basic codec decoded signal.

このとき、第１帯域拡張処理部１０６は、第２帯域拡張処理部１０７よりも処理量が少ないという利点がある。しかしながら、第１帯域拡張処理部１０６が出力する出力オーディオ信号の音質は、第２帯域拡張処理部１０７が出力する出力オーディオ信号の音質よりも劣っている。第１帯域拡張処理部１０６は、例えば、ＬＰ−ＳＢＲ方式に基づいて帯域拡張処理を行う。   At this time, the first band extension processing unit 106 has an advantage that the processing amount is smaller than that of the second band extension processing unit 107. However, the sound quality of the output audio signal output from the first band extension processing unit 106 is inferior to the sound quality of the output audio signal output from the second band extension processing unit 107. The first bandwidth extension processing unit 106 performs bandwidth extension processing based on, for example, the LP-SBR method.

第２帯域拡張処理部１０７は、切替部１０９から伝送された帯域拡張情報を使用し、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を出力する。具体的には、帯域拡張情報を用いて高周波成分を予測して生成し、生成した高周波成分信号と基本コーデック復号信号とを帯域合成することで、出力オーディオ信号を出力する。   The second band extension processing unit 107 outputs the output audio signal by using the band extension information transmitted from the switching unit 109 and extending the frequency band of the basic codec decoded signal. Specifically, a high frequency component is predicted and generated using band extension information, and an output audio signal is output by performing band synthesis on the generated high frequency component signal and the basic codec decoded signal.

このとき、第２帯域拡張処理部１０７が出力する出力オーディオ信号の音質は、第１帯域拡張処理部１０６が出力する出力オーディオ信号の音質よりも優れているという利点がある。しかしながら、第２帯域拡張処理部１０７は、第１帯域拡張処理部１０６よりも処理量が多くなる。第２帯域拡張処理部１０７は、例えば、ＨＱ−ＳＢＲ方式に基づいて帯域拡張処理を行う。   At this time, there is an advantage that the sound quality of the output audio signal output from the second band extension processing unit 107 is superior to the sound quality of the output audio signal output from the first band extension processing unit 106. However, the second band extension processing unit 107 has a larger processing amount than the first band extension processing unit 106. The second band extension processing unit 107 performs band extension processing based on, for example, the HQ-SBR method.

なお、通常、オーディオ信号を符号化する（すなわち、基本コーデックを生成する）際に、符号量を削減するために高周波成分が除去される。このため、基本コーデック復号信号は、主に低周波成分を含むオーディオ信号である。第１帯域拡張処理部１０６及び第２帯域拡張処理部１０７が行う帯域拡張処理は、帯域拡張情報を用いて除去された高周波成分を予測し生成する処理である。   Normally, when an audio signal is encoded (that is, a basic codec is generated), high-frequency components are removed in order to reduce the amount of codes. Therefore, the basic codec decoded signal is an audio signal mainly including a low frequency component. The band extension process performed by the first band extension processing unit 106 and the second band extension processing unit 107 is a process for predicting and generating a high frequency component removed using the band extension information.

具体的には、第１帯域拡張処理部１０６及び第２帯域拡張処理部１０７はそれぞれ、帯域合成フィルタを備え、基本コーデック復号部１０３によって生成された基本コーデック復号信号と、当該基本コーデック復号信号を元にして帯域拡張情報を用いて復元した高周波成分信号とを帯域合成することで、原音に近い出力オーディオ信号を復元する。   Specifically, each of the first band extension processing unit 106 and the second band extension processing unit 107 includes a band synthesis filter, and the basic codec decoded signal generated by the basic codec decoding unit 103 and the basic codec decoded signal are The output audio signal close to the original sound is restored by performing band synthesis with the high-frequency component signal originally restored using the band extension information.

ステレオ拡張処理部１０８は、ステレオ拡張データ解析部１０５から伝送されたステレオ拡張情報を使用して、第２帯域拡張処理部１０７によって周波数帯域が拡張されたモノラルオーディオ信号にステレオ化処理を行う。具体的には、ステレオ拡張情報を用いて、モノラルオーディオ信号である基本コーデック復号信号と、第２帯域拡張処理部１０７によって生成された高周波成分信号とをそれぞれステレオ化することで、Ｌｃｈの基本コーデック復号信号と高周波成分信号と、Ｒｃｈの基本コーデック復号信号と高周波成分信号とを生成する。ステレオ拡張処理部１０８は、例えば、ＰＳ方式に基づいてステレオ化処理を行う。このとき、ステレオ拡張処理部１０８は、必ず第２帯域拡張処理部１０７と組み合わされて使用されなければならない。すなわち、ステレオ拡張処理部１０８は、複素ＱＭＦを第２帯域拡張処理部１０７と共有する。   The stereo extension processing unit 108 uses the stereo extension information transmitted from the stereo extension data analysis unit 105 to perform stereo processing on the monaural audio signal whose frequency band is extended by the second band extension processing unit 107. Specifically, by using the stereo extension information, the basic codec decoded signal, which is a monaural audio signal, and the high-frequency component signal generated by the second band extension processing unit 107 are respectively converted into stereo, thereby the Lch basic codec. A decoded signal, a high frequency component signal, an Rch basic codec decoded signal, and a high frequency component signal are generated. For example, the stereo expansion processing unit 108 performs stereo processing based on the PS system. At this time, the stereo expansion processing unit 108 must be used in combination with the second band expansion processing unit 107. That is, the stereo extension processing unit 108 shares the complex QMF with the second band extension processing unit 107.

第２帯域拡張処理部１０７は、ステレオ拡張されたＬｃｈとＲｃｈとの信号をそれぞれ、帯域合成する。この第２帯域拡張処理部１０７の帯域合成処理における遅延情報は、入力されたストリームにステレオ拡張データが欠損している場合は、Ｌｃｈの遅延情報をＲｃｈの遅延情報にコピーする。そして、ステレオ拡張データが得られた際に、以前のフレームでコピーしたＬｃｈの遅延情報をＲｃｈの遅延情報として用いて、Ｒｃｈの帯域合成処理を行う。なお、Ｌｃｈの遅延情報は、帯域合成処理において帯域合成フィルタ内にフレームをまたいで保持される情報である。   Second band extension processing section 107 performs band synthesis on the stereo extended Lch and Rch signals. When the stereo extension data is missing in the input stream, the delay information in the band synthesizing process of the second band extension processing unit 107 copies the Lch delay information to the Rch delay information. Then, when the stereo extension data is obtained, the Rch band synthesis processing is performed using the Lch delay information copied in the previous frame as the Rch delay information. The Lch delay information is information that is held across the frames in the band synthesis filter in the band synthesis process.

切替部１０９は、基本コーデック解析部１０２から伝送されるチャンネル数ＣＨとサンプリング周波数ＦＳとによって、端子Ａ、又は、端子Ｂのどちらに接続するかを判定する。ここでの判定手順の具体例については、図３を用いて後述する。切替部１０９は、基本コーデック復号部１０３から伝送される基本コーデック復号信号と、帯域拡張データ解析部１０４から伝送される帯域拡張情報とを、判定結果に従って第１帯域拡張処理部１０６又は第２帯域拡張処理部１０７に伝送する。   The switching unit 109 determines whether to connect to the terminal A or the terminal B based on the number of channels CH and the sampling frequency FS transmitted from the basic codec analysis unit 102. A specific example of the determination procedure here will be described later with reference to FIG. The switching unit 109 converts the basic codec decoded signal transmitted from the basic codec decoding unit 103 and the band extension information transmitted from the band extension data analysis unit 104 into the first band extension processing unit 106 or the second band according to the determination result. The data is transmitted to the extension processing unit 107.

以上の構成に示すように、本実施の形態のオーディオ再生装置１００は、基本コーデックの解析結果に基づいて、互いに異なる特徴を有する２つの帯域拡張処理のいずれかを選択する切替部１０９を備える。２つの帯域拡張処理は、処理量は少ないが音質が劣っている第１処理と、処理量は多いが音質は優れている第２処理とである。   As shown in the above configuration, audio playback apparatus 100 according to the present embodiment includes switching section 109 that selects one of two band expansion processes having different characteristics based on the analysis result of the basic codec. The two band expansion processes are a first process with a small amount of processing but poor sound quality, and a second process with a large amount of processing but excellent sound quality.

続いて、本実施の形態のオーディオ再生装置１００の動作について説明する。   Next, the operation of the audio playback device 100 of this embodiment will be described.

図２は、本実施の形態のオーディオ再生装置１００の動作を示すフローチャートである。なお、以下の動作は、フレーム単位で行われるものとする。   FIG. 2 is a flowchart showing the operation of the audio playback device 100 of the present embodiment. The following operations are performed in units of frames.

まず、ストリーム分離部１０１が、入力されたストリームを、基本コーデックと帯域拡張データとステレオ拡張データとに分離する（Ｓ１０１）。基本コーデックは基本コーデック解析部１０２に、帯域拡張データは帯域拡張データ解析部１０４に、ステレオ拡張データはステレオ拡張データ解析部１０５にそれぞれ伝送される。   First, the stream separation unit 101 separates the input stream into a basic codec, band extension data, and stereo extension data (S101). The basic codec is transmitted to the basic codec analysis unit 102, the band extension data is transmitted to the band extension data analysis unit 104, and the stereo extension data is transmitted to the stereo extension data analysis unit 105.

次に、分離した各データを解析する（Ｓ１０２）。具体的には、基本コーデック解析部１０２は、基本コーデックを解析することで基本コーデック解析情報を生成する。帯域拡張データ解析部１０４は、帯域拡張データを解析することで帯域拡張情報を生成する。ステレオ拡張データ解析部１０５は、ステレオ拡張データを解析することでステレオ拡張情報を生成する。なお、ステレオ拡張データが欠損している場合などステレオ拡張情報を生成できない場合は、ステレオ拡張データ解析部１０５は、ステレオ拡張情報がないことを示す情報をステレオ拡張処理部１０８に伝送する。   Next, each separated data is analyzed (S102). Specifically, the basic codec analysis unit 102 generates basic codec analysis information by analyzing the basic codec. The bandwidth extension data analysis unit 104 generates bandwidth extension information by analyzing the bandwidth extension data. The stereo extension data analysis unit 105 generates stereo extension information by analyzing the stereo extension data. If stereo extension information cannot be generated, such as when stereo extension data is missing, the stereo extension data analysis unit 105 transmits information indicating that there is no stereo extension information to the stereo extension processing unit 108.

次に、基本コーデック復号部１０３は、基本コーデック解析情報に従って基本コーデックを復号する（Ｓ１０３）。復号により生成された基本コーデック復号信号は、切替部１０９に伝送される。   Next, the basic codec decoding unit 103 decodes the basic codec according to the basic codec analysis information (S103). The basic codec decoded signal generated by the decoding is transmitted to the switching unit 109.

切替部１０９は、基本コーデック解析情報に基づいて、基本コーデック復号信号の伝送経路の接続先を判定し、判定結果に基づいて端子Ａと端子Ｂとの切替を行う（Ｓ１０４）。例えば、基本コーデック解析情報に含まれるチャンネル情報を参照し、基本コーデックのチャンネル数ＣＨが所定の閾値より大きい場合、切替部１０９は、端子Ａを選択する。あるいは、基本コーデック解析情報に含まれるサンプリング周波数情報を参照し、基本コーデックのサンプリング周波数ＦＳが所定の閾値以上の場合、切替部１０９は、端子Ａを選択する。そして、これら以外の場合、切替部１０９は、端子Ｂを選択する。   The switching unit 109 determines the connection destination of the transmission path of the basic codec decoded signal based on the basic codec analysis information, and switches between the terminal A and the terminal B based on the determination result (S104). For example, referring to channel information included in the basic codec analysis information, the switching unit 109 selects the terminal A when the number of channels CH of the basic codec is larger than a predetermined threshold. Alternatively, with reference to the sampling frequency information included in the basic codec analysis information, when the sampling frequency FS of the basic codec is equal to or higher than a predetermined threshold, the switching unit 109 selects the terminal A. In other cases, the switching unit 109 selects the terminal B.

端子Ａが選択された場合（Ｓ１０５で“Ａ”）、基本コーデック復号信号と帯域拡張情報とは第１帯域拡張処理部１０６に伝送される。第１帯域拡張処理部１０６は、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を生成する（Ｓ１０６）。なお、第１帯域拡張処理部１０６による処理は、処理量が少ないが、生成されるオーディオ信号の音質は劣ることを特徴とするようなＬＰ−ＳＢＲ方式などに基づいて実行される。   When terminal A is selected (“A” in S105), the basic codec decoded signal and the band extension information are transmitted to first band extension processing section 106. The first band extension processing unit 106 generates an output audio signal by extending the frequency band of the basic codec decoded signal (S106). Note that the processing by the first band extension processing unit 106 is executed based on the LP-SBR method or the like, which is characterized in that the amount of processing is small but the sound quality of the generated audio signal is inferior.

端子Ｂが選択された場合（Ｓ１０５で“Ｂ”）、基本コーデック復号信号と帯域拡張情報とは第２帯域拡張処理部１０７に伝送される。第２帯域拡張処理部１０７は、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を生成する（Ｓ１０７）。なお、第２帯域拡張処理部１０７による処理は、処理量は多いが、生成されるオーディオ信号の音質が優れていることを特徴とするようなＨＱ−ＳＢＲ方式などに基づいて実行される。   When terminal B is selected (“B” in S105), the basic codec decoded signal and the band extension information are transmitted to second band extension processing section 107. The second band extension processing unit 107 generates an output audio signal by extending the frequency band of the basic codec decoded signal (S107). Note that the processing by the second band extension processing unit 107 is executed based on the HQ-SBR method or the like, which is characterized in that the sound quality of the generated audio signal is excellent although the processing amount is large.

このとき、ステレオ拡張情報がある場合、ステレオ拡張処理部１０８は、第２帯域拡張処理部１０７によって周波数帯域が拡張された基本コーデック復号信号（モノラルオーディオ信号）にステレオ化処理を行う。   At this time, when there is stereo extension information, the stereo extension processing unit 108 performs a stereo process on the basic codec decoded signal (monaural audio signal) whose frequency band is extended by the second band extension processing unit 107.

最後に、第１帯域拡張処理部１０６又は第２帯域拡張処理部１０７によって生成された出力オーディオ信号を出力する（Ｓ１０８）。   Finally, the output audio signal generated by the first band extension processing unit 106 or the second band extension processing unit 107 is output (S108).

以上のようにして、基本コーデック復号信号の高周波成分を予測して復元し、より原音に近い出力オーディオ信号を生成することができる。このとき、基本コーデックの性質を示す基本コーデック解析情報に基づいて処理を選択する。これにより、例えば、マルチチャンネル、又は、サンプリング周波数が大きい場合などの処理量が増大する場合に、処理量の少ない第１帯域拡張処理部１０６を選択することで、処理量の増大を防ぐことができる。   As described above, the high-frequency component of the basic codec decoded signal can be predicted and restored, and an output audio signal closer to the original sound can be generated. At this time, processing is selected based on basic codec analysis information indicating the nature of the basic codec. Thereby, for example, when the processing amount increases such as when the multichannel or the sampling frequency is large, the increase in the processing amount can be prevented by selecting the first band extension processing unit 106 with a small processing amount. it can.

続いて、接続先の判定処理（Ｓ１０４）の具体例について説明する。   Next, a specific example of the connection destination determination process (S104) will be described.

図３は、本実施の形態の切替部１０９の動作の具体例を示すフローチャートである。   FIG. 3 is a flowchart illustrating a specific example of the operation of the switching unit 109 according to the present embodiment.

まず、入力された基本コーデックのチャンネル数ＣＨとサンプリング周波数ＦＳとが、所定の条件を満たすか否かを判定する（Ｓ２０１）。ここでは、ＣＨが１であり、かつ、ＦＳが２４ｋＨｚ以下であるか否かを判定する。   First, it is determined whether or not the input channel number CH of the basic codec and the sampling frequency FS satisfy a predetermined condition (S201). Here, it is determined whether CH is 1 and FS is 24 kHz or less.

チャンネル数ＣＨが２以上であるか、又は、サンプリング周波数ＦＳが２４ｋＨｚより大きい場合（Ｓ２０１でＮｏ）、伝送経路を端子Ａに接続し、入力されている帯域拡張情報と基本コーデック復号信号とを第１帯域拡張処理部１０６へ伝送する（Ｓ２０２）。また、チャンネル数ＣＨが１であり、かつ、サンプリング周波数ＦＳが２４ｋＨｚ以下である場合（Ｓ２０１でＹｅｓ）、伝送経路を端子Ｂに接続し、入力されている帯域拡張情報と基本コーデック復号信号とを第２帯域拡張処理部１０７へ伝送する（Ｓ２０３）。   When the number of channels CH is 2 or more or the sampling frequency FS is greater than 24 kHz (No in S201), the transmission path is connected to the terminal A, and the input band extension information and the basic codec decoded signal are The data is transmitted to the one-band extension processing unit 106 (S202). Further, when the number of channels CH is 1 and the sampling frequency FS is 24 kHz or less (Yes in S201), the transmission path is connected to the terminal B, and the input band extension information and the basic codec decoded signal are The data is transmitted to the second band extension processing unit 107 (S203).

以下では、具体的なストリームの例を挙げながら、本実施の形態のオーディオ再生装置１００の動作について説明する。   Hereinafter, the operation of the audio playback device 100 according to the present embodiment will be described with reference to specific stream examples.

図４は、ステレオ拡張データが付加された入力ストリームの一例を示す図である。   FIG. 4 is a diagram illustrating an example of an input stream to which stereo extension data is added.

例えば、オーディオ再生装置１００に、図４に示すようなストリームが入力された場合、基本コーデック解析部１０２は、基本コーデックを解析し、チャンネル数ＣＨ（＝１）とサンプリング周波数情報ＦＳ（＝２４ｋＨｚ）とを切替部１０９へ伝送する。切替部１０９は、図３に示す条件を満たすので（Ｓ２０１でＹｅｓ）、伝送経路を端子Ｂへ接続し、基本コーデック復号信号と帯域拡張情報とを第２帯域拡張処理部１０７へ伝送する（Ｓ２０３）。第２帯域拡張処理部１０７は、切替部１０９から伝送された基本コーデック復号信号を、帯域拡張情報を使用して帯域拡張処理する。このとき、併せてステレオ拡張処理部１０８がステレオ拡張情報を使用してステレオ拡張処理を行い、ステレオ拡張されたオーディオ信号を出力する。   For example, when a stream as shown in FIG. 4 is input to the audio playback device 100, the basic codec analysis unit 102 analyzes the basic codec, and the number of channels CH (= 1) and sampling frequency information FS (= 24 kHz). Are transmitted to the switching unit 109. 3 satisfies the conditions shown in FIG. 3 (Yes in S201), connects the transmission path to terminal B, and transmits the basic codec decoded signal and the band extension information to the second band extension processing unit 107 (S203). ). Second band extension processing section 107 performs band extension processing on the basic codec decoded signal transmitted from switching section 109 using band extension information. At this time, the stereo extension processing unit 108 also performs stereo extension processing using the stereo extension information, and outputs a stereo extended audio signal.

なお、図４に示すように、ステレオ拡張データが付加されている場合は、チャンネル数ＣＨは１である。ステレオ拡張データは、モノラルオーディオ信号をステレオ化するための情報であり、ＣＨ＝１は、基本コーデック復号信号がモノラルオーディオ信号であることを示す。   As shown in FIG. 4, when stereo extension data is added, the number of channels CH is 1. The stereo extension data is information for converting a monaural audio signal into stereo, and CH = 1 indicates that the basic codec decoded signal is a monaural audio signal.

また、図５は、ステレオ拡張データが付加されていない入力ストリームの一例を示す図である。オーディオ再生装置１００に、図５に示すようなストリームが入力された場合、基本コーデック解析部１０２は、基本コーデックを解析し、チャンネル数ＣＨ（＝５．１）とサンプリング周波数情報ＦＳ（＝２４ｋＨｚ）とを切替部１０９へ伝送する。切替部１０９は、図３に示す条件を満たさないので（Ｓ２０１でＮｏ）、伝送経路を端子Ａへ接続し、基本コーデック復号信号と帯域拡張情報とを第１帯域拡張処理部１０６へ伝送する（Ｓ２０２）。第１帯域拡張処理部１０６は、切替部１０９から伝送された基本コーデック復号信号を、帯域拡張情報を使用して帯域拡張処理を行い、オーディオ信号を出力する。   FIG. 5 is a diagram illustrating an example of an input stream to which stereo extension data is not added. When a stream as shown in FIG. 5 is input to the audio playback device 100, the basic codec analysis unit 102 analyzes the basic codec, and the number of channels CH (= 5.1) and sampling frequency information FS (= 24 kHz). Are transmitted to the switching unit 109. 3 does not satisfy the condition shown in FIG. 3 (No in S201), connects the transmission path to terminal A, and transmits the basic codec decoded signal and the band extension information to first band extension processing unit 106 ( S202). The first band extension processing unit 106 performs band extension processing on the basic codec decoded signal transmitted from the switching unit 109 using band extension information, and outputs an audio signal.

次に、ステレオ拡張データが途中のフレームで欠損し、以降のフレームでまた現れるようなストリームをオーディオ再生装置１００に入力した場合について説明する。   Next, a case where a stream in which stereo extension data is lost in an intermediate frame and appears again in subsequent frames is input to the audio playback device 100 will be described.

図６は、ステレオ拡張データが欠損しているフレームを含む入力ストリームの一例を示す図である。同図に示すように、フレーム２０１と２０３とは、ステレオ拡張データが含まれているのに対して、フレーム２０２のステレオ拡張データは欠損している。これに対して、フレーム２０１、２０２、２０３に含まれる基本コーデックを解析することで生成される基本コーデック解析情報は変化しない。すなわち、全フレーム２０１、２０２、２０３の基本コーデックのチャンネル数ＣＨは１であり、サンプリング周波数は２４ｋＨｚである。   FIG. 6 is a diagram illustrating an example of an input stream including a frame in which stereo extension data is missing. As shown in the figure, the frames 201 and 203 contain the stereo extension data, whereas the stereo extension data of the frame 202 is missing. On the other hand, the basic codec analysis information generated by analyzing the basic codec included in the frames 201, 202, and 203 does not change. That is, the channel number CH of the basic codec of all the frames 201, 202, and 203 is 1, and the sampling frequency is 24 kHz.

このため、切替部１０９は、フレームごとに図３に示す条件を満たすと判定し（Ｓ２０１でＹｅｓ）、伝送経路を端子Ｂへ接続する（Ｓ２０３）。第２帯域拡張処理部１０７は、各フレームの帯域拡張処理を行う。   Therefore, the switching unit 109 determines that the condition shown in FIG. 3 is satisfied for each frame (Yes in S201), and connects the transmission path to the terminal B (S203). The second bandwidth extension processing unit 107 performs bandwidth extension processing for each frame.

ここで、図７は、出力オーディオ信号の波形の一例を示す図である。図７（ａ）には、フレーム２０２でＰＳデータが欠損したために、従来では、時刻ｔ０で、処理がＨＱ−ＳＢＲ方式からＬＰ−ＳＢＲ方式に切り替わり、時刻ｔ２で、処理がＬＰ−ＳＢＲ方式からＨＱ−ＳＢＲ方式に切り替わった場合の出力オーディオ信号の波形を示す。従来では、このように処理が切り替わるために、時刻ｔ０からｔ１の間と、時刻ｔ２からｔ３の間とで、遅延情報が利用できなくなるために、異音が発生している。   Here, FIG. 7 is a diagram illustrating an example of a waveform of the output audio signal. In FIG. 7A, since PS data is lost in the frame 202, conventionally, the processing is switched from the HQ-SBR method to the LP-SBR method at time t0, and the processing is started from the LP-SBR method at time t2. The waveform of the output audio signal at the time of switching to the HQ-SBR system is shown. Conventionally, since the process is switched in this way, the delay information cannot be used between the time t0 and t1 and between the time t2 and t3, and thus abnormal noise is generated.

これに対して、上述したように、本実施の形態のオーディオ再生装置１００では、ストリーム内のステレオ拡張データの有無とは無関係に、第１帯域拡張処理部１０６と第２帯域拡張処理部１０７のいずれの処理部で処理を行うかを決定する。つまり、各フレーム間で基本コーデックの解析情報が同じであれば、常に同じ処理部で各フレームの基本コーデック復号信号を帯域拡張する。したがって、遅延データの不連続は生じないため、図７（ｂ）で示すとおり、異音の発生を防ぐことができる。   On the other hand, as described above, in the audio reproduction device 100 according to the present embodiment, the first band extension processing unit 106 and the second band extension processing unit 107 are independent of the presence / absence of stereo extension data in the stream. It is determined which processing unit performs processing. That is, if basic codec analysis information is the same between frames, the basic codec decoded signal of each frame is always band-extended by the same processing unit. Accordingly, since discontinuity of the delay data does not occur, the generation of abnormal noise can be prevented as shown in FIG.

以上のように、本実施の形態のオーディオ再生装置１００では、ステレオ拡張データを含むストリーム（すなわち、ＣＨ＝１のストリーム）に対する帯域拡張処理を第２帯域拡張処理部１０７が行うため、問題なくステレオ拡張処理を行うことが可能である。また、ステレオ拡張データを含まないマルチチャンネルのストリームに対する帯域拡張処理を第１帯域拡張処理部１０６が行うことで、処理量（演算量）を削減することが可能となる。   As described above, in the audio reproduction device 100 according to the present embodiment, since the second band extension processing unit 107 performs the band extension process on the stream including the stereo extension data (that is, the stream with CH = 1), there is no problem. Expansion processing can be performed. In addition, since the first band extension processing unit 106 performs band extension processing on a multi-channel stream that does not include stereo extension data, it is possible to reduce the processing amount (calculation amount).

これにより、例えば、マルチチャンネルのオーディオ信号を再生する際の演算量の増加を抑えつつ、ＨＥ−ＡＡＣｖ２プロファイルの構成を持つストリームを適切に復号したオーディオ信号を再生することができる。このとき、ＰＳデータが入力されない場合から、ＰＳデータが入力された場合でも、異音発生の無いオーディオ信号を再生することができる。   Thereby, for example, it is possible to reproduce an audio signal obtained by appropriately decoding a stream having a HE-AACv2 profile configuration while suppressing an increase in the amount of computation when reproducing a multi-channel audio signal. At this time, since no PS data is input, even when PS data is input, it is possible to reproduce an audio signal with no abnormal noise.

（実施の形態２）
本実施の形態のオーディオ再生装置は、ステレオ拡張情報を保持するバッファを備え、例えば、放送受信などの影響でステレオ拡張データの欠損があった場合に、バッファに保持されたステレオ拡張情報を用いてステレオ化を実行する。 (Embodiment 2)
The audio playback device according to the present embodiment includes a buffer that holds stereo extension information. For example, when there is a loss of stereo extension data due to reception of a broadcast or the like, the stereo extension information held in the buffer is used. Perform stereo.

図８は、本実施の形態のオーディオ再生装置３００の構成を示すブロック図である。同図のオーディオ再生装置３００は、図１のオーディオ再生装置１００と比べて、ステレオ拡張処理部１０８の代わりにステレオ拡張処理部３０８を備え、さらに、新たにバッファ３１０を備える点が異なる。以下では、異なる点を中心に説明し、同じ点は説明を省略する。   FIG. 8 is a block diagram showing the configuration of the audio playback device 300 of the present embodiment. The audio reproduction device 300 in FIG. 6 is different from the audio reproduction device 100 in FIG. 1 in that a stereo expansion processing unit 308 is provided instead of the stereo expansion processing unit 108 and a buffer 310 is newly provided. Below, it demonstrates centering on a different point and abbreviate | omits description about the same point.

ステレオ拡張処理部３０８は、ステレオ拡張処理部１０８の処理に加え、さらに、ステレオ化処理に用いたステレオ拡張情報をバッファ３１０に格納する。具体的には、ステレオ拡張処理部３０８は、第２帯域拡張処理部１０７によって周波数帯域が拡張された基本コーデック復号信号を、ステレオ拡張データ解析部１０５から伝送されるステレオ拡張情報を用いてステレオ化する。このとき用いたステレオ拡張情報をバッファ３１０に格納する。例えば、新たなステレオ拡張情報が得られるごとに、ステレオ拡張処理部３０８は、バッファ３１０に格納したステレオ拡張情報を最新のものに更新する。   In addition to the processing of the stereo expansion processing unit 108, the stereo expansion processing unit 308 further stores the stereo expansion information used for the stereo processing in the buffer 310. Specifically, the stereo extension processing unit 308 converts the basic codec decoded signal whose frequency band has been extended by the second band extension processing unit 107 to stereo using the stereo extension information transmitted from the stereo extension data analysis unit 105. To do. The stereo extension information used at this time is stored in the buffer 310. For example, every time new stereo extension information is obtained, the stereo extension processing unit 308 updates the stereo extension information stored in the buffer 310 to the latest one.

さらに、ステレオ拡張処理部３０８は、フレームのステレオ拡張情報が欠損している場合のようにステレオ拡張情報がない場合は、バッファ３１０からステレオ拡張情報を読み出し、読み出したステレオ拡張情報を用いて当該フレームの基本コーデック復号信号（モノラルオーディオ信号）をステレオ化する。   Further, when there is no stereo extension information as in the case where the stereo extension information of the frame is missing, the stereo extension processing unit 308 reads the stereo extension information from the buffer 310 and uses the read stereo extension information to The basic codec decoded signal (monaural audio signal) is converted into stereo.

バッファ３１０は、ステレオ拡張データ解析部１０５から伝送されたステレオ拡張情報を格納する。バッファ３１０は、最新のステレオ拡張情報を保持するだけでなく、複数のステレオ拡張情報を保持していてもよい。複数のステレオ拡張情報が保持されている場合は、ステレオ拡張処理部３０８は、例えば、基本コーデック拡張情報などを参照することで、処理対象の基本コーデック復号信号に類似する基本コーデック復号信号のステレオ化処理に用いたステレオ拡張情報を利用する。   The buffer 310 stores the stereo extension information transmitted from the stereo extension data analysis unit 105. The buffer 310 may hold not only the latest stereo extension information but also a plurality of stereo extension information. When a plurality of pieces of stereo extension information are held, the stereo extension processing unit 308 converts the basic codec decoded signal similar to the basic codec decoded signal to be processed into a stereo signal by referring to the basic codec extension information, for example. The stereo extension information used for processing is used.

以上の構成に示すように、本実施の形態のオーディオ再生装置３００は、ステレオ拡張情報を保持するバッファ３１０を備え、ステレオ拡張情報がない場合に、バッファ３１０に保持されたステレオ拡張情報を用いて基本コーデック復号信号をステレオ化する。   As shown in the above configuration, the audio reproduction device 300 according to the present embodiment includes the buffer 310 that holds the stereo extension information, and uses the stereo extension information held in the buffer 310 when there is no stereo extension information. Convert the basic codec decoded signal to stereo.

続いて、本実施の形態のオーディオ再生装置３００の動作のうち、ステレオ拡張処理部３０８の動作について説明する。なお、オーディオ再生装置３００は、図２及び図３に示すフローチャートに沿って入力されるストリームを復号する。本実施の形態のステレオ拡張処理部３０８は、第２帯域拡張処理部１０７が帯域拡張を行うとき（Ｓ１０７）に実行される。   Next, of the operations of the audio playback device 300 according to the present embodiment, the operations of the stereo expansion processing unit 308 will be described. Note that the audio playback device 300 decodes the input stream according to the flowcharts shown in FIGS. The stereo expansion processing unit 308 of the present embodiment is executed when the second band expansion processing unit 107 performs band expansion (S107).

図９は、本実施の形態のステレオ拡張処理部３０８の動作を示すフローチャートである。   FIG. 9 is a flowchart showing the operation of the stereo expansion processing unit 308 of the present embodiment.

まず、ステレオ拡張処理部３０８は、ストリームにステレオ拡張データが付加されているか否か、すなわち、ステレオ拡張情報がステレオ拡張データ解析部１０５から伝送されているか否かを判定する（Ｓ３０１）。ステレオ拡張情報が伝送されている場合（Ｓ３０１でＹｅｓ）、当該ステレオ拡張情報を用いてステレオ拡張処理を行う（Ｓ３０２）。さらに、ステレオ拡張処理部３０８は、このとき使用したステレオ拡張情報を保存する（Ｓ３０３）。   First, the stereo extension processing unit 308 determines whether or not stereo extension data is added to the stream, that is, whether or not stereo extension information is transmitted from the stereo extension data analysis unit 105 (S301). If the stereo extension information is transmitted (Yes in S301), stereo extension processing is performed using the stereo extension information (S302). Further, the stereo expansion processing unit 308 stores the stereo expansion information used at this time (S303).

ステレオ拡張情報が伝送されていない場合（Ｓ３０１でＮｏ）、以前のフレームを復号する際にステレオ拡張処理を行っているか否かを判定する（Ｓ３０４）。ステレオ拡張処理を行っている場合（Ｓ３０４でＹｅｓ）、以前のフレームを復号する際に保存されているステレオ拡張情報を使用してステレオ拡張処理を行う（Ｓ３０５）。ステレオ拡張処理を行っていない場合（Ｓ３０４でＮｏ）、何もせずに終了する。   When the stereo extension information is not transmitted (No in S301), it is determined whether or not the stereo extension process is performed when the previous frame is decoded (S304). When the stereo extension process is performed (Yes in S304), the stereo extension process is performed using the stereo extension information stored when the previous frame is decoded (S305). If the stereo expansion process is not performed (No in S304), the process ends without doing anything.

以上のように、本実施の形態のステレオ拡張処理部３０８は、以前のフレームを復号する際に用いたステレオ拡張情報をバッファ３１０に保存し、以降のフレームでステレオ拡張データの欠損があった場合、バッファ３１０に保存されたステレオ拡張情報を用いて基本コーデック復号信号をステレオ化する。   As described above, the stereo extension processing unit 308 of the present embodiment stores the stereo extension information used when decoding the previous frame in the buffer 310, and there is a loss of stereo extension data in the subsequent frames. The basic codec decoded signal is converted to stereo using the stereo extension information stored in the buffer 310.

以下では、図６に示すストリームが入力された場合の本実施の形態のオーディオ再生装置３００の動作について説明する。   Hereinafter, an operation of the audio reproduction device 300 according to the present embodiment when the stream illustrated in FIG. 6 is input will be described.

本実施の形態によれば、図６に示すように途中でステレオ拡張データが欠損するようなストリームが入力された場合、全てのフレーム２０１〜２０３はＣＨ＝１かつＦＳ≦２４ｋＨｚであるので、切替部１０９は伝送経路を端子Ｂに接続し、基本コーデック復号信号と帯域拡張情報とは第２帯域拡張処理部１０７に伝送される。これにより、全てのフレーム２０１〜２０３に対する帯域拡張処理は、第２帯域拡張処理部１０７によって行われるため遅延情報の連続性は保たれる。   According to the present embodiment, as shown in FIG. 6, when a stream in which stereo extension data is lost is input on the way, all frames 201 to 203 are CH = 1 and FS ≦ 24 kHz. Unit 109 connects the transmission path to terminal B, and the basic codec decoded signal and band extension information are transmitted to second band extension processing unit 107. As a result, the bandwidth extension processing for all the frames 201 to 203 is performed by the second bandwidth extension processing unit 107, so that the continuity of the delay information is maintained.

ここで、図１０は、ステレオ化された出力オーディオ信号の波形の一例を示す図である。従来は、ステレオ拡張データが欠損しているフレームの区間（ｔ４とｔ５の間の期間）は、ステレオ拡張処理が行われず、図１０（ａ）に示すようにＲｃｈが出力されないため、聞き手は違和感を感じる。この違和感を解消し、図１０（ｂ）に示すように、Ｒｃｈを正しく出力するため、ステレオ拡張処理部３０８は、以下のように動作する。   Here, FIG. 10 is a diagram illustrating an example of the waveform of the stereo output audio signal. Conventionally, in a section of a frame in which stereo extension data is missing (period between t4 and t5), stereo extension processing is not performed and Rch is not output as shown in FIG. Feel. In order to eliminate this uncomfortable feeling and correctly output Rch as shown in FIG. 10B, the stereo expansion processing unit 308 operates as follows.

フレーム２０１にはステレオ拡張データが存在するので（Ｓ３０１でＹｅｓ）、ステレオ拡張処理部３０８は、ステレオ拡張処理を行い（Ｓ３０２）、このとき用いたステレオ拡張情報を保存する（Ｓ３０３）。   Since the stereo extension data exists in the frame 201 (Yes in S301), the stereo extension processing unit 308 performs a stereo extension process (S302), and stores the stereo extension information used at this time (S303).

次に、ステレオ拡張データが欠損したフレーム２０２が入力される。ステレオ拡張処理部３０８は、フレーム２０２にはステレオ拡張データが欠損しており（Ｓ３０１でＮｏ）、さらに、フレーム２０１の復号時にステレオ拡張処理を行っているため（Ｓ３０４でＹｅｓ）、フレーム２０１のステレオ拡張情報を使用して、フレーム２０２のステレオ拡張処理を行う。   Next, the frame 202 lacking stereo extension data is input. Since the stereo extension processing unit 308 lacks stereo extension data in the frame 202 (No in S301), and further performs a stereo extension process when decoding the frame 201 (Yes in S304), the stereo extension of the frame 201 is not performed. Stereo expansion processing of the frame 202 is performed using the extension information.

続いて、次のステレオ拡張データが存在するフレーム２０３が入力される。フレーム２０３にはステレオ拡張データが存在するので（Ｓ３０１でＹｅｓ）、フレーム２０３から抽出したステレオ拡張情報を使用して、フレーム２０３のステレオ拡張処理を行う（Ｓ３０２）。   Subsequently, the frame 203 in which the next stereo extension data exists is input. Since the stereo extension data exists in the frame 203 (Yes in S301), the stereo extension processing of the frame 203 is performed using the stereo extension information extracted from the frame 203 (S302).

以上のように、本実施の形態のオーディオ再生装置３００では、図１０（ｂ）に示すように、出力音の連続性を保つことができ、かつ、ステレオ拡張データが欠損したフレームでもステレオ拡張することが可能となる。   As described above, in the audio playback device 300 according to the present embodiment, as shown in FIG. 10B, the continuity of the output sound can be maintained, and the stereo extension is performed even in the frame in which the stereo extension data is lost. It becomes possible.

これにより、例えば、マルチチャンネル再生の際の演算量の増加を抑えつつ、ＨＥ−ＡＡＣｖ２プロファイルの構成を持つストリームを適切に復号したオーディオ信号を再生することができる。このとき、ＰＳデータが入力されない場合から、ＰＳデータが入力された場合でも、異音発生の無いオーディオ信号を再生することができる。あるいは、ＰＳデータが入力された場合から、ＰＳデータが欠損することによって入力されない場合でも以前に用いたＰＳデータを用いて、ステレオオーディオ信号として再生することができる。   Thereby, for example, it is possible to reproduce an audio signal obtained by appropriately decoding a stream having the configuration of the HE-AACv2 profile while suppressing an increase in the amount of calculation during multi-channel reproduction. At this time, since no PS data is input, even when PS data is input, it is possible to reproduce an audio signal with no abnormal noise. Alternatively, even if PS data is not input due to missing PS data, it can be reproduced as a stereo audio signal using previously used PS data.

なお、図１１は、本発明のオーディオ再生装置を搭載するオーディオ再生機器の一例を示す外観図である。同図には、記録メディア４０１と、オーディオ再生機器４０２と、イヤホン４０３とを示す。   FIG. 11 is an external view showing an example of an audio playback device equipped with the audio playback device of the present invention. In the figure, a recording medium 401, an audio playback device 402, and an earphone 403 are shown.

記録メディア４０１は、圧縮オーディオストリームを記録できる記録メディアである。図１１では、ＳＤカードのような機器から取り出せるメディアとして記載しているが、光ディスクや、機器に内蔵されたＨＤＤ等で実現してもよい。   The recording medium 401 is a recording medium that can record a compressed audio stream. In FIG. 11, although described as a medium that can be taken out from a device such as an SD card, it may be realized by an optical disk, an HDD built in the device, or the like.

オーディオ再生機器４０２は、圧縮オーディオ再生機器であり、機器内部の構成要素は実施の形態１及び２に記載したオーディオ再生装置１００及び３００のうち、少なくとも１つを含むように構成される。   The audio playback device 402 is a compressed audio playback device, and the components inside the device are configured to include at least one of the audio playback devices 100 and 300 described in the first and second embodiments.

イヤホン４０３は、オーディオ再生機器４０２から出力される出力オーディオ信号を外部に出力するスピーカー装置である。図１１では、ユーザの耳に取り付けるイヤホンを図示しているが、ユーザの頭に取り付けるヘッドフォンでもよく、又は、卓上式のスピーカー装置でもよい。   The earphone 403 is a speaker device that outputs an output audio signal output from the audio playback device 402 to the outside. In FIG. 11, an earphone attached to the user's ear is illustrated, but a headphone attached to the user's head or a desktop speaker device may be used.

このようにオーディオ再生機器４０２を構成することで、ステレオ拡張データが途中で欠損するストリームについても異音を発声させずに出力オーディオ信号を得ることができる。   By configuring the audio playback device 402 in this way, it is possible to obtain an output audio signal without producing an abnormal sound even for a stream in which stereo extension data is lost in the middle.

以上、本発明のオーディオ再生装置及びオーディオ再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。   The audio playback apparatus and audio playback method of the present invention have been described based on the embodiments. However, the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation | transformation which those skilled in the art can think to the said embodiment, and the form constructed | assembled combining the component in a different embodiment is also contained in the scope of the present invention. .

例えば、切替部１０９は、判定条件をチャンネル数が１でありかつサンプリング周波数が２４ｋＨｚ以下としているが、これに限らず、例えば、チャンネル数が２以下の場合のみ第２帯域拡張処理部１０７を使用する（端子Ｂに接続する）としてもよい。この場合、基本コーデックのチャンネル数が１又は２のストリームが入力されれば、音質が良いが処理量の多い第２帯域拡張処理部１０７を使用して帯域拡張を行う。   For example, the switching unit 109 uses the second band expansion processing unit 107 only when the number of channels is 1 and the sampling frequency is 24 kHz or less, for example, when the number of channels is 2 or less. (Connect to terminal B). In this case, if a stream having a basic codec channel number of 1 or 2 is input, the second band extension processing unit 107 having good sound quality but a large amount of processing is used to perform band extension.

これに対して、３チャンネル以上のストリームが入力された場合には、全体の処理量削減のために音質の劣化はあるが、処理量の少ない第１帯域拡張処理部１０６を使用して帯域拡張を行うことが可能となる。このように、プロセッサ能力、及び、メモリリソースが許す限りマルチチャンネルに対しても高音質な出力を得られる構成にすることが可能である。   On the other hand, when a stream of 3 channels or more is input, the sound quality is deteriorated to reduce the overall processing amount. Can be performed. As described above, it is possible to obtain a high sound quality output even for multi-channels as long as the processor capacity and memory resources allow.

なお、本発明は、上述したように、オーディオ再生装置及びオーディオ再生方法として実現できるだけではなく、本実施の形態のオーディオ再生方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。   As described above, the present invention can be realized not only as an audio playback device and an audio playback method, but also as a program for causing a computer to execute the audio playback method of the present embodiment. Moreover, you may implement | achieve as recording media, such as computer-readable CD-ROM which records the said program. Furthermore, it may be realized as information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.

また、本発明は、オーディオ再生装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。   In the present invention, some or all of the components constituting the audio playback device may be configured from a single system LSI. The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, the system LSI is a computer system including a microprocessor, a ROM, a RAM, and the like. .

本発明は、処理量が著しく増加することを防ぎ、かつ、異音の発生を防ぐという効果を奏し、オーディオ再生装置などに利用できる。例えば、携帯型音楽プレーヤーなどのプロセッサ性能及びメモリリソースが限られているオーディオ再生機器などに利用することができる。   INDUSTRIAL APPLICABILITY The present invention has the effects of preventing a significant increase in processing amount and preventing the generation of abnormal noise, and can be used for an audio playback device or the like. For example, the present invention can be used for an audio playback device having limited processor performance and memory resources such as a portable music player.

１００、３００ オーディオ再生装置
１０１ ストリーム分離部
１０２ 基本コーデック解析部
１０３ 基本コーデック復号部
１０４ 帯域拡張データ解析部
１０５ ステレオ拡張データ解析部
１０６ 第１帯域拡張処理部
１０７ 第２帯域拡張処理部
１０８、３０８ ステレオ拡張処理部
１０９ 切替部
２０１、２０２、２０３ フレーム
３１０ バッファ
４０１ 記録メディア
４０２ オーディオ再生機器
４０３ イヤホン 100, 300 Audio playback apparatus 101 Stream separation unit 102 Basic codec analysis unit 103 Basic codec decoding unit 104 Band extension data analysis unit 105 Stereo extension data analysis unit 106 First band extension processing unit 107 Second band extension processing units 108, 308 Stereo Extended processing unit 109 Switching unit 201, 202, 203 Frame 310 Buffer 401 Recording medium 402 Audio playback device 403 Earphone

Claims (5)

符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生装置であって、
前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離部と、
前記ストリーム分離部によって分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析部と、
前記基本コーデック情報解析部によって生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号部と、
前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する処理を、前記解析情報に基づいて、実数演算のＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）処理及び複素数演算のＱＭＦ処理のいずれか一方を用いて実行する帯域拡張処理部とを備える
オーディオ再生装置。 An audio playback device for playing back a stream including a basic codec that is an encoded audio signal,
A stream separation unit that separates the stream in units of frames into the basic codec and bandwidth extension information used to extend the bandwidth of the basic codec;
A basic codec information analysis unit that generates analysis information indicating the properties of the basic codec by analyzing the basic codec separated by the stream separation unit;
A basic codec decoding unit that generates a basic codec decoded signal by decoding the basic codec according to the analysis information generated by the basic codec information analysis unit;
Based on the analysis information, a QMF (Quadrature Mirror Filter) process and a complex number calculation for expanding the frequency band of the basic codec decoding signal generated by the basic codec decoding unit using the band extension information An audio reproduction device comprising: a bandwidth expansion processing unit that executes using any one of the QMF processes. 前記ストリーム分離部は、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報と、当該基本コーデックをステレオ化するために用いられるステレオ拡張情報とに分離し、
前記オーディオ再生装置は、さらに、
前記帯域拡張処理部によって複素数演算のＱＭＦ処理を用いて周波数帯域が拡張された基本コーデック復号信号を、前記ステレオ拡張情報を用いてステレオ化するステレオ拡張処理部を備える
請求項１記載のオーディオ再生装置。 The stream separation unit includes the basic codec, band extension information used for extending a band of the basic codec, and stereo extension information used for stereoizing the basic codec in units of frames. Separated into
The audio playback device further includes:
The audio reproduction device according to claim 1, further comprising: a stereo extension processing unit that converts a basic codec decoded signal whose frequency band is extended by using the QMF processing of complex number arithmetic by the band extension processing unit using the stereo extension information. . 前記基本コーデック情報解析部は、前記ストリーム分離部によって分離された基本コーデックを解析することで、当該基本コーデックのチャンネル数を示すチャンネル情報と、当該基本コーデックのサンプリング周波数を示すサンプリング周波数情報との少なくとも１つを含む解析情報を生成し、
前記帯域拡張処理部は、前記チャンネル情報が示すチャンネル数が予め定められた第１閾値より大きいか否かと、前記サンプリング周波数情報が示すサンプリング周波数が予め定められた第２閾値より大きいか否かとの少なくとも一方を判定し、少なくとも一方が大きいと判定した場合、実数演算のＱＭＦ処理を用いて前記基本コーデック復号信号の周波数帯域を拡張する
請求項２記載のオーディオ再生装置。 The basic codec information analysis unit analyzes at least the basic codec separated by the stream separation unit, so that at least channel information indicating the number of channels of the basic codec and sampling frequency information indicating the sampling frequency of the basic codec Generate analysis information including one,
The band extension processing unit determines whether the number of channels indicated by the channel information is greater than a predetermined first threshold and whether the sampling frequency indicated by the sampling frequency information is greater than a predetermined second threshold. The audio playback device according to claim 2, wherein at least one is determined, and when it is determined that at least one is large, the frequency band of the basic codec decoded signal is expanded using QMF processing of real number calculation. 前記基本コーデックは、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式に基づいて符号化されたオーディオ信号であり、
前記帯域拡張情報は、ＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）方式に基づいて生成されたＳＢＲ情報であり、
前記ステレオ拡張情報は、ＰＳ（Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ）方式に基づいて生成されたＰＳ情報であり、
前記帯域拡張処理部は、
実数演算のＱＭＦ処理を用いて前記基本コーデック復号信号の周波数帯域を拡張する場合、ＬＰ−ＳＢＲ（Ｌｏｗ Ｐｏｗｅｒ−ＳＢＲ）方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張し、
複素数演算のＱＭＦ処理を用いて前記基本コーデック復号信号の周波数帯域を拡張する場合、ＨＱ−ＳＢＲ（Ｈｉｇｈ Ｑｕａｒｉｔｙ−ＳＢＲ）方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張する
請求項２又は３に記載のオーディオ再生装置。 The basic codec is an audio signal encoded based on an AAC (Advanced Audio Coding) system,
The band extension information is SBR information generated based on an SBR (Spectral Band Replication) scheme,
The stereo extension information is PS information generated based on a PS (Parametric Stereo) method,
The bandwidth extension processing unit
When extending the frequency band of the basic codec decoded signal using QMF processing of real number operation, based on LP-SBR (Low Power-SBR) system, the frequency band of the basic codec decoded signal is expanded,
The frequency band of the basic codec decoded signal is expanded based on an HQ-SBR (High Quality-SBR) scheme when the frequency band of the basic codec decoded signal is expanded using QMF processing of complex number operation. 4. The audio playback device according to 3. 符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生方法であって、
前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離ステップと、
前記ストリーム分離ステップで分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析ステップと、
前記基本コーデック情報解析ステップで生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号ステップと、
前記基本コーデック復号ステップで生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する処理を、前記解析情報に基づいて、実数演算のＱＭＦ処理及び複素数演算のＱＭＦ処理のいずれか一方を用いて実行する帯域拡張処理ステップを含む
オーディオ再生方法。 An audio playback method for playing back a stream including a basic codec that is an encoded audio signal,
A stream separation step of separating the stream into frame units into the basic codec and band extension information used to extend a band of the basic codec;
A basic codec information analyzing step for generating analysis information indicating the properties of the basic codec by analyzing the basic codec separated in the stream separation step;
A basic codec decoding step of generating a basic codec decoded signal by decoding the basic codec according to the analysis information generated in the basic codec information analysis step;
Based on the analysis information, the process of extending the frequency band of the basic codec decoded signal generated in the basic codec decoding step by using the band extension information is any one of the QMF process for real number calculation and the QMF process for complex number calculation. An audio playback method including a bandwidth expansion processing step executed using either of the above.
JP2014205836A 2014-10-06 2014-10-06 Audio playback apparatus and audio playback method Active JP5943982B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014205836A JP5943982B2 (en) 2014-10-06 2014-10-06 Audio playback apparatus and audio playback method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205836A JP5943982B2 (en) 2014-10-06 2014-10-06 Audio playback apparatus and audio playback method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008298809A Division JP5629429B2 (en) 2008-11-21 2008-11-21 Audio playback apparatus and audio playback method

Publications (2)

Publication Number Publication Date
JP2015038623A true JP2015038623A (en) 2015-02-26
JP5943982B2 JP5943982B2 (en) 2016-07-05

Family

ID=52631688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205836A Active JP5943982B2 (en) 2014-10-06 2014-10-06 Audio playback apparatus and audio playback method

Country Status (1)

Country Link
JP (1) JP5943982B2 (en)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7015002723; ＥＴＳＩ　ＴＳ　１２６　４０１　Ｖ６．２．０　（２００５-０３）　Ｕｎｉｖｅｒｓａｌ　Ｍｏｂｉｌｅ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍ　（ＵＭＴＳ）；Ｇｅｎｅｒａｌ　ａｕｄｉｏ　ｃｏｄ , 200503 *

Also Published As

Publication number Publication date
JP5943982B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP4939933B2 (en) Audio signal encoding apparatus and audio signal decoding apparatus
KR100908081B1 (en) Apparatus and method for generating encoded and decoded multichannel signals
JP5247148B2 (en) Reverberation sound signal coding
JP4918490B2 (en) Energy shaping device and energy shaping method
JP5629429B2 (en) Audio playback apparatus and audio playback method
JP2017187790A (en) Audio signal encoding method and device
KR100763919B1 (en) Method and apparatus for decoding input signal which encoding multi-channel to mono or stereo signal to 2 channel binaural signal
KR100763920B1 (en) Method and apparatus for decoding input signal which encoding multi-channel to mono or stereo signal to 2 channel binaural signal
JP2009506378A (en) Audio signal decoding method and apparatus
JP2009506706A (en) Audio signal decoding method and apparatus
KR100917845B1 (en) Apparatus and method for decoding multi-channel audio signal using cross-correlation
KR20130007439A (en) Signal processing apparatus, signal processing method, and program
JP5468020B2 (en) Acoustic signal decoding apparatus and balance adjustment method
JP4809234B2 (en) Audio encoding apparatus, decoding apparatus, method, and program
JP2010522348A (en) Audio signal encoding method and apparatus, and audio signal decoding method and apparatus
JP2007187749A (en) New device for supporting head-related transfer function in multi-channel coding
JP5943982B2 (en) Audio playback apparatus and audio playback method
WO2021139757A1 (en) Audio encoding method and device and audio decoding method and device
US10553230B2 (en) Decoding apparatus, decoding method, and program
US8605564B2 (en) Audio mixing method and audio mixing apparatus capable of processing and/or mixing audio inputs individually
KR101464977B1 (en) Method of managing a memory and Method and apparatus of decoding multi channel data
JPWO2014068817A1 (en) Audio signal encoding apparatus and audio signal decoding apparatus
JP2008028574A (en) Audio processing apparatus, audio processing method, program, and integrated circuit
JP2009151183A (en) Multi-channel voice sound signal coding device and method, and multi-channel voice sound signal decoding device and method
KR20150128616A (en) Apparatus and method for transforming audio signal using location of the user and the speaker

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160524

R150 Certificate of patent or registration of utility model

Ref document number: 5943982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150