JP4551472B2 - Digital audio data processing apparatus and processing method - Google Patents

Digital audio data processing apparatus and processing method Download PDF

Info

Publication number
JP4551472B2
JP4551472B2 JP2008517814A JP2008517814A JP4551472B2 JP 4551472 B2 JP4551472 B2 JP 4551472B2 JP 2008517814 A JP2008517814 A JP 2008517814A JP 2008517814 A JP2008517814 A JP 2008517814A JP 4551472 B2 JP4551472 B2 JP 4551472B2
Authority
JP
Japan
Prior art keywords
data
reference frame
header information
decoded
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008517814A
Other languages
Japanese (ja)
Other versions
JPWO2007138825A1 (en
Inventor
清次 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2007138825A1 publication Critical patent/JPWO2007138825A1/en
Application granted granted Critical
Publication of JP4551472B2 publication Critical patent/JP4551472B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、符号化データをデジタル処理するデジタル音声データ処理装置及び処理方法に関するものである。   The present invention relates to a digital audio data processing apparatus and processing method for digitally processing encoded data.

例えばデジタル又はインターネット放送受信機を用いて、画像データ(ビデオデータ)や音声データ(オーディオデータ)をデジタル化して多重伝送するデジタル放送が既に開始されている。このデジタル放送においては、所定の圧縮符号化方式(例えばMPEG;Moving Picture Experts Group方式等)が採用されており、複数の番組のデータが、当該符号化方式に対応したストリーム(例えばMPEGトランスポートストリーム;MPEG−TS等)に多重化して伝送される。このように多重化しストリームとして伝送されたデータは、これを受信した受信機側において所望のデータが選択的に抽出される。   For example, digital broadcasting for digitizing and multiplex-transmitting image data (video data) and audio data (audio data) using a digital or Internet broadcast receiver has already been started. In this digital broadcasting, a predetermined compression encoding method (for example, MPEG; Moving Picture Experts Group method) is adopted, and data of a plurality of programs is stream (for example, MPEG transport stream) corresponding to the encoding method. MPEG-TS etc.) and transmitted. From the data thus multiplexed and transmitted as a stream, desired data is selectively extracted at the receiver side that has received the data.

近年、ブロードバンド化の一層の進展に伴い、携帯電話機やその他の携帯端末(いわゆる第三世代の携帯端末、車載端末、モバイル機器)等、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動画配信サービスを行うことが計画されている。   In recent years, with further progress in broadbandization, using digital or Internet broadcast receivers with relatively simple structures such as mobile phones and other mobile terminals (so-called third generation mobile terminals, in-vehicle terminals, mobile devices) A simple video distribution service is planned.

この場合、音声データ(オーディオデータ)については、従来より幅広く使用されてきた、上記MPEGで規格化したAAC(Advanced Audio Coding)規格に加え、SBR(Spectral Band Replication)技術を適用した符号化がすでに提唱されている(例えば、特許文献1参照)。   In this case, for audio data (audio data), in addition to the AAC (Advanced Audio Coding) standard standardized by MPEG, which has been widely used in the past, encoding using SBR (Spectral Band Replication) technology has already been performed. Has been proposed (see, for example, Patent Document 1).

すなわち、一般に、音声データの符号化においては、高周波数成分の符号化に十分なビットを割り当てるのが困難であることに由来して、圧縮率が高くなるほど、再生帯域の上限周波数が低下し音質が劣化する傾向となる。上記SBR技術はこのような高周波数成分の欠落を補うものであり、低周波数成分から高周波数成分を予測するための補助情報を予めストリーム内に格納しておき、再生時には帯域拡張処理を施して擬似的に帯域を拡張して高周波数成分を生成することで、高音質な再生を可能とするものである。   That is, in general, in encoding audio data, it is difficult to allocate sufficient bits for encoding high frequency components, and as the compression ratio increases, the upper limit frequency of the reproduction band decreases and the sound quality decreases. Tends to deteriorate. The SBR technique compensates for such a lack of high-frequency components. Auxiliary information for predicting high-frequency components from low-frequency components is stored in advance in a stream, and band expansion processing is performed during reproduction. By generating a high frequency component by expanding the band in a pseudo manner, it is possible to reproduce with high sound quality.

このような従来のAACに加えSBRを追加した符号化方式は、AAC−plusと称されており、1フレームのデータは、AACの符号化データ(BaseCodec)と、SBRの符号化データとから構成される。なお、AACにのみ対応した従来の復号化手段であっても、SBRデータを読み飛ばすことによってAACデータのみを復号化できるようになっている。   Such an encoding method in which SBR is added in addition to conventional AAC is called AAC-plus, and one frame of data is composed of AAC encoded data (BaseCodec) and SBR encoded data. Is done. Note that even conventional decoding means compatible only with AAC can decode only AAC data by skipping SBR data.

特開2006−50387号公報JP 2006-50387 A

上記SBRを用いた符号化方式では、前述したように、低周波数成分から高周波数成分を予測するための補助情報に対し再生時に帯域拡張処理を施して高周波数成分を生成するものである。このとき、前述したデータ伝送量の制約に基づき、所定のフレームデータ単位(例えば数フレームから数十フレーム単位)ごとに(例えば不定期に)SBRヘッダを備えたフレーム(基準フレーム)が挿入されている。そして、このフレーム以外のSBRヘッダを備えないフレーム(非基準フレーム)も含み、すべてのフレームが、当該SBRヘッダに格納した情報(ヘッダ情報)より演算用のテーブルを作成し、このテーブルに基づき上記帯域拡張処理を行って高周波成分を生成するようになっている。   In the encoding method using the SBR, as described above, the auxiliary information for predicting the high frequency component from the low frequency component is subjected to band expansion processing during reproduction to generate the high frequency component. At this time, a frame (reference frame) having an SBR header is inserted every predetermined frame data unit (for example, several frames to several tens of frames) (for example, irregularly) based on the data transmission amount restriction described above. Yes. In addition, frames including non-SBR headers (non-reference frames) other than this frame, including all frames, a calculation table is created from information (header information) stored in the SBR header. A band expansion process is performed to generate a high frequency component.

この場合、(トータルの伝送量を削減できるというメリットはあるものの)上記のようにSBRデータの復号化には必ずSBRヘッダのヘッダ情報が必要になるため、何らかの事情でストリームの一部が消失した(=エラー発生)場合には(その間にヘッダ情報が変化している可能性があることから)次にSBRヘッダの情報を取得するまで、復号化が行えなくなる。このため、いったんエラーが発生すると、次のSBRヘッダの情報を取得するまでの間は、AACデータ(すなわち低域部分)のみが復号化されて出力され、高域が再生されないので、操作者に対し聴感上違和感を与えることとなっていた。   In this case, the header information of the SBR header is always required for decoding the SBR data as described above (although there is a merit that the total transmission amount can be reduced). Therefore, a part of the stream is lost for some reason. In the case of (= error occurrence) (because the header information may have changed in the meantime), decoding cannot be performed until the next SBR header information is acquired. For this reason, once an error occurs, until the next SBR header information is acquired, only the AAC data (that is, the low frequency portion) is decoded and output, and the high frequency is not reproduced. On the other hand, it was supposed to give an uncomfortable feeling.

本発明が解決しようとする課題には、上記した問題が一例として挙げられる。   The problem to be solved by the present invention includes the above-described problem as an example.

上記課題を解決するために、請求項1記載の発明は、フレーム化された複数のフレーム列からなる符号化データであって、前記複数のフレーム列は、基準フレーム及び非基準フレームからなる複数のフレームを備え、前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理装置であって、前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手段と、前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手段で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手段と、前記ヘッダ情報取得手段で前記ヘッダ情報を取得できなかった場合に、前記第1復号化手段で復号化された第1復号化データに基づき、当該第1復号化データよりも高い再生帯域を有する高域成分データを擬似的に生成する高域成分擬似生成手段と、前記第1復号化データと前記高域成分データを併せて出力するための出力制御手段とを有する。   In order to solve the above-described problem, the invention according to claim 1 is encoded data including a plurality of framed frame sequences, and the plurality of frame sequences include a plurality of reference frames and non-reference frames. A non-reference first data obtained by encoding audio information, and non-reference second data obtained by encoding band expansion information for expanding a reproduction band of the non-reference first data; The reference frame is configured by encoding reference first data obtained by encoding audio information and band expansion information for expanding a reproduction band of the reference first data, and the non-reference second data A digital audio data processing apparatus for processing a stream, including reference second data having a processing header having header information for performing arithmetic processing, wherein the stream is processed before the reference frame. Header information acquisition means for acquiring the header information of the processing header provided in reference second data; and decoding the reference first data or the non-reference first data of the reference frame or the non-reference frame; Using first decoding means for generating one decoded data and the header information obtained by the header information obtaining means for the reference second data or the non-reference second data of the reference frame or the non-reference frame. Second decoding means for decoding and generating second decoded data; and first decoding decoded by the first decoding means when the header information acquisition means cannot acquire the header information High-frequency component pseudo-generating means for pseudo-generating high-frequency component data having a higher reproduction band than the first decoded data based on the encoded data; and the first decoded data And an output control means for outputting together the high frequency component data.

また、請求項4記載の発明は、フレーム化された複数のフレーム列からなる符号化データであって、前記複数のフレーム列は、基準フレーム及び非基準フレームからなる複数のフレームを備え、前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理方法であって、前記ストリームの一部が消失したかどうかを判定するエラー判定手順と、前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手順と、前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手順で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手順とを有し、前記ヘッダ情報取得手順で前記ヘッダ情報を取得できなかった場合に、前記第1復号化手順で復号化した第1復号化データに基づき、当該第1復号化データよりも高い再生帯域を有する高域成分データを擬似的に生成し、前記第1復号化データと前記高域成分データを併せて出力する。   According to a fourth aspect of the present invention, there is provided encoded data including a plurality of framed frame sequences, and the plurality of frame sequences include a plurality of frames including a reference frame and a non-reference frame, The reference frame includes non-reference first data in which audio information is encoded, and non-reference second data in which band expansion information for expanding a reproduction band of the non-reference first data is encoded. Is configured by encoding reference first data obtained by encoding audio information and band expansion information for expanding the reproduction band of the reference first data, and for performing calculation processing of the non-reference second data. A digital audio data processing method for processing a stream, including reference second data having a processing header with header information, and whether or not a part of the stream has been lost An error determination procedure to be determined; a header information acquisition procedure for acquiring the header information of the processing header included in the reference second data of the reference frame; and the reference first data of the reference frame or the non-reference frame Or the first decoding means for decoding the non-reference first data and generating first decoded data; the reference second data or the non-reference second data of the reference frame or the non-reference frame; A second decoding procedure for decoding using the header information acquired in the header information acquisition procedure and generating second decoded data, and when the header information cannot be acquired in the header information acquisition procedure Based on the first decoded data decoded in the first decoding procedure, high-frequency component data having a reproduction band higher than that of the first decoded data is artificially generated. , And it outputs together the high-frequency component data and the first decoded data.

以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デジタル音声データ処理装置の一例として、携帯電話機に適用した場合の実施形態である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. This embodiment is an embodiment when applied to a mobile phone as an example of a digital audio data processing apparatus.

図1は、本実施形態の携帯電話機の全体外観を表す斜視図である。図1において、デジタル音声データ処理装置としてのこの携帯電話機1は、TS(Transport Stream)として配信される音声データ、映像データ、データ放送用データなどを有するコンテンツデータを取得して出力する、MPEG2−TSシステムを用いた地上波デジタル放送(いわゆるワンセグ放送)対応のものである。   FIG. 1 is a perspective view showing the overall appearance of the mobile phone according to the present embodiment. In FIG. 1, this mobile phone 1 as a digital audio data processing apparatus acquires and outputs content data including audio data, video data, data for data broadcasting, etc. distributed as TS (Transport Stream). It is compatible with terrestrial digital broadcasting (so-called one-segment broadcasting) using the TS system.

携帯電話機1は、この例では、本体ケーシング2と、この本体ケーシング2の下部に設けられ、電話番号の入力キーや各種の機能ボタンなどを備えた操作部3と、その基端部が本体ケーシング2の下端部に枢支されて本体ケーシング2に対し開閉自在に取り付けられた開閉カバー4と、各種表示を行う表示部5と、無線通信を介しデータ送受信を行うためのアンテナ6と、音声を発するスピーカ7と、開閉操作のためのレバースイッチ8と、マイク9と、例えば地上波デジタル放送や衛星デジタル放送などの放送波を受信する放送用アンテナ10(図示せず、後述の図2参照)等を備えている。   In this example, the mobile phone 1 is provided with a main body casing 2, an operation unit 3 provided at a lower portion of the main body casing 2, and provided with a telephone number input key and various function buttons, and a base end portion of the operation unit 3. An opening / closing cover 4 pivotally supported by the lower end of the body 2 and attached to the body casing 2 so as to be openable / closable, a display unit 5 for performing various displays, an antenna 6 for performing data transmission / reception via wireless communication, and audio. Speaker 7 that emits, lever switch 8 for opening and closing operation, microphone 9, and broadcast antenna 10 that receives broadcast waves such as terrestrial digital broadcast and satellite digital broadcast (not shown, see FIG. 2 described later) Etc.

図2は、上記携帯電話機1の機能的構成を表す機能ブロック図である。図2において、放送局や他の携帯電話機等から送信されてきた電波が上記アンテナ6,10で受信された後、アンテナ6,10に接続された送受信部100で復調され、その復調した受信信号に対し信号処理部101で再生のための所定の信号処理(詳細は後述)が施される。信号処理部101で処理した信号は、スピーカ7で音声として再生される。   FIG. 2 is a functional block diagram showing a functional configuration of the mobile phone 1. In FIG. 2, after radio waves transmitted from a broadcasting station or other mobile phone are received by the antennas 6 and 10, the radio waves are demodulated by the transmission / reception unit 100 connected to the antennas 6 and 10, and the demodulated reception signals are received. The signal processing unit 101 performs predetermined signal processing (details will be described later) for reproduction. The signal processed by the signal processing unit 101 is reproduced as sound by the speaker 7.

このとき、送受信部100は図示しないTS受信部を備えており、このTS受信部に上記放送用アンテナ10(なお、上記アンテナ6と兼用でもよい)が接続されている。このTS受信部は、信号処理部101の制御により、上記放送用アンテナ10からデジタル信号として送信される例えば複数のTSから、利用者により選択されたコンテンツに対応するTSを取得する。そして、取得したTSを信号処理部101にTS信号として出力する。   At this time, the transmitting / receiving unit 100 includes a TS receiving unit (not shown), and the broadcasting antenna 10 (which may also be used as the antenna 6) is connected to the TS receiving unit. The TS receiving unit acquires a TS corresponding to the content selected by the user from, for example, a plurality of TSs transmitted as digital signals from the broadcasting antenna 10 under the control of the signal processing unit 101. Then, the acquired TS is output to the signal processing unit 101 as a TS signal.

一方、話者の会話はマイク9に入力されて音声信号に変換される。この音声信号は上記信号処理部101において送信のための信号処理が施され、送受信部100では上記信号処理部101からの音声信号を変調してアンテナ6へ供給し、アンテナ6はその音声信号を電波として送信する。   On the other hand, the conversation of the speaker is input to the microphone 9 and converted into an audio signal. The audio signal is subjected to signal processing for transmission in the signal processing unit 101, and the transmission / reception unit 100 modulates the audio signal from the signal processing unit 101 and supplies the modulated audio signal to the antenna 6. Transmit as radio waves.

なお、上記の各構成要素は、CPU等を備えた制御部102によってその動作が制御される。   Note that the operation of each of the above-described components is controlled by the control unit 102 including a CPU and the like.

図3は、本実施形態の携帯電話機1に備えられるアンテナ10で受信されるTSストリームのうち、音声に係わる部分を抜き出して概念的に表す模式図である。   FIG. 3 is a schematic diagram conceptually showing a part related to audio extracted from the TS stream received by the antenna 10 provided in the mobile phone 1 of the present embodiment.

図3は、アンテナ10で受信される多重化されたストリームからオーディオのストリームを取り出したもの(すなわち、Elementary Stream)が、複数のフレームを備えている様子を時間軸に沿って表している。これら複数のフレームは、基準フレームSFと、それ以外の非基準フレームIFとから構成されている。   FIG. 3 shows a state in which an audio stream extracted from the multiplexed stream received by the antenna 10 (that is, Elementary Stream) includes a plurality of frames along the time axis. These plural frames are composed of a reference frame SF and other non-reference frames IF.

非基準フレームIFは、音声情報をAAC規格で符号化したBaseCodec(非基準第1データ)と、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化したSBRデータ(非基準第2データ。但しSBRヘッダを含まない)とを含んでいる。   The non-reference frame IF includes BaseCodec (non-reference first data) obtained by encoding audio information according to the AAC standard, and SBR data (non-reference second data) obtained by encoding band expansion information for expanding the reproduction band of the BaseCodec. (However, the SBR header is not included).

基準フレームSFは、上記同様に音声情報をAAC規格で符号化したBaseCodec(基準第1データ)と、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、上記SBRヘッダなしのSBRデータの演算処理を行うためのヘッダ情報を備えたSBRヘッダ(処理ヘッダ)を備えたSBRデータ(基準第2データ)とを含んでいる。SBRヘッダのヘッダ情報を用いることで上記演算処理用のテーブルが作成され、このテーブルに基づき帯域拡張処理を行って高周波成分を生成可能となっている。   The reference frame SF is configured by encoding BaseCodec (reference first data) obtained by encoding audio information in accordance with the AAC standard and band expansion information for expanding the reproduction band of the BaseCodec as described above, and without the SBR header. SBR data (reference second data) including an SBR header (processing header) including header information for performing calculation processing of the SBR data. By using the header information of the SBR header, a table for the arithmetic processing is created, and band expansion processing can be performed based on this table to generate a high-frequency component.

図4は、上記信号処理部101のうち、上記音声信号の再生処理に係わる構成を表す機能ブロック図である。   FIG. 4 is a functional block diagram showing a configuration related to the reproduction processing of the audio signal in the signal processing unit 101.

図4において、信号処理部101は、BaseCodecDecode部11と、エラー処理部12と、高域成分擬似生成処理部13と、SBRDecode部14と、BaseCodecDecode部11からの切替制御信号により切り替えられるスイッチ15(出力制御手段)とを備えている。   In FIG. 4, the signal processing unit 101 includes a switch 15 (switched by a switching control signal from the BaseCodeDecode unit 11, the error processing unit 12, the high frequency component pseudo generation processing unit 13, the SBRDecode unit 14, and the BaseCodeDecode unit 11. Output control means).

BaseCodecDecode部11は、複数の機能を備えている。まず第1の機能として、図3を用いて前述した音声信号のストリーム(Elementary Stream)を入力し、基準フレームSF及び非基準フレームIFに含まれるBaseCodec部のデコード(復号化)を行う(第1復号化手段)。   The BaseCodeDecode unit 11 has a plurality of functions. First, as a first function, the audio signal stream (Elementary Stream) described above with reference to FIG. 3 is input, and the BaseCodec portion included in the reference frame SF and the non-reference frame IF is decoded (first decoding). Decryption means).

また、BaseCodecDecode部11は、第2の機能として、各フレームがSBR_headerを有しているフレームかどうか(言い換えれば基準フレームSFか非基準フレームIFか)を判定するとともに、基準フレームSFであった場合には、SBRデータに備えられたSBRヘッダの上記ヘッダ情報の取得を行う(ヘッダ情報取得手段)。   In addition, as a second function, the BaseCodeDecode unit 11 determines whether each frame has a SBR_header (in other words, whether it is a reference frame SF or a non-reference frame IF), and if it is a reference frame SF The header information of the SBR header provided in the SBR data is acquired (header information acquisition means).

さらに、BaseCodecDecode部11は、第3の機能として、ES(Elementary Stream)の一部が消失したか(=エラーが発生したか)どうかのエラー判定も行う(エラー判定手段)。このときの判定方法は、BaseCodecDecode部11におけるESのデコード処理過程で不具合が生じた時にエラーと判定しても良いし、ESが入力されるときに、別途当該ESについてのエラー情報を外部より受け取って判定するようにしても良い。   Furthermore, the BaseCodeDecode unit 11 also performs an error determination as to whether a part of the ES (Elementary Stream) has disappeared (= whether an error has occurred) as a third function (error determination means). The determination method at this time may be determined as an error when a failure occurs in the decoding process of the ES in the BaseCodeDecode unit 11, or when the ES is input, error information on the ES is separately received from the outside. You may make it judge.

ここで、本実施形態では、前述したように、スイッチ15は、BaseCodecDecode部11からの切替制御信号に基づき、エラー処理部12、高域成分擬似生成処理部13、SBRDecode部14のいずれかからの出力を選択してスピーカ7側へと出力するようになっている。図5は、このBaseCodecDecode部11が各フレームごとに実行する処理手順を表すフローチャートである。   Here, in this embodiment, as described above, the switch 15 is based on the switching control signal from the BaseCodeDecode unit 11 and is output from any one of the error processing unit 12, the high frequency component pseudo generation processing unit 13, and the SBRDecode unit 14. The output is selected and output to the speaker 7 side. FIG. 5 is a flowchart showing a processing procedure executed by the BaseCodeDecode unit 11 for each frame.

図5において、まずステップS5において、ヘッダ情報取得(ヘッダ情報を取得できたか否か)を表すフラグFh=0とする。その後、ステップS10で、前述のエラー判定手段としての機能によりエラーが発生しているかどうかを判定する(判定手順)。ESの一部が消失し当該フレームでエラーが発生していた場合には判定が満たされ、ステップS55で上記フラグFh=0にした後、ステップS60に移る。   In FIG. 5, first, in step S5, a flag Fh = 0 indicating header information acquisition (whether or not header information has been acquired) is set. Thereafter, in step S10, it is determined whether or not an error has occurred by the function as the error determination means described above (determination procedure). If part of the ES has disappeared and an error has occurred in the frame, the determination is satisfied, and after setting the flag Fh = 0 in step S55, the process proceeds to step S60.

ステップS60では、エラー処理部12に所定のエラー用データを出力するように指示を出すとともに、スイッチ15をエラー処理部12側に切り替える切替制御信号を出力する。これに応じて、エラー処理部12は、エラー用データとして、無音状態とするMute信号(又は前後のデータから適宜の手法で補間したデータでもよい)を出力し(エラー用データ生成手段、エラー用データ生成手順)、スイッチ15からスピーカ7側へと出力される。   In step S60, the error processing unit 12 is instructed to output predetermined error data, and a switching control signal for switching the switch 15 to the error processing unit 12 side is output. In response to this, the error processing unit 12 outputs a mute signal for silence (or data interpolated from the preceding and succeeding data by an appropriate method) as error data (error data generation means, error data). Data generation procedure), and output from the switch 15 to the speaker 7 side.

一方、ステップS10でエラーが発生していなかった場合には判定が満たされず、ステップS15に移る。ステップS15では、前述のヘッダ情報取得手段としての機能により、当該フレームよりSBRヘッダのヘッダ情報を取得する(ヘッダ情報取得手順)。その後、ステップS20でSBRヘッダがあったかどうか(言い換えれば、ヘッダ情報から演算用のテーブルが作成されているかどうか)を判定する。ヘッダ情報が取得され演算用のテーブルが作成されていた場合には判定が満たされ、ステップS25で上記フラグFh=1とした後、ステップS30に移る。なお、ステップS20でSBRヘッダがなかった場合には判定が満たされず、直接ステップS30に移る。   On the other hand, if no error has occurred in step S10, the determination is not satisfied, and the routine goes to step S15. In step S15, header information of the SBR header is acquired from the frame by the function as the header information acquisition unit described above (header information acquisition procedure). Thereafter, in step S20, it is determined whether there is an SBR header (in other words, whether a calculation table is created from the header information). If the header information has been acquired and the calculation table has been created, the determination is satisfied, and after setting the flag Fh = 1 in step S25, the process proceeds to step S30. If there is no SBR header in step S20, the determination is not satisfied, and the process directly proceeds to step S30.

ステップS30では、上記フラグFh=1であるかどうか(言い換えればヘッダ情報が取得され演算用テーブルが作成されているか)を判定する。判定が満たされたらステップS35へ移り、前述の第1復号化手段としての機能によりデコードしたBaseCodec部の復号化データ及び(この時点で保持している)SBR部のSyntax(言い換えればヘッダ情報に基づくテーブル)をSBRDecode部14に出力するとともに、スイッチ15をSBRDecode部14に切り替える切替制御信号を出力する。これに応じて、SBRDecode部14は、BaseCodecDecode部11から受け取ったBaseCodec部の復号化データに、さらに前述のSBR部のSyntax情報に基づくテーブルを用いて復号化処理を行い生成したSBR部の復号化データを加えてスイッチ15に出力し(第2復号化手順)、スイッチ15からスピーカ7側へと出力される。   In step S30, it is determined whether or not the flag Fh = 1 (in other words, whether the header information is acquired and the calculation table is created). If the determination is satisfied, the process proceeds to step S35, where the decoded data of the BaseCodec part decoded by the function as the first decoding unit described above and the syntax of the SBR part (held at this time) (in other words, based on the header information) Table) is output to the SBR Decode unit 14 and a switch control signal for switching the switch 15 to the SBR Decode unit 14 is output. In response to this, the SBR Decode unit 14 performs decoding processing on the decoded data of the Base Codec unit received from the Base Code Decode unit 11 by using the table based on the above-described Syntax information of the SBR unit, and generates the decoded SBR unit Data is added and output to the switch 15 (second decoding procedure), and output from the switch 15 to the speaker 7 side.

なお、前述のステップS30での判定が満たされない場合、ステップS40に移る。ステップS40では、高域成分擬似生成処理部13に対し前述の第1復号化手段としての機能によりデコードしたBaseCodec部の復号化データを出力するとともに、スイッチ15を高域成分擬似生成処理部13に切り替える切替制御信号を出力する。これに応じて、高域成分擬似生成処理部13は、BaseCodecDecode部11から受け取った上記BaseCodec部の復号化データを2倍にアップサンプリングすると共に、公知の手法(例えば特許第3140273号公報に記載の手法)により低域である上記BaseCodec部の復号化データに基づき高域成分データを生成し、当該生成した高域成分データを含む復号化データをスイッチ15に出力し、スイッチ15からスピーカ7側へと出力される。   If the determination in step S30 is not satisfied, the process proceeds to step S40. In step S40, the decoded data of the BaseCodec portion decoded by the function as the first decoding means is output to the high frequency component pseudo generation processing unit 13, and the switch 15 is output to the high frequency component pseudo generation processing unit 13. A switching control signal for switching is output. In response to this, the high-frequency component pseudo-generation processing unit 13 upsamples the decoded data of the BaseCodec unit received from the BaseCodecDecode unit 11 twice and uses a known method (for example, described in Japanese Patent No. 3140273). Method), high frequency component data is generated based on the decoded data of the BaseCodec portion, which is a low frequency, and the decoded data including the generated high frequency component data is output to the switch 15, and from the switch 15 to the speaker 7 side Is output.

前述のステップS35、ステップS40、ステップS60が終了したら、ステップS10に戻り、同様の手順を繰り返す。   When step S35, step S40, and step S60 are completed, the process returns to step S10 and the same procedure is repeated.

上記フローのように、本実施形態では、SBRヘッダのヘッダ情報が取得できない場合(言い換えれば演算用テーブルが作成されていない場合)に、公知の高域成分擬似生成手法を用いてデコードしたBaseCodec部の復号化データに基づき高域成分データを擬似的に生成し、上記BaseCodec部の復号化データに生成した高域成分データを加えて出力するものである。   As in the above flow, in the present embodiment, when the header information of the SBR header cannot be acquired (in other words, when the calculation table is not created), the BaseCodec unit decoded using a known high-frequency component pseudo-generation method Based on the decoded data, the high frequency component data is generated in a pseudo manner, and the generated high frequency component data is added to the decoded data of the BaseCodec section and output.

以上説明したように、本実施形態におけるデジタル音声データ処理装置1は、フレーム化された複数のフレーム列からなる符号化データであって、複数のフレーム列は、基準フレームSF及び非基準フレームIFからなる複数のフレームを含み、非基準フレームIFが、音声情報を符号化した非基準第1データ(この例ではBaseCodec)と、この非基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データ(この例ではSBR)とを含み、基準フレームSFが、音声情報を符号化した基準第1データ(この例ではBaseCodec)と、この基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、非基準第2データSBRの演算処理を行うためのヘッダ情報を備えた処理ヘッダ(この例ではSBRヘッダ)を有する基準第2データ(この例ではSBR)とを含む、ストリームを処理するデジタル音声データ処理装置1であって、基準フレームSFの基準第2データSBRに備えられた処理ヘッダのヘッダ情報を取得するヘッダ情報取得手段(この例ではBaseCodecDecode部11)と、基準フレームSF又は非基準フレームIFの基準第1データBaseCodec又は非基準第1データBaseCodecを復号化し、第1復号化データ(この例ではデコード後のBaseCodecデータ)を生成する第1復号化手段(この例ではBaseCodecDecode部11)と、基準フレームSF又は非基準フレームIFの基準第2データSBR又は非基準第2データSBRを、ヘッダ情報取得手段11で取得したヘッダ情報を用いて復号化し、第2復号化データ(この例ではデコード後のSBRデータ)を生成する第2復号化手段(この例ではSBRDecode部14)と、ヘッダ情報取得手段11でヘッダ情報を取得できなかった場合に、第1復号化手段11で復号化された第1復号化データ(デコード後のBaseCodecデータ)に基づき、当該第1復号化データ(デコード後のBaseCodecデータ)よりも高い再生帯域を有する高域成分データを擬似的に生成する高域成分擬似生成手段(この例では高域成分擬似生成処理部13)と、第1復号化データ(デコード後のBaseCodecデータ)と高域成分データを併せて出力するための出力制御手段(この例ではスイッチ15)とを有することを特徴とする。   As described above, the digital audio data processing apparatus 1 according to the present embodiment is encoded data including a plurality of framed frames, and the plurality of frame sequences are based on the reference frame SF and the non-reference frame IF. Non-reference first data (BaseCodec in this example) obtained by encoding audio information, and band expansion information for expanding the reproduction band of the non-reference first data BaseCodec. And non-reference second data (in this example, SBR) that is encoded, reference frame SF is the reference first data (in this example, BaseCodec) in which audio information is encoded, and reproduction of this reference first data BaseCodec Computation processing of non-reference second data SBR configured by encoding band expansion information for expanding the band A digital audio data processing apparatus 1 for processing a stream, including reference second data (SBR in this example) having a processing header (SBR header in this example) having header information to be executed, wherein the reference frame SF Header information acquisition means (BaseCodeDecode unit 11 in this example) for acquiring header information of the processing header provided in the reference second data SBR, and reference first data BaseCodec or non-reference first of the reference frame SF or non-reference frame IF 1st decoding means (BaseCodeDecode unit 11 in this example) that decodes 1 data BaseCodec and generates first decoded data (BaseCodec data after decoding) in this example, and a reference frame SF or a reference of a non-reference frame IF Second data SBR or non-standard 2nd decoding means (SBR Decode part in this example) which decodes 2 data SBR using the header information acquired by the header information acquisition means 11, and produces | generates 2nd decoding data (SBR data after decoding in this example) 14) and when the header information acquisition unit 11 cannot acquire the header information, the first decoding is performed based on the first decoded data (BaseCodec data after decoding) decoded by the first decoding unit 11. High-frequency component pseudo-generating means (in this example, high-frequency component pseudo-generation processing unit 13) that pseudo-generates high-frequency component data having a higher reproduction band than the digitized data (BaseCodec data after decoding), and first decoding Output control means (switch 1 in this example) for outputting the digitized data (BaseCodec data after decoding) and the high frequency component data together 5).

本実施形態においては、ストリームに備えられる複数のフレームのそれぞれが、基準第1データBaseCodec及び基準第2データSBRを含む基準フレームSFと、非基準第1データBaseCodec及び非基準第2データSBRを含む非基準フレームIFとから構成されている。そのうち、基準第1データBaseCodec及び非基準第1データBaseCodecが第1復号化手段11で復号化されて第1復号化データ(デコード後のBaseCodecデータ)が生成される一方、基準第2データSBR及び非基準第2データSBRについては、ヘッダ情報取得手段11で取得したヘッダ情報を用いて第2復号化手段14で復号化され、第2復号化データ(デコード後のSBRデータ)が生成される。   In the present embodiment, each of the plurality of frames provided in the stream includes a reference frame SF including the reference first data BaseCodec and the reference second data SBR, and a non-reference first data BaseCodec and a non-reference second data SBR. And a non-reference frame IF. Among them, the reference first data BaseCodec and the non-reference first data BaseCodec are decoded by the first decoding unit 11 to generate the first decoded data (BaseCodec data after decoding), while the reference second data SBR and The non-reference second data SBR is decoded by the second decoding unit 14 using the header information acquired by the header information acquiring unit 11, and second decoded data (decoded SBR data) is generated.

このとき、例えばストリームの一部が消失した(=エラーが発生した)等により、ヘッダ情報取得手段11でヘッダ情報を取得できなかったときには、第1復号化手段11で復号化された第1復号化データ(デコード後のBaseCodecデータ)に基づき、高域成分擬似生成手段13により高域成分データを擬似的に生成する。そして、出力制御手段15により、第1復号化データ(デコード後のBaseCodecデータ)が上記生成された高域成分データと併せて出力される。これにより、エラー発生後に次にヘッダ情報を取得できるまで無音状態にしたり第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   At this time, for example, when header information cannot be acquired by the header information acquisition unit 11 due to loss of a part of the stream (= error has occurred), the first decoding decoded by the first decoding unit 11 Based on the digitized data (BaseCodec data after decoding), the high frequency component pseudo-generating means 13 generates pseudo high frequency component data. Then, the output control means 15 outputs the first decoded data (BaseCodec data after decoding) together with the generated high frequency component data. As a result, the silence state can be shortened and the high frequency component can be output as compared with the case where the silence state is obtained until the next header information can be acquired after the error occurs or only the first decoded data (BaseCodec data after decoding) is output. Therefore, it is possible to reduce a sense of incongruity in hearing.

また、本実施形態のデジタル音声データ処理装置1を用いたデジタル音声データ処理方法においては、フレーム化された複数のフレーム列からなる符号化データであって、複数のフレーム列は、基準フレームSF及び非基準フレームIFからなる複数のフレームを含み、非基準フレームIFが、音声情報を符号化した非基準第1データBaseCodecと、この非基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データSBRとを含み、基準フレームSFが、音声情報を符号化した基準第1データBaseCodecと、この基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、非基準第2データSBRの演算処理を行うためのヘッダ情報を備えた処理ヘッダ(SBRヘッダ)を有する基準第2データSBRとを含む、ストリームを処理するデジタル音声データ処理方法であって、基準フレームSFの基準第2データSBRに備えられた処理ヘッダのヘッダ情報を取得するヘッダ情報取得手順(この例では図5のステップS15)と、基準フレームSF又は非基準フレームIFの基準第1データBaseCodec又は非基準第1データBaseCodecを復号化し、第1復号化データ(デコード後のBaseCodecデータ)を生成する第1復号化手順(この例ではBaseCodecDecode部11によるBaseCodecデコード手順)と、基準フレームSF又は非基準フレームIFの基準第2データSBR又は非基準第2データSBRを、ヘッダ情報取得手順S15で取得したヘッダ情報を用いて復号化し、第2復号化データ(デコード後のSBRデータ)を生成する第2復号化手順(この例では図5のステップS35)と、ヘッダ情報取得手順S15でヘッダ情報を取得できなかった場合に、第1復号化手順(BaseCodecDecode部11によるBaseCodecデコード手順)で復号化した第1復号化データ(デコード後のBaseCodecデータ)に基づき、高域成分データを生成し、第1復号化データ(デコード後のBaseCodecデータ)と高域成分データを併せて出力することを特徴とする。   Further, in the digital audio data processing method using the digital audio data processing apparatus 1 of the present embodiment, the encoded data is composed of a plurality of framed frame sequences, and the plurality of frame sequences are the reference frames SF and The non-reference frame IF includes a plurality of frames composed of non-reference frames IF. The non-reference frame IF is encoded non-reference first data BaseCodec and band expansion information for expanding the reproduction band of the non-reference first data BaseCodec. Non-reference second data SBR encoded with reference frame SF, and reference frame SF includes reference first data BaseCodec encoded with audio information, and band expansion information for expanding the reproduction band of the reference first data BaseCodec. Encoded header information for performing non-reference second data SBR calculation processing Including a reference second data SBR having a processing header (SBR header) having a processing header and a header of a processing header provided in the reference second data SBR of the reference frame SF A header information acquisition procedure for acquiring information (step S15 in FIG. 5 in this example), the reference first data BaseCodec or the non-reference first data BaseCodec of the reference frame SF or the non-reference frame IF, and the first decoded data A first decoding procedure (BaseCodec decoding procedure by the BaseCodeDecode unit 11 in this example) for generating (decoded BaseCodec data), and a reference second data SBR or non-reference second data SBR of the reference frame SF or non-reference frame IF The header information acquisition hand In the second decoding procedure (step S35 in FIG. 5 in this example) for decoding using the header information acquired in S15 to generate second decoded data (decoded SBR data), and in the header information acquisition procedure S15 When the header information cannot be acquired, high frequency component data is generated based on the first decoded data (BaseCodec data after decoding) decoded by the first decoding procedure (BaseCodec decoding procedure by the BaseCodeDecode unit 11). The first decoded data (BaseCodec data after decoding) and the high frequency component data are output together.

本実施形態のデジタル音声データ処理方法においては、ヘッダ情報取得手順S15でヘッダ情報を取得できなかった場合に、復号化された第1復号化データ(デコード後のBaseCodecデータ)に基づき、高域成分データを生成し、第1復号化データ(デコード後のBaseCodecデータ)と生成された高域成分データとが併せて出力される。これにより、エラー発生後に次にヘッダ情報を取得できるまで無音状態にしたり第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   In the digital audio data processing method of the present embodiment, when the header information cannot be acquired in the header information acquisition procedure S15, the high frequency component is based on the decoded first decoded data (the decoded BaseCodec data). Data is generated, and the first decoded data (BaseCodec data after decoding) and the generated high frequency component data are output together. As a result, the silence state can be shortened and the high frequency component can be output as compared with the case where the silence state is obtained until the next header information can be acquired after the error occurs or only the first decoded data (BaseCodec data after decoding) is output. Therefore, it is possible to reduce a sense of discomfort in hearing.

上記実施形態におけるデジタル音声データ処理装置1においては、ストリームの一部が消失したかどうかを判定するエラー判定手段(この例ではBaseCodecDecode部11)を有し、高域成分擬似生成手段13は、エラー判定手段11で非基準フレームIFが消失したと判定された場合に、高域成分データを生成することを特徴とする。   The digital audio data processing apparatus 1 in the above embodiment has error determination means (BaseCodeDecode unit 11 in this example) for determining whether or not a part of the stream has been lost, and the high frequency component pseudo generation means 13 When the determination unit 11 determines that the non-reference frame IF has disappeared, high-frequency component data is generated.

本実施形態においては、エラー判定手段11で非基準フレームIFが消失したと判定した場合に、高域成分擬似生成手段13により高域成分データを生成する。これにより、非基準フレームIFが消失するエラーが発生した後に次にヘッダ情報を取得できるまで無音状態にしたり第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   In the present embodiment, when the error determination means 11 determines that the non-reference frame IF has disappeared, the high frequency component pseudo generation means 13 generates high frequency component data. As a result, the silent state is shortened compared to the case where the silent state is obtained until the next header information can be acquired after the error that the non-reference frame IF is lost, or only the first decoded data (the decoded BaseCodec data) is output. In addition, it is possible to reduce a sense of discomfort in the sense of hearing by outputting a high frequency component.

また本実施形態におけるデジタル音声データ処理方法においては、ストリームの一部が消失したかどうかを判定するエラー判定手順(この例では図5のステップS10)を有し、このエラー判定手順S10で非基準フレームIFが消失したと判定された場合に、高域成分データを生成することを特徴とする。   Further, the digital audio data processing method according to the present embodiment has an error determination procedure (in this example, step S10 in FIG. 5) for determining whether or not a part of the stream has been lost. High frequency component data is generated when it is determined that the frame IF has disappeared.

本実施形態においては、非基準フレームIFが消失したと判定した場合に、高域成分データを生成する。これにより、非基準フレームIFが消失するエラーが発生した後に次にヘッダ情報を取得できるまで無音状態にしたり第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   In this embodiment, high frequency component data is generated when it is determined that the non-reference frame IF has disappeared. As a result, the silent state is shortened compared to the case where the silent state is obtained until the next header information can be acquired after the error that the non-reference frame IF is lost, or only the first decoded data (the decoded BaseCodec data) is output. In addition, it is possible to reduce a sense of discomfort in the sense of hearing by outputting a high frequency component.

上記実施形態におけるデジタル音声データ処理装置1においては、エラー判定手段11で非基準フレームIFが消失したと判定された場合、当該消失した非基準フレームIFに対応した所定のエラー用データ(この例ではmuteデータ)を生成するエラー用データ生成手段(この例ではエラー処理部12)を有することを特徴とする。   In the digital audio data processing apparatus 1 in the above embodiment, when the error determination unit 11 determines that the non-reference frame IF has been lost, predetermined error data corresponding to the lost non-reference frame IF (in this example, It is characterized by having error data generation means (in this example, error processing unit 12) for generating mute data.

これにより、エラー発生時において対応する所定のエラー用データを出力することができる。   Thereby, it is possible to output predetermined error data corresponding to the occurrence of an error.

また、上記実施形態におけるデジタル音声データ処理方法においては、エラー判定手順S10で非基準フレームIFが消失したと判定された場合、当該消失した非基準フレームIFに対応した所定のエラー用データ(この例ではmuteデータ)を生成するエラー用データ生成手順(この例ではステップS60)を有することを特徴とする。   In the digital audio data processing method in the above embodiment, when it is determined in the error determination procedure S10 that the non-reference frame IF has been lost, predetermined error data corresponding to the lost non-reference frame IF (this example) Is characterized in that it has an error data generation procedure (in this example, step S60).

これにより、エラー発生時において対応する所定のエラー用データを出力することができる。   Thereby, it is possible to output predetermined error data corresponding to the occurrence of an error.

図6〜図8は、それぞれ、以上列挙した本実施形態の各効果を、具体的に説明するための説明図である。図中、横軸には時間軸をとり、図6は、入力されるストリームにおける各フレームの挙動の例を表し、図7は、図6に対応した本実施形態のデジタル音声データ処理装置1からの出力挙動を表し、図8は、エラー発生後に第1復号化データ(デコード後のBaseCodecデータ)しか出力しない比較例による出力挙動を表している。   6 to 8 are explanatory diagrams for specifically explaining the respective effects of the present embodiment listed above. In the figure, the horizontal axis represents the time axis, FIG. 6 shows an example of the behavior of each frame in the input stream, and FIG. 7 shows the digital audio data processing apparatus 1 of the present embodiment corresponding to FIG. FIG. 8 shows an output behavior according to a comparative example in which only the first decoded data (BaseCodec data after decoding) is output after an error occurs.

図7及び図8において、SBRヘッダのある基準フレームSFを(エラー発生なく)受信できている場合、及び、その後のSBRヘッダのない非基準フレームIFをその後エラー発生なく受信できている場合は、本実施形態及び比較例とも同様であり、BaseCodec部とSBR部との両方をデコードでき、それら第1復号化デコードデータ及び第2復号化データ(「SBRデコード」と表す)を併せて出力することができる。   7 and 8, when the reference frame SF with the SBR header can be received (without error occurrence), and when the non-reference frame IF without the SBR header thereafter can be received without error occurrence, The same applies to the present embodiment and the comparative example, both the BaseCodec part and the SBR part can be decoded, and the first decoded decoded data and the second decoded data (represented as “SBR decode”) are output together. Can do.

また、あるフレームでエラーが発生した(フレームの少なくとも一部が消失した)場合についても、本実施形態と比較例とで差異はなく、所定のエラー用データ(この例では無音状態であるmute)を出力することができる。   Also, when an error occurs in a certain frame (at least a part of the frame is lost), there is no difference between this embodiment and the comparative example, and predetermined error data (mute in this example is a silent state) Can be output.

一方、上記エラーが発生したフレームの後(次にSBRヘッダを取得できるフレームの前まで)のフレームについては、上記比較例と本実施形態とで異なる。すなわち、図8に示すように、上記比較例では、エラーが発生したら、その後新たにSBRヘッダのヘッダ情報を取得するまで、SBR部のデコード処理を行うことができず、BaseCodec部のみの低域の復号化データを出力する。   On the other hand, the frame after the frame in which the error has occurred (until the next frame before the SBR header can be acquired) differs between the comparative example and the present embodiment. That is, as shown in FIG. 8, in the above comparative example, when an error occurs, the SBR part cannot be decoded until a new header information of the SBR header is acquired thereafter, and only the base codec part is low. The decoded data is output.

一方、図7に示すように、本実施形態では、BaseCodec部の復号化データに基づき、当該BaseCodecデータよりも高い再生帯域を有する高域成分データを擬似的に生成し、復号化されたBaseCodecデータと擬似的に生成した高域成分データとを併せて出力するので、聴感上の違和感を低減することができる。   On the other hand, as shown in FIG. 7, in this embodiment, based on the decoded data of the BaseCodec unit, high-frequency component data having a reproduction band higher than that of the BaseCodec data is artificially generated and decoded BaseCodec data. And the pseudo-generated high-frequency component data are output together, so that the sense of incongruity can be reduced.

なお、以上は、地上波デジタル放送(例えばいわゆる1Segmentを利用した放送)に対応した携帯電話機に適用した場合を例にとって説明したが、これに限られず、他の携帯端末、モバイル機器等に適用が可能である。特に、エラーが多発する車載端末に適用した場合に効果的である。   In the above, the case where the present invention is applied to a mobile phone that supports terrestrial digital broadcasting (for example, broadcasting using a so-called 1 Segment) has been described as an example. However, the present invention is not limited to this and can be applied to other mobile terminals, mobile devices, and the like. Is possible. In particular, it is effective when applied to an in-vehicle terminal in which errors frequently occur.

上記実施形態におけるデジタル音声データ処理装置1は、フレーム化された複数のフレーム列からなる符号化データであって、複数のフレーム列は、基準フレームSF及び非基準フレームIFからなる複数のフレームを含み、非基準フレームIFが、音声情報を符号化したBaseCodecと、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化したSBRとを含み、基準フレームSFが、音声情報を符号化したBaseCodecと、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、SBRの演算処理を行うためのヘッダ情報を備えたSBRヘッダを有するSBRとを含む、ストリームを処理するデジタル音声データ処理装置1であって、基準フレームSFのSBRに備えられた処理ヘッダのヘッダ情報を取得するBaseCodecDecode部11と、基準フレームSF又は非基準フレームIFのBaseCodecを復号化し、デコード後のBaseCodecデータを生成するBaseCodecDecode部11と、基準フレームSF又は非基準フレームIFのSBRを、BaseCodecDecode部11で取得したヘッダ情報を用いて復号化し、デコード後のSBRデータを生成するSBRDecode部14と、BaseCodecDecode部11でヘッダ情報を取得できなかった場合に、BaseCodecDecode部11で復号化されたBaseCodecに基づき、当該BaseCodecデータよりも高い再生帯域を有する高域成分データを擬似的に生成する高域成分擬似生成処理部13と、BaseCodecと高域成分データを併せて出力するためのスイッチ15とを有する。   The digital audio data processing apparatus 1 in the above embodiment is encoded data composed of a plurality of framed frame sequences, and the plurality of frame sequences include a plurality of frames composed of a reference frame SF and a non-reference frame IF. The non-reference frame IF includes BaseCodec in which audio information is encoded, and SBR in which band expansion information for expanding the reproduction band of the BaseCodec is encoded, and the base codec in which the reference frame SF encodes audio information. And SBR having an SBR header that is configured by encoding band expansion information for expanding the playback band of the BaseCodec and having header information for performing an SBR calculation process. The data processing apparatus 1 is prepared for the SBR of the reference frame SF. A BaseCodeDecode unit 11 that obtains header information of the processed header, a BaseCodeDecode unit 11 that decodes the BaseCodec of the reference frame SF or the non-reference frame IF, and generates BaseCodec data after decoding, and the reference frame SF or the non-reference frame IF When the header information acquired by the BaseCodeDecode unit 11 is decoded and the header information cannot be acquired by the SBRDecode unit 14 that generates the decoded SBR data and the BaseCodeDecode unit 11, the BaseCodeDecode unit 11 decodes the SBR. Based on the converted BaseCodec, high frequency component data that pseudo-generates high frequency component data having a higher reproduction band than the BaseCodec data is generated. A pseudo generation processing unit 13, and a switch 15 for outputting together BaseCodec and high frequency component data.

本実施形態においては、ストリームに備えられる複数のフレームのそれぞれが、BaseCodec及びSBRヘッダを有するSBRを含む基準フレームSFと、BaseCodec及びSBRを含む非基準フレームIFとから構成されている。そのうち、BaseCodecがBaseCodecDecode部11で復号化されてBaseCodecデータが生成される一方、SBRについては、BaseCodecDecode部11で取得したヘッダ情報を用いてSBRDecode部14で復号化され、SBRデータが生成される。   In the present embodiment, each of the plurality of frames provided in the stream includes a reference frame SF including an SBR having a BaseCodec and an SBR header, and a non-reference frame IF including the BaseCodec and SBR. Among them, the BaseCodec is decoded by the BaseCodeDecode unit 11 to generate BaseCodec data, while the SBR is decoded by the SBRDecode unit 14 using the header information acquired by the BaseCodeDecode unit 11 to generate SBR data.

このとき、例えばストリームの一部が消失した(=エラーが発生した)等により、BaseCodecDecode部11でヘッダ情報を取得できなかったときには、BaseCodecDecode部11で復号化されたBaseCodecデータに基づき、高域成分擬似生成処理部13により高域成分データを擬似的に生成する。そして、スイッチ15により、BaseCodecデータが上記生成された高域成分データと併せて出力される。これにより、エラー発生後に次にヘッダ情報を取得できるまで無音状態にしたりBaseCodecしか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   At this time, for example, when the header information cannot be acquired by the BaseCodeDecode unit 11 due to loss of a part of the stream (= an error has occurred), the high frequency component is based on the BaseCodec data decoded by the BaseCodeDecode unit 11 The pseudo generation processing unit 13 generates pseudo high frequency component data. Then, the BaseCodec data is output together with the generated high frequency component data by the switch 15. As a result, the silence state can be shortened and the sense of incongruity can be reduced by outputting a high frequency component as compared with the case where the silence information is output until the next header information can be acquired after the error occurs or only the BaseCodec is output. it can.

また、本実施形態のデジタル音声データ処理装置1を用いたデジタル音声データ処理方法においては、フレーム化された複数のフレーム列からなる符号化データであって、複数のフレーム列は、基準フレームSF及び非基準フレームIFからなる複数のフレームを含み、非基準フレームIFが、音声情報を符号化したBaseCodecと、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化したSBRとを含み、基準フレームSFが、音声情報を符号化したBaseCodecと、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、SBRの演算処理を行うためのヘッダ情報を備えたSBRヘッダを有するSBRとを含む、ストリームを処理するデジタル音声データ処理方法であって、基準フレームSFのSBRに備えられたSBRヘッダのヘッダ情報を取得するステップS15と、基準フレームSF又は非基準フレームIFのBaseCodecを復号化し、BaseCodecデータを生成するBaseCodecDecode部11によるBaseCodecデコード手順と、基準フレームSF又は非基準フレームIFのSBRを、ステップS15で取得したヘッダ情報を用いて復号化し、SBRデータを生成するステップS35と、ステップS15でヘッダ情報を取得できなかった場合に、BaseCodecDecode部11によるBaseCodecデコード手順で復号化したBaseCodecデータに基づき、当該BaseCodecデータよりも高い再生帯域を有する高域成分データを擬似的に生成し、BaseCodecデータと高域成分データを併せて出力する。   Further, in the digital audio data processing method using the digital audio data processing apparatus 1 of the present embodiment, the encoded data is composed of a plurality of framed frame sequences, and the plurality of frame sequences are the reference frames SF and Including a plurality of frames composed of non-reference frames IF, the non-reference frame IF includes a BaseCodec in which audio information is encoded, and an SBR in which band expansion information for expanding the reproduction band of the BaseCodec is encoded, The frame SF is configured by encoding BaseCodec in which audio information is encoded and band expansion information for expanding the reproduction band of the BaseCodec, and has an SBR header including header information for performing SBR calculation processing. Digital audio data processing method for processing a stream, including SBR Step S15 for obtaining the header information of the SBR header provided in the SBR of the reference frame SF, and the BaseCodec decoding procedure by the BaseCodecDecode unit 11 for decoding the BaseCodec of the reference frame SF or the non-reference frame IF and generating the BaseCodec data When the SBR of the reference frame SF or the non-reference frame IF is decoded using the header information acquired in step S15 to generate SBR data, and when the header information cannot be acquired in step S15, BaseCodeDecode Based on the BaseCodec data decoded by the BaseCodec decoding procedure by the unit 11, high-frequency component data having a higher reproduction band than the BaseCodec data is simulated. Generated and output together BaseCodec data and the high-frequency component data.

本実施形態のデジタル音声データ処理方法においては、ステップS15でヘッダ情報を取得できなかった場合に、復号化されたBaseCodecデータに基づき、高域成分データを生成し、BaseCodecデータと生成された高域成分データとが併せて出力される。これにより、エラー発生後に次にヘッダ情報を取得できるまで無音状態にしたりBaseCodecデータしか出力しない場合に比べ、無音状態を短縮できると共に、高域成分を出力することにより聴感上の違和感を低減することができる。   In the digital audio data processing method of the present embodiment, when header information cannot be acquired in step S15, high frequency component data is generated based on the decoded BaseCodec data, and the BaseCodec data and the generated high frequency band are generated. The component data is also output. As a result, the silent state can be shortened and the sense of discomfort can be reduced by outputting a high frequency component as compared with the case where the silent state is obtained until the next header information can be acquired after the error occurs, or only the BaseCodec data is output. Can do.

本発明の一実施形態の携帯電話機の全体外観を表す斜視図である。It is a perspective view showing the whole external appearance of the mobile phone of one embodiment of the present invention. 図1に示した携帯電話機の機能的構成を表す機能ブロック図である。It is a functional block diagram showing the functional structure of the mobile telephone shown in FIG. ストリームのうち音声に係わる部分を抜き出して概念的に表す模式図である。FIG. 3 is a schematic diagram conceptually showing a portion related to audio extracted from a stream. 図2に示した信号処理部のうち音声信号の再生処理に係わる構成を表す機能ブロック図である。FIG. 3 is a functional block diagram illustrating a configuration related to audio signal reproduction processing in the signal processing unit illustrated in FIG. 2. BaseCodecDecode部が各フレームごとに実行する処理手順を表すフローチャートである。It is a flowchart showing the process sequence which a BaseCodeDecode part performs for every frame. 本発明の一実施形態の各効果を、具体的に説明するための説明図である。It is explanatory drawing for demonstrating concretely each effect of one Embodiment of this invention. 本発明の一実施形態の各効果を、具体的に説明するための説明図である。It is explanatory drawing for demonstrating concretely each effect of one Embodiment of this invention. 本発明の一実施形態の各効果を、具体的に説明するための説明図である。It is explanatory drawing for demonstrating concretely each effect of one Embodiment of this invention.

符号の説明Explanation of symbols

1 携帯電話機(デジタル音声データ処理装置)
11 BaseCodecDecode部(エラー判定手段、ヘッダ情報取得手段、第1復号化手段、第2復号化手段、解析手段、照合手段)
12 エラー処理部(エラー用データ生成手段)
13 高域成分擬似生成処理部(高域成分擬似生成手段)
15 スイッチ(出力制御手段)
IF 非基準フレーム
SF 基準フレーム
1 Mobile phone (digital audio data processing device)
11 BaseCodeDecode section (error determination means, header information acquisition means, first decoding means, second decoding means, analysis means, verification means)
12 Error processing section (error data generation means)
13 High-frequency component pseudo-generation processing unit (high-frequency component pseudo-generation means)
15 switch (output control means)
IF non-reference frame SF reference frame

Claims (6)

フレーム化された複数のフレーム列からなる符号化データであって、
前記複数のフレーム列は、基準フレーム及び非基準フレームを含み、
前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、
前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理装置であって、
前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手段と、
前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、
前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手段で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手段と、
前記ヘッダ情報取得手段で前記ヘッダ情報を取得できなかった場合に、前記第1復号化手段で復号化された第1復号化データに基づき、当該第1復号化データよりも高い再生帯域を有する高域成分データを擬似的に生成する高域成分擬似生成手段と、
前記第1復号化データと前記高域成分データを併せて出力するための出力制御手段と
を有することを特徴とするデジタル音声データ処理装置。
Encoded data consisting of a plurality of framed frames,
The plurality of frame sequences includes a reference frame and a non-reference frame;
The non-reference frame includes non-reference first data obtained by encoding audio information, and non-reference second data obtained by encoding band expansion information for expanding a reproduction band of the non-reference first data,
The reference frame is configured by encoding reference first data obtained by encoding audio information and band expansion information for expanding a reproduction band of the reference first data, and performing calculation processing of the non-reference second data. A digital audio data processing device for processing a stream, including reference second data having a processing header with header information for performing,
Header information acquisition means for acquiring the header information of the processing header provided in the reference second data of the reference frame;
First decoding means for decoding the reference first data or the non-reference first data of the reference frame or the non-reference frame and generating first decoded data;
A second decoding unit that generates the second decoded data by decoding the reference second data or the non-reference second data of the reference frame or the non-reference frame using the header information acquired by the header information acquisition unit. Decryption means;
When the header information acquisition unit cannot acquire the header information, a high reproduction band having a higher reproduction band than the first decoded data is obtained based on the first decoded data decoded by the first decoding unit. High-frequency component pseudo-generating means for generating pseudo-frequency component data;
A digital audio data processing apparatus comprising: output control means for outputting the first decoded data and the high frequency component data together.
請求項1記載のデジタル音声データ処理装置において、
前記ストリームの一部が消失したかどうかを判定するエラー判定手段を有し、
前記高域成分擬似生成手段は、前記エラー判定手段で前記非基準フレームが消失したと判定された場合に、前記高域成分データを生成することを特徴とするデジタル音声データ処理装置。
The digital audio data processing apparatus according to claim 1, wherein
Error determination means for determining whether a part of the stream has been lost,
The digital high-frequency component data generation device characterized in that the high-frequency component pseudo generation means generates the high-frequency component data when the error determination means determines that the non-reference frame has disappeared.
請求項2記載のデジタル音声データ処理装置において、
前記エラー判定手段で前記非基準フレームが消失したと判定された場合、当該消失した非基準フレームに対応した所定のエラー用データを生成するエラー用データ生成手段
を有することを特徴とするデジタル音声データ処理装置。
The digital audio data processing apparatus according to claim 2, wherein
Digital audio data comprising error data generation means for generating predetermined error data corresponding to the lost non-reference frame when the error determination means determines that the non-reference frame is lost Processing equipment.
フレーム化された複数のフレーム列からなる符号化データであって、
前記複数のフレーム列は、基準フレーム及び非基準フレームからなる複数のフレームを含み、
前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、
前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理方法であって、
前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手順と、
前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手順と、
前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手順で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手順とを有し、
前記ヘッダ情報取得手順で前記ヘッダ情報を取得できなかった場合に、前記第1復号化手順で復号化した第1復号化データに基づき、当該第1復号化データよりも高い再生帯域を有する高域成分データを擬似的に生成し、前記第1復号化データと前記高域成分データを併せて出力することを特徴とするデジタル音声データ処理方法。
Encoded data consisting of a plurality of framed frames,
The plurality of frame sequences includes a plurality of frames including a reference frame and a non-reference frame,
The non-reference frame includes non-reference first data obtained by encoding audio information, and non-reference second data obtained by encoding band expansion information for expanding a reproduction band of the non-reference first data,
The reference frame is configured by encoding reference first data obtained by encoding audio information and band expansion information for expanding a reproduction band of the reference first data, and performing calculation processing of the non-reference second data. A digital audio data processing method for processing a stream, including reference second data having a processing header with header information for performing,
A header information acquisition procedure for acquiring the header information of the processing header provided in the reference second data of the reference frame;
A first decoding procedure for decoding the reference first data or the non-reference first data of the reference frame or the non-reference frame to generate first decoded data;
A second decoding unit that generates the second decoded data by decoding the reference second data or the non-reference second data of the reference frame or the non-reference frame using the header information acquired in the header information acquisition procedure. A decryption procedure,
When the header information cannot be acquired by the header information acquisition procedure, a high frequency band having a higher reproduction band than the first decoded data based on the first decoded data decoded by the first decoding procedure A digital audio data processing method characterized by generating component data in a pseudo manner and outputting the first decoded data and the high frequency component data together.
請求項4記載のデジタル音声データ処理方法において、
前記ストリームの一部が消失したかどうかを判定するエラー判定手順を有し、
このエラー判定手順で前記非基準フレームが消失したと判定された場合に、前記高域成分データを生成することを特徴とするデジタル音声データ処理方法。
The digital audio data processing method according to claim 4, wherein
Having an error determination procedure for determining whether a part of the stream has been lost;
The digital audio data processing method, wherein the high frequency component data is generated when it is determined in the error determination procedure that the non-reference frame is lost.
請求項5記載のデジタル音声データ処理方法において、
前記エラー判定手順で前記非基準フレームが消失したと判定された場合、当該消失した非基準フレームに対応した所定のエラー用データを生成するエラー用データ生成手順
を有することを特徴とするデジタル音声データ処理方法。
The digital audio data processing method according to claim 5, wherein
Digital audio data comprising an error data generation procedure for generating predetermined error data corresponding to the lost non-reference frame when it is determined in the error determination procedure that the non-reference frame has been lost Processing method.
JP2008517814A 2006-05-25 2007-05-09 Digital audio data processing apparatus and processing method Expired - Fee Related JP4551472B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006145553 2006-05-25
JP2006145553 2006-05-25
PCT/JP2007/059585 WO2007138825A1 (en) 2006-05-25 2007-05-09 Digital audio data processing device and processing method

Publications (2)

Publication Number Publication Date
JPWO2007138825A1 JPWO2007138825A1 (en) 2009-10-01
JP4551472B2 true JP4551472B2 (en) 2010-09-29

Family

ID=38778345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008517814A Expired - Fee Related JP4551472B2 (en) 2006-05-25 2007-05-09 Digital audio data processing apparatus and processing method

Country Status (2)

Country Link
JP (1) JP4551472B2 (en)
WO (1) WO2007138825A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140692A (en) * 2001-11-02 2003-05-16 Matsushita Electric Ind Co Ltd Coding device and decoding device
JP2005024756A (en) * 2003-06-30 2005-01-27 Toshiba Corp Decoding process circuit and mobile terminal device
JP2005222014A (en) * 2004-01-08 2005-08-18 Matsushita Electric Ind Co Ltd Device and method for signal decoding
WO2005106848A1 (en) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. Scalable decoder and expanded layer disappearance hiding method
JP2005338200A (en) * 2004-05-24 2005-12-08 Matsushita Electric Ind Co Ltd Device and method for decoding speech and/or musical sound

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140692A (en) * 2001-11-02 2003-05-16 Matsushita Electric Ind Co Ltd Coding device and decoding device
JP2005024756A (en) * 2003-06-30 2005-01-27 Toshiba Corp Decoding process circuit and mobile terminal device
JP2005222014A (en) * 2004-01-08 2005-08-18 Matsushita Electric Ind Co Ltd Device and method for signal decoding
WO2005106848A1 (en) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. Scalable decoder and expanded layer disappearance hiding method
JP2005338200A (en) * 2004-05-24 2005-12-08 Matsushita Electric Ind Co Ltd Device and method for decoding speech and/or musical sound

Also Published As

Publication number Publication date
JPWO2007138825A1 (en) 2009-10-01
WO2007138825A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
TWI466102B (en) Method and apparatus for error concealment of encoded audio data
JP2006505193A (en) Multimedia transmission using variable error coding rate based on data importance
JPH0955778A (en) Bandwidth widening device for sound signal
JP4792001B2 (en) Moving picture decoding apparatus, broadcast receiving apparatus, moving picture decoding method
US7711011B2 (en) Play-out apparatus and method for switching a channel in a digital multimedia broadcasting receiver
EP1879310A1 (en) Method for decoding a digital radio stream
JP2006222838A (en) Information processing system
JP2008211361A (en) Radio communication method and reception device
MX2010010368A (en) Systems, methods and apparatus for transmitting data over a voice channel of a wireless telephone network.
JP2005024756A (en) Decoding process circuit and mobile terminal device
JP4551472B2 (en) Digital audio data processing apparatus and processing method
JP5047519B2 (en) Digital audio data processing apparatus and processing method
JP4505020B2 (en) Interpolator
US20100086284A1 (en) Personal recording apparatus and control method thereof
JP4003948B2 (en) Digital broadcast content transmission side device, reception side device, broadcast system, and broadcast method
JP4359246B2 (en) Output method and communication apparatus using the same
US6198499B1 (en) Radio-communication video terminal device
JP4953707B2 (en) Digital broadcast receiver
JP4486387B2 (en) Error compensation apparatus and error compensation method
KR100756019B1 (en) Digital multimedia broadcastingdmb receiving apparatus and method for outputting dmb signal through a common broadcasting signal outputting apparatus
JP4683908B2 (en) Video / audio output device
KR100698648B1 (en) Mobile communication terminal for streaming without interruption
JP2007189352A (en) Mobile communication terminal with broadcast receiving function
JP2006211137A (en) Communication terminal
JP2007124445A (en) Digital broadcasting recording reproducer

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100709

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4551472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees