JP2006139827A - Device for recording three-dimensional sound field information, and program - Google Patents
Device for recording three-dimensional sound field information, and program Download PDFInfo
- Publication number
- JP2006139827A JP2006139827A JP2004326803A JP2004326803A JP2006139827A JP 2006139827 A JP2006139827 A JP 2006139827A JP 2004326803 A JP2004326803 A JP 2004326803A JP 2004326803 A JP2004326803 A JP 2004326803A JP 2006139827 A JP2006139827 A JP 2006139827A
- Authority
- JP
- Japan
- Prior art keywords
- sound field
- audio
- information
- dimensional sound
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
本発明は、3次元音場情報の記録再生を、2次元音場オーディオ情報と互換を保って好適に実現する3次元音場情報記録装置及びプログラムに関する。 The present invention relates to a three-dimensional sound field information recording apparatus and a program that suitably realize recording and reproduction of three-dimensional sound field information while maintaining compatibility with two-dimensional sound field audio information.
従来、いくつかの方式で3次元音場に関する技術、即ち、スピーカーのないところからあたかもスピーカーがあるように音を定位させて再生する技術が提案されている。また、DVDビデオ、DVDオーディオなどの規格に関する技術も提案されている。 Conventionally, a technique related to a three-dimensional sound field, that is, a technique for localizing and reproducing a sound as if there is a speaker from a place where there is no speaker has been proposed. In addition, techniques related to standards such as DVD video and DVD audio have been proposed.
例えば、3次元バーチャルリアリティシステム等において、仮想体験による臨場感を向上させる手段として、音像定位装置が使用されている。この種のシステムでは、例えばモノラル音源からバイノーラル手法に基づいて、時間差、振幅差及び周波数特性差を持つ複数チャネルの信号を発生させることにより、聴感上、方向感及び距離感を与えて立体音場を生成する。 For example, in a three-dimensional virtual reality system or the like, a sound image localization device is used as a means for improving a sense of reality by a virtual experience. In this type of system, for example, a three-dimensional sound field is generated from a monaural sound source by generating a multi-channel signal having a time difference, an amplitude difference, and a frequency characteristic difference based on a binaural method, thereby giving a sense of direction and a sense of distance. Is generated.
即ち、オーディオ入力信号は、例えばノッチフィルタにより特定の周波数成分が減衰されて上下方向感が付与され、遅延回路によって時間差を持つ左右チャネルの信号に変換され、FIR(有限インパルス応答)フィルタにより、仮想音源位置からの音響伝達特性が付与される。FIRフィルタのフィルタ係数は、予めダミーヘッドにより測定された頭部伝達関数(HRTF:Head Related Transfer Function)を記憶したHRTFデータベースから与えられる。 That is, the audio input signal has a specific frequency component attenuated by, for example, a notch filter to give a sense of vertical direction, is converted into a left and right channel signal having a time difference by a delay circuit, and is virtually converted by a FIR (finite impulse response) filter. A sound transfer characteristic from the sound source position is given. The filter coefficient of the FIR filter is given from an HRTF database storing a head related transfer function (HRTF) measured in advance by a dummy head.
このような従来の音像定位装置では、すべての仮想音源位置からのHRTFを記憶しておくことは不可能であるため、通常はリスナから所定距離だけ離れた位置からの伝達特性のみを測定して記憶することで発生する所定外の距離における各耳で感じる音像が一致せず良好に定位しないという問題を解決するために、リスナから前記所定距離とは異なる距離だけ隔てた位置が仮想音源位置として指定された際、その指定された仮想音源位置により特定される伝達距離及び伝達方向とリスナの両耳間の距離とに基づいて前記仮想音源位置から前記リスナの各耳に至る右チャネルの伝達方向と左チャネルの伝達方向とをそれぞれ算出し、これら左右チャンネルの伝達方向により前記左右チャネル用のフィルタの音響伝達特性をそれぞれ決定する技術が特許文献1に開示されている。
In such a conventional sound image localization device, it is impossible to store HRTFs from all virtual sound source positions, so usually only the transfer characteristics from a position away from the listener by a predetermined distance are measured. In order to solve the problem that sound images sensed by each ear at a distance other than the predetermined distance generated by storage do not match and are not localized well, a position separated from the listener by a distance different from the predetermined distance is a virtual sound source position When specified, the transmission direction of the right channel from the virtual sound source position to each ear of the listener based on the transmission distance and direction specified by the designated virtual sound source position and the distance between the listener's ears And the transmission direction of the left channel, and the sound transmission characteristics of the left and right channel filters are determined by the transmission directions of the left and right channels, respectively. There is disclosed in
また、特許文献2には、DVDビデオやDVDオーディオのフォーマットに互換性を持って独自のデータを記述する方法の一例が開示されている。
従来、3次元音場情報を記録再生する際に、ノーマルなノーマルオーディオ情報と互換を保って3次元音場情報再生を可能とするフォーマットを提供し、空間音響の空間定位技術を用いた音響の再生を、既存のDVDビデオ規格やDVDオーディオのようにステレオ再生を含む従来再生方法と互換性を持って記録再生することができる装置がなく、ノーマルオーディオと3次元音場の双方の再生を可能とする装置が要望されていた。ここでいうノーマルオーディオとは、3次元音場オーディオ以外のものと定義する。例えば、通常のステレオオーディオである。 Conventionally, when recording and playing back 3D sound field information, a format that enables playback of 3D sound field information while maintaining compatibility with normal normal audio information has been provided. There is no device that can record and play back with conventional playback methods including stereo playback like the existing DVD video standard and DVD audio, and both normal audio and 3D sound fields can be played back. There has been a demand for a device. Normal audio here is defined as something other than three-dimensional sound field audio. For example, normal stereo audio.
そこで本発明は、ステレオ再生を含む従来再生方法と互換性を持ってノーマルオーディオと3次元音場の双方の再生を可能とする3次元音場情報記録装置及びプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a three-dimensional sound field information recording apparatus and program that can reproduce both normal audio and a three-dimensional sound field with compatibility with conventional reproduction methods including stereo reproduction. .
本発明の3次元音場情報記録装置は、2次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトのユーザーデータ領域に記録する手段とを具備することを特徴とする。 The three-dimensional sound field information recording apparatus of the present invention records means for recording an audio object of two-dimensional sound field audio, and means for recording management information in which information used for special reproduction of the audio object is described in a management information area And means for recording information relating to the three-dimensional sound field information in a user data area of the audio object for each predetermined unit of each frame of the two-dimensional sound field audio.
また、本発明の3次元音場情報記録装置は、2次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録する手段とを具備することを特徴とする。 The three-dimensional sound field information recording apparatus of the present invention records means for recording an audio object of two-dimensional sound field audio, and management information describing information used for special reproduction of the audio object in a management information area. And means for multiplexing and recording information about three-dimensional sound field information as stream data different from the two-dimensional sound field audio of the audio object for each predetermined unit of each frame of the two-dimensional sound field audio It is characterized by comprising.
また、本発明の3次元音場情報記録装置は、2次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記管理情報領域とは別の3次元音場用の管理情報領域に記録する手段とを具備することを特徴とする。 The three-dimensional sound field information recording apparatus of the present invention records means for recording an audio object of two-dimensional sound field audio, and management information describing information used for special reproduction of the audio object in a management information area. And means for recording information relating to 3D sound field information in a management information area for a 3D sound field different from the management information area for each predetermined unit of each frame of the 2D sound field audio. It is characterized by comprising.
また、本発明の3次元音場情報記録装置は、前記3次元音場情報に関する情報は、2次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録をすることを特徴とする。 In the three-dimensional sound field information recording apparatus according to the present invention, the information related to the three-dimensional sound field information may be obtained by differential encoding, predictive encoding, or orthogonal transform of difference information between the two-dimensional sound field audio information and binaural audio information. Recording is performed after encoding using at least one of the encoding using.
また、本発明の3次元音場情報記録プログラムは、2次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体における前記オーディオオブジェクトのユーザーデータ領域に記録させるステップとをコンピュータに実行させることを特徴とする。 The three-dimensional sound field information recording program of the present invention also includes a step of recording an audio object of two-dimensional sound field audio on a recording medium, and management information describing information used for special reproduction of the audio object. Recording in the management information area, and recording information on the three-dimensional sound field information in the user data area of the audio object in the recording medium for each predetermined unit of each frame of the two-dimensional sound field audio. It is made to perform.
また、本発明の3次元音場情報記録プログラムは、2次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録させるステップとをコンピュータに実行させることを特徴とする。 The three-dimensional sound field information recording program of the present invention also includes a step of recording an audio object of two-dimensional sound field audio on a recording medium, and management information describing information used for special reproduction of the audio object. Recording information in the management information area, and for each predetermined unit of each frame of the two-dimensional sound field audio, information relating to the three-dimensional sound field information as stream data different from the two-dimensional sound field audio of the audio object And causing the computer to execute a step of multiplexing and recording on the recording medium.
また、本発明の3次元音場情報記録プログラムは、2次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の3次元音場用の管理情報領域に記録させるステップとをコンピュータに実行させることを特徴とする。 The three-dimensional sound field information recording program of the present invention also includes a step of recording an audio object of two-dimensional sound field audio on a recording medium, and management information describing information used for special reproduction of the audio object. Recording information in the management information area for each frame, and for each predetermined unit of each frame of the two-dimensional sound field audio, information relating to the three-dimensional sound field information for a three-dimensional sound field different from the management information area in the recording medium. And causing the computer to execute the step of recording in the management information area.
また、本発明の3次元音場情報記録プログラムは、前記3次元音場情報に関する情報は、2次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録させることを特徴とする。 In the three-dimensional sound field information recording program of the present invention, the information related to the three-dimensional sound field information may be obtained by differential encoding, predictive encoding, or orthogonal transform of difference information between the two-dimensional sound field audio information and binaural audio information. The recording is performed after encoding using at least one of the encoding using.
本発明の3次元音場情報記録装置は、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録する手段を有するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場情報と互換を保って記録再生することができる。 Since the 3D sound field information recording apparatus of the present invention has means for recording information relating to 3D sound field information in the user data area of the audio object for each predetermined unit of each frame of the 2D sound field audio, the binaural 3 Two-dimensional sound field audio and two-dimensional sound field audio can be recorded in compatibility with the DVD video standard, and three-dimensional sound field information can be recorded and reproduced while maintaining compatibility with the two-dimensional sound field information.
また、本発明の3次元音場情報記録装置は、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録する手段を有するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場情報と互換を保って記録再生することができる。 Also, the 3D sound field information recording apparatus of the present invention provides information related to 3D sound field information separately from the 2D sound field audio of the audio object for each predetermined unit of each frame of the 2D sound field audio. Since it has a means to multiplex and record as stream data, binaural 3D sound field audio and 2D sound field audio can be recorded with DVD video standard compatibility, and 3D sound field information is compatible with 2D sound field information. Can be recorded and played back.
また、本発明の3次元音場情報記録装置は、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記管理情報領域とは別の3次元音場用の管理情報領域に記録する手段を有するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場情報と互換を保って記録再生することができる。 The 3D sound field information recording apparatus according to the present invention provides information on 3D sound field information for a 3D sound field separate from the management information area for each predetermined unit of each frame of 2D sound field audio. Since there is a means for recording in the management information area, binaural 3D sound field audio and 2D sound field audio can be recorded with DVD video standard compatibility, and 3D sound field information is kept compatible with 2D sound field information. Can be recorded and played back.
また、本発明の3次元音場情報記録プログラムによれば、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体におけるオーディオオブジェクトのユーザーデータ領域に記録するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場情報と互換を保って記録再生することができる。 According to the three-dimensional sound field information recording program of the present invention, information relating to the three-dimensional sound field information is recorded in the user data area of the audio object in the recording medium for each predetermined unit of each frame of the two-dimensional sound field audio. Therefore, binaural three-dimensional sound field audio and two-dimensional sound field audio can be recorded compatible with the DVD video standard, and three-dimensional sound field information can be recorded and reproduced while maintaining compatibility with the two-dimensional sound field information.
また、本発明の3次元音場情報記録装置プログラムによれば、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場情報と互換を保って記録再生することができる。 According to the three-dimensional sound field information recording apparatus program of the present invention, information relating to the three-dimensional sound field information is transmitted to the two-dimensional sound field audio of the audio object for each predetermined unit of each frame of the two-dimensional sound field audio. Multiplexes them as separate stream data and records them on a recording medium, so that binaural 3D sound field audio and 2D sound field audio can be recorded in compliance with the DVD video standard, and 3D sound field information can be recorded in 2D sound fields. Recording and playback can be performed while maintaining compatibility with information.
また、本発明の3次元音場情報記録装置プログラムによれば、2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の3次元音場用の管理情報領域に記録するので、バイノーラル3次元音場オーディオと2次元音場オーディオをDVDビデオ規格互換で記録することができ、3次元音場情報を2次元音場オーディオ情報と互換を保って記録再生することができる。 According to the three-dimensional sound field information recording apparatus program of the present invention, the information related to the three-dimensional sound field information is different from the management information area in the recording medium for each predetermined unit of each frame of the two-dimensional sound field audio. Since it is recorded in the management information area for 3D sound fields, binaural 3D sound field audio and 2D sound field audio can be recorded in compliance with the DVD video standard, and 3D sound field information can be recorded as 2D sound field audio information. Can be recorded and played back with compatibility.
以下、本発明の実施の形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施例1)
本発明の3次元音場情報記録装置及びプログラムの実施例1を図1乃至図5に基づいて説明する。図1は本発明の実施例1の3次元音場情報記録装置の構成を示すブロック図、図2はAAC符号化装置の構成を示すブロック図、図3はグルーピングの一例を示す図、図4は本実施例においてDVDに応用するフォーマットを示す説明図、図5は図1に示す3次元映像情報記録装置を使用した3次元映像情報記録プログラムを示すフローチャートである。
Example 1
A first embodiment of a three-dimensional sound field information recording apparatus and program according to the present invention will be described with reference to FIGS. 1 is a block diagram showing a configuration of a three-dimensional sound field information recording apparatus according to a first embodiment of the present invention, FIG. 2 is a block diagram showing a configuration of an AAC encoding apparatus, FIG. 3 is a diagram showing an example of grouping, and FIG. FIG. 5 is an explanatory diagram showing a format applied to a DVD in this embodiment, and FIG. 5 is a flowchart showing a 3D video information recording program using the 3D video information recording apparatus shown in FIG.
図1に示すように、本実施例の3次元音場情報記録装置は、ノーマルなオーディオ情報を収録するノーマルオーディオマイク1と、バイノーラル収録を行うバイノーラルオーディオマイク2と、ノーマルオーディオマイク1によって収録されたノーマルオーディオデータを圧縮するノーマルオーディオ圧縮器3と、ノーマルオーディオ圧縮器3によって圧縮されたノーマルオーディオ圧縮データを一時的にバッファリングするバッファ4と、ノーマルオーディオ圧縮データを復号するノーマルオーディオ復号器5と、ノーマルオーディオ復号器5によって復号されたデータをバイノーラルオーディオデータから減算して差分バイノーラルオーディオデータを作成する演算器6と、差分バイノーラルオーディオデータを圧縮する差分バイノーラルオーディオ圧縮器7と、差分バイノーラルオーディオ圧縮器7によって圧縮された差分バイノーラルオーディオ圧縮データを一時的にバッファリングするバッファ8と、ビデオ信号を出力するカメラ9と、ビデオ信号を圧縮するビデオ圧縮器10と、ビデオ圧縮器10によって圧縮されたビデオ圧縮データを一時的にバッファリングするバッファ11と、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを多重化する情報多重化器12と、タイムスタンプを情報多重化器12に入力するタイムスタンプ発生器13と、情報多重器12によって多重化されたストリームをDVDの規格に準拠した形式にフォーマット化するDVDフォーマット化器14と、フォーマット化されたストリームを記録媒体16に記録する記録器15と、装置に設けられた各部を制御する制御部17とを備える。
As shown in FIG. 1, the three-dimensional sound field information recording apparatus of this embodiment is recorded by a
図1に示す3次元音場情報記録装置において、まず、ノーマルオーディオマイク1によってノーマルなオーディオ情報を収録する。ここでいうノーマルオーディオとは、3次元音場オーディオ以外のものと定義する。例えば、通常のステレオオーディオである。
In the three-dimensional sound field information recording apparatus shown in FIG. 1, first, normal audio information is recorded by a
それと同時にバイノーラルオーディオマイク2によって、バイノーラル収録を行う。バイノーラル収録はダミーヘッドなどを用いて行う。
At the same time, the
ノーマルオーディオマイク1によって収録されたノーマルオーディオデータは、ノーマルオーディオ圧縮器3によって圧縮される。圧縮方式は、MPEG方式でも他の方式でも良い。
Normal audio data recorded by the
ノーマルオーディオ圧縮器3によって圧縮されたノーマルオーディオ圧縮データは後述するビデオ圧縮データや、差分バイノーラルオーディオ圧縮データとの同期を取るためにバッファ4に一時的にバッファリングされる。またノーマルオーディオ圧縮データはノーマルオーディオ復号器5によって復号され、バイノーラルオーディオデータから減算されて差分バイノーラルオーディオデータを作成し、差分バイノーラルオーディオ圧縮器7に入力される。
The normal audio compressed data compressed by the
差分バイノーラルオーディオ圧縮器7では、差分バイノーラルオーディオデータが圧縮される。圧縮方式は、MPEG方式でも他の方式でも良い。AAC方式などは可変長符号化を用いて非常に圧縮効率が良いものであり、本実施例では好適なアルゴリズムといえる。
The differential
AAC符号化装置を以下に簡単に説明する。AAC符号化装置の構成は図2に示すような機能部からなっている。 The AAC encoding apparatus will be briefly described below. The configuration of the AAC encoding apparatus includes functional units as shown in FIG.
まず、オーディオ信号が所定サンプル数からなるフレーム単位で聴覚心理分析器21とMDCT(変形離散コサイン変換:Modified Discrete Cosine Transform)器22へ取り込まれる。
First, an audio signal is taken into a
そして、聴覚心理分析器21では、入力オーディオ信号に対して高速フーリエ変換(FFT:Fast Fourier Transform)を行って周波数スペクトルを求め、その周波数スペクトルに基づいて聴覚上のマスキングを演算し、予め設定された周波数帯域毎の許容量子化雑音電力と聴覚心理パラメータを算出すると共に、その聴覚心理パラメータに基づいてMDCTのための変換ブロック長を決定する。
The auditory
一方、MDCT器22では、入力オーディオ信号に対してMDCTを行って周波数スペクトルに変換し、各周波数スペクトルに係るMDCT係数を求める。その場合、MDCT器22は、周波数スペクトルへの変換に際して、その変換ブロック長を50%ずつオーバーラップさせ、例えば、2048サンプルを1024本のMDCT係数に変換する。
On the other hand, the
また、MDCT器22は、聴覚心理分析器21から得られる変換ブロック長情報に基づいてMDCTの対象となるブロック長を長い変換ブロック(ロングブロック)又は短い変換ブロック(ショートブロック)に切り替えるためのブロックスイッチング機能を採用している。これは、一般に長い変換ブロック長を用いる方がスペクトルの集中度が高まるので効率的なビット配分を行えるが、周波数領域での量子化雑音は時間領域に戻された時に変換ブロック長全体に広がるため、静寂部の後で急峻な立ち上がり(アタック部)を有するような波形を長いブロック長で変換して量子化すると、その量子化雑音が静寂部まで広がることになり、聴覚上極めて耳障りなものとなるからである。
The
即ち、MDCT器22は、聴覚心理分析器21から得た変換ブロック長情報に基づいて変換ブロック長を選択し、特に、アタック部の前後では長い変換ブロックから複数個の短い変換ブロックに切り替えるようにしている。
That is, the
例えば、定常的な信号の場合には、MDCTの変換ブロック長は2048サンプルのロングブロックとして1024本のMDCT係数に変換し、一方、過渡的な信号の場合には、256サンプルのショートブロックとして128本のMDCT係数に変換する。そして、ショートブロックについては、8個連続で短い変換長を選択することとし、出力されるMDCT係数の本数を1024本としてロングブロックと一致させるようにしている。 For example, in the case of a stationary signal, the conversion block length of MDCT is converted into 1024 MDCT coefficients as a long block of 2048 samples, while in the case of a transient signal, it is 128 blocks as a short block of 256 samples. Convert to MDCT coefficient of book. For the short block, eight consecutive short conversion lengths are selected, and the number of output MDCT coefficients is set to 1024 to match the long block.
次に、量子化器23では、人間の聴覚特性に基づいて周波数帯域毎に1024本のMDCT係数を複数のスケールファクタバンドに分け、スケールファクタバンド毎にMDCT係数を正規化して量子化を行う。その際に、ショートブロックの場合には128本のMDCT係数を複数のスケールファクタバンドに分ける。
Next, the
また、各スケールファクタバンドについて計算された量子化雑音が、聴覚心理分析器21で算出された許容量子化雑音電力よりも大きくならないように、各スケールファクタバンドの量子化ステップ数を制御し、且つ量子化に必要なビット数がフレーム単位で所定ビット数以内に収まるように全体の量子化ステップ数を制御して量子化を実行する。
Further, the number of quantization steps of each scale factor band is controlled so that the quantization noise calculated for each scale factor band does not become larger than the allowable quantization noise power calculated by the
なお、スケールファクタバンドの量子化ステップ数とは、各周波数帯域内のサンプルデータを波形と倍率に分離し、波形の最大振幅が1.0となるように正規化して倍率を符号化したものに相当し、スケールファクタとも言われるものである。 The scale factor band quantization step number is obtained by separating the sample data in each frequency band into a waveform and a magnification, normalizing the waveform so that the maximum amplitude of the waveform is 1.0, and encoding the magnification. It is also called a scale factor.
次に、量子化されたデータはグループ処理器24へ入力され、より高い符号化効率が得られるようにショートブロックについてグループ化が行われる。グループ化されたブロックにおいては補助情報が共有化され、符号化効率が改善されることになる。
Next, the quantized data is input to the
図3はそのグルーピングの一例を示し、8個のショートブロックが4組のグループに分けられており、各グループにはそれぞれ3,1,2,2個のショートブロックが含まれている。 FIG. 3 shows an example of the grouping. Eight short blocks are divided into four groups, and each group includes 3, 1, 2, and 2 short blocks.
次に、可変長符号化器25では、量子化器23とグループ処理器24で処理された後のMDCT係数の量子化値やスケールファクタ等の符号化パラメータに対して可変長符号化処理を施して冗長度を削減し、それをビット数判定器26へ出力する。
Next, the
ビット数判定器26では、符号化された1フレーム分のビット数が予め設定された所定範囲内に収まっているか否かを判定し、その条件を満たしていれば、符号化データをそのままビットストリーム生成器27へ出力するが、満たしていない場合には、その判定結果を処理制御部28へ出力する。
The bit
処理制御部28では、その判定結果に基づいて量子化器23とグループ処理器24と可変長符号化器25による前記の一連の処理を再度実行させ、ビット数判定器26において前記条件を満たしていると判定されるまでその処理を反復させる。
The
そして、ビット数判定器26において前記条件を満たした符号化データはビットストリーム生成器27へ出力され、ブロック情報等の符号化パラメータと共に多重化されたビットストリームとして伝送されることになる。以上がAAC符号化装置の説明である。
The encoded data satisfying the above condition in the bit
一方、図1に示す3次元音場情報記録装置の構成の説明を続けると、ビデオ信号がカメラ9から入力され、ビデオ圧縮器10によって圧縮される。圧縮方式はMPEG方式などを用いる。
On the other hand, when the description of the configuration of the three-dimensional sound field information recording apparatus shown in FIG. 1 is continued, a video signal is input from the
圧縮されたビデオ圧縮データはノーマルオーディオ圧縮データや、差分バイノーラルオーディオ圧縮データとの同期を取るために、バッファ11に一時的にバッファリングされる。
The compressed video compressed data is temporarily buffered in the
そして、情報多重化器12は、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを、同期を取りながら多重化する。多重化はMPEGシステムレイヤの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、再生時の同期を取れるようにプレゼンテーションタイムスタンプを打ちながら多重化する。タイムスタンプはタイムスタンプ発生器13から27MHzまたは90kHzのカウンター情報が使用され、情報多重化器12に入力される。この仕組みはMPEG多重化の規格を用いれば可能であるので詳細な説明は省略する。
The information multiplexer 12 multiplexes the buffered video compressed data, normal audio compressed data, and differential binaural audio compressed data while maintaining synchronization. Multiplexing is performed by packing each elementary element using a program stream method in the MPEG system layer synchronization method, and multiplexing the presentation time stamps so as to achieve synchronization during reproduction. The time stamp uses counter information of 27 MHz or 90 kHz from the
多重化されたストリームはDVDフォーマット化器14によって、後述するDVDの規格に準拠した形式にフォーマット化されて、記録器15によって記録媒体16に記録される。DVDのROM型のメディアを作成するにはDVDのマスターデータとして一旦HDDに記録してから製造工程を経て、DVDメディアに記録される。
The multiplexed stream is formatted by the DVD formatter 14 into a format conforming to the DVD standard described later, and is recorded on the
このように、ノーマルオーディオデータと3次元音場データであるバイノーラルオーディオデータは、差分をとることで相関の強い部分を削除して音場を表現する位相差や響き部分の情報が差分として符号化されることで、より符号化効率、記録能率を上げることができる。 As described above, normal audio data and binaural audio data that is three-dimensional sound field data are encoded as differences in phase difference and sounding part information that represent a sound field by removing a strongly correlated part by taking a difference. Thus, encoding efficiency and recording efficiency can be further increased.
次に、図4を参照して、DVDビデオ規格を利用してノーマルオーディオの各フレームの所定単位ごとに3次元音場情報に関する情報をオーディオオブジェクトのノーマルオーディオとは別のストリームデータとして多重化して記録する手段を説明する。 Next, referring to FIG. 4, the DVD video standard is used to multiplex information regarding the three-dimensional sound field information for each predetermined unit of each frame of normal audio as stream data different from the normal audio of the audio object. A means for recording will be described.
上記に説明した差分のバイノーラルオーディオデータは、本来、DVD規格ではないので、MPEG多重化されるパックに別のストリームとして記録することが考えられる。 Since the difference binaural audio data described above is not originally a DVD standard, it is conceivable to record it as a separate stream in the MPEG multiplexed pack.
図4に示すフォーマットの一番下の階層にはその差分のバイノーラルオーディオデータが所定のサンプル数で1オーディオフレームとして1オーディオフレームレイヤ31を構成している。これらの1オーディオフレームがいくつか集まって、約2kBでパックを構成する。
In the lowest layer of the format shown in FIG. 4, a binaural audio data of the difference constitutes one
このパックにはヘッダが付いており、14バイトのパックヘッダ32とオーディオパケットにより構成され、オーディオパケットは9〜29バイトのパケットヘッダ33、1バイトのサブストリームID34、3バイトのオーディオフレーム情報35、3バイトのオーディオデータ情報36を記録し、その後ろに2013バイトの差分オーディオデータ37により構成される。これらはディファレンシャルパック(D_PACK)38として、他のノーマルオーディオパックやビデオパックとともにバイノーラルオーディオデータパックとしてMPEG多重化される。
This pack has a header and is composed of a 14-
ここでフォーマットを上位から見てみると、DVDビデオには記録層がVolume spaceとして、Volume and File structure39、DVD-video zone40、DVD-others zone41に分かれていて、DVD-video zone40にはビデオマネージャー(VMG)42、ビデオタイトルセット(VTS)43という構造が存在している。ビデオマネージャー42はビデオマネージャーインフォメーションなど後続するビデオタイトルセット43の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。
Looking at the format from the top here, the recording layer is divided into Volume and
ビデオタイトルセット43には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Data44が記述されている。これらのビデオマネージャー42やControl Data44は再生に必須な情報を記録した管理情報領域であり、この領域のデータはDVDフォーマット器やDVDフォーマットステップによって記録され、DVDフォーマット復号器やDVDフォーマット復号ステップによって再生される。
In the video title set 43,
その後にビデオオブジェクトセット(VOBS)45というビデオとオーディオの多重化されたMPEGストリームのセットがあり、さらにビデオオブジェクト(VOB)46という小単位のMPEGストリームがある。 After that, there is a set of video and audio multiplexed MPEG streams called a video object set (VOBS) 45, and there is a small unit MPEG stream called a video object (VOB) 46.
ビデオオブジェクト46の下にはさらに細分化されたセル(CELL)47という単位、さらにはビデオオブジェクトユニット(VOBU)48があり、これがMPEGストリームのグループオブピクチャー(GOP)にほぼ相当する構造となっている。このビデオオブジェクトユニット48の再生時間は、ビデオオブジェクトユニット48中に含まれる単数又は複数個のGOPから構成されるビデオデータの再生時間に相当し、その再生時間は0.4〜1.0秒程度のものである。この中には、先頭にナビゲーションパック(NV_PACK)49というストリームサーチ情報などが記述されている。
Below the
また、ビデオパック(V_PACK)51というビデオ圧縮データがパック化されたデータ、オーディオパック(A_PACK)50というオーディオ圧縮データがパック化されたデータがあり、それぞれMPEG多重化されている。 In addition, there are data in which video compressed data called video pack (V_PACK) 51 is packed, and data in which audio compressed data called audio pack (A_PACK) 50 is packed, which are MPEG-multiplexed.
次に、本実施例の3次元音場情報記録プログラムを図5に基づいて説明する。図5は図1に示す3次元音場情報記録装置を使用した3次元音場情報記録プログラムを示すフローチャートである。詳細なステップの処理内容は図1に示す3次元音場情報記録装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。 Next, the three-dimensional sound field information recording program of the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing a three-dimensional sound field information recording program using the three-dimensional sound field information recording apparatus shown in FIG. Since the detailed processing contents of the steps are the same as those described in the description of the block diagram of the three-dimensional sound field information recording apparatus shown in FIG. 1, only the order of the steps will be briefly described here.
まず、ステップS100では、制御部17は、ノーマルオーディオマイク1、バイノーラルオーディオマイク2から音響データを制御部17に入力させ、また、カメラ9からの画像データを制御部17に所定の時間分入力させ、制御部17のメモリーに記憶させるように制御する。
First, in step S100, the
次に、ステップS110では、制御部17は、ノーマルオーディオ圧縮器3及びビデオ圧縮器10にノーマルオーディオデータ及びビデオデータを圧縮させ、ステップS120では、制御部17は、ビデオ圧縮データ及びノーマルオーディオ圧縮データを、後述する差分バイノーラルオーディオ圧縮データとの同期を取るためにバッファ4及びバッファ11に一時バッファリングさせるように制御する。
Next, in step S110, the
次に、ステップS130では、制御部17は、ノーマルオーディオ復号器5においてノーマルオーディオ圧縮データを復号させるように制御する。
Next, in step S130, the
次に、ステップS140では、制御部17は、演算器6においてバイノーラルオーディオデータとノーマルオーディオ復号データの減算計算を行わせ、差分バイノーラルオーディオデータを作成させ、差分バイノーラルオーディオ圧縮器7に入力させるように制御する。
Next, in step S140, the
次に、ステップS150では、制御部17は、差分バイノーラルオーディオ圧縮器7において差分バイノーラルオーディオデータを圧縮させ、ステップS160では、制御部17は、情報多重化器12においてビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを、同期を取りながら多重化させるように制御する。多重化はMPEGシステムレイヤの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、再生時の同期を取れるようにプレゼンテーションタイムスタンプを打ちながら行わせる。タイムスタンプは27MHzまたは90kHzのカウンター情報が使用され、制御部17は、タイムスタンプをタイムスタンプ発生器13から情報多重化器12に入力させるように制御する。
Next, in step S150, the
次に、ステップS170では、制御部17は、DVDフォーマット化器14に図4に示すDVDの規格に準拠した形式にDVDフォーマット化させるように制御する。
Next, in step S170, the
次に、ステップS180では、制御部17は、記録器15によって所定の単位で記録媒体16に記録させるように制御する。DVDであれば2kBが単位である。
Next, in step S180, the
そして、ステップS190において、制御部17は、ノーマルオーディオマイク1、バイノーラルオーディオマイク2及びカメラ9からの入力画像音響データがまだあるかどうかを判定し、これがある場合(YES)にはステップS100に戻り、これがない場合(NO)には、プログラムを終了する。
In step S190, the
このように、本実施例の3次元音場情報記録装置及びプログラムによれば、DVDビデオ規格に準拠した形式で、ディファレンシャルパック38という前述したバイノーラルオーディオデータパックとしてパック化してMPEG多重化するので、ディファレンシャルパック38を用いればバイノーラル3次元音場オーディオが再生でき、ディファレンシャルパック38を用いなければDVDビデオ規格として標準的なノーマルオーディオが出力できるフォーマットとなり、3次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
Thus, according to the three-dimensional sound field information recording apparatus and program of the present embodiment, the above-described binaural audio data pack called the
次に、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16から3次元音場を再生する3次元音場再生装置を、図6に基づいて説明する。図6は図1に示す3次元音場情報記録装置で記録媒体に記録した音場情報を再生する3次元音場情報再生装置の構成を示すブロック図である。
Next, a three-dimensional sound field reproducing apparatus for reproducing a three-dimensional sound field from the
まず、記録媒体16から再生器61によってデータを再生し、DVDフォーマット復号器62によってDVDフォーマットからMPEGのストリームを抽出する。図6には示していないがDVDは再生するための情報(例えばプレイリスト情報や、特殊再生情報)は別途、抽出して、図示せぬユーザーインターフェースやCPUを経由して、インターラクティブな再生を行うことができる。
First, data is reproduced from the
抽出されたMPEGストリームは情報分離化器63において、MPEG多重化を解いて、ビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データに分離する。ビデオ圧縮データはビデオ復号器64に入力され、復号されてバッファ67に一時的にバッファリングされる。ノーマルオーディオ圧縮データは、ノーマルオーディオ復号器65に入力され、復号されてバッファ68に一時的にバッファリングされる。差分バイノーラルオーディオ圧縮データは差分バイノーラルオーディオ復号器66に入力され、復号された後に、演算器70においてノーマルオーディオデータと加算され、バッファ69に一時的にバッファリングされる。
The extracted MPEG stream is demultiplexed into MPEG compressed data, normal audio compressed data, and differential binaural audio compressed data by the information separator 63 by demultiplexing the MPEG. The compressed video data is input to the
一方、それぞれの復号データは情報分離化器63において、各エレメンタリーのパック化されたデータのヘッダーに記録されている、システムクロックリファレンス(SCR)やタイムスタンプを検出し、STCタイムスタンプ比較器71によって、MPEG多重化方式で設定されているSCRにて同期させたシステムタイムクロック(STC)時刻と、プレゼンテーションタイムスタンプと比較し、プレゼンテーションタイムスタンプ時刻がSTC時刻と一致したときに、バッファ67〜69からエレメンタリー情報を出力する。
On the other hand, the information separator 63 detects the system clock reference (SCR) and time stamp recorded in the header of each elementary packed data in the information separator 63, and the STC
そして、ビデオデータは画像表示器72へ出力する。オーディオデータについては、GUI74よりユーザーが指定した音源、即ちノーマルオーディオか、バイノーラルオーディオかを選択する選択信号が音源選択器73に入力され、音源選択器73ではその信号に従って音源を選択しスピーカー75に出力再生する。なお、図6に示す3次元音場情報再生装置に設けられた各部は制御部76により制御されている。
Then, the video data is output to the
次に、図6に示す3次元音場情報再生装置で3次元音場を再生する3次元音場情報再生プログラムを、図7に示すフローチャートに基づいて説明する。詳細なステップの処理内容は図6に示す3次元音場情報再生装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。 Next, a three-dimensional sound field information reproducing program for reproducing a three-dimensional sound field by the three-dimensional sound field information reproducing device shown in FIG. 6 will be described based on the flowchart shown in FIG. Since the detailed processing contents of the steps are the same as those described in the description of the block diagram of the three-dimensional sound field information reproducing apparatus shown in FIG. 6, only the order of the steps will be briefly described here.
まず、ステップS200では、制御部76は、再生器61に記録媒体16から多重化されたデータを所定の単位で読み取らせるように制御する。
First, in step S200, the controller 76 controls the
次に、ステップS210では、制御部76は、DVDフォーマット復号器62にDVDフォーマットを復号させるように制御する。DVDフォーマットの復号には、DVDフォーマットからMPEGのストリームを抽出し、このステップには示していないがDVDは再生するための情報(例えばプレイリスト情報や、特殊再生情報)は別途、抽出して、ユーザーインターフェースやCPUを経由して、インターラクティブな再生を行うことを含む。
Next, in step S210, the control unit 76 controls the
次に、ステップS220では、制御部76は、情報分離化器63に抽出されたMPEGストリームの情報分離化を行わせるように制御する。 Next, in step S220, the control unit 76 controls the information separator 63 to perform information separation of the extracted MPEG stream.
次に、ステップS230では、制御部76は、ビデオ圧縮データ、ノーマルオーディオ圧縮データをそれぞれ復号させ、ステップS240では、制御部76は、ビデオ復号データ、ノーマルオーディオ復号データを一時バッファリングさせるように制御する。 Next, in step S230, the control unit 76 decodes the video compressed data and the normal audio compressed data, respectively, and in step S240, the control unit 76 controls the video decoded data and the normal audio decoded data to be temporarily buffered. To do.
次に、ステップS250では、制御部76は、差分バイノーラルオーディオ圧縮データを復号させ、ステップS260では、制御部76は、演算器70に差分バイノーラルオーディオ復号データとノーマルオーディオ復号データとを加算計算させるように制御する。
Next, in step S250, the control unit 76 decodes the differential binaural audio compressed data, and in step S260, the control unit 76 causes the
次に、ステップS270では、制御部76は、GUI74よりユーザーが指定した音源、即ちノーマルオーディオか、バイノーラルオーディオかを選択する選択信号を音源選択器73に入力させ、音源選択器73にバイノーラルオーディオデータとノーマルオーディオのどちらを再生するか選択させるように制御する。
Next, in step S270, the control unit 76 inputs a selection signal for selecting a sound source designated by the user from the
次に、ステップS280では、制御部76は、画像表示器72にビデオデータを表示させ、ステップS270で選択されたオーディオをビデオデータの表示と同期してスピーカー75で再生させるように制御する。
Next, in step S280, the control unit 76 controls the
次に、ステップS290では、制御部76は、記録媒体16に表示画像音響データがまだあるかどうかを判定し、これがある場合(YES)にはステップS200に戻り、これがない場合(NO)には、プログラムを終了する。
Next, in step S290, the control unit 76 determines whether there is still display image acoustic data on the
(実施例2)
本発明の3次元音場情報記録装置の実施例2を図8に基づいて説明する。図8は本実施例においてDVDに応用するフォーマットを示す説明図である。図8では、図4に示したフォーマットの構成と同一構成には同一符号を付して説明する。
(Example 2)
A second embodiment of the three-dimensional sound field information recording apparatus of the present invention will be described with reference to FIG. FIG. 8 is an explanatory diagram showing a format applied to a DVD in this embodiment. In FIG. 8, the same components as those of the format shown in FIG.
本実施例の3次元音場情報記録装置は、DVDビデオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を管理情報領域とは別の3次元音場用の管理情報領域に記録する手段を有する。これは、DVDビデオの規格を準拠する形式をとりながらも、ディファレンシャルパック(D_PACK)に記録するのではなく、DVD others zoneというDVD規格準拠の形式で、自由に使用できる領域にバイノーラル3次元音場オーディオ情報を記録するものである。 The three-dimensional sound field information recording apparatus according to the present embodiment uses the DVD video standard to transmit information relating to three-dimensional sound field information for each predetermined unit of each frame of normal audio to a three-dimensional sound field different from the management information area. Means for recording in the management information area for the venue. This is a format that conforms to the DVD video standard, but is not recorded in a differential pack (D_PACK), but is a DVD standard conforming to the DVD others zone, and a binaural three-dimensional sound field in a freely usable area. Audio information is recorded.
本実施例の3次元音場情報記録装置の構成は図1に示す実施例1の3次元音場情報記録装置の構成と同様である。 The configuration of the three-dimensional sound field information recording apparatus of the present embodiment is the same as that of the three-dimensional sound field information recording apparatus of the first embodiment shown in FIG.
DVD-others zone41にはビデオマネージャー(DVMG)81、ビデオタイトルセット(VTS)82という構造を記述する。ビデオマネージャー81はビデオマネージャーインフォメーションなど後続するビデオタイトルセット82の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。
In the DVD-
ビデオタイトルセット82には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Dataが記述されたDVTSI83がある。これらのビデオマネージャー81やDVTSI83は再生に必須な情報を記録した管理情報領域であり、この領域のデータはDVDフォーマット器やDVDフォーマットステップによって記録され、DVDフォーマット復号器やDVDフォーマット復号ステップによって再生される。
The video title set 82 includes a DVTSI 83 in which control data such as address information and identification information of audio and video data to be reproduced is described. The
その後にビデオオブジェクトセット(DVOBS)84というビデオとオーディオの多重化されたMPEGストリームのセットがあり、さらにビデオオブジェクト(DVOB)85という小単位のMPEGストリームがある。 After that, there is a set of video and audio multiplexed MPEG streams called a video object set (DVOBS) 84, and there is a small unit MPEG stream called a video object (DVOB) 85.
ビデオオブジェクト85の下にはさらに細分化されたセル(DCELL)86という単位、さらにはビデオオブジェクトユニット(DVOBU)87があり、バイノーラル3次元音場オーディオ情報のフレームレイヤの数フレームをまとめた構造になっている。
Below the
DVD-video zone40の2次元映像のデータと同じ構造とし、一つ一つのビデオオブジェクトユニット、セル、ビデオオブジェクトなどは同じフレーム枚数(同じ再生時間長)を持たせることで、サーチなどのアクセス性を高めることができる。
It has the same structure as the 2D video data in DVD-
このように本実施例の3次元音場情報記録装置によれば、DVDビデオ規格に準拠した形式で、DVD-video zone40とDVD-others zone41にリンクした形式でバイノーラル3次元音場オーディオ情報データを記述するので、バイノーラル3次元音場オーディオとノーマルオーディオをDVDビデオ規格互換で記録することができ、3次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
As described above, according to the three-dimensional sound field information recording apparatus of the present embodiment, binaural three-dimensional sound field audio information data is formatted in a format compliant with the DVD video standard and linked to the DVD-
なお、本実施例の3次元音場情報記録装置を使用した3次元音場情報記録プログラムは図5に示すフローチャートと同様である。 A three-dimensional sound field information recording program using the three-dimensional sound field information recording apparatus of this embodiment is the same as the flowchart shown in FIG.
また、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16からの3次元音場の再生は、実施例1で図6に示した3次元音場情報再生装置により行うことができ、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16から3次元音場情報を再生するプログラムは図7に示すフローチャートと同様である。
Further, the reproduction of the three-dimensional sound field from the
(実施例3)
本発明の3次元音場情報記録装置の実施例3を図9に基づいて説明する。図9は本実施例においてDVDに応用するフォーマットを示す説明図である。
(Example 3)
A third embodiment of the three-dimensional sound field information recording apparatus of the present invention will be described with reference to FIG. FIG. 9 is an explanatory diagram showing a format applied to a DVD in this embodiment.
本実施例の3次元音場情報記録装置は、DVDオーディオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに3次元音場情報に関する情報をオーディオオブジェクトのノーマルオーディオとは別のストリームデータとして多重化して記録する手段を有する。 The three-dimensional sound field information recording apparatus of the present embodiment uses the DVD audio standard to transmit information relating to the three-dimensional sound field information for each predetermined unit of each frame of normal audio to stream data different from the normal audio of the audio object. Means for multiplexing and recording.
本実施例の3次元音場情報記録装置の構成は図1に示す実施例1の3次元音場情報記録装置の構成と同様である。 The configuration of the three-dimensional sound field information recording apparatus of the present embodiment is the same as that of the three-dimensional sound field information recording apparatus of the first embodiment shown in FIG.
DVDオーディオのフォーマットはオーディオマネージャ(AMG)88と、オーディオマネージャ88に続く複数のオーディオタイトルセット(ATS)89の各エリアにより構成されている。
The DVD audio format includes an audio manager (AMG) 88 and areas of a plurality of audio title sets (ATS) 89 following the
オーディオタイトルセット89の各々はこれに対応して先頭のATSインフォメーション(ATSI)90と、それに続く1以上のオーディオオブジェクトセット(AOBS)91により構成されている。 Each of the audio title sets 89 includes a head ATS information (ATSI) 90 and one or more audio object sets (AOBS) 91 subsequent thereto.
これらのオーディオマネージャ88やATSインフォメーション90は再生に必須な情報を記録した管理情報領域であり、この領域のデータはDVDフォーマット器やDVDフォーマットステップによって記録され、DVDフォーマット復号器やDVDフォーマット復号ステップによって再生される。
These
オーディオオブジェクトセット91の各々は複数のオーディオオブジェクト(AOB)92により構成されている。オーディオオブジェクト92の各々は複数のセル(CELL)93により構成され、セル93はさらに、複数のオーディオオブジェクトユニット(AOBU)94により構成されている。
Each audio object set 91 includes a plurality of audio objects (AOB) 92. Each of the audio objects 92 is composed of a plurality of cells (CELL) 93, and the
オーディオオブジェクトユニット94の各々は、複数のパックにより構成され、1パックは2048バイトで構成されている。オーディオオブジェクトユニット94は再生時間0.4〜1.0秒分の任意の数のパックにより構成されている。
Each
隣接するAパックは、オーディオ信号がお互いに関連するように配置され、例えばステレオの場合にはLチャネルパックとRチャネルパックが隣接して配置され、また、マルチチャネルの場合にも同様に隣接して配置される。これらはそれぞれMPEG多重化されている。この中にディファレンシャルパック(D_PACK)95という前述したバイノーラルオーディオデータパックとしてパック化してMPEG多重化する。 The adjacent A packs are arranged so that the audio signals are related to each other. For example, in the case of stereo, the L channel pack and the R channel pack are arranged adjacent to each other. Arranged. Each of these is MPEG multiplexed. A differential pack (D_PACK) 95 is packed into the above-described binaural audio data pack and MPEG-multiplexed.
このように本実施例の3次元音場情報記録装置によれば、DVDビデオ規格に準拠した形式で、ディファレンシャルパック95という前述したバイノーラルオーディオデータパックとしてパック化してMPEG多重化するので、ディファレンシャルパック95を用いればバイノーラル3次元音場オーディオが再生でき、ディファレンシャルパック95を用いなければDVDビデオ規格として標準的なノーマルオーディオが出力できるフォーマットとなり、3次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
As described above, according to the three-dimensional sound field information recording apparatus of the present embodiment, the
なお、本実施例の3次元音場情報記録装置を使用した3次元音場情報記録プログラムは図5に示すフローチャートと同様である。 A three-dimensional sound field information recording program using the three-dimensional sound field information recording apparatus of this embodiment is the same as the flowchart shown in FIG.
また、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16からの3次元音場の再生は、実施例1で図6に示した3次元音場情報再生装置により行うことができ、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16から3次元音場情報を再生するプログラムは図7に示すフローチャートと同様である。
Further, the reproduction of the three-dimensional sound field from the
(実施例4)
本発明の3次元音場情報記録装置及びプログラムの実施例4を図10乃至図13に基づいて説明する。図10は本発明の実施例4の3次元音場情報記録装置の構成を示すブロック図、図11はMPEGのビデオストリームビデオレイヤの説明表、図12はMPEGの多重化トランスポートストリームシステムレイヤを説明表、図13は図10に示す3次元音場情報記録装置を使用した3次元音場情報記録プログラムを示すフローチャートである。
Example 4
A third embodiment of the three-dimensional sound field information recording apparatus and program according to the present invention will be described with reference to FIGS. 10 is a block diagram showing the configuration of the three-dimensional sound field information recording apparatus according to the fourth embodiment of the present invention, FIG. 11 is an explanatory table of an MPEG video stream video layer, and FIG. 12 is an MPEG multiplexed transport stream system layer. FIG. 13 is a flowchart showing a three-dimensional sound field information recording program using the three-dimensional sound field information recording apparatus shown in FIG.
なお、図10では、図1に示した3次元音場情報記録装置の構成と同一構成には同一符号を付して説明する。 In FIG. 10, the same components as those of the three-dimensional sound field information recording apparatus shown in FIG.
図10に示すように、本実施例の3次元音場情報記録装置は、ノーマルなオーディオ情報を収録するノーマルオーディオマイク1と、バイノーラル収録を行うバイノーラルオーディオマイク2と、ノーマルオーディオマイク1によって収録されたノーマルオーディオデータを圧縮するノーマルオーディオ圧縮器3と、ノーマルオーディオ圧縮器3によって圧縮されたノーマルオーディオ圧縮データを一時的にバッファリングするバッファ4と、ノーマルオーディオ圧縮データを復号するノーマルオーディオ復号器5と、ノーマルオーディオ復号器5によって復号されたデータをバイノーラルオーディオデータから減算して差分バイノーラルオーディオデータを作成する演算器6と、差分バイノーラルオーディオデータを圧縮する差分バイノーラルオーディオ圧縮器7と、差分バイノーラルオーディオ圧縮器7によって圧縮された差分バイノーラルオーディオ圧縮データを一時的にバッファリングするバッファ8と、ビデオ信号を出力するカメラ9と、ビデオ信号を圧縮するビデオ圧縮器10と、ビデオ圧縮器10によって圧縮されたビデオ圧縮データを一時的にバッファリングするバッファ11と、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを多重化する情報多重器12と、タイムスタンプを情報多重化器12に入力するタイムスタンプ発生器13と、情報多重器12によって多重化されたストリームを記録媒体16に記録する記録器15と、装置に設けられた各部を制御する制御部17とを備える。
As shown in FIG. 10, the three-dimensional sound field information recording apparatus of this embodiment is recorded by a
図1に示す3次元音場情報記録装置と同一構成のブロックの動作は同様であるが、図10に示すように、情報多重化器12によって多重化されたストリームを、図1に示す3次元音場情報記録装置とは異なり、DVDフォーマット化器に送らず記録器15に送り、記録媒体16に記録する。
The operation of the block having the same configuration as that of the 3D sound field information recording apparatus shown in FIG. 1 is the same, but as shown in FIG. 10, the stream multiplexed by the
次に、図11を参照して、DVDビデオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに3次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録する手段を説明する。 Next, referring to FIG. 11, a description will be given of means for recording information relating to three-dimensional sound field information in a user data area of an audio object for each predetermined unit of each frame of normal audio using the DVD video standard.
MPEG規格の中で互換性の取れるような、ユーザーデータ領域やプライベートストリームにて伝送する仕組みが用意されている。例えばMPEGビデオの規格には、ピクチャレイヤ、GOPレイヤなどにそれぞれユーザーデータ領域が設定されている。 A mechanism is provided for transmitting data in a user data area or a private stream so as to be compatible in the MPEG standard. For example, in the MPEG video standard, user data areas are set in the picture layer, the GOP layer, and the like.
これらはMPEGのシンタックスで映像音声とは関係ないデータを埋め込むことのできる所定のエリアとして設定されているuser_data、もしくはprivate_data_byte、もしくはユーザーが任意に設定できるprivate_streamなどのデータパケットに記録する。 These are recorded in a data packet such as user_data or private_data_byte which is set as a predetermined area in which data unrelated to video and audio can be embedded in MPEG syntax, or private_stream which can be arbitrarily set by the user.
例えばMPEG1のビデオにおけるピクチャレイヤは図11に示すようになっており、スライスレイヤの手前で、user_data_start_codeを送った後にuser_dataを8ビット単位で記録することができるような仕組みが定義されている。 For example, a picture layer in an MPEG1 video is as shown in FIG. 11, and a mechanism is defined so that user_data can be recorded in units of 8 bits after sending user_data_start_code before the slice layer.
また、MPEG2などの多重化トランスポートストリームのシステムレイヤにも図12に示すようにtransport_private_data_flagに1を立てると、private_dataが存在することを明示でき、データ長もトランスポートパケットをはみ出さないという制限のもとで、transport_private_data_lengthに設定したデータ長のprivate_dataを送信することができる。 Further, in the system layer of a multiplexed transport stream such as MPEG2, if the transport_private_data_flag is set to 1 as shown in FIG. 12, it can be clearly indicated that private_data exists, and the data length does not protrude from the transport packet. Originally, private_data having the data length set in transport_private_data_length can be transmitted.
これ以外にも、MPEGシステムでユーザー固有のデータを記録する方法は、stream_id にprivate_streamを設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本実施例におけるバイノーラル3次元音場オーディオ情報は、これらの領域に記録することができる。 In addition to this, there are several mechanisms for recording user-specific data in the MPEG system, such as sending private data by declaring a dedicated packet with stream_id set to private_stream. Binaural 3D sound field audio information can be recorded in these areas.
MPEG1ビデオのuser_dataを用いる例をもう少し詳細に説明する。user_data_start_codeはスライスレイヤの手前で0x000001B2とMPEGでは定義されている。そのコードを送ったあとに、ユーザーデータエリア内で本発明の認証に用いる関数値の存在を示す、予め一意に識別可能なコードである例えば0x0f0f0f0f2428fdaaのコードを送信する。 このコードは他のアプリケーションでuser_dataを使う場合に識別する目的で記録するもので、コードの値は特に意味はない。そのコードの後に図8に示すオーディオフレームレイヤー構造を、MPEGの1ピクチャ毎にピクチャ表示区間に相当するオーディーフレームレイヤを記録する。 An example using user_data of MPEG1 video will be described in a little more detail. user_data_start_code is defined in MPEG as 0x000001B2 before the slice layer. After sending the code, a code of 0x0f0f0f0f2428fdaa, which is a uniquely identifiable code indicating the presence of the function value used for authentication of the present invention in the user data area, is transmitted. This code is recorded for the purpose of identification when user_data is used in another application, and the value of the code has no particular meaning. The audio frame layer structure shown in FIG. 8 is recorded after the code, and an audio frame layer corresponding to a picture display section is recorded for each MPEG picture.
ピクチャ表示区間とオーディオフレーム再生区間の時間幅が違う場合には、1パケット程度の誤差を平均的に許容する形式で多重化して、ビデオの先頭とオーディオの先頭のプレゼンテーションの時刻の差の情報を、user_dataの先頭に90kHzもしくは27MHzのクロックのカウント数で、32ビット程度で記録しても良いし、再生側のクロックでデータ到着順に再生をしても良い。 When the time width between the picture display section and the audio frame playback section is different, the error is about 1 packet is multiplexed in a format that allows an average, and information on the difference between the presentation time at the beginning of the video and the beginning of the audio is obtained. The head count of user_data may be recorded with about 90 bits at a clock count of 90 kHz or 27 MHz, or may be reproduced in the order of data arrival with the reproduction side clock.
なお、本実施例によるバイノーラル3次元音場オーディオ情報は、1ピクチャ毎に記録するように説明したが、0.5秒程度ごとでも、1秒程度ごとでも良い。その場合には、MPEGのGOPレイヤのユーザーデータを用いることで実現できる。 Although the binaural three-dimensional sound field audio information according to the present embodiment has been described as being recorded for each picture, it may be about every 0.5 second or about every 1 second. In that case, it can be realized by using user data of the GOP layer of MPEG.
次に、本実施例の3次元音場情報記録プログラムを図13に基づいて説明する。図13は図10に示す3次元音場情報記録装置を使用した3次元音場情報記録プログラムを示すフローチャートである。 Next, the three-dimensional sound field information recording program of the present embodiment will be described with reference to FIG. FIG. 13 is a flowchart showing a three-dimensional sound field information recording program using the three-dimensional sound field information recording apparatus shown in FIG.
図13に示すフローチャートにおいて、ステップS300〜S360の処理内容は図5に示すフローチャートのステップS100〜S160と同様である。 In the flowchart shown in FIG. 13, the processing contents of steps S300 to S360 are the same as those in steps S100 to S160 of the flowchart shown in FIG.
その後、ステップS370において、制御部17は、情報多重化器12で多重化されたストリームを記録器15によって記録媒体16に記録させるように制御する。
After that, in step S370, the
そして、ステップS380において、制御部17は、ノーマルオーディオマイク1、バイノーラルオーディオマイク2及びカメラ9からの入力画像音響データがまだあるかどうかを判定し、これがある場合(YES)にはステップS300に戻り、これがない場合(NO)には、プログラムを終了する。
In step S380, the
このように、本実施例の3次元音場情報記録装置及びプログラムによれば、3次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録するので、ユーザーデータを用いなければノーマルオーディオが出力され、ユーザーデータを用いれば3次元音場オーディオが出力されるフォーマットとなり、3次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。 As described above, according to the three-dimensional sound field information recording apparatus and program of this embodiment, information relating to the three-dimensional sound field information is recorded in the user data area of the audio object, so that normal audio is output if no user data is used. If user data is used, 3D sound field audio is output, and 3D sound field information can be recorded and reproduced while maintaining compatibility with normal audio information.
次に、本実施例の3次元音場情報記録装置で3次元音場情報を記録した記録媒体16から3次元音場を再生する3次元音場再生装置を図14に基づいて説明する。図14は図10に示す3次元音場情報記録装置で記録媒体に記録した音場情報を再生する3次元音場情報再生装置の構成を示すブロック図である。
Next, a three-dimensional sound field reproducing apparatus for reproducing a three-dimensional sound field from the
まず、記録媒体16から多重化されたデータを再生器61で読み取り、情報分離化器63へ出力する。
First, the data multiplexed from the
その後は実施例1で説明した、図6に示す3次元音場情報再生装置と同様の処理を行い、スピーカー75に出力再生する。 Thereafter, the same processing as that of the three-dimensional sound field information reproducing apparatus shown in FIG.
次に、図14に示す3次元音場情報再生装置で3次元音場を再生する3次元音場情報再生プログラムを、図15に示すフローチャートに基づいて説明する。 Next, a three-dimensional sound field information reproducing program for reproducing a three-dimensional sound field by the three-dimensional sound field information reproducing device shown in FIG. 14 will be described based on the flowchart shown in FIG.
まず、ステップS400では、制御部17は、再生器61に記録媒体16から多重化されたデータを所定の単位で読み取らせるように制御する。
First, in step S400, the
その後、ステップS410〜S480では、図7に示すフローチャートのステップS220〜S290と同様の処理を行う。 Thereafter, in steps S410 to S480, processing similar to that in steps S220 to S290 in the flowchart shown in FIG. 7 is performed.
なお、実施例1乃至4の3次元音場情報再生装置の説明では、3次元音場を再生する方法としてバイノーラルオーディオを用いて説明したが、例えば複数のCHを持つことで、アレイスピーカーを用いて局在的音場を作り出すことも考えられる。 In the description of the three-dimensional sound field information reproducing apparatuses according to the first to fourth embodiments, binaural audio is used as a method for reproducing the three-dimensional sound field. However, for example, an array speaker is used by having a plurality of CHs. It is also possible to create a localized sound field.
即ち、空間上のある焦点付近の音圧を局所的に上昇させるようにスピーカーアレイの中心から焦点までの経路と、各スピーカーから焦点までの経路との差に応じた遅延量を与えた再生信号により実現する方法である。 That is, a reproduction signal giving a delay amount corresponding to the difference between the path from the center of the speaker array to the focal point and the path from each speaker to the focal point so as to locally increase the sound pressure near a focal point in space. It is a method realized by.
アレイスピーカーの原理を図16に基づいて説明する。まずスピーカー96を図16に示すようにアレイ状に組み、一つ一つに遅延回路を設ける。聴取位置近傍に焦点を結ぶように遅延を設定すると、聴取位置においてスピーカー96からの直接音よりも、焦点において発生する音圧成分が極めて高くなるように再生することが可能となる。この原理を用いて連続的にリアルタイムで制御することで立体動画像のオブジェクトの位置にリンクして音像の定位を制御できる。
The principle of the array speaker will be described with reference to FIG. First, the
そして、図17に示すような聴取位置から、いくつかの局在音場を生成して3次元音場空間を作ることが可能である。この場合には、複数のCHを図4や図9に示すようにディファレンシャルパック(D_PACK)にして複数のストリームで多重化して記録する。もしくは図8に示すようにDVD others zoneにCH毎にオーディオフレームを作成し、所定の順に複数のCHを順番に多重化して記録することで、既存DVDと互換性を保ちながら、3次元音場データを記録することが可能である。 It is possible to create a three-dimensional sound field space by generating several localized sound fields from the listening position as shown in FIG. In this case, a plurality of CHs are recorded in a differential pack (D_PACK) as shown in FIGS. Alternatively, as shown in FIG. 8, an audio frame is created for each CH in the DVD others zone, and a plurality of CHs are multiplexed and recorded in a predetermined order in order to maintain the compatibility with the existing DVD, and a three-dimensional sound field. It is possible to record data.
なお、上記説明の実施例1及び4の3次元音場情報記録プログラムは、コンピュータに実現させるようにしても良い。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれても良いし、通信ネットワークを介して伝送されてコンピュータに取り込まれても良い。 The three-dimensional sound field information recording program according to the first and fourth embodiments described above may be realized by a computer. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.
また、上記説明の実施例1乃至4においては、最終的な情報は記録媒体に記録したが、通信や放送特有のパケット化がなされて、パケット化器を経由して放送や通信網に伝送や受信をしても良い。記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また、再生装置は受信装置として使用することも可能である。 In the first to fourth embodiments described above, the final information is recorded on a recording medium. However, packetization unique to communication and broadcast is performed, and the packet is transmitted to the broadcast or communication network via a packetizer. You may receive. Even if data is not recorded on the recording medium, it is possible to transmit the data via any transmission medium such as communication and broadcasting. In that case, the recording apparatus can also be used as a transmission apparatus. Further, the playback device can be used as a receiving device.
また、3次元音場データにはバイフォニック録音されたオーディオデータの他にも、特別なサラウンド効果をもたらすデータや、3次元音場を作成するにあたり必要な無響室で録音されたようなレアな音源データから、頭部伝達関数とホールなどの音場環境データによってシミュレーションにより仮想的に、バイフォニック録音に近い音場を作成することも可能である。 In addition to biphonically recorded audio data, 3D sound field data includes data that has special surround effects, and rare data that is recorded in an anechoic room that is necessary to create a 3D sound field. From sound source data, it is possible to create a sound field virtually similar to biphonic recording by simulation using sound field environment data such as a head-related transfer function and a hall.
本発明では、3次元音場情報に関する情報はバイフォニック録音されたオーディオデータで説明を行ったが、上記の特別なサラウンド効果をもたらすデータや、3次元音場を作成するにあたり必要な無響室で録音されたようなレアな音源データ(レアオーディオ)であっても良い。レアオーディオからは特殊なエフェクトがかかっていないことから3次元音場を創生し易いという利点がある。 In the present invention, the information about the three-dimensional sound field information has been described with the audio data recorded by biphonic recording. However, the anechoic room necessary for creating the data that brings about the special surround effect and the three-dimensional sound field. Rare sound source data (rare audio) as recorded in Rare audio has the advantage that it is easy to create a three-dimensional sound field because no special effects are applied.
また、本発明では、3次元音場データの圧縮方式はMPEG等で説明したが、他のDPCMやDCTなどの直交変換で量子化する方式でも良い。またオーディオオブジェクトの種類としても、リニアPCMで圧縮をしないものや、可逆圧縮をしたもの、例えばDVDオーディオに採用されているPacked PCM (ロスレス圧縮方式)を用いても良い。 In the present invention, the compression method of the three-dimensional sound field data has been described by MPEG or the like, but may be a method of quantization by other orthogonal transformation such as DPCM or DCT. As the type of the audio object, one that is not compressed by linear PCM or one that is reversibly compressed, for example, Packed PCM (lossless compression method) adopted for DVD audio may be used.
ノーマルオーディオにはリニアPCMのマルチチャンネルオーディオも応用できる。即ち、マルチチャンネルのLRの2CHを、本発明のように3次元音場データに対応するLRとの差分をとるようにすればよい。それ以外のCHに関してはそのまま記録する。 Linear PCM multi-channel audio can also be applied to normal audio. That is, the difference between the multi-channel LR 2CH and the LR corresponding to the three-dimensional sound field data may be taken as in the present invention. Other CHs are recorded as they are.
また、処理量に余裕がある場合には、所定の時間毎に最も相関の強いCHを選んで、適応的に3次元音場データとの差分をとるようにしても良い。その場合、どのCHからの差分かを示す情報を数ビットで示し、ヘッダーやユーザー領域に指示するフォーマットとすれば良い。 Further, when there is a margin in the processing amount, the CH having the strongest correlation may be selected every predetermined time, and the difference from the three-dimensional sound field data may be adaptively taken. In that case, information indicating which channel the difference is from may be indicated by a few bits and in a format instructing the header or user area.
また、レアオーディオとしては、無響室で録音したデータだけでなく、マルチマイクによるホール録音や6chにミックスダウンしたマスター音源でも良い。 The rare audio is not limited to data recorded in an anechoic room, but may be a hall sound recording using a multi-microphone or a master sound source mixed down to 6 channels.
また、本発明の信号データを記録した記録媒体は、3次元音場情報を記録再生する際に、ノーマルなノーマルオーディオ情報と互換を保って3次元音場情報再生を可能とするフォーマットを記録してあるという媒体特有の効果を有する。 In addition, the recording medium on which the signal data of the present invention is recorded records a format that enables reproduction of 3D sound field information while maintaining compatibility with normal normal audio information when recording and reproducing 3D sound field information. It has a medium-specific effect.
また、記録媒体は、媒体という定義はデータを記録できる媒体という狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での電子ファイルなどのデータ自身を含むものとする。 In addition, the definition of a medium includes not only a narrow medium such as a medium capable of recording data but also an electromagnetic wave and light for transmitting signal data. The information recorded on the recording medium includes data itself such as an electronic file in an unrecorded state.
また、本発明はオーディオを中心に説明したが、ビデオと共にオーディオデータが存在していてMPEGの多重化でオーディオとビデオが多重化されていても本発明は有効であり、オーディオやビデオに限らず、他のサブピクチャや制御情報などのデータがあっても同様である。 Although the present invention has been described mainly with respect to audio, the present invention is effective even when audio data is present together with video and audio and video are multiplexed by MPEG multiplexing, and is not limited to audio or video. The same applies to data such as other sub-pictures and control information.
1 ノーマルオーディオマイク
2 バイノーラルオーディオマイク
3 ノーマルオーディオ圧縮器
4,8,11 バッファ
5 ノーマルオーディオ復号器
6 演算器
7 差分バイノーラルオーディオ圧縮器
9 カメラ
10 ビデオ圧縮器
12 情報多重化器
13 タイムスタンプ発生器
14 DVDフォーマット化器
15 記録器
16 記録媒体
17,76 制御部
31 1オーディオフレームレイヤ
32 パックヘッダ
33 パケットヘッダ
34 サブストリームID
35 オーディオフレーム情報
36 オーディオデータ情報
37 差分オーディオデータ
38 ディファレンシャルパック(D_PACK)
39 Volume and File structure
40 DVD-video zone
41 DVD-others zone
42 ビデオマネージャー(VMG)
43 ビデオタイトルセット(VTS)
44 Control Data
45 ビデオオブジェクトセット(VOBS)
46 ビデオオブジェクト(VOB)
47 セル(CELL)
48 ビデオオブジェクトユニット(VOBU)
49 ナビゲーションパック(NV_PACK)
50 オーディオパック(A_PACK)
51 ビデオパック(V_PACK)
81 ビデオマネージャー(DVMG)
82 ビデオタイトルセット(VTS)
83 DVTSI
84 ビデオオブジェクトセット(DVOBS)
85 ビデオオブジェクト(DVOB)
86 セル(DCELL)
87 ビデオオブジェクトユニット(DVOBU)
88 オーディオマネージャ(AMG)
89 オーディオタイトルセット(ATS)
90 ATSインフォメーション(ATSI)
91 オーディオオブジェクトセット(AOBS)
92 オーディオオブジェクト(AOB)
93 セル(CELL)
94 オーディオオブジェクトユニット(AOBU)
95 ディファレンシャルパック(D_PACK)
DESCRIPTION OF
35
39 Volume and File structure
40 DVD-video zone
41 DVD-others zone
42 Video Manager (VMG)
43 Video title set (VTS)
44 Control Data
45 Video Object Set (VOBS)
46 Video Object (VOB)
47 cells (CELL)
48 Video Object Unit (VOBU)
49 Navigation Pack (NV_PACK)
50 audio packs (A_PACK)
51 Video Pack (V_PACK)
81 Video Manager (DVMG)
82 Video Title Set (VTS)
83 DVTSI
84 Video Object Set (DVOBS)
85 Video object (DVOB)
86 cells (DCELL)
87 Video Object Unit (DVOBU)
88 Audio Manager (AMG)
89 Audio Title Set (ATS)
90 ATS Information (ATSI)
91 Audio Object Set (AOBS)
92 Audio Object (AOB)
93 cells (CELL)
94 Audio Object Unit (AOBU)
95 Differential Pack (D_PACK)
Claims (8)
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトのユーザーデータ領域に記録する手段と
を具備することを特徴とする3次元音場情報記録装置。 Means for recording an audio object of a two-dimensional sound field audio;
Means for recording management information describing information used for special reproduction of the audio object in a management information area;
3D sound field information recording apparatus comprising: means for recording information relating to 3D sound field information in a user data area of the audio object for each predetermined unit of each frame of the 2D sound field audio .
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録する手段と
を具備することを特徴とする3次元音場情報記録装置。 Means for recording an audio object of a two-dimensional sound field audio;
Means for recording management information describing information used for special reproduction of the audio object in a management information area;
Means for multiplexing and recording information relating to three-dimensional sound field information as stream data different from the two-dimensional sound field audio of the audio object for each predetermined unit of each frame of the two-dimensional sound field audio. A three-dimensional sound field information recording apparatus.
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記管理情報領域とは別の3次元音場用の管理情報領域に記録する手段と
を具備することを特徴とする3次元音場情報記録装置。 Means for recording an audio object of a two-dimensional sound field audio;
Means for recording management information describing information used for special reproduction of the audio object in a management information area;
Means for recording information relating to three-dimensional sound field information in a management information area for a three-dimensional sound field separate from the management information area for each predetermined unit of each frame of the two-dimensional sound field audio. A characteristic three-dimensional sound field information recording device.
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体における前記オーディオオブジェクトのユーザーデータ領域に記録させるステップと
をコンピュータに実行させるための3次元音場情報記録プログラム。 Recording an audio object of two-dimensional sound field audio on a recording medium;
Recording management information describing information used for special reproduction of the audio object in a management information area of a recording medium;
Three-dimensional sound field information for causing a computer to record information relating to three-dimensional sound field information in a user data area of the audio object in a recording medium for each predetermined unit of each frame of the two-dimensional sound field audio Recording program.
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を前記オーディオオブジェクトの前記2次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録させるステップと
をコンピュータに実行させるための3次元音場情報記録プログラム。 Recording an audio object of two-dimensional sound field audio on a recording medium;
Recording management information describing information used for special reproduction of the audio object in a management information area of a recording medium;
Multiplexing information related to three-dimensional sound field information as stream data different from the two-dimensional sound field audio of the audio object and recording the information on a recording medium for each predetermined unit of each frame of the two-dimensional sound field audio; 3D sound field information recording program for causing a computer to execute.
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記2次元音場オーディオの各フレームの所定単位ごとに、3次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の3次元音場用の管理情報領域に記録させるステップと
をコンピュータに実行させるための3次元音場情報記録プログラム。 Recording an audio object of two-dimensional sound field audio on a recording medium;
Recording management information describing information used for special reproduction of the audio object in a management information area of a recording medium;
Recording information on three-dimensional sound field information in a management information area for a three-dimensional sound field different from the management information area in a recording medium for each predetermined unit of each frame of the two-dimensional sound field audio. A three-dimensional sound field information recording program to be executed.
The information relating to the three-dimensional sound field information is encoded using at least one of differential encoding, predictive encoding, or encoding using orthogonal transform, on difference information between the two-dimensional sound field audio information and binaural audio information. 8. The three-dimensional sound field information recording program according to claim 5, wherein the recording is performed after recording.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004326803A JP2006139827A (en) | 2004-11-10 | 2004-11-10 | Device for recording three-dimensional sound field information, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004326803A JP2006139827A (en) | 2004-11-10 | 2004-11-10 | Device for recording three-dimensional sound field information, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006139827A true JP2006139827A (en) | 2006-06-01 |
Family
ID=36620563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004326803A Pending JP2006139827A (en) | 2004-11-10 | 2004-11-10 | Device for recording three-dimensional sound field information, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006139827A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120002828A1 (en) * | 2010-06-30 | 2012-01-05 | Sony Corporation | Audio processing device, audio processing method, and program |
WO2016060101A1 (en) * | 2014-10-16 | 2016-04-21 | ソニー株式会社 | Transmitting device, transmission method, receiving device, and receiving method |
WO2022009694A1 (en) * | 2020-07-09 | 2022-01-13 | ソニーグループ株式会社 | Signal processing device, method, and program |
-
2004
- 2004-11-10 JP JP2004326803A patent/JP2006139827A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120002828A1 (en) * | 2010-06-30 | 2012-01-05 | Sony Corporation | Audio processing device, audio processing method, and program |
US9351092B2 (en) * | 2010-06-30 | 2016-05-24 | Sony Corporation | Audio processing device, audio processing method, and program |
WO2016060101A1 (en) * | 2014-10-16 | 2016-04-21 | ソニー株式会社 | Transmitting device, transmission method, receiving device, and receiving method |
CN106796797A (en) * | 2014-10-16 | 2017-05-31 | 索尼公司 | Transmission equipment, sending method, receiving device and method of reseptance |
JPWO2016060101A1 (en) * | 2014-10-16 | 2017-07-27 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
US10142757B2 (en) | 2014-10-16 | 2018-11-27 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
RU2700405C2 (en) * | 2014-10-16 | 2019-09-16 | Сони Корпорейшн | Data transmission device, data transmission method, receiving device and reception method |
CN106796797B (en) * | 2014-10-16 | 2021-04-16 | 索尼公司 | Transmission device, transmission method, reception device, and reception method |
WO2022009694A1 (en) * | 2020-07-09 | 2022-01-13 | ソニーグループ株式会社 | Signal processing device, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101837084B1 (en) | Method for signal processing, encoding apparatus thereof, decoding apparatus thereof, and information storage medium | |
US20140310010A1 (en) | Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same | |
JP4013800B2 (en) | Data creation method and data recording apparatus | |
JP4831117B2 (en) | Speech encoding method and speech decoding method | |
JP2006139827A (en) | Device for recording three-dimensional sound field information, and program | |
JP2006148542A (en) | Three-dimensional sound field information reproducing device and program | |
KR100598602B1 (en) | virtual sound generating system and method thereof | |
JP3791801B2 (en) | Optical recording medium and audio decoding device | |
JP2006279555A (en) | Signal regeneration apparatus and method | |
JP3821384B2 (en) | Optical recording medium and audio decoding device | |
JP4148259B2 (en) | Speech encoding method and speech decoding method | |
JP3791798B2 (en) | Speech encoding method and speech decoding method | |
JP4169002B2 (en) | Audio format conversion apparatus and encoding apparatus | |
JP3606456B2 (en) | Audio signal transmission method and audio decoding method | |
JP2004139725A (en) | Optical recording medium and sound reproducing device | |
KR20000044777A (en) | Decoupling method in decoder of ac-3 audio | |
JP2008165257A (en) | Speech coding method and speech decoding method | |
JP2006031037A (en) | Sound encoding method and sound decoding method | |
JP2006171775A (en) | Voice coding method and decoding method | |
JP2006171770A (en) | Voice coding method and decoding method | |
JP2006350362A (en) | Audio encoding method, audio decoding method, audio receiving device, and audio signal transmitting method | |
JP2006023768A (en) | Sound encoding method and sound decoding method | |
JP2008176340A (en) | Voice coding method and voice decoding method | |
JP2006171769A (en) | Voice coding method and decoding method | |
JP2006003918A (en) | Method for encoding and decoding speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |