JP4846502B2 - Audio output device and audio output method - Google Patents

Audio output device and audio output method Download PDF

Info

Publication number
JP4846502B2
JP4846502B2 JP2006268268A JP2006268268A JP4846502B2 JP 4846502 B2 JP4846502 B2 JP 4846502B2 JP 2006268268 A JP2006268268 A JP 2006268268A JP 2006268268 A JP2006268268 A JP 2006268268A JP 4846502 B2 JP4846502 B2 JP 4846502B2
Authority
JP
Japan
Prior art keywords
audio
stream
encoding
audio stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006268268A
Other languages
Japanese (ja)
Other versions
JP2008090890A (en
Inventor
晃司 丸山
隆信 向出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006268268A priority Critical patent/JP4846502B2/en
Publication of JP2008090890A publication Critical patent/JP2008090890A/en
Application granted granted Critical
Publication of JP4846502B2 publication Critical patent/JP4846502B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は光ディスク等の情報記録媒体から音声情報を再生する音声出力装置及び音声出力方法に関する。   The present invention relates to an audio output device and an audio output method for reproducing audio information from an information recording medium such as an optical disk.

DVDに比べて3倍から4倍の記録容量と最大データ転送速度を実現した次世代光ディスクと呼ばれる情報記録媒体が実現されている。次世代光ディスクは1枚のディスクに標準コンテンツとアドバンストコンテンツの2種類のコンテンツを記録可能である。アドバンスドコンテンツはメインビデオとサブビデオとサブピクチャの3種類の映像情報を記録可能であり、それに応じて音声情報としても、メインビデオに対応するメインオーディオ、サブビデオに対応するサブオーディオ、およびエフェクトオーディオの3種類のストリームが記録可能である。   An information recording medium called a next-generation optical disc that realizes a recording capacity and a maximum data transfer speed three to four times that of a DVD has been realized. Next-generation optical discs can record two types of content, standard content and advanced content, on a single disc. The advanced content can record three types of video information of main video, sub video, and sub picture, and accordingly, as audio information, main audio corresponding to the main video, sub audio corresponding to the sub video, and effect audio. These three types of streams can be recorded.

再生した3種類のオーディオストリームはミキシングされてD/A変換器を介してアナログ音声信号としてスピーカに出力され、あるいは再エンコードされてディジタル音声信号として外部アンプ等に出力される。   The three types of reproduced audio streams are mixed and output to a speaker as an analog audio signal via a D / A converter, or re-encoded and output to an external amplifier or the like as a digital audio signal.

ディスクに記録されているメインオーディオとサブオーディオの符号化の例は、非圧縮方式のリニアPCM方式、True HD(MLPとも称される)方式、圧縮方式のドルビーディジタルプラス(DD+と略称する)方式、DTS HD Lossless(以下、DTS HDと称する)方式、MPEGオーディオ方式等がある。エフェクトオーディオはWAVファイルであることが一般的である。   Examples of encoding of main audio and sub audio recorded on a disc include an uncompressed linear PCM system, a True HD (also referred to as MLP) system, and a compressed Dolby Digital Plus (abbreviated as DD +) system. , DTS HD Lossless (hereinafter referred to as DTS HD) system, MPEG audio system, and the like. The effect audio is generally a WAV file.

このようにディスクに記録される3種類の音声情報は異なる符号化が施されている。しかし、ディスクから再生しデコードしミキシングした後に外部にディジタル出力する際は、3種類とも同じ方式、例えばDTS方式で符号化(再エンコード)される。ディスクに記録される音声情報の符号化の方式は規格で定められている複数の符号化方式からタイトル毎に選ぶことができる。しかし、再エンコード符号化方式は外部アンプとの互換性を考慮すると、圧縮率の高い符号化方式を選ぶことが好ましい。このため、メインオーディオやサブオーディオが非圧縮の符号化方式であっても、再エンコード方式はDTS方式等の高圧縮符号化方式に一意的に決められている。   In this way, the three types of audio information recorded on the disc are encoded differently. However, when the data is reproduced from the disc, decoded, mixed, and then output to the outside, all three types are encoded (re-encoded) by the same method, for example, the DTS method. The encoding method of audio information recorded on the disc can be selected for each title from a plurality of encoding methods defined by the standard. However, it is preferable to select an encoding method with a high compression rate in consideration of compatibility with an external amplifier as a re-encoding encoding method. For this reason, even if the main audio and the sub audio are non-compressed encoding methods, the re-encoding method is uniquely determined as a high compression encoding method such as the DTS method.

この場合、ディスクのパッケージ等にはメインオーディオはリニアPCM方式、True HD方式等と記載されていても、外部アンプの表示部の符号化方式の表示欄に「DTS」が表示され、ユーザに違和感や戸惑いを与えることになる。   In this case, even if the main audio is described as a linear PCM system, a True HD system, etc. on the disc package etc., “DTS” is displayed in the display field of the encoding system of the display section of the external amplifier, and the user feels uncomfortable It will give you a puzzle.

なお、複数種類の入出力インターフェースに対応可能な映像音声出力装置であって、複数種類の入出力インターフェースのいずれかに外部機器が接続された場合、外部機器が接続されたことを認証し、その機器が対応可能なフォーマットを判定することにより、出力すべき映像音声信号のフォーマットを決定する映像音声出力装置が実用されている(例えば、特許文献1参照)。   Note that this is a video / audio output device that can support multiple types of input / output interfaces, and if an external device is connected to any of the multiple types of input / output interfaces, it authenticates that the external device is connected, and A video / audio output device that determines a format of a video / audio signal to be output by determining a format that can be supported by the device has been put into practical use (for example, see Patent Document 1).

この装置によれば、接続機器の信号処理能力に応じた映像、音声出力が可能で、かつ、ユーザがフォーマット設定を行なう手間が軽減された映像音声出力装置を提供できる。しかし、この装置は、複数種類の音声情報をミキシングした後、再エンコードしてビットストリームを出力するものではない。
特開2005−51547号公報(段落0015)
According to this device, it is possible to provide a video / audio output device that can output video and audio in accordance with the signal processing capability of the connected device, and that reduces the time and effort for the user to set the format. However, this apparatus does not output a bitstream by re-encoding after mixing a plurality of types of audio information.
Japanese Patent Laying-Open No. 2005-51547 (paragraph 0015)

このように従来の音声出力装置には、複数のストリームをミキシングした後、符号化して外部機器に1つのストリームを出力する際に、符号化方式が一意的に決められて、外部出力されたオーディオストリームの種類がもともとのディスクに記録されているオーディオストリームの種類と全く変わってしまうという問題点がある。   As described above, in the conventional audio output device, when a plurality of streams are mixed and then encoded and output as one stream to an external device, the encoding method is uniquely determined and the audio output to the outside is output. There is a problem that the type of the stream is completely different from the type of the audio stream recorded on the original disc.

本発明の目的は、複数のストリームをミキシングした後、符号化して外部機器に1つのストリームを出力する際に、元の複数のストリームの符号化方式に応じた符号化方式を自動的に選択することができる音声出力装置及び音声出力方法を提供することである。   An object of the present invention is to automatically select an encoding method according to an encoding method of a plurality of original streams when a plurality of streams are mixed and then encoded and output as one stream to an external device. An audio output device and an audio output method are provided.

本発明の一態様によれば、音声出力装置は符号化されたメインオーディオストリームとサブオーディオストリームとを記録する記録媒体から再生したメインオーディオストリームとサブオーディオストリームとを1つのストリームに混合するミキシング手段と、前記ミキシング手段から出力された混合ストリームを複数の符号化方式の中から選ばれた符号化方式で符号化するエンコーダ手段と、前記メインオーディオストリームの符号化方式に基づいて前記エンコーダ手段の符号化方式を選択する選択手段と、を具備し、前記選択手段は、ストリーム切換要求に応じたタイミングで、前記メインオーディオストリームの符号化方式と同じ系列で圧縮率が高い符号化方式を選択する。 According to an aspect of the present invention, the audio output device mixes the main audio stream and the sub audio stream reproduced from the recording medium for recording the encoded main audio stream and the sub audio stream into one stream. Encoding means for encoding the mixed stream output from the mixing means with an encoding method selected from a plurality of encoding methods; and a code of the encoder means based on the encoding method of the main audio stream Selecting means for selecting an encoding method, and the selecting means selects an encoding method having a high compression rate in the same sequence as the encoding method of the main audio stream at a timing according to a stream switching request .

本発明の一態様によれば、音声出力方法は記録媒体からメインオーディオストリームとサブオーディオストリームを読出してデコードし、デコード後の2つのオーディオストリームを混合して1つのオーディオストリームを作り、ストリーム切換要求に応じたタイミングで、複数の符号化方式の中から前記メインオーディオストリームの符号化方式と同じ系列で圧縮率が高い符号化方式を選択し、前記1つのオーディオストリームを前記メインオーディオストリームの符号化方式に応じて前記複数の符号化方式の中から選ばれた符号化方式で再エンコードし、再エンコードされた1つのオーディオストリームを外部へ出力する。 According to one aspect of the present invention, an audio output method reads a main audio stream and a sub audio stream from a recording medium, decodes them, mixes the two audio streams after decoding to create one audio stream, and sends a stream switching request. at a timing corresponding to the compression ratio in the same sequence as the coding scheme of the main audio streams from a plurality of encoding methods to select a high coding scheme, encoding of the main audio streams the one audio stream is re-encoded by the encoding method selected from the plurality of encoding methods in accordance with the method, it outputs one audio stream re-encoded to the outside.

以上説明したように本発明によれば、複数のオーディオストリームの中の所定のオーディオストリームの符号化方式に基づいて符号化方式を選択するので、外部出力されたオーディオストリームの種類が記録媒体に記録されているもともとのオーディオストリームの種類と全く変わってしまうということが防止される。   As described above, according to the present invention, since the encoding method is selected based on the encoding method of a predetermined audio stream among a plurality of audio streams, the type of the externally output audio stream is recorded on the recording medium. It is prevented that the type of the original audio stream is completely changed.

以下、図面を参照して本発明による音声出力装置及び音声出力方法の実施の形態を説明する。   Embodiments of an audio output device and an audio output method according to the present invention will be described below with reference to the drawings.

第1の実施の形態
図1は本発明の第1の実施の形態に係る音声出力装置及び音声出力方法を含む動画像再生装置10の構成を示す図である。
First Embodiment FIG. 1 is a diagram showing a configuration of a moving image reproduction apparatus 10 including an audio output device and an audio output method according to a first embodiment of the present invention.

動画像再生装置10は、情報記録媒体としてのHD DVD規格に則ったディスク1から、そこに格納されている動画像情報を読み出して再生するものである。ディスク1はディスクドライブ部101に装着される。ディスクドライブ部101は、その装着されたディスク1を回転駆動し、光ピックアップ(図示せず)を用いてディスク1に格納されている情報を読み取る。   The moving image reproducing apparatus 10 reads out and reproduces moving image information stored therein from a disc 1 that complies with the HD DVD standard as an information recording medium. The disk 1 is loaded in the disk drive unit 101. The disk drive unit 101 rotationally drives the loaded disk 1 and reads information stored in the disk 1 using an optical pickup (not shown).

ディスクドライブ部101で取得した情報は、データプロセッサ部102に供給され、エラー訂正処理が施された後、該データプロセッサ部102内のバッファ(図示せず)に格納される。バッファに格納された情報のうち、詳細は後述するような管理情報は、メモリ部104に記録され、再生制御やデータ管理等に利用される。バッファに格納された情報のうち、動画像情報は、分離部103に転送され、メインビデオ/メインオーディオストリーム情報、サブビデオ/サブオーディオストリーム情報、サブピクチャストリーム情報、
エフェクトオーディオストリーム情報に分離される。メインビデオストリームはメインビデオデコーダ部108、サブビデオストリームはサブビデオデコーダ部109、サブピクチャストリームはサブピクチャデコーダ部110、メインオーディオストリームはメインオーディオデコーダ部111、サブオーディオストリームはサブオーディオデコーダ部112、エフェクトオーディオストリームはエフェクトオーディオデコーダ部113にそれぞれ供給され、デコード処理が行なわれる。なお、サブピクチャとは、字幕等の画像のことである。メインオーディオストリームは最大7.1チャンネル、サブオーディオストリームは最大2チャンネル、エフェクトオーディオストリームは最大2チャンネルの情報を含む。
Information acquired by the disk drive unit 101 is supplied to the data processor unit 102, subjected to error correction processing, and then stored in a buffer (not shown) in the data processor unit 102. Of the information stored in the buffer, management information, which will be described in detail later, is recorded in the memory unit 104 and used for reproduction control, data management, and the like. Among the information stored in the buffer, the moving image information is transferred to the separation unit 103, and main video / main audio stream information, sub video / sub audio stream information, sub picture stream information,
Separated into effect audio stream information. The main video stream is the main video decoder unit 108, the sub video stream is the sub video decoder unit 109, the sub picture stream is the sub picture decoder unit 110, the main audio stream is the main audio decoder unit 111, the sub audio stream is the sub audio decoder unit 112, The effect audio streams are respectively supplied to the effect audio decoder unit 113 and subjected to decoding processing. A sub-picture is an image such as a caption. The main audio stream includes information of up to 7.1 channels, the sub audio stream includes up to 2 channels, and the effect audio stream includes information of up to 2 channels.

メインビデオデコーダ部108でデコード処理されたメインビデオストリームと、サブビデオデコーダ部109でデコード処理されたサブビデオストリームと、サブピクチャデコーダ部110でデコード処理されたサブピクチャストリームは、ビデオプロセッサ部114に供給されて重畳処理が施された後、D/A(ディジタル/アナログ)変換器115でアナログ化され、アナログビデオ出力として図示しない映像表示装置(例えばCRTや液晶ディスプレイ、プラズマディスプレイ等)に出力される。ビデオプロセッサ部114の出力はそのままHDMI Tx(High Definition Multimedia Interface Transmitter)部116を介してHDMI出力として映像表示装置にも出力される。   The main video stream decoded by the main video decoder unit 108, the sub video stream decoded by the sub video decoder unit 109, and the sub picture stream decoded by the sub picture decoder unit 110 are sent to the video processor unit 114. After being supplied and superposed, it is converted into an analog signal by a D / A (digital / analog) converter 115 and output as an analog video output to a video display device (not shown) (eg, CRT, liquid crystal display, plasma display, etc.). The The output of the video processor unit 114 is also output to the video display device as an HDMI output via an HDMI Tx (High Definition Multimedia Interface Transmitter) unit 116 as it is.

メインオーディオデコーダ部111でデコード処理されたメインオーディオストリームと、サブオーディオデコーダ部112でデコード処理されたサブオーディオストリームと、エフェクトオーディオデコーダ部113でデコード処理されたエフェクトオーディオストリームは、オーディオミキサ部117に供給されてミキシング処理が施された後、D/A(ディジタル/アナログ)変換器118でアナログ化され、アナログ音声出力として図示しないスピーカに出力される。   The main audio stream decoded by the main audio decoder unit 111, the sub audio stream decoded by the sub audio decoder unit 112, and the effect audio stream decoded by the effect audio decoder unit 113 are sent to the audio mixer unit 117. After being supplied and mixed, it is converted into an analog signal by a D / A (digital / analog) converter 118 and output as an analog audio output to a speaker (not shown).

オーディオミキサ部117の出力ストリームはそのまま再エンコーダ部119に供給され、再エンコードされ、HDMI Tx部116を介してHDMI出力として音声再生装置にも出力されるとともに、DTI部120を介してディジタル音声出力として図示しない外部アンプ等にも出力される。   The output stream of the audio mixer unit 117 is supplied to the re-encoder unit 119 as it is, is re-encoded, is output to the audio reproduction device as an HDMI output via the HDMI Tx unit 116, and is output to the audio reproduction device via the DTI unit 120. Are also output to an external amplifier (not shown).

上記のようなディスク1に対する一連の再生動作は、制御部としてのMPU部106によって統括的に制御されている。なお、MPU部106は、キー入力部107からの操作情報を受け、ROM部105に格納されたプログラムに基づいて、各部を制御している。   A series of playback operations on the disk 1 as described above are controlled in an integrated manner by an MPU unit 106 serving as a control unit. The MPU unit 106 receives operation information from the key input unit 107 and controls each unit based on a program stored in the ROM unit 105.

次に、本実施形態に係る動画像再生装置10が取り扱うコンテンツについて説明する。   Next, content handled by the moving image playback apparatus 10 according to the present embodiment will be described.

コンテンツには、標準コンテンツ(Standard Content)とアドバンスドコンテンツ(Advanced Content)の2種類のコンテンツが存在する。標準コンテンツはナビゲーションデータとディスク上のビデオオブジェクトで構成され、これはDVD−ビデオ規格第1.1版を拡張したものである。一方、アドバンスドコンテンツはプレイリスト(Playlist),マニフェスト(Manifest),マークアップ(Markup),スクリプトファイル(Script files)等のアドバンスドナビゲーション(Navigation data)と、プライマリ/セカンダリビデオセット(Primary/Secondary Video Set)等のアドバンスドデータ(Advanced data)と、アドバンスドエレメント(Advanced Element)(画像、オーディオ、テキストなど)とで構成される。アドバンスドコンテンツに関しては、少なくとも1つのプレイリストファイルとプライマリビデオセットをディスク1上に位置づける必要があり、その他のデータはディスク1上に置いても、ネットワークサーバやストレージメディアから取り込んでも良い。アドバンスドコンテンツは、標準コンテンツで実現されるオーディオとビデオの拡張に加え、より高度なインタラクティブ性(interactivity)を実現する。   There are two types of content: standard content and advanced content. Standard content consists of navigation data and video objects on the disc, which is an extension of the DVD-Video standard version 1.1. On the other hand, advanced contents include advanced navigation (Navigation data) such as playlist, manifest, markup, script files, and primary / secondary video set. Advanced data, etc., and Advanced Element (image, audio, text, etc.). For advanced content, it is necessary to position at least one playlist file and primary video set on the disc 1, and other data may be placed on the disc 1, or may be imported from a network server or storage medium. Advanced content realizes a higher level of interactivity in addition to the extension of audio and video realized by standard content.

プレイリストは、XMLで記述されてディスク1上に記録され、ディスク1上にアドバンスドコンテンツがある場合、動画像再生装置10はまずこのプレイリストを実行する。プレイリストは次の情報を提供する。   When the playlist is described in XML and recorded on the disc 1, and there is an advanced content on the disc 1, the moving image playback apparatus 10 first executes the playlist. The playlist provides the following information:

・オブジェクトマッピング情報(Object Mapping Information):タイトルタイムライン(Title Timeline)上にマッピングされたプレゼンテーションオブジェクトのためのタイトル内の情報
・再生シーケンス(Playback Sequence):タイトルタイムラインにより記述される、各タイトル用の再生情報
プレイリストの記述に従って最初のアプリケーションが、プライマリ/セカンダリビデオセットなどがある場合はこれらを参照しつつ、実行される。1つのアプリケーションは、マニフェスト、マークアップ(これにはコンテンツ/スタイリング/タイミング情報が含まれる)、スクリプト、アドバンスドデータで構成される。アプリケーションを構成する、最初の1つのマークアップファイル、スクリプトファイルやその他のリソースは、1つのマニフェストの中で参照する。マークアップにより、プライマリ/セカンダリビデオセットなどのアドバンスドデータ、及びアドバンスドエレメントの再生が開始される。
-Object Mapping Information: Information in the title for the presentation object mapped on the Title Timeline-Playback Sequence: For each title described by the title timeline When the primary application has a primary / secondary video set or the like according to the description of the playlist, it is executed with reference to these. One application includes a manifest, markup (which includes content / styling / timing information), a script, and advanced data. The first markup file, script file, and other resources that make up the application are referenced in a single manifest. With the markup, playback of advanced data such as primary / secondary video sets and advanced elements is started.

アドバンスドデータは、アドバンスドコンテンツ用のプレゼンテーションデータのデータタイプである。アドバンスドデータは次の4つのタイプに分類できる。   Advanced data is a data type of presentation data for advanced content. Advanced data can be classified into the following four types.

・プライマリビデオセット
・セカンダリビデオセット
・アドバンスドエレメント
・その他。
・ Primary video set ・ Secondary video set ・ Advanced element ・ Others

プライマリビデオセットは、プライマリビデオ用の一組のデータである。プライマリビデオセットのデータ構造は、ナビゲーションデータ(ビデオタイトルセット情報(VTSI)(詳細は後述する)、タイムマップ(TMAP)、等)とプレゼンテーションデータ(プライマリエンハンスドビデオオブジェクト(P−EVOB)等)で構成される。プライマリビデオセットは、ディスク1上に保存される。プライマリビデオセットは、その中に様々なプレゼンテーションデータを含めることができる。考えられるプレゼンテーションストリームタイプとしては、メインビデオ、メインオーディオ、サブビデオ、サブオーディオ、サブピクチャ、エフェクトオーディオがある。ここで、プライマリビデオセットは、1つのメインビデオストリーム、1つのサブビデオストリーム、8つのメインオーディオストリーム、8つのサブオーディオストリームを保持することができる。本動画像再生装置10は、プライマリビデオ及びオーディオ以外に、同時にサブビデオ及びオーディオを再生することができる。サブビデオとサブオーディオの再生中にセカンダリビデオセットのサブビデオとサブオーディオを再生することはできない。   The primary video set is a set of data for primary video. The data structure of the primary video set is composed of navigation data (video title set information (VTSI) (details will be described later), time map (TMAP), etc.) and presentation data (primary enhanced video object (P-EVOB), etc.). Is done. The primary video set is stored on the disc 1. The primary video set can include various presentation data. Possible presentation stream types include main video, main audio, sub video, sub audio, sub picture, and effect audio. Here, the primary video set can hold one main video stream, one sub video stream, eight main audio streams, and eight sub audio streams. The moving image reproduction apparatus 10 can reproduce sub-video and audio simultaneously in addition to primary video and audio. The sub video and sub audio of the secondary video set cannot be played back during playback of the sub video and sub audio.

セカンダリビデオセットは、プライマリビデオセットにビデオ/オーディオデータを追加する際に使用し、またオーディオデータだけを追加する場合にも使用する。セカンダリビデオセットは、ディスク1上に記録されるか、あるいは1つ又は複数のファイルとしてネットワークサーバやストレージメディアから取り込まれる。このファイルは、データがディスク1上に記録されており、しかもプライマリビデオセットとともに、同時に再生する必要がある場合は、再生前に一旦ファイルキャッシュに保存される。一方、セカンダリビデオセットがウェブサイト等のネットワークサーバ上にある場合は、このデータ全体を一旦ファイルキャッシュに保存するか(「ダウンローディング」)、又はこのデータの一部をストリーミングバッファに連続的に保存する(「ストリーミング」)必要があり、保存されたデータは、ネットワークサーバからデータをダウンロードする間にバッファオーバフローを起こすことなく、同時に再生される。   The secondary video set is used when video / audio data is added to the primary video set, and is also used when only audio data is added. The secondary video set is recorded on the disc 1 or taken from a network server or storage medium as one or a plurality of files. In this file, when data is recorded on the disk 1 and it is necessary to reproduce the file together with the primary video set, the file is temporarily stored in a file cache before reproduction. On the other hand, if the secondary video set is on a network server such as a website, the entire data is temporarily stored in a file cache ("downloading") or a part of this data is continuously stored in a streaming buffer. The stored data is played back simultaneously without downloading a buffer overflow while downloading the data from the network server.

即ち、セカンダリビデオセットは、ネットワークストリーミングとファイルキャッシュ上のプレダウンロードされたコンテンツ用の一組のデータである。セカンダリビデオセットのデータ構造は、アドバンスドVTSの簡単化された構造であり、タイムマップ(TMAP)とプレゼンテーションデータ(セカンダリエンハンスドビデオオブジェクト(S−EVOB))で構成される。セカンダリビデオセットには、サブビデオ、サブオーディオ、コンプリメンタリオーディオ、コンプリメンタリサブタイトルを含めることができる。コンプリメンタリオーディオは、プライマリビデオセット内のメインオーディオに代わる代替オーディオストリームとして使用する。コンプリメンタリサブタイトルは、プライマリビデオセット内のサブピクチャに代わる代替サブタイトルストリームとして使用する。コンプリメンタリサブタイトルのデータフォーマットはアドバンスドサブタイトルである。   That is, the secondary video set is a set of data for network streaming and pre-downloaded content on a file cache. The data structure of the secondary video set is a simplified structure of the advanced VTS, and includes a time map (TMAP) and presentation data (secondary enhanced video object (S-EVOB)). The secondary video set can include sub video, sub audio, complementary audio, and complementary sub titles. Complementary audio is used as an alternative audio stream to replace the main audio in the primary video set. The complementary subtitle is used as an alternative subtitle stream in place of the subpicture in the primary video set. The data format of the complementary subtitle is an advanced subtitle.

アドバンスドエレメントは、グラフィック平面、効果音、及びアドバンスドナビゲーション、プレゼンテーションエンジンで生成され、あるいはデータソースから受け取る各種タイプのファイルを作成するために使用するプレゼンテーションの材料である。使用可能なデータフォーマットは次の通りである。   Advanced elements are graphics planes, sound effects, and presentation materials used to create various types of files that are generated by advanced navigation, presentation engines, or received from data sources. The data formats that can be used are as follows.

・画像/アニメーション
*PNG
*JPG
*MNG
・オーディオ
*WAV
・テキスト/フォント
*UNICODEフォーマット、UTF−8又はUTF−16
*オープンフォント。
・ Image / Animation * PNG
* JPG
* MNG
・ Audio * WAV
・ Text / Font * Unicode format, UTF-8 or UTF-16
* Open font.

アドバンスドデータには、その他として、アドバンスドナビゲーション内のスクリプトで生成されるゲームスコア用のテキストファイルや、あるいはアドバンスドコンテンツが特定のネットワークサーバへのアクセスを開始するときに受け取るクッキーなどがある。これらのデータファイルは、アドバンスドナビゲーションの指示によりプライマリビデオ再生の際に取り込む画像ファイルなど、その種類によってはアドバンスドエレメントとして処理されるものがある。   The advanced data includes a text file for a game score generated by a script in the advanced navigation, or a cookie received when the advanced content starts to access a specific network server. Some of these data files are processed as advanced elements depending on the type, such as an image file that is captured during primary video playback in accordance with an instruction of advanced navigation.

次に、HD DVD規格に則ったディスク1に関連するファイルとディレクトリについて、図2を参照して説明する。   Next, files and directories related to the disc 1 conforming to the HD DVD standard will be described with reference to FIG.

ルートディレクトリのすぐ下には、「HVDVD_TS」ディレクトリと「ADV_OBJ」ディレクトリとがある。   Immediately below the root directory are an “HVDVD_TS” directory and an “ADV_OBJ” directory.

「HVDVD_TS」ディレクトリには、1つのビデオマネージャ(VMG)に関連する全ファイル、1つ又は複数の標準ビデオセット(標準VTS;Standard Video Title Set)、1つのアドバンスドVTS(プライマリビデオセット)がある。   In the “HVDVD_TS” directory, there are all files related to one video manager (VMG), one or more standard video sets (standard VTS; Standard Video Title Set), and one advanced VTS (primary video set).

ここで、ビデオマネージャ(VMG)に関連するファイルとしては、1つのビデオマネージャ情報(VMGI)、1つのファーストプレイプログラムチェーンメニュー用エンハンスドビデオオブジェクト(FP_PGCM_EVOB)、1つのバックアップ用ビデオマネージャ情報(VMGI_BUP)がある。1つのビデオマネージャメニュー用エンハンスドビデオオブジェクトセット(VMGM_EVOBS)のサイズが1GB(=230バイト)以上あるときは、「HVDVD_TS」ディレクトリ以下でファイル数が最大で98になるよう分割する必要がある。1つのVMGM_EVOBSのこれらのファイルについては、どのファイルも連続的に割り振ることが必要である。   Here, as files related to the video manager (VMG), one video manager information (VMGI), one enhanced video object for first play program chain menu (FP_PGCM_EVOB), and one video manager information for backup (VMGI_BUP) are included. is there. When the size of one enhanced video object set for video manager menu (VMGM_EVOBS) is 1 GB (= 230 bytes) or more, it is necessary to divide the file so that the maximum number of files is 98 under the “HVDVD_TS” directory. For these files in one VMGM_EVOBS, it is necessary to allocate any file continuously.

また、1つのビデオタイトルセット情報(VTSI)と1つのバックアップ用ビデオタイトルセット情報(VTSI_BUP)が、それぞれ標準VTSの構成ファイルとして「HVDVD_TS」ディレクトリ以下に記録される。ビデオタイトルセットメニュー用エンハンスドビデオオブジェクトセット(VTSM_EVOBS)と、タイトル用エンハンスドビデオオブジェクトセット(VTSTT_VOBS)のサイズが1GB(=230バイト)以上あるときは、どのファイルのサイズも1GBより小さくなるように、最大で99のファイルに分割する必要がある。これらのファイルは「HVDVD_TS」ディレクトリ以下の構成ファイルである。1つのVTSM_EVOBSと1つのVTSTT_EVOBSのこれらのファイルについては、どのファイルも連続的に割り振ることが必要とされる。   Also, one video title set information (VTSI) and one backup video title set information (VTSI_BUP) are recorded under the “HVDVD_TS” directory as standard VTS configuration files. When the video title set menu enhanced video object set (VTSM_EVOBS) and the title enhanced video object set (VTSTT_VOBS) have a size of 1 GB (= 230 bytes) or more, the maximum size of any file is smaller than 1 GB. It is necessary to divide into 99 files. These files are configuration files under the “HVDVD_TS” directory. For these files of one VTSM_EVOBS and one VTSTT_EVOBS, it is necessary to allocate any file sequentially.

また、アドバンスドビデオタイトルセット(アドバンスドVTS)は、1つのビデオタイトルセット情報(VTSI)と1つのバックアップ用ビデオタイトルセット情報(VTSI_BUP)を、それぞれ構成ファイルとする。1つのビデオタイトルセットタイムマップ情報(VTS_TMAP)と、1つのバックアップ用ビデオタイトルセットタイムマップ情報(VTS_TMAP_BUP)は、それぞれ「HVDVD_TS」ディレクトリ以下で最大99のファイルで構成することができる。タイトル用エンハンスドビデオオブジェクトセット(VTSTT_VOBS)のサイズが1GB(=230バイト)以上あるときは、どのファイルのサイズも1GBより小さくなるように、最大で99のファイルに分割する必要がある。これらのファイルは「HVDVD_TS」ディレクトリ以下の構成ファイルである。1つのVTSTT_EVOBS内のこれらのファイルについては、どのファイルも連続的に割り振ることが必要とされる。   The advanced video title set (advanced VTS) includes one video title set information (VTSI) and one backup video title set information (VTSI_BUP) as configuration files. One video title set time map information (VTS_TMAP) and one backup video title set time map information (VTS_TMAP_BUP) can each be composed of up to 99 files under the “HVDVD_TS” directory. When the size of the title enhanced video object set (VTSTT_VOBS) is 1 GB (= 230 bytes) or more, it is necessary to divide the file into 99 files at maximum so that the size of any file is smaller than 1 GB. These files are configuration files under the “HVDVD_TS” directory. For these files in a single VTSTT_EVOBS, it is required that any file be allocated continuously.

なお、「HVDVD_TS」ディレクトリ以下のファイル名とディレクトリ名には、次の規則が適用される。   The following rules are applied to file names and directory names under the “HVDVD_TS” directory.

1) ディレクトリ名
DVD−ビデオの固定ディレクトリ名は「HVDVD_TS」とする。
1) Directory name The fixed directory name of DVD-Video is “HVDVD_TS”.

2) ビデオマネージャ(VMG)用ファイル名
ビデオマネージャ情報の固定ファイル名は「HV000I01.IFO」とする。
2) File name for video manager (VMG) The fixed file name of the video manager information is “HV000I01.IFO”.

FP_PGCメニュー用エンハンスドビデオオブジェクトの固定ファイル名は「HV000M01.EVO」とする。     The fixed file name of the enhanced video object for the FP_PGC menu is “HV000M01.EVO”.

VMGメニュー用エンハンスドビデオオブジェクトセットのファイル名は「HV000M%%.EVO」とする。     The file name of the enhanced video object set for the VMG menu is “HV000M %%. EVO”.

バックアップ用ビデオマネージャ情報の固定ファイル名は「HV000I01.BUP」とする。     The fixed file name of the backup video manager information is “HV000I01.BUP”.

なお、「%%」は、VMGメニュー用の各エンハンスドビデオオブジェクトセットに対して「02」から「99」まで昇順で連続的に割り当てられる。     Note that “%%” is continuously assigned in ascending order from “02” to “99” to each enhanced video object set for the VMG menu.

3) 標準ビデオタイトルセット(標準VTS)用ファイル名
ビデオタイトルセットのファイル名は「HV@@@I01.IFO」とする。
3) File name for standard video title set (standard VTS) The file name of the video title set is “HV @@@ I01.IFO”.

VTSメニュー用エンハンスドビデオオブジェクトセットのファイル名は「HV@@@M##.EVO」とする。     The file name of the enhanced video object set for the VTS menu is “HV @@@ M ##. EVO”.

タイトル用エンハンスドビデオオブジェクトセットのファイル名は「HV@@@T##.EVO」とする。     The file name of the title enhanced video object set is “HV @@@ T ##. EVO”.

バックアップ用ビデオタイトルセット情報のファイル名は「HV@@@I01.BUP」とする。     The file name of the video title set information for backup is “HV @@@ I01.BUP”.

なお、「@@@」は、ビデオタイトルセット番号のファイルに割り当てられる3つの文字で、「001」から「511」までとする。     “@@@” is three characters assigned to the file of the video title set number, and is “001” to “511”.

また、「##」は、VTSメニュー用の各エンハンスドビデオオブジェクトセット又はタイトル用の各エンハンスドビデオオブジェクトセットに対して「01」から「99」まで昇順で連続的に割り当てられる。     Further, “##” is continuously assigned in ascending order from “01” to “99” to each enhanced video object set for the VTS menu or each enhanced video object set for the title.

4) アドバンスドビデオタイトルセット(アドバンスドVTS)用ファイル名
ビデオタイトルセットのファイル名は「HVA00001.VTI」とする。
4) File name for advanced video title set (advanced VTS) The file name of the video title set is “HVA00001.VTI”.

タイトル用エンハンスドビデオオブジェクトセットのファイル名は「TITLE0&&.EVO」とする。     The file name of the title enhanced video object set is “TITLE0 &&. EVO”.

タイムマップ情報のファイル名は「TITLE0$$.MAP」とする。     The file name of the time map information is “TITLE0 $$. MAP”.

バックアップ用ビデオタイトルセット情報のファイル名は「HAV00001.BUP」とする。   The file name of the backup video title set information is “HAV00001.BUP”.

バックアップ用タイムマップ情報のファイル名は「TITLE0$$.BUP」とする。     The file name of the backup time map information is “TITLE0 $$. BUP”.

なお、「&&」は、タイトル用エンハンスドビデオオブジェクトセットに対して「01」から「99」まで昇順で連続的に割り当てられる。     Note that “&&” is continuously assigned in ascending order from “01” to “99” to the title enhanced video object set.

また、「$$」は、タイムマップ情報に対して「01」から「99」まで昇順で連続的に割り当てられる。     Further, “$$” is continuously assigned to the time map information from “01” to “99” in ascending order.

一方、「ADV_OBJ」ディレクトリには、プレイリストファイルがすべてこのディレクトリ下に置かれる。また、アドバンスドナビゲーション、アドバンスドエレメント、セカンダリビデオセットのファイルは、どれでもこのディレクトリ下に置くことができる。   On the other hand, in the “ADV_OBJ” directory, all playlist files are placed under this directory. In addition, any files of advanced navigation, advanced element, and secondary video set can be placed under this directory.

各プレイリストファイルは、この「ADV_OBJ」ディレクトリに「PLAYLIST%%.XML」というファイル名で置くことができる。「%%」は、「00」から「99」まで昇順で連続的に割り当てられる。(ディスクをロードしたときに)最大の番号をもつプレイリストファイルが最初に処理される。   Each playlist file can be placed in the “ADV_OBJ” directory with the file name “PLAYLIST %%. XML”. “%%” is continuously assigned in ascending order from “00” to “99”. The playlist file with the highest number is processed first (when the disc is loaded).

この「ADV_OBJ」ディレクトリには、サブディレクトリとして「アドバンスドコンテンツ用ディレクトリ」が置かれる。このディレクトリは、「ADV_OBJ」ディレクトリ下にのみ置くことができる。「アドバンスドコンテンツ用ディレクトリ」には、アドバンスドナビゲーション、アドバンスドエレメント、セカンダリビデオセットのファイルは、どれでも置くことができる。このディレクトリ名はd文字とd1文字で構成される。「ADV_OBJ」下のサブディレクトリの総数(「ADV_OBJ」ディレクトリを除く)は512未満とする。ディレクトリ階層の深さは8又はそれ以下とする。   In the “ADV_OBJ” directory, “Advanced Content Directory” is placed as a subdirectory. This directory can be placed only under the “ADV_OBJ” directory. Any file of advanced navigation, advanced element, and secondary video set can be placed in the “advanced content directory”. This directory name is composed of d characters and d1 characters. The total number of subdirectories under “ADV_OBJ” (excluding the “ADV_OBJ” directory) is less than 512. The depth of the directory hierarchy is 8 or less.

「ADV_OBJ」ディレクトリ以下のアドバンスドコンテンツ用ファイルの総数は512×2047に制限され、各ディレクトリ内にあるファイルの総数は2048未満とする。このファイル名はd文字又はd1文字で構成し、このファイル名は本体、「.」(ピリオド)、拡張子で構成される。   The total number of files for advanced content under the “ADV_OBJ” directory is limited to 512 × 2047, and the total number of files in each directory is less than 2048. This file name is composed of d characters or d1 characters, and this file name is composed of a main body, “.” (Period), and an extension.

図3は、アドバンスドコンテンツ(Advanced Content)の構成例を説明する図である。なお、アドバンスドコンテンツは、必ずしもディスク1に記憶されている必要はなく、ネットワークサーバやストレージメディアから提供されるものであってもよい。   FIG. 3 is a diagram for explaining a configuration example of advanced content. The advanced content does not necessarily have to be stored on the disc 1, and may be provided from a network server or a storage medium.

アドバンスドコンテンツは、プレイリストファイル、アドバンスドアプリケーション(Advanced Application)、プライマリビデオセット(Primary video set)、セカンダリビデオセット(Secondary video set)、アドバンスドサブタイトル(Advanced Subtitle)、コンフィギュレーションファイル(Configuration File)を含んで構成されている。   The advanced content includes a playlist file, an advanced application (Advanced Application), a primary video set (Primary video set), a secondary video set (Secondary video set), an advanced subtitle (Advanced Subtitle), and a configuration file (Configuration File). It is configured.

アドバンスドアプリケーションは、画像(Image)、エフェクトオーディオ(Effect Audio)、フォント(Font)、その他(Others)を管理するアドバンスドナビゲーション(Advanced Navigation)と、アドバンスドナビゲーションにより管理されるこれらデータからなるアドバンスドエレメント(Advanced Element)を含んで構成されている。アドバンスドナビゲーションは、マニフェストファイルズ(Manifest files)、マークアップファイルズ(Markup files)及びスクリプトファイルズ(Script files)を含んでいる。   The advanced application consists of an advanced navigation (Advanced Navigation) that manages images (Image), effect audio (Effect Audio), fonts (Font), and other (Others), and an advanced element (Advanced) that consists of these data managed by the advanced navigation. Element). Advanced navigation includes Manifest files, Markup files, and Script files.

プライマリビデオセットは、ビデオタイトルセット情報(VTSI)、タイムマップ(Time Map: TMAP)、プライマリエンハンスドビデオオブジェクト(P−EVOB)を含むプライマリオーディオビデオを含んで構成されている。   The primary video set includes primary audio video including video title set information (VTSI), time map (Time Map: TMAP), and primary enhanced video object (P-EVOB).

セカンダリビデオセットは、タイムマップ、セカンダリエンハンスドビデオオブジェクト(S−EVOB)を含むサブスティチュートオーディオビデオ、サブスティチュートオーディオ、セカンダリオーディオビデオを含んで構成されている。   The secondary video set includes a substitute audio video including a time map and a secondary enhanced video object (S-EVOB), a substitute audio, and a secondary audio video.

アドバンスドサブタイトルは、画像(Image)、フォント(Font)を管理するアドバンスドナビゲーションと、アドバンスドナビゲーションにより管理されるこれらデータからなるアドバンスドエレメントを含んで構成されている。アドバンスドナビゲーションは、マニフェストファイルズ、マークアップファイルズを含んでいる。   The advanced subtitle includes an advanced navigation that manages an image (Image) and a font (Font), and an advanced element that includes these data managed by the advanced navigation. Advanced navigation includes manifest files and markup files.

プライマリビデオセットは、図4に示すように、ビデオタイトルセット情報(VTSI)、P−EVOBであるビデオタイトルセット用エンハンスドビデオオブジェクトセット(VTS_EVOBS)、ビデオタイトルセットタイムマップ情報(VTS_TMAP)、及びVTSIのバックアップ(VTSI_BUS)とVTS_TMAPのバックアップ(VTS_TMAP_BUS)を含んで構成されている。このVTS_TMAPは、図3に示すタイムマップ(Time Map)に相当し、アドレス及びサイズの情報を含む。図3に示すタイムマップは、VOB毎に存在する。   As shown in FIG. 4, the primary video set includes video title set information (VTSI), video title set enhanced video object set (VTS_EVOBS) which is P-EVOB, video title set time map information (VTS_TMAP), and VTSI. A backup (VTSI_BUS) and a backup of VTS_TMAP (VTS_TMAP_BUS) are included. This VTS_TMAP corresponds to the time map (Time Map) shown in FIG. 3 and includes address and size information. The time map shown in FIG. 3 exists for each VOB.

ビデオタイトルセット情報(VTSI)は、1つのビデオタイトル用の情報を記述するもので、この情報により各EVOBの属性情報を記述することができるようになっている。このVTSIは、図4に示すように、ビデオタイトルセット情報管理テーブル(VTSI_MAT)から始まり、その後にビデオタイトルセットエンハンスドビデオオブジェクトアトリビュートテーブル(VTS_EVOB_ATRT)とビデオタイトルセットエンハンスドビデオオブジェクト情報テーブル(VTS_EVOBIT)が続いている。ここで、各テーブルは、隣接する論理ブロックの境界にアラインされる。この境界アラインのために、各テーブルは2047バイト(00hを含み得る)までフォローアップすることができるようになっている。   Video title set information (VTSI) describes information for one video title, and attribute information of each EVOB can be described by this information. As shown in FIG. 4, this VTSI starts from a video title set information management table (VTSI_MAT), followed by a video title set enhanced video object attribute table (VTS_EVOB_ATRT) and a video title set enhanced video object information table (VTS_EVOBIT). ing. Here, each table is aligned with the boundary between adjacent logical blocks. Because of this boundary alignment, each table can be followed up to 2047 bytes (which can include 00h).

上記ビデオタイトルセット情報管理テーブル(VTSI_MAT)は、VTS及びVTSIのサイズ、VTSI中の各情報のスタートアドレス、VTS中のEVOBSのアトリビュート、等が記述されたテーブルである。   The video title set information management table (VTSI_MAT) is a table in which the sizes of VTS and VTSI, the start address of each information in VTSI, the attributes of EVOBS in VTS, and the like are described.

上記ビデオタイトルセットエンハンスドビデオオブジェクトアトリビュートテーブル(VTS_EVOB_ATRT)は、プライマリビデオセット下の各EVOBに定義されたアトリビュート情報が記述されたテーブルである。このVTS_EVOB_ATRTは、図5に示すように、VTS_EVOB_ATRT情報(VTS_EVOB_ATRTI)から始まり、その後に各VTS_EVOB_ATRのサーチポインタ(VTS_EVOB_ATR_SRP #1〜#n)と、実際の各ビデオタイトルセットエンハンスドビデオオブジェクトアトリビュート(VTS_EVOB_ATR #1〜#n)が続いている。   The video title set enhanced video object attribute table (VTS_EVOB_ATRT) is a table in which attribute information defined in each EVOB under the primary video set is described. As shown in FIG. 5, this VTS_EVOB_ATRT starts with VTS_EVOB_ATRT information (VTS_EVOB_ATRTI), and then a search pointer (VTS_EVOB_ATR_SRP # 1 to #n) of each VTS_EVOB_ATR and each actual video title set enhanced V_TR_E ~ # N) continues.

図6(A)は、上記VTS_EVOB_ATRT情報(VTS_EVOB_ATRTI)の構成例を説明する図である。このテーブル内において、相対バイト位置(RBP)で最初に配置されるVTS_EVOB_ATR_Nsは、VTS_EVOB_ATRの数を記述している。次のVTSI_EVOB_ATRT_EAは、該当VTS_EVOB_ATRTの先頭アドレスからの相対ブロック番号でこのVTS_EVOB_ATRTのエンドアドレスを記述している。   FIG. 6A is a diagram for explaining a configuration example of the VTS_EVOB_ATRT information (VTS_EVOB_ATRTI). In this table, VTS_EVOB_ATR_Ns that is first arranged at the relative byte position (RBP) describes the number of VTS_EVOB_ATR. The next VTSI_EVOB_ATRT_EA describes the end address of this VTS_EVOB_ATRT as a relative block number from the head address of the corresponding VTS_EVOB_ATRT.

また、上記VTS_EVOB_ATRサーチポインタ(VTS_EVOB_ATR_SRP)は、図6(B)に示すように、該当VTS_EVOB_ATRTの先頭アドレスからの相対ブロック番号でこのEVOBに対応するVTS_EVOB_ATRのスタートアドレスを記述している。   The VTS_EVOB_ATR search pointer (VTS_EVOB_ATR_SRP) describes the start address of the VTS_EVOB_ATR corresponding to this EVOB as a relative block number from the head address of the corresponding VTS_EVOB_ATRT, as shown in FIG. 6B.

上記ビデオタイトルセットエンハンスドビデオオブジェクトアトリビュート(VTS_EVOB_ATR)は、プライマリビデオセット下の何れか1つ以上のEVOBのアトリビュートに対応するものである。このVTS_EVOB_ATRには、図6(C)に示すように、相対バイト位置(RBP)で最初からEVOBタイプ(EVOB_TY)、EVOBのメインビデオアトリビュート(EVOB_VM_ATR)、EVOBのサブビデオアトリビュート(EVOB_VS_ATR)、EVOBのサブビデオ用Luma値(EVOB_VS_LUMA)、EVOBのメインオーディオストリームの数(EVOB_AMST_Ns)、EVOBのメインオーディオストリームアトリビュートテーブル(EVOB_AMST_ATRT)、EVOBのオーディオストリーム用ダウンミックス係数テーブル(EVOB_DM_COEFTS)、EVOBのサブオーディオストリームの数(EVOB_ASST_Ns)、EVOBのサブオーディオストリームアトリビュートテーブル(EVOB_ASST_ATRT)、EVOBのサブピクチャストリームの数(EVOB_SPST_Ns)、EVOBのサブピクチャストリームアトリビュートテーブル(EVOB_SPST_ATRT)、EVOBのSD用サブピクチャパレット(EVOB_SDSP_PLT)、EVOBのHD用サブピクチャパレット(EVOB_HDSP_PLT)、等が配置されている。   The video title set enhanced video object attribute (VTS_EVOB_ATR) corresponds to an attribute of any one or more EVOBs under the primary video set. In this VTS_EVOB_ATR, as shown in FIG. 6C, the EVOB type (EVOB_TY), EVOB main video attribute (EVOB_VM_ATR), EVOB sub-video attribute (EVOB_VS_ATR), EVOB from the beginning in the relative byte position (RBP) Sub video Luma value (EVOB_VS_LUMA), number of EVOB main audio streams (EVOB_AMST_Ns), EVOB main audio stream attribute table (EVOB_AMST_ATRT), EVOB audio stream downmix coefficient table (EVOB_DM_COEFTS), sub-stream of EVOB Number (EVOB_ASST_Ns), sub-stream of EVOB Attribute table (EVOB_ASST_ATRT), the number of EVOB sub-picture streams (EVOB_SPST_Ns), the EVOB sub-picture stream attribute table (EVOB_SPST_ATRT), the EVOB SD sub-picture palette (EVOB_SDSP_PLT), the EVOB HD PL T_SP , Etc. are arranged.

ここで、上記EVOBのメインオーディオストリームアトリビュートテーブル(EVOB_AMST_ATRT)は、EVOBの各メインオーディオアトリビュートを記述するもので、図7(A)に示す通りである。1つのEVOB_AMST_ATRは各メインオーディオストリームのために記述され、常に、オーディオストリーム#0〜#7の8個のオーディオストリームのEVOB_AMST_ATRを記述する。メインオーディオストリームの数が8よりも少ない場合には、使用されないストリームのEVOB_AMST_ATRの全ビットが“0b”とされる。   The EVOB main audio stream attribute table (EVOB_AMST_ATRT) describes each main audio attribute of EVOB, as shown in FIG. 7A. One EVOB_AMST_ATR is described for each main audio stream, and always describes EVOB_AMST_ATR of eight audio streams of audio streams # 0 to # 7. When the number of main audio streams is less than 8, all bits of EVOB_AMST_ATR of unused streams are set to “0b”.

1つのEVOB_AMST_ATRの内容は、図7(B)に示す通りである。即ち、ビット31〜26に割り当てられたオーディオ符号化モード(Audio coding mode)は、インターオペラブルVTS中のドルビィ(Dolby)AC−3のためにリザーブドとするならば“000000b”が、True HD(MLP)オーディオならば“000001b”が、MPEG−1又は拡張ビットストリーム無しのMPEG−2ならば“000010b”が、
拡張ビットストリーム付きのMPEG−2ならば“000011b”が、
インターオペラブルVTS中の1/600秒のサンプルデータを用いるリニアPCMオーディオのためにリザーブドとするならば“000100b”が、1/1200秒のサンプルデータを用いるリニアPCMオーディオであれば“000101b”が、DTS−HDであれば“000110b”が、ドルビィデジタルプラス(DD+)であれば“000111b”が記述され、その他はリザーブドとされる。
The content of one EVOB_AMST_ATR is as shown in FIG. That is, if the audio coding mode assigned to bits 31 to 26 is reserved for Dolby AC-3 in the interoperable VTS, “000000b” is set to True HD ( MLP) audio is “000001b”, MPEG-1 or MPEG-2 without extended bitstream is “0000010b”
In the case of MPEG-2 with an extended bitstream, “000011b” is
“000100b” is reserved for linear PCM audio using 1/600 second sample data in the interoperable VTS, and “000101b” is linear PCM audio using 1/1200 second sample data. , “000110b” is described for DTS-HD, “000111b” is described for Dolby Digital Plus (DD +), and the others are reserved.

なお、特に図示及び説明はないが、セカンダリビデオセットや、アドバンスドアプリケーション、アドバンスドサブスティチュートに関しても、上記プライマリビデオセットの構成と同様の構成により記述される。   Although not particularly shown or described, the secondary video set, advanced application, and advanced substitute are also described in the same configuration as the primary video set.

以上のように構成された音声出力装置の再エンコードについて説明する。本実施形態の再エンコーダ部119は、一種類の符号化方式に固定された従来例とは異なり、いくつかの符号化方式の中から選択可能であり、入力オーディオストリームの種類に応じて自動的に再エンコード方式を決定する。図8にデータソースの種類毎に選択される再エンコード方式を示す。本実施の形態ではサブオーディオストリーム、エフェクトオーディオストリームの方式に関わらずメインオーディオストリームの方式に応じて再エンコード方式が決定される。ただし、メインオーディオストリームの符号化方式と全く同じ方式を選ぶと、特に非圧縮方式の場合、外部アンプが適応していない場合があるので、同じ系列(ドルビー方式、DTS方式)で圧縮率が高い方式が選ばれている。例えば、メインオーディオストリームがドルビーディジタルプラス方式であれば再エンコード方式はドルビーディジタル方式が、メインオーディオストリームがTrue HD方式であれば再エンコード方式はドルビーディジタル方式が、メインオーディオストリームがDTS HD方式であれば再エンコード方式はDTS方式が、メインオーディオストリームがドルビーディジタル方式であれば再エンコード方式はドルビーディジタル方式が選ばれる。なお、メインオーディオストリームが存在しない場合は、エフェクトオーディオストリームの方式に関わらずサブオーディオストリームの方式に応じて再エンコード方式が決定される。例えば、サブオーディオストリームがドルビーディジタルプラス方式であれば再エンコード方式はドルビーディジタル方式が、サブオーディオストリームがDTS HD方式であれば再エンコード方式はDTS方式が選ばれる。   Re-encoding of the audio output apparatus configured as described above will be described. The re-encoder unit 119 according to the present embodiment can select from several encoding methods, unlike the conventional example fixed to one type of encoding method, and automatically according to the type of the input audio stream. Determine the re-encoding method. FIG. 8 shows a re-encoding method selected for each type of data source. In the present embodiment, the re-encoding method is determined according to the main audio stream method regardless of the sub audio stream and effect audio stream methods. However, if the same method as the encoding method of the main audio stream is selected, the compression rate is high for the same series (Dolby method, DTS method) because the external amplifier may not be adapted particularly in the case of the non-compression method. The method is selected. For example, if the main audio stream is a Dolby Digital Plus system, the re-encoding system is a Dolby digital system, if the main audio stream is a True HD system, the re-encoding system is a Dolby digital system, and the main audio stream is a DTS HD system. For example, the DTS method is selected as the re-encoding method, and the Dolby digital method is selected as the re-encoding method when the main audio stream is the Dolby digital method. If the main audio stream does not exist, the re-encoding method is determined according to the sub audio stream method regardless of the effect audio stream method. For example, if the sub audio stream is a Dolby Digital Plus system, the Dolby Digital system is selected as the re-encoding system, and the DTS system is selected as the re-encoding system if the sub audio stream is the DTS HD system.

次に、再エンコード方式の決定/切替えのタイミングについて説明する。図1の動画像再生装置10のキー入力部107はキー入力の一部としてリモコンユニットからのキー入力も含む。ユーザがリモコンユニットから音声切り替え操作(オーディオ1、オーディオ2、オーディオ3を切り替える)や、日本語/英語音声切替え、同じタイトルに異なる音質の音声情報が記録されている際の音質切替え(DD+からDTSに変更)、タイトル(映画等)の切替わり時に、ナビゲーションからストリーム切替え要求が出される。このストリーム切替え要求をトリガとして図9に示す切替え処理が開始する。処理が開始すると、プライマリビデオセット内のビデオタイトルセット情報VTSI内の図7に示す6ビットのオーディオコーディングモード情報を調べる。ステップS12でメインオーディオストリームがドルビーディジタルプラス方式である(000111b)か否か判定する。イエスの場合は、ステップS20で再エンコード方式をドルビーディジタル方式に設定する。ステップS12でノーの場合は、ステップS14でメインオーディオストリームがTrue HD方式である(000001b)か否か判定する。イエスの場合は、ステップS22で再エンコード方式をドルビーディジタル方式に設定する。ステップS14でノーの場合は、ステップS16でメインオーディオストリームがドルビーディジタル方式である(000000b)か否か判定する。イエスの場合は、ステップS24で再エンコード方式をドルビーディジタル方式に設定する。ステップS16でノーの場合は、ステップS18でメインオーディオストリームがDTS HD方式である(000110b)か否か判定する。イエスの場合は、ステップS28で再エンコード方式をDTS方式に設定する。   Next, the timing for determining / switching the re-encoding method will be described. 1 includes a key input from a remote control unit as a part of the key input. Audio switching operation (switching between audio 1, audio 2 and audio 3) from the remote control unit, Japanese / English audio switching, sound quality switching when audio information of different sound quality is recorded in the same title (from DD + to DTS When the title (movie etc.) is switched, a stream switching request is issued from the navigation. The switching process shown in FIG. 9 starts with this stream switching request as a trigger. When the process starts, the 6-bit audio coding mode information shown in FIG. 7 in the video title set information VTSI in the primary video set is checked. In step S12, it is determined whether or not the main audio stream is a Dolby Digital Plus system (000111b). If yes, the re-encoding method is set to the Dolby digital method in step S20. If no in step S12, it is determined in step S14 whether the main audio stream is True HD (000001b). If yes, the re-encoding method is set to the Dolby Digital method in step S22. If NO in step S14, it is determined in step S16 whether the main audio stream is a Dolby Digital format (000000b). If yes, the re-encoding method is set to the Dolby Digital method in step S24. If NO in step S16, it is determined in step S18 whether the main audio stream is a DTS HD format (000110b). If yes, the re-encoding method is set to the DTS method in step S28.

これにより、再エンコードがメインオーディオストリームの符号化方式に近い方式で行われるので、再エンコード結果が供給される外部機器の音声情報の符号化方式の表示欄にもメインオーディオストリームの符号化方式に近い方式が表示されるので、ユーザに違和感や戸惑いを与えることがない。また、複数の再エンコード方式のいずれかがメインオーディオストリームの符号化方式に基づいて自動的に選択されるので、ユーザが外部機器の種類を考慮して選択する煩雑さを省くことができる。   As a result, re-encoding is performed in a manner close to the encoding method of the main audio stream, so that the encoding method of the main audio stream is also displayed in the audio information encoding method display field of the external device to which the re-encoding result is supplied. Since the close method is displayed, the user does not feel uncomfortable or confused. In addition, since any one of a plurality of re-encoding schemes is automatically selected based on the encoding scheme of the main audio stream, it is possible to save the user from having to select in consideration of the type of external device.

変形例
メインオーディオストリームの符号化方式をビデオタイトルセット情報VTSI内のオーディオコーディングモードで判別したが、これに限らず、以下の情報を参照しても判別することができる。
Modified Example The encoding method of the main audio stream is determined by the audio coding mode in the video title set information VTSI. However, the present invention is not limited to this, and can be determined by referring to the following information.

(1)プライマリエンハンスドビデオオブジェクト(P−EVOB)内のエンハンスドビデオオブジェクト(EVOB)内のエンハンスドビデオオブジェクトユニット(EVOBU)内のメインオーディオパックAM_PKC内のパックヘッダ内のストリームIDとパケットヘッダ内のサブストリームIDの組み合わせもオーディオストリームのタイプを示す。   (1) The stream ID in the pack header in the main audio pack AM_PKC in the enhanced video object unit (EVOBU) in the enhanced video object (EVOB) in the primary enhanced video object (P-EVOB) and the substream in the packet header The combination of IDs also indicates the type of audio stream.

リニアPCMは、ストリームIDが10111101bで、サブストリームIDが10100***bである。*は0、1のいずれでも良いことを示す。   Linear PCM has a stream ID of 10111101b and a substream ID of 10100 *** b. * Indicates that 0 or 1 may be used.

ドルビーディジタルプラスはストリームIDが10111101bで、サブストリームIDが11000***bである。   Dolby Digital Plus has a stream ID of 10111101b and a substream ID of 11000 *** b.

MPEGオーディオはストリームIDが11000***bあるいは10110***b(サブストリームIDは無し)である。   MPEG audio has a stream ID of 11000 *** b or 10110 *** b (no substream ID).

True HDはストリームIDが11001101bで、サブストリームIDが10110***bである。   True HD has a stream ID of 11001101b and a substream ID of 10110 *** b.

(2)エレメンタリストリーム内のsyncwordもオーディオストリームのタイプを示す。   (2) The syncword in the elementary stream also indicates the type of the audio stream.

なお、(1)のパックヘッダとパケットヘッダ内のIDも実施の形態の例のオーディオコーディングモードと同様にナビゲーションから与えられる。また、(1)と(2)の情報はメインオーディオデコーダ部111に入力されたストリームから自動的に検出することが可能であり、実施の形態で説明したユーザがリモコンユニットから音声切り替え操作等をすることなく、メインオーディオデコーダ部111のコーデックの変化をトリガとして図9に示した再エンコード方式切替え処理を開始する。   The ID in the pack header and the packet header in (1) is also given from the navigation as in the audio coding mode in the embodiment. In addition, the information of (1) and (2) can be automatically detected from the stream input to the main audio decoder unit 111, and the user described in the embodiment performs a voice switching operation or the like from the remote control unit. Without doing so, the re-encoding method switching process shown in FIG. 9 is started with the change of the codec of the main audio decoder unit 111 as a trigger.

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

また、本発明は、コンピュータに所定の手段を実行させるための(あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための)プログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。   Further, the present invention provides a computer-readable recording recording a program for causing a computer to execute predetermined means (or for causing a computer to function as predetermined means or for causing a computer to realize predetermined functions). It can also be implemented as a medium.

また、上述の説明は個々の実施例それぞれについて行ったが、複数の実施例を適宜組み合わせてもよい。   Moreover, although the above-mentioned description was performed about each Example, you may combine several Example suitably.

本発明による音声再生装置及び音声再生方法の第1の実施の形態を含む動画像再生装置のブロック図。1 is a block diagram of a moving image reproduction apparatus including a first embodiment of an audio reproduction apparatus and an audio reproduction method according to the present invention. ディスクのディレクトリ及びファイルの例を示す説明図。Explanatory drawing which shows the example of the directory and file of a disk. アドバンスドコンテンツの構成例を説明する図。The figure explaining the structural example of advanced content. プライマリビデオセットの構成例を説明する図。The figure explaining the structural example of a primary video set. ビデオタイトルセットエンハンスドビデオオブジェクトアトリビュートテーブル(VTS_EVOB_ATRT)の構成例を説明する図。The figure explaining the structural example of a video title set enhanced video object attribute table (VTS_EVOB_ATRT). (A)はVTS_EVOB_ATRT情報(VTS_EVOB_ATRTI)の構成例を説明する図、(B)はVTS_EVOB_ATRサーチポインタ(VTS_EVOB_ATR_SRP)の構成例を説明する図、(C)はビデオタイトルセットエンハンスドビデオオブジェクトアトリビュート(VTS_EVOB_ATRT)の構成例を説明する図。(A) is a diagram for explaining a configuration example of VTS_EVOB_ATRT information (VTS_EVOB_ATRTI), (B) is a diagram for explaining a configuration example of VTS_EVOB_ATR search pointer (VTS_EVOB_ATR_SRP), and (C) is a video title set enhanced video object attribute (VTS_EVOB_AT). The figure explaining the structural example. (A)はEVOBのメインオーディオストリームアトリビュートテーブル(EVOB_AMST_ATRT)の構成例を説明する図、(B)は1つのEVOB_AMST_ATRの内容の構成例を説明する図。(A) is a figure explaining the structural example of the main audio stream attribute table (EVOB_AMST_ATRT) of EVOB, (B) is a figure explaining the structural example of the content of one EVOB_AMST_ATR. データソースであるメインオーディオストリーム、サブオーディオストリーム、エフェクトオーディオストリームの種類に対する再エンコード方式を示す図。The figure which shows the re-encoding system with respect to the type of the main audio stream which is a data source, a sub audio stream, and an effect audio stream. 再エンコード方式の切替え処理を示すフローチャート。The flowchart which shows the switching process of a re-encoding system.

符号の説明Explanation of symbols

10…動画像再生装置、103…分離部、108…メインビデオデコーダ部、109…サブビデオデコーダ部、110…サブピクチャデコーダ部、111…メインオーディオデコーダ部、112…サブオーディオデコーダ部、113…エフェクトオーディオデコーダ部、114…ビデオプロセッサ部、117…オーディオミキサー部、119…再エンコーダ部。   DESCRIPTION OF SYMBOLS 10 ... Moving image reproducing device, 103 ... Separation part, 108 ... Main video decoder part, 109 ... Sub video decoder part, 110 ... Sub picture decoder part, 111 ... Main audio decoder part, 112 ... Sub audio decoder part, 113 ... Effect Audio decoder unit 114... Video processor unit 117 117 audio mixer unit 119 re-encoder unit

Claims (10)

符号化されたメインオーディオストリームとサブオーディオストリームとを記録する記録媒体から再生したメインオーディオストリームとサブオーディオストリームとを1つのストリームに混合するミキシング手段と、
前記ミキシング手段から出力された混合ストリームを複数の符号化方式の中から選ばれた符号化方式で符号化するエンコーダ手段と、
前記メインオーディオストリームの符号化方式に基づいて前記エンコーダ手段の符号化方式を選択する選択手段と、
を具備し、
前記選択手段は、ストリーム切換要求に応じたタイミングで、前記メインオーディオストリームの符号化方式と同じ系列で圧縮率が高い符号化方式を選択する音声出力装置。
Mixing means for mixing the main audio stream and the sub audio stream reproduced from the recording medium for recording the encoded main audio stream and the sub audio stream into one stream;
Encoder means for encoding the mixed stream output from the mixing means with an encoding method selected from a plurality of encoding methods;
Selecting means for selecting an encoding method of the encoder means based on an encoding method of the main audio stream;
Equipped with,
The audio output device that selects an encoding method having a high compression rate in the same sequence as the encoding method of the main audio stream at a timing according to a stream switching request .
前記メインオーディオストリームの符号化方式を判断する判断手段をさらに具備し、
前記選択手段は前記判断手段の判断結果に基づいて前記エンコーダ手段の符号化方式を選択する請求項1に記載の音声出力装置。
A judgment means for judging a coding method of the main audio stream;
The audio output device according to claim 1, wherein the selection unit selects an encoding method of the encoder unit based on a determination result of the determination unit.
前記判断手段は前記記録媒体から再生した管理情報内のオーディオ属性情報内のオーディオコーディングモード情報に基づいて符号化方式を判断する請求項2に記載の音声出力装置。   The audio output device according to claim 2, wherein the determination unit determines an encoding method based on audio coding mode information in audio attribute information in management information reproduced from the recording medium. 前記判断手段は前記記録媒体から再生したオーディオストリームのヘッダ内のストリーム識別情報とサブストリーム識別情報に基づいて符号化方式を判断する請求項2に記載の音声出力装置。   The audio output device according to claim 2, wherein the determination unit determines an encoding method based on stream identification information and substream identification information in a header of an audio stream reproduced from the recording medium. 前記メインオーディオストリームの符号化方式はドルビーディジタルプラス方式、ツルーHD方式、ドルビーディジタル方式、DTS HD方式のいずれかであり、
前記エンコーダ手段の符号化方式はドルビーディジタル方式、DTS方式のいずれかである請求項1に記載の音声出力装置。
The encoding method of the main audio stream is any one of the Dolby Digital Plus method, the True HD method, the Dolby Digital method, and the DTS HD method.
2. The audio output device according to claim 1, wherein the encoding method of the encoder means is either a Dolby digital method or a DTS method.
記録媒体からメインオーディオストリームとサブオーディオストリームを読出してデコードし、
デコード後の2つのオーディオストリームを混合して1つのオーディオストリームを作り、
ストリーム切換要求に応じたタイミングで、複数の符号化方式の中から前記メインオーディオストリームの符号化方式と同じ系列で圧縮率が高い符号化方式を選択し、
前記1つのオーディオストリームを前記メインオーディオストリームの符号化方式に応じて前記複数の符号化方式の中から選ばれた符号化方式で再エンコードし、
再エンコードされた1つのオーディオストリームを外部へ出力する音声出力方法。
Read and decode the main audio stream and sub audio stream from the recording medium,
Mix two decoded audio streams to make one audio stream,
At the timing according to the stream switching request, select a coding method having a high compression rate in the same sequence as the coding method of the main audio stream from a plurality of coding methods,
Re-encodes said one audio stream encoding method selected from the plurality of encoding methods in accordance with the coding scheme of the main audio stream,
An audio output method for outputting one re-encoded audio stream to the outside.
前記メインオーディオストリームの符号化方式を判断することと、
この判断結果に基づいて前記再エンコードの符号化方式を選択することをさらに具備する請求項6に記載の音声出力方法。
Determining an encoding method of the main audio stream;
The audio output method according to claim 6, further comprising selecting an encoding method for the re-encoding based on the determination result.
前記判断することは前記記録媒体から再生した管理情報内のオーディオ属性情報内のオーディオコーディングモード情報に基づいて符号化方式を判断する請求項7に記載の音声出力方法。   The audio output method according to claim 7, wherein the determination includes determining an encoding method based on audio coding mode information in audio attribute information in management information reproduced from the recording medium. 前記判断することは前記記録媒体から再生したオーディオストリームのヘッダ内のストリーム識別情報とサブストリーム識別情報に基づいて符号化方式を判断する請求項7に記載の音声出力方法。   The audio output method according to claim 7, wherein the determining is to determine an encoding method based on stream identification information and substream identification information in a header of an audio stream reproduced from the recording medium. 前記メインオーディオストリームの符号化方式はドルビーディジタルプラス方式、ツルーHD方式、ドルビーディジタル方式、DTS HD方式のいずれかであり、
前記再エンコードの符号化方式はドルビーディジタル方式、DTS方式のいずれかである請求項6に記載の音声出力方法。
The encoding method of the main audio stream is any one of the Dolby Digital Plus method, the True HD method, the Dolby Digital method, and the DTS HD method.
The audio output method according to claim 6, wherein the re-encoding encoding method is one of a Dolby digital method and a DTS method.
JP2006268268A 2006-09-29 2006-09-29 Audio output device and audio output method Expired - Fee Related JP4846502B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006268268A JP4846502B2 (en) 2006-09-29 2006-09-29 Audio output device and audio output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006268268A JP4846502B2 (en) 2006-09-29 2006-09-29 Audio output device and audio output method

Publications (2)

Publication Number Publication Date
JP2008090890A JP2008090890A (en) 2008-04-17
JP4846502B2 true JP4846502B2 (en) 2011-12-28

Family

ID=39374896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006268268A Expired - Fee Related JP4846502B2 (en) 2006-09-29 2006-09-29 Audio output device and audio output method

Country Status (1)

Country Link
JP (1) JP4846502B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4013800B2 (en) * 2003-03-18 2007-11-28 松下電器産業株式会社 Data creation method and data recording apparatus
JP2005051547A (en) * 2003-07-29 2005-02-24 Matsushita Electric Ind Co Ltd Video/audio output device, video/audio reception device, video/audio output method, video/audio reception method, and computer program
WO2006059654A1 (en) * 2004-12-01 2006-06-08 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction device, program, reproduction method, and integrated circuit
JP2006260611A (en) * 2005-03-15 2006-09-28 Toshiba Corp Information storage medium, device and method for reproducing information, and network communication system

Also Published As

Publication number Publication date
JP2008090890A (en) 2008-04-17

Similar Documents

Publication Publication Date Title
US7792012B2 (en) Information recording medium, and data reproduction device
KR100833641B1 (en) Information storage medium, information reproducing apparatus, information reproducing method, and network communication system
US7680182B2 (en) Image encoding device, and image decoding device
US8306384B2 (en) Information recording medium, data sorting device, and data reproduction device
JP6625094B2 (en) recoding media
JP2002152636A (en) Recording and reproducing device having automatic chapter preparation function
CN111798880B (en) Recording medium, reproduction method, and reproduction apparatus
CN106463150B (en) Recording medium, reproduction method, and reproduction apparatus
JP2006211274A (en) Recording medium, method and device for reproducing the recording medium, and device and metod for recording video data in recording medium
JP2019075819A (en) Decoder system and decoding method
CN111599385B (en) Recording medium, reproduction method, and reproduction apparatus
CN111899769B (en) Non-transitory computer readable medium, reproduction apparatus, and reproduction method
JP4846502B2 (en) Audio output device and audio output method
JP2007133938A (en) Information recording medium with flag showing propriety of audio mixing output, and device and method for reproducing the same
US20070147791A1 (en) Moving image reproducing apparatus
WO2006090664A1 (en) Information recording medium, reproduction device, and reproduction method
JP2007235185A (en) Information recording medium appropriate to random access, and recording/reproducing apparatus and recording/reproducing method thereof
JP2002152666A (en) Recording/reproducing device with chapter generation guide function
JP2006221754A (en) Information storage medium, information recording method, and information reproducing method
JP2006216103A (en) Information storage medium, information recording medium, and information reproducing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees