JPH11355722A - Multiplexing method and multiplexer for high efficiency coded data - Google Patents
Multiplexing method and multiplexer for high efficiency coded dataInfo
- Publication number
- JPH11355722A JPH11355722A JP16331198A JP16331198A JPH11355722A JP H11355722 A JPH11355722 A JP H11355722A JP 16331198 A JP16331198 A JP 16331198A JP 16331198 A JP16331198 A JP 16331198A JP H11355722 A JPH11355722 A JP H11355722A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- data
- gop
- video
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、高能率符号化され
たビデオ符号化データ、オーディオ符号化データにヘッ
ダを付加し、ランダムアクセスやランダムアクセス後の
オーディオとビデオの同期を容易にする多重化データを
生成する多重化方法及び多重化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to multiplexing which adds a header to video encoding data and audio encoding data which have been encoded with high efficiency and facilitates random access and synchronization of audio and video after random access. The present invention relates to a multiplexing method and a multiplexing apparatus for generating data.
【0002】[0002]
【従来の技術】近年、動画像符号化方式として、MPE
G1(ISO/IEC 11172)、MPEG2(I
SO/IEC 13818)方式が蓄積、通信、放送の
分野で用いられている。MPEG方式ではフレーム毎に
フレーム内符号化、前方向のフレーム間予測符号化、両
方向のフレーム間予測符号化を切り替えて用いる。以下
ではフレーム内符号化するフレームをIフレーム、前方
向のフレーム間予測符号化するフレームをPフレーム、
両方向のフレーム間予測符号化するフレームをBフレー
ムと呼ぶ。図12にIフレーム、Pフレーム、Bフレー
ムの並びの例を示す。MPEG方式では図12に示すよ
うに、1枚以上のIフレームを含む複数のフレーム群を
Group Of Pictures(以下ではGOP
と略す)と呼ぶ。2. Description of the Related Art In recent years, MPE has been used as a moving picture coding method.
G1 (ISO / IEC 11172), MPEG2 (I
(SO / IEC 13818) is used in the fields of storage, communication, and broadcasting. In the MPEG system, intra-frame coding, forward inter-frame predictive coding, and bidirectional inter-frame predictive coding are switched and used for each frame. In the following, a frame to be intra-coded is an I frame, a frame to be subjected to forward inter-frame predictive coding is a P frame,
A frame to be subjected to inter-frame predictive encoding in both directions is called a B frame. FIG. 12 shows an example of the arrangement of the I frame, the P frame, and the B frame. In the MPEG system, as shown in FIG. 12, a plurality of frame groups including one or more I-frames are grouped into Group Of Pictures (hereinafter referred to as GOPs).
Abbreviated).
【0003】MPEG方式で圧縮した符号化データをビ
デオシーケンスの途中から再生する場合、Iフレームか
ら復号する必要がある。これは、PフレームやBフレー
ムはフレーム間予測符号化されているため、予測に用い
る画像を先に復号しておく必要があり、この依存関係を
たどると全てのPフレームやBフレームはIフレームに
依存しているためである。[0003] When coded data compressed by the MPEG system is reproduced from the middle of a video sequence, it is necessary to decode it from an I frame. This is because P-frames and B-frames are inter-frame predictive coded, so it is necessary to decode the image used for prediction first, and following this dependency, all P-frames and B-frames are I-frames. It is because it depends on.
【0004】ところで、MPEG方式では可変長符号化
されるため、時間と符号量が比例しない。即ち、ランダ
ムアクセス等でビデオシーケンスの途中から再生する場
合に、再生開始時刻がわかっても、その時刻のデータが
どこに記録されているかはわからない。そのため、GO
Pの先頭位置や、Iフレームの符号化データの先頭位置
がどこであるかを予め管理しておき、ランダムアクセス
を効率良くすることが行われる。[0004] By the way, in the MPEG system, since the variable length coding is performed, the time and the code amount are not proportional. That is, in the case of reproducing from the middle of a video sequence by random access or the like, even if the reproduction start time is known, it is not known where the data at that time is recorded. Therefore, GO
The head position of the P and the head position of the encoded data of the I frame are managed in advance, and the random access is efficiently performed.
【0005】MPEG方式で、ランダムアクセスを効率
良く行う装置が実用新案登録第3004104号公報に
記載されている。実用新案登録第3004104号公報
では、複数個のGOPをデータユニット(DUT)とし
てディスク媒体に記録し、DUT単位でのランダムアク
セスを容易にするものである。An apparatus for efficiently performing random access in the MPEG system is described in Utility Model Registration No. 3004104. In Utility Model Registration No. 3004104, a plurality of GOPs are recorded on a disk medium as data units (DUTs) to facilitate random access in DUT units.
【0006】図13に実用新案登録第3004104号
公報に記載されているDUTの構成を示す。DUT10
1は拡張データ102、音声データ103、映像データ
104で構成され、拡張データ102にはヘッダ105
と副映像データ106が含まれている。音声データ10
3には映像データ104の時間に対応する音声データ、
映像データ104にはMPEG方式で圧縮された映像デ
ータが記録される。DUTヘッダ105には、映像デー
タの先頭位置、音声データの先頭位置、音声同期情報が
含まれている。FIG. 13 shows a configuration of a DUT described in Japanese Utility Model Registration No. 3004104. DUT10
1 includes extension data 102, audio data 103, and video data 104, and the extension data 102 includes a header 105
And sub-picture data 106 are included. Audio data 10
3, audio data corresponding to the time of the video data 104;
In the video data 104, video data compressed by the MPEG method is recorded. The DUT header 105 includes a head position of video data, a head position of audio data, and audio synchronization information.
【0007】DUTの先頭が記録されるセクタ番号はデ
ィスクの管理ファイルに別途記録されており、ランダム
アクセスや高速再生時には管理ファイルの情報から目的
のDUTの開始位置を検索、ジャンプし、DUTの先頭
から再生するか、DUTヘッダに記録されている映像デ
ータの先頭位置情報を用いて映像データの先頭から再生
する。[0007] The sector number at which the head of the DUT is recorded is separately recorded in a management file of the disk. During random access or high-speed playback, the start position of the target DUT is searched and jumped from the information of the management file, and jumping is performed. Or from the beginning of the video data using the head position information of the video data recorded in the DUT header.
【0008】[0008]
【発明が解決しようとする課題】しかしながら、実用新
案登録第3004104号公報に記載の方式(以下では
従来例と呼ぶ)では下記に記述する2つの問題点があ
る。However, the method described in Japanese Utility Model Registration No. 3004104 (hereinafter referred to as a conventional example) has the following two problems.
【0009】第1に、従来例ではDUTより細かい単位
での符号化データへのアクセスができないという問題が
ある。First, the conventional example has a problem that encoded data cannot be accessed in units smaller than the DUT.
【0010】MPEG方式で映像データを符号化した場
合、GOP毎にIピクチャが含まれ、このIピクチャか
ら復号が可能であるが、従来例では、DUTの先頭位置
しか管理していない。従って、DUT内の途中のGOP
から再生するためにはまずDUTの先頭にランダムアク
セスし、再生すべきGOPまでの不要なデータを読み飛
ばす必要があり、ランダムアクセスが指示されてからデ
ータの再生までに時間がかかる。不要なデータの読み飛
ばしは映像データだけでなく、音声データについても必
要である。[0010] When video data is encoded by the MPEG system, an I picture is included for each GOP, and decoding can be performed from this I picture. However, in the conventional example, only the head position of the DUT is managed. Therefore, a GOP in the middle of the DUT
In order to reproduce from the beginning, it is necessary to make random access to the head of the DUT and skip unnecessary data up to the GOP to be reproduced, and it takes time from random instruction to data reproduction. Skipping of unnecessary data is necessary not only for video data but also for audio data.
【0011】第2に、GOP単位でランダムアクセスが
できたとしても、従来例では音声データと映像データの
同期のための情報がDUTの先頭位置1箇所しかないた
め、GOP単位のランダムアクセス時にオーディオとビ
デオの同期を確保できないという問題がある。Second, even if random access can be performed in GOP units, the information for synchronizing audio data and video data is only one at the head position of the DUT in the conventional example. There is a problem that it is not possible to ensure synchronization between the video and the video.
【0012】ビデオフレームの周期は30000/10
01Hzであり、符号化も1周期毎に行われる。これに
対して、オーディオデータのサンプリング周波数は4
4.1KHzで、MPEG1方式で符号化する場合は1
152データをオーディオフレームとし、ATRAC方
式、ATRAC2方式で符号化する場合は1024デー
タをオーディオフレームとして符号化することが多い。
ビデオフレームは約33m秒、オーディオフレームは約
26m秒や約23m秒となり、従来例では、DUT内の
2つ目以降のGOPの先頭での開始時刻を求めるために
演算が必要になる。また、精度上、その演算は概算とな
らざるを得ず、正確な同期をとることは困難である。The period of a video frame is 30,000 / 10
01 Hz, and encoding is also performed every cycle. On the other hand, the sampling frequency of audio data is 4
When encoding at 4.1 KHz by the MPEG1 method, 1
When 152 data is used as an audio frame and the data is encoded by the ATRAC method or the ATRAC2 method, 1024 data is often encoded as an audio frame.
A video frame is about 33 ms, and an audio frame is about 26 ms or about 23 ms. In the conventional example, calculation is required to find the start time at the beginning of the second or subsequent GOP in the DUT. In addition, in terms of accuracy, the calculation must be approximate and it is difficult to achieve accurate synchronization.
【0013】さらに、ディスク媒体の場合、任意のデー
タに高速アクセスが可能なこと活用し、記録データは変
更せずに再生順序をポインタで示すプログラム再生やプ
ログラム編集を行うことが可能である。しかしながら、
従来例では正確な同期をとることができないので、プロ
グラム再生で短い時間の再生とランダムアクセスを繰り
返すと同期の誤差が蓄積する可能性がある。Furthermore, in the case of a disk medium, it is possible to perform program reproduction or program editing in which a reproduction order is indicated by a pointer without changing recorded data, by utilizing high-speed access to arbitrary data. However,
Since accurate synchronization cannot be obtained in the conventional example, there is a possibility that a synchronization error will accumulate if a short time reproduction and random access are repeated in the program reproduction.
【0014】本発明は、このような問題点に鑑みてなさ
れたものであり、GOP単位でのランダムアクセスや編
集が可能で、かつオーディオデータとビデオデータの同
期を確保できる高能率符号化データの多重化方法及び多
重化装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of such a problem, and it is possible to perform random access and editing in GOP units, and to secure high-efficiency encoded data capable of ensuring synchronization between audio data and video data. It is an object to provide a multiplexing method and a multiplexing device.
【0015】[0015]
【課題を解決するための手段】本発明では、多重化デー
タのヘッダ部分にGOP毎の位置情報と再生開始時刻情
報を備えることで、GOP単位でのランダムアクセス
や、オーディオとビデオの同期を実現する。According to the present invention, random access in units of GOP and synchronization of audio and video are realized by providing position information and reproduction start time information for each GOP in a header portion of multiplexed data. I do.
【0016】従って、本発明の請求項1によれば、複数
のビデオフレームをGOPとし、GOPを高能率符号化
したGOPビデオデータと、該GOPに対応するオーデ
ィオフレームを高能率符号化したGOPオーディオデー
タを多重化する方法であって、パケットヘッダと1つ又
は複数のGOPビデオデータと1つ又は複数のGOPオ
ーディオデータを有するパケットを構成し、パケットヘ
ッダには、少なくとも各GOPビデオデータと各GOP
オーディオデータの位置情報と同期情報を備えることを
特徴とする高能率符号化データの多重化方法で上記課題
を解決する。Therefore, according to the first aspect of the present invention, a plurality of video frames are defined as GOPs, GOP video data obtained by encoding a GOP with high efficiency, and GOP audio data obtained by encoding an audio frame corresponding to the GOP with high efficiency. A method for multiplexing data, comprising forming a packet having a packet header, one or more GOP video data, and one or more GOP audio data, wherein the packet header includes at least each GOP video data and each GOP
The above object is achieved by a method for multiplexing highly efficient encoded data, characterized by comprising position information and synchronization information of audio data.
【0017】本発明の請求項2によれば、請求項1記載
の高能率符号化データの多重化方法において、位置情報
はGOPビデオデータとGOPオーディオデータの先頭
位置の前記パケット内での相対位置であり、前記同期情
報は前記GOPビデオデータのうち最初に再生されるビ
デオフレームの再生開始時刻と、該ビデオフレームに対
応するオーディオフレームの再生開始時刻であることを
特徴とする高能率符号化データの多重化方法で上記課題
を解決する。According to a second aspect of the present invention, in the method of multiplexing highly efficient encoded data according to the first aspect, the position information is a relative position in the packet of the start position of GOP video data and GOP audio data. Wherein the synchronization information is a reproduction start time of a video frame to be reproduced first among the GOP video data, and a reproduction start time of an audio frame corresponding to the video frame. The above problem is solved by the multiplexing method of (1).
【0018】本発明の請求項3によれば、請求項1記載
の高能率符号化データの多重化方法において、位置情報
はGOPビデオデータのうちフレーム内符号化されたビ
デオフレームのパケット内での先頭位置と該フレーム内
符号化されたビデオフレームに対応するオーディオフレ
ームのパケット内での先頭位置であり、前記同期情報
は、該フレーム内符号化されたビデオフレームの再生開
始時刻と、該ビデオフレームに対応するオーディオフレ
ームの再生開始時刻であることを特徴とする高能率符号
化データの多重化方法で上記課題を解決する。According to a third aspect of the present invention, in the method for multiplexing high-efficiency encoded data according to the first aspect, the position information is included in a packet of an intra-coded video frame of the GOP video data. A start position and a start position in the packet of the audio frame corresponding to the intra-coded video frame, wherein the synchronization information includes a reproduction start time of the intra-coded video frame; The above problem is solved by a method for multiplexing high-efficiency encoded data, characterized in that it is a reproduction start time of an audio frame corresponding to.
【0019】本発明の請求項4によれば、請求項2、3
記載の高能率符号化データの多重化方法において、同期
情報は前記オーディオフレームの再生開始時刻と前記ビ
デオフレームの再生開始時刻の差分値であることを特徴
とする高能率符号化データの多重化方法で上記課題を解
決する。According to claim 4 of the present invention, claims 2 and 3
The method of multiplexing high-efficiency encoded data according to claim 1, wherein the synchronization information is a difference value between a reproduction start time of the audio frame and a reproduction start time of the video frame. Solves the above problem.
【0020】本発明の請求項5によれば、1つ又は複数
のGOPビデオデータ、1つ又は複数のオーディオデー
タ及びパケットヘッダを記録するメモリと、パケットヘ
ッダを生成するヘッダ生成回路を備え、ヘッダ生成回路
は1つ又は複数のGOPビデオデータ及び1つ又は複数
のGOPオーディオデータの符号量をカウントしてパケ
ットヘッダを生成し、パケットヘッダが生成される毎に
メモリに該パケットヘッダを記録し、該パケットヘッ
ダ、該1つ又は複数のGOPオーディオデータ、該1つ
又は複数のGOPビデオデータの順、又は該パケットヘ
ッダ、該1つ又は複数のGOPビデオデータ、該1つ又
は複数のGOPオーディオデータの順でメモリから出力
してパケットを出力し、請求項1〜4の多重化方法を実
現する高能率符号化データの多重化装置で上記課題を解
決する。According to a fifth aspect of the present invention, there is provided a memory for recording one or a plurality of GOP video data, one or a plurality of audio data, and a packet header, and a header generation circuit for generating a packet header. The generation circuit counts the code amount of one or more GOP video data and one or more GOP audio data to generate a packet header, and records the packet header in a memory every time a packet header is generated, The packet header, the one or more GOP audio data, the one or more GOP video data in order, or the packet header, the one or more GOP video data, the one or more GOP audio data 5. A high-efficiency coding for outputting a packet from a memory in the order of To solve the above problems the multiplexing device over data.
【0021】[0021]
【発明の実施の形態】以下図面を参照しながら、本発明
の実施の形態を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【0022】〔第1の実施の形態〕以下に、ビデオは1
5フレームを1GOPとしてMPEG2方式で高能率符
号化し、オーディオはATRAC2方式で高能率符号化
し、オーディオ符号化データとビデオ符号化データを多
重化し、多重化データをディスク媒体に記録する場合の
本発明の実施の形態を図面を参照して説明する。本実施
の形態は請求項1、2に対応するものである。[First Embodiment] In the following, video is 1
The present invention is applied to a case where five frames are encoded as one GOP with high efficiency by the MPEG2 system, audio is highly efficiently encoded by the ATRAC2 system, audio encoded data and video encoded data are multiplexed, and the multiplexed data is recorded on a disk medium. Embodiments will be described with reference to the drawings. This embodiment corresponds to claims 1 and 2.
【0023】まず、図1〜4を用いて本実施の形態にお
ける多重化データのフォーマットについて説明する。本
実施の形態では、複数GOP分の多重化データをパケッ
トとし、パケットの情報は多重化データとは別に管理
し、パケット内の情報はパケットのヘッダ部分に記録す
る。First, the format of multiplexed data in the present embodiment will be described with reference to FIGS. In the present embodiment, multiplexed data for a plurality of GOPs is set as a packet, information of the packet is managed separately from the multiplexed data, and information in the packet is recorded in a header portion of the packet.
【0024】図1に本発明の高能率符号化データの多重
化方法で生成される多重化データの一例を示す。本発明
ではGOPを管理の最小単位とし、GOPのビデオ符号
化データをGOPビデオデータ、GOPに対応するオー
ディオ符号化データをGOPオーディオデータとする。
2つのGOPオーディオデータ5、6でパケットオーデ
ィオデータ3を構成し、2つのGOPビデオデータ7、
8でパケットビデオデータ4を構成し、さらにパケット
ヘッダ2、パケットオーディオデータ3、パケットビデ
オデータ4でパケット1を構成する。パケットヘッダ2
にはパケット内の位置情報や同期情報を記録するが、詳
細は後述する。また、パケットの位置情報はディスク媒
体の多重化データを記録する領域とは別の管理領域に記
録する。FIG. 1 shows an example of multiplexed data generated by the method of multiplexing highly efficient encoded data according to the present invention. In the present invention, a GOP is the minimum unit of management, video encoded data of the GOP is GOP video data, and audio encoded data corresponding to the GOP is GOP audio data.
Two GOP audio data 5 and 6 constitute packet audio data 3, and two GOP video data 7 and
8, the packet video data 4 is constituted, and the packet 1 is constituted by the packet header 2, the packet audio data 3, and the packet video data 4. Packet header 2
Record position information and synchronization information in the packet, details of which will be described later. The position information of the packet is recorded in a management area of the disk medium, which is different from the area where the multiplexed data is recorded.
【0025】図2にGOPを構成するビデオフレームと
GOPに対応するオーディオフレームとの関係を示す。
図2はGOPに対応するオーディオフレームの期間の開
始がGOPを構成するビデオフレームの期間の開始より
も遅い場合の例であり、15ビデオフレームの期間をG
OP期間11としている。1ビデオフレームと1オーデ
ィオフレームの期間が異なる場合、オーディオフレーム
を複数集めてもGOP期間11とは一致しない。そのた
めにGOP期間11の先頭からのずれと後端からのずれ
がそれぞれ1オーディオフレーム期間未満となる期間を
オーディオ期間12とする。FIG. 2 shows the relationship between video frames forming a GOP and audio frames corresponding to the GOP.
FIG. 2 shows an example in which the start of the period of the audio frame corresponding to the GOP is later than the start of the period of the video frame constituting the GOP.
The OP period is 11. If one video frame and one audio frame have different periods, even if a plurality of audio frames are collected, the GOP period 11 does not match. Therefore, a period in which the shift from the beginning and the shift from the rear end of the GOP period 11 is less than one audio frame period is referred to as an audio period 12.
【0026】図3に図1で示したパケットヘッダ2の詳
細を示す。パケットヘッダ2には「パケットサイズ」、
「パケットヘッダサイズ」、「オーディオサイズ」、
「ビデオサイズ」と、パケットに含まれるGOP毎に
「オーディオ開始位置」、「オーディオ再生時刻」、
「ビデオ開始位置」、「ビデオ再生時刻」が記録され
る。FIG. 3 shows details of the packet header 2 shown in FIG. "Packet size" is included in the packet header 2,
"Packet header size", "Audio size",
“Video size”, “audio start position”, “audio playback time”,
“Video start position” and “video playback time” are recorded.
【0027】図4に図3で示したパケットヘッダ2の詳
細を図示する。「パケットサイズ」はパケット全体のデ
ータ量、「パケットヘッダサイズ」はパケットヘッダの
データ量、「オーディオサイズ」はパケットオーディオ
データの符号量、「ビデオサイズ」はパケットビデオデ
ータの符号量、「オーディオ開始位置」はGOPオーデ
ィオデータの開始位置で、パケットオーディオデータの
先頭を0とした相対位置、「オーディオ再生時刻」はG
OPオーディオデータの再生開始時刻で、90KHzの
精度の値である。また、「ビデオ開始位置」はGOPビ
デオデータの開始位置で、パケットビデオデータの先頭
を0とした相対位置、「ビデオ再生時刻」はGOPビデ
オデータの再生開始時刻で、90KHzの精度の値であ
る。FIG. 4 shows details of the packet header 2 shown in FIG. “Packet size” is the data amount of the entire packet, “Packet header size” is the data amount of the packet header, “Audio size” is the code amount of the packet audio data, “Video size” is the code amount of the packet video data, and “Audio start”. "Position" is the start position of the GOP audio data, the relative position with the beginning of the packet audio data being 0, and "Audio playback time" is G
This is the reproduction start time of the OP audio data, and has a value of accuracy of 90 KHz. The “video start position” is the start position of the GOP video data, a relative position with the beginning of the packet video data being 0, and the “video playback time” is the playback start time of the GOP video data, which is an accuracy value of 90 KHz. .
【0028】図3、4はパケットが2GOPで構成され
ている場合の例で、パケットを構成するGOPの数が多
くなれば、パケットヘッダはGOP毎の情報分だけ多く
なる。FIGS. 3 and 4 show an example in which a packet is composed of 2 GOPs. When the number of GOPs constituting a packet increases, the packet header increases by the amount of information for each GOP.
【0029】このように、本実施の形態はパケットヘッ
ダにGOP毎の「オーディオ開始位置」、「オーディオ
再生時刻」、「ビデオ開始位置」、「ビデオ再生時刻」
を記録することを特徴とし、ランダムアクセス時にはま
ず管理領域に記録されているパケットの位置情報を用い
てパケットの先頭にジャンプし、次にパケットヘッダを
読み出してGOPの先頭にジャンプすることで、GOP
単位のジャンプを効率良く行うものである。また、パケ
ットヘッダにはGOP毎の再生時刻情報が記録されてい
るので、正確なオーディオとビデオの同期が実現でき
る。As described above, in the present embodiment, the “audio start position”, “audio reproduction time”, “video start position”, and “video reproduction time” for each GOP are included in the packet header.
In the random access, first jump to the beginning of the packet using the position information of the packet recorded in the management area, then read the packet header and jump to the beginning of the GOP,
The unit jumps efficiently. Also, since the reproduction time information for each GOP is recorded in the packet header, accurate audio and video synchronization can be realized.
【0030】次に、図5、図6を用いて図1で示したパ
ケット1を構成する動作をフローチャートで示す。図5
は図2に示したGOP期間11とオーディオ期間12を
決定する動作と、図3に示したパケットヘッダのうちの
「オーディオ再生時刻」と「ビデオ再生時刻」を出力す
る動作で、図6はパケットヘッダのその他の要素を生成
し、実際に1パケットを出力する動作である。Next, the operation of configuring the packet 1 shown in FIG. 1 will be described with reference to flowcharts of FIGS. 5 and 6. FIG.
FIG. 6 shows an operation for determining the GOP period 11 and the audio period 12 shown in FIG. 2 and an operation for outputting the “audio reproduction time” and the “video reproduction time” of the packet header shown in FIG. This is an operation for generating other elements of the header and actually outputting one packet.
【0031】図5のフローチャートにおいて、ステップ
S11でオーディオフレーム数を示す変数Anとビデオ
フレーム数を示す変数Vnを0に初期化し、変数NをG
OPを構成するビデオフレーム数に設定する。そして、
ステップS12、S13でビデオフレームの開始信号と
オーディオフレームの開始信号を検出する。ビデオフレ
ームの開始信号はビデオ信号を処理する部分から、オー
ディオフレームの開始信号はオーディオ信号を処理する
部分から入力される信号である。オーディオフレームの
開始信号が入力された場合はAnをインクリメントし
(ステップS14)、ステップS12に戻る。ビデオフ
レーム開始信号が入力された場合はVnをインクリメン
トし(ステップS15)、ステップS16でVnが1か
どうか、即ちGOP内で最初のビデオフレームであるか
どうかを判定する。最初のビデオフレームでない場合
は、ステップS17でVnがNかどうか、即ちGOP内
の最後のビデオフレームであるかどうかを判定する。G
OP内の最後のフレームの場合はGOPのビデオフレー
ム数を出力し、ビデオフレーム数を示す変数Vnを0に
リセットし(ステップS18)、ステップS12に戻
る。出力したGOPのビデオフレーム数は後述する図6
のフローチャートで用いる。ステップS17でGOPの
最後のフレームでないと判定された場合は、何も行わず
ステップS12に戻る。ステップS16でGOPの最初
のビデオフレームと判定された場合は、この時刻を「ビ
デオ再生時刻」として出力する(ステップS19)。時
刻は、90KHzで動作するカウンタを備えておき、カ
ウンタの値を出力する。次にステップS20でオーディ
オフレーム数を示すAnの値を出力し、Anを0にリセ
ットする。Anはオーディオフレームの開始信号が入力
される毎にインクリメントし、GOP期間の先頭位置で
その値を出力と0にリセットを行っているので、ステッ
プS20ではオーディオ期間のオーディオフレーム数を
出力していることになる。そして、ステップS21でオ
ーディオフレームが検出されるのを待ち、オーディオフ
レームが検出されると、その時刻を「オーディオ再生時
刻」として出力し(ステップS22)、Anをインクリ
メントする(ステップS23)。そしてステップS24
で符号化の終了かどうかを判定し、終了でない場合はス
テップS12に戻り、動作を継続する。In the flowchart of FIG. 5, in step S11, a variable An indicating the number of audio frames and a variable Vn indicating the number of video frames are initialized to 0, and the variable N is set to G.
Set to the number of video frames that make up the OP. And
At steps S12 and S13, a video frame start signal and an audio frame start signal are detected. The start signal of a video frame is a signal input from a part for processing a video signal, and the start signal of an audio frame is a signal input from a part for processing an audio signal. When an audio frame start signal is input, An is incremented (step S14), and the process returns to step S12. When the video frame start signal is input, Vn is incremented (step S15), and it is determined in step S16 whether or not Vn is 1, that is, whether or not it is the first video frame in the GOP. If it is not the first video frame, it is determined in step S17 whether Vn is N, that is, whether it is the last video frame in the GOP. G
In the case of the last frame in the OP, the number of video frames of the GOP is output, the variable Vn indicating the number of video frames is reset to 0 (step S18), and the process returns to step S12. The number of video frames of the output GOP is shown in FIG.
Used in the flowchart of FIG. If it is determined in step S17 that the frame is not the last frame of the GOP, nothing is performed and the process returns to step S12. If it is determined in step S16 that the video frame is the first video frame of the GOP, this time is output as "video playback time" (step S19). At the time, a counter operating at 90 KHz is provided, and the value of the counter is output. Next, in step S20, the value of An indicating the number of audio frames is output, and An is reset to 0. An is incremented every time an audio frame start signal is input, and its value is output and reset to 0 at the beginning of the GOP period. Therefore, in step S20, the number of audio frames in the audio period is output. Will be. Then, it waits for an audio frame to be detected in step S21. When an audio frame is detected, the time is output as an "audio reproduction time" (step S22), and An is incremented (step S23). And step S24
It is determined whether or not the encoding is completed, and if not, the process returns to step S12 to continue the operation.
【0032】ステップS19でGOP期間の最初のビデ
オフレームの再生開始時刻情報が出力され、ステップS
22でGOP期間の最初のオーディオフレームの再生開
始時刻情報が出力される。またステップS18ではGO
Pを構成するビデオフレーム数が出力され、ステップS
20ではオーディオ期間を構成するオーディオフレーム
数が出力される。これらの出力値は図6に示す、パケッ
トを構成する動作で用いる。In step S19, the reproduction start time information of the first video frame in the GOP period is output.
At 22, the reproduction start time information of the first audio frame in the GOP period is output. In step S18, GO
The number of video frames constituting P is output, and step S
At 20, the number of audio frames constituting the audio period is output. These output values are used in the operation of forming a packet shown in FIG.
【0033】図6に、図1で示したパケット1を構成す
る動作をフローチャートで示す。図6のフローチャート
では、ステップS32〜S39でパケットヘッダのうち
オーディオデータに関する部分の情報を生成し、ステッ
プS40〜S46でパケットヘッダのうちビデオデータ
に関する部分の情報を生成し、ステップS47〜S49
でパケットを構成するデータを出力する。FIG. 6 is a flowchart showing the operation of the packet 1 shown in FIG. In the flowchart of FIG. 6, in steps S32 to S39, information of a portion relating to audio data in the packet header is generated, and in steps S40 to S46, information of a portion relating to video data in the packet header is generated, and in steps S47 to S49.
Outputs the data that makes up the packet.
【0034】まずステップS31で後段の処理で用いる
変数を0に初期化し、ステップS32ではGOP番号を
示す変数nを1に初期化する。ステップS33でオーデ
ィオ符号化データ量をカウントし、ステップS34でオ
ーディオフレームの終了かどうかを判定する。オーディ
オフレームの終了かどうかは、次のオーディオフレーム
スタートコードを検出する、或はオーディオフレームが
固定長であることからカウントした符号量で判定する。
オーディオフレームの終了でない場合は、ステップS3
3を繰り返す。ステップS33では「オーディオフレー
ム符号量」に「カウント量」を加算する動作も行う。オ
ーディオフレームの終了の場合は、「オーディオ開始位
置」に「オーディオフレーム符号量」を加算し、「オー
ディオフレーム符号量」を0にリセットする(ステップ
S35)。第nGOPの符号の読み出し符号量は第n+
1GOPの開始位置に関連するので、ステップS35で
は「オーディオ開始位置(n+1)」にオーディオフレ
ーム符号量を加算する。そして、ステップS36でGO
Pオーディオデータの終了かどうかを判定する。判定に
は、図5で示したフローチャートのステップS20で出
力されるオーディオ期間のオーディオフレーム数と、読
み出したオーディオ符号化データのオーディオフレーム
数で判定する。ステップS36でGOPオーディオデー
タの終了でないと判定された場合はステップS33〜S
35を繰り返す。ステップS35で「オーディオ開始位
置」に「オーディオフレーム符号量」が加算されるの
で、ステップS36でGOPオーディオデータの終了と
判定された時点で、次のGOP、即ち第n+1GOPの
GOPオーディオデータの開始位置がオーディオ開始位
置(n+1)にセットされていることになる。ステップ
S37ではGOP番号を示す変数nをインクリメント
し、2GOP先のオーディオ開始位置を示す「オーディ
オ開始位置(n+1)」を既にセットされている、次の
GOPのオーディオ開始位置である「オーディオ開始位
置(n)」にセットする。そして、ステップS38でパ
ケットオーディオデータの終了かどうかを判断する。判
断は予め設定されている、パケットを構成するGOP数
と読み出したGOPオーディオデータの数の比較で行
う。ステップS38で終了でないと判定された場合は、
ステップS33〜S37を繰り返す。First, in step S31, a variable used in the subsequent processing is initialized to 0, and in step S32, a variable n indicating a GOP number is initialized to 1. In step S33, the amount of encoded audio data is counted, and in step S34, it is determined whether or not the audio frame has ended. The end of the audio frame is determined by detecting the next audio frame start code or by counting the code amount since the audio frame has a fixed length.
If it is not the end of the audio frame, step S3
Repeat 3. In step S33, an operation of adding the "count amount" to the "audio frame code amount" is also performed. If the audio frame has ended, the "audio frame code amount" is added to the "audio start position", and the "audio frame code amount" is reset to 0 (step S35). The read code amount of the code of the n-th GOP is n +
Since it relates to the start position of one GOP, the audio frame code amount is added to “audio start position (n + 1)” in step S35. Then, in step S36, GO
It is determined whether or not the P audio data has ended. The determination is made based on the number of audio frames in the audio period output in step S20 of the flowchart shown in FIG. 5 and the number of audio frames of the read audio encoded data. If it is determined in step S36 that the end of the GOP audio data has not been reached, steps S33 to S33 are executed.
Repeat 35. Since the "audio frame code amount" is added to the "audio start position" in step S35, when the end of GOP audio data is determined in step S36, the start position of the next GOP, that is, the GOP audio data of the (n + 1) th GOP Is set to the audio start position (n + 1). In step S37, the variable n indicating the GOP number is incremented, and the “audio start position (n + 1)” indicating the audio start position of the second GOP is already set. n) ". Then, in a step S38, it is determined whether or not the packet audio data is completed. The determination is made by comparing a preset number of GOPs constituting the packet with the number of read GOP audio data. If it is determined in step S38 that the process has not been completed,
Steps S33 to S37 are repeated.
【0035】ステップS38でパケットオーディオデー
タの終了と判定されたの場合は、ステップS39で「オ
ーディオサイズ」を「オーディオ開始位置(n)」にセ
ットし、GOP番号を示す変数nを1にリセットする。
ステップS39は、パケットオーディオデータを読み出
した後に行われるので、「オーディオ開始位置(n)」
はパケットオーディオデータのデータ量を示している。If it is determined in step S38 that the packet audio data has been completed, "audio size" is set to "audio start position (n)" in step S39, and a variable n indicating the GOP number is reset to 1. .
Since step S39 is performed after reading the packet audio data, the “audio start position (n)”
Indicates the amount of packet audio data.
【0036】同様にして、ステップS40〜S45でG
OPビデオデータ、パケットビデオデータの読み出しを
行う。Similarly, in steps S40 to S45, G
The OP video data and the packet video data are read.
【0037】まずステップS40でビデオ符号化データ
量をカウントし、ステップS41でビデオフレームの終
了かどうかを判定する。判定は次のビデオフレームの開
始コードもしくはビデオシーケンスの終了コードを検出
して判定する。ビデオフレームの終了でないと判定され
た場合は、ステップS40を繰り返す。ステップS40
では「ビデオフレーム符号量」に「カウント量」を加算
する動作も行う。ビデオフレームの終了の場合は、「ビ
デオ開始位置(n+1)」に「ビデオフレーム符号量」
を加算し、「ビデオフレーム符号量」を0にリセットす
る(ステップS42)。そして、ステップS43でGO
Pビデオデータの終了かどうかを判定する。判定は、読
み出したビデオ符号化データのビデオフレーム数と予め
設定されているGOPを構成するフレーム数との比較で
行う。GOPビデオデータの終了でないと判定された場
合はステップS40〜S42を繰り返す。GOPビデオ
データの終了と判断された場合は、ステップS44でG
OP番号を示す変数nをインクリメントし、2GOP先
のビデオ開始位置を示す「ビデオ開始位置(n+1)」
を次のGOPのビデオ開始位置「ビデオ開始位置
(n)」にセットする。そして、ステップS45でパケ
ットビデオデータの終了かどうかを判断する。判断は予
め設定されているパケットを構成するGOP数と読み出
したGOPビデオデータの数の比較で行う。ステップS
45で終了でないと判定された場合は、ステップS40
〜S44を繰り返す。First, in step S40, the amount of video encoded data is counted, and in step S41, it is determined whether or not the video frame has ended. The determination is made by detecting the start code of the next video frame or the end code of the video sequence. If it is determined that the video frame does not end, step S40 is repeated. Step S40
Then, an operation of adding the "count amount" to the "video frame code amount" is also performed. In the case of the end of the video frame, “video frame code amount” is set in “video start position (n + 1)”.
Is added, and the “video frame code amount” is reset to 0 (step S42). Then, in step S43, GO
It is determined whether the P video data has ended. The determination is made by comparing the number of video frames of the read video encoded data with the number of frames constituting a preset GOP. If it is determined that the GOP video data has not ended, steps S40 to S42 are repeated. If the end of the GOP video data is determined, the G
“Video start position (n + 1)” indicating the video start position 2 GOP ahead by incrementing the variable n indicating the OP number
Is set to the video start position “video start position (n)” of the next GOP. Then, in a step S45, it is determined whether or not the packet video data is completed. The determination is made by comparing the number of GOPs constituting a preset packet with the number of read GOP video data. Step S
If it is determined in step S45 that the process is not to be terminated, step S40 is performed.
To S44 are repeated.
【0038】ステップS45でパケットビデオデータの
終了と判定されたの場合は、ステップS46で「ビデオ
サイズ」を「ビデオ開始位置(n)」にセットする。ス
テップS46はパケットビデオデータを読み出した後に
行われるので、「ビデオ開始位置(n)」はパケットビ
デオデータのデータ量を示している。If the end of the packet video data is determined in step S45, "video size" is set to "video start position (n)" in step S46. Since step S46 is performed after reading the packet video data, "video start position (n)" indicates the amount of packet video data.
【0039】次にステップS47でパケットヘッダを出
力する。パケットヘッダ中の「パケットサイズ」は「パ
ケットヘッダサイズ」、「オーディオサイズ」、「ビデ
オサイズ」の和であり、「パケットヘッダサイズ」はパ
ケットを構成するGOPの数によって決まる値である。
「オーディオサイズ」、「ビデオサイズ」はステップS
39及びステップS46で求めた値である。また、「オ
ーディオ開始位置」はステップS35で順次更新しなが
ら求めた値で、「ビデオ開始位置」はステップS42で
順次更新しなら求めた値である。また、「オーディオ再
生時刻」は図5のステップS22で求めた値であり、
「ビデオ再生時刻」は図5のステップS19で求めた値
である。Next, a packet header is output in step S47. “Packet size” in the packet header is the sum of “packet header size”, “audio size”, and “video size”, and “packet header size” is a value determined by the number of GOPs constituting the packet.
"Audio size" and "Video size" are steps S
39 and the value obtained in step S46. The “audio start position” is a value obtained by sequentially updating in step S35, and the “video start position” is a value obtained by sequentially updating in step S42. “Audio playback time” is a value obtained in step S22 of FIG.
“Video playback time” is the value obtained in step S19 of FIG.
【0040】次にステップS48でオーディオパケット
データ、ステップS49でビデオパケットデータを出力
し、パケットの出力を完了する。Next, audio packet data is output in step S48, and video packet data is output in step S49, and the output of the packet is completed.
【0041】以上の動作で、図1で示したパケット1及
び図3で示したパケットヘッダを出力する。パケットヘ
ッダにはGOP毎のオーディオ開始位置とビデオ開始位
置、及びオーディオ再生時刻とビデオ再生時刻が含まれ
ているので、ランダムアクセスをGOP単位で効率良く
行うことができ、またオーディオとビデオの正確な同期
も確保できる。With the above operation, the packet 1 shown in FIG. 1 and the packet header shown in FIG. 3 are output. Since the packet header includes the audio start position and the video start position for each GOP, and the audio playback time and the video playback time, random access can be efficiently performed on a GOP basis, and accurate audio and video Synchronization can also be secured.
【0042】なお、図6で示したパケットを構成する動
作は、まずパケットオーディオデータを読み出してパケ
ットヘッダの情報のうちオーディオデータに関する部分
を構築し、次にパケットビデオデータを読み出してパケ
ットヘッダの情報のうちビデオデータに関する部分を構
築しているが、オーディオの処理とビデオの処理を並列
に行っても構わない。The operation of constructing the packet shown in FIG. 6 is as follows. First, the packet audio data is read out, the portion related to the audio data in the packet header information is constructed, and then the packet video data is read out to read the packet header information. Although the part relating to video data is constructed, audio processing and video processing may be performed in parallel.
【0043】また、本実施の形態では「オーディオ開始
位置」はGOPオーディオデータの先頭を0とした相対
値、「ビデオ開始位置」はGOPビデオデータの先頭を
0とした相対値であるが、パケット内の相対であればよ
く、例えばパケットの先頭を0とした相対値や、パケッ
トヘッダの後端を0とした相対値でも構わない。In this embodiment, the "audio start position" is a relative value with the head of the GOP audio data set to 0, and the "video start position" is a relative value with the start of the GOP video data set to 0. For example, a relative value with the leading end of the packet being 0 or a relative value with the trailing end of the packet header being 0 may be used.
【0044】また、本実施の形態では、パケットはパケ
ットヘッダ、パケットオーディオデータ、パケットビデ
オデータの順で多重化されるが、順序はこれに固定する
ものでなく、例えばパケットヘッダ、パケットビデオデ
ータ、パケットオーディオデータの順でも構わないし、
オーディオデータ、ビデオデータ以外に制御データやユ
ーザデータを付加してもよい。In this embodiment, the packets are multiplexed in the order of packet header, packet audio data, and packet video data. However, the order is not limited to this, and for example, packet header, packet video data, It does not matter in the order of packet audio data,
Control data and user data may be added in addition to audio data and video data.
【0045】さらに、本実施の形態ではパケットヘッダ
にGOP毎の位置情報と再生時刻情報を記録することに
特徴がありるものであり、パケットヘッダの構成は本実
施の形態に固定するものではない。Further, the present embodiment is characterized in that the position information and the reproduction time information for each GOP are recorded in the packet header, and the structure of the packet header is not fixed to the present embodiment. .
【0046】〔第2の実施の形態〕第1の実施の形態で
は、GOP毎の「オーディオ開始位置」、「ビデオ開始
位置」はGOPの開始位置、「オーディオ再生時刻」、
「ビデオ再生時刻」はGOPの先頭での再生開始時刻で
あったが、本実施の形態では、「ビデオ開始位置」はG
OPの内のフレーム内符号化されたフレーム(Iフレー
ム)の先頭位置を示し、「オーディオ開始位置」はIフ
レームに対応するオーディオフレームの先頭位置を示
し、「オーディオ再生時刻」、「ビデオ再生時刻」はそ
れぞれ開始位置で指定されたフレームの再生開始時刻を
示す点が異なるが、それ以外の「パケットサイズ」、
「パケットヘッダサイズ」、「オーディオサイズ」、
「ビデオサイズ」は第1の実施の形態と同一である。本
実施の形態は請求項3に対応するものである。[Second Embodiment] In the first embodiment, the "audio start position" and "video start position" for each GOP are the start position of the GOP, "audio playback time",
Although “video playback time” is the playback start time at the beginning of the GOP, in the present embodiment, “video start position” is G
The “audio start position” indicates the start position of an audio frame corresponding to the I frame, and “audio playback time”, “video playback time” indicates the start position of an intra-coded frame (I frame) in the OP. ] Indicates the playback start time of the frame specified at the start position, but the other "packet size"
"Packet header size", "Audio size",
"Video size" is the same as in the first embodiment. This embodiment corresponds to claim 3.
【0047】前述したように、ランダムアクセスから再
生を開始する場合、Iフレームから再生する必要があ
る。図12で示した例のように、GOPの先頭はIフレ
ームでないことがあるので、GOP毎の情報をGOPの
先頭ではなく、Iフレームとすることで、より効率良く
再生可能なデータにジャンプすることができる。As described above, when reproduction is started from random access, it is necessary to reproduce from an I frame. As in the example shown in FIG. 12, since the head of a GOP may not be an I frame, the information for each GOP is not the head of the GOP but an I frame, thereby jumping to data that can be reproduced more efficiently. be able to.
【0048】GOPの先頭がIフレームでない場合も、
ビデオの符号化はIフレームから行う必要があり、符号
化データの並びもIフレームがビデオGOPデータの先
頭となる。従って、本実施の形態においても「ビデオ開
始位置」は第1の実施の形態と同じ値となるが、オーデ
ィオフレームは入力順に符号化されるので、Iフレーム
に対応するオーディオフレームの位置は、GOPオーデ
ィオデータの先頭とは異なる位置となる。Even when the head of the GOP is not an I frame,
It is necessary to perform video encoding from an I frame, and the sequence of encoded data is also the I frame at the beginning of the video GOP data. Therefore, also in this embodiment, the “video start position” has the same value as in the first embodiment, but since the audio frames are encoded in the input order, the position of the audio frame corresponding to the I frame is GOP The position is different from the head of the audio data.
【0049】まず図7のフローチャートで「オーディオ
再生時刻」と「ビデオ再生時刻」を求める動作を行う。
図7のフローチャートと図5のフローチャートは似た動
作をするが、「オーディオ再生時刻」と「ビデオ再生時
刻」を出力するタイミングと、図7のフローチャートで
はオーディオフレーム数をカウントする変数をAn1と
An2の2つ用い、An1は第1の実施の形態と同様に
図2で示したオーディオ期間11のオーディオフレーム
数を出力し、An2はIピクチャを基準とした期間のオ
ーディオフレーム数を出力する点が異なる。以下では図
5のフローチャートと同一の動作は説明を省略し、異な
る点の動作を説明する。First, an operation for obtaining an "audio reproduction time" and a "video reproduction time" is performed in the flowchart of FIG.
The flowchart of FIG. 7 and the flowchart of FIG. 5 operate in a similar manner. However, in the flowchart of FIG. 7, the variables for counting the number of audio frames are An1 and An2. An1 outputs the number of audio frames in the audio period 11 shown in FIG. 2 as in the first embodiment, and An2 outputs the number of audio frames in a period based on the I picture, as in the first embodiment. different. Hereinafter, description of the same operations as those in the flowchart of FIG. 5 will be omitted, and operations of different points will be described.
【0050】まず、図8を用いてAn2が示すフレーム
数を図示する。図8にはGOPを構成するビデオフレー
ムと各フレームがどの符号化タイプで符号化されるかを
示している。An2は図8のオーディオ期間21におけ
るオーディオフレーム数を示す。オーディオ期間21は
開始時刻がIフレームの直後のオーディオフレームの開
始時刻であり、終了時刻が次のIフレームの直後のオー
ディオフレームの開始時刻となる。First, the number of frames indicated by An2 will be illustrated with reference to FIG. FIG. 8 shows the video frames forming the GOP and the coding type of each frame. An2 indicates the number of audio frames in the audio period 21 of FIG. In the audio period 21, the start time is the start time of the audio frame immediately after the I frame, and the end time is the start time of the audio frame immediately after the next I frame.
【0051】図7のフローチャートにおいて、ステップ
S51でオーディオ期間21のオーディオフレーム数を
示す変数An2を0に初期化する。そして、オーディオ
フレームが検出されるとステップS54でAn2をイン
クリメントする。ステップS52でビデオフレームが検
出されると、ステップS58では検出したビデオフレー
ムがIフレームかどうかの判定を行う。判定は、予め設
定してあるGOP構造から行う。ステップS58でIフ
レームであると判定された場合は、この時刻を「ビデオ
再生時刻」として出力し(ステップS63)、Iフレー
ムまでのオーディオフレーム数を示すAn2の値をオー
ディオフレーム数2として出力する(ステップS6
4)。そして、Iフレームの直後のオーディオフレーム
の開始時刻を「オーディオ再生時刻」として出力し(ス
テップS66)、An2をインクリメントする(ステッ
プS67)。ステップS59でGOPデータの終了かど
うかを判定し、終了と判定された場合はステップS61
でパケットの終了かどうかを判定する。そして、パケッ
トの終了と判定された場合はステップS62でAn2を
0にリセットするので、ステップS64で出力されるオ
ーディオフレーム数2の値は、パケット内で最初の出力
値はパケットの先頭から図8で示したオーディオ期間2
1までのオーディオフレーム数となり、それ以降の値は
オーディオ期間21のオーディオフレーム数が出力され
ることになる。In the flowchart of FIG. 7, in step S51, a variable An2 indicating the number of audio frames in the audio period 21 is initialized to zero. When an audio frame is detected, An2 is incremented in step S54. When a video frame is detected in step S52, it is determined in step S58 whether the detected video frame is an I frame. The determination is made based on the GOP structure set in advance. If it is determined in step S58 that the frame is an I frame, this time is output as "video playback time" (step S63), and the value of An2 indicating the number of audio frames up to the I frame is output as the number of audio frames 2. (Step S6
4). Then, the start time of the audio frame immediately after the I frame is output as "audio reproduction time" (step S66), and An2 is incremented (step S67). In step S59, it is determined whether or not the GOP data is completed. If it is determined that the GOP data is completed, step S61 is performed.
To determine if the packet has ended. If it is determined that the end of the packet has been reached, An2 is reset to 0 in step S62. Therefore, the value of the audio frame number 2 output in step S64 is the first output value in the packet from the beginning of the packet in FIG. Audio period 2 indicated by
The number of audio frames up to 1 will be output, and the value after that will output the number of audio frames in the audio period 21.
【0052】このように、本実施の形態では、図2で示
したオーディオ期間12のオーディオフレーム数をステ
ップS57で出力し、図8で示したオーディオ期間21
のオーディオフレーム数をステップS64で出力する。As described above, in the present embodiment, the number of audio frames in the audio period 12 shown in FIG. 2 is output in step S57, and the number of audio frames in the audio period 21 shown in FIG.
Are output in step S64.
【0053】次に、図9にパケットを構成する動作をフ
ローチャートで示す。図9のフローチャートの動作は、
第1の実施の形態の図6のフローチャートの動作と類似
するが、第1の実施の形態では最初のオーディオ開始位
置は必ず0となっていたため、オーディオ開始位置
(2)から求めていたが、本実施の形態ではオーディオ
開始位置(1)から求める点が異なる。図9において、
図6のフローチャートと同じ動作を行う部分は同じ符合
を付し、説明を省略する。Next, FIG. 9 is a flowchart showing the operation of forming a packet. The operation of the flowchart in FIG.
Although the operation is similar to the operation of the flowchart of FIG. 6 of the first embodiment, the first audio start position is always 0 in the first embodiment, and thus the audio start position is obtained from the audio start position (2). The present embodiment differs from the first embodiment in that the audio signal is obtained from the audio start position (1). In FIG.
Parts performing the same operations as those in the flowchart of FIG. 6 are denoted by the same reference numerals, and description thereof will be omitted.
【0054】図9において、ステップS34でオーディ
オフレームの終了が検出されると、ステップS71でオ
ーディオ開始位置(n)にオーディオフレーム符号量を
加算する。そして、ステップS72でIフレームに対応
するオーディオフレームであるかどうかを判定する。判
定は、図7のステップS64で出力したオーディオフレ
ーム数2と、読み出したオーディオ符号化データのオー
ディオフレーム数との比較で行う。オーディオフレーム
数2はパケットの先頭から図8で示したオーディオ期間
21の開始までのオーディオフレーム数、又はオーディ
オ期間21のオーディオフレーム数を示している。ステ
ップS72でIフレームに対応するオーディオフレーム
と判定された場合は、ステップS73でオーディオ開始
位置(n+1)をオーディオ開始位置(n)にセット
し、GOPの数を示す変数nをインクリメントする。ス
テップS72でIフレームに対応するオーディオフレー
ムと判定された時点で、オーディオ開始位置(n)には
GOPオーディオデータの先頭から、Iフレームに対応
するオーディオフレームの先頭までのデータ量がセット
されている。次にステップS74でパケットオーディオ
データの終了かどうかを判断する。判断は、図7のステ
ップS57で出力するオーディオフレーム数1の累積値
と読み出したオーディオフレーム数の比較で行う。ステ
ップS74でパケットオーディオデータの終了と判断し
た場合は、ステップS75でオーディオサイズをオーデ
ィオ開始位置(n)にセットする。オーディオ開始位置
(n)はパケットオーディオデータの先頭を0としたオ
ーディオ符号量を示している。In FIG. 9, when the end of the audio frame is detected in step S34, the audio frame code amount is added to the audio start position (n) in step S71. Then, in a step S72, it is determined whether or not the frame is an audio frame corresponding to the I frame. The determination is made by comparing the number of audio frames 2 output in step S64 of FIG. 7 with the number of audio frames of the read audio encoded data. The audio frame number 2 indicates the number of audio frames from the beginning of the packet to the start of the audio period 21 shown in FIG. If it is determined in step S72 that the audio frame corresponds to the I frame, the audio start position (n + 1) is set to the audio start position (n) in step S73, and the variable n indicating the number of GOPs is incremented. When it is determined in step S72 that the audio frame corresponds to the I frame, the data amount from the beginning of the GOP audio data to the beginning of the audio frame corresponding to the I frame is set at the audio start position (n). . Next, it is determined in step S74 whether or not the packet audio data has ended. The determination is made by comparing the accumulated value of the audio frame number 1 output in step S57 of FIG. 7 with the read audio frame number. If it is determined in step S74 that the packet audio data has ended, the audio size is set to the audio start position (n) in step S75. The audio start position (n) indicates the audio code amount with the beginning of the packet audio data being 0.
【0055】ステップS72ではIフレームを基準とし
たオーディオフレーム数で比較して、オーディオ開始位
置をIフレームに対応するオーディオフレームの開始位
置とし、ステップS74ではGOPを基準としたオーデ
ィオフレーム数で比較して、オーディオサイズをGOP
に対応するオーディオ期間の積算符号量、即ちオーディ
オパケットデータの符号量にセットしていることにな
る。In step S72, the comparison is made with the number of audio frames based on the I frame, and the audio start position is set as the start position of the audio frame corresponding to the I frame. In step S74, the comparison is made with the number of audio frames based on the GOP. GOP audio size
Is set to the integrated code amount of the audio period corresponding to the audio packet data, that is, the code amount of the audio packet data.
【0056】ステップS40〜S49は第1の実施の形
態と全く同じ動作を行い、ステップS47では図7のス
テップS63で出力した「ビデオ再生時刻」やステップ
S66で出力した「オーディオ再生時刻」も含めたパケ
ットヘッダを出力し、続いてステップS49でパケット
オーディオデータ、ステップ50でパケットビデオデー
タを出力し、パケットの出力を完了する。Steps S40 to S49 perform exactly the same operation as in the first embodiment, and step S47 includes the "video playback time" output in step S63 of FIG. 7 and the "audio playback time" output in step S66. The packet header is output, and subsequently, packet audio data is output in step S49, and packet video data is output in step 50, and the output of the packet is completed.
【0057】このように、本実施の形態ではパケットヘ
ッダにはIフレームの開始位置及び再生開始時刻とIフ
レームに対応するオーディオフレームの開始位置及び再
生開始時刻が記録されるので、ランダムアクセス時にG
OPの先頭でないIフレームから再生する場合において
も、余分なオーディオデータを読み込むことなしに、よ
り効率良く同期再生に必要なデータにジャンプできる。As described above, in the present embodiment, the start position and the reproduction start time of the I frame and the start position and the reproduction start time of the audio frame corresponding to the I frame are recorded in the packet header.
Even when reproducing from the I frame which is not the head of the OP, it is possible to jump to data necessary for synchronous reproduction more efficiently without reading extra audio data.
【0058】〔第3の実施の形態〕第1、第2の実施の
形態では、同期のための再生時刻情報は、オーディオフ
レームの再生開始時刻とビデオフレームの再生開始時刻
であったが、本実施の形態ではオーディオフレームの再
生開始時刻とビデオフレームの再生開始時刻の差分値と
する点が異なる。本実施の形態は請求項4に対応するも
のである。[Third Embodiment] In the first and second embodiments, the reproduction time information for synchronization is the reproduction start time of an audio frame and the reproduction start time of a video frame. The embodiment differs from the first embodiment in that a difference value between the reproduction start time of an audio frame and the reproduction start time of a video frame is used. This embodiment corresponds to claim 4.
【0059】図10に本実施の形態におけるパケットヘ
ッダの構成を示す。GOP毎の情報うち、再生時刻情報
が「開始時刻差分」となっている以外は、第1、第2の
実施の形態と同一である。FIG. 10 shows the configuration of the packet header in the present embodiment. This is the same as the first and second embodiments, except that among the information for each GOP, the reproduction time information is “start time difference”.
【0060】本実施の形態の動作も、第1、第2の実施
の形態とほぼ同一であるが、第1の実施の形態ではパケ
ットを出力するときに、「オーディオ再生時刻」と「ビ
デオ再生時刻」を出力していたが、本実施の形態では、
(「オーディオ再生時刻」−「ビデオ再生時刻」)を求
め、この値を「開始時刻差分」として出力する。The operation of this embodiment is almost the same as that of the first and second embodiments. However, in the first embodiment, when outputting a packet, "audio reproduction time" and "video reproduction time" are output. Time), but in the present embodiment,
(“Audio playback time” − “video playback time”), and outputs this value as “start time difference”.
【0061】本実施の形態によれば、第1、第2の実施
の形態に比べてパケットヘッダの大きさをより小さくで
きる利点がある。According to this embodiment, there is an advantage that the size of the packet header can be made smaller than in the first and second embodiments.
【0062】〔第4の実施の形態〕図11に本発明の第
4の実施の形態を示す。第4の実施の形態は、第1〜3
の実施の形態で示した動作に従って高能率符号化された
オーディオデータとビデオデータを多重化し、パケット
を構成する多重化装置であり、請求項5に対応するもの
である。[Fourth Embodiment] FIG. 11 shows a fourth embodiment of the present invention. The fourth embodiment includes first to third embodiments.
This is a multiplexing apparatus that multiplexes audio data and video data that have been highly efficiently coded according to the operation described in the embodiment to form a packet, and corresponds to claim 5.
【0063】図11の多重化装置は、オーディオエンコ
ーダ32、ビデオエンコーダ34、メモリ35、ヘッダ
生成回路36、同期情報発生回路37で構成される。The multiplexer shown in FIG. 11 comprises an audio encoder 32, a video encoder 34, a memory 35, a header generation circuit 36, and a synchronization information generation circuit 37.
【0064】図11において、オーディオ入力端子31
から入力されたオーディオデータはオーディオエンコー
ダ32で高能率符号化され、オーディオ符号化データが
出力される。また、ビデオ入力端子33から入力された
ビデオデータはビデオエンコーダ34で高能率符号化さ
れ、ビデオ符号化データが出力される。オーディオ符号
化データ、ビデオ符号化データは一旦メモリ35に格納
され、オーディオパケットデータ、ビデオパケットデー
タ毎に分離され、パケットとして記録媒体に出力され
る。In FIG. 11, the audio input terminal 31
Is encoded by the audio encoder 32 with high efficiency, and the encoded audio data is output. The video data input from the video input terminal 33 is highly efficiently encoded by the video encoder 34, and the encoded video data is output. The audio encoded data and the video encoded data are temporarily stored in the memory 35, separated into audio packet data and video packet data, and output to a recording medium as packets.
【0065】同期情報発生回路37は90KHzで動作
するカウンタを備え、オーディオフレームパルスやビデ
オフレームパルスを入力し、図5や図7で示したフロー
チャートに従ってGOP毎の再生時刻情報を発生する。The synchronization information generation circuit 37 has a counter operating at 90 KHz, receives an audio frame pulse or a video frame pulse, and generates reproduction time information for each GOP according to the flowcharts shown in FIGS.
【0066】ヘッダ生成回路36はメモリ35を制御す
るとともに、メモリに書き込まれるオーディオ符号化デ
ータ量とビデオ符号化データ量をカウントし、また、同
期情報発生回路から入力される再生時刻情報を用いて図
3や図10で示したパケットヘッダを生成する。ヘッダ
生成回路36はパケットヘッダの生成が完了する毎に、
パケットヘッダをメモリ35に記録する。そして、記録
媒体から記録要求が発生されると、パケットヘッダ、オ
ーディオパケットデータ、ビデオパケットデータの順に
記録媒体に出力するようにメモリ35を制御する。The header generation circuit 36 controls the memory 35, counts the amount of audio encoded data and the amount of video encoded data written in the memory, and uses the reproduction time information input from the synchronization information generation circuit. The packet header shown in FIGS. 3 and 10 is generated. Each time the generation of the packet header is completed, the header generation circuit 36
The packet header is recorded in the memory 35. When a recording request is issued from the recording medium, the memory 35 is controlled so as to output the packet header, audio packet data, and video packet data to the recording medium in this order.
【0067】本実施の形態では、オーディオエンコーダ
やビデオエンコーダにヘッダ生成回路と同期情報発生回
路を付加するだけで、容易に図1で示したパケットを構
成することができる。In the present embodiment, the packet shown in FIG. 1 can be easily formed simply by adding a header generation circuit and a synchronization information generation circuit to an audio encoder or a video encoder.
【0068】[0068]
【発明の効果】請求項1〜5記載の本発明によれば、G
OP毎のオーディオ符号化データとビデオ符号化データ
の位置情報と同期情報をパケットヘッダに記録するた
め、記録媒体の管理領域の容量を増やすことなく、GO
P単位のランダムアクセスを容易に行うことができ、か
つランダムアクセス後に正確な同期をとることができ
る。また、GOPより細かい単位にランダムアクセスし
た場合においても、符号化データの復号はGOP単位で
行うため、必ず同期をとることができる。According to the first to fifth aspects of the present invention, G
Since the position information and the synchronization information of the audio coded data and the video coded data for each OP are recorded in the packet header, the GO can be performed without increasing the capacity of the management area of the recording medium.
P-unit random access can be easily performed, and accurate synchronization can be achieved after random access. Further, even when random access is performed in units smaller than the GOP, the encoded data is decoded in GOP units, so that synchronization can always be achieved.
【0069】また、ディクスの管理領域のデータは再生
時に再生装置のメモリに保持しておく必要があるため、
管理領域の容量を増やさないということは、再生装置の
メモリ容量が少なくて済むという効果もある。Also, since the data in the disk management area must be held in the memory of the playback device during playback,
Not increasing the capacity of the management area also has the effect of reducing the memory capacity of the playback device.
【0070】請求項2記載の本発明によれば、GOP毎
の位置情報はパケット内の相対位置なので、小さい値を
表現できればよく、少ないデータ量とすることができ
る。また、位置情報を求める演算も小さい演算回路で求
めることができる効果もある。According to the second aspect of the present invention, since the position information for each GOP is a relative position within a packet, a small value can be expressed, and a small data amount can be obtained. Also, there is an effect that the calculation for obtaining the position information can be obtained by a small arithmetic circuit.
【0071】請求項3記載の本発明によれば、GOP毎
にIフレーム及びIフレームに対応するオーディオフレ
ームの位置情報と再生時刻情報を記録するので、GOP
がIフレームから開始していない場合においても、ラン
ダムアクセス時に余分なオーディオデータを読み出すこ
とがない。According to the present invention, the position information and the reproduction time information of the I frame and the audio frame corresponding to the I frame are recorded for each GOP.
Does not start reading extra audio data during random access even if the start of the audio data does not start from the I frame.
【0072】請求項4記載の本発明によれば、再生時刻
情報をオーディオ再生時刻とビデオ再生時刻の差分値1
つとしているので、パケットヘッダの大きさを小さくす
ることができ、符号化データに割り当てるデータ量を増
やすことができ、その結果、画質や音質が向上する効果
がある。According to the fourth aspect of the present invention, the reproduction time information is set to the difference value 1 between the audio reproduction time and the video reproduction time.
Therefore, the size of the packet header can be reduced, and the amount of data allocated to the encoded data can be increased. As a result, the image quality and the sound quality can be improved.
【0073】請求項5記載の本発明によれば、オーディ
オエンコーダやビデオエンコーダに小さい付加回路をつ
けるだけで、GOP毎のランダムアクセスに効果のある
パケットを出力する多重化装置を構成することができ
る。また、付加回路も、メモリ制御や同期情報の発生な
ど、従来の回路で必要であったものが多く、これらの動
作を変更するだけで実現でき、少ないコストで多くの効
果を上げることができる。According to the fifth aspect of the present invention, it is possible to configure a multiplexing device that outputs a packet effective for random access for each GOP simply by adding a small additional circuit to an audio encoder or a video encoder. . In addition, many additional circuits, such as memory control and generation of synchronization information, which are necessary in conventional circuits, can be realized only by changing these operations, and many effects can be obtained at a small cost.
【図1】本発明で構成するパケットの構成を示す図であ
る。FIG. 1 is a diagram showing a configuration of a packet configured in the present invention.
【図2】GOP期間とオーディオ期間を説明する図であ
る。FIG. 2 is a diagram illustrating a GOP period and an audio period.
【図3】パケットヘッダの構成を示す図である。FIG. 3 is a diagram showing a configuration of a packet header.
【図4】パケットヘッダの内容を説明する図である。FIG. 4 is a diagram illustrating the contents of a packet header.
【図5】本発明の第1の実施の形態における、GOPの
構成と開始時刻情報を生成する動作を示すフローチャー
トである。FIG. 5 is a flowchart illustrating an operation of generating a GOP configuration and start time information in the first embodiment of the present invention.
【図6】本発明の第1の実施の形態における、パケット
ヘッダの生成及びパケットの生成する動作を示すフロー
チャートである。FIG. 6 is a flowchart showing an operation of generating a packet header and generating a packet in the first embodiment of the present invention.
【図7】本発明の第2の実施の形態における、GOPの
構成と開始時刻情報を生成する動作を示すフローチャー
トである。FIG. 7 is a flowchart illustrating an operation of generating a GOP configuration and start time information according to the second embodiment of the present invention.
【図8】Iフレームを基準としたGOP期間とオーディ
オ期間を説明する図である。FIG. 8 is a diagram illustrating a GOP period and an audio period based on an I frame.
【図9】本発明の第2の実施の形態における、パケット
ヘッダの生成及びパケットの生成する動作を示すフロー
チャートである。FIG. 9 is a flowchart showing an operation of generating a packet header and generating a packet in the second embodiment of the present invention.
【図10】本発明の第3の実施の形態におけるパケット
ヘッダの構成を示す図である。FIG. 10 is a diagram illustrating a configuration of a packet header according to the third embodiment of the present invention.
【図11】本発明の第4の実施の形態の構成を示すブロ
ック図である。FIG. 11 is a block diagram illustrating a configuration of a fourth exemplary embodiment of the present invention.
【図12】GOPを説明する図である。FIG. 12 is a diagram illustrating a GOP.
【図13】従来例におけるDUTを説明する図である。FIG. 13 is a diagram illustrating a DUT in a conventional example.
1 パケット 2 パケットヘッダ 3 オーディオパケットデータ 4 ビデオパケットデータ 5 オーディオGOPデータ 6 オーディオGOPデータ 7 ビデオGOPデータ 8 ビデオGOPデータ 11 GOP期間 12 オーディオ期間 21 オーディオ期間 31 オーディオ入力端子 32 オーディオエンコーダ 33 ビデオ入力端子 34 ビデオエンコーダ 35 メモリ 36 ヘッダ生成回路 37 同期情報発生回路 101 DUT 202 拡張データ 203 音声データ 204 映像データ 205 ヘッダ 206 副映像データ 1 packet 2 packet header 3 audio packet data 4 video packet data 5 audio GOP data 6 audio GOP data 7 video GOP data 8 video GOP data 11 GOP period 12 audio period 21 audio period 31 audio input terminal 32 audio encoder 33 video input terminal 34 Video encoder 35 Memory 36 Header generation circuit 37 Synchronization information generation circuit 101 DUT 202 Extended data 203 Audio data 204 Video data 205 Header 206 Sub-video data
Claims (5)
OPを高能率符号化したGOPビデオデータと、該GO
Pに対応するオーディオフレームを高能率符号化したG
OPオーディオデータを多重化する方法であって、 パケットヘッダと1つ又は複数の前記GOPビデオデー
タと1つ又は複数の前記GOPオーディオデータを有す
るパケットを構成し、 パケットヘッダには、少なくとも各GOPビデオデータ
と各GOPオーディオデータの位置情報と同期情報を備
えることを特徴とする高能率符号化データの多重化方
法。1. A method in which a plurality of video frames is defined as a GOP,
GOP video data obtained by efficiently encoding an OP and the GO
G that encodes the audio frame corresponding to P with high efficiency
A method for multiplexing OP audio data, comprising: forming a packet having a packet header, one or a plurality of the GOP video data, and one or a plurality of the GOP audio data, wherein the packet header includes at least each GOP video. A method of multiplexing highly efficient encoded data, comprising: data, position information of each GOP audio data, and synchronization information.
GOPオーディオデータの先頭位置の前記パケット内で
の相対位置であり、前記同期情報は、前記GOPビデオ
データのうち最初に再生されるビデオフレームの再生開
始時刻と、該ビデオフレームに対応するオーディオフレ
ームの再生開始時刻であることを特徴とする請求項1記
載の高能率符号化データの多重化方法。2. The position information is a relative position in the packet of a start position of GOP video data and GOP audio data, and the synchronization information is a position of a video frame to be reproduced first among the GOP video data. 2. The method according to claim 1, further comprising a reproduction start time and a reproduction start time of an audio frame corresponding to the video frame.
うちフレーム内符号化されたビデオフレームの前記パケ
ット内での先頭位置と該フレーム内符号化されたビデオ
フレームに対応するオーディオフレームの前記パケット
内での先頭位置であり、前記同期情報は、該フレーム内
符号化されたビデオフレームの再生開始時刻と、該ビデ
オフレームに対応するオーディオフレームの再生開始時
刻であることを特徴とする請求項1記載の高能率符号化
データの多重化方法。3. The position information includes a start position of an intra-coded video frame in the GOP video data in the packet and an audio frame corresponding to the intra-coded video frame in the packet. The synchronization information is a playback start time of an intra-coded video frame and a playback start time of an audio frame corresponding to the video frame. Multiplexing method for highly efficient encoded data.
ムの再生開始時刻と前記ビデオフレームの再生開始時刻
の差分値であることを特徴とする請求項2、3記載の高
能率符号化データの多重化方法。4. The multiplexing of highly efficient encoded data according to claim 2, wherein the synchronization information is a difference value between a reproduction start time of the audio frame and a reproduction start time of the video frame. Method.
タ、前記1つ又は複数のオーディオデータ及び前記パケ
ットヘッダを記録するメモリと、前記パケットヘッダを
生成するヘッダ生成回路を備え、ヘッダ生成回路は前記
1つ又は複数のGOPビデオデータ及び前記1つ又は複
数のGOPオーディオデータの符号量をカウントして前
記パケットヘッダを生成し、パケットヘッダが生成され
る毎に前記メモリに該パケットヘッダを記録し、該パケ
ットヘッダ、該1つ又は複数のGOPオーディオデー
タ、該1つ又は複数のGOPビデオデータの順、又は該
パケットヘッダ、該1つ又は複数のGOPビデオデー
タ、該1つ又は複数のGOPオーディオデータの順でメ
モリから出力してパケットを出力し、請求項1〜4の多
重化方法を実現する高能率符号化データの多重化装置。5. A memory for recording the one or more GOP video data, the one or more audio data, and the packet header, and a header generation circuit for generating the packet header, wherein the header generation circuit comprises: Counting the code amount of one or more GOP video data and the one or more GOP audio data to generate the packet header, and recording the packet header in the memory each time a packet header is generated; The packet header, the one or more GOP audio data, the one or more GOP video data in order, or the packet header, the one or more GOP video data, the one or more GOP audio data 5. A high efficiency for realizing the multiplexing method according to any one of claims 1 to 4, wherein the packets are output from the memory in the order of Multiplexer for encoded data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16331198A JP3523493B2 (en) | 1998-06-11 | 1998-06-11 | Method and apparatus for multiplexing highly efficient encoded data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16331198A JP3523493B2 (en) | 1998-06-11 | 1998-06-11 | Method and apparatus for multiplexing highly efficient encoded data |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11355722A true JPH11355722A (en) | 1999-12-24 |
JP3523493B2 JP3523493B2 (en) | 2004-04-26 |
Family
ID=15771430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16331198A Expired - Fee Related JP3523493B2 (en) | 1998-06-11 | 1998-06-11 | Method and apparatus for multiplexing highly efficient encoded data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3523493B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002034005A (en) * | 2000-07-14 | 2002-01-31 | Astro Design Inc | Signal-generating apparatus and signal-generating method |
JP2010045862A (en) * | 2009-11-24 | 2010-02-25 | Sony Corp | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program |
US8676038B2 (en) | 2007-07-05 | 2014-03-18 | Sony Corporation | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program |
JP2015507407A (en) * | 2011-12-28 | 2015-03-05 | インテル コーポレイション | Integrated metadata insertion system and method in video encoding system |
JP2017508375A (en) * | 2014-02-10 | 2017-03-23 | ドルビー・インターナショナル・アーベー | Embed encoded audio in transport streams for perfect splicing |
-
1998
- 1998-06-11 JP JP16331198A patent/JP3523493B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002034005A (en) * | 2000-07-14 | 2002-01-31 | Astro Design Inc | Signal-generating apparatus and signal-generating method |
US8676038B2 (en) | 2007-07-05 | 2014-03-18 | Sony Corporation | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program |
JP2010045862A (en) * | 2009-11-24 | 2010-02-25 | Sony Corp | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program |
JP2015507407A (en) * | 2011-12-28 | 2015-03-05 | インテル コーポレイション | Integrated metadata insertion system and method in video encoding system |
JP2017508375A (en) * | 2014-02-10 | 2017-03-23 | ドルビー・インターナショナル・アーベー | Embed encoded audio in transport streams for perfect splicing |
US9883213B2 (en) | 2014-02-10 | 2018-01-30 | Dolby International Ab | Embedding encoded audio into transport stream for perfect splicing |
Also Published As
Publication number | Publication date |
---|---|
JP3523493B2 (en) | 2004-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3484834B2 (en) | Data encoding / decoding method and apparatus | |
JP3491366B2 (en) | Special reproduction method and special reproduction apparatus for encoded data | |
JP4552802B2 (en) | Recording apparatus, recording method, recording method program, and recording medium recording the recording method program | |
JP3523493B2 (en) | Method and apparatus for multiplexing highly efficient encoded data | |
JP3718498B2 (en) | Moving image recording / playback method | |
JP4384869B2 (en) | Recording apparatus and method, recording medium, and program | |
JPH1079918A (en) | Device for decoding and reproducing picture information and method therefor | |
JP3253530B2 (en) | Video recording device | |
KR100676723B1 (en) | Video reproducing apparatus | |
KR20020015393A (en) | Recording method, recording medium and recorder | |
JPH11261963A (en) | Moving image recording and reproducing method and moving image recording and reproducing device | |
JP3344607B2 (en) | Optical disc, reproducing apparatus and reproducing method | |
JP3562484B2 (en) | Method for manufacturing disk-shaped data recording medium | |
JP2004096474A (en) | Reproducing method and system of moving picture data | |
CN114245231B (en) | Multi-video synchronous skipping method, device and equipment and readable storage medium | |
JP4227604B2 (en) | Moving picture reproducing apparatus and recording medium | |
US7502379B2 (en) | Disk playback apparatus | |
JP2004343201A (en) | Recording apparatus | |
JP2004310878A (en) | Reproducing device and reproducing method, recording medium and program therefor | |
JP2004048206A (en) | Video reproducing method and video reproducing apparatus | |
JP3568227B2 (en) | Compressed moving image data recording medium and reproducing apparatus therefor | |
JP2000152236A (en) | Moving picture coder, multiplexing method, its system and recording and reproducing device | |
JP2000175151A (en) | Mpeg reproduction device and mpeg reproduction method | |
JP2004064210A (en) | Recording apparatus | |
JP3384562B2 (en) | Recording device and recording method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |