JPH11355722A - Multiplexing method and multiplexer for high efficiency coded data - Google Patents

Abstract

PROBLEM TO BE SOLVED: To attain random access and edit in the unit of group of picture GOP and to ensure synchronization between audio data and video data. SOLUTION: In this multiplexing method, audio coded data and video coded data of pluralities of GOPs are assembled into packets and a packet header is added to each packet. The packet header has information of its packet, an audio start position, an audio start time, a video start position and a video start time for each GOP. In the case of conducting random access, the start position and the start time for each GOP are used to attain high speed random access and accurate audio video synchronization.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、高能率符号化され
たビデオ符号化データ、オーディオ符号化データにヘッ
ダを付加し、ランダムアクセスやランダムアクセス後の
オーディオとビデオの同期を容易にする多重化データを
生成する多重化方法及び多重化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to multiplexing which adds a header to video encoding data and audio encoding data which have been encoded with high efficiency and facilitates random access and synchronization of audio and video after random access. The present invention relates to a multiplexing method and a multiplexing apparatus for generating data.

【０００２】[0002]

【従来の技術】近年、動画像符号化方式として、ＭＰＥ
Ｇ１（ＩＳＯ／ＩＥＣ １１１７２）、ＭＰＥＧ２（Ｉ
ＳＯ／ＩＥＣ １３８１８）方式が蓄積、通信、放送の
分野で用いられている。ＭＰＥＧ方式ではフレーム毎に
フレーム内符号化、前方向のフレーム間予測符号化、両
方向のフレーム間予測符号化を切り替えて用いる。以下
ではフレーム内符号化するフレームをＩフレーム、前方
向のフレーム間予測符号化するフレームをＰフレーム、
両方向のフレーム間予測符号化するフレームをＢフレー
ムと呼ぶ。図１２にＩフレーム、Ｐフレーム、Ｂフレー
ムの並びの例を示す。ＭＰＥＧ方式では図１２に示すよ
うに、１枚以上のＩフレームを含む複数のフレーム群を
Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ（以下ではＧＯＰ
と略す）と呼ぶ。2. Description of the Related Art In recent years, MPE has been used as a moving picture coding method.
G1 (ISO / IEC 11172), MPEG2 (I
(SO / IEC 13818) is used in the fields of storage, communication, and broadcasting. In the MPEG system, intra-frame coding, forward inter-frame predictive coding, and bidirectional inter-frame predictive coding are switched and used for each frame. In the following, a frame to be intra-coded is an I frame, a frame to be subjected to forward inter-frame predictive coding is a P frame,
A frame to be subjected to inter-frame predictive encoding in both directions is called a B frame. FIG. 12 shows an example of the arrangement of the I frame, the P frame, and the B frame. In the MPEG system, as shown in FIG. 12, a plurality of frame groups including one or more I-frames are grouped into Group Of Pictures (hereinafter referred to as GOPs).
Abbreviated).

【０００３】ＭＰＥＧ方式で圧縮した符号化データをビ
デオシーケンスの途中から再生する場合、Ｉフレームか
ら復号する必要がある。これは、ＰフレームやＢフレー
ムはフレーム間予測符号化されているため、予測に用い
る画像を先に復号しておく必要があり、この依存関係を
たどると全てのＰフレームやＢフレームはＩフレームに
依存しているためである。[0003] When coded data compressed by the MPEG system is reproduced from the middle of a video sequence, it is necessary to decode it from an I frame. This is because P-frames and B-frames are inter-frame predictive coded, so it is necessary to decode the image used for prediction first, and following this dependency, all P-frames and B-frames are I-frames. It is because it depends on.

【０００４】ところで、ＭＰＥＧ方式では可変長符号化
されるため、時間と符号量が比例しない。即ち、ランダ
ムアクセス等でビデオシーケンスの途中から再生する場
合に、再生開始時刻がわかっても、その時刻のデータが
どこに記録されているかはわからない。そのため、ＧＯ
Ｐの先頭位置や、Ｉフレームの符号化データの先頭位置
がどこであるかを予め管理しておき、ランダムアクセス
を効率良くすることが行われる。[0004] By the way, in the MPEG system, since the variable length coding is performed, the time and the code amount are not proportional. That is, in the case of reproducing from the middle of a video sequence by random access or the like, even if the reproduction start time is known, it is not known where the data at that time is recorded. Therefore, GO
The head position of the P and the head position of the encoded data of the I frame are managed in advance, and the random access is efficiently performed.

【０００５】ＭＰＥＧ方式で、ランダムアクセスを効率
良く行う装置が実用新案登録第３００４１０４号公報に
記載されている。実用新案登録第３００４１０４号公報
では、複数個のＧＯＰをデータユニット（ＤＵＴ）とし
てディスク媒体に記録し、ＤＵＴ単位でのランダムアク
セスを容易にするものである。An apparatus for efficiently performing random access in the MPEG system is described in Utility Model Registration No. 3004104. In Utility Model Registration No. 3004104, a plurality of GOPs are recorded on a disk medium as data units (DUTs) to facilitate random access in DUT units.

【０００６】図１３に実用新案登録第３００４１０４号
公報に記載されているＤＵＴの構成を示す。ＤＵＴ１０
１は拡張データ１０２、音声データ１０３、映像データ
１０４で構成され、拡張データ１０２にはヘッダ１０５
と副映像データ１０６が含まれている。音声データ１０
３には映像データ１０４の時間に対応する音声データ、
映像データ１０４にはＭＰＥＧ方式で圧縮された映像デ
ータが記録される。ＤＵＴヘッダ１０５には、映像デー
タの先頭位置、音声データの先頭位置、音声同期情報が
含まれている。FIG. 13 shows a configuration of a DUT described in Japanese Utility Model Registration No. 3004104. DUT10
1 includes extension data 102, audio data 103, and video data 104, and the extension data 102 includes a header 105
And sub-picture data 106 are included. Audio data 10
3, audio data corresponding to the time of the video data 104;
In the video data 104, video data compressed by the MPEG method is recorded. The DUT header 105 includes a head position of video data, a head position of audio data, and audio synchronization information.

【０００７】ＤＵＴの先頭が記録されるセクタ番号はデ
ィスクの管理ファイルに別途記録されており、ランダム
アクセスや高速再生時には管理ファイルの情報から目的
のＤＵＴの開始位置を検索、ジャンプし、ＤＵＴの先頭
から再生するか、ＤＵＴヘッダに記録されている映像デ
ータの先頭位置情報を用いて映像データの先頭から再生
する。[0007] The sector number at which the head of the DUT is recorded is separately recorded in a management file of the disk. During random access or high-speed playback, the start position of the target DUT is searched and jumped from the information of the management file, and jumping is performed. Or from the beginning of the video data using the head position information of the video data recorded in the DUT header.

【０００８】[0008]

【発明が解決しようとする課題】しかしながら、実用新
案登録第３００４１０４号公報に記載の方式（以下では
従来例と呼ぶ）では下記に記述する２つの問題点があ
る。However, the method described in Japanese Utility Model Registration No. 3004104 (hereinafter referred to as a conventional example) has the following two problems.

【０００９】第１に、従来例ではＤＵＴより細かい単位
での符号化データへのアクセスができないという問題が
ある。First, the conventional example has a problem that encoded data cannot be accessed in units smaller than the DUT.

【００１０】ＭＰＥＧ方式で映像データを符号化した場
合、ＧＯＰ毎にＩピクチャが含まれ、このＩピクチャか
ら復号が可能であるが、従来例では、ＤＵＴの先頭位置
しか管理していない。従って、ＤＵＴ内の途中のＧＯＰ
から再生するためにはまずＤＵＴの先頭にランダムアク
セスし、再生すべきＧＯＰまでの不要なデータを読み飛
ばす必要があり、ランダムアクセスが指示されてからデ
ータの再生までに時間がかかる。不要なデータの読み飛
ばしは映像データだけでなく、音声データについても必
要である。[0010] When video data is encoded by the MPEG system, an I picture is included for each GOP, and decoding can be performed from this I picture. However, in the conventional example, only the head position of the DUT is managed. Therefore, a GOP in the middle of the DUT
In order to reproduce from the beginning, it is necessary to make random access to the head of the DUT and skip unnecessary data up to the GOP to be reproduced, and it takes time from random instruction to data reproduction. Skipping of unnecessary data is necessary not only for video data but also for audio data.

【００１１】第２に、ＧＯＰ単位でランダムアクセスが
できたとしても、従来例では音声データと映像データの
同期のための情報がＤＵＴの先頭位置１箇所しかないた
め、ＧＯＰ単位のランダムアクセス時にオーディオとビ
デオの同期を確保できないという問題がある。Second, even if random access can be performed in GOP units, the information for synchronizing audio data and video data is only one at the head position of the DUT in the conventional example. There is a problem that it is not possible to ensure synchronization between the video and the video.

【００１２】ビデオフレームの周期は３００００／１０
０１Ｈｚであり、符号化も１周期毎に行われる。これに
対して、オーディオデータのサンプリング周波数は４
４．１ＫＨｚで、ＭＰＥＧ１方式で符号化する場合は１
１５２データをオーディオフレームとし、ＡＴＲＡＣ方
式、ＡＴＲＡＣ２方式で符号化する場合は１０２４デー
タをオーディオフレームとして符号化することが多い。
ビデオフレームは約３３ｍ秒、オーディオフレームは約
２６ｍ秒や約２３ｍ秒となり、従来例では、ＤＵＴ内の
２つ目以降のＧＯＰの先頭での開始時刻を求めるために
演算が必要になる。また、精度上、その演算は概算とな
らざるを得ず、正確な同期をとることは困難である。The period of a video frame is 30,000 / 10
01 Hz, and encoding is also performed every cycle. On the other hand, the sampling frequency of audio data is 4
When encoding at 4.1 KHz by the MPEG1 method, 1
When 152 data is used as an audio frame and the data is encoded by the ATRAC method or the ATRAC2 method, 1024 data is often encoded as an audio frame.
A video frame is about 33 ms, and an audio frame is about 26 ms or about 23 ms. In the conventional example, calculation is required to find the start time at the beginning of the second or subsequent GOP in the DUT. In addition, in terms of accuracy, the calculation must be approximate and it is difficult to achieve accurate synchronization.

【００１３】さらに、ディスク媒体の場合、任意のデー
タに高速アクセスが可能なこと活用し、記録データは変
更せずに再生順序をポインタで示すプログラム再生やプ
ログラム編集を行うことが可能である。しかしながら、
従来例では正確な同期をとることができないので、プロ
グラム再生で短い時間の再生とランダムアクセスを繰り
返すと同期の誤差が蓄積する可能性がある。Furthermore, in the case of a disk medium, it is possible to perform program reproduction or program editing in which a reproduction order is indicated by a pointer without changing recorded data, by utilizing high-speed access to arbitrary data. However,
Since accurate synchronization cannot be obtained in the conventional example, there is a possibility that a synchronization error will accumulate if a short time reproduction and random access are repeated in the program reproduction.

【００１４】本発明は、このような問題点に鑑みてなさ
れたものであり、ＧＯＰ単位でのランダムアクセスや編
集が可能で、かつオーディオデータとビデオデータの同
期を確保できる高能率符号化データの多重化方法及び多
重化装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of such a problem, and it is possible to perform random access and editing in GOP units, and to secure high-efficiency encoded data capable of ensuring synchronization between audio data and video data. It is an object to provide a multiplexing method and a multiplexing device.

【００１５】[0015]

【課題を解決するための手段】本発明では、多重化デー
タのヘッダ部分にＧＯＰ毎の位置情報と再生開始時刻情
報を備えることで、ＧＯＰ単位でのランダムアクセス
や、オーディオとビデオの同期を実現する。According to the present invention, random access in units of GOP and synchronization of audio and video are realized by providing position information and reproduction start time information for each GOP in a header portion of multiplexed data. I do.

【００１６】従って、本発明の請求項１によれば、複数
のビデオフレームをＧＯＰとし、ＧＯＰを高能率符号化
したＧＯＰビデオデータと、該ＧＯＰに対応するオーデ
ィオフレームを高能率符号化したＧＯＰオーディオデー
タを多重化する方法であって、パケットヘッダと１つ又
は複数のＧＯＰビデオデータと１つ又は複数のＧＯＰオ
ーディオデータを有するパケットを構成し、パケットヘ
ッダには、少なくとも各ＧＯＰビデオデータと各ＧＯＰ
オーディオデータの位置情報と同期情報を備えることを
特徴とする高能率符号化データの多重化方法で上記課題
を解決する。Therefore, according to the first aspect of the present invention, a plurality of video frames are defined as GOPs, GOP video data obtained by encoding a GOP with high efficiency, and GOP audio data obtained by encoding an audio frame corresponding to the GOP with high efficiency. A method for multiplexing data, comprising forming a packet having a packet header, one or more GOP video data, and one or more GOP audio data, wherein the packet header includes at least each GOP video data and each GOP
The above object is achieved by a method for multiplexing highly efficient encoded data, characterized by comprising position information and synchronization information of audio data.

【００１７】本発明の請求項２によれば、請求項１記載
の高能率符号化データの多重化方法において、位置情報
はＧＯＰビデオデータとＧＯＰオーディオデータの先頭
位置の前記パケット内での相対位置であり、前記同期情
報は前記ＧＯＰビデオデータのうち最初に再生されるビ
デオフレームの再生開始時刻と、該ビデオフレームに対
応するオーディオフレームの再生開始時刻であることを
特徴とする高能率符号化データの多重化方法で上記課題
を解決する。According to a second aspect of the present invention, in the method of multiplexing highly efficient encoded data according to the first aspect, the position information is a relative position in the packet of the start position of GOP video data and GOP audio data. Wherein the synchronization information is a reproduction start time of a video frame to be reproduced first among the GOP video data, and a reproduction start time of an audio frame corresponding to the video frame. The above problem is solved by the multiplexing method of (1).

【００１８】本発明の請求項３によれば、請求項１記載
の高能率符号化データの多重化方法において、位置情報
はＧＯＰビデオデータのうちフレーム内符号化されたビ
デオフレームのパケット内での先頭位置と該フレーム内
符号化されたビデオフレームに対応するオーディオフレ
ームのパケット内での先頭位置であり、前記同期情報
は、該フレーム内符号化されたビデオフレームの再生開
始時刻と、該ビデオフレームに対応するオーディオフレ
ームの再生開始時刻であることを特徴とする高能率符号
化データの多重化方法で上記課題を解決する。According to a third aspect of the present invention, in the method for multiplexing high-efficiency encoded data according to the first aspect, the position information is included in a packet of an intra-coded video frame of the GOP video data. A start position and a start position in the packet of the audio frame corresponding to the intra-coded video frame, wherein the synchronization information includes a reproduction start time of the intra-coded video frame; The above problem is solved by a method for multiplexing high-efficiency encoded data, characterized in that it is a reproduction start time of an audio frame corresponding to.

【００１９】本発明の請求項４によれば、請求項２、３
記載の高能率符号化データの多重化方法において、同期
情報は前記オーディオフレームの再生開始時刻と前記ビ
デオフレームの再生開始時刻の差分値であることを特徴
とする高能率符号化データの多重化方法で上記課題を解
決する。According to claim 4 of the present invention, claims 2 and 3
The method of multiplexing high-efficiency encoded data according to claim 1, wherein the synchronization information is a difference value between a reproduction start time of the audio frame and a reproduction start time of the video frame. Solves the above problem.

【００２０】本発明の請求項５によれば、１つ又は複数
のＧＯＰビデオデータ、１つ又は複数のオーディオデー
タ及びパケットヘッダを記録するメモリと、パケットヘ
ッダを生成するヘッダ生成回路を備え、ヘッダ生成回路
は１つ又は複数のＧＯＰビデオデータ及び１つ又は複数
のＧＯＰオーディオデータの符号量をカウントしてパケ
ットヘッダを生成し、パケットヘッダが生成される毎に
メモリに該パケットヘッダを記録し、該パケットヘッ
ダ、該１つ又は複数のＧＯＰオーディオデータ、該１つ
又は複数のＧＯＰビデオデータの順、又は該パケットヘ
ッダ、該１つ又は複数のＧＯＰビデオデータ、該１つ又
は複数のＧＯＰオーディオデータの順でメモリから出力
してパケットを出力し、請求項１〜４の多重化方法を実
現する高能率符号化データの多重化装置で上記課題を解
決する。According to a fifth aspect of the present invention, there is provided a memory for recording one or a plurality of GOP video data, one or a plurality of audio data, and a packet header, and a header generation circuit for generating a packet header. The generation circuit counts the code amount of one or more GOP video data and one or more GOP audio data to generate a packet header, and records the packet header in a memory every time a packet header is generated, The packet header, the one or more GOP audio data, the one or more GOP video data in order, or the packet header, the one or more GOP video data, the one or more GOP audio data 5. A high-efficiency coding for outputting a packet from a memory in the order of To solve the above problems the multiplexing device over data.

【００２１】[0021]

【発明の実施の形態】以下図面を参照しながら、本発明
の実施の形態を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.

【００２２】〔第１の実施の形態〕以下に、ビデオは１
５フレームを１ＧＯＰとしてＭＰＥＧ２方式で高能率符
号化し、オーディオはＡＴＲＡＣ２方式で高能率符号化
し、オーディオ符号化データとビデオ符号化データを多
重化し、多重化データをディスク媒体に記録する場合の
本発明の実施の形態を図面を参照して説明する。本実施
の形態は請求項１、２に対応するものである。[First Embodiment] In the following, video is 1
The present invention is applied to a case where five frames are encoded as one GOP with high efficiency by the MPEG2 system, audio is highly efficiently encoded by the ATRAC2 system, audio encoded data and video encoded data are multiplexed, and the multiplexed data is recorded on a disk medium. Embodiments will be described with reference to the drawings. This embodiment corresponds to claims 1 and 2.

【００２３】まず、図１〜４を用いて本実施の形態にお
ける多重化データのフォーマットについて説明する。本
実施の形態では、複数ＧＯＰ分の多重化データをパケッ
トとし、パケットの情報は多重化データとは別に管理
し、パケット内の情報はパケットのヘッダ部分に記録す
る。First, the format of multiplexed data in the present embodiment will be described with reference to FIGS. In the present embodiment, multiplexed data for a plurality of GOPs is set as a packet, information of the packet is managed separately from the multiplexed data, and information in the packet is recorded in a header portion of the packet.

【００２４】図１に本発明の高能率符号化データの多重
化方法で生成される多重化データの一例を示す。本発明
ではＧＯＰを管理の最小単位とし、ＧＯＰのビデオ符号
化データをＧＯＰビデオデータ、ＧＯＰに対応するオー
ディオ符号化データをＧＯＰオーディオデータとする。
２つのＧＯＰオーディオデータ５、６でパケットオーデ
ィオデータ３を構成し、２つのＧＯＰビデオデータ７、
８でパケットビデオデータ４を構成し、さらにパケット
ヘッダ２、パケットオーディオデータ３、パケットビデ
オデータ４でパケット１を構成する。パケットヘッダ２
にはパケット内の位置情報や同期情報を記録するが、詳
細は後述する。また、パケットの位置情報はディスク媒
体の多重化データを記録する領域とは別の管理領域に記
録する。FIG. 1 shows an example of multiplexed data generated by the method of multiplexing highly efficient encoded data according to the present invention. In the present invention, a GOP is the minimum unit of management, video encoded data of the GOP is GOP video data, and audio encoded data corresponding to the GOP is GOP audio data.
Two GOP audio data 5 and 6 constitute packet audio data 3, and two GOP video data 7 and
8, the packet video data 4 is constituted, and the packet 1 is constituted by the packet header 2, the packet audio data 3, and the packet video data 4. Packet header 2
Record position information and synchronization information in the packet, details of which will be described later. The position information of the packet is recorded in a management area of the disk medium, which is different from the area where the multiplexed data is recorded.

【００２５】図２にＧＯＰを構成するビデオフレームと
ＧＯＰに対応するオーディオフレームとの関係を示す。
図２はＧＯＰに対応するオーディオフレームの期間の開
始がＧＯＰを構成するビデオフレームの期間の開始より
も遅い場合の例であり、１５ビデオフレームの期間をＧ
ＯＰ期間１１としている。１ビデオフレームと１オーデ
ィオフレームの期間が異なる場合、オーディオフレーム
を複数集めてもＧＯＰ期間１１とは一致しない。そのた
めにＧＯＰ期間１１の先頭からのずれと後端からのずれ
がそれぞれ１オーディオフレーム期間未満となる期間を
オーディオ期間１２とする。FIG. 2 shows the relationship between video frames forming a GOP and audio frames corresponding to the GOP.
FIG. 2 shows an example in which the start of the period of the audio frame corresponding to the GOP is later than the start of the period of the video frame constituting the GOP.
The OP period is 11. If one video frame and one audio frame have different periods, even if a plurality of audio frames are collected, the GOP period 11 does not match. Therefore, a period in which the shift from the beginning and the shift from the rear end of the GOP period 11 is less than one audio frame period is referred to as an audio period 12.

【００２６】図３に図１で示したパケットヘッダ２の詳
細を示す。パケットヘッダ２には「パケットサイズ」、
「パケットヘッダサイズ」、「オーディオサイズ」、
「ビデオサイズ」と、パケットに含まれるＧＯＰ毎に
「オーディオ開始位置」、「オーディオ再生時刻」、
「ビデオ開始位置」、「ビデオ再生時刻」が記録され
る。FIG. 3 shows details of the packet header 2 shown in FIG. "Packet size" is included in the packet header 2,
"Packet header size", "Audio size",
“Video size”, “audio start position”, “audio playback time”,
“Video start position” and “video playback time” are recorded.

【００２７】図４に図３で示したパケットヘッダ２の詳
細を図示する。「パケットサイズ」はパケット全体のデ
ータ量、「パケットヘッダサイズ」はパケットヘッダの
データ量、「オーディオサイズ」はパケットオーディオ
データの符号量、「ビデオサイズ」はパケットビデオデ
ータの符号量、「オーディオ開始位置」はＧＯＰオーデ
ィオデータの開始位置で、パケットオーディオデータの
先頭を０とした相対位置、「オーディオ再生時刻」はＧ
ＯＰオーディオデータの再生開始時刻で、９０ＫＨｚの
精度の値である。また、「ビデオ開始位置」はＧＯＰビ
デオデータの開始位置で、パケットビデオデータの先頭
を０とした相対位置、「ビデオ再生時刻」はＧＯＰビデ
オデータの再生開始時刻で、９０ＫＨｚの精度の値であ
る。FIG. 4 shows details of the packet header 2 shown in FIG. “Packet size” is the data amount of the entire packet, “Packet header size” is the data amount of the packet header, “Audio size” is the code amount of the packet audio data, “Video size” is the code amount of the packet video data, and “Audio start”. "Position" is the start position of the GOP audio data, the relative position with the beginning of the packet audio data being 0, and "Audio playback time" is G
This is the reproduction start time of the OP audio data, and has a value of accuracy of 90 KHz. The “video start position” is the start position of the GOP video data, a relative position with the beginning of the packet video data being 0, and the “video playback time” is the playback start time of the GOP video data, which is an accuracy value of 90 KHz. .

【００２８】図３、４はパケットが２ＧＯＰで構成され
ている場合の例で、パケットを構成するＧＯＰの数が多
くなれば、パケットヘッダはＧＯＰ毎の情報分だけ多く
なる。FIGS. 3 and 4 show an example in which a packet is composed of 2 GOPs. When the number of GOPs constituting a packet increases, the packet header increases by the amount of information for each GOP.

【００２９】このように、本実施の形態はパケットヘッ
ダにＧＯＰ毎の「オーディオ開始位置」、「オーディオ
再生時刻」、「ビデオ開始位置」、「ビデオ再生時刻」
を記録することを特徴とし、ランダムアクセス時にはま
ず管理領域に記録されているパケットの位置情報を用い
てパケットの先頭にジャンプし、次にパケットヘッダを
読み出してＧＯＰの先頭にジャンプすることで、ＧＯＰ
単位のジャンプを効率良く行うものである。また、パケ
ットヘッダにはＧＯＰ毎の再生時刻情報が記録されてい
るので、正確なオーディオとビデオの同期が実現でき
る。As described above, in the present embodiment, the “audio start position”, “audio reproduction time”, “video start position”, and “video reproduction time” for each GOP are included in the packet header.
In the random access, first jump to the beginning of the packet using the position information of the packet recorded in the management area, then read the packet header and jump to the beginning of the GOP,
The unit jumps efficiently. Also, since the reproduction time information for each GOP is recorded in the packet header, accurate audio and video synchronization can be realized.

【００３０】次に、図５、図６を用いて図１で示したパ
ケット１を構成する動作をフローチャートで示す。図５
は図２に示したＧＯＰ期間１１とオーディオ期間１２を
決定する動作と、図３に示したパケットヘッダのうちの
「オーディオ再生時刻」と「ビデオ再生時刻」を出力す
る動作で、図６はパケットヘッダのその他の要素を生成
し、実際に１パケットを出力する動作である。Next, the operation of configuring the packet 1 shown in FIG. 1 will be described with reference to flowcharts of FIGS. 5 and 6. FIG.
FIG. 6 shows an operation for determining the GOP period 11 and the audio period 12 shown in FIG. 2 and an operation for outputting the “audio reproduction time” and the “video reproduction time” of the packet header shown in FIG. This is an operation for generating other elements of the header and actually outputting one packet.

【００３１】図５のフローチャートにおいて、ステップ
Ｓ１１でオーディオフレーム数を示す変数Ａｎとビデオ
フレーム数を示す変数Ｖｎを０に初期化し、変数ＮをＧ
ＯＰを構成するビデオフレーム数に設定する。そして、
ステップＳ１２、Ｓ１３でビデオフレームの開始信号と
オーディオフレームの開始信号を検出する。ビデオフレ
ームの開始信号はビデオ信号を処理する部分から、オー
ディオフレームの開始信号はオーディオ信号を処理する
部分から入力される信号である。オーディオフレームの
開始信号が入力された場合はＡｎをインクリメントし
（ステップＳ１４）、ステップＳ１２に戻る。ビデオフ
レーム開始信号が入力された場合はＶｎをインクリメン
トし（ステップＳ１５）、ステップＳ１６でＶｎが１か
どうか、即ちＧＯＰ内で最初のビデオフレームであるか
どうかを判定する。最初のビデオフレームでない場合
は、ステップＳ１７でＶｎがＮかどうか、即ちＧＯＰ内
の最後のビデオフレームであるかどうかを判定する。Ｇ
ＯＰ内の最後のフレームの場合はＧＯＰのビデオフレー
ム数を出力し、ビデオフレーム数を示す変数Ｖｎを０に
リセットし（ステップＳ１８）、ステップＳ１２に戻
る。出力したＧＯＰのビデオフレーム数は後述する図６
のフローチャートで用いる。ステップＳ１７でＧＯＰの
最後のフレームでないと判定された場合は、何も行わず
ステップＳ１２に戻る。ステップＳ１６でＧＯＰの最初
のビデオフレームと判定された場合は、この時刻を「ビ
デオ再生時刻」として出力する（ステップＳ１９）。時
刻は、９０ＫＨｚで動作するカウンタを備えておき、カ
ウンタの値を出力する。次にステップＳ２０でオーディ
オフレーム数を示すＡｎの値を出力し、Ａｎを０にリセ
ットする。Ａｎはオーディオフレームの開始信号が入力
される毎にインクリメントし、ＧＯＰ期間の先頭位置で
その値を出力と０にリセットを行っているので、ステッ
プＳ２０ではオーディオ期間のオーディオフレーム数を
出力していることになる。そして、ステップＳ２１でオ
ーディオフレームが検出されるのを待ち、オーディオフ
レームが検出されると、その時刻を「オーディオ再生時
刻」として出力し（ステップＳ２２）、Ａｎをインクリ
メントする（ステップＳ２３）。そしてステップＳ２４
で符号化の終了かどうかを判定し、終了でない場合はス
テップＳ１２に戻り、動作を継続する。In the flowchart of FIG. 5, in step S11, a variable An indicating the number of audio frames and a variable Vn indicating the number of video frames are initialized to 0, and the variable N is set to G.
Set to the number of video frames that make up the OP. And
At steps S12 and S13, a video frame start signal and an audio frame start signal are detected. The start signal of a video frame is a signal input from a part for processing a video signal, and the start signal of an audio frame is a signal input from a part for processing an audio signal. When an audio frame start signal is input, An is incremented (step S14), and the process returns to step S12. When the video frame start signal is input, Vn is incremented (step S15), and it is determined in step S16 whether or not Vn is 1, that is, whether or not it is the first video frame in the GOP. If it is not the first video frame, it is determined in step S17 whether Vn is N, that is, whether it is the last video frame in the GOP. G
In the case of the last frame in the OP, the number of video frames of the GOP is output, the variable Vn indicating the number of video frames is reset to 0 (step S18), and the process returns to step S12. The number of video frames of the output GOP is shown in FIG.
Used in the flowchart of FIG. If it is determined in step S17 that the frame is not the last frame of the GOP, nothing is performed and the process returns to step S12. If it is determined in step S16 that the video frame is the first video frame of the GOP, this time is output as "video playback time" (step S19). At the time, a counter operating at 90 KHz is provided, and the value of the counter is output. Next, in step S20, the value of An indicating the number of audio frames is output, and An is reset to 0. An is incremented every time an audio frame start signal is input, and its value is output and reset to 0 at the beginning of the GOP period. Therefore, in step S20, the number of audio frames in the audio period is output. Will be. Then, it waits for an audio frame to be detected in step S21. When an audio frame is detected, the time is output as an "audio reproduction time" (step S22), and An is incremented (step S23). And step S24
It is determined whether or not the encoding is completed, and if not, the process returns to step S12 to continue the operation.

【００３２】ステップＳ１９でＧＯＰ期間の最初のビデ
オフレームの再生開始時刻情報が出力され、ステップＳ
２２でＧＯＰ期間の最初のオーディオフレームの再生開
始時刻情報が出力される。またステップＳ１８ではＧＯ
Ｐを構成するビデオフレーム数が出力され、ステップＳ
２０ではオーディオ期間を構成するオーディオフレーム
数が出力される。これらの出力値は図６に示す、パケッ
トを構成する動作で用いる。In step S19, the reproduction start time information of the first video frame in the GOP period is output.
At 22, the reproduction start time information of the first audio frame in the GOP period is output. In step S18, GO
The number of video frames constituting P is output, and step S
At 20, the number of audio frames constituting the audio period is output. These output values are used in the operation of forming a packet shown in FIG.

【００３３】図６に、図１で示したパケット１を構成す
る動作をフローチャートで示す。図６のフローチャート
では、ステップＳ３２〜Ｓ３９でパケットヘッダのうち
オーディオデータに関する部分の情報を生成し、ステッ
プＳ４０〜Ｓ４６でパケットヘッダのうちビデオデータ
に関する部分の情報を生成し、ステップＳ４７〜Ｓ４９
でパケットを構成するデータを出力する。FIG. 6 is a flowchart showing the operation of the packet 1 shown in FIG. In the flowchart of FIG. 6, in steps S32 to S39, information of a portion relating to audio data in the packet header is generated, and in steps S40 to S46, information of a portion relating to video data in the packet header is generated, and in steps S47 to S49.
Outputs the data that makes up the packet.

【００３４】まずステップＳ３１で後段の処理で用いる
変数を０に初期化し、ステップＳ３２ではＧＯＰ番号を
示す変数ｎを１に初期化する。ステップＳ３３でオーデ
ィオ符号化データ量をカウントし、ステップＳ３４でオ
ーディオフレームの終了かどうかを判定する。オーディ
オフレームの終了かどうかは、次のオーディオフレーム
スタートコードを検出する、或はオーディオフレームが
固定長であることからカウントした符号量で判定する。
オーディオフレームの終了でない場合は、ステップＳ３
３を繰り返す。ステップＳ３３では「オーディオフレー
ム符号量」に「カウント量」を加算する動作も行う。オ
ーディオフレームの終了の場合は、「オーディオ開始位
置」に「オーディオフレーム符号量」を加算し、「オー
ディオフレーム符号量」を０にリセットする（ステップ
Ｓ３５）。第ｎＧＯＰの符号の読み出し符号量は第ｎ＋
１ＧＯＰの開始位置に関連するので、ステップＳ３５で
は「オーディオ開始位置（ｎ＋１）」にオーディオフレ
ーム符号量を加算する。そして、ステップＳ３６でＧＯ
Ｐオーディオデータの終了かどうかを判定する。判定に
は、図５で示したフローチャートのステップＳ２０で出
力されるオーディオ期間のオーディオフレーム数と、読
み出したオーディオ符号化データのオーディオフレーム
数で判定する。ステップＳ３６でＧＯＰオーディオデー
タの終了でないと判定された場合はステップＳ３３〜Ｓ
３５を繰り返す。ステップＳ３５で「オーディオ開始位
置」に「オーディオフレーム符号量」が加算されるの
で、ステップＳ３６でＧＯＰオーディオデータの終了と
判定された時点で、次のＧＯＰ、即ち第ｎ＋１ＧＯＰの
ＧＯＰオーディオデータの開始位置がオーディオ開始位
置（ｎ＋１）にセットされていることになる。ステップ
Ｓ３７ではＧＯＰ番号を示す変数ｎをインクリメント
し、２ＧＯＰ先のオーディオ開始位置を示す「オーディ
オ開始位置（ｎ＋１）」を既にセットされている、次の
ＧＯＰのオーディオ開始位置である「オーディオ開始位
置（ｎ）」にセットする。そして、ステップＳ３８でパ
ケットオーディオデータの終了かどうかを判断する。判
断は予め設定されている、パケットを構成するＧＯＰ数
と読み出したＧＯＰオーディオデータの数の比較で行
う。ステップＳ３８で終了でないと判定された場合は、
ステップＳ３３〜Ｓ３７を繰り返す。First, in step S31, a variable used in the subsequent processing is initialized to 0, and in step S32, a variable n indicating a GOP number is initialized to 1. In step S33, the amount of encoded audio data is counted, and in step S34, it is determined whether or not the audio frame has ended. The end of the audio frame is determined by detecting the next audio frame start code or by counting the code amount since the audio frame has a fixed length.
If it is not the end of the audio frame, step S3
Repeat 3. In step S33, an operation of adding the "count amount" to the "audio frame code amount" is also performed. If the audio frame has ended, the "audio frame code amount" is added to the "audio start position", and the "audio frame code amount" is reset to 0 (step S35). The read code amount of the code of the n-th GOP is n +
Since it relates to the start position of one GOP, the audio frame code amount is added to “audio start position (n + 1)” in step S35. Then, in step S36, GO
It is determined whether or not the P audio data has ended. The determination is made based on the number of audio frames in the audio period output in step S20 of the flowchart shown in FIG. 5 and the number of audio frames of the read audio encoded data. If it is determined in step S36 that the end of the GOP audio data has not been reached, steps S33 to S33 are executed.
Repeat 35. Since the "audio frame code amount" is added to the "audio start position" in step S35, when the end of GOP audio data is determined in step S36, the start position of the next GOP, that is, the GOP audio data of the (n + 1) th GOP Is set to the audio start position (n + 1). In step S37, the variable n indicating the GOP number is incremented, and the “audio start position (n + 1)” indicating the audio start position of the second GOP is already set. n) ". Then, in a step S38, it is determined whether or not the packet audio data is completed. The determination is made by comparing a preset number of GOPs constituting the packet with the number of read GOP audio data. If it is determined in step S38 that the process has not been completed,
Steps S33 to S37 are repeated.

【００３５】ステップＳ３８でパケットオーディオデー
タの終了と判定されたの場合は、ステップＳ３９で「オ
ーディオサイズ」を「オーディオ開始位置（ｎ）」にセ
ットし、ＧＯＰ番号を示す変数ｎを１にリセットする。
ステップＳ３９は、パケットオーディオデータを読み出
した後に行われるので、「オーディオ開始位置（ｎ）」
はパケットオーディオデータのデータ量を示している。If it is determined in step S38 that the packet audio data has been completed, "audio size" is set to "audio start position (n)" in step S39, and a variable n indicating the GOP number is reset to 1. .
Since step S39 is performed after reading the packet audio data, the “audio start position (n)”
Indicates the amount of packet audio data.

【００３６】同様にして、ステップＳ４０〜Ｓ４５でＧ
ＯＰビデオデータ、パケットビデオデータの読み出しを
行う。Similarly, in steps S40 to S45, G
The OP video data and the packet video data are read.

【００３７】まずステップＳ４０でビデオ符号化データ
量をカウントし、ステップＳ４１でビデオフレームの終
了かどうかを判定する。判定は次のビデオフレームの開
始コードもしくはビデオシーケンスの終了コードを検出
して判定する。ビデオフレームの終了でないと判定され
た場合は、ステップＳ４０を繰り返す。ステップＳ４０
では「ビデオフレーム符号量」に「カウント量」を加算
する動作も行う。ビデオフレームの終了の場合は、「ビ
デオ開始位置（ｎ＋１）」に「ビデオフレーム符号量」
を加算し、「ビデオフレーム符号量」を０にリセットす
る（ステップＳ４２）。そして、ステップＳ４３でＧＯ
Ｐビデオデータの終了かどうかを判定する。判定は、読
み出したビデオ符号化データのビデオフレーム数と予め
設定されているＧＯＰを構成するフレーム数との比較で
行う。ＧＯＰビデオデータの終了でないと判定された場
合はステップＳ４０〜Ｓ４２を繰り返す。ＧＯＰビデオ
データの終了と判断された場合は、ステップＳ４４でＧ
ＯＰ番号を示す変数ｎをインクリメントし、２ＧＯＰ先
のビデオ開始位置を示す「ビデオ開始位置（ｎ＋１）」
を次のＧＯＰのビデオ開始位置「ビデオ開始位置
（ｎ）」にセットする。そして、ステップＳ４５でパケ
ットビデオデータの終了かどうかを判断する。判断は予
め設定されているパケットを構成するＧＯＰ数と読み出
したＧＯＰビデオデータの数の比較で行う。ステップＳ
４５で終了でないと判定された場合は、ステップＳ４０
〜Ｓ４４を繰り返す。First, in step S40, the amount of video encoded data is counted, and in step S41, it is determined whether or not the video frame has ended. The determination is made by detecting the start code of the next video frame or the end code of the video sequence. If it is determined that the video frame does not end, step S40 is repeated. Step S40
Then, an operation of adding the "count amount" to the "video frame code amount" is also performed. In the case of the end of the video frame, “video frame code amount” is set in “video start position (n + 1)”.
Is added, and the “video frame code amount” is reset to 0 (step S42). Then, in step S43, GO
It is determined whether the P video data has ended. The determination is made by comparing the number of video frames of the read video encoded data with the number of frames constituting a preset GOP. If it is determined that the GOP video data has not ended, steps S40 to S42 are repeated. If the end of the GOP video data is determined, the G
“Video start position (n + 1)” indicating the video start position 2 GOP ahead by incrementing the variable n indicating the OP number
Is set to the video start position “video start position (n)” of the next GOP. Then, in a step S45, it is determined whether or not the packet video data is completed. The determination is made by comparing the number of GOPs constituting a preset packet with the number of read GOP video data. Step S
If it is determined in step S45 that the process is not to be terminated, step S40 is performed.
To S44 are repeated.

【００３８】ステップＳ４５でパケットビデオデータの
終了と判定されたの場合は、ステップＳ４６で「ビデオ
サイズ」を「ビデオ開始位置（ｎ）」にセットする。ス
テップＳ４６はパケットビデオデータを読み出した後に
行われるので、「ビデオ開始位置（ｎ）」はパケットビ
デオデータのデータ量を示している。If the end of the packet video data is determined in step S45, "video size" is set to "video start position (n)" in step S46. Since step S46 is performed after reading the packet video data, "video start position (n)" indicates the amount of packet video data.

【００３９】次にステップＳ４７でパケットヘッダを出
力する。パケットヘッダ中の「パケットサイズ」は「パ
ケットヘッダサイズ」、「オーディオサイズ」、「ビデ
オサイズ」の和であり、「パケットヘッダサイズ」はパ
ケットを構成するＧＯＰの数によって決まる値である。
「オーディオサイズ」、「ビデオサイズ」はステップＳ
３９及びステップＳ４６で求めた値である。また、「オ
ーディオ開始位置」はステップＳ３５で順次更新しなが
ら求めた値で、「ビデオ開始位置」はステップＳ４２で
順次更新しなら求めた値である。また、「オーディオ再
生時刻」は図５のステップＳ２２で求めた値であり、
「ビデオ再生時刻」は図５のステップＳ１９で求めた値
である。Next, a packet header is output in step S47. “Packet size” in the packet header is the sum of “packet header size”, “audio size”, and “video size”, and “packet header size” is a value determined by the number of GOPs constituting the packet.
"Audio size" and "Video size" are steps S
39 and the value obtained in step S46. The “audio start position” is a value obtained by sequentially updating in step S35, and the “video start position” is a value obtained by sequentially updating in step S42. “Audio playback time” is a value obtained in step S22 of FIG.
“Video playback time” is the value obtained in step S19 of FIG.

【００４０】次にステップＳ４８でオーディオパケット
データ、ステップＳ４９でビデオパケットデータを出力
し、パケットの出力を完了する。Next, audio packet data is output in step S48, and video packet data is output in step S49, and the output of the packet is completed.

【００４１】以上の動作で、図１で示したパケット１及
び図３で示したパケットヘッダを出力する。パケットヘ
ッダにはＧＯＰ毎のオーディオ開始位置とビデオ開始位
置、及びオーディオ再生時刻とビデオ再生時刻が含まれ
ているので、ランダムアクセスをＧＯＰ単位で効率良く
行うことができ、またオーディオとビデオの正確な同期
も確保できる。With the above operation, the packet 1 shown in FIG. 1 and the packet header shown in FIG. 3 are output. Since the packet header includes the audio start position and the video start position for each GOP, and the audio playback time and the video playback time, random access can be efficiently performed on a GOP basis, and accurate audio and video Synchronization can also be secured.

【００４２】なお、図６で示したパケットを構成する動
作は、まずパケットオーディオデータを読み出してパケ
ットヘッダの情報のうちオーディオデータに関する部分
を構築し、次にパケットビデオデータを読み出してパケ
ットヘッダの情報のうちビデオデータに関する部分を構
築しているが、オーディオの処理とビデオの処理を並列
に行っても構わない。The operation of constructing the packet shown in FIG. 6 is as follows. First, the packet audio data is read out, the portion related to the audio data in the packet header information is constructed, and then the packet video data is read out to read the packet header information. Although the part relating to video data is constructed, audio processing and video processing may be performed in parallel.

【００４３】また、本実施の形態では「オーディオ開始
位置」はＧＯＰオーディオデータの先頭を０とした相対
値、「ビデオ開始位置」はＧＯＰビデオデータの先頭を
０とした相対値であるが、パケット内の相対であればよ
く、例えばパケットの先頭を０とした相対値や、パケッ
トヘッダの後端を０とした相対値でも構わない。In this embodiment, the "audio start position" is a relative value with the head of the GOP audio data set to 0, and the "video start position" is a relative value with the start of the GOP video data set to 0. For example, a relative value with the leading end of the packet being 0 or a relative value with the trailing end of the packet header being 0 may be used.

【００４４】また、本実施の形態では、パケットはパケ
ットヘッダ、パケットオーディオデータ、パケットビデ
オデータの順で多重化されるが、順序はこれに固定する
ものでなく、例えばパケットヘッダ、パケットビデオデ
ータ、パケットオーディオデータの順でも構わないし、
オーディオデータ、ビデオデータ以外に制御データやユ
ーザデータを付加してもよい。In this embodiment, the packets are multiplexed in the order of packet header, packet audio data, and packet video data. However, the order is not limited to this, and for example, packet header, packet video data, It does not matter in the order of packet audio data,
Control data and user data may be added in addition to audio data and video data.

【００４５】さらに、本実施の形態ではパケットヘッダ
にＧＯＰ毎の位置情報と再生時刻情報を記録することに
特徴がありるものであり、パケットヘッダの構成は本実
施の形態に固定するものではない。Further, the present embodiment is characterized in that the position information and the reproduction time information for each GOP are recorded in the packet header, and the structure of the packet header is not fixed to the present embodiment. .

【００４６】〔第２の実施の形態〕第１の実施の形態で
は、ＧＯＰ毎の「オーディオ開始位置」、「ビデオ開始
位置」はＧＯＰの開始位置、「オーディオ再生時刻」、
「ビデオ再生時刻」はＧＯＰの先頭での再生開始時刻で
あったが、本実施の形態では、「ビデオ開始位置」はＧ
ＯＰの内のフレーム内符号化されたフレーム（Ｉフレー
ム）の先頭位置を示し、「オーディオ開始位置」はＩフ
レームに対応するオーディオフレームの先頭位置を示
し、「オーディオ再生時刻」、「ビデオ再生時刻」はそ
れぞれ開始位置で指定されたフレームの再生開始時刻を
示す点が異なるが、それ以外の「パケットサイズ」、
「パケットヘッダサイズ」、「オーディオサイズ」、
「ビデオサイズ」は第１の実施の形態と同一である。本
実施の形態は請求項３に対応するものである。[Second Embodiment] In the first embodiment, the "audio start position" and "video start position" for each GOP are the start position of the GOP, "audio playback time",
Although “video playback time” is the playback start time at the beginning of the GOP, in the present embodiment, “video start position” is G
The “audio start position” indicates the start position of an audio frame corresponding to the I frame, and “audio playback time”, “video playback time” indicates the start position of an intra-coded frame (I frame) in the OP. ] Indicates the playback start time of the frame specified at the start position, but the other "packet size"
"Packet header size", "Audio size",
"Video size" is the same as in the first embodiment. This embodiment corresponds to claim 3.

【００４７】前述したように、ランダムアクセスから再
生を開始する場合、Ｉフレームから再生する必要があ
る。図１２で示した例のように、ＧＯＰの先頭はＩフレ
ームでないことがあるので、ＧＯＰ毎の情報をＧＯＰの
先頭ではなく、Ｉフレームとすることで、より効率良く
再生可能なデータにジャンプすることができる。As described above, when reproduction is started from random access, it is necessary to reproduce from an I frame. As in the example shown in FIG. 12, since the head of a GOP may not be an I frame, the information for each GOP is not the head of the GOP but an I frame, thereby jumping to data that can be reproduced more efficiently. be able to.

【００４８】ＧＯＰの先頭がＩフレームでない場合も、
ビデオの符号化はＩフレームから行う必要があり、符号
化データの並びもＩフレームがビデオＧＯＰデータの先
頭となる。従って、本実施の形態においても「ビデオ開
始位置」は第１の実施の形態と同じ値となるが、オーデ
ィオフレームは入力順に符号化されるので、Ｉフレーム
に対応するオーディオフレームの位置は、ＧＯＰオーデ
ィオデータの先頭とは異なる位置となる。Even when the head of the GOP is not an I frame,
It is necessary to perform video encoding from an I frame, and the sequence of encoded data is also the I frame at the beginning of the video GOP data. Therefore, also in this embodiment, the “video start position” has the same value as in the first embodiment, but since the audio frames are encoded in the input order, the position of the audio frame corresponding to the I frame is GOP The position is different from the head of the audio data.

【００４９】まず図７のフローチャートで「オーディオ
再生時刻」と「ビデオ再生時刻」を求める動作を行う。
図７のフローチャートと図５のフローチャートは似た動
作をするが、「オーディオ再生時刻」と「ビデオ再生時
刻」を出力するタイミングと、図７のフローチャートで
はオーディオフレーム数をカウントする変数をＡｎ１と
Ａｎ２の２つ用い、Ａｎ１は第１の実施の形態と同様に
図２で示したオーディオ期間１１のオーディオフレーム
数を出力し、Ａｎ２はＩピクチャを基準とした期間のオ
ーディオフレーム数を出力する点が異なる。以下では図
５のフローチャートと同一の動作は説明を省略し、異な
る点の動作を説明する。First, an operation for obtaining an "audio reproduction time" and a "video reproduction time" is performed in the flowchart of FIG.
The flowchart of FIG. 7 and the flowchart of FIG. 5 operate in a similar manner. However, in the flowchart of FIG. 7, the variables for counting the number of audio frames are An1 and An2. An1 outputs the number of audio frames in the audio period 11 shown in FIG. 2 as in the first embodiment, and An2 outputs the number of audio frames in a period based on the I picture, as in the first embodiment. different. Hereinafter, description of the same operations as those in the flowchart of FIG. 5 will be omitted, and operations of different points will be described.

【００５０】まず、図８を用いてＡｎ２が示すフレーム
数を図示する。図８にはＧＯＰを構成するビデオフレー
ムと各フレームがどの符号化タイプで符号化されるかを
示している。Ａｎ２は図８のオーディオ期間２１におけ
るオーディオフレーム数を示す。オーディオ期間２１は
開始時刻がＩフレームの直後のオーディオフレームの開
始時刻であり、終了時刻が次のＩフレームの直後のオー
ディオフレームの開始時刻となる。First, the number of frames indicated by An2 will be illustrated with reference to FIG. FIG. 8 shows the video frames forming the GOP and the coding type of each frame. An2 indicates the number of audio frames in the audio period 21 of FIG. In the audio period 21, the start time is the start time of the audio frame immediately after the I frame, and the end time is the start time of the audio frame immediately after the next I frame.

【００５１】図７のフローチャートにおいて、ステップ
Ｓ５１でオーディオ期間２１のオーディオフレーム数を
示す変数Ａｎ２を０に初期化する。そして、オーディオ
フレームが検出されるとステップＳ５４でＡｎ２をイン
クリメントする。ステップＳ５２でビデオフレームが検
出されると、ステップＳ５８では検出したビデオフレー
ムがＩフレームかどうかの判定を行う。判定は、予め設
定してあるＧＯＰ構造から行う。ステップＳ５８でＩフ
レームであると判定された場合は、この時刻を「ビデオ
再生時刻」として出力し（ステップＳ６３）、Ｉフレー
ムまでのオーディオフレーム数を示すＡｎ２の値をオー
ディオフレーム数２として出力する（ステップＳ６
４）。そして、Ｉフレームの直後のオーディオフレーム
の開始時刻を「オーディオ再生時刻」として出力し（ス
テップＳ６６）、Ａｎ２をインクリメントする（ステッ
プＳ６７）。ステップＳ５９でＧＯＰデータの終了かど
うかを判定し、終了と判定された場合はステップＳ６１
でパケットの終了かどうかを判定する。そして、パケッ
トの終了と判定された場合はステップＳ６２でＡｎ２を
０にリセットするので、ステップＳ６４で出力されるオ
ーディオフレーム数２の値は、パケット内で最初の出力
値はパケットの先頭から図８で示したオーディオ期間２
１までのオーディオフレーム数となり、それ以降の値は
オーディオ期間２１のオーディオフレーム数が出力され
ることになる。In the flowchart of FIG. 7, in step S51, a variable An2 indicating the number of audio frames in the audio period 21 is initialized to zero. When an audio frame is detected, An2 is incremented in step S54. When a video frame is detected in step S52, it is determined in step S58 whether the detected video frame is an I frame. The determination is made based on the GOP structure set in advance. If it is determined in step S58 that the frame is an I frame, this time is output as "video playback time" (step S63), and the value of An2 indicating the number of audio frames up to the I frame is output as the number of audio frames 2. (Step S6
4). Then, the start time of the audio frame immediately after the I frame is output as "audio reproduction time" (step S66), and An2 is incremented (step S67). In step S59, it is determined whether or not the GOP data is completed. If it is determined that the GOP data is completed, step S61 is performed.
To determine if the packet has ended. If it is determined that the end of the packet has been reached, An2 is reset to 0 in step S62. Therefore, the value of the audio frame number 2 output in step S64 is the first output value in the packet from the beginning of the packet in FIG. Audio period 2 indicated by
The number of audio frames up to 1 will be output, and the value after that will output the number of audio frames in the audio period 21.

【００５２】このように、本実施の形態では、図２で示
したオーディオ期間１２のオーディオフレーム数をステ
ップＳ５７で出力し、図８で示したオーディオ期間２１
のオーディオフレーム数をステップＳ６４で出力する。As described above, in the present embodiment, the number of audio frames in the audio period 12 shown in FIG. 2 is output in step S57, and the number of audio frames in the audio period 21 shown in FIG.
Are output in step S64.

【００５３】次に、図９にパケットを構成する動作をフ
ローチャートで示す。図９のフローチャートの動作は、
第１の実施の形態の図６のフローチャートの動作と類似
するが、第１の実施の形態では最初のオーディオ開始位
置は必ず０となっていたため、オーディオ開始位置
（２）から求めていたが、本実施の形態ではオーディオ
開始位置（１）から求める点が異なる。図９において、
図６のフローチャートと同じ動作を行う部分は同じ符合
を付し、説明を省略する。Next, FIG. 9 is a flowchart showing the operation of forming a packet. The operation of the flowchart in FIG.
Although the operation is similar to the operation of the flowchart of FIG. 6 of the first embodiment, the first audio start position is always 0 in the first embodiment, and thus the audio start position is obtained from the audio start position (2). The present embodiment differs from the first embodiment in that the audio signal is obtained from the audio start position (1). In FIG.
Parts performing the same operations as those in the flowchart of FIG. 6 are denoted by the same reference numerals, and description thereof will be omitted.

【００５４】図９において、ステップＳ３４でオーディ
オフレームの終了が検出されると、ステップＳ７１でオ
ーディオ開始位置（ｎ）にオーディオフレーム符号量を
加算する。そして、ステップＳ７２でＩフレームに対応
するオーディオフレームであるかどうかを判定する。判
定は、図７のステップＳ６４で出力したオーディオフレ
ーム数２と、読み出したオーディオ符号化データのオー
ディオフレーム数との比較で行う。オーディオフレーム
数２はパケットの先頭から図８で示したオーディオ期間
２１の開始までのオーディオフレーム数、又はオーディ
オ期間２１のオーディオフレーム数を示している。ステ
ップＳ７２でＩフレームに対応するオーディオフレーム
と判定された場合は、ステップＳ７３でオーディオ開始
位置（ｎ＋１）をオーディオ開始位置（ｎ）にセット
し、ＧＯＰの数を示す変数ｎをインクリメントする。ス
テップＳ７２でＩフレームに対応するオーディオフレー
ムと判定された時点で、オーディオ開始位置（ｎ）には
ＧＯＰオーディオデータの先頭から、Ｉフレームに対応
するオーディオフレームの先頭までのデータ量がセット
されている。次にステップＳ７４でパケットオーディオ
データの終了かどうかを判断する。判断は、図７のステ
ップＳ５７で出力するオーディオフレーム数１の累積値
と読み出したオーディオフレーム数の比較で行う。ステ
ップＳ７４でパケットオーディオデータの終了と判断し
た場合は、ステップＳ７５でオーディオサイズをオーデ
ィオ開始位置（ｎ）にセットする。オーディオ開始位置
（ｎ）はパケットオーディオデータの先頭を０としたオ
ーディオ符号量を示している。In FIG. 9, when the end of the audio frame is detected in step S34, the audio frame code amount is added to the audio start position (n) in step S71. Then, in a step S72, it is determined whether or not the frame is an audio frame corresponding to the I frame. The determination is made by comparing the number of audio frames 2 output in step S64 of FIG. 7 with the number of audio frames of the read audio encoded data. The audio frame number 2 indicates the number of audio frames from the beginning of the packet to the start of the audio period 21 shown in FIG. If it is determined in step S72 that the audio frame corresponds to the I frame, the audio start position (n + 1) is set to the audio start position (n) in step S73, and the variable n indicating the number of GOPs is incremented. When it is determined in step S72 that the audio frame corresponds to the I frame, the data amount from the beginning of the GOP audio data to the beginning of the audio frame corresponding to the I frame is set at the audio start position (n). . Next, it is determined in step S74 whether or not the packet audio data has ended. The determination is made by comparing the accumulated value of the audio frame number 1 output in step S57 of FIG. 7 with the read audio frame number. If it is determined in step S74 that the packet audio data has ended, the audio size is set to the audio start position (n) in step S75. The audio start position (n) indicates the audio code amount with the beginning of the packet audio data being 0.

【００５５】ステップＳ７２ではＩフレームを基準とし
たオーディオフレーム数で比較して、オーディオ開始位
置をＩフレームに対応するオーディオフレームの開始位
置とし、ステップＳ７４ではＧＯＰを基準としたオーデ
ィオフレーム数で比較して、オーディオサイズをＧＯＰ
に対応するオーディオ期間の積算符号量、即ちオーディ
オパケットデータの符号量にセットしていることにな
る。In step S72, the comparison is made with the number of audio frames based on the I frame, and the audio start position is set as the start position of the audio frame corresponding to the I frame. In step S74, the comparison is made with the number of audio frames based on the GOP. GOP audio size
Is set to the integrated code amount of the audio period corresponding to the audio packet data, that is, the code amount of the audio packet data.

【００５６】ステップＳ４０〜Ｓ４９は第１の実施の形
態と全く同じ動作を行い、ステップＳ４７では図７のス
テップＳ６３で出力した「ビデオ再生時刻」やステップ
Ｓ６６で出力した「オーディオ再生時刻」も含めたパケ
ットヘッダを出力し、続いてステップＳ４９でパケット
オーディオデータ、ステップ５０でパケットビデオデー
タを出力し、パケットの出力を完了する。Steps S40 to S49 perform exactly the same operation as in the first embodiment, and step S47 includes the "video playback time" output in step S63 of FIG. 7 and the "audio playback time" output in step S66. The packet header is output, and subsequently, packet audio data is output in step S49, and packet video data is output in step 50, and the output of the packet is completed.

【００５７】このように、本実施の形態ではパケットヘ
ッダにはＩフレームの開始位置及び再生開始時刻とＩフ
レームに対応するオーディオフレームの開始位置及び再
生開始時刻が記録されるので、ランダムアクセス時にＧ
ＯＰの先頭でないＩフレームから再生する場合において
も、余分なオーディオデータを読み込むことなしに、よ
り効率良く同期再生に必要なデータにジャンプできる。As described above, in the present embodiment, the start position and the reproduction start time of the I frame and the start position and the reproduction start time of the audio frame corresponding to the I frame are recorded in the packet header.
Even when reproducing from the I frame which is not the head of the OP, it is possible to jump to data necessary for synchronous reproduction more efficiently without reading extra audio data.

【００５８】〔第３の実施の形態〕第１、第２の実施の
形態では、同期のための再生時刻情報は、オーディオフ
レームの再生開始時刻とビデオフレームの再生開始時刻
であったが、本実施の形態ではオーディオフレームの再
生開始時刻とビデオフレームの再生開始時刻の差分値と
する点が異なる。本実施の形態は請求項４に対応するも
のである。[Third Embodiment] In the first and second embodiments, the reproduction time information for synchronization is the reproduction start time of an audio frame and the reproduction start time of a video frame. The embodiment differs from the first embodiment in that a difference value between the reproduction start time of an audio frame and the reproduction start time of a video frame is used. This embodiment corresponds to claim 4.

【００５９】図１０に本実施の形態におけるパケットヘ
ッダの構成を示す。ＧＯＰ毎の情報うち、再生時刻情報
が「開始時刻差分」となっている以外は、第１、第２の
実施の形態と同一である。FIG. 10 shows the configuration of the packet header in the present embodiment. This is the same as the first and second embodiments, except that among the information for each GOP, the reproduction time information is “start time difference”.

【００６０】本実施の形態の動作も、第１、第２の実施
の形態とほぼ同一であるが、第１の実施の形態ではパケ
ットを出力するときに、「オーディオ再生時刻」と「ビ
デオ再生時刻」を出力していたが、本実施の形態では、
（「オーディオ再生時刻」−「ビデオ再生時刻」）を求
め、この値を「開始時刻差分」として出力する。The operation of this embodiment is almost the same as that of the first and second embodiments. However, in the first embodiment, when outputting a packet, "audio reproduction time" and "video reproduction time" are output. Time), but in the present embodiment,
(“Audio playback time” − “video playback time”), and outputs this value as “start time difference”.

【００６１】本実施の形態によれば、第１、第２の実施
の形態に比べてパケットヘッダの大きさをより小さくで
きる利点がある。According to this embodiment, there is an advantage that the size of the packet header can be made smaller than in the first and second embodiments.

【００６２】〔第４の実施の形態〕図１１に本発明の第
４の実施の形態を示す。第４の実施の形態は、第１〜３
の実施の形態で示した動作に従って高能率符号化された
オーディオデータとビデオデータを多重化し、パケット
を構成する多重化装置であり、請求項５に対応するもの
である。[Fourth Embodiment] FIG. 11 shows a fourth embodiment of the present invention. The fourth embodiment includes first to third embodiments.
This is a multiplexing apparatus that multiplexes audio data and video data that have been highly efficiently coded according to the operation described in the embodiment to form a packet, and corresponds to claim 5.

【００６３】図１１の多重化装置は、オーディオエンコ
ーダ３２、ビデオエンコーダ３４、メモリ３５、ヘッダ
生成回路３６、同期情報発生回路３７で構成される。The multiplexer shown in FIG. 11 comprises an audio encoder 32, a video encoder 34, a memory 35, a header generation circuit 36, and a synchronization information generation circuit 37.

【００６４】図１１において、オーディオ入力端子３１
から入力されたオーディオデータはオーディオエンコー
ダ３２で高能率符号化され、オーディオ符号化データが
出力される。また、ビデオ入力端子３３から入力された
ビデオデータはビデオエンコーダ３４で高能率符号化さ
れ、ビデオ符号化データが出力される。オーディオ符号
化データ、ビデオ符号化データは一旦メモリ３５に格納
され、オーディオパケットデータ、ビデオパケットデー
タ毎に分離され、パケットとして記録媒体に出力され
る。In FIG. 11, the audio input terminal 31
Is encoded by the audio encoder 32 with high efficiency, and the encoded audio data is output. The video data input from the video input terminal 33 is highly efficiently encoded by the video encoder 34, and the encoded video data is output. The audio encoded data and the video encoded data are temporarily stored in the memory 35, separated into audio packet data and video packet data, and output to a recording medium as packets.

【００６５】同期情報発生回路３７は９０ＫＨｚで動作
するカウンタを備え、オーディオフレームパルスやビデ
オフレームパルスを入力し、図５や図７で示したフロー
チャートに従ってＧＯＰ毎の再生時刻情報を発生する。The synchronization information generation circuit 37 has a counter operating at 90 KHz, receives an audio frame pulse or a video frame pulse, and generates reproduction time information for each GOP according to the flowcharts shown in FIGS.

【００６６】ヘッダ生成回路３６はメモリ３５を制御す
るとともに、メモリに書き込まれるオーディオ符号化デ
ータ量とビデオ符号化データ量をカウントし、また、同
期情報発生回路から入力される再生時刻情報を用いて図
３や図１０で示したパケットヘッダを生成する。ヘッダ
生成回路３６はパケットヘッダの生成が完了する毎に、
パケットヘッダをメモリ３５に記録する。そして、記録
媒体から記録要求が発生されると、パケットヘッダ、オ
ーディオパケットデータ、ビデオパケットデータの順に
記録媒体に出力するようにメモリ３５を制御する。The header generation circuit 36 controls the memory 35, counts the amount of audio encoded data and the amount of video encoded data written in the memory, and uses the reproduction time information input from the synchronization information generation circuit. The packet header shown in FIGS. 3 and 10 is generated. Each time the generation of the packet header is completed, the header generation circuit 36
The packet header is recorded in the memory 35. When a recording request is issued from the recording medium, the memory 35 is controlled so as to output the packet header, audio packet data, and video packet data to the recording medium in this order.

【００６７】本実施の形態では、オーディオエンコーダ
やビデオエンコーダにヘッダ生成回路と同期情報発生回
路を付加するだけで、容易に図１で示したパケットを構
成することができる。In the present embodiment, the packet shown in FIG. 1 can be easily formed simply by adding a header generation circuit and a synchronization information generation circuit to an audio encoder or a video encoder.

【００６８】[0068]

【発明の効果】請求項１〜５記載の本発明によれば、Ｇ
ＯＰ毎のオーディオ符号化データとビデオ符号化データ
の位置情報と同期情報をパケットヘッダに記録するた
め、記録媒体の管理領域の容量を増やすことなく、ＧＯ
Ｐ単位のランダムアクセスを容易に行うことができ、か
つランダムアクセス後に正確な同期をとることができ
る。また、ＧＯＰより細かい単位にランダムアクセスし
た場合においても、符号化データの復号はＧＯＰ単位で
行うため、必ず同期をとることができる。According to the first to fifth aspects of the present invention, G
Since the position information and the synchronization information of the audio coded data and the video coded data for each OP are recorded in the packet header, the GO can be performed without increasing the capacity of the management area of the recording medium.
P-unit random access can be easily performed, and accurate synchronization can be achieved after random access. Further, even when random access is performed in units smaller than the GOP, the encoded data is decoded in GOP units, so that synchronization can always be achieved.

【００６９】また、ディクスの管理領域のデータは再生
時に再生装置のメモリに保持しておく必要があるため、
管理領域の容量を増やさないということは、再生装置の
メモリ容量が少なくて済むという効果もある。Also, since the data in the disk management area must be held in the memory of the playback device during playback,
Not increasing the capacity of the management area also has the effect of reducing the memory capacity of the playback device.

【００７０】請求項２記載の本発明によれば、ＧＯＰ毎
の位置情報はパケット内の相対位置なので、小さい値を
表現できればよく、少ないデータ量とすることができ
る。また、位置情報を求める演算も小さい演算回路で求
めることができる効果もある。According to the second aspect of the present invention, since the position information for each GOP is a relative position within a packet, a small value can be expressed, and a small data amount can be obtained. Also, there is an effect that the calculation for obtaining the position information can be obtained by a small arithmetic circuit.

【００７１】請求項３記載の本発明によれば、ＧＯＰ毎
にＩフレーム及びＩフレームに対応するオーディオフレ
ームの位置情報と再生時刻情報を記録するので、ＧＯＰ
がＩフレームから開始していない場合においても、ラン
ダムアクセス時に余分なオーディオデータを読み出すこ
とがない。According to the present invention, the position information and the reproduction time information of the I frame and the audio frame corresponding to the I frame are recorded for each GOP.
Does not start reading extra audio data during random access even if the start of the audio data does not start from the I frame.

【００７２】請求項４記載の本発明によれば、再生時刻
情報をオーディオ再生時刻とビデオ再生時刻の差分値１
つとしているので、パケットヘッダの大きさを小さくす
ることができ、符号化データに割り当てるデータ量を増
やすことができ、その結果、画質や音質が向上する効果
がある。According to the fourth aspect of the present invention, the reproduction time information is set to the difference value 1 between the audio reproduction time and the video reproduction time.
Therefore, the size of the packet header can be reduced, and the amount of data allocated to the encoded data can be increased. As a result, the image quality and the sound quality can be improved.

【００７３】請求項５記載の本発明によれば、オーディ
オエンコーダやビデオエンコーダに小さい付加回路をつ
けるだけで、ＧＯＰ毎のランダムアクセスに効果のある
パケットを出力する多重化装置を構成することができ
る。また、付加回路も、メモリ制御や同期情報の発生な
ど、従来の回路で必要であったものが多く、これらの動
作を変更するだけで実現でき、少ないコストで多くの効
果を上げることができる。According to the fifth aspect of the present invention, it is possible to configure a multiplexing device that outputs a packet effective for random access for each GOP simply by adding a small additional circuit to an audio encoder or a video encoder. . In addition, many additional circuits, such as memory control and generation of synchronization information, which are necessary in conventional circuits, can be realized only by changing these operations, and many effects can be obtained at a small cost.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明で構成するパケットの構成を示す図であ
る。FIG. 1 is a diagram showing a configuration of a packet configured in the present invention.

【図２】ＧＯＰ期間とオーディオ期間を説明する図であ
る。FIG. 2 is a diagram illustrating a GOP period and an audio period.

【図３】パケットヘッダの構成を示す図である。FIG. 3 is a diagram showing a configuration of a packet header.

【図４】パケットヘッダの内容を説明する図である。FIG. 4 is a diagram illustrating the contents of a packet header.

【図５】本発明の第１の実施の形態における、ＧＯＰの
構成と開始時刻情報を生成する動作を示すフローチャー
トである。FIG. 5 is a flowchart illustrating an operation of generating a GOP configuration and start time information in the first embodiment of the present invention.

【図６】本発明の第１の実施の形態における、パケット
ヘッダの生成及びパケットの生成する動作を示すフロー
チャートである。FIG. 6 is a flowchart showing an operation of generating a packet header and generating a packet in the first embodiment of the present invention.

【図７】本発明の第２の実施の形態における、ＧＯＰの
構成と開始時刻情報を生成する動作を示すフローチャー
トである。FIG. 7 is a flowchart illustrating an operation of generating a GOP configuration and start time information according to the second embodiment of the present invention.

【図８】Ｉフレームを基準としたＧＯＰ期間とオーディ
オ期間を説明する図である。FIG. 8 is a diagram illustrating a GOP period and an audio period based on an I frame.

【図９】本発明の第２の実施の形態における、パケット
ヘッダの生成及びパケットの生成する動作を示すフロー
チャートである。FIG. 9 is a flowchart showing an operation of generating a packet header and generating a packet in the second embodiment of the present invention.

【図１０】本発明の第３の実施の形態におけるパケット
ヘッダの構成を示す図である。FIG. 10 is a diagram illustrating a configuration of a packet header according to the third embodiment of the present invention.

【図１１】本発明の第４の実施の形態の構成を示すブロ
ック図である。FIG. 11 is a block diagram illustrating a configuration of a fourth exemplary embodiment of the present invention.

【図１２】ＧＯＰを説明する図である。FIG. 12 is a diagram illustrating a GOP.

【図１３】従来例におけるＤＵＴを説明する図である。FIG. 13 is a diagram illustrating a DUT in a conventional example.

【符号の説明】[Explanation of symbols]

１ パケット ２ パケットヘッダ ３ オーディオパケットデータ ４ ビデオパケットデータ ５ オーディオＧＯＰデータ ６ オーディオＧＯＰデータ ７ ビデオＧＯＰデータ ８ ビデオＧＯＰデータ １１ ＧＯＰ期間 １２ オーディオ期間 ２１ オーディオ期間 ３１ オーディオ入力端子 ３２ オーディオエンコーダ ３３ ビデオ入力端子 ３４ ビデオエンコーダ ３５ メモリ ３６ ヘッダ生成回路 ３７ 同期情報発生回路 １０１ ＤＵＴ ２０２ 拡張データ ２０３ 音声データ ２０４ 映像データ ２０５ ヘッダ ２０６ 副映像データ 1 packet 2 packet header 3 audio packet data 4 video packet data 5 audio GOP data 6 audio GOP data 7 video GOP data 8 video GOP data 11 GOP period 12 audio period 21 audio period 31 audio input terminal 32 audio encoder 33 video input terminal 34 Video encoder 35 Memory 36 Header generation circuit 37 Synchronization information generation circuit 101 DUT 202 Extended data 203 Audio data 204 Video data 205 Header 206 Sub-video data

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】 複数のビデオフレームをＧＯＰとし、Ｇ
ＯＰを高能率符号化したＧＯＰビデオデータと、該ＧＯ
Ｐに対応するオーディオフレームを高能率符号化したＧ
ＯＰオーディオデータを多重化する方法であって、 パケットヘッダと１つ又は複数の前記ＧＯＰビデオデー
タと１つ又は複数の前記ＧＯＰオーディオデータを有す
るパケットを構成し、 パケットヘッダには、少なくとも各ＧＯＰビデオデータ
と各ＧＯＰオーディオデータの位置情報と同期情報を備
えることを特徴とする高能率符号化データの多重化方
法。1. A method in which a plurality of video frames is defined as a GOP,
GOP video data obtained by efficiently encoding an OP and the GO
G that encodes the audio frame corresponding to P with high efficiency
A method for multiplexing OP audio data, comprising: forming a packet having a packet header, one or a plurality of the GOP video data, and one or a plurality of the GOP audio data, wherein the packet header includes at least each GOP video. A method of multiplexing highly efficient encoded data, comprising: data, position information of each GOP audio data, and synchronization information. 【請求項２】 前記位置情報は、ＧＯＰビデオデータと
ＧＯＰオーディオデータの先頭位置の前記パケット内で
の相対位置であり、前記同期情報は、前記ＧＯＰビデオ
データのうち最初に再生されるビデオフレームの再生開
始時刻と、該ビデオフレームに対応するオーディオフレ
ームの再生開始時刻であることを特徴とする請求項１記
載の高能率符号化データの多重化方法。2. The position information is a relative position in the packet of a start position of GOP video data and GOP audio data, and the synchronization information is a position of a video frame to be reproduced first among the GOP video data. 2. The method according to claim 1, further comprising a reproduction start time and a reproduction start time of an audio frame corresponding to the video frame. 【請求項３】 前記位置情報は、ＧＯＰビデオデータの
うちフレーム内符号化されたビデオフレームの前記パケ
ット内での先頭位置と該フレーム内符号化されたビデオ
フレームに対応するオーディオフレームの前記パケット
内での先頭位置であり、前記同期情報は、該フレーム内
符号化されたビデオフレームの再生開始時刻と、該ビデ
オフレームに対応するオーディオフレームの再生開始時
刻であることを特徴とする請求項１記載の高能率符号化
データの多重化方法。3. The position information includes a start position of an intra-coded video frame in the GOP video data in the packet and an audio frame corresponding to the intra-coded video frame in the packet. The synchronization information is a playback start time of an intra-coded video frame and a playback start time of an audio frame corresponding to the video frame. Multiplexing method for highly efficient encoded data. 【請求項４】 前記同期情報は、前記オーディオフレー
ムの再生開始時刻と前記ビデオフレームの再生開始時刻
の差分値であることを特徴とする請求項２、３記載の高
能率符号化データの多重化方法。4. The multiplexing of highly efficient encoded data according to claim 2, wherein the synchronization information is a difference value between a reproduction start time of the audio frame and a reproduction start time of the video frame. Method. 【請求項５】 前記１つ又は複数のＧＯＰビデオデー
タ、前記１つ又は複数のオーディオデータ及び前記パケ
ットヘッダを記録するメモリと、前記パケットヘッダを
生成するヘッダ生成回路を備え、ヘッダ生成回路は前記
１つ又は複数のＧＯＰビデオデータ及び前記１つ又は複
数のＧＯＰオーディオデータの符号量をカウントして前
記パケットヘッダを生成し、パケットヘッダが生成され
る毎に前記メモリに該パケットヘッダを記録し、該パケ
ットヘッダ、該１つ又は複数のＧＯＰオーディオデー
タ、該１つ又は複数のＧＯＰビデオデータの順、又は該
パケットヘッダ、該１つ又は複数のＧＯＰビデオデー
タ、該１つ又は複数のＧＯＰオーディオデータの順でメ
モリから出力してパケットを出力し、請求項１〜４の多
重化方法を実現する高能率符号化データの多重化装置。5. A memory for recording the one or more GOP video data, the one or more audio data, and the packet header, and a header generation circuit for generating the packet header, wherein the header generation circuit comprises: Counting the code amount of one or more GOP video data and the one or more GOP audio data to generate the packet header, and recording the packet header in the memory each time a packet header is generated; The packet header, the one or more GOP audio data, the one or more GOP video data in order, or the packet header, the one or more GOP video data, the one or more GOP audio data 5. A high efficiency for realizing the multiplexing method according to any one of claims 1 to 4, wherein the packets are output from the memory in the order of Multiplexer for encoded data.