JP3978903B2 - Data recording apparatus, data recording method, data processing apparatus, and data processing method - Google Patents
Data recording apparatus, data recording method, data processing apparatus, and data processing method Download PDFInfo
- Publication number
- JP3978903B2 JP3978903B2 JP32230198A JP32230198A JP3978903B2 JP 3978903 B2 JP3978903 B2 JP 3978903B2 JP 32230198 A JP32230198 A JP 32230198A JP 32230198 A JP32230198 A JP 32230198A JP 3978903 B2 JP3978903 B2 JP 3978903B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- length
- processing
- variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、可変長の画像データと共に、可変長の非画像データを記録するために適用されるデータ記録装置、データ記録方法、データ処理装置、およびデータ処理方法に関する
【０００２】
【従来の技術】
ディジタルＶＴＲ(VIdeo Tape Recorder) に代表されるように、ディジタル画像信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタル画像記録機器における記録処理部では、ビデオおよびオーディオのディジタルデータを所定長のパケットに格納し、パケット単位にデータの内容を示す情報、エラー訂正符号の符号化を行い、パケット化されたデータ、エラー訂正符号のパリティ等に対して、同期パターン、ＩＤを付加してシンクブロックを構成し、シンクブロックの単位でシリアルデータに変換し、回転ヘッドにより磁気テープに記録される。記録側において、データをシンクブロックのデータ領域に詰め込む処理をパッキングと称し、再生側において、シンクブロックのデータ領域からデータを取り出す処理をデパッキングと称する。また、積符号を使用している時には、パッキングによって積符号のＥＣＣ(Error Correctig Code)ブロックの１行分の長さにデータを詰め込まれる。
【０００３】
画像データのデータ量を圧縮するために、圧縮符号化がなされる。例えばＭＰＥＧ(Moving Picture Experts Group)の場合には、ＤＣＴ(Discrete Cosine Transform) により生じた係数データを可変長符号化する。ヘリカルスキャン型のＶＴＲのように、１トラックまたは所定数のトラック当たりに記録できるデータ量が固定されている時には、所定期間に発生する可変長符号のデータ量が目標値以下となるように、データ量が制御される。そして、所定期間に対して用意されている複数のシンクブロックのデータ領域に可変長符号化データ、すなわち、不等長データをパッキングするようになされる。
【０００４】
ＭＰＥＧにおいて、画像データは、シーケンス、ＧＯＰ(Group Of Picture)、ピクチャ、スライス、マクロブロック、ブロックの６層の階層構造を有しており、各階層の多重化処理がなされる。多重化処理は、ＭＰＥＧにおいてシンタックス(syntax)として規定されており、ピクチャデータ以外に、ＰＥＳ(Packetized Elementary Stream)ヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、スライスヘッダ等のヘッダ情報が多重化される。ヘッダ情報は、ピクチャデータの復号等の処理にとって必要なものであり、ＭＰＥＧのエレメンタリストリームを記録／再生する時には、ピクチャデータと共にヘッダ情報を記録／再生することが必要となる。ヘッダ情報を記録／再生する一つの方法としては、ヘッダ情報の全体またはその中で、再生にとって必要最小限のデータを固定長データとして記録／再生することが考えられる。
【０００５】
しかしながら、ヘッダ情報のデータ量を固定長データとして扱うことが難しい場合がある。一つには、種々の画像データのフォーマットが存在し、ヘッダ情報のデータ量が変動する。例えばアメリカのディジタルテレビジョン放送の画像フォーマットは、１８種類存在している。第２には、ビデオインデックスのデータとか、特定ライン上に多重化されるアンシラリイデータ（クローズドキャプション、テレテキスト、垂直ブランキング期間のタイムコード（ＶＩＴＣ）等）をビデオエレメンタリストリームとして伝送するために、ピクチャヘッダ中のユーザデータに挿入する場合には、ユーザデータのデータ量が変動する。
【０００６】
このように、本来の画像データでないにもかかわらず、そのデータ長が可変であるデータ（ヘッダ情報、ビデオインデックス、アンシラリイデータ等であり、これらを総称してピクチャデータ以外という意味で非画像データと称する）を記録するためには、個々の記録すべき画像フォーマットを考慮して記録領域を割り当てる必要があり、また、発生しうるデータ量の最大量を記録可能な記録領域を確保する必要がある。
【０００７】
画像フォーマットが１種類あるいは２種類程度である場合には、データ量の変動幅を比較的小さく、個々の画像フォーマットに対応して非画像データの記録領域をテープ上で設定することは、それほど難しくない。しかしながら、画像フォーマットの種類が多いと、非画像データのデータ量の変動幅が大きくなったり、予測できなくなり、非画像データ用の記録領域を設定することが難しくなる。また、発生しうるデータ量の最大量を記録可能な領域を設定すると、データ量が多くない時には、テープ上で記録に使用されない無駄な領域が生じ、テープの記録容量を有効に利用できない。そこで、本願出願人は、これらの問題を回避するために、可変長の非画像データを画像データと同等に扱って記録することを提案している。
【０００８】
ここで、パッキング処理の対象のデータが１フレーム期間の画像データのように、大きい場合には、パッキング処理のために使用するメモリが大容量となる。そのためパッキング処理部と同一半導体基板に集積することは難しく、また、コストが上昇する。そこで、メモリとしては、記録処理部から独立した単独のデバイス（素子）を用いることとなる。現在の技術では、記録処理部を集積回路の構成としても、なるべく低いコストでメインメモリを構成しようとすると、ＤＲＡＭ(Dynamic Random Access Memory)、ＥＤＯ(Extended data out) −ＲＡＭ、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)といったＤＲＡＭ系のデバイスを用いることが現実的である。さらに、速度を考慮すると、ＳＤＲＡＭを使用することが多い。
【０００９】
また、ディジタルＶＴＲでは、画像の他にオーディオデータも記録する必要がある。そのために、ＳＤＲＡＭには、オーディオデータも書込まれ、記録処理を受ける。また、画像データおよびオーディオデータのそれぞれの順序を１フィールドあるいは１フレーム単位で並び替えることによって、エラー耐性を高めるためのシャフリング処理を行う場合では、その処理のためにＳＤＲＡＭが使用されることがある。
【００１０】
このようなＳＤＲＡＭを備える記録処理部に対する画像データの転送について検討する。ＳＤＲＡＭに対する転送能力は、ＳＤＲＡＭのバス幅と、与えているクロックによって決まる。一つの転送方法として、画像データを連続的に転送するものが考えられる。ＳＤＲＡＭに与えるクロック数は、ＳＤＲＡＭに対してアクセスするデータ量の瞬間最大アクセスレートに備えられている必要がある。若し、画像データをＳＤＲＡＭに対して書込み可能とするためには、それ相当のクロック数を与える必要がある。例えばビデオデータのインターフェースクロックを２７ＭHzとし、データ幅を１６ビットとし、ＳＤＲＡＭのバス幅を３２ビットとした場合には、ビデオデータのみをＳＤＲＡＭに書込み、読出すのに、
２７ＭHz×１６ビット×２（ライトとリード）／３２ビット＝２７ＭHz
以上のクロックが必要である。
【００１１】
実際には、ＳＤＲＡＭのデータを保持するためのリフレッシュや、ロウアドレスを変更するためのプリチャージの際に待ち動作が生じてしまう。この待ち動作に関する量もクロックを高くする必要がある。さらに、オーディオデータも処理する場合には、より高い周波数のクロックが必要となる。従って、現実的には、画像データおよびオーディオデータを連続的に転送するのは難しい。
【００１２】
従って、画像データをＳＤＲＡＭを使用する処理部に転送する時に、画像データ以外のデータをＳＤＲＡＭで処理するために、画像データの処理中にＳＤＲＡＭに対するアクセスの空き期間を作る必要がある。その一つの方法として、画像データの１フレームをバースト的に転送し、１フレーム毎の空き期間を作る方法が考えられる。この方法では、画像データの処理が終わるまで、１フレーム分のオーディオデータを蓄積するバッファメモリが必要となる。または、画像データと時分割でオーディオデータを処理するために、バンド幅を広げる必要がある。バンド幅が高いと消費電力が増大する。従って、１フレーム毎に空き期間を作る方法は、好ましくない。
【００１３】
他の方法として、ＭＰＥＧのスライス単位毎に転送しない期間を作成して、ＳＤＲＡＭに対する転送レートを下げることが考えられる。しかしながら、上述した非画像データのユーザデータ部分に大量のデータが含まれていると、非画像データからなるスライスの長さがおおきくなり、ＳＤＲＡＭに対する連続転送になってしまい、他のデータの処理が連続転送の間できなくなる問題が生じる。
【００１４】
従って、この発明の目的は、上述したようなオーディオバッファ用メモリを必要とする問題、消費電力の増大、非画像データの転送時の問題を解決することができるデータ記録装置、データ記録方法、データ処理装置、およびデータ処理方法を提供することにある。
【００１５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、画像データおよびオーディオデータを記録媒体に記録するデータ記録装置において、
画像データを圧縮符号化することにより発生した可変長画像データと、可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、ストリームと同期して転送可能な期間内で転送されるデータの長さを示すイネーブル信号を出力するストリーム変換部と、
ストリームおよびイネーブル信号が入力され、イネーブル信号からデータの長さを検出する処理と、可変長画像データおよび非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理部と、
処理部の出力データに対して同期信号を付加し、シンクブロックを形成する同期信号付加部と、
同期信号付加部からのシンクブロックが連続する出力信号を記録媒体に記録する記録手段とからなることを特徴とするデータ記録装置である。
【００１６】
請求項６の発明は、画像データおよびオーディオデータを記録媒体に記録するデータ記録方法において、
画像データを圧縮符号化することにより発生した可変長画像データと、可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、ストリームと同期して転送可能な期間内で転送されるデータの長さを示すイネーブル信号とを、ストリーム変換部が出力するステップと、
ストリームおよびイネーブル信号が入力され、イネーブル信号からデータの長さを検出する処理と、可変長画像データおよび非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理ステップと、
処理ステップからの出力データに対して同期信号を付加し、シンクブロックを形成する同期信号付加ステップと、
同期信号付加ステップからのシンクブロックが連続する出力信号を記録媒体に記録する記録ステップとからなることを特徴とするデータ記録方法である。
【００１７】
請求項７の発明は、画像データおよびオーディオデータを処理するデータ処理装置において、
画像データを圧縮符号化することにより発生した可変長画像データと、可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、ストリームと同期して転送可能な期間内で転送されるデータの長さを示すイネーブル信号を出力するストリーム変換部と、
ストリームおよびイネーブル信号が入力され、イネーブル信号からデータの長さを検出する処理と、可変長画像データおよび非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理部とからなることを特徴とするデータ処理装置である。
請求項８の発明は、画像データおよびオーディオデータを処理するデータ処理方法において、
画像データを圧縮符号化することにより発生した可変長画像データと、可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、ストリームと同期して転送可能な期間内で転送されるデータの長さを示すイネーブル信号とを、ストリーム変換部が出力するステップと、
ストリームおよびイネーブル信号が入力され、イネーブル信号からデータの長さを検出する処理と、可変長画像データおよび非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理ステップとからなることを特徴とするデータ処理方法である。
【００１８】
画像データは、所定範囲例えばマクロブロックに対応して発生した不等長データからなる。また、画像データの復元に必要な情報、ユーザデータ等の非画像データも発生する。これらの画像データおよび非画像データを転送する時に、データ転送可能な期間中に、データを転送しない期間を設ける。それによって、転送されたデータを受け取った回路ブロックは、空き期間において、他のデータ例えばオーディオデータを処理することができる。従って、オーディオ用のバッファメモリを持つ必要がない。非画像データのデータ量が大きくなっても、所定周期で空き期間が存在するので、連続的転送とならず、バンド幅を高くする必要がない。転送されたデータを受け取った回路ブロックでは、ＤＲＡＭを使用して非画像データを画像データと同等に扱って、固定枠にパッキングする。また、画像データに対するエラー訂正符号化およびオーディオデータに対するエラー訂正符号化の処理を行う。
【００１９】
【発明の実施の形態】
以下、この発明をディジタルＶＴＲに対して適用した一実施形態について説明する。この一実施形態は、放送局の環境で使用して好適なもので、互いに異なる複数のフォーマットのビデオ信号の記録・再生を可能とするものである。例えば、ＮＴＳＣ方式に基づいたインターレス走査で有効ライン数が４８０本の信号（４８０ｉ信号）およびＰＡＬ方式に基づいたインターレス走査で有効ライン数が５７６本の信号（５７６ｉ信号）の両者を殆どハードウエアを変更せずに記録・再生することが可能とされる。さらに、インターレス走査でライン数が１０８０本の信号（１０８０ｉ信号）、プログレッシブ走査（ノンインターレス）でライン数がそれぞれ４８０本、７２０本、１０８０本の信号（４８０ｐ信号、７２０ｐ信号、１０８０ｐ信号）などの記録・再生も行うようにできる。
【００２０】
また、この一実施形態では、ビデオ信号は、ＭＰＥＧ２方式に基づき圧縮符号化される。周知のように、ＭＰＥＧ２は、動き補償予測符号化と、ＤＣＴによる圧縮符号化とを組み合わせたものである。ＭＰＥＧ２のデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、ＧＯＰ層およびシーケンス層となっている。
【００２１】
ブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、複数のＤＣＴブロックで構成される。スライス層は、ヘッダ部と、行間をまたがらない任意個のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、複数のスライスとから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。
【００２２】
Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２３】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２４】
ＧＯＰには、最低１枚のＩピクチャが含まれ、ＰおよびＢピクチャは、存在しなくても許容される。最上層のシーケンス層は、ヘッダ部と複数のＧＯＰとから構成される。
【００２５】
ＭＰＥＧのフォーマットにおいては、スライスが１つの可変長符号系列である。可変長符号系列とは、可変長符号を復号化しなければデータの境界を検出できない系列である。
【００２６】
また、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層の先頭には、それぞれ、バイト単位に整列された所定のビットパターンを有する識別コード（スタートコードと称される）が配される。なお、上述した各層のヘッダ部は、ヘッダ、拡張データまたはユーザデータをまとめて記述したものである。シーケンス層のヘッダには、画像（ピクチャ）のサイズ（縦横の画素数）等が記述される。ＧＯＰ層のヘッダには、タイムコードおよびＧＯＰを構成するピクチャ数等が記述される。
【００２７】
スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、ＤＣＴブロックの符号化系列は、量子化されたＤＣＴ係数の系列を０係数の連続回数（ラン）とその直後の非０系列（レベル）を１つの単位として可変長符号化したものである。マクロブロックならびにマクロブロック内のＤＣＴブロックには、バイト単位に整列した識別コードが付加されない。
【００２８】
マクロブロックは、画面（ピクチャ）を１６画素×１６ラインの格子状に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。連続するスライスの前のスライスの最後のマクロブロックと、次のスライスの先頭のマクロブロックとは連続しており、スライス間でのマクロブロックのオーバーラップを形成することは、許されていない。また、画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【００２９】
一方、復号および符号化による信号の劣化を避けるためには、符号化データ上で編集することが望ましい。このとき、ＰピクチャおよびＢピクチャは、その復号に、時間的に前のピクチャあるいは前後のピクチャを必要とする。そのため、編集単位を１フレーム単位とすることができない。この点を考慮して、この一実施形態では、１つのＧＯＰが１枚のＩピクチャからなるようにしている。
【００３０】
また、例えば１フレーム分の記録データが記録される記録領域が所定のものとされる。ＭＰＥＧ２では、可変長符号化を用いているので、１フレーム期間に発生するデータを所定の記録領域に記録できるように、１フレーム分の発生データ量が制御される。さらに、この一実施形態では、磁気テープへの記録に適するように、１スライスを１マクロブロックから構成すると共に、１マクロブロックを、所定長の固定枠に当てはめる。ＭＰＥＧでは、１スライスを１ストライプ（１６ライン）で構成するのが普通であり、画面の左端から可変長符号化が始まり、右端で終わる。従って、ＶＴＲによってそのままＭＰＥＧエレメンタリストリームを記録した場合、高速再生時に、再生できる部分が画面の左端に集中し、均一に更新することができない。また、データのテープ上の配置を予測できないため、テープパターンを一定の間隔でトレースしたのでは、均一な画面更新ができなくなる。さらに、１箇所でもエラーが発生すると、画面右端まで影響し、次のスライスヘッダが検出されるまで復帰できない。このために、１スライスを１マクロブロックで構成するようにしている。
【００３１】
図１は、この一実施形態による記録再生装置の記録側の構成の一例を示す。記録時には、所定のインターフェース例えばＳＤＩ(Serial Data Interface) の受信部を介してディジタルビデオ信号が端子１０１から入力される。ＳＤＩは、（４：２：２）コンポーネントビデオ信号とディジタルオーディオ信号と付加的データとを伝送するために、ＳＭＰＴＥによって規定されたインターフェイスである。入力ビデオ信号は、ビデオエンコーダ１０２においてＤＣＴ(Discrete Cosine Transform) の処理を受け、係数データに変換され、係数データが可変長符号化される。ビデオエンコーダ１０２からの可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したエレメンタリストリームである。この出力は、セレクタ１０３の一方の入力端に供給される。
【００３２】
一方、入力端子１０４を通じて、ＡＮＳＩ／ＳＭＰＴＥ ３０５Ｍによって規定されたインターフェイスである、ＳＤＴＩ(Serial Data Transport Interface) のフォーマットのデータが入力される。この信号は、ＳＤＴＩ受信部１０５で同期検出される。そして、バッファに一旦溜め込まれ、エレメンタリストリームが抜き出される。抜き出されたエレメンタリストリームは、セレクタ１０３の他方の入力端に供給される。
【００３３】
セレクタ１０３で選択され出力されたエレメンタリストリームは、ストリームコンバータ１０６に供給される。ストリームコンバータ１０６では、ＭＰＥＧ２の規定に基づきＤＣＴブロック毎に並べられていたＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して、周波数成分毎にまとめ、まとめた周波数成分を並べ替える。また、ストリームコンバータ１０６は、エレメンタリストリームの１スライスが１ストライプの場合には、１スライスを１マクロブロックからなるものにする。さらに、ストリームコンバータ１０６は、１マクロブロックで発生する可変長データの最大長を所定長に制限する。これは、高次のＤＣＴ係数を０とすることでなしうる。並べ替えられた変換エレメンタリストリームは、パッキングおよびシャフリング部１０７に供給される。
【００３４】
エレメンタリストリームのビデオデータは、可変長符号化されているため、各マクロブロックのデータの長さが不揃いである。パッキングおよびシャフリング部１０７では、マクロブロックが固定枠に詰め込まれる。このとき、固定枠からはみ出たオーバーフロー部分は、固定枠のサイズに対して空いている領域に順に詰め込まれる。また、画像フォーマット、シャフリングパターンのバージョン等の情報を有するシステムデータが入力端子１０８からパッキングおよびシャフリング部１０７に供給され、ピクチャデータと同様にシステムデータが記録処理を受ける。システムデータは、ビデオＡＵＸとして記録される。また、走査順に発生する１フレームのマクロブロックを並び替え、テープ上のマクロブロックの記録位置を分散させるシャフリングが行われる。シャフリングによって、変速再生時に断片的にデータが再生される時でも、画像の更新率を向上させることができる。
【００３５】
パッキングおよびシャフリング部１０７からのビデオデータおよびシステムデータ（以下、特に必要な場合を除き、システムデータを含む場合も単にビデオデータと言う。）が外符号エンコーダ１０９に供給される。ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオデータまたはオーディオデータの２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。
【００３６】
外符号エンコーダ１０９の出力がシャフリング部１１０に供給され、複数のＥＣＣブロックにわたってシンクブロック単位で順番を入れ替える、シャフリングがなされる。シンクブロック単位のシャフリングによって特定のＥＣＣブロックにエラーが集中することが防止される。シャフリング部１１０でなされるシャフリングをインターリーブと称することもある。シャフリング部１１０の出力が混合部１１１に供給され、オーディオデータと混合される。なお、混合部１１１は、後述のように、メインメモリにより構成される。
【００３７】
１１２で示す入力端子からオーディオデータが供給される。この一実施形態では、非圧縮のディジタルオーディオ信号が扱われる。ディジタルオーディオ信号は、入力側のＳＤＩ受信部（図示しない）またはＳＤＴＩ受信部１０５で分離されたもの、またはオーディオインターフェースを介して入力されたものである。入力ディジタルオーディオ信号が遅延部１１３を介してＡＵＸ付加部１１４に供給される。遅延部１１３は、オーディオ信号とビデオ信号と時間合わせ用のものである。入力端子１１５から供給されるオーディオＡＵＸは、補助的データであり、オーディオデータのサンプリング周波数等のオーディオデータに関連する情報を有するデータである。オーディオＡＵＸは、ＡＵＸ付加部１１４にてオーディオデータに付加され、オーディオデータと同等に扱われる。
【００３８】
ＡＵＸ付加部１１４からのオーディオデータおよびＡＵＸ（以下、特に必要な場合を除き、ＡＵＸを含む場合も単にオーディオデータと言う。）が外符号エンコーダ１１６に供給される。外符号エンコーダ１１６は、オーディオデータに対して外符号の符号化を行う。外符号エンコーダ１１６の出力がシャフリング部１１７に供給され、シャフリング処理を受ける。オーディオシャフリングとして、シンクブロック単位のシャフリングと、チャンネル単位のシャフリングとがなされる。
【００３９】
シャフリング部１１７の出力が混合部１１１に供給され、ビデオデータとオーディオデータが１チャンネルのデータとされる。混合部１１１の出力がＩＤ付加部１１８が供給され、ＩＤ付加部１１８にて、シンクブロック番号を示す情報等を有するＩＤが付加される。ＩＤ付加部１１８の出力が内符号エンコーダ１１９に供給され、内符号の符号化がなされる。さらに、内符号エンコーダ１１９の出力が同期付加部１２０に供給され、シンクブロック毎の同期信号が付加される。同期信号が付加されることによってシンクブロックが連続する記録データが構成される。この記録データが記録アンプ１２１を介して回転ヘッド１２２に供給され、磁気テープ１２３上に記録される。回転ヘッド１２２は、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが回転ドラムに取り付けられたものである。
【００４０】
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。
【００４１】
図２は、この発明の一実施形態の再生側の構成の一例を示す。磁気テープ１２３から回転ヘッド１２２で再生された再生信号が再生アンプ１３１を介して同期検出部１３２に供給される。再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。同期検出部１３２は、シンクブロックの先頭に付加されている同期信号を検出する。同期検出によって、シンクブロックが切り出される。
【００４２】
同期検出ブロック１３２の出力が内符号エンコーダ１３３に供給され、内符号のエラー訂正がなされる。内符号エンコーダ１３３の出力がＩＤ補間部１３４に供給され、内符号によりエラーとされたシンクブロックのＩＤ例えばシンクブロック番号が補間される。ＩＤ補間部１３４の出力が分離部１３５に供給され、ビデオデータとオーディオデータとが分離される。上述したように、ビデオデータは、ＭＰＥＧのイントラ符号化で発生したＤＣＴ係数データおよびシステムデータを意味し、オーディオデータは、ＰＣＭ(Pulse Code Modulation) データおよびＡＵＸを意味する。
【００４３】
分離部１３５からのビデオデータがデシャフリング部１３６において、シャフリングと逆の処理がなされる。デシャフリング部１３６は、記録側のシャフリング部１１０でなされたシンクブロック単位のシャフリングを元に戻す処理を行う。デシャフリング部１３６の出力が外符号デコーダ１３７に供給され、外符号によるエラー訂正がなされる。訂正できないエラーが発生した場合には、エラーの有無を示すエラーフラグがエラー有りを示すものとされる。
【００４４】
外符号デコーダ１３７の出力がデシャフリングおよびデパッキング部１３８に供給される。デシャフリングおよびデパッキング部１３８は、記録側のパッキングおよびシャフリング部１０７でなされたマクロブロック単位のシャフリングを元に戻す処理を行う。また、デシャフリングおよびデパッキング部１３８では、記録時に施されたパッキングを分解する。すなわち、マクロブロック単位にデータの長さを戻して、元の可変長符号（不等長データ）を復元する。さらに、デシャフリングおよびデパッキング部１３８において、システムデータが分離され、出力端子１３９に取り出される。
【００４５】
デシャフリングおよびデパッキング部１３８の出力が補間部１４０に供給され、エラーフラグが立っている（すなわち、エラーのある）データが修整される。すなわち、変換前に、マクロブロックデータの途中にエラーがあるとされた場合には、エラー箇所以降の周波数成分のＤＣＴ係数が復元できない。そこで、例えばエラー箇所のデータをブロック終端符号（ＥＯＢ）に置き替え、それ以降の周波数成分のＤＣＴ係数をゼロとする。同様に、高速再生時にも、シンクブロック長に対応する長さまでのＤＣＴ係数のみを復元し、それ以降の係数は、ゼロデータに置き替えられる。さらに、補間部１４０では、ビデオデータの先頭に付加されているヘッダがエラーの場合に、ヘッダ（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、ユーザデータ等）を回復する処理もなされる。
【００４６】
ＤＣＴブロックに跨がって、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと並べられているため、このように、ある箇所以降からＤＣＴ係数を無視しても、マクロブロックを構成するＤＣＴブロックのそれぞれに対して、満遍なくＤＣならびに低域成分からのＤＣＴ係数を行き渡らせることができる。
【００４７】
補間部１４０の出力がストリームコンバータ１４１に供給される。ストリームコンバータ１４１では、記録側のストリームコンバータ１０６と逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したエレメンタリストリームに変換される。
【００４８】
また、ストリームコンバータ１４１の入出力は、記録側と同様に、マクロブロックの最大長に応じて、十分な転送レート（バンド幅）を確保しておく。マクロブロック（スライス）の長さを制限しない場合には、画素レートの３倍のバンド幅を確保するのが好ましい。
【００４９】
ストリームコンバータ１４１の出力がビデオデコーダ１４２に供給される。ビデオデコーダ１４２は、エレメンタリストリームを復号し、ビデオデータを出力する。すなわち、ビデオデコーダ１４２は、逆量子化処理と、逆ＤＣＴ処理とがなされる。復号ビデオデータが出力端子１４３に取り出される。外部とのインターフェースには、例えばＳＤＩが使用される。また、ストリームコンバータ１４１からのエレメンタリストリームがＳＤＴＩ送信部１４４に供給される。ＳＤＴＩ送信部１４４には、経路の図示を省略しているが、システムデータ、再生オーディオデータ、ＡＵＸも供給され、ＳＤＴＩフォーマットのデータ構造を有するストリームへ変換される。ＳＤＴＩ送信部１４４からのストリームが出力端子１４５を通じて外部に出力される。
【００５０】
分離部１３５で分離されたオーディオデータがデシャフリング部１５１に供給される。デシャフリング部１５１は、記録側のシャフリング部１１７でなされたシャフリングと逆の処理を行う。デシャフリング部１１７の出力が外符号デコーダ１５２に供給され、外符号によるエラー訂正がなされる。外符号デコーダ１５２からは、エラー訂正されたオーディオデータが出力される。訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。
【００５１】
外符号デコーダ１５２の出力がＡＵＸ分離部１５３に供給され、オーディオＡＵＸが分離される。分離されたオーディオＡＵＸが出力端子１５４に取り出される。また、オーディオデータが補間部１５５に供給される。補間部１５５では、エラーの有るサンプルが補間される。補間方法としては、時間的に前後の正しいデータの平均値で補間する平均値補間、前の正しいサンプルの値をホールドする前値ホールド等を使用できる。補間部１５５の出力が出力部１５６に供給される。出力部１５６は、エラーであり、補間できないオーディオ信号の出力を禁止するミュート処理、並びにビデオ信号との時間合わせのための遅延量調整処理がなされる。出力部１５６から出力端子１５７に再生オーディオ信号が取り出される。
【００５２】
なお、図１および図２では省略されているが、入力データと同期したタイミング信号を発生するタイミング発生部、記録再生装置の全体の動作を制御するシステムコントローラ（マイクロコンピュータ）等が備えられている。
【００５３】
この一実施形態では、磁気テープへの信号の記録は、回転する回転ヘッド上に設けられた磁気ヘッドにより、斜めのトラックを形成する、ヘリカルスキャン方式によって行われる。磁気ヘッドは、回転ドラム上の、互いに対向する位置に、それぞれ複数個が設けられる。すなわち、磁気テープが回転ヘッドに１８０°程度の巻き付け角で以て巻き付けられている場合、回転ヘッドの１８０°の回転により、同時に複数本のトラックを形成することができる。また、磁気ヘッドは、互いにアジマスの異なる２個で一組とされる。複数個の磁気ヘッドは、隣接するトラックのアジマスが互いに異なるように配置される。
【００５４】
図３は、上述した回転ヘッドにより磁気テープ上に形成されるトラックフォーマットの一例を示す。これは、１フレーム当たりのビデオおよびオーディオデータが８トラックで記録される例である。例えばフレーム周波数が２９．９７Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が４８０本で有効水平画素数が７２０画素のインターレス信号（４８０ｉ信号）およびオーディオ信号が記録される。また、フレーム周波数が２５Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が５７６本で有効水平画素数が７２０画素のインターレス信号（５７６ｉ信号）およびオーディオ信号も、図３と同一のテープフォーマットによって記録できる。
【００５５】
互いに異なるアジマスの２トラックによって１セグメントが構成される。すなわち、８トラックは、４セグメントからなる。セグメントを構成する１組のトラックに対して、アジマスと対応するトラック番号〔０〕とトラック番号〔１〕が付される。図３に示される例では、前半の８トラックと、後半の８トラックとの間で、トラック番号が入れ替えられると共に、フレーム毎に互いに異なるトラックシーケンスが付される。これにより、アジマスが異なる１組の磁気ヘッドのうち一方が、例えば目詰まりなどにより読み取り不能状態に陥っても、前フレームのデータを利用してエラーの影響を小とできる。
【００５６】
トラックのそれぞれにおいて、両端側にビデオデータが記録されるビデオセクタが配され、ビデオセクタに挟まれて、オーディオデータが記録されるオーディオセクタが配される。なお、この図３および後述する図４は、テープ上のオーディオセクタの配置を示すものである。
【００５７】
図３のトラックフォーマットでは、８チャンネルのオーディオデータを扱うことができるようにされている。Ａ１〜Ａ８は、それぞれオーディオデータの１〜８ｃｈのセクタを示す。オーディオデータは、セグメント単位で配列を変えられて記録される。オーディオデータは、１フィールド期間で発生するオーディオサンプル（例えばフィールド周波数が２９．９７Hzで、サンプリング周波数が４８ｋHzの場合には、８００サンプルまたは８０１サンプル）が偶数番目のサンプルと奇数番目のサンプルとにわけられ、各サンプル群とＡＵＸによって積符号の１ＥＣＣブロックが構成される。
【００５８】
図３では、１フィールド分のオーディオデータが４トラックに記録されるので、オーディオデータの１チャンネル当たりの２個のＥＣＣブロックが４トラックに記録される。２個のＥＣＣブロックのデータ（外符号パリティを含む）が４個のセクタに分割され、図３に示すように、４トラックに分散されて記録される。２個のＥＣＣブロックに含まれる複数のシンクブロックがシャフリングされる。例えばＡ１の参照番号が付された４セクタによって、チャンネル１の２ＥＣＣブロックが構成される。
【００５９】
また、ビデオデータは、この例では、１トラックに対して４ＥＣＣブロック分のデータがシャフリング（インターリーブ）され、Ｕｐｐｅｒ ＳｉｄｅおよびＬｏｗｅｒ Ｓｉｄｅで各セクタに分割され記録される。Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタには、所定位置にシステム領域が設けられる。
【００６０】
なお、図３において、ＳＡＴ１（Ｔｒ）およびＳＡＴ２（Ｔｍ）は、サーボロック用の信号が記録されるエリアである。また、各記録エリアの間には、所定の大きさのギャップ（Ｖｇ１，Ｓｇ１，Ａｇ，Ｓｇ２，Ｓｇ３およびＶｇ２）が設けられる。
【００６１】
図３は、１フレーム当たりのデータを８トラックで記録する例であるが、記録再生するデータのフォーマットによっては、１フレーム当たりのデータを４トラック、６トラックなどでの記録することができる。図４Ａは、１フレームが６トラックのフォーマットである。この例では、トラックシーケンスが〔０〕のみとされる。
【００６２】
図４Ｂに示すように、テープ上に記録されるデータは、シンクブロックと称される等間隔に区切られた複数のブロックからなる。図４Ｃは、シンクブロックの構成を概略的に示す。詳細は後述するが、シンクブロックは、同期検出するためのＳＹＮＣパターン、シンクブロックのそれぞれを識別するためのＩＤ、後続するデータの内容を示すＤＩＤ、データパケットおよびエラー訂正用の内符号パリティから構成される。データは、シンクブロック単位でパケットとして扱われる。すなわち、記録あるいは再生されるデータ単位の最小のものが１シンクブロックである。シンクブロックが多数並べられて（図４Ｂ）、例えばビデオセクタが形成される（図４Ａ）。
【００６３】
図５は、記録／再生の最小単位である、ビデオデータのシンクブロックのデータ構成をより具体的に示す。この一実施形態においては、記録するビデオデータのフォーマットに適応して１シンクブロックに対して１個乃至は２個のマクロブロックのデータ（ＶＬＣデータ）が格納されると共に、１シンクブロックのサイズが扱うビデオ信号のフォーマットに応じて長さが変更される。図５Ａに示されるように、１シンクブロックは、先頭から、２バイトのＳＹＮＣパターン、２バイトのＩＤ、１バイトのＤＩＤ、例えば１１２バイト〜２０６バイトの間で可変に規定されるデータ領域および１２バイトのパリティ（内符号パリティ）からなる。なお、データ領域は、ペイロードとも称される。
【００６４】
先頭の２バイトのＳＹＮＣパターンは、同期検出用であり、所定のビットパターンを有する。固有のパターンに対して一致するＳＹＮＣパターンを検出することで、同期検出が行われる。
【００６５】
図６Ａは、ＩＤ０およびＩＤ１のビットアサインの一例を示す。ＩＤは、シンクブロックが固有に持っている重要な情報を持っており、各２バイト（ＩＤ０およびＩＤ１）が割り当てられている。ＩＤ０は、１トラック中のシンクブロックのそれぞれを識別するための識別情報（ＳＹＮＣ ＩＤ）が格納される。ＳＹＮＣ ＩＤは、例えば各セクタ内のシンクブロックに対して付された通し番号である。ＳＹＮＣ ＩＤは、８ビットで表現される。ビデオのシンクブロックとオーディオのシンクブロックとでそれぞれ別個にＳＹＮＣ ＩＤが付される。
【００６６】
ＩＤ１は、シンクブロックのトラックに関する情報が格納される。ＭＳＢ側をビット７、ＬＳＢ側をビット０とした場合、このシンクブロックに関して、ビット７でトラックの上側（Ｕｐｐｅｒ）か下側（Ｌｏｗｅｒ）かが示され、ビット５〜ビット２で、トラックのセグメントが示される。また、ビット１は、トラックのアジマスに対応するトラック番号が示され、ビット０は、このシンクブロックがビデオデータおよびオーディオデータを区別するビットである。
【００６７】
図６Ｂは、ビデオの場合のＤＩＤのビットアサインの一例を示す。ＤＩＤは、ペイロードに関する情報が格納される。上述したＩＤ１のビット０の値に基づき、ビデオおよびオーディオで、ＤＩＤの内容が異なる。ビット７〜ビット４は、未定義（Ｒｅｓｅｒｖｅｄ）とされている。ビット３および２は、ペイロードのモードであり、例えばペイロードのタイプが示される。ビット３および２は、補助的なものである。ビット１でペイロードに１個あるいは２個のマクロブロックが格納されることが示される。ビット０でペイロードに格納されるビデオデータが外符号パリティであるかどうかが示される。
【００６８】
図６Ｃは、オーディオの場合のＤＩＤのビットアサインの一例を示す。ビット７〜ビット４は、Ｒｅｓｅｒｖｅｄとされている。ビット３でペイロードに格納されているデータがオーディオデータであるか、一般的なデータであるかどうかが示される。ペイロードに対して、圧縮符号化されたオーディオデータが格納されている場合には、ビット３がデータを示す値とされる。ビット２〜ビット０は、ＮＴＳＣ方式における、５フィールドシーケンスの情報が格納される。すなわち、ＮＴＳＣ方式においては、ビデオ信号の１フィールドに対してオーディオ信号は、サンプリング周波数が４８ｋＨｚの場合、８００サンプルおよび８０１サンプルの何れかであり、このシーケンスが５フィールド毎に揃う。ビット２〜ビット０によって、シーケンスの何処に位置するかが示される。
【００６９】
図５に戻って説明すると、図５Ｂ〜図５Ｅは、上述のペイロードの例を示す。図５Ｂおよび図５Ｃは、ペイロードに対して、１および２マクロブロックのビデオデータ（不等長データ）が格納される場合の例をそれぞれ示す。図５Ｂに示される、１マクロブロックが格納される例では、先頭の３バイトに、そのマクロブロックに対応する不等長データの長さを示すデータ長標識ＬＴが配される。なお、データ長標識ＬＴには、自分自身の長さを含んでも良いし、含まなくても良い。また、図５Ｃに示される、２マクロブロックが格納される例では、先頭に第１のマクロブロックのデータ長標識ＬＴが配され、続けて第１のマクロブロックが配される。そして、第１のマクロブロックに続けて第２のマクロブロックの長さを示すデータ長標識ＬＴが配され、続けて第２のマクロブロックが配される。データ長標識ＬＴは、デパッキングのために必要な情報である。
【００７０】
図５Ｄは、ペイロードに対して、ビデオＡＵＸ（補助的）データが格納される場合の例を示す。先頭のデータ長標識ＬＴには、ビデオＡＵＸデータの長さが記される。このデータ長標識ＬＴに続けて、５バイトのシステム情報、１２バイトのＰＩＣＴ情報、および９２バイトのユーザ情報が格納される。ペイロードの長さに対して余った部分は、Ｒｅｓｅｒｖｅｄとされる。
【００７１】
図５Ｅは、ペイロードに対してオーディオデータが格納される場合の例を示す。オーディオデータは、ペイロードの全長にわたって詰め込むことができる。オーディオ信号は、圧縮処理などが施されない、例えばＰＣＭ形式で扱われる。これに限らず、所定の方式で圧縮符号化されたオーディオデータを扱うようにもできる。
【００７２】
この一実施形態においては、各シンクブロックのデータの格納領域であるペイロードの長さは、ビデオシンクブロックとオーディオシンクブロックとでそれぞれ最適に設定されているため、互いに等しい長さではない。また、ビデオデータを記録するシンクブロックの長さと、オーディオデータを記録するシンクブロックの長さとを、信号フォーマットに応じてそれぞれ最適な長さに設定される。これにより、複数の異なる信号フォーマットを統一的に扱うことができる。
【００７３】
図７Ａは、ＭＰＥＧエンコーダのＤＣＴ回路から出力されるビデオデータ中のＤＣＴ係数の順序を示す。ＤＣＴブロックにおいて左上のＤＣ成分から開始して、水平ならびに垂直空間周波数が高くなる方向に、ＤＣＴ係数がジグザグスキャンで出力される。その結果、図７Ｂに一例が示されるように、全部で６４個（８画素×８ライン）のＤＣＴ係数が周波数成分順に並べられて得られる。
【００７４】
このＤＣＴ係数がＭＰＥＧエンコーダのＶＬＣ部によって可変長符号化される。すなわち、最初の係数は、ＤＣ成分として固定的であり、次の成分（ＡＣ成分）からは、ゼロのランとそれに続くレベルに対応してコードが割り当てられる。従って、ＡＣ成分の係数データに対する可変長符号化出力は、周波数成分の低い（低次の）係数から高い（高次の）係数へと、ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・と並べられたものである。可変長符号化されたＤＣＴ係数をエレメンタリストリームが含んでいる。
【００７５】
ストリームコンバータ１０６では、供給された信号のＤＣＴ係数の並べ替えが行われる。すなわち、それぞれのマクロブロック内で、ジグザグスキャンによってＤＣＴブロック毎に周波数成分順に並べられたＤＣＴ係数がマクロブロックを構成する各ＤＣＴブロックにわたって周波数成分順に並べ替えられる。
【００７６】
図８は、このストリームコンバータ１０６におけるＤＣＴ係数の並べ替えを概略的に示す。（４：２：２）コンポーネント信号の場合に、１マクロブロックは、輝度信号Ｙによる４個のＤＣＴブロック（Ｙ1 ，Ｙ2 ，Ｙ3 およびＹ4 ）と、色度信号Ｃｂ，Ｃｒのそれぞれによる２個ずつのＤＣＴブロック（Ｃｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 ）からなる。
【００７７】
上述したように、ビデオエンコーダ１０２では、ＭＰＥＧ２の規定に従いジグザグスキャンが行われ、図８Ａに示されるように、各ＤＣＴブロック毎に、ＤＣＴ係数がＤＣ成分および低域成分から高域成分に、周波数成分の順に並べられる。一つのＤＣＴブロックのスキャンが終了したら、次のＤＣＴブロックのスキャンが行われ、同様に、ＤＣＴ係数が並べられる。
【００７８】
すなわち、マクロブロック内で、ＤＣＴブロックＹ1 ，Ｙ2 ，Ｙ3 およびＹ4 、ＤＣＴブロックＣｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 のそれぞれについて、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと周波数順に並べられる。そして、連続したランとそれに続くレベルとからなる組に、〔ＤＣ，ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・〕と、それぞれ符号が割り当てられるように、可変長符号化されている。
【００７９】
ストリームコンバータ１０６では、可変長符号化され並べられたＤＣＴ係数を、一旦可変長符号を解読して各係数の区切りを検出し、マクロブロックを構成する各ＤＣＴブロックに跨がって周波数成分毎にまとめる。この様子を、図８Ｂに示す。最初にマクロブロック内の８個のＤＣＴブロックのＤＣ成分をまとめ、次に８個のＤＣＴブロックの最も周波数成分が低いＡＣ係数成分をまとめ、以下、順に同一次数のＡＣ係数をまとめるように、８個のＤＣＴブロックに跨がって係数データを並び替える。
【００８０】
並び替えられた係数データは、ＤＣ（Ｙ1 ），ＤＣ（Ｙ2 ），ＤＣ（Ｙ3 ），ＤＣ（Ｙ4 ），ＤＣ（Ｃｂ1 ），ＤＣ（Ｃｂ2 ），ＤＣ（Ｃｒ1 ），ＤＣ（Ｃｒ2 ），ＡＣ1 （Ｙ1 ），ＡＣ1 （Ｙ2 ），ＡＣ1 （Ｙ3 ），ＡＣ1 （Ｙ4 ），ＡＣ1 （Ｃｂ1 ），ＡＣ1 （Ｃｂ2 ），ＡＣ1 （Ｃｒ1 ），ＡＣ1 （Ｃｒ2 ），・・・である。ここで、ＤＣ、ＡＣ1 、ＡＣ2 、・・・は、図７を参照して説明したように、ランとそれに続くレベルとからなる組に対して割り当てられた可変長符号の各符号である。
【００８１】
ストリームコンバータ１０６で係数データの順序が並べ替えられた変換エレメンタリストリームは、パッキングおよびシャフリング部１０７に供給される。マクロブロックのデータの長さは、変換エレメンタリストリームと変換前のエレメンタリストリームとで同一である。また、ビデオエンコーダ１０２において、ビットレート制御によりＧＯＰ（１フレーム）単位に固定長化されていても、マクロブロック単位では、長さが変動している。パッキングおよびシャフリング部１０７では、マクロブロックのデータを固定枠に当てはめる。
【００８２】
図９は、パッキングおよびシャフリング部１０７でのマクロブロックのパッキング処理を概略的に示す。マクロブロックは、所定のデータ長を持つ固定枠に当てはめられ、パッキングされる。このとき用いられる固定枠のデータ長を、記録および再生の際のデータの最小単位であるシンクブロックのデータ長と一致させている。これは、シャフリングおよびエラー訂正符号化の処理を簡単に行うためである。図９では、簡単のため、１フレームに８マクロブロックが含まれるものと仮定する。
【００８３】
可変長符号化によって、図９Ａに一例が示されるように、８マクロブロックの長さは、互いに異なる。この例では、固定枠である１シンクブロックのデータ領域の長さと比較して、マクロブロック＃１のデータ，＃３のデータおよび＃６のデータがそれぞれ長く、マクロブロック＃２のデータ，＃５のデータ，＃７のデータおよび＃８のデータがそれぞれ短い。また、マクロブロック＃４のデータは、１シンクブロックと略等しい長さである。
【００８４】
パッキング処理によって、マクロブロックが１シンクブロック長の固定長枠に詰め込まれる。過不足無くデータを詰め込むことができるのは、１フレーム期間で発生するデータ量が固定量に制御されているからである。図９Ｂに一例が示されるように、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割される。分割されたマクロブロックのうち、シンクブロック長からはみ出た部分（オーバーフロー部分）は、先頭から順に空いている領域に、すなわち、長さがシンクブロック長に満たないマクロブロックの後ろに、詰め込まれる。
【００８５】
図９Ｂの例では、マクロブロック＃１の、シンクブロック長からはみ出た部分が、先ず、マクロブロック＃２の後ろに詰め込まれ、そこがシンクブロックの長さに達すると、マクロブロック＃５の後ろに詰め込まれる。次に、マクロブロック＃３の、シンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれる。さらに、マクロブロック＃６のシンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれ、さらにはみ出た部分がマクロブロック＃８の後ろに詰め込まれる。こうして、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。
【００８６】
各マクロブロックに対応する不等長データの長さは、ストリームコンバータ１０６において予め調べておくことができる。これにより、このパッキング部１０７では、ＶＬＣデータをデコードして内容を検査すること無く、マクロブロックのデータの最後尾を知ることができる。
【００８７】
図１０は、一実施形態で使用されるエラー訂正符号の一例を示し、図１０Ａは、ビデオデータに対するエラー訂正符号の１ＥＣＣブロックを示し、図１０Ｂは、オーディオデータに対するエラー訂正符号の１ＥＣＣブロックを示す。図１０Ａにおいて、ＶＬＣデータがパッキングおよびシャフリング部１０７からのデータである。ＶＬＣデータの各行に対して、ＳＹＮＣパターン、ＩＤ、ＤＩＤが付加され、さらに、内符号のパリティが付加されることによって、１ＳＹＮＣブロックが形成される。
【００８８】
すなわち、ＶＬＣデータの配列の垂直方向に整列する所定数のシンボル（バイト）から１０バイトの外符号のパリティが生成され、その水平方向に整列する、ＩＤ、ＤＩＤおよびＶＬＣデータ（または外符号のパリティ）の所定数のシンボル（バイト）から内符号のパリティが生成される。図１０Ａの例では、１０個の外符号パリティのシンボルと、１２個の内符号のパリティのシンボルとが付加される。具体的なエラー訂正符号としては、リードソロモン符号が使用される。また、図１０Ａにおいて、１ＳＹＮＣブロック内のＶＬＣデータの長さが異なるのは、５９．９４Hz、２５Hz、２３．９７６Hzのように、ビデオデータのフレーム周波数が異なるのと対応するためである。
【００８９】
図１０Ｂに示すように、オーディオデータに対する積符号もビデオデータに対するものと同様に、１０シンボルの外符号のパリティおよび１２シンボルの内符号のパリティを生成するものである。オーディオデータの場合は、サンプリング周波数が例えば４８ｋHzとされ、１サンプルが２４ビットに量子化される。１サンプルを他のビット数例えば１６ビットに変換しても良い。上述したフレーム周波数の相違に応じて、１ＳＹＮＣブロック内のオーディオデータの量が相違している。前述したように、１フィールド分のオーディオデータ／１チャンネルによって２ＥＣＣブロックが構成される。１ＥＣＣブロックには、偶数番目および奇数番目の一方のオーディオサンプルとオーディオＡＵＸとがデータとして含まれる。
【００９０】
図１１は、この発明の一実施形態の記録側構成のより具体的な構成を示す。図１１において、１６４がＩＣに対して外付けのメインメモリ１６０のインターフェースである。メインメモリ１６０は、ＳＤＲＡＭで構成されている。インターフェース１６４によって、内部からのメインメモリ１６０に対する要求を調停し、メインメモリ１６０に対して書込み／読出しの処理を行う。また、パッキング部１０７ａ、ビデオシャフリング部１０７ｂ、パッキング部１０７ｃによって、パッキングおよびシャフリング部１０７が構成される。
【００９１】
図１２は、メインメモリ１６０のアドレス構成の一例を示す。メインメモリ１６０は、例えば６４ＭビットのＳＤＲＡＭで構成される。メインメモリ１６０は、ビデオ領域２５０、オーバーフロー領域２５１およびオーディオ領域２５２を有する。ビデオ領域２５０は、４つのバンク（ｖｂａｎｋ＃０、ｖｂａｎｋ＃１、ｖｂａｎｋ＃２およびｖｂａｎｋ＃３）からなる。４バンクのそれぞれは、１等長化単位のディジタルビデオ信号が格納できる。１等長化単位は、発生するデータ量を略目標値に制御する単位であり、例えばビデオ信号の１ピクチャ（Ｉピクチャ）である。図１２中の、部分Ａは、ビデオ信号の１シンクブロックのデータ部分を示す。１シンクブロックには、フォーマットによって異なるバイト数のデータが挿入される（図５Ａ参照）。複数のフォーマットに対応するために、最大のバイト数以上であって、処理に都合の良いバイト数例えば２５６バイトが１シンクブロックのデータサイズとされている。
【００９２】
ビデオ領域の各バンクは、さらに、パッキング用領域２５０Ａと内符号化エンコーダへの出力用領域２５０Ｂとに分けられる。オーバーフロー領域２５１は、上述のビデオ領域に対応して、４つのバンクからなる。さらに、オーディオデータ処理用の領域２５２をメインメモリ１６０が有する。
【００９３】
この一実施形態では、各マクロブロックのデータ長標識ＬＴを参照することによって、パッキング部１０７ａが固定枠長データと、固定枠を越える部分であるオーバーフローデータとをメインメモリ１６０の別々の領域に分けて記憶する。固定枠長データは、シンクブロックのデータ領域の長さ以下のデータであり、以下、ブロック長データと称する。ブロック長データを記憶する領域は、各バンクのパッキング処理用領域２５０Ａである。ブロック長より短いデータ長の場合には、メインメモリ１６０の対応する領域に空き領域を生じる。ビデオシャフリング部１０７ｂが書込みアドレスを制御することによってシャフリングを行う。ここで、ビデオシャフリング部１０７ｂは、ブロック長データのみをシャフリングし、オーバーフロー部分は、シャフリングせずに、オーバーフローデータに割り当てられた領域に書込まれる。
【００９４】
次に、パッキング部１０７ｃが外符号エンコーダ１０９へのメモリにオーバーフロー部分をパッキングして読み込む処理を行う。すなわち、メインメモリ１６０から外符号エンコーダ１０９に用意されている１ＥＣＣブロック分のメモリに対してブロック長のデータを読み込み、若し、ブロック長のデータに空き領域が有れば、そこにオーバーフロー部分を読み込んでブロック長にデータが詰まるようにする。そして、１ＥＣＣブロック分のデータを読み込むと、読み込み処理を一時中断し、外符号エンコーダ１０９によって外符号のパリティを生成する。外符号パリティは、外符号エンコーダ１０９のメモリに格納する。外符号エンコーダ１０９の処理が１ＥＣＣブロック分終了すると、外符号エンコーダ１０９からデータおよび外符号パリティを内符号を行う順序に並び替えて、メインメモリ１６０のパッキング処理用領域２５０Ａと別の出力用領域２５０Ｂに書き戻す。ビデオシャフリング部１１０は、この外符号の符号化が終了したデータをメインメモリ１６０へ書き戻す時のアドレスを制御することによって、シンクブロック単位のシャフリングを行う。
【００９５】
このようにブロック長データとオーバーフローデータとを分けてメインメモリ１６０の第１の領域２５０Ａへのデータの書込み（第１のパッキング処理）、外符号エンコーダ１０９へのメモリにオーバーフローデータをパッキングして読み込む処理（第２のパッキング処理）、外符号パリティの生成、データおよび外符号パリティをメインメモリ１６０の第２の領域２５０Ｂに書き戻す処理が１ＥＣＣブロック単位でなされる。外符号エンコーダ１０９がＥＣＣブロックのサイズのメモリを備えることによって、メインメモリ１６０へのアクセスの頻度を少なくすることができる。
【００９６】
そして、１ピクチャに含まれる所定数のＥＣＣブロック（例えば３２個のＥＣＣブロック）の処理が終了すると、１ピクチャのパッキング、外符号の符号化が終了する。そして、インターフェース１６４を介してメインメモリ１６０の領域２５０Ｂから読出したデータがＩＤ付加部１１８、内符号エンコーダ１１９、同期付加部１２０で処理され、並列直列変換部１２４によって、同期付加部１２０の出力データがビットシリアルデータに変換される。出力されるシリアルデータがパーシャル・レスポンスクラス４のプリコーダ１２５により処理される。この出力が必要に応じてディジタル変調され、記録アンプ１２１を介して回転ヘッドに供給される。
【００９７】
なお、ＥＣＣブロック内にヌルシンクと称する有効なデータが配されないシンクブロックを導入し、記録ビデオ信号のフォーマットの違いに対してＥＣＣブロックの構成の柔軟性を持たせるようにしても良い。ヌルシンクは、パッキングおよびシャフリングブロック１０７のパッキング部１０７ａにおいて生成され、メインメモリ１６０に書込まれる。従って、ヌルシンクがデータ記録領域を持つことになるので、これをオーバーフロー部分の記録用シンクとして使用することができる。
【００９８】
オーディオデータの場合では、１フィールドのオーディオデータの偶数番目のサンプルと奇数番目のサンプルとがそれぞれ別のＥＣＣブロックを構成する。ＥＣＣの外符号の系列は、入力順序のオーディオサンプルで構成されるので、外符号系列のオーディオサンプルが入力される毎に外符号エンコーダ１１６が外符号パリティを生成する。外符号エンコーダ１１６の出力をメインメモリ１６０の領域２５２に書込む時のアドレス制御によって、シャフリング部１１７がシャフリング（チャンネル単位およびシンクブロック単位）を行う。
【００９９】
さらに、１２６で示すＣＰＵインターフェースが設けられ、システムコントローラとして機能する外部のＣＰＵ１２７からのデータを受け取り、内部ブロックに対してパラメータの設定が可能とされている。複数のフォーマットに対応するために、シンクブロック長、パリティ長を始め多くのパラメータを設定することが可能とされている。パラメータの一つとしてのシャフリングテーブルデータがビデオ用シャフリングテーブル（ＲＡＭ）１２８ｖおよびオーディオ用シャフリングテーブル（ＲＡＭ）１２８ａに格納される。シャフリングテーブル１２８ｖは、ビデオシャフリング部１０７ｂおよび１１０のシャフリングのためのアドレス変換を行う。シャフリングテーブル１２８ａは、オーディオシャフリング１１７のためのアドレス変換を行う。
【０１００】
上述したように、ストリームコンバータ１０６からは、マクロブロック内の係数データ（可変長符号）の同じ周波数成分をまとめるように並び替えたビデオデータ（ピクチャデータ）が発生する。例えばストリームコンバータ１０６がＳＤＴＩ受信部１０５に対してリードリクエストを発生することによって、ＳＤＴＩ受信部１０５のバッファに蓄えられているストリームを読み込むようになされる。このリートリクエストをパッキングおよびシャフリング部１０７が発行しても良い。ストリームコンバータ１０６からは、ピクチャデータ以外のヘッダ情報等の非画像データも発生する。非画像データは、ＭＰＥＧシンタックスで規定されたヘッダ（ＰＥＳヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ）、並びにピクチャヘッダ中のユーザデータとして含まれるアンシアリイデータ（Ancillary Data: クローズドキャプション、テレテキスト、ＶＩＴＣ等）である。非画像データは、画像フォーマット、ユーザデータの量等によってデータ量が変動する可変長データである。しかも、１フレーム当たりの非画像データの最大長を見積もることは難しい。また、ビデオエレメンタリストリームの場合でも、マクロブロック当たりのデータの最大長を見積もることが難しい。ＭＰＥＧシンタックスでは、マクロブロック当たりのデータが原データより多くなることが許容されている。例えば１フレームの全マクロブロックの内で、本来の画像データが少なく、その多くをユーザデータにすることも可能である。
【０１０１】
この発明では、非画像データをピクチャデータと同等に扱うので、ストリームコンバータ１０６からパッキングおよびシャフリング部１０７に対して非画像データも供給され、ピクチャデータと共にパッキングされる。非画像データに対してては、１マクロブロックのピクチャデータと同様に、一つの固定枠が割り当てられ、その先頭に長さ標識が付加される。従って、１編集単位例えば１フレーム期間の発生データ量を所定のものに制御する場合には、非画像データを含むデータ量が所定のものに制御され、１フレームの全マクロブロックの数に１を加えた数の固定枠にピクチャデータおよび非画像データがパッキングされる。この一実施形態では、１ＧＯＰが１枚のＩピクチャで構成され、１スライスが１マクロブロックで構成され、ピクチャデータがスライス１から開始するので、以下の説明では、便宜上、非画像データをスライス０と呼び、ピクチャデータのスライスを総称してスライスＸと呼ぶ。
【０１０２】
図１３および図１４を参照して、ストリームコンバータ１０６とパッキングおよびシャフリング部１０７との間のデータのインターフェースについて説明する。図１３は、スライスＸのインターフェースを示す。図１３Ａに示すシンクパルスと同期して、図１３Ｂに示すように、スライスＸのデータ（バイトシリアル）が転送される。転送レートは、入力画像データのフォーマットによって変わるが、例えばＭＰＥＧの規定の上限値である５０Ｍ bpsである。この転送レートに等しい周波数のベースバンドクロックが使用される。
【０１０３】
スライスＸの場合、シンクパルスが５４４クロックの周期で発生し、５４４クロック中で最大５１２クロック（５１２バイト）の期間でデータを転送するようになされる。各周期で、１スライスのピクチャデータが転送される。従って、５４４−５１２＝３２クロックの空き期間が周期的に存在する。１マクロブロックで発生するピクチャデータの最大長は、見積もりが難しいが、この一実施形態では、一例として、５１２バイトをスライスＸの１スライスが越えないように、ストリームコンバータ１０６において制限している。また、図１３Ｃに示すように、ストリームコンバータ１０６からは、各周期内で転送されるスライスの長さに一致した期間、ハイレベルとなるイネーブル信号をデータと同期して発生する。
【０１０４】
パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図１３Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、各周期で転送されるスライスのデータ長を検出することができる。イネーブル信号を送る代わりに、パッキングおよびシャフリング部１０７において受け取ったデータをカウントする方法もあるが、予めストリームコンバータ１０６がストリームを知っているので、再度、パッキングおよびシャフリング部１０７において解析する必要がないことので、イネーブル信号を送るようにしている。
【０１０５】
図１４は、スライス０、すなわち、非画像データをストリームコンバータ１０６からパッキングおよびシャフリング部１０７へ転送するインターフェースを説明するものである。スライス０は、図１４Ｂに示すように、上述したスライスＸと同様に、５４４クロックの中の最大５１２クロックの区間を使用して転送される。従って、３２クロックの空き期間が周期的に存在する。但し、図１４Ａに示すように、スライス０の転送が終了するまでシンクパルスが発生せず、それによってスライス０が１スライスであることが指示される。図１４Ｃに示すように、各周期の中で、データの期間に対応してハイレベルとなるイネーブル信号も転送される。パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図１４Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、スライス０のデータ長を検出することができる。
【０１０６】
なお、スライスＸは、図１３Ｅに示すように、固定の３バイトのスタートコード（０００００１）Ｈ（Ｈは１６進を意味する）の後に、スライススタートコード（０１）Ｈ〜（ＡＦ）Ｈが続くように規定されている。一方、スライス０の場合には、図１４Ｅに示すように、固定の３バイトのスタートコードの後に、sequence header code（Ｂ３）Ｈが続く。従って、スライス０とスライスＸとを識別するために、スライス０の場合には、スタートコードを（００００００）Ｈに変更する。他の方法として、スタートコードを共に（０００００１）Ｈとして、その後が（Ｂ３）Ｈかどうかを調べて、スライス０とスライスＸとを識別するようにしても良い。
【０１０７】
上述したインターフェースは、要約すると、スライスＸのシンクパルスの間隔が５４４クロックの固定とし、有効データの区間をイネーブル信号で示し、その最大長を５１２クロックとし、シンクパルスの間隔内でイネーブル信号の立ち上がりおよび立ち下がりがそれぞれ１回とされる。スライス０については、１シンク間隔内で、イネーブル信号の立ち上がりおよび立ち下がりが複数回あることがある。さらに、図１３Ｂおよび図１４Ｂにおいて斜線で示すように、スライス０およびスライスＸの何れの場合でも、シンクパルスの間隔より有効データの区間が短いので、データが転送されない空き期間が生じる。この空き期間をスライス０およびスライスＸの両者に関して設けることによって、空き期間において、オーディオデータの処理（エラー訂正符号化、シャフリング処理）をピクチャデータと共通のメインメモリ１６０を使用して行うことが可能となり、また、瞬間的に必要となるメインメモリ１６０の転送レートを下げることができ、消費電力の削減や内部メモリをなくすことが可能となる。
【０１０８】
シンクパルスは、ストリームコンバータ１０６がビデオエレメンタリストリームから以下のような順序で生成する。
【０１０９】
【０１１０】
さらに、上述したように、データを転送するインターフェースについて図１５を参照してより詳細に説明する。図１５Ａがシンクパルスを示し、図１５Ｂがストリームコンバータ１０６からのビデオエレメンタリストリームを示す。図１５Ｂの例では、シンクパルスの間隔（５４４クロック）を４個使用してスライス０のデータを間欠的に転送し、その後、スライス１から順に転送している。
【０１１１】
スライス０がシーケンスヘッダが始まる場合では、スライス０のデータの内容は、例えば図１５Ｃに示すものである。スライス０は、第１のデータ部分、第２のデータ部分、第３のデータ部分からなる。第１のデータ部分は、sequence header() 、sequence extension()およびextension and user data(0)からなる。第２のデータ部分は、group of pictures header()およびextension and user data(1)からなる。第３のデータ部分は、picture header()、picture coding extension()およびextension and user data(2)からなる。この一実施形態では、ピクチャ毎にsequence header() 、group of pictures header()、picture header()を必ずスライス０として付けるようにしている。さらに、スライスＸ（スライス１、スライス２、・・・）には、それぞれslice() の後にmacroblock()が続くデータである。extension and user data() には、ビデオインデックス（垂直ブランキング期間内の特定のライン中に挿入されるコード化された情報）、ビデオアンシラリイデータ，クローズドキャプション、テレテキスト、ＶＩＴＣ（垂直ブランキング期間内に記録されるタイムコード）、ＬＴＣ（テープ長手方向に記録されるタイムコード）などのデータが収められる。
【０１１２】
各データの内容および多重化方法は、ＭＰＥＧシンタックス(ISO/IEC 13818-2) において規定されている。その一部について説明すると、図１６がスタートコード値の規定を示す。スタートコードは、ビデオエレメンタリストリーム中で特異なビットパターンを有する。各スタートコードは、２バイトの所定のビット列(0000 0000 0000 0000) の後にスタートコード値が続くものである。例えばslice start codeが（０１〜ＡＦ）と規定され、sequence header codeが（Ｂ３）と規定されている。
【０１１３】
また、図１７は、ＭＰＥＧシンタックス（ビデオシーケンス）を示すものである。図１７中で現れ、上述したようなデータ、すなわち、sequence header() 、sequence extension()、extension and user data() 、group of pictures header()、picture header()、picture coding extension()がスライス０（非画像データ）として扱われる。
【０１１４】
図１８は、Sequence header の内容を示すものである。例えばhorizontal size value （１２ビット）が画像の横の画素数を表し、bit rate valueがビットレートを表す。図１９は、Group of pictures headerの内容を表す。例えばtime code がシーケンスの先頭からの時間を示し、closed gopは、ＧＯＰ内の画像が他のＧＯＰから独立して再生可能なことを示す。図２０は、Picture headerの内容を示す。例えばpicture coding type がピクチャタイプを示し、full pel forward vector が動きベクトルの精度が整数画素か半画素単位かを示す。
【０１１５】
上述した一実施形態では、インターフェースのデータ幅を８ビットとして説明したが、他のビット幅でも良く、データ転送可能な期間（５１２クロック）および空き期間（３２クロック）の値は、一例であり、１フレームより短かければ、スライスＸのデータ長に応じて種々の値に設定可能である。また、シンクパルスのデータに対する位置や、極性も一実施形態のものに限定されない。さらに、この発明は、ＭＰＥＧ２のみならず、ＭＰＥＧ１のストリームに対しても適用可能なことは勿論であるが、ＭＰＥＧ以外でも、ヘッダ部分がストリーム内に存在するようなビデオストリームに対しても適用できる。さらに、スライスの長さ情報を算出する方法は、一実施形態の方法に限定されない。よりさらに、シンクパルスは、ストリームコンバータが生成するのに限らず、パッキングおよびシャフリング部がストリームを解析することによって生成することも可能である。
【０１１６】
なお、この発明は、磁気テープ以外の光テープ、光ディスク（光磁気ディスク、相変化型ディスク）等の記録媒体を使用する場合、データを伝送路を介して伝送する場合に対しても適用することができる。
【０１１７】
【発明の効果】
この発明では、画像データを転送する時に、周期的にデータを転送しない空き期間を設けることによって、この空き期間で他のオーディオデータ、ＡＵＸデータ等の処理を行うことができる。従って、他のデータを処理するためのバッファメモリを内部に持つ必要がなく、また、パンド幅が高くなり、消費電力が増大する問題が発生しない。
【図面の簡単な説明】
【図１】この発明の一実施形態の記録側の構成を示すブロック図である。
【図２】この発明の一実施形態の再生側の構成を示すブロック図である。
【図３】トラックフォーマットの一例を示す略線図である。
【図４】トラックフォーマットの他の例を示す略線図である。
【図５】シンクブロックの構成の複数の例を示す略線図である。
【図６】シンクブロックに付加されるＩＤおよびＤＩＤの内容を示す略線図である。
【図７】ビデオエンコーダの出力の方法と可変長符号化を説明するための略線図である。
【図８】ビデオエンコーダの出力の順序の並び替えを説明するための略線図である。
【図９】順序の並び替えられたデータをシンクブロックにパッキングする処理を説明するための略線図である。
【図１０】ビデオデータおよびオーディオデータに対するエラー訂正符号を説明するための略線図である。
【図１１】記録信号処理部のより具体的なブロック図である。
【図１２】使用するメモリのメモリ空間を示す略線図である。
【図１３】画像データの転送方法を説明するためのタイミングチャートである。
【図１４】非画像データの転送方法を説明するためのタイミングチャートである。
【図１５】ビデオストリームの転送方法を説明するためのタイミングチャートである。
【図１６】ＭＰＥＧシンタックスのスタートコード値の規定を示す略線図である。
【図１７】ＭＰＥＧシンタックスを説明するための略線図である。
【図１８】ＭＰＥＧシンタックスを説明するための略線図である。
【図１９】ＭＰＥＧシンタックスを説明するための略線図である。
【図２０】ＭＰＥＧシンタックスを説明するための略線図である。
【符号の説明】
１０６・・・ストリームコンバータ、１０７・・・パッキングおよびシャフリング部、１０９、１１６・・・外符号エンコーダ、１１０、１１７・・・シャフリング部、１１８・・・ＩＤ付加部、１２０・・・同期付加部、１６０・・・メインメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data recording device, a data recording method, a data processing device, which are applied to record variable-length non-image data together with variable-length image data,andData processing methodTo the lawConcerning
[0002]
[Prior art]
As represented by a digital VTR (Video Tape Recorder), a data recording / reproducing apparatus for recording a digital image signal on a recording medium and reproducing it from the recording medium is known. In a recording processing unit in a digital image recording device, video and audio digital data is stored in a packet of a predetermined length, information indicating the content of the data in units of packets, encoding of an error correction code, packetized data, A sync block and ID are added to the parity of the error correction code to form a sync block, converted into serial data in units of sync block, and recorded on the magnetic tape by the rotary head. On the recording side, the process of packing data into the data area of the sync block is referred to as packing, and on the playback side, the process of extracting data from the data area of the sync block is referred to as depacking. When a product code is used, data is packed into the length of one line of an ECC (Error Correctig Code) block of the product code by packing.
[0003]
In order to compress the amount of image data, compression encoding is performed. For example, in the case of MPEG (Moving Picture Experts Group), coefficient data generated by DCT (Discrete Cosine Transform) is variable-length encoded. When the amount of data that can be recorded per track or a predetermined number of tracks is fixed, such as a helical scan type VTR, the data length of the variable length code generated during a predetermined period is less than the target value. The amount is controlled. Then, variable length encoded data, that is, unequal length data is packed into the data areas of a plurality of sync blocks prepared for a predetermined period.
[0004]
In MPEG, image data has a six-layer hierarchical structure of a sequence, a GOP (Group Of Picture), a picture, a slice, a macroblock, and a block, and each layer is multiplexed. The multiplexing process is defined as a syntax in MPEG, and header information such as a PES (Packetized Elementary Stream) header, a sequence header, a GOP header, and a slice header is multiplexed in addition to picture data. The header information is necessary for processing such as decoding of picture data. When recording / reproducing an MPEG elementary stream, it is necessary to record / reproduce the header information together with the picture data. As one method for recording / reproducing the header information, it is conceivable to record / reproduce the minimum amount of data necessary for reproduction as fixed-length data in the whole header information or in the header information.
[0005]
However, it may be difficult to handle the data amount of header information as fixed-length data. For example, various image data formats exist, and the data amount of header information varies. For example, there are 18 image formats for American digital television broadcasting. Second, to transmit video index data or ancillary data multiplexed on a specific line (closed caption, teletext, time code (VITC) of vertical blanking period, etc.) as a video elementary stream. In addition, when data is inserted into user data in a picture header, the amount of user data varies.
[0006]
In this way, data that has variable data length (header information, video index, ancillary data, etc., although it is not original image data, these are collectively called non-image data in the sense that it is not picture data. In order to record the recording data, it is necessary to allocate a recording area in consideration of the image format to be recorded, and to secure a recording area capable of recording the maximum amount of data that can be generated. is there.
[0007]
When there are only one or two image formats, the fluctuation range of the data amount is relatively small, and it is difficult to set the non-image data recording area on the tape corresponding to each image format. Absent. However, when there are many types of image formats, the fluctuation range of the data amount of non-image data becomes large or cannot be predicted, and it becomes difficult to set a recording area for non-image data. In addition, when an area where the maximum amount of data that can be generated is recorded is set, a wasteful area that is not used for recording is generated on the tape when the amount of data is not large, and the recording capacity of the tape cannot be used effectively. Therefore, in order to avoid these problems, the applicant of the present application has proposed that variable-length non-image data is handled and recorded in the same manner as image data.
[0008]
Here, if the data to be packed is large, such as image data for one frame period, the memory used for the packing process has a large capacity. Therefore, it is difficult to integrate the packing processing unit on the same semiconductor substrate, and the cost increases. Therefore, a single device (element) independent from the recording processing unit is used as the memory. With current technology, the recording processing unit can be configured as an integrated circuit.,When trying to configure the main memory at as low a cost as possible, it is practical to use DRAM-type devices such as DRAM (Dynamic Random Access Memory), EDO (Extended Data Out) -RAM, and SDRAM (Synchronous Dynamic Random Access Memory). is there. Furthermore, considering speed, SDRAM is often used.
[0009]
Further, in the digital VTR, it is necessary to record audio data in addition to images. Therefore, audio data is also written in the SDRAM and undergoes a recording process. In addition, when shuffling is performed to increase error resistance by rearranging the order of image data and audio data in units of one field or one frame, an SDRAM may be used for the processing. is there.
[0010]
Consider the transfer of image data to a recording processing unit including such an SDRAM. The transfer capability for the SDRAM is determined by the SDRAM bus width and the supplied clock. As one transfer method, a method of transferring image data continuously is conceivable. The number of clocks given to the SDRAM needs to be provided for the instantaneous maximum access rate of the amount of data accessed to the SDRAM. In order to enable image data to be written to the SDRAM, it is necessary to provide a corresponding number of clocks. For example, when the interface clock for video data is 27 MHz, the data width is 16 bits, and the SDRAM bus width is 32 bits, only video data is written to and read from the SDRAM.
27 MHz x 16 bits x 2 (write and read) / 32 bits = 27 MHz
More clocks are needed.
[0011]
Actually, a waiting operation occurs at the time of refresh for holding SDRAM data or precharge for changing the row address. The amount related to this waiting operation also needs to increase the clock. Further, when processing audio data, a higher frequency clock is required. Therefore, in reality, it is difficult to transfer image data and audio data continuously.
[0012]
Therefore, when image data is transferred to a processing unit that uses SDRAM, it is necessary to create an idle period for access to the SDRAM during the processing of the image data in order to process data other than the image data with the SDRAM. As one of the methods, a method of transferring one frame of image data in a burst manner to create an empty period for each frame is conceivable. This method requires a buffer memory for storing audio data for one frame until the image data processing is completed. Alternatively, it is necessary to widen the bandwidth in order to process audio data in a time division manner with image data. High bandwidth increases power consumption. Therefore, a method for creating an empty period for each frame is not preferable.
[0013]
As another method, it is conceivable to create a period during which no transfer is performed for each slice unit of MPEG to lower the transfer rate for the SDRAM. However, if a large amount of data is included in the user data portion of the non-image data described above, the length of the slice made up of the non-image data becomes large, resulting in continuous transfer to the SDRAM. A problem arises that cannot be performed during continuous transfer.
[0014]
Accordingly, an object of the present invention is to provide a data recording apparatus, a data recording method, and data capable of solving the above-described problems requiring an audio buffer memory, increased power consumption, and problems at the time of transferring non-image data. Processing equipment,andData processing methodThe lawIt is to provide.
[0015]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention of
Generated by compression encoding image dataVariable length image dataAnd non-image data such as headers associated with variable-length image dataIncluding variable length image dataTo processing departmentA stream with a non-transfer period for each transferable periodAnd an enable signal indicating the length of data transferred within a period that can be transferred in synchronization with the streamA stream converter that outputs
streamAnd enable signalIs entered,Processing to detect the length of data from the enable signal;Variable length image dataAnd non-image dataPacking the overflow data that protrudes from the fixed frame into the empty area generated in the other fixed frameprocessingAnd error correction coding processingWhen, In the period of no transferDoneError correction coding processing of audio dataWhenA processing unit for performing
A synchronization signal adding unit for adding a synchronization signal to the output data of the processing unit and forming a sync block;
A data recording apparatus comprising recording means for recording an output signal in which sync blocks from a synchronization signal adding unit are continuous on a recording medium.
[0016]
Claim6The invention ofIn a data recording method for recording image data and audio data on a recording medium,
A stream that includes variable-length image data generated by compressing and encoding image data and non-image data such as a header associated with the variable-length image data, and the variable-length image data can be transferred to the processing unit A step in which the stream conversion unit outputs a stream provided with a period not to be transferred and an enable signal indicating the length of data transferred within a period that can be transferred in synchronization with the stream;
Stream and enable signal are input, processing to detect the length of data from the enable signal, variable length image data and non-image data are arranged in multiple fixed frames, and overflow data that protrudes from the fixed frame is transferred to other fixed frames Processing steps for performing packing processing to pack into the generated free space, error correction encoding processing, and error correction encoding processing of audio data performed in a period during which no transfer is performedWhen,
Adding a synchronization signal to the output data from the processing step and forming a sync block; and
A data recording method comprising: a recording step for recording an output signal having a continuous sync block from the synchronization signal adding step on a recording mediumIt is.
[0017]
The invention of
A stream that includes variable-length image data generated by compressing and encoding image data and non-image data such as a header associated with the variable-length image data, and the variable-length image data can be transferred to the processing unit A stream conversion unit that outputs a enable signal indicating a length of data transferred within a period that can be transferred in synchronization with the stream, and a stream that is not transferred
Stream and enable signal are input, processing to detect the length of data from the enable signal, variable length image data and non-image data are arranged in multiple fixed frames, and overflow data that protrudes from the fixed frame is transferred to other fixed frames A data processing apparatus comprising: a processing unit that performs packing processing to pack a generated empty area, error correction encoding processing, and error correction encoding processing of audio data performed in a period during which no transfer is performed. is there.
The invention of
A stream that includes variable-length image data generated by compressing and encoding image data and non-image data such as a header associated with the variable-length image data, and the variable-length image data can be transferred to the processing unit A step in which the stream conversion unit outputs a stream provided with a period not to be transferred and an enable signal indicating the length of data transferred within a period that can be transferred in synchronization with the stream;
Stream and enable signal are input, processing to detect the length of data from the enable signal, variable length image data and non-image data are arranged in multiple fixed frames, and overflow data that protrudes from the fixed frame is transferred to other fixed frames A data processing method characterized by comprising processing steps for performing packing processing to pack into the generated free space, error correction encoding processing, and error correction encoding processing of audio data performed in a period not to be transferred AhThe
[0018]
The image data consists of unequal length data generated corresponding to a predetermined range such as a macroblock. Further, non-image data such as information necessary for image data restoration and user data is also generated. When transferring these image data and non-image data, a period during which data is not transferred is provided during a period during which data transfer is possible. As a result, the circuit block that has received the transferred data can process other data, such as audio data, in the idle period. Therefore, there is no need to have an audio buffer memory. Even if the data amount of non-image data increases, there is an empty period in a predetermined cycle, so that continuous transfer is not performed and it is not necessary to increase the bandwidth. In the circuit block that has received the transferred data, the non-image data is handled in the same manner as the image data using a DRAM and packed in a fixed frame. Also, error correction coding for image data and error correction coding for audio data are performed.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment in which the present invention is applied to a digital VTR will be described. This embodiment is suitable for use in a broadcast station environment, and enables recording / playback of video signals in a plurality of different formats. For example, both signals with 480 effective lines (480i signal) in interlaced scanning based on the NTSC system and signals with 576 effective lines (576i signal) in interlaced scanning based on the PAL system are almost hard. It is possible to record and play back without changing the wear. Furthermore, signals with 1080 lines (1080i signal) in interlaced scanning and signals with 480 lines, 720 lines, and 1080 lines in progressive scanning (non-interlaced) (480p signal, 720p signal, 1080p signal), respectively. Recording / playback can be performed.
[0020]
In this embodiment, the video signal is compression-encoded based on the MPEG2 system. As is well known, MPEG2 is a combination of motion compensation predictive coding and compression coding by DCT. The data structure of MPEG2 has a hierarchical structure, and from the lower order is a block layer, a macroblock layer, a slice layer, a picture layer, a GOP layer, and a sequence layer.
[0021]
The block layer is composed of DCT blocks that are units for performing DCT. The macroblock layer is composed of a plurality of DCT blocks. The slice layer is composed of a header part and an arbitrary number of macroblocks that do not extend between rows. The picture layer is composed of a header part and a plurality of slices. A picture corresponds to one screen. The GOP layer includes a header part, an I picture that is a picture based on intra-frame coding, and a P and B picture that are pictures based on predictive coding.
[0022]
An I picture (Intra-coded picture) uses information that is closed only in one picture when it is encoded. Therefore, at the time of decoding, it can be decoded only with the information of the I picture itself. A P picture (Predictive-coded picture: a forward predictive coded picture) uses a previously decoded I picture or P picture that is temporally previous as a predicted picture (an image that serves as a reference for obtaining a difference). . Whether the difference from the motion compensated predicted image is encoded or encoded without taking the difference is selected in units of macroblocks. A B picture (Bidirectionally predictive-coded picture) is a previously decoded I picture or P picture that is temporally previous, as a predicted picture (a reference picture for obtaining a difference). Three types of I pictures or P pictures that have already been decoded and interpolated pictures made from both are used. Among the three types of motion-compensated difference encoding and intra-encoding, the most efficient one is selected for each macroblock.
[0023]
Therefore, macroblock types include intra-frame (Intra) macroblocks, forward (Foward) inter-frame prediction macroblocks that predict the future from the past, and backward (Backward) frames that predict the past from the future. There are prediction macroblocks and bidirectional macroblocks that predict from both the front and rear directions. All macroblocks in an I picture are intraframe coded macroblocks. Further, the P picture includes an intra-frame encoded macro block and a forward inter-frame prediction macro block. The B picture includes all the four types of macroblocks described above.
[0024]
A GOP includes at least one I picture, and P and B pictures are allowed even if they do not exist. The uppermost sequence layer includes a header part and a plurality of GOPs.
[0025]
In the MPEG format, a slice is one variable length code sequence. A variable-length code sequence is a sequence in which a data boundary cannot be detected unless the variable-length code is decoded.
[0026]
In addition, an identification code (referred to as a start code) having a predetermined bit pattern arranged in units of bytes is arranged at the beginning of the sequence layer, GOP layer, picture layer, slice layer, and macroblock layer. . In addition, the header part of each layer mentioned above describes a header, extension data, or user data collectively. In the header of the sequence layer, the size (number of vertical and horizontal pixels) of the image (picture) is described. In the GOP layer header, a time code, the number of pictures constituting the GOP, and the like are described.
[0027]
The macroblock included in the slice layer is a set of a plurality of DCT blocks, and the coded sequence of the DCT block is a sequence of quantized DCT coefficients, the number of consecutive 0 coefficients (run), and the non-zero sequence immediately thereafter. (Level) is variable length encoded as one unit. Identification codes arranged in byte units are not added to the macroblock and the DCT block in the macroblock.
[0028]
The macro block is obtained by dividing a screen (picture) into a grid of 16 pixels × 16 lines. The slice is formed by, for example, connecting the macro blocks in the horizontal direction. The last macroblock of the previous slice and the first macroblock of the next slice are continuous, and it is not allowed to form macroblock overlap between slices. When the screen size is determined, the number of macro blocks per screen is uniquely determined.
[0029]
On the other hand, in order to avoid signal degradation due to decoding and encoding, it is desirable to edit on the encoded data. At this time, the P picture and the B picture require the temporally previous picture or the previous and subsequent pictures for decoding. For this reason, the editing unit cannot be set to one frame unit. In consideration of this point, in this embodiment, one GOP is made up of one I picture.
[0030]
Further, for example, a recording area in which recording data for one frame is recorded is a predetermined one. Since MPEG2 uses variable length coding, the amount of data generated for one frame is controlled so that data generated in one frame period can be recorded in a predetermined recording area. Further, in this embodiment, one slice is composed of one macro block and one macro block is applied to a fixed frame having a predetermined length so as to be suitable for recording on a magnetic tape. In MPEG, one slice is usually composed of one stripe (16 lines), and variable length coding starts from the left end of the screen and ends at the right end. Therefore, when the MPEG elementary stream is recorded as it is by the VTR, the reproducible part concentrates on the left end of the screen during high speed reproduction and cannot be uniformly updated. Further, since the arrangement of data on the tape cannot be predicted, uniform screen updating cannot be performed if the tape pattern is traced at a constant interval. Furthermore, if an error occurs even at one location, it affects the right edge of the screen and cannot be restored until the next slice header is detected. For this purpose, one slice is composed of one macroblock.
[0031]
FIG. 1 shows an example of the configuration of the recording side of the recording / reproducing apparatus according to this embodiment. At the time of recording, a digital video signal is input from the terminal 101 via a receiving unit of a predetermined interface, for example, SDI (Serial Data Interface). SDI is an interface defined by SMPTE for transmitting (4: 2: 2) component video signals, digital audio signals and additional data. The input video signal is subjected to DCT (Discrete Cosine Transform) processing in the
[0032]
On the other hand, SDTI (Serial Data Transport Interface) format data, which is an interface defined by ANSI / SMPTE 305M, is input through the
[0033]
The elementary stream selected and output by the
[0034]
Since the video data of the elementary stream is variable-length encoded, the data lengths of the macroblocks are not uniform. In the packing and shuffling
[0035]
Video data and system data from the packing and shuffling unit 107 (hereinafter, unless otherwise required, system data is also simply referred to as video data) is supplied to the
[0036]
The output of the
[0037]
Audio data is supplied from an
[0038]
Audio data and AUX from the AUX adding unit 114 (hereinafter referred to simply as audio data including AUX unless otherwise required) are supplied to the
[0039]
The output of the
[0040]
You may perform a scramble process with respect to recording data as needed. Also, digital modulation may be performed during recording, and
[0041]
FIG. 2 shows an example of the configuration on the reproduction side of one embodiment of the present invention. A reproduction signal reproduced by the
[0042]
The output of the
[0043]
The video data from the
[0044]
The output of the
[0045]
The output of the deshuffling and
[0046]
Since the DCT coefficients are arranged from the DC component and the low-frequency component to the high-frequency component across the DCT block, a macroblock is configured even if the DCT coefficient is ignored from a certain point in this way. For each DCT block, DCT coefficients from DC and low frequency components can be distributed evenly.
[0047]
The output of the
[0048]
As for the input / output of the
[0049]
The output of the
[0050]
The audio data separated by the
[0051]
The output of the
[0052]
Although omitted in FIGS. 1 and 2, a timing generator for generating a timing signal synchronized with input data, a system controller (microcomputer) for controlling the overall operation of the recording / reproducing apparatus, and the like are provided. .
[0053]
In this embodiment, the signal recording on the magnetic tape is performed by a helical scan method in which an oblique track is formed by a magnetic head provided on a rotating rotary head. A plurality of magnetic heads are provided on the rotary drum at positions facing each other. That is, when the magnetic tape is wound around the rotary head with a winding angle of about 180 °, a plurality of tracks can be simultaneously formed by rotating the rotary head at 180 °. Further, two magnetic heads having different azimuths are used as one set. The plurality of magnetic heads are arranged so that adjacent tracks have different azimuths.
[0054]
FIG. 3 shows an example of a track format formed on the magnetic tape by the rotary head described above. This is an example in which video and audio data per frame are recorded in 8 tracks. For example, an interlace signal (480i signal) and an audio signal having a frame frequency of 29.97 Hz, a rate of 50 Mbps, an effective line number of 480, and an effective horizontal pixel number of 720 pixels are recorded. Further, an interlace signal (576i signal) and an audio signal having a frame frequency of 25 Hz, a rate of 50 Mbps, an effective line number of 576, and an effective horizontal pixel number of 720 pixels can be recorded in the same tape format as in FIG.
[0055]
One segment is composed of two tracks of different azimuths. That is, 8 tracks are composed of 4 segments. A track number [0] and a track number [1] corresponding to azimuth are assigned to a set of tracks constituting a segment. In the example shown in FIG. 3, the track numbers are interchanged between the first 8 tracks and the second 8 tracks, and different track sequences are attached to each frame. As a result, even if one of the pair of magnetic heads having different azimuths becomes unreadable due to clogging, for example, the influence of the error can be reduced using the data of the previous frame.
[0056]
In each of the tracks, a video sector in which video data is recorded is disposed on both ends, and an audio sector in which audio data is recorded is disposed between the video sectors. FIG. 3 and FIG. 4 described later show the arrangement of audio sectors on the tape.
[0057]
In the track format shown in FIG. 3, 8-channel audio data can be handled. A1 to A8 indicate
[0058]
In FIG. 3, since audio data for one field is recorded on four tracks, two ECC blocks per channel of audio data are recorded on four tracks. Data of two ECC blocks (including outer code parity) are divided into four sectors, and are distributed and recorded on four tracks as shown in FIG. A plurality of sync blocks included in two ECC blocks are shuffled. For example, a 2 ECC block of
[0059]
In this example, video data for 4 ECC blocks is shuffled (interleaved) with respect to one track, and is divided into each sector by Upper Side and Lower Side and recorded. A system area is provided at a predetermined position in the video sector of the Lower Side.
[0060]
In FIG. 3, SAT1 (Tr) and SAT2 (Tm) are areas in which servo lock signals are recorded. In addition, gaps (Vg1, Sg1, Ag, Sg2, Sg3, and Vg2) having a predetermined size are provided between the recording areas.
[0061]
FIG. 3 shows an example in which data per frame is recorded in 8 tracks, but data per frame can be recorded in 4 tracks, 6 tracks, etc. depending on the format of data to be recorded and reproduced. FIG. 4A shows a format in which one frame has 6 tracks. In this example, the track sequence is only [0].
[0062]
As shown in FIG. 4B, the data recorded on the tape is composed of a plurality of blocks called “sink blocks” divided at equal intervals. FIG. 4C schematically shows the configuration of the sync block. As will be described in detail later, the sync block is composed of a sync pattern for detecting synchronization, an ID for identifying each sync block, a DID indicating the content of subsequent data, a data packet, and an inner code parity for error correction. Is done. Data is handled as a packet in sync block units. That is, the smallest data unit to be recorded or reproduced is one sync block. A large number of sync blocks are arranged (FIG. 4B) to form, for example, a video sector (FIG. 4A).
[0063]
FIG. 5 more specifically shows the data structure of the sync block of video data, which is the minimum unit of recording / reproduction. In this embodiment, data of one or two macroblocks (VLC data) is stored in one sync block according to the format of video data to be recorded, and the size of one sync block is The length is changed according to the format of the video signal to be handled. As shown in FIG. 5A, one sync block is composed of a 2-byte SYNC pattern, 2-byte ID, 1-byte DID, for example, a data area variably defined between 112 bytes and 206 bytes, and 12 bytes from the top. Consists of byte parity (internal code parity). The data area is also called a payload.
[0064]
The first 2-byte SYNC pattern is for synchronization detection and has a predetermined bit pattern. Synchronization detection is performed by detecting a SYNC pattern that matches a unique pattern.
[0065]
FIG. 6A shows an example of bit assignments of ID0 and ID1. The ID has important information inherent to the sync block, and 2 bytes (ID0 and ID1) are assigned to each ID. ID0 stores identification information (SYNC ID) for identifying each sync block in one track. The SYNC ID is, for example, a serial number assigned to the sync block in each sector. The SYNC ID is expressed by 8 bits. A SYNC ID is assigned to each of the video sync block and the audio sync block.
[0066]
ID1 stores information related to the track of the sync block. If the MSB side is
[0067]
FIG. 6B shows an example of DID bit assignment in the case of video. The DID stores information related to the payload. Based on the value of
[0068]
FIG. 6C shows an example of DID bit assignment in the case of audio.
[0069]
Returning to FIG. 5, FIGS. 5B to 5E show examples of the above-described payload. FIG. 5B and FIG. 5C show examples in which video data (unequal length data) of 1 and 2 macroblocks are stored in the payload, respectively. In the example of storing one macroblock shown in FIG. 5B, a data length indicator LT indicating the length of unequal length data corresponding to the macroblock is arranged in the first 3 bytes. The data length indicator LT may or may not include its own length. Further, in the example shown in FIG. 5C in which two macroblocks are stored, the data length indicator LT of the first macroblock is arranged at the head, and then the first macroblock is arranged. Then, a data length indicator LT indicating the length of the second macroblock is arranged following the first macroblock, and then the second macroblock is arranged. The data length indicator LT is information necessary for depacking.
[0070]
FIG. 5D shows an example where video AUX (auxiliary) data is stored for the payload. The head data length indicator LT describes the length of the video AUX data. Following this data length indicator LT, 5-byte system information, 12-byte PICT information, and 92-byte user information are stored. The remaining portion with respect to the length of the payload is reserved.
[0071]
FIG. 5E shows an example where audio data is stored in the payload. Audio data can be packed over the entire length of the payload. The audio signal is not subjected to compression processing or the like, for example, is handled in the PCM format. However, the present invention is not limited to this, and audio data compressed and encoded by a predetermined method can be handled.
[0072]
In this embodiment, the length of the payload, which is the data storage area of each sync block, is optimally set for each of the video sync block and the audio sync block, and is not equal to each other. Also, the length of the sync block for recording video data and the length of the sync block for recording audio data are set to optimum lengths according to the signal format. Thereby, a plurality of different signal formats can be handled in a unified manner.
[0073]
FIG. 7A shows the order of DCT coefficients in video data output from the DCT circuit of the MPEG encoder. Starting from the upper left DC component in the DCT block, DCT coefficients are output in a zigzag scan in the direction of increasing horizontal and vertical spatial frequencies. As a result, as shown in FIG. 7B, a total of 64 (8 pixels × 8 lines) DCT coefficients are arranged in order of frequency components.
[0074]
This DCT coefficient is variable length encoded by the VLC part of the MPEG encoder. That is, the first coefficient is fixed as a DC component, and codes are assigned from the next component (AC component) corresponding to a run of zero and the subsequent level. Therefore, the variable length coding output for the coefficient data of the AC component is changed from the low (low order) coefficient of the frequency component to the high (high order) coefficient.1, AC2, ACThree, ... are arranged. The elementary stream includes variable length encoded DCT coefficients.
[0075]
In the
[0076]
FIG. 8 schematically shows the rearrangement of DCT coefficients in the
[0077]
As described above, the
[0078]
That is, in the macro block, the DCT block Y1, Y2, YThreeAnd YFour, DCT block Cb1, Cb2, Cr1And Cr2DCT coefficients are arranged in order of frequency from the DC component and the low-frequency component to the high-frequency component. Then, a set consisting of a continuous run and the following level is divided into [DC, AC1, AC2, ACThree,...], And variable length coding is performed so that codes are assigned.
[0079]
In the
[0080]
The rearranged coefficient data is DC (Y1), DC (Y2), DC (YThree), DC (YFour), DC (Cb1), DC (Cb2), DC (Cr1), DC (Cr2), AC1(Y1), AC1(Y2), AC1(YThree), AC1(YFour), AC1(Cb1), AC1(Cb2), AC1(Cr1), AC1(Cr2), ... Where DC, AC1, AC2,... Are each code of a variable length code assigned to a set consisting of a run and a subsequent level, as described with reference to FIG.
[0081]
The converted elementary stream in which the order of the coefficient data is rearranged by the
[0082]
FIG. 9 schematically illustrates a macroblock packing process in the packing and shuffling
[0083]
As an example is shown in FIG. 9A, the lengths of 8 macroblocks are different from each other by variable length coding. In this example, the data of the
[0084]
By the packing process, macroblocks are packed into a fixed length frame having a length of one sync block. The reason why data can be packed without excess or deficiency is that the amount of data generated in one frame period is controlled to a fixed amount. As shown in an example in FIG. 9B, a macroblock that is longer than one sync block is divided at a position corresponding to the sync block length. Of the divided macroblocks, the portion that overflows from the sync block length (overflow portion) is packed into an area that is vacant in order from the top, that is, after the macroblock whose length is less than the sync block length.
[0085]
In the example of FIG. 9B, the portion of the
[0086]
The length of the unequal length data corresponding to each macroblock can be checked in advance by the
[0087]
FIG. 10 shows an example of an error correction code used in one embodiment, FIG. 10A shows a 1 ECC block of the error correction code for video data, and FIG. 10B shows a 1 ECC block of the error correction code for audio data. . In FIG. 10A, VLC data is data from the packing and shuffling
[0088]
That is, a parity of 10 bytes of outer code is generated from a predetermined number of symbols (bytes) aligned in the vertical direction of the VLC data array, and ID, DID and VLC data (or outer code parity) aligned in the horizontal direction. The parity of the inner code is generated from a predetermined number of symbols (bytes). In the example of FIG. 10A, 10 outer code parity symbols and 12 inner code parity symbols are added. A Reed-Solomon code is used as a specific error correction code. In FIG. 10A, the lengths of VLC data in one SYNC block are different because they correspond to different frame frequencies of video data, such as 59.94 Hz, 25 Hz, and 23.976 Hz.
[0089]
As shown in FIG. 10B, the product code for audio data is similar to that for video data, and generates 10-symbol outer-code parity and 12-symbol inner-code parity. In the case of audio data, the sampling frequency is 48 kHz, for example, and one sample is quantized to 24 bits. One sample may be converted to another number of bits, for example, 16 bits. The amount of audio data in one SYNC block differs according to the difference in frame frequency described above. As described above, two ECC blocks are formed by one field of audio data / one channel. One ECC block includes even-numbered and odd-numbered audio samples and audio AUX as data.
[0090]
FIG. 11 shows a more specific configuration of the recording side configuration according to the embodiment of the present invention. In FIG. 11,
[0091]
FIG. 12 shows an example of the address configuration of the
[0092]
Each bank of the video area is further divided into a
[0093]
In this embodiment, by referring to the data length indicator LT of each macroblock, the packing unit 107a divides the fixed frame length data and the overflow data that is a part exceeding the fixed frame into separate areas of the
[0094]
Next, the
[0095]
In this way, block length data and overflow data are separated and data is written to the
[0096]
When the processing of a predetermined number of ECC blocks (for example, 32 ECC blocks) included in one picture is completed, the packing of one picture and the encoding of the outer code are completed. Then, the data read from the
[0097]
A sync block called null sync in which valid data is not arranged may be introduced in the ECC block so that the configuration of the ECC block is flexible with respect to the difference in the format of the recorded video signal. The null sync is generated in the packing unit 107 a of the packing and shuffling
[0098]
In the case of audio data, even-numbered samples and odd-numbered samples of audio data in one field constitute separate ECC blocks. Since the ECC outer code sequence is composed of audio samples in the input order, the
[0099]
Further, a CPU interface indicated by 126 is provided, which receives data from an
[0100]
As described above, the
[0101]
In the present invention, since non-image data is handled in the same way as picture data, non-image data is also supplied from the
[0102]
A data interface between the
[0103]
In the case of slice X, sync pulses are generated with a period of 544 clocks, and data is transferred in a period of a maximum of 512 clocks (512 bytes) in 544 clocks. In each cycle, one slice of picture data is transferred. Therefore, there is a period of 544-512 = 32 clocks periodically. Although the maximum length of picture data generated in one macroblock is difficult to estimate, in this embodiment, for example, the
[0104]
In the packing and shuffling unit 107 (packing unit 107a), as shown in FIG. 13D, the data length of the slice transferred in each cycle is measured by measuring the high-level period of the enable signal after being reset by the sync pulse. Can be detected. There is a method of counting the data received in the packing and shuffling
[0105]
FIG. 14 illustrates an interface for transferring
[0106]
As shown in FIG. 13E, slice X has a fixed 3-byte start code (000001) H (H means hexadecimal) followed by slice start codes (01) H to (AF) H. It is prescribed as follows. On the other hand, in the case of
[0107]
In summary, the above-described interface has a fixed sync pulse interval of 544 clocks in slice X, indicates an effective data interval with an enable signal, has a maximum length of 512 clocks, and the rise of the enable signal within the sync pulse interval. And one fall each. For
[0108]
The sync pulse is generated by the
[0109]
[0110]
Furthermore, as described above, the interface for transferring data will be described in more detail with reference to FIG. FIG. 15A shows a sync pulse, and FIG. 15B shows a video elementary stream from the
[0111]
When
[0112]
The contents of each data and the multiplexing method are defined in MPEG syntax (ISO / IEC 13818-2). To explain a part thereof, FIG. 16 shows the definition of the start code value. The start code has a unique bit pattern in the video elementary stream. Each start code is a two-byte predetermined bit string (0000 0000 0000 0000) followed by a start code value. For example, slice start code is defined as (01 to AF), and sequence header code is defined as (B3).
[0113]
FIG. 17 shows MPEG syntax (video sequence). In FIG. 17, data as described above, that is, sequence header (), sequence extension (), extension and user data (), group of pictures header (), picture header (), picture coding extension () are sliced. Treated as 0 (non-image data).
[0114]
FIG. 18 shows the contents of the Sequence header. For example, horizontal size value (12 bits) represents the number of horizontal pixels of the image, and bit rate value represents the bit rate. FIG. 19 shows the contents of the Group of pictures header. For example, time code indicates the time from the beginning of the sequence, and closed gop indicates that an image in the GOP can be reproduced independently of other GOPs. FIG. 20 shows the contents of the picture header. For example, picture coding type indicates the picture type, and full pel forward vector indicates whether the accuracy of the motion vector is an integer pixel or a half pixel unit.
[0115]
In the embodiment described above, the data width of the interface has been described as 8 bits. However, other bit widths may be used, and the values of the data transferable period (512 clocks) and the empty period (32 clocks) are examples. If it is shorter than one frame, various values can be set according to the data length of the slice X. Also, the position and polarity of the sync pulse data are not limited to those of the embodiment. Furthermore, the present invention can be applied not only to MPEG2 but also to MPEG1 streams, but it can also be applied to video streams in which the header portion exists in the stream other than MPEG. . Furthermore, the method of calculating slice length information is not limited to the method of one embodiment. Furthermore, the sync pulse is not limited to be generated by the stream converter, but can be generated by the packing and shuffling unit analyzing the stream.
[0116]
The present invention is also applicable to the case of using a recording medium such as an optical tape other than a magnetic tape, an optical disk (a magneto-optical disk, a phase change type disk), or the like and transmitting data via a transmission line. Can do.
[0117]
【The invention's effect】
In the present invention, when image data is transferred, by providing an empty period in which data is not transferred periodically, processing of other audio data, AUX data, etc. can be performed in this empty period. Therefore, it is not necessary to have a buffer memory for processing other data, and the panda width becomes high, and the problem of increasing power consumption does not occur.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a recording side according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the playback side according to the embodiment of the present invention.
FIG. 3 is a schematic diagram illustrating an example of a track format.
FIG. 4 is a schematic diagram illustrating another example of a track format.
FIG. 5 is a schematic diagram illustrating a plurality of examples of the configuration of a sync block.
FIG. 6 is a schematic diagram showing contents of ID and DID added to a sync block.
FIG. 7 is a schematic diagram for explaining a video encoder output method and variable-length coding.
FIG. 8 is a schematic diagram for explaining rearrangement of the output order of the video encoder;
FIG. 9 is a schematic diagram for explaining a process of packing the data in which the order is rearranged into a sync block;
FIG. 10 is a schematic diagram for explaining error correction codes for video data and audio data;
FIG. 11 is a more specific block diagram of a recording signal processing unit.
FIG. 12 is a schematic diagram showing a memory space of a memory to be used.
FIG. 13 is a timing chart for explaining a method of transferring image data.
FIG. 14 is a timing chart for explaining a non-image data transfer method;
FIG. 15 is a timing chart for explaining a video stream transfer method;
FIG. 16 is a schematic diagram illustrating a definition of a start code value of MPEG syntax.
FIG. 17 is a schematic diagram for explaining MPEG syntax;
FIG. 18 is a schematic diagram for explaining MPEG syntax;
FIG. 19 is a schematic diagram for explaining MPEG syntax;
FIG. 20 is a schematic diagram for explaining MPEG syntax;
[Explanation of symbols]
106: Stream converter, 107: Packing and shuffling unit, 109, 116 ... Outer encoder, 110, 117 ... Shuffling unit, 118 ... ID adding unit, 120 ... Synchronization Additional unit, 160 ... main memory
Claims (8)
画像データを圧縮符号化することにより発生した可変長画像データと、上記可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、上記可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、上記ストリームと同期して上記転送可能な期間内で転送されるデータの長さを示すイネーブル信号を出力するストリーム変換部と、
上記ストリームおよび上記イネーブル信号が入力され、上記イネーブル信号からデータの長さを検出する処理と、上記可変長画像データおよび上記非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、上記転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理部と、
上記処理部の出力データに対して同期信号を付加し、シンクブロックを形成する同期信号付加部と、
上記同期信号付加部からの上記シンクブロックが連続する出力信号を記録媒体に記録する記録手段とからなることを特徴とするデータ記録装置。In a data recording apparatus for recording image data and audio data on a recording medium,
A stream containing variable-length image data generated by compression-coding image data and non-image data such as a header associated with the variable-length image data, and the variable-length image data can be transferred to a processing unit A stream conversion unit that outputs a enable signal indicating a length of data that is transferred within a period that can be transferred in synchronization with the stream, and a stream that is provided with a period that is not transferred for each period;
The stream and the enable signal are input, the length of the data is detected from the enable signal, the variable-length image data and the non-image data are arranged in a plurality of fixed frames, and overflow data that protrudes from the fixed frame is detected. A processing unit that performs packing processing to pack in an empty area generated in another fixed frame, error correction encoding processing, and error correction encoding processing of audio data performed in the period not transferred,
A synchronization signal adding unit for adding a synchronization signal to the output data of the processing unit to form a sync block;
A data recording apparatus comprising: recording means for recording on the recording medium an output signal in which the sync blocks from the sync signal adding unit are continuous.
上記可変長画像データがＤＣＴと可変長符号化とを組み合わせた圧縮符号化により発生したものであることを特徴とするデータ記録装置。In claim 1,
A data recording apparatus, wherein the variable length image data is generated by compression encoding combining DCT and variable length encoding.
上記処理部がメモリを有し、上記可変長画像データに対する処理と上記オーディオデータに対する処理とが上記メモリを使用してなされることを特徴とするデータ記録装置。In claim 1,
The data recording apparatus, wherein the processing unit includes a memory, and the processing for the variable-length image data and the processing for the audio data are performed using the memory.
上記メモリがＤＲＡＭであることを特徴とするデータ記録装置。In claim 3,
A data recording apparatus, wherein the memory is a DRAM.
上記可変長画像データが１画面を分割した２次元領域毎に発生し、１画面で発生する上記可変長画像データを１画面の上記２次元領域の個数の整数倍の個数の上記固定枠にパッキングし、上記非画像データを一つの上記固定枠にパッキングすることを特徴とするデータ記録装置。In claim 1,
The variable-length image data is generated for each two-dimensional area obtained by dividing one screen, and the variable-length image data generated on one screen is packed in the fixed frame that is an integral multiple of the number of the two-dimensional areas on one screen. The non-image data is packed in one fixed frame.
画像データを圧縮符号化することにより発生した可変長画像データと、上記可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、上記可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、上記ストリームと同期して上記転送可能な期間内で転送されるデータの長さを示すイネーブル信号とを、ストリーム変換部が出力するステップと、
上記ストリームおよび上記イネーブル信号が入力され、上記イネーブル信号からデータの長さを検出する処理と、上記可変長画像データおよび上記非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、上記転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理ステップと、
上記処理ステップからの出力データに対して同期信号を付加し、シンクブロックを形成する同期信号付加ステップと、
上記同期信号付加ステップからの上記シンクブロックが連続する出力信号を記録媒体に記録する記録ステップとからなることを特徴とするデータ記録方法。In a data recording method for recording image data and audio data on a recording medium,
A stream containing variable-length image data generated by compression-coding image data and non-image data such as a header related to the variable-length image data, and the variable-length image data can be transferred to a processing unit A stream converter that outputs a stream provided with a non-transfer period and an enable signal indicating the length of data transferred within the transferable period in synchronization with the stream;
The stream and the enable signal are input, the length of the data is detected from the enable signal, the variable-length image data and the non-image data are arranged in a plurality of fixed frames, and overflow data that protrudes from the fixed frame is detected. A processing step of performing packing processing to pack in an empty area generated in another fixed frame, error correction encoding processing, and error correction encoding processing of audio data performed in the period not to be transferred;
Adding a synchronization signal to the output data from the processing step to form a sync block; and
A data recording method comprising: a recording step of recording an output signal in which the sync blocks from the synchronization signal adding step are continuous on a recording medium.
画像データを圧縮符号化することにより発生した可変長画像データと、上記可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、上記可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、上記ストリームと同期して上記転送可能な期間内で転送されるデータの長さを示すイネーブル信号を出力するストリーム変換部と、
上記ストリームおよび上記イネーブル信号が入力され、上記イネーブル信号からデータの長さを検出する処理と、上記可変長画像データおよび上記非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、上記転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理部とからなることを特徴とするデータ処理装置。In a data processing apparatus for processing image data and audio data,
A stream containing variable-length image data generated by compression-coding image data and non-image data such as a header associated with the variable-length image data, and the variable-length image data can be transferred to a processing unit A stream conversion unit that outputs a enable signal indicating a length of data that is transferred within a period that can be transferred in synchronization with the stream, and a stream that is provided with a period that is not transferred for each period;
The stream and the enable signal are input, the length of the data is detected from the enable signal, the variable-length image data and the non-image data are arranged in a plurality of fixed frames, and overflow data that protrudes from the fixed frame is detected. It comprises a processing unit that performs packing processing that packs in an empty area generated in another fixed frame, error correction encoding processing, and error correction encoding processing of audio data that is performed during the period not transferred. A data processing device.
画像データを圧縮符号化することにより発生した可変長画像データと、上記可変長画像データと関連するヘッダ等の非画像データとを含むストリームであって、上記可変長画像データを処理部へ転送可能な期間毎に、転送しない期間を設けたストリームと、上記ストリームと同期して上記転送可能な期間内で転送されるデータの長さを示すイネーブル信号とを、ストリーム変換部が出力するステップと、
上記ストリームおよび上記イネーブル信号が入力され、上記イネーブル信号からデータの長さを検出する処理と、上記可変長画像データおよび上記非画像データを複数の固定枠に配置し、固定枠からはみ出すオーバーフローデータを他の固定枠に生じた空き領域に詰め込むパッキング処理と、エラー訂正符号化の処理と、上記転送しない期間においてなされるオーディオデータのエラー訂正符号化の処理とを行う処理ステップとからなることを特徴とするデータ処理方法。In a data processing method for processing image data and audio data,
A stream containing variable-length image data generated by compression-coding image data and non-image data such as a header related to the variable-length image data, and the variable-length image data can be transferred to a processing unit A stream converter that outputs a stream provided with a non-transfer period and an enable signal indicating the length of data transferred within the transferable period in synchronization with the stream;
The stream and the enable signal are input, the length of the data is detected from the enable signal, the variable-length image data and the non-image data are arranged in a plurality of fixed frames, and overflow data that protrudes from the fixed frame is detected. It comprises a processing step for performing packing processing to pack in an empty area generated in another fixed frame, error correction encoding processing, and error correction encoding processing of audio data performed in the above-mentioned non-transfer period. Data processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32230198A JP3978903B2 (en) | 1998-11-12 | 1998-11-12 | Data recording apparatus, data recording method, data processing apparatus, and data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32230198A JP3978903B2 (en) | 1998-11-12 | 1998-11-12 | Data recording apparatus, data recording method, data processing apparatus, and data processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152176A JP2000152176A (en) | 2000-05-30 |
| JP3978903B2 true JP3978903B2 (en) | 2007-09-19 |
Family
ID=18142114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32230198A Expired - Fee Related JP3978903B2 (en) | 1998-11-12 | 1998-11-12 | Data recording apparatus, data recording method, data processing apparatus, and data processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3978903B2 (en) |
-
1998
- 1998-11-12 JP JP32230198A patent/JP3978903B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000152176A (en) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100654072B1 (en) | Data recording apparatus, data recording method, data recording and reproducing apparatus, data recording and reproducing method, data reproducing apparatus, data reproducing method, data record medium, digital data reproducing apparatus, digital data reproducing method, synchronization detecting apparatus, and synchronization detecting method | |
| JP4010066B2 (en) | Image data recording apparatus and recording method, and image data recording / reproducing apparatus and recording / reproducing method | |
| KR100668993B1 (en) | Signal processing apparatus and method, recording apparatus, playback apparatus, recording and playback apparatus, and stream processing apparatus and method | |
| JP4182641B2 (en) | Data processing apparatus and method, and recording apparatus and method | |
| US6643729B2 (en) | Data processing apparatus and data recording apparatus | |
| KR100796885B1 (en) | Signal processor | |
| JP2000149454A (en) | Signal processor and processing method, recording device reproducing device, recording and reproducing device, and video signal recording and reproducing device | |
| KR100739262B1 (en) | Recording apparatus and method, and reproducing apparatus and method | |
| JP3932721B2 (en) | Data recording apparatus, data recording / reproducing apparatus, data recording method, and data recording / reproducing method | |
| KR100681992B1 (en) | Recording apparatus and method | |
| JP3978903B2 (en) | Data recording apparatus, data recording method, data processing apparatus, and data processing method | |
| JP2000132914A (en) | Data processor and data recorder | |
| JP2000149455A (en) | Data recorder and recording method, data recording and reproducing device and recording and reproducing method, and data recording medium | |
| JP4038949B2 (en) | Playback apparatus and method | |
| JP2001155437A (en) | Device and method for recording | |
| JP4010067B2 (en) | Synchronization detecting device and method, and reproducing device | |
| JP4432284B2 (en) | Recording apparatus and method | |
| JP2000315386A (en) | Addressing method of memory and data processor | |
| JP2000152174A (en) | Image data processor its method and image data recorder | |
| JP2001169243A (en) | Recorder and recording method, and reproducing device and reproducing method | |
| JP2000134110A (en) | Data transmitter and transmission method | |
| JP2000312341A (en) | Data transmitter, method therefor, recorder and recording and reproducing device | |
| JP2000149441A (en) | Data processing device, data processing method, and data reproducing device | |
| JP2000149426A (en) | Memory accessing device and method therefor, and data processor | |
| JP2000152177A (en) | Data processor and its method, and data reproducing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |