JP4038949B2 - 再生装置および方法 - Google Patents
再生装置および方法 Download PDFInfo
- Publication number
- JP4038949B2 JP4038949B2 JP34208399A JP34208399A JP4038949B2 JP 4038949 B2 JP4038949 B2 JP 4038949B2 JP 34208399 A JP34208399 A JP 34208399A JP 34208399 A JP34208399 A JP 34208399A JP 4038949 B2 JP4038949 B2 JP 4038949B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- block
- code
- length
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、可変長符号化によって圧縮符号化された画像データの記録媒体への記録、ならびに、記録媒体からの再生を行う再生装置および方法に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ(Video Tape Recorder) に代表されるように、ディジタルビデオ信号およびディジタルオーディオ信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタルビデオ信号は、データ容量が膨大となるため、所定の方式で圧縮符号化されて記録媒体に記録されるのが一般的である。近年では、ＭＰＥＧ２(Moving Picture Experts Group 2)方式が圧縮符号化の標準的な方式として知られている。
【０００３】
上述のＭＰＥＧ２を始めとする画像圧縮技術では、可変長符号を用いてデータの圧縮率を高めている。したがって、圧縮しようとする画像の複雑さによって、１画面分、例えば１フレームあるいは１フィールド当たりの圧縮後の符号量が変動する。
【０００４】
一方、磁気テープやディスク記録媒体といった記録媒体にビデオ信号を記録する記録装置、特にＶＴＲにおいては、１フレームや１フィールドが等長化の単位とされる。すなわち、１フレームや１フィールド当たりの符号量を一定値以下に収め、セクタやセグメントと称される、記憶媒体の一定容量の領域に記録する。
【０００５】
ＶＴＲに等長化方式が採用される最大の理由は、記録媒体である磁気テープ上での等長化単位、すなわち、１フレームや１フィールド単位での編集が可能になるためである。また、記録時間に比例して記録媒体が消費されるため、記録総量や残量を、正確に求めることができ、高速サーチによる頭出し処理も容易に行えるという利点がある。また、記録媒体の制御の観点からは、例えば記録媒体が磁気テープであれば、等長化方式でデータを記録することで、力学的に駆動される磁気テープを等速度に保って走行させることで安定化を図れるという利点を有する。これらの利点は、ディスク記録媒体であっても、同様に適用させることができる。
【０００６】
可変長符号化方式と、等長化方式とでは、上述のように、相反する性質を有する。近年では、ビデオ信号を非圧縮のベースバンド信号で入力し、内部でＭＰＥＧ２やＪＰＥＧ(Joint Photographic Experts Group)といった可変長符号により圧縮符号化を施して、記録媒体に記録する記録装置が出現している。また、可変長符号を用いて圧縮符号化されたストリームを直接的に入出力および記録／再生するような記録再生装置も提案されている。このような記録再生装置では、例えばＭＰＥＧ２方式で圧縮符号化されたストリームが、機器に直接的に入力され、また、機器から出力される。
【０００７】
なお、繁雑さを避けるため、以下では、ディジタルビデオ信号の等長化の単位をフレームとし、可変長符号を用いた圧縮符号化方式をＭＰＥＧ２であるとして説明する。
【０００８】
【発明が解決しようとする課題】
ベースバンド信号をＭＰＥＧ方式に基づきエンコードして記録する場合には、記録装置のエンコーダが等長化処理を行うことになる。すなわち、記録装置に入力されたディジタルビデオ信号がＭＰＥＧエンコーダに供給され、フレーム毎に一定の符号量に納まるようにエンコードされる。エンコードされたディジタルビデオ信号は、フレーム毎に区切られた記録媒体上の領域に、フレーム分のストリームが記録される。例えば、記録媒体がヘリカルトラックで記録がなされる磁気テープであれば、所定数のトラック毎に１フレーム分のストリームが記録される。この場合には、何ら問題は生じない。
【０００９】
ここで、予め可変長符号を用いて圧縮符号化されたストリームが記録装置に直接的に入力され、入力されたこのストリームを例えば上述の磁気テープに記録する場合について考える。この場合には、入力されたストリームにおいて、等長化単位（１フレーム）の符号量がその上限に収まっている保証が無いという問題点があった。
【００１０】
例えば、ある記録装置で、１フレーム分のデータを４トラック以内に記録されるように定められている場合に、入力されたストリームが４トラックに記録可能なデータ量を超過しているような場合が有り得る。
【００１１】
このとき、若し、その記録装置が、ストリームを入力された順で、フレーム毎に記録するようなものであれば、入力されたあるフレームの符号量がフレームを記録可能な容量の上限を越えた場合、そのフレームのストリームは、その機器に所定の等長化容量分だけが記録され、残りは捨てられることになる。この場合には、そのフレームを再生した場合に、例えば画面の下端部が欠落してしまうことになるという問題点があった。
【００１２】
また、この場合には、捨てられたストリームは、途中で切断されたことになり、再生時には、次フレームとの境界においてシンタクスエラーが発生する可能性がある。すなわち、ストリームには、所定のシンタクスに基づき、ストリームの内容を示す情報が所定の位置に格納されており、この情報に基づき、再生時の復号化処理などが行われる。したがって、再生時にシンタクスエラーが発生すると、ストリームの復号化処理を行うデコーダが暴走したり、ハングアップしてしまう可能性もあるという問題点があった。
【００１３】
さらに、入力されたストリームが確実に、その装置に対応した等長化処理がなされているという前提で設計された、エラーに対する耐性が弱い記録装置も存在する。このような記録装置では、ストリームの記録の段階で、処理に破綻を来すことになるという問題点があった。
【００１４】
この場合、例えば、入力ストリームの、その装置の等長化の長さから溢れた符号が次のフレームの領域に侵入し、次のフレームの容量と記録位置を圧迫することになる。この段階で、既に記録媒体を等長化する意味が失われている。飴フレームのデータに圧迫されて押された次フレームが、さらに次のフレームを押すことが繰り返され、やがて、記録系のメモリがオーバーフローしてしまうという危険性もある。
【００１５】
したがって、この発明の目的は、装置の等長化の容量よりも大きな容量の等長化ストリームが入力されても破綻しない再生装置および方法を提供することにある。
【００１８】
また、この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生装置において、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生手段と、再生手段で再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断するチェック手段と、再生手段で再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替える符号配列逆変換手段とを有し、チェック手段によるチェックの結果、再生手段で再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生装置である。
【００１９】
また、この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生方法において、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生のステップと、再生のステップで再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断するチェックのステップと、再生のステップで再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替える符号配列逆変換のステップとを有し、チェックのステップによるチェックの結果、再生のステップで再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生方法である。
【００２１】
この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生し、再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断し、再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替えるようにされ、チェックの結果、再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしているため、記録時に規定のビットレートを越えるレートのデータストリームが入力され、入力されたデータストリームに対して等長化を行った際に等長化単位からはみ出て捨てられたブロックの終端を示す識別情報が欠損していても、再生に破綻を来すことが避けられる。
【００２２】
【発明の実施の形態】
以下、この発明をディジタルＶＴＲに対して適用した一実施形態について説明する。この一実施形態は、放送局の環境で使用して好適なもので、互いに異なる複数のフォーマットのビデオ信号の記録／再生を可能とするものである。
【００２３】
この一実施形態では、圧縮方式としては、例えばＭＰＥＧ２方式が採用される。ＭＰＥＧ２は、動き補償予測符号化と、ＤＣＴによる圧縮符号化とを組み合わせたものである。ＭＰＥＧ２のデータ構造は、階層構造をなしている。図１は、一般的なＭＰＥＧ２のデータストリームの階層構造を概略的に示す。図１に示されるように、データ構造は、下位から、マクロブロック層（図１Ｅ）、スライス層（図１Ｄ）、ピクチャ層（図１Ｃ）、ＧＯＰ層（図１Ｂ）およびシーケンス層（図１Ａ）となっている。
【００２４】
図１Ｅに示されるように、マクロブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、マクロブロックヘッダと複数のＤＣＴブロックとで構成される。スライス層は、図１Ｄに示されるように、スライスヘッダ部と、１以上のマクロブロックより構成される。ピクチャ層は、図１Ｃに示されるように、ピクチャヘッダ部と、１以上のスライスとから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、図１Ｂに示されるように、ＧＯＰヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。
【００２５】
Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２７】
ＧＯＰには、最低１枚のＩピクチャが含まれ、ＰおよびＢピクチャは、存在しなくても許容される。最上層のシーケンス層は、図１Ａに示されるように、シーケンスヘッダ部と複数のＧＯＰとから構成される。
【００２８】
ＭＰＥＧのフォーマットにおいては、スライスが１つの可変長符号系列である。可変長符号系列とは、可変長符号を正しく復号化しなければデータの境界を検出できない系列である。
【００２９】
また、シーケンス層、ＧＯＰ層、ピクチャ層およびスライス層の先頭には、それぞれ、バイト単位に整列された所定のビットパターンを有するスタートコードが配される。この、各層の先頭に配されるスタートコードを、シーケンス層においてはシーケンスヘッダコード、他の階層においてはスタートコードと称し、ビットパターンが〔００ ００ ０１ ｘｘ〕（１６進表記）とされる。２桁ずつ示され、〔ｘｘ〕は、各層のそれぞれで異なるビットパターンが配されることを示す。
【００３０】
すなわち、スタートコードおよびシーケンスヘッダコードは、４バイト（＝３２ビット）からなり、４バイト目の値に基づき、後に続く情報の種類を識別できる。これらスタートコードおよびシーケンスヘッダコードは、バイト単位で整列されているため、４バイトのパターンマッチングを行うだけで捕捉することができる。
【００３１】
さらに、スタートコードに続く１バイトの上位４ビットが、後述する拡張データ領域の内容の識別子となっている。この識別子の値により、その拡張データの内容を判別することができる。
【００３２】
なお、マクロブロック層およびマクロブロック内のＤＣＴブロックには、このような、バイト単位に整列された所定のビットパターンを有する識別コードは、配されない。
【００３３】
各層のヘッダ部について、より詳細に説明する。図１Ａに示すシーケンス層では、先頭にシーケンスヘッダ２が配され、続けて、シーケンス拡張３、拡張およびユーザデータ４が配される。シーケンスヘッダ２の先頭には、シーケンスヘッダコード１が配される。また、図示しないが、シーケンス拡張３およびユーザデータ４の先頭にも、それぞれ所定のスタートコードが配される。シーケンスヘッダ２からから拡張およびユーザデータ４までがシーケンス層のヘッダ部とされる。
【００３４】
シーケンスヘッダ２には、図２に内容と割当ビットが示されるように、シーケンスヘッダコード１、水平方向画素数および垂直方向ライン数からなる符号化画像サイズ、アスペクト比、フレームレート、ビットレート、ＶＢＶ(Video Buffering Verifier)バッファサイズ、量子化マトリクスなど、シーケンス単位で設定される情報がそれぞれ所定のビット数を割り当てられて格納される。
【００３５】
シーケンスヘッダに続く拡張スタートコード後のシーケンス拡張３では、図３に示されるように、ＭＰＥＧ２で用いられるプロファイル、レベル、色差フォーマット、プログレッシブシーケンスなどの付加データが指定される。拡張およびユーザデータ４は、図４に示されるように、シーケンス表示（）により、原信号のＲＧＢ変換特性や表示画サイズの情報を格納できると共に、シーケンススケーラブル拡張（）により、スケーラビリティモードやスケーラビリティのレイヤ指定などを行うことができる。
【００３６】
シーケンス層のヘッダ部に続けて、ＧＯＰが配される。ＧＯＰの先頭には、図１Ｂに示されるように、ＧＯＰヘッダ６およびユーザデータ７が配される。ＧＯＰヘッダ６およびユーザデータ７がＧＯＰのヘッダ部とされる。ＧＯＰヘッダ６には、図５に示されるように、ＧＯＰのスタートコード５、タイムコード、ＧＯＰの独立性や正当性を示すフラグがそれぞれ所定のビット数を割り当てられて格納される。ユーザデータ７は、図６に示されるように、拡張データおよびユーザデータを含む。図示しないが、拡張データおよびユーザデータの先頭には、それぞれ所定のスタートコードが配される。
【００３７】
ＧＯＰ層のヘッダ部に続けて、ピクチャが配される。ピクチャの先頭には、図１Ｃに示されるように、ピクチャヘッダ９、ピクチャ符号化拡張１０、ならびに、拡張およびユーザデータ１１が配される。ピクチャヘッダ９の先頭には、ピクチャスタートコード８が配される。また、ピクチャ符号化拡張１０、ならびに、拡張およびユーザデータ１１の先頭には、それぞれ所定のスタートコードが配される。ピクチャヘッダ９から拡張およびユーザデータ１１までがピクチャのヘッダ部とされる。
【００３８】
ピクチャヘッダ９は、図７に示されるように、ピクチャスタートコード８が配されると共に、画面に関する符号化条件が設定される。ピクチャ符号化拡張１０では、図８に示されるように、前後方向および水平／垂直方向の動きベクトルの範囲の指定や、ピクチャ構造の指定がなされる。また、ピクチャ符号化拡張１０では、イントラマクロブロックのＤＣ係数精度の設定、ＶＬＣタイプの選択、線型／非線型量子化スケールの選択、ＤＣＴにおけるスキャン方法の選択などが行われる。
【００３９】
拡張およびユーザデータ１１では、図９に示されるように、量子化マトリクスの設定や、空間スケーラブルパラメータの設定などが行われる。これらの設定は、ピクチャ毎に可能となっており、各画面の特性に応じた符号化を行うことができる。また、拡張およびユーザデータ１１では、ピクチャの表示領域の設定を行うことが可能となっている。さらに、拡張およびユーザデータ１１では、著作権情報を設定することもできる。
【００４０】
ピクチャ層のヘッダ部に続けて、スライスが配される。スライスの先頭には、図１Ｄに示されるように、スライスヘッダ１３が配され、スライスヘッド１３の先頭に、スライススタートコード１２が配される。図１０に示されるように、スライススタートコード１２は、当該スライスの垂直方向の位置情報を含む。スライスヘッダ１３には、さらに、拡張されたスライス垂直位置情報や、量子化スケール情報などが格納される。
【００４１】
スライス層のヘッダ部に続けて、マクロブロックが配される（図１Ｅ）。マクロブロックでは、マクロブロックヘッダ１４に続けて複数のＤＣＴブロックが配される。上述したように、マクロブロックヘッダ１４にはスタートコードが配されない。図１１に示されるように、マクロブロックヘッダ１４は、マクロブロックの相対的な位置情報が格納されると共に、動き補償モードの設定、ＤＣＴ符号化に関する詳細な設定などを指示する。
【００４２】
マクロブロックヘッダ１４に続けて、ＤＣＴブロックが配される。ＤＣＴブロックは、図１２に示されるように、可変長符号化されたＤＣＴ係数およびＤＣＴ係数に関するデータが格納される。
【００４３】
なお、図１では、各層における実線の区切りは、データがバイト単位に整列されていることを示し、点線の区切りは、データがバイト単位に整列されていないことを示す。すなわち、ピクチャ層までは、図１３Ａに一例が示されるように、符号の境界がバイト単位で区切られているのに対し、スライス層では、スライススタートコード１２のみがバイト単位で区切られており、各マクロブロックは、図１３Ｂに一例が示されるように、ビット単位で区切ることができる。同様に、マクロブロック層では、各ＤＣＴブロックをビット単位で区切ることができる。一方、復号および符号化による信号の劣化を避けるためには、符号化データ上で編集することが望ましい。このとき、ＰピクチャおよびＢピクチャは、その復号に、時間的に前のピクチャあるいは前後のピクチャを必要とする。そのため、編集単位を１フレーム単位とすることができない。この点を考慮して、この一実施形態では、１つのＧＯＰが１枚のＩピクチャからなるようにしている。
【００４４】
また、例えば１フレーム分の記録データが記録される記録領域が所定のものとされる。ＭＰＥＧ２では、可変長符号化を用いているので、１フレーム期間に発生するデータを所定の記録領域に記録できるように、１フレーム分の発生データ量が制御される。さらに、この一実施形態では、磁気テープへの記録に適するように、１スライスを１マクロブロックから構成すると共に、１マクロブロックを、所定長の固定枠に当てはめる。
【００４５】
図１４は、この一実施形態におけるＭＰＥＧストリームのヘッダを具体的に示す。図１で分かるように、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層のそれぞれのヘッダ部は、シーケンス層の先頭から連続的に現れる。図１４は、シーケンスヘッダ部分から連続した一例のデータ配列を示している。
【００４６】
先頭から、１２バイト分の長さを有するシーケンスヘッダ２が配され、続けて、１０バイト分の長さを有するシーケンス拡張３が配される。シーケンス拡張３の次には、拡張およびユーザデータ４が配される。拡張およびユーザデータ４の先頭には、４バイト分のユーザデータスタートコードが配され、続くユーザデータ領域には、ＳＭＰＴＥの規格に基づく情報が格納される。
【００４７】
シーケンス層のヘッダ部の次は、ＧＯＰ層のヘッダ部となる。８バイト分の長さを有するＧＯＰヘッダ６が配され、続けて拡張およびユーザデータ７が配される。拡張およびユーザデータ７の先頭には、４バイト分のユーザデータスタートコードが配され、続くユーザデータ領域には、既存の他のビデオフォーマットとの互換性をとるための情報が格納される。
【００４８】
ＧＯＰ層のヘッダ部の次は、ピクチャ層のヘッダ部となる。９バイトの長さを有するピクチャヘッダ９が配され、続けて９バイトの長さを有するピクチャ符号化拡張１０が配される。ピクチャ符号化拡張１０の後に、拡張およびユーザデータ１１が配される。拡張およびユーザデータ１１の先頭側１３３バイトに拡張およびユーザデータが格納され、続いて４バイトの長さを有するユーザデータスタートコード１５が配される。ユーザデータスタートコード１５に続けて、既存の他のビデオフォーマットとの互換性をとるための情報が格納される。さらに、ユーザデータスタートコード１６が配され、ユーザデータスタートコード１６に続けて、ＳＭＰＴＥの規格に基づくデータが格納される。ピクチャ層のヘッダ部の次は、スライスとなる。
【００４９】
マクロブロックについて、さらに詳細に説明する。スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、ＤＣＴブロックの符号化系列は、量子化されたＤＣＴ係数の系列を０係数の連続回数（ラン）とその直後の非０系列（レベル）を１つの単位として可変長符号化したものである。マクロブロックならびにマクロブロック内のＤＣＴブロックには、バイト単位に整列した識別コードが付加されない。
【００５０】
マクロブロックは、画面（ピクチャ）を１６画素×１６ラインの格子状に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。連続するスライスの前のスライスの最後のマクロブロックと、次のスライスの先頭のマクロブロックとは連続しており、スライス間でのマクロブロックのオーバーラップを形成することは、許されていない。また、画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【００５１】
画面上での垂直方向および水平方向のマクロブロック数を、それぞれｍｂ＿ｈｅｉｇｈｔおよびｍｂ＿ｗｉｄｔｈと称する。画面上でのマクロブロックの座標は、マクロブロックの垂直位置番号を、上端を基準に０から数えたｍｂ＿ｒｏｗと、マクロブロックの水平位置番号を、左端を基準に０から数えたｍｂ＿ｃｏｌｕｍｎとで表すように定められている。画面上でのマクロブロックの位置を一つの変数で表すために、ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓを、
ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＝ｍｂ＿ｒｏｗ×ｍｂ＿ｗｉｄｔｈ＋ｍｂ＿ｃｏｌｕｍｎ
このように定義する。
【００５２】
ストリーム上でのスライスとマクロブロックの順は、ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓの小さい順でなければいけないと定められている。すなわち、ストリームは、画面の上から下、左から右の順に伝送される。
【００５３】
ＭＰＥＧでは、１スライスを１ストライプ（１６ライン）で構成することが多いが、画面の左端から可変長符号化が始まり、右端で終わる。従って、ＶＴＲによってそのままＭＰＥＧエレメンタリストリームを記録した場合、高速再生時に、再生できる部分が画面の左端に集中し、均一に更新することができない。また、データのテープ上の配置を予測できないため、テープパターンを一定の間隔でトレースしたのでは、均一な画面更新ができなくなる。さらに、１箇所でもエラーが発生すると、画面右端まで影響し、次のスライスヘッダが検出されるまで復帰できない。このために、１スライスを１マクロブロックで構成するようにしている。
【００５４】
図１５は、この一実施形態による記録再生装置の記録側の構成の一例を示す。記録時には、端子１００から入力されたディジタル信号がＳＤＩ(Serial Data Interface) 受信部１０１に供給される。ＳＤＩは、（４：２：２）コンポーネントビデオ信号とディジタルオーディオ信号と付加的データとを伝送するために、ＳＭＰＴＥによって規定されたインターフェイスである。ＳＤＩ受信部１０１で、入力されたディジタル信号からディジタルビデオ信号とディジタルオーディオ信号とがそれぞれ抽出され、ディジタルビデオ信号は、ＭＰＥＧエンコーダ１０２に供給され、ディジタルオーディオ信号は、ディレイ１０３を介してＥＣＣエンコーダ１０９に供給される。ディレイ１０３は、ディジタルオーディオ信号とディジタルビデオ信号との時間差を解消するためのものである。
【００５５】
また、ＳＤＩ受信部１０１では、入力されたディジタル信号から同期信号を抽出し、抽出された同期信号をタイミングジェネレータ１０４に供給する。タイミングジェネレータ１０４には、端子１０５から外部同期信号を入力することもできる。タイミングジェネレータ１０４では、入力されたこれらの同期信号および後述するＳＤＴＩ受信部１０８から供給される同期信号のうち、指定された信号に基づきタイミングパルスを生成する。生成されたタイミングパルスは、この記録再生装置の各部に供給される。
【００５６】
入力ビデオ信号は、ＭＰＥＧエンコーダ１０２においてＤＣＴ(Discrete Cosine Transform) の処理を受け、係数データに変換され、係数データが可変長符号化される。ＭＰＥＧエンコーダ１０２からの可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したエレメンタリストリーム（ＥＳ）である。この出力は、記録側のマルチフォーマットコンバータ（以下、ＭＦＣと称する）１０６の一方の入力端に供給される。
【００５７】
一方、入力端子１０７を通じて、ＳＤＴＩ(Serial Data Transport Interface) のフォーマットのデータが入力される。この信号は、ＳＤＴＩ受信部１０８で同期検出される。そして、バッファに一旦溜め込まれ、エレメンタリストリームが抜き出される。抜き出されたエレメンタリストリームは、記録側ＭＦＣ１０６の他方の入力端に供給される。同期検出されて得られた同期信号は、上述したタイミングジェネレータ１０４に供給される。
【００５８】
一実施形態では、例えばＭＰＥＧ ＥＳ（ＭＰＥＧエレメンタリストリーム）を伝送するために、ＳＤＴＩ(Serial Data Transport Interface）−ＣＰ(Content Package) が使用される。このＥＳは、４：２：２のコンポーネントであり、また、上述したように、全てＩピクチャのストリームであり、１ＧＯＰ＝１ピクチャの関係を有する。ＳＤＴＩ−ＣＰのフォーマットでは、ＭＰＥＧ ＥＳがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。ＳＤＴＩ−ＣＰでは、十分な伝送帯域（クロックレートで２７ＭHzまたは３６ＭHz、ストリームビットレートで２７０Ｍ bpsまたは３６０Ｍ bps）を有しており、１フレーム期間で、バースト的にＥＳを送ることが可能である。
【００５９】
すなわち、１フレーム期間のＳＡＶの後からＥＡＶまでの間に、システムデータ、ビデオストリーム、オーディオストリーム、ＡＵＸデータが配される。１フレーム期間全体にデータが存在せずに、その先頭から所定期間バースト状にデータが存在する。フレームの境界においてＳＤＴＩ−ＣＰのストリーム（ビデオおよびオーディオ）をストリームの状態でスイッチングすることができる。ＳＤＴＩ−ＣＰは、クロック基準としてＳＭＰＴＥタイムコードを使用したコンテンツの場合に、オーディオ、ビデオ間の同期を確立する機構を有する。さらに、ＳＤＴＩ−ＣＰとＳＤＩとが共存可能なように、フォーマットが決められている。
【００６０】
上述したＳＤＴＩ−ＣＰを使用したインターフェースは、ＴＳ(Transport Stream)を転送する場合のように、エンコーダおよびデコーダがＶＢＶ(Video Buffer Verifier) バッファおよびＴＢｓ(Transport Buffers) を通る必要がなく、ディレイを少なくできる。また、ＳＤＴＩ−ＣＰ自体が極めて高速の転送が可能なこともディレイを一層少なくする。従って、放送局の全体を管理するような同期が存在する環境では、ＳＤＴＩ−ＣＰを使用することが有効である。
【００６１】
なお、ＳＤＴＩ受信部１０８では、さらに、入力されたＳＤＴＩ−ＣＰのストリームからディジタルオーディオ信号を抽出する。抽出されたディジタルオーディオ信号は、ＥＣＣエンコーダ１０９に供給される。
【００６２】
記録側ＭＦＣ１０６は、セレクタおよびストリームコンバータを内蔵する。記録側ＭＦＣ１０６は、例えば１個の集積回路内に構成される。記録側ＭＦＣ１０６において行われる処理について説明する。上述したＭＰＥＧエンコーダ１０２およびＳＤＴＩ受信部１０８から供給されたＭＰＥＧ ＥＳは、セレクタで何方か一方を選択され、ストリームコンバータに供給される。
【００６３】
ストリームコンバータでは、ＭＰＥＧ２の規定に基づきＤＣＴブロック毎に並べられていたＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して、周波数成分毎にまとめ、まとめた周波数成分を並べ替える。また、ストリームコンバータは、エレメンタリストリームの１スライスが１ストライプの場合には、１スライスを１マクロブロックからなるものにする。さらに、ストリームコンバータは、１マクロブロックで発生する可変長データの最大長を所定長に制限する。これは、高次のＤＣＴ係数を０とすることでなしうる。並べ替えられた変換エレメンタリストリームは、ＥＣＣエンコーダ１０９に供給される。
【００６４】
ＥＣＣエンコーダ１０９は、大容量のメインメモリが接続され（図示しない）、パッキングおよびシャフリング部、オーディオ用外符号エンコーダ、ビデオ用外符号エンコーダ、内符号エンコーダ、オーディオ用シャフリング部およびビデオ用シャフリング部などを内蔵する。また、ＥＣＣエンコーダ１０９は、シンクブロック単位でＩＤを付加する回路や、同期信号を付加する回路を含む。ＥＣＣエンコーダ１０９は、例えば１個の集積回路で構成される。
【００６５】
なお、一実施形態では、ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオデータまたはオーディオデータの２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。
【００６６】
ＥＣＣエンコーダ１０９における処理について説明する。エレメンタリストリームのビデオデータは、可変長符号化されているため、各マクロブロックのデータの長さが不揃いである。パッキングおよびシャフリング部では、マクロブロックが固定枠に詰め込まれる。このとき、固定枠からはみ出たオーバーフロー部分は、固定枠のサイズに対して空いている領域に順に詰め込まれる。
【００６７】
また、画像フォーマット、シャフリングパターンのバージョン等の情報を有するシステムデータが、後述するシスコン１２１から供給され、図示されない入力端から入力される。システムデータは、パッキングおよびシャフリング部に供給され、ピクチャデータと同様に記録処理を受ける。システムデータは、ビデオＡＵＸとして記録される。また、走査順に発生する１フレームのマクロブロックを並び替え、テープ上のマクロブロックの記録位置を分散させるシャフリングが行われる。シャフリングによって、変速再生時に断片的にデータが再生される時でも、画像の更新率を向上させることができる。
【００６８】
パッキングおよびシャフリング部からのビデオデータおよびシステムデータ（以下、特に必要な場合を除き、システムデータを含む場合も単にビデオデータと称する）は、ビデオデータに対して外符号化の符号化を行うビデオ用外符号エンコーダに供給され、外符号パリティが付加される。外符号エンコーダの出力は、ビデオ用シャフリング部で、複数のＥＣＣブロックにわたってシンクブロック単位で順番を入れ替える、シャフリングがなされる。シンクブロック単位のシャフリングによって特定のＥＣＣブロックにエラーが集中することが防止される。シャフリング部でなされるシャフリングを、インターリーブと称することもある。ビデオ用シャフリング部の出力は、メインメモリに書き込まれる。
【００６９】
一方、上述したように、ＳＤＴＩ受信部１０８あるいはディレイ１０３から出力されたディジタルオーディオ信号がＥＣＣエンコーダ１０９に供給される。この一実施形態では、非圧縮のディジタルオーディオ信号が扱われる。ディジタルオーディオ信号は、これらに限らず、オーディオインターフェースを介して入力されるようにもできる。また、図示されない入力端子から、オーディオＡＵＸが供給される。オーディオＡＵＸは、補助的データであり、オーディオデータのサンプリング周波数等のオーディオデータに関連する情報を有するデータである。オーディオＡＵＸは、オーディオデータに付加され、オーディオデータと同等に扱われる。
【００７０】
オーディオＡＵＸが付加されたオーディオデータ（以下、特に必要な場合を除き、ＡＵＸを含む場合も単にオーディオデータと称する）は、オーディオデータに対して外符号の符号化を行うオーディオ用外符号エンコーダに供給される。オーディオ用外符号エンコーダの出力がオーディオ用シャフリング部に供給され、シャフリング処理を受ける。オーディオシャフリングとして、シンクブロック単位のシャフリングと、チャンネル単位のシャフリングとがなされる。
【００７１】
オーディオ用シャフリング部の出力は、メインメモリに書き込まれる。上述したように、メインメモリには、ビデオ用シャフリング部の出力も書き込まれており、メインメモリで、オーディオデータとビデオデータとが混合され、１チャンネルのデータとされる。
【００７２】
メインメモリからデータが読み出され、シンクブロック番号を示す情報等を有するＩＤが付加され、内符号エンコーダに供給される。内符号エンコーダでは、供給されたデータに対して内符号の符号化を施す。内符号エンコーダの出力に対してシンクブロック毎の同期信号が付加され、シンクブロックが連続する記録データが構成される。
【００７３】
ＥＣＣエンコーダ１０９から出力された記録データは、記録アンプなどを含むイコライザ１１０に供給され、記録ＲＦ信号に変換される。記録ＲＦ信号は、回転ヘッドが所定に設けられた回転ドラム１１１に供給され、磁気テープ１１２上に記録される。回転ドラム１１１には、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが取り付けられている。
【００７４】
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。なお、イコライザ１１０は、記録側の構成と再生側の構成とを共に含む。
【００７５】
図１６は、上述した回転ヘッドにより磁気テープ上に形成されるトラックフォーマットの一例を示す。この例では、１フレーム当たりのビデオおよびオーディオデータが４トラックで記録されている。互いに異なるアジマスの２トラックによって１セグメントが構成される。すなわち、４トラックは、４セグメントからなる。セグメントを構成する１組のトラックに対して、アジマスと対応するトラック番号〔０〕とトラック番号〔１〕が付される。トラックのそれぞれにおいて、両端側にビデオデータが記録されるビデオセクタが配され、ビデオセクタに挟まれて、オーディオデータが記録されるオーディオセクタが配される。この図１６は、テープ上のセクタの配置を示すものである。
【００７６】
この例では、４チャンネルのオーディオデータを扱うことができるようにされている。Ａ１〜Ａ４は、それぞれオーディオデータの１〜４ｃｈを示す。オーディオデータは、セグメント単位で配列を変えられて記録される。また、ビデオデータは、この例では、１トラックに対して４エラー訂正ブロック分のデータがインターリーブされ、Ｕｐｐｅｒ ＳｉｄｅおよびＬｏｗｅｒ Ｓｉｄｅのセクタに分割され記録される。
【００７７】
Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタには、所定位置にシステム領域（ＳＹＳ）が設けられる。システム領域は、例えば、Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタの先頭側と末尾側とに、トラック毎に交互に設けられる。
【００７８】
なお、図１６において、ＳＡＴは、サーボロック用の信号が記録されるエリアである。また、各記録エリアの間には、所定の大きさのギャップが設けられる。
【００７９】
図１６は、１フレーム当たりのデータを４トラックで記録する例であるが、記録再生するデータのフォーマットによっては、１フレーム当たりのデータを８トラック、６トラックなどで記録するようにができる。
【００８０】
図１６Ｂに示されるように、テープ上に記録されるデータは、シンクブロックと称される等間隔に区切られた複数のブロックからなる。図１６Ｃは、シンクブロックの構成を概略的に示す。シンクブロックは、同期検出するためのＳＹＮＣパターン、シンクブロックのそれぞれを識別するためのＩＤ、後続するデータの内容を示すＤＩＤ、データパケットおよびエラー訂正用の内符号パリティから構成される。データは、シンクブロック単位でパケットとして扱われる。すなわち、記録あるいは再生されるデータ単位の最小のものが１シンクブロックである。シンクブロックが多数並べられて（図１６Ｂ）、例えばビデオセクタが形成される。
【００８１】
図１５の説明に戻り、再生時には、磁気テープ１１２から回転ドラム１１１で再生された再生信号が再生アンプなどを含むイコライザ１１０の再生側の構成に供給される。イコライザ１１０では、再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。イコライザ１１０の出力は、ＥＣＣデコーダ１１３に供給される。
【００８２】
ＥＣＣデコーダ１１３は、上述したＥＣＣエンコーダ１０９と逆の処理を行うもので、大容量のメインメモリと、内符号デコーダ、オーディオ用およびビデオ用それぞれのデシャフリング部ならびに外符号デコーダを含む。さらに、ＥＣＣデコーダ１１３は、ビデオ用として、デシャフリングおよびデパッキング部、データ補間部を含む。同様に、オーディオ用として、オーディオＡＵＸ分離部とデータ補間部を含む。ＥＣＣデコーダ１１３は、例えば１個の集積回路で構成される。
【００８３】
ＥＣＣデコーダ１１３における処理について説明する。ＥＣＣデコーダ１１３では、先ず、同期検出を行いシンクブロックの先頭に付加されている同期信号を検出し、シンクブロックを切り出す。データは、シンクブロック毎に内符号エンコーダに供給され、内符号のエラー訂正がなされる。内符号エンコーダの出力に対してＩＤ補間処理がなされ、内符号によりエラーとされたシンクブロックのＩＤ例えばシンクブロック番号が補間される。ＩＤが補間された再生データは、ビデオデータとオーディオデータとに分離される。
【００８４】
上述したように、ビデオデータは、ＭＰＥＧのイントラ符号化で発生したＤＣＴ係数データおよびシステムデータを意味し、オーディオデータは、ＰＣＭ(Pulse Code Modulation) データおよびオーディオＡＵＸを意味する。
【００８５】
分離されたオーディオデータは、オーディオ用デシャフリング部に供給され、記録側のシャフリング部でなされたシャフリングと逆の処理を行う。デシャフリング部の出力がオーディオ用の外符号デコーダに供給され、外符号によるエラー訂正がなされる。オーディオ用の外符号デコーダからは、エラー訂正されたオーディオデータが出力される。訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。
【００８６】
オーディオ用の外符号デコーダの出力から、オーディオＡＵＸ分離部でオーディオＡＵＸが分離され、分離されたオーディオＡＵＸがＥＣＣデコーダ１１３から出力される（経路は省略する）。オーディオＡＵＸは、例えば後述するシスコン１２１に供給される。また、オーディオデータは、データ補間部に供給される。データ補間部では、エラーの有るサンプルが補間される。補間方法としては、時間的に前後の正しいデータの平均値で補間する平均値補間、前の正しいサンプルの値をホールドする前値ホールド等を使用できる。
【００８７】
データ補間部の出力がＥＣＣデコーダ１１３からのオーディオデータの出力であって、ＥＣＣデコーダ１１３から出力されたオーディオデータは、ディレイ１１７およびＳＤＴＩ出力部１１５に供給される。ディレイ１１７は、後述するＭＰＥＧデコーダ１１６でのビデオデータの処理による遅延を吸収するために設けられる。ディレイ１１７に供給されたオーディオデータは、所定の遅延を与えられて、ＳＤＩ出力部１１８に供給される。
【００８８】
分離されたビデオデータは、デシャフリング部に供給され、記録側のシャフリングと逆の処理がなされる。デシャフリング部は、記録側のシャフリング部でなされたシンクブロック単位のシャフリングを元に戻す処理を行う。デシャフリング部の出力が外符号デコーダに供給され、外符号によるエラー訂正がなされる。訂正できないエラーが発生した場合には、エラーの有無を示すエラーフラグがエラー有りを示すものとされる。
【００８９】
外符号デコーダの出力がデシャフリングおよびデパッキング部に供給される。デシャフリングおよびデパッキング部は、記録側のパッキングおよびシャフリング部でなされたマクロブロック単位のシャフリングを元に戻す処理を行う。また、デシャフリングおよびデパッキング部では、記録時に施されたパッキングを分解する。すなわち、マクロブロック単位にデータの長さを戻して、元の可変長符号を復元する。さらに、デシャフリングおよびデパッキング部において、システムデータが分離され、ＥＣＣデコーダ１１３から出力され、後述するシスコン１２１に供給される。
【００９０】
デシャフリングおよびデパッキング部の出力は、データ補間部に供給され、エラーフラグが立っている（すなわち、エラーのある）データが修整される。すなわち、変換前に、マクロブロックデータの途中にエラーがあるとされた場合には、エラー箇所以降の周波数成分のＤＣＴ係数が復元できない。そこで、例えばエラー箇所のデータをブロック終端符号（ＥＯＢ）に置き替え、それ以降の周波数成分のＤＣＴ係数をゼロとする。同様に、高速再生時にも、シンクブロック長に対応する長さまでのＤＣＴ係数のみを復元し、それ以降の係数は、ゼロデータに置き替えられる。さらに、データ補間部では、ビデオデータの先頭に付加されているヘッダがエラーの場合に、ヘッダ（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、ユーザデータ等）を回復する処理もなされる。
【００９１】
ＤＣＴブロックに跨がって、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと並べられているため、このように、ある箇所以降からＤＣＴ係数を無視しても、マクロブロックを構成するＤＣＴブロックのそれぞれに対して、満遍なくＤＣならびに低域成分からのＤＣＴ係数を行き渡らせることができる。
【００９２】
データ補間部から出力されたビデオデータがＥＣＣデコーダ１１３の出力であって、ＥＣＣデコーダ１１３の出力は、再生側のマルチフォーマットコンバータ（以下、再生側ＭＦＣと略称する）１１４に供給される。再生側ＭＦＣ１１４は、上述した記録側ＭＦＣ１０６と逆の処理を行うものであって、ストリームコンバータを含む。再生側ＭＦＣ１１４は、例えば１個の集積回路で構成される。
【００９３】
ストリームコンバータでは、記録側のストリームコンバータと逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したエレメンタリストリームに変換される。
【００９４】
ストリームコンバータの入出力は、記録側と同様に、マクロブロックの最大長に応じて、十分な転送レート（バンド幅）を確保しておく。マクロブロック（スライス）の長さを制限しない場合には、画素レートの３倍のバンド幅を確保するのが好ましい。
【００９５】
ストリームコンバータの出力が再生側ＭＦＣ１１４の出力であって、再生側ＭＦＣ１１４の出力は、ＳＤＴＩ出力部１１５およびＭＰＥＧデコーダ１１６に供給される。
【００９６】
ＭＰＥＧデコーダ１１６は、エレメンタリストリームを復号し、ビデオデータを出力する。すなわち、ＭＰＥＧデコーダ１４２は、逆量子化処理と、逆ＤＣＴ処理とがなされる。復号ビデオデータは、ＳＤＩ出力部１１８に供給される。上述したように、ＳＤＩ出力部１１８には、ＥＣＣデコーダ１１３でビデオデータと分離されたオーディオデータがディレイ１１７を介して供給されている。ＳＤＩ出力部１１８では、供給されたビデオデータとオーディオデータとを、ＳＤＩのフォーマットにマッピングし、ＳＤＩフォーマットのデータ構造を有するストリームへ変換される。ＳＤＩ出力部１１８からのストリームが出力端子１２０から外部へ出力される。
【００９７】
一方、ＳＤＴＩ出力部１１５には、上述したように、ＥＣＣデコーダ１１３でビデオデータと分離されたオーディオデータが供給されている。ＳＤＴＩ出力部１１５では、供給された、エレメンタリストリームとしてのビデオデータと、オーディオデータとをＳＤＴＩのフォーマットにマッピングし、ＳＤＴＩフォーマットのデータ構造を有するストリームへ変換される。変換されたストリームは、出力端子１１９から外部へ出力される。
【００９８】
図１５において、シスコン１２１は、例えばマイクロコンピュータからなり、この記憶再生装置の全体の動作を制御する。またサーボ１２２は、シスコン１２１と互いに通信を行いながら、磁気テープ１１２の走行制御や回転ドラム１１１の駆動制御などを行う。
【００９９】
図１７Ａは、ＭＰＥＧエンコーダ１０２のＤＣＴ回路から出力されるビデオデータ中のＤＣＴ係数の順序を示す。ＳＤＴＩ受信部１０８から出力されるＭＰＥＧ ＥＳについても同様である。以下では、ＭＰＥＧエンコーダ１０２の出力を例に用いて説明する。ＤＣＴブロックにおいて左上のＤＣ成分から開始して、水平ならびに垂直空間周波数が高くなる方向に、ＤＣＴ係数がジグザグスキャンで出力される。その結果、図１７Ｂに一例が示されるように、全部で６４個（８画素×８ライン）のＤＣＴ係数が周波数成分順に並べられて得られる。
【０１００】
このＤＣＴ係数がＭＰＥＧエンコーダのＶＬＣ部によって可変長符号化される。すなわち、最初の係数は、ＤＣ成分として固定的であり、次の成分（ＡＣ成分）からは、ゼロのランとそれに続くレベルに対応してコードが割り当てられる。従って、ＡＣ成分の係数データに対する可変長符号化出力は、周波数成分の低い（低次の）係数から高い（高次の）係数へと、ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・と並べられたものである。可変長符号化されたＤＣＴ係数をエレメンタリストリームが含んでいる。
【０１０１】
上述した記録側ＭＦＣ１０６に内蔵される、記録側のストリームコンバータでは、供給された信号のＤＣＴ係数の並べ替えが行われる。すなわち、それぞれのマクロブロック内で、ジグザグスキャンによってＤＣＴブロック毎に周波数成分順に並べられたＤＣＴ係数がマクロブロックを構成する各ＤＣＴブロックにわたって周波数成分順に並べ替えられる。
【０１０２】
図１８は、この記録側ストリームコンバータにおけるＤＣＴ係数の並べ替えを概略的に示す。（４：２：２）コンポーネント信号の場合に、１マクロブロックは、輝度信号Ｙによる４個のＤＣＴブロック（Ｙ1 ，Ｙ2 ，Ｙ3 およびＹ4 ）と、色度信号Ｃｂ，Ｃｒのそれぞれによる２個ずつのＤＣＴブロック（Ｃｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 ）からなる。
【０１０３】
上述したように、ＭＰＥＧエンコーダ１０２では、ＭＰＥＧ２の規定に従いジグザグスキャンが行われ、図１８Ａに示されるように、各ＤＣＴブロック毎に、ＤＣＴ係数がＤＣ成分および低域成分から高域成分に、周波数成分の順に並べられる。一つのＤＣＴブロックのスキャンが終了したら、次のＤＣＴブロックのスキャンが行われ、同様に、ＤＣＴ係数が並べられる。
【０１０４】
すなわち、マクロブロック内で、ＤＣＴブロックＹ1 ，Ｙ2 ，Ｙ3 およびＹ4 、ＤＣＴブロックＣｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 のそれぞれについて、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと周波数順に並べられる。そして、連続したランとそれに続くレベルとからなる組に、〔ＤＣ，ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・〕と、それぞれ符号が割り当てられるように、可変長符号化されている。
【０１０５】
記録側ストリームコンバータでは、可変長符号化され並べられたＤＣＴ係数を、一旦可変長符号を解読して各係数の区切りを検出し、マクロブロックを構成する各ＤＣＴブロックに跨がって周波数成分毎にまとめる。この様子を、図１８Ｂに示す。最初にマクロブロック内の８個のＤＣＴブロックのＤＣ成分をまとめ、次に８個のＤＣＴブロックの最も周波数成分が低いＡＣ係数成分をまとめ、以下、順に同一次数のＡＣ係数をまとめるように、８個のＤＣＴブロックに跨がって係数データを並び替える。
【０１０６】
並び替えられた係数データは、ＤＣ（Ｙ1 ），ＤＣ（Ｙ2 ），ＤＣ（Ｙ3 ），ＤＣ（Ｙ4 ），ＤＣ（Ｃｂ1 ），ＤＣ（Ｃｂ2 ），ＤＣ（Ｃｒ1 ），ＤＣ（Ｃｒ2 ），ＡＣ1 （Ｙ1 ），ＡＣ1 （Ｙ2 ），ＡＣ1 （Ｙ3 ），ＡＣ1 （Ｙ4 ），ＡＣ1 （Ｃｂ1 ），ＡＣ1 （Ｃｂ2 ），ＡＣ1 （Ｃｒ1 ），ＡＣ1 （Ｃｒ2 ），・・・である。ここで、ＤＣ、ＡＣ1 、ＡＣ2 、・・・は、図１７を参照して説明したように、ランとそれに続くレベルとからなる組に対して割り当てられた可変長符号の各符号である。
【０１０７】
記録側ストリームコンバータで係数データの順序が並べ替えられた変換エレメンタリストリームは、ＥＣＣエンコーダ１０９に内蔵されるパッキングおよびシャフリング部に供給される。マクロブロックのデータの長さは、変換エレメンタリストリームと変換前のエレメンタリストリームとで同一である。また、ＭＰＥＧエンコーダ１０２において、ビットレート制御によりＧＯＰ（１フレーム）単位に固定長化されていても、マクロブロック単位では、長さが変動している。パッキングおよびシャフリング部では、マクロブロックのデータを固定枠に当てはめる。
【０１０８】
図１９は、パッキングおよびシャフリング部でのマクロブロックのパッキング処理を概略的に示す。マクロブロックは、所定のデータ長を持つ固定枠に当てはめられ、パッキングされる。このとき用いられる固定枠のデータ長を、記録および再生の際のデータの最小単位であるシンクブロックのデータ長と一致させている。これは、シャフリングおよびエラー訂正符号化の処理を簡単に行うためである。図１９では、簡単のため、１フレームに８マクロブロックが含まれるものと仮定する。
【０１０９】
可変長符号化によって、図１９Ａに一例が示されるように、８マクロブロックの長さは、互いに異なる。この例では、固定枠である１シンクブロックのデータ領域の長さと比較して、マクロブロック＃１のデータ，＃３のデータおよび＃６のデータがそれぞれ長く、マクロブロック＃２のデータ，＃５のデータ，＃７のデータおよび＃８のデータがそれぞれ短い。また、マクロブロック＃４のデータは、１シンクブロックと略等しい長さである。
【０１１０】
パッキング処理によって、マクロブロックが１シンクブロック長の固定長枠に詰め込まれる。過不足無くデータを詰め込むことができるのは、１フレーム期間で発生するデータ量が固定量に制御されているからである。図１９Ｂに一例が示されるように、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割される。分割されたマクロブロックのうち、シンクブロック長からはみ出た部分（オーバーフロー部分）は、先頭から順に空いている領域に、すなわち、長さがシンクブロック長に満たないマクロブロックの後ろに、詰め込まれる。
【０１１１】
図１９Ｂの例では、マクロブロック＃１の、シンクブロック長からはみ出た部分が、先ず、マクロブロック＃２の後ろに詰め込まれ、そこがシンクブロックの長さに達すると、マクロブロック＃５の後ろに詰め込まれる。次に、マクロブロック＃３の、シンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれる。さらに、マクロブロック＃６のシンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれ、さらにはみ出た部分がマクロブロック＃８の後ろに詰め込まれる。こうして、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。
【０１１２】
各マクロブロックに対応する可変長データの長さは、記録側ストリームコンバータにおいて予め調べておくことができる。これにより、このパッキング部では、ＶＬＣデータをデコードして内容を検査すること無く、マクロブロックのデータの最後尾を知ることができる。
【０１１３】
図２０は、上述したＥＣＣエンコーダ１０９のより具体的な構成を示す。図２０において、１６４がＩＣに対して外付けのメインメモリ１６０のインターフェースである。メインメモリ１６０は、ＳＤＲＡＭで構成されている。インターフェース１６４によって、内部からのメインメモリ１６０に対する要求を調停し、メインメモリ１６０に対して書込み／読出しの処理を行う。また、パッキング部１３７ａ、ビデオシャフリング部１３７ｂ、パッキング部１３７ｃによって、パッキングおよびシャフリング部１３７が構成される。
【０１１４】
図２１は、メインメモリ１６０のアドレス構成の一例を示す。メインメモリ１６０は、例えば６４ＭビットのＳＤＲＡＭで構成される。メインメモリ１６０は、ビデオ領域２５０、オーバーフロー領域２５１およびオーディオ領域２５２を有する。ビデオ領域２５０は、４つのバンク（ｖｂａｎｋ＃０、ｖｂａｎｋ＃１、ｖｂａｎｋ＃２およびｖｂａｎｋ＃３）からなる。４バンクのそれぞれは、１等長化単位のディジタルビデオ信号が格納できる。
【０１１５】
なお、１等長化単位は、発生するデータ量を略目標値に制御する単位である。例えば、磁気テープへの記録フォーマットにより、１フレーム分のデータを記録するように定められたトラック数に記録可能なデータ量が１等長化単位とされる。
【０１１６】
図２１中の、部分Ａは、ビデオ信号の１シンクブロックのデータ部分を示す。１シンクブロックには、フォーマットによって異なるバイト数のデータが挿入される。複数のフォーマットに対応するために、最大のバイト数以上であって、処理に都合の良いバイト数例えば２５６バイトが１シンクブロックのデータサイズとされている。
【０１１７】
ビデオ領域の各バンクは、さらに、パッキング用領域２５０Ａと内符号化エンコーダへの出力用領域２５０Ｂとに分けられる。オーバーフロー領域２５１は、上述のビデオ領域に対応して、４つのバンクからなる。さらに、オーディオデータ処理用の領域２５２をメインメモリ１６０が有する。
【０１１８】
この一実施形態では、各マクロブロックのデータ長標識を参照することによって、パッキング部１３７ａが固定枠長データと、固定枠を越える部分であるオーバーフローデータとをメインメモリ１６０の別々の領域に分けて記憶する。固定枠長データは、シンクブロックのデータ領域の長さ以下のデータであり、以下、ブロック長データと称する。ブロック長データを記憶する領域は、各バンクのパッキング処理用領域２５０Ａである。オーバーフローデータは、オーバーフローチャート領域２５１に記憶される。ブロック長より短いデータ長の場合には、メインメモリ１６０の対応する領域に空き領域を生じる。ビデオシャフリング部１３７ｂが書込みアドレスを制御することによってシャフリングを行う。ここで、ビデオシャフリング部１３７ｂは、ブロック長データのみをシャフリングし、オーバーフロー部分は、シャフリングせずに、オーバーフローデータに割り当てられた領域に書込まれる。
【０１１９】
次に、パッキング部１３７ｃが外符号エンコーダ１３９へのメモリにオーバーフロー部分をパッキングして読み込む処理を行う。すなわち、メインメモリ１６０から外符号エンコーダ１３９に用意されている１ＥＣＣブロック分のメモリに対してブロック長のデータを読み込み、若し、ブロック長のデータに空き領域が有れば、そこにオーバーフロー部分を読み込んでブロック長にデータが詰まるようにする。そして、１ＥＣＣブロック分のデータを読み込むと、読み込み処理を一時中断し、外符号エンコーダ１３９によって外符号のパリティを生成する。外符号パリティは、外符号エンコーダ１３９のメモリに格納する。外符号エンコーダ１３９の処理が１ＥＣＣブロック分終了すると、外符号エンコーダ１３９からデータおよび外符号パリティを内符号を行う順序に並び替えて、メインメモリ１６０のパッキング処理用領域２５０Ａと別の出力用領域２５０Ｂに書き戻す。ビデオシャフリング部１４０は、この外符号の符号化が終了したデータをメインメモリ１６０へ書き戻す時のアドレスを制御することによって、シンクブロック単位のシャフリングを行う。
【０１２０】
このようにブロック長データとオーバーフローデータとを分けてメインメモリ１６０の第１の領域２５０Ａへのデータの書込み（第１のパッキング処理）、外符号エンコーダ１３９へのメモリにオーバーフローデータをパッキングして読み込む処理（第２のパッキング処理）、外符号パリティの生成、データおよび外符号パリティをメインメモリ１６０の第２の領域２５０Ｂに書き戻す処理が１ＥＣＣブロック単位でなされる。外符号エンコーダ１３９がＥＣＣブロックのサイズのメモリを備えることによって、メインメモリ１６０へのアクセスの頻度を少なくすることができる。
【０１２１】
そして、１ピクチャに含まれる所定数のＥＣＣブロック（例えば３２個のＥＣＣブロック）の処理が終了すると、１ピクチャのパッキング、外符号の符号化が終了する。そして、インターフェース１６４を介してメインメモリ１６０の領域２５０Ｂから読出したデータがＩＤ付加部１４８、内符号エンコーダ１４７、同期付加部１５０で処理され、並列直列変換部１２４によって、同期付加部１５０の出力データがビットシリアルデータに変換される。出力されるシリアルデータがパーシャル・レスポンスクラス４のプリコーダ１２５により処理される。この出力が必要に応じてディジタル変調され、記録アンプ１１０を介して、回転ドラム１１１に設けられた回転ヘッドに供給される。
【０１２２】
なお、ＥＣＣブロック内にヌルシンクと称する有効なデータが配されないシンクブロックを導入し、記録ビデオ信号のフォーマットの違いに対してＥＣＣブロックの構成の柔軟性を持たせるようになされる。ヌルシンクは、パッキングおよびシャフリングブロック１３７のパッキング部１３７ａにおいて生成され、メインメモリ１６０に書込まれる。従って、ヌルシンクがデータ記録領域を持つことになるので、これをオーバーフロー部分の記録用シンクとして使用することができる。
【０１２３】
オーディオデータの場合では、１フィールドのオーディオデータの偶数番目のサンプルと奇数番目のサンプルとがそれぞれ別のＥＣＣブロックを構成する。ＥＣＣの外符号の系列は、入力順序のオーディオサンプルで構成されるので、外符号系列のオーディオサンプルが入力される毎に外符号エンコーダ１３６が外符号パリティを生成する。外符号エンコーダ１３６の出力をメインメモリ１６０の領域２５２に書込む時のアドレス制御によって、シャフリング部１３７がシャフリング（チャンネル単位およびシンクブロック単位）を行う。
【０１２４】
さらに、１２６で示すＣＰＵインターフェースが設けられ、システムコントローラとして機能する外部のＣＰＵ１２７からのデータを受け取り、内部ブロックに対してパラメータの設定が可能とされている。複数のフォーマットに対応するために、シンクブロック長、パリティ長を始め多くのパラメータを設定することが可能とされている。
【０１２５】
パラメータの１つとしての”パッキング長データ”は、パッキング部１３７ａおよび１３７ｂに送られ、パッキング部１３７ａ、１３７ｂは、これに基づいて決められた固定枠（図１９Ａで「シンクブロック長」として示される長さ）にＶＬＣデータを詰め込む。
【０１２６】
パラメータの１つとしての”パック数データ”は、パッキング部１３７ｂに送られ、パッキング部１３７ｂは、これに基づいて１シンクブロック当たりのパック数を決め、決められたパック数分のデータを外符号エンコーダ１３９に供給する。
【０１２７】
パラメータの１つとしての”ビデオ外符号パリティ数データ”は、外符号エンコーダ１３９に送られ、外符号エンコーダ１３９は、これに基づいた数のパリティが発生されるビデオデータの外符号の符号化を行う。
【０１２８】
パラメータの１つとしての”ＩＤ情報”および”ＤＩＤ情報”のそれぞれは、ＩＤ付加部１４８に送られ、ＩＤ付加部１４８は、これらＩＤ情報およびＤＩＤ情報をメインメモリ１６０から読み出された単位長のデータ列に付加する。
【０１２９】
パラメータの１つとしての”ビデオ内符号用パリティ数データ”および”オーディオ内符号用パリティ数データ”のそれぞれは、内符号エンコーダ１４９に送られ、内符号エンコーダ１４９は、これらに基づいた数のパリティが発生されるビデオデータとオーディオデータの内符号の符号化を行う。なお、内符号エンコーダ１４９には、パラメータの１つである”シンク長データ”も送られており、これにより、内符号化されたデータの単位長（シンク長）が規制される。
【０１３０】
また、パラメータの１つとしてのシャフリングテーブルデータがビデオ用シャフリングテーブル（ＲＡＭ）１２８ｖおよびオーディオ用シャフリングテーブル（ＲＡＭ）１２８ａに格納される。シャフリングテーブル１２８ｖは、ビデオシャフリング部１３７ｂおよび１４０のシャフリングのためのアドレス変換を行う。シャフリングテーブル１２８ａは、オーディオシャフリング１３７のためのアドレス変換を行う。
【０１３１】
この発明では、記録時に、１フレームの画像データが可変長符号化により１等長化単位を越えた場合、１フレーム全体で１等長化単位を越えないように、パッキングにより移動されたデータを捨てるようにする。図２２および図２３を用いて、可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープ１１２への記録について、概略的に説明する。
【０１３２】
図２２は、１フレームの画像データが可変長符号化により１等長化単位を越えない場合の例である。図２２Ａに一例が示されるように、画面上で分散されていたマクロブロックＭＢ１〜４がシャフリングされ、図２２Ｂのように順に並べられる。これらマクロブロックＭＢ１〜４は、ＭＰＥＧエンコーダにより符号化され、図２２Ｂに示されるように、マクロブロック毎に、スライススタートコードに続けて順に並べられる。各マクロブロックは、先頭にスライススタートコードを付されると共に、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの順にデータが並べ替えられる。
【０１３３】
図２２Ｂに示される各マクロブロックは、それぞれ固定枠に当てはめられ、固定枠長のセグメントに割り当てられる。固定枠からはみ出た部分３００、３０１および３０２は、図２２Ｃに示されるように、セグメントに割り当てられたマクロブロックが固定枠長よりも短い、他のセグメントに移動され、パッキングされる。また、各マクロブロックにおいて、ＤＣＴ係数は、ＤＣ成分を先頭に、ＡＣ成分の次数の低い方から高い方へと順に並べられている。したがって、他のセグメントに移動された部分３００、３０１および３０２は、より周波数成分の高い係数が格納される。すなわち、移動された部分３００、３０１および３０２は、再生画像において、視覚的に影響の小さいデータが格納されているということができる。
【０１３４】
このようにパッキングされたデータは、図２２Ｄに一例が示されるように、各トラックにおいてセグメントが等しく割り当てられ、磁気テープ１１２上に記録される。この図２２Ｄに示される例では、１トラックに４セグメントが割り当てられ、８トラックを用いて１フレームが記録されるフォーマットとなっている。
【０１３５】
１フレームの画像データを可変長符号化したデータ量が１等長化単位と等しいか、または、１等長化単位未満であれば、１フレーム分の全セグメントがデータで満たされるか、図２２Ｃに一例が示されるように、最後のセグメントに空き領域が生じる。これを磁気テープ１１２に記録すると、図２２Ｄに一例が示されるように、１フレームを構成する複数トラック（この例では８トラック）の最後のトラックの末尾側に、データの記録されない空き領域が生じる。
【０１３６】
図２３は、１フレームの画像データが可変長符号化により１等長化単位を越える場合の例である。上述した図２２Ａおよび図２２Ｂと同一の経過を辿って図２３Ａの状態に至る。図２３Ａにおいて、固定枠からはみ出た部分３００’、３０１’および３０２’がそれぞれマクロブロックが固定枠長よりも短い、他のセグメントに移動される。
【０１３７】
一方、この図２３の例では、１フレームの画像データを可変長符号化した際のデータ量が、例えば図２３Ａに示される余り部分３０３の分だけ１等長化単位を越えている。この一実施形態では、この余り部分３０３は、磁気テープ１１２に記録を行う以前に捨てられる。余り部分３０３が捨てられたデータが磁気テープ１１２に記録される。図２３Ｂに示されるように、１フレームを構成する最後のトラックまで、等しくデータが詰め込まれ記録される。
【０１３８】
上述したように、パッキングにより、ＤＣＴ係数における周波数成分の高い次数側からデータが他のセグメントに移動される。また、各マクロブロックは、画面上の位置に対してシャフリングされてパッキングされる。そのため、データが捨てられたことによる、視覚的な影響は、極めて小さい。
【０１３９】
次に、この一実施形態についてさらに詳細に説明する。図２４は、この一実施形態を実現するための構成を、概念的に示す。この図２４に示される構成は、上述した図１５の構成から主要な部分を抜き出したものである。図２４において、上述の図１５に対応する部分には同一の番号を付し、詳細な説明を省略する。
【０１４０】
記録側について説明する。ベースバンドビデオ信号、すなわち、上述したＳＤＩのインターフェイスに対応したディジタルビデオ信号は、ＭＰＥＧエンコーダ１０２に供給され、ＤＣＴされ、さらに、可変長符号化される。ＭＰＥＧエンコーダ１０２の出力は、セレクタ３１０を介して符号配列変換回路３１１に供給される。
【０１４１】
一方、上述したＳＤＴＩのフォーマットのディジタルビデオ信号からＭＰＥＧＥＳが抜き出されたデータストリームがセレクタ３１０を介して符号配列変換回路３１１に供給される。すなわち、既に可変長符号化されているデータストリームがここで供給される。このデータストリームは、例えばこの装置の外部で生成され供給されるもので、ビットレートがこの装置が対応できるビットレートより高い可能性を有する。このとき、入力されたデータストリームの１フレーム分のデータ量がこの装置による１等長化単位の容量を越えている可能性がある。
【０１４２】
符号配列変換回路３１１は、上述した記録側ＭＦＣ１０６に内蔵される、記録側ストリームコンバータに相当する。すなわち、符号配列変換回路３１１に供給されたデータストリームは、図１８を用いて既に述べたように、マクロブロックのそれぞれについてＤＣＴ係数をＤＣ成分を先頭にしてＡＣ成分の低次から高次へと並べ替えられる。
【０１４３】
図２５、図２６および図２７を用いて、符号配列変換回路３１１による処理について、さらに詳細に説明する。図２５、図２６および図２７において、ＤＣＴ係数のＤＣ成分を「ＤＣ」として表し、ＡＣ成分を「ＡＣ」と表す。ＡＣ成分において、零係数の連続回数（ラン）とその直後の非零係数のレベル（レベル）とをまとめたものを、「ｒＡＣ」と表す。各ＡＣ成分の後ろにハイフンによって連結され付される数値は、ＡＣ成分の次数を表す。
【０１４４】
また、図２７Ａおよび図２８Ａの各ブロックは、それぞれＤＣＴブロックを示す。すなわち、図２７Ａおよび図２８Ａの８個のブロックは、１マクロブロックを構成するＤＣＴブロックに対応する。これらの図において、ＤＣおよびＡＣ成分の後ろに括弧［］付きで付された「Ｙ０」、「Ｃｒ１」などは、ＤＣＴブロックの種類を示す。
【０１４５】
符号配列変換回路３１１に入力されるデータストリームは、ＭＰＥＧの規格に準じたもので、図２５Ａに一例が示されるように、ＤＣＴブロック毎に、ＤＣ成分およびＡＣの低周波成分から高周波成分への順でＤＣＴ係数が並べられている。ＤＣＴブロックの終端には、ＥＯＢが配される。一方、符号配列変換回路３１１から出力されるデータストリームは、図２５Ｂに一例が示されるように、１マクロブロック中でＤＣＴブロックを跨いで各周波数成分毎にＤＣＴ係数がまとめられる。すなわち、ＤＣ成分のブロックを先頭に、ＡＣ成分のＤＣＴ係数が低次から高次へと次数毎にまとめて並べられ、出力される。
【０１４６】
図２５Ａの、符号配列変換回路３１１に入力されるデータストリームについて、さらに詳細に説明する。ＭＰＥＧエンコーダでは、画像データがマクロブロックに分割され、マクロブロック内の複数のＤＣＴブロック毎にＤＣＴがなされる。図２６Ａは、ＤＣＴされた後のデータを、ＤＣＴブロック毎に示す。各ＤＣＴブロックは、ＤＣ成分およびＡＣ成分の低次から高次の、６４個のＤＣＴ係数からなる。ＤＣＴブロックは、実際には、図２６Ｂに一例が示されるように、係数が０ではない次数と、係数が０になる次数とが存在する。また、各係数は、それぞれ所定のビット幅（例えば１２ビット）を有する。
【０１４７】
次に、図２６のようにＤＣＴされたＤＣＴ係数に対して可変長符号化を施す。先ず、ＤＣＴブロック毎に、係数が０係数の連続回数である「ラン」と、その直後の非０係数の「レベル」とにまとめられ、符号化される。この様子を、図２７Ｂに示す。なお、「ラン」と「レベル」とをまとめて符号化したものを、以下では、「ラン＆レベル符号」と称する。ラン＆レベル符号は、ビット方向に可変長符号化され、例えば、１〜２４ビットが与えられる。図２７Ａは、ＤＣＴ係数がラン＆レベル符号にまとめられたＤＣＴブロックを示す。各ブロックには、終端に、ブロックの最後を示すＥＯＢ(End Of Block)が付加される。ＥＯＢは、例えば２乃至は４ビットの所定のビットパターンからなる。
【０１４８】
図２５Ａに示すデータストリームは、この図２７Ａに示される各ＤＣＴブロックを、ＥＯＢで次のＤＣＴブロックに接続されるように出力することで得られるものである。上述のＭＰＥＧエンコーダ１０２からの出力や、直接的に入力される、ＳＤＴＩのフォーマットのディジタルビデオ信号からＭＰＥＧ ＥＳが抜き出されたデータストリームは、この図２５Ａに示される構造を有している。
【０１４９】
図２５Ａのような構造のデータストリームが符号配列変換回路３１１に入力される。図２８は、符号配列変換回路３１１の一例の構成を示す。入力されたデータストリームは、ＶＬＣ復号部３５０に供給される。ＶＬＣ復号部３５０では、入力されたデータストリームの可変長符号を復号化し、ラン＆レベル符号を元の状態に戻し、シーケンスヘッダコードおよび各層のスタートコードのパターンマッチングを行い、各層のヘッダ部を抽出し、入力されたデータストリームのフォーマットを検出する。
【０１５０】
フォーマットを検出することにより、１マクロブロックに含まれるＤＣＴブロックの数を知ることができる。この例では、１マクロブロックに含まれるＤＣＴブロックの数は、画像データが４：２：２のシステムでは８個になり、４：２：０のシステムでは６個になる。例えば、この１マクロブロックに含まれるＤＣＴブロックの数によって、後述するメモリ３５１への書き込みや、メモリ３５１からの読み出しが制御される。
【０１５１】
可変長符号を復号化されフォーマットなどを調べられたデータは、ＶＬＣ復号部３５０で、再び入力されたデータストリームと同じように、可変長符号化される。ＶＬＣ復号部からの出力は、メモリ３５１に供給される。メモリ３５１では、ＶＬＣ復号部３５０でのフォーマットの検出結果に基づき、供給されたデータストリームを書き込むアドレスが制御される。例えば、ラン＆レベル符号のそれぞれに２４ビットの領域が与えられ、図２７Ａに示されるように、ＤＣＴブロック毎に行方向に書き込まれていき、ＥＯＢを書き込んだところで、次の行に移り、次のＤＣＴブロックが書き込まれる。
【０１５２】
１マクロブロックのデータが全て書き込まれたら、書き込まれたデータが読み出される。読み出しは、図２７Ａの配置における列方向に向けてなされる。ＤＣＴブロックを跨いで同列に並んだラン＆レベル符号を読んでいき、１マクロブロックのＤＣＴブロックを１列について一巡したら、最初のＤＣＴブロックに戻り、次の列について、同様に読んでいく。同列にデータが存在しない行は、飛び越して読み出される。
【０１５３】
このようにデータの読み出しを行った結果、図２５Ｂの例のように、１マクロブロックを構成する全ＤＣＴブロックにわたりデータが存在する列、例えばＤＣ成分やＡＣの成分の低周波数側といった１マクロブロックのストリームの前側では、同一の次数の係数がＤＣＴブロックを跨いで連続的にまとめて配列される。一方、ストリームの後半では、１マクロブロックの全ＤＣＴブロックにわたりデータが存在するとは限らず、縦方向の同一列においてデータの存在しないＤＣＴブロックが飛ばされ、データが現れた順に配列されたデータストリームが符号配列変換回路３１１から出力される。
【０１５４】
符号配列変換回路３１１の出力は、ＥＣＣエンコーダ１０９に供給される。データストリームは、ＥＣＣエンコーダ１０９のパッキング部１３７でパッキング処理される。上述した余り部分３０３を捨てる処理は、ＥＣＣエンコーダ１０９のパッキング部１３７で行うことができる。例えば、上述したようにメインメモリ１６０から外符号エンコーダ１３９にデータが読み込まれ、１ＥＣＣブロック毎に外符号の符号化がなされる。外符号エンコーダ１３９による、１ピクチャに対応する所定数のＥＣＣブロック（この例では、３２個のＥＣＣブロック）の外符号の符号化処理が終了した後に、メインメモリ１６０のオーバーフロー領域２５１に処理されないで残されたデータが、余り部分３０３として捨てられる。
【０１５５】
このようにして余り部分３０３を捨てられ、外符号の符号化されたデータは、メインメモリ１６０から読み出されてＩＤ付加、内符号の符号化および同期信号の付加など所定の処理をされ、ＥＣＣエンコーダ１０９から出力される。ＥＣＣエンコーダ１０９の出力は、図１５のイコライザ１１０の記録側の構成に対応する記録アンプ３１２を介して、回転ドラム１１１に供給され、磁気テープ１１２に記録される。
【０１５６】
再生側について説明する。磁気テープ１１２から再生された再生データは、図１５のイコライザ１１０の再生側の構成に対応する再生アンプ３１３を介して、ＥＣＣ１１３に供給される。ＥＣＣ１１３では、内符号および外符号の復号化がなされ、記録側でパッキング処理されたデータを元に戻すため、デパッキング処理がなされる。記録側で、１等長化単位からはみ出した余り部分３０３を捨てた場合には、デパッキング処理によって、データが余りが捨てられた状態、すなわち、余り部分３０３が削除された状態に戻される。
【０１５７】
ＥＣＣ１１３の出力が符号配列逆変換回路３１４に供給される。符号配列逆変換回路３１４は、上述した再生側ＭＦＣ１１４に内蔵される、再生側ストリームコンバータに相当する。符号配列逆変換回路３１４に供給される再生データストリームは、上述の図２５Ｂに示されるように、１マクロブロック中でＤＣＴブロックを跨いで各周波数成分毎にＤＣＴ係数がまとめられ、ＤＣ成分のブロックを先頭に、ＡＣ成分のＤＣＴ係数が低次から高次へと次数毎にまとめて並べられている。符号配列逆変換回路３１４では、この再生データストリームを、図２５Ａで上述した、ＭＰＥＧの規定に準じたデータストリームに並べ替える。
【０１５８】
その際、符号配列逆変換回路３１４では、シンタクスチェックを行い、供給された再生データストリームがＭＰＥＧのシンタクスに反していないかどうか判断する。シンタクスチェックにより、記録側で１等長化単位からはみ出した余り部分３０３を捨てたことでシンタクスエラーが発生したとされたら、符号配列逆変換回路３１４において、シンタクスエラーを修復するような処理がなされる。符号配列逆変換回路３１４の詳細については、後述する。
【０１５９】
符号配列逆変換回路３１４の出力は、ＭＰＥＧ ＥＳとしてそのまま出力される。あるいは、符号配列逆変換回路３１４の出力は、ＭＰＥＧデコーダ１１６に供給され、可変長符号を復号化され、ＳＤＩのフォーマットのディジタルビデオ信号として出力される。
【０１６０】
図２９は、符号配列逆変換回路３１４の一例の構成を示す。供給された再生データストリームは、ＶＬＣ復号部３６０に供給される。ＶＬＣ復号部３６０では、供給された再生データストリームの可変長符号を復号化して分解し、ラン＆レベル符号とその符号長を、それぞれメモリ３６１に供給する。また、ＶＬＣ復号部３６０では、供給された再生データストリームから各層のヘッダ情報などを抽出し、シンタクスチェックを行う。シンタクスチェックは、例えば以下のように行う。
【０１６１】
ＶＬＣ復号部３６０では、スライススタートコードを検出して、それぞれのスライス中に存在するＥＯＢ数を調べる。一方、抽出されたヘッダ情報から、１スライス中に含まれるべきＤＣＴブロック数が分かる（例えば、４：２：２システムならば８個）ので、その数とそれぞれのスライス中に存在するＥＯＢ数とを比較し、これらが一致しないスライスでは、記録時に余り部分３０３が捨てられ、ストリームが欠損したことによってシンタクスエラーが生じたものと判断される。
【０１６２】
メモリ３６１では、供給されたラン＆レベル符号および符号長を、それぞれ所定のアドレスに書き込む。例えば、ＤＣＴ係数に対応するラン＆レベル符号の次数が各列にそれぞれ割り当てられ、１マクロブロックに含まれるＤＣＴブロックＹ０〜Ｃｒ１が各行にそれぞれ割り当てられる。すなわち、図３０Ａに一例が示されるように、再生データストリームの順に供給されたラン＆レベル符号は、図中にスタートで示される位置から列方向（図の縦方向）に向けて書き込まれる。１マクロブロックに含まれるとされたＤＣＴブロック数（この例では８個）を一巡すると、最初のＤＣＴブロックＹ０の行に戻り、次の次数のラン＆レベル符号が同様にして、列方向に書き込まれる。
【０１６３】
書き込み時において、ＥＯＢが書き込まれた行は、ＥＯＢの後ろにはデータが書き込まれない。図３０Ａの例では、４個のラン＆レベル符号の後ろにＥＯＢが書き込まれるＤＣＴブロックＹ２の行が、最初にＥＯＢが現れる行である。ＤＣＴブロックＹ２の行にＥＯＢが書き込まれ、その列の書き込みが終了すると、最初の行に戻り、次の列の書き込みがなされる。次の列では、ＤＣＴブロックＹ２の行は、スキップされる。すなわち、ＤＣＴブロックＹ１の行にラン＆レベル符号が書き込まれ、次には、ＤＣＴブロックＹ３の行にラン＆レベル符号が書き込まれる。このようにラン＆レベル符号およびＥＯＢが書き込まれ、最後に、最もラン＆レベル符号が多く長い行の末尾にＥＯＢが書き込まれ、メモリ３６１に対する書き込みが正常に終了される。
【０１６４】
読み出しは、図３０Ｂに一例が示されるように、書き込み時に対して列方向と行方向とを入れ替えて行われる。図中のスタートで示される位置から、行方向（図の横方向）に向けてラン＆レベル符号を順次読み出し、ＥＯＢが読み出されたら、次の行の先頭から読み出す。このように読み出しを行うことで、ＤＣＴブロック毎に、ＤＣＴ係数が低次から高次へと並べられた、ＭＰＥＧの規格に準じた順番で、データが出力される。
【０１６５】
なお、メモリ３６１からは、ラン＆レベルと共に、対応する符号長も読み出される。
【０１６６】
メモリ３６１から出力されたラン＆レベルおよび符号長は、それぞれ可変長符号接続部３６２に供給される。可変長符号接続部３６２では、ラン＆レベルを、共に供給された符号長に基づき所定に接続して出力する。これにより、図２５Ａで上述したような、ＭＰＥＧの規格に準じたデータストリームが出力される。
【０１６７】
ここで、記録時に、１フレームのデータが１等長化単位のデータ量を超過し、固定枠からはみ出したデータ（余りの部分３０３）が捨てられた場合について考える。余りの部分３０３にＥＯＢが含まれている場合、その余りの部分３０３の元のＤＣＴブロックには、ＥＯＢが欠損しており、そのマクロブロックが正常終了していないことになる。
【０１６８】
上述したように、この一実施形態においては、符号配列逆変換回路３１４で、入力された再生データストリームに対してシンタクスチェックを施し、欠損しているＥＯＢが無いかどうか検出し、欠損した箇所にＥＯＢを挿入し、修復を行う。
【０１６９】
図３１を用いて、欠損箇所にＥＯＢを挿入する処理について説明する。メモリ３６１に対するラン＆レベルおよびＥＯＢの書き込みは、上述の図３０Ａの例と同様に行われる。ここで、ＥＯＢが欠損していれば、ＥＯＢで終了していない行、すなわち、ＥＯＢで終了していないＤＣＴブロックが存在することになる。図３１Ａの例では、ＤＣＴブロックＹ３およびＣｂ１がＥＯＢで終了しておらず、記録時に１等長化単位からはみ出て余りの部分３０３として捨てられた部分を有するブロックであることが示される。
【０１７０】
また、このとき、最後に書き込まれた最終符号（図３１Ａの例では、ＤＣＴブロックＣｂ１の最後の符号）は、その符号自体が切断されている可能性があり、信頼性に欠ける。すなわち、ラン＆レベル符号は、それぞれ符号長が異なるため、例えば最終符号の符号長が最終符号の１つ前に書き込まれる符号（この例では、ＤＣＴブロックＹ３の第１０個目の符号）の符号長よりも長い場合、最終符号が最終符号の１つ前に書き込まれた符号の符号長で切断されてしまうことになる。
【０１７１】
符号配列逆変換回路３１４では、ＥＯＢの存在しない行に対して、末尾にＥＯＢを挿入する。例えば、メモリ３６１からＤＣＴブロック毎にデータを読み出し、可変長符号接続部３６２に供給してそれぞれのＤＣＴブロックを接続する際に、各ブロックの末尾にＥＯＢが無ければ、所定の位置にＥＯＢを挿入する。この様子を、図３１Ｂに示す。こうすることによって、全てのＤＣＴブロックの末尾がＥＯＢで終了することになり、ＭＰＥＧの規定に準ずるデータストリームが得られる。
【０１７２】
ＥＯＢは、上述したように２乃至は４ビットの所定のビット列であるので、例えば図示されない所定のレジスタにＥＯＢのビット列を予め記憶させておき、それを用いるようにできる。また、これに限らず、例えば図１５のような構成において、シスコン１２１でＥＯＢを生成するようにしてもよい。
【０１７３】
また、図３１ＡのＤＣＴブロックＣｂ１の最後の符号のように、信頼性に欠けるとされた符号は、図３１Ａに示されるように、削除する。削除された部分は、図のように空けておく（０の符号で埋める）ようにしてもよいし、削除された部分を詰めてＥＯＢを挿入するようにしてもよい。
【０１７４】
なお、上述では、ＥＯＢの挿入を、可変長符号接続部３６２で行うとしたが、これはこの例に限定されない。例えば、メモリ３６１にデータが書き込まれている状態で、所定のアドレスにＥＯＢを書き込むようにしてもよい。
【０１７５】
上述では、この発明がＭＰＥＧやＪＰＥＧのデータストリームを記録するディジタルＶＴＲに適用されるように説明したが、これはこの例に限定されるものではない。例えば、この発明は、可変長符号化を用いた他の方式で圧縮符号化されたデータストリームを記録する場合にも、適用可能である。
【０１７６】
さらに、この発明は、記録媒体が磁気テープ以外であっても適用可能である。データストリームが直接的に記録されるのであれば、例えば、ハードディスクやＤＶＤ(Digital Versatile Disc)といったディスク状記録媒体や、半導体メモリを記録媒体に用いたＲＡＭレコーダなどにも適用可能なものである。
【０１７７】
さらに、上述では、この発明が圧縮画像データを記録する場合に適用されるように説明したが、これはこの例に限定されるものではない。例えば、ＡＣ−３(Audio Code Number 3) 、ＡＡＣ(Advanced Audio Coding) およびＡＴＲＡＣ(AdaptiveTranform Acoustic Coding)などの、音声圧縮技術を採用した音声データ記録装置にも適用可能なものである。
【０１７８】
【発明の効果】
以上説明したように、この発明によれば、ブロック毎に可変長符号化されたデータを固定枠に当てはめ固定枠長のセグメントに割り当て、固定枠からはみ出た部分を、空き領域のある他のセグメントに詰め込むようにし、例えば１フレームといった等長化単位で等長化して、記録媒体に記録する際に、等長化単位からはみ出た余りの部分を捨てるようにしている。そのため、規定のビットレートを越えるデータストリームが入力された場合でも、記録回路の破綻や、記録メディアおよび記録フォーマットの破綻を来さないという効果がある。
【０１７９】
また、再生時には、記録時に余りの部分を捨ててＥＯＢが欠損した箇所にＥＯＢを挿入することで、ＥＯＢの欠損に因るシンタクスエラーを修正するようにしている。そのため、記録時に規定のビットレートを越える入力がなされても、再生時に、重大な画像の乱れや不正なストリームの再生などのトラブルを防止することができる効果がある。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のデータの階層構造を概略的に示す略線図である。
【図２】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図３】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図４】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図５】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図６】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図７】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図８】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図９】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１０】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１１】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１２】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１３】データのバイト単位の整列を説明するための図である。
【図１４】一実施形態におけるＭＰＥＧストリームのヘッダを具体的に示す略線図である。
【図１５】一実施形態による記録再生装置の記録側の構成の一例を示すブロック図である。
【図１６】磁気テープ上に形成されるトラックフォーマットの一例を示す略線図である。
【図１７】ビデオエンコーダの出力の方法と可変長符号化を説明するための略線図である。
【図１８】ビデオエンコーダの出力の順序の並び替えを説明するための略線図である。
【図１９】順序の並び替えられたデータをシンクブロックにパッキングする処理を説明するための略線図である。
【図２０】ＥＣＣエンコーダのより具体的な構成を示すブロック図である。
【図２１】メインメモリのアドレス構成の一例を示す略線図である。
【図２２】可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープへの記録について説明するための略線図である。
【図２３】可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープへの記録について説明するための略線図である。
【図２４】この発明の一実施形態を実現するための構成を概念的に示すブロック図である。
【図２５】符号配列変換回路に入出力される一例のデータストリームを示す略線図である。
【図２６】量子化された一例のＤＣＴ係数を示す略線図である。
【図２７】ランとレベルとをまとめ、ＥＯＢを付加した様子を示す略線図である。
【図２８】符号配列変換回路の一例の構成を示すブロック図である。
【図２９】符号配列逆変換回路の一例の構成を示すブロック図である。
【図３０】再生時の符号配列変換を説明するための略線図である。
【図３１】再生時の符号配列変換の際にＥＯＢを付加することを説明するための略線図である。
【符号の説明】
１・・・シーケンスヘッダコード、２・・・シーケンスヘッダ、３・・・シーケンス拡張、４・・・拡張およびユーザデータ、５・・・ＧＯＰスタートコード、６・・・ＧＯＰヘッダ、７・・・ユーザデータ、８・・・ピクチャスタートコード、９・・・ピクチャヘッダ、１０・・・ピクチャ符号化拡張、１１・・・拡張およびユーザデータ、１２・・・スライススタートコード、１３・・・スライスヘッダ、１４・・・マクロブロックヘッダ、１０１・・・ＳＤＩ受信部、１０２・・・ＭＰＥＧエンコーダ、１０６・・・記録側マルチフォーマットコンバータ（ＭＦＣ）、１０８・・・ＳＤＴＩ受信部、１０９・・・ＥＣＣエンコーダ、１１２・・・磁気テープ、１１３・・・ＥＣＣデコーダ、１１４・・・再生側ＭＦＣ、１１５・・・ＳＤＴＩ出力部、１１６・・・ＭＰＥＧデコーダ、１１８・・・ＳＤＩ出力部、１３７ａ，１３７ｃ・・・パッキング部、１３７ｂ・・・ビデオシャフリング部、１３９・・・外符号エンコーダ、１４０・・・ビデオシャフリング、１４９・・・内符号エンコーダ、３０３・・・余り部分、３１１・・・符号配列変換回路、３１４・・・符号配列逆変換回路
【発明の属する技術分野】
この発明は、可変長符号化によって圧縮符号化された画像データの記録媒体への記録、ならびに、記録媒体からの再生を行う再生装置および方法に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ(Video Tape Recorder) に代表されるように、ディジタルビデオ信号およびディジタルオーディオ信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタルビデオ信号は、データ容量が膨大となるため、所定の方式で圧縮符号化されて記録媒体に記録されるのが一般的である。近年では、ＭＰＥＧ２(Moving Picture Experts Group 2)方式が圧縮符号化の標準的な方式として知られている。
【０００３】
上述のＭＰＥＧ２を始めとする画像圧縮技術では、可変長符号を用いてデータの圧縮率を高めている。したがって、圧縮しようとする画像の複雑さによって、１画面分、例えば１フレームあるいは１フィールド当たりの圧縮後の符号量が変動する。
【０００４】
一方、磁気テープやディスク記録媒体といった記録媒体にビデオ信号を記録する記録装置、特にＶＴＲにおいては、１フレームや１フィールドが等長化の単位とされる。すなわち、１フレームや１フィールド当たりの符号量を一定値以下に収め、セクタやセグメントと称される、記憶媒体の一定容量の領域に記録する。
【０００５】
ＶＴＲに等長化方式が採用される最大の理由は、記録媒体である磁気テープ上での等長化単位、すなわち、１フレームや１フィールド単位での編集が可能になるためである。また、記録時間に比例して記録媒体が消費されるため、記録総量や残量を、正確に求めることができ、高速サーチによる頭出し処理も容易に行えるという利点がある。また、記録媒体の制御の観点からは、例えば記録媒体が磁気テープであれば、等長化方式でデータを記録することで、力学的に駆動される磁気テープを等速度に保って走行させることで安定化を図れるという利点を有する。これらの利点は、ディスク記録媒体であっても、同様に適用させることができる。
【０００６】
可変長符号化方式と、等長化方式とでは、上述のように、相反する性質を有する。近年では、ビデオ信号を非圧縮のベースバンド信号で入力し、内部でＭＰＥＧ２やＪＰＥＧ(Joint Photographic Experts Group)といった可変長符号により圧縮符号化を施して、記録媒体に記録する記録装置が出現している。また、可変長符号を用いて圧縮符号化されたストリームを直接的に入出力および記録／再生するような記録再生装置も提案されている。このような記録再生装置では、例えばＭＰＥＧ２方式で圧縮符号化されたストリームが、機器に直接的に入力され、また、機器から出力される。
【０００７】
なお、繁雑さを避けるため、以下では、ディジタルビデオ信号の等長化の単位をフレームとし、可変長符号を用いた圧縮符号化方式をＭＰＥＧ２であるとして説明する。
【０００８】
【発明が解決しようとする課題】
ベースバンド信号をＭＰＥＧ方式に基づきエンコードして記録する場合には、記録装置のエンコーダが等長化処理を行うことになる。すなわち、記録装置に入力されたディジタルビデオ信号がＭＰＥＧエンコーダに供給され、フレーム毎に一定の符号量に納まるようにエンコードされる。エンコードされたディジタルビデオ信号は、フレーム毎に区切られた記録媒体上の領域に、フレーム分のストリームが記録される。例えば、記録媒体がヘリカルトラックで記録がなされる磁気テープであれば、所定数のトラック毎に１フレーム分のストリームが記録される。この場合には、何ら問題は生じない。
【０００９】
ここで、予め可変長符号を用いて圧縮符号化されたストリームが記録装置に直接的に入力され、入力されたこのストリームを例えば上述の磁気テープに記録する場合について考える。この場合には、入力されたストリームにおいて、等長化単位（１フレーム）の符号量がその上限に収まっている保証が無いという問題点があった。
【００１０】
例えば、ある記録装置で、１フレーム分のデータを４トラック以内に記録されるように定められている場合に、入力されたストリームが４トラックに記録可能なデータ量を超過しているような場合が有り得る。
【００１１】
このとき、若し、その記録装置が、ストリームを入力された順で、フレーム毎に記録するようなものであれば、入力されたあるフレームの符号量がフレームを記録可能な容量の上限を越えた場合、そのフレームのストリームは、その機器に所定の等長化容量分だけが記録され、残りは捨てられることになる。この場合には、そのフレームを再生した場合に、例えば画面の下端部が欠落してしまうことになるという問題点があった。
【００１２】
また、この場合には、捨てられたストリームは、途中で切断されたことになり、再生時には、次フレームとの境界においてシンタクスエラーが発生する可能性がある。すなわち、ストリームには、所定のシンタクスに基づき、ストリームの内容を示す情報が所定の位置に格納されており、この情報に基づき、再生時の復号化処理などが行われる。したがって、再生時にシンタクスエラーが発生すると、ストリームの復号化処理を行うデコーダが暴走したり、ハングアップしてしまう可能性もあるという問題点があった。
【００１３】
さらに、入力されたストリームが確実に、その装置に対応した等長化処理がなされているという前提で設計された、エラーに対する耐性が弱い記録装置も存在する。このような記録装置では、ストリームの記録の段階で、処理に破綻を来すことになるという問題点があった。
【００１４】
この場合、例えば、入力ストリームの、その装置の等長化の長さから溢れた符号が次のフレームの領域に侵入し、次のフレームの容量と記録位置を圧迫することになる。この段階で、既に記録媒体を等長化する意味が失われている。飴フレームのデータに圧迫されて押された次フレームが、さらに次のフレームを押すことが繰り返され、やがて、記録系のメモリがオーバーフローしてしまうという危険性もある。
【００１５】
したがって、この発明の目的は、装置の等長化の容量よりも大きな容量の等長化ストリームが入力されても破綻しない再生装置および方法を提供することにある。
【００１８】
また、この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生装置において、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生手段と、再生手段で再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断するチェック手段と、再生手段で再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替える符号配列逆変換手段とを有し、チェック手段によるチェックの結果、再生手段で再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生装置である。
【００１９】
また、この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生方法において、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生のステップと、再生のステップで再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断するチェックのステップと、再生のステップで再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替える符号配列逆変換のステップとを有し、チェックのステップによるチェックの結果、再生のステップで再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生方法である。
【００２１】
この発明は、第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた第２のブロックを、先頭から所定長の固定枠に当てはめ、固定枠からはみ出た部分を空き領域のある他の固定枠に詰め込んでパッキングし、等長化の対象となるデータ量が等長化単位の容量を越えるときは、重要ではないデータが等長化単位からはみ出るようにし、等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生し、再生されたデータをチェックし、データが所定の規定を満たしているかどうか判断し、再生されたデータに対し、並べ替えられたブロック内のデータの順序を元の順序に並べ替えるようにされ、チェックの結果、再生されたデータが所定の規定を満たしていないと判断されたときに、はみ出た部分が記録されなかった第１のブロックに対して、終端を示す識別情報を付加するようにしているため、記録時に規定のビットレートを越えるレートのデータストリームが入力され、入力されたデータストリームに対して等長化を行った際に等長化単位からはみ出て捨てられたブロックの終端を示す識別情報が欠損していても、再生に破綻を来すことが避けられる。
【００２２】
【発明の実施の形態】
以下、この発明をディジタルＶＴＲに対して適用した一実施形態について説明する。この一実施形態は、放送局の環境で使用して好適なもので、互いに異なる複数のフォーマットのビデオ信号の記録／再生を可能とするものである。
【００２３】
この一実施形態では、圧縮方式としては、例えばＭＰＥＧ２方式が採用される。ＭＰＥＧ２は、動き補償予測符号化と、ＤＣＴによる圧縮符号化とを組み合わせたものである。ＭＰＥＧ２のデータ構造は、階層構造をなしている。図１は、一般的なＭＰＥＧ２のデータストリームの階層構造を概略的に示す。図１に示されるように、データ構造は、下位から、マクロブロック層（図１Ｅ）、スライス層（図１Ｄ）、ピクチャ層（図１Ｃ）、ＧＯＰ層（図１Ｂ）およびシーケンス層（図１Ａ）となっている。
【００２４】
図１Ｅに示されるように、マクロブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、マクロブロックヘッダと複数のＤＣＴブロックとで構成される。スライス層は、図１Ｄに示されるように、スライスヘッダ部と、１以上のマクロブロックより構成される。ピクチャ層は、図１Ｃに示されるように、ピクチャヘッダ部と、１以上のスライスとから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、図１Ｂに示されるように、ＧＯＰヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。
【００２５】
Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２７】
ＧＯＰには、最低１枚のＩピクチャが含まれ、ＰおよびＢピクチャは、存在しなくても許容される。最上層のシーケンス層は、図１Ａに示されるように、シーケンスヘッダ部と複数のＧＯＰとから構成される。
【００２８】
ＭＰＥＧのフォーマットにおいては、スライスが１つの可変長符号系列である。可変長符号系列とは、可変長符号を正しく復号化しなければデータの境界を検出できない系列である。
【００２９】
また、シーケンス層、ＧＯＰ層、ピクチャ層およびスライス層の先頭には、それぞれ、バイト単位に整列された所定のビットパターンを有するスタートコードが配される。この、各層の先頭に配されるスタートコードを、シーケンス層においてはシーケンスヘッダコード、他の階層においてはスタートコードと称し、ビットパターンが〔００ ００ ０１ ｘｘ〕（１６進表記）とされる。２桁ずつ示され、〔ｘｘ〕は、各層のそれぞれで異なるビットパターンが配されることを示す。
【００３０】
すなわち、スタートコードおよびシーケンスヘッダコードは、４バイト（＝３２ビット）からなり、４バイト目の値に基づき、後に続く情報の種類を識別できる。これらスタートコードおよびシーケンスヘッダコードは、バイト単位で整列されているため、４バイトのパターンマッチングを行うだけで捕捉することができる。
【００３１】
さらに、スタートコードに続く１バイトの上位４ビットが、後述する拡張データ領域の内容の識別子となっている。この識別子の値により、その拡張データの内容を判別することができる。
【００３２】
なお、マクロブロック層およびマクロブロック内のＤＣＴブロックには、このような、バイト単位に整列された所定のビットパターンを有する識別コードは、配されない。
【００３３】
各層のヘッダ部について、より詳細に説明する。図１Ａに示すシーケンス層では、先頭にシーケンスヘッダ２が配され、続けて、シーケンス拡張３、拡張およびユーザデータ４が配される。シーケンスヘッダ２の先頭には、シーケンスヘッダコード１が配される。また、図示しないが、シーケンス拡張３およびユーザデータ４の先頭にも、それぞれ所定のスタートコードが配される。シーケンスヘッダ２からから拡張およびユーザデータ４までがシーケンス層のヘッダ部とされる。
【００３４】
シーケンスヘッダ２には、図２に内容と割当ビットが示されるように、シーケンスヘッダコード１、水平方向画素数および垂直方向ライン数からなる符号化画像サイズ、アスペクト比、フレームレート、ビットレート、ＶＢＶ(Video Buffering Verifier)バッファサイズ、量子化マトリクスなど、シーケンス単位で設定される情報がそれぞれ所定のビット数を割り当てられて格納される。
【００３５】
シーケンスヘッダに続く拡張スタートコード後のシーケンス拡張３では、図３に示されるように、ＭＰＥＧ２で用いられるプロファイル、レベル、色差フォーマット、プログレッシブシーケンスなどの付加データが指定される。拡張およびユーザデータ４は、図４に示されるように、シーケンス表示（）により、原信号のＲＧＢ変換特性や表示画サイズの情報を格納できると共に、シーケンススケーラブル拡張（）により、スケーラビリティモードやスケーラビリティのレイヤ指定などを行うことができる。
【００３６】
シーケンス層のヘッダ部に続けて、ＧＯＰが配される。ＧＯＰの先頭には、図１Ｂに示されるように、ＧＯＰヘッダ６およびユーザデータ７が配される。ＧＯＰヘッダ６およびユーザデータ７がＧＯＰのヘッダ部とされる。ＧＯＰヘッダ６には、図５に示されるように、ＧＯＰのスタートコード５、タイムコード、ＧＯＰの独立性や正当性を示すフラグがそれぞれ所定のビット数を割り当てられて格納される。ユーザデータ７は、図６に示されるように、拡張データおよびユーザデータを含む。図示しないが、拡張データおよびユーザデータの先頭には、それぞれ所定のスタートコードが配される。
【００３７】
ＧＯＰ層のヘッダ部に続けて、ピクチャが配される。ピクチャの先頭には、図１Ｃに示されるように、ピクチャヘッダ９、ピクチャ符号化拡張１０、ならびに、拡張およびユーザデータ１１が配される。ピクチャヘッダ９の先頭には、ピクチャスタートコード８が配される。また、ピクチャ符号化拡張１０、ならびに、拡張およびユーザデータ１１の先頭には、それぞれ所定のスタートコードが配される。ピクチャヘッダ９から拡張およびユーザデータ１１までがピクチャのヘッダ部とされる。
【００３８】
ピクチャヘッダ９は、図７に示されるように、ピクチャスタートコード８が配されると共に、画面に関する符号化条件が設定される。ピクチャ符号化拡張１０では、図８に示されるように、前後方向および水平／垂直方向の動きベクトルの範囲の指定や、ピクチャ構造の指定がなされる。また、ピクチャ符号化拡張１０では、イントラマクロブロックのＤＣ係数精度の設定、ＶＬＣタイプの選択、線型／非線型量子化スケールの選択、ＤＣＴにおけるスキャン方法の選択などが行われる。
【００３９】
拡張およびユーザデータ１１では、図９に示されるように、量子化マトリクスの設定や、空間スケーラブルパラメータの設定などが行われる。これらの設定は、ピクチャ毎に可能となっており、各画面の特性に応じた符号化を行うことができる。また、拡張およびユーザデータ１１では、ピクチャの表示領域の設定を行うことが可能となっている。さらに、拡張およびユーザデータ１１では、著作権情報を設定することもできる。
【００４０】
ピクチャ層のヘッダ部に続けて、スライスが配される。スライスの先頭には、図１Ｄに示されるように、スライスヘッダ１３が配され、スライスヘッド１３の先頭に、スライススタートコード１２が配される。図１０に示されるように、スライススタートコード１２は、当該スライスの垂直方向の位置情報を含む。スライスヘッダ１３には、さらに、拡張されたスライス垂直位置情報や、量子化スケール情報などが格納される。
【００４１】
スライス層のヘッダ部に続けて、マクロブロックが配される（図１Ｅ）。マクロブロックでは、マクロブロックヘッダ１４に続けて複数のＤＣＴブロックが配される。上述したように、マクロブロックヘッダ１４にはスタートコードが配されない。図１１に示されるように、マクロブロックヘッダ１４は、マクロブロックの相対的な位置情報が格納されると共に、動き補償モードの設定、ＤＣＴ符号化に関する詳細な設定などを指示する。
【００４２】
マクロブロックヘッダ１４に続けて、ＤＣＴブロックが配される。ＤＣＴブロックは、図１２に示されるように、可変長符号化されたＤＣＴ係数およびＤＣＴ係数に関するデータが格納される。
【００４３】
なお、図１では、各層における実線の区切りは、データがバイト単位に整列されていることを示し、点線の区切りは、データがバイト単位に整列されていないことを示す。すなわち、ピクチャ層までは、図１３Ａに一例が示されるように、符号の境界がバイト単位で区切られているのに対し、スライス層では、スライススタートコード１２のみがバイト単位で区切られており、各マクロブロックは、図１３Ｂに一例が示されるように、ビット単位で区切ることができる。同様に、マクロブロック層では、各ＤＣＴブロックをビット単位で区切ることができる。一方、復号および符号化による信号の劣化を避けるためには、符号化データ上で編集することが望ましい。このとき、ＰピクチャおよびＢピクチャは、その復号に、時間的に前のピクチャあるいは前後のピクチャを必要とする。そのため、編集単位を１フレーム単位とすることができない。この点を考慮して、この一実施形態では、１つのＧＯＰが１枚のＩピクチャからなるようにしている。
【００４４】
また、例えば１フレーム分の記録データが記録される記録領域が所定のものとされる。ＭＰＥＧ２では、可変長符号化を用いているので、１フレーム期間に発生するデータを所定の記録領域に記録できるように、１フレーム分の発生データ量が制御される。さらに、この一実施形態では、磁気テープへの記録に適するように、１スライスを１マクロブロックから構成すると共に、１マクロブロックを、所定長の固定枠に当てはめる。
【００４５】
図１４は、この一実施形態におけるＭＰＥＧストリームのヘッダを具体的に示す。図１で分かるように、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層のそれぞれのヘッダ部は、シーケンス層の先頭から連続的に現れる。図１４は、シーケンスヘッダ部分から連続した一例のデータ配列を示している。
【００４６】
先頭から、１２バイト分の長さを有するシーケンスヘッダ２が配され、続けて、１０バイト分の長さを有するシーケンス拡張３が配される。シーケンス拡張３の次には、拡張およびユーザデータ４が配される。拡張およびユーザデータ４の先頭には、４バイト分のユーザデータスタートコードが配され、続くユーザデータ領域には、ＳＭＰＴＥの規格に基づく情報が格納される。
【００４７】
シーケンス層のヘッダ部の次は、ＧＯＰ層のヘッダ部となる。８バイト分の長さを有するＧＯＰヘッダ６が配され、続けて拡張およびユーザデータ７が配される。拡張およびユーザデータ７の先頭には、４バイト分のユーザデータスタートコードが配され、続くユーザデータ領域には、既存の他のビデオフォーマットとの互換性をとるための情報が格納される。
【００４８】
ＧＯＰ層のヘッダ部の次は、ピクチャ層のヘッダ部となる。９バイトの長さを有するピクチャヘッダ９が配され、続けて９バイトの長さを有するピクチャ符号化拡張１０が配される。ピクチャ符号化拡張１０の後に、拡張およびユーザデータ１１が配される。拡張およびユーザデータ１１の先頭側１３３バイトに拡張およびユーザデータが格納され、続いて４バイトの長さを有するユーザデータスタートコード１５が配される。ユーザデータスタートコード１５に続けて、既存の他のビデオフォーマットとの互換性をとるための情報が格納される。さらに、ユーザデータスタートコード１６が配され、ユーザデータスタートコード１６に続けて、ＳＭＰＴＥの規格に基づくデータが格納される。ピクチャ層のヘッダ部の次は、スライスとなる。
【００４９】
マクロブロックについて、さらに詳細に説明する。スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、ＤＣＴブロックの符号化系列は、量子化されたＤＣＴ係数の系列を０係数の連続回数（ラン）とその直後の非０系列（レベル）を１つの単位として可変長符号化したものである。マクロブロックならびにマクロブロック内のＤＣＴブロックには、バイト単位に整列した識別コードが付加されない。
【００５０】
マクロブロックは、画面（ピクチャ）を１６画素×１６ラインの格子状に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。連続するスライスの前のスライスの最後のマクロブロックと、次のスライスの先頭のマクロブロックとは連続しており、スライス間でのマクロブロックのオーバーラップを形成することは、許されていない。また、画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【００５１】
画面上での垂直方向および水平方向のマクロブロック数を、それぞれｍｂ＿ｈｅｉｇｈｔおよびｍｂ＿ｗｉｄｔｈと称する。画面上でのマクロブロックの座標は、マクロブロックの垂直位置番号を、上端を基準に０から数えたｍｂ＿ｒｏｗと、マクロブロックの水平位置番号を、左端を基準に０から数えたｍｂ＿ｃｏｌｕｍｎとで表すように定められている。画面上でのマクロブロックの位置を一つの変数で表すために、ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓを、
ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＝ｍｂ＿ｒｏｗ×ｍｂ＿ｗｉｄｔｈ＋ｍｂ＿ｃｏｌｕｍｎ
このように定義する。
【００５２】
ストリーム上でのスライスとマクロブロックの順は、ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓの小さい順でなければいけないと定められている。すなわち、ストリームは、画面の上から下、左から右の順に伝送される。
【００５３】
ＭＰＥＧでは、１スライスを１ストライプ（１６ライン）で構成することが多いが、画面の左端から可変長符号化が始まり、右端で終わる。従って、ＶＴＲによってそのままＭＰＥＧエレメンタリストリームを記録した場合、高速再生時に、再生できる部分が画面の左端に集中し、均一に更新することができない。また、データのテープ上の配置を予測できないため、テープパターンを一定の間隔でトレースしたのでは、均一な画面更新ができなくなる。さらに、１箇所でもエラーが発生すると、画面右端まで影響し、次のスライスヘッダが検出されるまで復帰できない。このために、１スライスを１マクロブロックで構成するようにしている。
【００５４】
図１５は、この一実施形態による記録再生装置の記録側の構成の一例を示す。記録時には、端子１００から入力されたディジタル信号がＳＤＩ(Serial Data Interface) 受信部１０１に供給される。ＳＤＩは、（４：２：２）コンポーネントビデオ信号とディジタルオーディオ信号と付加的データとを伝送するために、ＳＭＰＴＥによって規定されたインターフェイスである。ＳＤＩ受信部１０１で、入力されたディジタル信号からディジタルビデオ信号とディジタルオーディオ信号とがそれぞれ抽出され、ディジタルビデオ信号は、ＭＰＥＧエンコーダ１０２に供給され、ディジタルオーディオ信号は、ディレイ１０３を介してＥＣＣエンコーダ１０９に供給される。ディレイ１０３は、ディジタルオーディオ信号とディジタルビデオ信号との時間差を解消するためのものである。
【００５５】
また、ＳＤＩ受信部１０１では、入力されたディジタル信号から同期信号を抽出し、抽出された同期信号をタイミングジェネレータ１０４に供給する。タイミングジェネレータ１０４には、端子１０５から外部同期信号を入力することもできる。タイミングジェネレータ１０４では、入力されたこれらの同期信号および後述するＳＤＴＩ受信部１０８から供給される同期信号のうち、指定された信号に基づきタイミングパルスを生成する。生成されたタイミングパルスは、この記録再生装置の各部に供給される。
【００５６】
入力ビデオ信号は、ＭＰＥＧエンコーダ１０２においてＤＣＴ(Discrete Cosine Transform) の処理を受け、係数データに変換され、係数データが可変長符号化される。ＭＰＥＧエンコーダ１０２からの可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したエレメンタリストリーム（ＥＳ）である。この出力は、記録側のマルチフォーマットコンバータ（以下、ＭＦＣと称する）１０６の一方の入力端に供給される。
【００５７】
一方、入力端子１０７を通じて、ＳＤＴＩ(Serial Data Transport Interface) のフォーマットのデータが入力される。この信号は、ＳＤＴＩ受信部１０８で同期検出される。そして、バッファに一旦溜め込まれ、エレメンタリストリームが抜き出される。抜き出されたエレメンタリストリームは、記録側ＭＦＣ１０６の他方の入力端に供給される。同期検出されて得られた同期信号は、上述したタイミングジェネレータ１０４に供給される。
【００５８】
一実施形態では、例えばＭＰＥＧ ＥＳ（ＭＰＥＧエレメンタリストリーム）を伝送するために、ＳＤＴＩ(Serial Data Transport Interface）−ＣＰ(Content Package) が使用される。このＥＳは、４：２：２のコンポーネントであり、また、上述したように、全てＩピクチャのストリームであり、１ＧＯＰ＝１ピクチャの関係を有する。ＳＤＴＩ−ＣＰのフォーマットでは、ＭＰＥＧ ＥＳがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。ＳＤＴＩ−ＣＰでは、十分な伝送帯域（クロックレートで２７ＭHzまたは３６ＭHz、ストリームビットレートで２７０Ｍ bpsまたは３６０Ｍ bps）を有しており、１フレーム期間で、バースト的にＥＳを送ることが可能である。
【００５９】
すなわち、１フレーム期間のＳＡＶの後からＥＡＶまでの間に、システムデータ、ビデオストリーム、オーディオストリーム、ＡＵＸデータが配される。１フレーム期間全体にデータが存在せずに、その先頭から所定期間バースト状にデータが存在する。フレームの境界においてＳＤＴＩ−ＣＰのストリーム（ビデオおよびオーディオ）をストリームの状態でスイッチングすることができる。ＳＤＴＩ−ＣＰは、クロック基準としてＳＭＰＴＥタイムコードを使用したコンテンツの場合に、オーディオ、ビデオ間の同期を確立する機構を有する。さらに、ＳＤＴＩ−ＣＰとＳＤＩとが共存可能なように、フォーマットが決められている。
【００６０】
上述したＳＤＴＩ−ＣＰを使用したインターフェースは、ＴＳ(Transport Stream)を転送する場合のように、エンコーダおよびデコーダがＶＢＶ(Video Buffer Verifier) バッファおよびＴＢｓ(Transport Buffers) を通る必要がなく、ディレイを少なくできる。また、ＳＤＴＩ−ＣＰ自体が極めて高速の転送が可能なこともディレイを一層少なくする。従って、放送局の全体を管理するような同期が存在する環境では、ＳＤＴＩ−ＣＰを使用することが有効である。
【００６１】
なお、ＳＤＴＩ受信部１０８では、さらに、入力されたＳＤＴＩ−ＣＰのストリームからディジタルオーディオ信号を抽出する。抽出されたディジタルオーディオ信号は、ＥＣＣエンコーダ１０９に供給される。
【００６２】
記録側ＭＦＣ１０６は、セレクタおよびストリームコンバータを内蔵する。記録側ＭＦＣ１０６は、例えば１個の集積回路内に構成される。記録側ＭＦＣ１０６において行われる処理について説明する。上述したＭＰＥＧエンコーダ１０２およびＳＤＴＩ受信部１０８から供給されたＭＰＥＧ ＥＳは、セレクタで何方か一方を選択され、ストリームコンバータに供給される。
【００６３】
ストリームコンバータでは、ＭＰＥＧ２の規定に基づきＤＣＴブロック毎に並べられていたＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して、周波数成分毎にまとめ、まとめた周波数成分を並べ替える。また、ストリームコンバータは、エレメンタリストリームの１スライスが１ストライプの場合には、１スライスを１マクロブロックからなるものにする。さらに、ストリームコンバータは、１マクロブロックで発生する可変長データの最大長を所定長に制限する。これは、高次のＤＣＴ係数を０とすることでなしうる。並べ替えられた変換エレメンタリストリームは、ＥＣＣエンコーダ１０９に供給される。
【００６４】
ＥＣＣエンコーダ１０９は、大容量のメインメモリが接続され（図示しない）、パッキングおよびシャフリング部、オーディオ用外符号エンコーダ、ビデオ用外符号エンコーダ、内符号エンコーダ、オーディオ用シャフリング部およびビデオ用シャフリング部などを内蔵する。また、ＥＣＣエンコーダ１０９は、シンクブロック単位でＩＤを付加する回路や、同期信号を付加する回路を含む。ＥＣＣエンコーダ１０９は、例えば１個の集積回路で構成される。
【００６５】
なお、一実施形態では、ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオデータまたはオーディオデータの２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。
【００６６】
ＥＣＣエンコーダ１０９における処理について説明する。エレメンタリストリームのビデオデータは、可変長符号化されているため、各マクロブロックのデータの長さが不揃いである。パッキングおよびシャフリング部では、マクロブロックが固定枠に詰め込まれる。このとき、固定枠からはみ出たオーバーフロー部分は、固定枠のサイズに対して空いている領域に順に詰め込まれる。
【００６７】
また、画像フォーマット、シャフリングパターンのバージョン等の情報を有するシステムデータが、後述するシスコン１２１から供給され、図示されない入力端から入力される。システムデータは、パッキングおよびシャフリング部に供給され、ピクチャデータと同様に記録処理を受ける。システムデータは、ビデオＡＵＸとして記録される。また、走査順に発生する１フレームのマクロブロックを並び替え、テープ上のマクロブロックの記録位置を分散させるシャフリングが行われる。シャフリングによって、変速再生時に断片的にデータが再生される時でも、画像の更新率を向上させることができる。
【００６８】
パッキングおよびシャフリング部からのビデオデータおよびシステムデータ（以下、特に必要な場合を除き、システムデータを含む場合も単にビデオデータと称する）は、ビデオデータに対して外符号化の符号化を行うビデオ用外符号エンコーダに供給され、外符号パリティが付加される。外符号エンコーダの出力は、ビデオ用シャフリング部で、複数のＥＣＣブロックにわたってシンクブロック単位で順番を入れ替える、シャフリングがなされる。シンクブロック単位のシャフリングによって特定のＥＣＣブロックにエラーが集中することが防止される。シャフリング部でなされるシャフリングを、インターリーブと称することもある。ビデオ用シャフリング部の出力は、メインメモリに書き込まれる。
【００６９】
一方、上述したように、ＳＤＴＩ受信部１０８あるいはディレイ１０３から出力されたディジタルオーディオ信号がＥＣＣエンコーダ１０９に供給される。この一実施形態では、非圧縮のディジタルオーディオ信号が扱われる。ディジタルオーディオ信号は、これらに限らず、オーディオインターフェースを介して入力されるようにもできる。また、図示されない入力端子から、オーディオＡＵＸが供給される。オーディオＡＵＸは、補助的データであり、オーディオデータのサンプリング周波数等のオーディオデータに関連する情報を有するデータである。オーディオＡＵＸは、オーディオデータに付加され、オーディオデータと同等に扱われる。
【００７０】
オーディオＡＵＸが付加されたオーディオデータ（以下、特に必要な場合を除き、ＡＵＸを含む場合も単にオーディオデータと称する）は、オーディオデータに対して外符号の符号化を行うオーディオ用外符号エンコーダに供給される。オーディオ用外符号エンコーダの出力がオーディオ用シャフリング部に供給され、シャフリング処理を受ける。オーディオシャフリングとして、シンクブロック単位のシャフリングと、チャンネル単位のシャフリングとがなされる。
【００７１】
オーディオ用シャフリング部の出力は、メインメモリに書き込まれる。上述したように、メインメモリには、ビデオ用シャフリング部の出力も書き込まれており、メインメモリで、オーディオデータとビデオデータとが混合され、１チャンネルのデータとされる。
【００７２】
メインメモリからデータが読み出され、シンクブロック番号を示す情報等を有するＩＤが付加され、内符号エンコーダに供給される。内符号エンコーダでは、供給されたデータに対して内符号の符号化を施す。内符号エンコーダの出力に対してシンクブロック毎の同期信号が付加され、シンクブロックが連続する記録データが構成される。
【００７３】
ＥＣＣエンコーダ１０９から出力された記録データは、記録アンプなどを含むイコライザ１１０に供給され、記録ＲＦ信号に変換される。記録ＲＦ信号は、回転ヘッドが所定に設けられた回転ドラム１１１に供給され、磁気テープ１１２上に記録される。回転ドラム１１１には、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが取り付けられている。
【００７４】
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。なお、イコライザ１１０は、記録側の構成と再生側の構成とを共に含む。
【００７５】
図１６は、上述した回転ヘッドにより磁気テープ上に形成されるトラックフォーマットの一例を示す。この例では、１フレーム当たりのビデオおよびオーディオデータが４トラックで記録されている。互いに異なるアジマスの２トラックによって１セグメントが構成される。すなわち、４トラックは、４セグメントからなる。セグメントを構成する１組のトラックに対して、アジマスと対応するトラック番号〔０〕とトラック番号〔１〕が付される。トラックのそれぞれにおいて、両端側にビデオデータが記録されるビデオセクタが配され、ビデオセクタに挟まれて、オーディオデータが記録されるオーディオセクタが配される。この図１６は、テープ上のセクタの配置を示すものである。
【００７６】
この例では、４チャンネルのオーディオデータを扱うことができるようにされている。Ａ１〜Ａ４は、それぞれオーディオデータの１〜４ｃｈを示す。オーディオデータは、セグメント単位で配列を変えられて記録される。また、ビデオデータは、この例では、１トラックに対して４エラー訂正ブロック分のデータがインターリーブされ、Ｕｐｐｅｒ ＳｉｄｅおよびＬｏｗｅｒ Ｓｉｄｅのセクタに分割され記録される。
【００７７】
Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタには、所定位置にシステム領域（ＳＹＳ）が設けられる。システム領域は、例えば、Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタの先頭側と末尾側とに、トラック毎に交互に設けられる。
【００７８】
なお、図１６において、ＳＡＴは、サーボロック用の信号が記録されるエリアである。また、各記録エリアの間には、所定の大きさのギャップが設けられる。
【００７９】
図１６は、１フレーム当たりのデータを４トラックで記録する例であるが、記録再生するデータのフォーマットによっては、１フレーム当たりのデータを８トラック、６トラックなどで記録するようにができる。
【００８０】
図１６Ｂに示されるように、テープ上に記録されるデータは、シンクブロックと称される等間隔に区切られた複数のブロックからなる。図１６Ｃは、シンクブロックの構成を概略的に示す。シンクブロックは、同期検出するためのＳＹＮＣパターン、シンクブロックのそれぞれを識別するためのＩＤ、後続するデータの内容を示すＤＩＤ、データパケットおよびエラー訂正用の内符号パリティから構成される。データは、シンクブロック単位でパケットとして扱われる。すなわち、記録あるいは再生されるデータ単位の最小のものが１シンクブロックである。シンクブロックが多数並べられて（図１６Ｂ）、例えばビデオセクタが形成される。
【００８１】
図１５の説明に戻り、再生時には、磁気テープ１１２から回転ドラム１１１で再生された再生信号が再生アンプなどを含むイコライザ１１０の再生側の構成に供給される。イコライザ１１０では、再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。イコライザ１１０の出力は、ＥＣＣデコーダ１１３に供給される。
【００８２】
ＥＣＣデコーダ１１３は、上述したＥＣＣエンコーダ１０９と逆の処理を行うもので、大容量のメインメモリと、内符号デコーダ、オーディオ用およびビデオ用それぞれのデシャフリング部ならびに外符号デコーダを含む。さらに、ＥＣＣデコーダ１１３は、ビデオ用として、デシャフリングおよびデパッキング部、データ補間部を含む。同様に、オーディオ用として、オーディオＡＵＸ分離部とデータ補間部を含む。ＥＣＣデコーダ１１３は、例えば１個の集積回路で構成される。
【００８３】
ＥＣＣデコーダ１１３における処理について説明する。ＥＣＣデコーダ１１３では、先ず、同期検出を行いシンクブロックの先頭に付加されている同期信号を検出し、シンクブロックを切り出す。データは、シンクブロック毎に内符号エンコーダに供給され、内符号のエラー訂正がなされる。内符号エンコーダの出力に対してＩＤ補間処理がなされ、内符号によりエラーとされたシンクブロックのＩＤ例えばシンクブロック番号が補間される。ＩＤが補間された再生データは、ビデオデータとオーディオデータとに分離される。
【００８４】
上述したように、ビデオデータは、ＭＰＥＧのイントラ符号化で発生したＤＣＴ係数データおよびシステムデータを意味し、オーディオデータは、ＰＣＭ(Pulse Code Modulation) データおよびオーディオＡＵＸを意味する。
【００８５】
分離されたオーディオデータは、オーディオ用デシャフリング部に供給され、記録側のシャフリング部でなされたシャフリングと逆の処理を行う。デシャフリング部の出力がオーディオ用の外符号デコーダに供給され、外符号によるエラー訂正がなされる。オーディオ用の外符号デコーダからは、エラー訂正されたオーディオデータが出力される。訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。
【００８６】
オーディオ用の外符号デコーダの出力から、オーディオＡＵＸ分離部でオーディオＡＵＸが分離され、分離されたオーディオＡＵＸがＥＣＣデコーダ１１３から出力される（経路は省略する）。オーディオＡＵＸは、例えば後述するシスコン１２１に供給される。また、オーディオデータは、データ補間部に供給される。データ補間部では、エラーの有るサンプルが補間される。補間方法としては、時間的に前後の正しいデータの平均値で補間する平均値補間、前の正しいサンプルの値をホールドする前値ホールド等を使用できる。
【００８７】
データ補間部の出力がＥＣＣデコーダ１１３からのオーディオデータの出力であって、ＥＣＣデコーダ１１３から出力されたオーディオデータは、ディレイ１１７およびＳＤＴＩ出力部１１５に供給される。ディレイ１１７は、後述するＭＰＥＧデコーダ１１６でのビデオデータの処理による遅延を吸収するために設けられる。ディレイ１１７に供給されたオーディオデータは、所定の遅延を与えられて、ＳＤＩ出力部１１８に供給される。
【００８８】
分離されたビデオデータは、デシャフリング部に供給され、記録側のシャフリングと逆の処理がなされる。デシャフリング部は、記録側のシャフリング部でなされたシンクブロック単位のシャフリングを元に戻す処理を行う。デシャフリング部の出力が外符号デコーダに供給され、外符号によるエラー訂正がなされる。訂正できないエラーが発生した場合には、エラーの有無を示すエラーフラグがエラー有りを示すものとされる。
【００８９】
外符号デコーダの出力がデシャフリングおよびデパッキング部に供給される。デシャフリングおよびデパッキング部は、記録側のパッキングおよびシャフリング部でなされたマクロブロック単位のシャフリングを元に戻す処理を行う。また、デシャフリングおよびデパッキング部では、記録時に施されたパッキングを分解する。すなわち、マクロブロック単位にデータの長さを戻して、元の可変長符号を復元する。さらに、デシャフリングおよびデパッキング部において、システムデータが分離され、ＥＣＣデコーダ１１３から出力され、後述するシスコン１２１に供給される。
【００９０】
デシャフリングおよびデパッキング部の出力は、データ補間部に供給され、エラーフラグが立っている（すなわち、エラーのある）データが修整される。すなわち、変換前に、マクロブロックデータの途中にエラーがあるとされた場合には、エラー箇所以降の周波数成分のＤＣＴ係数が復元できない。そこで、例えばエラー箇所のデータをブロック終端符号（ＥＯＢ）に置き替え、それ以降の周波数成分のＤＣＴ係数をゼロとする。同様に、高速再生時にも、シンクブロック長に対応する長さまでのＤＣＴ係数のみを復元し、それ以降の係数は、ゼロデータに置き替えられる。さらに、データ補間部では、ビデオデータの先頭に付加されているヘッダがエラーの場合に、ヘッダ（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、ユーザデータ等）を回復する処理もなされる。
【００９１】
ＤＣＴブロックに跨がって、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと並べられているため、このように、ある箇所以降からＤＣＴ係数を無視しても、マクロブロックを構成するＤＣＴブロックのそれぞれに対して、満遍なくＤＣならびに低域成分からのＤＣＴ係数を行き渡らせることができる。
【００９２】
データ補間部から出力されたビデオデータがＥＣＣデコーダ１１３の出力であって、ＥＣＣデコーダ１１３の出力は、再生側のマルチフォーマットコンバータ（以下、再生側ＭＦＣと略称する）１１４に供給される。再生側ＭＦＣ１１４は、上述した記録側ＭＦＣ１０６と逆の処理を行うものであって、ストリームコンバータを含む。再生側ＭＦＣ１１４は、例えば１個の集積回路で構成される。
【００９３】
ストリームコンバータでは、記録側のストリームコンバータと逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したエレメンタリストリームに変換される。
【００９４】
ストリームコンバータの入出力は、記録側と同様に、マクロブロックの最大長に応じて、十分な転送レート（バンド幅）を確保しておく。マクロブロック（スライス）の長さを制限しない場合には、画素レートの３倍のバンド幅を確保するのが好ましい。
【００９５】
ストリームコンバータの出力が再生側ＭＦＣ１１４の出力であって、再生側ＭＦＣ１１４の出力は、ＳＤＴＩ出力部１１５およびＭＰＥＧデコーダ１１６に供給される。
【００９６】
ＭＰＥＧデコーダ１１６は、エレメンタリストリームを復号し、ビデオデータを出力する。すなわち、ＭＰＥＧデコーダ１４２は、逆量子化処理と、逆ＤＣＴ処理とがなされる。復号ビデオデータは、ＳＤＩ出力部１１８に供給される。上述したように、ＳＤＩ出力部１１８には、ＥＣＣデコーダ１１３でビデオデータと分離されたオーディオデータがディレイ１１７を介して供給されている。ＳＤＩ出力部１１８では、供給されたビデオデータとオーディオデータとを、ＳＤＩのフォーマットにマッピングし、ＳＤＩフォーマットのデータ構造を有するストリームへ変換される。ＳＤＩ出力部１１８からのストリームが出力端子１２０から外部へ出力される。
【００９７】
一方、ＳＤＴＩ出力部１１５には、上述したように、ＥＣＣデコーダ１１３でビデオデータと分離されたオーディオデータが供給されている。ＳＤＴＩ出力部１１５では、供給された、エレメンタリストリームとしてのビデオデータと、オーディオデータとをＳＤＴＩのフォーマットにマッピングし、ＳＤＴＩフォーマットのデータ構造を有するストリームへ変換される。変換されたストリームは、出力端子１１９から外部へ出力される。
【００９８】
図１５において、シスコン１２１は、例えばマイクロコンピュータからなり、この記憶再生装置の全体の動作を制御する。またサーボ１２２は、シスコン１２１と互いに通信を行いながら、磁気テープ１１２の走行制御や回転ドラム１１１の駆動制御などを行う。
【００９９】
図１７Ａは、ＭＰＥＧエンコーダ１０２のＤＣＴ回路から出力されるビデオデータ中のＤＣＴ係数の順序を示す。ＳＤＴＩ受信部１０８から出力されるＭＰＥＧ ＥＳについても同様である。以下では、ＭＰＥＧエンコーダ１０２の出力を例に用いて説明する。ＤＣＴブロックにおいて左上のＤＣ成分から開始して、水平ならびに垂直空間周波数が高くなる方向に、ＤＣＴ係数がジグザグスキャンで出力される。その結果、図１７Ｂに一例が示されるように、全部で６４個（８画素×８ライン）のＤＣＴ係数が周波数成分順に並べられて得られる。
【０１００】
このＤＣＴ係数がＭＰＥＧエンコーダのＶＬＣ部によって可変長符号化される。すなわち、最初の係数は、ＤＣ成分として固定的であり、次の成分（ＡＣ成分）からは、ゼロのランとそれに続くレベルに対応してコードが割り当てられる。従って、ＡＣ成分の係数データに対する可変長符号化出力は、周波数成分の低い（低次の）係数から高い（高次の）係数へと、ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・と並べられたものである。可変長符号化されたＤＣＴ係数をエレメンタリストリームが含んでいる。
【０１０１】
上述した記録側ＭＦＣ１０６に内蔵される、記録側のストリームコンバータでは、供給された信号のＤＣＴ係数の並べ替えが行われる。すなわち、それぞれのマクロブロック内で、ジグザグスキャンによってＤＣＴブロック毎に周波数成分順に並べられたＤＣＴ係数がマクロブロックを構成する各ＤＣＴブロックにわたって周波数成分順に並べ替えられる。
【０１０２】
図１８は、この記録側ストリームコンバータにおけるＤＣＴ係数の並べ替えを概略的に示す。（４：２：２）コンポーネント信号の場合に、１マクロブロックは、輝度信号Ｙによる４個のＤＣＴブロック（Ｙ1 ，Ｙ2 ，Ｙ3 およびＹ4 ）と、色度信号Ｃｂ，Ｃｒのそれぞれによる２個ずつのＤＣＴブロック（Ｃｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 ）からなる。
【０１０３】
上述したように、ＭＰＥＧエンコーダ１０２では、ＭＰＥＧ２の規定に従いジグザグスキャンが行われ、図１８Ａに示されるように、各ＤＣＴブロック毎に、ＤＣＴ係数がＤＣ成分および低域成分から高域成分に、周波数成分の順に並べられる。一つのＤＣＴブロックのスキャンが終了したら、次のＤＣＴブロックのスキャンが行われ、同様に、ＤＣＴ係数が並べられる。
【０１０４】
すなわち、マクロブロック内で、ＤＣＴブロックＹ1 ，Ｙ2 ，Ｙ3 およびＹ4 、ＤＣＴブロックＣｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 のそれぞれについて、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと周波数順に並べられる。そして、連続したランとそれに続くレベルとからなる組に、〔ＤＣ，ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・〕と、それぞれ符号が割り当てられるように、可変長符号化されている。
【０１０５】
記録側ストリームコンバータでは、可変長符号化され並べられたＤＣＴ係数を、一旦可変長符号を解読して各係数の区切りを検出し、マクロブロックを構成する各ＤＣＴブロックに跨がって周波数成分毎にまとめる。この様子を、図１８Ｂに示す。最初にマクロブロック内の８個のＤＣＴブロックのＤＣ成分をまとめ、次に８個のＤＣＴブロックの最も周波数成分が低いＡＣ係数成分をまとめ、以下、順に同一次数のＡＣ係数をまとめるように、８個のＤＣＴブロックに跨がって係数データを並び替える。
【０１０６】
並び替えられた係数データは、ＤＣ（Ｙ1 ），ＤＣ（Ｙ2 ），ＤＣ（Ｙ3 ），ＤＣ（Ｙ4 ），ＤＣ（Ｃｂ1 ），ＤＣ（Ｃｂ2 ），ＤＣ（Ｃｒ1 ），ＤＣ（Ｃｒ2 ），ＡＣ1 （Ｙ1 ），ＡＣ1 （Ｙ2 ），ＡＣ1 （Ｙ3 ），ＡＣ1 （Ｙ4 ），ＡＣ1 （Ｃｂ1 ），ＡＣ1 （Ｃｂ2 ），ＡＣ1 （Ｃｒ1 ），ＡＣ1 （Ｃｒ2 ），・・・である。ここで、ＤＣ、ＡＣ1 、ＡＣ2 、・・・は、図１７を参照して説明したように、ランとそれに続くレベルとからなる組に対して割り当てられた可変長符号の各符号である。
【０１０７】
記録側ストリームコンバータで係数データの順序が並べ替えられた変換エレメンタリストリームは、ＥＣＣエンコーダ１０９に内蔵されるパッキングおよびシャフリング部に供給される。マクロブロックのデータの長さは、変換エレメンタリストリームと変換前のエレメンタリストリームとで同一である。また、ＭＰＥＧエンコーダ１０２において、ビットレート制御によりＧＯＰ（１フレーム）単位に固定長化されていても、マクロブロック単位では、長さが変動している。パッキングおよびシャフリング部では、マクロブロックのデータを固定枠に当てはめる。
【０１０８】
図１９は、パッキングおよびシャフリング部でのマクロブロックのパッキング処理を概略的に示す。マクロブロックは、所定のデータ長を持つ固定枠に当てはめられ、パッキングされる。このとき用いられる固定枠のデータ長を、記録および再生の際のデータの最小単位であるシンクブロックのデータ長と一致させている。これは、シャフリングおよびエラー訂正符号化の処理を簡単に行うためである。図１９では、簡単のため、１フレームに８マクロブロックが含まれるものと仮定する。
【０１０９】
可変長符号化によって、図１９Ａに一例が示されるように、８マクロブロックの長さは、互いに異なる。この例では、固定枠である１シンクブロックのデータ領域の長さと比較して、マクロブロック＃１のデータ，＃３のデータおよび＃６のデータがそれぞれ長く、マクロブロック＃２のデータ，＃５のデータ，＃７のデータおよび＃８のデータがそれぞれ短い。また、マクロブロック＃４のデータは、１シンクブロックと略等しい長さである。
【０１１０】
パッキング処理によって、マクロブロックが１シンクブロック長の固定長枠に詰め込まれる。過不足無くデータを詰め込むことができるのは、１フレーム期間で発生するデータ量が固定量に制御されているからである。図１９Ｂに一例が示されるように、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割される。分割されたマクロブロックのうち、シンクブロック長からはみ出た部分（オーバーフロー部分）は、先頭から順に空いている領域に、すなわち、長さがシンクブロック長に満たないマクロブロックの後ろに、詰め込まれる。
【０１１１】
図１９Ｂの例では、マクロブロック＃１の、シンクブロック長からはみ出た部分が、先ず、マクロブロック＃２の後ろに詰め込まれ、そこがシンクブロックの長さに達すると、マクロブロック＃５の後ろに詰め込まれる。次に、マクロブロック＃３の、シンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれる。さらに、マクロブロック＃６のシンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれ、さらにはみ出た部分がマクロブロック＃８の後ろに詰め込まれる。こうして、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。
【０１１２】
各マクロブロックに対応する可変長データの長さは、記録側ストリームコンバータにおいて予め調べておくことができる。これにより、このパッキング部では、ＶＬＣデータをデコードして内容を検査すること無く、マクロブロックのデータの最後尾を知ることができる。
【０１１３】
図２０は、上述したＥＣＣエンコーダ１０９のより具体的な構成を示す。図２０において、１６４がＩＣに対して外付けのメインメモリ１６０のインターフェースである。メインメモリ１６０は、ＳＤＲＡＭで構成されている。インターフェース１６４によって、内部からのメインメモリ１６０に対する要求を調停し、メインメモリ１６０に対して書込み／読出しの処理を行う。また、パッキング部１３７ａ、ビデオシャフリング部１３７ｂ、パッキング部１３７ｃによって、パッキングおよびシャフリング部１３７が構成される。
【０１１４】
図２１は、メインメモリ１６０のアドレス構成の一例を示す。メインメモリ１６０は、例えば６４ＭビットのＳＤＲＡＭで構成される。メインメモリ１６０は、ビデオ領域２５０、オーバーフロー領域２５１およびオーディオ領域２５２を有する。ビデオ領域２５０は、４つのバンク（ｖｂａｎｋ＃０、ｖｂａｎｋ＃１、ｖｂａｎｋ＃２およびｖｂａｎｋ＃３）からなる。４バンクのそれぞれは、１等長化単位のディジタルビデオ信号が格納できる。
【０１１５】
なお、１等長化単位は、発生するデータ量を略目標値に制御する単位である。例えば、磁気テープへの記録フォーマットにより、１フレーム分のデータを記録するように定められたトラック数に記録可能なデータ量が１等長化単位とされる。
【０１１６】
図２１中の、部分Ａは、ビデオ信号の１シンクブロックのデータ部分を示す。１シンクブロックには、フォーマットによって異なるバイト数のデータが挿入される。複数のフォーマットに対応するために、最大のバイト数以上であって、処理に都合の良いバイト数例えば２５６バイトが１シンクブロックのデータサイズとされている。
【０１１７】
ビデオ領域の各バンクは、さらに、パッキング用領域２５０Ａと内符号化エンコーダへの出力用領域２５０Ｂとに分けられる。オーバーフロー領域２５１は、上述のビデオ領域に対応して、４つのバンクからなる。さらに、オーディオデータ処理用の領域２５２をメインメモリ１６０が有する。
【０１１８】
この一実施形態では、各マクロブロックのデータ長標識を参照することによって、パッキング部１３７ａが固定枠長データと、固定枠を越える部分であるオーバーフローデータとをメインメモリ１６０の別々の領域に分けて記憶する。固定枠長データは、シンクブロックのデータ領域の長さ以下のデータであり、以下、ブロック長データと称する。ブロック長データを記憶する領域は、各バンクのパッキング処理用領域２５０Ａである。オーバーフローデータは、オーバーフローチャート領域２５１に記憶される。ブロック長より短いデータ長の場合には、メインメモリ１６０の対応する領域に空き領域を生じる。ビデオシャフリング部１３７ｂが書込みアドレスを制御することによってシャフリングを行う。ここで、ビデオシャフリング部１３７ｂは、ブロック長データのみをシャフリングし、オーバーフロー部分は、シャフリングせずに、オーバーフローデータに割り当てられた領域に書込まれる。
【０１１９】
次に、パッキング部１３７ｃが外符号エンコーダ１３９へのメモリにオーバーフロー部分をパッキングして読み込む処理を行う。すなわち、メインメモリ１６０から外符号エンコーダ１３９に用意されている１ＥＣＣブロック分のメモリに対してブロック長のデータを読み込み、若し、ブロック長のデータに空き領域が有れば、そこにオーバーフロー部分を読み込んでブロック長にデータが詰まるようにする。そして、１ＥＣＣブロック分のデータを読み込むと、読み込み処理を一時中断し、外符号エンコーダ１３９によって外符号のパリティを生成する。外符号パリティは、外符号エンコーダ１３９のメモリに格納する。外符号エンコーダ１３９の処理が１ＥＣＣブロック分終了すると、外符号エンコーダ１３９からデータおよび外符号パリティを内符号を行う順序に並び替えて、メインメモリ１６０のパッキング処理用領域２５０Ａと別の出力用領域２５０Ｂに書き戻す。ビデオシャフリング部１４０は、この外符号の符号化が終了したデータをメインメモリ１６０へ書き戻す時のアドレスを制御することによって、シンクブロック単位のシャフリングを行う。
【０１２０】
このようにブロック長データとオーバーフローデータとを分けてメインメモリ１６０の第１の領域２５０Ａへのデータの書込み（第１のパッキング処理）、外符号エンコーダ１３９へのメモリにオーバーフローデータをパッキングして読み込む処理（第２のパッキング処理）、外符号パリティの生成、データおよび外符号パリティをメインメモリ１６０の第２の領域２５０Ｂに書き戻す処理が１ＥＣＣブロック単位でなされる。外符号エンコーダ１３９がＥＣＣブロックのサイズのメモリを備えることによって、メインメモリ１６０へのアクセスの頻度を少なくすることができる。
【０１２１】
そして、１ピクチャに含まれる所定数のＥＣＣブロック（例えば３２個のＥＣＣブロック）の処理が終了すると、１ピクチャのパッキング、外符号の符号化が終了する。そして、インターフェース１６４を介してメインメモリ１６０の領域２５０Ｂから読出したデータがＩＤ付加部１４８、内符号エンコーダ１４７、同期付加部１５０で処理され、並列直列変換部１２４によって、同期付加部１５０の出力データがビットシリアルデータに変換される。出力されるシリアルデータがパーシャル・レスポンスクラス４のプリコーダ１２５により処理される。この出力が必要に応じてディジタル変調され、記録アンプ１１０を介して、回転ドラム１１１に設けられた回転ヘッドに供給される。
【０１２２】
なお、ＥＣＣブロック内にヌルシンクと称する有効なデータが配されないシンクブロックを導入し、記録ビデオ信号のフォーマットの違いに対してＥＣＣブロックの構成の柔軟性を持たせるようになされる。ヌルシンクは、パッキングおよびシャフリングブロック１３７のパッキング部１３７ａにおいて生成され、メインメモリ１６０に書込まれる。従って、ヌルシンクがデータ記録領域を持つことになるので、これをオーバーフロー部分の記録用シンクとして使用することができる。
【０１２３】
オーディオデータの場合では、１フィールドのオーディオデータの偶数番目のサンプルと奇数番目のサンプルとがそれぞれ別のＥＣＣブロックを構成する。ＥＣＣの外符号の系列は、入力順序のオーディオサンプルで構成されるので、外符号系列のオーディオサンプルが入力される毎に外符号エンコーダ１３６が外符号パリティを生成する。外符号エンコーダ１３６の出力をメインメモリ１６０の領域２５２に書込む時のアドレス制御によって、シャフリング部１３７がシャフリング（チャンネル単位およびシンクブロック単位）を行う。
【０１２４】
さらに、１２６で示すＣＰＵインターフェースが設けられ、システムコントローラとして機能する外部のＣＰＵ１２７からのデータを受け取り、内部ブロックに対してパラメータの設定が可能とされている。複数のフォーマットに対応するために、シンクブロック長、パリティ長を始め多くのパラメータを設定することが可能とされている。
【０１２５】
パラメータの１つとしての”パッキング長データ”は、パッキング部１３７ａおよび１３７ｂに送られ、パッキング部１３７ａ、１３７ｂは、これに基づいて決められた固定枠（図１９Ａで「シンクブロック長」として示される長さ）にＶＬＣデータを詰め込む。
【０１２６】
パラメータの１つとしての”パック数データ”は、パッキング部１３７ｂに送られ、パッキング部１３７ｂは、これに基づいて１シンクブロック当たりのパック数を決め、決められたパック数分のデータを外符号エンコーダ１３９に供給する。
【０１２７】
パラメータの１つとしての”ビデオ外符号パリティ数データ”は、外符号エンコーダ１３９に送られ、外符号エンコーダ１３９は、これに基づいた数のパリティが発生されるビデオデータの外符号の符号化を行う。
【０１２８】
パラメータの１つとしての”ＩＤ情報”および”ＤＩＤ情報”のそれぞれは、ＩＤ付加部１４８に送られ、ＩＤ付加部１４８は、これらＩＤ情報およびＤＩＤ情報をメインメモリ１６０から読み出された単位長のデータ列に付加する。
【０１２９】
パラメータの１つとしての”ビデオ内符号用パリティ数データ”および”オーディオ内符号用パリティ数データ”のそれぞれは、内符号エンコーダ１４９に送られ、内符号エンコーダ１４９は、これらに基づいた数のパリティが発生されるビデオデータとオーディオデータの内符号の符号化を行う。なお、内符号エンコーダ１４９には、パラメータの１つである”シンク長データ”も送られており、これにより、内符号化されたデータの単位長（シンク長）が規制される。
【０１３０】
また、パラメータの１つとしてのシャフリングテーブルデータがビデオ用シャフリングテーブル（ＲＡＭ）１２８ｖおよびオーディオ用シャフリングテーブル（ＲＡＭ）１２８ａに格納される。シャフリングテーブル１２８ｖは、ビデオシャフリング部１３７ｂおよび１４０のシャフリングのためのアドレス変換を行う。シャフリングテーブル１２８ａは、オーディオシャフリング１３７のためのアドレス変換を行う。
【０１３１】
この発明では、記録時に、１フレームの画像データが可変長符号化により１等長化単位を越えた場合、１フレーム全体で１等長化単位を越えないように、パッキングにより移動されたデータを捨てるようにする。図２２および図２３を用いて、可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープ１１２への記録について、概略的に説明する。
【０１３２】
図２２は、１フレームの画像データが可変長符号化により１等長化単位を越えない場合の例である。図２２Ａに一例が示されるように、画面上で分散されていたマクロブロックＭＢ１〜４がシャフリングされ、図２２Ｂのように順に並べられる。これらマクロブロックＭＢ１〜４は、ＭＰＥＧエンコーダにより符号化され、図２２Ｂに示されるように、マクロブロック毎に、スライススタートコードに続けて順に並べられる。各マクロブロックは、先頭にスライススタートコードを付されると共に、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの順にデータが並べ替えられる。
【０１３３】
図２２Ｂに示される各マクロブロックは、それぞれ固定枠に当てはめられ、固定枠長のセグメントに割り当てられる。固定枠からはみ出た部分３００、３０１および３０２は、図２２Ｃに示されるように、セグメントに割り当てられたマクロブロックが固定枠長よりも短い、他のセグメントに移動され、パッキングされる。また、各マクロブロックにおいて、ＤＣＴ係数は、ＤＣ成分を先頭に、ＡＣ成分の次数の低い方から高い方へと順に並べられている。したがって、他のセグメントに移動された部分３００、３０１および３０２は、より周波数成分の高い係数が格納される。すなわち、移動された部分３００、３０１および３０２は、再生画像において、視覚的に影響の小さいデータが格納されているということができる。
【０１３４】
このようにパッキングされたデータは、図２２Ｄに一例が示されるように、各トラックにおいてセグメントが等しく割り当てられ、磁気テープ１１２上に記録される。この図２２Ｄに示される例では、１トラックに４セグメントが割り当てられ、８トラックを用いて１フレームが記録されるフォーマットとなっている。
【０１３５】
１フレームの画像データを可変長符号化したデータ量が１等長化単位と等しいか、または、１等長化単位未満であれば、１フレーム分の全セグメントがデータで満たされるか、図２２Ｃに一例が示されるように、最後のセグメントに空き領域が生じる。これを磁気テープ１１２に記録すると、図２２Ｄに一例が示されるように、１フレームを構成する複数トラック（この例では８トラック）の最後のトラックの末尾側に、データの記録されない空き領域が生じる。
【０１３６】
図２３は、１フレームの画像データが可変長符号化により１等長化単位を越える場合の例である。上述した図２２Ａおよび図２２Ｂと同一の経過を辿って図２３Ａの状態に至る。図２３Ａにおいて、固定枠からはみ出た部分３００’、３０１’および３０２’がそれぞれマクロブロックが固定枠長よりも短い、他のセグメントに移動される。
【０１３７】
一方、この図２３の例では、１フレームの画像データを可変長符号化した際のデータ量が、例えば図２３Ａに示される余り部分３０３の分だけ１等長化単位を越えている。この一実施形態では、この余り部分３０３は、磁気テープ１１２に記録を行う以前に捨てられる。余り部分３０３が捨てられたデータが磁気テープ１１２に記録される。図２３Ｂに示されるように、１フレームを構成する最後のトラックまで、等しくデータが詰め込まれ記録される。
【０１３８】
上述したように、パッキングにより、ＤＣＴ係数における周波数成分の高い次数側からデータが他のセグメントに移動される。また、各マクロブロックは、画面上の位置に対してシャフリングされてパッキングされる。そのため、データが捨てられたことによる、視覚的な影響は、極めて小さい。
【０１３９】
次に、この一実施形態についてさらに詳細に説明する。図２４は、この一実施形態を実現するための構成を、概念的に示す。この図２４に示される構成は、上述した図１５の構成から主要な部分を抜き出したものである。図２４において、上述の図１５に対応する部分には同一の番号を付し、詳細な説明を省略する。
【０１４０】
記録側について説明する。ベースバンドビデオ信号、すなわち、上述したＳＤＩのインターフェイスに対応したディジタルビデオ信号は、ＭＰＥＧエンコーダ１０２に供給され、ＤＣＴされ、さらに、可変長符号化される。ＭＰＥＧエンコーダ１０２の出力は、セレクタ３１０を介して符号配列変換回路３１１に供給される。
【０１４１】
一方、上述したＳＤＴＩのフォーマットのディジタルビデオ信号からＭＰＥＧＥＳが抜き出されたデータストリームがセレクタ３１０を介して符号配列変換回路３１１に供給される。すなわち、既に可変長符号化されているデータストリームがここで供給される。このデータストリームは、例えばこの装置の外部で生成され供給されるもので、ビットレートがこの装置が対応できるビットレートより高い可能性を有する。このとき、入力されたデータストリームの１フレーム分のデータ量がこの装置による１等長化単位の容量を越えている可能性がある。
【０１４２】
符号配列変換回路３１１は、上述した記録側ＭＦＣ１０６に内蔵される、記録側ストリームコンバータに相当する。すなわち、符号配列変換回路３１１に供給されたデータストリームは、図１８を用いて既に述べたように、マクロブロックのそれぞれについてＤＣＴ係数をＤＣ成分を先頭にしてＡＣ成分の低次から高次へと並べ替えられる。
【０１４３】
図２５、図２６および図２７を用いて、符号配列変換回路３１１による処理について、さらに詳細に説明する。図２５、図２６および図２７において、ＤＣＴ係数のＤＣ成分を「ＤＣ」として表し、ＡＣ成分を「ＡＣ」と表す。ＡＣ成分において、零係数の連続回数（ラン）とその直後の非零係数のレベル（レベル）とをまとめたものを、「ｒＡＣ」と表す。各ＡＣ成分の後ろにハイフンによって連結され付される数値は、ＡＣ成分の次数を表す。
【０１４４】
また、図２７Ａおよび図２８Ａの各ブロックは、それぞれＤＣＴブロックを示す。すなわち、図２７Ａおよび図２８Ａの８個のブロックは、１マクロブロックを構成するＤＣＴブロックに対応する。これらの図において、ＤＣおよびＡＣ成分の後ろに括弧［］付きで付された「Ｙ０」、「Ｃｒ１」などは、ＤＣＴブロックの種類を示す。
【０１４５】
符号配列変換回路３１１に入力されるデータストリームは、ＭＰＥＧの規格に準じたもので、図２５Ａに一例が示されるように、ＤＣＴブロック毎に、ＤＣ成分およびＡＣの低周波成分から高周波成分への順でＤＣＴ係数が並べられている。ＤＣＴブロックの終端には、ＥＯＢが配される。一方、符号配列変換回路３１１から出力されるデータストリームは、図２５Ｂに一例が示されるように、１マクロブロック中でＤＣＴブロックを跨いで各周波数成分毎にＤＣＴ係数がまとめられる。すなわち、ＤＣ成分のブロックを先頭に、ＡＣ成分のＤＣＴ係数が低次から高次へと次数毎にまとめて並べられ、出力される。
【０１４６】
図２５Ａの、符号配列変換回路３１１に入力されるデータストリームについて、さらに詳細に説明する。ＭＰＥＧエンコーダでは、画像データがマクロブロックに分割され、マクロブロック内の複数のＤＣＴブロック毎にＤＣＴがなされる。図２６Ａは、ＤＣＴされた後のデータを、ＤＣＴブロック毎に示す。各ＤＣＴブロックは、ＤＣ成分およびＡＣ成分の低次から高次の、６４個のＤＣＴ係数からなる。ＤＣＴブロックは、実際には、図２６Ｂに一例が示されるように、係数が０ではない次数と、係数が０になる次数とが存在する。また、各係数は、それぞれ所定のビット幅（例えば１２ビット）を有する。
【０１４７】
次に、図２６のようにＤＣＴされたＤＣＴ係数に対して可変長符号化を施す。先ず、ＤＣＴブロック毎に、係数が０係数の連続回数である「ラン」と、その直後の非０係数の「レベル」とにまとめられ、符号化される。この様子を、図２７Ｂに示す。なお、「ラン」と「レベル」とをまとめて符号化したものを、以下では、「ラン＆レベル符号」と称する。ラン＆レベル符号は、ビット方向に可変長符号化され、例えば、１〜２４ビットが与えられる。図２７Ａは、ＤＣＴ係数がラン＆レベル符号にまとめられたＤＣＴブロックを示す。各ブロックには、終端に、ブロックの最後を示すＥＯＢ(End Of Block)が付加される。ＥＯＢは、例えば２乃至は４ビットの所定のビットパターンからなる。
【０１４８】
図２５Ａに示すデータストリームは、この図２７Ａに示される各ＤＣＴブロックを、ＥＯＢで次のＤＣＴブロックに接続されるように出力することで得られるものである。上述のＭＰＥＧエンコーダ１０２からの出力や、直接的に入力される、ＳＤＴＩのフォーマットのディジタルビデオ信号からＭＰＥＧ ＥＳが抜き出されたデータストリームは、この図２５Ａに示される構造を有している。
【０１４９】
図２５Ａのような構造のデータストリームが符号配列変換回路３１１に入力される。図２８は、符号配列変換回路３１１の一例の構成を示す。入力されたデータストリームは、ＶＬＣ復号部３５０に供給される。ＶＬＣ復号部３５０では、入力されたデータストリームの可変長符号を復号化し、ラン＆レベル符号を元の状態に戻し、シーケンスヘッダコードおよび各層のスタートコードのパターンマッチングを行い、各層のヘッダ部を抽出し、入力されたデータストリームのフォーマットを検出する。
【０１５０】
フォーマットを検出することにより、１マクロブロックに含まれるＤＣＴブロックの数を知ることができる。この例では、１マクロブロックに含まれるＤＣＴブロックの数は、画像データが４：２：２のシステムでは８個になり、４：２：０のシステムでは６個になる。例えば、この１マクロブロックに含まれるＤＣＴブロックの数によって、後述するメモリ３５１への書き込みや、メモリ３５１からの読み出しが制御される。
【０１５１】
可変長符号を復号化されフォーマットなどを調べられたデータは、ＶＬＣ復号部３５０で、再び入力されたデータストリームと同じように、可変長符号化される。ＶＬＣ復号部からの出力は、メモリ３５１に供給される。メモリ３５１では、ＶＬＣ復号部３５０でのフォーマットの検出結果に基づき、供給されたデータストリームを書き込むアドレスが制御される。例えば、ラン＆レベル符号のそれぞれに２４ビットの領域が与えられ、図２７Ａに示されるように、ＤＣＴブロック毎に行方向に書き込まれていき、ＥＯＢを書き込んだところで、次の行に移り、次のＤＣＴブロックが書き込まれる。
【０１５２】
１マクロブロックのデータが全て書き込まれたら、書き込まれたデータが読み出される。読み出しは、図２７Ａの配置における列方向に向けてなされる。ＤＣＴブロックを跨いで同列に並んだラン＆レベル符号を読んでいき、１マクロブロックのＤＣＴブロックを１列について一巡したら、最初のＤＣＴブロックに戻り、次の列について、同様に読んでいく。同列にデータが存在しない行は、飛び越して読み出される。
【０１５３】
このようにデータの読み出しを行った結果、図２５Ｂの例のように、１マクロブロックを構成する全ＤＣＴブロックにわたりデータが存在する列、例えばＤＣ成分やＡＣの成分の低周波数側といった１マクロブロックのストリームの前側では、同一の次数の係数がＤＣＴブロックを跨いで連続的にまとめて配列される。一方、ストリームの後半では、１マクロブロックの全ＤＣＴブロックにわたりデータが存在するとは限らず、縦方向の同一列においてデータの存在しないＤＣＴブロックが飛ばされ、データが現れた順に配列されたデータストリームが符号配列変換回路３１１から出力される。
【０１５４】
符号配列変換回路３１１の出力は、ＥＣＣエンコーダ１０９に供給される。データストリームは、ＥＣＣエンコーダ１０９のパッキング部１３７でパッキング処理される。上述した余り部分３０３を捨てる処理は、ＥＣＣエンコーダ１０９のパッキング部１３７で行うことができる。例えば、上述したようにメインメモリ１６０から外符号エンコーダ１３９にデータが読み込まれ、１ＥＣＣブロック毎に外符号の符号化がなされる。外符号エンコーダ１３９による、１ピクチャに対応する所定数のＥＣＣブロック（この例では、３２個のＥＣＣブロック）の外符号の符号化処理が終了した後に、メインメモリ１６０のオーバーフロー領域２５１に処理されないで残されたデータが、余り部分３０３として捨てられる。
【０１５５】
このようにして余り部分３０３を捨てられ、外符号の符号化されたデータは、メインメモリ１６０から読み出されてＩＤ付加、内符号の符号化および同期信号の付加など所定の処理をされ、ＥＣＣエンコーダ１０９から出力される。ＥＣＣエンコーダ１０９の出力は、図１５のイコライザ１１０の記録側の構成に対応する記録アンプ３１２を介して、回転ドラム１１１に供給され、磁気テープ１１２に記録される。
【０１５６】
再生側について説明する。磁気テープ１１２から再生された再生データは、図１５のイコライザ１１０の再生側の構成に対応する再生アンプ３１３を介して、ＥＣＣ１１３に供給される。ＥＣＣ１１３では、内符号および外符号の復号化がなされ、記録側でパッキング処理されたデータを元に戻すため、デパッキング処理がなされる。記録側で、１等長化単位からはみ出した余り部分３０３を捨てた場合には、デパッキング処理によって、データが余りが捨てられた状態、すなわち、余り部分３０３が削除された状態に戻される。
【０１５７】
ＥＣＣ１１３の出力が符号配列逆変換回路３１４に供給される。符号配列逆変換回路３１４は、上述した再生側ＭＦＣ１１４に内蔵される、再生側ストリームコンバータに相当する。符号配列逆変換回路３１４に供給される再生データストリームは、上述の図２５Ｂに示されるように、１マクロブロック中でＤＣＴブロックを跨いで各周波数成分毎にＤＣＴ係数がまとめられ、ＤＣ成分のブロックを先頭に、ＡＣ成分のＤＣＴ係数が低次から高次へと次数毎にまとめて並べられている。符号配列逆変換回路３１４では、この再生データストリームを、図２５Ａで上述した、ＭＰＥＧの規定に準じたデータストリームに並べ替える。
【０１５８】
その際、符号配列逆変換回路３１４では、シンタクスチェックを行い、供給された再生データストリームがＭＰＥＧのシンタクスに反していないかどうか判断する。シンタクスチェックにより、記録側で１等長化単位からはみ出した余り部分３０３を捨てたことでシンタクスエラーが発生したとされたら、符号配列逆変換回路３１４において、シンタクスエラーを修復するような処理がなされる。符号配列逆変換回路３１４の詳細については、後述する。
【０１５９】
符号配列逆変換回路３１４の出力は、ＭＰＥＧ ＥＳとしてそのまま出力される。あるいは、符号配列逆変換回路３１４の出力は、ＭＰＥＧデコーダ１１６に供給され、可変長符号を復号化され、ＳＤＩのフォーマットのディジタルビデオ信号として出力される。
【０１６０】
図２９は、符号配列逆変換回路３１４の一例の構成を示す。供給された再生データストリームは、ＶＬＣ復号部３６０に供給される。ＶＬＣ復号部３６０では、供給された再生データストリームの可変長符号を復号化して分解し、ラン＆レベル符号とその符号長を、それぞれメモリ３６１に供給する。また、ＶＬＣ復号部３６０では、供給された再生データストリームから各層のヘッダ情報などを抽出し、シンタクスチェックを行う。シンタクスチェックは、例えば以下のように行う。
【０１６１】
ＶＬＣ復号部３６０では、スライススタートコードを検出して、それぞれのスライス中に存在するＥＯＢ数を調べる。一方、抽出されたヘッダ情報から、１スライス中に含まれるべきＤＣＴブロック数が分かる（例えば、４：２：２システムならば８個）ので、その数とそれぞれのスライス中に存在するＥＯＢ数とを比較し、これらが一致しないスライスでは、記録時に余り部分３０３が捨てられ、ストリームが欠損したことによってシンタクスエラーが生じたものと判断される。
【０１６２】
メモリ３６１では、供給されたラン＆レベル符号および符号長を、それぞれ所定のアドレスに書き込む。例えば、ＤＣＴ係数に対応するラン＆レベル符号の次数が各列にそれぞれ割り当てられ、１マクロブロックに含まれるＤＣＴブロックＹ０〜Ｃｒ１が各行にそれぞれ割り当てられる。すなわち、図３０Ａに一例が示されるように、再生データストリームの順に供給されたラン＆レベル符号は、図中にスタートで示される位置から列方向（図の縦方向）に向けて書き込まれる。１マクロブロックに含まれるとされたＤＣＴブロック数（この例では８個）を一巡すると、最初のＤＣＴブロックＹ０の行に戻り、次の次数のラン＆レベル符号が同様にして、列方向に書き込まれる。
【０１６３】
書き込み時において、ＥＯＢが書き込まれた行は、ＥＯＢの後ろにはデータが書き込まれない。図３０Ａの例では、４個のラン＆レベル符号の後ろにＥＯＢが書き込まれるＤＣＴブロックＹ２の行が、最初にＥＯＢが現れる行である。ＤＣＴブロックＹ２の行にＥＯＢが書き込まれ、その列の書き込みが終了すると、最初の行に戻り、次の列の書き込みがなされる。次の列では、ＤＣＴブロックＹ２の行は、スキップされる。すなわち、ＤＣＴブロックＹ１の行にラン＆レベル符号が書き込まれ、次には、ＤＣＴブロックＹ３の行にラン＆レベル符号が書き込まれる。このようにラン＆レベル符号およびＥＯＢが書き込まれ、最後に、最もラン＆レベル符号が多く長い行の末尾にＥＯＢが書き込まれ、メモリ３６１に対する書き込みが正常に終了される。
【０１６４】
読み出しは、図３０Ｂに一例が示されるように、書き込み時に対して列方向と行方向とを入れ替えて行われる。図中のスタートで示される位置から、行方向（図の横方向）に向けてラン＆レベル符号を順次読み出し、ＥＯＢが読み出されたら、次の行の先頭から読み出す。このように読み出しを行うことで、ＤＣＴブロック毎に、ＤＣＴ係数が低次から高次へと並べられた、ＭＰＥＧの規格に準じた順番で、データが出力される。
【０１６５】
なお、メモリ３６１からは、ラン＆レベルと共に、対応する符号長も読み出される。
【０１６６】
メモリ３６１から出力されたラン＆レベルおよび符号長は、それぞれ可変長符号接続部３６２に供給される。可変長符号接続部３６２では、ラン＆レベルを、共に供給された符号長に基づき所定に接続して出力する。これにより、図２５Ａで上述したような、ＭＰＥＧの規格に準じたデータストリームが出力される。
【０１６７】
ここで、記録時に、１フレームのデータが１等長化単位のデータ量を超過し、固定枠からはみ出したデータ（余りの部分３０３）が捨てられた場合について考える。余りの部分３０３にＥＯＢが含まれている場合、その余りの部分３０３の元のＤＣＴブロックには、ＥＯＢが欠損しており、そのマクロブロックが正常終了していないことになる。
【０１６８】
上述したように、この一実施形態においては、符号配列逆変換回路３１４で、入力された再生データストリームに対してシンタクスチェックを施し、欠損しているＥＯＢが無いかどうか検出し、欠損した箇所にＥＯＢを挿入し、修復を行う。
【０１６９】
図３１を用いて、欠損箇所にＥＯＢを挿入する処理について説明する。メモリ３６１に対するラン＆レベルおよびＥＯＢの書き込みは、上述の図３０Ａの例と同様に行われる。ここで、ＥＯＢが欠損していれば、ＥＯＢで終了していない行、すなわち、ＥＯＢで終了していないＤＣＴブロックが存在することになる。図３１Ａの例では、ＤＣＴブロックＹ３およびＣｂ１がＥＯＢで終了しておらず、記録時に１等長化単位からはみ出て余りの部分３０３として捨てられた部分を有するブロックであることが示される。
【０１７０】
また、このとき、最後に書き込まれた最終符号（図３１Ａの例では、ＤＣＴブロックＣｂ１の最後の符号）は、その符号自体が切断されている可能性があり、信頼性に欠ける。すなわち、ラン＆レベル符号は、それぞれ符号長が異なるため、例えば最終符号の符号長が最終符号の１つ前に書き込まれる符号（この例では、ＤＣＴブロックＹ３の第１０個目の符号）の符号長よりも長い場合、最終符号が最終符号の１つ前に書き込まれた符号の符号長で切断されてしまうことになる。
【０１７１】
符号配列逆変換回路３１４では、ＥＯＢの存在しない行に対して、末尾にＥＯＢを挿入する。例えば、メモリ３６１からＤＣＴブロック毎にデータを読み出し、可変長符号接続部３６２に供給してそれぞれのＤＣＴブロックを接続する際に、各ブロックの末尾にＥＯＢが無ければ、所定の位置にＥＯＢを挿入する。この様子を、図３１Ｂに示す。こうすることによって、全てのＤＣＴブロックの末尾がＥＯＢで終了することになり、ＭＰＥＧの規定に準ずるデータストリームが得られる。
【０１７２】
ＥＯＢは、上述したように２乃至は４ビットの所定のビット列であるので、例えば図示されない所定のレジスタにＥＯＢのビット列を予め記憶させておき、それを用いるようにできる。また、これに限らず、例えば図１５のような構成において、シスコン１２１でＥＯＢを生成するようにしてもよい。
【０１７３】
また、図３１ＡのＤＣＴブロックＣｂ１の最後の符号のように、信頼性に欠けるとされた符号は、図３１Ａに示されるように、削除する。削除された部分は、図のように空けておく（０の符号で埋める）ようにしてもよいし、削除された部分を詰めてＥＯＢを挿入するようにしてもよい。
【０１７４】
なお、上述では、ＥＯＢの挿入を、可変長符号接続部３６２で行うとしたが、これはこの例に限定されない。例えば、メモリ３６１にデータが書き込まれている状態で、所定のアドレスにＥＯＢを書き込むようにしてもよい。
【０１７５】
上述では、この発明がＭＰＥＧやＪＰＥＧのデータストリームを記録するディジタルＶＴＲに適用されるように説明したが、これはこの例に限定されるものではない。例えば、この発明は、可変長符号化を用いた他の方式で圧縮符号化されたデータストリームを記録する場合にも、適用可能である。
【０１７６】
さらに、この発明は、記録媒体が磁気テープ以外であっても適用可能である。データストリームが直接的に記録されるのであれば、例えば、ハードディスクやＤＶＤ(Digital Versatile Disc)といったディスク状記録媒体や、半導体メモリを記録媒体に用いたＲＡＭレコーダなどにも適用可能なものである。
【０１７７】
さらに、上述では、この発明が圧縮画像データを記録する場合に適用されるように説明したが、これはこの例に限定されるものではない。例えば、ＡＣ−３(Audio Code Number 3) 、ＡＡＣ(Advanced Audio Coding) およびＡＴＲＡＣ(AdaptiveTranform Acoustic Coding)などの、音声圧縮技術を採用した音声データ記録装置にも適用可能なものである。
【０１７８】
【発明の効果】
以上説明したように、この発明によれば、ブロック毎に可変長符号化されたデータを固定枠に当てはめ固定枠長のセグメントに割り当て、固定枠からはみ出た部分を、空き領域のある他のセグメントに詰め込むようにし、例えば１フレームといった等長化単位で等長化して、記録媒体に記録する際に、等長化単位からはみ出た余りの部分を捨てるようにしている。そのため、規定のビットレートを越えるデータストリームが入力された場合でも、記録回路の破綻や、記録メディアおよび記録フォーマットの破綻を来さないという効果がある。
【０１７９】
また、再生時には、記録時に余りの部分を捨ててＥＯＢが欠損した箇所にＥＯＢを挿入することで、ＥＯＢの欠損に因るシンタクスエラーを修正するようにしている。そのため、記録時に規定のビットレートを越える入力がなされても、再生時に、重大な画像の乱れや不正なストリームの再生などのトラブルを防止することができる効果がある。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のデータの階層構造を概略的に示す略線図である。
【図２】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図３】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図４】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図５】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図６】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図７】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図８】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図９】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１０】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１１】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１２】ＭＰＥＧ２のストリーム中に配されるデータの内容とビット割り当てを示す略線図である。
【図１３】データのバイト単位の整列を説明するための図である。
【図１４】一実施形態におけるＭＰＥＧストリームのヘッダを具体的に示す略線図である。
【図１５】一実施形態による記録再生装置の記録側の構成の一例を示すブロック図である。
【図１６】磁気テープ上に形成されるトラックフォーマットの一例を示す略線図である。
【図１７】ビデオエンコーダの出力の方法と可変長符号化を説明するための略線図である。
【図１８】ビデオエンコーダの出力の順序の並び替えを説明するための略線図である。
【図１９】順序の並び替えられたデータをシンクブロックにパッキングする処理を説明するための略線図である。
【図２０】ＥＣＣエンコーダのより具体的な構成を示すブロック図である。
【図２１】メインメモリのアドレス構成の一例を示す略線図である。
【図２２】可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープへの記録について説明するための略線図である。
【図２３】可変長符号化されたマクロブロックのパッキングおよびパッキングされたデータの磁気テープへの記録について説明するための略線図である。
【図２４】この発明の一実施形態を実現するための構成を概念的に示すブロック図である。
【図２５】符号配列変換回路に入出力される一例のデータストリームを示す略線図である。
【図２６】量子化された一例のＤＣＴ係数を示す略線図である。
【図２７】ランとレベルとをまとめ、ＥＯＢを付加した様子を示す略線図である。
【図２８】符号配列変換回路の一例の構成を示すブロック図である。
【図２９】符号配列逆変換回路の一例の構成を示すブロック図である。
【図３０】再生時の符号配列変換を説明するための略線図である。
【図３１】再生時の符号配列変換の際にＥＯＢを付加することを説明するための略線図である。
【符号の説明】
１・・・シーケンスヘッダコード、２・・・シーケンスヘッダ、３・・・シーケンス拡張、４・・・拡張およびユーザデータ、５・・・ＧＯＰスタートコード、６・・・ＧＯＰヘッダ、７・・・ユーザデータ、８・・・ピクチャスタートコード、９・・・ピクチャヘッダ、１０・・・ピクチャ符号化拡張、１１・・・拡張およびユーザデータ、１２・・・スライススタートコード、１３・・・スライスヘッダ、１４・・・マクロブロックヘッダ、１０１・・・ＳＤＩ受信部、１０２・・・ＭＰＥＧエンコーダ、１０６・・・記録側マルチフォーマットコンバータ（ＭＦＣ）、１０８・・・ＳＤＴＩ受信部、１０９・・・ＥＣＣエンコーダ、１１２・・・磁気テープ、１１３・・・ＥＣＣデコーダ、１１４・・・再生側ＭＦＣ、１１５・・・ＳＤＴＩ出力部、１１６・・・ＭＰＥＧデコーダ、１１８・・・ＳＤＩ出力部、１３７ａ，１３７ｃ・・・パッキング部、１３７ｂ・・・ビデオシャフリング部、１３９・・・外符号エンコーダ、１４０・・・ビデオシャフリング、１４９・・・内符号エンコーダ、３０３・・・余り部分、３１１・・・符号配列変換回路、３１４・・・符号配列逆変換回路
Claims (6)
- 第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生装置において、
可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた上記第２のブロックを、先頭から所定長の固定枠に当てはめ、上記固定枠からはみ出た部分を空き領域のある他の上記固定枠に詰め込んでパッキングし、上記等長化の対象となるデータ量が上記等長化単位の容量を越えるときは、上記重要ではないデータが上記等長化単位からはみ出るようにし、上記等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生手段と、
上記再生手段で再生されたデータをチェックし、該データが所定の規定を満たしているかどうか判断するチェック手段と、
上記再生手段で再生されたデータに対し、上記並べ替えられた上記ブロック内のデータの順序を元の順序に並べ替える符号配列逆変換手段と
を有し、
上記チェック手段によるチェックの結果、上記再生手段で再生されたデータが上記所定の規定を満たしていないと判断されたときに、上記はみ出た部分が記録されなかった上記第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生装置。 - 請求項１に記載の再生装置において、
上記チェック手段は、上記第１のブロックの終端を示す識別情報が上記第２のブロック内に存在する個数に基づき上記判断を行うことを特徴とする再生装置。 - 請求項１に記載の再生装置において、
上記チェック手段によるチェックの結果、上記再生手段で再生されたデータが上記所定の規定を満たしていないと判断されたときに、上記第２のブロックの最後に書き込まれたデータを削除するようにしたことを特徴とする再生装置。 - 請求項３に記載の再生装置において、
上記削除された上記データの部分を０の符号で埋めるようにしたことを特徴とする再生装置。 - 請求項３に記載の再生装置において、
上記削除された上記データの部分を詰めて上記終端を示す識別情報を挿入するようにしたことを特徴とする再生装置。 - 第１のブロック毎に可変長符号化され終端を示す識別情報が付加され、複数の第１のブロックからなる第２のブロックが構成され、可変長符号化されたデータを固定枠に当てはめ、固定枠からはみ出たデータを他の固定枠の空き領域に詰め込んで等長化を行い、等長化単位でデータが記録された記録媒体を再生する再生方法において、
可変長符号化された等長化の対象となるデータが、第１のブロックを跨がって第２のブロック単位で、重要なデータから重要ではないデータの順に並べ替えられた上記第２のブロックを、先頭から所定長の固定枠に当てはめ、上記固定枠からはみ出た部分を空き領域のある他の上記固定枠に詰め込んでパッキングし、上記等長化の対象となるデータ量が上記等長化単位の容量を越えるときは、上記重要ではないデータが上記等長化単位からはみ出るようにし、上記等長化単位からはみ出た部分を記録しないようにされて記録媒体に記録されたデータを再生する再生のステップと、
上記再生のステップで再生されたデータをチェックし、該データが所定の規定を満たしているかどうか判断するチェックのステップと、
上記再生のステップで再生されたデータに対し、上記並べ替えられた上記ブロック内のデータの順序を元の順序に並べ替える符号配列逆変換のステップと
を有し、
上記チェックのステップによるチェックの結果、上記再生のステップで再生されたデータが上記所定の規定を満たしていないと判断されたときに、上記はみ出た部分が記録されなかった上記第１のブロックに対して、終端を示す識別情報を付加するようにしたことを特徴とする再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34208399A JP4038949B2 (ja) | 1999-12-01 | 1999-12-01 | 再生装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34208399A JP4038949B2 (ja) | 1999-12-01 | 1999-12-01 | 再生装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001160263A JP2001160263A (ja) | 2001-06-12 |
| JP2001160263A5 JP2001160263A5 (ja) | 2006-05-11 |
| JP4038949B2 true JP4038949B2 (ja) | 2008-01-30 |
Family
ID=18351036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34208399A Expired - Fee Related JP4038949B2 (ja) | 1999-12-01 | 1999-12-01 | 再生装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4038949B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008017295A (ja) * | 2006-07-07 | 2008-01-24 | Ntt Docomo Inc | カラー画像符号化方法、装置及びプログラム、並びに、カラー画像復号方法、装置及びプログラム |
-
1999
- 1999-12-01 JP JP34208399A patent/JP4038949B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001160263A (ja) | 2001-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4010066B2 (ja) | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 | |
| KR20020075897A (ko) | 스트림 처리 장치 | |
| JP3921841B2 (ja) | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 | |
| JP4182641B2 (ja) | データ処理装置および方法、ならびに、記録装置および方法 | |
| US6643729B2 (en) | Data processing apparatus and data recording apparatus | |
| WO2001058171A1 (en) | Recording device and method, and reproducing device and method | |
| US6970938B2 (en) | Signal processor | |
| KR100739262B1 (ko) | 기록 장치 및 기록 방법과, 재생 장치 및 재생 방법 | |
| US20020071491A1 (en) | Signal processor | |
| JP3775265B2 (ja) | 信号処理装置および方法、記録再生装置および方法、ならびに、再生装置および方法 | |
| JP2001169251A (ja) | 記録装置および方法、ならびに、再生装置および方法 | |
| KR100681992B1 (ko) | 기록 장치 및 방법 | |
| JP4038949B2 (ja) | 再生装置および方法 | |
| JP2001155437A (ja) | 記録装置および方法 | |
| JP4432284B2 (ja) | 記録装置および方法 | |
| JP2001169243A (ja) | 記録装置および方法、ならびに、再生装置および方法 | |
| JP3978903B2 (ja) | データ記録装置、データ記録方法、データ処理装置、およびデータ処理方法 | |
| JP2000149455A (ja) | データ記録装置および記録方法、データ記録再生装置および記録再生方法、並びにデータ記録媒体 | |
| JP2001218162A (ja) | 記録装置および方法 | |
| JP2000134110A (ja) | データ伝送装置および伝送方法 | |
| JP2000132914A (ja) | データ処理装置およびデータ記録装置 | |
| JP2000312341A (ja) | データ伝送装置および方法、記録装置、ならびに、記録再生装置 | |
| JP2001346163A (ja) | 記録装置および方法、再生装置および方法、ならびに、記録再生装置および方法 | |
| JP2002171241A (ja) | ストリーム伝送装置および方法 | |
| JP2000152174A (ja) | 画像データ処理装置および方法、並びに画像データ記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |