JP4387064B2 - データ伝送方法およびデータ伝送装置 - Google Patents

データ伝送方法およびデータ伝送装置 Download PDF

Info

Publication number
JP4387064B2
JP4387064B2 JP2000613173A JP2000613173A JP4387064B2 JP 4387064 B2 JP4387064 B2 JP 4387064B2 JP 2000613173 A JP2000613173 A JP 2000613173A JP 2000613173 A JP2000613173 A JP 2000613173A JP 4387064 B2 JP4387064 B2 JP 4387064B2
Authority
JP
Japan
Prior art keywords
data
sequence
audio data
area
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000613173A
Other languages
English (en)
Inventor
宏 中野
ウィルキンソン・ジェイムズ・ヘッドリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Sony Corp
Original Assignee
Sony United Kingdom Ltd
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd, Sony Corp filed Critical Sony United Kingdom Ltd
Application granted granted Critical
Publication of JP4387064B2 publication Critical patent/JP4387064B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【技術分野】
【0001】
この発明は、データ伝送方法およびデータ伝送装置に関する。
【背景技術】
【0002】
従来、SMPTE(Society of Motion Picture and Television Engineers:米国映画テレビ技術協会)やEBU(European Broadcasting Union:欧州放送連合)において、放送局間における番組交換の検討が為されており、その成果として「EBU/SMPTE Task Force for Harmonized Standards for the Exchange of Programme Material as Bitstreams」が発表されている。
【0003】
この発表では、番組の本質的なデータ例えばビデオやオーディオの素材をエッセンス(Essence)とし、エッセンスの内容例えば番組のタイトルやビデオ方式(NTSCあるいはPAL)およびオーディオサンプリング周波数等の情報をメタデータ(Metadata)とする。
【0004】
次に、エッセンスとメタデータからコンテントエレメント(Content Element)を構成して、さらに複数のコンテントエレメントを用いて映像や音声のコンテントアイテム(Content ltem)を生成する。例えば、画像索引集として有用なビデオクリップがこれに相当する。また、複数のコンテントアイテムやコンテントエレメントからコンテントパッケージ(Content Package)を構成する。このコンテントパッケージが1つの番組に相当し、コンテントパッケージの集合をラッパー(Wrapper)とする。このラッパーを伝送する手段や蓄積する手段を放送局間で標準化することにより番組交換を容易とする提案がなされている。
【0005】
ところで、上述の発表では、番組交換の概念が記述されているだけで、どのような方法で番組の伝送を行うかについては具体的に定められていない。このため、番組を上述したようにコンテントパッケージとして実際に伝送することはできなかった。
【0006】
そこで、この発明ではコンテントパッケージを構成して番組の伝送を行うことができるディジタルデータ伝送方法およびそれを用いた番組伝送装置を提供するものである。
【発明の開示】
【0007】
この発明に係るデータ伝送方法は、映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットのペイロード領域の、音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に、音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入して伝送パケットを生成する第1のステップと、第1のステップで5フレームシーケンスのシーケンス番号が挿入された伝送パケットをシリアルデータに変換して伝送する第2のステップと、5フレームシーケンスの所定の番組の音声データが5フレームシーケンスの他の番組の音声データに切り替えられた場合に、切り替えられた当該番組における5フレームシーケンスのシーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた番組の音声データの出力タイミングを早くして音声データの出力タイミングを調整し、5フレームシーケンスのシーケンス番号のサンプル数が基準シーケンスのシーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って音声データの出力タイミングを調整する第3のステップとを有するものである。また、ペイロード領域の、音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入すると共に、音声データブロック領域に対応して設けたオーディオサンプルカウント領域に5フレームシーケンスのシーケンス番号で示されるフレーム内に含まれるオーディオサンプル数を示すデータを挿入して伝送パケットを生成する第1のステップと、第1のステップで5フレームシーケンスのシーケンス番号とオーディオサンプル数が挿入された伝送パケットをシリアルデータに変換して伝送する第2のステップと、5フレームシーケンスの所定の番組の音声データが5フレームシーケンスの他の番組の音声データに切り替えられた場合に、切り替えられた当該番組における5フレームシーケンスのシーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた番組の音声データの出力タイミングを早くして音声データの出力タイミングを調整し、5フレームシーケンスのシーケンス番号のサンプル数が基準シーケンスのシーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って音声データの出力タイミングを調整する第3のステップとを有するものである。
【0008】
さらに、この発明に係るデータ伝送装置では、映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットのペイロード領域の、音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に、音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入するデータ挿入手段と、データ挿入手段で5フレームシーケンスのシーケンス番号が挿入された伝送パケットをシリアルデータに変換して出力するデータ出力手段と、データ出力手段で出力された伝送パケットの5フレームシーケンスの所定の番組の音声データが5フレームシーケンスの他の番組の音声データに切り替えられた場合に、切り替えられた当該番組における5フレームシーケンスのシーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた番組の音声データの出力タイミングを早くして音声データの出力タイミングを調整し、5フレームシーケンスのシーケンス番号のサンプル数が基準シーケンスのシーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って音声データの出力タイミングを調整する位相調整手段とを有するものである。また、ペイロード領域の、音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入すると共に、音声データブロック領域に対応して設けたオーディオサンプルカウント領域に5フレームシーケンスのシーケンス番号で示されるフレーム内に含まれるオーディオサンプル数を示すデータを挿入するデータ挿入手段と、データ挿入手段で5フレームシーケンスのシーケンス番号とオーディオサンプル数が挿入された伝送パケットをシリアルデータに変換して出力するデータ出力手段と、5フレームシーケンスの所定の番組の音声データが5フレームシーケンスの他の番組の音声データに切り替えられた場合に、切り替えられた当該番組における5フレームシーケンスのシーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた番組の音声データの出力タイミングを早くして音声データの出力タイミングを調整し、5フレームシーケンスのシーケンス番号のサンプル数が基準シーケンスのシーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って音声データの出力タイミングを調整する位相調整手段とを有するものである。
【0009】
この発明においては、映像フレームの各1ラインの区間を、例えば終了同期符号EAVが挿入される領域と、ヘッダデータが挿入される領域と、開始同期符号SAVが挿入される領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットを伝送する際に、ペイロード領域のオーディオアイテム部分の、音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に、音声データの位相管理のための5フレームシーケンス等のフレームシーケンスデータが挿入されて伝送パケットが生成される。また、フレームシーケンスデータだけでなく、音声データブロック領域に対応して設けたオーディオサンプルカウント領域にフレームシーケンスデータで示されるフレーム内に含まれるオーディオサンプル数を示すデータも挿入される。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照しながら、この発明について詳細に説明する。この発明においては、映像や音声の素材等のデータをパッケージ化してそれぞれのコンテントアイテム(例えばピクチャアイテム(Picture Item)やオーディオアイテム(Audio Item))を生成すると共に、各コンテントアイテムに関する情報や各コンテントに関するメタデータ等をパッケージ化して1つのコンテントアイテム(システムアイテム(System Item))を生成し、これらの各コンテントアイテムをコンテントパッケージとする。さらに、このコンテントパッケージから伝送パケットを生成して、シリアルディジタルトランスファーインタフェースを用いて伝送するものである。
【0011】
このシリアルディジタルトランスファーインタフェースとしては、例えばSMPTEで規格化されたSMPTE−259M「10-bit 4:2:2 Component and 4fsc Composite Digital Signals −Serial Digital Interface」(以下「シリアルディジタルインタフェースSDI(Serial Digital Interface)フォーマット」という)のディジタル信号シリアル伝送フォーマットや、パケット化したディジタル信号を伝送する規格SMPTE−305M「Serial Data Transport Interface」(以下「SDTIフォーマット」という)を利用して、上述のコンテントパッケージを伝送するものである。
【0012】
まず、SMPTE−259Mで規格化されているSDIフォーマットを映像フレームに配置した場合、NTSC525方式のディジタルのビデオ信号は、水平方向に1ライン当たり1716(4+268+4+1440)ワード、垂直方向は525ラインで構成されている。また、PAL625方式のディジタルのビデオ信号は、水平方向に1ライン当たり1728(4+280+4+1440)ワード、垂直方向は625ラインで構成されている。ただし、10ビット/ワードである。
【0013】
各ラインについて、第1ワードから第4ワードまでの4ワードは、ビデオ信号の領域である1440ワードのアクティブビデオ領域の終了を示し、アクティブビデオ領域と後述するアンシラリデータ領域とを分離するための符号EAV(End of Active Video)を格納する領域として用いられる。
【0014】
また、各ラインについて、第5ワードから第272ワードまでの268ワードは、アンシラリデータ領域として用いられ、ヘッダ情報等が格納される。第273ワードから第276ワードまでの4ワードは、アクティブビデオ領域の開始を示し、アクティブビデオ領域とアンシラリデータ領域とを分離するための符号SAV(Start of Active Video)を格納する領域として用いられ、第277ワード以降がアクティブビデオ領域とされている。
【0015】
SDTIフォーマットでは、上述のアクティブビデオ領域をペイロード領域として用いるものとし、符号EAVおよびSAVがペイロード領域の終了および開始を示すものとされる。
【0016】
ここで、各アイテムのデータをコンテントパッケージとしてSDTIフォーマットのペイロード領域に挿入すると共に、SDIフォーマットの符号EAVおよびSAVを付加して第1図に示すようなフォーマットのデータとする。この第1図に示すフォーマット(以下「SDTI−CPフォーマット」という)のデータを伝送するときには、SDIフォーマットやSDTIフォーマットと同様に、P/S変換および伝送路符号化が行われてシリアルデータとして伝送される。なお、第1図において、括弧内の数字はPAL625方式のビデオ信号の数値を示しており、括弧がない数字はNTSC525方式のビデオ信号の数値を示している。以下、NTSC方式についてのみ説明する。
【0017】
第2図は符号EAVおよびアンシラリデータ領域に含まれるヘッダデータ(Header Data)の構成を示している。
【0018】
符号EAVは、3FFh,000h,000h,XYZh(hは16進表示であることを示しており以下の説明でも同様である)とされている。
【0019】
「XYZh」は、ビットb9が「1」に設定されると共に、ビットb0,b1が「0」に設定される。ビットb8はフィールドが第1あるいは第2フィールドのいずれであるかを示すフラグであり、ビットb7は垂直ブランキング期間を示すフラグである。またビットb6は、4ワードのデータがEAVであるかSAVであるかを示すフラグである。このビットb6のフラグは、EAVのときに「1」とされると共にSAVのときに「0」となる。またビットb5〜b2は誤り検出訂正を行うためのデータである。
【0020】
次に、ヘッダデータの先頭には、ヘッダデータ認識用のデータ「ADF(Ancillary data flag)」として、固定パターン000h,3FFh,3FFhが配されている。この固定パターンに続いて、アンシラリデータ領域の属性を示す「DID(Data ID)」および「SDID(Secondary data ID)」が設けられており、属性がユーザーアプリケーションであることを示す固定パターン140h,101hが配されている。
【0021】
「Data Count」は、「Line Number-0」から「Header CRC1」までのワード数を示すものであり、ワード数は46ワード(22Eh)とされている。
【0022】
「Line Number-0,Line Number-1」は、映像フレームのライン番号を示すものであり、NTSC525方式ではこの2ワードによって1から525までのライン番号が示される。また、PAL方式625方式では1から625までのライン番号が示される。
【0023】
「Line Number-0,Line Number-1」に続いて、「Line Number CRC0,Line Number CRC1」が配されており、この「Line Number CRC0,Line Number CRC1」は、「DID」から「Line Number-1」までの5ワードのデータに対するCRC(cyclic redundancy check codes)であり、伝送エラーのチェックに用いられる。
【0024】
「Code & AAI(Authorized address identifier)」では、SAVからEAVまでのペイロード領域のワード長がどのような設定とされているか、および送出側や受取側のアドレスがどのようなデータフォーマットとされているか等の情報が示される。
【0025】
「Destination Address」はデータ受取側(送出先)のアドレスであり、「Source Address」はデータ送出側(送出元)のアドレスである。
【0026】
「Source Address」に続く「Block Type」は、ペイロード領域がどのような形式とされているか、例えば固定長か可変長かを示すものであり、ペイロード領域が可変長の形式であるときには圧縮データが挿入される。ここで、SDTI−CPフォーマットでは、例えば圧縮されたビデオデータ(映像データ)を用いてコンテントアイテムを生成したときにピクチャ毎にデータ量が異なることから可変長ブロック(Variable Block)が用いられる。このため、SDTI−CPフォーマットでの「Block Type」は固定データ1C1hとされる。
【0027】
「CRC Flag」は、ペイロード領域の最後の2ワードにCRCが置かれているか否かを示すものである。
【0028】
また、「CRC Flag」に続く「Data extension flag」は、ユーザーデータパケットを拡張しているか否かを示している。
【0029】
「Data extension flag」に続いて4ワードの「Reserved」領域が設けられる。次の「Header CRC 0,Header CRC 1」は、「Code & AAI」から「Reserved4」までのデータに対するCRC(cyclic redundancy check codes)であり、伝送エラーのチェックに用いられる。次の「Check Sum」は、全ヘッダデータに対するCheck Sumコードであり、伝送エラーのチェックに用いられる。
【0030】
また、第1図のペイロード領域では、ビデオやオーディオ等のアイテムのデータがSDTIフォーマットの可変長ブロックの形式としてパッケージ化される。第3図は可変長ブロックのフォーマットを示している。「Separator」および「End Code」は可変長ブロックの開始と終了を示すものであり、「Separator」の値は「309h」、「End Code」の値は「30Ah」に設定されている。
【0031】
「Data Type」はパッケージ化されているデータが、どのようなアイテムのデータであるかを示すものであり、「Data Type」の値は例えばシステムアイテム(System Item)では「04h」、ピクチャアイテム(Picture Item)では「05h」、オーディオアイテム(Audio Item)では「06h」、他のデータであるAUXアイテム(Auxiliary Item)では「07h」とされる。なお、上述したように1ワードは10ビットであり、例えば「04h」に示すように8ビットであるときには、8ビットがビットb7〜b0に相当する。また、ビットb7〜b0の偶数パリティをビットb8として付加すると共に、ビットb8の論理反転データをビットb9として付加することにより10ビットのデータとされる。以下の説明における8ビットのデータも同様にして10ビット化される。
【0032】
「Word Count」では「Data Block」のワード数を示しており、この「Data Block」が各アイテムのデータである。ここで、各アイテムのデータは、ピクチャ単位例えばフレーム単位でパッケージ化されると共に、NTSC方式では、番組の切り替え位置が10ラインの位置に設定されていることから、NTSC方式では第1図に示すように13ライン目からシステムアイテム、ピクチャアイテム、オーディオアイテム、AUXアイテムの順に伝送される。
【0033】
第4図は、システムアイテムの構成を示している。「System Item Type」と「Word Count」は可変長ブロックの「Data Type」と「Word Count」に相当する。
【0034】
1ワードの「System Item Bitmap」のビットb7は、例えばリードソロモン符号等のような誤り検出訂正符号が加えられているか否かを示すフラグであり、「1」とされているときには誤り検出訂正符号が加えられていることを示している。ビットb6は、SMPTE Labelの情報があるか否かを示すフラグである。ここで「1」とされているときには、SMPTE Labelの情報がシステムアイテムに含まれていることを示している。ビットb5およびb4はReference Date/Time stamp、Current Date/Time stampがシステムアイテムにあるか否かを示すフラグである。このReference Date/Time stampでは、例えばコンテントパッケージが最初に作られた時間あるいは日付が示される。またCurrent Date/Time stampでは、コンテントパッケージのデータを最後に修正した時間あるいは日付が示される。
【0035】
ビットb3はピクチャアイテム、ビットb2はオーディオアイテム、ビットb1はAUXアイテムがシステムアイテムの後にあるか否かを示すフラグであり、「1」とされているときにはアイテムがシステムアイテムの後に存在することが示される。
【0036】
ビットb0は、コントロールエレメント(Control Element)があるか否かを示すフラグであり、「1」とされているときにはコントロールエレメントが存在することが示される。なお、図示せずもビットb8,b9が上述したように付加されて10ビットのデータとして伝送される。
【0037】
1ワードの「Content Package Rate」のビットb7〜b6は未定義領域(Reserved)であり、ビットb5〜b1では、1倍速動作における1秒当たりのパッケージ数であるパッケージレート(Package Rate)が示される。ビットb0は1.001フラグであり、フラグが「1」に設定されているときには、パッケージレートが(1/1.001)倍であることが示される。
【0038】
1ワードの「Content Package Type」のビットb7〜b5は、ストリーム内における、当該ピクチャ単位の位置を識別するための「Stream States」フラグである。この3ビットのフラグによって、以下の8種類の状態が示される。
【0039】
0:このピクチャ単位が、プリロール(pre-roll)区間、編集区間、ポストロール(post-roll)区間のいずれの区間にも属さない。
1:このピクチャ単位が、プリロール区間に含まれているピクチャであり、この後に編集区間が続く。
2:このピクチャ単位が、編集区間の最初のピクチャ単位である。
3:このピクチャ単位が、編集区間の中間に含まれているピクチャ単位である。
4:このピクチャ単位が、編集区間の最後のピクチャ単位である。
5:このピクチャ単位が、ポストロール区間に含まれているピクチャ単位である。
6:このピクチャ単位が、編集区間の最初、かつ最後のピクチャ単位である(編集区間のピクチャ単位が1つだけの状態)。
7:未定義
【0040】
ビットb4は未定義領域(Reserved)であり、ビットb3,b2の「Transfer Mode」では、伝送パケットの伝送モードが示される。また、ビットb1,b0の「Timing Mode」で伝送パケットを伝送する際の伝送タイミングモードが示される。ここで、ビットb3,b2で示される値が「0」のときには同期モード(Synchronous mode)、「1」のときには等時性モード(Isochronous mode)、「2」のときは非同期モード(Asynchronous mode)とされる。また、ビットb1,b0で示される値が「0」のときには1フレーム分のコンテントパッケージの伝送を、第1フィールドの所定のラインのタイミングで開始するノーマルタイミングモード(Normal timing mode)、「1」のときには第2フィールドの所定のラインのタイミングで伝送を開始するアドバンスドタイミングモード(Advanced timing mode)、「2」のときは第1および第2フィールドのそれぞれの所定のラインのタイミングで伝送を開始するデュアルタイミングモード(Dual timing mode)とされる。
【0041】
「Content Package Type」に続く2ワードの「Channel Handle」は、複数の番組のコンテントパッケージが多重化されて伝送される場合に、各番組のコンテントパッケージを判別するためのものであり、ビットH15〜H0の値を識別することで、多重化されているコンテントパッケージをそれぞれ番組毎に分離することができる。
【0042】
2ワードの「Continuity Count」は、16ビットのモジュロカウンタである。このカウンタは、ピクチャ単位毎にカウントアップされると共に、それぞれのストリームで独自にカウントされる。従って、ストリームスイッチャ等によってストリームの切り替えがあるときには、このカウンタの値が不連続となって、切り替え点(編集点)の検出が可能となる。なお、このカウンタは上述したように16ビットのモジュロカウンタであり65536と非常に大きな値であることから、2つの切り替えられるストリームにおいて、切り替え点でカウンタの値が偶然に一致する確率が限りなく低く、切り替え点の検出のために、実用上充分な精度を提供できる。
【0043】
「Continuity Count」の後には、上述したSMPTE LabelやReference Date/TimeおよびCurrent Date/Timeを示す「SMPTE Universal Label」、「Reference Date/Time stamp」、「Current Date/Time stamp」領域が設けられる。
【0044】
そのあとに、「Package Metadata Set」や「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」領域が設けられる。なお、「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」は、対応するアイテムが「System Item Bitmap」のフラグによってコンテントパッケージに内に含まれることが示されたときに設けられる。
【0045】
上述の「Time stamp」は17バイトが割り当てられており、最初の1バイトで「Time stamp」であることが識別されると共に、残りの16バイトがデータ領域として用いられる。ここで、データ領域の最初の8バイトは、例えばSMPTE12Mとして規格化されたタイムコード(Time code)を示しており、後の8バイトは無効データである。
【0046】
8バイトのタイムコードは第5図に示すように、「Frame」「Seconds」「Minutes」「Hours」および4バイトの「Binary Group Data」からなる。
【0047】
「Frame」のビットb5,b4でフレーム番号の十の位、ビットb3〜b0で一の位の値が示される。同様に、「Seconds」「Minutes」「Hours」の各ビットb6〜b0によって秒、分、時が示される。
【0048】
「Frame」のビットb7はカラーフレームフラグ(Color Frame Flag)であり、第1のカラーフレームであるか第2のカラーフレームであるかが示される。ビットb6はドロップフレームフラグ(Drop Frame Flag)であり、ピクチャアイテムに挿入された映像フレームがドロップフレームであるか否かを示すフラグである。「Seconds」のビットb7は例えばNTSC方式の場合にはフィールド位相(Field Phase)、すなわち第1フィールドであるか第2フィールドであるかが示される。なおPAL方式のときには「Hours」のビットb6でフィールド位相が示される。
【0049】
「Minutes」のビットb7および「Hours」のビットb7,b6の3ビットB0〜B3(PAL方式では、「Seconds」「Minutes」「Hours」の各ビットb7の3ビット)によって、「Binary Group Data」の各BG1〜BG8にデータがあるか否かが示される。この「Binary Group Data」では、例えばグレゴリオ暦(Gregorian Calender)やユリウス暦(Julian Calender)での年月日を二桁で表示することができるようになされている。
【0050】
第6図は「Metadata Set」の構成を示しており、1ワードの「Metadata Count」によってセット内の「Metadata Block」の数が示される。なお、「Metadata Set」の値が00hのときには、「Metadata Block」がないことが示されることから、「Metadata Set」は1ワードとなる。
【0051】
ここで、「Metadata Block」が、番組タイトル等のコンテントパッケージの情報を示す「Package Metadata Set」の場合には、1ワードの「Metadata Type」、2ワードの「Word Count」に続き、情報領域である「Metadata」が設けられている。この「Metadata」のワード数が「Word Count」のビットb15〜b0によって示される。
【0052】
ビデオやオーディオあるいはAUXデータ等のパッケージ化されているアイテムに関する情報を示す「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」では、更に1ワードの「Element Type」と「Element Number」が設けられており、後述するビデオやオーディオ等のアイテムの「Element Data Block」内の「Element Type」や「Element Number」とリンクするようになされており、「Element Data Block」毎に、メタデータを設定することができる。また、これらの「Metadata Set」の後には「Control Element」領域を設けることができる。
【0053】
次に、ビデオやオーディオ等の各アイテムのブロックについて第7図を用いて説明する。ビデオやオーディオ等の各アイテムのブロック「Item Type」は、上述したようにアイテムの種類を示しており、ピクチャアイテムでは「05h」、オーディオアイテムでは「06h」、AUXデータアイテムでは「07h」とされる。「Item Word Count」ではこのブロックの終わりまでのワード数(可変長ブロックの「Word Count」に相当)を示している。「Item Word Count」に続く「Item Header」では、「Element Data Block」の数が示される。ここで、「Item Header」は8ビットであることから「Element Data Block」の数は1〜255(0は無効)の範囲となる。この「Item Header」に続く「Element Data Block」がアイテムのデータ領域とされる。
【0054】
「Element Data Block」は、「Element Type」「Element Word Count」「Element Number」「Element Data」で構成されており、「Element Type」と「Element Word Count」によって、「Element Data」のデータの種類およびデータ量が示される。また、「Element Number」によって何番目の「Element Data Block」であるかが示される。
【0055】
次に、「Element Data」の構成について説明する。エレメントの一つであるMPEG−2ピクチャエレメントは、いずれかのプロファイル若しくはレベルのMPEG−2ビデオエレメンタリストリーム(V−ES)である。プロファイルおよびレベルは、デコーダーテンプレートドキュメントで定義される。第8図は、SDTI−CPエレメントフレームにおけるMPEG−2 V−ESのフォーマット例である。この例は、キー、つまりMPEG−2スタートコードを特定する(SMPTEレコメンデッドプラクティスにしたがった)V−ESビットストリーム例である。MPEG−2 V−ESビットストリームは、単純に第8図に示されたようにデータブロックにフォーマットされる。
【0056】
次に、ピクチャアイテムに対するメタデータ、例えばMPEG−2ピクチャ画像編集メタデータについて説明する。このメタデータは、編集およびエラーメタデータと、圧縮符号化メタデータと、ソース符号化メタデータとの組み合わせである。これらのメタデータは、主として上述したシステムアイテム、さらには補助データアイテムに挿入することができる。
【0057】
第9図は、第4図に示すシステムアイテムの「Picture Metadata Set」領域に挿入されるMPEG−2ピクチャ編集メタデータ内に設けられる「Picture Editing Bitmap」領域と、「Picture Coding」領域と、「MPEG User Bitmap」領域を示している。さらに、このMPEG−2ピクチャ編集メタデータには、MPEG−2のプロファイルとレベルを示す「Profile/Level」領域や、SMPTE186−1995で定義されたビデオインデックス情報を設けることも考えられる。
【0058】
1ワードの「Picture Editing Bitmap」のビットb7およびb6は「Edit flag」であり、編集点情報を示すフラグである。この2ビットのフラグによって、以下の4種類の状態が示される。
【0059】
00:編集なし
01:編集点が、このフラグが付いているピクチャ単位の前にある(Pre-picture edit)
10:編集点が、このフラグが付いているピクチャ単位の後にある(Post-picture edit)
11:ピクチャ単位が1つだけ挿入され、編集点がこのフラグが付いているピクチャ単位の前と後にある(single frame picture)
つまり、ピクチャアイテムに挿入された映像データ(ピクチャ単位)が、編集点の前にあるか、編集点の後にあるか、さらに2つの編集点に挟まれているかを示すフラグを「Picture Metadata Set」(第4図参照)の「Picture Editing Bitmap」領域に挿入する。
【0060】
ビットb5およびb4は、「Error flag」である。この「Error flag」は、ピクチャが修正できないエラーを含んでいる状態にあるか、ピクチャがコンシールエラーを含んでいる状態にあるか、ピクチャがエラーを含んでいない状態にあるか、さらには未知状態にあるかを示す。ビットb3は、「Picture Coding」がこの「Picture Metadata Set」領域にあるか否かを示すフラグである。ここで、「1」とされているときは、「Picture Coding」が含まれていることを示している。
【0061】
ビットb2は、「Profile/Level」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「Profile/Level」が含まれている。この「Profile/Level」は、MPEGのプロファイルやレベルを示すMP@MLやHP@HL等を示す。
【0062】
ビットb1は、「HV Size 」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「HV Size 」が含まれている。ビットb0は、「MPEG User Bitmap」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「MPEG User Bitmap」が含まれている。
【0063】
1ワードの「Picture Coding」のビットb7には「Closed GOP」が設けられる。この「Closed GOP」は、MPEG圧縮したときのGOP(Group Of Picture)がClosed GOPか否かを示す。
【0064】
ビットb6には、「Broken Link」が設けられる。この「Broken Link」は、デコーダ側の再生制御に使用されるフラグである。すなわち、MPEGの各ピクチャは、Bピクチャ、Bピクチャ、Iピクチャ・・・のように並んでいるが、編集点があって全く別のストリームをつなげたとき、例えば切り替え後のストリームのBピクチャが切り替え前のストリームのPピクチャを参照してデコードされるというおそれがある。このフラグをセットすることで、デコーダ側で上述したようなデコードがされないようにできる。
【0065】
ビットb5〜b3には、「Picture Coding Type」が設けられる。この「Picture Coding Type」は、ピクチャがIピクチャであるか、Bピクチャであるか、Pピクチャであるかを示すフラグである。ビットb2〜b0は、未定義領域(Reserved)である。
【0066】
1ワードの「MPEG User Bitmap」のビットb7には、「History data」が設けられている。この「History data」は、前の世代の符号化に必要であった、例えば量子化ステップ、マクロタイプ、動きベクトル等の符号化データが、例えば「Metadata Block」の「Metadata」内に存在するユーザデータ領域に、History dataとして挿入されているか否かを示すフラグである。ビットb6には、「Anc data」が設けられている。この「Anc data」は、アンシラリ領域に挿入されたデータ(例えば、MPEGの圧縮に必要なデータ等)を、上述のユーザデータ領域に、Anc dataとして挿入されているか否かを示すフラグである。
【0067】
ビットb5には、「Video index」が設けられている。この「Video index」は、Video index領域内に、Video index情報が挿入されているか否かを示すフラグである。このVideo index情報は15バイトのVideo index領域内に挿入される。この場合、5つのクラス(1.1、1.2、1.3、1.4および1.5の各クラス)毎に挿入位置が決められている。例えば、1.1クラスのVideo index情報は最初の3バイトに挿入される。
【0068】
ビットb4には、「Picture order」が設けられている。この「Picture order」は、MPEGストリームの各ピクチャの順序を入れ替えたか否かを示すフラグである。なお、MPEGストリームの各ピクチャの順序の入れ替えは、多重化のときに必要となる。
【0069】
ビットb3,b2には、「Timecode2」、「Timecode1」が設けられている。この「Timecode2」、「Timecode1」は、Timecode2,1の領域に、VITC(Vertical Interval Time Code)、LTC(Longitudinal Time Code)が挿入されているか否かを示すフラグである。ビットb1,b0には、「H−Phase」、「V−Phase」が設けられている。この「H−Phase」、「V−Phase」は、エンコード時にどの水平画素、垂直ラインからエンコードされているか、つまり実際に使われる枠の情報がユーザデータ領域にあるか否かを示すフラグである。
【0070】
次に、オーディオアイテムについて説明する。オーディオアイテムの「Element Data」は、第10図に示すように「Element Data」は「Element Header」「Audio Sample Count」「Stream Valid Flags」「Data Area」で構成される。
【0071】
1ワードの「Element Header」のビットb7は「FVUCP Valid Flag」であり、AES(Audio Engineering Society)で規格化されたAES−3のフォーマットにおいて定義されているFVUCPが、「Data Area」のAES−3のフォーマットのオーディオデータ(音声データ)で設定されているか否かが示される。ビットb6〜b3は未定義領域(Reserved)であり、ビットb2〜b0で、5フレームシーケンスのシーケンス番号(5−sequence counter)が示される。
【0072】
ここで、5フレームシーケンスについて説明する。1フレームが525本の走査線で(30/1.001)フレーム/秒のビデオ信号に同期すると共に、サンプリング周波数が48kHzであるオーディオ信号をビデオ信号の各フレームのブロック毎に分割すると、1ビデオフレーム当たりのサンプル数は1601.6サンプル/フレームとなり整数値とならない。このため、5フレームで8008サンプルとなるように1601サンプルのフレームを2フレーム設けると共に1602サンプルのフレームを3フレーム設けるシーケンスが5フレームシーケンスと呼ばれている。
【0073】
5フレームシーケンスは、第11A図に示す基準フレーム信号に同期して、例えば第11B図に示すようにシーケンス番号1,3,5のフレームが1602サンプル、シーケンス番号2,4のフレームが1601サンプルとされており、このシーケンス番号がビットb2〜b0で示される。
【0074】
2ワードの「Audio Sample Count」は、第10図に示すようにビットc15〜c0を用いた0〜65535の範囲内の16ビットのカウンタであり、各チャネルのサンプル数が示される。なお、エレメント内では全てのチャネルが同じ値を有するものである。
【0075】
1ワードの「Stream Valid Flags」では、8チャネルの各ストリームが有効であるか否かが示される。ここで、チャネルに意味のあるオーディオデータが含まれている場合には、このチャネルに対応するビットが「1」に設定されると共に、それ以外では「0」に設定されて、ビットが「1」に設定されたチャネルのオーディオデータのみが伝送される。
【0076】
「Data Area」の「s2〜s0」は8チャネルの各ストリームを識別のためのデータ領域である。「F」はサブフレームの開始を示している。「a23〜a0」は、オーディオデータであり、「P,C,U,V」はチャネルステータスやユーザビット、Validityビット、パリティ等である。
【0077】
次に、オーディオアイテムに対するメタデータについて説明する。オーディオ編集メタデータ(Audio Editing Metadata)は、編集メタデータやエラーメタデータおよびソースコーディングメタデータの組み合わせである。このオーディオ編集メタデータは、第12図に示すように1ワードの「Field/Frame flags」、1ワードの「Audio Editing Bitmap」、1ワードの「CS Valid Bitmap」、および「Channel Status Data」で構成されている。
【0078】
ここで、有効とされているオーディオのチャネル数は、上述した第10図の「Stream Valid Flags」によって判別することができる。また「Stream Valid Flags」のフラグが「1」に設定されている場合には、「Audio Editing Bitmap」が有効となる。
【0079】
「Audio Editing Bitmap」の「First editing flag」は第1フィールド、「Second editing flag」は第2フィールドでの編集状況に関する情報が示されて、編集点がこのフラグの付いているフィールドの前あるいは後であるか等が示される。「Error flag」では、修正できないようなエラーが発生しているか否か等が示される。
【0080】
「CS Valid Bitmap」は、n(n=6,14,18あるいは22)バイトの「Channel Status Data」のヘッダであり、データブロック内で24のチャネルステータスワードのどれが存在しているかが示される。ここで、「CS Valid1」は、「Channel Status Data」の0から5バイトまでにデータがあるか否かを示すフラグである。「CS Valid2」〜「CS Valid4」は、「Channel Status Data」の6から13バイト、14から17バイト、18から21バイトまでにデータがあるか否かを示すフラグである。なお、「Channel Status Data」は24バイト分とされており、最後から2番目の22バイトのデータによっては0から21バイトまでにデータがあるか否かが示されると共に、最後の23バイトのデータが、0から22バイトまでのCRCとされる。また、「Filed/Frame flags」でフラグは、8チャネルのオーディオデータに対してフレーム単位あるいはフィールド単位のいすれでデータがパッキングされているかが示される。
【0081】
汎用のデータフォーマット(General Data Format)では、全てのフリーフォームデータタイプを搬送するために使用される。しかし、このフリーフォームデータタイプには、ITネイチャ(ワードプロセッシングやハイパーテキスト等)などの特別な補助エレメントタイプは含まれない。
【0082】
次に、このようなSDTI−CPフォーマットでデータの伝送を行うデータ伝送装置の構成について説明する。
【0083】
第13図に示すように、番組のビデオデータやオーディオデータおよび番組に関する情報等のAUXデータをサーバやビデオテープレコーダ等のデータ記録再生装置10に伝送する場合、ルータ(Router)などのマトリックススイッチャ12を用いることで、複数のデータ出力装置14-1〜14-nからの番組を切り替えてデータ記録再生装置10に蓄積させることができる。なお、説明を簡単とするため、伝送するデータはビデオデータとオーディオデータとする。
【0084】
この番組の伝送の際に、例えばデータ出力装置14-1からMPEG2方式で圧縮されたビデオデータDVC-1や非圧縮のオーディオデータDAU-1のストリームをCPエンコーダ21-1によってフレーム単位でパッキング化したのち、上述のSDTI−CPフォーマットの形態のデータとして、このデータをシリアルデータCPS-1に変換して出力する。なお信号VE-1は、ビデオデータDVC-1が有効であることを示すイネーブル信号であり、信号SC-1は水平や垂直の同期信号である。また、他のデータ出力装置14-nからのデータも同様にして、対応するCPエンコーダ21-nによってフレーム単位でパッキング化したのちSDTI−CPフォーマットの形態のデータとして、このデータをシリアルデータCPS-nに変換して出力する。なお、各データ出力装置14-1〜14-nは、1つの信号SCを基準として動作するものとしても良い。
【0085】
受信側では、マトリックススイッチャ12によって選択されたシリアルデータCPSからパッキングされているビデオデータやオーディオデータ等をCPデコーダ24によって分離して、ビデオやオーディオのデータDTをデパッキング部25に供給する。なお、信号ENはデータDTのイネーブル信号である。デパッキング部25では、供給されたデータDTを1フレームの圧縮ビデオデータと非圧縮のオーディオデータ等に分けて、データ記録再生装置10に供給して蓄積させる。このCPデコーダ24やデパッキング部25は、データ記録再生装置10からの信号SCRに基づいて動作が行われる。
【0086】
第14図はCPエンコーダ21の構成を示しており、第15図はCPエンコーダ21の各部の動作を示している。データ出力装置14からの第15A図に示す圧縮されたビデオデータDVCのストリームや第15B図に示すオーディオデータDAUのストリームは、CPエンコーダ21の、データ挿入手段を構成するSDTI−CPフォーマット部211に供給される。また、信号SCはタイミング信号生成部212に供給される。なおデータ挿入手段は、SDTI−CPフォーマット部211やタイミング信号生成部212および後述するCPU213で構成される。
【0087】
SDTI−CPフォーマット部211およびタイミング信号生成部212にはCPU(Central Processing Unit)213が接続されており、CPU213からSDTI−CPフォーマット部211に対して、システムアイテムの種々の情報やピクチャアイテムのヘッダ情報およびオーディオアイテムのヘッダ情報等を示す信号FAが供給される。例えば、オーディオアイテムでは、5フレームシーケンスのシーケンス番号や各シーケンス番号のフレームに於けるオーディオサンプル数等の情報を示す信号FAが供給される。
【0088】
また、CPU213からタイミング信号生成部212に対しては、システムアイテムのデータ量やピクチャアイテム等のヘッダ情報のデータ量を示す信号FBが供給される。
【0089】
タイミング信号生成部212では、信号SCやデータ量を示す信号FBに基づいてタイミング信号TSを生成してSDTI−CPフォーマット部211に供給する。
【0090】
SDTI−CPフォーマット部211では、タイミング信号TSに基づきビデオデータDVCのストリームやオーディオデータDAUのストリームおよびCPU213からのシステムアイテムの種々の情報やピクチャアイテムのヘッダ情報およびオーディオアイテムのヘッダ情報に基づいて、第15C図に示すようにタイミングを調整しながら各アイテムのパッケージ化されたデータCPAを生成する。例えばシステムアイテムがライン番号13のペイロード領域となるように生成すると共に、システムアイテムのデータ量やピクチャアイテム等のヘッダ情報のデータ量に基づいて、システムアイテムに続く各ピクチャアイテムやオーディオアイテムのタイミングを調整して生成する。このようにして生成した各アイテムのパッケージ化されたデータCPAは、データ出力手段を構成するSDTIフォーマット部215に供給される。なおデータ出力手段はSDTIフォーマット部215や後述するSDIフォーマット部216で構成される。
【0091】
SDTIフォーマット部215では、各アイテムのパッケージ化されたデータに「Separator」や「Item Type」「Word Count」「End Code」のデータを付加して第15D図に示すように可変長ブロック構成のSDTIストリームCPBを生成する。このSDTIストリームCPBはSDIフォーマット部216に供給される。
【0092】
SDIフォーマット部216では、供給されたSDTIストリームCPBにEAVやSAV等のデータおよびライン番号等のヘッダ情報を付加して第15E図に示すSDIストリームCPCを生成し、このSDIストリームCPCをシリアルデータCPSに変換して出力する。
【0093】
また、受信側のCPデコーダ24では、CPエンコーダ21とは逆の処理を行ってシリアルデータCPSからパッケージ化されたビデオデータやオーディオデータ等を分離する。さらに、デパッキング部25では、分離されたビデオデータやオーディオデータを、データ記録再生装置に応じた速度で出力することにより、データ出力装置から出力された番組をデータ記録再生装置10に記録することができる。
【0094】
次に、第16図を用いて番組の伝送動作について説明する。なお、送信側と受信側は第16A図に示す基準信号SCMに同期して動作が行われるものとする。時点t1でフレームパルスの立ち下がりに同期してデータ出力装置14から第16B図示す圧縮されたビデオデータDVCの1フレーム分のデータV1が出力される。また、ビデオデータDVCが有効であることを示すイネーブル信号VEは、第16C図に示すようにビデオデータDVCが有効である期間中ローレベル「L」とされる。また、データ出力装置14からは、第16D図に示すように非圧縮のオーディオデータDAUが出力されている。ここで、時点t1から1フレーム期間分のオーディオデータをデータA1とする。
【0095】
時点t2でビデオデータの1フレーム分の出力が完了するとイネーブル信号VEの信号レベルはハイレベル「H」とされる。
【0096】
時点t1から1フレーム期間経過後の時点t3となると、データ出力装置14から次の1フレーム分のデータV2が出力されると共に、時点t3から1フレーム期間分のオーディオデータはデータA2とされる。
【0097】
CPエンコーダ21では、時点t1から時点t3までの1フレーム期間に供給されたデータV1,A1をパッキング化してSDTI−CPのフォーマットとしたのち、第16E図に示すシリアルデータCPSに変換して、時点t3からの1フレーム期間内で伝送する。
【0098】
受信側のCPデコーダ24では、受信したシリアルデータCPSからパッキングされているビデオデータやオーディオデータを分離して、第16F図に示すようにビデオやオーディオのデータDTをデパッキング部25に供給する。なお、第16G図に示す信号ENはデータDTのイネーブル信号であり、データDTが有効である期間中、例えば時点t4から時点t5まで信号レベルがローレベル「L」とされる。
【0099】
デパッキング部25では、供給されたデータDTを1フレームの圧縮ビデオデータと非圧縮のオーディオデータ等に分けて、次のフレームパルスの立ち下がりである時点t6のタイミングで第16H図および第16K図に示すようにビデオデータDVCおよびオーディオデータDAUをデータ記録再生装置10に供給して蓄積させることができる。なお第16J図は、第16H図に示すビデオデータDVCが有効である期間を示すイネーブル信号VEである。
【0100】
このオーディオデータを出力する際には、デパッキング部25では、データ記録再生装置10からの信号SCRに基づき基準シーケンスを生成して各フレームのサンプル数を規定し、この規定されたサンプル数のオーディオデータを出力するようになされている。このため、5フレームシーケンスのオーディオデータを出力する場合には、第17B図に示す基準シーケンスに対してオーディオデータの出力位相は5つの場合、すなわち基準シーケンスのシーケンス番号が「1」のときにオーディオデータのシーケンス番号が第17C図〜第17G図に示すように「1」〜「5」の場合が生ずる。なお第17A図はフレーム信号である。
【0101】
ここで、第18図に示すように、マトリクススイッチャ12で5フレームシーケンスの番組Aのオーディオデータを番組Bのオーディオデータに切り替えたときには、オーディオデータのシーケンス番号が不連続となる場合が生ずる。例えば、番組Aのシーケンス番号3の最後で番組Bに切り替えるとシーケンス番号は「1」となってしまい、シーケンス番号の不連続となる。このように番組の切り替えが行われてシーケンス番号の不連続が生じ、1602サンプルのシーケンスが多くなるとオーディオデータの位相が遅れてしまう。例えば基準シーケンス1のときに出力位相1の番組を選択し、基準シーケンス2のときに出力位相2の番組を選択する。さらに、基準シーケンス3のときに出力位相3の番組を選択し、基準シーケンス4のときに出力位相4の番組を選択すると、サンプル数1602のシーケンス1が連続して選択されることとなる。ここで、基準シーケンスのシーケンス番号2,4のフレームではサンプル数が1601であることから、第19B図に示す基準シーケンスに対して第19C図に示すようにオーディオデータの位相は遅れてしまう。また、サンプル数が1601サンプルのシーケンス番号の番組を順次切り替えて選択すると第19D図に示すようにオーディオデータの位相が早くなってしまう。なお、第19A図はフレーム信号を示している。
【0102】
このため、基準シーケンスのシーケンス番号とオーディオアイテムの「Element Header」の「5−sequence count」のカウント値に基づいて、各フレーム毎に第17図に示す位相となるようにオーディオデータの出力タイミングを調整する。
【0103】
ここで、番組の切り替えによってサンプル数が多くなる場合、例えば基準シーケンスのシーケンス番号1で出力位相2の番組から、基準シーケンスのシーケンス番号2で出力位相3の番組に切り替えたときには、出力位相3の番組のデータを1サンプル分早く出すことによって出力タイミングの調整をする。なお、出力位相3の番組のデータの2サンプル目からデータの出力を開始して出力タイミングの調整を行うものとしてもよい。
【0104】
番組の切り替えによってサンプル数が少なくなる場合、例えば基準シーケンスのシーケンス番号2で出力位相1の番組から、基準シーケンスのシーケンス番号3で出力位相2の番組に切り替えたときには、不足するデータを補うコンシール処理を行って出力タイミングの調整を行うことにより、オーディオデータの位相を正しいものとすることができる。
【0105】
このように、オーディオアイテムに「5−sequence count」のカウント値すなわちシーケンス番号の情報を持たせることで、このシーケンス番号と基準シーケンスのシーケンス番号に基づきオーディオデータの出力タイミングを調整することで、番組の切り替えが繰り返し行われてもオーディオデータの位相を正しい状態に保持することができる。
【0106】
ところで、オーディオアイテムでは、「5−sequence count」だけでなく「Audio Sample Count」の情報を有していることから、オーディオデータのヘッダ情報としてビデオフレーム周波数の情報を含めなくとも、パッキングされたオーディオデータがどのようなビデオフレーム周波数のデータであるかをこれらの情報に基づいて簡単に判別することができる。
【0107】
表1は、「5−sequence count」で示されるシーケンス番号と「Audio Sample Count」で示されるサンプルカウント値とビデオフレーム周波数の関係を示したものである。例えば、シーケンス番号1,3,5でサンプルカウント値1602であると共に、シーケンス番号2,4でサンプルカウント値1601である時には、ビデオフレーム周波数が(30/1.001)フレーム/秒であることを判別することができる。また、シーケンス番号1,2,4,5でサンプルカウント値801であると共に、シーケンス番号3でサンプルカウント値800である時には、(60/1.001)フレーム/秒のビデオフレーム周波数であることを判別することができる。また、シーケンス番号0であるときには、サンプルカウント値1920である時に25フレーム/秒、サンプルカウント値960である時に50フレーム/秒、サンプルカウント値1600である時に30フレーム/秒、サンプルカウント値800である時に60フレーム/秒、サンプルカウント値2002である時には映画に応じた周波数である(24/1.001)フレーム/秒、サンプルカウント値2000である時に24フレーム/秒のビデオフレーム周波数であることを判別することができる。
【0108】
【表1】
Figure 0004387064
【0109】
このように、「5−sequence count」と「Audio Sample Count」の情報に基づいて、オーディオデータがいずれのビデオフレーム周波数に基づくデータであるかを判別できるので、例えばオーディオアイテムのデータだけを処理する場合に、オーディオデータのヘッダ情報としてビデオフレーム周波数の情報を含めなくとも、この判別結果に基づきオーディオデータを出力させるための基準シーケンスを生成して正しくオーディオデータを出力させることができる。
【0110】
なお、上述の場合にはフレーム単位でデータをパケット化するものとしたが、MPEG方式のIピクチャやBピクチャあるいはPピクチャのようにピクチャ単位でデータをパッケージ化するものとしてもよい。
【産業上の利用可能性】
【0111】
以上のように、本発明に係るデータ伝送方法およびデータ伝送装置は、番組の素材等のデータの伝送に対して有用であり、特に、ビデオテープレコーダ等のデータ出力装置からサーバ等のデータ記録再生装置に番組の素材等のデータを蓄積させる場合に好適である。
【図面の簡単な説明】
第1図は、SDTI−CPフォーマットを説明するための図である。第2図は、符号EAVおよびヘッダデータのフォーマットを示す図である。第3図は、可変長ブロックのフォーマットを示す図である。第4図は、システムアイテムの構成を示す図である。第5図は、タイムコードの構成を示す図である。第6図は、メタデータセットの構成を示す図である。第7図はシステムアイテムを除く他のアイテムの構成を示す図である。第8図は、SDTI−CPエレメントフレームにおけるMPEG−2 V−ESのフォーマットを示す図である。第9図は、MPEG−2ピクチャ編集メタデータの構成を示す図である。第10図は、オーディオアイテムのエレメントデータブロックの構成を示す図である。第11A図と第11B図は5フレームシーケンスを説明するための図である。第12図は、オーディオ編集メタデータの構成を示す図である。第13図は、データ伝送システムの構成を示す図である。第14図はCPエンコーダの構成を示す図である。第15A図〜第15E図は、CPエンコーダの動作を説明するための図である。第16A図〜第16K図は、データ伝送動作を説明するための図である。第17A図〜第17G図は、5フレームシーケンスの出力位相を説明するための図である。第18図は、番組切り替えを行ったときの動作を説明するための図である。第19A図〜第19D図は、オーディオデータの位相のずれを説明するための図である。

Claims (6)

  1. 映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットの前記ペイロード領域の、前記音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に、前記音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入して前記伝送パケットを生成する第1のステップと、
    前記第1のステップで前記5フレームシーケンスのシーケンス番号が挿入された前記伝送パケットをシリアルデータに変換して伝送する第2のステップと、
    前記5フレームシーケンスの所定の番組の前記音声データが前記5フレームシーケンスの他の番組の前記音声データに切り替えられた場合に、切り替えられた当該番組における前記5フレームシーケンスの前記シーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた前記番組の前記音声データの出力タイミングを早くして前記音声データの出力タイミングを調整し、前記5フレームシーケンスの前記シーケンス番号のサンプル数が前記基準シーケンスの前記シーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って前記音声データの出力タイミングを調整する第3のステップとを有するデータ伝送方法。
  2. 前記第1のステップでは、前記音声データが挿入される音声データブロック領域と前記ヘッダ領域を1つのパッケージとして前記伝送パケットを生成する
    請求の範囲第1項記載のデータ伝送方法。
  3. 映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットの前記ペイロード領域の、前記音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に前記音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入すると共に、前記音声データブロック領域に対応して設けたオーディオサンプルカウント領域に前記5フレームシーケンスのシーケンス番号で示されるフレーム内に含まれるオーディオサンプル数を示すデータを挿入して前記伝送パケットを生成する第1のステップと、
    前記第1のステップで前記5フレームシーケンスのシーケンス番号と前記オーディオサンプル数が挿入された前記伝送パケットをシリアルデータに変換して伝送する第2のステップと、
    前記5フレームシーケンスの所定の番組の前記音声データが前記5フレームシーケンスの他の番組の前記音声データに切り替えられた場合に、切り替えられた当該番組における前記5フレームシーケンスの前記シーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた前記番組の前記音声データの出力タイミングを早くして前記音声データの出力タイミングを調整し、前記5フレームシーケンスの前記シーケンス番号のサンプル数が前記基準シーケンスの前記シーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って前記音声データの出力タイミングを調整する第3のステップとを有するデータ伝送方法。
  4. 前記第1のステップでは、前記音声データが挿入される音声データブロック領域と前記ヘッダ領域を1つのパッケージとして前記伝送パケットを生成する
    請求の範囲第3項記載のデータ伝送方法。
  5. 映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットの前記ペイロード領域の、前記音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に、前記音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入するデータ挿入手段と、
    前記データ挿入手段で前記5フレームシーケンスのシーケンス番号が挿入された前記伝送パケットをシリアルデータに変換して出力するデータ出力手段と、
    前記データ出力手段で出力された前記伝送パケットにおける前記5フレームシーケンスの所定の番組の前記音声データが前記5フレームシーケンスの他の番組の前記音声データに切り替えられた場合に、切り替えられた当該番組における前記5フレームシーケンスの前記シーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた前記番組の前記音声データの出力タイミングを早くして前記音声データの出力タイミングを調整し、前記5フレームシーケンスの前記シーケンス番号のサンプル数が前記基準シーケンスの前記シーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って前記音声データの出力タイミングを調整する位相調整手段とを有するデータ伝送装置。
  6. 映像フレームの各1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像データおよび/または音声データを含むデータが挿入されるペイロード領域と、で構成されるシリアルディジタルトランスファーインタフェースの伝送パケットの前記ペイロード領域の、前記音声データが挿入される音声データブロック領域に対応して設けたヘッダ領域に前記音声データの位相管理のための5フレームシーケンスのシーケンス番号を挿入すると共に、前記音声データブロック領域に対応して設けたオーディオサンプルカウント領域に前記5フレームシーケンスのシーケンス番号で示されるフレーム内に含まれるオーディオサンプル数を示すデータを挿入するデータ挿入手段と、
    前記データ挿入手段で前記5フレームシーケンスのシーケンス番号と前記オーディオサンプル数が挿入された前記伝送パケットをシリアルデータに変換して出力するデータ出力手段と、
    前記データ出力手段で出力された前記伝送パケットにおける前記5フレームシーケンスの所定の番組の前記音声データが前記5フレームシーケンスの他の番組の前記音声データに切り替えられた場合に、切り替えられた当該番組における前記5フレームシーケンスの前記シーケンス番号のサンプル数が予め設定されている基準シーケンスのシーケンス番号のサンプル数よりも多くなるとき、切り替えられた前記番組の前記音声データの出力タイミングを早くして前記音声データの出力タイミングを調整し、前記5フレームシーケンスの前記シーケンス番号のサンプル数が前記基準シーケンスの前記シーケンス番号のサンプル数よりも少なくなるとき、不足するデータを補うコンシール処理を行って前記音声データの出力タイミングを調整する位相調整手段とを有するデータ伝送装置。
JP2000613173A 1999-04-16 1999-04-16 データ伝送方法およびデータ伝送装置 Expired - Lifetime JP4387064B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1999/002040 WO2000064160A1 (fr) 1999-04-16 1999-04-16 Procede de transmission de donnees et emetteur de donnees

Publications (1)

Publication Number Publication Date
JP4387064B2 true JP4387064B2 (ja) 2009-12-16

Family

ID=14235495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000613173A Expired - Lifetime JP4387064B2 (ja) 1999-04-16 1999-04-16 データ伝送方法およびデータ伝送装置

Country Status (3)

Country Link
US (1) US6965601B1 (ja)
JP (1) JP4387064B2 (ja)
WO (1) WO2000064160A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003024031A1 (en) * 2001-09-10 2003-03-20 Nokia Corporation Method of transmitting time-critical scheduling information between single network devices in a wireless network using slotted point-to point links
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US7995151B2 (en) 2006-11-01 2011-08-09 Level 3 Communications, Llc Broadcast method and system
US8009236B2 (en) * 2006-11-01 2011-08-30 Level 3 Communications, Llc Broadcast transmission relay circuit
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
CA2760677C (en) 2009-05-01 2018-07-24 David Henry Harkness Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US9489827B2 (en) 2012-03-12 2016-11-08 Cisco Technology, Inc. System and method for distributing content in a video surveillance network
US9049349B2 (en) * 2012-05-16 2015-06-02 Cisco Technology, Inc. System and method for video recording and retention in a network
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
CN104702908B (zh) * 2014-03-28 2018-03-06 杭州海康威视数字技术股份有限公司 一种智能信息传输方法、***和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675388A (en) * 1982-06-24 1997-10-07 Cooper; J. Carl Apparatus and method for transmitting audio signals as part of a television video signal
JP3329076B2 (ja) * 1994-06-27 2002-09-30 ソニー株式会社 ディジタル信号伝送方法、ディジタル信号伝送装置、ディジタル信号受信方法及びディジタル信号受信装置
US5929921A (en) * 1995-03-16 1999-07-27 Matsushita Electric Industrial Co., Ltd. Video and audio signal multiplex sending apparatus, receiving apparatus and transmitting apparatus
JP3207709B2 (ja) * 1995-04-26 2001-09-10 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 多重化データ相互通信方法、多重化データ相互通信システム、ゲートウエイおよび非同期網上の端末
US6690428B1 (en) * 1999-09-13 2004-02-10 Nvision, Inc. Method and apparatus for embedding digital audio data in a serial digital video data stream

Also Published As

Publication number Publication date
US6965601B1 (en) 2005-11-15
WO2000064160A1 (fr) 2000-10-26

Similar Documents

Publication Publication Date Title
US6671323B1 (en) Encoding device, encoding method, decoding device, decoding method, coding system and coding method
JP4668515B2 (ja) マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法
US8160134B2 (en) Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP4481444B2 (ja) 画像符号化装置
US7174560B1 (en) Method of synchronizing events with a digital television audio-visual program
JP4812171B2 (ja) データ受信方法およびデータ受信装置
JP2004508777A (ja) ビデオマテリアルとデータの結合
JP4387064B2 (ja) データ伝送方法およびデータ伝送装置
JP4339524B2 (ja) データ伝送方法、データ伝送装置、データ受信方法、データ受信装置、データ記録方法およびデータ記録装置
US7346054B2 (en) Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC)
JP4436573B2 (ja) データ伝送方法およびデータ伝送装置
JP2000308023A (ja) データ伝送方法およびデータ伝送装置
JP4732538B2 (ja) データ伝送装置
JP4122624B2 (ja) データ受信方法およびデータ受信装置
US20080123732A1 (en) Method and system for configuring decoding based on detecting transport stream input rate
JP2000307647A (ja) データ受信装置
JP3584460B2 (ja) ビットストリーム変換装置および方法、並びに提供媒体
KR100202019B1 (ko) 시스템 부호화기에서의 피시알(pcr) 신호 발생 장치
JP2000307971A (ja) データ受信方法およびデータ受信装置
JP2000308022A (ja) 再生基準信号生成方法およびデータ受信装置
JP2000308052A (ja) データ受信方法およびデータ受信装置
JP2000307948A (ja) データ送信方法およびデータ送信装置
JP2000307540A (ja) データ受信装置
JP2000307645A (ja) データ受信方法およびデータ受信装置
JP2000308024A (ja) データ伝送方法およびデータ伝送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090826

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3