JP2004318798A - Method for receiving structured data - Google Patents
Method for receiving structured data Download PDFInfo
- Publication number
- JP2004318798A JP2004318798A JP2003184510A JP2003184510A JP2004318798A JP 2004318798 A JP2004318798 A JP 2004318798A JP 2003184510 A JP2003184510 A JP 2003184510A JP 2003184510 A JP2003184510 A JP 2003184510A JP 2004318798 A JP2004318798 A JP 2004318798A
- Authority
- JP
- Japan
- Prior art keywords
- fragment
- data
- metadata
- information
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
- Information Transfer Between Computers (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、マルチメディアコンテンツの内容を記述した構造化メタデータ等の構造化データの受信方法に関するものである。
【0002】
【従来の技術】
マルチメディアコンテンツの内容を記述する枠組みの標準規格として、MPEG−7(ISO/IEC 15938)が規定されている。MPEG−7とは、マルチメディアコンテンツを時間的及び空間的に構造化し、マルチメディアコンテンツの内容を木構造を用いて記述する構造化メタデータの規格である。
【0003】
MPEG−7メタデータは、木構造で構造化されていることを特徴とし、XML(Extensible Markup Language)を用いてテキスト形式で記述する。MPEG−7メタデータにおけるXMLの要素及び属性のフォーマットは、XMLスキーマを用いて定義されている。
【0004】
MPEG−7規格は複数のパートで構成される。パート1のMPEG−7システム(ISO/IEC 15938−1)は、メタデータの伝送・蓄積のための枠組みや、メタデータの圧縮方法等を規定している。
【0005】
MPEG−7システムでは、MPEG−7メタデータを断片化して伝送する。受信側では、受信したメタデータの断片を逐次統合することにより、MPEG−7メタデータを動的に生成する。
【0006】
図23は、MPEG−7システムにおけるMPEG−7記述ストリームの構造を示す概念図である。MPEG−7記述ストリームは、デコーダ初期構成(DecoderInit)と、それに続く複数のアクセスユニット(Access Unit:AU)により構成される。デコーダ初期構成は、受信側のデコーダが動作するための各種初期設定を含む。アクセスユニットは、単一時間に処理する最小の処理単位であり、複数のフラグメント更新ユニット(Fragment Update Unit:FUU)により構成される。フラグメント更新ユニットは、メタデータの断片を伝送する単位であり、フラグメント更新コマンド(FU Command)、フラグメント更新コンテクスト(FU Context)、フラグメント更新ペイロード(FU Payload)より構成される。フラグメント更新コマンドは、断片の処理方法を示すコマンドであり、「追加(add)」、「置換(replace)」、「削除(delete)」、「リセット(reset)」の4種類のコマンドがある。フラグメント更新コンテクストは、受信側に生成されるメタデータツリーにおける、コマンドを適用すべきノードを示すパス情報である。フラグメント更新ペイロードは、メタデータの断片を格納する。
【0007】
フラグメント更新ユニットによるメタデータの動的な生成について、より詳しく説明する。図24は、フラグメント更新ユニットの「追加」コマンドによるメタデータツリーへの断片の追加を示す概念図である。図の右側は受信側に生成されるメタデータツリーであり、初期段階では、実線で描かれた部分が生成されていると仮定する(点線の部分は生成されていないと仮定する)。次に、図の左側のフラグメント更新ユニットを処理する。このフラグメント更新ユニットにおけるフラグメント更新コマンドは「追加」コマンドである。フラグメント更新コンテクストは受信側に生成されているメタデータツリー上のノードを指定し、フラグメント更新ペイロードはメタデータの断片を格納している。このフラグメント更新ユニットが処理されると、フラグメント更新コンテクストの指定するノードにフラグメント更新ペイロードの格納する断片が追加される。すなわち、図の右側の点線部分が生成される。
【0008】
送信側は、「追加」コマンドに加えて「置換」、「削除」、「リセット」コマンドを利用して、受信側に生成されるメタデータツリーを動的に更新することもできる。
【0009】
なお、以上のMPEG−7システムによるMPEG−7メタデータ伝送の枠組みは、伝送する対象をXMLスキーマを用いてフォーマットが定義されたXMLデータとしているため、MPEG−7メタデータのみならず、XMLスキーマを用いてフォーマットが定義されたあらゆるXMLデータ、すなわち構造化データの伝送に利用することができる。
【0010】
【非特許文献1】
規格番号: ISO/IEC 15938−1:2002
標題: Information technology −− Multimedia content description interface
−− Part 1: Systems
入手先: ISO (http://www.iso.ch/) または財団法人 日本規格協会 (http://www.jsa.or.jp/)
【0011】
【発明が解決しようとする課題】
上述のMPEG−7システムによるMPEG−7メタデータの伝送方法によれば、送信側がMPEG−7メタデータを断片化して送信し、受信側のMPEG−7メタデータを動的に生成・更新することができる。また、伝送の対象はMPEG−7メタデータのみならず、XMLスキーマを用いてフォーマットが定義されたあらゆるXMLデータ、すなわち構造化データである。しかし、受信側が構造化データの断片の一部または全部を必要に応じて能動的に取得・統合したり、断片を取得・統合するタイミングを受信側が決定したりできないことが課題であった。
【0012】
そこで本発明は、構造化データを断片化して伝送・受信するシステムにおいて、送信側が受信側の構造化データを動的に生成・更新するだけでなく、受信側が構造化データの断片の一部または全部を必要に応じて能動的に取得・統合する、さらには、受信側が断片を取得・統合するタイミングを決定することを可能とするための構造化データの受信方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の構造化データの受信方法を提供するものである。
(1) 複数の断片データと、前記各断片データを受信側で統合して木構造を有する構造化データを生成するための情報である前記各断片データに対応したそれぞれの断片構成情報とを受信する構造化データの受信方法であって、
前記断片構成情報は、前記各断片データから対応する前記断片データを識別する識別情報及び前記対応する断片データの内容に関する情報を有する参照情報と、前記対応する断片データの前記生成される構造化データにおける接続位置に関する位置情報とを含むものであり、
受信した前記各断片構成情報に含まれる前記参照情報の有する前記内容に関する情報に基づいて統合要と判断された前記対応する各断片データを、受信した前記断片データ内から、前記受信した各断片構成情報に含まれる前記参照情報の有する前記識別情報により特定し、その特定した前記対応する各断片データを、各対応する前記受信した断片構成情報に含まれる前記位置情報に基づき統合して前記構造化データを生成することを特徴とする構造化データの受信方法。
【0014】
【発明の実施の形態】
<基本構成>
本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの一実施例においては、元の構造化データ(例えばMPEG−7メタデータや、XMLスキーマを用いてフォーマットが定義されたXMLデータ等)を複数の断片に分割する、あるいは、構造化データとして統合されるべき複数の断片データを作成すると共に、それぞれの断片データに関して、元の構造化データ(あるいは、断片を統合して生成されるべき構造化データ)における断片データの位置を指定する位置情報と、断片データを指定する参照情報とを含む断片構成情報を作成するものである。この断片構成情報に含まれる参照情報は、少なくとも断片データの存在場所に関係する情報を有する断片データに関する参照情報である。参照情報に、断片データの内容等に関する情報をも記述し、ユーザーやアプリケーションが断片データを処理するための判断材料とするようにしてもよい。
【0015】
<受信/統合>
また、上記伝送・受信システムにおいては、断片構成情報に含まれる元の構造化データ(あるいは、断片を統合して生成されるべき構造化データ)における断片データの位置を指定する位置情報と、断片データを指定する参照情報とに基づき、断片データを構造化データ上に配置し、元の構造化データを再構成するものである。
<<第1実施例(参照のみ、放送)>>
<システム構成>
図1は、本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第1実施例を示す構成図である。本実施例では、送信者(テレビ局)がコンテンツデータ(番組)とそれに関する構造化されたメタデータ(構造化データ)を含むメタデータストリームを送信し、受信者(視聴者)がそれらを受信する。
【0016】
送信者は、コンテンツデータとそれに関するメタデータを作成する。コンテンツデータは、放送を介して受信者へ送信される。メタデータは複数の断片データに分割されると共に、それぞれの断片データに対応する断片構成情報が作成される。断片データ及び断片構成情報を並べてメタデータストリームを作成し、放送を介して受信者へ送信する。受信者は、コンテンツデータ及びメタデータストリームを放送より受信し、メタデータストリームから断片データ及び断片構成情報を抽出し、断片データ及び断片構成情報よりメタデータを再構成する。再構成されたメタデータは、コンテンツデータの検索や視聴等に利用される。
【0017】
<メタデータ(XML)の説明>
本実施例で扱うメタデータは、MPEG−7メタデータ等の構造化されたメタデータ(構造化データ)であり、XMLを用いてテキスト形式で記述される。メタデータにおけるXMLの要素及び属性のフォーマットは、XMLスキーマを用いて定義される。
【0018】
<断片化処理>
図2は、本実施例における、メタデータの断片化処理の概略を示す図である。メタデータ(構造化データ)は複数の断片データに分割されるとともに、それぞれの断片データに断片データを一意に識別するIDが付加される。さらに、それぞれの断片データに対応する断片構成情報が作成される。なお、メタデータを分割して断片データを生成する代わりに、統合して生成されるメタデータを想定して断片データを作成してもよい。
【0019】
<断片構成情報の構造>
図3は、本実施例の断片構成情報の構造を示す図である。断片構成情報は、位置情報と参照情報より構成される。位置情報は、XPath及びpositionにより構成され、それらを用いて、受信側に生成される構造化データにおける断片データの最上位ノードを配置すべき位置を指定する。参照情報は、ID参照、要素名、及び要素タイプにより構成される。ID参照は、断片データに付加されたIDを用いて断片データを指定する。要素名は、断片データの最上位ノードのXMLにおける要素名を記述する。要素タイプは、断片データの最上位ノードのXMLスキーマにおける要素タイプ名を記述する。
【0020】
<位置情報の説明>
次に、位置情報における、XPath及びpositionを用いた位置指定方法について説明する。XPathは、XMLパス言語(XPath)を用いて、受信側に生成される構造化データにおける特定のノードを指定する。positionは、その値として“prevSibling”あるいは“lastChild”のいずれかの値をとる。positionの値が“prevSibling”であるとき、位置情報によって指定されるノードは、XPathで指定されるノードの直前の兄弟ノードとなる。positionの値が“lastChild”であるとき、位置情報によって指定されるノードは、XPathで指定されるノードの最後の子ノードとなる。
【0021】
<位置情報の具体例>
つぎに、位置情報の指定方法について、具体例を用いて詳細に説明する。
【0022】
図4は、あるノードの最初の子ノードを指定する場合の位置情報の指定方法の例である。断片データの最上位ノード‘d’を構造化データにおけるノード‘a’の最初の子ノードとして配置する場合、XPathでノード‘a’の現在の最初の子ノードであるノード‘b’を指定し、positionの値を“prevSibling”とする。すると、断片データの最上位ノード‘d’はノード‘b’の直前の兄弟ノード、すなわちノード‘a’の最初の子ノードとして配置される。
【0023】
図5は、あるノードの最初及び最後以外の子ノードを指定する場合の位置情報の指定方法の例である。断片データの最上位ノード‘d’を構造化データにおけるノード‘a’の最初及び最後以外の子ノードとして配置する場合、XPathでノード‘a’の子ノード‘c’を指定し、positionの値を“prevSibling”とする。すると、断片データの最上位ノード‘d’はノード‘c’の直前の兄弟ノード、すなわちノード‘a’の子ノードとして配置される。
【0024】
図6は、あるノードの最後の子ノードを指定する場合の位置情報の指定方法の例である。断片データの最上位ノード‘d’を構造化データにおけるノード‘a’の最後の子ノードとして配置する場合、XPathでノード‘a’を指定し、positionの値を“lastChild”とする。すると、断片データの最上位ノード‘d’はノード‘a’の最後の子ノードとして配置される。
【0025】
図7は、子ノードを持たないノードの子ノードを指定する場合の位置情報の指定方法の例である。断片データの最上位ノード‘d’を構造化データにおけるノード‘b’の子ノードとして配置する場合、XPathでノード‘b’を指定し、positionの値を“lastChild”とする。すると、断片データの最上位ノード‘d’はノード‘b’の子ノードとして配置される。
【0026】
<断片構成情報のバイナリエンコード>
なお、本実施例の断片構成情報は、含まれる情報を適当な手段を用いてバイナリデータに変換し、バイナリデータとして表現してもよい。
【0027】
<送信>
次に、本実施例の送信者における、コンテンツデータ及びメタデータの送信方法について説明する。
【0028】
送信者は、複数の断片データ、及びそれらに対応する断片構成情報を適当な順番で並べ、メタデータストリームを作成する。断片データと断片構成情報を並べる順番は、断片データと断片構成情報を混合して並べてもよいし、初めに全ての断片構成情報を並べ、次に全ての断片データを並べてもよい。ただし、断片データ同士は任意の順番に並べてよいが、断片構成情報同士は、それらに含まれる位置情報の示す構造化データにおけるノードに関して、深さ優先順あるいは幅優先順に並べなければならない。
【0029】
図8は、送信者における、コンテンツデータ及びメタデータ送信装置の構成図である。
【0030】
コンテンツデータ記憶部はコンテンツデータを記憶し、メタデータストリーム記憶部は前述のメタデータストリームを記憶している。
【0031】
コンテンツデータ送信制御部は、あらかじめ決められたスケジュールに従ってコンテンツデータをコンテンツデータ記憶部より入力し、多重化部へ出力する。
【0032】
メタデータストリーム送信制御部は、メタデータストリームをカルーセル伝送するために、あらかじめ決められたカルーセル伝送の頻度や周期に基づいてメタデータストリーム記憶部よりメタデータストリームを入力し、多重化部へ出力する。
【0033】
多重化部は、コンテンツデータ送信制御部より入力されるコンテンツデータ、及びメタデータストリーム送信制御部より入力されるメタデータストリームとを多重化し、多重化ストリームを放送へ出力する。
【0034】
<受信>
図9は、受信者における、コンテンツデータ及びメタデータ受信装置の構成図である。
【0035】
分離部は、放送より入力される多重化ストリームをコンテンツデータとメタデータストリームとに分離し、コンテンツデータをユーザーまたはアプリケーションへ出力し、メタデータストリームをメタデータストリーム分離部へ出力する。
【0036】
メタデータストリーム分離部は、分離部より入力されるメタデータストリームを断片データと断片構成情報とに分離し、断片データを断片データ一時記憶部へ出力し、断片構成情報をメタデータ統合部へ出力する。
【0037】
断片データ一時記憶部は、例えばメモリ等で構成され、メタデータストリーム分離部より入力される断片データを一時的に記憶する。メタデータ統合部より断片データのIDのリストを要求された場合には、記憶している断片データのIDのリストをメタデータ統合部へ出力する。メタデータ統合部より断片データのIDと共にIDによって特定される断片データを要求された場合には、そのIDによって特定される断片データをメタデータ統合部へ出力すると共に、その断片データをメモリから消去する。
【0038】
メタデータ統合部は、メタデータストリーム分離部より入力される断片構成情報を、後述の断片構成情報の処理方法に従って処理し、断片構成情報、あるいは断片構成情報に含まれる参照情報をメタデータ記憶部に記憶されているメタデータ(構造化データ)に付加する。また、ユーザーまたはアプリケーションからメタデータ記憶部に記憶されているメタデータにおける参照情報の解決を指示された場合には、後述の参照情報の処理方法に従って、断片データ一時記憶部から断片データを取得してメタデータに付加すると共に、関連する断片構成情報を処理する。
【0039】
メタデータ記憶部は、メタデータを記憶するための記憶媒体であり、メタデータ統合部がデータの書き込み及び読み取りを行う。また、ユーザーまたはアプリケーションからデータを読み取ることもできる。
【0040】
ユーザーまたはアプリケーションは、メタデータ記憶部に記憶されているメタデータにおけるの任意の参照情報について、その参照先の断片データが必要であれば、その参照情報の解決をメタデータ統合部に指示する。さらに、参照情報を解決して得られたメタデータをメタデータ記憶部から読み取り、それに含まれる任意の参照情報について、その参照先の断片データが必要であれば、メタデータ統合部への参照情報の解決の指示を繰り返し行う。必要な断片データを参照する参照情報がなければ、最終的に得られたメタデータをそれぞれの用途に使用する。
【0041】
<断片構成情報の処理方法>
次に、断片構成情報の処理方法について説明する。まず、断片構成情報より位置情報と参照情報を抽出する。位置情報に含まれるXPathの指定するノードがメタデータ記憶部に記憶されている構造化データ(メタデータ)上に存在する場合には、位置情報(XPath及びposition)が指定する位置に参照情報を付加する。ただし、その際に、構造化データ上に存在する参照情報は、参照情報に含まれる要素名を持つ要素として扱う。位置情報に含まれるXPathの指定するノードがメタデータ記憶部に記憶されている構造化データ上に存在しない場合には、構造化データをXPathに従ってルートノードから可能な限り辿ったときの最後のノード(このノードは参照情報となるはずである。)の最後の子ノードとして断片構成情報を付加する。
【0042】
断片構成情報の処理方法について、図面を参照しながら具体的に説明する。
【0043】
図10は、断片構成情報の処理方法について、位置情報に含まれるXPathの指定するノードが構造化データ上に存在する場合の例である。XPathはノード121を指定しており、positionの値は“lastChild”である。これは断片データの最上位ノードをノード122の位置に配置するべきであることを意味し、参照情報をノード122の位置に付加する。
【0044】
図11は、断片構成情報の処理方法について、位置情報に含まれるXPathが構造化データ上の参照情報を指定している場合の例である。ノード131の位置に存在する参照情報には、ノード131の位置に配置されるべき断片データの最上位ノードの要素名‘b’が含まれているので、XPathがノード131を指定することがわかる。さらに、positionの値は“lastChild”であるので、参照情報をノード132の位置に付加する。
【0045】
図12は、断片構成情報の処理方法について、位置情報に含まれるXPathの指定するノードが構造化データ上に存在しない場合の例である。ノード141の位置には参照情報が存在するので、ノード141の位置に配置すべき断片データの最上位ノードの要素名が分かる。しかし、XPathはノード141の位置を指定しているので、XPathに従って構造化データをルートノードから辿るとノード141までは辿れるが、それ以降を辿ることはできない。従って、断片構成情報をノード141の位置に存在する参照情報の最後の子ノードとして追加する。
【0046】
<参照情報の解決方法>
次に、参照情報の解決方法について説明する。参照情報の解決は、参照情報に含まれるIDによって指定される断片データを取得し、参照情報を削除し、参照情報があった位置にその断片データを付加する。ただし、参照情報がその子ノードとして断片構成情報を(1つあるいは複数)持つ場合には、断片データを付加した後に、前述の断片構成情報の処理方法に従って断片構成情報を(複数の場合は前から順番に)処理する。
【0047】
<断片データの要否の判断方法>
断片データの要否の判断は、参照情報に含まれる要素タイプを基準として行う。構造化データにおけるXMLの要素及び属性のフォーマットはXMLスキーマを用いて定義されており、参照情報に含まれる要素タイプは参照する断片データの最上位ノードのXMLスキーマにおける要素タイプであるので、XMLスキーマによる構造化データのフォーマット定義を解釈すれば、要素タイプから断片データの大まかな内容を知ることができる。ユーザーまたはアプリケーションは、その大まかな内容によって断片データの要否を判断する。
<<第2実施例(参照のみ、放送とインターネット)>>
<システム構成>
図13は、本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第2実施例の構成図である。本実施例では、図1の第1実施例のシステム構成と同様に、送信者がコンテンツデータとメタデータストリームを放送を介して送信し、受信者がそれらを受信する。さらに、送信者は断片データの一部をインターネットに接続されたデータベースに格納し、受信者はインターネット経由でデータベースから断片データを取得する。
【0048】
送信者は、コンテンツデータとそれに関するメタデータ(構造化データ)を作成する。コンテンツデータは、放送を介して受信者へ送信される。メタデータは複数の断片データに分割されると共に、それぞれの断片データに対応する断片構成情報が作成される。一部の断片データ及び全ての断片構成情報からメタデータストリームが作成され、放送を介して受信者へ送信されるとともに、残りの断片データがデータベースに格納される。受信者は、コンテンツデータ及びメタデータストリームを放送より受信し、メタデータストリームより断片データ及び断片構成情報を抽出し、さらにインターネット経由でデータベースから断片データを取得し、断片データ及び断片構成情報よりメタデータを再構成する。再構成されたメタデータは、コンテンツデータの検索や視聴等に利用される。
【0049】
<メタデータ(XML)の説明>
本実施例におけるメタデータは、第1実施例におけるメタデータと同じである。
【0050】
<断片化処理>
本実施例における断片化処理の方法は、第1実施例における断片化処理の方法と同じである。ただし、放送を介して送信する断片データには断片データを一意に識別するIDを付加し、データベースに格納する断片データは断片データ毎に一意のファイル名を付加してファイル形式でデータベースに格納する。データベースに格納された断片データがインターネットからURI(Uniform Resource Identifier)で参照できるようにデータベースを構築する。
【0051】
<断片構成情報の構造>
本実施例における断片構成情報の構造は、対応する断片データが放送を介して伝送される場合には、第1実施例における断片構成情報の構造と同じであり、その概要は図3に示される通りである。一方、対応する断片データがインターネットに接続されたデータベースに格納される場合には、それに対する断片構成情報の構造を図14に示すとおり、図3におけるID参照の代わりに参照情報にURI参照が含まれ、URIによって断片データを指定する。
【0052】
<放送での送信>
本実施例の送信者におけるコンテンツデータ及びメタデータストリームの送信方法は、第1実施例におけるコンテンツデータ及びメタデータストリームの送信方法と同じである。ただし、メタデータストリームには一部の断片データのみが含まる。
【0053】
<インターネットでの送信>
放送で送信されない一部の断片データは、前述の通りインターネットに接続されたデータベースに格納される。データベースは、インターネットに接続された受信者からURIと共に断片データファイルの取得が要求されると、そのURIに対応する断片データファイルを受信者へ送信する。
【0054】
<受信>
図15は、受信者における、コンテンツデータ及びメタデータ受信装置の構成図である。
【0055】
図15のコンテンツデータ及びメタデータ受信装置の構成図における分離部、メタデータストリーム分離部、断片データ一時記憶部、メタデータ記憶部、及びユーザーまたはアプリケーションの構成及び動作は、図9の第1実施例におけるコンテンツデータ及びメタデータ受信装置の構成図におけるそれぞれの構成及び動作と同じである。
【0056】
メタデータ統合部の構成及び動作は、図9の第1実施例におけるコンテンツデータ及びメタデータ受信装置の構成図におけるメタデータ統合部の動作及び構成と同じである。ただし、参照情報を解決する際に、参照情報がID参照で断片データを指定している場合は、第1実施例と同様に断片データ一時記憶部より断片データを取得し、参照情報がURI参照で断片データを指定している場合は、URIで特定される断片データの受信を断片データ受信部に指示して断片データ受信部から断片データを取得する。
【0057】
断片データ受信部は、メタデータ統合部よりURIで特定される断片データの受信の指示があると、URIと共にそのURIで特定される断片データをインターネット経由でデータベースに要求し、データベースから送信される断片データを受信し、受信した断片データをメタデータ統合部へ出力する。
<<第3実施例(参照のみ、インターネット)>>
<システム構成>
図16は、本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第3実施例の構成図である。本実施例では、送信者(コンテンツプロバイダー)がコンテンツデータ(ビデオ、オーディオ等)とそれに関する構造化されたメタデータ(構造化データ)をインターネットに接続したデータベースに格納し、受信者(ユーザー)がインターネット経由でデータベースからそれらのデータを取得する。
【0058】
送信者は、コンテンツデータとそれに関するメタデータを作成する。コンテンツデータは、データベースに格納される。メタデータは複数の断片データに分割されると共に、それぞれの断片データに対応する断片構成情報が作成され、断片データ及び断片構成情報がデータベースに格納される。受信者は、コンテンツデータ、断片データ、及び断片構成情報をインターネット経由でデータベースから取得し、断片データ及び断片構成情報よりメタデータを再構成する。再構成されたメタデータは、コンテンツデータの検索や視聴等に利用される。
【0059】
<メタデータ(XML)の説明>
本実施例におけるメタデータは、第1実施例におけるメタデータと同じである。
【0060】
<断片化処理>
本実施例における断片化処理の方法は、第1実施例における断片化処理の方法と同じである。ただし、断片データにIDは付加しない。また、断片データには一意のファイル名を付加して、ファイル形式でデータベースに格納する。データベースに格納された断片データは、インターネットからURIで参照できる。また、断片構成情報は、全ての断片構成情報をそれらに含まれる位置情報の指定する構造化データにおけるノードに関して、深さ優先順あるいは幅優先順に並べて断片構成情報ストリームを構成し、その断片構成情報ストリームをデータベースに格納する。
【0061】
<断片構成情報の構造>
本実施例における断片構成情報の構造は、図14の第2実施例における対応する断片データがインターネットに接続されたデータベースに格納される場合の断片構成情報の構造と同じである。
【0062】
<インターネットでの送信>
コンテンツデータ、断片データ、及び断片構成情報は、前述の通りインターネットに接続されたデータベースに格納される。データベースは、インターネットに接続された受信者からURIと共にコンテンツデータ、断片データ、あるいは断片構成情報のファイルの取得が要求されると、そのURIに対応するファイルを受信者へ送信する。
【0063】
<受信>
図17は、受信者における、コンテンツデータ及びメタデータ受信装置の構成図である。
【0064】
データ受信部は、ユーザーまたはアプリケーションより、コンテンツデータのURIと共にそのURIに対応するコンテンツデータの取得を指示されると、そのURIに対応するコンテンツデータをインターネット経由でデータベースに要求し、データベースが送信するそのURIに対応するコンテンツデータを受信し、受信したコンテンツデータをユーザーまたはアプリケーションへ出力する。また、メタデータ統合部より、断片構成情報ストリーム、あるいは断片データのURIと共にそのURIに対応する断片データの取得を指示されると、断片構成情報ストリーム、あるいはURIに対応する断片データをインターネット経由でデータベースに要求し、データベースが送信する断片構成情報ストリーム、あるいはURIに対応する断片データを受信し、受信した断片構成情報ストリーム、あるいはURIに対応する断片データをメタデータ統合部へ出力する。
【0065】
メタデータ統合部は、初めに断片構成情報ストリームの取得をデータ受信部へ指示し、データ受信部より入力される断片構成情報ストリームに含まれる断片構成情報を順に処理する。断片構成情報の処理方法は、第1実施例の断片構成情報の処理方法と同じである。また、ユーザーまたはアプリケーションからメタデータ記憶部に記憶されているメタデータにおける参照情報の解決を指示された場合には、参照情報の処理方法に従って、参照情報に含まれるURIに対応する断片データの取得をデータ受信部へ指示し、データ受信部より入力される断片データをメタデータに付加すると共に、関連する断片構成情報を処理する。なお、参照情報の処理方法は、第1実施例の参照情報の処理方法と同じである。
【0066】
メタデータ記憶部の構成及び動作は、図9の第1実施例のコンテンツデータ及びメタデータ受信装置の構成図におけるメタデータ記憶部の構成及び動作と同じである。
【0067】
ユーザーまたはアプリケーションの構成及び動作は、図9の第1実施例のコンテンツデータ及びメタデータ受信装置の構成図におけるユーザーまたはアプリケーションの構成及び動作と同じである。ただし、コンテンツデータが必要な場合には、コンテンツデータのURIと共にそのURIに対応するコンテンツデータの取得をデータ受信部へ指示し、データ受信部よりコンテンツデータを入力する。
<<第4実施例(参照とコマンド、放送)>>
<システム構成>
本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第4実施例は、MPEG−7システムを利用した送信側によるメタデータの動的な生成・更新と、本発明の断片構成情報を利用した受信側による断片データの能動的な取得・統合とを同時に実現するものである。
【0068】
本実施例のコンテンツデータ及びメタデータ伝送システムの構成は、図1の第1実施例のコンテンツデータ及びメタデータ伝送システムの構成と同じである。ただし、メタデータストリームの構造が異なる。
【0069】
<メタデータストリーム>
本実施例におけるメタデータストリームは、図23のMPEG−7システムにおけるMPEG−7記述ストリームを拡張したものである。本実施例のメタデータストリームは、デコーダ初期構成と、それに続く複数のアクセスユニットにより構成される。アクセスユニットは、複数のフラグメント更新ユニットにより構成される。ただし、本実施例では、MPEG−7システムにおけるフラグメント更新ユニットと同一の構造を持つフラグメント更新ユニット(1)の他に、断片構成情報を伝送するためのフラグメント更新ユニット(2)、及び断片データのみを含むフラグメント更新ユニット(3)を用いる。図18は、フラグメント更新ユニット(2)の構成図である。フラグメント更新ユニット(2)は、フラグメント更新コマンド、フラグメント更新コンテクスト、及び参照情報より構成される。MPEG−7システムにおけるフラグメント更新コンテクストは、本発明の断片構成情報に含まれる位置情報と同じ構造を持つものであり、フラグメント更新コンテクストと参照情報により断片構成情報を構成する。
【0070】
<断片化処理>
図19は、本実施例における、メタデータ(構造化データ)の断片化処理とメタデータストリーム作成の概略を示す図である。メタデータは複数の断片データに分割される。それぞれの断片データについて、フラグメント更新コマンド(ここでは「追加」コマンドを用いる)とフラグメント更新コンテクスト(位置情報)を付加してフラグメント更新ユニット(1)を作成するか(断片データがフラグメント更新ペイロードとなる)、あるいは、第1実施例における断片化処理と同様に断片構成情報を作成し、それにフラグメント更新コマンド(ここでは「追加」コマンドを用いる)を付加したフラグメント更新ユニット(2)と、断片データのみを含むフラグメント更新ユニット(3)とを作成する。便宜的に、フラグメント更新ユニット(3)に含まれる断片データを第1断片データ、フラグメント更新ユニット(1)に含まれる断片データを第2断片データとする。
【0071】
なお、メタデータを分割して断片データを作成する代わりに、統合して生成されるメタデータを想定して断片データを作成し、フラグメント更新ユニット(1)、またはフラグメント更新ユニット(2)とフラグメント更新ユニット(3)を作成してもよい。さらに、フラグメント更新コマンドに「置換」コマンド、「削除」コマンドや「リセット」コマンドを採用し、受信側の構造化メタデータツリーを動的に更新するようにしてもよい。以上の処理で作成されたフラグメント更新ユニット(1)、フラグメント更新ユニット(2)、及びフラグメント更新ユニット(3)を適当な数だけ並べてアクセスユニットを作成し、さらにアクセスユニットを並べ、先頭にデコーダ初期構成を付加してメタデータストリームを作成する。
【0072】
<送信>
本実施例の送信者におけるコンテンツデータ及びメタデータ送信装置の構成は、図8の第1実施例の送信者におけるコンテンツデータ及びメタデータ送信装置の構成と同じである。
【0073】
<受信>
本実施例の受信者におけるコンテンツデータ及びメタデータ受信装置の構成は、図9の第1実施例の受信者におけるコンテンツデータ及びメタデータ受信装置の構成と同じである。ただし、メタデータストリーム分離部及びメタデータ統合部の動作が異なる。
【0074】
メタデータストリーム分離部は、分離部より入力されるメタデータストリームをフラグメント更新ユニット(1)、フラグメント更新ユニット(2)、及びフラグメント更新ユニット(3)に分離し、フラグメント更新ユニット(1)及びフラグメント更新ユニット(2)をメタデータ統合部へ出力し、フラグメント更新ユニット(3)より断片データを抽出し、その断片データを断片データ一時記憶部へ出力する。
【0075】
メタデータ統合部は、メタデータストリーム分離部より入力されるフラグメント更新ユニット(1)を解釈し、フラグメント更新コマンドが「追加」コマンドの場合には、メタデータ記憶部に記憶されているメタデータにおけるフラグメント更新コンテクストが指定する位置にフラグメント更新ペイロードに含まれる(フラグメント更新ユニット(1)に含まれる)断片データを付加し、フラグメント更新コマンドが「置換」コマンドの場合には、メタデータ記憶部に記憶されているメタデータにおけるフラグメント更新コンテクストが指定する位置以下の部分データとフラグメント更新ペイロードに含まれる断片データとを置換し、フラグメント更新コマンドが「削除」コマンドの場合には、メタデータ記憶部に記憶されているメタデータにおけるフラグメント更新コンテクストが指定する位置以下の部分データを削除し、フラグメント更新コマンドが「リセット」コマンドの場合には、メタデータ記憶部に記憶されているメタデータを予め定められた初期状態に戻す。ただし、以上の処理において、メタデータにおけるフラグメント更新コンテクストが指定する位置のノードが存在しない場合は、そのノードを含む断片データが取得されるまでメタデータ上の対応する上位の参照情報の解決を続ける。参照情報の解決方法は、第1実施例における参照情報の解決方法と同じである。
【0076】
また、メタデータ統合部は、メタデータストリーム分離部より入力されるフラグメント更新ユニット(2)からフラグメント更新コマンドと断片構成情報(フラグメント構成コンテクスト、すなわち位置情報と、参照情報)を抽出し、フラグメント更新コマンドについては上記と同様に処理し、断片構成情報については第1実施例の断片構成情報の処理方法と同様の方法で処理する。
【0077】
また、メタデータ統合部は、ユーザーまたはアプリケーションからメタデータ記憶部に記憶されている構造化メタデータツリー上の参照情報の解決を指示された場合には、第1実施例における参照情報の解決方法と同様の方法でその参照情報を解決する。
<<第5実施例(参照とコマンド、放送とインターネット)>>
<システム構成>
本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第5実施例は、MPEG−7システムを利用した送信側によるメタデータの動的な生成・更新と、本発明の断片構成情報を利用した受信側による断片データの能動的な取得・統合とを同時に実現するものである。
【0078】
本実施例のコンテンツデータ及びメタデータ伝送システムの構成は、図13の第2実施例のコンテンツデータ及びメタデータ伝送システムの構成と同じである。ただし、メタデータストリームの構造が異なる。
【0079】
<メタデータストリーム>
本実施例におけるメタデータストリームの構造は、第4実施例のメタデータストリームの構造と同じである。ただし、第2実施例と同様に、一部の断片データはメタデータストリームに含めずに、インターネットに接続されたデータベースに格納する。
【0080】
<送信>
本実施例の送信者におけるコンテンツデータ及びメタデータ送信装置の構成は、図13の第2実施例の送信者におけるコンテンツデータ及びメタデータ送信装置の構成と同じである。
【0081】
<受信>
本実施例の受信者におけるコンテンツデータ及びメタデータ受信装置の構成は、図15の第2実施例の受信者におけるコンテンツデータ及びメタデータ受信装置の構成と同じである。ただし、メタデータストリーム分離部及びメタデータ統合部の動作が異なる。
【0082】
メタデータストリーム分離部の動作は、第4実施例の受信者におけるコンテンツデータ及びメタデータ受信装置のメタデータストリーム分離部の動作と同じである。
【0083】
メタデータ統合部の動作は、第4実施例の受信者におけるコンテンツデータ及びメタデータ受信装置のメタデータ統合部の動作と同じである。ただし、参照情報を解決する際に、参照情報がID参照で断片データを指定している場合は、第4実施例と同様に断片データ一時記憶部より断片データを取得し、参照情報がURI参照で断片データを指定している場合は、URIで特定される断片データの受信を断片データ受信部に指示して断片データ受信部から断片データを取得する。
<<受信プログラムによる受信装置の実現>>
ここで、上述した各実施例における受信装置を、コンピュータ上に実現させるための構造化データ受信プログラムを、第2実施例を取り上げて具体的に説明する。
【0084】
<受信システム>
図20に示すように第2実施例においては、コンピュータは、放送よりコンテンツデータ及びメタデータストリームを受信すると共に、インターネットを介してデータベースから断片データを受信する。さらに、メタデータストリーム及び断片データよりメタデータを再構成し、内部の記憶装置に記憶する。ユーザーは、コンピュータを操作することにより、メタデータを利用してコンテンツの検索を行ったり、コンテンツの視聴と同時にメタデータを表示したりする。
【0085】
<処理の流れ>
図21はコンピュータの構成図であり、図22は、そのコンピュータで実行される処理の流れである。
【0086】
まず、中央処理装置は、メインメモリ中の制御プログラム(構造化データ受信プログラム)の指令を受け、放送受信装置より入力される多重化ストリームより断片構成情報をコンテンツデータとメタデータストリームとに分離し、さらにメタデータストリームを断片データと断片構成情報とに分離し、分離される断片構成情報を順に処理する。その際、並行して分離されるコンテンツデータ及び断片データは、記憶装置に記憶する。
【0087】
断片構成情報の処理方法は、第2実施例における断片構成情報の処理方法と同じである。ただし、メタデータは記憶装置上に作成する。
【0088】
次に、中央処理装置は、全ての断片構成情報を処理していなければ、引き続き断片構成情報の処理を行い、全ての断片構成情報を処理していれば、入力装置より入力されるユーザーの指示を待つ。
【0089】
ユーザーより指示が入力されると、中央処理装置は、その指示がメタデータの出力であれば、出力装置へメタデータを出力する。ユーザーからの指示が参照情報の解決であれば、記憶装置に記憶されているメタデータにおけるユーザーより指示された参照情報を解決する。参照情報の解決方法は、第2実施例における参照情報の解決方法と同じである。ただし、参照情報の参照する断片データが放送で伝送されるメタデータストリームに含まれるものであれば、記憶装置に記憶されている断片データから該当のものを取得し、参照情報の参照する断片データがインターネットに接続されたデータベースに格納されているものであれば、インターネット通信装置によってデータベースから該当する断片データを取得する。ユーザーからの指示が終了であれば、処理を終了する。
【0090】
第2実施例以外の実施例における受信装置も同様にして構造化データ受信プログラムによってコンピュータ上に実現可能である。
【0091】
<その他>
なお、構造化データ受信プログラムは、これらを記録したコンピュータ読み取り可能な記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワーク等を介して伝送されてコンピュータに取り込まれてもよい。
<<第6実施例(参照の対象がストリームの場合)>>
<システム構成>
本発明を適用したコンテンツデータ及びメタデータ伝送・受信システムの第6実施例は、断片構成情報における参照情報の参照する対象が断片データだけでなく他のメタデータストリームをも含み、メタデータ(構造化データ)の複数ストリームによる伝送、及び受信側による複数ストリームの再帰的な受信処理を実現するものである。
【0092】
本実施例のコンテンツデータ及びメタデータ伝送システムの構成は、図1の第1実施例のコンテンツデータ及びメタデータ伝送システムの構成と同じである。ただし、断片化処理、送信方法、及び受信方法が異なる。
【0093】
<断片化処理>
図25は、本実施例における、メタデータの断片化処理の概略を示す図である。メタデータ(構造化データ)は複数の断片データに分割されるとともに、それぞれの断片データに断片データを一意に識別するIDが付加され、それぞれの断片データに対応する断片構成情報が作成される。さらに、生成された断片化データに対して同様の断片化処理を行い、さらに小さな断片データに分割してもよい。2段目の断片化処理で生成された断片化データにさらに断片化処理を行う等、断片化処理は再帰的に何段でも繰り返してよい。このとき、2段目以降の断片化処理で作成される断片構成情報に含まれる位置情報は、元のメタデータ(構造化データ)における位置を示す情報ではなく、その断片化処理の対象の構造化データにおける位置を示す情報とする。なお、メタデータを分割して断片データを生成する代わりに、統合して生成されるメタデータを想定して断片データを作成してもよい。
【0094】
<送信>
本実施例の送信者における、コンテンツデータ及びメタデータの送信装置の構成は、図8の第1実施例のコンテンツデータ及びメタデータの送信装置の構成と同じである。ただし、メタデータストリームの構成方法が異なる。
【0095】
送信者は、複数の断片データ、及びそれらに対応する断片構成情報を適当な順番で並べ、メタデータストリームを作成する。ただし、再帰的に繰り返した断片化処理ごとに独立した複数のメタデータストリームを作成する。ある断片化処理に対応するメタデータストリームに含まれる情報は、その断片化処理で生成された断片化データのうち再帰的に断片化処理が行われなかった全ての断片化データと、全ての断片構成情報である。さらに、メタデータストリームに、それに対応する断片化処理の対象の断片データに付加されていたIDを付加する。ただし、最上位のメタデータストリームには、最上位のメタデータストリームであることを示すIDを付加する。
【0096】
<受信>
図26は、受信者における、コンテンツデータ及びメタデータ受信装置の構成図である。
【0097】
コンテンツデータ及びメタデータ受信装置の構成図における分離部、メタデータ記憶部、及びユーザーまたはアプリケーションの構成及び動作は、図9の第1実施例におけるコンテンツデータ及びメタデータ受信装置の構成図それぞれの構成及び動作と同じである。
【0098】
メタデータストリーム分離部は、分離部より入力される複数のメタデータストリームのうち、最上位のメタデータストリームを断片データと断片構成情報とに分離し、断片データを断片データ及びメタデータストリーム一時記憶部へ出力し、断片構成情報をメタデータ統合部へ出力する。さらに、最上位のメタデータストリーム以外の全てのストリームをそのまま断片データ及びメタデータストリーム一時記憶部へ出力する。
【0099】
断片データ及びメタデータストリーム一時記憶部は、例えばメモリ等で構成され、メタデータストリーム分離部より入力される断片データ及びメタデータストリーム、及び、断片データ及びメタデータストリーム分離部より入力される断片データを一時的に記憶する。メタデータ統合部より断片データ及びメタデータストリームのIDのリストを要求された場合には、記憶している断片データ及びメタデータストリームのIDのリストをメタデータ統合部へ出力する。断片データ及びメタデータストリーム分離部より断片データまたはメタデータストリームのIDと共にIDによって特定される断片データまたはメタデータストリームを要求された場合には、そのIDによって特定される断片データまたはメタデータストリームを断片データ及びメタデータストリーム分離部へ出力すると共に、その断片データまたはメタデータストリームをメモリから消去する。
【0100】
断片データ及びメタデータストリーム分離部は、メタデータ統合部より断片データまたはメタデータストリームのIDと共にIDによって特定される断片データまたはメタデータストリームを要求された場合には、そのIDによって特定される断片データまたはメタデータストリームを断片データ及びメタデータストリーム一時記憶部に要求し、断片データ及びメタデータストリーム一時記憶部より出力される断片データまたはメタデータストリームを入力する。さらに、入力されたデータが断片データである場合には、その断片データをメタデータ統合部へ出力する。入力されたデータがメタデータストリームである場合には、そのメタデータストリームを(複数の)断片データと(複数の)断片構成情報とに分離し、断片データを断片データ及びメタデータストリーム一時記憶部へ出力し、断片構成情報をメタデータ統合部へ出力する。
【0101】
メタデータ統合部は、メタデータストリーム分離部より入力される断片構成情報を、第1実施例における断片構成情報の処理方法と同様の方法で処理し、断片構成情報、あるいは断片構成情報に含まれる参照情報をメタデータ記憶部に記憶されているメタデータ(構造化データ)に付加する。また、ユーザーまたはアプリケーションからメタデータ記憶部に記憶されているメタデータにおける参照情報の解決を指示された場合には、第1実施例における参照情報の処理方法と同様の方法で、断片データ及びメタデータストリーム分離部から断片データを取得してメタデータに付加すると共に、関連する断片構成情報を処理する。ただし、断片データ及びメタデータストリーム分離部から取得されるデータが(複数の)断片構成情報の場合には、それらの断片構成情報を第1実施例における断片構成情報の処理方法と同様の方法で処理し、断片構成情報、あるいは断片構成情報に含まれる参照情報をメタデータ記憶部に(すでに記憶されているメタデータとは別に)記憶し、それら全ての断片構成情報を処理して得られるメタデータを元のメタデータの所定の位置に付加する。さらに、断片データ及びメタデータストリーム分離部から取得される断片構成情報がメタデータストリームへの参照を含んでいる場合には、同様の処理を再帰的に繰り返す。
【0102】
【発明の効果】
以上の通り、本発明は下記の効果を有する。
(イ)送信側において、構造化データを再統合可能なように複数の断片データに分割して伝送することを可能とする。また、受信側において、断片データを統合するタイミングを決めることを可能とすると共に、構造化データの効率的な受信処理を可能とする。
(ロ)断片データを統合するための情報である断片構成情報に含まれる、断片データの接続位置に関する位置情報を、生成される構造化データにおけるノードを指定する情報と、その指定されたノードに対する前記対応する断片データの接続位置を指定する情報とを有するものとした場合には、構造化データを統合する位置を正確に指定することができる。
(ハ)断片データを統合するための情報である断片構成情報に含まれる、断片データを指定する参照情報が、参照する断片データの内容に関する情報を有する場合には、受信側において、断片データを選択的に受信・統合することが可能となり、構造化データの効率的な受信処理を可能とする。
(ニ)断片データを統合するための情報である断片構成情報に含まれる、断片データを指定する参照情報が、参照する断片データの最上位ノードの名前に関する情報を有する場合には、受信側において、参照されるデータを構造化データに統合しておらず、さらに他の断片構成情報に含まれる位置情報がその参照される断片データにおけるノードに対応する位置を指定している場合でも、その他の断片構成情報を適切に処理することを可能とする。
【図面の簡単な説明】
【図1】第1実施例におけるコンテンツデータ及びメタデータ伝送システムの構成図である。
【図2】第1実施例における構造化データの断片化処理の概略を示す図である。
【図3】第1実施例における断片構成情報の構造を示す図である。
【図4】第1実施例の断片構成情報における位置情報の指定方法の一例である。
【図5】第1実施例の断片構成情報における位置情報の指定方法の一例である。
【図6】第1実施例の断片構成情報における位置情報の指定方法の一例である。
【図7】第1実施例の断片構成情報における位置情報の指定方法の一例である。
【図8】第1実施例におけるコンテンツデータ及びメタデータ送信装置の構成図である。
【図9】第1実施例におけるコンテンツデータ及びメタデータ受信装置の構成図である。
【図10】第1実施例のコンテンツデータ及びメタデータ受信装置における断片構成情報の処理方法の一例である。
【図11】第1実施例のコンテンツデータ及びメタデータ受信装置における断片構成情報の処理方法の一例である。
【図12】第1実施例のコンテンツデータ及びメタデータ受信装置における断片構成情報の処理方法の一例である。
【図13】第2実施例におけるコンテンツデータ及びメタデータ伝送システムの構成図である。
【図14】第2実施例における断片構成情報の構造を示す図である。
【図15】第2実施例におけるコンテンツデータ及びメタデータ受信装置の構成図である。
【図16】第3実施例におけるコンテンツデータ及びメタデータ伝送システムの構成図である。
【図17】第3実施例におけるコンテンツデータ及びメタデータ受信装置の構成図である。
【図18】第4実施例のメタデータストリームにおけるフラグメント更新ユニット(2)の構成図である。
【図19】第4実施例における構造化データの断片化処理とメタデータストリーム作成の概略を示す図である。
【図20】第2実施例における受信装置をコンピュータにより実現するための説明図である。
【図21】受信装置を実現するコンピュータの構成図である。
【図22】コンピュータで実行される構造化データ受信プログラムの処理の流れを示す図である。
【図23】MPEG−7システムにおけるMPEG−7記述ストリームの構造を示す概念図である。
【図24】MPEG−7システムにおける、フラグメント更新ユニットの「追加」コマンドによるメタデータツリーへの断片の追加を示す概念図ある。
【図25】第6実施例における構造化データの断片化処理の概略を示す図である。
【図26】第6実施例におけるコンテンツデータ及びメタデータ受信装置の構成図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for receiving structured data such as structured metadata describing the contents of multimedia content.
[0002]
[Prior art]
MPEG-7 (ISO / IEC 15938) is defined as a standard for a framework for describing the contents of multimedia contents. MPEG-7 is a standard for structured metadata in which multimedia contents are structured temporally and spatially, and the contents of the multimedia contents are described using a tree structure.
[0003]
The MPEG-7 metadata is characterized by being structured in a tree structure, and is described in a text format using XML (Extensible Markup Language). The format of XML elements and attributes in MPEG-7 metadata is defined using an XML schema.
[0004]
The MPEG-7 standard is composed of a plurality of parts. The MPEG-7 system of Part 1 (ISO / IEC 15938-1) defines a framework for transmitting and storing metadata, a method for compressing metadata, and the like.
[0005]
In the MPEG-7 system, MPEG-7 metadata is fragmented and transmitted. On the receiving side, MPEG-7 metadata is dynamically generated by sequentially integrating the received metadata fragments.
[0006]
FIG. 23 is a conceptual diagram showing the structure of an MPEG-7 description stream in the MPEG-7 system. The MPEG-7 description stream is composed of a decoder initial configuration (DecoderInit) and a plurality of access units (Access Units: AU) following the decoder. The decoder initial configuration includes various initial settings for operating the receiving-side decoder. The access unit is a minimum processing unit that performs processing in a single time, and is configured by a plurality of fragment update units (FUU). The fragment update unit is a unit for transmitting a fragment of metadata, and includes a fragment update command (FU Command), a fragment update context (FU Context), and a fragment update payload (FU Payload). The fragment update command is a command indicating a method of processing a fragment, and includes four types of commands: “add”, “replace”, “delete”, and “reset”. The fragment update context is path information indicating a node to which a command is applied in a metadata tree generated on the receiving side. The fragment update payload stores a fragment of the metadata.
[0007]
Dynamic generation of metadata by the fragment update unit will be described in more detail. FIG. 24 is a conceptual diagram illustrating addition of a fragment to the metadata tree by the “add” command of the fragment update unit. The right side of the figure is a metadata tree generated on the receiving side, and it is assumed that a part drawn by a solid line is generated at an initial stage (a part indicated by a dotted line is not generated). Next, the fragment update unit on the left side of the figure is processed. The fragment update command in this fragment update unit is an "add" command. The fragment update context specifies a node on the metadata tree that has been generated on the receiving side, and the fragment update payload stores a fragment of the metadata. When the fragment update unit is processed, a fragment stored in the fragment update payload is added to a node specified by the fragment update context. That is, a dotted line portion on the right side of the drawing is generated.
[0008]
The sending side can also dynamically update the metadata tree generated on the receiving side by using “replace”, “delete”, and “reset” commands in addition to the “add” command.
[0009]
In the above-described framework of MPEG-7 metadata transmission by the MPEG-7 system, since the transmission target is XML data whose format is defined using an XML schema, not only the MPEG-7 metadata but also the XML schema It can be used for transmitting any XML data whose format is defined by using, that is, structured data.
[0010]
[Non-patent document 1]
Standard number: ISO / IEC 15938-1: 2002
Title: Information technology --- Multimedia content description interface
--- Part 1: Systems
Obtaining: ISO (http://www.iso.ch/) or Japan Standards Association (http://www.jsa.or.jp/)
[0011]
[Problems to be solved by the invention]
According to the above-described method for transmitting MPEG-7 metadata by the MPEG-7 system, the transmitting side fragmentally transmits the MPEG-7 metadata, and dynamically generates and updates the MPEG-7 metadata on the receiving side. Can be. The transmission target is not only MPEG-7 metadata, but also any XML data whose format is defined using an XML schema, that is, structured data. However, there has been a problem that the receiving side cannot actively acquire and integrate a part or all of the structured data fragments as necessary, and the receiving side cannot determine the timing of acquiring and integrating the fragments.
[0012]
Therefore, the present invention provides a system for transmitting / receiving structured data in a fragmented manner, in which the transmitting side not only dynamically generates and updates the structured data of the receiving side, but also allows the receiving side to perform partial or partial fragmentation of the structured data. It is an object of the present invention to provide a method of receiving structured data for actively acquiring and integrating all the data as needed, and further enabling a receiving side to determine the timing of acquiring and integrating fragments. .
[0013]
[Means for Solving the Problems]
Therefore, in order to solve the above-mentioned problem, the present invention provides the following structured data receiving method.
(1) Receiving a plurality of fragment data and respective fragment configuration information corresponding to each fragment data, which is information for generating structured data having a tree structure by integrating each fragment data on the receiving side. A structured data receiving method,
The fragment configuration information includes identification information for identifying the corresponding fragment data from each of the fragment data and reference information having information on the content of the corresponding fragment data, and the generated structured data of the corresponding fragment data. And location information about the connection location in
The corresponding fragment data determined to be necessary to be integrated based on the information on the content of the reference information included in the received fragment configuration information, from the received fragment data, the received fragment configuration Identifying the corresponding fragment data specified by the identification information of the reference information included in the information, integrating the identified corresponding fragment data on the basis of the position information included in each of the corresponding received fragment configuration information and structuring A method for receiving structured data, comprising generating data.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
<Basic configuration>
In one embodiment of the content data and metadata transmission / reception system to which the present invention is applied, original structured data (for example, MPEG-7 metadata or XML data whose format is defined using an XML schema) is used. A plurality of fragment data to be divided into a plurality of fragments or to be integrated as structured data is created, and for each fragment data, the original structured data (or a structure to be generated by integrating the fragments) And fragment information that includes position information that specifies the position of the fragment data in the fragmented data) and reference information that specifies the fragment data. The reference information included in the fragment configuration information is reference information on fragment data having at least information relating to the location of the fragment data. The reference information may also describe information about the content of the fragment data and the like, and may be used as a judgment material for a user or an application to process the fragment data.
[0015]
<Reception / Integration>
Further, in the transmission / reception system, the position information specifying the position of the fragment data in the original structured data (or the structured data to be generated by integrating the fragments) included in the fragment configuration information; The fragment data is arranged on the structured data based on the reference information specifying the data, and the original structured data is reconstructed.
<< First Embodiment (Only for Reference, Broadcasting) >>
<System configuration>
FIG. 1 is a configuration diagram showing a first embodiment of a content data and metadata transmission / reception system to which the present invention is applied. In this embodiment, a sender (television station) transmits a metadata stream including content data (program) and structured metadata (structured data) related thereto, and a receiver (viewer) receives them. .
[0016]
The sender creates content data and metadata about it. The content data is transmitted to the recipient via broadcasting. The metadata is divided into a plurality of fragment data, and fragment configuration information corresponding to each fragment data is created. A metadata stream is created by arranging the fragment data and the fragment configuration information, and transmitted to the receiver via broadcasting. The receiver receives the content data and the metadata stream from the broadcast, extracts fragment data and fragment configuration information from the metadata stream, and reconstructs the metadata from the fragment data and fragment configuration information. The reconstructed metadata is used for searching for and viewing content data.
[0017]
<Description of Metadata (XML)>
The metadata handled in the present embodiment is structured metadata (structured data) such as MPEG-7 metadata, and is described in a text format using XML. The format of XML elements and attributes in metadata is defined using an XML schema.
[0018]
<Fragmentation processing>
FIG. 2 is a diagram schematically illustrating the metadata fragmentation process according to the present embodiment. The metadata (structured data) is divided into a plurality of fragment data, and an ID for uniquely identifying the fragment data is added to each fragment data. Further, fragment configuration information corresponding to each fragment data is created. Note that instead of generating fragment data by dividing metadata, fragment data may be created by assuming metadata generated by integration.
[0019]
<Structure of fragment configuration information>
FIG. 3 is a diagram illustrating the structure of the fragment configuration information according to the present embodiment. The fragment configuration information is composed of position information and reference information. The position information is composed of an XPath and a position, and is used to specify a position where the highest-order node of the fragment data in the structured data generated on the receiving side is to be arranged. The reference information includes an ID reference, an element name, and an element type. In the ID reference, fragment data is specified using the ID added to the fragment data. The element name describes the element name in XML of the highest node of the fragment data. The element type describes the element type name in the XML schema of the top node of the fragment data.
[0020]
<Description of location information>
Next, a position designation method using XPath and position in the position information will be described. The XPath specifies a specific node in the structured data generated on the receiving side by using an XML path language (XPath). The position takes one of the values “prevSibling” or “lastChild”. When the value of the position is “prevSibling”, the node specified by the position information is the sibling node immediately before the node specified by the XPath. When the value of the position is “lastChild”, the node specified by the position information is the last child node of the node specified by the XPath.
[0021]
<Specific example of location information>
Next, a method of specifying position information will be described in detail using a specific example.
[0022]
FIG. 4 is an example of a method of specifying position information when a first child node of a certain node is specified. When arranging the top node 'd' of the fragment data as the first child node of the node 'a' in the structured data, specify the node 'b' which is the current first child node of the node 'a' in XPath. , Position is “prevSibling”. Then, the uppermost node 'd' of the fragment data is arranged as a sibling node immediately before the node 'b', that is, the first child node of the node 'a'.
[0023]
FIG. 5 is an example of a method of specifying position information when a child node other than the first and last child nodes of a certain node is specified. When arranging the top node 'd' of the fragment data as a child node other than the first and last nodes of the node 'a' in the structured data, specify the child node 'c' of the node 'a' in XPath, and set the position value Is “prevSibling”. Then, the uppermost node 'd' of the fragment data is arranged as a sibling node immediately before the node 'c', that is, a child node of the node 'a'.
[0024]
FIG. 6 is an example of a method of specifying position information when specifying the last child node of a certain node. When the highest-order node 'd' of the fragment data is arranged as the last child node of the node 'a' in the structured data, the node 'a' is designated by the XPath, and the value of the position is set to "lastChild". Then, the uppermost node 'd' of the fragment data is arranged as the last child node of the node 'a'.
[0025]
FIG. 7 is an example of a method of specifying position information when a child node of a node having no child node is specified. When arranging the uppermost node 'd' of the fragment data as a child node of the node 'b' in the structured data, the node 'b' is designated by the XPath, and the value of the position is set to “lastChild”. Then, the uppermost node 'd' of the fragment data is arranged as a child node of the node 'b'.
[0026]
<Binary encoding of fragment configuration information>
Note that the fragment configuration information of the present embodiment may be converted into binary data using appropriate means and expressed as binary data.
[0027]
<Send>
Next, a method of transmitting content data and metadata by the sender of the present embodiment will be described.
[0028]
The sender arranges a plurality of fragment data and their corresponding fragment configuration information in an appropriate order to create a metadata stream. The order in which the fragment data and the fragment configuration information are arranged may be such that the fragment data and the fragment configuration information are mixed and arranged, or all the fragment configuration information may be arranged first, and then all the fragment data may be arranged. However, the fragment data may be arranged in an arbitrary order, but the fragment configuration information must be arranged in a depth-first order or a width-first order with respect to the nodes in the structured data indicated by the position information included therein.
[0029]
FIG. 8 is a configuration diagram of a content data and metadata transmission device in a sender.
[0030]
The content data storage unit stores content data, and the metadata stream storage unit stores the above-described metadata stream.
[0031]
The content data transmission control unit inputs content data from the content data storage unit according to a predetermined schedule, and outputs the content data to the multiplexing unit.
[0032]
The metadata stream transmission control unit inputs the metadata stream from the metadata stream storage unit based on a predetermined carousel transmission frequency or cycle and transmits the metadata stream to the multiplexing unit for carousel transmission of the metadata stream. .
[0033]
The multiplexing unit multiplexes the content data input from the content data transmission control unit and the metadata stream input from the metadata stream transmission control unit, and outputs the multiplexed stream to the broadcast.
[0034]
<Reception>
FIG. 9 is a configuration diagram of a content data and metadata receiving device in a receiver.
[0035]
The separation unit separates the multiplexed stream input from the broadcast into content data and a metadata stream, outputs the content data to a user or an application, and outputs the metadata stream to a metadata stream separation unit.
[0036]
The metadata stream separation unit separates the metadata stream input from the separation unit into fragment data and fragment configuration information, outputs the fragment data to the fragment data temporary storage unit, and outputs the fragment configuration information to the metadata integration unit I do.
[0037]
The fragment data temporary storage unit is configured by, for example, a memory, and temporarily stores the fragment data input from the metadata stream separation unit. When a list of fragment data IDs is requested from the metadata integration unit, the stored list of fragment data IDs is output to the metadata integration unit. When the metadata integration unit requests the fragment data specified by the ID together with the fragment data ID, the fragment data specified by the ID is output to the metadata integration unit and the fragment data is deleted from the memory. I do.
[0038]
The metadata integration unit processes the fragment configuration information input from the metadata stream separation unit according to a fragment configuration information processing method described later, and stores the fragment configuration information or reference information included in the fragment configuration information in the metadata storage unit. Is added to the metadata (structured data) stored in. Further, when the user or the application instructs to resolve the reference information in the metadata stored in the metadata storage unit, the fragment data is acquired from the fragment data temporary storage unit according to the reference information processing method described later. In addition to processing the relevant fragment configuration information in addition to the metadata.
[0039]
The metadata storage unit is a storage medium for storing metadata, and the metadata integration unit writes and reads data. It can also read data from a user or application.
[0040]
The user or the application instructs the metadata integration unit to resolve the reference information of the arbitrary reference information in the metadata stored in the metadata storage unit if the fragment data of the reference destination is necessary. Further, the metadata obtained by resolving the reference information is read from the metadata storage unit, and for any reference information contained therein, if the fragment data of the reference destination is necessary, the reference information to the metadata integration unit is provided. Repeat the instructions for solving the problem. If there is no reference information that refers to the required fragment data, the finally obtained metadata is used for each purpose.
[0041]
<Method of processing fragment configuration information>
Next, a method of processing fragment configuration information will be described. First, position information and reference information are extracted from the fragment configuration information. If the node specified by the XPath included in the position information exists on the structured data (metadata) stored in the metadata storage unit, the reference information is set to the position specified by the position information (XPath and position). Add. However, at this time, the reference information existing on the structured data is treated as an element having an element name included in the reference information. If the node specified by the XPath included in the position information does not exist on the structured data stored in the metadata storage unit, the last node when the structured data is traced as far as possible from the root node according to the XPath (This node should be the reference information.) The fragment configuration information is added as the last child node.
[0042]
A method for processing fragment configuration information will be specifically described with reference to the drawings.
[0043]
FIG. 10 shows an example of a method of processing fragment configuration information in a case where a node specified by XPath included in position information exists on structured data. The XPath specifies the node 121, and the value of the position is “lastChild”. This means that the top node of the fragment data should be placed at the position of the
[0044]
FIG. 11 shows an example of a method of processing the fragment configuration information in a case where the XPath included in the position information specifies reference information on the structured data. Since the reference information existing at the position of the
[0045]
FIG. 12 shows an example of a method of processing fragment configuration information in a case where a node specified by XPath included in the position information does not exist in the structured data. Since the reference information exists at the position of the node 141, the element name of the highest node of the fragment data to be arranged at the position of the node 141 is known. However, since the XPath specifies the position of the node 141, if the structured data is traced from the root node in accordance with the XPath, the structure data can be traced to the node 141, but cannot trace thereafter. Therefore, the fragment configuration information is added as the last child node of the reference information existing at the position of the node 141.
[0046]
<How to resolve reference information>
Next, a method of solving the reference information will be described. To resolve the reference information, fragment data specified by an ID included in the reference information is obtained, the reference information is deleted, and the fragment data is added to the position where the reference information was present. However, when the reference information has fragment configuration information (one or more) as its child node, after adding the fragment data, the fragment configuration information is added according to the above-described fragment configuration information processing method (in the case of a plurality, the fragment configuration information is previously set). (In order).
[0047]
<Judgment method of necessity of fragment data>
The determination of the necessity of fragment data is made based on the element type included in the reference information. The format of the XML elements and attributes in the structured data is defined using an XML schema, and the element type included in the reference information is the element type in the XML schema of the top node of the fragment data to be referenced. By interpreting the format definition of the structured data, the general content of the fragment data can be known from the element type. The user or the application determines the necessity of the fragment data based on the rough contents.
<< Second embodiment (for reference only, broadcast and Internet) >>
<System configuration>
FIG. 13 is a configuration diagram of a second embodiment of a content data and metadata transmission / reception system to which the present invention is applied. In this embodiment, as in the system configuration of the first embodiment in FIG. 1, a sender transmits content data and a metadata stream via broadcast, and a receiver receives them. Further, the sender stores a part of the fragment data in a database connected to the Internet, and the receiver obtains the fragment data from the database via the Internet.
[0048]
The sender creates content data and metadata (structured data) related thereto. The content data is transmitted to the recipient via broadcasting. The metadata is divided into a plurality of fragment data, and fragment configuration information corresponding to each fragment data is created. A metadata stream is created from a part of the fragment data and all the fragment configuration information, transmitted to the recipient via broadcast, and the remaining fragment data is stored in the database. The receiver receives the content data and the metadata stream from the broadcast, extracts the fragment data and the fragment configuration information from the metadata stream, further acquires the fragment data from the database via the Internet, and obtains the meta data from the fragment data and the fragment configuration information. Reconstruct the data. The reconstructed metadata is used for searching for and viewing content data.
[0049]
<Description of Metadata (XML)>
The metadata in the present embodiment is the same as the metadata in the first embodiment.
[0050]
<Fragmentation processing>
The method of fragmentation processing in the present embodiment is the same as the method of fragmentation processing in the first embodiment. However, an ID for uniquely identifying the fragment data is added to the fragment data transmitted via broadcasting, and the fragment data to be stored in the database is stored in the database in a file format by adding a unique file name to each fragment data. . A database is constructed so that fragment data stored in the database can be referred to from the Internet by a URI (Uniform Resource Identifier).
[0051]
<Structure of fragment configuration information>
The structure of the fragment configuration information in the present embodiment is the same as the structure of the fragment configuration information in the first embodiment when the corresponding fragment data is transmitted via broadcasting, and the outline is shown in FIG. It is on the street. On the other hand, when the corresponding fragment data is stored in a database connected to the Internet, the structure of the fragment configuration information for that is shown in FIG. 14, and the URI reference is included in the reference information instead of the ID reference in FIG. Then, the fragment data is specified by the URI.
[0052]
<Transmission by broadcast>
The transmitting method of the content data and the metadata stream in the sender of the present embodiment is the same as the transmitting method of the content data and the metadata stream in the first embodiment. However, the metadata stream includes only some fragment data.
[0053]
<Transmission on the Internet>
Some fragment data not transmitted by broadcasting is stored in the database connected to the Internet as described above. The database transmits a fragment data file corresponding to the URI to the recipient when the recipient connected to the Internet requests acquisition of the fragment data file together with the URI.
[0054]
<Reception>
FIG. 15 is a configuration diagram of a content data and metadata receiving device in a receiver.
[0055]
The configuration and operation of the separation unit, the metadata stream separation unit, the fragment data temporary storage unit, the metadata storage unit, and the user or application in the configuration diagram of the content data and metadata reception device of FIG. The configuration and operation of the content data and metadata receiving device in the example are the same as those in the configuration diagram.
[0056]
The configuration and operation of the metadata integration unit are the same as the operation and configuration of the metadata integration unit in the configuration diagram of the content data and metadata receiving device in the first embodiment of FIG. However, when resolving the reference information, if the reference information specifies fragment data by ID reference, fragment data is acquired from the fragment data temporary storage unit as in the first embodiment, and the reference information is referred to by the URI reference. When the fragment data is specified in the above, the fragment data receiving unit is instructed to receive the fragment data specified by the URI, and the fragment data is acquired from the fragment data receiving unit.
[0057]
Upon receiving an instruction to receive the fragment data specified by the URI from the metadata integration unit, the fragment data receiving unit requests the database together with the URI and the fragment data specified by the URI and transmits the request from the database. The fragment data is received, and the received fragment data is output to the metadata integration unit.
<< Third embodiment (only for reference, Internet) >>
<System configuration>
FIG. 16 is a configuration diagram of a third embodiment of a content data and metadata transmission / reception system to which the present invention has been applied. In this embodiment, a sender (content provider) stores content data (video, audio, etc.) and structured metadata (structured data) related thereto in a database connected to the Internet, and a receiver (user) Retrieve those data from the database via the internet.
[0058]
The sender creates content data and metadata about it. Content data is stored in a database. The metadata is divided into a plurality of fragment data, fragment configuration information corresponding to each fragment data is created, and the fragment data and the fragment configuration information are stored in a database. The recipient acquires the content data, fragment data, and fragment configuration information from the database via the Internet, and reconstructs metadata from the fragment data and fragment configuration information. The reconstructed metadata is used for searching for and viewing content data.
[0059]
<Description of Metadata (XML)>
The metadata in the present embodiment is the same as the metadata in the first embodiment.
[0060]
<Fragmentation processing>
The method of fragmentation processing in the present embodiment is the same as the method of fragmentation processing in the first embodiment. However, no ID is added to the fragment data. Also, a unique file name is added to the fragment data, and the fragment data is stored in a database in a file format. The fragment data stored in the database can be referred to via a URI from the Internet. Further, the fragment configuration information forms a fragment configuration information stream by arranging all the fragment configuration information in the depth-first order or the width-priority order with respect to the nodes in the structured data designated by the position information included therein, Is stored in the database.
[0061]
<Structure of fragment configuration information>
The structure of the fragment configuration information in the present embodiment is the same as the structure of the fragment configuration information when the corresponding fragment data in the second embodiment of FIG. 14 is stored in a database connected to the Internet.
[0062]
<Transmission on the Internet>
The content data, fragment data, and fragment configuration information are stored in the database connected to the Internet as described above. The database transmits a file corresponding to the URI to a recipient when a recipient connected to the Internet requests acquisition of a file of content data, fragment data, or fragment configuration information together with a URI.
[0063]
<Reception>
FIG. 17 is a configuration diagram of a content data and metadata receiving device in a receiver.
[0064]
When the user or the application instructs the acquisition of the content data corresponding to the URI together with the URI of the content data, the data receiving unit requests the content data corresponding to the URI from the database via the Internet, and the database transmits the request. The content data corresponding to the URI is received, and the received content data is output to a user or an application. When the metadata integration unit instructs to acquire the fragment configuration information stream or the fragment data corresponding to the URI together with the fragment data stream, the fragment configuration information stream or the fragment data corresponding to the URI is transmitted via the Internet. It requests the database and receives the fragment configuration information stream or fragment data corresponding to the URI transmitted by the database, and outputs the received fragment configuration information stream or fragment data corresponding to the URI to the metadata integration unit.
[0065]
The metadata integration unit first instructs the data receiving unit to acquire the fragment configuration information stream, and sequentially processes the fragment configuration information included in the fragment configuration information stream input from the data receiving unit. The method for processing the fragment configuration information is the same as the method for processing the fragment configuration information in the first embodiment. Also, when the user or the application instructs to resolve the reference information in the metadata stored in the metadata storage unit, the fragment data corresponding to the URI included in the reference information is obtained according to the reference information processing method. To the data receiving unit, the fragment data input from the data receiving unit is added to the metadata, and the related fragment configuration information is processed. The method of processing the reference information is the same as the method of processing the reference information in the first embodiment.
[0066]
The configuration and operation of the metadata storage unit are the same as the configuration and operation of the metadata storage unit in the configuration diagram of the content data and metadata reception device of the first embodiment in FIG.
[0067]
The configuration and operation of the user or application are the same as the configuration and operation of the user or application in the configuration diagram of the content data and metadata receiving device of the first embodiment in FIG. However, when the content data is required, the data receiving unit instructs the data receiving unit to acquire the URI of the content data and the content data corresponding to the URI, and inputs the content data from the data receiving unit.
<< Fourth embodiment (reference, command, broadcast) >>
<System configuration>
A fourth embodiment of a content data and metadata transmission / reception system to which the present invention is applied is a dynamic generation / update of metadata by a transmission side using an MPEG-7 system and the use of fragment configuration information of the present invention. Active acquisition and integration of fragment data by the receiving side are also realized at the same time.
[0068]
The configuration of the content data and metadata transmission system of the present embodiment is the same as the configuration of the content data and metadata transmission system of the first embodiment in FIG. However, the structure of the metadata stream is different.
[0069]
<Metadata stream>
The metadata stream in this embodiment is an extension of the MPEG-7 description stream in the MPEG-7 system of FIG. The metadata stream according to the present embodiment includes an initial decoder configuration and a plurality of access units following the decoder. The access unit includes a plurality of fragment update units. However, in this embodiment, in addition to the fragment update unit (1) having the same structure as the fragment update unit in the MPEG-7 system, only the fragment update unit (2) for transmitting fragment configuration information, and only the fragment data Is used. FIG. 18 is a configuration diagram of the fragment update unit (2). The fragment update unit (2) includes a fragment update command, a fragment update context, and reference information. The fragment update context in the MPEG-7 system has the same structure as the position information included in the fragment configuration information of the present invention, and forms the fragment configuration information by the fragment update context and the reference information.
[0070]
<Fragmentation processing>
FIG. 19 is a diagram schematically illustrating the fragmentation processing of metadata (structured data) and creation of a metadata stream in the present embodiment. The metadata is divided into a plurality of fragment data. For each fragment data, a fragment update unit (1) is created by adding a fragment update command (here, an “add” command) and a fragment update context (position information) (the fragment data becomes a fragment update payload). Or a fragment update unit (2) in which fragment configuration information is created in the same manner as in the fragmentation processing in the first embodiment, and a fragment update command (here, an “add” command is used) is added, and only fragment data And a fragment update unit (3) including For convenience, the fragment data included in the fragment update unit (3) is referred to as first fragment data, and the fragment data included in the fragment update unit (1) is referred to as second fragment data.
[0071]
Instead of creating fragment data by dividing metadata, fragment data is created by assuming metadata generated by integration, and fragment update unit (1) or fragment update unit (2) and fragment update unit (2). An update unit (3) may be created. Further, a “replace” command, a “delete” command, or a “reset” command may be adopted as the fragment update command to dynamically update the structured metadata tree on the receiving side. An access unit is created by arranging an appropriate number of fragment update units (1), fragment update units (2), and fragment update units (3) created by the above processing, and access units are further arranged. Create a metadata stream with additional configuration.
[0072]
<Send>
The configuration of the content data and metadata transmission device of the sender of the present embodiment is the same as the configuration of the content data and metadata transmission device of the sender of the first embodiment of FIG.
[0073]
<Reception>
The configuration of the content data and metadata receiving device of the receiver of the present embodiment is the same as the configuration of the content data and metadata receiving device of the recipient of the first embodiment of FIG. However, the operations of the metadata stream separation unit and the metadata integration unit are different.
[0074]
The metadata stream separation unit separates the metadata stream input from the separation unit into a fragment update unit (1), a fragment update unit (2), and a fragment update unit (3). The update unit (2) is output to the metadata integration unit, the fragment data is extracted from the fragment update unit (3), and the fragment data is output to the fragment data temporary storage unit.
[0075]
The metadata integration unit interprets the fragment update unit (1) input from the metadata stream separation unit, and when the fragment update command is an “add” command, the metadata update unit (1) reads out the metadata stored in the metadata storage unit. At the position specified by the fragment update context, the fragment data included in the fragment update payload (included in the fragment update unit (1)) is added, and when the fragment update command is a “replace” command, the fragment update command is stored in the metadata storage unit. Replaces the partial data below the position specified by the fragment update context in the metadata being updated with the fragment data included in the fragment update payload, and if the fragment update command is a "delete" command, stores the fragment data in the metadata storage unit. Metadata Remove the following parts data positions definitive fragment updating contexts specifies, if the fragment updating command is a "reset" command returns to a predetermined initial state metadata stored in the metadata storage unit. However, in the above processing, if there is no node at the position specified by the fragment update context in the metadata, the resolution of the corresponding higher-level reference information on the metadata is continued until the fragment data including the node is obtained. . The solution of the reference information is the same as the solution of the reference information in the first embodiment.
[0076]
The metadata integration unit extracts a fragment update command and fragment configuration information (fragment configuration context, that is, position information and reference information) from the fragment update unit (2) input from the metadata stream separation unit, and updates the fragment update. Commands are processed in the same manner as described above, and fragment configuration information is processed in the same manner as in the method of processing fragment configuration information in the first embodiment.
[0077]
Further, when the user or the application instructs the user to resolve the reference information on the structured metadata tree stored in the metadata storage unit, the metadata integration unit executes the reference information solving method according to the first embodiment. The reference information is resolved in the same manner as in.
<< Fifth Embodiment (Reference and Command, Broadcast and Internet) >>
<System configuration>
A fifth embodiment of a content data and metadata transmission / reception system to which the present invention is applied is a dynamic generation / update of metadata by a transmission side using an MPEG-7 system and the use of fragment configuration information of the present invention. Active acquisition and integration of fragment data by the receiving side are also realized at the same time.
[0078]
The configuration of the content data and metadata transmission system of the present embodiment is the same as the configuration of the content data and metadata transmission system of the second embodiment in FIG. However, the structure of the metadata stream is different.
[0079]
<Metadata stream>
The structure of the metadata stream in the present embodiment is the same as the structure of the metadata stream in the fourth embodiment. However, as in the second embodiment, some fragment data are not included in the metadata stream but are stored in a database connected to the Internet.
[0080]
<Send>
The configuration of the content data and metadata transmission device of the sender of the present embodiment is the same as the configuration of the content data and metadata transmission device of the sender of the second embodiment of FIG.
[0081]
<Reception>
The configuration of the content data and metadata receiving device of the receiver of this embodiment is the same as the configuration of the content data and metadata receiving device of the receiver of the second embodiment of FIG. However, the operations of the metadata stream separation unit and the metadata integration unit are different.
[0082]
The operation of the metadata stream separation unit is the same as the operation of the metadata stream separation unit of the content data and metadata reception device in the receiver of the fourth embodiment.
[0083]
The operation of the metadata integration unit is the same as the operation of the metadata integration unit of the content data and metadata receiving device in the receiver of the fourth embodiment. However, when resolving the reference information, if the reference information specifies fragment data by ID reference, fragment data is obtained from the fragment data temporary storage unit as in the fourth embodiment, and the reference information is referred to as the URI reference. When the fragment data is specified in the above, the fragment data receiving unit is instructed to receive the fragment data specified by the URI, and the fragment data is acquired from the fragment data receiving unit.
<< Realization of receiving device by receiving program >>
Here, a structured data receiving program for realizing the receiving device in each of the above-described embodiments on a computer will be specifically described with reference to the second embodiment.
[0084]
<Reception system>
As shown in FIG. 20, in the second embodiment, a computer receives content data and a metadata stream from a broadcast, and receives fragment data from a database via the Internet. Further, the metadata is reconstructed from the metadata stream and the fragment data and stored in the internal storage device. By operating the computer, the user searches for the content using the metadata, and displays the metadata at the same time as viewing the content.
[0085]
<Process flow>
FIG. 21 is a configuration diagram of a computer, and FIG. 22 is a flow of processing executed by the computer.
[0086]
First, the central processing unit receives a command from a control program (structured data receiving program) in the main memory, and separates fragment configuration information into content data and a metadata stream from a multiplexed stream input from the broadcast receiving device. Then, the metadata stream is separated into fragment data and fragment configuration information, and the separated fragment configuration information is sequentially processed. At this time, the content data and fragment data separated in parallel are stored in a storage device.
[0087]
The method for processing the fragment configuration information is the same as the method for processing the fragment configuration information in the second embodiment. However, the metadata is created on the storage device.
[0088]
Next, the central processing unit continues to process the fragment configuration information if all the fragment configuration information has not been processed. If the central processing unit has processed all the fragment configuration information, the user instruction input from the input device. Wait for.
[0089]
When an instruction is input from the user, the central processing unit outputs the metadata to the output device if the instruction is to output metadata. If the instruction from the user is to resolve the reference information, the reference information instructed by the user in the metadata stored in the storage device is resolved. The solution of the reference information is the same as the solution of the reference information in the second embodiment. However, if the fragment data referred to by the reference information is included in the metadata stream transmitted by broadcasting, the corresponding data is obtained from the fragment data stored in the storage device, and the fragment data referred to by the reference information is obtained. If is stored in a database connected to the Internet, the corresponding fragment data is acquired from the database by the Internet communication device. If the instruction from the user is completed, the processing is completed.
[0090]
The receiving devices in the embodiments other than the second embodiment can be similarly realized on a computer by a structured data receiving program.
[0091]
<Others>
The structured data receiving program may be read from a computer-readable recording medium on which these are recorded, and may be taken into the computer, or may be transmitted via a communication network or the like and taken into the computer.
<< Sixth embodiment (when reference is to stream) >>
<System configuration>
In the sixth embodiment of the content data and metadata transmission / reception system to which the present invention is applied, the reference target of the reference information in the fragment configuration information includes not only fragment data but also other metadata streams, and the metadata (structure) And the recursive reception processing of a plurality of streams by the receiving side.
[0092]
The configuration of the content data and metadata transmission system of the present embodiment is the same as the configuration of the content data and metadata transmission system of the first embodiment in FIG. However, the fragmentation processing, the transmission method, and the reception method are different.
[0093]
<Fragmentation processing>
FIG. 25 is a diagram schematically illustrating the metadata fragmentation process according to the present embodiment. The metadata (structured data) is divided into a plurality of fragment data, an ID for uniquely identifying the fragment data is added to each fragment data, and fragment configuration information corresponding to each fragment data is created. Further, similar fragmentation processing may be performed on the generated fragmented data to divide the data into smaller fragmented data. The fragmentation process may be recursively repeated in any number of stages, such as performing a further fragmentation process on the fragmented data generated in the second-stage fragmentation process. At this time, the position information included in the fragment configuration information created by the fragmentation processing in the second and subsequent stages is not information indicating the position in the original metadata (structured data), but the structure to be subjected to the fragmentation processing. Information indicating the position in the encoded data. Note that instead of generating fragment data by dividing metadata, fragment data may be created by assuming metadata generated by integration.
[0094]
<Send>
The configuration of the content data and metadata transmission device in the sender of the present embodiment is the same as the configuration of the content data and metadata transmission device of the first embodiment in FIG. However, the configuration method of the metadata stream is different.
[0095]
The sender arranges a plurality of fragment data and their corresponding fragment configuration information in an appropriate order to create a metadata stream. However, a plurality of independent metadata streams are created for each recursively repeated fragmentation process. The information included in the metadata stream corresponding to a certain fragmentation process includes all the fragmented data that has not been recursively fragmented among the fragmented data generated by the fragmentation process, and all the fragments. Configuration information. Further, the ID added to the fragment data corresponding to the fragmentation processing corresponding to the metadata stream is added. However, an ID indicating that the stream is the highest-order metadata stream is added to the highest-order metadata stream.
[0096]
<Reception>
FIG. 26 is a configuration diagram of a content data and metadata receiving device in a receiver.
[0097]
The configuration and operation of the separation unit, the metadata storage unit, and the user or application in the configuration diagram of the content data and metadata reception device are the same as those of the configuration diagram of the content data and metadata reception device in the first embodiment of FIG. And the operation.
[0098]
The metadata stream separation unit separates the top metadata stream from the plurality of metadata streams input from the separation unit into fragment data and fragment configuration information, and temporarily stores the fragment data in the fragment data and the metadata stream. And outputs the fragment configuration information to the metadata integration unit. Further, all streams other than the top metadata stream are output to the fragment data and metadata stream temporary storage unit as they are.
[0099]
The fragment data and metadata stream temporary storage unit includes, for example, a memory and the like, and the fragment data and metadata stream input from the metadata stream separation unit, and the fragment data input from the fragment data and metadata stream separation unit Is temporarily stored. When the list of fragment data and the ID of the metadata stream is requested from the metadata integration unit, the list of the stored fragment data and ID of the metadata stream is output to the metadata integration unit. When the fragment data or metadata stream is requested by the fragment data or metadata stream separation unit together with the fragment data or metadata stream ID, the fragment data or metadata stream specified by the ID is transmitted. The data is output to the fragment data and metadata stream separation unit, and the fragment data or the metadata stream is deleted from the memory.
[0100]
The fragment data and metadata stream separation unit, when requested by the metadata integration unit together with the fragment data or metadata stream ID and the fragment data or metadata stream specified by the ID, the fragment specified by the ID. The data or metadata stream is requested from the fragment data and metadata stream temporary storage unit, and the fragment data and the metadata stream output from the fragment data and metadata stream temporary storage unit are input. Further, when the input data is fragment data, the fragment data is output to the metadata integration unit. When the input data is a metadata stream, the metadata stream is separated into (plural) fragment data and (plural) fragment configuration information, and the fragment data is temporarily stored in the fragment data and the metadata stream. And outputs the fragment configuration information to the metadata integration unit.
[0101]
The metadata integration unit processes the fragment configuration information input from the metadata stream separation unit in the same manner as the fragment configuration information processing method in the first embodiment, and is included in the fragment configuration information or the fragment configuration information. The reference information is added to the metadata (structured data) stored in the metadata storage unit. When the user or the application instructs to resolve the reference information in the metadata stored in the metadata storage unit, the fragment data and the metadata are processed in the same manner as the reference information processing method in the first embodiment. Fragment data is obtained from the data stream separation unit and added to metadata, and related fragment configuration information is processed. However, when the fragment data and the data obtained from the metadata stream separation unit are (plural) fragment configuration information, the fragment configuration information is converted by the same method as the fragment configuration information processing method in the first embodiment. Processing, storing the fragment configuration information or reference information included in the fragment configuration information in the metadata storage unit (separately from the metadata already stored), and processing the meta data obtained by processing all the fragment configuration information. Data is added to a predetermined position of the original metadata. Further, when the fragment data and the fragment configuration information obtained from the metadata stream separation unit include a reference to the metadata stream, the same processing is recursively repeated.
[0102]
【The invention's effect】
As described above, the present invention has the following effects.
(A) On the transmitting side, it is possible to divide the structured data into a plurality of fragment data so that the structured data can be reintegrated and transmit the divided data. In addition, it is possible to determine the timing for integrating fragment data on the receiving side, and also to enable efficient reception processing of structured data.
(B) The position information on the connection position of the fragment data, which is included in the fragment configuration information that is the information for integrating the fragment data, is obtained by combining the information specifying the node in the generated structured data with the information for the specified node. When the information has information for specifying the connection position of the corresponding fragment data, the position for integrating the structured data can be accurately specified.
(C) When the reference information for specifying the fragment data included in the fragment configuration information, which is information for integrating the fragment data, includes information on the contents of the fragment data to be referenced, the fragment data is transmitted to the receiving side. Selective reception and integration can be performed, and efficient reception processing of structured data is enabled.
(D) If the reference information for specifying the fragment data included in the fragment configuration information, which is the information for integrating the fragment data, has information on the name of the highest node of the fragment data to be referenced, Even if the referenced data is not integrated into the structured data and the position information included in the other fragment configuration information specifies the position corresponding to the node in the referenced fragment data, It is possible to appropriately process fragment configuration information.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a content data and metadata transmission system in a first embodiment.
FIG. 2 is a diagram schematically illustrating a fragmentation process of structured data in the first embodiment.
FIG. 3 is a diagram showing a structure of fragment configuration information in the first embodiment.
FIG. 4 is an example of a method of specifying position information in fragment configuration information according to the first embodiment.
FIG. 5 is an example of a method of specifying position information in fragment configuration information according to the first embodiment.
FIG. 6 is an example of a method of specifying position information in fragment configuration information according to the first embodiment.
FIG. 7 is an example of a method of specifying position information in fragment configuration information according to the first embodiment.
FIG. 8 is a configuration diagram of a content data and metadata transmission device according to the first embodiment.
FIG. 9 is a configuration diagram of a content data and metadata receiving apparatus according to the first embodiment.
FIG. 10 is an example of a method of processing fragment configuration information in the content data and metadata receiving device of the first embodiment.
FIG. 11 is an example of a method of processing fragment configuration information in the content data and metadata receiving device of the first embodiment.
FIG. 12 is an example of a method of processing fragment configuration information in the content data and metadata receiving device of the first embodiment.
FIG. 13 is a configuration diagram of a content data and metadata transmission system in a second embodiment.
FIG. 14 is a diagram showing the structure of fragment configuration information in the second embodiment.
FIG. 15 is a configuration diagram of a content data and metadata receiving device according to a second embodiment.
FIG. 16 is a configuration diagram of a content data and metadata transmission system in a third embodiment.
FIG. 17 is a configuration diagram of a content data and metadata receiving device according to a third embodiment.
FIG. 18 is a configuration diagram of a fragment update unit (2) in the metadata stream according to the fourth embodiment.
FIG. 19 is a diagram schematically illustrating the fragmentation processing of structured data and the creation of a metadata stream in the fourth embodiment.
FIG. 20 is an explanatory diagram for realizing a receiving device in the second embodiment by a computer.
FIG. 21 is a configuration diagram of a computer that realizes a receiving device.
FIG. 22 is a diagram showing a flow of processing of a structured data receiving program executed by a computer.
FIG. 23 is a conceptual diagram showing the structure of an MPEG-7 description stream in the MPEG-7 system.
FIG. 24 is a conceptual diagram showing addition of a fragment to a metadata tree by an “add” command of a fragment update unit in the MPEG-7 system.
FIG. 25 is a diagram schematically showing a fragmentation process of structured data in a sixth embodiment.
FIG. 26 is a configuration diagram of a content data and metadata receiving device according to a sixth embodiment.
Claims (1)
前記断片構成情報は、前記各断片データから対応する前記断片データを識別する識別情報及び前記対応する断片データの内容に関する情報を有する参照情報と、前記対応する断片データの前記生成される構造化データにおける接続位置に関する位置情報とを含むものであり、
受信した前記各断片構成情報に含まれる前記参照情報の有する前記内容に関する情報に基づいて統合要と判断された前記対応する各断片データを、受信した前記断片データ内から、前記受信した各断片構成情報に含まれる前記参照情報の有する前記識別情報により特定し、その特定した前記対応する各断片データを、各対応する前記受信した断片構成情報に含まれる前記位置情報に基づき統合して前記構造化データを生成することを特徴とする構造化データの受信方法。A structure for receiving a plurality of fragment data and respective fragment configuration information corresponding to the respective fragment data, which is information for generating structured data having a tree structure by integrating the respective fragment data on the receiving side. A method of receiving data,
The fragment configuration information includes identification information for identifying the corresponding fragment data from each of the fragment data and reference information having information on the content of the corresponding fragment data, and the generated structured data of the corresponding fragment data. And location information about the connection location in
The corresponding fragment data determined to be necessary to be integrated based on the information on the content of the reference information included in the received fragment configuration information, from the received fragment data, the received fragment configuration Identifying the corresponding fragment data specified by the identification information of the reference information included in the information, integrating the identified corresponding fragment data on the basis of the position information included in each of the corresponding received fragment configuration information and structuring A method for receiving structured data, comprising generating data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003184510A JP2004318798A (en) | 2002-09-26 | 2003-06-27 | Method for receiving structured data |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002280539 | 2002-09-26 | ||
JP2003052757 | 2003-02-28 | ||
JP2003184510A JP2004318798A (en) | 2002-09-26 | 2003-06-27 | Method for receiving structured data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004318798A true JP2004318798A (en) | 2004-11-11 |
Family
ID=33479547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003184510A Withdrawn JP2004318798A (en) | 2002-09-26 | 2003-06-27 | Method for receiving structured data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004318798A (en) |
-
2003
- 2003-06-27 JP JP2003184510A patent/JP2004318798A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004318188A (en) | Program for receiving structured data | |
JP2004318800A (en) | Method for receiving structured data | |
JP2004318798A (en) | Method for receiving structured data | |
JP2004318795A (en) | Method for receiving structured data | |
JP2004318796A (en) | Method for receiving structured data | |
JP2004318797A (en) | Method for receiving structured data | |
JP2004318799A (en) | Method for receiving structured data | |
JP2004318802A (en) | Method for receiving structured data | |
JP2004318801A (en) | Method for receiving structured data | |
JP2004318804A (en) | Method for receiving structured data | |
JP2004318805A (en) | Method for receiving structured data | |
JP2004318808A (en) | Method for receiving structured data | |
JP2004318803A (en) | Method for receiving structured data | |
JP2004318191A (en) | Program for receiving structured data | |
JP2004318189A (en) | Program for receiving structured data | |
JP2004318190A (en) | Program for receiving structured data | |
JP2004318194A (en) | Program for receiving structured data | |
JP2004318192A (en) | Program for receiving structured data | |
JP2004320703A (en) | Method for receiving structured data | |
JP2004318193A (en) | Program for receiving structured data | |
JP2004320704A (en) | Method for receiving structured data | |
JP2004318195A (en) | Program for receiving structured data | |
JP2004320690A (en) | Receiver for structured data | |
JP2004320071A (en) | Receiving program of structured data | |
JP2004320705A (en) | Method for receiving structured data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060825 |