JP2002502169A - Method and system for client-server interaction in conversational communication - Google Patents
Method and system for client-server interaction in conversational communicationInfo
- Publication number
- JP2002502169A JP2002502169A JP2000529661A JP2000529661A JP2002502169A JP 2002502169 A JP2002502169 A JP 2002502169A JP 2000529661 A JP2000529661 A JP 2000529661A JP 2000529661 A JP2000529661 A JP 2000529661A JP 2002502169 A JP2002502169 A JP 2002502169A
- Authority
- JP
- Japan
- Prior art keywords
- command
- server
- mpeg
- descriptor
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003993 interaction Effects 0.000 title claims abstract description 28
- 238000004891 communication Methods 0.000 title claims abstract description 11
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 235000014510 cooky Nutrition 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000796 flavoring agent Substances 0.000 description 2
- 235000019634 flavors Nutrition 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- UWHCKJMYHZGTIT-UHFFFAOYSA-N tetraethylene glycol Chemical compound OCCOCCOCCOCCO UWHCKJMYHZGTIT-UHFFFAOYSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】 ＭＰＥＧ−４に基づく会話形通信システムにおいて、シーンディスクリプタのコマンドルートノード又はサーバルートに沿ったコマンドディスクリプタを用いて、アプリケーション特有のインタラクションをサポートするのに用いることができる。内容選択を、コマンドパラメータの表示を指定することによってサポートすることができ、コマンドＩＤは、コマンドが内容選択コマンドであることを表す。最初のシーンを、複数のイメージと、イメージに関連した表示を表すテキストとによって形成することができる。各イメージ及び対応するテキストに、内容選択ディスクリプタを関連させる。ユーザがイメージをクリックすると、クライアントは、選択した表示を有するコマンドを送信し、サーバは新たな表示を開始する。この技術を、任意のサーバに基づくアプリケーション機能を実行するためにＨＴＴＰやＣＧＩで一般的に用いられているように、任意のアプリケーションコンテキストで用いることができる。 (57) [Summary] In a conversational communication system based on MPEG-4, a command route node of a scene descriptor or a command descriptor along a server route can be used to support application-specific interactions. Content selection can be supported by specifying the display of command parameters, where the command ID indicates that the command is a content selection command. An initial scene may be formed by a plurality of images and text representing a display associated with the images. Associate a content selection descriptor with each image and corresponding text. When the user clicks on the image, the client sends a command with the selected display, and the server starts a new display. This technique can be used in any application context, such as those commonly used in HTTP and CGI to perform application functions based on any server.
Description
【０００１】[0001]
本発明は、通信システム特にＭＰＥＧ−４基準に基づく通信システムでクライ
アント−サーバインタラクションを実行する技術に関するものである。The present invention relates to a technique for performing client-server interaction in a communication system, particularly a communication system based on the MPEG-4 standard.
【０００２】[0002]
インタラクションは、ＭＰＥＧ−４国際基準（ＩＳＯ／ＩＥＣ １４４９６
Ｐａｒｔ１−６， Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ， Ｏｃｔｏｂｅｒ ３１
， １９９７， Ｆｒｉｂｏｕｒｇ， Ｓｗｉｔｚｅｒｌａｎｄ）の発展におい
て特に関心がある。バックチャネルは、会話形メッセージサポートに対して指定
される。しかしながら、そのチャネルを通じて搬送すべきメッセージのシンタッ
クス及びセマンティックは、指定されないままであり、その結果、そのようなメ
ッセージの搬送をトリガする機構もそのままである。ＤＳＭ−ＣＣ（ＩＳＯ／Ｉ
ＥＣ 国際基準１３８１８−６）やＲＴＳＰ（ＲＦＣ２３２６）のような現存す
る基準は、プレイバック中に媒体ストリームを再配置する従来のＶＣＲタイプの
インタラクションをサポートするが、これは、更に複雑なインタラクションの制
御を必要とするＭＰＥＧ−４アプリケーションに対しては不十分である。The interaction is based on the MPEG-4 International Standard (ISO / IEC 14496).
Part1-6, Committee Draft, October 31
, 1997, Friborg, Switzerland). The back channel is specified for conversational message support. However, the syntax and semantics of the messages to be transported over that channel remain unspecified, so that the mechanisms that trigger the transport of such messages also remain. DSM-CC (ISO / I
Existing standards, such as EC International Standard 13818-6) and RTSP (RFC2326), support traditional VCR-type interactions that relocate the media stream during playback, but this requires more complex interaction control. Is not sufficient for MPEG-4 applications that require
【０００３】 会話メッセージを、所定のユーザ動作又はシステムイベントによって発生させ
ることができる。それは、一つ以上のストリームを変更することができるサーバ
に送信され、オブジェクトを追加若しくは除去し又は完全に新しいシーンに切り
替えることによって配送される。ユーザ動作は、オブジェクトのクリック、テキ
ストストリームの入力等を含む。システムイベントは、タイマ、状態テスト等を
含む。[0003] Conversational messages can be generated by certain user actions or system events. It is sent to a server that can modify one or more streams and delivered by adding or removing objects or switching to a completely new scene. User actions include clicking an object, inputting a text stream, and the like. System events include timers, status tests, and the like.
【０００４】 インタラクションは、アプリケーション特有であり、ユーザイベントに関して
完全に会話動作を規定することができない。アプリケーション特有の会話をサポ
ートするために、ＣＧＩのようなアプローチを採用する必要がある。特定のユー
ザイベントによって、アプリケーション特有のコマンドデータはサーバに戻され
る。サーバは、この場合、典型的にはシーン描写更新コマンドを送信することに
よって応答することができる。これによって、アプリケーションの要求に応じた
完全なインタラクションを完全に自由にサポートすることができる。[0004] Interactions are application-specific and cannot completely define conversational behavior with respect to user events. To support application-specific conversations, a CGI-like approach needs to be taken. Certain user events return application-specific command data to the server. The server can respond in this case, typically by sending a scene description update command. As a result, complete interaction according to application requirements can be completely freely supported.
【０００５】 ＭＰＥＧ−４は、実際には二つのモデルのインタラクションすなわちローカル
なものとリモートのものとを用いる。ローカルインタラクションを、ＭＰＥＧ−
４ ＢＩＦＳ（シーンの２値フォーマット）のネイティブイベントアーキテクチ
ャを用いて完全に実現するすることができ、それは、ＶＲＭＬ ２．０ＲＯＵＴ
Ｅ設計（www.vrml.org及び"Ｔｈｅ ＶＲＭＬ Ｈａｎｄｂｏｏｋ"， Ｊ．Ｈａ
ｒｔｍａｎ ａｎｄ Ｊ．Ｗｅｒｎｅｃｋｅ， Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
， １９９６参照）に基づき、ＭＰＥＧ−４仕様のＰａｒｔ１（Ｓｙｓｔｅｍｓ
）に記載されている。ＭＰＥＧ−４受信機が他のアプリケーションでホストされ
る場合、ＭＰＥＧ−４のＰａｒｔ１に規定されているように、アプリケーション
によってＭＰＥＧ−４受信機に送信する必要があるイベントを、ＢＩＦＳ更新コ
マンドに変換することができる。[0005] MPEG-4 actually uses two models of interaction, a local one and a remote one. Local interaction, MPEG-
4 BIFS (Binary Format for Scenes) can be fully implemented using the native event architecture, which is VRML 2.0ROUT
E Design (www.vrml.org and "The VRML Handbook", J. Ha
rtman and J.M. Wernecke, Addison-Wesley
Based on the MPEG-4 specification Part 1 (Systems
)It is described in. If the MPEG-4 receiver is hosted by another application, convert the events that need to be sent by the application to the MPEG-4 receiver into BIFS update commands, as defined in Part 1 of MPEG-4. be able to.
【０００６】 リモートインタラクションは、現在のところＵＲＬからなる。ＭＰＥＧ−４
Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔに規定されているように、そ
れを、コンテントへのアクセスを取得するためにしか使用することができない。
その結果、それを用いてコマンドをトリガすることができない。[0006] Remote interactions currently consist of URLs. MPEG-4
It can only be used to gain access to content, as specified in the Systems Committee Draft.
As a result, it cannot be used to trigger commands.
【０００７】 ＭＰＥＧ−４システムは既に、シーン描写（ＢＩＦＳ）の一部であるイベント
ソース／シンクルートの使用を通じたローカルインタラクティブサポートを有し
、これによって、完全にローカルインタラクションモデルを統合するサーバイン
タラクションプロセスを有することが好ましくなる。[0007] The MPEG-4 system already has local interactive support through the use of event source / sink routes that are part of scene description (BIFS), thereby providing a server interaction process that fully integrates the local interaction model. It is preferable to have
【０００８】[0008]
本発明の目的は、ＭＰＥＧ−４国際基準を用いて、「クライアント」と「サー
バ」のような二つのエンティティ間のメッセージの送信を行う技術を提供するこ
とである。An object of the present invention is to provide a technique for transmitting a message between two entities such as a “client” and a “server” using the MPEG-4 international standard.
【０００９】 本発明の第２の目的は、ＭＰＥＧ−４プレーヤ又はクライアントのコンテキス
トのそのようなメッセージをユーザ又はシステムによって発生させることかでき
る技術を提供することである。A second object of the present invention is to provide a technique by which such messages in the context of an MPEG-4 player or client can be generated by a user or a system.
【００１０】 第３の目的は、ＶＲＭＬ２．０仕様に基づくＭＰＥＧ−４で規定したローカル
インタラクションモデルに適合したそのようなメッセージを発生させる技術を提
供することである。A third object is to provide a technique for generating such a message conforming to the local interaction model defined by MPEG-4 based on the VRML 2.0 specification.
【００１１】 他の目的は、ＭＰＥＧ−４ビットストリーム内のそのようなメッセージを符号
化する技術を提供するとともに、符号化メッセージをシーン描写にリンクするこ
とである。Another object is to provide a technique for encoding such a message in an MPEG-4 bit stream and to link the encoded message to a scene description.
【００１２】 他の目的は、使用のためにそのようなメッセージをクライアントから送信する
前にサーバが容易にメッセージを変更することができるように、メッセージを符
号化する技術を提供することである。その一例は「クッキー」管理であり、この
場合、サーバは、特定のサイトにおけるユーザの動作についての状態情報を格納
するコードワードを有するコマンドの内容を迅速に更新できるようにする必要が
ある。Another object is to provide a technique for encoding a message so that a server can easily modify the message before sending such a message from a client for use. One example is "cookie" management, where the server needs to be able to quickly update the content of a command with a codeword that stores state information about the user's activity at a particular site.
【００１３】 以下説明する更なる開示を参照することによって明らかになるこられ及び他の
目的に適合するために、本発明は、サーバコマンドをＭＰＥＧ−４クライアント
に組み込む技術を広く提供する。この技術は、コマンドディスクリプタ、すなわ
ち、シーン描写情報とともに送信されるとともに関連のイベントのトリガに応答
してサーバに戻されるコマンドを有するディスクリプタの特定の形態の使用を伴
う。シーン描写の所望のイベントソースを、そのコマンドディスクリプタに関連
させる。[0013] To accommodate this and other objects that will become apparent by reference to the further disclosure set forth below, the present invention broadly provides techniques for incorporating server commands into an MPEG-4 client. This technique involves the use of command descriptors, a particular form of descriptor having commands transmitted with the scene depiction information and returned to the server in response to triggering an associated event. Associate the desired event source for the scene description with its command descriptor.
【００１４】 一例では、関連付けを、サーバルートを用いて行う。それは従来のＭＰＥＧ−
４ ＢＩＦＳルートと同様に動作するが、シンクフィールドを用いてソースフィ
ールドをリンクする代わりに、シンクコマンドディスクリプタを用いてソースフ
ィールドをリンクする。サーバルートは、ＭＰＥＧ−４ ＢＩＦＳ ＲＯＵＴＥ
シンタックスの拡張を必要とする。In one example, the association is performed using a server route. It is a conventional MPEG-
4 Operates in the same way as the BIFS route, but instead of linking the source field using the sync field, links the source field using the sync command descriptor. The server root is MPEG-4 BIFS ROUTE
Requires syntax extension.
【００１５】 他の例では、関連付けを、コマンドノードを用いて行う。そのようなノードは
、シンクフィールドを有し、コマンドディスクリプタに関連させる。この技術は
、二つ以上のノードタイプのＭＰＥＧ−４ ＢＩＦＳノードへの追加を伴う。In another example, the association is performed using a command node. Such nodes have a sync field and are associated with a command descriptor. This technique involves the addition of two or more node types to an MPEG-4 BIFS node.
【００１６】 いずれの場合も、ＭＰＥＧ−４によって規定された通常のインタラクションモ
デルを、ローカルインタラクション、すなわち、ローカルクライアント上で発生
し及び処理したイベント及びサーバインタラクション、すなわち、サーバに戻さ
れるクライアント発生コマンド上で発生したイベントに対して使用することがで
きる。コマンドディスクリプタに関連するイベントをトリガすると、サーバルー
ト又はコマンドモードに対する一定のルートを通じて、クライアントは、コマン
ドディスクリプタに格納されたコマンド情報を取得し、好適例で設けたシンタッ
クスを用いてコマンド情報をコマンドメッセージにパッケージし、適切なバック
チャネルを用いてコマンドメッセージをさーばに戻す。サーバに戻される発生し
たコマンドによって搬送すべきデータは、コマンドディスクリプタに含まれる。
コマンドディスクリプタがＭＰＥＧ−４の全体に亘るディスクリプタフレームワ
ークの一部であるので、それを、タイムスタンプしたオブジェクトディスクリプ
タ更新を用いて、動的に更新することができる。これによって、例えば「クッキ
ー」管理を実行するカスタマイズコマンドを非常に柔軟にすることができる。 発生したコマンドを処理する際にサーバを更に助長するために、時間のような
追加の情報をイベントともに発生させ、ソースノードなどもクライアントのメッ
セージに含まれる。In each case, the normal interaction model defined by MPEG-4 is defined as the local interaction, ie, the events generated and processed on the local client and the server interaction, ie, the client generated commands returned to the server. Can be used for events that occur in. Upon triggering an event related to the command descriptor, the client obtains the command information stored in the command descriptor through a server route or a certain route for the command mode, and commands the command information using the syntax provided in the preferred embodiment. Package it into a message and return the command message to Saba using the appropriate back channel. The data to be carried by the generated command returned to the server is included in the command descriptor.
Since the command descriptor is part of the MPEG-4 global descriptor framework, it can be updated dynamically using a time-stamped object descriptor update. This allows for a great deal of flexibility in customizing commands that perform, for example, "cookie" management. To further assist the server in processing the generated command, additional information, such as time, is generated with the event, and the source node is also included in the client's message.
【００１７】[0017]
【発明を実施するための最良の形態】詳細な説明 本発明の実施の形態を、図面を参照して詳細に説明する。 ＭＰＥＧ−４は、国際標準化機構（ＩＳＯ）の下で規定した国際規格である。
その公式の名称はＩＳＯ／ＩＥＣ１４４９６である。ＭＰＥＧ−１，ＭＰＥＧ−
２，Ｈ．２６１又はＨ．２６３のような以前のＩＳＯ又はＩＴＵとの基本的な相
違は、オーディオビジュアルオブジェクトの表示が存在するアドレスである。し
たがって、オーディオビジュアルシーンを具える互いに相違するエレメントは、
先ず、仕様のＰａｒｔ２（Ｖｉｓｕａｌ）及びＰａｒｔ３（Ａｕｄｉｏ）に規定
したような技術を用いて個別に符号化される。そのオブジェクトは、受信機に送
信され、又はオブジェクトを配置する位置及び時間を表現するシーン描写情報と
ともに大容量記憶装置から読み出されて、ユーザに提供する。The embodiment of the invention BEST MODE FOR CARRYING OUT THE INVENTION DETAILED DESCRIPTION The present invention will be described in detail with reference to the accompanying drawings. MPEG-4 is an international standard defined under the International Organization for Standardization (ISO).
Its official name is ISO / IEC14496. MPEG-1, MPEG-
2, H. 261 or H.264. The basic difference from previous ISO or ITU, such as H.263, is the address where the presentation of the audiovisual object is located. Thus, the different elements comprising the audiovisual scene are:
First, encoding is performed individually using a technique defined in Part 2 (Visual) and Part 3 (Audio) of the specification. The object is transmitted to a receiver or retrieved from a mass storage device along with scene description information representing the position and time at which the object is to be placed, and provided to the user.
【００１８】 オーディオビジュアルオブジェクトの各々及び適切なシーン描写情報に対する
符号化データは、それ自体の「チャネル」内で、すなわち、基本ストリームで送
信される。後に説明するように、シーン中で参照したオーディオビジュアルオブ
ジェクトを、符号化データを有する基本ストリームに正確に関連させるよう受信
機に許容させるために、他の制御情報も送信する。The encoded data for each of the audiovisual objects and the appropriate scene description information is transmitted in its own “channel”, ie, in the elementary stream. As will be described later, other control information is also transmitted to allow the receiver to correctly associate the audiovisual object referenced in the scene with the elementary stream containing the encoded data.
【００１９】 ＭＰＥＧ−４の構造を十分に説明するために、図１を参照する。図１の下側に
、あり得る種々の配送システムを示し、それは、通信リンク又は大容量記憶装置
のＡＴＭ，ＩＰ，ＭＰＥＧ−２転送ストリーム（ＴＳ），ＤＶＢを含むが、それ
に限定されるものではない。ＭＰＥＧ−２に対して、ＭＰＥＧ−４は、多様な通
信環境に亘る配送を許容するために、それ自体のトランスポート層ファシリティ
を規定しない。適切なマルチプレクサ処理性能、例えば、ＧＳＭ無線データチャ
ネルを有しないすなわち遅延を小さくする必要がある配送システムに対して、Ｆ
ｌｅｘＭｕｘと称される簡単なマルチプレクサ処理ツールが規定される。To fully explain the structure of MPEG-4, reference is made to FIG. At the bottom of FIG. 1 are shown various possible delivery systems, including, but not limited to, ATM, IP, MPEG-2 Transport Stream (TS), DVB for communication links or mass storage devices. Absent. In contrast to MPEG-2, MPEG-4 does not specify its own transport layer facility to allow delivery over various communication environments. For distribution systems that do not have adequate multiplexer processing performance, eg, a GSM wireless data channel, ie, need to have low delay,
A simple multiplexer processing tool called lexMux is defined.
【００２０】 この下部構造を用いて、基本ストリームのセットをクライアントに配送する。
そのストリームは、シーン描写情報、オーディオビジュアルオブジェクトデータ
（例えば、ＭＰＥＧ−２又はＭＰＥＧ−４ビデオストリームのような符号化ビデ
オ）又は制御情報（すなわちオブジェクト描写）のうちのいずれか一つを有する
。各基本ストリームは、１タイプのデータのみを有する。Using this substructure, a set of elementary streams is delivered to the client.
The stream includes any one of scene description information, audiovisual object data (eg, coded video such as an MPEG-2 or MPEG-4 video stream) or control information (ie, object description). Each elementary stream has only one type of data.
【００２１】 基本ストリームに含まれるデータは、ＭＰＥＧ−４Ｓｙｎｃ層（ＳＬ）に従っ
てパッケージ化され、そのパッケージは、下にある媒体（例えば、ビデオ又はオ
ーディオのフレーム又はシーン描写コマンド）のユニットにアクセスし、タイミ
ング情報（クロックリファレンス及びタイムスタンプ）、シーケンス番号等を追
加する。ＳＬを、図１の中間に示す。The data contained in the elementary stream is packaged according to the MPEG-4 Sync Layer (SL), which package accesses units of the underlying medium (eg, video or audio frames or scene delineation commands), Add timing information (clock reference and time stamp), sequence number, etc. SL is shown in the middle of FIG.
【００２２】 個別のオーディオビジュアルオブジェクトデータの符号化を、ＭＰＥＧ−４仕
様のＰａｒｔ２及び３に従って実行する。ＭＰＥＧ−１又はＭＰＥＧ−２のよう
な他の符号化を利用することもできる。シーン描写及び制御情報（オブジェクト
描写）は、ＭＰＥＧ−４のＰａｒｔ１に規定されている。The encoding of the individual audiovisual object data is performed according to Parts 2 and 3 of the MPEG-4 specification. Other encodings, such as MPEG-1 or MPEG-2, can also be used. Scene description and control information (object description) are defined in Part 1 of MPEG-4.
【００２３】 受信機は、シーン描写情報及び復号化されたオーディオビジュアルオブジェク
トデータを処理し、合成すなわちオブジェクトを結合して単一ユニットにするプ
ロセス及び描写すなわちユーザのモニタに結果を表示し又はユーザのスピーカを
通じて音声を再生するプロセスを実行する。これを図１の上側に示す。 シーン描写に゛含まれる情報に応じて、ユーザは、シーンに連関する機会を有
する。さらに、シーン描写は、動的な行為を可能にする情報を有する。換言すれ
ば、シーンそれ自体は、ユーザの介入なくイベントを発生させることができる。The receiver processes the scene description information and the decoded audiovisual object data, synthesizes, ie, combines the objects into a single unit, and renders, ie, displays the results on a user's monitor or Perform the process of playing audio through the speaker. This is shown in the upper part of FIG. Depending on the information included in the scene description, the user has the opportunity to associate with the scene. Furthermore, the scene description has information that allows for dynamic actions. In other words, the scene itself can generate events without user intervention.
【００２４】 ＭＰＥＧ−４のオブジェクトベース構造は、ＭＰＥＧ−２や他のシステムに比
べて更に一般的なシステムデコーダモデルの規定を必要とする。特に、図２に示
すように、受信機は、各オブジェクトに対応するデコーダのセットを具えるもの
と考えられる。各デコーダは、復号化バッファ及び合成バッファを有する。復号
化バッファは、ＭＰＥＧ−２と同様な技術すなわちクロックを復元する際のクロ
ックリファレンスを用いる送信機によって管理され、それは、理論的には瞬時の
復号化に続く復号化バッファからのデータの復元用のタイムスタンプを復号化す
る。合成バッファに配置されたデータは、合成器(compositor)によって使用され
、以前に配置された任意のデータに上書きされる。復号化バッファは、ＤＭＩＦ
（Digital Media Integration Framework, Part 6 of MPEG-4）アプリケーショ ンインタフェース内でカプセル化されたデマルチプレクサによって充填される。
これは概念的なインタフェースであり、ここではこれ以上の説明を必要としない
。The object-based structure of MPEG-4 requires a more general definition of a system decoder model than MPEG-2 and other systems. In particular, as shown in FIG. 2, the receiver is considered to comprise a set of decoders corresponding to each object. Each decoder has a decoding buffer and a synthesis buffer. The decoding buffer is managed by a transmitter using a technique similar to MPEG-2, i.e., a clock reference in recovering the clock, which is ideally for recovering data from the decoding buffer following instantaneous decoding. Decrypts the timestamp of Data placed in the compositing buffer is used by the compositor to overwrite any previously placed data. The decoding buffer is DMIF
(Digital Media Integration Framework, Part 6 of MPEG-4) Filled by a demultiplexer encapsulated within the application interface.
This is a conceptual interface and does not require further explanation here.
【００２５】 ＭＰＥＧ−４ シーン描写 ＭＰＥＧ−４のシーン描写情報は、ＶＲＭＬ２．０（virtual reality Modeli
ng Language）仕様の拡張である。ＶＲＭＬは、シーンを規定するツリー構造ア プローチを用いる。シーンの各ノードは、実際のビジュアル又はオーディオ情報
を有するリーフを用いて、合成及び／又はグループ化動作を実行する。さらに、
ノードは、その行為に影響を及ぼすフィールドを有する。例えば、転送ノードは
、回転角を規定する回転フィールドを有する。 [0025] The scene description information of the MPEG-4 scene description MPEG-4 is, VRML2.0 (virtual reality Modeli
ng Language) specification. VRML uses a tree structure approach that defines a scene. Each node in the scene performs a compositing and / or grouping operation with the leaves having the actual visual or audio information. further,
Nodes have fields that affect their actions. For example, the forwarding node has a rotation field that defines a rotation angle.
【００２６】 ＶＬＭＬが純粋な３次元シーン描写言語であるので、ＭＰＥＧ−４は、２次元
合成をアドレスするある追加のノードを規定する。これは、低コストシステムに
収束するアプリケーションの必要を指摘する。ＶＲＭＬに対して、ＭＰＥＧ−４
は、テキストベースシーン描写を使用せず、ＢＩＦＳ（Binary Format for Scen
es）と称される帯域効率圧縮表現を規定する。Since VLML is a pure three-dimensional scene description language, MPEG-4 defines some additional nodes that address two-dimensional compositing. This points to the need for an application that converges on a low cost system. MPEG-4 for VRML
Uses BIFS (Binary Format for Scenario) without text-based scene description.
es), which defines a bandwidth efficiency compression representation.
【００２７】 ＢＩＦＳ符号化は、ＶＲＭＬシーンのテクスチャ仕様に密接に従う。特に、ノ
ード符号化は、テキストベースＶＲＭＬファイルと同様に、デプス−ファースト
ファッション(depth-first fashion)で実行される。ＶＲＭＬの場合のように、 ノードの各タイプのフィールドは、デフォールト値を仮定する。したがって、非
デフォールト値を有するフィールドのみ各ノード内で指定される必要がある。ノ
ード内のフィールド符号化は、符号化フィールドの値に従う簡単なインデックス
ベース法を用いて実行される。ノードタイプの符号化は更に複雑なものとなる。
帯域効率を更に増大させるために、（任意の場合の）親フィールドの文脈を考慮
する。子ノードを受け入れる各フィールドを、特定のノードデータタイプに関連
させる。ノードは、既知のように、このノードデータタイプに対して特別なイン
デックスを用いて符号化される。BIFS encoding closely follows the texture specification of a VRML scene. In particular, node encoding is performed in a depth-first fashion, similar to a text-based VRML file. As in VRML, each type of node field assumes default values. Therefore, only the fields with non-default values need to be specified in each node. Field encoding within a node is performed using a simple index-based method according to the value of the encoded field. Node type encoding is more complicated.
To further increase bandwidth efficiency, consider the context of the parent field (if any). Each field that accepts child nodes is associated with a particular node data type. Nodes are encoded using a special index for this node data type, as is known.
【００２８】 符号化ノードの各々に、ノード識別子（典型的には整数）を割り当てることも
できる。これによって、そのノードをシーン中の他の位置で再使用することがで
きる。これは、ＶＲＭＬのＵＳＥ／ＤＥＦ機構と同一である。しかしながら、更
に重要なことは、インタラクションプロセスに参加できることである。Each of the encoding nodes may also be assigned a node identifier (typically an integer). This allows the node to be reused elsewhere in the scene. This is the same as the VRML USE / DEF mechanism. More important, however, is the ability to participate in the interaction process.
【００２９】 ＭＰＥＧ−４で用いられるインタラクションモデルは、ＶＲＭＬのものと同一
である。特に、ノードのフィールドは、イベントソース、イベントシンク又はそ
の両方としての役割を果たす。イベントソースを、特定のユーザ動作又はシステ
ムイベントに関連させる。ユーザイベントの例は、マウスをクリックしたときに
検出することができるセンサノードである。システムイベントの例は、システム
の時間に従ってとりがされるタイマ（タイムセンサノード）である。The interaction model used in MPEG-4 is the same as that of VRML. In particular, the fields of the node serve as event sources, event sinks, or both. An event source is associated with a particular user action or system event. An example of a user event is a sensor node that can be detected when the mouse is clicked. An example of a system event is a timer (time sensor node) that is taken according to the time of the system.
【００３０】 ダイナミックシーン行為及び会話は、イベントソースフィールドをイベントシ
ンクフィールドにリンクすることによって行われる。実際のリンクは、ＲＯＵＴ
Ｅの機構を用いて行われる。ＭＰＥＧ−４ルート仕様は、場合によっては、シー
ンノード描写直後に与えられる。その符号化は、ソースノード及びシンクノード
に対するノード識別子並びにソースフィールド及びシンクフィールドのフィール
ドインデックスに基づく。Dynamic scene actions and conversations are performed by linking an event source field to an event sink field. The actual link is ROUT
This is performed using the mechanism of E. The MPEG-4 route specification is sometimes given immediately after the scene node depiction. The encoding is based on the node identifiers for the source and sink nodes and the field index of the source and sink fields.
【００３１】 ＶＲＭＬとＭＰＥＧ-４の重大な区別は、ＭＰＥＧ−４の場合、シーン描写を 、タイムスタンプコマンドを用いて動的に更新できることである。それに対して
、ＶＲＭＬは、静的な「世界」(world)で動作する。世界をロードした後、それ を変更する機構が存在しない。ＭＰＥＧ−４において、オブジェクトを追加し又
は削除することができ、シーンの一部（又はシーン全体）を置換することができ
る。A significant distinction between VRML and MPEG-4 is that, for MPEG-4, the scene description can be updated dynamically using a timestamp command. In contrast, VRML operates in a static "world". After loading the world, there is no mechanism to change it. In MPEG-4, objects can be added or deleted, and parts of a scene (or the entire scene) can be replaced.
【００３２】オブジェクトディスクリプタ （編集などを容易にする）非常に柔軟な構造を有するために、オーディオビジ
ュアルオブジェクトの成分は、シーン描写それ自体の中には含まれない。換言す
れば、ＢＩＦＳは、シーン構造に対する情報と、純粋に合成したオブジェクト例
えばＢＩＦＳ／ＶＲＭＬノードを用いて構成した赤色の矩形のみを提供する。符
号化情報を必要とするオーディオビジュアルオブジェクトは、ＵＲＬ又はオブジ
ェクトディスクリプタのみを指定するリーフノードによってシーン中で表現され
る。Because of the very flexible structure of the object descriptor (which facilitates editing, etc.), the components of the audiovisual object are not included in the scene description itself. In other words, BIFS provides only information about the scene structure and a purely composed object such as a red rectangle constructed using BIFS / VRML nodes. Audiovisual objects that require encoded information are represented in the scene by leaf nodes that specify only URLs or object descriptors.
【００３３】 オブジェクトディスクリプタは、単一のオーディオビジュアルオブジェクトの
符号化表示を具える基本ストリームを表現する階層的に構造された情報である。
例えば、ステレオ又は多言語音声、階層的に符号化されたビデオに対して、二つ
以上のストリームが要求される。最上位のディスクリプタは、オブジェクトディ
スクリプタと称され、オブジェクトディスクリプタ識別子（ＯＤＩＤ）を基本ス
トリームディスクリプタのセットに関連させるのに用いられるシェルである。基
本ストリームディスクリプタは、ＥＳ−ＩＤと、特定のＥＳ−ＩＤに関連した基
本ストリームに含まれるデータのタイプについての情報とを有する。この情報は
、メインレベルでめいるプロファイルに従って、例えばストリームがＭＰＥＧ−
２ビデオデータを有することを受信機に知らせる。An object descriptor is hierarchically structured information representing an elementary stream comprising an encoded representation of a single audiovisual object.
For example, for stereo or multilingual audio, hierarchically encoded video, more than one stream is required. The top-level descriptor is called an object descriptor and is a shell used to associate an object descriptor identifier (ODID) with a set of elementary stream descriptors. The elementary stream descriptor has an ES-ID and information about the type of data included in the elementary stream associated with a specific ES-ID. This information is stored in accordance with the profile specified at the main level.
Inform the receiver that it has two video data.
【００３４】 ＥＳ−ＩＤの実際の基本ストリームへのマッピングは、ストリームマップテー
ブルを用いて行われる。例えば、それは、ＥＳ−ＩＤ １０を、サポート番号１
０２５に関連させる。このテーブルは、セッションセットアップ中に受信機で利
用される。複数レベルの間接行為を用いることによって、ＭＰＥＧ−４成分の操
作を容易にする。例えば、再マルチプレクサ処理は、相違するストリームマップ
テーブルしか必要としない。それ以外の情報を、ＭＰＥＧ−４成分内で変更する
必要がない。The mapping of the ES-ID to the actual elementary stream is performed using a stream map table. For example, it may call ES-ID 10 with support number 1
025. This table is used by the receiver during session setup. Using multiple levels of indirection facilitates manipulation of MPEG-4 components. For example, remultiplexing requires only a different stream map table. No other information needs to be changed in the MPEG-4 component.
【００３５】 オブジェクトディスクリプタは、それ自体の基本ストリーム内で伝送され、Ｓ
ｙｎｃ層構文に従うコマンドにパッケージ化される。これによって、オブジェク
トディスクリプタを更新し、追加し又は除去することができる。 図３は、シーンディスクリプタ中のオーディオビジュアルオブジェクトをその
基本ストリームに関連させるためにオブジェクトディスクリプタ及び基本ストリ
ームディスクリプタを用いるプロセスを示す。先ず、特定のイニシャルオブジェ
クトディスクリプタを使用して、オブジェクトディスクリプタストリーム及び選
択した成分に関連したシーンディスクリプタストリームを指定することによって
、ＭＰＥＧ−４受信機をブートストラップする。このディスクリプタは、セッシ
ョンセットアップ中に受信機に配送される。The object descriptor is transmitted in its own elementary stream,
Packaged into commands that follow the sync layer syntax. This allows object descriptors to be updated, added or removed. FIG. 3 illustrates the process of using an object descriptor and an elementary stream descriptor to associate an audiovisual object in a scene descriptor with its elementary stream. First, the MPEG-4 receiver is bootstrapped by using a particular initial object descriptor to specify the object descriptor stream and the scene descriptor stream associated with the selected component. This descriptor is delivered to the receiver during session setup.
【００３６】 本例のシーンディスクリプタは、オブジェクトディスクリプタのうちの一つを
指定するオーディオソースノードを有する。そのディスクリプタは、関連のスト
リームにＥＳ−ＩＤを提供する基本ストリームディスクリプタを有する。ＥＳ−
ＩＤは、ストリームマップテーブルを用いて、実際の転送チャネルに対して決定
される。シーンは、ムービーテクスチャノードを有し、この場合、それは、二つ
のストリームを有するスケール化自在のビデオを用いる。その結果、二つの基本
ストリームディスクリプタが含まれ、各々は適切なストリーム（ベース及びエン
ハンスメントそう）を指定する。The scene descriptor of the present example has an audio source node that specifies one of the object descriptors. The descriptor has a basic stream descriptor that provides the ES-ID for the associated stream. ES-
The ID is determined for the actual transfer channel using the stream map table. The scene has a movie texture node, where it uses a scalable video with two streams. As a result, two elementary stream descriptors are included, each specifying the appropriate stream (base and enhancement).
【００３７】ＭＰＥＧ−４クライアント／サーバインタラクション これまでの説明及びＭＰＥＧ−４シーン描写フレームワークの考察から、十分
なローカルインタラクションフレームワークが提供されている間、サーバに基づ
くインタラクションを行うファシリティが存在しない。特に、サーバに戻すべき
メッセージを描写し又はそのようなメッセージの発生をトリガする機構が存在し
ない。 MPEG-4 Client / Server Interaction From the foregoing description and consideration of the MPEG-4 scene description framework, there is no facility to perform server-based interactions while providing a sufficient local interaction framework. In particular, there is no mechanism to portray the message to be returned to the server or trigger the occurrence of such a message.
【００３８】 図４は、クライアント／サーバ環境の一例を示す。図４の右側にＭＰＥＧ−４
サーバが存在し、それは、ＳＬパッケージ化ストリームとして読み出されるデー
タの時限伝送を行うポンプを有し、ＤＭＩＦサービスプロバイダのインスタンス
も存在し、この場合、ＭＰＥＧ−４ＦｌｅｘＭｕｘマルチプレクサ処理ツールを
利用する。 ＦｌｅｘＭｕｘの仕様は任意である。既知のように、他のサーバ構造を用いる
こともできる。例えば、データソースを、ＳＬパッケージ化ストリームの代わり
にＭＰＥＧ−４ファイルとすることができる。FIG. 4 shows an example of a client / server environment. MPEG-4 on the right side of FIG.
There is a server, which has a pump for timed transmission of data read as an SL packaged stream, and also an instance of a DMIF service provider, which utilizes an MPEG-4 FlexMux multiplexer processing tool. The specifications of FlexMux are optional. As is known, other server structures can be used. For example, the data source can be an MPEG-4 file instead of an SL packaged stream.
【００３９】 サーバで発生した情報は、ネットワーク（例えば、ＩＰ又はＡＴＭ）を横切っ
て送信される。受信側には、デマルチプレクサ処理された基本ストリームをプレ
ーヤに配送するＤＭＩＦサービスプロバイダの同様なインスタンスを有する。Ｄ
ＭＩＦからＤＭＩＦへの信号送信は、セッションセットアップを実行する方法の
一つであり、ＭＰＥＧ-４のＰａｒｔ４で説明されている。既知のように、ＳＩ Ｐ，ＳＤＰ，ＲＴＳＰ等のインターネットに基づくプロトコルを含む他の方法も
可能である。Information originating at the server is transmitted across a network (eg, IP or ATM). The receiving side has a similar instance of a DMIF service provider that delivers the demultiplexed elementary stream to the player. D
Signal transmission from the MIF to the DMIF is one of the methods for performing session setup, and is described in Part-4 of MPEG-4. As is known, other methods are possible, including Internet-based protocols such as SIP, SDP, RTSP, and the like.
【００４０】 本発明の主要な目的の一つは、最初に、サーバコマンドを表現してそれをサー
バからクライアントに送信し、次いで、それを、適切な時間にクライアント側で
トリガし、最後に、サーバに戻して他の動作を開始することである。One of the main objects of the present invention is to first express a server command and send it from the server to the client, then trigger it at the appropriate time on the client side, and finally, To return to the server and start another operation.
【００４１】コマンドディスクリプタ コマンドディスクリプタフレームワークは、シーングラフのノード内のイベン
トソースにコマンドを関連させる手段を提供する。ユーザがシーンに連関すると
、関連のイベントがトリガされ、次いで、コマンドが処理されるとともにサーバ
に戻される。 Command Descriptor The command descriptor framework provides a means for associating commands with event sources within nodes of the scene graph. When a user associates with a scene, the relevant event is triggered, and then the command is processed and returned to the server.
【００４２】 実際のインタラクションそれ自体は、成分クリエータによって指定され、それ
を、マウスクリック、マウスオーバ又は他の任意の形態のインタラクション（例
えばシステムイベント）とする。コマンドディスクリプタフレームワークは、三
つのエレメント、すなわち、コマンドディスクリプタ、サーバルート又はコマン
ドルートノード及びコマンドからなる。The actual interaction itself is specified by the component creator, making it a mouse click, mouse over, or any other form of interaction (eg, a system event). The command descriptor framework consists of three elements: a command descriptor, a server root or command root node, and a command.
【００４３】 コマンドディスクリプタは、ＩＤ（識別番号）と、関連のイベントがトリガさ
れる際に最終的にサーバに戻される実コマンドとを有する。 ＩＤは、シーン表現情報からこのコマンドディスクリプタを言及するのに用い
られる。それが含むコマンドディスクリプタ及びコマンドをシーンそれ自体から
分離することによって、同一コマンドを使用するのに１個より多くのイベントを
許可する。これによって、任意の方法でシーン描写を変更することなくコマンド
の変更を許容する。The command descriptor has an ID (identification number) and the actual command that is ultimately returned to the server when the associated event is triggered. The ID is used to refer to this command descriptor from the scene expression information. Separating the command descriptors and commands it contains from the scene itself allows more than one event to use the same command. This allows the command to be changed without changing the scene description in any way.
【００４４】 コマンドディスクリプタのイベントソースフィールドモードに対する関連を、
種々の方法で行うことができる。 先ず、サーバルートを、ＢＩＦＳの規則的なルートファシリティに追加するこ
とができる。従来のルートとの差は、ルートのターゲットを他のフィールドでは
なくコマンドディスクリプタとすることである。この構造を、図５（ａ）に示す
。本例では、二つのコマンドディスクリプタに対して、シーンツリーフィールド
イベントに二つのノードを有する。センサノードは、ＭＰＥＧ−４技術のフィー
ルドで見られるように、イベントソース、イベントアウト又はイベントソース／
シンクによって他のノードに対するイベントをトリガし、それは、サーバルート
を通じてコマンドディスクリプタ１に送られる。コマンドディスクリプタ２に対
して、ノードからディスクリプタまでの直接のサーバルートが存在する。The relationship of the command descriptor to the event source field mode is
It can be done in various ways. First, a server route can be added to the BIFS regular route facility. The difference from the conventional route is that the target of the route is a command descriptor instead of another field. This structure is shown in FIG. In this example, for two command descriptors, the scene tree field event has two nodes. The sensor node may be an event source, event out or event source / as seen in the field of MPEG-4 technology.
The sink triggers an event for another node, which is sent to the command descriptor 1 through the server route. For the command descriptor 2, there is a direct server route from the node to the descriptor.
【００４５】 第２のアプローチは、新たなコマンドルートノードタイプを、ＭＰＥＧ−４に
よってサポートされるノードのリストに追加することからなる。このノードは、
「実行」イベントシンクフィールドと、コマンドディスクリプタＩＤ を有するフィールドとを有する。「実行」フィールドがイベントを受信するとき
には常に、規則的なＭＰＥＧ−４／ＶＲＭＬルートを用いて、そのＩＤに関連し
たコマンドディスクリプタを用いて、コマンドをサーバに戻す。この構造を、図
５（ｂ）に示す。図５（ａ）と比較すると、サーバルートは、コマンドルートノ
ードに置換されている。二つのケースの動作はほぼ同一である。A second approach consists in adding a new command root node type to the list of nodes supported by MPEG-4. This node
It has an "execution" event sync field and a field having a command descriptor ID. Whenever the "execute" field receives an event, it returns the command to the server using the regular MPEG-4 / VRML route, using the command descriptor associated with that ID. This structure is shown in FIG. Compared to FIG. 5A, the server root has been replaced by a command root node. The operation in the two cases is almost identical.
【００４６】 コマンドディスクリプタシンタックスを図６に示す。ビットストリームシンタ
ックスを表現するためにフレーバ媒体表示(Flavor media representation)を使 用し、それは、ＭＰＥＧ−４仕様のＰａｒｔ１でも使用されている（WWW.ee.col
umbia.edu/flavor or Part 1 of MPEG-4参照）。コマンドディスクリプタは、こ
の特定のタイプのディスクリプタとして識別する特定のタグで開始する。この場
合、コマンドＩＤに続くディスクリプタＩＤを有する。コマンドＩＤは、「開始
」や、「休止」や、「停止」のような予め規定されたサーバコマンドを信号送信
するのに使用される。それに続いて、バイトで計数されるディスクリプタ中の残
りのデータの長さ表示を有する。この場合、ＥＳ−ＩＤを計数することによって
、メッセージがサーバに戻される。複数の場合において、１対複数の通信を行う
、すなわち、単一のコマンドを複数のサーバに送信することを所望する。これは
、一連の所望のＥＳ−ＩＤに続く。最後に、アプリケーション固有のパラメータ
のセットが含まれる。これらは、コマンドがトリガされるとサーバに戻される。
コマンドＩＤの値に応じて、そのパラメータのセマンティックを予め規定するこ
とができる。FIG. 6 shows the command descriptor syntax. It uses a flavor media representation to represent the bitstream syntax, which is also used in Part 1 of the MPEG-4 specification (WWW.ee.col).
umbia.edu/flavor or Part 1 of MPEG-4). The command descriptor starts with a particular tag that identifies this particular type of descriptor. In this case, it has a descriptor ID following the command ID. The command ID is used to signal a predefined server command such as "start", "pause", or "stop". Subsequently, it has an indication of the length of the remaining data in the descriptor, counted in bytes. In this case, the message is returned to the server by counting the ES-ID. In multiple cases, it is desirable to perform one-to-many communication, ie, to send a single command to multiple servers. This follows a series of desired ES-IDs. Finally, a set of application-specific parameters is included. These are returned to the server when the command is triggered.
According to the value of the command ID, the semantics of the parameter can be defined in advance.
【００４７】 コマンドディスクリプタのバイト適合構造(byte-oriented structure)を、作 動中にサーバから非常に容易に発生させることができる。これは、ユーザイベン
トの各々を処理した後にコマンドパラメータをサーバによって連続的に更新する
必要がある場合には特に、「クッキー」管理を伴うアプリケーションに対して重
要な形態である。The byte-oriented structure of the command descriptor can be generated very easily from the server during operation. This is an important form for applications with "cookie" management, especially if command parameters need to be continuously updated by the server after processing each of the user events.
【００４８】 コマンドディスクリプタを更新するために、サーバ又はコンテントクリエータ
は、同一ＩＤを有する新たなものに従うだけでよい。 コマンドディスクリプタを除去するために、特別なコマンドを設ける。シンタ
ックスを図７に示す。コマンドは、このディスクリプタをコマンドディスクリプ
タ除去コマンドとして識別するタグとともに開始する。その後、除去すべきコマ
ンドディスクリプタのＩＤが続く。 コマンドディスクリプタ構造及びコマンドディスクリプタ除去構造の両方とも
、オブジェクトディスクリプタストリーム内で実行することができる。オブジェ
クトディスクリプタフレームワークの構造のために、ディスクリプタを識別する
タグを用いて、これらに他のディスクリプタを挟んで変化を持たせることができ
る。To update the command descriptor, the server or content creator need only follow the new one with the same ID. A special command is provided to remove the command descriptor. The syntax is shown in FIG. The command starts with a tag identifying this descriptor as a command descriptor removal command. Then follows the ID of the command descriptor to be removed. Both the command descriptor structure and the command descriptor removal structure can be executed in the object descriptor stream. Due to the structure of the object descriptor framework, tags can be used to identify descriptors, and these can be varied across other descriptors.
【００４９】 既に説明したように、コマンドディスクリプタをシーンにリンクする二つの方
法がある。それは、図８に示すようなＭＰＥＧ−４のシーン描写のビットストリ
ームシンタックスの拡張を必要とする。特に、主要なＢＩＦＳシーン構造は、サ
ーバＲＯＵＴＥ構造を含むように拡張される。規則的なＲＯＵＴＥとサーバＲＯ
ＵＴＥとの唯一の差は、ターゲットノード／フィールドの代わりにターゲットコ
マンドディスクリプタのＩＤを指定していることである。サーバＲＯＵＴＥに適
合するために他のＲＯＵＴＥコマンド（挿入、削除等）を変更することは、当業
者には既知である。全ての場合において、ターゲットノード／フィールド対を、
ターゲットコマンドディスクリプタを表示するために変更する必要がある。As described above, there are two ways to link a command descriptor to a scene. It requires an extension of the bitstream syntax of the MPEG-4 scene description as shown in FIG. In particular, the main BIFS scene structure is extended to include the server ROUTE structure. Regular ROUTE and server RO
The only difference from UTE is that it specifies the ID of the target command descriptor instead of the target node / field. Modifying other ROUTE commands (insert, delete, etc.) to conform to the server ROUTE is known to those skilled in the art. In all cases, the target node / field pair is
Must be changed to show target command descriptor.
【００５０】 コマンドルートノードアプローチを用いると、新たなノードタイプを規定する
必要がある。ノードの規定を図９に示し、それは、ＭＰＥＧ−４のＰａｒｔ１で
使用した標準的なノード規定テーブルを用いる。ノードは、二つのフィールド、
すなわち、イベントシンクとしての役割を果たす「実行」フィールドと、コマン
ドディスクリプタを指定するＵＲＬ又はこのコマンドルートノードに関連すべき
コマンドディスクリプタのＩＤを有する「コマンドディスクリプタ」フィールド
のみを有する。全てのＳＦＵｒｌフィールドの場合のように、ＩＤとＵＲＬとの
間の選択を、１ビットフラグを用いて行う（ＳＦＵｒｌフィールド符号化は、Ｍ
ＰＥＧ−４のＰａｒｔ１で規定される。）。With the command root node approach, new node types need to be defined. The node definition is shown in FIG. 9, which uses the standard node definition table used in Part 1 of MPEG-4. The node has two fields,
That is, it has only an “execution” field serving as an event sink, and a “command descriptor” field having a URL specifying a command descriptor or an ID of a command descriptor to be associated with this command root node. As in the case of all SFUrl fields, selection between ID and URL is performed using a 1-bit flag.
Specified in Part 1 of PEG-4. ).
【００５１】 イベントのコマンドディスクリプタへの関連の変化を、ノード及びその範囲内
のフィールドを変化させる標準的なＭＰＥＧ−４ ＢＩＦＳコマンドを用いて実
行することができる。 コマンドディスクリプタを、コマンドディスクリプタ中のコマンドに応じて互
いに相違する時間に互いに相違するインタラクション動作をサポートするノード
を許容するコマンドディスクリプタ更新を用いて更新することができる。コマン
ドは、ＤＭＩＦによってサポートされるＤＡＩユーザコマンドプリミティブを用
いてサーバに送信される。コマンドを伝送するのに用いられるプロトコルを含む
ためにコマンドディスクリプタを拡張することもできる。例えば、標準的なＭＰ
ＥＧ−４ファシリティではなくＨＴＴＰ ＰＯＳＴ／ＧＥＴを用いることによっ
て、互いに相違するタグを用いて提案(submission)を表すことができる。Changes in the association of an event to a command descriptor can be performed using standard MPEG-4 BIFS commands that change the node and the fields within it. The command descriptor can be updated using a command descriptor update that allows nodes supporting different interaction operations at different times according to the commands in the command descriptor. Commands are sent to the server using DAI user command primitives supported by DMIF. The command descriptor can be extended to include the protocol used to transmit the command. For example, the standard MP
By using HTTP POST / GET rather than the EG-4 facility, submissions can be represented using different tags.
【００５２】 コマンドディスクリプタフレームワークが一般的であり、かつ、アプリケーシ
ョン特有のユーザインタラクションをサポートするとしても、アプリケーション
とサーバとの間の一貫性のあるアプリケーション動作をサポートするために少数
の標準的なコマンドが必要とされる。これは、ストリーム制御のような共通のコ
マンドに対して特に当てはまる。その結果、共通の制御コマンドのセットを指定
する。サーバは、それを処理するために任意のアプリケーション特有のコマンド
に気付く必要がある。標準的なコマンドのセットによって、任意のサーバとの相
互運用が許容される。図１０は、本実施の形態に対するコマンドのセットをその
コマンドＩＤとともに示す。当業者には明らかなように、他の割当ても可能であ
る。Although the command descriptor framework is general and supports application-specific user interactions, a small number of standard commands are used to support consistent application behavior between the application and the server. Is required. This is especially true for common commands such as stream control. As a result, a common set of control commands is specified. The server needs to be aware of any application-specific commands to process it. A standard set of commands allows interoperability with any server. FIG. 10 shows a set of commands for this embodiment along with their command IDs. Other assignments are possible, as will be apparent to those skilled in the art.
【００５３】 図１１は、クライアントからサーバに送信される際のコマンドのシンタックス
を示す。それは、実質的には、コマンドディスクリプタのコピーからディスクリ
プタＩＤを除外したものである。特に、それは、コマンドＩＤと、このコマンド
が送信されたＥＳ−ＩＤのセットと、コマンドディスクリプタで指定されたパラ
メータのセットとを有する。そのコマンドは、ＳＬパッケージ化ストリームで送
信され、したがって、全タイミング及びシーケンス化情報をサーバで利用できる
。FIG. 11 shows the syntax of a command transmitted from the client to the server. It is essentially a copy of the command descriptor excluding the descriptor ID. In particular, it has a command ID, a set of ES-IDs to which this command was sent, and a set of parameters specified in the command descriptor. The command is sent in the SL packaged stream, so all timing and sequencing information is available at the server.
【００５４】ディスパッチサーバコマンドに対する処理イベント サーバルートの使用によって開始するユーザ又はシステムイベントに基づくコ
マンドを発生させるプロセスを詳細に説明する。 図１２を参照すると、ユーザ又はシステムイベントが発生すると、受信機は、
イベントをＲＯＵＴＥ及びＳｅｒｖｅｒ ＲＯＵＴＥのネットワークを通じて伝
播する。イベントを伝播するために、ＲＯＵＴＥのタイプは重要ではなく、その
結果、同一のアルゴリズムを使用することができる。イベントをＳｅｒｖｅｒ
Ｒｏｕｔｅを通じて伝播する場合、システムは、論理的な真の値に関連する状態
にイベントが対応するか否か検査する。対応しない場合、サーバコマンド処理を
終了する。対応する場合、ディスパッチ処理を実行する。 Processing for Dispatch Server Commands The process of generating commands based on user or system events initiated by use of the event server route will be described in detail. Referring to FIG. 12, when a user or system event occurs, the receiver:
Propagate events through a network of ROUTE and Server ROUTE. To propagate the event, the type of ROUTE is not important, so that the same algorithm can be used. Event Server
When propagating through Route, the system checks whether the event corresponds to a state associated with a logical true value. If not, the server command processing ends. If so, dispatch processing is performed.
【００５５】 サーバルートに対するこのプロセスを図１３に示す。このプロセスは、サーバ
ルートからコマンドディスクリプタＩＤを取得する。この場合、それを、締結シ
ーン(tie scene)で利用できるコマンドディスクリプタに有する情報に関連させ る。整合が見つからない場合、これは誤りであり、更なる動作は行われない。整
合が見つからない場合、システムは、それが既知のセマンティック（予め規定さ
れたコマンドＩＤ）に対応するか否かを知るために、コマンドＩＤを検査する。
それが既知のセマンティックに対応する場合、システムは、所望のセマンティッ
クに従ってコマンドパラメータを処理する。それが既知のセマンティックに対応
しない場合、システムは、この状態をスキップし、表示したコマンドをパッケー
ジし、それをサーバに送信する。This process for a server route is shown in FIG. This process obtains a command descriptor ID from the server root. In this case, it relates to the information it has in the command descriptor available in the tie scene. If no match is found, this is incorrect and no further action is taken. If no match is found, the system checks the command ID to see if it corresponds to a known semantic (predefined command ID).
If it corresponds to a known semantic, the system processes the command parameters according to the desired semantics. If it does not correspond to known semantics, the system skips this state, packages the displayed command, and sends it to the server.
【００５６】 コマンドルートノードの場合、図１４を参照すると、ユーザ又はシステムイベ
ントが発生すると、受信機は、ＲＯＵＴＥのネットワークを通じてイベントを伝
播する。イベントがコマンドルートノードの「実行」フィールドに到達すると、
システムは、論理的な真の値に関連した状態にイベントが対応するか否か検査す
る。対応しない場合、サーバコマンド処理を終了し、対応する場合、ディスパッ
チプロセスを実行する。In the case of the command root node, referring to FIG. 14, when a user or system event occurs, the receiver propagates the event through the ROUTE network. When the event reaches the "run" field of the command root node,
The system checks whether the event corresponds to a state associated with a logical true value. If not, the server command processing is terminated; otherwise, a dispatch process is executed.
【００５７】 コマンドルートノードの場合のこのプロセスを図１５に示す。ステップのシー
ケンスは図１３とほぼ同一であり、その違いは、コマンドディスクリプタＩＤに
対する基準がサーバルートではなくコマンドルートノードに存在することである
。This process for the command root node is shown in FIG. The sequence of steps is almost the same as in FIG. 13 except that the criterion for the command descriptor ID is not the server root but the command root node.
【図１】 ＭＰＥＧ−４クライアントすなわち端末の全体に亘る構造を示す図で
ある。FIG. 1 shows the overall structure of an MPEG-4 client, ie terminal.
【図２】 ＭＰＥＧ−４システムデコーダモデルを示す。FIG. 2 shows an MPEG-4 system decoder model.
【図３】 オブジェクトディスクリプタ及び基本ストリームディスクリプタを通
じてオーディオビジュアルオブジェクトを他のストリームの符号化データに関連
させるためにＭＰＥＧ−４で用いられる方法を示す。FIG. 3 illustrates a method used in MPEG-4 to associate audiovisual objects with coded data of another stream through an object descriptor and an elementary stream descriptor.
【図４】 ＭＰＥＧ−４に基づく通信システムのクライアント／サーバの一般的
な形態を示す。FIG. 4 shows a general form of a client / server of a communication system based on MPEG-4.
【図５】 （ａ）サーバルート及び（ｂ）コマンドルートノードを用いてシーン
描写ノード特にセンサノードをコマンドディスクリプタに関連させる方法を示す
。FIG. 5 illustrates a method of associating a scene description node, particularly a sensor node, with a command descriptor using (a) a server root and (b) a command root node.
【図６】 好適な実施の形態で説明したコマンドディスクリプタの２値シンタッ
クスを示す。FIG. 6 shows the binary syntax of the command descriptor described in the preferred embodiment.
【図７】 好適な実施の形態で説明したコマンドディスクリプタ除去コマンドの
２値シンタックスを示す。FIG. 7 shows the binary syntax of the command descriptor removal command described in the preferred embodiment.
【図８】 サーバルート構造の２値シンタックス及びそれをメインＭＰＥＧ−４ ＢＩＦＳシーンシンタックスに付加する方法を示す。FIG. 8 shows a binary syntax of a server root structure and a method of adding it to a main MPEG-4 BIFS scene syntax.
【図９】 コマンドルート構造のノードシンタックス及びセマンティックを示す
。FIG. 9 shows the node syntax and semantics of the command route structure.
【図１０】 予め規定されたコマンドＩＤ及びそれに関連した解釈のリストを示
す。FIG. 10 shows a list of predefined command IDs and their associated interpretations.
【図１１】 好適な実施の形態に対するコマンドディスクリプタに含まれるコマ
ンドの２値シンタックスを示す。FIG. 11 shows a binary syntax of a command included in a command descriptor according to the preferred embodiment.
【図１２】 サーバルートが用いられる場合のＭＰＥＧ−４クライアントのサー
バコマンドをトリガするプロセスを示す流れ図である。FIG. 12 is a flowchart illustrating a process for triggering a server command of an MPEG-4 client when a server route is used.
【図１３】 サーバルートが用いられる場合のサーバに戻されたコマンドに配置
すべきデータのアセンブルのプロセスの流れ図である。FIG. 13 is a flowchart of a process of assembling data to be placed in a command returned to the server when a server route is used.
【図１４】 コマンドルートノードが用いられる場合のＭＰＥＧ−４に含まれる
サーバコマンドをトリガするプロセスの流れ図である。FIG. 14 is a flowchart of a process for triggering a server command included in MPEG-4 when a command root node is used.
【図１５】 コマンドルートノードが用いられる場合のサーバに戻されたコマン
ドに配置すべきデータのアセンブルのプロセスの流れ図である。FIG. 15 is a flow diagram of a process for assembling data to be placed in a command returned to the server when a command root node is used.
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ， ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，Ｌ Ｔ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ， ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ハリ カイ ヴァ アメリカ合衆国 ニューヨーク州 10027 ニューヨーク ウェスト ワンハンドレ ッド ナインティーンス ストリート 419 アパートメント ８イー (72)発明者 アレクサンドロス エレフセリアディス アメリカ合衆国 ニューヨーク州 10027 ニューヨーク リヴァーサイド ドライ ヴ 560 アパートメント 42 Ｆターム(参考） 5C059 MA00 PP28 RB02 RC02 RC04 SS06 SS07 ──────────────────────────────────────────────────続 き Continuation of front page (81) Designated country EP (AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, SE ), OA (BF, BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR, NE, SN, TD, TG), AP (GH, GM, KE, LS, MW, SD, SZ, UG, ZW), EA (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM), AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES, FI, GB, GD, GE, GH, GM, HR, HU, ID, IL, IN, IS, JP, KE , KG, KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, UZ, VN, YU, ZW (72) Inventor Harikayva 10027 New York West One Handed Nineteen, New York, United States of America S Street 419 Apartment 8e (72) Inventor Alexandros Elefseriadis 10027 New York, NY United States Riverside Drive 560 Apartment 42 F-term (Reference) 5C059 MA00 PP28 RB02 RC02 RC04 SS06 SS07
Claims (14)
報の通信を行う方法であって、 コマンド、コマンドディスクリプタ及びサーバルートとコマンドノードとのう
ちの一方を有するコマンドメッセージを発生させるステップと、 イベントがトリガされると前記コマンドメッセージを送信するステップとを具
えることを特徴とする方法。1. A method for communicating command information between a server and a client of a conversational communication system, comprising: generating a command message having a command, a command descriptor, and one of a server root and a command node. And transmitting the command message when an event is triggered.
る請求項１記載の方法。2. The method of claim 1, wherein said interactive communication system is based on MPEG-4.
インタラクションモデルに適合することを特徴とする請求項２記載の方法。3. The method according to claim 2, wherein the command message conforms to a mow interaction model defined in MPEG-4.
請求項１記載の方法。4. The method according to claim 1, wherein the event is triggered by a mouse click.
項１記載の方法。5. The method of claim 1, wherein the triggering of the event is a timer signal.
を特徴とする請求項１記載の方法。6. The method according to claim 1, wherein said command information is transmitted from said server to a client.
を特徴とする請求項１記載の方法。7. The method of claim 1, wherein said command information is transmitted from said client to a server.
具える会話形通信システムであって、 コマンド、コマンドディスクリプタ及びサーバルートとコマンドノードとのう
ちの一方を有するコマンドメッセージを発生させる手段と、 イベントがトリガされると前記コマンドメッセージを送信する手段とを具える
ことを特徴とするシステム。8. A conversational communication system comprising means for communicating command information between a server and a client, comprising: a command, a command descriptor, and a command message having one of a server route and a command node. A system comprising: means for generating; and means for transmitting the command message when an event is triggered.
。9. The system according to claim 8, wherein the system is based on MPEG-4.
るインタラクションモデルに適合することを特徴とする請求項９記載のシステム
。10. The system according to claim 9, wherein said command message conforms to an MPEG-4 rule-of-rue interaction model.
る請求項８記載のシステム。11. The system according to claim 8, wherein said event is triggered by a mouse click.
求項８記載のシステム。12. The system according to claim 8, wherein the trigger of the event is a timer signal.
とを特徴とする請求項８記載のシステム。13. The system according to claim 8, wherein said command information is transmitted from said server to a client.
とを特徴とする請求項８記載のシステム。14. The system according to claim 8, wherein said command information is transmitted from said client to a server.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7320398P | 1998-01-30 | 1998-01-30 | |
| US60/073,203 | 1998-01-30 | ||
| PCT/US1999/002063 WO1999039272A1 (en) | 1998-01-30 | 1999-01-29 | Method and system for client-server interaction in interactive communications |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002502169A true JP2002502169A (en) | 2002-01-22 |
| JP4194240B2 JP4194240B2 (en) | 2008-12-10 |
Family
ID=22112365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000529661A Expired - Lifetime JP4194240B2 (en) | 1998-01-30 | 1999-01-29 | Method and system for client-server interaction in conversational communication |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1049984A4 (en) |
| JP (1) | JP4194240B2 (en) |
| KR (1) | KR100580437B1 (en) |
| CN (1) | CN100383764C (en) |
| AU (1) | AU2487799A (en) |
| CA (1) | CA2319820A1 (en) |
| WO (1) | WO1999039272A1 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100636110B1 (en) * | 1999-10-29 | 2006-10-18 | 삼성전자주식회사 | Terminal supporting signaling for MPEG-4 tranceiving |
| KR100429838B1 (en) | 2000-03-14 | 2004-05-03 | 삼성전자주식회사 | User request processing method and apparatus using upstream channel in interactive multimedia contents service |
| FR2819669B1 (en) * | 2001-01-15 | 2003-04-04 | Get Int | METHOD AND EQUIPMENT FOR MANAGING INTERACTIONS BETWEEN A CONTROL DEVICE AND A MULTIMEDIA APPLICATION USING THE MPEG-4 STANDARD |
| FR2819604B3 (en) * | 2001-01-15 | 2003-03-14 | Get Int | METHOD AND EQUIPMENT FOR MANAGING SINGLE OR MULTI-USER MULTIMEDIA INTERACTIONS BETWEEN CONTROL DEVICES AND MULTIMEDIA APPLICATIONS USING THE MPEG-4 STANDARD |
| CN100366077C (en) * | 2002-04-26 | 2008-01-30 | 纽约市哥伦比亚大学托管会 | Method and system for optimal video transcoding based on utility function descriptors |
| KR100925198B1 (en) * | 2003-03-17 | 2009-11-06 | 엘지전자 주식회사 | Method of exchanging user messages among interactive disk players |
| US7958535B2 (en) | 2003-09-25 | 2011-06-07 | Sharp Laboratories Of America, Inc. | URI pointer system and method for the carriage of MPEG-4 data in an MPEG-2 transport stream |
| KR101503082B1 (en) * | 2006-10-25 | 2015-03-16 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | rich media stream management |
| KR100950082B1 (en) * | 2007-06-22 | 2010-03-26 | 주식회사 넷앤티비 | Method for Transmitting Compressed Image Using MPEG-4 BIFS Stream |
| KR20080114496A (en) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | Method and apparatus for composing scene using laser contents |
| FR2930662B1 (en) * | 2008-04-23 | 2010-05-21 | Streamezzo | METHOD OF SECURING AN EVOLVING SCENE, DEVICE, SIGNAL AND CORRESPONDING COMPUTER PROGRAM, METHOD OF UPDATING AN EVOLUTIVE SCENE, CORRESPONDING DEVICE AND COMPUTER PROGRAM |
| CN102271144A (en) * | 2010-06-01 | 2011-12-07 | 中兴通讯股份有限公司 | P2P (point to point) overlay network, data resource operating method and new node adding method |
| CN103905988B (en) * | 2014-04-04 | 2017-12-01 | 北京国交信通科技发展有限公司 | Boat-carrying base station, mobile terminal, the overboard warning system and method for being opened and closed ring mode |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706290A (en) * | 1994-12-15 | 1998-01-06 | Shaw; Venson | Method and apparatus including system architecture for multimedia communication |
| CA2118278C (en) * | 1993-12-21 | 1999-09-07 | J. David Garland | Multimedia system |
| WO1996017306A2 (en) * | 1994-11-21 | 1996-06-06 | Oracle Corporation | Media server |
| CA2181781C (en) * | 1995-07-26 | 2000-02-29 | Seiji Iwafune | Television system for providing interactive television programs and server system for constructing the television system |
| US5671225A (en) * | 1995-09-01 | 1997-09-23 | Digital Equipment Corporation | Distributed interactive multimedia service system |
| US5621892A (en) * | 1995-10-10 | 1997-04-15 | Intel Corporation | Method and apparatus for managing alerts and events in a networked computer system |
| US5794250A (en) * | 1995-10-20 | 1998-08-11 | Ncr Corporation | Method and apparatus for extending existing database management system for new data types |
| US5864843A (en) * | 1995-10-20 | 1999-01-26 | Ncr Corporation | Method and apparatus for extending a database management system to operate with diverse object servers |
| US5790124A (en) * | 1995-11-20 | 1998-08-04 | Silicon Graphics, Inc. | System and method for allowing a performer to control and interact with an on-stage display device |
| US5784567A (en) * | 1995-12-13 | 1998-07-21 | Silicon Graphics, Inc. | System and method for coordinating communication between layers of a layered communication system |
| US5850218A (en) * | 1997-02-19 | 1998-12-15 | Time Warner Entertainment Company L.P. | Inter-active program guide with default selection control |
| US5818935A (en) * | 1997-03-10 | 1998-10-06 | Maa; Chia-Yiu | Internet enhanced video system |
| US5892915A (en) * | 1997-04-25 | 1999-04-06 | Emc Corporation | System having client sending edit commands to server during transmission of continuous media from one clip in play list for editing the play list |
-
1999
- 1999-01-29 JP JP2000529661A patent/JP4194240B2/en not_active Expired - Lifetime
- 1999-01-29 WO PCT/US1999/002063 patent/WO1999039272A1/en active IP Right Grant
- 1999-01-29 EP EP99904489A patent/EP1049984A4/en not_active Withdrawn
- 1999-01-29 AU AU24877/99A patent/AU2487799A/en not_active Abandoned
- 1999-01-29 CN CNB998045829A patent/CN100383764C/en not_active Expired - Lifetime
- 1999-01-29 CA CA002319820A patent/CA2319820A1/en not_active Abandoned
- 1999-01-29 KR KR1020007008365A patent/KR100580437B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1295689A (en) | 2001-05-16 |
| CN100383764C (en) | 2008-04-23 |
| EP1049984A1 (en) | 2000-11-08 |
| CA2319820A1 (en) | 1999-08-05 |
| AU2487799A (en) | 1999-08-16 |
| JP4194240B2 (en) | 2008-12-10 |
| KR20010040503A (en) | 2001-05-15 |
| EP1049984A4 (en) | 2003-09-17 |
| KR100580437B1 (en) | 2006-05-15 |
| WO1999039272A1 (en) | 1999-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20010000962A1 (en) | Terminal for composing and presenting MPEG-4 video programs | |
| US8776150B2 (en) | Implementation method and system for a media-on-demand frame-spanning playing mode in a peer-to-peer network | |
| US6751623B1 (en) | Flexible interchange of coded multimedia facilitating access and streaming | |
| US7428547B2 (en) | System and method of organizing data to facilitate access and streaming | |
| US6580756B1 (en) | Data transmission method, data transmission system, data receiving method, and data receiving apparatus | |
| US7149770B1 (en) | Method and system for client-server interaction in interactive communications using server routes | |
| US8046338B2 (en) | System and method of organizing data to facilitate access and streaming | |
| JP4194240B2 (en) | Method and system for client-server interaction in conversational communication | |
| US7216288B2 (en) | Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system | |
| KR102473346B1 (en) | Method and apparatus for digital broadcast services | |
| CN110996160A (en) | Video processing method and device, electronic equipment and computer readable storage medium | |
| JP4391231B2 (en) | Broadcasting multimedia signals to multiple terminals | |
| US20230396808A1 (en) | Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media | |
| US20020071030A1 (en) | Implementation of media sensor and segment descriptor in ISO/IEC 14496-5 (MPEG-4 reference software) | |
| JP2000232632A (en) | Data transmission method, data transmission system, data reception method and data receiver | |
| Cheok et al. | SMIL vs MPEG-4 BIFS | |
| JP2004312713A (en) | Data transmitting apparatus | |
| Fernando et al. | Java in MPEG-4 (MPEG-J) | |
| KR100940603B1 (en) | SAF Synchronization Layer Packet Structure, Method For Providing the Same | |
| Kalva | Object-Based Audio-Visual Services | |
| Darlagiannis | COSMOS: Collaborative system framework based on MPEG-4 objects and streams. | |
| De Petris et al. | Gerard Fernando and Viswanathan Swaminathan Sun Microsystems, Menlo Park, California Atul Puri and Robert L. Schmidt AT&T Labs, Red Bank, New Jersey | |
| Herpel et al. | Olivier Avaro Deutsche Telekom-Berkom GmbH, Darmstadt, Germany Alexandros Eleftheriadis Columbia University, New York, New York | |
| Cheok et al. | DEPARTMENT OF ELECTRICAL ENGINEERING TECHNICAL REPORT | |
| MXPA00012717A (en) | Terminal for composing and presenting mpeg-4 video programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060529 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070521 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071010 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071029 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080425 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080507 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080603 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080610 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080627 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |