JP2000188752A - 多重分離制御装置 - Google Patents
多重分離制御装置Info
- Publication number
- JP2000188752A JP2000188752A JP36357598A JP36357598A JP2000188752A JP 2000188752 A JP2000188752 A JP 2000188752A JP 36357598 A JP36357598 A JP 36357598A JP 36357598 A JP36357598 A JP 36357598A JP 2000188752 A JP2000188752 A JP 2000188752A
- Authority
- JP
- Japan
- Prior art keywords
- data
- control
- image
- image data
- time information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 映像音声の再生同期のみならず、その再生さ
れる映像音声に同期して装置制御することができる多重
分離制御装置を実現する。 【解決手段】 多重化された画像データおよび制御デー
タを分離してそれぞれに時間情報を付加して一時記憶手
段に記憶しておき、付加された時間情報に対応した同期
タイミングに従って、対応する画像データおよび制御デ
ータを一時記憶手段から読み出して画像データを再生し
ながら制御データに従って制御処理すると同時に、画像
データに付加される時間情報と制御データに付加される
時間情報との差に応じて同期タイミングを修正する。こ
れにより映像音声の同期および表示だけでなくその映像
音声に同期して装置制御でき、さらに処理時間差に応じ
て同期タイミングを修正する為、映像音声と制御装置の
同期ずれを回避できる。
れる映像音声に同期して装置制御することができる多重
分離制御装置を実現する。 【解決手段】 多重化された画像データおよび制御デー
タを分離してそれぞれに時間情報を付加して一時記憶手
段に記憶しておき、付加された時間情報に対応した同期
タイミングに従って、対応する画像データおよび制御デ
ータを一時記憶手段から読み出して画像データを再生し
ながら制御データに従って制御処理すると同時に、画像
データに付加される時間情報と制御データに付加される
時間情報との差に応じて同期タイミングを修正する。こ
れにより映像音声の同期および表示だけでなくその映像
音声に同期して装置制御でき、さらに処理時間差に応じ
て同期タイミングを修正する為、映像音声と制御装置の
同期ずれを回避できる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像データと制御
データとを多重化した多重化データから画像データと制
御データとを多重分離すると共に、多重分離された画像
データの再生に同期にさせながら、多重分離された制御
データに応じて装置制御する多重分離制御装置に関す
る。
データとを多重化した多重化データから画像データと制
御データとを多重分離すると共に、多重分離された画像
データの再生に同期にさせながら、多重分離された制御
データに応じて装置制御する多重分離制御装置に関す
る。
【０００２】
【従来の技術】従来、画像データと制御データとを分離
する技術としては、例えば特開平５−２２７１９号公報
に開示されているように、画像、音声および制御データ
を多重化し、そのデータを転送して多重分離して利用す
るものが知られている。図７はこうした従来技術を説明
するためのブロック図である。この図において、マルチ
メディア多重分離・端末間制御部７１は、網インターフ
ェース・通信制御部７２が送受した通信フレームの画像
データと制御データについての多重分離を行なう。
する技術としては、例えば特開平５−２２７１９号公報
に開示されているように、画像、音声および制御データ
を多重化し、そのデータを転送して多重分離して利用す
るものが知られている。図７はこうした従来技術を説明
するためのブロック図である。この図において、マルチ
メディア多重分離・端末間制御部７１は、網インターフ
ェース・通信制御部７２が送受した通信フレームの画像
データと制御データについての多重分離を行なう。
【０００３】画像コーデック７３は、画像データを符号
化／復号化する。映像入出力インターフェース７４は、
外部カメラ７５と画像コーデック７３とを接続する。制
御部７６は、マルチメディア多重分離・端末間制御部７
１から受け取った制御データに基づいて、カメラ外部機
器マルチコネクタ７７を介して外部カメラ７８の動作を
制御する。このような構成によれば、映像入出力インタ
ーフェース７４を介してカメラ７５およびモニタを接続
すれば、外部からカメラ動作を制御し得るテレビ会議シ
ステムを構築することが可能になっている。
化／復号化する。映像入出力インターフェース７４は、
外部カメラ７５と画像コーデック７３とを接続する。制
御部７６は、マルチメディア多重分離・端末間制御部７
１から受け取った制御データに基づいて、カメラ外部機
器マルチコネクタ７７を介して外部カメラ７８の動作を
制御する。このような構成によれば、映像入出力インタ
ーフェース７４を介してカメラ７５およびモニタを接続
すれば、外部からカメラ動作を制御し得るテレビ会議シ
ステムを構築することが可能になっている。
【０００４】
【発明が解決しようとする課題】ところで、こうした従
来技術では、画像再生と制御データの処理タイミングの
同期をとることができない。この為、画像データや音声
データ、および制御データによる画像表示と制御デバイ
スは独立して動作し、それら一連の動作を同期させるこ
とが出来ない問題や、それぞれの処理部が独立している
ことから処理時間の差などにより、実際に画像再生、デ
バイス制御されたときには、時間のずれが起こってしま
ったり、ある画像に合わせてカメラの動作を同期して移
動させたりすることができないという問題がある。
来技術では、画像再生と制御データの処理タイミングの
同期をとることができない。この為、画像データや音声
データ、および制御データによる画像表示と制御デバイ
スは独立して動作し、それら一連の動作を同期させるこ
とが出来ない問題や、それぞれの処理部が独立している
ことから処理時間の差などにより、実際に画像再生、デ
バイス制御されたときには、時間のずれが起こってしま
ったり、ある画像に合わせてカメラの動作を同期して移
動させたりすることができないという問題がある。
【０００５】そこで本発明は、このような事情に鑑みて
なされたもので、映像音声の再生同期のみならず、その
再生される映像音声に同期して装置制御することができ
る多重分離制御装置を提供することを目的としている。
なされたもので、映像音声の再生同期のみならず、その
再生される映像音声に同期して装置制御することができ
る多重分離制御装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明では、多重化された画像デー
タおよび制御データを分離し、分離した画像データおよ
び制御データにそれぞれ時間情報を付加して出力する多
重分離手段と、この多重分離手段の出力を一時記憶する
一時記憶手段と、前記一時記憶手段に格納される画像デ
ータおよび制御データに付加されている時間情報に対応
した同期タイミングに従って、対応する画像データおよ
び制御データの読み出し指示を発生するタイミング制御
手段と、このタイミング制御手段の読み出し指示に応じ
て前記一時記憶手段から読み出される画像データを再生
する一方、その画像データに付加される時間情報をフィ
ードバック出力する画像再生手段と、前記タイミング制
御手段の読み出し指示に応じて一時記憶手段から読み出
される制御データに従って制御処理すると共に、その制
御データに付加される時間情報をフィードバック出力す
る制御処理手段と、前記画像再生手段および制御処理手
段がそれぞれフィードバック出力する時間情報の差に応
じて前記タイミング制御手段が読み出し指示を発生する
同期タイミングを修正するタイミング修正手段とを具備
することを特徴とする。
め、請求項１に記載の発明では、多重化された画像デー
タおよび制御データを分離し、分離した画像データおよ
び制御データにそれぞれ時間情報を付加して出力する多
重分離手段と、この多重分離手段の出力を一時記憶する
一時記憶手段と、前記一時記憶手段に格納される画像デ
ータおよび制御データに付加されている時間情報に対応
した同期タイミングに従って、対応する画像データおよ
び制御データの読み出し指示を発生するタイミング制御
手段と、このタイミング制御手段の読み出し指示に応じ
て前記一時記憶手段から読み出される画像データを再生
する一方、その画像データに付加される時間情報をフィ
ードバック出力する画像再生手段と、前記タイミング制
御手段の読み出し指示に応じて一時記憶手段から読み出
される制御データに従って制御処理すると共に、その制
御データに付加される時間情報をフィードバック出力す
る制御処理手段と、前記画像再生手段および制御処理手
段がそれぞれフィードバック出力する時間情報の差に応
じて前記タイミング制御手段が読み出し指示を発生する
同期タイミングを修正するタイミング修正手段とを具備
することを特徴とする。
【０００７】好ましい態様として、請求項２に記載の発
明では、前記画像再生手段は、映像データおよび音声デ
ータからなる画像データを再生する手段であって、映像
データと音声データとを同期再生することを特徴とし、
請求項３に記載の発明では、前記多重分離手段は、伝送
されるパケットから画像データと制御データとを識別し
て画像データストリームと制御データストリームとに分
離し、分離された画像データストリームおよび制御デー
タストリームにそれぞれ時間情報を付加することを特徴
とする。
明では、前記画像再生手段は、映像データおよび音声デ
ータからなる画像データを再生する手段であって、映像
データと音声データとを同期再生することを特徴とし、
請求項３に記載の発明では、前記多重分離手段は、伝送
されるパケットから画像データと制御データとを識別し
て画像データストリームと制御データストリームとに分
離し、分離された画像データストリームおよび制御デー
タストリームにそれぞれ時間情報を付加することを特徴
とする。
【０００８】さらに、上記請求項１に従属する請求項４
に記載の多重分離装置では、多重化される画像データあ
るいは制御データを複数種にし、この複数種が多重化さ
れた画像データあるいは制御データを分離し、分離した
複数種の画像データあるいは制御データに従って、複数
種の画像再生に同期した制御処理あるいは唯一の画像再
生に同期した複数の制御処理を行うことを特徴とする。
に記載の多重分離装置では、多重化される画像データあ
るいは制御データを複数種にし、この複数種が多重化さ
れた画像データあるいは制御データを分離し、分離した
複数種の画像データあるいは制御データに従って、複数
種の画像再生に同期した制御処理あるいは唯一の画像再
生に同期した複数の制御処理を行うことを特徴とする。
【０００９】本発明では、多重化された画像データおよ
び制御データを分離してそれぞれに時間情報を付加して
一時記憶手段に記憶しておき、付加されている時間情報
に対応した同期タイミングに従って、対応する画像デー
タおよび制御データを一時記憶手段から読み出して画像
データを再生しながら制御データに従って制御処理する
と同時に、画像データに付加される時間情報と制御デー
タに付加される時間情報との差に応じて同期タイミング
を修正して行くので、映像音声の再生同期のみならず、
その再生される映像音声に同期して装置制御することが
可能になる。
び制御データを分離してそれぞれに時間情報を付加して
一時記憶手段に記憶しておき、付加されている時間情報
に対応した同期タイミングに従って、対応する画像デー
タおよび制御データを一時記憶手段から読み出して画像
データを再生しながら制御データに従って制御処理する
と同時に、画像データに付加される時間情報と制御デー
タに付加される時間情報との差に応じて同期タイミング
を修正して行くので、映像音声の再生同期のみならず、
その再生される映像音声に同期して装置制御することが
可能になる。
【００１０】
【発明の実施の形態】以下、本発明による実施の一形態
について図面を参照して説明する。 （１）発明の概要 本発明による多重分離制御装置は、多重化されたデジタ
ルデータを、画像データと制御データとに分離してそれ
ぞれのデータに応じた動作を同期して行なわせることを
可能とする機能を有する。この機能を利用することによ
り、多重化されたデータを送信するデバイス、たとえば
デジタルＶＴＲやサテライトチューナーから出力された
データを画像データと制御データとに分離して、画像デ
ータを再生中に、ある画像に合わせて他の機器を同期し
て制御することを特徴とする。
について図面を参照して説明する。 （１）発明の概要 本発明による多重分離制御装置は、多重化されたデジタ
ルデータを、画像データと制御データとに分離してそれ
ぞれのデータに応じた動作を同期して行なわせることを
可能とする機能を有する。この機能を利用することによ
り、多重化されたデータを送信するデバイス、たとえば
デジタルＶＴＲやサテライトチューナーから出力された
データを画像データと制御データとに分離して、画像デ
ータを再生中に、ある画像に合わせて他の機器を同期し
て制御することを特徴とする。
【００１１】（２）構成 ａ．全体構成 図１を参照して実施の一形態による多重分離制御装置の
構成について説明する。この図において、多重化手段８
は画像データ入力手段６および制御データ入力手段８を
介してそれぞれ入力されたデータを多重化する。多重化
されたデータは多重化データ伝送手段２を経て多重分離
制御装置に供給される。多重分離制御装置は、構成要素
１，９，１０，５，４，３，１１からなる。画像／制御
データ分離手段１は、多重化データを画像データと制御
データに分離し、バッファ９，１０に書き込んでいく
（ここで画像データとは映像データと音声の両方を含ん
でいても良いし、映像データだけでも良い。以下同
様）。分離の際、画像データと制御データに時間情報を
付加していく。それぞれのデータは、タイミング制御手
段５に送られ、付加されている時間情報が確認される。
その後、タイミング制御手段５はバッファ９にある画像
データの出力を許可する。
構成について説明する。この図において、多重化手段８
は画像データ入力手段６および制御データ入力手段８を
介してそれぞれ入力されたデータを多重化する。多重化
されたデータは多重化データ伝送手段２を経て多重分離
制御装置に供給される。多重分離制御装置は、構成要素
１，９，１０，５，４，３，１１からなる。画像／制御
データ分離手段１は、多重化データを画像データと制御
データに分離し、バッファ９，１０に書き込んでいく
（ここで画像データとは映像データと音声の両方を含ん
でいても良いし、映像データだけでも良い。以下同
様）。分離の際、画像データと制御データに時間情報を
付加していく。それぞれのデータは、タイミング制御手
段５に送られ、付加されている時間情報が確認される。
その後、タイミング制御手段５はバッファ９にある画像
データの出力を許可する。
【００１２】画像データは、画像データ再生手段３に転
送され、音声データ再生手段および映像データ再生手段
からなるデコーダ１１に転送される。一方、制御データ
は画像データの時間情報と制御データの時間情報が一致
したときに、バッファ１０からの出力を許可される。制
御データは制御データ処理手段４に転送されて、処理さ
れる。処理とは、制御データにより接続されているデバ
イスを動作させることである。そして画像データ再生手
段３および制御データ処理手段４は付加されていた時間
情報をタイミング制御手段５にフィードバックし、これ
によりタイミング制御手段５は画像データ再生手段３に
よる処理時間と制御データ処理手段４による処理時間と
の差を検知する。その後タイミング制御手段５は適切な
タイミングでバッファ９，１０からのデータ出力を制御
し、データ処理の同期をとる。映像と音声の同期は既存
の方式によるデコーダ１１で実現され、再生される。同
期を取るのは音声と映像、それらの再生データと制御デ
ータの２段となる。
送され、音声データ再生手段および映像データ再生手段
からなるデコーダ１１に転送される。一方、制御データ
は画像データの時間情報と制御データの時間情報が一致
したときに、バッファ１０からの出力を許可される。制
御データは制御データ処理手段４に転送されて、処理さ
れる。処理とは、制御データにより接続されているデバ
イスを動作させることである。そして画像データ再生手
段３および制御データ処理手段４は付加されていた時間
情報をタイミング制御手段５にフィードバックし、これ
によりタイミング制御手段５は画像データ再生手段３に
よる処理時間と制御データ処理手段４による処理時間と
の差を検知する。その後タイミング制御手段５は適切な
タイミングでバッファ９，１０からのデータ出力を制御
し、データ処理の同期をとる。映像と音声の同期は既存
の方式によるデコーダ１１で実現され、再生される。同
期を取るのは音声と映像、それらの再生データと制御デ
ータの２段となる。
【００１３】ｂ．データ構成 次に、図２を参照して画像／制御データ分離手段１にお
ける入力データおよび出力データの構成について説明す
る。画像データ２１と制御データ２２を含む多重化デー
タのパケットは、画像／制御データ分離手段１に転送
される。画像／制御データ分離手段１は、受け取ったパ
ケットの画像データ２１と制御データ２２を識別し、
画像データストリームと制御データストリームとに分離
する。分離されたデータストリームには時間情報が付加
された後、バッファ９，１０にそれぞれ転送される。時
間情報が付加された画像データストリーム２３および制
御データストリーム２４はバッファ９，１０に確保され
た後、タイミング制御手段５に必要に応じて転送され
る。
ける入力データおよび出力データの構成について説明す
る。画像データ２１と制御データ２２を含む多重化デー
タのパケットは、画像／制御データ分離手段１に転送
される。画像／制御データ分離手段１は、受け取ったパ
ケットの画像データ２１と制御データ２２を識別し、
画像データストリームと制御データストリームとに分離
する。分離されたデータストリームには時間情報が付加
された後、バッファ９，１０にそれぞれ転送される。時
間情報が付加された画像データストリーム２３および制
御データストリーム２４はバッファ９，１０に確保され
た後、タイミング制御手段５に必要に応じて転送され
る。
【００１４】ｃ．時間情報の関係 次に、図３を参照して、タイミング制御手段５によって
付加される時間情報と、画像データ再生手段３及び制御
データ処理手段４からフィードバックされる時間情報の
関係について説明する。データが各処理機能に転送する
ときに時間のカウントを始める。制御データが処理され
ると、それに付加されていた時間情報Ｔ１がタイミング
制御手段５にフィードバックされる。タイミング制御手
段５は時間情報Ｔ１が戻ってきたのを確認すると、それ
までカウントしていた時間を検出する。その時間をＴ
１’とする。
付加される時間情報と、画像データ再生手段３及び制御
データ処理手段４からフィードバックされる時間情報の
関係について説明する。データが各処理機能に転送する
ときに時間のカウントを始める。制御データが処理され
ると、それに付加されていた時間情報Ｔ１がタイミング
制御手段５にフィードバックされる。タイミング制御手
段５は時間情報Ｔ１が戻ってきたのを確認すると、それ
までカウントしていた時間を検出する。その時間をＴ
１’とする。
【００１５】これに遅れて、画像データが処理され、付
加されていた時間情報Ｔ１がタイミング制御手段５にフ
ィードバックされる。データが出力されフィードバック
されるまでカウントしていた時間をＴ１”とする。それ
ぞれの時間情報が到着するまでの時間差をＴとし、この
時間差Ｔを利用して、バッファ９，１０からのデータ出
力のタイミングを調整する。例えば、この場合は制御デ
ータのバッファ１０からの出力を時間差Ｔ分遅らせるこ
とによって画像と、制御デバイスの同期を取ることにな
る。
加されていた時間情報Ｔ１がタイミング制御手段５にフ
ィードバックされる。データが出力されフィードバック
されるまでカウントしていた時間をＴ１”とする。それ
ぞれの時間情報が到着するまでの時間差をＴとし、この
時間差Ｔを利用して、バッファ９，１０からのデータ出
力のタイミングを調整する。例えば、この場合は制御デ
ータのバッファ１０からの出力を時間差Ｔ分遅らせるこ
とによって画像と、制御デバイスの同期を取ることにな
る。
【００１６】（３）動作 次に、図１〜図２を参照して上記構成による多重分離制
御装置の動作について説明する。まず、多重化手段８が
画像データ入力手段６および制御データ入力手段７によ
り入力されたデータを多重化すると、その多重化された
データは多重化データ伝送手段２に転送される。この転
送経路としては、放送系、通信系、パッケージ系のよう
な媒体である。この多重化データ伝送手段２により多重
化データが出力されるデータ形式としては、例えば、周
知のＭＰＥＧ２のストリームデータであるトランスポー
トストリームが好適である。そのデータは制御データと
画像データを含んでいる。出力されたデータは画像／制
御データ分離手段１が受け取る。
御装置の動作について説明する。まず、多重化手段８が
画像データ入力手段６および制御データ入力手段７によ
り入力されたデータを多重化すると、その多重化された
データは多重化データ伝送手段２に転送される。この転
送経路としては、放送系、通信系、パッケージ系のよう
な媒体である。この多重化データ伝送手段２により多重
化データが出力されるデータ形式としては、例えば、周
知のＭＰＥＧ２のストリームデータであるトランスポー
トストリームが好適である。そのデータは制御データと
画像データを含んでいる。出力されたデータは画像／制
御データ分離手段１が受け取る。
【００１７】画像／制御データ分離手段１は、受け取っ
たデータの情報、例えばヘッダに含まれている情報によ
り画像データと制御データを識別し、それぞれを別のス
トリームデータに分離する。分離したデータにはそれぞ
れに時間情報が付加され、画像データおよび制御データ
用のバッファ９，１０にそれぞれ転送される。画像デー
タストリーム２３は、タイミング制御手段５に送られ、
時間情報が確認される。時間情報が確認されると、タイ
ミング制御手段５にバッファ９からの出力を許可され、
画像データ再生手段３に転送される。時間情報に合わせ
てタイミング制御手段５内部のタイマーを動作させる。
たデータの情報、例えばヘッダに含まれている情報によ
り画像データと制御データを識別し、それぞれを別のス
トリームデータに分離する。分離したデータにはそれぞ
れに時間情報が付加され、画像データおよび制御データ
用のバッファ９，１０にそれぞれ転送される。画像デー
タストリーム２３は、タイミング制御手段５に送られ、
時間情報が確認される。時間情報が確認されると、タイ
ミング制御手段５にバッファ９からの出力を許可され、
画像データ再生手段３に転送される。時間情報に合わせ
てタイミング制御手段５内部のタイマーを動作させる。
【００１８】制御データストリーム２４もタイミング制
御手段５の内部のタイマーの時間と、時間情報が参照さ
れる。タイミング制御手段５が保持する時間情報と、制
御データストリーム２４が持つ時間情報が一致したら、
直ちに、制御データストリーム２４はバッファ１０から
の出力を許可され、制御データ処理手段４に転送され
る。それぞれのデータが処理されると直ちに、画像デー
タ再生手段３及び制御データ処理手段４は付加されてい
た時間情報をタイミング制御手段５にフィードバックす
る。その情報により、タイミング制御手段５は画像デー
タと制御データの処理完了時間の差を検知する。以後、
タイミング制御手段５は画像データまたは制御データの
バッファ９、１０からの出力タイミングをその差によっ
て調整して、再生と制御処理の同期をとる。
御手段５の内部のタイマーの時間と、時間情報が参照さ
れる。タイミング制御手段５が保持する時間情報と、制
御データストリーム２４が持つ時間情報が一致したら、
直ちに、制御データストリーム２４はバッファ１０から
の出力を許可され、制御データ処理手段４に転送され
る。それぞれのデータが処理されると直ちに、画像デー
タ再生手段３及び制御データ処理手段４は付加されてい
た時間情報をタイミング制御手段５にフィードバックす
る。その情報により、タイミング制御手段５は画像デー
タと制御データの処理完了時間の差を検知する。以後、
タイミング制御手段５は画像データまたは制御データの
バッファ９、１０からの出力タイミングをその差によっ
て調整して、再生と制御処理の同期をとる。
【００１９】このように、本発明によれば、分離した画
像データと制御データに時間情報を付加し、これに基づ
きタイミング制御手段５が画像再生と制御処理のタイミ
ングとを同期させるので、映像音声の同期および表示だ
けでなく、その画像に同期して接続されているデバイス
を動作させることができる。また、画像データと制御デ
ータとが処理された後、処理完了時間をフィードバック
してデータの転送される時間をそれぞれ独立して修正す
るので、画像と制御装置のずれをなくすことができ、こ
れにより画像表示とデバイス制御のタイミングのずれを
修正して、より画像表示に対して臨場感を与えたりする
ことができる。
像データと制御データに時間情報を付加し、これに基づ
きタイミング制御手段５が画像再生と制御処理のタイミ
ングとを同期させるので、映像音声の同期および表示だ
けでなく、その画像に同期して接続されているデバイス
を動作させることができる。また、画像データと制御デ
ータとが処理された後、処理完了時間をフィードバック
してデータの転送される時間をそれぞれ独立して修正す
るので、画像と制御装置のずれをなくすことができ、こ
れにより画像表示とデバイス制御のタイミングのずれを
修正して、より画像表示に対して臨場感を与えたりする
ことができる。
【００２０】（４）その他の実施の形態 次に、画像／制御データ分離手段１及びバッファ９，１
０をパーソナルコンピュータ４８で具現する形態につい
て図４を参照して説明する。この形態の場合、インタフ
ェース４７経由で多重化データを受け取り、画像／制御
データ分離手段１によって分離する。データを複数のデ
ータ４１，４２，４３で多重化しておくことによって、
画像データ４４と制御データ４５、４６または画像デー
タ４４，４５と制御データ４６のように、複数の制御デ
ータか複数の画像データとすることができ、こうするこ
とにより複数の接続デバイスを同時に制御したり、ある
いは複数の画面を表示しながら、デバイスを制御するこ
とが可能になる。
０をパーソナルコンピュータ４８で具現する形態につい
て図４を参照して説明する。この形態の場合、インタフ
ェース４７経由で多重化データを受け取り、画像／制御
データ分離手段１によって分離する。データを複数のデ
ータ４１，４２，４３で多重化しておくことによって、
画像データ４４と制御データ４５、４６または画像デー
タ４４，４５と制御データ４６のように、複数の制御デ
ータか複数の画像データとすることができ、こうするこ
とにより複数の接続デバイスを同時に制御したり、ある
いは複数の画面を表示しながら、デバイスを制御するこ
とが可能になる。
【００２１】次に、図５は多重化データ伝送手段２を介
して伝送されるパケットに、事前に時間情報が付加され
る場合の形態を示す図である。この図に示す形態の場
合、画像/制御データ分離手段１によって分離されるデ
ータは、制御データストリーム５５のように、あるパケ
ットで制御データが含まれていなくても、時間情報を飛
ばして付加される。この時間情報をタイミング制御手段
５が利用することによって、制御デバイスと画像を同期
して処理することができる。
して伝送されるパケットに、事前に時間情報が付加され
る場合の形態を示す図である。この図に示す形態の場
合、画像/制御データ分離手段１によって分離されるデ
ータは、制御データストリーム５５のように、あるパケ
ットで制御データが含まれていなくても、時間情報を飛
ばして付加される。この時間情報をタイミング制御手段
５が利用することによって、制御デバイスと画像を同期
して処理することができる。
【００２２】図６はさらに別の形態を示す図である。こ
の形態では、制御データ入力手段６６と画像データ入力
手段６５により入力されたデータを多重化手段６７によ
って多重化する。そして、多重化データ伝送手段６２を
経由して多重化データが放送、通信、またはパッケージ
で画像／制御データ分離手段６１に送られる。画像／制
御データ分離手段６１は画像データと制御データを分離
し、それぞれのデータをバッファ６８，６９に書き込ん
でいく。書き込まれたデータは、随時画像データ再生手
段６３により音声データ再生／映像データ再生手段６０
に転送されて処理され、制御データ処理手段６４によっ
て処理される。
の形態では、制御データ入力手段６６と画像データ入力
手段６５により入力されたデータを多重化手段６７によ
って多重化する。そして、多重化データ伝送手段６２を
経由して多重化データが放送、通信、またはパッケージ
で画像／制御データ分離手段６１に送られる。画像／制
御データ分離手段６１は画像データと制御データを分離
し、それぞれのデータをバッファ６８，６９に書き込ん
でいく。書き込まれたデータは、随時画像データ再生手
段６３により音声データ再生／映像データ再生手段６０
に転送されて処理され、制御データ処理手段６４によっ
て処理される。
【００２３】
【発明の効果】本発明によれば、多重化された画像デー
タおよび制御データを分離してそれぞれに時間情報を付
加して一時記憶手段に記憶しておき、付加されている時
間情報に対応した同期タイミングに従って、対応する画
像データおよび制御データを一時記憶手段から読み出し
て画像データを再生しながら制御データに従って制御処
理すると同時に、画像データに付加される時間情報と制
御データに付加される時間情報との差に応じて同期タイ
ミングを修正して行くので、映像音声の同期および表示
だけでなく、その画像に同期して、接続されているデバ
イスを動作させることができる。また、画像データと制
御データとが処理された後、処理完了時間の差に応じて
同期タイミングを修正するから、画像と制御装置のずれ
をなくすことができ、これにより画像表示とデバイス制
御のタイミングのずれを修正して、より画像表示に対し
て臨場感を与えたりすることもできる。
タおよび制御データを分離してそれぞれに時間情報を付
加して一時記憶手段に記憶しておき、付加されている時
間情報に対応した同期タイミングに従って、対応する画
像データおよび制御データを一時記憶手段から読み出し
て画像データを再生しながら制御データに従って制御処
理すると同時に、画像データに付加される時間情報と制
御データに付加される時間情報との差に応じて同期タイ
ミングを修正して行くので、映像音声の同期および表示
だけでなく、その画像に同期して、接続されているデバ
イスを動作させることができる。また、画像データと制
御データとが処理された後、処理完了時間の差に応じて
同期タイミングを修正するから、画像と制御装置のずれ
をなくすことができ、これにより画像表示とデバイス制
御のタイミングのずれを修正して、より画像表示に対し
て臨場感を与えたりすることもできる。
【図１】 本発明による実施の一形態の構成を示すブロ
ック図である。
ック図である。
【図２】 データ構成を説明するための図である。
【図３】 時間情報の関係を説明するための図である。
【図４】 その他の実施の形態を説明するための図であ
る。
る。
【図５】 その他の実施の形態を説明するための図であ
る。
る。
【図６】 その他の実施の形態を説明するための図であ
る。
る。
【図７】 従来技術を説明するための図である。
１ 画像／制御データ分離手段（多重分離手段） ２ 多重化データ伝送手段 ３ 画像データ再生手段（画像再生手段） ４ 制御データ処理手段（制御処理手段） ５ タイミング制御手段（タイミング制御手段、タイミ
ング修正手段） ６ 画像データ入力手段 ７ 制御データ入力手段 ８ 多重化手段 ９，１０ バッファ（一時記憶手段） １１ デコーダ
ング修正手段） ６ 画像データ入力手段 ７ 制御データ入力手段 ８ 多重化手段 ９，１０ バッファ（一時記憶手段） １１ デコーダ
Claims (4)
- 【請求項１】 多重化された画像データおよび制御デー
タを分離し、分離した画像データおよび制御データにそ
れぞれ時間情報を付加して出力する多重分離手段と、 この多重分離手段の出力を一時記憶する一時記憶手段
と、 前記一時記憶手段に格納される画像データおよび制御デ
ータに付加されている時間情報に対応した同期タイミン
グに従って、対応する画像データおよび制御データの読
み出し指示を発生するタイミング制御手段と、 このタイミング制御手段の読み出し指示に応じて前記一
時記憶手段から読み出される画像データを再生する一
方、その画像データに付加される時間情報をフィードバ
ック出力する画像再生手段と、 前記タイミング制御手段の読み出し指示に応じて一時記
憶手段から読み出される制御データに従って制御処理す
ると共に、その制御データに付加される時間情報をフィ
ードバック出力する制御処理手段と、 前記画像再生手段および制御処理手段がそれぞれフィー
ドバック出力する時間情報の差に応じて前記タイミング
制御手段が読み出し指示を発生する同期タイミングを修
正するタイミング修正手段とを具備することを特徴とす
る多重分離制御装置。 - 【請求項２】 前記画像再生手段は、映像データおよび
音声データからなる画像データを再生する手段であっ
て、映像データと音声データとを同期再生することを特
徴とする請求項１記載の多重分離制御装置。 - 【請求項３】 前記多重分離手段は、伝送されるパケッ
トから画像データと制御データとを識別して画像データ
ストリームと制御データストリームとに分離し、分離さ
れた画像データストリームおよび制御データストリーム
にそれぞれ時間情報を付加することを特徴とする請求項
１記載の多重分離制御装置。 - 【請求項４】 多重化される画像データあるいは制御デ
ータを複数種にし、この複数種が多重化された画像デー
タあるいは制御データを分離し、分離した複数種の画像
データあるいは制御データに従って、複数種の画像再生
に同期した制御処理あるいは唯一の画像再生に同期した
複数の制御処理を行うことを特徴とする請求項１記載の
多重分離装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36357598A JP2000188752A (ja) | 1998-12-21 | 1998-12-21 | 多重分離制御装置 |
| US09/464,487 US6665001B1 (en) | 1998-12-21 | 1999-12-15 | Multiplex and demultiplex controlling apparatus, multiplex and demultiplex controlling system, and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36357598A JP2000188752A (ja) | 1998-12-21 | 1998-12-21 | 多重分離制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000188752A true JP2000188752A (ja) | 2000-07-04 |
Family
ID=18479666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36357598A Pending JP2000188752A (ja) | 1998-12-21 | 1998-12-21 | 多重分離制御装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6665001B1 (ja) |
| JP (1) | JP2000188752A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002044653A (ja) * | 2000-07-21 | 2002-02-08 | Sony Corp | 情報処理装置および方法、並びに提示システム |
| DE10240313B4 (de) * | 2001-08-30 | 2008-04-24 | Denso Corp., Kariya | Bildverarbeitungsvorrichtung mit einem Verarbeitungsvorgang Koordinatenberechung |
| US7602442B2 (en) | 2004-01-28 | 2009-10-13 | Sony Corporation | Apparatus and method for processing information signal |
| JP2018183215A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183219A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183218A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006072853A1 (en) * | 2005-01-04 | 2006-07-13 | Koninklijke Philips Electronics N.V. | Method of and device for synchronizing multiple input streams |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0522719A (ja) | 1991-07-15 | 1993-01-29 | Hitachi Ltd | Ａｖミ−テイング端末 |
| US6321252B1 (en) * | 1998-07-17 | 2001-11-20 | International Business Machines Corporation | System and method for data streaming and synchronization in multimedia groupware applications |
-
1998
- 1998-12-21 JP JP36357598A patent/JP2000188752A/ja active Pending
-
1999
- 1999-12-15 US US09/464,487 patent/US6665001B1/en not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002044653A (ja) * | 2000-07-21 | 2002-02-08 | Sony Corp | 情報処理装置および方法、並びに提示システム |
| DE10240313B4 (de) * | 2001-08-30 | 2008-04-24 | Denso Corp., Kariya | Bildverarbeitungsvorrichtung mit einem Verarbeitungsvorgang Koordinatenberechung |
| DE10240313B8 (de) * | 2001-08-30 | 2008-08-28 | Denso Corp., Kariya | Bildverarbeitungsvorrichtung mit einem Verarbeitungsvorgang Koordinatenberechnung |
| US7602442B2 (en) | 2004-01-28 | 2009-10-13 | Sony Corporation | Apparatus and method for processing information signal |
| JP2018183215A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183219A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
| JP2018183218A (ja) * | 2017-04-24 | 2018-11-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6665001B1 (en) | 2003-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3666625B2 (ja) | データ記録方法およびデータ記録装置 | |
| US20080187287A1 (en) | Reproducing device | |
| JP4362734B2 (ja) | 同期再生システム | |
| US7869522B2 (en) | Video signal multiplexer, video signal multiplexing method, and picture reproducer | |
| US6731658B1 (en) | Data recording method and data recording apparatus | |
| US8238446B2 (en) | Method and apparatus for reproducing digital broadcasting | |
| JP2000188752A (ja) | 多重分離制御装置 | |
| JP3185863B2 (ja) | データ多重化方法および装置 | |
| JP2008061010A (ja) | 映像音声送信装置 | |
| KR20000068121A (ko) | 정보 신호 디코딩 방법 및 장치 | |
| US20050069289A1 (en) | Transport stream recording/editing device and recording/editing method | |
| JP4534168B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JPH08331511A (ja) | 動画像再生装置及び動画像再生処理回路 | |
| JP3039444B2 (ja) | 画像蓄積装置 | |
| JP2002369163A (ja) | マルチストリーム出力時刻制御方法及びその制御装置 | |
| JPH11205789A (ja) | Ｍｐｅｇ２トランスポートストリーム伝送レート変換装 置 | |
| JP3462831B2 (ja) | デジタルビデオ再生システム | |
| JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 | |
| KR100240331B1 (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| JP3944845B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| KR100191731B1 (ko) | 디지탈 영상 기록 재생 장치 | |
| JP4690965B2 (ja) | データ記録再生装置 | |
| JP2005303816A (ja) | 動画再生装置 | |
| JP2005223821A (ja) | マルチストリーム再生システム | |
| JP5168105B2 (ja) | 音声再生装置、及び音声再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020409 |