CN1738438A - 使静止图像与运动图像流同步的方法 - Google Patents

使静止图像与运动图像流同步的方法 Download PDF

Info

Publication number
CN1738438A
CN1738438A CNA2005101038295A CN200510103829A CN1738438A CN 1738438 A CN1738438 A CN 1738438A CN A2005101038295 A CNA2005101038295 A CN A2005101038295A CN 200510103829 A CN200510103829 A CN 200510103829A CN 1738438 A CN1738438 A CN 1738438A
Authority
CN
China
Prior art keywords
frame
control data
code
client computer
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101038295A
Other languages
English (en)
Other versions
CN100562121C (zh
Inventor
徐光德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1738438A publication Critical patent/CN1738438A/zh
Application granted granted Critical
Publication of CN100562121C publication Critical patent/CN100562121C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

披露了一种使静止图像与运动图像流同步的方法，其适于支持进一步利用静止图像以提供独立的视频数据以及运动图像和声音的多媒体服务。本发明包括步骤：产生控制数据以使来自服务器的静止图像相步；服务器通过运动图像流的指定运动图像帧而将控制数据提供给客户机；并且由客户机使静止图像与该运动图像流同步以显示。

Description

使静止图像与运动图像流同步的方法
本申请的权利要求范围属于2004年7月7日提交的申请号为P10-2004-0052619的韩国专利申请，因此通过参照而引入其就像在这里对其进行完整阐述一样。
技术领域
本发明涉及一种用于使静止图像与运动图像流同步的方法。虽然本发明适用于应用的较宽范围，但其尤其适用于支持一种进一步利用静止图像来提供独立的视频数据以及运动图像和声音的多媒体服务。
背景技术
通常，已经介绍了根据相关技术的其通过运动图像和声音的实时传送来提供多媒体服务的各种***。例如，存在远程视频会议***、远程视频教学***等。
多媒体服务提供***利用诸如H.261、H.263及MPEG这样的运动图像编码标准规范。
因此，每个相关技术多媒体提供***将运动图像信号与声音信号组合在一起以实时传送到远程客户机(用户终端)。
但是，在远程视频会议或远程视频教学的处理中，需要分别地提供会议材料、教学材料等等。通常，最好是将会议材料、教学材料等作为静止图像(如JPEG)而传送。
然而，相关技术***提供了其仅利用运动图像和声音的多媒体服务，因此不适用于提供诸如会议材料、教学材料等这样的独立视频数据。
发明内容
因此，本发明致力于一种使静止图像与运动图像流同步的方法，该方法大致消除了由于相关技术的局限性和缺点而引起的一个或多个问题。
本发明的一个目的是提供一种使静止图像与运动图像流同步的方法，该方法适于支持一种其进一步利用静止图像来提供独立的视频数据以及运动图像和声音的多媒体服务。
本发明的另一个目的是提供一种使静止图像与运动图像流同步的方法，该方法适于另外支持该静止图像以将独立的视频数据提供给由诸如远程视频会议***及远程视频教学***这样的***所提供的多媒体服务的基本运动图像，并且通过此方法可输出静止图像，同时使运动图像进行流动。。
在随后的说明书中部分的阐明了本发明的其它优点、目的和特征，并且在某种程度上在随后的审查过程中其对于本领域普通技术人员将变得显而易见，或者其可从本发明的实施中得知。通过所记载的说明书和其权利要求书以及随后附图中所特别指出的结构可实现并获得本发明的目的及其他优点。
如这里所具体实施的并且充分描述的，为了获得这些目的和其他优点并且根据本发明的目的，在一个支持多媒体服务的***中，根据本发明的使静止图像与多媒体服务同步的方法包括步骤：产生控制数据以使来自服务器的静止图像相同步、服务器通过运动图像流的指定运动图像帧而将控制数据提供给客户机、并且由客户机使静止图像与该运动图像流同步以显示。
最好是，本发明进一步包括步骤：由服务器预先向客户机提供一个代码，其中该代码用于表明将要提供控制数据。
最好是，本发明进一步包括步骤：允许客户机预先接收其表示将要提供控制数据的代码并且允许客户机接收包含该控制数据的运动图像帧。
在本发明的另一个方面，在向客户机提供多媒体服务的服务器中，使静止图像与运动图像流同步的方法包括步骤：在运动图像流的指定运动图像帧中***要与运动图像流进行同步的静止图像帧的标识符，并且将包括该标识符的指定运动图像帧传送给客户机。
最好是，该方法进一步包括步骤：在标识符之前***一个代码，其中该代码用于表明在该运动图像帧中包括该标识符。
在本发明的另一个方面，在其具有由服务器所提供的多媒体服务的客户机中，一种使静止图像与运动图像流同步的方法包括步骤：从运动图像流中提取其包括静止图像标识符的运动图像帧，从运动图像帧中读出该标识符，以及利用该标识符使静止图像与运动图像流同步以进行显示。
最好是，请求的方法进一步包括步骤：接收这样的代码，该代码用于表明将要接收其包括有该标识符的运动图像帧。
在本发明的进一步的方面，在其包括有用于支持多媒体服务的服务器和客户机的***中，一种使图像帧与图像流同步的方法包括步骤：使服务器与客户机的每一个存储该图像帧，产生控制数据以使来自服务器的图像帧同步，服务器经由图像流的指定帧来将该控制数据提供给客户机，以及客户机通过控制数据而在同步时间点显示所存储的图像帧。
最好是，该方法进一步包括步骤：服务器预先向客户机提供这样的代码，该代码表明用于提供控制数据的指定帧。
应当明白的是，本发明的上述大致描述及以下的详细描述仅是示例性的及说明性的并且其目的是用于提供对所请求的发明的进一步解释。
附图说明
用于提供对本发明的进一步理解并包含在本发明中且构成其一部分的附图图解说明了用于对本发明原理进行说明的本发明的实施例和说明书。在图中：
图1是根据本发明一个实施例的视频代码标准规范的运动图像帧的语法结构的示意图；
图2是根据本发明一个优选实施例的传送终端的结构示意图；以及
图3是根据本发明一个优选实施例的使静止图像与运动图像同步的传送终端程序流程图；
图4是根据本发明一个优选实施例的接收终端的结构示意图；
图5是根据本发明一个优选实施例的使静止图像与运动图像同步的接收终端程序流程图。
具体实施方式
现在参考附图中所示出的示例来对本发明的优选实施例进行详细的描述。只要可能，在全部附图中相同的参考符号指相同或相似的部分。
首先，根据本发明的***包括图2所示的传送终端及图4所示的接收终端。并且，根据本发明的***支持经由网络的多媒体服务。
根据本发明的***使用服务器-客户机结构。服务器是提供多媒体服务的传送终端，而客户机(用户终端)是被提供多媒体服务的接收终端。
在本发明中，传送终端向接收终端提供指定的多媒体。尤其是，在实时传送多媒体方面，使该多媒体从传送终端流动到接收终端。
多媒体是结合了声音的运动图像。同时，如以下所述的那样，利用视频或视频数据的相同原理来内部地处理运动图像。
根据本发明的***同时进一步在流动运动图像的处理中，即在传送运动图像流的处理中提供静止图像。为此，根据本发明的***使其与相应静止图像相对应的帧与运动图像流同步。
例如，根据本发明的***提供如远程视频会议服务和远程视频教学服务这样的多媒体服务。
通过上述服务，将会议或教学场景作为运动图像流而提供。并且，在当提供运动图像流时独立的会议数据、教学数据等需要作为静止图像而提供的情况中，使相应静止图像帧与当前运动图像流同步。
因此，接收终端在连续显示运动图像流的过程中使其与会议数据、教学数据等相对应的静止图像帧与运动图像流同步，然后根据该同步而在一时间点处显示其与会议或教学数据相对应的静止图像。在这个情况中，静止图像是不运动的图像数据。
同时，运动图像流包括多个运动图像帧。并且，运动图像流中的运动图像帧具有User_Data字段以作为用户数据区。图1中显示了User_Data字段的语法。
图1是根据本发明一个实施例的视频编码标准规范的运动图像帧的语法结构示意图，其中显示了MPEG-4 User_Data字段的语法。
最好是，本发明的运动图像属于其作为视频编码标准规范的MPEG(运动图像专家组)系列。例如，MPEG系列包括MPEG-1、MPEG-2、MPEG-3、MPEG-4等。
并且，最好是在本发明中其与会议或教学数据相对应的静止图像属于JPEG(联合图像专家组)系列。然而，本发明不局限于用于运动图像或静止图像的上述标准规范。
以下详细描述根据本发明一个优选实施例的***的结构及操作。
图2是根据本发明一个优选实施例的传送终端的结构示意图。
参考图2，传送终端包括编码器11、多路复用器13、控制数据产生器、以及UDP(用户数据包协议)插槽17。并且，传送终端进一步包括用于存储编码到静止图像中的会议数据、教学数据等的存储器(图中未显示)。
在本发明中，传送终端存储会议数据、教学数据等的静止图像。
此外，图4中所示的接收终端也存储同样的静止图像。因此，接收终端实际上不从传送终端接收静止图像而是仅接收用于同步静止图像的控制数据。
尤其是，接收终端利用所接收的控制数据来使相应静止图像与运动图像同步，其在下面将详细描述。
存储在传送终端存储器中的静止图像具有帧结构。并且，将唯一的标识符施于每个静止图像。在这种情况下，最好该标识符是施于静止图像帧的唯一帧号。
编码器11对所输入的运动图像进行编码并接着输出由多个运动图像帧12所构造的运动图像流。
在希望不提供来自传送终端的存储于存储器中的任何种类的静止图像的情况中，多路复用器13使编码器11所输出的运动图像流12进行分路。
相反，在希望进一步将来自传送终端的其与会议或教学数据相对应的特定静止图像提供给客户机的情况中，多路复用器13对控制数据进行多路复用以便使特定静止图像与编码器11所输出的运动图像流12同步。
控制数据产生器15产生控制数据。即，每次请求提供指定会议或教学数据时，控制数据产生器15产生控制数据以使相应静止图像同步。接着，控制数据产生器15将所产生的控制数据输出到多路复用器13。
并且，以下面的方式来执行相应的多路复用。
首先，在运动图像流的指定运动图像帧中***该控制数据。
其次，在运动图像流12的指定运动图像帧的User_Data字段(参照图1)中***该控制数据。
第三，将其包括有控制数据的一个运动图像帧***到运动图像流12中。这时，由控制数据产生器15来配置其包括有控制数据的该运动图像帧。
同时，控制数据是所唯一施于的标识符以从其它静止图像中识别出其与指定会议或教学数据相对应的静止图像。最好是，控制数据是唯一的帧标识符以从其它静止图像的帧中识别出相应静止图像的帧并且控制数据包括一个帧号。
此外，根据本发明的传送终端向接收终端提供这样的代码，该代码表明将要提供该控制数据以向接收终端通知要提供控制数据这样的事实。特别地，传送终端产生该代码以在每次产生控制数据时将其提供给接收终端。并且，在其中***有控制数据的运动图像帧之前将该代码提供给接收终端。
例如，传送终端经由其内***有控制数据的帧之前的指定运动图像帧而预先提供其表明提供了控制数据的代码。并且，该代码是USER_DATA_START代码(UDSC)。
通过在编码器11所输出的运动图像流12中***下述帧和USER_DATA_START代码(UDSC)来配置多路复用器13所输出的流14，所述帧中***有用于使静止图像同步的控制数据。
并且，UDP插槽17将多路复用器13所输出的流14传送到接收终端。
图3是根据本发明一个优选实施例的由传送终端所执行的用于使静止图像与运动图像同步的程序流程图。
参考图3，其是多媒体服务的服务器的传送终端产生了用于使其与多媒体服务的独立数据(会议数据、教学数据、等)相对应的静止图像相同步的控制数据(S10)。
将该静止图像以帧格式存储在存储器中并且相应的静止图像帧具有唯一的帧标识符。并且，该帧标识符用于从存储在存储器中的其它静止图像帧中识别出相应静止图像帧。
控制数据是相应静止图像的帧标识符。并且，控制数据是利用相应静止图像的帧标识符而产生的数据。
传送终端将所产生的控制数据***到一个运动图像帧中(S11)。
其中***有控制数据的运动图像帧既可以是属于多媒体服务的运动图像流的运动图像帧也可以是独立于运动图像流而配置的指定帧。
尤其是，其中***有控制数据的运动图像帧具有如图1所示的User_Data字段。并且，用于同步的控制数据包含于图1所示的user_data()函数中。
因此，传送终端将其具有***到其中的控制数据的运动图像帧与根据多媒体服务的运动图像流一起传送到其即就是一个客户机的接收终端(S12)。
同时，在将控制数据提供给接收终端之前，传送终端预先提供一个用于表示要将控制数据提供给接收终端的代码。在这种情况下，将该代码称为USER_DATA_START代码(UDSC)。
将代码提供给接收终端的时间点是在其中***有控制数据的运动图像帧之前。尤其是，经由下述帧而提供了该代码，所述帧之后紧接着其内***有控制数据的运动图像帧。尤其是，在相应帧的头部***该代码。
用来提供代码的帧是一个运动图像帧或者其配置成其与运动图像流相独立的指定帧，所述运动图像帧属于当前所提供的多媒体服务的运动图像流。
简言之，在本发明中，每个传送和接收终端预先存储其与多媒体服务的独立数据(会议数据、教学数据、等)相对应的图像帧。
并且，在需要将指定图像帧与当前所播放的运动图像帧一起显示的情况下，传送终端最好是产生同步所需的控制数据以便可使存储在接收终端中的相应图像帧与所要显示的运动图像帧同步。在这种情况下，控制数据是用于对相应图像帧进行识别的帧标识符或者利用该阵标识符所产生的数据。
为了预先通知提供控制数据，传送终端向接收终端提供用于表示其内***有控制数据的帧的代码，并接着向接收终端提供其内***有所产生的控制数据的帧。
图4是根据本发明一个优选实施例的接收终端的结构示意图。
参考图4，接收终端包括UDP插槽21，去多路复用器23，浏览器25，以及解码器27。并且，接收终端进一步包括用于将会议数据、教学数据等编码为静止图像以存储于其中的存储器(图中未显示)。因此，接收终端用于仅从传送终端中接收用于使相应静止图像同步的控制数据，并通过控制数据而在同步时间点输出相应静止图像以及运动图像，这将在下面进行详细阐述。
存储于接收终端存储器中的静止图像具有帧结构。并且为每个静止图像施予唯一的标识符。在这种情况下，最好该标识符是唯一施予相应静止图像的帧号。
UDP插槽21接收从传送终端传送而来的流22。该UDP插槽21接着将所接收的流22输出到去多路复用器23。
去多路复用器23将所接收流的运动图像帧24输出到解码器27。
解码器27接着对所输入的运动图像帧进行解码，由此输出其与运动图像帧相对应的视频。
此外，去多路复用器23与浏览器25互操作以找到***在所接收流中的代码。在这种情况下，该代码用于表示其中***有控制数据的帧。并且，该代码是用于向接收终端通知要提供控制数据这个事实的USER_DATA_START代码(UDSC)。
具体的说，由于传送终端通过将代码***到下述帧中来传送该代码，所述帧的后面是其内***有控制数据的运动图像帧，因此，接收终端的去多路复用器23接收该代码、读出由所接收代码所表示的帧的User_Data字段并接着将相应的控制数据传送到浏览器25。
倘若如此，浏览器25搜索存储器以找到由该控制数据所表示的标识符的相应静止图像帧。接着，浏览器25使搜索到的静止图像与当前流动的运动图像同步以便一起显示。在这种情况下，浏览器25是JPEG浏览器。
同时，使静止图像与运动图像相同步的时间点是与其内***有控制数据的帧相对应的时间点。
图5是根据本发明一个优选实施例的由接收终端所执行的使静止图像与运动图像进行同步的程序流程图。
参考图5，其是多媒体服务的客户机的接收终端根据多媒体服务来接收运动图像流(S20)。
接收终端检验控制数据是否包括于所接收的运动图像流中(S21)。
下面将详细描述检验控制数据是否包括于所接收的运动图像流中的处理。
接收终端搜索这样的代码，该代码表示是存在还是不存在***了用于使静止图像同步的控制数据。即接收终端搜索USER_DATA_START代码(UDSC)。并且接收终端通过提取由USER_DATA_START代码(UDSC)所表示的运动图像帧而搜索该控制数据。
接收终端从由USER_DATA_START代码(UDSC)所表示的运动图像帧中读出该控制数据。
接收终端利用由所读出控制数据表示的标识符来搜索存储于存储器中的相应静止图像，并接着使搜索到的静止图像与所接收的运动图像流同步(S23)。
接着，接收终端在同步的时间点与运动图像一起显示该静止图像(S24)。
简言之，传送终端利用MPEG系列运动图像流来传送远程视频会议或远程视频教学的运动图像。当每个传送及接收终端保留其与同一个会议或教学数据相对应的已编码JPEG系列静止图像时，接收终端从传送终端接收控制数据并接着经由浏览器来搜索由所接收到的控制数据所表示的帧号的静止图像。接着，接收终端使搜索到的静止图像与当前流动的运动图像同步以显示。
并且，根据本发明的***基本解决了运动图像与声音之间的同步。
因此，本发明提供了以下效果和优点。
首先，在当远程视频会议***提供远程视频会议服务时需要进一步提供独立的会议数据的情况下，本发明便于将所提供的相应会议数据作为静止图像而提供给客户机(用户终端)。以及在当远程视频教学***提供远程视频教学服务时需要进一步提供独立的教学数据的情况下，本发明便于将所提供给的相应教学数据作为静止图像而提供给客户机。
其次，本发明在配置其可提供实时多媒体服务的***的过程中克服了运动图像图像质量的复杂性和退化性。
最后，所属领域技术人员应当清楚本发明适用于由有线/无线网络以及互联网来实现的多种多媒体服务。
所属领域技术人员应当清楚在不脱离本发明精神及范围的情况下可作出修改或改进。因此，本发明覆盖了随后权利要求及其等价物的范围内所提供的本发明修改和改进。

Claims (32)

1.在支持多媒体服务的***中，一种使静止图像与运动图像流同步的方法，包括步骤：
产生控制数据以使来自服务器的静止图像同步；
由服务器通过运动图像流的指定运动图像帧而将控制数据提供给客户机；以及
由客户机使静止图像与该运动图像流同步以显示。
2.根据权利要求1所述的方法，其中：运动图像帧具有控制数据***于其中的User_Data区。
3.根据权利要求1所述的方法，其中：控制数据是一个帧标识符以从其它静止图像的帧中识别出该静止图像的帧。
4.根据权利要求1所述的方法，其中：运动图像是MPEG(运动图像专家组)系列。
5.根据权利要求1所述的方法，其中：静止图像是JPEG(联合图像专家组)系列。
6.根据权利要求1所述的方法，进一步包括步骤：由服务器预先向客户机提供一代码，其中该代码用于表明应该要提供控制数据。
7.根据权利要求6所述的方法，其中：服务器在运动图像帧之前提供该代码。
8.根据权利要求6所述的方法，其中：服务器经由其后是运动图像帧的指定帧来提供该代码。
9.根据权利要求1所述的方法，进一步包括步骤：
允许客户机预先接收一个表示应该要提供控制数据的代码；以及
允许客户机接收包含有控制数据的运动图像帧。
10.根据权利要求9所述的方法，其中：如果客户机从运动图像流中找到该代码，那么客户机读出包括在由该代码所示的运动图像帧中的控制数据。
11.根据权利要求10所述的方法，其中：该控制数据是一标识符，用于从预先存储于客户机中的多个静止图像帧中识别出该静止图像的帧。
12.根据权利要求1所述的方法，其中：客户机预先存储该静止图像。
13.根据权利要求1所述的方法，其中：服务器预先存储该静止图像。
14.根据权利要求13所述的方法，其中：服务器利用所存储静止图像的帧标识符来产生控制数据。
15.在向客户机提供多媒体服务的服务器中，一种将静止图像与运动图像流同步的方法，包括步骤：
在运动图像流的指定运动图像帧中***要与运动图像流进行同步的静止图像帧的标识符；以及
将包括该标识符的指定运动图像帧传送给客户机。
16.根据权利要求15所述的方法，其中：运动图像帧具有控制数据***于其中的USER_DATA字段。
17.根据权利要求15所述的方法，其中：运动图像是MPEG(运动图像专家组)系列。
18.根据权利要求15所述的方法，其中：静止图像是JPEG(联合图像专家组)系列。
19.根据权利要求15所述的方法，进一步包括步骤：在标识符之前***代码，其中该代码用于表明标识符包括在运动图像帧中。
20.根据权利要求19所述的方法，其中：该代码是USER_DATA_START代码(UDSC)。
21.根据权利要求19所述的方法，其中：将该代码***到运动图像帧的头部中。
22.根据权利要求19所述的方法，其中：将该代码***到其后是运动图像帧的指定帧中。
23.在由服务器来提供多媒体服务的客户机中，一种使静止图像与运动图像流同步的方法，包括步骤：
从运动图像流中提取包括静止图像标识符的运动图像帧；
从运动图像帧中读出该标识符；以及
利用该标识符使静止图像与运动图像流同步以进行显示。
24.根据权利要求23所述的方法，其中：运动图像是MPEG(运动图像专家组)系列。
25.根据权利要求23所述的方法，其中：静止图像是JPEG(联合图像专家组)系列。
26.根据权利要求23所述的方法，进一步包括步骤：接收这样的代码，该代码用于表明应该要接收包括有该标识符的运动图像帧。
27.根据权利要求23所述的方法，其中：从运动图像帧的USER_DATA字段中读出该标识符。
28.在包括支持多媒体服务的服务器和一客户机的***中，一种使图像帧与图像流同步的方法，包括步骤：
使服务器与客户机的每一个存储该图像帧；
产生控制数据以使来自服务器的图像帧同步；
允许服务器经由图像流的指定帧来将该控制数据提供给客户机；以及
允许客户机通过控制数据而在同步时间点显示所存储的图像帧。
29.根据权利要求28所述的方法，其中：用于提供控制数据的指定帧具有其中***有控制数据的用户数据区。
30.根据权利要求28所述的方法，其中：控制数据包括用于识别图像帧的帧标识符。
31.根据权利要求28所述的方法，进一步包括步骤：同步时间点是与用于提供控制数据的指定帧相对应的时间点。
32.根据权利要求28所述的方法，进一步包括步骤：允许服务器预先向客户机提供这样的代码，该代码表示用于提供控制数据的预定帧。
CNB2005101038295A 2004-07-07 2005-07-07 使静止图像与运动图像流同步的方法 Expired - Fee Related CN100562121C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040052619 2004-07-07
KR20040052619A KR100606785B1 (ko) 2004-07-07 2004-07-07 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법

Publications (2)

Publication Number Publication Date
CN1738438A true CN1738438A (zh) 2006-02-22
CN100562121C CN100562121C (zh) 2009-11-18

Family

ID=36081061

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101038295A Expired - Fee Related CN100562121C (zh) 2004-07-07 2005-07-07 使静止图像与运动图像流同步的方法

Country Status (5)

Country Link
US (1) US20060008254A1 (zh)
EP (1) EP1615422B1 (zh)
JP (1) JP4820592B2 (zh)
KR (1) KR100606785B1 (zh)
CN (1) CN100562121C (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9967424B2 (en) * 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070222865A1 (en) * 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
US9451200B2 (en) * 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9093121B2 (en) 2006-02-28 2015-07-28 The Invention Science Fund I, Llc Data management of an audio data stream
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US8681225B2 (en) * 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US7782365B2 (en) * 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
US20070203595A1 (en) * 2006-02-28 2007-08-30 Searete Llc, A Limited Liability Corporation Data management of an audio data stream
KR101281786B1 (ko) * 2006-07-10 2013-07-04 엘지전자 주식회사 동영상 편집 기능을 갖는 이동통신단말기 및 그 동영상편집 방법
US10699469B2 (en) 2009-02-03 2020-06-30 Calgary Scientific Inc. Configurable depth-of-field raycaster for medical imaging
US9082191B2 (en) 2009-09-25 2015-07-14 Calgary Scientific Inc. Level set segmentation of volume data
WO2013001344A2 (en) * 2011-06-29 2013-01-03 Calgary Scientific Inc. Method for cataloguing and accessing digital cinema frame content
EP3022672A2 (en) * 2013-07-16 2016-05-25 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01196980A (ja) * 1988-02-02 1989-08-08 Nippon Telegr & Teleph Corp <Ntt> 動画像と他メディアの同期方式
JPH05336517A (ja) * 1992-06-03 1993-12-17 Sharp Corp テレビ会議装置
JP3232243B2 (ja) * 1996-06-07 2001-11-26 株式会社エヌ・ティ・ティ・データ マルチメディアデータ伝送方法およびシステム
JPH10145760A (ja) * 1996-11-11 1998-05-29 Matsushita Electric Ind Co Ltd 画像通信装置
US20010056478A1 (en) * 1996-12-13 2001-12-27 Two Dog Net, Inc. Coordinated internet web site and web browser using a CD-ROM
AU1702199A (en) * 1997-11-25 1999-06-15 Motorola, Inc. Audio content player methods, systems, and articles of manufacture
US6907563B1 (en) * 1999-05-27 2005-06-14 International Business Machines Corporation System and method for composing heterogeneous media components into a unified environment for rich spatio-temporal hotlink authoring and action enablement in low-bandwidth presentations
JP2001189932A (ja) * 1999-12-28 2001-07-10 Toshiba Corp 画像伝送システムおよび画像伝送方法
US20010052133A1 (en) * 2000-04-12 2001-12-13 Lg Electronics Inc. Apparatus and method for providing and obtaining product information through a broadcast signal
US7526723B2 (en) * 2000-08-25 2009-04-28 Intellocity Usa Inc. System and method for emulating enhanced and interactive streaming media delivery
US20020078220A1 (en) * 2000-12-14 2002-06-20 Rhys Ryan System and method for content synchronization over a network
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
US7308001B2 (en) * 2001-11-16 2007-12-11 Computer Network Technology Corporation Fibre channel frame batching for IP transmission
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US7530084B2 (en) * 2002-05-28 2009-05-05 Sony Corporation Method and apparatus for synchronizing dynamic graphics
JP4096670B2 (ja) * 2002-09-19 2008-06-04 富士ゼロックス株式会社 画像再生システム

Also Published As

Publication number Publication date
US20060008254A1 (en) 2006-01-12
KR100606785B1 (ko) 2006-08-01
CN100562121C (zh) 2009-11-18
EP1615422B1 (en) 2012-06-20
KR20060003651A (ko) 2006-01-11
JP2006025424A (ja) 2006-01-26
EP1615422A1 (en) 2006-01-11
JP4820592B2 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
CN1738438A (zh) 使静止图像与运动图像流同步的方法
CN105187850B (zh) 提供经编码视频数据的信息及接收经编码视频数据的方法和设备
CN103039087B (zh) 用于发射经编码视频数据的方法和装置
CN1960453A (zh) 一种数字频道快速切换方法和***以及辅助频道生成设备
CN1537300A (zh) 通信***
CN1947344A (zh) 无线终端中多数据处理装置和方法
CN1875636A (zh) 视频发送装置以及视频接收装置
CN1930888A (zh) 用于压缩域视频编辑的方法和设备
CN1378387A (zh) 用于生成用户镶嵌图象的视频传输和处理***
CN1223200C (zh) 图像编码方法、图像解码方法以及其装置
CN1561637A (zh) 用于传输多媒体信息流的***和方法,例如用于远程教学
CN1578222A (zh) 用于在移动电话中再现多媒体内容的***和方法
CN103081488A (zh) 发信号通知用于特技模式视频表示的视频样本
CN1758722A (zh) 一种切换频道的方法及用于显示图像的解码***
CN1225120C (zh) 图像处理设备，图像处理方法，记录介质及程序
CN109769132B (zh) 一种基于帧同步的多路远程直播视频解说方法
CN1741609A (zh) 用于视频同步的设备、方法和介质
CN1386382A (zh) 信号发送装置及信号接收装置
CN1708084A (zh) 识别图像的拍摄者的设备
CN1949872A (zh) 动静态混合画面的投影方法和投影***
CN1842971A (zh) 内容提供***和用于这种***的移动通信终端
CN1396742A (zh) 基于流媒体技术的播放器变速播放实现方法
CN1922881A (zh) 再现可伸缩视频流的方法及设备
CN1148976C (zh) 图象传送方法和图象译码装置
CN1798323A (zh) 一种实现流媒体业务的视讯终端和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091118

Termination date: 20180707