CN1917636A - 运动图像分发***和运动图像分发服务器 - Google Patents

运动图像分发***和运动图像分发服务器 Download PDF

Info

Publication number
CN1917636A
CN1917636A CNA200610094014XA CN200610094014A CN1917636A CN 1917636 A CN1917636 A CN 1917636A CN A200610094014X A CNA200610094014X A CN A200610094014XA CN 200610094014 A CN200610094014 A CN 200610094014A CN 1917636 A CN1917636 A CN 1917636A
Authority
CN
China
Prior art keywords
data
image distribution
bag
distribution server
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200610094014XA
Other languages
English (en)
Other versions
CN1917636B (zh
Inventor
青柳寿和
三原知浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
JAPAN ELECTRICAL VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JAPAN ELECTRICAL VISION TECHNOLOGY Co Ltd filed Critical JAPAN ELECTRICAL VISION TECHNOLOGY Co Ltd
Publication of CN1917636A publication Critical patent/CN1917636A/zh
Application granted granted Critical
Publication of CN1917636B publication Critical patent/CN1917636B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及运动图像分发***和运动图像分发服务器。该运动图像分发***包括：运动图像分发服务器，用于存储运动图像数据、读取运动图像数据、根据预定相位调整变量来改变其中包含的关于解码时间或重放时间的信息以调整视频数据和音频数据之间的相位关系、然后分发运动图像数据；以及重放设备，用于接收从运动图像分发服务器分发的运动图像数据，根据其中包含的关于解码时间的信息来对运动图像数据进行解码，并且根据其中包含的关于重放时间的信息来重放运动图像数据。通过用运动图像分发服务器来调整时间信息，该运动图像分发***能够在防止显示设备成本增加的同时，对视频数据和音频数据进行相位调整。

Description

运动图像分发***和运动图像分发服务器
技术领域
本发明涉及一种用于通过网络来分发运动图像数据的***，特别涉及一种能够进行视频数据和音频数据的相位调整的运动图像分发***。
背景技术
近年来，通过网络来分发运动图像数据已日渐增多。诸如投影仪等显示设备可以通过网络连接到运动图像分发服务器，以便接收从运动图像分发服务器分发的运动图像数据。显示设备根据***时钟信号，重放来自运动图像分发服务器的视频和音频数据，如JP-ANo.11-275519中所公开的。
显示设备处理诸如复合信号、RGB信号等各种视频信号，以显示由这些视频信号表示的图像。视频信号处理方案包括用于将隔行视频信号转换成逐行视频信号的I/P转换处理，以及用于将视频信号的分辨率转换成与显示设备相匹配的值的处理。
不过，视频信号处理过程的问题在于它们在显示视频数据时产生了延迟，并且该延迟使图像与对应的音频数据相位不一致，偏移了几个场，会使观众对这种异步显示感觉很奇怪。为了解决这一问题，有必要采用延迟电路来对音频数据进行延迟，该延迟电路使视频数据和音频数据彼此同相。
不过，根据上述运动图像分发***，由于增加了用于延迟声音的延迟电路以使视频数据和音频数据彼此同相，所以增加了显示设备的成本。
发明内容
本发明的目的是提供一种运动图像分发***，其能够在防止显示设备成本增加的同时进行视频数据和音频数据的相位调整。
为了实现上述目的，提供了一种运动图像分发***，其用于分发包括视频数据和音频数据并且能够规定用于视频数据和音频数据的解码时间和重放时间的运动图像数据。该运动图像分发***包括运动图像分发服务器和重放设备。运动图像分发服务器事先存储包括关于视频数据和音频数据的解码时间和重放时间等信息的运动图像数据，读取运动图像数据，根据预定相位调整变量来改变包含在其中的关于解码时间或重放时间的信息，以调整视频数据和音频数据之间的相位关系，并且然后分发运动图像数据。
重放设备接收从运动图像分发服务器分发的运动图像数据，根据包括在运动图像数据中的关于解码时间的信息来对包括在运动图像数据中的视频数据和音频数据进行解码，并且根据包括在运动图像数据中关于重放时间的信息来重放视频数据和音频数据。
由于运动图像分发服务器改变了流中的视频数据和音频数据的解码时间和重放时间，因此重放设备可以根据改变的解码时间和重放时间来对从运动图像分发服务器接收到的视频数据和音频数据进行解码或重放。结果，能够在不需要重放设备中的用于调整视频数据和音频数据的相位的任何特定结构的情况下，以较低的成本将视频数据和音频数据调整到彼此同相。
从参照示出了本发明的例子的附图进行的如下讲述中，本发明的上述和其他目的、特征和优点更加清楚。
附图说明
图1是根据本发明的第一实施例的运动图像分发***的框图；
图2是示出了从运动图像分发服务器分发到重放设备的MPEG2-TS流的图；
图3是举例示出了MPEG2-TS流通过运动图像分发服务器进行转换的方式的图；
图4是示出了TCP/IP打包处理的图；
图5是示出了通过运动图像分发服务器分配给TCP包的序列号的图；
图6是示出了UDP/IP打包处理的图；
图7是举例示出了在音频包位置转换表中记录的数据的图；
图8是根据本发明的第二实施例的运动图像分发***的框图；
图9是示出了从运动图像分发服务器分发到重放设备的MPEG2-PS流的图；以及
图10是示出了TCP/IP打包处理的图。
具体实施方式
下面参照附图来详细讲述本发明的优选实施例。
图1以框图形式示出了根据本发明的第一实施例的运动图像分发***。根据第一实施例，运动图像分发***分发作为MPEG2-TS(MPEG2传输流)流的运动图像数据。如图1所示，根据第一实施例的运动图像分发***一般包括通过网络3互连的运动图像分发服务器1和重放设备2。运动图像分发服务器1是用于分发包括视频数据和音频数据的运动图像数据的服务器。重放设备2是用于从运动图像分发服务器1接收运动图像数据和重放其视频数据和音频数据的设备。
当生成MPEG2-TS流时，将表示解码时间和重放时间的信息添加到MPEG2-TS流中。一般地，这种信息没有考虑由通过诸如投影仪等各种重放设备执行的信号处理过程引起的所有视频数据延迟。因此，运动图像分发服务器1将MPEG2-TS流分发到重放设备2，其中MPEG2-TS的音频数据已经延迟了由重放设备2指示的相位调整变量。当重放设备2重放这种分发的MPEG2-TS流时，其视频数据和音频数据彼此同相地被重放。
图2示出了从运动图像分发服务器分发到重放设备的MPEG2-TS流。如图2所示，MPEG2-TS流包括表示MPEG编码视频数据的ES(基本流)和表示MPEG编码音频数据的ES。将每一个ES打包成可变长度PES(打包的基本流)包，并且将每一个PES包分成固定长度的传输包。传输包被多路复用成MPEG2-TS流。
作为解码和重放的单位的访问单元由多个PES包组成。访问单元的头PES包具有添加了表示访问单元的解码时间的DTS(解码时间戳)和表示访问单元的重放时间的PTS(显示时间戳)的包头。一些传输包的包头后面紧跟着添加了表示抵达解码器的时间的PCR(程序时钟基准)的适应字段。在图2所示的MPEG2-TS流中，视频传输包由“V”表示，音频传输包由“A”表示。
运动图像分发服务器1根据用于音频数据相位调整的相位调整变量，对添加到运动图像数据中的视频PES包的PTS或DTS进行重写。由于重写PTS或DTS以在重放设备2中将解码音频数据的时间或重放音频数据的时间延迟相位调整变量，因此重放设备2彼此同相地重放视频数据和音频数据。
MPEG解码器的缓存大小是根据MPEG标准来确定的，并且MPEG2-TS流是根据MPEG标准来构造的。如果重放设备2的解码器是根据MPEG标准来构造的，则不期望音频PES包早于解码时间或重放时间进行分发，并且解码器的缓存可能由于音频PES包的较早分发而溢出。为了避免这一缺陷，有必要将用于保持从运动图像分发服务器1接收到的音频PES包直到解码时间或重放时间为止的缓存添加到重放设备2。具有这种附加缓存的重放设备2的成本增加了。根据本实施例，运动图像分发服务器1移动音频传输包在MPEG2-TS流中的位置。音频传输包的位置通过重写顺序号来移动，如后所述。如果不存在解码器的缓存溢出的可能性，则不需要移动音频传输包的位置。
如果将PCR添加到要移动的音频传输包，则运动图像分发服务器1校正与音频传输包要移动的间隔相对应的时间的PCR。
图3举例示出了通过运动图像分发服务器1来转换MPEG2-TS流的方式。如图3所示，MPEG2-TS流包含多个传输包。在图3中，视频传输包由“V”表示，音频传输包由“A”表示。音频传输包位于由“3”、“7”、“M+3”、“M+7”表示的位置上，而视频传输包位于其他位置上。将PCR添加到位置“M+1”上的视频传输包。
假设位置“3”上的音频传输包要被移动到位置“M+1”，并且位置“7”上的音频传输包要被移动到位置“M+5”。
位置“3”上的音频传输包包含添加到访问单元的头PES包的PTS和DTS。运动图像分发服务器1将位置“3”上的传输包中包含的PTS或DTS重写为由位置“M+1”决定的PTS或DTS。
如果已经位于位置“M+1”上的传输包是由于位置“3”的传输包的移动而移动的，则运动图像分发服务器1将已经位于位置“M+1”上的传输包的PCR校正为取决于要移动到的位置的PCR。
重放设备2将由添加到传输包的PCR表示的时间设定为STC(***定时时钟)，并且根据其频率已经通过PLL进行了调整的基准时钟来对STC的脉冲进行计数。当由STC表示的时间和由DTS表示的解码时间彼此相等时，重放设备2对访问单元进行解码。当由STC表示的时间和由PTS表示的重放时间彼此相等时，重放设备2对已经解码的访问单元进行重放。
根据TCP/IP协议或UDP/IP协议，从运动图像分发服务器1将运动图像数据分发到重放设备2。
下面首先来讲述根据TCP/IP协议来移动传输包的位置的处理。
运动图像分发服务器1将要分发到重放设备2的MPEG2-TS流转换为TCP包，然后将该TCP包转换为IP包，并且传输该IP包。
图4示出了TCP/IP打包处理。如图4所示，TCP包包括包头和数据。运动图像分发服务器1将TCP包的数据长度设定成与传输包的长度相同的大小，并且将一个传输包存储在一个TCP包中。然后，运动图像分发服务器1将TCP包转换为IP包。
TCP包的包头包含顺序号。顺序号的初始值由随机数来确定。下一个TCP包的顺序号由作为上一个TCP包的顺序号和上一个TCP包的数据长度(八进制)之和的数值来表示。
图5示出了由运动图像分发服务器1分配给TCP包的顺序号。在图5中，由随机数确定的初始顺序号用“C”来表示，并且每一个TCP包的数据长度用“S”来表示。
首先，运动图像分发服务器1把移动之前的MPEG2-TS流的传输包直接转换成TCP包，并且分别将顺序号添到TCP包。然后，运动图像分发服务器1根据传输包的位置的移动来重写TCP包的顺序号。
如图5所示，运动图像分发服务器1将顺序号“C”分配给用于存储位置“0”上的传输包的TCP包。类似地，运动图像分发服务器1分别将顺序号“S+C”，“2S+C”，“3S+C”，…，“(M+7)S+C”连续地分配给随后的TCP包。
假设传输包要如图3所示移动。由于传输包从位置“3”移动到位置“M+1”，因此运动图像分发服务器1将用于存储位置“3”上的传输包的TCP包的顺序号“3S+C”重写为顺序号“(M+1)S+C”。类似地，运动图像分发服务器1将随后TCP包的顺序号重写为取决于要移动到的位置的顺序号。
重放设备2根据TCP协议将从运动图像分发服务器1接收到的TCP包重新排序成顺序号为升序的TCP包的序列，因此对MPEG2-TS流进行了重构。由于重构的MPEG2-TS流包括已经移动了位置的音频传输包，因此MPEG解码器的缓存在由重写的DTS或PTS表示的时间上对音频数据进行解码或重放时不会发生故障。
下面来讲述根据UDP/IP协议移动传输包的位置的处理。
运动图像分发服务器1把要分发到重放设备2的MPEG2-TS流转换为UDP包，然后将该UDP包转换为IP包，并且传输该IP包。
图6示出了UDP/IP打包处理。如图6所示，UDP包包括包头和数据。与TCP包一样，运动图像分发服务器1将UDP包的数据长度设定成与传输包的长度相同的大小，并且将一个传输包存储在一个UDP包中。然后，运动图像分发服务器1将UDP包转换为IP包。
与TCP不同，UDP包头不包含顺序号。运动图像分发服务器1将顺序号添加到UDP包的数据中。顺序号的添加方式可以与参照图5所讲述的相同。
重放设备2将从运动图像分发服务器1接收到的UDP包重新排序成顺序号为升序的TCP包的序列，因此对MPEG2-TS流进行了重构。由于重构的MPEG2-TS流包括已经移动了位置的音频传输包，因此MPEG解码器的缓存在由重写的DTS或PTS表示的时间上对音频数据进行解码或重放时不会发生故障。
回头参看图1，运动图像分发服务器1包括音频相位调整变量存储单元4、MPEG2-TS文件5、音频包PTS/DTS重写器6、音频包位置移动计算器7、音频包位置转换表8、PCR重写器9、TCP单元11、顺序号重写器12、UDP单元13、顺序号添加器14、TCP/UDP设置单元15、TCP/UDP切换器16和IP单元17。重放设备2包括音频相位控制器18、IP单元19、TCP单元20、包重新排序器21、UDP单元22、TCP/UDP切换器23、协议控制器24、MPEG解码器25、视频信号处理器26、视频输出单元29、显示设备30、音频输出单元31和扬声器32。视频信号处理器26具有I/P转换器27和分辨率转换器28。
在运动图像分发服务器1中，音频相位调整变量存储单元4存储用于调整音频数据的相位的音频相位调整变量。音频相位调整变量存储单元4被告知来自重放设备2的音频相位调整变量。
MPEG2-TS文件5存储要分发到重放设备2的运动图像数据。运动图像数据是MPEG2-TS流的形式。
音频包PTS/DTS重写器6根据存储在音频相位调整变量存储单元4中的音频相位调整变量，重写被添加到存储在MPEG2-TS文件5中的运动图像数据中的音频PES包的PTS或DTS，并且将该文件发送到音频包位置移动计算器7。具体而言，音频包PTS/DTS重写器6通过将音频相位调整变量添加到PTS或DTS来重写PTS或DTS。
音频包位置移动计算器7相对于通过音频包PTS/DTS重写器6重写的PES包的PTS或DTS来计算音频传输包要移动的距离，把要移动的传输包和表示传输包要移动到的位置的位置移动信息记录到音频包位置转换表8中，并且将MPEG2-TS流发送给PCR重写器9。图7示出了在音频包位置转换表8中记录的数据的例子。在图7中，由音频包位置转换表8记录的要移动的传输包和传输包要移动到的位置与图3和5所示的例子是一致的。如图7所示，在音频包位置转换表8中记录的位置移动信息表示位置“3”上的传输包要移动到位置“M+1”，并且位置“7”上的音频传输包要移动到位置“M+5”。
PCR重写器9通过参考在音频包位置转换表8中记录的数据来重写MPEG2-TS流中的PCR，并且将具有重写的PCR的MPEG2-TS流发送到TCP单元11和UDP单元13。
TCP单元11将来自PCR重写器9的MPEG2-TS流转换为TCP包，并且将TCP包发送给顺序号重写器12。
顺序号重写器12通过参考在音频包位置转换表8中记录的数据来重写TCP包的顺序号，并且将TCP包发送给TCP/UDP切换器16。
UDP单元13将来自PCR重写器9的MPEG2-TS流转换为UDP包，并且将UDP包发送给顺序号添加器14。
顺序号添加器14通过参考在音频包位置转换表8中记录的数据将顺序号添加到UDP包，并且将UDP包发送给TCP/UDP切换器16。
TCP/UDP设置单元15保持表示TCP还是UDP被用于移动图像分发的设置信息。设置信息是从重放设备2指示的。
TCP/UDP切换器16根据由TCP/UDP设置单元15保持的设置信息来选择TCP协议或UDP协议。
IP单元17根据IP协议将来自TCP/UDP切换器16的包处理成IP包，并且通过网络3将IP包发送给重放设备2。
在重放设备2中，音频相位控制器18将相位调整变量指示给运动图像分发服务器1的音频相位调整变量存储单元4。
IP单元19根据IP协议处理从运动图像分发服务器1发送的IP包。
如果TCP/IP协议用于运动图像分发，则TCP单元20处理来自IP单元19的TCP包，以重构MPEG2-TS流，并且将重构的MPEG2-TS流发送给TCP/UDP切换器23。此时，TCP单元20将TCP包重新排列成其顺序号为升序的TCP包序列。
如果UDP/IP协议用于运动图像分发，则包重新排序器21根据顺序号对来自IP单元19的UDP包进行重新排序，并且将重新排序的UDP包发送给UDP单元22。
UDP单元22根据UDP协议处理来自包重新排序器21的UDP包，以重构MPEG2-TS流，并且将重构的MPEG2-TS流发送给TCP/UDP切换器23。
TCP/UDP切换器23根据来自协议控制器24的指令来选择TCP协议或UDP协议。
协议控制器24进行与采用TCP协议还是UDP协议进行运动图像分发有关的设置，根据该设置来指示TCP/UDP切换器23，并且将该设置发送给运动图像分发服务器1的TCP/UDP设置单元15。
MPEG解码器25对来自运动图像分发服务器1的MPEG流的运动图像数据进行解码，将视频信号发送给视频信号处理器26，并且将音频信号发送给音频输出单元31。
视频信号处理器26对来自MPEG解码器25的视频信号进行处理，并且将处理的视频信号发送给视频输出单元29。
如果来自MPEG解码器25的视频信号为隔行信号，则视频信号处理器26的I/P转换器27将视频信号转换成逐行信号，并且将该逐行信号发送给分辨率转换器28。
视频信号处理器26的分辨率转换器28将来自I/P转换器27的视频信号的分辨率转换成与显示设备30匹配的值，并且将转换了分辨率的视频信号发送给视频输出单元29。
视频输出单元29将来自视频信号处理器26的视频信号输出给显示设备30。
显示设备30根据来自视频输出单元29的视频信号来显示图像。
音频输出单元31将来自MPEG解码器25的音频信号输出给扬声器32。
扬声器32根据来自音频输出单元31的音频信号来生成声音。
根据本实施例，如上所述，为了使运动图像数据和音频数据彼此同相，运动图像分发服务器1改变关于运动图像数据中解码时间或重放时间的信息。重放设备2根据由运动图像分发服务器1改变的信息，对从运动图像分发服务器1接收到的包的视频数据和音频数据进行解码或重放。由于重放设备2通过以与现有重放设备相同的方式对视频数据和音频数据进行解码或重放，可以容易地进行相位调整，因此可以防止重放设备2的成本因相位调整功能而增加。
此外，根据本实施例，运动图像分发服务器1根据改变的解码时间或重放时间来改变流中的包的位置，从而校正包到达重放设备2的MPEG解码器25的时间。因此，在不需要用于相位调整的缓存的情况下，运动图像分发***能够以低成本来进行视频和音频数据的相位调整。
此外，根据本实施例，如果TCP/IP协议用于运动图像分发，则在运动图像分发服务器1中，顺序号重写器12对TCP包头的顺序号进行重写，以便将音频包移动到取决于DTS或PTS的位置。因此，在重放设备2中，TCP单元20通过普通TCP处理根据顺序号对从运动图像分发服务器1接收到的包进行重新排序，从而调整包到达MPEG解码器25的时间。结果，MPEG解码器25的缓存不会出现故障，并且不需要为了移动包的位置而将缓存添加到MPEG解码器25。
此外，根据本实施例，如果UDP/IP协议用于运动图像分发，则在运动图像分发服务器1中，顺序号添加器14将顺序号添加到UDP包的数据中，以便将音频包移动到取决于DTS或PTS的位置。在重放设备2中，包重新排序器21根据顺序号对从运动图像分发服务器1接收到的包进行重新排序。结果，即使采用UDP/IP协议，重放设备2也可以仅通过增加类似于与根据TCP/IP的顺序号处理有关的处理，来调整包到达的时间。
此外，根据本实施例，在运动图像分发服务器1中，PCR重写器9根据包括已经移动了音频包之后的PCR的包的位置对PCR进行重写。重放设备2使用基于PCR的STC来对包进行解码或重放。因此，可以在准确的STC上对包进行解码和重放。
在上述实施例中已经讲述了音频数据的相位调整。不过，本发明并不限于音频数据的相位调整，还可以应用于视频数据的相位调整。
在上述实施例中已经讲述了相位延迟来作为相位调整。不过，本发明并不限于相位延迟，还可以应用于相位提前。根据这一修改，TCP包的顺序号的重写起到防止缓存因下溢而发生故障的作用。
下面来讲述本发明的第二实施例。
根据第二实施例，对MPEG2-PS(MPEG程序流)进行分发。
图8以框图形式示出了根据本发明的第二实施例的运动图像分发***。如图8所示，根据第二实施例的运动图像分发***一般包括通过网络3互连的运动图像分发服务器1和重放设备2。运动图像分发服务器1是用于分发包括视频数据和音频数据的运动图像数据的服务器。重放设备2是用于从运动图像分发服务器1接收运动图像数据和重放其视频数据和音频数据的设备。
运动图像分发服务器1将其音频数据已经延迟了由重放设备2指示的相位调整变量的MPEG2-PS流分发到重放设备2。当重放设备2重放这种分发的MPEG2-PS流时，其视频数据和音频数据相位彼此相同地被重放。
图9示出了从运动图像分发服务器分发到重放设备的MPEG2-PS流。如图9所示，MPEG2-PS流包括由视频ES打包的PES包和由音频ES打包的PES包，PES包被多路复用。MPEG2-PS流是由如下大包(pack)组成的，所述大包的每一个都包括大包头、***头和多个PES包。必需将***头添加到MPEG2-PS流的第一个大包。
大包头包含表示大包到达MPEG解码器的估计时间的SCR(***时钟基准)。根据第一实施例，运动图像分发服务器1重写PCR。不过，根据第二实施例，运动图像分发服务器1重写MPEG2-PS流的SCR。在根据第二实施例的重放设备2中，SCR被设定在STC中，并且根据频率已经由PLL进行了调整的基准时钟来对STC的脉冲进行计数。
图10示出了TCP/IP打包处理。如图10所示，如果TCP/IP协议用于运动图像分发，则运动图像分发服务器1将MPEG2-PS流的各大包中包括的大包头和***头的每一个打包成TCP包。运动图像分发服务器1还将每一个PES包分成分割并且打包成TCP包。此时，多个PES包的数据不是存储在一个TCP包中。
如果UDP/IP协议用于运动图像分发，则运动图像分发服务器1将MPEG2-PS流的各大包中包括的大包头和***头的每一个打包成UDP包。运动图像分发服务器1还将每一个PES包分割并且打包成多个UDP包。此时，多个PES包的数据不是存储在一个UDP包中。
回头参看图8，运动图像分发服务器1包括音频相位调整变量存储单元4、MPEG2-PS文件33、音频包PTS/DTS重写器6、音频包位置移动计算器7、音频包位置转换表8、SCR重写器34、TCP单元11、顺序号重写器12、UDP单元13、顺序号添加器14、TCP/UDP设置单元15、TCP/UDP切换器16和IP单元17。
重放设备2包括音频相位控制器18、IP单元19、TCP单元20、包重新排序器21、UDP单元22、TCP/UDP切换器23、协议控制器24、MPEG解码器25、视频信号处理器26、视频输出单元29、显示设备30、音频输出单元31和扬声器32。视频信号处理器26具有I/P转换器27和分辨率转换器28。
第二实施例与第一实施例的不同之处在于音频包位置移动计算器7计算PES包的位置移动。因此，音频包位置转换表8记录表示PES包要移动到的位置的位置移动信息。
TCP单元11以一个TCP包不会跨(extend over)多个PES包的方式将包打包成TCP包。因此，顺序号重写器12可以通过重写TCP包头的顺序号来改变PES包的位置。
类似地，UDP单元13以一个UDP包不会跨多个PES包的方式将包打包成UDP包。因此，顺序号添加器14可以通过为UDP包的数据添加顺序号来改变PES包的位置。
根据第二实施例的运动图像分发***与根据第一实施例的运动图像分发***的不同之处在于运动图像分发服务器1具有SCR重写器34而非PCR重写器9。SCR重写器34通过参考音频包位置转换表8来重写MPEG2-PS流中的SCR，并且将MPEG2-PS流发送给TCP单元11和UDP单元13。
虽然使用特定术语讲述了本发明的优选实施例，但是这些讲述只是出于讲解目的，并且可以理解，在不偏离权利要求的精神和范围的情况下可以对其进行修订和更改。

Claims (17)

1.一种运动图像分发***，用于分发包括视频数据和音频数据并且能够规定用于视频数据和音频数据的解码时间和重放时间的运动图像数据，包括：
运动图像分发服务器，用于事先存储包括关于视频数据和音频数据的解码时间和重放时间的信息的运动图像数据，读取所述运动图像数据，根据预定相位调整变量来改变其中包含的关于解码时间或重放时间的信息，以调整视频数据和音频数据之间的相位关系，并且然后分发运动图像数据；以及
重放设备，用于接收从所述运动图像分发服务器分发的运动图像数据，根据包括在所述运动图像数据中的关于解码时间的信息来对包括在运动图像数据中的视频数据和音频数据进行解码，并且根据包括在所述运动图像数据中的关于重放时间的信息来重放视频数据和音频数据。
2.如权利要求1所述的运动图像分发***，其中所述运动图像分发服务器根据所述相位调整变量来改变音频数据和视频数据流中的所述音频数据和所述视频数据中的至少一个的位置，从而使它们的流中的所述音频数据和所述视频数据之间的位置关系与视频数据和音频数据之间的调整的相位关系相一致，并且之后对运动图像数据进行分发。
3.如权利要求2所述的运动图像分发***，其中所述运动图像数据包括MPEG2-TS流，并且所述运动图像分发服务器改变作为所述MPEG2-TS流的传输包的流中的所述音频数据的包或所述视频数据的包的位置。
4.如权利要求3所述的运动图像分发***，其中TCP/IP协议用于分发所述运动图像数据，并且所述运动图像分发服务器将一个所述传输包打包成一个TCP包，并且根据所述相位调整变量改变所述TCP包的包头中的顺序号，以改变所述传输包的位置。
5.如权利要求3所述的运动图像分发***，其中UDP/IP协议用于分发所述运动图像数据，并且所述运动图像分发服务器将一个所述传输包打包成一个UDP包，并且根据所述相位调整变量将顺序号添加到所述UDP包的数据中，以改变所述传输包的位置；并且
其中所述重放设备根据添加到所述数据中的所述顺序号重新排序UDP包。
6.如权利要求2所述的运动图像分发***，其中所述运动图像数据包括MPEG2-PS流，并且所述运动图像分发服务器改变作为所述MPEG2-PS流的PES包的流中的所述音频数据的包或所述视频数据的包的位置。
7.如权利要求6所述的运动图像分发***，其中TCP/IP协议用于分发所述运动图像数据，并且所述运动图像分发服务器以一个TCP包不会跨过多个PES包的方式将PES包打包成TCP包，并且根据所述相位调整变量改变所述TCP包的包头中的顺序号，以改变所述PES包的位置。
8.如权利要求6所述的运动图像分发***，其中UDP/IP协议用于分发所述运动图像数据，并且所述运动图像分发服务器以一个UDP包不会跨过多个PES包的方式将PES包打包成UDP包，并且根据所述相位调整变量将顺序号添加到所述UDP包的数据中，以改变所述PES包的位置；并且
其中所述重放设备根据添加到所述数据中的所述顺序号重新排序UDP包。
9.如权利要求2所述的运动图像分发***，其中当所述运动图像分发服务器改变所述视频数据或所述音频数据的位置时，如果在所述运动图像数据中包括的关于基准时钟的信息的位置因改变的位置而改变，则所述运动图像分发服务器根据该改变来校正在所述运动图像数据中包括的关于基准时钟的信息；并且
其中所述重放设备基于根据从所述运动图像分发服务器分发的所述运动图像数据中包括的关于基准时钟的信息生成的基准时钟，重放所述运动图像数据。
10.如权利要求1所述的运动图像分发***，其中所述重放设备将用于分发所述运动图像数据的通信协议指示给所述运动图像分发服务器；并且
其中所述运动图像分发服务器根据由所述重放设备指示的所述通信协议，将所述运动图像数据分发到所述重放设备。
11.如权利要求9所述的运动图像分发***，其中所述运动图像数据包括MPEG2-TS流，并且关于基准时钟的信息包括PCR。
12.如权利要求9所述的运动图像分发***，其中所述运动图像数据包括MPEG2-PS流，并且关于基准时钟的信息包括SCR。
13.如权利要求1所述的运动图像分发***，其中所述重放设备将所述相位调整变量指示给所述运动图像分发服务器；并且
其中所述运动图像分发服务器使用由所述重放设备指示的所述相位调整变量。
14.如权利要求1所述的运动图像分发***，其中所述运动图像数据包括MPEG PES包；并且
其中所述运动图像分发服务器将DTS或PTS重写到所述PES包中。
15.一种运动图像分发服务器，用于将包括视频数据和音频数据并且能够规定用于视频数据和音频数据的解码时间和重放时间的运动图像数据分发到重放设备，包括：
数据存储单元，用于事先存储包括关于视频数据和音频数据的解码时间和重放时间的信息的运动图像数据；
相位调整变量存储单元，用于存储预定相位调整变量；以及
第一重写器，用于读取存储在所述数据存储单元中的所述运动图像数据，并且根据所述预定相位调整变量来改变包含在其中的关于解码时间或重放时间的信息，以调整视频数据和音频数据之间的相位关系。
16.如权利要求15所述的运动图像分发服务器，进一步包括：
位置移动计算器，用于改变所述运动图像数据中包括的音频数据和视频数据流中的所述音频数据和所述视频数据中的至少一个的位置，其中所述运动图像数据的关于解码时间或重放时间的信息已经被所述第一重写器进行重写，从而使它们的流中的所述音频数据和所述视频数据之间的位置关系与视频数据和音频数据之间的调整的相位关系相一致。
17.如权利要求15所述的运动图像分发服务器，进一步包括：
第二重写器，用于当所述视频数据或所述音频数据的位置改变时，如果在所述运动图像数据中包括的关于基准时钟的信息的位置因改变的位置而改变，则根据该改变的位置来校正在所述运动图像数据中包括的关于基准时钟的信息。
CN200610094014XA 2005-08-19 2006-06-21 运动图像分发***和运动图像分发服务器 Expired - Fee Related CN1917636B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-238606 2005-08-19
JP2005238606 2005-08-19
JP2005238606A JP4322851B2 (ja) 2005-08-19 2005-08-19 動画配信システムおよび動画配信サーバー

Publications (2)

Publication Number Publication Date
CN1917636A true CN1917636A (zh) 2007-02-21
CN1917636B CN1917636B (zh) 2010-08-11

Family

ID=37738507

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200610094014XA Expired - Fee Related CN1917636B (zh) 2005-08-19 2006-06-21 运动图像分发***和运动图像分发服务器
CNU2006201213186U Expired - Lifetime CN2927563Y (zh) 2005-08-19 2006-06-22 运动图像分发***和运动图像分发服务器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNU2006201213186U Expired - Lifetime CN2927563Y (zh) 2005-08-19 2006-06-22 运动图像分发***和运动图像分发服务器

Country Status (3)

Country Link
US (2) US8107538B2 (zh)
JP (1) JP4322851B2 (zh)
CN (2) CN1917636B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340098B2 (en) 2005-12-07 2012-12-25 General Instrument Corporation Method and apparatus for delivering compressed video to subscriber terminals
WO2007102147A2 (en) * 2006-03-07 2007-09-13 Bitband Technologies Ltd. Personalized insertion of advertisements in streaming media
US8700792B2 (en) 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
US8752092B2 (en) 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
US9215567B2 (en) * 2009-02-17 2015-12-15 Sk Telecom Co., Ltd. Local area broadcasting service system and method, and wireless transmission device applied therein
CN102045768A (zh) * 2009-10-26 2011-05-04 宏碁股份有限公司 数据传输方法及其用户装置与数据传输***
US9357244B2 (en) * 2010-03-11 2016-05-31 Arris Enterprises, Inc. Method and system for inhibiting audio-video synchronization delay
CN102884788B (zh) * 2010-04-28 2016-06-08 富士通株式会社 动态图像输出装置、动态图像输出方法以及动态图像输出程序
JP5897792B2 (ja) * 2010-12-10 2016-03-30 ソニー株式会社 画像処理装置、画像再生装置、および画像再生システム
TWI482522B (zh) * 2011-06-08 2015-04-21 Inst Information Industry 訊息轉換裝置、訊息傳輸系統、訊息傳輸方法及其電腦程式產品
JP2014027613A (ja) * 2012-07-30 2014-02-06 Toshiba Corp 映像送信装置、及び映像送信方法
KR20140117995A (ko) * 2013-03-27 2014-10-08 한국전자통신연구원 다중 사용자 영상 전송 장치 및 방법
JP6232778B2 (ja) * 2013-06-27 2017-11-22 セイコーエプソン株式会社 画像処理装置、画像表示装置、および画像処理装置の制御方法
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US9744665B1 (en) 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
US10059003B1 (en) 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system
CN106385525A (zh) * 2016-09-07 2017-02-08 天脉聚源(北京)传媒科技有限公司 一种视频播放方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3537015B2 (ja) 1996-08-12 2004-06-14 日本電信電話株式会社 パケット通信方式
JPH10126771A (ja) 1996-10-15 1998-05-15 Toshiba Corp 画像データ転送システムにおける画像データ送出レート制御方法および画像データ転送方法
JP3666625B2 (ja) 1998-03-20 2005-06-29 パイオニア株式会社 データ記録方法およびデータ記録装置
US6907081B2 (en) * 2001-03-30 2005-06-14 Emc Corporation MPEG encoder control protocol for on-line encoding and MPEG data storage
JP2002354419A (ja) 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
JP3931595B2 (ja) * 2001-07-10 2007-06-20 株式会社日立製作所 データ修正装置及びデータ修正方法
JP3591493B2 (ja) 2001-07-25 2004-11-17 ソニー株式会社 ネットワークシステム、およびネットワークシステムの同期方法
JP2003046977A (ja) 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 中継サーバ
JP4298262B2 (ja) 2001-10-29 2009-07-15 パナソニック株式会社 映像音声同期装置
JP2004193868A (ja) 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
JP2004282667A (ja) 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
CN1615018A (zh) * 2003-11-06 2005-05-11 皇家飞利浦电子股份有限公司 一种从mpeg多节目传送流中提取/存储特定节目的方法和***

Also Published As

Publication number Publication date
US9049474B2 (en) 2015-06-02
US20070040818A1 (en) 2007-02-22
US20120036547A1 (en) 2012-02-09
JP2007053668A (ja) 2007-03-01
CN1917636B (zh) 2010-08-11
CN2927563Y (zh) 2007-07-25
US8107538B2 (en) 2012-01-31
JP4322851B2 (ja) 2009-09-02

Similar Documents

Publication Publication Date Title
CN1917636A (zh) 运动图像分发***和运动图像分发服务器
US10123059B2 (en) Fast start of streaming digital media playback with deferred license retrieval
JP5684920B2 (ja) 適応ストリーミングのための様々なビットのビデオストリーム
JP6225446B2 (ja) 動画像データ配信装置、方法、プログラム、及びシステム
CN1476726A (zh) 用于活动图像专家组(mpeg)传输流的程序时钟基准数据的再生
CN1171158C (zh) 视频点播***中活动图象的流动方法
CN101040475A (zh) 对前向纠错帧进行组合
CN1497933A (zh) 网络电话机以及声音解码装置
WO2012151217A1 (en) L-cut stream startup
CN1741609A (zh) 用于视频同步的设备、方法和介质
CN101080926A (zh) 无线通信***
CN1705017A (zh) 数字信息再生装置和方法
CN1395192A (zh) 数据重放装置及数据重放方法
CN1396742A (zh) 基于流媒体技术的播放器变速播放实现方法
CN1816156A (zh) 多媒体数据的同步播放方法
CN1862693A (zh) 再现方法
EP3205110B1 (en) Video bitstream processing for enabling tune-in
CN1866928A (zh) 便携式终端、流传输通信***、方法和程序
CN1220392C (zh) 进行跳帧处理的图像压缩设备和方法
KR20140070896A (ko) 비디오 스트리밍 방법 및 그 전자 장치
CN1969557A (zh) 信号再现装置
CN1215711C (zh) 图像记录装置及方法
CN1917637A (zh) 提供视频数据的方法和***
CN100352269C (zh) 一种多媒体信号处理***
JP2010119021A (ja) 通信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC DISPLAY SOLUTIONS CO., LTD.

Free format text: FORMER OWNER: NEC VIDEO TECH. K.K.

Effective date: 20070720

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070720

Address after: Tokyo, Japan, Japan

Applicant after: NEC Display Solutions Ltd.

Address before: Tokyo, Japan

Applicant before: Japan Electrical Vision Technology Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100811

Termination date: 20180621