CN103069835A - 信息处理装置和方法、以及程序 - Google Patents
信息处理装置和方法、以及程序 Download PDFInfo
- Publication number
- CN103069835A CN103069835A CN2011800385066A CN201180038506A CN103069835A CN 103069835 A CN103069835 A CN 103069835A CN 2011800385066 A CN2011800385066 A CN 2011800385066A CN 201180038506 A CN201180038506 A CN 201180038506A CN 103069835 A CN103069835 A CN 103069835A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- cache
- transmission
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 5
- 238000000034 method Methods 0.000 title abstract description 68
- 230000005540 biological transmission Effects 0.000 claims abstract description 154
- 238000012545 processing Methods 0.000 claims description 119
- 238000012546 transfer Methods 0.000 claims description 72
- 230000001360 synchronised effect Effects 0.000 claims description 52
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000007906 compression Methods 0.000 abstract description 6
- 230000006835 compression Effects 0.000 abstract description 6
- 230000001934 delay Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 57
- 230000009466 transformation Effects 0.000 description 29
- 238000013139 quantization Methods 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 241001269238 Data Species 0.000 description 6
- 230000006854 communication Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005039 memory span Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L7/00—Arrangements for synchronising receiver with transmitter
- H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
- H04L7/0033—Correction by delay
- H04L7/0041—Delay of data signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/062—Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
- H04J3/0632—Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/28—Flow control; Congestion control in relation to timing considerations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及能够抑制内容的质量的劣化的信息处理装置和方法、以及程序。综合接收缓存时间调整部(114)求出在各接收部(113)进行的数据传输的传输延迟中最长的延迟时间即最大传输延迟时间。接收缓存时间设定部(208)使用最大传输延迟时间、该接收部(113)的数据传输的传输延迟时间和规定接收缓存时间来计算接收缓存时间。接收缓存时间设定部(208)根据该接收缓存时间,设定可变压缩编码延迟时间、冗余编码块接收等待时间、ARQ重发分组等待时间和网络抖动应对缓存时间等各种延迟时间和等待时间。本发明例如能够应用于信息处理装置。
Description
技术领域
本发明涉及信息处理装置和方法、以及程序,特别涉及能够抑制内容的质量的劣化的信息处理装置和方法、以及程序。
背景技术
近年来,经由因特网、LAN(Local Area Network,局域网)或其他的传输路径而进行媒体基准信号同步(所谓GENLOCK同步)且低延迟地传输多媒体数据的需要变高。
例如,在广播台中存在如下的***:通过HD-SDI(High Definition SerialDigital Interface,高清晰串行数字接口)电缆连接摄像头和其控制单元(所谓CCU(Camera Control Unit)),进行非压缩同步传输。近年来,将该***的HD-SDI电缆替换为以太网(注册商标)电缆,在以太网(注册商标)上进行基于IP分组的GENLOCK同步并且进行传输。
以如此的目的进行多媒体数据的IP传输的情况下,要求与经由HD-SDI电缆的传输相同的使用方便性,因此例如要求高精度的GENLOCK同步和视频帧间隔以下的低延迟传输。
从如此的要求出发,提出了如下的方式:将动图像的各图像的多个线的每个线作为一个编码块(线块)而进行基于小波变换的编码(例如参照专利文献1)。
在该方式中,能够无需等待至输入图像内的全部的数据而开始进行编码。因此,对所生成的编码数据进行网络传输,在接收侧进行解码的情况下,也能够在接收到图像内的全部数据之前开始进行解码处理。即,如果网络传播延迟足够小,则能够进行帧间隔以下的延迟下的实时(即时的)的动图像传输。
在如此的数据传输中,接收装置为了应对编码处理、数据传输处理和QoS控制处理等的延迟,需要对接收到的数据进行缓存(临时保持)。换言之,根据该接收侧的缓存时间(使得不溢出),进行编码处理、QoS控制处理等的设定。即,解码图像的画质和传输质量依赖于缓存时间。
但是,在通过如此的数据传输而从多个发送装置对一个接收装置传输数据的情况下,在以往的方式中,将各发送装置的接收缓存时间互相独立地设定或者设定为预先决定的规定的时间(使用共同的接收缓存时间)。
现有技术文献
专利文献
专利文献1:日本特许4371120号
发明内容
发明要解决的课题
但是,一般,与从各发送装置的数据传输有关的延迟(传输延迟)由于该数据传输的路径和带宽等互相不同,因此按每个发送装置不同的情况较多。但是,在以往方式的情况下,不考虑该传输延迟的不同而进行接收缓存时间的设定(互相独立地设定或者共同设定)。
如上所述,基于该接收缓存时间来进行编码、QoS控制等的设定,因此在实际上,接收数据比该接收缓存时间长地保持的情况下,也存在无法提高解码图像的画质和传输质量的顾虑。换而言之,存在通过数据传输而没有必要地劣化内容的质量的顾虑。
本发明鉴于如上的情况而完成,其目的在于,将各处理的时间富余利用于画质和传输质量的提高,降低延迟时间上的多余。
用于解决课题的手段
本发明的一个侧面是一种信息处理装置,具备:调整部件,在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间;以及设定部件,使用由所述调整部件调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
所述调整部件能够求所述传输延迟的最大值,将对预先决定的规定的接收缓存时间即规定接收缓存时间加上各数据的所述传输延迟与所述最大值的差后的时间,设为所述接收缓存时间。
关于所述数据传输的处理是所述数据传输的QoS控制处理,所述设定部件能够作为所述QoS控制处理的参数,设定接收冗余编码块的开头分组起至末尾的分组为止的时间即冗余编码块接收等待时间、等待重发分组的时间即重发分组等待时间、以及用于吸收网络抖动的网络抖动应对缓存时间。
在传输源中对所述数据进行编码,传输所得到的编码数据,在传输目的地中对所述编码数据进行解码,所述设定部件能够作为所述处理的参数,设定对在所述编码中进行速率控制而生成的所述编码数据进行平滑传输时所需的可变压缩编码延迟要求时间。
还具备用于接受关于所述数据的画质的要求即图像质量要求、以及关于所述数据传输中的传输质量的要求即传输质量要求的接受部件,所述调整部件能够基于由所述接受部件接受的所述图像质量要求和所述传输质量要求,调整所述接收缓存时间。
所述调整部件能够基于由所述接受部件接受的所述图像质量要求和所述传输质量要求来设定临时的所述接收缓存时间,并使用所述临时的接收缓存时间来调整所述接收缓存时间。
还能够具备用于显示GUI,其中该GUI用于辅助输入由所述接受部件接受的所述图像质量要求和所述传输质量要求的输出部件。
此外,本发明的一个侧面是一种信息处理装置的信息处理方法,其中,所述信息处理装置的调整部件在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间,所述信息处理装置的设定部件使用调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
进而,本发明的一个侧面是一种用于使进行数据传输的计算机作为如下部件发挥作用的程序:调整部件,在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间;以及设定部件,使用由所述调整部件调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
在本发明的一个侧面中,在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在接收装置中取得各数据的同步的缓存时间即接收缓存时间,并使用调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
发明的效果
根据本发明,能够传输数据。尤其,能够抑制内容的质量的劣化。
附图说明
图1是表示应用了本发明的传输***的主要的结构例的方框图。
图2是表示发送装置的主要的结构例的方框图。
图3是表示编码部的主要的结构例的方框图。
图4是说明分析滤波的概要的图。
图5是说明分析滤波的概要的、接着图3的图。
图6是说明线块的图。
图7是表示接收部的主要的结构例的方框图。
图8是表示解码部的主要的结构例的方框图。
图9是说明数据传输整体处理的流程的例子的流程图。
图10是说明接收缓存时间决定处理的流程的例子的流程图。
图11是表示接收缓存时间的设定情况的例子的图。
图12是说明接收缓存时间、处理参数设定处理的流程的例子的流程图。
图13是表示应用了本发明的传输***的主要的结构例的方框图。
图14是要求接受画面的显示例的图。
图15是说明数据传输处理的流程的其他的例子的流程图。
图16是说明接收缓存时间决定处理的流程的例子的流程图。
图17是说明接收缓存时间决定处理的流程的例子的、接着图16的流程图。
图18是说明接收缓存动态变更传输处理的流程的例子的流程图。
图19是表示应用了本发明的个人计算机的主要的结构例的方框图。
具体实施方式
以下,说明用于实施发明的方式(以下称为实施方式)。其中,按以下的顺序进行说明。
1、第一实施方式(传输***)
2、第二实施方式(传输***)
3、第三实施方式(个人计算机)
<1、第一实施方式>
[传输***的概要]
图1是表示应用了本发明的传输***的主要的结构例的方框图。传输***100是,将图像数据从多个发送装置(发送装置101-1至发送装置101-N(N是2以上的整数))经由因特网、LAN等通用的传输路径即网络102传输到接收装置103的***。以下,在无需互相区分各发送装置而进行说明的情况下,简单称为发送装置101。其中,网络102不仅包括电缆等,还包括路由器或集线器等设备。
输入到各发送装置101的图像数据(视频数据)实时地(即时地)经由网络102传输到接收装置103,并通过该接收装置103输出。即,以规定的(例如为通常再生时的)帧速率输入到各发送装置的视频数据在发送装置101中编码,并作为编码数据传输到接收装置103,在接收装置103中解码,延迟规定的延迟时间量而从接收装置103以规定的(例如为通常再生时的)帧速率输出。
接收装置103将来自各发送装置101的数据互相取得同步,并进行合成和输出(再生)。即,进行来自各发送装置101的数据传输,使得如此的同步再生不会被破坏。
近年来,经由因特网、LAN的通用的传输路径而进行媒体基准信号同步(所谓GENLOCK同步)且低延迟地传输多媒体数据的需要变高。
例如,以往,在广播台中通过HD-SDI电缆连接摄像头和其控制单元(所谓CCU),在之间进行非压缩同步传输。近年来,将该HD-SDI电缆替换为以太网(注册商标)电缆,在以太网(注册商标)上进行基于IP分组的GENLOCK同步并且进行传输。
以如此的目的进行多媒体数据的IP传输的情况下,要求与经由HD-SDI电缆的传输相同的使用方便性。因此要求高精度的GENLOCK同步和视频帧间隔以下的低延迟传输。
从如此的要求出发,在专利文献1中,提出了将动图像的各图像的多个线的每个线作为一个编码块(线块)而进行编码的方式。在该方式的情况下,发送装置101能够无需等待至输入图像内的全部的数据而开始进行编码。此外,发送装置101能够将通过该编码得到的编码数据依次经由网络102传输到接收装置103。
进而,接收装置103能够在接收到图像内的全部的数据之前开始进行解码。如果网络102的传输延迟(从发送装置101至接收装置103的数据传输的、在网络102中产生的延迟)充分小,则能够进行在帧间隔以下的延迟下的实时动图像传输(能够以在发送装置101输入时的帧速率从接收装置103输出的数据传输)。
以往,从多个发送装置传输流数据,在接收装置中进行同步处理的情况下,为了该同步处理,在与各发送装置对应的接收装置内的接收部中设置接收缓存,通过设定不同的接收缓存时间从而实现了同步处理。
但是,在以往的方式中,无法根据接收缓存时间和与多个发送装置对应的各个接收部的接收缓存时间的差异,变更编码处理和QoS控制处理中的参数。
因此,尽管通过调整编码处理和QoS控制处理中的参数而传输延迟不会增加,却没有调整这些参数,产生了延迟时间上的多余。
如上所述,在传输***100中,通过根据传输延迟的长度的不同而调整各数据传输中的编码处理和QoS控制处理等的参数,从而能够提高图像质量和影像质量而不会增大延迟时间。
如图1所示,接收装置103具有:传输部111、基准信号同步部112、接收部113-1至接收部113-N、综合接收缓存时间调整部114、以及合成部115。
传输部111与各发送装置101进行通信,发送从基准信号同步部112和接收部113-1至接收部113-N提供的信息,并且接收从各发送装置101提供的信息并提供给基准信号同步部112和接收部113-1至接收部113-N。
基准信号同步部112经由传输部111与发送装置101进行通信,与发送装置101之间取得基准信号的同步。基准信号是用于在发送装置101与接收装置103之间取得处理的同步的信号。取得了同步的基准信号提供给接收部113-1至接收部113-N。
即,接收装置103(的基准信号同步部112)成为主装置,全部的发送装置101与接收装置103取得同步,从而其结果能够取得全部的发送装置101和接收装置103的同步。
接收部113-1至接收部113-N分别对应于发送装置101-1至发送装置101-N,接收从对应的发送装置101提供的RTP分组,进行解码而输出视频数据。以下,在无需相互区分接收部113-1至接收部113-N而进行说明的情况下,简单称为接收部113。即,预先准备发送装置101以上的数目的接收部113。换而言之,接收装置103能够接收从内置的接收部113的数目以下的发送装置101发送的分组。
综合接收缓存时间调整部114调整各接收部113的接收缓存时间。合成部115合成从各接收部113输出的视频数据,将合成后的视频数据从接收装置103的视频输出端子“视频OUT”输出。各接收部113的视频数据输出定时互相取得了同步。合成部115例如基于用户指示灯,适当地合成并输出这些视频数据。
[发送装置的结构]
如图2所示,发送装置101具有:编码部131、FEC(Forward ErrorCorrection,前向纠错)部132、RTP(Real-time Transport Protocol,实时传输协议)部133、平滑部134、基准信号同步部135、媒体同步部136、RTCP(RTPControl Protocol,RTP控制协议)部137、ARQ(Auto Repeat Request,自动重复请求)部138、和接收缓存时间、处理参数设定部139。
经由摄影机等从视频输入IF“视频IN”输入的视频数据(动图像数据)提供给编码部131。编码部131以规定的编码方式进行动图像数据的编码处理。该编码方式是任意的,但期望是更低延迟的方式。在后面叙述编码方式的例子。
编码部131具有速率控制部141。速率控制部141控制在编码部131中生成的编码数据的比特速率。编码部131对所生成的编码数据进行RTP分组化,将其提供给FEC部132。
FEC部生成从编码部131提供的RTP分组的冗余分组。RTP部133对从FEC部提供的编码数据的冗余分组进行RTP分组化。
平滑部134临时保持从RTP部133提供的RTP分组,并平滑为规定的数据速率并发送。
基准信号同步部135经由网络102与传输目的地即接收装置103的基准信号同步部112进行通信,取得基准信号时钟的同步。基准信号同步部135将在与接收装置103之间取得了同步的基准信号提供给媒体同步部136。
媒体同步部136将从基准信号同步部135提供的时刻作为基准,将与输入到视频IN的数据的采样时刻同步的时刻提供给编码部131(编码部131内的RTP部)和RTP部133。该时刻作为RTP时间标记附加到RTP分组。
RTCP部137与传输目的地的接收装置103发送接收RTCP消息,并且发送接收用于QoS(Quality of Service,服务质量)控制处理的控制消息(QoS控制消息)。RTCP部137将所取得的控制消息提供给ARQ部138、接收缓存时间、处理参数设定部139。
ARQ部138根据从RTCP部137提供的重发请求消息,控制平滑部134,进行所请求的RTP分组的重发。
接收缓存时间、处理参数设定部139根据从RTCP部137提供的各种延迟时间等的设定,进行编码部131和FEC部132的参数设定。
[编码部的结构例]
下面,说明发送装置101的编码部131的例子。图3是表示发送装置101的编码部131的结构例的方框图。编码部131将图像数据从关于分辨率重要度高的数据起按顺序进行分层,进行按每层进行编码的层编码。例如,编码部131生成从关于空间分辨率重要度高的数据起按顺序分层的分层数据。此外,例如,编码部131生成从关于时间方向的分辨率重要度高的数据起按顺序分层的分层数据。进而,例如,编码部131生成从关于SNR(Signal to NoiseRatio,信号噪声比)重要度高的数据起按顺序分层的分层数据。编码部131对如此生成的分层数据按每层进行编码。
作为如此的层编码,例如存在JPEG(Joint Photographic Experts Group,联合图像专家组)2000方式,其对动图像数据的各图像进行小波变换,并进行熵编码。层编码方法是任意的,但在以下,说明编码部131对动图像数据按多个线的每个线进行小波变换,并进行熵编码的情况。
如图3所示,编码部131具有小波变换部161、量化部162、熵编码部163、速率控制部141和RTP部164。小波变换部161对动图像的各图像按多个线的每个线进行小波变换。
小波变换是,对画面水平方向和画面垂直方向的双方进行将输入数据分割为低频分量和高频分量的分析滤波处理的处理。即,通过小波变换处理,输入数据被分割为在水平方向和垂直方向上低频的分量(LL分量)、在水平方向上高频且在垂直方向上低频的分量(HL分量)、在水平方向上低频且在垂直方向上高频的分量(LH分量)、以及在水平方向和垂直方向上高频的分量(HH)分量的四个分量(子带)。
小波变换部161将如此的小波变换处理对通过分析滤波处理得到的在水平方向和垂直方向上低频的分量(LL分量)递归性地重复进行规定次数。即,通过小波变换处理,动图像数据的各图像被分割为分层的多个子带(频率分量)(生成分层数据)。熵编码部163按该每个子带进行编码。
动图像的各图像的图像数据按照从图像的上至下的顺序一个线一个线地输入到小波变换部161。此外,各线的图像数据按照从图像的左至右的顺序一个样本(一列)一个样本地输入。
小波变换部161对如此输入的图像数据,在每取得能够执行分析滤波的样本数目的数据时(取得之后立即),执行图像水平方向的分析滤波(水平分析滤波)。例如,小波变换部161对图4的左所示的基带的图像数据181,在每输入M列时进行水平分析滤波,按每个线在水平方向上分割为低频的分量(L)和高频的分量(H)。图4的右所示的水平分析滤波处理结果182表示,由小波变换部161分割的N线量的水平方向上低频的分量(L)和高频的分量(H)。
下面,小波变换部161对该水平分析滤波处理结果182的各分量,在垂直方向上进行分析滤波(垂直分析滤波)。小波变换部161如果通过水平分析滤波而生成了垂直分析滤波所需的垂直线量的系数,则对该垂直分析滤波所需的垂直线量的系数按每个列进行垂直分析滤波。
其结果,如图5的左所示那样,水平分析滤波处理结果182被分割为在水平方向和垂直方向的双方低频的分量(LL分量)、在水平方向上高频且在垂直方向上低频的分量(HL分量)、在水平方向上低频且在垂直方向上高频的分量(LH分量)、以及在水平方向和垂直方向的双方高频的分量(HH)的四个分量的小波变换系数(以下,称为系数)(分层数据183)。
在得到规定的层(分割级别)的系数为止,所得到的分析滤波的结果中的HL分量、LH分量、HH分量被输出到外部。剩余的LL分量通过小波变换部161再次进行分析滤波。即,例如,图5的左所示的分层数据183变换为图5的右所示的分层数据184。在分层数据184中,从LL分量生成LLLL分量、LLHL分量、LLLH分量和LLHH分量的四个分量。
小波变换部161将如此的分析滤波递归地进行规定次数,生成将动图像数据分层至期望的分割级别的分层数据。图6表示分层至分割级别3(3层)的分层数据的例子。在图6中,分割至分割级别3的分层数据185由以下的各子带构成:分割级别1(层号3)的3HL分量、3LH分量和3HH分量、分割级别2(层号2)的2HL分量、2LH分量和2HH分量、以及分割级别3(层号1)的1LL分量、1HL分量、1LH分量和1HH分量。
在小波变换处理中,在每重复进行滤波处理(每当层下降1位时),所生成的线数减少2的幂乘的1量。为了将最终分割级别(层号1)的系数生成1个线所需的基带的线数,根据重复进行多少次该滤波处理(最终分割级别的层数)而决定。通常,预先决定该层数。
该为了将最终分割级别的系数生成1个线所需的基带的图像数据(多个线量的图像数据)、或者各层的系数汇总而被称为线块(或者范围)。
在图6中以斜线表示的部分为构成1个线块的系数。如图6所示,线块由层号1的各分量的1个线块量的系数、层号2的各分量的2个线块量的系数、以及层号3的各分量的4个线块量的系数构成。另外,与此相当的分析滤波前的图像数据即在该例子中为8个线量的图像数据也称为线块(或者范围)。
返回到图3,量化部162将由小波变换部161生成的各分量的系数例如以量化步长进行除算,从而进行量化,生成量化系数。这时,量化部162能够对每个线块(区域)设定量化步长。该线块包含某一图像区域的所有的频率分量(在图6的情况下为1LL至3HH为止的10个频率分量)的系数,因此按每个线块进行量化,则能够利用小波变换的特征即多重分辨率分析的优点。此外,在整个画面仅决定线块数目即可,因此量化的载荷也小。
进而,图像信号的能量一般集中在低频分量,此外存在从人的视觉上低频分量的劣化容易发现的特性,因此在量化时,加权成低频分量的子带中的量化步长结果成为小的值是有效的。通过该加权,低频分量分配有相对多的信息量,整体的主观的画质提高。
熵编码部163对由量化部162生成的量化系数信源编码,生成压缩后的编码数据,将其提供给速率控制部141。作为信源编码,例如能够使用在JPEG和MPEG(Moving Picture Experts Group,运动图像专家组)中使用的哈夫曼编码、在JPEG2000方式中使用的更高精度的算术编码。
这里,对哪个范围的系数进行熵编码是,直接与压缩效率相关的非常重要的要素。例如,在JPEG方式和MPEG方式中,对8×8的块实施DCT(Discrete Cosine Transform,离散余弦变换)变换,并对所生成的64个DCT变换系数进行哈夫曼编码,从而压缩信息。即,64个DCT变换系数成为熵编码的范围。
在小波变换部161中,与对于8×8块的DCT变换不同,以线单位实施小波变换,因此在熵编码部163中,按每个频域(子带)独立地并且在各频域内按每P线进行信源编码。
P最低为1个线,在线数少的情况下参考信号少即可,能够减少存储器容量。相反,在线数多的情况下,信息量增加相应的量,因此能够提高编码效率。但是,如果P超过各频域内的线块的线数,则还需要下一线块的线。因此,需要等待至通过小波变换和量化生成该线块的量化系数数据,该时间成为延迟时间。
但是,为了低延迟,P必须是线块的线数以下。例如,在图6的例子中,关于1LL、1HL、1LH、1HH的频域,由于线块的线数=1个线,因此P=1。此外,关于2HL、2LH、2HH的子带,由于线块的线数=2个线,因此P=1或2。
速率控制部141进行用于最终与目标的比特速率或压缩率匹配的控制,将速率控制后的编码数据提供给RTP部164。例如,该速率控制部141将从熵编码部163输出的编码数据的比特速率(压缩率)与目标值进行比较,并对量化部162发送控制信号,使得在提高比特速率的情况下减小量化步长,在减小比特速率的情况下增大量化步长。
RTP部164对从速率控制部141提供的编码数据进行RTP分组化,并提供给FEC部132。
[接收装置的结构]
下面,说明图1的接收装置103的各接收部113的内部的结构例。图7是表示接收部113的主要的结构例的方框图。如图7所示,接收部113具有接收部201、接收缓存202、RTP部203、FEC部204、解码部205、ARQ部206、RTCP部207、接收缓存时间设定部208和媒体同步部210。
接收部201接收经由网络102从与自身对应的发送装置101传输且经由传输部111提供的RTP分组,并将其提供给接收缓存202。接收缓存202例如为了与其他接收部113的数据传输取得同步,临时保持从接收部201提供的RTP分组之后,在基于来自接收缓存时间设定部208和媒体同步部210的信息决定的时刻提供给RTP部203。
RTP部203重新构成RTP分组,生成包含冗余分组的编码数据即FEC冗余编码数据,并将其提供给FEC部204。FEC部204进行分组的损失的检测,根据需要通过冗余编码解码处理而恢复损失分组数据。FEC部204将处理后的编码数据提供给解码部205。
解码部205通过与编码部131的编码处理的方式对应的解码方式,对编码数据进行解码。解码后的视频数据(动图像数据)从接收装置103的视频输出IF“视频OUT”例如输出到显示器等影像显示装置(未图示)。
ARQ部206进行接收部201中的损失分组(未能接收的分组)的检测,在检测到损失分组的情况下,控制RTCP部207对发送装置101的ARQ部138发送重发请求消息。RTCP部207将从ARQ部206请求的重发请求消息和从接收缓存时间设定部208提供的各种设定信息作为RTCP消息提供给发送装置101的RTCP部137。
接收缓存时间设定部208基于综合接收缓存时间调整部114的控制等,进行接收缓存时间的设定和调整。
媒体同步部210基于通过基准信号同步部112在各接收部113(和各发送装置101)中取得了同步的基准信号,控制接收缓存202的RTP分组输出定时、解码部205的解码处理开始定时等。
[解码部的结构例]
下面,说明与上述的编码部131的例子对应的解码部205的例子。图8是表示接收部113的解码部205的结构例的方框图。在图8中,解码部205具有RTP部230、熵解码部231、逆量化部232、和小波逆变换部233。
RTP部230将从FEC部提供的RTP分组变换为编码数据,将其提供给熵解码部231。熵解码部231通过与熵编码部163的编码方法对应的方法对编码数据进行解码,生成量化系数数据。例如,能够使用哈夫曼解码、高效率的算术解码等。其中,在熵编码部163中按每P线编码的情况下,熵解码部231独立地解码各自带,并且在各子带内按每个P线进行解码。
逆量化部232通过对量化系数数据乘上量化步长来进行逆量化,从而生成系数数据。该量化步长通常记述在从发送装置101提供的编码数据的报头。其中,在量化部中按每个线块设定了量化步长的情况下,在逆量化部232中同样地按每个线块设定逆量化步长,进行逆量化。
小波逆变换部233进行小波变换部161的逆处理。即,小波逆变换部233对通过小波变换部161分割为多个频域的系数数据,在水平方向和垂直方向的双方上进行合成低频分量和高频分量的滤波处理(合成滤波处理)。小波逆变换部233通过如此的小波逆变换处理,复原基带的视频数据,从视频OUT输出到接收装置103的外部。
当然,上述的编码部131和解码部205只是一例,也可以使用除此之外的编码、解码方式。
[传输处理]
下面,说明在传输***100(图1)中进行的各处理。首先,说明将视频数据从各发送装置101经由网络102传输到接收装置103的传输处理。
发送装置101将经由摄影机等从视频输入IF“视频IN”输入的视频数据输入到用于进行动图像数据的压缩编码处理的编码部131(图2),进行编码。
通过该编码生成的编码数据通过编码部131内部的RTP部164(图3)实施RTP分组化处理,作为RTP分组提供给FEC部132(图2)。FEC部132对所提供的RTP分组实施FEC冗余编码处理,生成冗余分组。FEC部132将所生成的冗余分组与原数据的RTP分组一起提供给RTP部133。
RTP部133对从FEC部132提供的冗余分组进行RTP分组化。平滑部134对从RTP133提供的RTP分组平滑速率,并发送到网络102。在RTP部164(图3)或RTP部133(图2)中,对各RTP分组设置了由媒体同步部136指定的同步用RTP时间标记。
在图1中,在接收装置103中,由传输部111暂且接收由多个发送装置101发送的RTP分组,并分配给与各个发送装置101对应的接收部113。例如,从发送装置101-K(K=1,2,…,N)发送的RTP分组分配给接收部113-K。
接收部113经由接收部201(图7)将RTP分组提供给接收缓存202,并保存。这时,在检测出损失分组的情况下,该意旨被通知到ARQ部206。如果接受该通知,ARQ部206进行重发请求处理。
接收缓存202根据由接收缓存时间设定部208决定的接收缓存时间、从媒体同步部210通知的时刻信息和在各RTP分组中设置的RTP时间标记值,决定从接收缓存202输出RTP分组的时刻即接收缓存输出时刻,在该时刻将各RTP分组输出到RTP部203。
RTP部203重新构成RTP分组,将所得到的FEC冗余编码数据提供给FEC部204。FEC部204在检测出数据传输时损失的分组即损失分组的情况下,通过冗余编码解码处理恢复损失分组数据。FEC部204将处理后的RTP分组输出到解码部205。解码部205从RTP分组提取编码数据,并对该编码数据进行解码处理,生成基带的视频数据。解码后的视频数据提供给合成部115(图1)。
合成部115合成来自多个接收部113的视频数据图像,并通过视频输出IF“视频OUT”输出到例如显示器等的影像显示装置。
[基准信号同步处理]
下面,说明使基准信号同步的基准信号同步处理。基准信号同步部112(图1)使用IEEE1588PTP(Precision Time Protocol,精确时间协议),进行发送装置101和接收装置103之间的基准信号时钟的同步。其中,作为基准信号时钟的频率,例如可以使用输入视频图像的像素采样频率。这时,还能够进行与从“视频IN”输入的视频输出装置的同步。
其中,接收装置也可以不具备基准信号同步部112,在发送装置101与接收装置103之间不进行同步。
如图1所示,在具有多个发送装置101的情况下,也可以是,接收装置103成为主装置,将所有的发送装置101与接收装置103同步。这时,接收装置103通过与所有的发送装置101取得同步,其结果能够在所有的发送装置101和接收装置103之间取得同步。
[媒体同步处理]
发送装置101的媒体同步部136(图2)以由基准信号同步部135通知的时刻为基础,将与通过“视频IN”输入的数据的采样时刻同步的时刻变换为RTP时间标记的频率,在编码部131内的RTP部164(图3)和RTP部(图2)中作为RTP时间标记附加到各RTP分组。
接收装置103的媒体同步部210(图7)将从基准信号同步部112(图1)通知的基准时钟时刻信息作为变换为RTP时间标记频率的***时刻保持。接收装置103的接收缓存202(图7)如果记录了RTP分组,则根据从接收缓存时间设定部208通知的接收缓存时间、从媒体同步部210提供的RTP时间标记频率时刻,决定各RTP分组的接收缓存输出时刻。在该接收缓存输出时刻,接收缓存202将所保持的RTP分组提供给RTP部203。
RTP分组的接收缓存输出时刻如下设定。例如,编码数据的开头分组设为从接收到的时刻起经过了接收缓存时间TSTIME_BUF之后的时刻之后从接收缓存输出,后续分组设为在根据开头分组的RTP时间标记值与该分组的RTP时间分组值的差分值计算出的时刻同步输出。
RTP分组n的接收缓存输出时刻TSSYS_BO_n例如通过以下的式(1)计算。将编码数据的开头分组的RTP时间标记值设为TSPKT_init,将接收时刻(***时刻换算:频率为RTP时间标记频率)设为TSSYS_init,将RTP分组n的RTP时间标记值设为TSPKT_n。
TSSYS_BO_n=(TSPKT_n-SPKT_init)+TSSYS_init+TSTIME_BUF…(1)
[编解码处理]
编码部131例如为在专利文献1中提出的将动图像的各图像的多个线的每个线作为一个压缩编码块进行小波变换的层编码方式,并且使用对各个层关联的输入数据范围不同的编码方式。
发送装置101的编码部131(图2)进行编码处理,接收装置103中的解码部205(图7)使用解码处理。
发送装置101的编码部131(图2)作为内部处理部具有速率控制部141。速率控制部141例如将ITU-T Y.1221记载的令牌桶动作中的桶大小设为编码器假定缓存大小B(byte),将桶速率R(bps)设为编码速率,进行控制编码速率使得桶不会溢出的速率控制。将在对此进行平滑并传输时接收装置103所需的缓存时间定义为可变压缩编码延迟时间。
可变压缩编码延迟时间Bt_codec(sec)例如能够通过以下的式(2)表示。
Bt_codec=B×8/R…(2)
根据由用户等指定的图像质量要求来决定编码器假定缓存大小B。在基于VBR方式的压缩编码的情况下,通过增大编码器假定缓存大小B,能够在复杂度高的图像部分使用更多的数据量,能够提高画质。即,在图像质量要求高的情况下,通过增大该编码器假定缓存大小B,能够应对该高的要求。
但是,如果增大编码器假定缓存大小B,则可变压缩编码延迟要求时间Bt_codec_req(sec)变大,因此存在延迟增加的顾虑。
[RTCP处理]
下面,说明在各发送装置101与接收装置103之间进行的QoS控制处理的RTCP处理。RTCP部137(图2)和RTCP部207(图7)使用IETF RFC3550记载的RTCP,在发送装置101与接收装置103之间发送接收RTCP消息,并且进行分组损失率、往返传播延迟(RTT)和网络抖动等的信息收集、以及用于QoS控制处理的控制消息的发送接收。作为QoS控制消息,例如由ARQ处理中的重发请求消息等。
[FEC处理]
下面,说明QoS控制处理的FEC处理。FEC部132(图2)以从编码部131提供的编码数据的RTP分组作为单位进行FEC冗余编码。例如,FEC部132使用Reed-Solomon码等的消失纠错码字,进行冗余编码。
FEC冗余编码中的冗余度例如根据由用户等指定的传输质量要求而决定。冗余度以(原数据分组数、冗余分组数)的形式指定。此外,用户还指定网络的假定分组损失率p。
以下,将(原数据分组数、冗余分组数)的组设为1个冗余编码单位(所谓FEC块)。例如,在指定为(原数据分组数、冗余分组数)=(10、5)的情况下,发送装置101的FEC部132对10个原数据分组生成5个冗余分组。即,在该FEC块中合计发送15个分组。
这时,接收装置103的FEC部204(图7)如果接收该FEC块分组中的任意的10个分组,则能够通过FEC解码处理来解码出原数据。例如,将由用户指定的分组损失率设为p,将FEC块内的分组数设为n,将原数据分组数设为k,将冗余分组数设为n-k,将由用户作为传输质量要求而指定的目标FEC块损失率设为Pt,则目标FEC块损失率Pt如以下的式(3)所示。
[数1]
决定原数据分组数k和冗余分组数n-k,使得满足该式(3)。
在图1中,在接收装置103(FEC部204(图7))中,为了通过FEC冗余解码处理而进行损失分组恢复,需要将接收缓存时间设定为FEC块的开头分组到达接收装置103起至末尾的分组到达为止的时间(所谓冗余编码块接收等待时间)以上。
将与根据由用户等指定的传输质量要求设定的FEC块对应的冗余编码块接收等待时间称为“冗余编码块接收等待要求时间”。
[ARQ处理]
在图1的接收装置103中的ARQ处理中,接收部201(图7)利用RTP分组的序列号来检测损失的分组,ARQ部206生成该损失分组的重发请求消失,RTCP部207对发送装置101发送该重发请求消息,进行重发请求。
另外,接收装置103的ARQ部206对分组损失进行重发请求,经过往返传播时间(ARQ重发分组等待时间)接收部201也没有接收到重发分组的情况下,也可以再次进行重发请求。进而,ARQ部206也可以直到决定为在该分组的接收缓存输出时刻重发分组来不及到达为止,重复进行如此的重发请求。
在发送装置101中的ARQ处理中,RTCP部137(图2)接受到重发请求消息,则ARQ部138生成应重发的RTP分组(重发分组),将该重发分组提供给平滑部134,进行重发。
ARQ处理中的恢复性能依赖于接收装置103中的、等待通过ARQ部206(图7)的请求重发的重发分组的时间即ARQ重发分组等待时间。ARQ重发分组等待时间越长,恢复性能越提高,但是需要ARQ重发分组等待要求时间以上的接收缓存时间,因此存在延迟增大的顾虑。
根据由用户等指定的传输质量要求,决定该“ARQ重发分组等待要求时间”。
[网络抖动应对处理]
接收装置103的接收缓存202(图7)也兼具网络抖动应对处理功能。接收缓存202作为接收缓存时间而设置根据由用户等指定的传输质量要求决定的“网络抖动应对缓存要求时间”以上的时间。由此,能够进行接受了“网络抖动应对缓存要求时间”以下的抖动的分组的同步处理。
[数据传输整体处理]
下面,参照图9的流程图来说明在传输***100中执行的数据传输处理的整体的流程的例子。
在开始进行数据传输之前,各接收部113的RTCP部207在步骤S121中与对应于自身的发送装置101进行通信,测量网络状况。相对于此,各发送装置101的RTCP部137在步骤S101中测量网络状况。
即,首先,通过在RTCP部137与RTCP部207之间进行的分组的接受,观测与网络102的通信有关的状况(网络状况信息)。
RTCP部137在开始传输编码数据之前,发送网络状况事先测量用的虚拟数据。该虚拟数据经由网络102传输到RTCP部207。RTCP部207接收该虚拟数据,根据在分组中记述的发送时的信息和接收时的状况来进行网络状况的测量(事先测量)。
如果取得网络状况信息,则接收缓存时间设定部208在步骤S122中进行接收缓存时间决定处理,进行接收部113内的设定,并且对发送装置101进行与接收缓存时间有关的通知。
发送装置101的接收缓存时间、处理参数设定部139在步骤S102中进行接收缓存时间、处理参数设定处理,接受来自接收装置103的通知,进行各种参数的设定。
发送装置101和接收装置103分别在步骤S103和步骤S123中互相联合地进行将视频数据的RTP分组从发送装置101传输到接收装置103的数据传输处理。
[接收缓存时间决定处理]
下面,参照图10的流程图来说明在图9的步骤S122中执行的接收缓存时间决定处理的流程的例子。
在该接收缓存时间决定处理中,进行接收缓存时间的调整,以便所有的接收部113同步。这里的同步表示,调整为包含在同时刻捕捉的数据的分组输入到所有的接收部113的情况下、在相同的定时从接收缓存202输出。
为了进行同步输出,如图11所示,需要考虑传输延迟时间(传输延迟的长度)的差异而进行调整。
在步骤S141中,综合接收缓存时间调整部114在各接收部113进行的数据传输的传输延迟中求出最长的延迟时间即最大传输延迟时间。如以下的式(4)求出该最大传输延迟时间。
最大传输延迟时间=MAX(传输延迟时间1、传输延迟时间2、…、传输延迟时间N)…(4)
其中,在式(4)中,MAX()是计算最大值的函数。
在步骤S142中,综合接收缓存调整部114从用于数据传输的接收部113中的未处理的接收部中选择作为处理对象的接收部。
在步骤S143中,被选择为处理对象的接收部113的接收缓存时间设定部208使用最大传输延迟时间、该接收部113的数据传输的传输延迟时间和规定接收缓存时间,计算接收缓存时间。
规定接收缓存时间是在编码处理和QoS处理中所需的最低限度的接收等待时间,被预先决定。接收缓存时间是用于吸收来自各发送装置101的数据传输之间的传输延迟的差而取得同步的缓存时间。接收缓存时间也包含规定接收缓存时间。即,根据各数据传输的传输延迟的长度而调整了规定接收缓存时间的时间(一般为延长后的时间)是接收缓存时间。
能够如以下的式(5)计算接收缓存时间。
接收缓存时间K=最大传输延迟时间-传输延迟时间K+规定接收缓存时间…(5)
其中,K=1,…,N。
例如,假设各发送装置101的数据传输的、基于发送装置101中的处理的延迟时间即发送装置处理延迟251和在网络102传输时的延迟时间即传输延迟252为如图11的上端所示的例子。
在该例子的情况下,发送装置101-1的传输延迟252-1最长。因此,该传输延迟252-1设为最大传输延迟时间。
如图11的下端所示,发送装置101-1的数据传输的接收缓存时间254-1的长度与规定接收缓存时间253相同。相对于此,在其他发送装置101的数据传输的接收缓存时间254中,传输延迟的长度的差分被追加到规定缓存时间253。
但是,发送装置处理延迟、传输延迟和接收缓存时间的和在各数据传输中相同。因此,数据传输整体的延迟时间不会增大。
如此,尽量长地设定接收缓存时间,并根据该接收缓存时间的长度来调整编码处理和QoS控制处理等的参数的设定,从而发送装置101和接收装置103能够进行参数设定以便提高图像质量和传输质量,而不会增大数据传输整体的延迟时间。
返回到图10,如以上那样计算接收缓存时间,则在步骤S144中,接收缓存时间设定部208根据该接收缓存时间来设定可变压缩编码延迟时间、冗余编码块接收等待时间、ARQ重发分组等待时间和网络抖动应对缓存时间等各种延迟时间和等待时间。
根据“接收缓存时间K”,通过以下的式(6)来计算在某一发送装置101-K(K=1,…,N)和与该发送装置对应的接收部113-K中的各处理中的设定值“可变压缩编码延迟时间K”、“冗余编码块接收等待时间K”、“ARQ重发分组等待时间K”和“网络抖动应对缓存时间K”。
可变压缩编码延迟时间K=冗余编码块接收等待时间K=ARQ重发分组等待时间K=网络抖动应对缓存时间K=接收缓存时间K…(6)
其中,K=1,…,N。
如上所述,如果设定了各时间,则在步骤S145中,接收缓存时间设定部208对ARQ部206设定“ARQ重发分组等待时间”,从而使用于是否进行重发请求的判定。
此外,在步骤S146中,接收缓存时间设定部208对接收缓存202设定“网络抖动应对缓存时间”。
在步骤S147中,接收缓存时间设定部208例如经由RTCP部207作为RTCP消息对处理对象的接收部113所对应的发送装置101通知“可变压缩编码延迟时间”和“冗余编码块等待时间”。
在步骤S148中,综合接收缓存时间调整部114判定是否处理了所有的接收部113,在判定为在用于数据传输的接收部113中存在未处理的接收部的情况下,将处理返回到步骤S142,选择新的处理对象,对该新的处理对象重复进行之后的处理。
此外,在步骤S148中,在判定为处理了所有的接收部113的情况下,结束接收缓存时间决定处理,处理返回到图9的步骤S122,进行之后的处理。
[接收缓存时间、处理参数设定处理]
下面,参照图12的流程图来说明在图9的步骤S102中执行的接收缓存时间、处理参数设定处理。
如果开始进行接收缓存时间、处理参数设定处理,则在步骤S161中,接收缓存时间、处理参数设定部139经由RTCP部137取得在从接收装置103提供的RTCP消息中包含的“可变压缩编码延迟时间”和“冗余编码块等待时间”。
在步骤S162中,接收缓存时间、处理参数设定部139对编码部131设定“可变压缩编码延迟时间”。在步骤S163中,接收缓存时间、处理参数设定处理139对FEC部132设定“冗余编码块等待时间”。
在步骤S164中,速率控制部141使用所提供的“可变压缩编码延迟时间”,设定速率控制参数。例如,速率控制部141设定编码器假定缓存大小B(byte),使得满足以下的式(7)。其中,在式(7)中,Bt_codec(sec)表示可变压缩编码延迟时间。此外,R(bps)表示分组速率。
Bt_codec=B×8/R…(7)
在步骤S165中,FEC部132使用“冗余编码块接收等待时间”来设定FEC块参数。“冗余编码块等待时间”是在FEC块中包含的所有分组的平滑传输所花费的时间的最大值。FEC部132调整每个FEC块的原数据分组数,使得该时间成为“冗余编码块等待时间”以下。进而,FEC部132例如设定冗余分组数n-k,使得满足上述的式(3)。
如果步骤S165的处理结束,则接收缓存时间、处理参数设定部139结束接收缓存时间、处理参数设定处理,将处理返回到图7的步骤S101,进行步骤S102的处理。
通过如此进行各种设定,发送装置101和接收装置103能够将各延迟时间和等待时间尽量长地确保到不会增大延迟的程度,能够将该时间富余利用于图像质量和传输质量的提高。
更具体地,发送装置101将编码部131的“可变压缩编码延迟时间”更长地设定到不会增大延迟的程度,能够将编码器假定缓存大小B(byte)设定得更大。此外,发送装置101能够将FEC部132的“冗余编码块等待时间”更长地设定到不会增大延迟的程度,能够将FEC块和冗余度设定得更大。
接收装置103能够将ARQ部206的“ARQ重发分组等待时间”更长地设定至不会增大延迟的程度。此外,接收装置103能够将接收缓存202的“网络抖动应对缓存时间”更长地设定至不会增大延迟的程度。
如上所述,发送装置101和接收装置103灵活利用各处理的时间富余,利用于画质和传输质量的提高,能够降低延迟时间上的多余。即,发送装置101和接收装置103能够抑制如上所述的关于数据传输的各种处理所导致的内容的质量的劣化。
<2、第二实施方式>
[传输***的结构]
另外,以上说明了仅根据网络状况来进行接收缓存时间的调整的情况,但不限定于此,例如也可以是,用户等输入对于图像质量和传输质量的要求,基于该输入来调整接收缓存时间。
此外,接收缓存时间也可以在数据传输过程中更新。
图13是表示该情况下的传输***的结构例的方框图。
图13所示的传输***300是基本上与图1的传输***100相同的***,但是代替接收装置103而具有接收装置303。接收装置303是基本上与接收装置103相同的装置,但除了具有接收装置103的结构之外,还具有输入部311和输出部312。
输入部311例如由键盘、鼠标、触摸面板或者开关等任意的输入设备、或者外部输入端子等构成,例如接受用户等的来自接收装置303外部的图像质量要求和传输质量要求,并将其提供给综合接收缓存时间调整部114。
输出部312例如由显示器或扬声器等任意的输出设备、或者外部输出端子等构成,显示从综合接收缓存时间调整部114提供的GUI图像,或者输出语音,或者输出图像质量要求和传输质量要求的输入向导和输入结果。
图14是表示用于接收图像质量要求和传输质量要求等的GUI即要求接受画面的显示例的图。如图14所示,要求接受画面321设置有显示部322和要求部323。要求部322表示用户能够输入的项目。显示部322表示由用户输入了信息的结果。
在要求部323中表示有,例如作为“使用者要求”能够输入“画质要求”(图像质量要求)和“传输质量要求”的情况。例如,在指定图像质量的情况下,用户选择“画质要求”,输入所要求的质量(例如PSR值等)。此外,例如在指定传输质量的情况下,用户选择“传输质量要求”,输入所要求的质量(例如QoS控制后分组损失率等)。
另外,在要求部323中,用户还能够指定接收缓存时间。例如,用户选择“接收缓存时间”并输入所要求的时间,从而设定作为“接收缓存时间”容许的最长的时间。
显示部322显示反映了在要求部323中如此输入的信息的各种信息。
例如,在显示部322中,作为“网络状况”按每个发送装置显示“传输延迟”。当然,也可以显示除此之外的信息。
此外,例如在显示部322中,作为“处理要求时间”显示“可变压缩编码延迟要求时间”、“冗余编码块接收等待要求时间”、“ARQ重发分组等待要求时间”和“网络抖动应对缓存要求时间”等。
进而,例如,在显示部322中按每个发送装置显示作为接收缓存时间推荐的“推荐接收缓存时间”。
通过基于如此的GUI而输入要求,用户能够更加容易地设定图像质量要求、传输质量要求和接收缓存时间等。
[数据传输整体处理]
参照图15的流程图来说明该情况下的数据传输处理的流程的例子。
在该情况下,如图15所示,接收装置303首先在步骤S321中控制输入部311和输出部312,接受图像质量要求和传输质量要求。图像质量要求是对于解码图像(从接收装置303输出的视频数据的图像)的画质的要求。传输质量要求是对于网络102的分组丢失率等的要求。接收装置303将接受到的图像质量要求和传输质量要求利用于各种参数的设定。
之后的处理与参照图9的流程图说明的情况相同。即,图15的步骤S301至步骤S303的各处理对应于图9的步骤S101至步骤S103的各处理,图15的步骤S322至步骤S324的各处理对应于图9的步骤S121至步骤S123的各处理。
其中,在图15的步骤S323中,接收缓存时间决定处理使用在步骤S321中接受的要求而进行。此外,在图15的步骤S303和步骤S324中,进行传输数据时更新接收缓存时间的接收缓存动态变更传输处理。
[接收缓存时间决定处理]
下面,参照图16和图17的流程图来说明在图15的步骤S323中执行的接收缓存时间决定处理的流程的例子。
该情况下,也基本上与参照图10的流程图说明的情况相同地进行各处理。但是,在该情况下,在求出最大传输延迟时间之前,综合接收缓存时间调整部114代替使用规定接收缓存时间,而求出各接收部113的临时的接收缓存时间(临时接收缓存时间)。
即,综合接收缓存时间调整部114在步骤S341中选择作为处理对象的接收部113,在步骤S341中对该处理对象的接收部113的数据传输,使用图像质量要求和传输质量要求来计算“可变压缩编码延迟要求时间”、“冗余编码块接收等待要求时间”、“ARQ重发分组等待要求时间”和“网络抖动应对缓存要求时间”。
在步骤S343中,综合接收缓存时间调整部114作为临时接收缓存时间而设定计算出的“可变压缩编码延迟要求时间”、“冗余编码块接收等待要求时间”、“ARQ重发分组等待要求时间”和“网络抖动应对缓存要求时间”的最大值。
在步骤S344中,综合接收缓存时间调整部114判定是否处理了用于输出传输的全部的接收部113,直到处理全部的接收部113为止重复进行步骤S341至步骤S344的处理。
如果对全部的接收部113设定临时接收缓存时间,则综合接收缓存时间调整部114将处理进至步骤S345,与图10的步骤S141的情况相同地求出最大传输延迟时间。
即,在这种情况下,未考虑传输延迟而计算出的各接收部113的接收缓存时间不是共同的规定接收缓存时间,而是单独设定的临时接收缓存时间,具有其长度互相不同的可能性。
但是,该情况下,接收缓存时间的计算方法与图10的情况基本相同,在图17的步骤S351至步骤S357的各处理中,除了代替规定接收缓存时间而应用临时接收缓存时间的最大值(最大传输延迟时间)以外,与图10的步骤S142至步骤S148的各处理同样地进行。
此外,各发送装置101的接收缓存时间、处理参数设定处理与参照图12的流程图说明的情况相同地进行。
如上所述,从用户等接受图像质量要求和传输质量要求,并根据该要求来决定接收缓存时间的情况下,也与第一实施方式相同地,能够更有效地将各处理的时间富余利用于画质和传输质量的提高,能够进一步降低延迟时间上的多余。即,能够进一步抑制内容的质量的劣化。
[接收缓存动态变更传输处理]
下面,参照图18的流程图来说明由发送装置101和接收装置303进行的接收缓存动态变更传输处理的流程的例子。
在步骤S371中,发送装置101的各部进行一定时间数据传输。对应于该处理,接收装置的各在步骤S391中进行一定时间数据传输。
接收装置303的RCTP部207在步骤S392中,与RTCP部137进行数据的发送接收,测量网络状况,更新网络状况信息。对应于该处理,在步骤S372中,发送装置101的RTCP部137测量网络状况,更新网络状况信息。
在步骤S393中,接收装置303的接收缓存时间设定部208基于更新后的网络状况信息来进行接收缓存时间决定处理,更新“可变压缩编码延迟要求时间”、“冗余编码块接收等待要求时间”、“ARQ重发分组等待要求时间”和“网络抖动应对缓存要求时间”,并根据更新后的各种要求时间,例如使用式(4)和式(5)来进行“可变压缩编码延迟要求时间”、“冗余编码块接收等待要求时间”、“ARQ重发分组等待要求时间”和“网络抖动应对缓存要求时间”等的设定。
该接收缓存时间决定处理与图16和图17的情况相同地进行。
对应于该处理,在步骤S373中,发送装置101的接收缓存时间、处理参数设定部139进行接收缓存时间、处理参数设定处理。该处理与图12的情况相同地进行。
在编码数据的传输开始后的情况下,接收缓存时间、处理参数设定部139使用由RTCP部137利用编码数据传输而测量的网络状况信息所包含的分组损失率p,决定原数据分组数k和冗余分组数n-k,使得满足式(3)。
在步骤S374中,发送装置101判定是否结束了传输,在判定为结束了传输的情况下,将处理返回到步骤S371,执行之后的处理。此外,在步骤S374中,在判定为结束了传输的情况下,结束发送装置101的接收缓存动态变更传输处理。
此外,在步骤S394中,接收装置303判定是否解除了传输,在判定为结束了传输的情况下,将处理返回到步骤S391,执行之后的处理。此外,在步骤S394中,在判定为结束了传输的情况下,结束接收装置303的接收缓存动态变更传输处理。
如上所述,不仅根据来自用户等的要求还根据网络状况来进行参数等的设定,从而发送装置101和接收装置303能够进一步根据实际的状况来更加有效地进行画质和传输质量的设定,能够进一步降低延迟时间上的多余。即,发送装置101和接收装置303能够抑制内容的质量的劣化。
如上所述,从多个发送装置传输动图像且在接收装置进行同步处理,进行可变压缩编码处理、FEC等的QoS控制等的情况下,能够对传输延迟时间小的数据传输设定更大的可变压缩编码要求时间、冗余编码块接收等待时间、ARQ重发分组等待时间和网络抖动应对缓存时间,由此能够最大限度地提高影像画质和传输质量。
另外,以下说明了对传输的视频数据进行编码的情况,但不限定于此,也可以以非压缩的形式直接传输。
<3、第三实施方式>
[个人计算机]
上述的一连串的处理可以通过硬件执行,也可以通过软件来执行。在该情况下,例如也可以作为图19所示的个人计算机而构成。
在图19中,个人计算机400的CPU(Central Processing Unit,中央处理单元)401按照在ROM(Read Only Memory,只读存储器)中存储的程序、或从存储部413载入到RAM(Random Access Memory,随机存取存储器)的程序,执行各种处理。在RAM403中还适当存储由CPU401执行各种处理时所需的数据等。
CPU401、RAM402和RAM403经由总线404相互连接。该总线404中还连接有输入输出接口410。
输入输出接口410中连接有由键盘、鼠标等构成的输入部411;由通过CRT(Cathode Ray Tube,阴极射线管)或LCD(Liquid Crystal Display,液晶显示器)等构成的显示器、以及扬声器等构成的输出部412;由硬盘等构成的存储部413;以及由调制解调器等构成的通信部414。通信部414进行经由包含因特网的网络的通信处理。
输入输出接口410还根据需要连接有驱动器415,适当安装有磁盘、光盘、光磁盘或半导体存储器等可移动介质421,从其读出的计算机程序根据需要安装到存储部413。
在通过软件来实行上述的一连串的处理的情况下,从网络或存储介质安装构成该软件的程序。
例如,如图19所示,与装置主体不同地,该记录介质不仅通过由用于向用户发布程序而发布的存储有程序的磁盘(包括软盘)、光盘(包括CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc))、或半导体存储器等构成的可移动介质421构成,还通过在装置主体中预先安装的状态下对用户发布的存储有程序的ROM402、存储部413中包含的硬盘等构成。
另外,计算机所执行的程序可以是沿着本说明书所说明的顺序按时序进行处理的程序,或者也可以是并列地在进行调用时等必要的定时进行处理的程序。
此外,在本说明书中,记述存储于存储介质的程序的步骤当然包括沿着所记载的顺序按时序进行的处理,还包括不一定按时序进行处理而并列或单独地执行的处理。
此外,在本说明中,***表示由多个设备(装置)构成的装置整体。
此外,可以对以上作为一个装置(或处理部)说明的结构进行分割,并作为多个装置(或处理部)构成。相反,也可以对以上作为多个装置(或处理部)说明的结构进行汇总,作为一个装置(或处理部)构成。此外,当然也可以对各装置(或各处理部)的结构附加上述的意外的结构。进而,如果作为***整体的结构和动作实施上相同,也可以将某一装置(或处理部)的结构的一部分包含在其他的装置(或其他的处理部)的结构。即,本发明的实施方式不限定于上述的实施方式,在不脱离本发明的意旨的范围内能够进行各种变更。
标号说明
100传输***、101发送装置、102网络、103接收装置、111传输部、112基准信号同步部、113接收部、114综合接收缓存时间调整部、115合成部、131编码部、132FEC部、133RTP部、134平滑部、135基准信号同步部、136媒体同步部、137RTCP部、138ARQ部、139接收缓存时间、处理参数设定部、141速率控制部、201接收部、202接收缓存、203RTP部、204FEC部、205解码部、206ARQ部、207RTCP部、208接收缓存时间设定部、210媒体同步部、300传输***、303接收装置、311输入部、312输出部。
Claims (9)
1.一种信息处理装置,具备:
调整部件,在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间;以及
设定部件,使用由所述调整部件调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
2.如权利要求1所述的信息处理装置,其中,
所述调整部件求所述传输延迟的最大值,将对预先决定的规定的接收缓存时间即规定接收缓存时间加上各数据的所述传输延迟与所述最大值之差后的时间,设为所述接收缓存时间。
3.如权利要求1所述的信息处理装置,其中,
关于所述数据传输的处理是所述数据传输的QoS控制处理,
所述设定部件作为所述QoS控制处理的参数,设定接收冗余编码块的开头分组起至末尾的分组为止的时间即冗余编码块接收等待时间、等待重发分组的时间即重发分组等待时间、以及用于吸收网络抖动的网络抖动应对缓存时间。
4.如权利要求1所述的信息处理装置,其中,
在传输源中对所述数据进行编码,传输所得到的编码数据,在传输目的地中对所述编码数据进行解码,
所述设定部件作为所述处理的参数,设定对在所述编码中进行速率控制而生成的所述编码数据进行平滑传输时所需的可变压缩编码延迟要求时间。
5.如权利要求1所述的信息处理装置,还具备:
接受部件,接受关于所述数据的画质的要求即图像质量要求、以及关于所述数据传输中的传输质量的要求即传输质量要求,
所述调整部件基于由所述接受部件接受的所述图像质量要求和所述传输质量要求,调整所述接收缓存时间。
6.如权利要求5所述的信息处理装置,其中,
所述调整部件基于由所述接受部件接受的所述图像质量要求和所述传输质量要求来设定临时的所述接收缓存时间,并使用所述临时的接收缓存时间来调整所述接收缓存时间。
7.如权利要求5所述的信息处理装置,还具备:
输出部件,用于显示GUI,其中该GUI用于辅助输入由所述接受部件接受的所述图像质量要求和所述传输质量要求。
8.一种信息处理装置的信息处理方法,其中,
所述信息处理装置的调整部件在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间,
所述信息处理装置的设定部件使用调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
9.一种程序,用于使进行数据传输的计算机作为如下部件发挥作用:
调整部件,在从多个发送装置对一个接收装置传输互相取得同步的数据的数据传输中,使用各数据传输的在传输路径上产生的延迟时间即传输延迟的差,调整对各数据传输设定的用于在所述接收装置中取得各数据的同步的缓存时间即接收缓存时间;以及
设定部件,使用由所述调整部件调整后的所述接收缓存时间,设定关于各数据传输的处理的参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-180946 | 2010-08-12 | ||
JP2010180946A JP5672840B2 (ja) | 2010-08-12 | 2010-08-12 | 情報処理装置および方法、並びにプログラム |
PCT/JP2011/067802 WO2012020686A1 (ja) | 2010-08-12 | 2011-08-03 | 情報処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103069835A true CN103069835A (zh) | 2013-04-24 |
CN103069835B CN103069835B (zh) | 2016-01-20 |
Family
ID=45567655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180038506.6A Expired - Fee Related CN103069835B (zh) | 2010-08-12 | 2011-08-03 | 信息处理装置和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8964921B2 (zh) |
EP (1) | EP2605459A1 (zh) |
JP (1) | JP5672840B2 (zh) |
CN (1) | CN103069835B (zh) |
BR (1) | BR112013002848A2 (zh) |
WO (1) | WO2012020686A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105897759A (zh) * | 2016-06-14 | 2016-08-24 | 青岛乾元通数码科技有限公司 | 一种网络动态自适应音视频缓存方法及*** |
CN111083309A (zh) * | 2018-10-18 | 2020-04-28 | 北京初速度科技有限公司 | 一种多传感器数据的时间对齐方法及数据采集设备 |
CN112527782A (zh) * | 2019-09-19 | 2021-03-19 | 北京京东振世信息技术有限公司 | 一种数据处理的方法和装置 |
CN117196996A (zh) * | 2023-10-17 | 2023-12-08 | 山东鸿业信息科技有限公司 | 一种数据资源的无接***互管理方法及*** |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5598155B2 (ja) * | 2010-08-12 | 2014-10-01 | ソニー株式会社 | 情報処理装置および方法、並びに送受信システム |
US9009341B2 (en) * | 2011-10-11 | 2015-04-14 | Avaya Inc. | Video bandwidth management system and method |
JP2014093655A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US10341047B2 (en) * | 2013-10-31 | 2019-07-02 | Hewlett Packard Enterprise Development Lp | Method and system for controlling the forwarding of error correction data |
US9432144B2 (en) * | 2014-09-12 | 2016-08-30 | Ciena Corporation | Precision time transfer systems and methods in optical networks |
CN105100675B (zh) * | 2015-09-11 | 2019-07-09 | Tcl集团股份有限公司 | 一种终端视频通信的质量调节方法及*** |
US9754338B2 (en) | 2015-10-09 | 2017-09-05 | Gt Gettaxi Limited | System to facilitate a correct identification of a service provider |
US10636108B2 (en) * | 2016-09-30 | 2020-04-28 | Lyft, Inc. | Identifying matched requestors and providers |
US10554783B2 (en) | 2016-12-30 | 2020-02-04 | Lyft, Inc. | Navigation using proximity information |
US11574262B2 (en) | 2016-12-30 | 2023-02-07 | Lyft, Inc. | Location accuracy using local device communications |
EP3382918B1 (en) * | 2017-03-30 | 2022-09-28 | ADVA Optical Networking SE | System and method of clock management in a packet data network |
KR101924183B1 (ko) * | 2017-04-25 | 2018-11-30 | 주식회사 님버스 | 젠락 기능을 가진 멀티미디어 송수신 장치 |
US10521881B1 (en) | 2017-09-28 | 2019-12-31 | Apple Inc. | Error concealment for a head-mountable device |
CN108628270B (zh) * | 2018-06-11 | 2020-11-20 | 哈尔滨工程大学 | 一种基于plc远程监控终端的优化网络控制装置与方法 |
US10594395B2 (en) | 2018-07-23 | 2020-03-17 | Ciena Corporation | Systems and methods for compensating coherent optics delay asymmetry in a packet optical network |
CN109152087B (zh) * | 2018-07-26 | 2022-02-11 | 同方电子科技有限公司 | 一种基于电台的敌我识别功能扩展方法 |
JP7030673B2 (ja) * | 2018-11-20 | 2022-03-07 | 株式会社東芝 | 送信装置、通信装置、通信システム、送信方法、およびプログラム |
US11910452B2 (en) | 2019-05-28 | 2024-02-20 | Lyft, Inc. | Automatically connecting wireless computing devices based on recurring wireless signal detections |
JP2021013134A (ja) * | 2019-07-09 | 2021-02-04 | ソニー株式会社 | 受信装置、受信方法および送受信システム |
USD997988S1 (en) | 2020-03-30 | 2023-09-05 | Lyft, Inc. | Transportation communication device |
US11887386B1 (en) | 2020-03-30 | 2024-01-30 | Lyft, Inc. | Utilizing an intelligent in-cabin media capture device in conjunction with a transportation matching system |
US11552722B2 (en) | 2020-12-10 | 2023-01-10 | Ciena Corporation | Precision time protocol using a coherent optical DSP frame |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185850A (ja) * | 2000-12-11 | 2002-06-28 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔映像選択混合方法及びシステム |
CN1889533A (zh) * | 2006-08-03 | 2007-01-03 | 华为技术有限公司 | 在网际协议链路上自适应传输第三代网络接口帧的方法 |
US20100022302A1 (en) * | 2008-07-28 | 2010-01-28 | Namco Bandai Games Inc. | Information storage medium, synchronization control method, and computer terminal |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007027813A (ja) * | 2005-07-12 | 2007-02-01 | Sharp Corp | 通信システム |
JP4371120B2 (ja) | 2006-05-16 | 2009-11-25 | ソニー株式会社 | 画像処理装置及び画像処理方法、プログラム及び記録媒体 |
JP4356033B2 (ja) * | 2007-05-17 | 2009-11-04 | ソニー株式会社 | 画像データ処理装置および方法 |
JP5178375B2 (ja) * | 2008-07-30 | 2013-04-10 | パナソニック株式会社 | デジタル放送再生装置およびデジタル放送再生方法 |
-
2010
- 2010-08-12 JP JP2010180946A patent/JP5672840B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-03 BR BR112013002848A patent/BR112013002848A2/pt not_active IP Right Cessation
- 2011-08-03 CN CN201180038506.6A patent/CN103069835B/zh not_active Expired - Fee Related
- 2011-08-03 US US13/814,273 patent/US8964921B2/en active Active
- 2011-08-03 EP EP11816352.6A patent/EP2605459A1/en not_active Withdrawn
- 2011-08-03 WO PCT/JP2011/067802 patent/WO2012020686A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185850A (ja) * | 2000-12-11 | 2002-06-28 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔映像選択混合方法及びシステム |
CN1889533A (zh) * | 2006-08-03 | 2007-01-03 | 华为技术有限公司 | 在网际协议链路上自适应传输第三代网络接口帧的方法 |
US20100022302A1 (en) * | 2008-07-28 | 2010-01-28 | Namco Bandai Games Inc. | Information storage medium, synchronization control method, and computer terminal |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105897759A (zh) * | 2016-06-14 | 2016-08-24 | 青岛乾元通数码科技有限公司 | 一种网络动态自适应音视频缓存方法及*** |
CN111083309A (zh) * | 2018-10-18 | 2020-04-28 | 北京初速度科技有限公司 | 一种多传感器数据的时间对齐方法及数据采集设备 |
CN111083309B (zh) * | 2018-10-18 | 2022-04-01 | 北京魔门塔科技有限公司 | 一种多传感器数据的时间对齐方法及数据采集设备 |
CN112527782A (zh) * | 2019-09-19 | 2021-03-19 | 北京京东振世信息技术有限公司 | 一种数据处理的方法和装置 |
CN112527782B (zh) * | 2019-09-19 | 2023-09-22 | 北京京东振世信息技术有限公司 | 一种数据处理的方法和装置 |
CN117196996A (zh) * | 2023-10-17 | 2023-12-08 | 山东鸿业信息科技有限公司 | 一种数据资源的无接***互管理方法及*** |
CN117196996B (zh) * | 2023-10-17 | 2024-06-04 | 山东鸿业信息科技有限公司 | 一种数据资源的无接***互管理方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP5672840B2 (ja) | 2015-02-18 |
US20130136218A1 (en) | 2013-05-30 |
JP2012044253A (ja) | 2012-03-01 |
WO2012020686A1 (ja) | 2012-02-16 |
US8964921B2 (en) | 2015-02-24 |
CN103069835B (zh) | 2016-01-20 |
EP2605459A1 (en) | 2013-06-19 |
BR112013002848A2 (pt) | 2016-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103069835B (zh) | 信息处理装置和方法 | |
US10306268B2 (en) | Information processing device and method | |
US8527846B2 (en) | Information processing device, method and program | |
EP2337306B1 (en) | Transmitting apparatus and method, and receiving apparatus and method | |
JP4883076B2 (ja) | 情報処理装置および方法 | |
US20080259796A1 (en) | Method and apparatus for network-adaptive video coding | |
EP1501227A1 (en) | Audio data code conversion transmission method and code conversion reception method, device, system, and program | |
CN102100082A (zh) | 信息处理设备和方法 | |
JP2011130065A5 (zh) | ||
JPH10262245A (ja) | 動画像伝送システム及びそれに用いる動画像送受信装置 | |
JP2004274773A (ja) | Fgs/pfgsビデオビットストリームのパケット化 | |
CN101754018A (zh) | 信息处理器及其方法 | |
Singh et al. | Comparison of multiple-description coding and layered coding based on network simulations | |
Lei et al. | Adaptive video transcoding and streaming over wireless channels | |
WO2013154024A1 (ja) | 情報処理装置および方法、並びに、プログラム | |
WO2013154025A1 (ja) | 情報処理装置および方法、並びに、プログラム | |
JP2011147050A (ja) | 画像処理装置および方法 | |
US20080201490A1 (en) | Frequency domain data mixing method and apparatus | |
EP1182876B1 (en) | Method for video transmission over a network | |
Wah et al. | Loss concealments of subband coded images for real-time transmissions in the Internet | |
Liu et al. | A multi-channel channel-optimized scheme for EZW using rate-distortion functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 |