CN102165786A - 发布服务器以及发布***和方法以及程序 - Google Patents

发布服务器以及发布***和方法以及程序 Download PDF

Info

Publication number
CN102165786A
CN102165786A CN2009801378611A CN200980137861A CN102165786A CN 102165786 A CN102165786 A CN 102165786A CN 2009801378611 A CN2009801378611 A CN 2009801378611A CN 200980137861 A CN200980137861 A CN 200980137861A CN 102165786 A CN102165786 A CN 102165786A
Authority
CN
China
Prior art keywords
mentioned
signal
conversion
resolution
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801378611A
Other languages
English (en)
Inventor
小泽一范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102165786A publication Critical patent/CN102165786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种发布服务器、***、方法、终端、程序，其能够有效利用比特率较低且画面解析度较低的内容，并能够在内容发布目标中扩展图像解析度及画质。发布服务器(150)输入对动态图像或静止图像进行压缩编码后的流或数据包，并对上述输入实施扩展解析度以及画质的转换，并通过网络(130)将上述转换后的流或数据包向移动终端(120)发布。

Description

发布服务器以及发布***和方法以及程序
技术领域
(关联申请)
本发明基于在先的日本专利申请2008-248153号(2008年9月26日申请)主张优先权，可以看做上述在先申请的所有记载内容通过引用而记载在本说明书中。
本发明涉及一种信息发布技术，特别涉及一种对压缩编码后的动态图像或静止图像流进行发布的发布服务器(distribution server)、发布***方法以及程序。
背景技术
伴随着下一代网络(NGN：下一代网络)的出现以及移动网络的带宽的扩展及高速化，预先到今后进行高画质的动态图像或静止图像所产生的发布的服务将日趋增加。例如对于动态图像内容，为了以低比特率高效地传送，对内容进行压缩编码。作为这种方式，已知存在ITU-T(国际电联电信标准化部门)建议H.263、以及由ISO/IEC(国际标准化组织/国际电工委员会)进行国际标准化的MPEG-4(运动图象专家组4)。另外，如果利用由ITU-T和ISO/IEC进行国际标准化的H.264/MPEG-4AVC(高级视频编码)，则能够与上述动态图像压缩编码方式相比更高效地进行压缩。
在专利文献1中，公开了一种与用户终端的处理能力对应而进行内容发布的流服务器。另外，在专利文献2中公开了如下结构：能够通过利用JPEG(联合图像专家组)2000生成补充像素，从而利用DSC(分布式信源编码)***(对信息源进行分割并单独编码、在解码时集中进行解码的***)提供高画质的动态图像。在专利文献3中公开了一种动态图像发送服务器，其在将原动态图像数据转换成中间动态图像数据的基础上，生成与移动电话对应的再生图像的尺寸、帧频的发送动态图像。此外，根据以下说明可知，本发明与上述专利文献所述的发明完全不同。
专利文献1：日本再公表专利WO2004/040908号公报
专利文献2：日本特开2007-74306号公报
专利文献3：日本特开2008-136045号公报
发明内容
上述专利文献1至3的所有公开内容通过引用而记载在本发明书中。
下面，对本发明进行分析。
在面向移动网络或网络的发布中，受到网络带宽的限制，因此，对于动态图像等内容，例如以画面解析度为QCIF(四分之一通用中间格式)、比特率为64kbps～128kbps这种较低的比特率进行压缩编码。在用终端播放上述内容的情况下，解析度及画质不充分，因此难以进行服务的普及化。
另一方面，由于已经按照上述格式大量生成了内容，所以期待今后即使网络带宽增加也可以有效地灵活应用已经生成的内容，但没有能够有效地灵活应用的设计。
由此，本发明提供一种发布服务器、***、方法、终端、程序，其可以有效利用比特率较低且画面解析度较低的内容，能够在内容发布目标中扩展图像解析度及画质。
本说明书所公开的发明，为了解决上述课题而大概形成以下结构。
根据本发明的一个侧面，提供一种发布服务器，其具有：转换部，其输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入信号实施扩展解析度以及画质的转换；以及发送部，其通过网络将上述转换后的信号向终端发布。
根据本发明，提供一种发布方法，其输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入信号实施扩展解析度以及画质的转换，将上述转换后的信号通过网络向终端发布。
根据本发明，提供一种程序，其执行下述处理：输入对动态图像或静止图像压缩编码而得到的信号并对上述输入信号实施扩展解析度以及画质的转换的处理；以及通过网络将上述转换后的信号向终端发布的处理。
根据本发明，提供一种***，其具有：终端，其接收对动态图像或静止图像进行压缩编码而得到的信号的发布；以及发布服务器，其输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入信号实时扩展解析度及画质的转换，通过网络将上述转换后的信号向终端发布。
发明的效果
根据本发明，能够有效利用比特率较低且画面解析度较低的内容，能够在内容发布目标中扩展图像解析度及画质。
附图说明
图1是表示本发明的一个实施例的***结构的图。
图2是表示本发明的一个实施例的发布服务器装置的结构的图。
图3是表示本发明的其他实施例的发布服务器装置的结构的图。
图4是表示本发明的其他实施例的移动终端的结构的图。
图5是表示本发明的一个实施例的发布服务器装置的处理流程的图。
图6是表示本发明的其他实施例的发布服务器装置的处理流程的图。
图7是表示本发明的一个实施例的移动终端的处理流程的图。
图8是表示本发明的一个实施例的发布服务器装置和移动终端的变形例的图。
标号的说明
120 移动终端
130 移动网络
140 压缩编码流数据
150 发布服务器装置
151、251、301 呼叫控制部
155 数据包接收部
159 数据包发送部
160、260 转换部
161 解码部
162 帧存储器
163 超解析度转换部
164 编码部
204 超解析度转换部
205 显示部
261、262 切换部
280 音声包接收部
290 动态图像包接收部
302 音声解码部
303 动态图像解码部
具体实施方式
对本发明的实施方式进行说明。根据本发明的一个方式，提供一种发布服务器，其具有：转换部，其输入对动态图像或静止图像进行压缩编码而得到的流或数据包，对上述输入实施扩展解析度以及画质的转换；以及发布部，其通过网络将上述转换后的流或数据包向终端发布。
根据本发明的一个方式，提供一种发布***，其与网络的带宽或终端的能力对应而由服务器判断进行下述处理中的哪一个，即，输入对动态图像或静止图像进行压缩编码而得到的流或数据包，由服务器对上述输入实施扩展解析度以及画质的转换，将转换后的流或数据包通过网络向终端发布，或者服务器不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
根据本发明的一个方式，提供一种发布***，其输入对动态图像或静止图像进行压缩编码而得到的流或数据包，服务器通过网络将上述输入信号向终端发布，终端对所接收的信号实施扩展解析度以及画质的转换，并进行输出。
根据本发明，实现了一种发布服务器，其可以有效利用迄今为止面向移动发布或面向网络发布而生成的比特率较低且画面解析度较低的动态图像内容压缩码流，在由服务器实施扩展解析度及画质的转换的基础上，通过NGN或今后宽频化的移动网络对转换后的流进行发布。
另外，根据本发明，实现了一种发布***，其可以有效利用迄今为止面向移动发布或面向网络发布而生成的比特率较低且画面解析度较低的动态图像内容压缩码流，但与网络的带宽或终端的能力对应而由服务器侧判断，是在由服务器实施转换的基础上进行发布，还是服务器不进行转换而直接发布，由终端侧扩展解析度及画质。
本发明不仅适用于视频(动态图像)内容，还适用于静止图像内容，但在以下的实施例中，对适用于视频内容的情况下的结构例进行说明。本发明作为发布服务器与终端之间的网络，可以使用移动网络(移动电路交换网络、移动分组网络、第3.9代网络、第4代网络等)、互联网、固定网的分组网络及NGN等，但在以下的实施例中对应用移动分组网络的情况的例子进行说明。
实施例
图1是表示本发明的一个实施例的***结构的图，示出了经由移动网络连接发布服务器和移动终端的形态的例子。
图1中，作为压缩编码流数据140，是预先用动态图像编解码器对动态图像内容进行压缩编码，并将所得到的压缩编码流根据内容不同而进行存储的数据。动态图像编解码器可以是任意的，但在这里，作为一个例子而使用H.264。H.264的详细内容例如可以参照ISO/IEC 14496-10AVC ITU-T Rec.H.264 International Standard for Advanced Video Coding标准。
发布服务器装置150和移动终端120之间进行呼叫处理，从压缩编码流数据140读出与移动终端120所指定的动态图像内容对应的压缩编码流，在实施扩展解析度及画质的转换的基础上，通过移动网络130向移动终端120发布。
图2是表示发布服务器装置150的重要部分结构的一个例子的图。参照图2，发布服务器装置150包括数据包接收部155、呼叫控制部151、转换部160、数据包发送部159。以下，对各部分进行说明。
呼叫控制部151接收由移动终端120的SIP信号或RTSP(实时流送协议)信号产生的对话控制信号。另外，接收由SDP(会话描述协议)产生的移动终端的能力信息。在这里，SIP的详细内容、RTSP的详细内容以及SDP的详细内容可以分别参照IETF(互联网工程工作组)RFC(请求注释，Request For Comments)3261、RFC 2326以及IETF RFC2327。在本实施例中，设为利用RTSP进行对话控制。
如果呼叫控制部151从移动终端120接收由RTSP产生的对话开始指示以及由SDP产生的终端能力信息，则对数据包接收部155发出指示，从压缩编码流数据140读出与移动终端所指定的内容对应的压缩编码流。
另外，呼叫控制部151将移动终端的能力信息输出到转换部160，并将移动终端的接收IP地址等信息输出到数据包发送部159。
数据包接收部155将压缩编码流数据140中与移动终端所指定的内容对应的压缩编码流作为RTP数据包输入，提取存储在RTP数据包的净负载部分中的压缩编码流，并输出到转换部160。
转换部160具有解码部161、帧存储器162、超解析度转换部163、编码部164。在这里，解码部161针对从数据包接收部155输入的压缩编码流，使用与内容压缩编码所使用的编码器相同的方式(例如生成面向移动的内容时大多利用MPEG-4SP(简单类)或H.263BP(基带类))的解码器，对上述流进行解码，将解码信号存储到帧存储器162中。
超解析度转换部163从呼叫控制部151输入移动终端120的能力信息，在能力信息的范围内进行一边扩展画面解析度一边扩展画质的转换。例如，在移动终端的能力信息示出H.264BP(基带类)级别1.2的情况下，意味着比特率为384kbps(千字节/秒)、画面解析度为CIF、帧频为15fps(帧/秒)。
超解析度转换部163读出存储在帧存储器162中的信号，进行一边扩展画面解析度一边改善画质的处理。在这里，设为将QCIF的解析度扩展至CIF的解析度。
为了扩展解析度，使用下述方法：
·针对转换对象的图像帧，使用多枚图像帧作为参照图像，一边增加像素数量一边扩展解析度的方法，或者
·利用转换对象的图像帧内的不同位置的像素，增加像素数量的方法。超解析度转换部163也可以构成为，从上述方法中，根据可以向超解析度转换部163的处理分配的运算量和内存量的限制，选择最佳方法。
在超解析度转换部163中，在针对转换对象帧使用过去(时间上的过去)的参照帧的情况下，通过输入由解码部161解码后的宏块的每一个移动矢量，针对包含在该宏块中的像素，基于上述移动矢量，重新执行移动矢量搜索处理(在参照帧的搜索范围内的宏块之中，求出与转换对象帧的相应宏块的差值最小的位置)，求出详细的移动矢量(例如半像素单位)。并且，可以构成为，将通过重新搜索求出的详细的移动矢量应用于过去的参照帧的像素，利用以上述详细的移动矢量的量移动后的帧，增加转换对象帧的像素。或者也可以构成为，不使用来自解码部161的宏块的移动矢量，根据转换对象帧(当前帧)和参照帧搜索移动矢量。
另外，在超解析度转换部163中，在只使用解析度扩展对象的帧的情况下，通过检测出边缘部分，并使用边缘附近的像素而增加像素、或对边缘附近的像素加以校正，检测出边缘并进行强调的处理，由此实现提高解析度、改善画质的处理。该处理针对动态图像和/或静态图像进行。
在超解析度转换部163中，通过推断移动方向，插补时间方向的帧图像(在前后帧之间***1帧)，而对帧频进行插补，由此进行例如将帧频从15fps扩展至30fps的处理。
编码部164从呼叫控制部151输入移动终端120的能力信息，另外，输入来自超解析度转换部163的输出信号，根据上述能力信息设定压缩方式和参数。由于利用超解析度转换部163扩展画面解析度以及画质，所以可以使用能力信息的最大值即[email protected]、画面解析度为CIF、比特率为3842kbps、帧频为15fps等。
另外，在编码部164中，为了简化移动矢量搜索的运算量，可以采用如下结构：从解码部161输入移动矢量信息，基于所输入的移动矢量信息(对移动矢量实施与解析度扩展对应的转换)，针对被超解析度转换部163转换后的图像信号，搜索该移动矢量的附近，求出新的移动矢量。
数据包发送部159从呼叫控制部151输入移动终端120的接收IP地址等，从编码部164输入压缩编码流，将其包含在RTP净负载部中而作为RTP数据包向网络输出。
下面，参照图5对本实施例的发布服务器装置150的处理流程进行说明。
步骤S1：由数据包接收部155接收RTP数据包，将压缩编码流向解码部161输入。
步骤S2：解码部161对流进行解码。
步骤S3：超解析度转换部163一边扩展解码后的图像的解析度，一边改善画质。
步骤S4：编码部164基于来自呼叫控制部151的与移动终端120相关的能力信息，对来自超解析度转换部163的信号进行编码。
步骤S5：数据包发送部159输入来自编码部164的编码后的信号，包含在RTP净负载中而作为RTP数据包发送。
此外，上述发布服务器的步骤S1至S5当然也可以利用构成发布服务器装置的计算机上所执行的程序来实现其功能·处理。如图8(A)所示，构成发布服务器装置的计算机(CPU)通过从存储装置将程序载入内存并执行，从而实现上述转换部、数据包接收部、数据包发送部、呼叫控制部等的处理。此外，当然也可以形成存储程序的存储装置与发布服务器装置网络连接的结构。
此外，在本实施例中，也可以构成为，将压缩编码流存储为预先设定的文件格式而并不存储在RTP数据包中，并作为文件发送。
在这里，作为文件格式，可以使用例如根据3GPP标准化的3GP文件格式。3GP文件格式的详细信息可以参照3GPP TS26.244标准。
下面，对本发明的第一实施例的作用效果进行说明。
由于可以有效利用迄今为止面向移动发布或面向网络发布而生成的比特率较低且画面解析度较低的动态图像内容压缩码流，在由服务器实施扩展解析度及画质的转换的基础上，通过NGN或今后宽频化的移动网络对转换后的流进行发布，所以可以提供充分的解析度和画质。
下面，对本发明的第二实施例进行说明。图3是表示本发明的第二实施例的发布服务器装置的重要部分结构的一个例子的图。图4是表示本发明的第二实施例的移动终端的重要部分结构的图。在图3中，对与图2相同的结构要素标注相同的参照标号。在图3中，由于与图2相同的结构要素的进行相同动作，所以省略说明。
参照图3，本实施例与图2的结构相比，具有切换部261、262，用于切换是由转换部260实施转换处理还是将转换处理旁路。
图3中，发布服务器装置的呼叫控制部251从移动终端120接收由RTSP产生的对话开始指示、以及通过SDP接收包含移动终端120是否安装有超解析度转换的信息在内的能力信息、以及网络的带宽信息，并对它们进行分析。
另外，呼叫控制部251向数据包接收部155发出指示，使其从压缩编码流数据140读出与移动终端所指定的内容对应的压缩编码流。
另外，呼叫控制部251利用网络的带宽及终端的能力信息判断是否由服务器侧实施超解析度转换，并将判断结果向切换部261、切换部262以及转换部260输出。该判断例如如下所示进行。
在网络的带宽充分，终端未搭载超解析度转换处理，终端的能力与内容的压缩编码的能力相比充分大等的情况下，呼叫控制部251判断为由发布服务器装置150实施超解析度转换，对切换部261以及切换部262发出指示，使其对转换部260输入输出信号。
另外，呼叫控制部251对转换部260发出指示，使其执行(ON)超解析度转换。
另一方面，在网络的带宽不充分、移动终端120搭载有超解析度转换处理的情况下，呼叫控制部251对切换部261以及切换部262发出指示，使其将转换部260旁路。另外，呼叫控制部251对转换部260发出指示，使其停止超解析度转换。
切换部261和切换部262从呼叫控制部251输入指示，进行是与转换部260进行信号的输入输出还是将转换部260旁路的切换动作。
下面，参照图6，对本实施例的发布服务器装置150的处理流程进行说明。
步骤S1：由数据包接收部155接收RTP数据包，读出压缩编码流。
步骤S6：在进行超解析度转换处理的情况下(步骤S6为“是”)，利用切换部261将压缩编码流向解码部161供给。在不进行超解析度转换处理的情况下(步骤S6为“否”)，利用切换部261、262将压缩编码流向数据包发送部159供给。
由于步骤S2至S5的动作与图5相同，所以省略说明。
此外，上述发布服务器装置的步骤S 1至S6当然也可以利用构成发布服务器装置150的计算机上所执行的程序来实现其功能·处理。如图8(A)所示，构成发布服务器装置的计算机(CPU)通过从存储装置将程序载入内存并执行，从而实现上述转换部、数据包接收部、数据包发送部、呼叫控制部、切换部等的处理。此外，当然也可以形成存储程序的存储装置与发布服务器装置网络连接的结构。
图4示出与图3的发布服务器装置150连接的移动终端120的重要部分结构的一个例子。参照图4，移动终端120具有呼叫控制部301、超解析度转换部204、动态图像解码部303、音声解码部302、动态图像包接收部290、音声包接收部280。
呼叫控制部301与发布服务器之间交换RTSP产生的对话控制信号。并且，利用SDP向发布服务器装置传输移动终端的能力信息及是否搭载有超解析度转换、网络的带宽等。另外，从发布服务器接收的SDP中，记载有从发布服务器发送的视频流的能力信息、有无由发布服务器侧进行超解析度转换处理、以及音声流的能力信息。所述信息从呼叫控制部301发送至超解析度转换部204、动态图像解码部303、音声解码部302、动态图像包接收部290、音声包接收部280。
并且，呼叫控制部301对超解析度转换部204进行使超解析度转换处理执行还是停止的指示。例如，在与由移动终端120接收到的视频流相关的能力信息是视频编解码器为H.264BP(基带规范，Baseband Profile)Level 1.2、比特率为384kbps、画面解析度为CIF、帧频为15fps，且由服务器侧进行了超解析度转换的情况下，对超解析度转换部204发出使转换处理停止的指示。
另外，在发布服务器侧中的超解析度转换处理为停止的情况下，对超解析度转换部204发出执行转换处理的指示。
另一方面，与音声编解码器相关的能力信息例如为AMR(自适应多速率)音声编解码器。
动态图像包接收部290从呼叫控制部301输入与视频信号相关的能力信息，从移动网络130接收视频RTP数据包，读出存储在RTP数据包的净负载部中的视频流，并向动态图像解码部303输出。
动态图像解码部303从呼叫控制部301输入关于视频信号的能力信息，从动态图像包接收部290输入视频流，根据能力信息解码视频信号并输出。在这里，例如压缩编码方式为[email protected]、图像解析度为QCIF、比特率为64kbps、帧频为15fps。
超解析度转换部204从呼叫控制部301输入使超解析度转换处理执行还是停止的指示，从动态图像解码部303输入解码后的视频信号，在执行超解析度转换处理的情况下，实施一边扩展画面解析度一边改善画质的处理，将转换处理后的视频信号向显示部205输出。
与发布服务器装置的超解析度转换部163相同地，例如将QCIF的解析度扩展至CIF的解析度。对此，根据可以分配的运算量和内存量的限制，从针对转换对象的图像帧，使用多枚图像帧作为参照图像，一边增加像素数量一边扩展解析度的方法，以及利用对象的图像帧内的不同位置的像素，增加像素数量的方法中，选择最佳方法。在使用过去的参照帧的情况下，可以构成为，从动态图像解码部303输入各个宏块的每一个移动矢量，针对包含在该宏块中的像素，基于上述移动矢量，重新搜索而求出详细的移动矢量，将详细的移动矢量应用于过去的参照帧的像素，以移动矢量移动而增加对象帧的像素。当然也可以采用不使用移动矢量的结构。另外，在只使用对象图像帧的情况下，通过检测出边缘部分，并使用边缘附近的像素而增加像素、或对边缘附近的像素加以校正，检测出边缘并进行强调的处理，由此，也可以改善画质。此外，可以通过推断移动方向，插补时间方向的帧图像，而对帧频进行插补。例如从15fps扩展至30fps。
另一方面，在停止超解析度转换处理的情况下，将从动态图像解码部303输入的解码后的视频信号直接向显示部205输出。
显示部205接收转换后的动态图像信号并进行显示。
音声包接收部280从移动网络130接收音声RTP数据包，并读出存储在RTP数据包的净负载部中的音声流，并进行输出。
音声解码部302从呼叫控制部301输入作为能力信息的音声编解码器信息，从音声包接收部280接收音声流，对音声进行解码后进行输出。在这里，音声编解码器例如为AMR音声编解码器。
参照图7对移动终端120的处理流程进行说明。
步骤S11：由动态图像包接收部290接收RTP数据包，将压缩编码流向动态图像解码部303输入。
步骤S12：动态图像解码部303对视频信号进行解码。
步骤S13：基于来自呼叫控制部301的指示，在由超解析度转换部204进行解析度转换的情况下(步骤S13为“是”)，在步骤S14中一边扩展解码后的图像的解析度，一边改善画质。在不由超解析度转换部204进行解析度转换的情况下(步骤S13为“否”)，超解析度转换部204将动态图像解码部303的视频信号直接向显示部205输入。
步骤15：显示部205显示来自超解析度转换部204的信号。
此外，上述移动终端的步骤S11至S15，当然也可以利用在构成移动终端的计算机上执行的程序实现其功能、处理。以下的其他实施例也相同。如图8(B)所示，构成移动终端的计算机(CPU)通过执行存储在移动终端内的存储装置(Memory)的程序，从而实现上述转换部及其他的动态图像解码部等的处理。
对本发明的第二实施例的作用效果进行说明。
在第二实施例中，可以有效利用画面解析度较低的动态图像内容压缩码流，但与网络的带宽或终端的能力对应而由服务器侧判断，是在由服务器实施转换的基础上进行发布，还是服务器不进行转换而直接发布，由终端侧扩展解析度及画质。可以提供充分的解析度和画质。
在如上说明的所有实施方式中，将作为C-Plane(控制平面)处理的呼叫控制部和作为U-Plane(用户平面)处理的数据包接收部、转换部、数据包复制部、数据包发送部等全部配置在服务器装置中，但也可以形成将C-Plane处理和U-Plane处理分别分离在单独的装置中的结构。根据该结构，可以使C-Plane和U-Plane独立地具有扩展性。
另外，从服务器装置将压缩编码流存储在RTP数据包中而向移动终端发布，但也可以以文件形式存储压缩编码流，利用HTTP(超文本传输协议)或TCP(传输控制协议)向移动终端发送。在这里，作为文件形式，已知例如3GP文件格式，详细内容可以参照3GPP TS26.244标准。
另外，在上述实施方式中，将视频(动态图像)信号作为对象，但对于静态图像信号，也可以采用与上述相同的结构。
另外，与视频的压缩编码方式无关地，可以与H.263、MPEG-4、H.264等任意压缩编码方式进行对应。例如MPEG-4的详细内容可以参照ISO/IEC 14496-2 Information Technology Coding of Audio Visual Object-Part 2：Visual标准。
另外，作为从服务器向移动终端的发布方法，不仅为第一实施例中说明的单播发布，还可以应用向属于组播群的多个移动终端发布的组播发布、向不特定的多个移动终端发布的广播发布。
总结上述实施例，形成如下结构。
(1)本实施例的发布服务器，其具有：转换部，其输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换；以及
发送部，其通过网络将上述实施转换后的信号向终端发布。
(2)根据上述(1)所述的本实施例的发布服务器，其具有控制部，其与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
(3)根据上述(1)或(2)所述的本实施例的发布服务器，
上述转换部具有：
解码部，其输入上述压缩编码后的信号，以与上述终端相关的能力信息相应的方式进行解码；
解析度转换部，其对上述解码后的信号的解析度进行转换，改善画质；以及
编码部，其输入由上述解析度转换部转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
(4)根据上述(3)所述的本实施例的发布服务器，上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索后的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。
(5)本实施例的发布***，其具有终端和发布服务器，该发布服务器经由网络将对动态图像或静止图像进行压缩编码而得到的信号向上述终端发布，
上述发布服务器具有：转换部，其输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换；以及
发送部，其通过网络将上述实施转换后的信号向终端发布。
(6)根据上述(5)所述的本实施例的发布***，上述发布服务器具有控制部，其与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
(7)本实施例的发布***，其具有：发布服务器，其输入对动态图像或静止图像进行压缩编码而得到的信号，通过网络将上述输入的信号向终端发布；以及
终端，其对接收到的信号进行解码，在解析度或画质不充分的情况下，实施扩展解析度以及画质的转换而进行显示。
(8)根据上述(7)所述的本实施例的发布***，
上述终端具有：解码部，其对上述接收到的信号进行解码；
解析度转换部，其转换上述信号的解析度，改善画质；以及
显示部，其显示上述转换后的图像信号。
(9)本实施例的终端，其经由网络从发布服务器接收包含动态图像或静止图像在内的图像信号，
其具有：
接收部，其接收上述包含动态图像或静止图像在内的图像信号；
解码部，其对上述接收到的图像信号进行解码；
转换部，其实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；
控制部，其控制是否由上述转换部进行转换；以及
显示部，其在由上述转换部进行转换的情况下，显示实施上述转换而得到的信号，在不进行转换的情况下，显示来自上述解码部的信号。
(10)本实施例的发布方法，发布服务器输入对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换，将实施了上述转换的信号通过网络向终端发布。
(11)根据上述(10)所述的本实施例的发布方法，
上述发布服务器与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，实施扩展解析度以及画质的转换，将上述转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
(12)根据上述(10)或(11)所述的本实施例的发布方法，
由上述发布服务器进行的上述转换，
针对上述接收到的信号，以与上述终端相关的能力信息相应的方式进行解码，
实施解析度转换，转换上述解码后的信号的解析度，改善画质，
输入上述转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
(13)本实施例的发布方法，
发布服务器输入对动态图像或静止图像进行压缩编码而得到的信号，通过网络将上述输入信号向终端发布，
上述终端对接收到的信号的解析度或画质不充分的情况下，实施扩展解析度以及画质的转换而进行显示。
(14)根据上述(13)所述的本实施例的发布方法，
在上述终端中，
对上述接收到的信号进行解码，
转换上述信号的解析度，改善画质，
显示上述转换后的图像信号。
(15)本实施例的程序，其使构成发布服务器的计算机中执行下述处理：
输入对动态图像或静止图像压缩编码而得到的信号并对上述输入实施扩展解析度以及画质的转换的处理；以及
通过网络将实施上述转换而得到的信号向终端发布的处理。
(16)根据上述(15)所述的本实施例的程序，
上述转换处理具有：
解码处理，在该处理中，针对上述接收到的信号，以与上述终端相关的能力信息相应的方式进行解码；
解析度转换处理，在该处理中，对上述解码后的信号的解析度进行转换，改善画质；以及
编码处理，在该处理中，输入由上述解析度转换部转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
(17)根据上述(15)或(16)所述的本实施例的程序，
使上述计算机执行下述处理：与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
(18)本实施例的程序，使构成经由网络从发布服务器接收包含动态图像或静止图像在内的图像信号的终端的计算机执行下述处理：
接收上述包含动态图像或静止图像在内的图像信号的处理；
对上述接收到的信号进行解码的处理；
控制是否对上述解码后的信号的解析度进行转换的处理；
在进行上述转换的情况下，实施解析度转换，转换上述解码后的信号的解析度，改善画质的转换处理；以及
以在进行上述转换的情况下显示实施了上述转换后的信号，在不进行上述转换的情况下显示上述解码后的信号的方式进行控制的处理。
此外，上述的专利文献的各公开内容通过引用而记载在本说明书中。在本发明的全部公开(包括权利要求书的范围)的范围内，可以基于其基本技术思想而对实施方式及实施例进行变更、调整。另外，可以在本发明的权利要求书的范围内对各种公开要素进行各种组合及选择。即，本发明当然包括本领域的技术人员能够根据包含权利要求书的范围在内的所有启示、技术上的思想而得到的各种变形、修正。

Claims (18)

1.一种发布服务器，其特征在于，具有：
转换部，其输入有对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换；以及
发送部，其通过网络将上述实施转换后的信号向终端发布。
2.根据权利要求1所述的发布服务器，其特征在于，
具有控制部，其与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
3.根据权利要求1或2所述的发布服务器，其特征在于，
上述转换部具有：
解码部，其输入有上述压缩编码后的信号，以与上述终端相关的能力信息相应的方式进行解码；
解析度转换部，其对上述解码后的信号的解析度进行转换，改善画质；以及
编码部，其输入有由上述解析度转换部转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
4.根据权利要求3所述的发布服务器，其特征在于，
上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索后的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。
5.一种发布***，其特征在于，
具有终端和发布服务器，该发布服务器经由网络将对动态图像或静止图像进行压缩编码而得到的信号向上述终端发布，
上述发布服务器具有：转换部，其输入有对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换；以及
发送部，其通过网络将上述实施转换后的信号向终端发布。
6.根据权利要求5所述的发布***，其特征在于，
上述发布服务器具有控制部，其与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
7.一种发布***，其特征在于，
具有：发布服务器，其输入有对动态图像或静止图像进行压缩编码而得到的信号，通过网络将上述输入的信号向终端发布；以及
终端，其对接收到的信号进行解码，在解析度或画质不充分的情况下，实施扩展解析度以及画质的转换而进行显示。
8.根据权利要求7所述的发布***，其特征在于，
上述终端具有：解码部，其对上述接收到的信号进行解码；
解析度转换部，其转换上述解码后的信号的解析度，改善画质；以及
显示部，其显示上述转换后的图像信号。
9.一种终端，其经由网络从发布服务器接收包含动态图像或静止图像在内的图像信号，
其特征在于，具有：
接收部，其接收上述包含动态图像或静止图像在内的图像信号；
解码部，其对上述接收到的图像信号进行解码；
转换部，其实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；
控制部，其控制是否由上述转换部进行转换；以及
显示部，其在由上述转换部进行转换的情况下，显示实施上述转换而得到的信号，在不进行转换的情况下，显示来自上述解码部的信号。
10.一种发布方法，其特征在于，
发布服务器输入有对动态图像或静止图像进行压缩编码而得到的信号，对上述输入实施扩展解析度以及画质的转换，将实施了上述转换的信号通过网络向终端发布。
11.根据权利要求10所述的发布方法，其特征在于，
上述发布服务器与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，实施扩展解析度以及画质的转换，将上述转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
12.根据权利要求10或11所述的发布方法，其特征在于，
由上述发布服务器进行的上述转换，
针对上述接收到的信号，以与上述终端相关的能力信息相应的方式进行解码，
实施解析度转换，转换上述解码后的信号的解析度，改善画质，
输入上述转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
13.一种发布方法，其特征在于，
发布服务器输入有对动态图像或静止图像进行压缩编码而得到的信号，通过网络将上述输入信号向终端发布，
上述终端对接收到的信号的解析度或画质不充分的情况下，实施扩展解析度以及画质的转换而进行显示。
14.根据权利要求13所述的发布方法，其特征在于，
在上述终端中，
对上述接收到的信号进行解码，
转换上述解码后的信号的解析度，改善画质，
显示上述转换后的图像信号。
15.一种程序，其特征在于，
使构成发布服务器的计算机中执行下述处理：
输入对动态图像或静止图像压缩编码而得到的信号并对上述输入实施扩展解析度以及画质的转换的处理；以及
通过网络将实施上述转换而得到的信号向终端发布的处理。
16.根据权利要求15所述的程序，其特征在于，
上述转换处理具有：
解码处理，在该处理中，针对上述接收到的信号，以与上述终端相关的能力信息相应的方式进行解码；
解析度转换处理，在该处理中，对上述解码后的信号的解析度进行转换，改善画质；以及
编码处理，在该处理中，输入由上述解析度转换部转换后的信号，以与上述终端相关的能力信息相应的方式进行编码。
17.根据权利要求15或16所述的程序，其特征在于，
使上述计算机执行下述处理：与网络的带宽或终端的能力对应地判断进行下述处理中的哪一个，即，
针对上述输入，由上述转换部实施扩展解析度以及画质的转换，将转换后的信号通过网络向终端发布，或者，
不进行上述转换而通过网络向终端发布，由终端侧对接收到的信号实施扩展解析度以及画质的转换，并进行输出。
18.一种程序，其特征在于，
使构成经由网络从发布服务器接收包含动态图像或静止图像在内的图像信号的终端的计算机执行下述处理：
接收上述包含动态图像或静止图像在内的图像信号的处理；
对上述接收到的信号进行解码的处理；
控制是否对上述解码后的信号的解析度进行转换的处理；
在进行上述转换的情况下，实施解析度转换，转换上述解码后的信号的解析度，改善画质的转换处理；以及
以在进行上述转换的情况下显示实施了上述转换后的信号，在不进行上述转换的情况下显示上述解码后的信号的方式进行控制的处理。
CN2009801378611A 2008-09-26 2009-09-25 发布服务器以及发布***和方法以及程序 Pending CN102165786A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-248153 2008-09-26
JP2008248153 2008-09-26
PCT/JP2009/066630 WO2010035777A1 (ja) 2008-09-26 2009-09-25 配信サーバ及び配信システムと方法並びにプログラム

Publications (1)

Publication Number Publication Date
CN102165786A true CN102165786A (zh) 2011-08-24

Family

ID=42059775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801378611A Pending CN102165786A (zh) 2008-09-26 2009-09-25 发布服务器以及发布***和方法以及程序

Country Status (4)

Country Link
US (1) US20110164676A1 (zh)
JP (1) JPWO2010035777A1 (zh)
CN (1) CN102165786A (zh)
WO (1) WO2010035777A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828377A (zh) * 2011-09-21 2014-05-28 日本电气株式会社 发布网络、服务器以及发布方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465621B2 (ja) * 2010-06-30 2014-04-09 株式会社日立製作所 ストリームデータ配信システム及びその方法
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
CN111147893B (zh) * 2018-11-02 2021-10-22 华为技术有限公司 一种视频自适应方法、相关设备以及存储介质
JP2021015346A (ja) * 2019-07-10 2021-02-12 キヤノン株式会社 情報処理方法、画像処理装置、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328150A (ja) * 2004-05-12 2005-11-24 Toshiba Corp 放送受信装置及び放送受信方法
RU2376723C2 (ru) * 2005-04-21 2009-12-20 Александр Степанович Ракушин Способ персонального вызова абонента телефонной сети (варианты) и система устройств связи для его осуществления
JP2008067316A (ja) * 2006-09-11 2008-03-21 Olympus Corp 画像配信システム、サーバ及びクライアント端末
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828377A (zh) * 2011-09-21 2014-05-28 日本电气株式会社 发布网络、服务器以及发布方法
CN103828377B (zh) * 2011-09-21 2017-09-08 乐天株式会社 发布网络、服务器以及发布方法

Also Published As

Publication number Publication date
WO2010035777A1 (ja) 2010-04-01
JPWO2010035777A1 (ja) 2012-02-23
US20110164676A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
CN103843301B (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
CN100568966C (zh) 一种音/视频数据的网络传输方法
WO2009128515A1 (ja) ゲートウエイ装置と方法とプログラム
EP2453617A1 (en) Delivering system, method, gateway apparatus and program
CN105635636B (zh) 一种视频会议***及其实现视频图像传输控制的方法
TWI401918B (zh) 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
KR20100124811A (ko) 서버 장치와 콘텐츠 배신 방법
CN101321280A (zh) 一种实时视频转码流媒体服务器
WO2011030811A1 (ja) 配信システム、ゲートウェイ、配信方法及びプログラム
CN101035248A (zh) 共享图片和/或视频数据的方法、***及可视电话
CN102165786A (zh) 发布服务器以及发布***和方法以及程序
WO2010114092A1 (ja) 配信システムと方法と変換装置及びプログラム
CN109640162A (zh) 码流转换方法及***
CN109905375A (zh) 一种具备电话功能的音视频网络编解码设备
CN102160393A (zh) 网关装置、方法、***以及程序
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播***
CN102160392A (zh) 网关装置、方法、***及程序
CN102160395A (zh) 服务器装置、通信***、通信方法及程序
CN102177712A (zh) 终端、图像显示方法及程序
JP5799958B2 (ja) 映像処理サーバおよび映像処理方法
JP5013141B2 (ja) コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
CN101755441A (zh) 多媒体提供业务
CN116847128B (zh) 基于5G VoLTE视频电话会议的视频叠加处理方法
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110824