CN1906938A - 用于发送可缩放的视频比特流的方法和设备 - Google Patents
用于发送可缩放的视频比特流的方法和设备 Download PDFInfo
- Publication number
- CN1906938A CN1906938A CNA2004800410922A CN200480041092A CN1906938A CN 1906938 A CN1906938 A CN 1906938A CN A2004800410922 A CNA2004800410922 A CN A2004800410922A CN 200480041092 A CN200480041092 A CN 200480041092A CN 1906938 A CN1906938 A CN 1906938A
- Authority
- CN
- China
- Prior art keywords
- user
- quality
- video
- video content
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 16
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L33/00—Arrangements for connecting hoses to rigid members; Rigid hose connectors, i.e. single members engaging both hoses
- F16L33/22—Arrangements for connecting hoses to rigid members; Rigid hose connectors, i.e. single members engaging both hoses with means not mentioned in the preceding groups for gripping the hose between inner and outer parts
- F16L33/223—Arrangements for connecting hoses to rigid members; Rigid hose connectors, i.e. single members engaging both hoses with means not mentioned in the preceding groups for gripping the hose between inner and outer parts the sealing surfaces being pressed together by means of a member, e.g. a swivel nut, screwed on or into one of the joint parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
- F16L33/00—Arrangements for connecting hoses to rigid members; Rigid hose connectors, i.e. single members engaging both hoses
- F16L33/20—Undivided rings, sleeves or like members contracted on the hose or expanded in the hose by means of tools; Arrangements using such members
- F16L33/207—Undivided rings, sleeves or like members contracted on the hose or expanded in the hose by means of tools; Arrangements using such members only a sleeve being contracted on the hose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种方法和设备,用于通过按照用户请求而处理可伸缩比特流来发送适合于用户请求的可伸缩视频流。所述设备包括:可伸缩比特流的源,包含用户请求的视频内容;控制器,用于根据用户请求和用户概况信息而确定所述视频内容的质量;以及预解码器,用于按照所确定的发送质量来处理所述可伸缩比特流。
Description
技术领域
本发明涉及一种用于发送可缩放的(scalable)视频流的方法和设备,具体上涉及一种用于通过按照用户的发送请求处理可缩放的比特流而提供适合于网络和用户的环境的视频内容的方法和设备。
背景技术
随着包括因特网的信息通信技术的发展,视频通信以及文本和语音通信已经得到***性的增长。
因为多媒体数据的数量通常较大,所以多媒体数据需要大容量存储媒体和用于传输的宽带宽。因此,需要一种压缩编码方法来发送包括文本、视频和音频的多媒体数据。
数据压缩的基本原则在于消除数据冗余。可以通过下述方式来压缩数据:通过消除空间冗余、时间冗余或考虑到人的视力和对高频的有限感知的心理视觉冗余(mental visual redundancy),其中在所述空间冗余中,在图像中重复同一颜色或对象,在所述时间冗余中,在运动图像中的相邻帧之间有很小的改变,或在音频中重复同一声音。
数据压缩可以按照源数据是否丢失而分类成有损/无损压缩、按照是否独立地压缩各个帧而分类成帧内/帧间压缩、按照压缩所需要的时间是否与恢复所需要的时间相同而分类成对称/不对称压缩。
当压缩/恢复时延不超过50毫秒时,数据压缩被定义为实时压缩,当帧具有不同的分辨率时,数据压缩被定义为可伸缩的压缩。
对于文本或医疗数据,通常使用无损压缩。对于多媒体数据,通常使用有损压缩。
同时,通常使用帧内压缩来消除空间冗余,而通常使用帧间压缩来消除时间冗余。
用于多媒体的不同类型的传输媒体具有不同的性能。
当前使用的传输媒体具有各种传输率。例如,超高速通信网络可以传输每秒几十兆比特的数据,而移动通信网络具有每秒384千比特的传输率。
在诸如运动图像专家组(MPEG)-1、MPEG-2、H.263和H.264之类的传统视频编码方法中,通过基于运动估计和补偿的运动补偿来消除时间冗余,而通过变换编码来消除空间冗余。
这些方法具有满意的压缩率,但是它们不具有实际的可伸缩比特流的灵活性,这是因为它们在主要算法中使用自反手段(reflexive approach)。
因此,为了支持具有各种速度的传输媒体或以适合于传输环境的数据率来发送多媒体,诸如子波视频编码和子带视频编码之类的、具有可伸缩性的数据编码方法可适合于多媒体环境。
可伸缩性表示部分解码单个压缩比特流的能力。可伸缩性包括:空间可伸缩性,用于表示视频分辨率;信噪比(SNR)可伸缩性,用于表示视频质量级;时间可伸缩性,用于表示帧速率;及其组合。
可伸缩的视频编码涉及:压缩原始图像,并且将其转换为具有期望质量的视频信号以发送到解码器。解码器解压缩和重放所接收的视频信号。
发明内容
技术问题
通常,因为消费者在购买之前需要知道内容是否是他/她所需要的,因此消费者需要预览所述内容的细节。在这种情况下,内容提供者为预览的目的向用户提供内容的低质量版本,而在购买时提供内容的高质量版本。当需要以各种分辨率来发送或接收单个内容时,可以使用可伸缩的视频编码方法。
但是,传统的可伸缩视频编码方法具有缺陷:由于总是在不考虑用户请求的情况下提供用于表示原始内容的各种质量的高质量内容比特流,使得传输速度下降。
另一个缺陷是所述传统方法需要用于从所接收的比特流提取期望质量的内容的单独处理。
技术方案
本发明提供适合于用户的各种需要和内容提供者的商业目的的内容。
本发明也通过下述方式以高传输率向用户提供期望质量的内容,而不需要任何额外的处理:通过按照由用户的发送请求确定的质量来处理内容。
在查看了下面的说明、附图和所附的权利要求后,本发明的上述目的以及其他目的、特征和优点对于本领域技术人员来说,将变得清楚。
按照本发明的一个方面,提供了一种用于发送可伸缩视频流的设备,包括:可伸缩比特流的源,它包含用户请求的视频内容;控制器,用于根据用户请求和用户概况信息(user profile information)来确定所述视频内容的质量;以及预解码器,用于按照所确定的发送质量来处理所述可伸缩比特流。
按照本发明的另一个方面,提供了一种用于发送可伸缩视频流的方法,包括:确定包含用户请求的视频内容的可伸缩比特流;以及按照所确定的发送质量来处理所述可伸缩比特流。
所述比特流的质量的确定可以包括:执行用户鉴别,确定所选择的视频内容的用户请求,以及根据用户请求和用户概况信息来确定要发送的比特流的质量。
用户请求可以是对视频内容的预览或购买,而用户概况信息可以是关于视频内容的费用支付的信息。
附图说明
通过参照附图来详细说明本发明的例证实施例,本发明的上述和其他特征和优点将变得更清楚,其中:
图1是按照本发明的一个实施例的编码器的示意方框图;
图2是按照本发明的一个实施例的解码器的示意方框图;
图3是按照本发明的一个实施例的、用于发送可伸缩视频流的设备的方框图;
图4是图解用于发送可伸缩视频流的方法的流程图;
图5示意性地图解了按照本发明的一个实施例的、在基于运动补偿时间滤波(MCTF)的可伸缩视频编码和解码中的时间分割处理(temporaldecomposition process);
图6示意性地图解了按照本发明的一个实施例的、用于通过子波变换(wavelet transform)而将输入图像或帧分解为子带的处理;以及
图7是图解按照本发明的另一个实施例的、用于发送可伸缩视频流的方法的流程图。
具体实施方式
可以通过参照下面对于例证实施例的详细说明和附图来更容易地明白本发明的优点和特征以及用于实现所述优点和特征的方法。但是,本发明可以以不同形式来体现,并且不应当被理解为限于在此给出的实施例。而且,提供这些实施例以便本公开是彻底和完整的,以及向本领域技术人员全面地传输本发明的思想,本发明仅仅由所附的权利要求来限定。在说明书中,相同的附图标号表示相同的元件。
现在说明按照本发明的一个实施例的,用于发送可伸缩视频流的设备的配置和操作。为了帮助明白本发明,下面依序说明:可伸缩视频编码器,用于执行支持可伸缩性的视频编码;解码器,用于解码从所述编码器接收的视频比特流;以及用于通过处理要发送到解码器的、从编码器接收的视频比特流来发送可伸缩视频流的装置。
图1是按照本发明的一个实施例的编码器的示意方框图。
参见图1,按照本发明的一个实施例的编码器100包括分段单元101、运动估计单元102、时间变换单元103、空间变换单元104、嵌入量化单元105和熵编码单元106。
分段单元101将输入的视频划分为基本编码单元,即图像组(GOP)。
运动估计单元102对于在每个GOP中包含的帧进行运动估计,由此获得运动向量。可以使用诸如分层可变尺寸块匹配(Hierarchical Variable Size BlockMatching,HVSBM)之类的分层方法来实现所述运动估计。
时间变换单元103使用由运动估计单元102获得的运动向量来在时间方向上将帧分解为低频和高频帧,由此减少时间冗余。
例如,可以将帧的平均值定义为低频分量,并且可以将在两个帧之间的差的一半定义为高频分量。以GOP为单位来分解帧。
可以通过不使用运动向量而比较在两个帧中相同位置的像素来将帧分解为高频和低频帧。但是,不使用运动向量的方法在降低时间冗余上不如使用运动向量的方法有效。
换句话说,当在第二帧中移动第一帧的一部分时,可以通过运动向量来表示运动量。将所述第一帧的所述部分与将所述第一帧的所述部分相同位置上的、所述第二帧的一部分移动所述运动向量而至的一部分相比较,即补偿时间运动。其后,将第一和第二帧分解为低频和高频帧。
对于时间滤波,可以使用运动补偿时间滤波(MCTF)。
空间变换单元104从已经消除时间冗余的帧中去除空间冗余,并且建立变换系数。对于空间变换,本发明使用子波变换。在此,使用子波变换来将一个帧分解为低频和高频子带,并且确定变换系数,即相应子带的子波系数。
具体上,所述帧被分解为四个部分。在所述帧的左上部分中显示与整个图像类似的四分之一大小的图像(L图像),并且在其他三个部分中显示用于从所述L图像重建整个图像所需要的信息(H图像)。以相同的方式,可以将所述L图像分解为四分之一大小的LL图像和重建所述L图像所需要的信息。
使用子波变换的图像压缩被应用于JPEG 2000标准,并且消除在帧之间的空间冗余。而且,与离散余弦变换(DCT)方法相反,所述子波变换使得原始图像信息能够被存储在作为原始图像的缩小版本的变换图像中,由此允许通过使用缩小的图像来提供空间可伸缩性的视频编码。
但是,在本发明中,子波变换仅仅是被提供来用于说明的。在不必然意欲实现空间可伸缩性的情况下,可以使用DCT方法,所述DCT方法已经传统上被广泛地用于运动图像压缩中(就像在MPEG-2中)。
嵌入量化单元105对于每个子波块的、由空间变换单元104获得的子波系数执行嵌入的量化,并且按照重要性而重新布置所述量化系数。可以使用嵌入零树子波算法(Embedded Zerotrees Wavelet,EZW)、在分层树中的设置分区(Set Partitioning in Hierarchical Trees,SPIHT)和嵌入的零块编码(EmbeddedZeroBlock Coding,EZBC)来作为以这种方式对于每个子波块的子波系数执行嵌入量化。
这些算法良好地使用在本发明中使用的子波域中的像素之间的空间关系,因此适合于用在按照本发明的嵌入量化处理中。
以树的形状来表达在像素之间的空间关系。可以使用下述事实来执行有效的编码:当在树中的根是0时,在树中的子孙具有为0的高概率。当正在扫描与在L带中的像素相关联的像素时,执行多种算法。
熵编码单元106将由嵌入量化单元105量化的子波系数和由运动估计单元102产生的关于运动向量的信息和首标信息转换为适合于传输或存储的压缩比特流。可以使用预测编码、可变长度编码(例如霍夫曼编码)、算术编码等来执行所述熵编码。
本发明可以应用于运动视频以及静止视频(图像)。与运动视频类似地,输入静止图像在通过空间变换单元104、嵌入量化单元105和熵编码单元106之后可被转换成比特流。
图2是按照本发明的一个实施例的解码器的示意方框图。
解码器300包括熵解码单元301、逆嵌入量化单元302、逆空间变换单元303和逆时间变换单元304。
解码器300以与编码器100基本上相反的方向运行。但是,当已经由编码器100的运动估计单元102执行了运动估计以确定运动向量时,解码器300不执行逆运动估计处理,因为解码器300仅仅接收运动估计单元102以使用。
像在编码器100中那样,按照本发明的一个实施例的解码器300的操作可以被应用于运动视频以及静止图像。与运动视频类似,从编码器100接收的比特流可以在通过熵解码单元301、逆嵌入量化单元302、逆空间变换单元303和逆时间变换单元304后被往回转换成输出图像。
图3示出了按照本发明的一个实施例的用于发送可伸缩视频流的设备200。所述设备200包括可伸缩比特流源210、用户概况220、用户鉴别器230、用户信号输入240和控制器250。
可伸缩比特流源210从可伸缩视频编码器100接收被编码以具有时间、空间和信噪比(SNR)可伸缩性的可伸缩比特流。所述比特流是通过以高质量压缩原始图像而被产生的,并且可以被划分为具有各种质量的信号。
可伸缩比特流也可以在可伸缩视频编码器100中编码后由外部视频内容提供器发送。
用户概况220包含用户概况信息,诸如关于视频内容使用和支付的细节。
用户鉴别器230确定用户是否被授权使用与期望的视频内容相关联的服务,即通过检查是否已经进行了对于适当的比特流质量的支付。
用户信号输入240接收表示视频内容的期望质量的信号。低质量信号仅仅是为预览目的而被发送的,而在购买所述内容时发送高质量信号。通过关于嵌入比特流的帧速率、分辨率、图像质量的信息来确定质量。
控制器250按照从用户鉴别器230接收的信息来确定用户的可靠性,并且根据从用户信号输入240接收的信息来确定期望视频内容的比特流的质量。
预编码器260由控制器250控制,并且提取和处理可伸缩比特流,所述可伸缩比特流包含要发送到用户的、关于所需要的帧速率、分辨率和图像质量的信息。
图4是图解按照本发明的一个实施例的用于发送可伸缩视频流的方法的流程图。
参见图3和4,所述方法主要包括:确定包含由用户请求的视频内容的可伸缩比特流的质量(步骤S1),并且按照所确定的发送质量来处理所述可伸缩比特流(步骤S2)。
用于确定比特流的质量的步骤S1包括:执行用户鉴别(步骤S10),确定用户请求(步骤S12),分析用户请求和用户概况信息(步骤S14),并且确定要发送的比特流的质量(步骤S16)。
在步骤S10,根据在用户鉴别器230中记录的用户鉴别信息而确定用户是否被授权能够被提供视频内容。
为了实施用户鉴别,每个用户可以被分配唯一的用户ID或密码,在每次他/她被提供视频内容时,必须输入所述唯一的用户ID或密码。对于付费的用户鉴别,仅仅对预付用户分配用户ID或密码。或者,可以首先向每个用户分配用户ID或密码,然后对于从菜单选择的期望视频内容支付费用。在这种情况下,在用户概况220中记录所述费用的支付。
为了在步骤S12中确定用户请求,用户信号输入240分析所接收的用户请求,其中所述用户请求包含对于期望视频或视频内容的质量要求,诸如分辨率、图像质量和帧速率。在此,所述帧速率确定所接收的视频流被重放的速度,所述分辨率确定图像的锐度和清楚程度,而所述图像质量确定诸如色调和亮度之类的图像的质量。
例如,为了在从菜单选择电影之前观看电影的预览,用户可以请求具有低分辨率和低图像质量的视频内容以减少要发送的比特流的数量,因为所述预览仅仅需要提供选择电影所需的信息。所述视频内容也可以具有高速重放所需要的高帧速率,以迅速地搜索期望电影的菜单。在这种情况下,向用户信号输入240发送由用户请求的关于分辨率、图像质量和帧速率的信息以备在处理具有可伸缩性的比特流的过程中使用。
同时,所述用户请求可以是关于像在所述说明性实施例中那样的视频内容的一个质量的信息或关于所述视频内容的多个质量的信息。当用户请求具有多个质量的视频内容时,因为高质量视频内容具有大尺寸,所以期望在网络的容量和用户环境超过预定水平时开始发送视频内容。
在步骤S14分析用户请求和用户概况信息后获得的结果用于控制器250以确定视频内容的质量。
例如,对于频繁使用已经付费的电影内容的用户,所述用户概况信息可以包含关于电影内容的使用和支付的细节以及包含提供给用户的、对于内容使用和支付的奖励(incentive)的加权信息。所述奖励可以包括对于10次使用付费电影内容或总支付10%的累积而对图像质量的一个级别的升级。
在步骤S16,控制器250根据从用户信号输入240接收的用户请求信号和从用户概况220接收的用户概况信息来确定要发送的可伸缩比特流的质量。
即,在来自用户的对于任意电影的内容的预览版本的请求时,发送低质量信号,而仅仅当在请求高质量内容时根据搜索在用户概况220中记录的信息的结果而确定适合于发送高质量信号时发送高质量信号。预解码器260根据所确定的质量来调整要发送的比特流的数量。
按照确定的发送质量来处理可伸缩比特流的步骤S2可以被划分为两个分步骤:按照所确定的质量来处理可伸缩比特流(步骤S20),和向用户发送所提取的比特流(步骤S22)。
在步骤S20中,通过删节比特流的不必要部分而根据所确定的质量处理可伸缩比特流。所述可伸缩比特流是指具有可伸缩性并且由可伸缩视频编码器100编码的视频信号。视频内容提供者或外部提供者可以执行在可伸缩视频编码器100中的视频内容编码。在后一种情况下,可以通过独立的装置来执行视频内容编码和比特流处理。
现在说明用于处理可伸缩比特流的方法。
为了确定诸如帧速率、分辨率和图像质量之类的比特流的质量,可以通过提取或去除比特流的预定部分来执行由可伸缩视频编码器100编码可伸缩比特流以具有时间、空间和SNR伸缩性。因此,现在结合由图1的可伸缩视频编码器100执行的编码处理来说明用于处理可伸缩比特流的方法。
现在说明用于通过MCTF方法来处理被编码以具有时间可伸缩性的比特流和调整帧速率的处理。
首先,将说明基于运动补偿时间滤波(MCTF)的可伸缩视频编码和解码。
如图5中所示,在编码处理中,在低时间级的帧的对(pair of frame)被时间滤波,并且然后被分解成在更高时间级的L帧和H帧的对,并且,L帧的对被再次时间滤波和分解为在更高时间级的帧。编码器对于在最高时间级的一个L帧和多个H帧执行子波变换,并且产生比特流。在此,L帧是对应于帧的平均值的低频帧,而H帧是对应于在帧之间的差的高频帧。
换句话说,编码器100编码从低时间级到高时间级的帧,而解码器对于从高级到低级的、通过加阴影而指示和通过逆子波变换而获得的帧执行与编码器100相逆的操作以重建。
在时间级3的L和H帧用于重建在时间级2上的两个L帧,在时间级2上的所述两个L帧和两个H帧用于重建在时间级1上的四个L帧。最后,在时间级1上的四个L帧和四个H帧用于重建8个帧。
现在说明用于通过处理根据MCTF方法而编码的可伸缩视频流来调整帧速率的方法。
例如,当在选择预览时需要调整时间可伸缩性以用于发送内容的低质量版本时,仅仅在图像组(GOP)中的一些帧可以被切除以用于发送。即,当仅仅发送对应于被称为GOP的8个帧中的两个的比特流时,因为以低的帧速率来解码所述比特流,所以重放低质量视频。
虽然已经参照使用基于MCTF的视频编码方案的说明性实施例而示出和说明了本发明,但是本领域技术人员将明白,可以在其中进行在形式和细节上的各种改变。即,本发明可以实现各种模块,所述各种模块被设计成通过解码按照提供时间可伸缩性的MCTF、UMCTF或其他视频编码方案编码的可伸缩视频流来改变帧速率,通过按照适合于设置的屏幕尺寸的帧速率来调整时间级,所述时间可伸缩性是可能的。
在此,提供时间可伸缩性的其他视频编码方案可以使用在有限的时间级上执行时间变换的连续时间近似和引用(Successive Temporal Approximationand Referencing,STRAR),以在尽可能保持时间可伸缩性的同时控制延迟时间。
接着,现在结合图6来说明用于通过处理被以子波变换编码以具有空间可伸缩性的比特流来调整分辨率的方法。
图6图解了按照本发明的一个实施例的、通过在空间变换单元104中的两层子波变换而将输入图像或帧分解为子带的处理。
参见图6,所述帧被分解为在帧的左上四分之一的被称为低-低(LL)(1)的一个低频子带和被称为低-高(LH)(1)的三个高频子带。子带LL(1)还被第二级子波变换分解为三个高频子带LH(2)和一个低频子带LL(2)。
可以通过从以子波变换编码的比特流去除除了必要子带之外的信息而实现所述用于调整分辨率的所述方法。
例如,需要在选择预览功能后以作为由视频提供者提供的屏幕的分辨率的四分之一的分辨率来发送视频流,预解码器260由控制器240控制以从要发送到用户的比特流中去除除了子带LL(1)之外的信息。而且,当用户请求具有为1/16的屏幕分辨率的分辨率的视频流以便使用画中画(PIP)功能时,可以在发送之前从所述比特流中去除除了子带LL(2)之外的信息。
现在说明用于处理可伸缩比特流以便调整被编码为具有信噪比(SNR)的比特流的质量级的方法。
SNR可伸缩性通过下述方式来执行嵌入的量化:通过仅仅编码具有大于预定门限值的值的像素,在编码后减小所述门限值,并且重复上述处理。可以通过所述门限值来确定所述质量级。
因此,对于要使用被编码以具有SNR可伸缩性的比特流来产生预定质量的比特流的用户,必须提取包含关于具有大于给定门限值的值的像素的信息的比特流。
例如,当用户请求具有低分辨率的视频内容时,视频内容提供者根据用户的请求分配低质量视频所需的门限值,并且然后去除包含关于具有大于所述门限值的值的像素的信息的、不需要的比特流。即,仅仅提取包含关于具有大于所分配门限值的值的像素的信息的比特流以将其提供到用户。
图7是图解按照本发明的另一个实施例的、用于使用视频点播(VOD)方案来发送可伸缩视频流的方法的流程图。
通过在进行请求之前向用户发送视频内容的低质量版本和在支付之后提供内容的高质量版本来实现所述VOD方案。
参见图3和7,首先,在步骤S100,向用户提供视频内容的预览屏幕。可以在用户的请求下或在视频内容提供者的推荐下提供预览屏幕。
然后,在观看了视频内容的预览屏幕后,用户在步骤S102确定是否购买内容。
所述内容可以包含由编码器(图1的100)编码的整个比特流,或者具有比预览版本好的视频质量。所述内容也可以根据购买它的价格而具有各种质量。
在支付后购买内容的情况下,视频内容提供者在步骤S104向用户发送视频内容。在执行此处理的同时,关于所选择的视频内容和支付费用的信息被记录在用户概况220中。所述用户概况信息被视频内容提供者用于推荐视频内容。所述信息也可以被用作用于提供诸如图像质量升级或价格折扣的奖励的材料。
产业上的应用
按照本发明的用于发送可伸缩视频流的方法和设备能够提供适合于用户的各种需要和内容提供者的商业目的的内容。本发明也可以通过按照由用户请求确定的质量而处理内容来以高传输速度提供内容的期望质量,而不需要另外的处理。
在结束详细说明后,本领域技术人员可以明白,在基本上不脱离本发明的精神的情况下,可以对于例证实施例进行许多改变和修改。因此,本发明的所公开的例证实施例仅仅在上位和描述性含义上被使用,而不用于限制的目的。
Claims (9)
1.一种用于发送可伸缩视频流的方法,包括:
确定包含由用户请求的视频内容的可伸缩比特流的质量;以及
按照所确定的发送质量来处理所述可伸缩比特流。
2.按照权利要求1的方法,其中,通过分辨率、图像质量或帧速率来确定所述可伸缩比特流的质量。
3.按照权利要求1的方法,其中,所述比特流的质量的确定包括:
执行用户鉴别;
确定视频内容的用户请求;以及
根据用户请求和用户概况信息来确定要发送的比特流的质量。
4.按照权利要求3的方法,其中,所述用户请求是对视频内容的预览或购买。
5.按照权利要求3的方法,其中,所述用户概况信息是关于视频内容的费用支付的信息。
6.一种用于发送可伸缩视频流的设备,包括:
可伸缩比特流的源,它包含用户请求的视频内容;
控制器,用于根据用户请求和用户概况信息而确定所述视频内容的质量;以及
预解码器,用于按照所确定的发送质量来处理所述可伸缩比特流。
7.按照权利要求6的设备,其中,通过分辨率、图像质量或帧速率来确定所述比特流的质量。
8.按照权利要求6的设备,其中,所述控制器包括:
用户鉴别器,用于执行用户鉴别;
用户信号输入,用于接收对于视频内容的用户请求;以及
用户概况,包含关于用户的信息。
9.按照权利要求6的设备,其中,所述用户概况包含关于视频内容的费用支付的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040005481 | 2004-01-28 | ||
KR1020040005481A KR20050077874A (ko) | 2004-01-28 | 2004-01-28 | 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1906938A true CN1906938A (zh) | 2007-01-31 |
Family
ID=34793366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004800410922A Pending CN1906938A (zh) | 2004-01-28 | 2004-12-30 | 用于发送可缩放的视频比特流的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050166245A1 (zh) |
KR (1) | KR20050077874A (zh) |
CN (1) | CN1906938A (zh) |
WO (1) | WO2005074277A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263942A (zh) * | 2010-05-31 | 2011-11-30 | 苏州闻道网络科技有限公司 | 一种分级视频转码装置和方法 |
CN102665107A (zh) * | 2012-04-10 | 2012-09-12 | 中国联合网络通信集团有限公司 | 移动视频业务处理方法和***、业务提供商*** |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2429593A (en) | 2005-08-26 | 2007-02-28 | Electrosonic Ltd | Data compressing using a wavelet compression scheme |
US20070043667A1 (en) * | 2005-09-08 | 2007-02-22 | Bahman Qawami | Method for secure storage and delivery of media content |
US20080247460A1 (en) * | 2005-10-07 | 2008-10-09 | Jung Won Kang | Method and Apparatus For Scalable Video Adaption Using Adaption Operators For Scalable Video |
WO2007043770A1 (en) * | 2005-10-07 | 2007-04-19 | Electronics And Telecommunications Research Institute | Method and apparatus for scalable video adaptation using adaptation operators for scalable video |
KR100722656B1 (ko) * | 2005-10-31 | 2007-05-28 | 주식회사 케이티 | 실시간 서비스 품질 제공 시스템, 방법, 및 그 기록매체 |
US20070204285A1 (en) * | 2006-02-28 | 2007-08-30 | Gert Hercules Louw | Method for integrated media monitoring, purchase, and display |
US20070203945A1 (en) * | 2006-02-28 | 2007-08-30 | Gert Hercules Louw | Method for integrated media preview, analysis, purchase, and display |
US8285595B2 (en) | 2006-03-29 | 2012-10-09 | Napo Enterprises, Llc | System and method for refining media recommendations |
US8059662B2 (en) * | 2006-04-18 | 2011-11-15 | Harris Corporation | System and method for controlling content and delivery of internet protocol television (IPTV) services |
US8903843B2 (en) | 2006-06-21 | 2014-12-02 | Napo Enterprises, Llc | Historical media recommendation service |
US8327266B2 (en) | 2006-07-11 | 2012-12-04 | Napo Enterprises, Llc | Graphical user interface system for allowing management of a media item playlist based on a preference scoring system |
US7970922B2 (en) * | 2006-07-11 | 2011-06-28 | Napo Enterprises, Llc | P2P real time media recommendations |
US8805831B2 (en) | 2006-07-11 | 2014-08-12 | Napo Enterprises, Llc | Scoring and replaying media items |
US7680959B2 (en) * | 2006-07-11 | 2010-03-16 | Napo Enterprises, Llc | P2P network for providing real time media recommendations |
US8059646B2 (en) | 2006-07-11 | 2011-11-15 | Napo Enterprises, Llc | System and method for identifying music content in a P2P real time recommendation network |
US9003056B2 (en) | 2006-07-11 | 2015-04-07 | Napo Enterprises, Llc | Maintaining a minimum level of real time media recommendations in the absence of online friends |
US8620699B2 (en) * | 2006-08-08 | 2013-12-31 | Napo Enterprises, Llc | Heavy influencer media recommendations |
US8090606B2 (en) | 2006-08-08 | 2012-01-03 | Napo Enterprises, Llc | Embedded media recommendations |
US7913284B2 (en) * | 2006-08-31 | 2011-03-22 | Qualcomm Incorporated | Method and apparatus for capturing mobile multimedia signals |
WO2008033454A2 (en) * | 2006-09-13 | 2008-03-20 | Video Monitoring Services Of America, L.P. | System and method for assessing marketing data |
US20090319365A1 (en) * | 2006-09-13 | 2009-12-24 | James Hallowell Waggoner | System and method for assessing marketing data |
WO2008066257A1 (en) * | 2006-11-30 | 2008-06-05 | Electronics And Telecommunications Research Institute | Apparatus and method for hierarchical modulation transmission and reception of scalable video bitstream |
US8874655B2 (en) * | 2006-12-13 | 2014-10-28 | Napo Enterprises, Llc | Matching participants in a P2P recommendation network loosely coupled to a subscription service |
US20080187291A1 (en) * | 2007-02-05 | 2008-08-07 | Microsoft Corporation | Prioritization for video acquisition |
WO2008132414A1 (fr) * | 2007-03-30 | 2008-11-06 | France Telecom | Procede de gestion d'une pluralite de sessions audiovisuelles dans un reseau ip et systeme de commande associe |
US9224427B2 (en) | 2007-04-02 | 2015-12-29 | Napo Enterprises LLC | Rating media item recommendations using recommendation paths and/or media item usage |
US8112720B2 (en) | 2007-04-05 | 2012-02-07 | Napo Enterprises, Llc | System and method for automatically and graphically associating programmatically-generated media item recommendations related to a user's socially recommended media items |
GB0708440D0 (en) * | 2007-05-02 | 2007-06-06 | Film Night Ltd | Data transmission |
US8839141B2 (en) | 2007-06-01 | 2014-09-16 | Napo Enterprises, Llc | Method and system for visually indicating a replay status of media items on a media device |
US8285776B2 (en) | 2007-06-01 | 2012-10-09 | Napo Enterprises, Llc | System and method for processing a received media item recommendation message comprising recommender presence information |
US9164993B2 (en) | 2007-06-01 | 2015-10-20 | Napo Enterprises, Llc | System and method for propagating a media item recommendation message comprising recommender presence information |
US20090049045A1 (en) | 2007-06-01 | 2009-02-19 | Concert Technology Corporation | Method and system for sorting media items in a playlist on a media device |
US9037632B2 (en) | 2007-06-01 | 2015-05-19 | Napo Enterprises, Llc | System and method of generating a media item recommendation message with recommender presence information |
JP5333218B2 (ja) | 2007-08-01 | 2013-11-06 | 日本電気株式会社 | 動画像データ配信システム、その方法及びそのプログラム |
US20090049030A1 (en) * | 2007-08-13 | 2009-02-19 | Concert Technology Corporation | System and method for reducing the multiple listing of a media item in a playlist |
US7865522B2 (en) | 2007-11-07 | 2011-01-04 | Napo Enterprises, Llc | System and method for hyping media recommendations in a media recommendation system |
US9060034B2 (en) | 2007-11-09 | 2015-06-16 | Napo Enterprises, Llc | System and method of filtering recommenders in a media item recommendation system |
US8799940B2 (en) * | 2007-11-30 | 2014-08-05 | France Telecom | Method of coding a scalable video stream destined for users with different profiles |
WO2009078560A1 (en) * | 2007-12-18 | 2009-06-25 | Electronics And Telecommunications Research Institute | Apparatus and method for generalized fgs truncation of svc video with user preference |
US9224150B2 (en) | 2007-12-18 | 2015-12-29 | Napo Enterprises, Llc | Identifying highly valued recommendations of users in a media recommendation network |
KR100939915B1 (ko) * | 2007-12-18 | 2010-02-03 | 한국전자통신연구원 | 사용자 선호도를 이용한 svc 비디오의 일반화된 fgs데이터 추출 장치 및 방법 |
US8396951B2 (en) | 2007-12-20 | 2013-03-12 | Napo Enterprises, Llc | Method and system for populating a content repository for an internet radio service based on a recommendation network |
US9734507B2 (en) | 2007-12-20 | 2017-08-15 | Napo Enterprise, Llc | Method and system for simulating recommendations in a social network for an offline user |
US8060525B2 (en) | 2007-12-21 | 2011-11-15 | Napo Enterprises, Llc | Method and system for generating media recommendations in a distributed environment based on tagging play history information with location information |
US8316015B2 (en) | 2007-12-21 | 2012-11-20 | Lemi Technology, Llc | Tunersphere |
US8117193B2 (en) | 2007-12-21 | 2012-02-14 | Lemi Technology, Llc | Tunersphere |
US20090231437A1 (en) * | 2008-03-11 | 2009-09-17 | Yao-Chang Huang | Tv data processing method and tv data receiver utilizing which |
US8725740B2 (en) | 2008-03-24 | 2014-05-13 | Napo Enterprises, Llc | Active playlist having dynamic media item groups |
US8484311B2 (en) | 2008-04-17 | 2013-07-09 | Eloy Technology, Llc | Pruning an aggregate media collection |
KR101144539B1 (ko) * | 2008-06-05 | 2012-05-14 | 한국전자통신연구원 | 스케일러블 비디오 코딩 비트스트림의 적응 변환 장치 및 그 방법 |
US8621094B2 (en) * | 2008-06-30 | 2013-12-31 | Microsoft Corporation | User status reports provided by an entertainment access system |
US8484227B2 (en) | 2008-10-15 | 2013-07-09 | Eloy Technology, Llc | Caching and synching process for a media sharing system |
US8880599B2 (en) | 2008-10-15 | 2014-11-04 | Eloy Technology, Llc | Collection digest for a media sharing system |
US8200602B2 (en) | 2009-02-02 | 2012-06-12 | Napo Enterprises, Llc | System and method for creating thematic listening experiences in a networked peer media recommendation environment |
KR101557504B1 (ko) * | 2009-04-13 | 2015-10-07 | 삼성전자주식회사 | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 |
US9015109B2 (en) | 2011-11-01 | 2015-04-21 | Lemi Technology, Llc | Systems, methods, and computer readable media for maintaining recommendations in a media recommendation system |
US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US20150146012A1 (en) * | 2013-11-27 | 2015-05-28 | Sprint Communications Company L.P. | Video presentation quality display in a wireless communication device |
US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
TWI762465B (zh) * | 2016-02-12 | 2022-05-01 | 瑞士商納格維遜股份有限公司 | 共享從視訊傳輸提取的快照之方法及系統 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6111913A (en) * | 1997-05-20 | 2000-08-29 | International Business Machines Corporation | Macroblock bit regulation schemes for video encoder |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6157377A (en) * | 1998-10-30 | 2000-12-05 | Intel Corporation | Method and apparatus for purchasing upgraded media features for programming transmissions |
FI113124B (fi) * | 1999-04-29 | 2004-02-27 | Nokia Corp | Tiedonsiirto |
US20030035371A1 (en) * | 2001-07-31 | 2003-02-20 | Coke Reed | Means and apparatus for a scaleable congestion free switching system with intelligent control |
JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
-
2004
- 2004-01-28 KR KR1020040005481A patent/KR20050077874A/ko not_active Application Discontinuation
- 2004-12-30 WO PCT/KR2004/003513 patent/WO2005074277A1/en active Application Filing
- 2004-12-30 CN CNA2004800410922A patent/CN1906938A/zh active Pending
-
2005
- 2005-01-25 US US11/041,746 patent/US20050166245A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263942A (zh) * | 2010-05-31 | 2011-11-30 | 苏州闻道网络科技有限公司 | 一种分级视频转码装置和方法 |
CN102665107A (zh) * | 2012-04-10 | 2012-09-12 | 中国联合网络通信集团有限公司 | 移动视频业务处理方法和***、业务提供商*** |
Also Published As
Publication number | Publication date |
---|---|
KR20050077874A (ko) | 2005-08-04 |
US20050166245A1 (en) | 2005-07-28 |
WO2005074277A1 (en) | 2005-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1906938A (zh) | 用于发送可缩放的视频比特流的方法和设备 | |
CN1926874A (zh) | 对视频流传输业务进行视频编码、预解码和视频解码的方法和设备以及图像滤波方法 | |
CN1722831A (zh) | 对包括基本层的比特流预解码和解码的方法和设备 | |
US8406294B2 (en) | Method of assigning priority for controlling bit rate of bitstream, method of controlling bit rate of bitstream, video decoding method, and apparatus using the same | |
US7970224B2 (en) | Efficient rate allocation for multi-resolution coding of data | |
CN1722836A (zh) | 视频编码和解码方法以及视频编码器和解码器 | |
CN1914921A (zh) | 在编码器中提供可分级性的可分级视频编码设备和方法 | |
US20050163224A1 (en) | Device and method for playing back scalable video streams | |
JP4656190B2 (ja) | 情報処理装置および方法 | |
US20050152611A1 (en) | Video/image coding method and system enabling region-of-interest | |
US6327392B1 (en) | Method of visual progressive coding | |
CN1943244A (zh) | 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器 | |
CN1684517A (zh) | 用于支持运动可缩放性的方法和设备 | |
CN1764276A (zh) | 使用层间滤波的视频编码和解码方法及使用该方法的设备 | |
CN1722838A (zh) | 使用基础层的可伸缩性视频编码方法和设备 | |
JP2004336254A (ja) | 画像符号化装置及び方法 | |
US20060013311A1 (en) | Video decoding method using smoothing filter and video decoder therefor | |
CN1930890A (zh) | 用于可缩放视频编码和解码的方法和设备 | |
JP2004254133A (ja) | 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 | |
JP2002543689A (ja) | プロファイルされたメディアデータのクライアントへのネットワークによる配信 | |
JP2002543690A (ja) | プログレッシブ送信のためのメディアファイルのスケーラブルフォーマットへの変換 | |
WO2008067081A2 (en) | Method and system for scalable bitstream extraction | |
CN1922881A (zh) | 再现可伸缩视频流的方法及设备 | |
Danyali et al. | Highly scalable image compression based on SPIHT for network applications | |
EP0944262B1 (en) | A method of progressive coding according to visual significance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |