CN101449584A - 视频处理 - Google Patents

视频处理 Download PDF

Info

Publication number
CN101449584A
CN101449584A CN200780018787.2A CN200780018787A CN101449584A CN 101449584 A CN101449584 A CN 101449584A CN 200780018787 A CN200780018787 A CN 200780018787A CN 101449584 A CN101449584 A CN 101449584A
Authority
CN
China
Prior art keywords
frame
frame rate
timing parameters
speed
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780018787.2A
Other languages
English (en)
Other versions
CN101449584B (zh
Inventor
理查德·詹姆士·雅各布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN101449584A publication Critical patent/CN101449584A/zh
Application granted granted Critical
Publication of CN101449584B publication Critical patent/CN101449584B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对编码视频信号进行处理，使得解码器处的显示短于(或，如期望的，长于)编码时的设想时间。该视频信号包含在解码器处对该信号的解码帧速率具有决定作用的一个或更多个定时参数。该方法包括缓存输入的视频信号，根据所述定时参数和所指定的压缩(或扩展)计算出至少一个修正参数，并利用所述修正定时参数代替所接收到的定时参数而输出所述视频信号。所述参数可包括指定帧速率的参数，至少一个指定帧的解码时间的时间戳，和/或至少一个指定帧的解码时间的时间戳。

Description

视频处理
技术领域
本发明涉及视频信号处理。有时需要在时间上压缩视频信号，使其持续时间短于原始持续时间，或反之延长持续时间。
背景技术
美国专利5,995,153描述了提供实时视频节目扩展或收缩以使其与安排好的时段匹配或从节目中产生盈余广播时间以***广告或通告的方法。该***通过帧删减或重复来工作；也就是说，在收缩的情况下，删除视频信号帧，这可以按照规则的间隔手工实现，或根据存在的运动量而自适应地进行，使得具有高运动度的帧不被去除。类似地，可删除或重复各段伴音轨道以进行匹配；假定差分延迟不被人所察觉的情况下，这也可以根据内容来进行，而不必与视频帧的删除一致。
现在，数字视频编码技术通常使用帧间差分编码。通常，无法在不产生在视频序列的后续帧中传播的错误的情况下从这样的视频信号中删减帧。因此，帧删减法变得没有吸引力，因为人们需要在去除帧前对信号进行解码，随后必须要再次进行编码。
发明内容
根据本发明，提供了如权利要求所定义的方法。
具体实施方式
现在参考附图通过示例来说明本发明的一些实施方式。
假设已经使用涉及帧间差分编码的常规方法对视频信号进行了编码，根据(在本例中)MPEG2标准来编码，当然同一原理也可应用于H.264和其它标准。来自远程编码器的编码视频信号被输入到缓存1，尽管在优选的情况下该***可以处于，甚至集成于该编码器上。信号以该编码器确定的帧速率到达。控制单元2从该缓存1中读出数据，并通过输出端3将其发送到远程接收器。
本发明的目标是能在时间上压缩视频信号，使得它在接收器处在比编码器设想的时间稍短的时段内显示。然而，并不用删减帧，该***如下工作。要注意的是，该***不需要对远程解码器进行任何修改。
在MPEG2中，通过多种机制将解码帧的显示速率通报给解码器：
(i)宣称的帧速率；
(ii)解码时间戳；
(iii)呈现时间戳。
我们将依次讨论这些机制。
根据标准ISO/IEC 13818-2：2000(E)的6.3.3章节，各序列报头(Sequence Header)包括以下参数：
四位码frame_rate_code，其通报基础帧速率(称为frame_rate_value)是24000/1001(＝23.976...)，24，25，30000/1001(＝29.97...)，30，50，60000/1001(＝59.94)，或60帧每秒中的一个；
frame_rate_extension_n，两位二进制数，比调节系数的分子小1；
frame_rate_extension_d，五位二进制数，比调节系数的分母小1；
从而在解码器处将实际帧速率确定为
frame_rate＝
frame_rate_value*(frame_rate_extension_n+1)/(frame_rate_extension_d+1)
本例中，假设在编码器处设置的帧速率为25帧每秒，因此这些参数取值如下：
frame_rate_value＝25
frame_rate_extension_n＝0
frame_rate_extension_d＝0
控制单元2需要用一个适合于期望的新帧速率的值来替换这些参数中的一个或更多个。假如持续时长为一个小时的电视节目将被缩减3分钟，变成57分钟的持续时间。理想的情况是该帧速率需要增加到原始帧速率的60/57倍，即26.316。
在标准允许的选项内无法精确地实现此帧速率，但是通过以下设置可实现很好的近似
frame_rate_value＝60
frame_rate_extension_n＝3
frame_rate_extension_d＝8
所以新的帧速率是
new_frame_rate＝
frame_rate_value*(frame_rate_extension_n+1)/(frame_rate_extension_d+1)
＝60*4/9＝26.667。
这将实现56分15秒的新的播放时间。这比期望值稍短；如果需要精确的长度，可通过将该速率变化仅仅应用于节目的一部分而容易地实现。
一般情况下，该过程是：
给出原始持续时间D和新持续时间d。
利用上述公式，由输入参数计算旧的帧速率R。
应当理解，所有输入帧都将被发送至解码器，没有帧会被删除(也没有增加)，因此期望或目标新速率r可根据r＝RD/d计算出。这时可以简单地选择最接近目标速率的允许速率。但是，我们首选如下处理。
可利用参数的相应值生成关注范围(比如24到60fps)中所有可能速率的表，并从该表中找出满足r′≤r的最小速率r′，来获得实际新速率。
应用该速率以得到总持续时间d的时间t为
t＝R(D-d)/(r′-R)
现在来讨论时间戳，MPEG2规定(作为传输流(Transport Stream)规范的一部分)一些(但不是全部)图像携带限定该图像的解码时间的解码时间戳，以及限定该图像的显示时间的显示时间戳。事实上不必使用两个时间戳，且实际上不是所有解码器都使用两个时间戳。但是，除非事先知道所用解码器的类型，否则有必要调整两种时间戳以匹配新的帧速率。
呈现时间戳(PTS，Presentation time stamp)是一个33位整数，其指示由携带该时间戳的数据包中的数据表示的第一帧在解码器中的期望呈现时间。其确切值是呈现时间(单位为秒)与***时钟频率(通常是90kHz)的乘积以233取模，四舍五入到最接近的整数。
原则上，各时间戳与帧速率的增大成比例地减小，即乘以R/r′。但是，在序列中开始新速率的传输之后接着以原始速率进行传输的情况下，或者在时间戳复位(即时间戳233-1之后是时间戳0)的情况下，需要采取措施来避免发生中断。
在已经以旧速率开始传输的情况下，需要记录将以新速率发送的第一帧的时间戳PTSref。如下面讨论的，如果该时间戳自身经过调整，则它是调整后的用于PTSref的输出值，而不是输入值。
然后新速率下的任何后续任意帧n的输入时间戳PTS(n)使其时间相对该第一帧缩放，以产生新的时间戳PTS′(n)，将该新的时间戳写入输出数据包报头中，替代旧的时间戳：
PTS′(n)＝PTSref+NINT{(PTS(n)-PTSref).R/r′}
这里NINT表示“最接近的整数”。
注意如果该时间戳经过复位点，则需要确保该减法和加法执行模233。
如果(如上所设想的)以增加的帧速率传送之后以原始编码速率继续传输，则后续帧的时间戳也需要调整。
较高速率下的最后一帧具有如上所述计算出的时间戳。为了便于说明，将其称为帧m。其输入时间戳PTS(m)与调整后的时间戳PTS′(m)之间的差表示要施加到后续时间戳上的永久偏移，即对于需要时间戳的任意后续帧N
PTS′(N)＝PTS(N)-(PTS(m)-PTS(′m)).
再次对该减法结果执行模233。
我们观察到在重复地在增加的帧速率下工作时，上述公式可能会导致不确定地增加的时间偏移。但是，通过使用取模算法，这将不成问题。
或者，不应用该连续校正，可以设置MPEG传输流的中断位，从而按照与输入帧一致的值重新建立时间戳。
MPEG-2中的显示时间戳与呈现时间戳有相同的格式，且用同样方法进行处理。
在视频序列具有使用MPEG编码的伴音音轨时，可以通过与应用于视频数据包相同的方式修正应用于该音频数据包的时间戳，来调节播放速率。或者，可以使用传统技术来在时间上对该音频信号进行压缩。
已经提到了不需要对解码器进行修正。大部分情况下(不是所有情况)，不需要对显示进行修正。基本上，这里有两种可能情况。一种是解码器向监视器输出模拟视频信号：这里我们期望扫描电路会轻松地适应扫描速率的适度提高。另一情况是解码器将解码帧写入到显示缓存内，随后以相当高的帧速率读出以在监视器上显示。这是基于计算机***的情景，其中，在英国，输入的25fps信号被写入显示缓存，随后以大概60甚至75fps读出。当然这里解码器写入速率的微小改变对显示根本没有影响。
可以理解，在本发明的情况下，如现有技术的***中一样，可以抑制或限制本方法对于视频序列的选定部分(根据图像内容手动或自动选择的)的应用。这自然需要比针对整个传输时间的目标帧速率更高的瞬时帧速率。如果认为目标速率和上述最低标准速率之间的差不足，则有必要选择稍微高点的速率。
在H.264标准的情况下，该实施方式类似于MPEG2；存在整体vui(视频可用性信息)表帧速率。当结合RTP使用时，可以使用该RTP时间戳。
如果不是提高帧速率以在时间上缩短视频，而是希望降低帧速率以扩展时间尺度，则处理还是如上所述，只是当然新的持续时间d大于D(并因此r>1)，而且，如果需要精确的持续时间，则r′为满足r′≤r的最大速率。

Claims (8)

1、一种处理编码视频信号的方法，该视频信号包含在解码器处对该信息的解码帧速率起决定作用的一个或更多个定时参数，该方法包括以下步骤：
缓存所述视频信号，
响应于指定对所述信号应用时间压缩还是扩展的命令，根据所述定时参数和所指定的压缩计算至少一个修正参数，以及
利用所述修正定时参数代替所接收的定时参数而输出所述视频信号。
2、如权利要求1所述的方法，其中，所述定时参数包括指定帧速率的参数。
3、如权利要求1或2所述的方法，其中，所述定时参数包括至少一个指定帧的解码时间的时间戳。
4、如权利要求1、2或3所述的方法，其中，所述定时参数包括至少一个指定帧的解码时间的时间戳。
5、如上述任一权利要求所述的方法，用于具有从多个预定的离散帧速率中指定一个帧速率的定时参数的信号格式，所述方法包括根据所接收到的指定帧速率的定时参数和所指定的压缩求出期望的帧速率，并选择所述离散帧速率中最接近于所述期望帧速率的一个。
6、如权利要求1到4中任一个所述的方法，其中，所述命令指定了时间压缩，并且该方法用于具有从多个预定的离散帧速率中指定一个帧速率的定时参数的信号格式，包括：根据所接收到的指定帧速率的定时参数和所指定的压缩求出期望的帧速率，并选择所述离散帧速率中大于或等于所述期望帧速率的最小的一个。
7、如权利要求1到4中任一个所述的方法，其中，所述命令指定了时间压缩，并且该方法用于具有从多个预定的离散帧速率中指定一个帧速率的定时参数的信号格式，包括：根据所接收到的指定帧速率的定时参数和所指定的压缩求出期望的帧速率，并选择所述离散帧速率中小于或等于所述期望帧速率的最大的一个。
8、如权利要求6或7所述的方法，所述方法还包括计算比建议的传输时段短的时间段，在该时间段中，应用所选择的帧速率，使得在所期望的传输时段上的平均帧速率基本上等于所述期望帧速率。
CN200780018787.2A 2006-05-26 2007-04-18 视频处理 Expired - Fee Related CN101449584B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06252762A EP1860884A1 (en) 2006-05-26 2006-05-26 Video processing
EP06252762.7 2006-05-26
PCT/GB2007/001412 WO2007138243A1 (en) 2006-05-26 2007-04-18 Video processing

Publications (2)

Publication Number Publication Date
CN101449584A true CN101449584A (zh) 2009-06-03
CN101449584B CN101449584B (zh) 2013-03-13

Family

ID=36678587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780018787.2A Expired - Fee Related CN101449584B (zh) 2006-05-26 2007-04-18 视频处理

Country Status (4)

Country Link
US (1) US20090147842A1 (zh)
EP (2) EP1860884A1 (zh)
CN (1) CN101449584B (zh)
WO (1) WO2007138243A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951506A (zh) * 2010-09-17 2011-01-19 中兴通讯股份有限公司 实现可伸缩视频编码业务同步发送、接收的***和方法
CN102387363A (zh) * 2011-10-21 2012-03-21 北京瀚景锦河科技有限公司 Avs任意帧率编解码实现方法
WO2024032107A1 (en) * 2022-08-08 2024-02-15 Douyin Vision Co., Ltd. Method, apparatus, and medium for visual data processing

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503497B2 (en) * 2011-12-10 2016-11-22 LogMeln, Inc. Optimizing transfer to a remote access client of a high definition (HD) host screen image
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
US10375430B2 (en) * 2017-08-24 2019-08-06 Skitter, Inc. Method for synchronizing GOPs and IDR-frames on multiple encoders without communication
CN112839229A (zh) * 2019-11-25 2021-05-25 合肥杰发科技有限公司 计算解码耗时的方法、计算编码耗时的方法及其相关装置
CN113766567A (zh) * 2020-06-05 2021-12-07 华为技术有限公司 一种通信方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724491A (en) * 1984-08-28 1988-02-09 Adams-Russell Co., Inc. Inserting television advertising spots automatically
US5995153A (en) * 1995-11-02 1999-11-30 Prime Image, Inc. Video processing system with real time program duration compression and expansion
US5715176A (en) * 1996-01-23 1998-02-03 International Business Machines Corporation Method and system for locating a frame position in an MPEG data stream
ATE355662T1 (de) * 1997-01-06 2006-03-15 Bellsouth Intellect Pty Corp Methode und system zur netzwerkverwendungserfassung
WO1998037699A1 (en) * 1997-02-25 1998-08-27 Intervu, Inc. System and method for sending and receiving a video as a slide show over a computer network
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
KR100546640B1 (ko) * 2003-03-11 2006-01-26 엘지전자 주식회사 디지털 비디오 기록 재생 시스템 및 트릭 재생 방법
KR100526189B1 (ko) * 2004-02-14 2005-11-03 삼성전자주식회사 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951506A (zh) * 2010-09-17 2011-01-19 中兴通讯股份有限公司 实现可伸缩视频编码业务同步发送、接收的***和方法
CN101951506B (zh) * 2010-09-17 2014-03-12 中兴通讯股份有限公司 实现可伸缩视频编码业务同步发送、接收的***和方法
CN102387363A (zh) * 2011-10-21 2012-03-21 北京瀚景锦河科技有限公司 Avs任意帧率编解码实现方法
CN102387363B (zh) * 2011-10-21 2014-06-04 北京瀚景锦河科技有限公司 Avs任意帧率编解码实现方法
WO2024032107A1 (en) * 2022-08-08 2024-02-15 Douyin Vision Co., Ltd. Method, apparatus, and medium for visual data processing

Also Published As

Publication number Publication date
CN101449584B (zh) 2013-03-13
EP2025169A1 (en) 2009-02-18
EP1860884A1 (en) 2007-11-28
US20090147842A1 (en) 2009-06-11
WO2007138243A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
CN101449584B (zh) 视频处理
US7610605B2 (en) Method and apparatus for conversion and distribution of data utilizing trick-play requests and meta-data information
US7412149B2 (en) Trick mode generation in video streaming
US8995524B2 (en) Image encoding method and image decoding method
EP1002424B1 (en) Processing coded video
CN104618786A (zh) 音视频同步方法和装置
US20060239563A1 (en) Method and device for compressed domain video editing
JPH09139677A (ja) 符号化された信号をスプライシングする方法及び装置
KR100619007B1 (ko) 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
JP5369599B2 (ja) 映像符号化装置、映像符号化方法
KR20140005089A (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
JP4676331B2 (ja) コード変換方法及びその装置
CA2910306A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
JP2010212996A (ja) 情報処理装置および多重化処理方法
JP2001025007A (ja) Ｍｐｅｇストリーム切替方法
JP2002320228A (ja) 信号処理装置
KR100864009B1 (ko) 오디오／비디오 동기화 방법
CN114339316A (zh) 一种基于视频直播的视频流编码处理方法
KR20050025330A (ko) 화상 데이터 처리 장치 및 방법
JP4967402B2 (ja) 多重化ストリーム変換装置および方法
JP4697053B2 (ja) プログラム、情報処理装置、情報処理方法、並びに、記録媒体
JP2002027362A (ja) 画像処理方法及び装置
CN111093107A (zh) 播放实时直播流的方法和装置
JP2004072299A (ja) 映像多重化方法並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130313

CF01 Termination of patent right due to non-payment of annual fee