CN112601077B - 一种基于音频的编码器延时的自动测量方法 - Google Patents

一种基于音频的编码器延时的自动测量方法 Download PDF

Info

Publication number
CN112601077B
CN112601077B CN202011439857.5A CN202011439857A CN112601077B CN 112601077 B CN112601077 B CN 112601077B CN 202011439857 A CN202011439857 A CN 202011439857A CN 112601077 B CN112601077 B CN 112601077B
Authority
CN
China
Prior art keywords
audio
timestamp
time
test
pts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011439857.5A
Other languages
English (en)
Other versions
CN112601077A (zh
Inventor
孙伟涛
许国忠
李小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202011439857.5A priority Critical patent/CN112601077B/zh
Publication of CN112601077A publication Critical patent/CN112601077A/zh
Application granted granted Critical
Publication of CN112601077B publication Critical patent/CN112601077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种基于音频的编码器延时的自动测量方法。它具体包括如下步骤：(1)用音频时间编码方式逐帧生成一段素材，使用AAC编码方式，压缩封装成成CBR模式TS文件，素材的音频时间编码从0开始，音频PTS也从0开始，通过PTS转换为音频时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；(2)配置被测转码器接收测试测试流，转码后再发回测试设备；(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据。本发明的有益效果是：通过检测音频上的时间编码来检测延时，具有普适性，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。

Description

一种基于音频的编码器延时的自动测量方法
技术领域
本发明涉及编转码器相关技术领域，尤其是指一种基于音频的编码器延时的自动测量方法。
背景技术
在视频直播领域，延时是影响观众体验的一个重要因素，因此对转码***进行延时测量和评估是必要的。转码器端到端的延时是指媒体码流接收，解封装，解码，预处理，编码，封装，发送全过程的延时。通常使用的方法是：推流端和播放端对着同一个时钟，然后用播放端显示的时间减去推流端显示的时间，就得到了直播延时。这种方法的缺点很多，1)不精确，2)受播放器的影响，3)传输层的影响，4)需要人工参与，5)延时抖动无法实时跟踪。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能实时跟踪延时抖动的基于音频的编码器延时的自动测量方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于音频的编码器延时的自动测量方法，具体包括如下步骤：
(1)用音频时间编码方式逐帧生成一段素材，使用AAC编码方式，压缩封装成成CBR模式TS文件，素材的音频时间编码从0开始，音频PTS也从0开始，通过PTS转换为音频时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；
(2)配置被测转码器接收测试测试流，转码后再发回测试设备；
(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据。
测量延时需要对音频做标识，标识方法可以使用类似于SEI中自定义私有时间戳的方式来进行，但是转码设备转码后一般会把自定义信息丢弃，从而无法测量。本发明使用了一种音频时间编码的方式来标记时间，通过检测音频上的时间编码来检测延时，具有普适性。本发明面向广电领域，针对通过UDP传输的TS CBR码流提供了一种基于编转码设备整体延时的自动测量技术，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。
作为优选，在步骤(1)中，音频时间编码方式具体如下：使用440Hz，一定振幅的方波或正选波，以1秒静音间隔编码音频波形，第一段的持续时间为1秒，第二段的持续时间为2秒，以此类推，最后一段持续时间为N秒，N为预设值。
作为优选，音频时间编码的提取具体如下：通过扫描0值的持续时间来判断静音间隔，首先判断是否是持续的0值，如果是，忽略当前的0值持续段，定位第一个非0段，从第一个非0段开始向后扫描，提取第一个静音段，根据静音段判断1秒内的采样点个数，根据1秒内采样点数判断某个采样点的时间。
作为优选，在步骤(1)中，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析音频的PTS，根据PTS计算音频时间编码时间戳，其中测试素材的音频时间编码从0开始，音频PTS也从0开始，发送数据包并获取发送时间戳，记录发送时间戳和音频时间编码时间戳这一对到数组中。
作为优选，在步骤(1)中，发送时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，如果测试素材文件的第一帧音频的PTS不是从0开始，记录下这个偏移量，其余的PTS减去该偏移量，修正音频时间编码时间戳。
作为优选，在步骤(2)中，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析音频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行音频时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新音频时间编码时间戳，最终结果为接收时间戳和音频时间编码时间戳这一对数据。
作为优选，在步骤(2)中，接收时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，时间戳对数组采用循环缓冲机制。
作为优选，在步骤(3)中，测试设备的检测流程具体为：收到新的接收时间戳和音频时间编码时间戳这一对数组后，根据音频时间编码时间戳查找发送时间戳和音频时间编码时间戳这一对数组，根据音频时间编码时间戳查找接收时间戳和音频时间编码时间戳这一对数组，而延时时间＝接收时间戳-发送时间戳，显示最新的延时时间。
本发明的有益效果是：通过检测音频上的时间编码来检测延时，具有普适性，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。
附图说明
图1是本发明的音频时间编码方式方波示意图；
图2是本发明的音频时间编码方式正弦波示意图；
图3是本发明的音频时间编码方式示意图；
图4是本发明的音频时间编码提取示意图；
图5是本发明的测试流的发送流程示意图；
图6是本发明的测试流的接收流程示意图；
图7是本发明的测试设备的检测流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
一种基于音频的编码器延时的自动测量方法，具体包括如下步骤：
(1)用音频时间编码方式逐帧生成一段素材，长度几十秒为宜，使用AAC编码方式，压缩封装成成CBR模式TS文件，为了简单起见，素材的音频时间编码从0开始，音频PTS也从0开始，通过PTS转换为音频时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；
如图3所示，音频时间编码方式具体如下：
音频时间编码方式具体如下：使用440Hz，一定振幅的方波或正选波(如图1、图2所示)，以1秒静音间隔编码音频波形，第一段的持续时间为1秒，第二段的持续时间为2秒，以此类推，最后一段持续时间为N秒，N为预设值，N一般为20秒，可以适当延长。
如图4所示，音频时间编码的提取具体如下：由于编码器可能音频重采样，所以不能通过原始采样点的个数来判断，故而通过扫描0值的持续时间(1秒)来判断静音间隔，方波在非静音期间没有0值，而正弦波在非静音期间有0值，扫描的时候注意忽略持续时间很短的0值，首先判断是否是持续的0值，如果是，忽略当前的0值持续段，定位第一个非0段，从第一个非0段开始向后扫描，提取第一个静音段，根据静音段判断1秒内的采样点个数，根据1秒内采样点数判断某个采样点的时间。
如图5所示，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析音频的PTS，根据PTS计算音频时间编码时间戳，其中测试素材的音频时间编码从0开始，音频PTS也从0开始，发送数据包并获取发送时间戳，记录发送时间戳和音频时间编码时间戳这一对到数组中，考虑到转码器延时一般为几秒，所以数据大小可以先限定为4K(针对60fps的素材大约为8秒)，可以适当加大。发送时间戳通过socket接口从网卡中获取(网卡需支持)，该时间戳是网卡发送到网络上的时间，这样就避免了内核和协议栈的抖动。如果测试素材文件的第一帧音频的PTS不是从0开始，记录下这个偏移量，其余的PTS减去该偏移量，修正音频时间编码时间戳。
(2)配置被测转码器接收测试测试流，转码后再发回测试设备；
如图6所示，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析音频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行音频时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新音频时间编码时间戳，最终结果为接收时间戳和音频时间编码时间戳这一对数据。接收时间戳通过socket接口从网卡中获取(网卡需支持)，该时间戳是网卡发送到网络上的时间，这样就避免了内核和协议栈的抖动。时间戳对数组采用循环缓冲机制，避免内存拷贝。由于数据量较大，数组查找采用二分查找等快速查找算法。
(3)测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据；
如图7所示，测试设备的检测流程具体为：收到新的接收时间戳和音频时间编码时间戳这一对数组后，根据音频时间编码时间戳查找发送时间戳和音频时间编码时间戳这一对数组，根据音频时间编码时间戳查找接收时间戳和音频时间编码时间戳这一对数组，而延时时间＝接收时间戳-发送时间戳，显示最新的延时时间。
其中：测试方案可以和被测设备直连测试转码器的整体延时，也可以通过传输网络，测量传输网络和转码器的整体延时，并跟踪显示延时抖动曲线。本实施例采用的网口传输网络的方式进行测量延时。从项目实施效果看，可以自动分析延时数据，精确到帧级。
测量延时需要对音频做标识，标识方法可以使用类似于SEI中自定义私有时间戳的方式来进行，但是转码设备转码后一般会把自定义信息丢弃，从而无法测量。本发明使用了一种音频时间编码的方式来标记时间，通过检测音频上的时间编码来检测延时，具有普适性。本发明面向广电领域，针对通过UDP传输的TS CBR码流提供了一种基于编转码设备整体延时的自动测量技术，不受播放器以及传输层得干扰，且能实时跟踪延时抖动。

Claims (5)

1.一种基于音频的编码器延时的自动测量方法，其特征是，具体包括如下步骤：
（1）用音频时间编码方式逐帧生成一段素材，使用AAC编码方式，压缩封装成CBR模式TS文件，素材的音频时间编码从0开始，音频PTS也从0开始，通过PTS转换为音频时间编码时间戳，通过测试网口把测试素材按照设定的CBR码率用UDP发送出去，生成测试流；音频时间编码方式具体如下：使用440Hz，一定振幅的方波或正选波，以1秒静音间隔编码音频波形，第一段的持续时间为1秒，第二段的持续时间为2秒，以此类推，最后一段持续时间为N秒，N为预设值；音频时间编码的提取具体如下：通过扫描0值的持续时间来判断静音间隔，首先判断是否是持续的0值，如果是，忽略当前的0值持续段，定位第一个非0段，从第一个非0段开始向后扫描，提取第一个静音段，根据静音段判断1秒内的采样点个数，根据1秒内采样点数判断某个采样点的时间；
（2）配置被测转码器接收测试流，转码后再发回测试设备；
（3）测试设备接收回传测试流，解码检测提取出时间戳，并和源测试流对比得到整体延时数据；测试设备的检测流程具体为：收到新的接收时间戳和音频时间编码时间戳这一对数组后，根据音频时间编码时间戳查找发送时间戳和音频时间编码时间戳这一对数组，根据音频时间编码时间戳查找接收时间戳和音频时间编码时间戳这一对数组，而延时时间 =接收时间戳 -发送时间戳，显示最新的延时时间。
2.根据权利要求1所述的一种基于音频的编码器延时的自动测量方法，其特征是，在步骤（1）中，测试流的发送流程具体为：设置检测的测试素材文件以及udp发送地址，分析检测的测试素材文件，根据测试素材文件PCR计算码率，重新定位到测试素材文件开头开始发送，读取数据包后，如果有PCR则解析PCR，如果有PTS则解析音频的PTS，根据PTS计算音频时间编码时间戳，发送数据包并获取发送时间戳，记录发送时间戳和音频时间编码时间戳这一对到数组中。
3.根据权利要求1所述的一种基于音频的编码器延时的自动测量方法，其特征是，在步骤（1）中，发送时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，如果测试素材文件的第一帧音频的PTS不是从0开始，记录下这个偏移量，其余的PTS减去该偏移量，修正音频时间编码时间戳。
4.根据权利要求2所述的一种基于音频的编码器延时的自动测量方法，其特征是，在步骤（2）中，测试流的接收流程具体为：设置udp接收地址，接收udp数据包，提取udp数据包的接收时间戳，如果有PTS则解析音频的PTS，记录接收时间戳和PTS这一对到数组中，解码后进行音频时间编码时间戳检测，查询接收时间戳与PTS这一对的数据，根据PTS找到对应接收时间戳，替换PTS为更新音频时间编码时间戳，最终结果为接收时间戳和音频时间编码时间戳这一对数据。
5.根据权利要求4所述的一种基于音频的编码器延时的自动测量方法，其特征是，在步骤（2）中，接收时间戳通过socket接口从网卡中获取，该时间戳是网卡发送到网络上的时间，时间戳对数组采用循环缓冲机制。
CN202011439857.5A 2020-12-11 2020-12-11 一种基于音频的编码器延时的自动测量方法 Active CN112601077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011439857.5A CN112601077B (zh) 2020-12-11 2020-12-11 一种基于音频的编码器延时的自动测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011439857.5A CN112601077B (zh) 2020-12-11 2020-12-11 一种基于音频的编码器延时的自动测量方法

Publications (2)

Publication Number Publication Date
CN112601077A CN112601077A (zh) 2021-04-02
CN112601077B true CN112601077B (zh) 2022-07-26

Family

ID=75191837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011439857.5A Active CN112601077B (zh) 2020-12-11 2020-12-11 一种基于音频的编码器延时的自动测量方法

Country Status (1)

Country Link
CN (1) CN112601077B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272399A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 一种数据跟踪方法及相关装置
CN117708507B (zh) * 2024-02-05 2024-04-26 成都麦特斯科技有限公司 一种基于人工智能的高效α和β射线的识别与分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
GB0607215D0 (en) * 2006-04-10 2006-05-17 Vqual Ltd Method and apparatus for measuring audio/video sync delay
CN102355484A (zh) * 2011-08-05 2012-02-15 多玩娱乐信息技术（北京）有限公司 一种音频数据传输的方法
CN108696491A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 音频数据的发送处理方法与装置、接收处理方法与装置
CN108965971A (zh) * 2018-07-27 2018-12-07 北京数码视讯科技股份有限公司 多路音频同步控制方法、控制装置及电子设备
CN109524015A (zh) * 2017-09-18 2019-03-26 杭州海康威视数字技术股份有限公司 音频编码方法、解码方法、装置及音频编解码***
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信***工程有限公司 一种无线集群***的音视频媒体流合流方法及***
CN110875046A (zh) * 2018-08-31 2020-03-10 河南广播电视台 基于国标dra和dra+音频编码的同步传输***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
GB0607215D0 (en) * 2006-04-10 2006-05-17 Vqual Ltd Method and apparatus for measuring audio/video sync delay
EP2005762A1 (en) * 2006-04-10 2008-12-24 Tektronix International Sales GmbH Method and apparatus for measuring audio/video sync delay
CN102355484A (zh) * 2011-08-05 2012-02-15 多玩娱乐信息技术（北京）有限公司 一种音频数据传输的方法
CN108696491A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 音频数据的发送处理方法与装置、接收处理方法与装置
CN109524015A (zh) * 2017-09-18 2019-03-26 杭州海康威视数字技术股份有限公司 音频编码方法、解码方法、装置及音频编解码***
CN108965971A (zh) * 2018-07-27 2018-12-07 北京数码视讯科技股份有限公司 多路音频同步控制方法、控制装置及电子设备
CN110875046A (zh) * 2018-08-31 2020-03-10 河南广播电视台 基于国标dra和dra+音频编码的同步传输***
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信***工程有限公司 一种无线集群***的音视频媒体流合流方法及***

Also Published As

Publication number Publication date
CN112601077A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112601077B (zh) 一种基于音频的编码器延时的自动测量方法
CN106210708B (zh) 一种图像延迟的检测方法和***
CN105049917B (zh) 录制音视频同步时间戳的方法和装置
US6675383B1 (en) Source detection apparatus and method for audience measurement
US8739198B2 (en) Simulcast resolution in content matching systems
US10284887B2 (en) System and method to assist synchronization of distributed play out of content
US11087772B2 (en) Systems and methods to improve timestamp transition resolution
US10257567B2 (en) Watermark based content recognition improvements
CA2574998A1 (en) Methods and apparatus for monitoring the insertion of local media content into a program stream
JP5025722B2 (ja) オーディオ／ビデオ同期遅延測定方法及び装置
CN112601078B (zh) 一种基于视频的编码器延时的自动测量方法
CN114339292A (zh) 一种直播流的审查干预方法、装置、存储介质及设备
CN107968942B (zh) 一种直播平台音视频时间差测量方法与***
EP2575371A1 (en) Method and measurement system for evaluating a delay between audio and video signals in an audio/video stream
CN113055711B (zh) 一种音视频同步检测方法及其检测***
EP1040669B1 (fr) Procede de pilotage d'un equipement de metrologie en television numerique
US11979624B1 (en) Correcting ad markers in media content
CN116489342B (zh) 确定编码延时的方法、装置、及电子设备、存储介质
CN117061730A (zh) 一种智能摄像机音画同步性能的测试方法
CN110324700A (zh) 应用于显示设备的电路及相关的控制方法
JP2010157914A (ja) 放送実績取得システム、情報埋め込み装置、情報検出装置及び放送実績取得方法
FR2987197A1 (fr) Procede de generation d'un flux de paquets numeriques en sortie d'un encodeur, dispositif apte a generer un tel flux encode et, systeme apte a utiliser un tel flux encode.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant