CN116527977A - 一种音画同步方法、装置、电子设备及可读存储介质 - Google Patents
一种音画同步方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116527977A CN116527977A CN202310475424.2A CN202310475424A CN116527977A CN 116527977 A CN116527977 A CN 116527977A CN 202310475424 A CN202310475424 A CN 202310475424A CN 116527977 A CN116527977 A CN 116527977A
- Authority
- CN
- China
- Prior art keywords
- playing
- audio
- target
- time
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种音画同步方法、装置、电子设备及可读存储介质。本申请通过,获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;检测外置声音设备播放所述目标音频帧的第三播放时间;基于第一播放时间、第二播放时间以及第三播放时间,确定目标视频播放速率和目标音频播放速率;控制终端设备按照目标视频播放速率播放音视频数据中的视频,及,按照目标音频播放速率播放音视频数据中的音频,以实现对终端设备和外置声音设备的音画同步。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种音画同步方法、装置、电子设备及可读存储介质。
背景技术
现有终端设备(例如,智能电视、智能手机等)在播放影视节目时,首先,获取相应的影视资源文件(包括线上资源和本地资源),然后,对影视资源文件进行画面和音频的处理,由于画面处理的流程相较于音频更加复杂,因此,终端设备本地的画面播放要晚于音频播放。此外,经终端设备处理的音频信号,通过有线或无线的方式发送给外置的声音输出设备(如外置音箱)时,由于存在传输延时和音箱内部的信号处理,会造成更大的延时,因此,音画出现的顺序为,终端设备本地声音最快,终端设备的画面和音箱声音均存在延迟。
实际应用中,终端设备作为一个独立的***,设备厂商会在终端设备本地完成音画同步的调节,所以终端设备本地声音和画面之间的延时较小,一般符合音画同步的要求。而外置的声音输出设备作为另一套***,与终端设备同时使用时,往往会出现较大的延时,当延时大于一定时长时,就会造成明显的音画不同步的体验。
因此,亟需一种可以实现对终端设备和外置的声音输出设备的音画同步的技术方案。
发明内容
为了解决上述全部或部分技术问题,本申请提供了一种音画同步方法、装置、电子设备及可读存储介质。
第一方面,本申请实施例提供一种音画同步方法,包括:
获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
在一个可能的实施方式中,所述基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率,包括:
计算所述第一播放时间与所述第三播放时间之间的第一时间差值,以及,计算所述第二播放时间与所述第三播放时间之间的第二时间差值;
在所述第一时间差值和所述第二时间差值均处于预设时间范围的情况下,将所述终端设备播放所述音视频数据的当前视频播放速率确定为所述目标视频播放速率,以及,将所述终端设备播放所述音视频数据的当前音频播放速率确定为所述目标音频播放速率;
在所述第一时间差值和所述第二时间差值均未处于预设时间范围的情况下,获取预设视频播放速率,并将所述预设视频播放速率确定为所述目标视频播放速率,以及,基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率,包括:
基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长;
基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长,包括:
将所述目标视频播放速率和所述第一时间差值代入公式一,得到所述音画同步时长;
其中,δ为所述音画同步时长,P1为所述目标视频播放速率,T1为所述第一播放时间,T3为所述第三播放时间,则T3-T1为所述第一时间差值。
在一个可能的实施方式中,所述基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率,包括:
将所述音画同步时长和所述第二时间差值代入公式二,得到所述目标音频播放速率;
其中,P2为所述目标音频播放速率,T2为所述第二播放时间,则T3-T2为所述第二时间差值。
在一个可能的实施方式中,所述检测外置声音设备播放所述目标音频帧的第三播放时间,包括:
基于所述目标音频帧提取对应的声纹信息;
在所述外置声音设备播放所述音视频数据中音频的过程中,通过所述终端设备的麦克风实时采集所述外置声音设备播放的声音数据,以及检测所述声音数据中是否出现与所述声纹信息相符的目标数据;
在所述声音数据中出现所述目标数据的情况下,确定所述外置声音设备正在播放所述目标音频帧,将采集所述目标数据的时间确定为所述第三播放时间。
在一个可能的实施方式中,所述检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间之前,还包括:
获取预设的时间间隔;
每隔所述时间间隔,执行检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间,至按照所述目标音频播放速率播放所述音视频数据中的音频的步骤。
第二方面,本申请实施例提供一种音画同步装置,包括:
获取模块,用于获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
第一检测模块,用于在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
第二检测模块,用于检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
确定模块,用于基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制模块,用于控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
在一个可能的实施方式中,所述确定模块,具体用于:
计算所述第一播放时间与所述第三播放时间之间的第一时间差值,以及,计算所述第二播放时间与所述第三播放时间之间的第二时间差值;
在所述第一时间差值和所述第二时间差值均处于预设时间范围的情况下,将所述终端设备播放所述音视频数据的当前视频播放速率确定为所述目标视频播放速率,以及,将所述终端设备播放所述音视频数据的当前音频播放速率确定为所述目标音频播放速率;
在所述第一时间差值和所述第二时间差值均未处于预设时间范围的情况下,获取预设视频播放速率,并将所述预设视频播放速率确定为所述目标视频播放速率,以及,基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述确定模块,还用于:
基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长;
基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述确定模块,还用于:
将所述目标视频播放速率和所述第一时间差值代入公式一,得到所述音画同步时长;
其中,δ为所述音画同步时长,P1为所述目标视频播放速率,T1为所述第一播放时间,T3为所述第三播放时间,则T3-T1为所述第一时间差值。
在一个可能的实施方式中,所述确定模块,还用于:
将所述音画同步时长和所述第二时间差值代入公式二,得到所述目标音频播放速率;
其中,P2为所述目标音频播放速率,T2为所述第二播放时间,则T3-T2为所述第二时间差值。
在一个可能的实施方式中,所述第二检测模块,具体用于:
基于所述目标音频帧提取对应的声纹信息;
在所述外置声音设备播放所述音视频数据中音频的过程中,通过所述终端设备的麦克风实时采集所述外置声音设备播放的声音数据,以及检测所述声音数据中是否出现与所述声纹信息相符的目标数据;
在所述声音数据中出现所述目标数据的情况下,确定所述外置声音设备正在播放所述目标音频帧,将采集所述目标数据的时间确定为所述第三播放时间。
在一个可能的实施方式中,所述装置还包括执行模块,用于:
获取预设的时间间隔;
每隔所述时间间隔,执行检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间,至按照所述目标音频播放速率播放所述音视频数据中的音频的步骤。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的音画同步方法。
本申请实施例有益效果:
本申请实施例提供了一种音画同步方法、装置、电子设备及可读存储介质,本申请通过,首先,确定音视频数据对应的目标视频帧,以及与目标视频帧对应的目标音频帧,在终端设备播放音视频数据的过程中,检测终端设备播放目标视频帧的第一播放时间,以及,检测终端设备播放目标音频帧的第二播放时间,然后,检测外置声音设备播放目标音频帧的第三播放时间,其中,外置声音设备用于与终端设备同步播放音视频数据中的音频,进而,基于第一播放时间、第二播放时间以及第三播放时间,确定目标视频播放速率和目标音频播放速率,最后,控制终端设备按照目标视频播放速率播放音视频数据中的视频,以及,按照目标音频播放速率播放音视频数据中的音频,以实现对终端设备和外置声音设备的音画同步。也即,通过本方案,可以根据终端设备播放音视频数据时播放目标视频帧和目标音频帧的时间,以及外置声音设备播放目标音频帧的时间,实现对终端设备和外置声音设备的音画同步,从而提高用户的视听体验。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音画同步方法的流程图;
图2为本申请实施例提供的一种终端设备的内部结构示意图;
图3为本申请实施例提供的另一种音画同步方法的流程图;
图4为本申请实施例提供的一种延迟状态示意图;
图5为本申请实施例提供的一种音画同步装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图以具体实施例对本申请提供的音画同步方法做出解释说明,实施例并不构成对本申请实施例的限定。
参见图1,为本申请实施例提供的一种音画同步方法的实施例流程图。如图1所示,该流程可包括以下步骤:
S101,获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧。
本申请实施例提供的一种音画同步方法,可以应用于终端设备中的控制器,如SoC(System on Chip,片上***)。
音视频数据,为终端设备正在播放的包含音频文件和视频文件的媒体数据,例如,电影资源文件、电视剧资源文件、综艺资源文件等。
目标音频帧,指音频文件中一个包含声音信号的音频帧。
目标视频帧,指视频文件中与该目标音频帧同步播放的视频帧,其中,该目标视频帧为包含视频信号的视频帧。
其中,音视频数据可以是线上数据,基于此,在一实施例中,获取音视频数据的具体实现可包括:向服务器发送数据请求,接收服务器基于该数据请求返回的音视频数据。
音视频数据也可以是本地数据,基于此,在另一实施例中,获取音视频数据的具体实现可包括:从本地存储中获取音视频数据。
实际应用中,在利用终端设备播放音视频数据之前,可以先对音视频数据中的目标音频帧和目标视频帧进行标记,即,将音视频数据中同步播放的视频帧和音频帧作为一组帧数据组,任意选择一组同时包含音频信号和视频信号的帧数据组,作为目标帧数据组,将目标帧数据组中的音频帧和视频帧,作为目标音频帧和目标视频帧,进行标记。
需要说明的是,为了在终端设备播放音视频数据过程中可以多次进行音画同步操作,可以标记多组目标帧数据组,其中,对于每组目标帧数据组的标记不同,如此,可以便于识别同步播放的目标音频帧和目标视频帧。
基于此,本申请实施例中,终端设备中的控制器在获取到音视频数据后,可以根据上述标记确定其中的目标音频帧和目标视频帧。
作为一种可能的实现方式,可以将任意一组目标音频帧和目标视频帧作为后续用于计算的目标音频帧和目标视频帧。
作为另一种可能的实现方式,可以在音视频数据中包含多组目标音频帧和目标视频帧的情况下,可以确定该音视频数据的播放进度,将在该播放进度之后,且,距离该播放进度最近的一组目标音频帧和目标视频帧,作为后续用于计算的目标音频帧和目标视频帧。从而可以尽快进入音画同步处理流程。
如图2所示,为上述终端设备的内部结构示意图,SoC获取音视频数据(如图2中的影视资源文件)后,通过“图像处理”单元对其中的视频文件进行处理得到可以播放的画面,将该画面发送至“显示”单元进行显示,通过“声音处理”单元对其中的音频文件进行处理得到对应的音频,将该音频发送至“发声”单元播放,以及将该音频的音频信号发送至外置声音设备进行播放。
S102,在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间。
本申请实施例中,在终端设备播放音视频数据的过程中,可以检测终端设备中“显示”单元播放目标视频帧的第一播放时间,以及,检测终端设备中发声单元播放目标音频帧的第二播放时间,也即,发声单元发出目标音频帧对应的声音的发声时间。
需要说明的是,实际应用中存在发声单元不发声的情况,此时,终端设备本地的发声单元虽然不发出音频的声音,但是随着播放视频,音频也是处于播放状态的,因此,可以将目标音频帧在音轨中出现的时间确定为第二播放时间。
S103,检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频。
外置声音设备,指外置的声音播放设备,用于与终端设备同步播放音视频数据中的音频,如外置音箱。
本申请实施例中,检测外置声音设备播放所述目标音频帧的第三播放时间的具体实现可包括:基于所述目标音频帧提取对应的声纹信息,在所述外置声音设备播放所述音视频数据中音频的过程中,通过所述终端设备的麦克风实时采集所述外置声音设备播放的声音数据,以及检测所述声音数据中是否出现与所述声纹信息相符的目标数据,在所述声音数据中出现所述目标数据的情况下,确定所述外置声音设备正在播放所述目标音频帧,将采集所述目标数据的时间确定为所述第三播放时间。
如此,可以通过终端设备上的原有装置(麦克风)实时采集外置声音设备播放的声音数据,进而,通过图2中的声纹匹配单元比对该声音数据和基于目标音频帧提取的声纹信息,来确定外置声音设备播放目标音频帧的时间,即,将采集与声纹信息匹配的声音数据的时间,确定为外置声音播放目标音频帧的世界,也即,第三播放时间。
实际应用中,为了使外置声音设备接收播放的音频与终端设备喇叭播放的声音同步,可以通过WiFi模块连接外置声音设备与终端设备,实现对外置声音设备与终端设备的音频信号同步,具体的,终端设备,与WiFi模块连接TSF(Timming sync function)信号,外置声音设备,与WiFi模块连接TSF(Timming sync function)信号,在外置声音设备与终端设备开机后,TSF信号周期性接收或者发送timming sync信号,通过高低电平一键触发外置声音设备与终端设备进行音频同步。
S104,基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率。
S105,控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
以下对S104和S105进行统一说明:
本申请实施例中,在确定终端设备播放目标视频帧的第一播放时间、播放目标音频帧第二播放时间,以及,外置声音设备播放目标音频帧的第三播放时间之后,可以通过第一播放时间、第二播放时间以及第三播放时间之间的时间差,确定外置声音设备播放音频与终端设备播放音视频的延迟情况。
进而,可以根据延迟情况计算终端设备的目标视频播放速率和目标音频播放速率,并控制终端设备按照目标视频播放速率播放音视频数据中的视频,以及,按照目标音频播放速率播放音视频数据中的音频,如此,通过调节终端设备播放视频和音频的速率,来调整终端设备和外置声音设备之间的延迟情况,使二者之间的时间差减小至预设范围内,从而实现对终端设备和外置声音设备的音画同步。
实际应用中,一般通过调低终端设备播放视频的速率来追平显示单元播放视频画面,与,外置声音设备播放音频之间的延迟情况,在调低终端设备播放视频的速率的过程中,也存在相应调低终端设备播放音频的速率的情况。
具体的,可以通过插帧的方式调低终端设备播放视频和音频的速率,以调低播放视频的速率为例,通过图2所示的“本地缓冲计算”单元,根据计算得到的目标视频播放速率确定插帧的数量,按照该数量计算相应的过渡帧(其中,每个过渡帧是通过原视频文件中相邻两个视频帧计算得到的),进而,通过图2所示的“缓冲池机制”逐步将过渡帧填充至缓冲池,以将过渡帧***原视频文件中,从而实现调低播放视频的速率。对于音频文件的插帧过程与视频插帧过程类似,这里不再赘述。
至于具体如何确定目标视频播放速率和目标音频播放速率,将通过后文实施例进行详细的解释说明,这里先不详述。
在又一实施例中,在检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间之前,还可以包括以下步骤:获取预设的时间间隔,每隔所述时间间隔,执行S102-S105。如此,可以在终端设备播放音视频数据的过程中,每隔一段时间(即,预设的时间间隔)则按照S102-S105执行一次音画同步的过程,从而避免终端设备播放音视频数据过程中出现长时间的音画不同步的情况,提高用户体验。
本申请通过,首先,确定音视频数据对应的目标视频帧,以及与目标视频帧对应的目标音频帧,在终端设备播放音视频数据的过程中,检测终端设备播放目标视频帧的第一播放时间,以及,检测终端设备播放目标音频帧的第二播放时间,然后,检测外置声音设备播放目标音频帧的第三播放时间,其中,外置声音设备用于与终端设备同步播放音视频数据中的音频,进而,基于第一播放时间、第二播放时间以及第三播放时间,确定目标视频播放速率和目标音频播放速率,最后,控制终端设备按照目标视频播放速率播放音视频数据中的视频,以及,按照目标音频播放速率播放音视频数据中的音频,以实现对终端设备和外置声音设备的音画同步。也即,通过本方案,可以根据终端设备播放音视频数据时播放目标视频帧和目标音频帧的时间,以及外置声音设备播放目标音频帧的时间,实现对终端设备和外置声音设备的音画同步,从而提高用户的视听体验。
参见图3,为本申请实施例提供的另一种音画同步方法的实施例流程图。该图3所示流程在上述图1所示流程的基础上,描述如何基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率。如图3所示,该流程可包括以下步骤:
S301,计算所述第一播放时间与所述第三播放时间之间的第一时间差值,以及,计算所述第二播放时间与所述第三播放时间之间的第二时间差值。
S302,在所述第一时间差值和所述第二时间差值均处于预设时间范围的情况下,将所述终端设备播放所述音视频数据的当前视频播放速率确定为所述目标视频播放速率,以及,将所述终端设备播放所述音视频数据的当前音频播放速率确定为所述目标音频播放速率。
S303,在所述第一时间差值和所述第二时间差值均未处于预设时间范围的情况下,获取预设视频播放速率,并将所述预设视频播放速率确定为所述目标视频播放速率,以及,基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率。
以下对S301-S303进行统一说明:
本申请实施例中,首先,计算第一播放时间与第三播放时间之间的第一时间差值,以及,计算第二播放时间与第三播放时间之间的第二时间差值,然后,通过确定第一时间差值和第二时间差值是否落在预设时间范围中,来确定外置声音设备与终端设备之间的延迟情况。
实际应用中,预设时间范围一般为-100ms~20ms,时间差值在该范围内时,认为延迟情况在可接受范围内,即,认为外置声音设备的声音与终端设备播放的画面是同步的。
具体的,在第一时间差值和第二时间差值均处于预设时间范围的情况下,认为延迟情况在可接受范围内,此时,可以将终端设备播放音视频数据的当前视频播放速率确定为目标视频播放速率,以及,将终端设备播放音视频数据的当前音频播放速率确定为目标音频播放速率。也即,此时,可以按照当前播放视频的速率继续播放视频,按照当前播放音频的速率继续播放音频,无需调整。
而在第一时间差值和第二时间差值均未处于预设时间范围的情况下,认为延迟情况不在可接受范围内,此时需要调整当前播放视频的速率,以及当前播放音频的速率。具体的,获取预设视频播放速率(该预设视频播放速率小于当前视频播放速率),并将预设视频播放速率确定为目标视频播放速率,以及,基于目标视频播放速率、第一时间差值和第二时间差值,确定目标音频播放速率。
具体的,所述基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率的实现可包括:基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长,基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率。
作为一种可能的实现方式,所述基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长可以包括以下步骤:
将所述目标视频播放速率和所述第一时间差值代入公式一,得到所述音画同步时长;
其中,δ为所述音画同步时长,P1为所述目标视频播放速率,T1为所述第一播放时间,T3为所述第三播放时间,则T3-T1为所述第一时间差值。
基于此,所述基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率的实现可以包括以下步骤:
将所述音画同步时长和所述第二时间差值代入公式二,得到所述目标音频播放速率;
其中,P2为所述目标音频播放速率,T2为所述第二播放时间,则T3-T2为所述第二时间差值。
以下通过一个示例对S301和S303的过程进行解释说明:
该示例中,终端设备为电视,外置声音设备为音箱,如图4所示,电视显示目标视频帧的画面的时间为T1,电视播放目标音频帧的时间为T2,音箱播放目标音频帧的时间为T3,则三者之间的延迟情况如图4中的初始状态,为了达到电视画面和音箱声音之间的音画同步(即图4所示的目标状态),首先,获取一个小于当前视频播放速率的预设视频播放速率(如0.8),进而,通过该预设视频播放速率计算目标音频播放速率。
计算过程具体如下:
假设追平时间为δ,已知,预设视频播放速率P1为:
将P1=0.8,代入上述P1的公式可以得到:
δ=(T3-T1)×5
已知,目标音频播放速率P2为:
将δ=(T3-T1)×5,代入上述P2的公式可以得到:
由此,计算得到目标音频播放速率P2的值。
可以理解的是,预设视频播放速率越小,则追平时间越快,但是速率过小会影响用户观看体验,应用中,用户可以在保证用户观看体验的基础上设置一个预设视频播放速率,根据该预设视频播放速率计算目标音频速率,从而在保证用户观看体验的基础上,实现音画同步。
需要说明的是,S301-S303中,认为终端设备自身播放视频画面和播放音频是同步的,因此,第一时间差值和第二时间差值一般仅会有两种情况,即,二者均落在预设时间范围中,或者,二者均未落在预设时间范围中,也因此,应用中,也可以只通过第一时间差值或第二时间差值中的一个数据,与预设时间范围进行比对,若落在该范围,则执行S302,若未落在该范围,则执行S303。由此,减少比对过程中的计算量。
通过图3所示流程,实现了根据第一播放时间与第三播放时间之间的第一时间差值,以及,第二播放时间与第三播放时间之间的第二时间差值,是否落在预设时间范围内,来确定目标视频播放速率和目标音频播放速率。
基于相同的技术构思,本申请实施例还提供了一种音画同步装置,如图5所示,该装置包括:
获取模块501,用于获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
第一检测模块502,用于在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
第二检测模块503,用于检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
确定模块504,用于基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制模块505,用于控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
在一个可能的实施方式中,所述确定模块,具体用于:
计算所述第一播放时间与所述第三播放时间之间的第一时间差值,以及,计算所述第二播放时间与所述第三播放时间之间的第二时间差值;
在所述第一时间差值和所述第二时间差值均处于预设时间范围的情况下,将所述终端设备播放所述音视频数据的当前视频播放速率确定为所述目标视频播放速率,以及,将所述终端设备播放所述音视频数据的当前音频播放速率确定为所述目标音频播放速率;
在所述第一时间差值和所述第二时间差值均未处于预设时间范围的情况下,获取预设视频播放速率,并将所述预设视频播放速率确定为所述目标视频播放速率,以及,基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述确定模块,还用于:
基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长;
基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率。
在一个可能的实施方式中,所述确定模块,还用于:
将所述目标视频播放速率和所述第一时间差值代入公式一,得到所述音画同步时长;
其中,δ为所述音画同步时长,P1为所述目标视频播放速率,T1为所述第一播放时间,T3为所述第三播放时间,则T3-T1为所述第一时间差值。
在一个可能的实施方式中,所述确定模块,还用于:
将所述音画同步时长和所述第二时间差值代入公式二,得到所述目标音频播放速率;
其中,P2为所述目标音频播放速率,T2为所述第二播放时间,则T3-T2为所述第二时间差值。
在一个可能的实施方式中,所述第二检测模块,具体用于:
基于所述目标音频帧提取对应的声纹信息;
在所述外置声音设备播放所述音视频数据中音频的过程中,通过所述终端设备的麦克风实时采集所述外置声音设备播放的声音数据,以及检测所述声音数据中是否出现与所述声纹信息相符的目标数据;
在所述声音数据中出现所述目标数据的情况下,确定所述外置声音设备正在播放所述目标音频帧,将采集所述目标数据的时间确定为所述第三播放时间。
在一个可能的实施方式中,所述装置还包括执行模块,用于:
获取预设的时间间隔;
每隔所述时间间隔,执行检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间,至按照所述目标音频播放速率播放所述音视频数据中的音频的步骤。
本申请通过,首先,确定音视频数据对应的目标视频帧,以及与目标视频帧对应的目标音频帧,在终端设备播放音视频数据的过程中,检测终端设备播放目标视频帧的第一播放时间,以及,检测终端设备播放目标音频帧的第二播放时间,然后,检测外置声音设备播放目标音频帧的第三播放时间,其中,外置声音设备用于与终端设备同步播放音视频数据中的音频,进而,基于第一播放时间、第二播放时间以及第三播放时间,确定目标视频播放速率和目标音频播放速率,最后,控制终端设备按照目标视频播放速率播放音视频数据中的视频,以及,按照目标音频播放速率播放音视频数据中的音频,以实现对终端设备和外置声音设备的音画同步。也即,通过本方案,可以根据终端设备播放音视频数据时播放目标视频帧和目标音频帧的时间,以及外置声音设备播放目标音频帧的时间,实现对终端设备和外置声音设备的音画同步,从而提高用户的视听体验。
基于相同的技术构思,本申请实施例还提供了一种电子设备,如图6所示,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信,
存储器113,用于存放计算机程序;
处理器111,用于执行存储器113上所存放的程序时,实现如下步骤:
获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一音画同步方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一音画同步方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种音画同步方法,其特征在于,所述方法包括:
获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率,包括:
计算所述第一播放时间与所述第三播放时间之间的第一时间差值,以及,计算所述第二播放时间与所述第三播放时间之间的第二时间差值;
在所述第一时间差值和所述第二时间差值均处于预设时间范围的情况下,将所述终端设备播放所述音视频数据的当前视频播放速率确定为所述目标视频播放速率,以及,将所述终端设备播放所述音视频数据的当前音频播放速率确定为所述目标音频播放速率;
在所述第一时间差值和所述第二时间差值均未处于预设时间范围的情况下,获取预设视频播放速率,并将所述预设视频播放速率确定为所述目标视频播放速率,以及,基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标视频播放速率、所述第一时间差值和所述第二时间差值,确定所述目标音频播放速率,包括:
基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长;
基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率。
4.根据权利要求3所述的方法,其特征在于,所述基于所述目标视频播放速率和所述第一时间差值,确定音画同步时长,包括:
将所述目标视频播放速率和所述第一时间差值代入公式一,得到所述音画同步时长;
其中,δ为所述音画同步时长,P1为所述目标视频播放速率,T1为所述第一播放时间,T3为所述第三播放时间,则T3-T1为所述第一时间差值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述音画同步时长和所述第二时间差值,确定所述目标音频播放速率,包括:
将所述音画同步时长和所述第二时间差值代入公式二,得到所述目标音频播放速率;
其中,P2为所述目标音频播放速率,T2为所述第二播放时间,则T3-T2为所述第二时间差值。
6.根据权利要求1所述的方法,其特征在于,所述检测外置声音设备播放所述目标音频帧的第三播放时间,包括:
基于所述目标音频帧提取对应的声纹信息;
在所述外置声音设备播放所述音视频数据中音频的过程中,通过所述终端设备的麦克风实时采集所述外置声音设备播放的声音数据,以及检测所述声音数据中是否出现与所述声纹信息相符的目标数据;
在所述声音数据中出现所述目标数据的情况下,确定所述外置声音设备正在播放所述目标音频帧,将采集所述目标数据的时间确定为所述第三播放时间。
7.根据权利要求1所述的方法,其特征在于,所述检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间之前,还包括:
获取预设的时间间隔;
每隔所述时间间隔,执行检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间,至按照所述目标音频播放速率播放所述音视频数据中的音频的步骤。
8.一种音画同步装置,其特征在于,所述装置包括:
获取模块,用于获取音视频数据,并确定所述音视频数据中一组对应的目标音频帧和目标视频帧;
第一检测模块,用于在终端设备播放所述音视频数据的过程中,检测所述终端设备播放所述目标视频帧的第一播放时间,以及,检测所述终端设备播放所述目标音频帧的第二播放时间;
第二检测模块,用于检测外置声音设备播放所述目标音频帧的第三播放时间,其中,所述外置声音设备用于与所述终端设备同步播放所述音视频数据中的音频;
确定模块,用于基于所述第一播放时间、所述第二播放时间以及所述第三播放时间,确定目标视频播放速率和目标音频播放速率;
控制模块,用于控制所述终端设备按照所述目标视频播放速率播放所述音视频数据中的视频,以及,按照所述目标音频播放速率播放所述音视频数据中的音频,以实现对所述终端设备和所述外置声音设备的音画同步。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475424.2A CN116527977A (zh) | 2023-04-26 | 2023-04-26 | 一种音画同步方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475424.2A CN116527977A (zh) | 2023-04-26 | 2023-04-26 | 一种音画同步方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116527977A true CN116527977A (zh) | 2023-08-01 |
Family
ID=87405923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310475424.2A Pending CN116527977A (zh) | 2023-04-26 | 2023-04-26 | 一种音画同步方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116527977A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958331A (zh) * | 2023-09-20 | 2023-10-27 | 四川蜀天信息技术有限公司 | 一种音画同步的调整方法、装置和电子设备 |
CN117082281A (zh) * | 2023-10-17 | 2023-11-17 | 苏州元脑智能科技有限公司 | 音视频数据同步处理方法、***、设备及介质 |
-
2023
- 2023-04-26 CN CN202310475424.2A patent/CN116527977A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958331A (zh) * | 2023-09-20 | 2023-10-27 | 四川蜀天信息技术有限公司 | 一种音画同步的调整方法、装置和电子设备 |
CN116958331B (zh) * | 2023-09-20 | 2024-01-19 | 四川蜀天信息技术有限公司 | 一种音画同步的调整方法、装置和电子设备 |
CN117082281A (zh) * | 2023-10-17 | 2023-11-17 | 苏州元脑智能科技有限公司 | 音视频数据同步处理方法、***、设备及介质 |
CN117082281B (zh) * | 2023-10-17 | 2024-02-23 | 苏州元脑智能科技有限公司 | 音视频数据同步处理方法、***、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116527977A (zh) | 一种音画同步方法、装置、电子设备及可读存储介质 | |
CN106658133B (zh) | 一种音视频同步播放的方法及终端 | |
RU2620716C2 (ru) | Синхронизация воспроизведения мультимедийного контента при групповом просмотре | |
CN107277594B (zh) | 一种视音频与弹幕同步方法及装置 | |
CN103327377B (zh) | 用于内容的同步流传输的***、方法和基础设施 | |
CN105376628A (zh) | 音视频信号同步方法和装置 | |
WO2017067489A1 (zh) | 机顶盒音视频同步的方法及装置、存储介质 | |
CN109379613B (zh) | 音视频同步调整方法、电视、计算机可读存储介质及*** | |
CN109714622B (zh) | 一种视频数据处理方法、装置及电子设备 | |
CN109275008B (zh) | 一种音视频同步的方法和装置 | |
CN108366283B (zh) | 多设备间的媒体同步播放方法 | |
CN103839558A (zh) | 同步播放方法及服务器、播放器 | |
EP2538689A1 (en) | Adaptive media delay matching | |
CN101204081A (zh) | 自动音频和视频同步 | |
CN109379619B (zh) | 音画同步方法及装置 | |
CN109168059A (zh) | 一种在不同设备上分别播放音频与视频的唇音同步方法 | |
CN106331820B (zh) | 音视频的同步处理方法和装置 | |
CN107770569A (zh) | 多媒体的同步播放方法、装置及*** | |
CN110996157A (zh) | 一种视频播放方法、装置、电子设备及机器可读存储介质 | |
CN114679665A (zh) | 蓝牙耳机音视频同步方法和装置、电子设备、存储介质 | |
CN112004133A (zh) | 音画同调方法、装置、投影设备及可读存储介质 | |
US20160150129A1 (en) | Audio/video synchronization using a device with camera and microphone | |
CN112053669B (zh) | 一种人声消除方法、装置、设备及介质 | |
CN109413469A (zh) | 一种直播连麦延迟控制方法、装置、电子设备及存储介质 | |
CN116708892A (zh) | 一种音画同步检测方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |