CN101540871B - 基于电路域可视电话同步录制对端声音图像的方法和终端 - Google Patents

基于电路域可视电话同步录制对端声音图像的方法和终端 Download PDF

Info

Publication number
CN101540871B
CN101540871B CN2009101355895A CN200910135589A CN101540871B CN 101540871 B CN101540871 B CN 101540871B CN 2009101355895 A CN2009101355895 A CN 2009101355895A CN 200910135589 A CN200910135589 A CN 200910135589A CN 101540871 B CN101540871 B CN 101540871B
Authority
CN
China
Prior art keywords
frame
video
audio
file
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101355895A
Other languages
English (en)
Other versions
CN101540871A (zh
Inventor
闫晓梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2009101355895A priority Critical patent/CN101540871B/zh
Publication of CN101540871A publication Critical patent/CN101540871A/zh
Priority to EP09843910.2A priority patent/EP2405649B1/en
Priority to AU2009345285A priority patent/AU2009345285B2/en
Priority to PCT/CN2009/075365 priority patent/WO2010124499A1/zh
Priority to US13/257,727 priority patent/US8493429B2/en
Application granted granted Critical
Publication of CN101540871B publication Critical patent/CN101540871B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

基于电路域可视电话同步录制对端声音和图像的方法和终端，其中，该方法包括：可视通话参与方使用的终端在收到用户发来的录像指令后，取本地时间作为基准时间并对接收到的音视频码流进行帧解析；将解析出的音频帧、视频帧及各帧所对应的时长写入3GP文件中；其中，写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，N为该视频帧包含的字节数；其余各音视频帧的时长为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与基准时间的差值。

Description

基于电路域可视电话同步录制对端声音图像的方法和终端 
技术领域
本发明涉及一种基于电路域可视通话领域，尤其涉及一种基于电路域可视电话同步录制对端声音图像的方法和终端。 
背景技术
随着计算机技术和第三代移动通讯技术(3rd Generation，3G)的发展，用户端计算机设备的处理能力越来越强大，视频数据通过移动通讯网络的实时传输技术已经比较成熟。3G网络的最大用途是同步沟通，目前通过移动网络，基于电路域传输的无线可视电话无论是市场还是技术都比较完善。可视电话是3G时代的一个重要应用，目前3G手机是实现这个应用的一个重要终端。在利用可视电话进行通话的过程中，将包含对方图像和声音的音视频流录制成3GP格式的文件也是一个非常重要的应用。3GP格式是移动终端普遍支持的视频文件格式。中国电信IMS(IP Multimedia Subsystem，IP多媒体***)终端技术要求中规定：移动终端应支持3GP格式的音视频的编码和解码。 
3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)提出了基于电路域进行音视频传输的移动可视电话的解决方案：3G-324M协议集。3G-324M协议集包含H.324M协议、H.223复用协议、H.245控制协议和音视频编码协议等。 
3GP标准是3GPP组织制定的3GPP 26244-720标准，该标准基于ISO/IEC 041828_ISO_IEC_14496-12_2005(E)。目前大多数可视电话录像就是将对端视频和音频流根据3GP标准格式录制成3GP文件后，在播放器中播放。这样，用户就可以看到对端的图像、听到对端的声音了。 
现有可视电话在通话过程中，双方可实时地看到对端通过摄像头捕获到 的视频图像，同时听到对端通过麦克风捕获到的音频声音。移动终端在将看到的和听到的视频和音频录制成3GP文件时，为了不影响当前可视通话效果，需启动音频写入线程和视频写入线程。音视频写入线程在处理音视频帧时，需要取得手机***时间。但由于线程优先级和调度的原因，使得上述两个线程取到的时间不一致，所以就会出现音视频不同步的现象，有时会相差1秒，有时会相差2～3秒甚至更多。 
发明内容
本发明要解决的技术问题是提供一种基于电路域可视电话同步录制对端声音图像的方法和终端，以解决现有技术中存在的录制音视频不同步的问题。 
为解决上述问题，本发明提供了一种基于电路域可视电话同步录制对端声音和图像的方法，包括： 
可视通话参与方所使用的终端在收到用户发来的录像指令后，取本地时间作为基准时间并对接收到的音视频码流进行帧解析；将解析出的音频帧、视频帧及各帧所对应的时长写入3GP文件中；其中，除写入该3GP文件中的第一个音视频帧以外的各音视频帧的时长为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与所述基准时间的差值。 
进一步地，上述方法还可具有以下特征： 
写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，N为该视频帧所包含的字节数。 
进一步地，上述方法还可具有以下特征： 
所述终端将解析出的视频帧写入3GP文件中具体包括： 
所述终端对解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件； 
所述终端将解析出的音频帧写入3GP文件中具体包括： 
在对解析出的第一个音频帧进行写入之前，判断本终端此时是否已判断出某一视频帧为I帧，如果是，则将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。 
进一步地，上述方法还可具有以下特征： 
所述终端中设置有一标志位；当所述终端判断出某一视频帧为I帧时，置位该标志位； 
在写入音频帧之前判断本终端是否已判断出某一视频帧为I帧是指：判断该标志位是否被置位。 
进一步地，上述方法还可具有以下特征： 
所述终端在收到用户发来的录像指令后，还包括：向对端发送I帧请求。 
进一步地，上述方法还可具有以下特征： 
所述视频所占实际网络带宽的值为经验值。 
进一步地，上述方法还可具有以下特征： 
所述可视通话参与方为主叫用户和/或被叫用户。 
进一步地，上述方法还可包括： 
所述终端在接收到用户发来的停止录像命令后，停止对音视频流进行解析，并关闭3GP文件。 
为解决上述问题，本发明还提供了一种基于电路域可视电话同步录制对端声音图像的终端，包括音视频帧解析模块、音频帧写入模块及视频帧写入模块，还包括帧时长计算模块； 
所述音视频帧解析模块用于在收到用户发来的录像指令后，向所述帧时长计算模块发送计时命令，并开始对接收到的音视频码流进行帧解析；还用于记录解析出的每一音视频帧时的本地时间并发送给所述帧时长计算模块； 
所述音频帧写入模块用于将所述音视频帧解析模块解析出的音频帧及各音频帧所对应的时长写入3GP文件中； 
所述视频帧写入模块用于将所述音视频帧解析模块解析出的视频帧及 各视频帧所对应的时长写入所述3GP文件中； 
所述帧时长计算模块用于在接收到所述计时命令时，取本地时间作为基准时间；还用于计算除写入3GP文件的第一个音视频帧以外的其余各音视频帧的时长并将各帧的时长发送给对应帧写入模块，该时长的值为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与所述基准时间的差值。 
进一步地，上述终端还可具有以下特征： 
写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，N为该视频帧所包含的字节数。 
进一步地，上述终端还可具有以下特征： 
所述视频帧写入模块用于对所述解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件； 
所述音频帧写入模块用于在对解析出的第一个音频帧进行写入之前，判断所述视频帧写入模块是否已判断出某一视频帧为I帧，如果是，则用于将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。 
采用本发明后，可以在可视电话通话过程中同步录制对方的图像和声音；同时由于在接收到视频I帧时才开始录像，避免了录像开始时候播放P帧而带来的前几秒花屏的现象；在录像开始时候向对方发送I帧请求，使对端能及时向本端发送I帧，避免开始录像后丢弃较多P帧，使用户体验到用户启动录像时间和实际录像时间基本相同，从而提高用户满意度。 
附图说明
图1为本发明实施例中可视电话同步录像音视频的流程图； 
图2为本发明实施例中同步录制对端声音图像的终端结构图。 
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。 
本发明的基本构思是：可视通话参与方(主叫和/或被叫用户)所使用的终端在收到用户发来的录像指令后，取本地时间作为基准时间并对接收到的音视频码流进行帧解析；然后将解析出的音频帧、视频帧及各帧所对应的时长(duration)写入3GP文件中，其中，写入3GP文件的第一个音频帧的时长可为20ms，写入3GP文件的第一个视频帧的时长可为((N*8)/视频所占实际网络带宽)*1000ms，N为该视频帧所包含的字节数，其余各音视频帧的时长为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与上述基准时间的差值。 
电路域可视电话为64k位速率，分配给视频带宽一般为48k位速率。因此，上述视频所占实际网络带宽的值可取48k位速率或经验值(如35k位速率)。 
为了保证录制的前几秒不会因为播放P帧而出现花屏现象，则可以对解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件。相应的，在对解析出的第一个音频帧进行写入之前，需判断本终端此时是否已判断出某一视频帧为I帧，如果是，则将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。 
可在该终端中设置一标志位，当该终端判断出某一视频帧为I帧时，置位该标志位；而在写入音频帧之前判断本终端是否已判断出某一视频帧为I帧是指：判断该标志位是否被置位。 
而为了避免在开始录像后丢弃较多P帧，上述终端还可以在收到用户发来的录像指令后，向对端发送I帧请求，使得对端可以尽快地向本端发送I帧，减少了P帧的丢弃量。 
此外，终端在接收到用户发来的停止录像命令后，停止对音视频流进行解析，并关闭3GP文件，结束录像流程。 
而基于电路域可视电话同步录制对端声音图像的终端，如图2所示，包括音视频帧解析模块、音频帧写入模块、视频帧写入模块及帧时长计算模块； 
音视频帧解析模块用于在收到用户发来的录像指令后，向帧时长计算模块发送计时命令，并开始对接收到的音视频码流进行帧解析；还用于记录解析出的每一音视频帧时的本地时间并发送给帧时长计算模块； 
音频帧写入模块用于将音视频帧解析模块解析出的音频帧及各音频帧所对应的时长写入3GP文件中； 
视频帧写入模块用于将音视频帧解析模块解析出的视频帧及各视频帧所对应的时长写入所述3GP文件中； 
帧时长计算模块用于在接收到开始计时命令时，取本地时间作为基准时间；还用于计算除写入3GP文件的第一个音视频帧以外的其余各音视频帧的时长并将各帧的时长发送给对应帧写入模块，该时长的值为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与所述基准时间的差值。其中，写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，N为该视频帧所包含的字节数。 
具体地，视频帧写入模块用于对解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件；音频帧写入模块用于在对解析出的第一个音频帧进行写入之前，判断视频帧写入模块是否已判断出某一视频帧为I帧，如果是，则用于将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。 
下面用本发明的一应用实例进一步加以说明。 
图1为本发明可视电话录像音视频同步流程示意图，下面参见附图2对本发明的方法具体步骤进行详细的描述，其中： 
步骤1、在主被叫双方使用可视电话进行可视通话过程中，任意一方的可视电话1在收到用户发起的录像命令时，向对端可视电话2发送I帧请求，并启动音频写入线程和视频写入线程，取本地时间作为基准时间，进行相关资源申请，创建3GP文件； 
步骤2、对接收到的音视频码流进行帧解析；为了表述清楚，下面将分别对视频写入流程及音频写入流程进行描述。 
视频写入流程包括： 
步骤A1、视频写入线程判断解析出的第一个视频帧是否是I帧，如果是，则执行下一步骤；否则，丢弃该视频帧，并继续对下一视频帧是否是I帧进行判断，直到判断出某一视频帧是I帧时，执行下一步骤； 
步骤A2、将该视频帧的duration的值设置为((N*8)/视频所占实际网络带宽)*1000ms，其中，N表示该视频帧所包含的字节数； 
步骤A3、计算并记录解析出该视频帧的相对时间，其值等于解析出该帧时的本地时间与基准时间的差值； 
步骤A4、将该视频帧及其对应的duration写入到3GP文件中； 
步骤A5、计算并记录解析出下一视频帧的相对时间，其值等于解析出该帧时的本地时间与基准时间的差值； 
步骤A6、计算该视频帧的duration，其值等于解析出当前帧的相对时间与解析出前一视频帧的相对时间的差值，然后执行步骤A4。 
音频写入流程包括： 
步骤B1、音频写入线程在写入解析出的第一个音频帧之前要判断视频写入线程是否已判断出某一视频帧是I帧，如果是，则执行下一步骤；否则，丢弃该音频帧，并在写入下一音频帧之前仍要进行上述判断和相应的丢弃操作，直到判断出视频写入线程已经判断出某一视频帧是I帧时，执行下一步骤； 
步骤B2、将音频帧的duration值设置为20ms； 
步骤B3、计算并记录解析出该音频帧的相对时间，其值等于解析出该帧时的本地时间与基准时间的差值； 
步骤B4、将该音频帧及其对应的duration写入到3GP文件中； 
步骤B5、计算并记录解析出下一音频帧的相对时间，其值等于解析出该帧时的本地时间与基准时间的差值； 
步骤B6、计算该音频帧的duration，其值等于解析出当前帧的相对时间与解析出前一音频帧的相对时间的差值，然后执行步骤B4。 
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。 

Claims (9)

1.一种基于电路域可视电话同步录制对端声音图像的方法，其特征在于，
可视通话参与方所使用的终端在收到用户发来的录像指令后，取本地时间作为基准时间并对接收到的音视频码流进行帧解析；将解析出的音频帧、视频帧及各帧所对应的时长写入3GP文件中；其中，写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，除写入3GP文件的第一个音视频帧以外的其余各音视频帧的时长均为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与所述基准时间的差值，N为该视频帧所包含的字节数。
2.如权利要求1所述的方法，其特征在于，
所述终端将解析出的视频帧写入3GP文件中具体包括：
所述终端对解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件；
所述终端将解析出的音频帧写入3GP文件中具体包括：
在对解析出的第一个音频帧进行写入之前，判断本终端此时是否已判断出某一视频帧为I帧，如果是，则将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。
3.如权利要求2所述的方法，其特征在于，
所述终端中设置有一标志位；当所述终端判断出某一视频帧为I帧时，置位该标志位；
在写入音频帧之前判断本终端是否已判断出某一视频帧为I帧是指：判断该标志位是否被置位。
4.如权利要求2或3所述的方法，其特征在于，
所述终端在收到用户发来的录像指令后，还包括：向对端发送I帧请求。
5.如权利要求1所述的方法，其特征在于，
所述视频所占实际网络带宽的值为经验值。
6.如权利要求1所述的方法，其特征在于，
所述可视通话参与方为主叫用户和/或被叫用户。
7.如权利要求1所述的方法，其特征在于，还包括：
所述终端在接收到用户发来的停止录像命令后，停止对音视频流进行解析，并关闭3GP文件。
8.一种基于电路域可视电话同步录制对端声音图像的终端，包括音视频帧解析模块、音频帧写入模块及视频帧写入模块，其特征在于，还包括帧时长计算模块；
所述音视频帧解析模块用于在收到用户发来的录像指令后，向所述帧时长计算模块发送计时命令，并开始对接收到的音视频码流进行帧解析；还用于记录解析出的每一音视频帧时的本地时间并发送给所述帧时长计算模块；
所述音频帧写入模块用于将所述音视频帧解析模块解析出的音频帧及各音频帧所对应的时长写入3GP文件中；
所述视频帧写入模块用于将所述音视频帧解析模块解析出的视频帧及各视频帧所对应的时长写入所述3GP文件中；
所述帧时长计算模块用于在接收到所述计时命令时，取本地时间作为基准时间；还用于计算写入3GP文件的各音视频帧的时长并将各帧的时长发送给对应帧写入模块，其中，写入3GP文件的第一个音频帧的时长为20ms，写入3GP文件的第一个视频帧的时长为((N*8)/视频所占实际网络带宽)*1000ms，除写入3GP文件的第一个音视频帧以外的其余各音视频帧的时长的值为解析出该帧时的相对时间与解析出前一对应帧时的相对时间的差值，而解析出各帧时的相对时间的值为解析出该帧时的本地时间与所述基准时间的差值，N为该视频帧所包含的字节数。
9.如权利要求8所述的终端，其特征在于，
所述视频帧写入模块用于对所述解析出的各视频帧依次进行判断，直到判断出某一视频帧为I帧时才开始将当前视频帧及后续视频帧写入3GP文件；
所述音频帧写入模块用于在对解析出的第一个音频帧进行写入之前，判断所述视频帧写入模块是否已判断出某一视频帧为I帧，如果是，则用于将当前音频帧及后续音频帧写入3GP文件；否则，对下一音频帧进行上述判断操作。
CN2009101355895A 2009-04-27 2009-04-27 基于电路域可视电话同步录制对端声音图像的方法和终端 Expired - Fee Related CN101540871B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2009101355895A CN101540871B (zh) 2009-04-27 2009-04-27 基于电路域可视电话同步录制对端声音图像的方法和终端
EP09843910.2A EP2405649B1 (en) 2009-04-27 2009-12-07 Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone
AU2009345285A AU2009345285B2 (en) 2009-04-27 2009-12-07 Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone
PCT/CN2009/075365 WO2010124499A1 (zh) 2009-04-27 2009-12-07 基于电路域可视电话同步录制对端声音图像的方法和终端
US13/257,727 US8493429B2 (en) 2009-04-27 2009-12-07 Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101355895A CN101540871B (zh) 2009-04-27 2009-04-27 基于电路域可视电话同步录制对端声音图像的方法和终端

Publications (2)

Publication Number Publication Date
CN101540871A CN101540871A (zh) 2009-09-23
CN101540871B true CN101540871B (zh) 2011-05-11

Family

ID=41123828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101355895A Expired - Fee Related CN101540871B (zh) 2009-04-27 2009-04-27 基于电路域可视电话同步录制对端声音图像的方法和终端

Country Status (5)

Country Link
US (1) US8493429B2 (zh)
EP (1) EP2405649B1 (zh)
CN (1) CN101540871B (zh)
AU (1) AU2009345285B2 (zh)
WO (1) WO2010124499A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540871B (zh) * 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
DE102012019527A1 (de) * 2012-10-05 2014-04-10 Deutsche Telekom Ag Verfahren und System zur Verbesserung und Erweiterung der Funktionalität eines Videotelefonats
BR112015006455B1 (pt) 2012-10-26 2022-12-20 Apple Inc Terminal móvel, servidor operável para adaptação de multimídia com base em orientação de vídeo, método para adaptação de multimídia em um servidor com base em orientação de dispositivo de um terminal móvel e meio de armazenamento legível por máquina
EP2912851B1 (en) * 2012-10-26 2020-04-22 Intel Corporation Streaming with coordination of video orientation (cvo)
CN103079048B (zh) * 2013-01-11 2015-10-28 北京佳讯飞鸿电气股份有限公司 多媒体指挥调度***通话保持时录音录像及点播实现方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005025224A1 (ja) * 2003-09-02 2005-03-17 Sony Corporation コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
US7636348B2 (en) * 2004-06-30 2009-12-22 Bettis Sonny R Distributed IP architecture for telecommunications system with video mail
WO2006025584A1 (ja) 2004-09-02 2006-03-09 Sony Corporation コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
EP1727363B1 (en) * 2005-05-23 2018-03-28 Sony Mobile Communications, Inc. Electronic equipment for a communication system
CN100428798C (zh) * 2006-03-07 2008-10-22 华为技术有限公司 一种数字电视解码方法和***
CN101102510A (zh) * 2006-07-07 2008-01-09 乐金电子（昆山）电脑有限公司 便携式图像终端机的音频和视频同步方法
CN101102485A (zh) * 2006-07-07 2008-01-09 乐金电子（昆山）电脑有限公司 移动终端的音频及视频同步装置和方法
CN1960485B (zh) * 2006-08-29 2011-12-07 中兴通讯股份有限公司 一种移动多媒体广播视音频同步播放的方法
CN101540871B (zh) * 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端

Also Published As

Publication number Publication date
CN101540871A (zh) 2009-09-23
EP2405649B1 (en) 2015-02-18
EP2405649A1 (en) 2012-01-11
AU2009345285B2 (en) 2013-05-02
AU2009345285A1 (en) 2011-12-08
US8493429B2 (en) 2013-07-23
WO2010124499A1 (zh) 2010-11-04
US20120050451A1 (en) 2012-03-01
EP2405649A4 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
CN105025327B (zh) 一种移动终端现场直播的方法及***
CN108650550B (zh) 网络传输质量分析方法、装置、计算机设备和存储介质
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及***
CN111010614A (zh) 一种显示直播字幕的方法、装置、服务器及介质
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
CN102857729B (zh) 基于机顶盒的视频通话方法及***
US7619645B2 (en) Audio visual media encoding system
US20090305694A1 (en) Audio-video sharing system and audio-video sharing method thereof
CN109361945A (zh) 一种快速传输及同步的会议视听***及其控制方法
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
CN101998101A (zh) 可视电话的视频数据接收和发送***、视频数据处理方法
CN101272383B (zh) 一种实时音频数据传输方法
CN109168059A (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN101547335A (zh) 一种使用iptv***召开多媒体会议的方法及***
AU2003258912A2 (en) Audio visual media encoding system
CN101370220B (zh) 一种视频媒体监听方法及其***
CN101137066B (zh) 一种多媒体数据流同步控制的方法及装置
CN107079132B (zh) 在视频电话中的端口重配置之后馈送经帧内译码的视频帧
CN111083427B (zh) 嵌入式终端、4k视频会议***的数据处理方法
WO2023231478A1 (zh) 音视频共享方法、设备及计算机可读存储介质
JP2015012557A (ja) 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
CN116132621A (zh) 一种多媒体数据的控制方法、装置、电子设备以及介质
CN105323533A (zh) 视频会议方法及***
CN115209200A (zh) 一种媒体数据的处理方法、装置、终端设备和存储介质
KR100550801B1 (ko) 인터넷과 연결되어 영상전화를 하는 시스템에서 vod 서비스를 제공하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110511

Termination date: 20210427