CN113784073A - 一种录音录像声音和画面同步方法、装置及相关介质 - Google Patents

一种录音录像声音和画面同步方法、装置及相关介质 Download PDF

Info

Publication number
CN113784073A
CN113784073A CN202111141585.5A CN202111141585A CN113784073A CN 113784073 A CN113784073 A CN 113784073A CN 202111141585 A CN202111141585 A CN 202111141585A CN 113784073 A CN113784073 A CN 113784073A
Authority
CN
China
Prior art keywords
audio
data
video
recording
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111141585.5A
Other languages
English (en)
Inventor
朱炳科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wondershare Software Co Ltd
Original Assignee
Shenzhen Wondershare Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wondershare Software Co Ltd filed Critical Shenzhen Wondershare Software Co Ltd
Priority to CN202111141585.5A priority Critical patent/CN113784073A/zh
Publication of CN113784073A publication Critical patent/CN113784073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种录音录像声音和画面同步方法、装置及相关介质，该方法包括：启动录制，分别获取音频数据和视频数据；将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。本发明分别捕获音频数据和视频数据，并分别进行缓存编码然后可以通过音频数据和视频数据各自对应的时间戳进行音视频的声画同步，使得在***资源不足的情况下，在实时录制时保持输出内容的声音和画面同步。

Description

一种录音录像声音和画面同步方法、装置及相关介质
技术领域
本发明涉及计算机软件技术领域，特别涉及一种录音录像声音和画面同步方法、装置及相关介质。
背景技术
录音是指对电脑扬声器的输出声音或麦克风的输入声音进行实时捕捉，并存储成文件或转成实时流直播出去。录屏录像是指对电脑桌面和摄像头画面进行实时捕获，编码后存储成文件或进行实时直播。在硬件性能很强的情况下，简单方法实现声音和画面之间的同步是没有问题的，但在***资源不足时，要保证音视频同步则有一定的难度。
目前对在***资源不足时，录制保持声音和画面同步的方法主要是：将录制的音频和视频一并缓存，后续按顺序对音频和视频进行编码处理，再写入文件或者进行实时直播。而这种方法具有一定的缺陷，即***资源不足的情况下，缓存大量的视频，更会占用更多的***内存资源，使录制性能进一步降低；同时，在录制结束时，还会存在大量音视频数据没有处理完成，录制结束需要等待很久，录制时间越长，等待时间越长。
发明内容
本发明实施例提供了一种录音录像声音和画面同步方法、装置及相关介质，旨在解决在***资源不足时，录制过程中声音和画面不同步的问题。
第一方面，本发明实施例提供了一种录音录像声音和画面同步方法，包括：
启动录制，分别获取音频数据和视频数据；
将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
第二方面，本发明实施例提供了一种录音录像声音和画面同步装置，包括：
数据获取单元，用于启动录制，分别获取音频数据和视频数据；
数据缓存单元，用于将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
数据编码单元，用于对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
数据同步单元，用于根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的录音录像声音和画面同步方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的录音录像声音和画面同步方法。
本发明实施例提供了一种录音录像声音和画面同步方法、装置、计算机设备及存储介质，该方法包括：启动录制，分别获取音频数据和视频数据；将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。本发明实施例在写文件或者直播时，分别捕获音频数据和视频数据，并分别进行缓存编码至文件件复用器或直播服务中，使文件复用器或直播服务可以通过音频数据和视频数据各自对应的时间戳进行同步，即可达到音视频的声画同步，使得在***资源不足的情况下，在实时录制时保持输出内容的声音和画面同步。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种录音录像声音和画面同步方法的流程示意图；
图2为本发明实施例提供的一种录音录像声音和画面同步装置的示意性框图；
图3为本发明实施例提供的一种录音录像声音和画面同步方法的另一流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种录音录像声音和画面同步方法的流程示意图，具体包括：步骤S101～S104。
S101、启动录制，分别获取音频数据和视频数据；
S102、将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
S103、对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
S104、根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
本实施例中，启动录制时，例如开始写文件或者直播时，对音频数据和视频数据分别进行获取，并将获取到的音频数据缓存到音频队列中，而视频数据则无需缓存至队列中，只需保存好即可。然后对缓存的音频队列和视频队列分别进行编码，完成后将二者写入至录制文件中，例如文件复用器或直播服务，使录制文件可以依据二者各自对应的音频时间戳和视频时间戳进行音画同步。
本实施例在写文件或者直播时，分别捕获音频数据和视频数据，并分别进行缓存编码至文件复用器或直播服务中，使文件复用器或直播服务可以通过音频数据和视频数据各自对应的时间戳进行同步，即可达到音视频的声画同步，使得在***资源不足的情况下，在实时录制时保持输出内容的声音和画面同步。
在一实施例中，所述步骤S101包括：
分别设置音频线程和视频线程；
通过所述音频线程调用***API获取所述音频数据；
通过所述视频线程调用***API获取所述视频数据。
本实施例中，在获取音频数据和视频数据时，首先建立音频线程和视频线程，然后并行运行音频线程和视频线程，使二者分别调用***API来获取各自对应的音频数据和鼠标数据。在通过***API获取音频数据和视频数据时，按照发送请求→判断服务器响应状态→获取数据的方式进行获取，即首先向服务器发送获取音频数据和视频数据的请求，当接收到服务器对该请求的响应后，开始获取音频数据和视频数据。而如果未接收到服务器对于请求的响应时，则需要再次发送请求，直至服务器响应。
进一步的，在一实施例中，所述通过所述音频线程调用***API获取所述音频数据，包括：
通过所述音频线程调用***API对麦克风和扬声器进行初始化操作；
设置***API音频缓存的大小，同时获取音频流采样频率和声道数，并将所述音频流采样频率和声道数保存至***API音频缓存中；
调用***start方法，并启动一外部线程从***API音频缓存中读取音频数据。
本实施例中，在通过音频线程获取音频数据过程中，音频线程负责从扬声器或麦克风获取音频数据。具体的，调用***API对麦克风和扬声器进行初始化操作，并设置***API音频缓存的大小，同时获取音频流采样频率和声道数等信息，然后偶调用***start方法的同时启动一个专门的外部线程，该外部线程从***API音频缓存中读取音频数据。
在一实施例中，所述步骤S102包括：
从***API音频缓存中读取音频数据以及对应的第一***时钟；
将所述第一***时钟转换为音频时间戳；
将所述音频数据以及对应的音频时间戳添加至音频队列尾部。
本实施例中，从***API音频缓存中读出的音频数据是带有***时钟的，即所述第一***时钟，故将所述第一***时钟转换成对应的音频时间戳(PTS)。另外，从***API音频缓存中读出的音频数据大小是不确定的，因此在读出的音频数据达到一个预设的固定大小后，将获取到的音频数据带上时间戳后添加到音频缓存队列的尾部。
在一实施例中，所述步骤S102还包括：
当用户暂停录制过程时，将暂停期间获取的音频数据作为无效数据实时抛弃；
在用户重新启动录制后，将获取的音频数据作为有效音频数据添加至音频队列中。
本实施例中，由于音频需要保证连续性，而录制的过程中用户是可以执行暂停操作的。考虑到暂停时的音频数据是录制结果中不需要的，因此，尽管暂停录制时会继续获取音频数据(即所述无效数据)，但会将此时获取的音频数据进行实时抛弃，以免增加***资源的负担。在用户重新启动录制后，非暂停状态下(即录制过程中)将不会丢弃任何音频数据，也就是说，将所有有效的音频数据全部添加到所述音频队列中。需要说明的是，在***硬件性能不足时，尽管本实施例同样会存在缓存多帧音频数据的情况，但由于音频数据的数据流相对视频数据的数据量要小很多，因此本实施例的缓存方式并不会给***带来什么压力。
在一实施例中，所述步骤S103包括：
逐个读取所述音频队列中的音频数据，并依次发送至音频编码器进行编码处理。
本实施例中，在启动音频线程时，对捕获过程中存储到音频队列中的音频数据进行逐个读取，并送到音频编码器进行编码处理。进一步的，音频线程和音频编码器同时进行，从而可以有效控制音频队列的大小。也就是说，即使***性能不足，音频队列中缓存的音频数据也不会太多，并且，录制结束时只需要等待音频队列里少量的音频数据完成编码处理即可。
队列的特征是先进先出，即只允许在一端进行***操作(队尾)，在另一端进行删除操作(队头)，故本实施例在将音频数据写入至音频队列时，按照时间戳的先后顺序，从时间戳最早的音频数据开始，将获取的音频数据依次写入。当然，由于队列的存储空间有限，因此，在写入前，可以先由下式判断是否为空队列：rear+1＝front或front+maxSize-1＝rear；在写入过程中，可以按照下式判断队列是否已满：rear+2＝front或front+maxSize-2＝rear。这里面，rear为队尾指针，front为队头指针，maxSize为最大值。从而确定是否可以将音频数据写入至音频队列中。进一步的，当音频队列已满时，可以另建一新的音频队列，并且按照写入的时间戳来确定不同音频队列之间的先后关系。
当然，在其他实施例中，也可以采用堆栈(即先进后出的特征)来写入所述音频数据。
在一实施例中，所述通过所述视频线程调用***API获取所述视频数据，包括：
通过所述音频线程调用***API获取摄像头当前画面数据和/或截取屏幕当前画面数据，并获取对应的第二***时钟；
将摄像头当前画面数据和/或屏幕当前画面数据作为视频数据，并将所述第二***时钟转换为视频数据对应的视频时间戳。
本实施例中，视频线程启动后，只需负责从摄像头获取当前画面的数据，或者截取屏幕当前画面的数据。获取当前画面的同时，将会对应获取当前的***时钟(即所述第二***时钟)，所述第二***时钟经转换后可以得到当前画面的时间戳(PTS)，即所述视频时间戳。在***性能不足时，前一帧图像未被及时编码处理时，将会使用新的画面覆盖前一帧图像，这样就能保证只缓存最后一帧获取的图像数据，编码时将会只对获取到当前最后一帧图像数据进行处理。同时，由于未缓存队列对视频数据进行保存，因此将相应的减少编码工作量，在录制结束时，也不会存在等待处理的视频数据，即处理完当前视频数据即可立马停止工作。
在一具体实施例中，结合图3，同时启动音频捕获和视频捕获，以捕获音频数据和视频数据，并且在捕获音频数据时同时启动音频处理，即编码处理。分开来说，在捕获音频数据时，判断是否暂停录制，如果暂停录制，则不对捕获的音频数据进行缓存，如果未暂停录制，则将捕获的音频数据写入至音频缓存A队列中。并根据是否停止录制而决定是否停止捕获音频数据，与此同时，音频处理即编码处理同步进行，即从音频缓存A队列中获取音频数据并编码，直至音频缓存A队列中不存在音频数据。在捕获视频图像(即视频数据)时，不论是暂停录制还是停止录制，捕获视频数据均会对应暂停或者停止，对于捕获的视频数据则直接缓存即可，后续对缓存的视频数据进行相应的编码处理。
图2为本发明实施例提供的一种录音录像声音和画面同步装置200的示意性框图，该装置200包括：
数据获取单元201，用于启动录制，分别获取音频数据和视频数据；
数据缓存单元202，用于将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
数据编码单元203，用于对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
数据同步单元204，用于根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
在一实施例中，所述数据获取单元201包括：
线程设置单元，用于分别设置音频线程和视频线程；
第一调用单元，用于通过所述音频线程调用***API获取所述音频数据；
第二调用单元，用于通过所述视频线程调用***API获取所述视频数据。
在一实施例中，所述第一调用单元包括：
初始化单元，用于通过所述音频线程调用***API对麦克风和扬声器进行初始化操作；
缓存设置单元，用于设置***API音频缓存的大小，同时获取音频流采样频率和声道数，并将所述音频流采样频率和声道数保存至***API音频缓存中；
启动读取单元，用于调用***start方法，并启动一外部线程从***API音频缓存中读取音频数据。
在一实施例中，所述数据缓存单元202包括：
时钟读取单元，用于从***API音频缓存中读取音频数据以及对应的第一***时钟；
第一转换单元，用于将所述第一***时钟转换为音频时间戳；
第一添加单元，用于将所述音频数据以及对应的音频时间戳添加至音频队列尾部。
在一实施例中，所述数据缓存单元202还包括：
实时抛弃单元，用于当用户暂停录制过程时，将暂停期间获取的音频数据作为无效数据实时抛弃；
第一添加单元，用于在用户重新启动录制后，将获取的音频数据作为有效音频数据添加至音频队列中。
在一实施例中，所述数据编码单元203包括：
读取发送单元，用于逐个读取所述音频队列中的音频数据，并依次发送至音频编码器进行编码处理。
在一实施例中，所述第二调用单元包括：
时钟获取单元，用于通过所述音频线程调用***API获取摄像头当前画面数据和/或截取屏幕当前画面数据，并获取对应的第二***时钟；
第二转换单元，用于将摄像头当前画面数据和/或屏幕当前画面数据作为视频数据，并将所述第二***时钟转换为视频数据对应的视频时间戳。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种录音录像声音和画面同步方法，其特征在于，包括：
启动录制，分别获取音频数据和视频数据；
将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
2.根据权利要求1所述的录音录像声音和画面同步方法，其特征在于，所述分别获取音频数据和视频数据，包括：
分别设置音频线程和视频线程；
通过所述音频线程调用***API获取所述音频数据；
通过所述视频线程调用***API获取所述视频数据。
3.根据权利要求2所述的录音录像声音和画面同步方法，其特征在于，所述通过所述音频线程调用***API获取所述音频数据，包括：
通过所述音频线程调用***API对麦克风和扬声器进行初始化操作；
设置***API音频缓存的大小，同时获取音频流采样频率和声道数，并将所述音频流采样频率和声道数保存至***API音频缓存中；
调用***start方法，并启动一外部线程从***API音频缓存中读取音频数据。
4.根据权利要求3所述的录音录像声音和画面同步方法，其特征在于，所述将所述音频数据缓存至音频队列中包括：
从***API音频缓存中读取音频数据以及对应的第一***时钟；
将所述第一***时钟转换为音频时间戳；
将所述音频数据以及对应的音频时间戳添加至音频队列尾部。
5.根据权利要求1所述的录音录像声音和画面同步方法，其特征在于，所述将所述音频数据缓存至音频队列中，还包括：
当用户暂停录制过程时，将暂停期间获取的音频数据作为无效数据实时抛弃；
在用户重新启动录制后，将获取的音频数据作为有效音频数据添加至音频队列中。
6.根据权利要求1所述的录音录像声音和画面同步方法，其特征在于，所述对音频队列中的音频数据进行编码处理，包括：
逐个读取所述音频队列中的音频数据，并依次发送至音频编码器进行编码处理。
7.根据权利要求2所述的录音录像声音和画面同步方法，其特征在于，所述通过所述视频线程调用***API获取所述视频数据，包括：
通过所述音频线程调用***API获取摄像头当前画面数据和/或截取屏幕当前画面数据，并获取对应的第二***时钟；
将摄像头当前画面数据和/或屏幕当前画面数据作为视频数据，并将所述第二***时钟转换为视频数据对应的视频时间戳。
8.一种录音录像声音和画面同步装置，其特征在于，包括：
数据获取单元，用于启动录制，分别获取音频数据和视频数据；
数据缓存单元，用于将所述音频数据缓存至音频队列中，以及对所述视频数据进行缓存；
数据编码单元，用于对音频队列中的音频数据进行编码处理，以及对缓存的视频数据进行编码处理，并将编码处理后的音频数据和视频数据写入至录制文件中；
数据同步单元，用于根据录制文件中的音频数据对应的音频时间戳和视频数据对应的视频时间戳，对所述音频数据和视频数据进行同步。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的录音录像声音和画面同步方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的录音录像声音和画面同步方法。
CN202111141585.5A 2021-09-28 2021-09-28 一种录音录像声音和画面同步方法、装置及相关介质 Pending CN113784073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111141585.5A CN113784073A (zh) 2021-09-28 2021-09-28 一种录音录像声音和画面同步方法、装置及相关介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111141585.5A CN113784073A (zh) 2021-09-28 2021-09-28 一种录音录像声音和画面同步方法、装置及相关介质

Publications (1)

Publication Number Publication Date
CN113784073A true CN113784073A (zh) 2021-12-10

Family

ID=78854072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111141585.5A Pending CN113784073A (zh) 2021-09-28 2021-09-28 一种录音录像声音和画面同步方法、装置及相关介质

Country Status (1)

Country Link
CN (1) CN113784073A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033096A (zh) * 2022-07-08 2023-04-28 荣耀终端有限公司 一种画面内容配音方法、装置及终端设备
CN116052701A (zh) * 2022-07-07 2023-05-02 荣耀终端有限公司 一种音频处理方法及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237586A (zh) * 2008-02-22 2008-08-06 上海华平信息技术股份有限公司 音视频缓存同步播放的方法
EP2254342A1 (de) * 2009-05-18 2010-11-24 Albis Technologies AG Verfahren zur Audio-/Videosynchronisation
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN103237191A (zh) * 2013-04-16 2013-08-07 成都飞视美视频技术有限公司 在视频会议中同步推送音视频的方法
CN104092957A (zh) * 2014-07-16 2014-10-08 浙江航天长峰科技发展有限公司 一种融合人像和语音的屏幕视频生成方法
CN105791939A (zh) * 2016-03-14 2016-07-20 北京捷思锐科技股份有限公司 音频与视频的同步方法及装置
CN108282685A (zh) * 2018-01-04 2018-07-13 华南师范大学 一种音视频同步的方法及监控***
CN108924631A (zh) * 2018-06-27 2018-11-30 杭州叙简科技股份有限公司 一种基于音视频分流存储的录像生成方法
CN110650307A (zh) * 2019-10-30 2020-01-03 广州河东科技有限公司 基于qt的音视频推流方法、装置、设备及存储介质
CN110753202A (zh) * 2019-10-30 2020-02-04 广州河东科技有限公司 可视对讲***的音视频同步方法、装置、设备及存储介质
CN111641758A (zh) * 2020-05-09 2020-09-08 北京中广上洋科技股份有限公司 一种视音频录制方法及装置、计算机可读存储介质
CN112218115A (zh) * 2020-09-25 2021-01-12 深圳市捷视飞通科技股份有限公司 流媒体音视频同步的控制方法、装置、计算机设备
CN112565873A (zh) * 2020-12-01 2021-03-26 梦想合力(北京)科技有限公司 屏幕录制方法和装置、设备及存储介质
CN112698872A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 语音数据处理的方法、装置、设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237586A (zh) * 2008-02-22 2008-08-06 上海华平信息技术股份有限公司 音视频缓存同步播放的方法
EP2254342A1 (de) * 2009-05-18 2010-11-24 Albis Technologies AG Verfahren zur Audio-/Videosynchronisation
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN103237191A (zh) * 2013-04-16 2013-08-07 成都飞视美视频技术有限公司 在视频会议中同步推送音视频的方法
CN104092957A (zh) * 2014-07-16 2014-10-08 浙江航天长峰科技发展有限公司 一种融合人像和语音的屏幕视频生成方法
CN105791939A (zh) * 2016-03-14 2016-07-20 北京捷思锐科技股份有限公司 音频与视频的同步方法及装置
CN108282685A (zh) * 2018-01-04 2018-07-13 华南师范大学 一种音视频同步的方法及监控***
CN108924631A (zh) * 2018-06-27 2018-11-30 杭州叙简科技股份有限公司 一种基于音视频分流存储的录像生成方法
CN110650307A (zh) * 2019-10-30 2020-01-03 广州河东科技有限公司 基于qt的音视频推流方法、装置、设备及存储介质
CN110753202A (zh) * 2019-10-30 2020-02-04 广州河东科技有限公司 可视对讲***的音视频同步方法、装置、设备及存储介质
CN111641758A (zh) * 2020-05-09 2020-09-08 北京中广上洋科技股份有限公司 一种视音频录制方法及装置、计算机可读存储介质
CN112218115A (zh) * 2020-09-25 2021-01-12 深圳市捷视飞通科技股份有限公司 流媒体音视频同步的控制方法、装置、计算机设备
CN112565873A (zh) * 2020-12-01 2021-03-26 梦想合力(北京)科技有限公司 屏幕录制方法和装置、设备及存储介质
CN112698872A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 语音数据处理的方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052701A (zh) * 2022-07-07 2023-05-02 荣耀终端有限公司 一种音频处理方法及电子设备
CN116052701B (zh) * 2022-07-07 2023-10-20 荣耀终端有限公司 一种音频处理方法及电子设备
CN116033096A (zh) * 2022-07-08 2023-04-28 荣耀终端有限公司 一种画面内容配音方法、装置及终端设备
CN116033096B (zh) * 2022-07-08 2023-10-20 荣耀终端有限公司 一种画面内容配音方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN113784073A (zh) 一种录音录像声音和画面同步方法、装置及相关介质
US7418190B2 (en) Accelerated access to frames from a compressed digital video stream without keyframes
US8576922B2 (en) Capturing media in synchronized fashion
EP4054190A1 (en) Video data encoding method and device, apparatus, and storage medium
CN109168059B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN107948713B (zh) 一种延时直播方法及***
CN107093436B (zh) 预录的音视频数据的存储方法及装置、移动终端
CN111225171B (zh) 一种视频录制方法、装置、终端设备及计算机存储介质
CN113645490A (zh) 一种软硬结合的多通道视频同步解码方法
CN113077532A (zh) 动态照片生成方法、装置及可读存储介质
JP2007336263A (ja) 画像処理方法及び装置並びにプログラム
CN107371053B (zh) 音频视频流对比分析方法及装置
CN112235600B (zh) 视频数据及视频业务请求的处理方法、装置及***
AU2009345285B2 (en) Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone
US11457286B2 (en) Video distribution apparatus, distribution method, and recording medium
CN109600563B (zh) 用于确定时间戳的方法和装置
JP2009182754A (ja) 画像処理装置
CN114268830A (zh) 云导播同步方法、装置、设备及存储介质
CN113709574A (zh) 视频截图方法、装置、电子设备及计算机可读存储介质
US9258540B2 (en) Imaging apparatus
CN114979718B (zh) 音视频同步续播的方法、装置、电子设备及存储介质
US8929723B2 (en) Recording apparatus, imaging and recording apparatus, recording method, and program
JP2008228014A (ja) 映像会議システム、会議映像処理方法、プログラム及び記録媒体
US8442126B1 (en) Synchronizing audio and video content through buffer wrappers
CN116801034B (zh) 客户端保存音视频数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination