CN109286841A - 电影音效处理方法及相关产品 - Google Patents
电影音效处理方法及相关产品 Download PDFInfo
- Publication number
- CN109286841A CN109286841A CN201811209949.7A CN201811209949A CN109286841A CN 109286841 A CN109286841 A CN 109286841A CN 201811209949 A CN201811209949 A CN 201811209949A CN 109286841 A CN109286841 A CN 109286841A
- Authority
- CN
- China
- Prior art keywords
- video
- outdoor
- indoor
- audio
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000694 effects Effects 0.000 title claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000013497 data interchange Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- MRNHPUHPBOKKQT-UHFFFAOYSA-N indium;tin;hydrate Chemical compound O.[In].[Sn] MRNHPUHPBOKKQT-UHFFFAOYSA-N 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请实施例公开了一种电影音效处理方法及相关产品，所述方法包括如下步骤：确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。本申请提供的技术方案具有用户体验度高的优点。
Description
技术领域
本申请涉及音频技术领域，具体涉及一种电影音效处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品，电影类应用为电子设备的高频应用，现有的电影的视频均基于环绕立体声，其音频的效果基于播放音频的设备，例如，音箱、耳机播放同一个视频的效果即不同，对于电影播放的实际场景是通过视频来体现，对音频没有区分处理，因此现有的电影播放的音频的无法区分电影场景，影响用户体验度。
发明内容
本申请实施例提供了一种电影音效处理方法及相关产品，能够依据电影的实际场景对音频进行处理，提升用户体验。
第一方面，本申请实施例提供一种电影音效处理方法，所述方法包括如下步骤：
确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
第二方面，提供一种电影音效处理装置，所述电影音效处理装置包括：
获取单元，用于确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
解析单元，用于对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
播放单元，用于在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请提供的技术方案在确定待播放的电影视频时，获取电影视频的视频帧数据以及音频帧数据，然后对视频帧数据进行分析确定室内场景区间以及室外场景区间，然后提取该室内场景区间对应的是时间，针对不同场景的时间采用不同的3D音效策略，这样即能够让用户从音频和视频均能够体验到室内以及室外的不同，从而增加音频的效果，提高用户体验度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例公开的一种电影音效处理方法的流程示意图；
图3是本申请实施例公开的另一种电影音效处理方法的流程示意图；
图4是本申请实施例公开的一种电影音效处理装置的结构示意图；
图5是本申请实施例公开的另一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtual reality，VR)/增强现实(augmentedreality，AR)设备，可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)、研发/测试平台、服务器等等。为方便描述，上面提到的设备统称为电子设备。
具体实现中，本申请实施例中，电子设备可对音频数据(声源发出的声音)使用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行滤波，得到虚拟环绕声，也称之为环绕声，或者全景声，实现一种三维立体音效。HRTF在时间域所对应的名称是HRIR(Head Related Impulse Response)。或者将音频数据与双耳房间脉冲响应(Binaural Room Impulse Response，BRIR)做卷积，双耳房间脉冲响应由三个部分组成：直达声，早期反射声和混响。
请参阅图1，图1是本申请实施例提供的一种电子设备的结构示意图，电子设备包括控制电路和输入-输出电路，输入输出电路与控制电路连接。
其中，控制电路可以包括存储和处理电路。该存储和处理电路中的存储电路可以是存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路中的处理电路可以用于控制电子设备的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路可用于运行电子设备中的软件，例如播放来电提示响铃应用程序、播放短消息提示响铃应用程序、播放闹钟提示响铃应用程序、播放媒体文件应用程序、互联网协议语音(voice over internet protocol，VOIP)电话呼叫应用程序、操作***功能等。这些软件可以用于执行一些控制操作，例如，播放来电提示响铃、播放短消息提示响铃、播放闹钟提示响铃、播放媒体文件、进行语音电话呼叫以及电子设备中的其它功能等，本申请实施例不作限制。
其中，输入-输出电路可用于使电子设备实现数据的输入和输出，即允许电子设备从外部设备接收数据和允许电子设备将数据从电子设备输出至外部设备。
输入-输出电路可以进一步包括传感器。传感器可以包括环境光传感器，基于光和电容的红外接近传感器，超声波传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，重力传感器，和其它传感器等。输入-输出电路还可以进一步包括音频组件，音频组件可以用于为电子设备提供音频输入和输出功能。音频组件还可以包括音调发生器以及其它用于产生和检测声音的组件。
输入-输出电路还可以包括一个或多个显示屏。显示屏可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏可以包括触摸传感器阵列(即，显示屏可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
输入-输出电路还可以进一步包括通信电路可以用于为电子设备提供与外部设备通信的能力。通信电路可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication，NFC)的电路。例如，通信电路可以包括近场通信天线和近场通信收发器。通信电路还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
输入-输出电路还可以进一步包括其它输入-输出单元。输入-输出单元可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
其中，电子设备还可以进一步包括电池(未图示)，电池用于给电子设备提供电能。
电影，是由活动照相术和幻灯放映术结合发展起来的一种连续的影像画面，是一门视觉和听觉的现代艺术，也是一门可以容纳戏剧、摄影、绘画、音乐、舞蹈、文字、雕塑、建筑等多种艺术的现代科技与艺术的综合体。
电影最开始大部分在专门的场地来放映，例如电影院，随着电子设备的发展以及通信技术的发展，电子设备例如智能手机也成为电影经常播放的设备，相对于电影院内的配置，电子设备对音频的处理能够要差很多。但是对于电影来说，用户的体验包含视频体验以及音频体验，对于视频体验，其提升主要是通过显示屏技术，对于音频体验，现有的电子设备并无对电影执行专门的处理流程，因此影响了用户对电影音频的体验度。
对于电影的体验，其较高的目标为对观看者还原现场，即让观看者享受身临其境的体验，例如现有的5D电影等等，均是通过一些技术手段提高观看者的体验。那么，对于生活场景中，例如，在室内场景中听到的音频数据与在室外场景听到的音频数据是不一样的。具体的，在电影场景中经常出现一些***、战斗的场景，该场景中的音频数据，如果观看者在室内还是室外，实际中听到的效果是完全不同的，但是现有的电影播放中并未在电子设备中体验不同，进而影响了用户体验度。
下面对本申请实施例进行详细介绍。
请参阅图2，图2是本申请实施例公开的一种电影音效处理方法的流程示意图，应用于上述图1所描述的电子设备，该电影音效处理方法包括如下步骤：
步骤S201、确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
上述步骤S201中确定待播放的电影视频具体可以包括：
获取电子设备运行的视频app播放的电影视频标识，依据该电影视频标识确定待播放的电影视频，该电影视频标识包括但不限于：电影ID号、电影名称等等。
上述步骤S201中提取电影视频中的视频帧数据以及音频帧数据具体可以包括：
将电影视频中的视频数据和音频数据分离得到视频帧数据和音频帧数据，视频帧数据包括：视频帧和视频帧对应的时间，该音频帧包括：音频帧和音频帧对应的时间。
步骤S202、对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
步骤S203、在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
可选的，上述室内3D音效策略播放包括但不限于：降低音量、增加回声等等方式。上述室外3D音效策略播放具体可以包括：过滤回声、降低最高音量等等。
本申请提供的技术方案在确定待播放的电影视频时，获取电影视频的视频帧数据以及音频帧数据，然后对视频帧数据进行分析确定室内场景区间以及室外场景区间，然后提取该室内场景区间对应的是时间，针对不同场景的时间采用不同的3D音效策略，这样即能够让用户从音频和视频均能够体验到室内以及室外的不同，从而增加音频的效果，提高用户体验度。
可选的，上述步骤S202中对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体可以包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续时间大于预设时间的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续时间大于预设时间的视频帧确定为室外场景区间。
上述预设时间具体可以为2s，当然也可以为其他的值，本申请实施例并不局限上述预设时间的具体取值。
上述分类器包括但不限于：机器学习、神经网络模型、深度学习模型等等具有分类功能的算法模型。
下面以一个实际的例子来确定如何从分类器得到的视频帧中确定室内场景区间，对于电影的画面，通过数据统计发现，其室内场景和室外场景的切换不会很快，即如果是室内场景，那么其一般会持续2秒以上，同理，对于室外场景也同样适用。那么对视频帧的连续时间进行统计就能够对分类器产生的噪声数据剔除。
具体的，例如分类器确定的，视频帧1-视频帧1000均为室内场景，提取视频1-视频1000的持续时间x，如x大于2秒，确定视频帧1-视频帧1000为室内场景区间。
当然，还可以通过数量来确定室内场景区间和室外场景区间，具体可以包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间。
具体的，例如分类器确定的，视频帧1-视频帧1000均为室内场景，提取视频1-视频1000的持续数量为1000，假设数量阈值为100，则确定视频帧1-视频帧1000为室内场景区间。
当然，上述方案还可以通过如下方式确定室内场景区间和室外场景区间，具体可以包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间，如相邻两个室内场景区间的时间间隔小于预设时间，将该相邻两个室内场景区间合并成一个室内场景区间，如相邻两个室外场景区间的时间间隔小于预设时间，将该相邻两个室外场景区间合并成一个室外场景区间。
具体的，例如分类器确定的，视频帧1-视频帧1000均为室内场景，提取视频1-视频1000的持续数量为1000，假设数量阈值为100，则确定视频帧1-视频帧1000为室内场景区间1，视频帧1003-视频帧2000均为室内场景，提取视频帧1003-视频帧2000的持续数量为997，假设数量阈值为100，则确定视频帧1003-视频帧2000为室内场景区间2，此时室内场景区间2与室内场景区间1之间的只有2个视频帧的间隔，该间隔小于设定阈值，由于室内室外场景转换不会这么快，因此可以将该2个视频帧确定为噪声信号，即分类器识别出错的视频帧，直接将室内场景区间2和室内场景区间1合并成一个室内场景区间。
可选的，上述方法还可以包括：
确定室外场景区间的物理环境，如所述物理环境为地面环境，确定所述音频帧数据在空气中传输目标距离的第一衰减曲线，根据所述第一衰减曲线和所述目标距离关系确定音频数据的音量；
如所述物理环境为水下环境，确定所述音频帧数据在水中传输目标距离的第二衰减曲线，根据所述第二衰减曲线和所述目标距离关系确定音频数据的音量。
在一种可选的示例中，上述确定目标距离的方法具体可以为，确定室内场景区间的第一时间的第一音频帧数据中声源的第一位置，对第一时间对应的视频帧数据进行人脸识别，如识别出人脸，确定人脸的第二位置，将第一位置以及第二位置在第一视频帧数据的地图中标记，计算第一位置与第二位置之间的距离即为传输目标距离(该距离可以为直线距离，因为对于音频来说，传输基本可以认为是直线传播)。
上述第一视频帧数据的地图可以为预设配置的地图数据，例如拍摄的场景在北京的东直门，那么配置电影场景中东直门的地图。
请参阅图3，图3是本申请实施例公开的一种电影音效处理方法的流程示意图，应用于上述图1所描述的电子设备，该电影音效处理方法包括如下步骤：
步骤S301、确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
步骤S302、将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间，如相邻两个室内场景区间的时间间隔小于预设时间，将该相邻两个室内场景区间合并成一个室内场景区间，如相邻两个室外场景区间的时间间隔小于预设时间，将该相邻两个室外场景区间合并成一个室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段。
步骤S303、在电影视频播放到室内时间段时，对室内时间段的音频帧数据降低音量，在电影视频播放到室外时间段时，过滤回声。
本申请提供的技术方案在确定待播放的电影视频时，获取电影视频的视频帧数据以及音频帧数据，然后对视频帧数据进行分析确定室内场景区间以及室外场景区间，然后提取该室内场景区间对应的是时间，针对不同场景的时间采用不同的3D音效策略，这样即能够让用户从音频和视频均能够体验到室内以及室外的不同，从而增加音频的效果，提高用户体验度。
参阅图4，图4提供了一种电影音效处理装置，所述电影音效处理装置包括：
获取单元401，用于确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
解析单元402，用于对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
播放单元403，用于在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
可选的，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
解析单元402，具体用于将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续时间大于预设时间的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续时间大于预设时间的视频帧确定为室外场景区间。
可选的，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
解析单元402，具体用于将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间。
可选的，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
解析单元402，具体用于将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间，如相邻两个室内场景区间的时间间隔小于预设时间，将该相邻两个室内场景区间合并成一个室内场景区间，如相邻两个室外场景区间的时间间隔小于预设时间，将该相邻两个室外场景区间合并成一个室外场景区间。
可选的，所述装置还包括：
处理单元404，用于确定室外场景区间的物理环境，如所述物理环境为地面环境，确定所述音频帧数据在空气中传输目标距离的第一衰减曲线，根据所述第一衰减曲线和所述目标距离关系确定音频数据的音量。
可选的，所述装置还包括：
处理单元404，用于如所述物理环境为水下环境，确定所述音频帧数据在水中传输目标距离的第二衰减曲线，根据所述第二衰减曲线和所述目标距离关系确定音频数据的音量。
请参阅图5，图5是本申请实施例公开的另一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
在一种可选的实例中，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续时间大于预设时间的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续时间大于预设时间的视频帧确定为室外场景区间。
在一种可选的实例中，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间。
在一种可选的实例中，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间，如相邻两个室内场景区间的时间间隔小于预设时间，将该相邻两个室内场景区间合并成一个室内场景区间，如相邻两个室外场景区间的时间间隔小于预设时间，将该相邻两个室外场景区间合并成一个室外场景区间。
在一种可选的实例中，所述方法还包括：
确定室外场景区间的物理环境，如所述物理环境为地面环境，确定所述音频帧数据在空气中传输目标距离的第一衰减曲线，根据所述第一衰减曲线和所述目标距离关系确定音频数据的音量。
在一种可选的实例中，所述方法还包括：
如所述物理环境为水下环境，确定所述音频帧数据在水中传输目标距离的第二衰减曲线，根据所述第二衰减曲线和所述目标距离关系确定音频数据的音量。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
需要注意的是，本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义，用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC，单个电路，用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器，组合逻辑电路，和/或提供实现上述功能的其他合适的组件。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种电影音效处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种电影音效处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种电影音效处理方法，其特征在于，所述方法包括如下步骤：
确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
2.根据权利要求1所述的方法，其特征在于，
所述视频帧数据包括：视频帧和视频帧对应的时间；
所述音频帧包括：音频帧和音频帧对应的时间。
3.根据权利要求1所述的方法，其特征在于，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续时间大于预设时间的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续时间大于预设时间的视频帧确定为室外场景区间。
4.根据权利要求1所述的方法，其特征在于，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间。
5.根据权利要求1所述的方法，其特征在于，所述对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间具体包括：
将视频帧数据中每帧视频数据传输至训练好的分类器中执行分类算法处理得到室内场景的多个视频帧和室外场景的多个视频帧，将室内场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室内场景区间，将室外场景的多个视频帧中连续帧数量大于数量阈值的视频帧确定为室外场景区间，如相邻两个室内场景区间的时间间隔小于预设时间，将该相邻两个室内场景区间合并成一个室内场景区间，如相邻两个室外场景区间的时间间隔小于预设时间，将该相邻两个室外场景区间合并成一个室外场景区间。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定室外场景区间的物理环境，如所述物理环境为地面环境，确定所述音频帧数据在空气中传输目标距离的第一衰减曲线，根据所述第一衰减曲线和所述目标距离关系确定音频数据的音量。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如所述物理环境为水下环境，确定所述音频帧数据在水中传输目标距离的第二衰减曲线，根据所述第二衰减曲线和所述目标距离关系确定音频数据的音量。
8.一种电影音效处理装置，其特征在于，所述电影音效处理装置包括：
获取单元，用于确定待播放的电影视频，提取电影视频中的视频帧数据以及音频帧数据；
解析单元，用于对视频帧数据分析确定视频帧数据中的室内场景区间和室外场景区间，提取室内场景区间对应的室内时间段以及室外场景区间的室外时间段；
播放单元，用于在电影视频播放到室内时间段时，对室内时间段的音频帧数据采用室内3D音效策略播放，在电影视频播放到室外时间段时，对室外时间段的音频帧数据采用室外3D音效策略播放。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811209949.7A CN109286841B (zh) | 2018-10-17 | 2018-10-17 | 电影音效处理方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811209949.7A CN109286841B (zh) | 2018-10-17 | 2018-10-17 | 电影音效处理方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109286841A true CN109286841A (zh) | 2019-01-29 |
| CN109286841B CN109286841B (zh) | 2021-10-08 |
Family
ID=65177942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811209949.7A Active CN109286841B (zh) | 2018-10-17 | 2018-10-17 | 电影音效处理方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109286841B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022710A (zh) * | 2022-05-30 | 2022-09-06 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036789A (zh) * | 2014-01-03 | 2014-09-10 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体装置 |
| WO2015011624A2 (en) * | 2013-07-21 | 2015-01-29 | Wizedsp Ltd | Systems and methods using acoustic communication |
| CN107179908A (zh) * | 2017-05-16 | 2017-09-19 | 网易（杭州）网络有限公司 | 音效调整方法、装置、电子设备及计算机可读存储介质 |
| CN107888843A (zh) * | 2017-10-13 | 2018-04-06 | 深圳市迅雷网络技术有限公司 | 用户原创内容的混音方法、装置、存储介质及终端设备 |
| CN108337556A (zh) * | 2018-01-30 | 2018-07-27 | 三星电子（中国）研发中心 | 用于播放影音文件的方法和装置 |
-
2018
- 2018-10-17 CN CN201811209949.7A patent/CN109286841B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015011624A2 (en) * | 2013-07-21 | 2015-01-29 | Wizedsp Ltd | Systems and methods using acoustic communication |
| CN104036789A (zh) * | 2014-01-03 | 2014-09-10 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体装置 |
| CN107179908A (zh) * | 2017-05-16 | 2017-09-19 | 网易（杭州）网络有限公司 | 音效调整方法、装置、电子设备及计算机可读存储介质 |
| CN107888843A (zh) * | 2017-10-13 | 2018-04-06 | 深圳市迅雷网络技术有限公司 | 用户原创内容的混音方法、装置、存储介质及终端设备 |
| CN108337556A (zh) * | 2018-01-30 | 2018-07-27 | 三星电子（中国）研发中心 | 用于播放影音文件的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022710A (zh) * | 2022-05-30 | 2022-09-06 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及可读存储介质 |
| CN115022710B (zh) * | 2022-05-30 | 2023-09-19 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109286841B (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109413563A (zh) | 视频的音效处理方法及相关产品 | |
| CN106375772B (zh) | 视频播放方法及装置 | |
| CN109597481A (zh) | Ar虚拟人物绘制方法、装置、移动终端及存储介质 | |
| CN107707828B (zh) | 一种视频处理方法及移动终端 | |
| CN108958696A (zh) | 主从耳机切换控制方法及相关产品 | |
| CN107656718A (zh) | 一种音频信号定向传播方法、装置、终端和存储介质 | |
| CN106033676B (zh) | 音频播放控制方法和装置、电子设备 | |
| CN109308179A (zh) | 3d音效处理方法及相关产品 | |
| CN108924910A (zh) | Ai模型的更新方法及相关产品 | |
| CN108966067A (zh) | 播放控制方法及相关产品 | |
| CN109327795B (zh) | 音效处理方法及相关产品 | |
| CN109660911A (zh) | 录音音效处理方法、装置、移动终端及存储介质 | |
| CN109412704A (zh) | 电磁干扰控制方法及相关产品 | |
| CN109246580A (zh) | 3d音效处理方法及相关产品 | |
| CN104375811A (zh) | 一种音效处理方法和装置 | |
| CN109254752A (zh) | 3d音效处理方法及相关产品 | |
| CN110312032A (zh) | 音频播放方法及相关产品 | |
| CN106911956A (zh) | 一种音频数据播放方法、装置及移动终端 | |
| CN109743129A (zh) | 电磁干扰控制方法及相关产品 | |
| CN109474743A (zh) | 电磁干扰控制方法及相关产品 | |
| CN109121069A (zh) | 3d音效处理方法及相关产品 | |
| CN108924705A (zh) | 3d音效处理方法及相关产品 | |
| CN110198421B (zh) | 视频处理方法及相关产品 | |
| CN108124515A (zh) | 信息广播方法及装置、业务实现方法及装置和接入点 | |
| CN109286841A (zh) | 电影音效处理方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |