CN113422995B - 基于ai模型的视频处理方法、便携式电子装置 - Google Patents
基于ai模型的视频处理方法、便携式电子装置 Download PDFInfo
- Publication number
- CN113422995B CN113422995B CN202110818681.2A CN202110818681A CN113422995B CN 113422995 B CN113422995 B CN 113422995B CN 202110818681 A CN202110818681 A CN 202110818681A CN 113422995 B CN113422995 B CN 113422995B
- Authority
- CN
- China
- Prior art keywords
- target video
- data
- processing strategy
- video segment
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 264
- 230000007613 environmental effect Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000003707 image sharpening Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 4
- 230000005611 electricity Effects 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 14
- 238000005538 encapsulation Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4436—Power management, e.g. shutting down unused components of the receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Emergency Management (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Business, Economics & Management (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供一种基于AI模型的视频处理方法、便携式电子装置,方法包括:获取至少一种环境数据;至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;获取目标视频片段的至少一种数据,目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;目标视频片段是电子设备将要播放的视频片段;将至少一种环境数据和目标视频片段的至少一种数据输入第一模型,得到目标视频片段的第一处理策略,第一模型用于分析视频片段的处理策略;按照第一处理策略播放目标视频片段。本申请能够在视频播放过程中自动调整处理策略,减少电子设备播放视频所消耗的电量,达到省电的目的。
Description
技术领域
本申请涉及智能终端技术领域,特别涉及一种基于AI模型的视频处理方法、便携式电子装置。
背景技术
目前,用户在使用电子设备时如果从室内移动到户外,为了使得用户能够看清楚显示屏上显示的内容,电子设备会提高显示屏的亮度,从而造成电子设备功耗增加。如果电子设备所处环境从室内变为室外时电子设备正在播放视频,电子设备的功耗增加将更为严重,从而造成电子设备的电量消耗过大。
发明内容
本申请提供了一种基于AI模型的视频处理方法、便携式电子装置,能够使得电子设备播放视频所消耗的电量更为合理。
第一方面,本申请实施例提供一种基于AI模型的视频处理方法,包括:
获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;所述目标视频片段是所述电子设备将要播放的视频片段;
将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略;
按照所述第一处理策略播放所述目标视频片段。
在一种可能的实现方式中,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,和/或,数据处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
在一种可能的实现方式中,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据。
在一种可能的实现方式中,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理。
在一种可能的实现方式中,所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
在一种可能的实现方式中,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
和/或,
所述数据处理器针对于所述目标视频片段的处理策略包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的视频封装格式,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
和/或,
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
在一种可能的实现方式中,所述第一模型预先训练得到,所述训练方法包括:
获取标注有处理策略的训练样本;每个所述训练样本包括:所述至少一种环境数据中各环境数据的样本,所述至少一种数据中每种数据的样本;
将所述训练样本输入预设模型进行训练,得到所述第一模型。
在一种可能的实现方式中,所述第一模型是由AI感知神经网络加速器和循环神经网络构成的AI感知神经网络。
第二方面,本申请实施例提供一种视频处理方法,应用于电子设备,包括:
获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
根据所述至少一种环境数据确定第一环境类型;
根据所述第一环境类型确定目标视频片段的第一处理策略;所述目标视频片段是所述电子设备将要播放的视频片段;
按照所述第一处理策略播放所述目标视频片段。
在一种可能的实现方式中,如果获取一种环境数据,所述根据所述至少一种环境数据确定第一环境类型,包括:
对于所述一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型,作为所述第一环境类型;
或者,
如果获取至少两种环境数据,所述根据所述至少一种环境数据确定第一环境类型,包括:
对于每一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型;
根据获取到的每一种环境数据对应的第二环境类型,确定所述第一环境类型。
在一种可能的实现方式中,所述根据获取到的每一种环境数据对应的第二环境类型,确定所述第一环境类型,包括:
根据获取到的每一种环境数据的预设权重、以及对应第二环境类型对应的数值计算第一数值;
根据预设的数值区间与第三环境类型之间的对应关系,确定所述第一数值对应的第三环境类型,得到所述第一环境类型。
在另一种可能的实现方式中,如果获取一种环境数据,所述根据所述至少一种环境数据确定第一环境类型,还可以通过将上述至少一种环境数据输入预先训练的第二模型来确定第一环境类型。此时,包括:
将上述至少一种环境数据输入预设第二模型,得到第二模型输出的环境类型,得到第一环境类型。
可选地,第二模型可以是由AI感知神经网络加速器、以及循环神经网络(RNN)构成的AI感知神经网络。
第二模型的具体训练方法可以包括:获取训练样本,每个训练样本包括:至少两种环境数据中各环境数据的样本,以及该训练样本的环境类型;将训练样本输入预设模型进行训练,得到第二模型。
在一种可能的实现方式中,所述根据所述第一环境类型确定目标视频的第一处理策略,包括:
根据预设的环境类型与处理策略之间的对应关系,确定所述第一环境类型对应的处理策略,作为所述第一处理策略;所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,和/或,数据处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
在一种可能的实现方式中,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据;
和/或,
所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理;
和/或,
所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
在一种可能的实现方式中,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
和/或,
所述数据处理器针对于所述目标视频片段的处理策略包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的视频封装格式,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
和/或,
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
第三方面,本申请实施例提供一种便携式电子装置,包括:
第一获取单元,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第二获取单元,用于获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;所述目标视频片段是所述电子设备将要播放的视频片段;
策略决策单元,用于将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略;
播放单元,用于按照所述第一处理策略播放所述目标视频片段。
第四方面,本申请实施例提供一种便携式电子装置,包括:
获取单元,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第一确定单元,用于根据所述至少一种环境数据确定第一环境类型;
第二确定单元,用于根据所述第一环境类型确定目标视频片段的第一处理策略;所述目标视频片段是所述电子设备将要播放的视频片段;
播放单元,用于按照所述第一处理策略播放所述目标视频片段。
第五方面,本申请实施例提供一种电子设备,包括:
显示屏;一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行第一方面或者第二方面任一项所述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第一方面或者第二方面任一项所述的方法。
第七方面,本申请提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行第一方面所述的方法。
在一种可能的设计中,第七方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
本申请视频处理方法中,获取至少一种环境数据,所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据,获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据,所述目标视频片段是所述电子设备将要播放的视频片段,将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略,按照所述第一处理策略播放所述目标视频片段,从而能够自动根据环境数据和目标视频片段的数据在视频播放过程中自动调整处理策略,使得电子设备播放视频所消耗的电量更为合理,达到省电的目的。
附图说明
图1为本申请电子设备一个实施例的结构示意图;
图2为本申请视频播放方法一个实施例的流程图;
图3为本申请视频播放方法另一个实施例的流程图;
图4A为本申请视频播放方法又一个实施例的流程图;
图4B为本申请第一模型的训练方法示意图;
图5为本申请视频播放方法又一个实施例的流程图;
图6为本申请视频播放装置一个实施例的结构示意图;
图7为本申请视频播放装置另一个实施例的结构示意图;
图8为现有技术视频播放流程示意图;
图9为本申请实施例视频播放流程示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
首先对本申请实施例中涉及的名词进行示例性而非限定性的说明:
人工智能(Artificial Intelligence,AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。
***级芯片(System on Chip,以下简称“SoC”),也称为片上***,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整***并有嵌入软件的全部内容。同时它又是一种技术,用以实现从确定***功能开始,到软/硬件划分,并完成设计的整个过程。
数字信号处理器(Digital Signal Processor,DSP),是一种特别适合于进行数字信号处理运算的微处理器,其主要应用是实时快速地实现各种数字信号处理算法。
AI培育:在人工智能领域的AI培育,利用大量加速器如图形处理器(GraphicsProcessing Unit,GPU)或中央处理器(Central Processing Unit,CPU)等能提供算力的装置,找到一个合适的神经网络架构和计算得到神经网络最优结构参数,使得该网络能完成特定的工作。通俗而言,便是给机器“投喂”大量的数据,让它学会识别和区分对象。
本申请实施例的视频播放方法可以适用于电子设备,例如手机、平板电脑(PAD)、个人电脑(PC)等。具体可以作为电子设备中视频播放应用(App)中的一个功能,或者,电子设备的操作***提供的一种视频播放控制功能。上述功能可以由用户设置其是否开启,在上述功能开启后,可以触发执行本申请实施例视频播放方法,达到在视频播放过程中合理消耗电子设备电量、进而节省电子设备电量的目的。
首先对本申请电子设备的可能实现结构进行说明。如图1所示,电子设备100可以包括:处理器110、存储器120、显示屏130。电子设备100还可以包括:光线传感器140、麦克风150、温度传感器160、气压传感器170等。以上结构之间可以通过内部连接通路相互通信,传递控制和或数据信号,该存储器120用于存储计算机程序,该处理器110用于从该存储器120中调用并运行该计算机程序。
上述处理器110可以和存储器120可以合成一个处理装置,更常见的是彼此独立的部件,处理器110用于执行存储器120中存储的程序代码来实现上述功能。具体实现时,该存储器120也可以集成在处理器110中,或者,独立于处理器110。
应理解,图1所示的电子设备100中的处理器110可以是片上***SoC,该处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
电子设备100通过GPU,显示屏130,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏130和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。
光线传感器140用于感知环境光亮度。
温度传感器160用于检测环境温度。
气压传感器170用于测量气压。
麦克风150用于采集声音信号,将声音信号转换为电信号。
应理解,图1所示的电子设备100能够实现本申请实施例提供的方法的各个过程。电子设备100中的各个模块的操作和/或功能,分别为了实现上述方法实施例中的相应流程。具体可参见本申请方法实施例中的描述,为避免重复,此处适当省略详细描述。
以下结合上述电子设备结构对本申请视频播放方法进行详细说明。
以下本申请实施例中所称的视频片段可以是对一个视频文件按照时长进行划分得到的若干个视频片段中的一个视频片段,如果视频文件没有划分视频片段,也可以认为一个视频文件就是一个视频片段。视频片段的长度本申请实施例不作限定。
图2为本申请视频播放方法一个实施例的流程图,如图1所示,该方法可以包括:
步骤201:电子设备获取至少一种环境数据;至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据。
光线数据可以由电子设备中的光线传感器检测得到;声音数据可以由电子设备中的麦克风检测得到;气温数据可以由电子设备中的温度传感器检测得到;气压数据可以由电子设备中的气压传感器检测得到。
步骤202:电子设备根据至少一种环境数据确定第一环境类型。
第一环境类型用于描述电子设备所处环境的类型。
以下,分为两种可能场景来说明本步骤的实现。
场景一:步骤201中获取一种环境数据,相应的,本步骤中根据一种环境数据确定第一环境类型,此时,本步骤可以包括:
根据为上述一种环境数据预设的数据区间与环境类型之间的对应关系,确定该种环境数据所处数据区间对应的环境类型,作为第一环境类型。
环境类型的划分方法本申请实施例不作限定,例如,环境类型可以按照物理空间划分为:室内、室外;或者,环境类型可以按照安静程度划分为:嘈杂环境、安静环境;或者,环境类型可以按照安静程度划分为:嘈杂环境、较安静环境、安静环境;等等。
举例来说:
如果环境数据是光线数据,可以预设第一光强区间(0,a]对应的环境类型为室内,第二光强区间(a,+∞)对应的环境类型为室外;光强的单位可以为坎德拉(candela,cd);则,如果电子设备获取到的光强位于第一光强区间,确定第一环境类型为室内,否则,确定第一环境类型为室外。在其他可能的实例中,光线数据也可以是光照强度,例如第一光照强度区间可以是(0,300lx],对应的环境类型为室内,第二光照强度区间可以为(300lx,+∞),对应的环境类型为室外。
如果环境数据是声音数据,可以预设第一音量区间(0,b]对应的环境类型为室内,第二音量区间(b,+∞)对应的环境类型为室外;音量的单位可以为分贝(dB);则,如果电子设备获取到的声音的音量位于第一音量区间,确定第一环境类型为室内,否则,确定第一环境类型为室外。B的取值本申请不作限定,例如可以为50db。
如果环境数据是气温数据,可以预设第一温度区间(-∞,c]对应的环境类型为室外,第二温度区间(c,+∞)对应的环境类型为室内;温度的单位可以为摄氏度(℃);则,如果电子设备获取到的温度位于第一温度区间,则确定第一环境类型为室外,否则,确定第一环境类型为室内。
如果环境数据是气压数据,可以预设第一气压区间(-∞,c]对应的环境类型为室外,第二气压区间(c,+∞)对应的环境类型为室内;气压的单位可以为百帕(hPa);则,如果电子设备获取到的气压位于第一气压区间,则确定第一环境类型为室外,否则,确定第一环境类型为室内。
场景二:步骤201中获取至少两种环境数据,相应的,本步骤中根据至少两种环境数据确定第一环境类型,此时,本步骤可以包括:
对于每一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定该种环境数据对应的第二环境类型;
根据至少两种环境数据对应的第二环境类型,确定第一环境类型。
该场景下确定每种环境数据对应的第二环境类型可以参考场景一中的对应说明,这里不赘述。每种环境数据对应的第二环境类型的划分方式可以相同或者不同。对划分方式相同举例:假设至少两种环境数据是光线数据和声音数据,光线数据对应的第二环境类型分为室内和室外,声音数据对应的第二环境类型也分为室内和室外。对划分方式不同举例:假设至少两种环境数据是光线数据和声音数据,光线数据对应的第二环境类型分为室内和室外,声音数据对应的第二环境类型为:嘈杂和安静。
上述根据至少两种环境数据对应的第二环境类型,确定第一环境类型,可以包括:
根据每种环境数据的预设权重、以及环境数据对应的第二环境类型,计算第一数值;
根据预设的数值区间与第三环境类型之间的对应关系,确定第一数值对应的第三环境类型,得到第一环境类型。
举例来说,可以预先为不同的第二环境类型设置不同的对应数值,为每种环境数据预设权重,则如果步骤201中获取到环境数据1和环境数据2,可以通过以下公式计算第一数值A:A=a1B1+a2B2,a1是环境数据1的权重,B1是环境数据1对应的第二环境类型所对应的数值,a2是环境数据2的权重,B2是环境数据2对应的第二环境类型所对应的数值。每个第二环境类型对应的数值可以相同或者不同,具体数值本申请实施例不作限定。每一种环境类型对应的权重的具体取值本申请实施例不作限定。计算得到第一数值A后,查找预设的数值区间与第三环境类型之间的对应关系,得到第一数值A所在数值区间对应的第三环境类型,将得到的第三环境类型作为第一环境类型。第三环境类型的划分可以与第二环境类型相同或者不同,本申请实施例不作限定。
在另一种可能的实现方式中,本步骤还可以通过将上述至少一种环境数据输入预先训练的第二模型来确定第一环境类型。此时,本步骤可以包括:
将上述至少一种环境数据输入预设第二模型,得到第二模型输出的环境类型,得到第一环境类型。
第二模型用于分析上述至少两种环境数据对应的环境类型。第二模型可以通过AI培育的方式来进行AI模型培育得到。具体可以通过将大量的训练样本例如超过千条的训练样本“投喂”给AI机器,由AI机器根据训练样本的数据之间的关系特征,计算得到最优的用于计算针对于环境类型的网络架构和神经网络结构参数,得到上述第二模型。
可选地,第二模型可以是由AI感知神经网络加速器、以及循环神经网络(RNN)构成的AI感知神经网络。
第二模型的具体训练方法可以包括:获取训练样本,每个训练样本包括:至少两种环境数据中各环境数据的样本,以及该训练样本的环境类型;将训练样本输入预设模型进行训练,得到第二模型。
举例来说,假设电子设备仅获取一种环境数据,且环境数据是声音数据,可以使用以下的AI基础模型作为第一模型的初始模型:P(X|V)=γ1X1,其中,X1为环境中的声音数据,γ1为AI培育过程中待计算的加权参数,P(X|V)为环境类型;其中,如果环境数据是光线数据,则上述初始模型中的X1可以表示环境中的光线数据。同理,还可以将上述初始模型扩展至电子设备获取至少两种环境数据的情况,以电子设备获取两种环境数据,且两种环境数据分别是声音数据和光线数据为例,可以使用以下的AI基础模型作为第一模型的初始模型:P(X|V)=γ1X1+γ2X2,其中,X1为环境中的声音数据,X2为环境中的光线数据,γ1和γ2为AI培育过程中待计算的加权参数,P(X|V)为环境类型。
步骤203:电子设备根据第一环境类型确定目标视频片段的第一处理策略;目标视频片段是电子设备将要播放的视频片段。
目标视频片段与电子设备当前正在播放的视频片段可以是同一视频文件的视频片段,也可以是不同视频文件的视频片段。举例来说,如果当前正在播放视频文件1,视频文件1包括视频片段11和视频片段12,视频文件1播放完后自动播放下一预设视频文件,例如视频文件2,视频文件2包括视频片段21和视频片段22,则,如果当前正在播放的视频片段是视频片段11,则目标视频片段可以是视频片段12,如果当前正在播放的视频片段是视频片段12,则目标视频片段可以是视频片段21。需要说明的是,以上举例以目标视频片段是当前正在播放的视频片段的下一个视频片段为例,并不用以限制目标视频片段与当前正在播放的视频片段之间的位置关系,例如目标视频片段也可以是当前正在播放的视频片段之后的第二个视频片段等等,本申请并不限制。
其中,可以预设环境类型与处理策略之间的对应关系,则,本步骤中可以根据第一环境类型查找该对应关系,得到第一环境类型对应的处理策略,作为第一处理策略。
在设置环境类型对应的处理策略时,可以基于用户处于不同环境时该环境是否适合观看视频、以及用户对正在播放的视频的关注度进行设置,举例来说,如果环境类型包括室内和室外,用户在室外时因为光线过于强烈,不适合观看视频,用户对电子设备正在播放的视频的关注度一般相对较小,因此,室外对应的处理策略可以更倾向于节省电子设备的电量,用户在室内时因为光线较为柔和,适合观看视频,用户对电子设备正在播放的视频的关注度一般相对较大,室内对应的处理策略可以更倾向于使得播放的视频对于用户而言具有更好的视觉效果。
其中,第一处理策略可以包括:图像处理器针对于目标视频片段的处理策略,和/或,数据处理器针对于目标视频片段的处理策略,和/或,显示驱动器针对于目标视频片段的处理策略。
图像处理器的处理策略可以包括但不限于:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
数据处理器的处理策略可以包括但不限于:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的视频封装格式,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
显示驱动器的处理策略可以包括但不限于:屏幕刷新频率,和/或,屏幕分辨率。
其中,上述图像处理器可以是图1中所述的GPU或者加速处理器(AcceleratedProcessing Units,APU);数据处理器可以是图1中所述的DSP。高功耗的APU或GPU绝大多数时候处于深度睡眠状态,同时带有AI处理能力的低功耗SoC则处于监听或监视状态,当SoC上以低功耗运行的AI加速器检测到唤醒要素时,SoC负责唤醒APU,同时APU则执行更复杂的语音识别算法并且完成相应的操作,例如播放音乐,或者语音通话等等。在这样的一个***中,智能SoC和APU各负其责,由于绝大多数时间APU处于深度睡眠状态,因此整体功耗可以控制到较低的水准。
其中,图像渲染分辨率是指:图像处理器输出的视频图像的分辨率。一般而言,图像渲染分辨率越高,电子设备播放目标视频片段所消耗的电量,反之,图像渲染分辨率越低,电子设备播放目标视频片段所消耗的电量。
图像锐化算法是图像处理器中用于使得视频图像的边缘更清晰的一种图像处理方法。一般而言,图像锐化算法处于打开状态,电子设备播放目标视频片段所消耗的电量相对越大,图像锐化算法处于关闭状态,电子设备播放目标视频片段所消耗的电量相对越少。
增强对比度算法是图像处理器中用于调整视频图像中像素的灰度的一种图像处理方法,可以改善视频图像的视觉效果。一般而言,增强对比度算法处于打开状态,电子设备播放目标视频片段所消耗的电量相对越大,增强对比度算法处于关闭状态,电子设备播放目标视频片段所消耗的电量相对越少。
解码精度可以是数据处理器对目标视频片段进行解码的解码精确度。一般而言,解码精度越高,电子设备播放目标视频片段所消耗的电量相对越大,解码精度越低,电子设备播放目标视频片段所消耗的电量相对越少。
跳帧是降低每秒钟显示的视频帧数的方式,可以通过设置数字来标识每次跳过的帧数,例如跳帧的参数值为1,表示跳过连续1帧图像,跳帧的参数值为2,标识跳过连续2帧图像。跳帧数越大,电子设备播放目标视频片段所消耗的电量相对越大,跳帧数越小,电子设备播放目标视频片段所消耗的电量相对越少。
屏幕刷新频率是指屏幕在单位时间内刷新的次数,单位时间例如可以是1秒。一般而言,屏幕刷新频率越高,电子设备播放目标视频片段所消耗的电量相对越大,屏幕刷新频率越低,电子设备播放目标视频片段所消耗的电量相对越少。
屏幕分辨率是指屏幕在纵横向上显示的像素数,单位是px。屏幕分辨率设置的越高,显示的视频图像越清晰,否则,显示的视频图像越模糊。一般而言,屏幕刷新频率越高,电子设备播放目标视频片段所消耗的电量相对越大,屏幕刷新频率越高,电子设备播放目标视频片段所消耗的电量相对越少。
视频片段的帧率可以依据解码码率的不同级别而设置不同数值,延续前述举例,可以为“室内”这一环境类型设置相对较高的帧率,对电子设备的电量消耗相对较大,为“室外”这一环境类型设置相对较低的帧率,对电子设备的电量消耗相对较小。
与帧率类似的,视频封装格式可以依据解码码率的不同级别而设置不同数值,延续前述举例,可以为“室内”这一环境类型设置视觉效果相对较好的视频封装格式,可以为“室内”这一环境类型设置视觉效果相对较差的视频封装格式,以目前主流的MPEG2,VC-1以及H.264这三种封装格式为例,一般视觉效果排序为H.264>VC-1>MPEG2,则可以为“室内”这一环境类型设置视频封装格式为H.264,对电子设备的电量消耗相对较大,为“室外”这一环境类型设置MPEG2,对电子设备的电量消耗相对较小,。
与帧率、视频封装格式类似的,码率流可以依据解码码率的不同级别而设置不同数值,码率流越高,对电子设备的电量消耗相对越大,码率流越低,对电子设备的电量消耗相对越小。
同样的,分辨率可以依据解码码率的不同级别而设置不同数值,解码码率越高,分辨率越高,解码码率越低,分辨率越低。延续前述举例,可以为“室内”这一环境类型设置相对较高的分辨率,例如3840*2048,对电子设备的电量消耗相对较大,为“室外”这一环境类型设置相对较低的分辨率,例如1280*720,对电子设备的电量消耗相对较小。
步骤204:按照第一处理策略播放目标视频片段。
本步骤可以包括:
接收到对目标视频片段的播放指令,对目标视频片段的码流进行解码,根据解码后的数据对目标视频片段的每一帧视频帧进行渲染,在屏幕上依次显示目标视频片段的每一帧视频帧。
如果第一处理策略包括:数据处理器针对于目标视频片段的处理策略,则,电子设备可以通过数据处理器按照上述数据处理器针对于目标视频片段的处理策略,对目标视频片段的码流进行解码。
如果第一处理策略包括:图像处理器针对于目标视频片段的处理策略,则,电子设备可以通过图像处理器按照上述图像处理器针对于目标视频片段的处理策略,对目标视频片段中的每一帧视频帧进行渲染。
如果第一处理策略包括:显示驱动器针对于目标视频片段的处理策略,则,电子设备可以通过显示驱动器按照上述显示驱动器针对于目标视频片段的处理策略,对目标视频片段中的每一帧视频帧进行显示。
图2所示的方法中,根据环境数据调整目标视频片段的处理策略,从而可以在用户对电子设备播放的视频关注度高的环境下提供视觉效果相对更好的处理策略,在用户对电子设备播放的视频关注度低的环境下提供更为节省电子设备电量的处理策略,从而动态调整视频片段的处理策略,使得电子设备在播放视频时能够满足用户的观看需求,且更为合理的使用电子设备的电量,达到省电的目的。
可选地,参见图3,步骤201之前,还可以包括:
步骤301:电子设备接收到对目标视频文件的播放指令,将目标视频文件划分为视频片段,确定目标视频片段。
其中,用户可以通过选择一个视频文件,选择针对于该视频文件的“播放”控件,来指示对视频文件进行播放,相应的,电子设备可以接收到对目标视频文件的播放指令,目标视频文件也即是用户选择的视频文件。
在进行目标视频文件的划分时,划分得到的视频片段的长度可以相同或者不相同,目标视频文件划分视频片段的数量本申请实施例不作限定,可以是任意自然数。需要说明的是,一般目标视频文件中最小的单位可以是视频帧,视频片段最小可以为一个视频帧。
其中,步骤201中可以将目标视频文件划分得到的视频片段按照播放顺序依次作为目标视频片段。可选地,为了目标视频文件播放的及时性,可以将目标视频文件中位置靠前的一定数量个视频片段直接按照预设处理策略进行播放,对上述一定数量个视频片段之后的视频片段依次作为目标视频片段。上述一定数量的具体取值本申请实施例不作限定,与视频片段的长度、电子设备的处理速度等相关,可以基于电子设备能够为用户提供流畅的视频播放效果的角度来具体设置;另外,基于省电考虑,上述一定数量个视频片段所使用的上述处理策略可以是使得视频播放的视觉效果相对较差的处理策略,或者,基于用户观看效果角度考虑,上述预设的处理策略可以是使得视频播放的视觉效果相对较好的处理策略,本申请实施例不作限定。
图4A为本申请视频播放方法另一个实施例的流程图,如图4A所示,该方法可以包括:
步骤401:电子设备获取至少一种环境数据;至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据。
本步骤的实现可以参考步骤201中的说明,这里不赘述。
步骤402:电子设备获取目标视频片段的至少一种数据,目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;目标视频片段是电子设备将要播放的视频片段。
步骤401和步骤402之间的执行顺序不限制。
本步骤中目标视频片段的实现可以参考步骤202中的对应说明,这里不赘述。
步骤403:电子设备将至少一种环境数据和目标视频片段的至少一种数据输入第一模型,得到目标视频片段的第一处理策略,第一模型用于输出视频片段的处理策略。
可选地,第一模型可以通过AI培育的方式来进行AI模型培育得到。具体可以通过将大量的训练样本例如超过千条的训练样本“投喂”给AI机器,由AI机器根据训练样本的数据之间的关系特征,计算得到最优的用于计算针对于目标视频片段的处理策略的网络架构和神经网络结构参数,得到上述第一模型。
可选地,第一模型可以是由AI感知神经网络加速器、以及循环神经网络(RNN)构成的AI感知神经网络。
第一模型的具体训练方法可以包括:获取标注有处理策略的训练样本;每个所述训练样本包括:所述至少一种环境数据中各环境数据的样本,所述视频片段的至少一种数据中每种数据的样本;将所述训练样本输入预设模型进行训练,得到所述第一模型。参见图4B所示,以预设模型是AI基础模型为例,示出了第一模型的训练方法示意图。
举例来说,假设电子设备仅获取一种环境数据,且环境数据是声音数据,获取目标视频片段的图像数据和声音数据,可以使用以下的AI基础模型作为第一模型的初始模型:P(X|V)=α1X1+α2Y1+α3Y2=β1Z1+β2Z2,其中,X1为环境中的声音数据,Y1为目标视频片段的声音数据,Y2为目标视频片段的图像数据,Z1表示图像处理器的处理策略,Z2表示显示驱动器的处理策略,α1、α2、α3、β1、β2为AI培育过程中待计算的加权参数,P(X|V)为目标视频片段的第一处理策略;其中,如果环境数据是光线数据,则上述初始模型中的X1可以表示环境中的光线数据。同理,还可以将上述初始模型扩展至若干种环境数据的情况,以及若干种目标视频片段的数据的情况,这里不再一一列举。
进一步的,上述初始模型中的声音数据还可以进一步细分为音量、音色、音频、声音的空间分布等数据,此时,可以参照前述举例对细分后的每种声音数据分别设置加权参数,通过训练计算每种声音数据的加权参数,从而使得第一模型对于环境的区分更为准确。同样的,上述初始模型中如果包括光线数据,光线数据也可以细分为光强、光波段、光照度变化等数据,此时,可以参照前述举例对细分后的每种光线数据分别设置加权参数,通过样本训练的方式计算每种光线数据的加权参数,从而使得第一模型对于环境的区分更为准确。
其中,在为训练样本标注处理策略时,可以基于用户处于该训练样本对应的场景下是否适合观看视频、以及用户对正在播放的视频的关注度进行设置。举例来说,如果环境类型包括室内和室外,视频片段的数据是图像数据,则,用户在室外时因为光线过于强烈,不适合观看视频,而且,视频片段播放的图像数据为山水画面,则用户对电子设备正在播放的视频的关注度相对较小,因此,为该训练样本标注的处理策略可以更倾向于节省电子设备的电量,用户在室内时因为光线较为柔和,适合观看视频,而且,视频片段播放的图像数据是人物打斗场面,则用户对电子设备正在播放的视频的关注度相对较大,为该训练样本标注的处理策略可以更倾向于使得播放的视频对于用户而言具有更好的视觉效果。
步骤404:电子设备按照第一处理策略播放目标视频片段。
本步骤的实现可以参考步骤201中的说明,这里不赘述。
可选地,参见图5,步骤401之前,还可以包括:
步骤501:电子设备接收到对目标视频文件的播放指令,将目标视频文件划分为视频片段,确定目标视频片段。
本步骤的实现可以参考步骤301中的说明,这里不赘述。
图4A和图5所示的方法,根据环境数据以及目标视频片段包括的数据来动态调整视频的处理策略,从而能够在视频播放过程中自动调整处理策略,使得电子设备播放视频所消耗的电量更为合理,达到省电的目的。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
图6为本申请视频播放装置一个实施例的结构图,如图6所示,该装置600可以包括:
第一获取单元610,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第二获取单元620,用于获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;所述目标视频片段是所述电子设备将要播放的视频片段;
策略决策单元630,用于将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略;
播放单元640,用于按照所述第一处理策略播放所述目标视频片段。
可选地,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,和/或,数据处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
可选地,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,播放单元640具体可以用于:对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据。
可选地,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,播放单元640具体可以用于:对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理。
可选地,所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,播放单元640具体可以用于:对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
可选地,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
和/或,
所述数据处理器针对于所述目标视频片段的处理策略包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的视频封装格式,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
和/或,
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
可选地,还包括:模型训练单元,用于获取标注有处理策略的训练样本;每个所述训练样本包括:所述至少一种环境数据中各环境数据的样本,所述至少一种数据中每种数据的样本;将所述训练样本输入预设模型进行训练,得到所述第一模型。
可选地,所述第一模型是由AI感知神经网络加速器和循环神经网络构成的AI感知神经网络。
图7为本申请视频播放装置一个实施例的结构图,如图7所示,该装置700可以包括:
获取单元710,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第一确定单元720,用于根据所述至少一种环境数据确定第一环境类型;
第二确定单元730,用于根据所述第一环境类型确定目标视频片段的第一处理策略;所述目标视频片段是所述电子设备将要播放的视频片段;
播放单元740,用于按照所述第一处理策略播放所述目标视频片段。
可选地,如果获取一种环境数据,第一确定单元720具体可以用于:对于所述一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型,作为所述第一环境类型。
可选地,如果获取至少两种环境数据,第一确定单元720具体可以用于:对于每一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型;根据获取到的每一种环境数据对应的第二环境类型,确定所述第一环境类型。
可选地,第一确定单元720具体可以用于:根据获取到的每一种环境数据的预设权重、以及对应第二环境类型对应的数值计算第一数值;根据预设的数值区间与第三环境类型之间的对应关系,确定所述第一数值对应的第三环境类型,得到所述第一环境类型。
可选地,第二确定单元730具体可以用于:根据预设的环境类型与处理策略之间的对应关系,确定所述第一环境类型对应的处理策略,作为所述第一处理策略;所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,和/或,数据处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
可选地,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,播放单元740具体可以用于:对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据。
可选地,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,播放单元740具体可以用于:对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理。
可选地,所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,播放单元740具体可以用于:对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
可选地,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
和/或,
所述数据处理器针对于所述目标视频片段的处理策略包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的视频封装格式,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
和/或,
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
图6~图7所示实施例提供的装置可用于执行本申请图2~图5所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图6~图7所示的装置的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元通过硬件的形式实现。例如,播放单元可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它单元的实现与之类似。此外这些单元全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些单元可以集成在一起,以片上***(System-On-a-Chip;以下简称:SOC)的形式实现。
如图8所示,现有技术中从检测到用户操作到显示视频的流程包括以下几个阶段:
用户在UI界面中执行针对于视频播放的操作指示,相应的,电子设备检测到用户的操作事件;
电子设备的操作***基于用户的操作事件进行调度和配置;
驱动层进行具象功能转换;
SOC执行对应的汇编指令;
GPU/DSP进行视频数据对应的图形运算;该图形运算包括对视频数据进行解码处理。
显示驱动器对图形运算后得到的数据进行数模转换,得到用于显示器显示的模拟信号;
显示器基于模拟信号显示视频。
而基于前述的本申请实施例中,在GPU/DSP对视频数据进行图形运算之前,可以基于环境数据和视频数据获得视频片段的处理策略,从而GPU/DSP以及显示驱动器可以基于处理策略进行视频片段的处理。增加本申请实施例的数据处理后,如图9所示,从检测到用户操作到显示视频的流程可以增加以下部分:
GPU/DSP中增加环境数据的接收接口以及AI感知运算模块,环境数据的接收接口用于接收环境传感器输出的环境数据;AI感知运算模块中可以设置第一模型,从而将至少一种环境数据和目标视频片段的至少一种数据输入第一模型,得到目标视频片段的第一处理策略;
之后,GPU/DSP可以根据第一处理策略进行后续的图形运算,该图形运算是基于第一处理策略进行优化后的图形运算。
本申请还提供一种电子设备,包括:显示屏;一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行本申请图2~图5所示实施例提供的方法。
本申请还提供一种电子设备,所述设备包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图2~图5所示实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图2~图5所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图2~图5所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种基于AI模型的视频处理方法,其特征在于,包括:
获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;所述目标视频片段是所述电子设备将要播放的视频片段;
将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略;所述第一处理策略包括数据处理器针对于所述目标视频片段的处理策略;所述数据处理器针对所述目标视频片段的处理策略包括目标视频片段的视频封装格式;其中,若根据所述至少一种环境数据确定当前环境为室外环境,所述目标视频片段的图像数据是山水画面,则所述第一处理策略为设置视频封装格式为MPEG2,节省电子设备的电量;若根据所述至少一种环境数据确定当前环境为室内环境,所述目标视频片段的图像数据是人物打斗场面,则所述第一处理策略为设置视频封装格式为H.264,提高所述目标视频片段的视觉效果;
按照所述第一处理策略播放所述目标视频片段。
2.根据权利要求1所述的方法,其特征在于,所述第一处理策略除所述数据处理器针对于所述目标视频片段的处理策略之外,还包括:图像处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
3.根据权利要求2所述的方法,其特征在于,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据。
4.根据权利要求2所述的方法,其特征在于,所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理。
5.根据权利要求2所述的方法,其特征在于,所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
所述数据处理器针对于所述目标视频片段的处理策略除所述目标视频片段的视频封装格式之外,还包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
7.根据权利要求2至5任一项所述的方法,其特征在于,所述第一模型预先训练得到,所述训练方法包括:
获取标注有处理策略的训练样本;每个所述训练样本包括:所述至少一种环境数据中各环境数据的样本,所述至少一种数据中每种数据的样本;
将所述训练样本输入预设模型进行训练,得到所述第一模型。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述第一模型是由人工智能AI感知神经网络加速器和循环神经网络构成的AI感知神经网络。
9.一种视频处理方法,应用于电子设备,其特征在于,包括:
获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
根据所述至少一种环境数据确定第一环境类型;
根据所述第一环境类型确定目标视频片段的第一处理策略;所述目标视频片段是所述电子设备将要播放的视频片段,所述第一处理策略包括数据处理器针对于所述目标视频片段的处理策略;所述数据处理器针对于所述目标视频片段的处理策略包括目标视频片段的视频封装格式;其中,若所述第一环境类型为室外环境,且所述目标视频片段的图像数据是山水画面,则所述第一处理策略为设置视频封装格式为MPEG2,节省电子设备的电量;若所述第一环境类型为室内环境,且所述目标视频片段的图像数据是人物打斗场面,则所述第一处理策略为设置视频封装格式为H.264,提高所述目标视频片段的视觉效果;
按照所述第一处理策略播放所述目标视频片段。
10.根据权利要求9所述的方法,其特征在于,如果获取一种环境数据,所述根据所述至少一种环境数据确定第一环境类型,包括:
对于所述一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型,作为所述第一环境类型;
或者,
如果获取至少两种环境数据,所述根据所述至少一种环境数据确定第一环境类型,包括:
对于每一种环境数据,根据为该种环境数据预设的数据区间与第二环境类型之间的对应关系,确定获取到的该种环境数据对应的第二环境类型;
根据获取到的每一种环境数据对应的第二环境类型,确定所述第一环境类型。
11.根据权利要求10所述的方法,其特征在于,所述根据获取到的每一种环境数据对应的第二环境类型,确定所述第一环境类型,包括:
根据获取到的每一种环境数据的预设权重、以及对应第二环境类型对应的数值计算第一数值;
根据预设的数值区间与第三环境类型之间的对应关系,确定所述第一数值对应的第三环境类型,得到所述第一环境类型。
12.根据权利要求9至11任一项所述的方法,其特征在于,所述根据所述第一环境类型确定目标视频的第一处理策略,包括:
根据预设的环境类型与处理策略之间的对应关系,确定所述第一环境类型对应的处理策略,作为所述第一处理策略;所述第一处理策略除所述数据处理器针对于所述目标视频片段的处理策略之外,还包括:图像处理器针对于所述目标视频片段的处理策略,和/或,显示驱动器针对于所述目标视频片段的处理策略。
13.根据权利要求12所述的方法,其特征在于,所述第一处理策略包括:数据处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段,按照所述第一处理策略中所述数据处理器针对于所述目标视频片段的处理策略,对所述目标视频片段的码流进行解码处理,得到解码后的数据;
所述第一处理策略包括:图像处理器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述图像处理器针对于所述目标视频片段的处理策略,对所述视频帧进行渲染处理;
所述第一处理策略包括:显示驱动器针对于所述目标视频片段的处理策略,所述按照所述第一处理策略播放所述目标视频片段,包括:
对于所述目标视频片段中的每个视频帧,按照所述第一处理策略中所述显示驱动器针对于所述目标视频片段的处理策略,对所述视频帧进行显示。
14.根据权利要求13所述的方法,其特征在于,所述图像处理器针对于所述目标视频片段的处理策略包括:图像渲染分辨率,和/或,图像锐化算法的开关状态,和/或,增强对比度算法的开关状态;
所述数据处理器针对于所述目标视频片段的处理策略除所述目标视频片段的视频封装格式之外,还包括:解码精度,和/或,跳帧,和/或,目标视频片段的帧率,和/或,目标视频片段的码率流,和/或,目标视频片段的分辨率;
所述显示驱动器针对于所述目标视频片段的处理策略包括:屏幕刷新频率,和/或,屏幕分辨率。
15.一种便携式电子装置,其特征在于,包括:
第一获取单元,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第二获取单元,用于获取目标视频片段的至少一种数据,所述目标视频片段的至少一种数据包括:声音数据,和/或图像数据,和/或字幕数据;所述目标视频片段是所述电子设备将要播放的视频片段;
策略决策单元,用于将所述至少一种环境数据和所述目标视频片段的至少一种数据输入第一模型,得到所述目标视频片段的第一处理策略,所述第一模型用于分析视频片段的处理策略;所述第一处理策略包括数据处理器针对于所述目标视频片段的处理策略;所述数据处理器针对于所述目标视频片段的处理策略包括目标视频片段的视频封装格式;其中,若根据所述至少一种环境数据确定当前环境为室外环境,所述目标视频片段的图像数据是山水画面,则所述第一处理策略为设置视频封装格式为MPEG2,节省电子设备的电量;若根据所述至少一种环境数据确定当前环境为室内环境,所述目标视频片段的图像数据是人物打斗场面,则所述第一处理策略为设置视频封装格式为H.264,提高所述目标视频片段的视觉效果;
播放单元,用于按照所述第一处理策略播放所述目标视频片段。
16.一种便携式电子装置,其特征在于,包括:
获取单元,用于获取至少一种环境数据;所述至少一种环境数据包括:光线数据,和/或声音数据,和/或气温数据,和/或气压数据;
第一确定单元,用于根据所述至少一种环境数据确定第一环境类型;
第二确定单元,用于根据所述第一环境类型确定目标视频片段的第一处理策略;所述目标视频片段是所述电子设备将要播放的视频片段;所述第一处理策略包括数据处理器针对于所述目标视频片段的处理策略;所述数据处理器针对于所述目标视频片段的处理策略包括目标视频片段的视频封装格式;其中,若所述第一环境类型为室外环境,且所述目标视频片段的图像数据是山水画面,则所述第一处理策略为设置视频封装格式为MPEG2,节省电子设备的电量;若所述第一环境类型为室内环境,且所述目标视频片段的图像数据是人物打斗场面,则所述第一处理策略为设置视频封装格式为H.264,提高所述目标视频片段的视觉效果;
播放单元,用于按照所述第一处理策略播放所述目标视频片段。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110157756 | 2021-02-04 | ||
CN2021101577567 | 2021-02-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113422995A CN113422995A (zh) | 2021-09-21 |
CN113422995B true CN113422995B (zh) | 2023-06-23 |
Family
ID=77721531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110818681.2A Active CN113422995B (zh) | 2021-02-04 | 2021-07-20 | 基于ai模型的视频处理方法、便携式电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113422995B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395551A (zh) * | 2021-07-20 | 2021-09-14 | 珠海极海半导体有限公司 | 处理器、npu芯片和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412716A (zh) * | 2016-09-30 | 2017-02-15 | 乐视控股(北京)有限公司 | 一种多媒体播放效果调整方法、装置及电子设备 |
CN106941625A (zh) * | 2017-03-10 | 2017-07-11 | 广东欧珀移动通信有限公司 | 一种移动终端的播放控制方法、装置及移动终端 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106162316A (zh) * | 2015-04-15 | 2016-11-23 | 腾讯科技(深圳)有限公司 | 一种视频流的数据处理方法、装置和*** |
CN105681728B (zh) * | 2016-02-19 | 2019-12-17 | 华为技术有限公司 | 一种视频处理方法及装置 |
CN107230187B (zh) * | 2016-03-25 | 2022-05-24 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
CN106941621B (zh) * | 2017-03-10 | 2020-07-21 | Oppo广东移动通信有限公司 | 一种移动终端的控制方法、装置及移动终端 |
CN108184169B (zh) * | 2017-12-28 | 2020-10-09 | Oppo广东移动通信有限公司 | 视频播放方法、装置、存储介质及电子设备 |
CN109413480B (zh) * | 2018-09-30 | 2021-10-08 | Oppo广东移动通信有限公司 | 画面处理方法、装置、终端及存储介质 |
-
2021
- 2021-07-20 CN CN202110818681.2A patent/CN113422995B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412716A (zh) * | 2016-09-30 | 2017-02-15 | 乐视控股(北京)有限公司 | 一种多媒体播放效果调整方法、装置及电子设备 |
CN106941625A (zh) * | 2017-03-10 | 2017-07-11 | 广东欧珀移动通信有限公司 | 一种移动终端的播放控制方法、装置及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN113422995A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI619114B (zh) | 環境敏感之自動語音辨識的方法和系統 | |
US8872812B2 (en) | Power saving in mobile devices by optimizing frame rate output | |
JP7186857B2 (ja) | サービス処理方法および関連装置 | |
US11031005B2 (en) | Continuous topic detection and adaption in audio environments | |
KR20150047091A (ko) | 시각 출력을 위한 조정을 판단하기 위한 기법 | |
US11288844B2 (en) | Compute amortization heuristics for lighting estimation for augmented reality | |
CN109389663B (zh) | 画面渲染方法、装置、终端及存储介质 | |
CN114632329B (zh) | 终端设备性能调节方法和相关装置 | |
EP3917131A1 (en) | Image deformation control method and device and hardware device | |
US20190013020A1 (en) | Electronic device-awakening method and apparatus, device and computer-readable storage medium | |
CN112235635B (zh) | 动画显示方法、装置、电子设备及存储介质 | |
CN113422995B (zh) | 基于ai模型的视频处理方法、便携式电子装置 | |
CN110210045A (zh) | 目标区域的人数估算方法、装置及存储介质 | |
US20230267063A1 (en) | Real-time latency measurements in streaming systems and applications | |
CN104376834A (zh) | 一种亮度调整方法及电子设备 | |
KR20230162078A (ko) | 보컬들의 특성들을 변경하기 위한 신경망들 | |
US20150189126A1 (en) | Controlling content frame rate based on refresh rate of a display | |
CN112150983B (zh) | 屏幕亮度调节方法、装置、存储介质及电子设备 | |
AU2013222959A1 (en) | Method and apparatus for processing information of image including a face | |
WO2024039987A1 (en) | Adjusting haptic rendering based on contextual awareness | |
CN113395551A (zh) | 处理器、npu芯片和电子设备 | |
CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
CN118159341A (zh) | 一种图像帧的渲染方法及相关装置 | |
US20220076482A1 (en) | Ray-tracing for auto exposure | |
CN112839256B (zh) | 视频播放方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |