CN116366914A - 视频数据处理方法、电子设备及存储介质 - Google Patents
视频数据处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116366914A CN116366914A CN202111631008.4A CN202111631008A CN116366914A CN 116366914 A CN116366914 A CN 116366914A CN 202111631008 A CN202111631008 A CN 202111631008A CN 116366914 A CN116366914 A CN 116366914A
- Authority
- CN
- China
- Prior art keywords
- video
- video processing
- processing request
- hardware abstraction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 278
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 90
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开涉及一种视频数据处理方法、电子设备及存储介质，电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，方法包括：第三方应用向第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；视频处理策略模块根据对第一视频处理请求的解析结果生成第二视频处理请求，将第二视频处理请求发送到第二硬件抽象层，第二视频处理请求为第二硬件抽象层能够识别的请求；第二硬件抽象层根据与第二视频处理请求匹配的目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到第三方应用，目标视频处理策略是为原生相机应用提供的视频处理策略，由此实现了第三方应用对原生相机应用的视频处理策略的使用。
Description
技术领域
本公开涉及电子信息技术领域，尤其涉及一种视频数据处理方法、电子设备及存储介质。
背景技术
目前，电子设备的视频处理技术已经十分成熟。在大多电子设备中，会集成多个摄像头用于视频的录制，并配置相应地视频功能，然而，在现有的电子设备的***架构下，配置的视频功能只能被电子设备的原生相机访问，第三方应用无法访问并使用电子设备的原生相机的视频功能，进而导致第三方应用无法获得较好的视频效果。
发明内容
为克服相关技术中存在的问题，本公开提供一种视频数据处理方法、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种视频数据处理方法，应用于电子设备，所述电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，所述视频数据处理方法包括：
所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将所述第二视频处理请求发送到所述第二硬件抽象层，所述第二视频处理请求为所述第二硬件抽象层能够识别的请求；
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，所述目标视频处理策略是为原生相机应用提供的视频处理策略。
可选地，所述第一视频处理请求携带有流配置信息，所述流配置信息包括视频功能参数、元数据和视频缓冲器的用途参数，所述元数据包括视频数据，所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，包括：
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析，以得到所述视频功能参数、所述元数据和所述视频缓冲器的用途参数，将所述视频功能参数进行转换得到目标视频功能参数，在所述元数据中增加与所述视频功能参数对应的预设信息得到目标元数据，并根据所述用途参数设置所述视频缓冲器的属性值，根据所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值生成第二视频处理请求。
可选地，所述目标视频处理策略包括硬件处理算法、软件处理算法和软硬件算法执行顺序，所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，包括：
所述第二硬件抽象层对所述第二视频处理请求进行解析，得到所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值，根据所述目标视频功能参数和所述视频缓冲器的属性值确定目标输出端口，并根据与所述目标输出端口对应的目标视频处理策略对所述目标元数据中的视频数据进行处理，并将处理得到的数据发送到所述第三方应用。
可选地，所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，包括：
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，得到中间视频数据；
所述第二硬件抽象层将所述中间视频数据存储到视频缓冲器中，并将存储有所述中间视频数据的视频缓冲器发送到所述第三方应用。
可选地，所述电子设备的操作***还包括框架层，所述应用层包括相机软件开发工具包，所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求，包括：
所述第三方应用通过所述相机软件开发工具包提供的接口向所述框架层发送第一视频处理请求；
所述框架层接收所述第一视频处理请求并将所述第一视频处理请求发送到所述第一硬件抽象层中的视频处理策略模块。
可选地，所述第三方应用通过所述相机软件开发工具包提供的接口向所述框架层发送第一视频处理请求，包括：
所述第三方应用响应触摸操作，生成所述第一视频处理请求，并通过所述相机软件开发工具包提供的接口向所述框架层发送所述第一视频处理请求。
可选地，所述视频功能参数包括HDR视频功能参数、夜景视频功能参数和防抖视频功能参数中的至少一种。
根据本公开实施例的第二方面，提供一种电子设备，所述电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器；用于执行所述存储器中的所述计算机程序，以通过所述第一硬件抽象层和所述第二硬件抽象层和设置有第三方应用的应用层，实现以下步骤：
所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将所述第二视频处理请求发送到所述第二硬件抽象层，所述第二视频处理请求为所述第二硬件抽象层能够识别的请求；
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，所述目标视频处理策略是为原生相机应用提供的视频处理策略。
可选地，所述第一视频处理请求携带有流配置信息，所述流配置信息包括视频功能参数、元数据和视频缓冲器的用途参数，所述元数据包括视频数据，所述处理器还用于执行所述存储器中的所述计算机程序，以通过所述第一硬件抽象层和所述第二硬件抽象层和设置有第三方应用的应用层，实现以下步骤：
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析，以得到所述视频功能参数、所述元数据和所述视频缓冲器的用途参数，将所述视频功能参数进行转换得到目标视频功能参数，在所述元数据中增加与所述视频功能参数对应的预设信息得到目标元数据，并根据所述用途参数设置所述视频缓冲器的属性值，根据所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值生成第二视频处理请求。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的视频数据处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：第三方应用向第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；视频处理策略模块接收第一视频处理请求，对第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将第二视频处理请求发送到第二硬件抽象层，第二视频处理请求为第二硬件抽象层能够识别的请求；第二硬件抽象层确定与第二视频处理请求匹配的目标视频处理策略，根据目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到第三方应用，目标视频处理策略是为原生相机应用提供的视频处理策略，由此实现了第三方应用对原生相机应用的视频处理策略的使用；此外，从操作***的设计结构上看，将第二视频处理请求的配置过程通过第一硬件抽象层进行实现，以此避免第二硬件抽象层升级或更换影响第二视频处理请求的配置，以支持更多种类的第二硬件抽象层，且考虑到应用层其本身特性，将视频处理策略模块和第二硬件抽象层设置在框架层下，通过视频处理策略模块自动高效地处理第三方应用发送的第一视频处理请求，在较少的操作步骤和较短的时间下即可将相应的***功能开放给第三方应用。通过视频处理策略模块和第二硬件抽象层为第三方应用提供了轻量级接口。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种电子设备的操作***的架构示意图。
图2是根据一示例性实施例示出的一种视频数据处理方法的流程示意图。
图3是根据一示例性实施例示出的一种第三方应用的显示界面示意图。
图4是根据一示例性实施例示出的一种视频数据处理方法的另一流程示意图。
图5是根据一示例性实施例示出的一种视频数据处理方法的另一流程示意图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
正如背景技术所言，基于现有的电子设备的操作***的架构，第三方应用无法访问电子设备的原生相机的视频功能(实现该视频功能需要依据底层硬件和软件能力)，若第三方应用本身拥有很多为录制视频增加特效的视频功能，如贴纸、视频加人偶特效等，而第三方应用的视频功能只能在用户使用第三方应用进行拍摄、录制时才能生效，无法与原生相机应用的支持的视频功能融合，这就导致第三方应用对原生相机应用的视频功能开放的需求十分迫切。
有鉴于此，本公开实施例提供一种视频数据处理方法，下面结合附图对本公开实施例进行解释说明。
图1是根据一示例性实施例示出的一种电子设备的操作***的架构示意图。参照图1，电子设备的操作***可以包括应用层、框架层、第一硬件抽象层、第二硬件抽象层、内核层以及硬件层。其中，应用层中设置有第三方应用、原生相机应用以及相机软件开发工具包，相机软件开发工具包可以为第三方应用提供访问框架层的接口。框架层中包括相机能力扩展模块、相机应用接口、相机应用服务、框架层接口。第一硬件抽象层中包括第一硬件抽象层接口1(例如HAL3.0)，视频处理策略模块、图像处理引擎和第一硬件抽象层接口2(例如HAL3.0)，图像处理引擎中维护有多种算法(算法1、算法2等)，该多种算法中包括可以实现原生相机应用的视频功能的算法。第二硬件抽象层中包括第二硬件抽象层接口(例如HAL3.0)，内核层中包括驱动(例如驱动1、驱动2等)，各驱动用于驱动硬件层中包括的硬件，例如，摄像头驱动用于驱动硬件层中的摄像头。需要说明的是，上述各层之间由提供的各接口实现通信。
基于上述架构，可以通过图1中箭头示意的通信链路实现第三方应用对对原生相机应用的视频处理策略的使用。
图2是根据一示例性实施例示出的种视频数据处理方法的流程示意图，该视频数据处理方法可以应用于图1所示的电子设备的操作***，参照图2，该视频数据处理方法的实现过程可以如下：
第三方应用向第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；视频处理策略模块接收第一视频处理请求，对第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将第二视频处理请求发送到第二硬件抽象层，第二视频处理请求为所述第二硬件抽象层能够识别的请求；第二硬件抽象层确定与第二视频处理请求匹配的目标视频处理策略，根据目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到第三方应用。其中，目标视频处理策略是为原生相机应用提供的视频处理策略。
需要说明的是，第三方应用是安装在电子设备的应用程序。其中，第三方应用可以是需要调用相机的第三方相机软件，例如，只具备拍摄功能的相机软件，再例如可以是可以调用相机的第三方社交软件。
第一视频处理请求是表征第三方应用想要使用原生相机应用的视频功能来录制视频的请求，该视频功能例如可以是HDR(High Dynamic Range Imaging，高清动态范围成像)功能、夜景功能和防抖功能等。相对应地，为实现原生相机应用的视频功能，对应的的目标视频处理策略为HDR视频处理策略(对应HDR功能)、夜景视频处理策略(对应夜景功能)或防抖视频处理策略(对应防抖功能)。
图3是根据一示例性实施例示出的一种第三方应用的显示界面示意图，在图3中，视频功能1、视频功能2和视频功能3(可以理解为控件)是预先为第三方应用开放的原生相机应用的视频功能。用户可以通过点击这些控件以表征想要使用视频功能1、视频功能2或视频功能3来对视频进行录制，用户可以通过点击相应地控件可以产生对电子设备的触摸操作，第三方应用进而响应该触摸操作，则可以生成第一视频处理请求。
其中，上述视频功能1、视频功能2和视频功能3可以通过以下方式预先对第三方应用进行开放：第三方应用通过相机软件开发工具包提供的接口向框架层发送查询请求，框架层根据查询请求，对第三方应用进行权限校验，在确定第三方应用通过校验后，向第三方应用发送权限确认消息，权限确认信息中包括第三方应用能够使用的视频功能；第三方应用向操作***的框架层发送开放第三方应用能够使用的视频功能的权限开放请求；框架层根据权限开放请求，向第三方应用开放第三方应用能够使用的视频功能的权限。在开发相应的视频功能的权限后，第三方应用则可以成功访问相应的视频功能对应的算法策略。
其中，上述描述的具体过程可以通过框架层中的相机能力扩展模块实现。且相机能力扩展模块查询时可以从预先存储的白名单中查询，若该白名单中有第三方应用，则表征第三方应用通过校验。在一些实施例中，上述白名单可以通过服务器进行维护，相机能力扩展模块可以接收服务器下发的白名单，相机能力扩展模块根据接收的白名单，更新并存储白名单。
对于接收第一视频处理请求的第一硬件抽象层来说，需要先对其进行解析，再根据解析结果生成相应的第二数据处理请求。其中，第一视频处理请求携带有流配置信息，流配置信息包括视频功能参数、元数据和视频缓冲器的用途参数。故此，视频处理策略模块根据第一视频处理请求生成第二视频处理请求可以采用以下方式：视频处理策略模块接收第一视频处理请求，对第一视频处理请求进行解析，以得到视频功能参数、元数据和视频缓冲器的用途参数，将视频功能参数进行转换得到目标视频功能参数，在元数据中增加与视频功能参数对应的预设信息得到目标元数据，并根据用途参数设置视频缓冲器的属性值，根据目标视频功能参数、目标元数据和所述视频缓冲器的属性值生成第二视频处理请求。
其中，视频功能参数例如可以是HDR视频功能参数、夜景视频功能参数和防抖视频功能参数等，在第二硬件抽象层中，视频功能参数有特定的数值，需要将第三方应用发起的视频功能参数修改为对应第二硬件抽象层能够识别的参数，才能实现对原生相机的软硬件算法的调用。示例地，在视频功能为HDR功能时，HDR视频功能参数可以包括HDR亮度参数、HDR色彩参数等。
元数据包括视频数据，视频数据中至少包括一帧视频数据。视频处理策略模块中存储有与视频功能参数对应的预设信息，该预设信息可以用于第二硬件抽象层可以对元数据进行解析识别。在一些实施例中，应用层响应拍摄操作请求，即可通过应用层将拍摄操作请求转发到相同软件架构层，以便于驱动相机执行拍摄，获取视频数据。在本实施例中，内核层中设置有各种驱动，例如相机驱动，内核层根据拍摄操作请求可以请求相应的相机驱动用于驱动硬件层中的摄像头进行视频数据的采集，以获取视频数据。
示例地，视频缓冲器的用途参数例如可以是一个视频帧数据的存储字节大小(例如，8比特或10比特)。
在一些实施例中，目标视频处理策略包括硬件处理算法、软件处理算法和软硬件算法执行顺序。故此，第二硬件抽象层根据目标视频处理策略对视频数据进行处理可以采用以下方式：第二硬件抽象层对第二视频处理请求进行解析，得到目标视频功能参数、目标元数据和视频缓冲器的属性值，根据目标视频功能参数和视频缓冲器的属性值确定目标输出端口，并根据与目标输出端口对应的目标视频处理策略对目标元数据中的视频数据进行处理，并将处理得到的数据发送到第三方应用。
需要说明的是，目标输出端口具备一定的属性，其可以输出与该目标输出端口对应的格式数据。在本实施例中，目标输出端口对应有处理成该端口对应格式数据的软硬件算法，即目标视频处理策略，包括硬件处理算法、软件处理算法和软硬件算法执行顺序。其中，软硬件算法执行顺序用于表征各软件算法与各硬件算法的执行顺序，由于视频功能的实现同时依赖于软件算法和硬件算法，因此，需要硬件处理算法、软件处理算法的交替处理来得到最终的视频数据。
需要说明的是，硬件处理算法可以在硬件层中实现，软件处理算法可以在第二硬件抽象层实现。
通过上述方式，通过对第三方应用发起的第一视频处理请求进行解析封装成第二硬件抽象层能够识别的请求，由此第二硬件抽象层在收到能够识别的第二视频处理请求后，按照第二视频处理请求里携带的参数匹配相应的目标视频处理策略并根据目标视频处理策略对视频数据进行处理，由于目标视频处理策略是为原生相机应用提供的视频处理策略，因此，由此实现了第三方应用对原生相机应用的视频处理策略的使用。此外，本实施例中，视频处理策略模块和第二硬件抽象层设置在框架层下，通过第一硬件抽象层中的视频处理策略模块自动高效地处理第三方应用发送的第一视频处理请求，视频处理策略模块能够自动根据第一视频处理请求得到第二视频处理请求而无需第三方应用进行繁琐的设置，可见，通过视频处理策略模块为第三方应用提供了轻量级接口，使得在较少的操作步骤和较短的时间下即可将相应的***功能开放给第三方应用。相关技术中，有直接通过应用层调用***功能，然而此种方式受限于应用层本身，无法根据第一视频处理请求快速得到第二视频处理请求，而是需要一系列繁琐的操作才能实现第一视频处理请求到第二视频处理请求的转换，耗时长。
此外，考虑到各平台的芯片的硬件抽象层(即第二硬件抽象层)不同，且第二硬件抽象层存在更新或升级的可能，因此，为了适应第二硬件抽象层升级或更换影响第三方应用对原生相机应用的使用，故将第二视频处理请求的配置过程通过第一硬件抽象层中的视频处理策略模块进行实现，便于后期维护。且考虑到应用层其本身特性，并未考虑将视频处理策略模块设置在应用层内，如此，可以缩短由应用层进行第一视频处理请求转化的时间和减少由应用层进行第一视频处理请求转化的操作，以提供一种轻量化的集成方案。
图4是根据一示例性实施例示出的一种视频数据处理方法的另一流程图。参照图4，该视频数据处理方法的实现过程可以如下：
第三方应用向第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；视频处理策略模块接收第一视频处理请求，对第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将第二视频处理请求发送到第二硬件抽象层，第二视频处理请求为所述第二硬件抽象层能够识别的请求；第二硬件抽象层确定与第二视频处理请求匹配的目标视频处理策略，根据目标视频处理策略对视频数据进行处理，得到中间数据，将中间视频数据存储到视频缓冲器中，并将存储有中间视频数据的视频缓冲器发送到第三方应用。
其中，图4中部分步骤过程与图2所示的部分步骤过程相似，因此，图4中此部分步骤过程的实施方式可以参照对图2中相应地实施过程，本实施例在此不做赘述。
需要说明的是，视频缓冲器是用于缓冲视频播放数据的内存缓冲区，考虑到第三方应用本身拥有很多为录制视频增加特效的视频功能，因此，向第三方应用返回视频缓冲器，可以使第三方应用使用其本身具有的视频功能为视频数据添加特效，实现对视频数据的自处理，丰富了视频的特效效果。
图5是根据一示例性实施例示出的一种视频数据处理方法的另一流程图。参照图5，该视频数据处理方法的实现过程可以如下：
第三方应用向框架层发送第一视频处理请求，框架层将第一视频处理请求发送到第一硬件抽象层中的视频处理策略模块；视频处理策略模块接收第一视频处理请求，对第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将第二视频处理请求发送到第二硬件抽象层，第二视频处理请求为所述第二硬件抽象层能够识别的请求；第二硬件抽象层确定与第二视频处理请求匹配的目标视频处理策略；根据目标视频处理策略中硬件处理算法生成硬件数据处理请求并将硬件数据处理请求发送发到硬件层，硬件层执行硬件处理算法，得到中间视频数据，并将中间视频数据发送到第二硬件抽象层，第二硬件抽象层将中间视频数据存储到视频缓冲器，第二硬件抽象层将存储有中间视频数据的视频缓冲器发送到第三方应用。
在一些实施例中，第三方应用向第一硬件抽象层中的视频处理策略模块发送第一视频处理请求的步骤可以包括：第三方应用通过相机软件开发工具包提供的接口向框架层发送第一视频处理请求。
在一些实施例中，第三方应用可以通过相机软件开发工具包提供的接口向框架层发送第一视频处理请求的步骤可以包括：第三方应用响应触摸操作，生成第一视频处理请求，并通过相机软件开发工具包提供的接口向框架层发送第一视频处理请求。在本实施例中，触摸操作的生成可以参照图3相关说明，本实施例在此不做赘述。
在图5中，第二硬件抽象层确定的与第二视频处理请求匹配的目标视频处理策略中包括硬件处理算法，由于硬件处理算法需要硬件端执行，因此，第二硬件抽象层根据需要硬件层执行的硬件处理算法进行配置，生成硬件数据处理请求，再将硬件数据处理请求发送到硬件层，由硬件层执行硬件处理算法，得到中间视频数据，硬件层将中间视频数据发送到第二硬件抽象层。在一些实施例中，硬件数据处理请求和中间视频数据可以经内核层在第二硬件抽象层与硬件层之间传输。
值得说明的是，图5中仅是以目标视频处理策略中包括硬件处理算法的为例对生成中间视频数据的过程进行示例性说明。在其他实施例中，目标视频处理策略还包括软件处理算法，软件处理算法由第二硬件抽象层进行处理。各软件处理算法和硬件处理算法对视频数据处理的顺序由目标视频处理策略中的软硬件算法执行顺序决定，第二硬件抽象层可以根据软硬件算法执行顺序配置相应地请求，然后经第二硬件抽象层执行软件算法策略和硬件层执行硬件算法策略处理，进而得到中间视频数据。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的视频数据处理方法的步骤。
本公开实施例还提供一种电子设备，电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，电子设备包括：
存储器，其上存储有计算机程序；
处理器；用于执行所述存储器中的所述计算机程序，以通过第一硬件抽象层和第二硬件抽象层和设置有第三方应用的应用层，实现上述视频数据处理方法的步骤。
图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的视频数据处理方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件606为电子设备600的各种组件提供电力。电力组件606可以包括电源管理***，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述视频数据处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述视频数据处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频数据处理方法，其特征在于，应用于电子设备，所述电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，所述视频数据处理方法包括：
所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将所述第二视频处理请求发送到所述第二硬件抽象层，所述第二视频处理请求为所述第二硬件抽象层能够识别的请求；
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，所述目标视频处理策略是为原生相机应用提供的视频处理策略。
2.根据权利要求1所述的视频数据处理方法，其特征在于，所述第一视频处理请求携带有流配置信息，所述流配置信息包括视频功能参数、元数据和视频缓冲器的用途参数，所述元数据包括视频数据，所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，包括：
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析，以得到所述视频功能参数、所述元数据和所述视频缓冲器的用途参数，将所述视频功能参数进行转换得到目标视频功能参数，在所述元数据中增加与所述视频功能参数对应的预设信息得到目标元数据，并根据所述用途参数设置所述视频缓冲器的属性值，根据所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值生成第二视频处理请求。
3.根据权利要求2所述的视频数据处理方法，其特征在于，所述目标视频处理策略包括硬件处理算法、软件处理算法和软硬件算法执行顺序，所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，包括：
所述第二硬件抽象层对所述第二视频处理请求进行解析，得到所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值，根据所述目标视频功能参数和所述视频缓冲器的属性值确定目标输出端口，并根据与所述目标输出端口对应的目标视频处理策略对所述目标元数据中的视频数据进行处理，并将处理得到的数据发送到所述第三方应用。
4.根据权利要求1所述的视频数据处理方法，其特征在于，所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，包括：
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，得到中间视频数据；
所述第二硬件抽象层将所述中间视频数据存储到视频缓冲器中，并将存储有所述中间视频数据的视频缓冲器发送到所述第三方应用。
5.根据权利要求1所述的视频数据处理方法，其特征在于，所述电子设备的操作***还包括框架层，所述应用层包括相机软件开发工具包，所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求，包括：
所述第三方应用通过所述相机软件开发工具包提供的接口向所述框架层发送第一视频处理请求；
所述框架层接收所述第一视频处理请求并将所述第一视频处理请求发送到所述第一硬件抽象层中的视频处理策略模块。
6.根据权利要求5所述的视频数据处理方法，其特征在于，所述第三方应用通过所述相机软件开发工具包提供的接口向所述框架层发送第一视频处理请求，包括：
所述第三方应用响应触摸操作，生成所述第一视频处理请求，并通过所述相机软件开发工具包提供的接口向所述框架层发送所述第一视频处理请求。
7.根据权利要求2所述的视频数据处理方法，其特征在于，所述视频功能参数包括HDR视频功能参数、夜景视频功能参数和防抖视频功能参数中的至少一种。
8.一种电子设备，其特征在于，所述电子设备的操作***包括第一硬件抽象层、第二硬件抽象层和设置有第三方应用的应用层，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器；用于执行所述存储器中的所述计算机程序，以通过所述第一硬件抽象层和所述第二硬件抽象层和设置有第三方应用的应用层，实现以下步骤：
所述第三方应用向所述第一硬件抽象层中的视频处理策略模块发送第一视频处理请求；
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析并基于解析结果生成第二视频处理请求，将所述第二视频处理请求发送到所述第二硬件抽象层，所述第二视频处理请求为所述第二硬件抽象层能够识别的请求；
所述第二硬件抽象层确定与所述第二视频处理请求匹配的目标视频处理策略，根据所述目标视频处理策略对视频数据进行处理，并将处理得到的数据发送到所述第三方应用，所述目标视频处理策略是为原生相机应用提供的视频处理策略。
9.根据权利要求8所述的电子设备，其特征在于，所述第一视频处理请求携带有流配置信息，所述流配置信息包括视频功能参数、元数据和视频缓冲器的用途参数，所述元数据包括视频数据，所述处理器还用于执行所述存储器中的所述计算机程序，以通过所述第一硬件抽象层和所述第二硬件抽象层和设置有第三方应用的应用层，实现以下步骤：
所述视频处理策略模块接收所述第一视频处理请求，对所述第一视频处理请求进行解析，以得到所述视频功能参数、所述元数据和所述视频缓冲器的用途参数，将所述视频功能参数进行转换得到目标视频功能参数，在所述元数据中增加与所述视频功能参数对应的预设信息得到目标元数据，并根据所述用途参数设置所述视频缓冲器的属性值，根据所述目标视频功能参数、所述目标元数据和所述视频缓冲器的属性值生成第二视频处理请求。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～7中任一项所述视频数据处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631008.4A CN116366914A (zh) | 2021-12-28 | 2021-12-28 | 视频数据处理方法、电子设备及存储介质 |
| PCT/CN2022/090695 WO2023123786A1 (zh) | 2021-12-28 | 2022-04-29 | 视频数据处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631008.4A CN116366914A (zh) | 2021-12-28 | 2021-12-28 | 视频数据处理方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116366914A true CN116366914A (zh) | 2023-06-30 |
Family
ID=86909595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111631008.4A Pending CN116366914A (zh) | 2021-12-28 | 2021-12-28 | 视频数据处理方法、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116366914A (zh) |
| WO (1) | WO2023123786A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11153631B2 (en) * | 2017-11-10 | 2021-10-19 | Huawei Technologies Co., Ltd. | Method and apparatus for playing television program |
| CN110995994B (zh) * | 2019-12-09 | 2021-09-14 | 上海瑾盛通信科技有限公司 | 图像拍摄方法及相关装置 |
| CN111061524A (zh) * | 2019-12-09 | 2020-04-24 | Oppo广东移动通信有限公司 | 一种应用数据处理方法及相关装置 |
| CN110971830B (zh) * | 2019-12-09 | 2021-11-02 | Oppo广东移动通信有限公司 | 视频拍摄的防抖方法及相关装置 |
-
2021
- 2021-12-28 CN CN202111631008.4A patent/CN116366914A/zh active Pending
-
2022
- 2022-04-29 WO PCT/CN2022/090695 patent/WO2023123786A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023123786A1 (zh) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017041397A1 (zh) | 设备控制方法及装置 | |
| CN110839073A (zh) | 获取推送信息的方法、发送推送信息的方法及装置 | |
| WO2022078295A1 (zh) | 一种设备推荐方法及电子设备 | |
| CN107463372B (zh) | 一种数据驱动的页面更新方法和装置 | |
| CN111382418A (zh) | 应用程序权限管理方法、装置、存储介质与电子设备 | |
| CN115185717A (zh) | 接口调用方法、装置、电子设备和存储介质 | |
| CN111181844A (zh) | 消息处理方法、装置及介质 | |
| CN107885464B (zh) | 数据存储方法、装置及计算机可读存储介质 | |
| CN116366914A (zh) | 视频数据处理方法、电子设备及存储介质 | |
| CN110263211B (zh) | 资源同步方法及装置 | |
| CN110213531B (zh) | 监控录像处理方法及装置 | |
| CN109981729B (zh) | 文件处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109246322B (zh) | 一种信息处理方法和*** | |
| CN112230982A (zh) | 素材处理方法、装置、电子设备及存储介质 | |
| CN112860625A (zh) | 数据获取方法、数据存储方法、装置、设备及存储介质 | |
| CN113746998A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113691948B (zh) | 一种通信方法及装置 | |
| CN112887799B (zh) | 影像资源分享方法、装置及介质 | |
| US20230209212A1 (en) | Shooting method and device and storage medium | |
| CN112182027B (zh) | 信息查询方法、装置、电子设备及存储介质 | |
| CN110311968B (zh) | 流式加载文件的方法、装置及智能设备 | |
| CN114745495B (zh) | 图像生成方法、装置及存储介质 | |
| CN116419062A (zh) | 图像处理方法、装置及存储介质 | |
| CN117692769A (zh) | 相机控制方法、装置、图像处理框架、介质、终端及芯片 | |
| CN109412935B (zh) | 即时通信的发送方法和接收方法、发送装置和接收装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |