CN118075407A - 一种管线图的创建方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种管线图的创建方法、设备及存储介质，该方法包括：确定待处理素材对应的业务类型；根据所述业务类型创建业务管线；所述业务管线包括多个数据处理节点，其中至少两个数据处理节点的功能不同；连接所述多个数据处理节点以形成管线图；响应于对所述管线图的修改操作，修改所述管线图中数据处理节点，所述修改包括删除至少一个已有的数据处理节点和增加新的数据处理节点。本申请中可以根据业务类型，将媒体中台后处理框架层中各个数据处理节点进行组合，即使实现管线图的创建，提高了管线图的创建效率，使得管线的创建更为简便快捷。同时可以实现各种业务类型对应的管线图的创建，扩展了管线图的能力。

Description

一种管线图的创建方法、设备及存储介质

技术领域

本申请涉及电子技术领域，尤其涉及一种管线图的创建方法、设备及存储介质。

背景技术

随着电子技术的发展，电子设备的功能越来越强大，可以支持各种多媒体应用，同时每种应用也可能具有多种不同的业务，例如编辑图片业务，视频合成业务等。

电子设备在运行某项应用中的业务时，通常会调用该业务对应的管线图，通过运行已经构建好的管线图，实现该管线图对应的业务。由于不同的业务对应固定的管线图，在需要完成一项新的业务时，需要另外构建对应的管线图，存在创建管线图效率低的问题。

发明内容

本申请提供的一种管线图的创建方法、设备及存储介质，解决了管线图创建效率低的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面：一种管线图的创建方法，确定待处理素材对应的业务类型，根据业务类型创建业务管线；其中，业务管线包括多个数据处理节点，其中至少两个数据处理节点的功能不同，多个数据处理节点进行连接以形成管线图，响应于对管线图的修改操作，修改管线图中数据处理节点，其中，修改包括删除至少一个已有的数据处理节点和增加新的数据处理节点。

本申请中各个数据处理节点是配置好的，可以根据业务类型，将媒体中台后处理框架层中各个数据处理节点进行组合，即实现管线图的创建，提高了管线图的创建效率，使得管线的创建更为简便快捷。同时可以实现各种业务类型对应的管线图的创建，扩展了管线图的能力。而且，可以对创建完成的管线图进行动态修改。

在一种可能的实施方式中，可以确定业务类型对应的处理节点连接方式；根据业务类型对应的处理节点连接方式对多个处理节点进行连接。

在一种可能的实施方式中，可以获取多个处理节点的端口类型，以便根据端口类型确定业务类型对应的处理节点连接方式。

在一种可能的实施方式中，可以将端口类型相同的端口相互连接，以完成管线图的创建。

在一种可能的实施方式中，在创建好管线图后，运行该业务管线，以通过多个处理节点处理待处理素材。

在一种可能的实施方式中，根据业务类型创建多条业务管线，根据业务类型确定多条业务管线的运行顺序；根据多条业务管线的运行顺序，运行多条业务管线，从而提高业务的运行效率。

在一种可能的实施方式中，当业务类型为视频合成业务时，视频合成业务对应的业务管线为视频分析管线；视频分析管线包括视频解码节点，视频格式转换节点，降分辨率节点和视频高光分析节点。

在一种可能的实施方式中，当业务类型为图片合成业务时，图片合成业务对应的业务管线为图片分析管线；图片分析管线包括图片格式转换节点和图片高光分析节点。

在一种可能的实施方式中，当业务类型为一键成片业务时，一键成片业务对应的业务管线包括视频分析管线和图片分析管线；视频分析管线包括视频解码节点，视频格式转换节点，降分辨率节点和视频高光分析节点，图片分析管线包括图片格式转换节点和图片高光分析节点。

在一种可能的实施方式中，可以输出多个处理节点对待处理素材的处理结果。

第二方面：一种计算机设备，计算机设备包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给所述处理器；处理器用于根据程序代码中的指令执行如上所述的管线图的创建方法的步骤。

第三方面：一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上所述的管线图的创建方法的步骤。

应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种电子设备的软件结构框图；

图3为本申请实施例提供的一种媒体中台后处理框架的示意图；

图4为本申请实施例提供的一种创建管线图方法的示意图；

图5为本申请实施例提供的一种启动目标应用的示意图；

图6为本申请实施例提供的一种创建视频合成业务的管线图的示意图；

图7为本申请实施例提供的一种启动视频合成业务的示意图；

图8为本申请实施例提供的一种创建图片合成业务的管线图的示意图；

图9为本申请实施例提供的一种启动图片合成业务的示意图；

图10为本申请实施例提供的一种创建一键成片业务的管线图的示意图；

图11为本申请实施例提供的一种启动一键成片业务的示意图。

具体实施方式

本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了下述各实施例的描述清楚简洁，首先给出相关技术术语的简要介绍：

媒体中台后处理框架，是指集成了多种针对媒体数据处理功能的框架，媒体中台后处理框架中包含多个数据处理节点。其中，数据处理节点可以视为媒体数据处理模块，其中封装了媒体处理算法，可以提供处理媒体数据的能力，不同数据处理节点对应不同的能力。应用层的应用可以通过媒体中台后处理框架对相关的数据处理节点进行调用，从而实现各种各样的功能。

现有技术中，电子设备在运行某项应用的业务时，通常会调用该业务对应的管线图，通过运行已经构建好的管线图，实现该管线图对应的业务。由于各个业务对应固定的管线图，在需要完成一项新的业务时，需要重新构建的管线图。存在重复构建，浪费开发资源的情况，具有创建管线图效率低的问题。

有鉴于此，本申请实施例提供了一种管线图的创建方法，该方法可以应用于电子设备，该电子设备在对数据进行处理过程中，可以先获取待处理素材对应的业务类型，基于媒体中台后处理框架，根据待处理素材对应的业务类型，构建相关的数据处理节点，根据数据处理节点之间的端口类型，获得数据处理节点之间的连接关系。进而可以根据各个数据处理节点之间的连接关系，连接各个数据处理节点，生成与该业务类型对应的管线图。如此，在需要完成一项新的业务时，在获取到业务类型后，可以基于媒体中台后处理框架，将相关的数据处理节点进行连接，进而生成对应的管线图，提高了管线图的创建效率。

在一些实施例中，电子设备还可以是平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、智能手表等设备，本申请对上述电子设备的具体形式不做特殊限制。在本实施例中，电子设备的结构可以如图1所示，图1为本申请实施例提供的一种电子设备的结构示意图。

如图1所示，电子设备可以包括处理器110，内部存储器121，天线1，天线2，移动通信模块150，无线通信模块160，传感器模块180，显示屏194等。其中传感器模块180可以包括触摸传感器180K等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，在本申请中，处理器110可以获取待处理素材对应的业务类型；根据所述待处理素材对应的业务类型，基于媒体中台后处理框架，根据待处理素材对应的业务类型，构建相关的数据处理节点，连接各个数据处理节点，生成与该待处理素材对应的管线图。

其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备的触摸功能。基于电子设备的触摸功能，在用户触摸电子设备所显示的应用图标后，电子设备可以启动该应用。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。

MIPI接口可以被用于连接处理器110与显示屏194等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serialinterface，DSI)等。在一些实施例中，处理器110和摄像头通过CSI接口通信，实现电子设备的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备的显示功能。例如，电子设备基于显示功能，能够显示相关界面。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头，显示屏194，无线通信模块160，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(globalnavigation satellite system，GLONASS)，北斗卫星导航***(beidou navigationsatellite system，BDS)，准天顶卫星***(quasi-zenith satellite system，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

电子设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备的显示屏194上可以显示一系列图形用户界面(graphical userinterface，GUI)，这些GUI都是该电子设备的主屏幕。一般来说，电子设备的显示屏194的尺寸是固定的，只能在该电子设备的显示屏194中显示有限的控件。控件是一种GUI元素，它是一种软件组件，包含在应用程序中，控制着该应用程序处理的所有数据以及关于这些数据的交互操作，用户可以通过直接操作(direct manipulation)来与控件交互，从而对应用程序的有关信息进行读取或者编辑。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本实施例中，处理器110可以通过执行存储在内部存储器121中的指令，获取待处理素材对应的业务类型，基于媒体中台后处理框架，根据待处理素材对应的业务类型，构建相关的数据处理节点，根据各个数据处理节点之间的连接关系，连接各个数据处理节点，生成与该待处理应用对应的管线图。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。

另外，在上述部件之上，运行有操作***。例如苹果公司所开发的iOS操作***，谷歌公司所开发的Android开源操作***，微软公司所开发的Windows操作***等。在该操作***上可以安装运行应用程序。

电子设备的操作***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android***为例，示例性说明电子设备的软件结构。

图2是本申请实施例提供的一种电子设备的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括相机，相册，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。在本申请实施例中，上述相册应用中包括视频合成业务，图片合成业务，以及一键成片业务等。

媒体中台后处理框架层可以位于应用层和应用程序框架层之间。

如图3所示，该图为本申请实施例提供的一种媒体中台后处理框架的示意图。媒体中台后处理框架中包括软件开发包(SDK)、管线编排模块、线程管理模块、消息管理模块、时钟控制模块、资源管理模块、节点管理模块以及管线图。图中标注1102的方框为各个数据处理节点的端口。其中，管线图1101由多个数据处理节点连接组成。具体地，管线图的生成需要通过后处理管线模块、后处理图生成模块以及后处理节点构建模块等。本申请实施例中以一键成片业务为例，与一键成片业务相对应的多个数据处理节点可以包括处理视频数据的数据处理节点和处理图片数据的数据处理节点。其中，处理视频数据的数据处理节点可以包括视频解码节点、视频格式转换节点以及降分辨率节点以及视频高光分析节点等，处理图片数据的数据处理节点可以包括图片格式转换节点以及图片高光分析节点等。

后处理管线模块，用于接收应用层下发的待处理素材，根据待处理素材对应的业务类型，向后处理节点构建模块发送相关数据处理节点的构建指令。在相关数据处理节点构建完成后，向后处理图生成模块发送连接指令。在将多个数据处理节点进行连接，得到多个数据处理节点连接的管线图，在管线运行时，待处理素材会基于管线图中的数据处理节点的连接关系，从管线图中的初始数据处理节点流向管线图中的末位数据处理节点。初始数据处理节点对待处理素材进行处理或加工，后续数据处理节点对前一个数据处理节点的输出数据进一步处理或加工，直至末位数据处理节点处理完毕。将末位数据处理节点处理后的数据返回至应用层。

后处理节点构建模块，用于根据待处理素材对应的业务类型，构建相关的数据处理节点，示例性的，对于处理视频数据，构建的数据处理节点可以包括视频解码节点、视频格式转换节点以及降分辨率节点以及视频高光分析节点等；对于处理图片数据，构建的数据处理节点可以包括图片格式转换节点以及图片高光分析节点等。

后处理图生成模块，用于连接各个数据处理节点，进而完成管线图的构建。示例性的，对于一键成片业务，将视频解码节点与视频格式转换节点连接，将视频格式转换节点与降分辨率节点连接，将降分辨率节点与视频高光分析节点连接，将图片格式转换节点与图片高光分析节点连接，进而完成一键成片业务对应的管线图。

视频解码节点，用于接收MIME类型和meta信息(元信息)，构建音频解码器和视频解码器，将多媒体数据流通过编解码器组件(如MediaCodec)进行解码，并将解码后的数据传给下一个数据处理节点，如视频格式转换节点。视频解码节点的输入可以是视频文件的meta信息和MIME类型，输出为多媒体数据流(例如视频流、音频流)。

视频格式转换节点，用于接收视频解码节点输出的解码后的数据，将解码后的数据转换为下一个数据处理节点所支持的格式。例如，解码后的数据格式为RGB格式或YUV格式，下一个数据处理节点支持YUV格式，则将解码后的数据的格式转换为YUV格式，以便下一个数据处理节点可以继续相应的数据处理。

降分辨率节点，用于降低输入数据的分辨率。降分辨率节点的输入可以是视频帧数据，输出也是视频帧数据。

视频高光分析节点，用于接收降分辨率节点处理后的数据，分析出视频的高光片段。

图片格式转换节点，用于将应用层下发的图片格式转换为下一个数据处理节点所支持的格式。例如，将应用层下发的图片格式转换为图片高光分析节点所支持的格式。

图片高光分析节点，用于接收图片格式转换节点处理后的数据，分析出图片的高光信息。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

需要说明的是，本申请实施例虽然以Android***为例进行说明，但是其基本原理同样适用于基于iOS、Windows等操作***的电子设备。

为了使得本申请的技术方案更加清楚、易于理解，下面结合图4，对本申请实施例提供的一种管线图的创建方法进行介绍，图4为本申请实施例提供的一种创建管线图方法的示意图。本方法包括：后处理管线模块获取待处理素材对应的业务类型，基于媒体中台后处理框架，根据待处理素材对应的业务类型，创建相关的数据处理节点，根据各个数据处理节点之间的连接关系，连接各个数据处理节点，生成与该待处理素材对应的管线图。由于本申请中可以根据业务类型，基于媒体中台后处理框架，构建出该业务类型对应的数据处理节点，通过连接各个数据处理节点，完成管线图的创建，提高了管线图的创建效率，同时，响应于对所述管线图的修改操作，修改所述管线图中数据处理节点，所述修改包括删除至少一个已有的数据处理节点和增加新的数据处理节点。

获取待处理素材对应的业务类型。其中，业务类型为应用中包含的各种业务的类型，例如相册应用中可以包括添加滤镜，一键成片，图片转换以及智能抠图等业务类型。示例性的，电子设备可以响应于用户对主界面中目标应用的图标的触摸操作，启动目标应用。如图5所示，该图为本申请实施例提供的一种启动目标应用的示意图。以目标应用是相册为例，手机的触摸传感器180K可以接收到用户在手机主界面中相册的图标的触摸操作，并上报给处理器110，处理器110可以响应于该触摸操作，在显示屏194中显示该相册对应的用户界面，该相册对应的用户界面中显示有相册对应的业务类型，例如一键成片业务、视频合成业务以及图片合成业务等。此外，本申请实施例中还可以通过其它方式使得手机启动目标应用，并在显示屏194上显示对应的用户界面。

基于媒体中台后处理框架，根据待处理素材对应的业务类型，构建该业务类型对应的业务管线。其中，基于媒体中台后处理框架中包含多个配置好的数据处理节点，数据处理节点可以视为一个媒体数据处理模块，其中封装了媒体处理算法，可以提供处理媒体数据的能力，不同的数据处理节点对应不同的媒体数据处理能力。其可以具有多个输入数据，也可以具有多个输出数据。业务管线由多个数据处理节点构成，同时至少两个数据处理节点的功能不同，业务管线中的数据处理节点的类型以及数量由业务类型决定。

在确定构成业务管线的数据处理节点之后，可以确定所述业务类型对应的数据处理节点连接方式，进而根据该连接方式实现各个数据处理节点之间的连接。具体地，可以根据各个数据处理节点中的端口类型，获得各个数据处理节点之间的连接关系。具体地，数据处理节点中包含节点端口，其中节点端口具有方向性，可以分为输入端口和输出端口，可以将相同端口类型的端口相互连接。其中，端口类型包括数字类型、字符串类型以及视频帧类型。

在获得各个数据处理节点之间的连接关系之后，则可以根据各个数据处理节点之间的连接关系，连接各个数据处理节点，完成管线图的创建。具体地，通过连接各个数据处理节点，可以获得协商处理对应的媒体数据的能力。即在完成管线图的创建后通过运行该管线图，各个数据处理节点可以通过输入端口获得该数据处理节点需要处理的数据，在该数据处理节点对该数据进行处理后，可以根据管线图，通过输出端口，将处理后的数据发送给下一个数据处理节点，以便该下一个数据处理节点可以继续对该处理后的数据进行下一步处理。

在创建了管线图之后，可以根据对管线图的修改操作，对管线图中的多个数据处理节点进行修改。具体地，可以删除至少一个已有的数据处理节点和增加新的数据处理节点。从而对于一个新的业务时，可以快速的创建出对应的管线图，提高了管线图的创建效率。

进一步地，可以根据业务类型创建多条业务管线，多条业务管线的运行顺序由业务类型确定，在获得多条业务管线的运行顺序后，可以根据运行顺序运行多条业务管线。从而提升了业务的运行效率。

综上所述，本申请实施例中可以根据待处理素材对应业务类型，基于媒体中台后处理框架层中的数据处理节点，构建出业务管线，通过连接各个数据处理节点，完成管线图的创建。本申请中由于媒体中台后处理框架层中各个数据处理节点是配置好的，可以根据业务类型，将媒体中台后处理框架层中各个数据处理节点进行组合，实现管线图的动态创建。同时，不同业务类型在数据处理节点上可能有交集，本申请中可以在已有的管线图基础上通过处理节点连接关系的重新构建，实现相关业务功能。例如用户在启动视频合成业务时，运行视频合成业务对应的管线图，在此基础上，用户还需要进行添加滤镜业务，此时需要根据添加滤镜业务，可以在视频合成业务对应的管线图的基础上，添加与添加滤镜业务相关的数据处理节点，并对相关的数据处理节点进行连接，实现管线图的动态创建。相比于现有技术中，各个业务对应的管线图是固定，无法改变的，当需要添加新的业务时，需要重新创建新的业务对应的管线图，使得管线图的创建效率低。同时，若当前业务和需要添加新的业务在数据处理节点上存在交集，现有的方法会存在重复构建的情况，浪费开发资源。

本申请提供的管线图创建方法根据业务类型，将媒体中台后处理框架层中各个数据处理节点进行组合，即可实现管线图的动态创建，可以在已有的管线图基础上通过处理节点连接关系的重新构建，实现相关业务功能，有效提高了管线图的创建效率，使得管线的创建更为简便快捷。同时可以实现各种业务类型对应的管线图的创建，扩展了管线图的能力。

下面以业务类型为视频合成为例，对本申请提供的一种管线图的创建方法进行详细说明。

如图6所示，该图为本申请实施例提供的一种创建视频合成业务的管线图的示意图。用户打开应用软件(APP)点击视频合成，选取多个视频并点击确认后，应用软件将用户选取的多个视频发送给后处理管线模块，后处理管线模块开始构建视频分析管线，从后处理节点构建模块中，分别构建出解码节点、格式转换节点、降分辨率节点和视频高光分析节点。在构建完视频合成业务所需的各个数据处理节点后，通过后处理图生成模块去连接各个数据处理节点，如图中所示，将解码节点与格式转换节点进行连接，将格式转换节点与降分辨率节点连接，将降分辨率节点与高光片段分析节点连接，由此完成了一个视频合成业务的管线图的创建。视频合成业务管线图构建完成后，即可通过运行该视频合成业务管线图，以进行视频分析，获取视频高光片段。将视频高光片段发送给应用软件，该应用软件可以根据高光片段合成视频并最终输出。

如图7所示，该图为本申请实施例提供的一种启动视频合成业务的示意图。用户通过点击合成视频业务对应的图标，可以进入视频选择界面选择一个或多个视频，图中有对钩标记的视频图标，表示用户选中的视频，将用户选中的视频作为待处理素材。

在获得业务类型为视频合成业务后，构建出视频合成业务对应的视频分析管线。具体地，业务类型为视频合成业务，根据该业务类型即可确定出构建视频分析管线需要的数据处理节点。例如，视频合成业务对应的数据处理节点包括视频解码节点、视频格式转换节点、降分辨率节点以及视频高光分析节点。

其中，视频解码节点，用于对视频数据进行解码。由于视频数据在传输时，通常要进行视频压缩，以免数据量过于庞大，而视频压缩需要通过一定的编码，才能在保证存储质量的情况下，用较小的容量来传输该视频信息。因此在需要对视频数据进行处理时要对编码后的视频数据进行解码。格式转换节点，用于对解码后的视频数据进行格式转换，以获得降分辨率节点支持的格式类型，便于该降分辨率节点可以对该格式的视频数据进行降分辨率。视频高光分析节点可以分析出一个视频的高光片段。

在确定出数据处理节点之后，根据各个数据处理节点中的端口类型，获得各个数据处理节点之间的连接关系。根据各个数据处理节点中的端口类型，可以确定解码节点与格式转换节点，格式转换节点与降分辨率节点，降分辨率节点与视频高光分析节点之间存在连接关系。根据解码节点与格式转换节点，格式转换节点与降分辨率节点，降分辨率节点与视频高光分析节点之间存在连接关系，将解码节点与格式转换节点进行连接，将格式转换节点与降分辨率节点连接，将降分辨率节点与高光片段分析节点连接，由此完成了一个视频合成业务管线图的创建。

进一步地，以用户选取的多个视频作为输入，运行该管线图，可以获得各个视频中的高光片段，将各个视频中的高光片段进行合成，可以在用户界面中展示合成后的视频。

基于上述描述的内容，本申请实施例提供的一种管线图的创建方法，当业务类型为视频合成业务时，确定出由视频解码节点、视频格式转换节点、降分辨率节点和视频高光分析节点组成的视频分析管线。在确定出视频分析管线所需的各个数据处理节点后，根据各个数据处理节点的端口类型，连接各个数据处理节点，生成该视频合成业务对应的管线图，进而便于基于该管线图进行视频合成。

下面以业务类型为图片合成为例，对本申请提供的一种管线图的创建方法进行详细说明。

如图8所示，该图为本申请实施例提供的一种创建图片合成业务的管线图的示意图。用户打开应用软件点击图片合成业务对应的图标，选取多个图片并点击确认后，应用软件将用户选取的多个图片发送给后处理管线模块，后处理管线模块开始构建图片分析管线，与上述实施例不同的是，从后处理节点构建模块中，分别构建出图片格式转换节点以及图片高光分析节点。在构建完图片合成业务所需的各个数据处理节点后，通过后处理图生成模块去连接各个数据处理节点，如图中所示，将图片格式转换节点与图片高光片段分析节点进行连接，由此完成了一个图片合成业务管线图的创建。图片合成业务管线图构建完成后，即可通过运行该图片合成业务管线图，以进行图片分析，获取各个图片的高光信息。将各个图片的高光信息发送给应用软件，该应用软件可以根据图片的高光信息合成视频并最终输出。如图9所示，该图为本申请实施例提供的一种启动图片合成业务的示意图。用户通过点击合成图片业务对应的图标，可以进入图片选择界面选择一个或多个图片，图中有对钩标记的图片图标，表示用户选中的图片，将用户选中的图片作为待处理素材。

在获得业务类型为图片合成业务后，构建出图片合成业务对应的图片分析管线。具体地，业务类型为图片合成业务，根据该业务类型即可确定构建图片分析管线需要的数据处理节点。图片合成业务对应的数据处理节点包括图片格式转换节点以及图片高光分析节点。

其中，图片格式转换节点，用于对图片数据进行格式转换，以获得图片高光分析节点支持的格式类型，便于该图片高光分析节点可以对该格式的图像数据进行图片高光分析。图片高光分析节点，可以分析出一个图片的高光信息。

在构建出数据处理节点之后，根据各个数据处理节点中的端口类型，获得各个数据处理节点之间的连接关系。在图片合成业务中，根据各个数据处理节点中的端口类型，可以确定图片格式转换节点以及图片高光分析节点之间存在连接关系。进而将图片格式转换节点以及图片高光分析节点进行连接，完成了一个图片合成业务管线图的创建。

进一步地，以用户选取的多个图片作为输入，运行该管线图，可以获得各个图片中的高光信息，将各个图片进行合成，可以在用户界面中为用户展示合成后的视频或图像。具体地，可以根据图片的高光信息可以获得图片的评分，将图片评分高于预设值的图片进行合成。

基于上述描述的内容，本申请实施例提供的一种管线图的创建方法，当业务类型为图片合成业务时，构建出由图像格式转换节点以及图像高光分析节点组成的图片分析管线。在确定出构建图片合成业务所需的各个数据处理节点后，根据各个数据处理节点的端口类型，连接各个数据处理节点，生成该图片合成业务对应的管线图，进而便于基于该管线图进行图像合成，提高了图像合成的效率。

下面以业务类型为一键成片业务为例，对本申请提供的一种管线图的创建方法进行详细说明。

如图10所示，该图为本申请实施例提供的一种创建一键成片业务的管线图的示意图。用户打开应用软件点击一键成片业务对应的按钮，选取多个视频以及图片并点击确认后，应用软件将用户选取的多个视频以及图片发送给后处理管线模块，后处理管线模块开始构建视频分析管线以及图片分析管线，从后处理节点构建模块中，分别构建出视频分析管线对应的解码节点、格式转换节点、降分辨率节点和视频高光分析节点，以及图片分析管线对应的图片格式转换节点以及图片高光分析节点。在构建完一键成片业务所需的各个数据处理节点后，通过后处理图生成模块去连接各个数据处理节点，如图中所示，将解码节点与格式转换节点进行连接，将格式转换节点与降分辨率节点连接，将降分辨率节点与高光片段分析节点连接，将图片格式转换节点与图片高光分析节点进行连接，由此完成了一个一键成片业务管线图的创建。一键成片业务管线图构建完成后，即可通过运行该一键成片业务管线图，以进行视频和图片分析，获得各个视频的高光片段以及各个图片的高光信息。将各个视频的高光片段以及各个图片的高光信息发送给应用软件，该应用软件可以将各个视频的高光片段和各个图片进行合成，获得最终输出。如图11所示，该图为本申请实施例提供的一种启动一键成片业务的示意图。用户通过点击一键成片业务对应的图标，可以进入选择界面选择一个或多个视频、图像，图中有对钩标记的图片图标以及视频图标，表示用户选中的图片和视频，将用户选中的图片和视频作为待处理素材。

在获得业务类型为一键成片业务后，构建出一键成片业务对应的业务管线。具体地，业务类型为一键成片业务，根据该业务类型即可确定出构建一键成片业务对应的业务管线需要的数据处理节点。一键成片业务对应的数据处理节点包括处理视频数据对应的视频解码节点、视频格式转换节点、降分辨率节点和视频高光分析节点，以及处理图片数据对应的图片格式转换节点和图片高光分析节点。与上述实施例相同的内容在此不再赘述。

在构建出数据处理节点之后，根据各个数据处理节点中的端口类型，获得各个数据处理节点之间的连接关系。根据各个数据处理节点中的端口类型，可以确定解码节点与格式转换节点，格式转换节点与降分辨率节点，降分辨率节点与视频高光分析节点，以及图片格式转换节点和图片高光分析节点之间存在连接关系。

根据解码节点与格式转换节点，格式转换节点与降分辨率节点，降分辨率节点与视频高光分析节点之间存在连接关系，将解码节点与格式转换节点进行连接，将格式转换节点与降分辨率节点连接，将降分辨率节点与高光片段分析节点连接，将图片格式转换节点和图片高光分析节点进行连接，由此完成了一个一键成片业务管线图的创建。

进一步地，以用户选取的多个视频和图片作为输入，运行该管线图，可以获得各个视频中的高光片段，以及各个图片的高光信息，根据图片的高光信息可以获得图片的评分，将图片评分高于预设值的图片与各个视频中的高光片段进行合成，可以在用户界面中为用户展示合成后的最终输出结果。

基于上述描述的内容，本申请实施例提供的一种管线图的创建方法，当业务类型为一键成片业务时，确定出一键成片业务对应的数据处理节点为视频解码节点、视频格式转换节点、降分辨率节点、视频高光分析节点，以及图片格式转换节点和图片高光分析节点，根据各个数据处理节点的端口类型，连接各个数据处理节点，生成该一键成片业务对应的管线图，进而便于基于该管线图进行视频和图片的分析，获得最终的输出结果。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本实施例所提供的几个实施例中，应该理解到，所揭露的设备、存储介质和方法，可以通过其它的方式实现。

另外，在本实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种管线图的创建方法，其特征在于，包括：

确定待处理素材对应的业务类型；

根据所述业务类型创建业务管线；所述业务管线包括多个数据处理节点，其中至少两个数据处理节点的功能不同；

连接所述多个数据处理节点以形成管线图；

响应于对所述管线图的修改操作，修改所述管线图中数据处理节点，所述修改包括删除至少一个已有的数据处理节点和增加新的数据处理节点。

2.根据权利要求1所述的管线图的创建方法，其特征在于，所述连接所述多个数据处理节点，具体包括：

确定所述业务类型对应的数据处理节点连接方式；

根据所述业务类型对应的数据处理节点连接方式对所述多个数据处理节点进行连接。

3.根据权利要求2所述的管线图的创建方法，其特征在于，所述确定所述业务类型对应的数据处理节点连接方式，具体包括：

获取所述多个数据处理节点的端口类型；

根据端口类型确定所述业务类型对应的数据处理节点连接方式。

4.根据权利要求3所述的管线图的创建方法，其特征在于，所述数据处理节点连接方式，具体为：

相同端口类型的端口相互连接。

5.根据权利要求1-4任一项所述的管线图的创建方法，其特征在于，在所述连接所述多个数据处理节点以形成管线图之后，所述方法还包括：

运行所述业务管线，以通过所述多个数据处理节点处理所述待处理素材。

6.根据权利要求5所述的管线图的创建方法，其特征在于，所述根据所述业务类型创建业务管线，包括：

根据所述业务类型创建多条业务管线；

所述运行所述业务管线，具体包括：

根据所述业务类型确定所述多条业务管线的运行顺序；

根据所述多条业务管线的运行顺序，运行所述多条业务管线。

7.根据权利要求1-5任一项所述的管线图的创建方法，其特征在于，所述业务类型为视频合成业务，所述视频合成业务对应的业务管线为视频分析管线；

所述视频分析管线包括：视频解码节点，视频格式转换节点，降分辨率节点和视频高光分析节点。

8.根据权利要求1-5任一项所述的管线图的创建方法，其特征在于，所述业务类型为图片合成业务，所述图片合成业务对应的业务管线为图片分析管线；

所述图片分析管线包括：图片格式转换节点和图片高光分析节点。

9.根据权利要求1-5任一项所述的管线图的创建方法，其特征在于，所述业务类型为一键成片业务，所述一键成片业务对应的业务管线包括视频分析管线和图片分析管线；

所述视频分析管线包括：视频解码节点，视频格式转换节点，降分辨率节点和视频高光分析节点；

所述图片分析管线包括：图片格式转换节点和图片高光分析节点。

10.根据权利要求5所述的管线图的创建方法，其特征在于，还包括：

输出所述多个数据处理节点对所述待处理素材的处理结果。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如权利要求1-10任一项所述的管线图的创建方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的管线图的创建方法的步骤。