CN110991369A - 图像数据处理方法及相关装置 - Google Patents

图像数据处理方法及相关装置 Download PDF

Info

Publication number
CN110991369A
CN110991369A CN201911252585.5A CN201911252585A CN110991369A CN 110991369 A CN110991369 A CN 110991369A CN 201911252585 A CN201911252585 A CN 201911252585A CN 110991369 A CN110991369 A CN 110991369A
Authority
CN
China
Prior art keywords
face
module
data frame
algorithm
party application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911252585.5A
Other languages
English (en)
Inventor
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911252585.5A priority Critical patent/CN110991369A/zh
Publication of CN110991369A publication Critical patent/CN110991369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像数据处理方法及相关装置,方法包括:第三方应用向硬件抽象模块发送脸部特征检测请求;所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。本申请实施例有利于利用底层硬件算力,加速脸部特征点检测时算法的运算。

Description

图像数据处理方法及相关装置
技术领域
本申请涉及电子设备技术领域,具体涉及一种图像数据处理方法及相关装置。
背景技术
目前,脸部特征点识别提取已经广泛的应用于美颜算法、人脸表情识别等场景中。通过对各个脸部的特征点做针对性的处理,从细节上进行优化,这在主流的手机相机应用软件,以及相机娱乐应用软件中的使用率很高。
发明内容
本申请实施例提供了一种图像数据处理方法及相关装置,以期利用底层硬件算力,加速脸部特征点检测时算法的运算。
第一方面,本申请实施例提供一种图像数据处理方法,应用于电子设备,所述电子设备包括媒体服务模块和操作***,所述操作***的应用层设置有第三方应用,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块;所述方法包括:
所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;
所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;
所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
第二方面,本申请实施例提供一种图像数据处理装置,应用于电子设备,所述电子设备包括媒体服务模块和操作***,所述操作***的应用层设置有第三方应用,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块;所述装置包括处理单元和通信单元,其中,
所述处理单元用于,控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;
以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
以及控制所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;
以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,电子设备中第三方应用向硬件抽象模块发送脸部特征检测请求,硬件抽象模块接收该第三方应用发送的脸部特征检测请求之后,调用底层驱动以获取第一脸部数据帧,并将该第一脸部数据帧发送给该媒体策略模块,然后该媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对该第一脸部数据帧进行脸部特征检测,最后将该脸部特征点检测的检测结果返回给该第三方应用。可见,由于硬件抽象模块接收到第三方应用的脸部检测请求后,通过底层驱动获取脸部数据帧,并将其发送给媒体策略模块,之后媒体策略模块调用算法模块进行脸部特征点检测时,还使用了预设的硬件对算法的运算进行加速,能应用底层硬件的算力加速算法的运算,之后再将结果返回给该第三方应用,有利于利用底层硬件的算力,加速脸部特征点检测时算法的运算。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的电子设备的软件***结构示意图;
图2是本申请实施例提供的一种图像数据处理方法的流程示意图;
图3是本申请实施例提供的另一种图像数据处理方法的流程示意图;
图4是本申请实施例提供的一种电子设备的结构示意图;
图5是本申请实施例提供的一种图像数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
目前,人脸检测中传统特征点提取算法校准复杂,抗干扰能力差;基于深度学习的特征点检测算法网络复杂,运算量大;从手机应用上看,人脸特征点检测需求高,但是面临运算量大,对于普通开发者门槛高等问题,由于第三方应用虽有大量人脸特征点的检测需求,但是难以对底层的算力充分利用,导致人脸特征点检测中,检测出特征点后做其他的特性时存在延时,预览帧率低的问题。
针对上述问题,本申请实施例提供一种图像数据处理方法及相关装置,下面结合附图对本申请实施例进行详细介绍。
如图1所示,本申请实施例所涉及的电子设备包括媒体服务Omedia Service模块和操作***(例如安卓操作***,此处不做唯一限定),所述操作***的应用层设置有第三方应用和媒体管理Omedia Manager模块(又称为媒体接口模块),所述操作***的硬件抽象层设置有硬件抽象模块(此为安卓原生模块,如原生相机硬件抽象模块CameraHAL)、媒体策略Omedia Strategy模块和算法管理Algo Manager模块,此外,操作***原生架构还包括框架层、驱动层与硬件层,框架层包括各种原生应用的应用接口(如原生相机应用程序接口)、应用服务(如原生相机服务)、框架层接口(如Google HAL3interface),硬件抽象层包括硬件抽象层接口(例如:HAL3.0)、各种原生应用的硬件抽象模块(如相机硬件抽象模块),驱动层包括各种驱动(例如屏幕Display驱动、音频Audio驱动等),该于驱动层用于使能电子设备的各种硬件,例如图像信号处理器ISP+前端图像传感器sensors等,硬件层包括各种硬件(例如中央处理器CPU;网络处理器NPU;图像处理器GPU;数字信号处理器DSP等)。
其中,媒体服务模块独立于操作***设置,第三方应用可以通过媒体管理模块与媒体服务模块进行通信,媒体服务模块可以通过由应用接口、应用服务、框架层接口、硬件抽象层接口以及硬件抽象模块组成的安卓原生信息链路与媒体策略模块通信,媒体策略模块与算法管理模块通信,算法管理模块维护安卓原生的算法库,算法库包括各种原生应用所支持的增强功能,如针对原生相机应用,支持其实现双目拍照、美颜、锐化、夜景等各类增强功能。此外,媒体服务模块也可以与媒体策略模块或者算法管理模块直连通信。
基于上述架构,所述媒体服务模块可以通过安卓原生信息链路、媒体策略模块、算法管理模块使能算法库中的算法模块,或者,直接通过媒体策略模块和算法管理模块使能算法库中的算法模块,或者,直接通过算法管理模块使能算法库中的算法模块,从而实现针对第三方应用开放原生应用关联的增强功能。
基于上述架构,所述媒体服务模块可以通过安卓原生信息链路,或者,通过由媒体策略模块和硬件抽象模块组成的第一信息链路,或者,通过由媒体策略模块、算法管理模块和硬件抽象模块组成的第二信息链路,调用应用的驱动以使能某些硬件,从而实现针对第三方应用开放原生应用关联的硬件。
请参阅图2,图2是本申请实施例提供了一种图像数据处理方法的流程示意图,该图像数据处理方法可以应用于如图1所示的电子设备。
如图所示,本图像数据处理方法包括以下操作。
S201,第三方应用向硬件抽象模块发送脸部特征检测请求;
S202,所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
具体实现中,硬件抽象模块接收到第三方应用发送的请求之后,可以对请求做初步分析,确定该请求是脸部特征检测请求时,再通过底层驱动获取第一脸部数据帧。第一脸部数据帧可以是底层驱动读取的相机预览帧数据,例如,硬件抽象模块接收到脸部检测请求之后,可以调用底层驱动读取硬件层中相机硬件中预览帧数据,并将该预览帧数据作为脸部特征点检测的脸部数据帧发送给媒体策略模块做进一步处理。
S203,所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;
S204,所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
具体实现中,媒体策略模块接收到底层驱动发送的第一脸部数据帧之后,可以调用用于实现目标功能的算法对该数据帧进行处理,这里的实现目标功能的算法可以是脸部特征点检测相关的算法,在使用算法进行运算的时候,调用硬件加速算法的运算,进行脸部特征点检测之后,会实时的将脸部特征点检测结果回传给发出脸部检测请求的第三方应用,后续第三方应用根据脸部特征点检测的结果,就可以做进一步的特效处理、美颜、美妆、饰品贴图、人脸表情识别等,或者直接应用到人脸识别考勤等场景中,由于使用硬件算力加速了算法的运算,能够使用更大更优的算法进行处理获得更好的处理效果,同时可以减少处理时间长造成后续做其他处理时存在的延时,预览帧率低的问题。
可以看出,本申请实施例中,电子设备中第三方应用向硬件抽象模块发送脸部特征检测请求,硬件抽象模块接收该第三方应用发送的脸部特征检测请求之后,调用底层驱动以获取第一脸部数据帧,并将该第一脸部数据帧发送给该媒体策略模块,然后该媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对该第一脸部数据帧进行脸部特征检测,最后将该脸部特征点检测的检测结果返回给该第三方应用。可见,由于硬件抽象模块接收到第三方应用的脸部检测请求后,通过底层驱动获取脸部数据帧,并将其发送给媒体策略模块,之后媒体策略模块调用算法模块进行脸部特征点检测时,还使用了预设的硬件对算法的运算进行加速,能应用底层硬件的算力加速算法的运算,之后再将结果返回给该第三方应用,有利于利用底层硬件的算力,加速脸部特征点检测时算法的运算。
在一个可能的示例中,所述硬件包括以下至少一种:网络处理器;图像处理器;数字信号处理器。
其中,嵌入式神经网络处理器(Neural-network Processing Unit,NPU)采用“数据驱动并行计算”的架构,擅长处理视频、图像类的大量多媒体数据;图像处理器(GraphicsProcessing Unit,GPU),又称显示核心、视觉处理器、显示芯片,是一种做图像和图形相关运算工作的微处理器;数字信号处理器(digital signal processing,DSP)是以数字信号来处理大量信息的器件;中央处理器(CPU,central processing unit)作为计算机***的运算和控制核心,是信息处理、程序运行的最终执行单元,对于图像的处理,还可以调用除CPU之外其他的硬件例如上述的NPU、GPU、DSP等进行运算,可以充分利用底层硬件的算力。
可见,本示例中,在使用预设算法进行脸部特征点检测时,通过调用硬件,使用硬件的算力加速算法的运算,有利于加速脸部特征点检测时算法的运算,提高特征点检测的实时性。
在一个可能的示例中,所述第一脸部数据帧包括:未经加工图像域第一脸部数据帧。
其中,未经加工图像raw域中raw的原意就是“未经加工”。可以理解为:raw图像就是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。raw文件是一种记录了数码相机传感器的原始信息的文件。raw是未经处理、也未经压缩的格式,可以把raw概念化为“原始图像编码数据”或更形象的称为“数字底片”。
可见,本示例中,使用raw域的第一脸部数据帧,基于raw域做人脸特征点检测,原始信息保留更好,更加精准,有利于提高检测结果的精确性。
在一个可能的示例中,所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,包括:所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测;若检测到脸部,则继续对所述脸部区域的第二脸部数据帧进行特征点检测。
其中,在进行脸部检测时,可以采用基于深度学习的脸部特征点,先检测出脸部的区域,再针对该脸部区域做进一步的特征点检测,提取脸部特征点,若对底层驱动上传的脸部数据帧进行处理时,没有检测到脸部,那么直接结束本次的脸部特征点检测,不再进行后续的处理。
可见,本示例中,进行脸部特征点检测时,先检测出脸部,再针对脸部区域进行特征点检测,有利于提高检测结果的准确性,提高检测效率。
在一个可能的示例中,所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测,包括:所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域;所述继续对所述脸部区域的第二脸部数据帧进行特征点检测包括:将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出所述人脸区域中的人脸特征点,其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到。
其中,针对于人脸特征点检测,在检测时,可以采用基于深度学习的人脸特征点检测算法,先通过人脸检测算法检测出人脸区域,这里也可以通过人脸检测器实现,之后针对检测出的人脸区域,将人脸区域的第二脸部数据帧作为神经网络的输入,送入预先训练好的人脸特征点识别模型中进行处理,该人脸特征点识别模型是预先根据大量的人脸图像数据和人脸特征点数据进行训练得到的,能快速准确的进行人脸特征点检测。
具体实现中,处理进行人脸识别之外,也可以采用动物脸部检测相关的算法,调用相关的算法模块进行处理,并通过硬件对算法进行加速,完成动物脸部特征点的检测。
可见,本示例中,媒体策略模块先调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对第一脸部数据帧进行处理,检测出人脸区域,之后再将该人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出该人脸区域中的人脸特征点,先检测出人脸区域,再具有针对性的进行特征点检测,并且该人脸特征点识别模型是预先根据大量的人脸图像数据和人脸特征点数据进行训练得到的,有利于提高人脸特征点检测的准确性。
在一个可能的示例中,所述操作***的硬件抽象层还设置有算法管理模块,所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前,所述方法还包括:所述第三方应用向所述媒体服务模块发送请求所述操作***开放的目标功能;所述媒体服务模块接收所述请求所述操作***开放的目标功能,通过所述媒体策略模块向所述算法管理模块发送所述请求所述操作***开放的目标功能;所述算法管理模块使能用于实现所述目标功能的算法模块。
具体实现中,第三方应用在向硬件抽象模块发送脸部特征检测请求之前,可以先向媒体服务模块发送请求操作***对其开放的目标功能,媒体服务模块接收到该目标功能之后,可以先将该目标功能的配置信息转换成算法管理模块能识别的配置信息,之后再通过媒体策略模块将该算法管理模块能识别的配置信息发送给算法管理模块,进而该算法管理模块可以根据该配置信息使能用于实现该目标功能的算法模块。第三方应用可以通过使能后的算法模块进行数据处理,或者使用使能后算法模块处理得到的数据。未经使能的算法模块不能使用。
媒体服务模块和第三方应用可以通过媒体管理模块进行通信,在使能用于实现目标功能的算法模块之前,可以对第三方应用进行鉴权,鉴权通过后在向该第三方应用开放功能,媒体服务模块和第三方应用可以通过媒体管理模块实现信息交互,完成鉴权和授权。
可见,本示例中,第三方应用向媒体服务模块发送请求***开放的目标功能,并通过媒体策略模块向算法管理模块发送该目标功能,最后使得算法管理模块使能用于实现该目标功能的算法模块,第三方应用可以使用底层算法模块处理后的数据,但并不是直接向其开放底层的功能,有利于安全的开放底层能力。
请参阅图3,图3是本申请实施例提供的另一种图像数据处理方法的流程示意图,该图像数据处理方法可以应用于如图1所示的电子设备中。
如图所示,本图像数据处理方法包括以下操作:
S301,第三方应用向硬件抽象模块发送脸部特征检测请求;
S302,所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
S303,所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域;
S304,若检测到人脸,则将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出所述人脸区域中的人脸特征点;
其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到。
S305,所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到,媒体策略模块调用硬件加速算法的处理,能使用更大更优的模型进行运算,实时将检测结果发回给第三方应用,第三方应用可以快捷的使用人脸特征点信息,充分应用底层硬件算力,降低了基于人脸特征点的图像处理应用软件的技术门槛。
可以看出,本申请实施例中,电子设备中硬件抽象模块接收来自第三方应用的脸部检测请求之后,调用底层驱动获取第一脸部数据帧,并向媒体策略模块发送该第一脸部数据帧,之后该媒体策略模块再调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域,再将人脸区域的第二脸部数据帧输入预先训练的神经网络中进行处理,检测出人脸特征点,最后再将脸部特征点检测的检测结果发送给所述第三方应用,可见,由于硬件抽象模块接收来自第三方应用的脸部检测请求之后并调用底层驱动获取第一脸部数据帧之后,媒体策略模块再调用用于实现人脸特征点检测功能的算法模块进行人脸特征点检测时,调用了底层硬件,能应用底层硬件的算力加速算法的运算,之后再将结果实时返回给该第三方应用,有利于利用底层硬件的算力,加速脸部特征点检测时算法的运算,采用人脸检测算法和人脸特征点识别模型进行人脸特征点检测,有利于提高检测结果的准确性。
与上述图2、图3所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种电子设备400的结构示意图,如图所示,所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421,其中,所述一个或多个程序421被存储在上述存储器420中,并且被配置由上述应用处理器410执行,所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的示例中,所述程序421中包括用于执行以下步骤的指令:控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;以及控制所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
在一个可能的示例中,所述硬件包括以下至少一种:网络处理器;图像处理器;数字信号处理器。
在一个可能的示例中,所述第一脸部数据帧包括:未经加工图像域第一脸部数据帧。
在一个可能的示例中,在控制所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测方面,所述程序421中的指令具体用于执行以下操作:控制所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测;若检测到脸部,则继续对所述脸部区域的第二脸部数据帧进行特征点检测。
在一个可能的示例中,在所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测方面,所述程序421中的指令具体用于执行以下操作:控制所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域;在所述继续对所述脸部区域的第二脸部数据帧进行特征点检测方面,所述程序421中的指令具体用于执行以下操作:将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出所述人脸区域中的人脸特征点,其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到。
在一个可能的示例中,所述操作***的硬件抽象层还设置有算法管理模块,在控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前,所述程序421中还包括用于执行以下操作的指令:控制所述第三方应用向所述媒体服务模块发送请求所述操作***开放的目标功能;以及控制所述媒体服务模块接收所述请求所述操作***开放的目标功能,通过所述媒体策略模块向所述算法管理模块发送所述请求所述操作***开放的目标功能;以及控制所述算法管理模块使能用于实现所述目标功能的算法模块。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图5是本申请实施例中所涉及的图像数据处理装置500的功能单元组成框图。该图像数据处理装置500应用于电子设备,所述电子设备包括媒体服务模块和操作***,所述操作***的应用层设置有第三方应用,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块;所述图像数据处理装置包括处理单元501和通信单元502,其中,所述处理单元501,用于执行如上述方法实施例中的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。
所述处理单元501用于,控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;以及控制所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
在一个可能的示例中,所述硬件包括以下至少一种:网络处理器;图像处理器;数字信号处理器。
在一个可能的示例中,所述第一脸部数据帧包括:未经加工图像域第一脸部数据帧。
在一个可能的示例中,在控制所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测方面,所述处理单元501具体用于,控制所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测;若检测到脸部,则继续对所述脸部区域的第二脸部数据帧进行特征点检测。
在一个可能的示例中,在所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测方面,所述处理单元501具体用于,控制所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域;在所述继续对所述脸部区域的第二脸部数据帧进行特征点检测方面,所述处理单元501具体用于,将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出所述人脸区域中的人脸特征点,其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到。
在一个可能的示例中,所述操作***的硬件抽象层还设置有算法管理模块,在控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前,所述处理单元501还用于,控制所述第三方应用向所述媒体服务模块发送请求所述操作***开放的目标功能;以及控制所述媒体服务模块接收所述请求所述操作***开放的目标功能,通过所述媒体策略模块向所述算法管理模块发送所述请求所述操作***开放的目标功能;以及控制所述算法管理模块使能用于实现所述目标功能的算法模块。
其中,所述图像数据处理装置500还可以包括存储单元503,用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器,所述通信单元502可以是触控显示屏或者收发器,存储单元503可以是存储器。
可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。
本申请实施例还提供了一种芯片,其中,该芯片包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像数据处理方法,其特征在于,应用于电子设备,所述电子设备包括媒体服务模块和操作***,所述操作***的应用层设置有第三方应用,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块;所述方法包括:
所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;
所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;
所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述预设硬件包括以下至少一种:网络处理器;图像处理器;数字信号处理器。
3.根据权利要求1所述的方法,其特征在于,所述第一脸部数据帧包括:未经加工图像域第一脸部数据帧。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,包括:
所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测;
若检测到脸部,则继续对所述脸部区域的第二脸部数据帧进行特征点检测。
5.根据权利要求4所述的方法,其特征在于,所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测,包括:
所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理,检测出人脸区域;
所述继续对所述脸部区域的第二脸部数据帧进行特征点检测包括:
将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理,检测出所述人脸区域中的人脸特征点,其中,所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练得到。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述操作***的硬件抽象层还设置有算法管理模块,所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前,所述方法还包括:
所述第三方应用向所述媒体服务模块发送请求所述操作***开放的目标功能;
所述媒体服务模块接收所述请求所述操作***开放的目标功能,通过所述媒体策略模块向所述算法管理模块发送所述请求所述操作***开放的目标功能;
所述算法管理模块使能用于实现所述目标功能的算法模块。
7.一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括媒体服务模块和操作***,所述操作***的应用层设置有第三方应用,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块;所述装置包括处理单元和通信单元,其中,
所述处理单元用于,控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求;
以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求,调用底层驱动以获取第一脸部数据帧,并将所述第一脸部数据帧发送给所述媒体策略模块;
以及控制所述媒体策略模块接收所述第一脸部数据帧,调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测,所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所述操作***对所述第三方应用开放的;
以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。
8.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
9.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN201911252585.5A 2019-12-09 2019-12-09 图像数据处理方法及相关装置 Pending CN110991369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911252585.5A CN110991369A (zh) 2019-12-09 2019-12-09 图像数据处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252585.5A CN110991369A (zh) 2019-12-09 2019-12-09 图像数据处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN110991369A true CN110991369A (zh) 2020-04-10

Family

ID=70091613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911252585.5A Pending CN110991369A (zh) 2019-12-09 2019-12-09 图像数据处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN110991369A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230982A (zh) * 2020-10-15 2021-01-15 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质
WO2021115113A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 数据处理方法、装置及存储介质
WO2021115038A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 一种应用数据处理方法及相关装置
CN113627328A (zh) * 2021-08-10 2021-11-09 安谋科技(中国)有限公司 电子设备及其图像识别方法、片上***和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106117A (zh) * 2012-12-25 2013-05-15 青岛海信电器股份有限公司 一种资源分配方法及电子设备
CN104657956A (zh) * 2015-03-16 2015-05-27 龙旗电子(惠州)有限公司 一种实现智能手机图片美化功能的方法
CN108496198A (zh) * 2017-10-09 2018-09-04 华为技术有限公司 一种图像处理方法及设备
CN109040591A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109151303A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和***
CN110177218A (zh) * 2019-06-28 2019-08-27 广州鲁邦通物联网科技有限公司 一种安卓设备的拍照图像处理方法
CN110321204A (zh) * 2018-03-31 2019-10-11 北京深鉴智能科技有限公司 计算***、硬件加速模块管理方法和装置以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106117A (zh) * 2012-12-25 2013-05-15 青岛海信电器股份有限公司 一种资源分配方法及电子设备
CN104657956A (zh) * 2015-03-16 2015-05-27 龙旗电子(惠州)有限公司 一种实现智能手机图片美化功能的方法
CN108496198A (zh) * 2017-10-09 2018-09-04 华为技术有限公司 一种图像处理方法及设备
CN110321204A (zh) * 2018-03-31 2019-10-11 北京深鉴智能科技有限公司 计算***、硬件加速模块管理方法和装置以及存储介质
CN109040591A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109151303A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和***
CN110177218A (zh) * 2019-06-28 2019-08-27 广州鲁邦通物联网科技有限公司 一种安卓设备的拍照图像处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115113A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 数据处理方法、装置及存储介质
WO2021115038A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 一种应用数据处理方法及相关装置
CN112230982A (zh) * 2020-10-15 2021-01-15 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质
CN113627328A (zh) * 2021-08-10 2021-11-09 安谋科技(中国)有限公司 电子设备及其图像识别方法、片上***和介质

Similar Documents

Publication Publication Date Title
CN110991369A (zh) 图像数据处理方法及相关装置
CN108632530B (zh) 一种车辆定损的数据处理方法、装置、设备及客户端、电子设备
CN110995994B (zh) 图像拍摄方法及相关装置
CN110991368B (zh) 相机场景识别方法及相关装置
WO2020151491A1 (zh) 图像形变的控制方法、装置和硬件装置
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
CN110958390B (zh) 图像处理方法及相关装置
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN110955541B (zh) 数据处理方法、装置、芯片、电子设备及可读存储介质
CN103299342A (zh) 提供用于姿势识别的机制的方法和装置
CN116824016A (zh) 渲染模型训练、视频的渲染方法、装置、设备和存储介质
CN113238727A (zh) 屏幕切换方法及装置、计算机可读介质和电子设备
CN113923461A (zh) 一种录屏方法和录屏***
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN112633218B (zh) 人脸检测方法、装置、终端设备及计算机可读存储介质
CN114051116A (zh) 一种驾考车辆的视频监控方法、装置以及***
CN110933314B (zh) 追焦拍摄方法及相关产品
US20230107555A1 (en) Facial Expression Editing Method and Electronic Device
CN114943976B (zh) 模型生成的方法、装置、电子设备和存储介质
CN114973347B (zh) 一种活体检测方法、装置及设备
CN115700845A (zh) 人脸识别模型训练方法、人脸识别方法、装置及相关设备
CN114399622A (zh) 图像处理方法和相关装置
WO2021073204A1 (zh) 对象的显示方法、装置、电子设备及计算机可读存储介质
CN112688951A (zh) 访客管理方法及相关装置
CN114565814B (zh) 一种特征检测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination