CN110958390B - 图像处理方法及相关装置 - Google Patents
图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN110958390B CN110958390B CN201911253015.8A CN201911253015A CN110958390B CN 110958390 B CN110958390 B CN 110958390B CN 201911253015 A CN201911253015 A CN 201911253015A CN 110958390 B CN110958390 B CN 110958390B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- application
- party camera
- camera application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例公开了一种图像处理方法及相关装置,方法包括:第三方相机应用向硬件抽象层发送拍照请求;硬件抽象层根据拍照请求,获取第三方相机应用请求的待处理的应用数据,应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理至少一帧图像,得到目标用户的深度图和人脸信息,并向第三方相机应用发送深度图和人脸信息;其中,所述用于实现景深效果的算法是第三方相机应用通过媒体服务模块预先请求操作***针对第三方相机应用开放的;第三方相机应用根据深度图和人脸信息,处理至少一帧图像,得到处理后的图像。采用本申请,向第三方相机应用使能用于实现景深效果的算法,增强第三方相机应用的功能性,同时提升图像处理效果。
Description
技术领域
本申请涉及电子设备技术领域,具体涉及一种图像处理方法及相关装置。
背景技术
随着电子设备技术的发展,电子设备的第三方相机应用也涉及到生活的各个方面。各种类型的应用软件不断推陈出新。其中,以拍照应用软件为例,为了满足用户对照片更高的需求,需要利用第三方相机应用软件进行拍照,或者对图像进行处理。但第三方相机应用软件在对图片进行处理的过程中,由于深层信息缺失,容易影响处理效果。
发明内容
本申请实施例提供了一种图像处理方法及相关装置。
第一方面,一种图像处理的方法,其特征在于,应用于电子设备,所述电子设备包括操作***与媒体服务模块,所述操作***包括应用层,硬件抽象层,所述应用层设置有第三方相机应用,所述方法包括:
所述第三方相机应用向所述硬件抽象层发送拍照请求;
所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息;其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的;
所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
第二方面,一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括操作***与媒体服务模块,所述操作***包括应用层,硬件抽象层,所述应用层设置有第三方相机应用,所述图像处理装置包括通信单元与处理单元,其中:
所述处理单元,用于控制所述第三方相机应用通过所述通信单元向所述硬件抽象层发送拍照请求;以及用于控制所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并通过所述通信单元向所述第三方相机应用发送所述深度图和所述人脸信息,其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的;以及用于控制所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行如上述第一方面至第三方面以及任一种可选的实现方式的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中,电子设备的操作***的应用层设置的第三方相机应用,向所述硬件抽象层发送拍照请求;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放所述用于实现景深效果的算法,处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息,而所述第三方相机应用接收所述深度图和所述人脸信息后,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。第三方相机应用通过媒体服务模块,获取操作***更多深层次的数据与功能,以此提高图像处理的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的软件架构示意图;
图2是本申请实施例提供的一种图像处理方法流程示意图;
图3是本申请实施例提供的另一种图像处理方法流程示意图;
图4是本申请实施例提供的图像处理装置的功能单元示意图;
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
目前现有的第三方相机应用在对图像进行处理时,只能够通过图像分割识别人体区域,但在人体区域与图像背景的边缘识别上存在较大偏差,影响最终的处理效果。而且第三方相机应用无法获取基于深度信息的人体图像,无法提高对图像的处理效果。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(MobileStation,MS),终端设备(terminal device)等等。
请参阅图1,图1是本申请实施例提供的一种电子设备的软件架构示意图。如图1所示,本申请实施例所涉及的电子设备包括媒体服务模块(OMedia Service)和操作***(例如安卓操作***等,此处不做唯一限定),所述操作***的应用层设置有第三方相机应用和媒体软件开发工具包模块(OMedia SDK),所述操作***的硬件抽象层设置有媒体策略模块(OMedia Strategy)、算法管理模块(Algo Manager)以及相机硬件抽象模块(Camera HAL)。其中,所述第三方相机应用与所述媒体软件开发工具包模块通信连接,所述媒体软件开发工具包模块与所述媒体服务模块通信连接,所述媒体服务模块与所述相机硬件抽象模块通信连接,所述相机硬件抽象模块与所述媒体策略模块通信连接,所述媒体策略模块与所述算法管理模块通信连接。另外,所述媒体服务模块还可以与所述媒体策略模块和/或所述算法管理模块通信连接。
其中,所述媒体软件开发工具包模块包含控制接口,可以获取能力值、配置能力值等信息,其不会存放静态配置信息,可以binder通信到所述媒体服务模块,将所述第三方相机应用配置信息传给所述媒体服务模块。
其中,所述媒体服务模块常驻***的服务模块,在电子设备开机后就会运行、鉴权、响应所述第三方相机应用的配置请求,使能配置信息到底层。在本申请中,所述媒体服务模块获取到所述第三方相机应用的数据处理请求或者拍照请求,设置数据处理方案或者获取待处理的应用数据,还可以通过该平台按照数据处理方案对待处理的应用数据进行处理,得到中间数据,方便第三方相机应用基于中间数据对原始数据进行处理,呈现最终的处理效果,比如人像光效,美体,建立三维人体图像等。
其中,所述媒体策略模块为底层策略模块,其可以将所述媒体服务模块配置的信息发送到底层,转换成底层能识别的能力,防止所述第三方相机应用直接耦合看到底层的能力,或者导致底层数据的泄露,将配置信息装换成能被硬件抽象层识别的第二功能配置信息,调用到算法信息。
其中,所述算法管理模块可以使能上层下发的能力配置信息,同时可以利用相应算法。
其中,所述第三方相机应用可以直接通知所述媒体服务模块需要获取待处理的应用数据或者发生拍照请求。
本申请实施例的电子设备采用基于媒体平台(OMedia)框架,获取待处理的应用数据(至少一帧图像),并且调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息;使得所述第三方相机应用在接收所述深度图和所述人脸信息后,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。提高图像处理效果。
本申请实施例的技术方案可以基于图1举例所示的电子设备的软件架构或其形变结构来具体实施。
参见图2,图2是本申请实施例提供的一种图像处理的方法的流程示意图,这种方法可包括但不限于如下步骤:
201、所述第三方相机应用向所述硬件抽象层发送拍照请求;
具体的,可以理解为,所述第三方相机应用为安装在所述电子设备中的应用APP,当所述第三方相机应用想要拍照时,会向操作***的硬件抽象层发送拍照请求,所述拍照请求用于请求所述硬件抽象层,获取待处理的应用数据,所述应用数据包括目标对象的至少一帧图像。所述拍照请求可以为包含目标对象,具有深度信息的一帧或者多帧图像。
202、所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息;其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的;
具体的,所述硬件抽象层在接收所述第三方相机应用的所述拍照请求后,可以对所述拍照请求进行处理,生成图像获取指令,并且向所述操作***的驱动层发送所述图像获取指令,所述驱动层根据所述图像获取指令驱动所述硬件层的图像传感器获取至少一帧图像;或者所述驱动层根据所述图像获取指令通过图像信号处理器驱动所述硬件层的图像传感器获取至少一帧图像;所述驱动层与所述硬件层通信连接。所述图像传感器通过所述图像信息处理器向所述硬件驱动层发送所述至少一帧图像。另外,在所述硬件驱动层接收所述拍照请求之前,所述电子设备可以通过媒体服务模块对操作***自带的图像处理算法进行使能,所述媒体服务模块预先请求所述操作***针对所述第三方应用开放的,从而使得第三方应用可以直接使用操作***自带的能够实现景深效果的算法等。
203、所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
具体的,所述第三方相机应在接收所述至少一帧图像后,根据所述人脸信息与所述深度图处理所述至少一帧图像,处理的方式可以是预设的方式,在接收到不同的处理指令后,按照所述处理指令对所述至少一帧图像进行处理,得到处理后的图像,所述至少一帧图像处理后的图像为具有与所述处理指令对应效果的图像。
可见,本申请实施例中,电子设备的操作***的应用层设置的第三方相机应用,向所述硬件抽象层发送拍照请求;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放所述用于实现景深效果的算法,处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息,而所述第三方相机应用接收所述深度图和所述人脸信息后,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。第三方相机应用通过媒体服务模块,获取操作***更多深层次的数据与功能,以此提高图像处理的效果。
在一个可能的示例中,所述调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,包括:所述硬件抽象层调用人脸检测算法处理所述至少一帧图像,得到所述目标对象的人脸信息;所述硬件抽象层调用深度检测算法处理所述至少一帧图像,得到所述目标对象的深度信息,根据所述深度信息得到深度图。
具体的,所述人脸信息为所述目标对象的对应人脸信息,包含了人脸的姿态,表情,轮廓以及各个局部特征等。所述深度图(Depth Map)为根据所述至少一帧图像运用立体匹配算法获取视差图,进而根据所述视差图得到获取深度图,是包含与视点的目标对象的表面的距离有关信息的图像或图像通道。所述图像传感器利用双目测距原理,记录场景中物体距离图像传感器的距离,其中,深度图类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
其中,所述视差图视差的单位是像素(pixel),深度的单位往往是毫米(mm)表示。而根据平行双目视觉的几何关系(此处不再画图推导,很简单),可以得到下面的视差与深度的转换公式:
Depth=(f*baseline)/disp
上式中,Depth表示深度图;f表示归一化的焦距,也就是内参中的fx,其中,摄像机内参反映的是摄像机坐标系到图像坐标系之间的投影关系。baseline是两个相机光心之间的距离,称作基线距离;disp是视差值。等式后面的均已知,深度值即可算出,便得到所述深度信息,所述深度信息为基于所述目标对象主图与所述目标对象辅图计算得出的深度值,是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
其中,所述人脸检测算法包括Ada Boost框架、VJ(Viola、Jones,VJ)框架、ACF(Aggregate ChannelFeatures for Multi-view Face Detection)、DPM(Deformable PartModel)模型,或者基于深度学习框架等。所述深度检测算法包括:被动测距传感、主动测距传感、结构光与Kinect等。
可见,基于所述至少一帧图像获取视差图,并且根据所述视差图得出深度信息,根据所述深度信息得到所述深度图,能有效提高深度图的分辨率。
在一个可能的示例中,所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到处理后的至少一帧图像,包括:所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人像光效处理,得到至少一帧特殊光效的人体图像;所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行三维建模处理,得到至少一帧三维人体图像;所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人体美化处理,得到至少一帧人体美化图像。
具体的,可以理解所述第三方相机应用基于所述人脸信息与所述深度图采集所述至少一帧图像中的人体区域。由于深度图中不同对象离所述图像传感器距离的不同,因此不同对象的图像深度也不同,在深度图中也以不同的颜色呈现,存储每个像素所用的位数以及也用于量度图像的色彩分辨率也不同。因此能准备的识别出所述至少一帧图像中的人体区域。在识别出人体区域后,再基于所述人体区域与所述深度图处理所述至少一帧图像,得到处理后的图像。所述处理后的图像为与所述处理对应的效果的图像。另外,所述人像光效包括:自然光、摄影室灯光、轮廓光、舞台光以及单色舞台光等几种光效。进行人像光效处理则包括以上几种光效的处理,以及背景的虚化处理,背景的替换处理等。所述三维建模处理则为对人体区域进行三维映射处理,得到对应的三维人体模型,再将所述三维人体模型进行人像光效处理。所述进行人体美化处理,比如按照预设比例对人体区域进行横向或者纵向的缩放处理,人体局部区域的缩放处理,人体区域线条的优化处理等。
可见,在所述第三方相机应用获得所述深度图与所述人脸信息后,根据所述人脸信息与所述深度图采集所述至少一帧图像中的人体区域,,有效地将人体区域与所述至少一帧图像中的背景图像区分开来,提高人体区域与背景图像的边缘分割效果。并且所述第三方相机应用根据所述人脸信息与所述深度图对所述目标对象主图进行多样化的处理,增加图像处理的应用场景。
在一个可能的示例中,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块,所述硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的,包括:所述媒体服务模块确定所述第三方相机应用所需要使用的景深效果,根据所述景深效果生成第一功能配置信息;所述媒体策略模块接收来自所述媒体服务模块的所述第一功能配置信息,所述第一功能配置信息包括景深效果的描述信息;将所述第一功能配置信息转换为所述算法管理模块能够识别的第二功能配置信息,并向所述算法管理模块发送所述第二功能配置信息;所述算法管理模块接收所述第二功能配置信息,根据所述第二功能配置信息开放所述第三方相机应用针对所述景深效果的算法的使用权限。
具体的,可以理解为第三方相机应用再想要获取操作***的某种深层次功能时,向媒体服务模块发送目标功能请示消息,媒体服务模块接收所述目标功能请示消息,在本示例中,所述目标功能请示消息中包含所述第三方相机应用所需要使用的景深效果。媒体服务模块根据所述目标功能请示消息生成第一功能配置信息。由于所述媒体策略模块接收来自所述媒体服务模块的所述第一功能配置信息,并且将所述第一功能配置信息进行处理,转换为所述算法管理模块能够识别的第二功能配置信息,并向所述算法管理模块发送所述第二功能配置信息,所述算法管理模块在接收所述第二功能配置信息后,便根据所述第二功能配置信息开放所述第三方相机应用针对所述景深效果的算法的使用权限。
可见,本示例中,所述媒体服务模块在确定第三方相机应用所需要使用的景深效果后,根据所述景深效果生成第一配置信息,然后媒体服务模块将第一配置信息发给媒体策略模块,媒体策略模块将第一配置信息转化成算法管理模块能够识别的第二配置信息,算法管理模块再根据第二配置信息开放所述景深效果的算法的使用权限,通过授权媒体平台(媒体服务模块与媒体策略模块)使得第三方应用可以使用安装***提供的特殊算法,获取图像深度信息。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,算法管理模块,所述相机硬件抽象模块连接所述算法管理模块;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,包括:所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;所述相机硬件抽象模块向所述算法管理模块发送所述至少一帧图像;所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
具体的,硬件抽象层中,所述相机硬件抽象模块与算法管理模块通信连接,所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像。所述相机硬件抽象模块向所述算法管理模块发送所述至少一帧图像,由所述算法管理模块利用所述实现景深效果的算法处理所述对所述至少一帧图像,待处理的应用数据,得到所述目标用户的深度图和人脸信息。所述算法管理模块,可以包括数字信号处理(Digital Signal Processing,DSP)、嵌入式神经网络处理器(NPU,Neural-network Processing Unit)、图形处理器(Graphics Processing Unit,GPU)中的任意一种或多种。
可见,利用通信连接的相机硬件抽象模块与算法管理模块,方便待处理数据的收发与处理,提高数据处理效率。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,媒体策略模块、算法管理模块,所述相机硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,包括:所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像;所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
具体的,如图1所示的电子设备的软件架构示意图,硬件抽象层中,所述相机硬件抽象模块与所述媒体策略模块通信连接,所述媒体策略模块与所述算法管理模块通信连接,所述相机硬件抽象模块获取所述第三方相机应用请求的待处理的应用数据后,所述应用数据包括目标对象的至少一帧图像,所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像,由所述算法管理模块利用所述实现景深效果的算法处理所述对所述至少一帧图像,待处理的应用数据,得到所述目标用户的深度图和人脸信息。
可见,利用通信连接的相机硬件抽象模块、所述媒体策略模块以及所述算法管理模块算法管理模块,数据的收发与算法功能的使能通过所述媒体策略模块进行,在开发操作***深层次功能的同时,既增加了第三方相机应用的功能性,又保障***深层功能以及数据的安全性,防止深层数据或者功能的泄露。
在一个可能的示例中,所述操作***的应用层还设置有媒体管理模块,所述媒体管理模块支持通过SDK binder通信机制实现所述第三方相机应用与所述媒体服务模块的信息交互。
可见,通过媒体管理模块,使得第三方相机应用或者其他第三方应用能够与所述媒体服务模块进行信息交互,方便操作***向所述第三方相机应用开放深层次功能。
在一个可能的示例中,所述第三方相机应用向所述操作***的硬件抽象层发送拍照请求之前,所述方法还包括:所述第三方相机应用向所述媒体服务模块发送携带有鉴权码的媒体平台版本获取请求;所述媒体服务模块接收所述媒体平台版本获取请求,校验所述鉴权码且校验通过;所述媒体服务模块向所述第三方相机应用发送所述媒体平台版本信息;所述第三方相机应用接收所述媒体平台版本信息,向所述媒体服务模块发送携带有所述媒体平台版本信息的能力获取请求;所述媒体服务模块接收所述能力获取请求,查询所述媒体平台版本信息的应用能力列表,向所述第三方相机应用发送所述应用能力列表;所述第三方相机应用接收所述应用能力列表,查询所述应用能力列表以获取当前媒体平台针对所述第三方相机应用所支持的多个安卓原生功能;以及确定所述多个安卓原生功能中被选择开放的所述用于实现景深效果的算法。可见,本示例中,校验所述鉴权码且校验通过之后,向第三方相机应用返回媒体平台版本信息,明确校验结果,第三方相机应用再向媒体服务模块请求应用能力列表,并且在获取应用能力列表后,选择想要开放的所述用于实现景深效果的算法,有利于准确选择开放的具体功能的算法对待处理的应用数据进行处理。
与上述图2所示的实施例一致,请参阅图3,图3是本申请实施例提供的另一种图像处理方法的流程示意图,应用于电子设备,包括:
301、所述第三方相机应用向所述相机硬件抽象模块发送拍照请求;
此步骤同上述步骤201,在此不再赘述。
302、所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;
具体的,所述相机硬件抽象层在接收所述第三方相机应用的所述拍照请求后,可以对所述拍照请求进行处理,生成图像获取指令,并且向所述操作***的驱动层发送所述图像获取指令,所述驱动层根据所述图像获取指令驱动所述操作***硬件层设置的图像传感器获取至少一帧图像;或者所述驱动层根据所述图像获取指令通过图像信号处理器驱动所述硬件层的图像传感器获取至少一帧图像。所述驱动层与所述硬件层通信连接。所述图像传感器通过所述图像信息处理器向所述相机硬件抽象模块发送所述至少一帧图像。
303、所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像;
具体的,由于所述相机硬件抽象模块与所述媒体策略模块通信连接,所述媒体策略模块与所述算法管理模块通信连接。因此所述相机硬件抽象模块可以通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像。
304、所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息;
具体的,所述相机硬件抽象模块在接收所述拍照请求之前,或者在接收所述至少一帧图像之前或者之后,所述电子设备可以通过媒体服务模块对操作***自带的图像处理算法进行使能,所述媒体服务模块预先请求所述操作***针对所述第三方应用开放部分操作***的深层功能,从而使得第三方应用可以直接使用操作***自带的能够实现景深效果的算法等。因此使得所述算法管理模块能在接收所述至少一帧图像后,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
305、所述算法管理模块通过所述媒体策略模块以及所述相机硬件抽象模块向所述第三方相机应用发送所述深度图和所述人脸信息;
具体的,由于所述相机硬件抽象模块与所述媒体策略模块通信连接,所述媒体策略模块与所述算法管理模块通信连接,因此所述算法管理模块可以通过所述媒体策略模块以及所述相机硬件抽象模块向所述第三方相机应用发送所述深度图和所述人脸信息。
306、所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
步骤306同上述步骤203,在此不再赘述。
可见,本申请实施例借助于媒体服务模块与媒体策略模块,通过相机硬件抽象模块获取待处理的应用数据,并且通过媒体服务模块与媒体策略模块向所述第三方相机应用开放所述用于实现景深效果的算法,使得所述第三方相机应用能够获取人脸信息与深度图,并且基于所述人脸信息与所述深度图对所述至少一帧图像,得到至少一帧处理后的图像。以此提高所述第三方相机应用的功能性,提升图像处理效果。
与上图2、图3所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种图像处理装置400的功能单元结构示意图,所述图像处理装置400包括:通信单元410,处理单元420,其中,
所述处理单元420,用于控制所述第三方相机应用通过所述通信单元向所述硬件抽象层发送拍照请求;以及用于控制所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并通过所述通信单元向所述第三方相机应用发送所述深度图和所述人脸信息,其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的;以及用于控制所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
可以看出,本申请实施例电子设备的操作***的应用层设置的第三方相机应用,向所述硬件抽象层发送拍照请求;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放所述用于实现景深效果的算法,处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息,而所述第三方相机应用接收所述深度图和所述人脸信息后,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。第三方相机应用通过媒体服务模块,获取操作***更多深层次的数据与功能,以此提高图像处理的效果。
在一个可能的示例中,在所述调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标对象的深度图和人脸信息方面,所述处理单元420,具体用于控制所述硬件抽象层调用人脸检测算法处理所述至少一帧图像,得到所述目标对象的人脸信息;控制所述硬件抽象层调用深度检测算法处理所述至少一帧图像,得到所述目标对象的深度信息,根据所述深度信息得到深度图。
在一个可能的示例中,在所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到处理后的至少一帧图像方面,所述处理单元420,具体用于控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人像光效处理,得到至少一帧特殊光效的人体图像;控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行三维建模处理,得到至少一帧三维人体图像;控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人体美化处理,得到至少一帧人体美化图像。
在一个可能的示例中,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块,所述硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;在所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方应用第三方相机应用开放的方面,所述处理单元420,具体用于控制所述媒体服务模块确定所述第三方相机应用所需要使用的景深效果,根据所述景深效果生成第一功能配置信息;控制所述媒体策略模块接收来自所述媒体服务模块的所述第一功能配置信息,所述第一功能配置信息包括景深效果的描述信息;将所述第一功能配置信息转换为所述算法管理模块能够识别的第二功能配置信息,并向所述算法管理模块发送所述第二功能配置信息;控制所述算法管理模块接收所述第二功能配置信息,根据所述第二功能配置信息开放所述第三方相机应用针对所述景深效果的算法的使用权限。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,算法管理模块,所述相机硬件抽象模块连接所述算法管理模块;在所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息方面,所述处理单元420,具体用于控制所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;控制所述相机硬件抽象模块向所述算法管理模块发送所述至少一帧图像;控制所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,媒体策略模块、算法管理模块,所述相机硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;在所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息方面,所述处理单元420,具体用于所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像;所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
在一个可能的示例中,所述操作***的应用层还设置有媒体管理模块,所述媒体管理模块支持通过SDK binder通信机制实现所述第三方相机应用与所述媒体服务模块的信息交互。
图5是本申请实施例提供的一种电子设备500的结构示意图,如图所示,所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521,其中,所述一个或多个程序521被存储在上述存储器520中,并且被配置由上述应用处理器510执行,所述一个或多个程序521包括用于执行上述方法实施例中任一步骤的指令:
所述第三方相机应用向所述硬件抽象层发送拍照请求;
所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息;其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的;
所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
可以看出,本申请实施例电子设备的操作***的应用层设置的第三方相机应用,向所述硬件抽象层发送拍照请求;所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放所述用于实现景深效果的算法,处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息,而所述第三方相机应用接收所述深度图和所述人脸信息后,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。第三方相机应用通过媒体服务模块,获取操作***更多深层次的数据与功能,以此提高图像处理的效果。
在一个可能的示例中,在所述调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标对象的深度图和人脸信息方面,所述一个或多个程序521具体包括用于执行以下操作的指令,控制所述硬件抽象层调用人脸检测算法处理所述至少一帧图像,得到所述目标对象的人脸信息;控制所述硬件抽象层调用深度检测算法处理所述至少一帧图像,得到所述目标对象的深度信息,根据所述深度信息得到深度图。
在一个可能的示例中,在所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到处理后的至少一帧图像方面,所述一个或多个程序521具体包括用于执行以下操作的指令,控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人像光效处理,得到至少一帧特殊光效的人体图像;控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行三维建模处理,得到至少一帧三维人体图像;控制所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人体美化处理,得到至少一帧人体美化图像。
在一个可能的示例中,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块,所述硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;在所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方应用第三方相机应用开放的方面,所述一个或多个程序521具体包括用于执行以下操作的指令,控制所述媒体服务模块确定所述第三方相机应用所需要使用的景深效果,根据所述景深效果生成第一功能配置信息;控制所述媒体策略模块接收来自所述媒体服务模块的所述第一功能配置信息,所述第一功能配置信息包括景深效果的描述信息;将所述第一功能配置信息转换为所述算法管理模块能够识别的第二功能配置信息,并向所述算法管理模块发送所述第二功能配置信息;控制所述算法管理模块接收所述第二功能配置信息,根据所述第二功能配置信息开放所述第三方相机应用针对所述景深效果的算法的使用权限。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,算法管理模块,所述相机硬件抽象模块连接所述算法管理模块;在所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息方面,所述一个或多个程序521具体包括用于执行以下操作的指令,控制所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;控制所述相机硬件抽象模块向所述算法管理模块发送所述至少一帧图像;控制所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
在一个可能的示例中,所述操作***的硬件抽象层设置有相机硬件抽象模块,媒体策略模块、算法管理模块,所述相机硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;在所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息方面,所述一个或多个程序521具体包括用于执行以下操作的指令,所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像;所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
在一个可能的示例中,所述操作***的应用层还设置有媒体管理模块,所述媒体管理模块支持通过SDK binder通信机制实现所述第三方相机应用与所述媒体服务模块的信息交互。其中,处理器510可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器510可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器510也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器510还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器520可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器520还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器520至少用于存储以下计算机程序,其中,该计算机程序被处理器510加载并执行之后,能够实现前述任一实施例公开的通话控制方法中的相关步骤。另外,存储器520所存储的资源还可以包括操作***和数据等,存储方式可以是短暂存储或者永久存储。其中,操作***可以包括Windows、Unix、Linux等。数据可以包括但不限于电子设备交互数据、电子设备信号等。
在一些实施例中,电子设备500还可包括有输入输出接口、通信接口、电源以及通信总线。
本领域技术人员可以理解,本实施例公开的结构并不构成对电子设备500的限定,可以包括更多或更少的组件。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例提供了一种芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行如上述第一方面至第三方面以及任一种可选的实现方式的方法。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括第一电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括上述电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的电子设备实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。
Claims (10)
1.一种图像处理的方法,其特征在于,应用于电子设备,所述电子设备包括操作***与媒体服务模块,所述操作***包括应用层,硬件抽象层,所述应用层设置有第三方相机应用,所述方法包括:
所述第三方相机应用向所述硬件抽象层发送拍照请求;
所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并向所述第三方相机应用发送所述深度图和所述人脸信息;其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的,所述媒体服务模块用于响应所述第三方相机应用的拍照请求,使能所述第三方相机应用的配置信息到所述硬件抽象层;
所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
2.根据权利要求1所述的方法,其特征在于,所述调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标对象的深度图和人脸信息,包括:
所述硬件抽象层调用人脸检测算法处理所述至少一帧图像,得到所述目标对象的人脸信息;
所述硬件抽象层调用深度检测算法处理所述至少一帧图像,得到所述目标对象的深度信息,根据所述深度信息得到深度图。
3.根据权利要求1所述的方法,其特征在于,所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到处理后的至少一帧图像,包括:
所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人像光效处理,得到至少一帧特殊光效的人体图像;
所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行三维建模处理,得到至少一帧三维人体图像;
所述第三方相机应用根据所述深度图与所述人脸信息对所述至少一帧图像进行人体美化处理,得到至少一帧人体美化图像。
4.根据权利要求1所述的方法,其特征在于,所述操作***的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块,所述硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;
所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的,包括:
所述媒体服务模块确定所述第三方相机应用所需要使用的景深效果,根据所述景深效果生成第一功能配置信息;
所述媒体策略模块接收来自所述媒体服务模块的所述第一功能配置信息,所述第一功能配置信息包括景深效果的描述信息;将所述第一功能配置信息转换为所述算法管理模块能够识别的第二功能配置信息,并向所述算法管理模块发送所述第二功能配置信息;
所述算法管理模块接收所述第二功能配置信息,根据所述第二功能配置信息开放所述第三方相机应用针对所述景深效果的算法的使用权限。
5.根据权利要求1所述的方法,其特征在于,所述操作***的硬件抽象层设置有相机硬件抽象模块,算法管理模块,所述相机硬件抽象模块连接所述算法管理模块;
所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,包括:
所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;
所述相机硬件抽象模块向所述算法管理模块发送所述至少一帧图像;
所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
6.根据权利要求1所述的方法,其特征在于,所述操作***的硬件抽象层设置有相机硬件抽象模块,媒体策略模块、算法管理模块,所述相机硬件抽象模块连接所述媒体策略模块,所述媒体策略模块连接所述算法管理模块;
所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,包括:
所述相机硬件抽象模块接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像;
所述相机硬件抽象模块通过所述媒体策略模块向所述算法管理模块发送所述至少一帧图像;
所述算法管理模块接收所述至少一帧图像,利用所述实现景深效果的算法处理所述待处理的应用数据,得到所述目标用户的深度图和人脸信息。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述操作***的应用层还设置有媒体管理模块,所述媒体管理模块支持通过SDK binder通信机制实现所述第三方相机应用与所述媒体服务模块的信息交互。
8.一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括操作***与媒体服务模块,所述操作***包括应用层,硬件抽象层,所述应用层设置有第三方相机应用,所述图像处理装置包括通信单元与处理单元,其中:
所述处理单元,用于控制所述第三方相机应用通过所述通信单元向所述硬件抽象层发送拍照请求;以及用于控制所述硬件抽象层接收所述第三方相机应用的所述拍照请求,获取所述第三方相机应用请求的待处理的应用数据,所述应用数据包括目标对象的至少一帧图像,调用用于实现景深效果的算法处理所述至少一帧图像,得到所述目标用户的深度图和人脸信息,并通过所述通信单元向所述第三方相机应用发送所述深度图和所述人脸信息,其中,所述用于实现景深效果的算法是所述第三方相机应用通过所述媒体服务模块预先请求操作***针对所述第三方相机应用开放的,所述媒体服务模块用于响应所述第三方相机应用的拍照请求,使能所述第三方相机应用的配置信息到所述硬件抽象层;以及用于控制所述第三方相机应用接收所述深度图和所述人脸信息,根据所述人脸信息与所述深度图处理所述至少一帧图像,得到至少一帧处理后的图像。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911253015.8A CN110958390B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911253015.8A CN110958390B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110958390A CN110958390A (zh) | 2020-04-03 |
CN110958390B true CN110958390B (zh) | 2021-07-20 |
Family
ID=69980459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911253015.8A Active CN110958390B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110958390B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111491102B (zh) * | 2020-04-22 | 2022-01-07 | Oppo广东移动通信有限公司 | 拍照场景的检测方法、***、移动终端及存储介质 |
CN112165575B (zh) * | 2020-09-25 | 2022-03-18 | Oppo(重庆)智能科技有限公司 | 图像虚化处理方法及装置、存储介质和电子设备 |
CN112311985B (zh) * | 2020-10-12 | 2021-12-14 | 珠海格力电器股份有限公司 | 一种多摄拍照处理方法、装置及存储介质 |
CN115706849B (zh) * | 2021-08-05 | 2024-01-30 | 北京小米移动软件有限公司 | 相机软件架构、平台和终端设备 |
CN116052236A (zh) * | 2022-08-04 | 2023-05-02 | 荣耀终端有限公司 | 人脸检测处理引擎、涉及人脸检测的拍摄方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150128256A (ko) * | 2014-05-09 | 2015-11-18 | 배재대학교 산학협력단 | 실제 스마트기기의 디바이스에서 발생하는 이벤트에 따라 응용프로그램을 실행하는 가상 안드로이드 장치를 구비한 서버 시스템 |
CN108876833A (zh) * | 2018-03-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置和计算机可读存储介质 |
CN110086967A (zh) * | 2019-04-10 | 2019-08-02 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理器、拍摄装置和电子设备 |
CN110177218A (zh) * | 2019-06-28 | 2019-08-27 | 广州鲁邦通物联网科技有限公司 | 一种安卓设备的拍照图像处理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014028072A1 (en) * | 2012-08-17 | 2014-02-20 | Flextronics Ap, Llc | Interactive channel navigation and switching |
US10922148B2 (en) * | 2015-04-26 | 2021-02-16 | Intel Corporation | Integrated android and windows device |
KR20180023326A (ko) * | 2016-08-25 | 2018-03-07 | 삼성전자주식회사 | 전자 장치 및 이미지 센서로부터 획득된 이미지를 어플리케이션으로 전달하기 위한 방법 |
CN108012084A (zh) * | 2017-12-14 | 2018-05-08 | 维沃移动通信有限公司 | 一种图像生成方法、应用处理器ap及第三方图像处理芯片 |
-
2019
- 2019-12-09 CN CN201911253015.8A patent/CN110958390B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150128256A (ko) * | 2014-05-09 | 2015-11-18 | 배재대학교 산학협력단 | 실제 스마트기기의 디바이스에서 발생하는 이벤트에 따라 응용프로그램을 실행하는 가상 안드로이드 장치를 구비한 서버 시스템 |
CN108876833A (zh) * | 2018-03-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置和计算机可读存储介质 |
CN110086967A (zh) * | 2019-04-10 | 2019-08-02 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理器、拍摄装置和电子设备 |
CN110177218A (zh) * | 2019-06-28 | 2019-08-27 | 广州鲁邦通物联网科技有限公司 | 一种安卓设备的拍照图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110958390A (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110958390B (zh) | 图像处理方法及相关装置 | |
US20240037836A1 (en) | Image rendering method and apparatus, and electronic device | |
CN109993716B (zh) | 图像融合变换 | |
CN110933275B (zh) | 拍照方法及相关设备 | |
CN110995994B (zh) | 图像拍摄方法及相关装置 | |
WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
KR102566998B1 (ko) | 이미지 선명도를 결정하기 위한 장치 및 방법 | |
CN110991368B (zh) | 相机场景识别方法及相关装置 | |
CN110958399B (zh) | 高动态范围图像hdr实现方法及相关产品 | |
US20240153209A1 (en) | Object Reconstruction Method and Related Device | |
CN111061524A (zh) | 一种应用数据处理方法及相关装置 | |
CN116152122B (zh) | 图像处理方法和电子设备 | |
CN110991369A (zh) | 图像数据处理方法及相关装置 | |
CN112560592A (zh) | 图像处理方法及装置、终端控制方法及装置 | |
JP7456446B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
CN111723803A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111062323A (zh) | 人脸图像传输方法、数值转移方法、装置及电子设备 | |
CN109981989B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN108898650B (zh) | 人形素材创建方法及相关装置 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
KR20110136026A (ko) | 증강현실 데이터 최적화 시스템 | |
CN110933314B (zh) | 追焦拍摄方法及相关产品 | |
CN110990088B (zh) | 数据处理方法及相关设备 | |
WO2023071985A1 (zh) | 一种远程支付方法、电子设备及*** | |
CN111160240A (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |