CN108495038B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108495038B
CN108495038B CN201810290702.6A CN201810290702A CN108495038B CN 108495038 B CN108495038 B CN 108495038B CN 201810290702 A CN201810290702 A CN 201810290702A CN 108495038 B CN108495038 B CN 108495038B
Authority
CN
China
Prior art keywords
image
processed
face
face image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810290702.6A
Other languages
English (en)
Other versions
CN108495038A (zh
Inventor
何新兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810290702.6A priority Critical patent/CN108495038B/zh
Publication of CN108495038A publication Critical patent/CN108495038A/zh
Application granted granted Critical
Publication of CN108495038B publication Critical patent/CN108495038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,本申请实施例首先获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;然后从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;再从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像;再从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像;最后将待处理脸部图像替换为目标脸部图像。采用本申请实施例提供的技术方案,无需拍摄者掌握复杂拍摄技术,也无需拍摄者进行复杂的拍摄操作,即可获得符合要求的人像,可以降低人像拍摄的难度。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
如手机等电子设备通常为使用者提供有拍照功能,随着摄像模组等硬件和图像处理算法的不断进步,电子设备的拍摄功能也越来越强大,用户也越来越频繁地使用电子设备进行拍照。
对于人像拍摄来说,通常会要求被拍摄者睁眼和/或做出指定的表情(比如微笑等),但是,由于拍摄是在瞬间进行的图像采集,拍摄者并不能容易的抓拍到被拍摄者做出指定表情和/或睁眼的瞬间,此外,在进行多人合影时,每个被拍摄者都是变化的,更难抓拍到每个被拍摄者均做出指定表情和/或睁眼的瞬间,导致人像拍摄的难度较大。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备,能够提升图像的虚化效果。
第一方面,本申请实施例了提供了的一种图像处理方法,包括:
获取摄像头的帧率信息,并获取对应所述帧率信息的目标个数;
从摄像头采集的同一场景的场景图像中,提取数量为所述目标个数的场景图像;
从提取的场景图像中确定出待处理图像,并从所述待处理图像中确定出待处理脸部图像,所述待处理脸部图像的脸部特征与预设脸部特征不匹配;
从除所述待处理图像之外的其它场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像与所述待处理脸部图像属于相同人物,且所述目标脸部图像的脸部特征与所述预设脸部特征匹配。
将所述待处理脸部图像替换为所述目标脸部图像。
第二方面,本申请实施例了提供了的一种图像处理装置,包括:
第一获取模块,用于获取摄像头的帧率信息,并获取对应所述帧率信息的目标个数;
图像选取模块,用于从摄像头采集的同一场景的场景图像中,提取数量为所述目标个数的场景图像;
图像确定模块,用于从提取的场景图像中确定出待处理图像,并从所述待处理图像中确定出待处理脸部图像,所述待处理脸部图像的脸部特征与预设脸部特征不匹配;
第二获取模块,用于从除所述待处理图像之外的其它场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像与所述待处理脸部图像属于相同人物,且所述目标脸部图像的脸部特征与所述预设脸部特征匹配;
图像替换模块,用于将所述待处理脸部图像替换为所述目标脸部图像。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供了一种电子设备,包括中央处理器和存储器,所述存储器有计算机程序,所述中央处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法;
本申请实施例首先获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;然后从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;再从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配;再从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配;最后将待处理脸部图像替换为目标脸部图像。采用本申请实施例提供的技术方案,将拍摄得到的、包括人像的场景图像作为待处理图像,可以自动的将其中不符合要求的脸部图像替换为符合要求的脸部图像,无需拍摄者掌握复杂拍摄技术,也无需拍摄者进行复杂的拍摄操作,即可获得符合要求的人像,降低了人像拍摄的难度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的一个流程示意图。
图2是本申请实施例中获取多个场景图像的操作示意图。
图3是本申请实施例中从多个场景图像中获取待处理图像的操作示意图。
图4是本申请实施例中从待处理图像中确定出待处理脸部图像的操作示意图。
图5是本申请实施例中从其它场景图像中获取目标脸部图像的操作示意图。
图6是本申请实施例中一种将待处理脸部图像替换为目标脸部图像的操作示意图。
图7是本申请实施例中从脸部图像库中获取目标脸部图像的操作示意图。
图8是本申请实施例中另一种将待处理脸部图像替换为目标脸部图像的操作示意图。
图9是本申请实施例中从目标电子设备获取目标脸部图像的操作示意图。
图10是本申请实施例中提供的图像处理方法的又一个流程示意图。
图11是本申请实施例提供的图像处理装置的一结构示意图。
图12是本申请实施例提供的电子设备的一个结构示意图。
图13是本申请实施例提供的电子设备的另一结构示意图。
图14是本申请实施例中图像处理电路的一个细化结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算***上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算***上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。比如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参照图1,图1为本申请实施例提供的图像处理方法的流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下:
在步骤101中,获取摄像头的帧率信息,并获取对应所述帧率信息的目标个数。
需要说明的是,为了便于使用者拍摄,电子设备通常提供图像预览的功能,也即是电子设备在启动拍照类应用之后,会实时通过摄像头采集待拍摄场景的图像,并将实时采集到的图像作为预览图像在拍照类应用的预览界面进行展示。其中,摄像头实时采集的图像被电子设备缓存在预先设置的图像缓存队列中,该图像缓存队列可以为定长队列,比如,该图像缓存队列可以缓存摄像头最新采集到的8个图像。
本申请实施例中,在接收到图像拍摄请求时,首先获取摄像头的帧率信息,其中,帧率信息用于描述摄像头在单位时间内采集到场景图像的个数,比如,在获取到的帧率信息为30fps时,说明摄像头每秒采集待拍摄场景的30个场景图像;又比如,在获取到的帧率信息为15fps时,说明摄像头每秒采集待拍摄场景的15个场景图像。其中,影响摄像头帧率信息的主要原因是环境光亮度,当环境光亮度较高(或者说电子设备处于亮光环境)时,摄像头可以在较短的时间内(如30ms)完成曝光,从而使得其能够以较高的帧率采集场景图像;而当环境光亮度较低(或者说电子设备处于暗光环境)时,摄像头需要花费较长的时间(如40ms-60ms,或更多)来完成曝光,从而使得其仅能以较低的帧率采集场景图像。
在获取到摄像头的帧率信息之后,根据摄像头的帧率信息,确定对应该帧率信息的目标个数,其中,目标个数和帧率信息可以成正比关系,比如,在摄像头的帧率信息为30fps,可以确定目标个数为8,在摄像头的帧率信息为15fps时,可以确定目标个数为6。
其中,图像拍摄请求可以通过多种方式触发,如通过虚拟按键的方式触发,通过物理按键的方式触发,通过语音指令的方式触发等。
比如,使用者在操作电子设备启动拍照类应用(比如电子设备的***应用“相机”)之后,通过移动电子设备,使得电子设备的摄像头对准待拍摄场景之后,可以通过点击“相机”预览界面提供的“拍照”按键(为虚拟按键)触发图像拍摄请求。
又比如,使用者在操作电子设备启动拍照类应用之后,通过移动电子设备,使得电子设备的摄像头对准待拍摄场景之后,可以说出语音指令“拍照”,触发图像拍摄请求,或者是直接点击电子设备设置的物理拍照按键,触发图像拍摄请求。
需要说明的是,在另一些实施方式中,还可以根据用户的眨眼周期以及表情变化周期等来确定需要获取的场景图像的具体个数。
在步骤102中,从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;
在确定对应摄像头帧率信息的目标个数之后,从图像缓存队列中提取目标个数的场景图像。比如,请参照图2,待拍摄场景中包括人物丙、人物丁和人物戊3个不同的人物,摄像头实时采集该待拍摄场景的场景图像,并缓存至长度为8的图像缓存队列中,在摄像头的帧率信息为15fps时,确定对应帧率信息“15fps”的目标个数为“4”,则从图像缓存队列中提取4个场景图像,分别为:场景图像A、场景图像B、场景图像C以及场景图像D。
在步骤103中,从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配;
本申请实施例中,在获取到数量为目标个数的多个场景图像之后,从获取到的多个场景图像中确定出一个场景图像作为待处理图像。其中,在确定待处理图像时,可以从获取到的多个场景图像中任意选取一个场景图像作为待处理图像,也可以按照一定的规则从获取到多个场景图像中,选取一个场景图像作为待处理图像。
可具体的,在一实施例中,为提升对待处理图像的处理效率,从获取到的多个场景图像中确定出待处理图像,包括:
确定提取的各个场景图像中包含的匹配脸部图像的个数,其中,匹配脸部图像的脸部特征与预设脸部特征匹配;
将包括匹配脸部图像个数最多的场景图像确定为待处理图像。
其中,在获取到对应同一场景(即待拍摄场景)的多个场景图像之后,对于获取到的各个场景图像,对其进行人脸识别,确定各个场景图像中包括的匹配脸部图像的个数,其中,匹配脸部图像是指该脸部图像的脸部特征与预设脸部特征匹配,脸部特征包括但不限于眼睛状态(如睁眼和闭眼)以及表情类型(如微笑、大笑、沮丧以及吃惊等)等。
其中,预设脸部特征可根据实际拍摄需求进行设置,比如,在进行多人合影时,若需要拍摄大家都吃惊的表情,则可将预设脸部特征配置为“吃惊”;又比如,在进行多人合影时,若需要拍摄大家睁眼并微笑的表情,则可将预设脸部特征配置为“微笑并睁眼”。
在确定各个场景图像集合中包含的匹配脸部图像的个数之后,即可将包括匹配脸部图像个数最多的场景图像作为待处理图像。
比如,请结合参照图2和图3,待拍摄场景中包括人物丙、人物丁和人物戊3个不同的人物,配置的预设脸部特征为“大笑”。摄像头实时采集该待拍摄场景的场景图像,并缓存至长度为8的图像缓存队列中。
在接收到触发的图像拍摄请求时,从图像缓存队列中提取出最近存入的4个场景图像,分别为:场景图像A、场景图像B、场景图像C以及场景图像D;之后,对提取出的这4个场景图像分别进行人脸识别,确定这4个场景图像各自包含的匹配脸部图像的个数,经人脸识别,确定场景图像A中包括一个匹配脸部图像(即丙的脸部图像),确定场景图像B中不存在匹配脸部图像,确定场景图像C中包括两个匹配脸部图像(即丙的脸部图像和丁的脸部图像),确定场景图像D中包括一个匹配脸部图像(即戊的脸部图像),显然的,场景图像C包含的匹配脸部图像的个数最多,因此将场景图像C作为待处理图像。
本申请实施例中,在从获取到的多个场景图像中确定出待处理图像之后,进一步从待处理图像中确定出待处理脸部图像,其中,该待处理脸部图像的脸部特征与预设脸部特征不匹配。
比如,请参照图4,确定出的待处理图像包括人物丙的脸部图像、人物丁的脸部图像以及人物戊的脸部图像,如图4所示,丙脸部图像的脸部特征为“大笑”,丁脸部图像的脸部特征同样为“大笑”,而戊脸部图像的脸部特征为“沮丧”,若预设脸部特征为“大笑”,则丙和丁脸部图像的脸部特征与预设脸部特征匹配,戊脸部图像的脸部特征与预设脸部特征不匹配,因此,将戊脸部图像确定为待处理脸部图像。
在步骤104中,从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配。
本申请实施例中,在确定出待处理图像之中的待处理脸部图像,进一步从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,其中,该目标脸部图像与待处理脸部图像属于相同人物,且该目标脸部图像的脸部特征与预设脸部特征匹配。
比如,请参照图5和图2,对于图2所示的四个场景图像中,场景图像C被确定为待处理图像,其中戊脸部图像的脸部特征为“沮丧”,与预设脸部特征“大笑”不匹配,被进一步确定为待处理脸部图像。之后,在除待处理图像(此处为场景图像C)之外的其它场景图像(此处为场景图像A、场景图像B以及场景图像D)中,查找是否存在脸部特征为“大笑”的戊脸部图像(即人物戊的脸部图像),显然的,如图5所示,场景图像D中存在脸部特征为“大笑”的戊脸部图像,此时,将场景图像D中的戊脸部图像确定为目标脸部图像,并从场景图像D中提取出戊脸部图像,用作后续处理。
在步骤105中,将待处理脸部图像替换为目标脸部图像。
本申请实施例中,在获取到对应待处理脸部图像的目标脸部图像之后,即可将待处理脸部图像替换为目标脸部图像。
比如,请结合参照图6和图2,在获取到图2所示的四个场景图像(即场景图像A、场景图像B、场景图像C以及场景图像D)之后,将场景图像C确定为待处理图像,并进一步将场景图像C中的戊脸部图像(即人物戊的脸部图像)确定为待处理脸部图像;之后,将场景图像D中的戊脸部图像确定为目标脸部图像;之后,将场景图像C中的戊脸部图像替换为场景图像D中的戊脸部图像,从而得到替换处理后的场景图像C,如图6所示,替换后的场景图像C中,各人物脸部图像的脸部特征均为“大笑”,与预设脸部特征“大笑”匹配。
本申请实施例中,在完成图像替换之后,即可将替换后的待处理图像作为图像拍摄请求的结果图像。
可选的,在一实施例中,将待处理脸部图像替换为目标脸部图像之后,还包括:
根据除待处理图像之外的其它场景图像、对待处理图像进行降噪处理。
其中,可以采用多帧降噪的方式对待处理图像进行降噪处理。比如,共获取到4个场景图像,分别为场景图像A、场景图像B、场景图像C、场景图像D,其中,场景图像D被确定为待处理图像,那么可以根据根据场景图像A、场景图像B以及场景图像C对场景图像D进行多帧降噪。
具体的,在进行多帧降噪时,可以先将场景图像A、场景图像D、场景图像B以及场景图像C对齐,并获取每一组对齐像素的像素值。若同一组对齐像素的像素值相差不多,那么可以计算这组对齐像素的像素值均值,再用该像素值均值替换掉场景图像D的对应像素的像素值。若同一组对齐像素的像素值相差较多,那么可以不对场景图像D中的像素值进行调整。
比如,场景图像A中的像素P1、场景图像D中的像素P2、场景图像B中的像素P3以及场景图像C中的像素P4是一组相互对齐的像素,其中P1的像素值为101,P2的像素值为102,P3的像素值为103,P4的像素值为104,那么这组相互对齐的像素的像素值均值为102.5,那么终端就可以将场景图像D中的P2像素的像素值由102调整为102.5,从而对场景图像D中的P2像素进行降噪处理。若P1的像素值为80,P2的像素值为102,P3的像素值为83,P4的像素值为90,那么由于它们的像素值相差较多,此时终端可以不调整P2的像素值,即P2的像素值保持102不变。
可选的,在一实施例中,从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像之后,还包括:
在从其它场景图像中获取目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有目标脸部图像;
在脸部图像库中存储有目标脸部图像时,提取脸部图像库中存储的目标脸部图像。
考虑到从其它场景图像中获取目标脸部图像失败的情况,此处提供一种备选的、获取目标脸部图像的方案。
具体的,可以在电子设备本地预先创建一个脸部图像库中,该脸部图像库中用于存储电子设备获取到的脸部图像。比如,电子设备在每次对外部场景进行拍摄,得到对应该外部场景的场景图像之后,对该场景图像进行人脸识别,并将从场景图像中识别出的脸部图像存储至脸部图像库中。
相应的,在从其它场景图像中获取目标脸部图像失败时,可以在本地预设的脸部图像库中查找是否存储有对应待处理脸部图像的目标脸部图像。其中,目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配。
若在脸部图像库中查找到对应待处理脸部图像的目标脸部图像,则从脸部图像库中提取出对应待处理脸部图像的目标脸部图像。比如,请结合参照图7和图4,对于图4所示的待处理图像中确定出的待处理脸部图像(即戊脸部图像),从脸部图像库中提取出对应待处理脸部图像的目标脸部图像(该目标脸部图像为之前从历史拍摄的某图像中识别出,并存储在脸部图像库中),如图7所示,提取出的目标脸部图像和待处理脸部图像属于相同人物,即同属于人物戊,且目标脸部图像的脸部特征为“大笑”,符合配置的预设脸部特征。
可具体的,提取脸部图像库中存储的目标脸部图像,包括:
在脸部图像库中存储有多个目标脸部图像时,获取各目标脸部图像的存入时刻;
提取脸部图像库中、存入时刻距离当前时刻最近的目标脸部图像。
比如,在脸部图像库中查找到3个对应待处理图像的目标脸部图像,分别为目标脸部图像1、目标脸部图像2和目标脸部图像3,且获取到目标脸部图像1的存入时刻为t1,获取到目标脸部图像2的存入时刻为t2,获取到目标脸部图像3的存入时刻为t3,若存入时刻t1距离当前时刻的时长为1天,存入时刻t2距离当前时刻的时长为2天,存入时刻t3距离当前时刻的时长为7天,显然的,目标脸部图像1的存入时刻距离当前时刻最近,此时从脸部图像库中提取出目标图像1用作后续处理。
可具体的,由于此时目标脸部图像从脸部图像库中提取出,该目标脸部图像可能从不同的拍摄场景中采集得到,而拍摄场景不同,其光照也不相同,因此,为提升图像处理后图像效果,将待处理脸部图像替换为目标脸部图像,包括:
获取待处理脸部图像的光照信息;
将获取到的光照信息迁移至目标脸部图像;
将待处理脸部图像替换为迁移后的目标脸部图像。
其中,在进行光照信息的迁移时,可根据实际需要选取合适的光照迁移算法,来将待处理图像的光照信息迁移至目标脸部图像。其中,可选的的光照迁移算法包括但不限于:基于熵图的光照迁移算法、基于3D模型的光照迁移算法、基于滤波分解的光照迁移算法以及基于本征分解的光照迁移算法等。
在完成光照信息的迁移之后,将确定的待处理脸部图像替换为迁移后的目标脸部图像,由此使得替换后的待处理图像中、所有脸部图像的脸部特征均与预设脸部特征匹配,且光照信息一致。
比如,请参照图8,将确定的某待处理脸部图像的光照信息迁移至其对应的目标脸部图像之后,目标脸部图像和该待处理脸部图像获得相同的光照效果,之后,将确定的待处理脸部图像替换为迁移后的目标脸部图像,由此使得替换后的待处理图像中、所有脸部图像的脸部特征均与预设脸部特征匹配,且光照信息一致。
需要说明的是,对于采用何种光照迁移算法,本申请实施例不做具体限制,可由本领域技术人员根据实际需要进行选取,可以是本申请实施例所列出的光照迁移算法,也可以是本申请实施例中未列出的光照迁移算法。
可选的,在一实施例中,判断本地预设的脸部图像库中是否存储有目标脸部图像之后,还包括:
在脸部图像库中未存储有对应待处理脸部图像的目标脸部图像时,获取待处理脸部图像对应的人物信息;
发送图像获取请求至获取到的人物信息所对应的目标电子设备,其中,图像获取请求用于指示目标电子设备查找并返回对应待处理脸部图像的目标脸部图像;
接收目标电子设备返回的目标脸部图像。
考虑到从本地脸部图像库获取目标脸部图像失败的情况,也即是本地的脸部图像库中并未存储有对应待处理脸部图像的目标脸部图像时,此处提供另外一种获取目标脸部图像的方案。
具体的,在完成对脸部图像库的查找,且未在脸部图像库中查找到对应待处理脸部图像的目标脸部图像时,也即是脸部图像库中未存储有对应待处理脸部图像的目标脸部图像时,获取待处理脸部图像对应的人物信息,换言之,即确定该待处理脸部图像是“谁”的脸部图像。
在获取得到待处理脸部图像对应的人物信息之后,进一步根据本地预存的人物信息和电子设备的关联关系(该关联关系用于描述一电子设备归属于哪一个使用者),确定获取到人物信息所对应目标电子设备。比如,请参照图4,对于图4所示的待处理图像,确定其中的待处理脸部图像为戊脸部图像,此时将获取到戊脸部图像对于的人物信息为“人物戊”,并进一步确定人物戊的手机为目标电子设备。
在确定目标电子设备之后,按照预先约定的报文格式生成图像获取请求,并将生成的图像获取请求发送至确定的目标电子设备。其中,图像获取请求用于指示目标电子设备查找其本地是否存在对应待处理脸部图像的目标脸部图像,若查找到,则返回查找到的目标脸部图像。具体的,目标电子设备本地也预先创建有脸部图像库,在接收到图像获取请求时,根据该图像获取请求的指示,在其本地的脸部图像库中进行查找,若查找到对应待处理脸部图像的目标脸部图像,则将查找到的目标脸部图像返回。
相应的,在向目标电子设备发送图像获取请求之后,接收目标电子设备返回的目标脸部图像。
比如,请参照图9,一方面,电子设备在获取到待处理图像(图示丙丁戊三人的合影图像)之后,确定待处理图像中的戊脸部图像为待处理脸部图像,通过对本地的脸部图像库进行查找,未查找到对应待处理脸部图像的目标脸部图像,此时确定戊的手机为目标电子设备,并发送图像获取请求至该目标电子设备;另一方面,目标电子设备在接收到来自电子设备的图像获取请求之后,在本地的脸部图像库中进行查找,并查找到对应待处理脸部图像的目标脸部图像,此时将查找到的目标脸部图像返回至电子设备。
由上可知,本申请实施例首先获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;然后从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;再从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配;再从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配;最后将待处理脸部图像替换为目标脸部图像。采用本申请实施例提供的技术方案,将拍摄得到的、包括人像的场景图像作为待处理图像,可以自动的将其中不符合要求的脸部图像替换为符合要求的脸部图像,无需拍摄者掌握复杂拍摄技术,也无需拍摄者进行复杂的拍摄操作,即可获得符合要求的人像,降低了人像拍摄的难度。
下面将在上述实施例描述的方法基础上,对本申请的图像处理方法做进一步介绍。请参照图10,该图像处理方法可以包括:
在步骤201中,获取摄像头的帧率信息,并获取对应该帧率信息的目标个数。
需要说明的是,为了便于使用者拍摄,电子设备通常提供图像预览的功能,也即是电子设备在启动拍照类应用之后,会实时通过摄像头采集待拍摄场景的图像,并将实时采集到的图像作为预览图像在拍照类应用的预览界面进行展示。其中,摄像头实时采集的图像被电子设备缓存在预先设置的图像缓存队列中,该图像缓存队列可以为定长队列,比如,该图像缓存队列可以缓存摄像头最新采集到的8个图像。
本申请实施例中,在接收到图像拍摄请求时,首先获取摄像头的帧率信息,其中,帧率信息用于描述摄像头在单位时间内采集到场景图像的个数,比如,在获取到的帧率信息为30fps时,说明摄像头每秒采集待拍摄场景的30个场景图像;又比如,在获取到的帧率信息为15fps时,说明摄像头每秒采集待拍摄场景的15个场景图像。
其中,影响摄像头帧率信息的主要原因是环境光亮度,当环境光亮度较高(或者说电子设备处于亮光环境)时,摄像头可以在较短的时间内(如30ms)完成曝光,从而使得其能够以较高的帧率采集场景图像;而当环境光亮度较低(或者说电子设备处于暗光环境)时,摄像头需要花费较长的时间(如40ms-60ms,或更多)来完成曝光,从而使得其仅能以较低的帧率采集场景图像。
之后,根据摄像头的帧率信息,确定对应该帧率信息的目标个数,其中,目标个数和帧率信息可以成正比关系,比如,在摄像头的帧率信息为30fps,可以确定目标个数为8,在摄像头的帧率信息为15fps时,可以确定目标个数为6。
需要说明的是,在另一些实施方式中,还可以根据用户的眨眼周期以及表情变化周期等来确定需要获取的场景图像的具体个数。
在步骤202中,从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像。
在确定对应摄像头帧率信息的目标个数之后,即可从图像缓存队列中提取目标个数的场景图像。比如,在摄像头的帧率信息为30fps时,确定对应帧率信息“30fps”的目标个数为“8”,则从图像缓存队列中提取8个场景图像。
在步骤203中,确定提取的各个场景图像中包含的匹配脸部图像的个数,其中,匹配脸部图像的脸部特征与预设脸部特征匹配。
其中,在获取到对应同一场景(即待拍摄场景)的多个场景图像之后,对于获取到的各个场景图像,对其进行人脸识别,确定各个场景图像中包括的匹配脸部图像的个数,其中,匹配脸部图像是指该脸部图像的脸部特征与预设脸部特征匹配,脸部特征包括但不限于眼睛状态(如睁眼和闭眼)以及表情类型(如微笑、大笑、沮丧以及吃惊等)等。
其中,预设脸部特征可根据实际拍摄需求进行设置,比如,在进行多人合影时,若需要拍摄大家都吃惊的表情,则可将预设脸部特征配置为“吃惊”;又比如,在进行多人合影时,若需要拍摄大家睁眼并微笑的表情,则可将预设脸部特征配置为“微笑并睁眼”。
在步骤204中,将包括匹配脸部图像个数最多的场景图像确定为待处理图像。
在确定各个场景图像集合中包含的匹配脸部图像的个数之后,即可将包括匹配脸部图像个数最多的场景图像作为待处理图像。
比如,请结合参照图2和图3,待拍摄场景中包括人物丙、人物丁和人物戊3个不同的人物,配置的预设脸部特征为“大笑”。摄像头实时采集该待拍摄场景的场景图像,并缓存至长度为8的图像缓存队列中。
在接收到触发的图像拍摄请求时,从图像缓存队列中提取出最近存入的4个场景图像,分别为:场景图像A、场景图像B、场景图像C以及场景图像D;之后,对提取出的这4个场景图像分别进行人脸识别,确定这4个场景图像各自包含的匹配脸部图像的个数,经人脸识别,确定场景图像A中包括一个匹配脸部图像(即丙的脸部图像),确定场景图像B中不存在匹配脸部图像,确定场景图像C中包括两个匹配脸部图像(即丙的脸部图像和丁的脸部图像),确定场景图像D中包括一个匹配脸部图像(即戊的脸部图像),显然的,场景图像C包含的匹配脸部图像的个数最多,因此将场景图像C作为待处理图像。
在步骤205中,确定待处理图像中的待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配。
本申请实施例中,在从获取到的多个场景图像中确定出待处理图像之后,进一步从待处理图像中确定出待处理脸部图像,其中,该待处理脸部图像的脸部特征与预设脸部特征不匹配。
比如,请参照图4,确定出的待处理图像包括人物丙的脸部图像、人物丁的脸部图像以及人物戊的脸部图像,如图4所示,丙脸部图像的脸部特征为“大笑”,丁脸部图像的脸部特征同样为“大笑”,而戊脸部图像的脸部特征为“沮丧”,若预设脸部特征为“大笑”,则丙和丁脸部图像的脸部特征与预设脸部特征匹配,戊脸部图像的脸部特征与预设脸部特征不匹配,因此,将戊脸部图像确定为待处理脸部图像。
在步骤206中,从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配。
本申请实施例中,在确定出待处理图像之中的待处理脸部图像,进一步从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,其中,该目标脸部图像与待处理脸部图像属于相同人物,且该目标脸部图像的脸部特征与预设脸部特征匹配。
比如,请参照图5和图2,对于图2所示的四个场景图像中,场景图像C被确定为待处理图像,其中戊脸部图像的脸部特征为“沮丧”,与预设脸部特征“大笑”不匹配,被进一步确定为待处理脸部图像。之后,在除待处理图像(此处为场景图像C)之外的其它场景图像(此处为场景图像A、场景图像B以及场景图像D)中,查找是否存在脸部特征为“大笑”的戊脸部图像(即人物戊的脸部图像),显然的,如图5所示,场景图像D中存在脸部特征为“大笑”的戊脸部图像,此时,将场景图像D中的戊脸部图像确定为目标脸部图像,并从场景图像D中提取出戊脸部图像,用作后续处理。
在步骤207中,将待处理脸部图像替换为目标脸部图像。
本申请实施例中,在获取到对应待处理脸部图像的目标脸部图像之后,即可将待处理脸部图像替换为目标脸部图像。
比如,请结合参照图6和图2,在获取到图2所示的四个场景图像(即场景图像A、场景图像B、场景图像C以及场景图像D)之后,将场景图像C确定为待处理图像,并进一步将场景图像C中的戊脸部图像(即人物戊的脸部图像)确定为待处理脸部图像;之后,将场景图像D中的戊脸部图像确定为目标脸部图像;之后,将场景图像C中的戊脸部图像替换为场景图像D中的戊脸部图像,从而得到替换处理后的场景图像C,如图6所示,替换后的场景图像C中,各人物脸部图像的脸部特征均为“大笑”,与预设脸部特征“大笑”匹配。
本申请实施例中,在完成图像替换之后,即可将替换后的待处理图像作为图像拍摄请求的结果图像。
在一实施例中,还提供了一种图像处理装置400,请参阅图11,图11为本申请实施例提供的图像处理装置400的结构示意图。其中该图像处理装置400应用于电子设备,该图像处理装置400包括第一获取模块401、图像选取模块402、图像确定模块403、第二获取模块404以及图像替换模块405,如下:
第一获取模块401,用于获取摄像头的帧率信息,并获取对应所述帧率信息的目标个数;
图像选取模块402,用于从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;
图像确定模块403,用于从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配;
第二获取模块404,用于从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配;
图像替换模块405,用于将待处理脸部图像替换为目标脸部图像。
在一实施例中,图像确定模块403,具体用于:
确定提取的各个场景图像中包含的匹配脸部图像的个数,其中,匹配脸部图像的脸部特征与预设脸部特征匹配;
将包括匹配脸部图像个数最多的场景图像确定为待处理图像。
在一实施例中,图像处理装置400还包括降噪处理模块,用于:
根据除待处理图像之外的其它场景图像对替换后的待处理图像进行降噪处理。
在一实施例中,第二获取模块404,还用于:
在从除待处理图像之外的其它场景图像中获取目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有目标脸部图像;
在脸部图像库中存储有目标脸部图像时,提取脸部图像库中存储的目标脸部图像。
在一实施例中,图像替换模块405,具体用于:
获取待处理脸部图像的光照信息;
将获取到的光照信息迁移至目标脸部图像;
将待处理脸部图像替换为迁移后的目标脸部图像。
在一实施例中,第二获取模块404,还用于:
在脸部图像库中未存储有目标脸部图像时,获取待处理脸部图像对应的人物信息;
发送图像获取请求至该人物信息对应的目标电子设备,该图像获取请求用于指示目标电子设备查找并返回目标脸部图像;
接收目标电子设备返回的目标脸部图像。
具体实施时,以上各个模块可以作为独立的实体实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单位的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例图像处理装置可以由第一获取模块401获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;由图像选取模块402从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;由图像确定模块403从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像,该待处理脸部图像的脸部特征与预设脸部特征不匹配;由第二获取模块404从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像,该目标脸部图像与待处理脸部图像属于相同人物,且目标脸部图像的脸部特征与预设脸部特征匹配;由图像替换模块405将待处理脸部图像替换为目标脸部图像。采用本申请实施例提供的技术方案,将拍摄得到的人像作为待处理图像,可以自动的将其中不符合要求的脸部图像替换为符合要求的脸部图像,无需拍摄者掌握复杂拍摄技术,也无需拍摄者进行复杂的拍摄操作,即可获得符合要求的人像,降低了人像拍摄的难度。
本申请实施例还提供一种电子设备。请参阅图12,电子设备500包括中央处理器501以及存储器502。其中,中央处理器501与存储器502电性连接。
所述中央处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而实现对用户性别的准确识别。
所述存储器502可用于存储软件程序以及模块,中央处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供中央处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的中央处理器501通过运行存储在存储器502中的计算机程序,执行上述任一实施例中的图像处理方法,比如:首先获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;然后从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;再从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像;再从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像;最后将待处理脸部图像替换为目标脸部图像。
请一并参阅图13,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505、电源506、图像处理电路507以及图形处理器508。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与中央处理器501电性连接。
显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid Crystal Display,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理***与中央处理器501逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
图像处理电路507可以利用硬件和/或软件组件实现,可包括定义ISP(ImageSignal Processing,图像信号处理)管线的各种处理单元,请参照图14,在一实施例中,图像处理电路507包括ISP处理器5071和控制逻辑器5072。摄像头5073捕捉的图像数据首先由ISP处理器5071处理,ISP处理器5071对图像数据进行分析以捕捉可用于确定和/或摄像头5073的一个或多个控制参数的图像统计信息。摄像头5073可包括具有一个或多个透镜50731和图像传感器50732的照相机。图像传感器50732可包括色彩滤镜阵列(如Bayer滤镜),图像传感器50732可获取用图像传感器50732的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器5071处理的一组原始图像数据。传感器5074(如陀螺仪)可基于传感器5074接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器5071。传感器5074接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器50732也可将原始图像数据发送给传感器5074,传感器5074可基于传感器5074接口类型把原始图像数据提供给ISP处理器5071,或者传感器5074将原始图像数据存储到图像存储器5075中。
ISP处理器5071按多种格式逐个像素地处理原始图像数据。比如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器5071可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器5071还可从图像存储器5075接收图像数据。比如,传感器5074接口将原始图像数据发送给图像存储器5075,图像存储器5075中的原始图像数据再提供给ISP处理器5071以供处理。图像存储器5075可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器50732接口或来自传感器5074接口或来自图像存储器5075的原始图像数据时,ISP处理器5071可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器5075,以便在被显示之前进行另外的处理。ISP处理器5071从图像存储器5075接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器5071处理后的图像数据可输出给显示器503,以供用户观看和/或由图形引擎或图像处理器507进一步处理。此外,ISP处理器5071的输出还可发送给图像存储器5075,且显示器503可从图像存储器5075读取图像数据。在一个实施例中,图像存储器5075可被配置为实现一个或多个帧缓冲器。此外,ISP处理器5071的输出可发送给编码器/解码器5076,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器503设备上之前解压缩。编码器/解码器5076可由CPU或GPU或协处理器实现。
ISP处理器5071确定的统计数据可发送给控制逻辑器5072单元。比如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜50731阴影校正等图像传感器50732统计信息。控制逻辑器5072可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定摄像头5073的控制参数及ISP处理器5071的控制参数。比如,摄像头5073的控制参数可包括传感器5074控制参数(比如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜50731控制参数(比如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(比如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜50731阴影校正参数等。
图像处理器508对电子设备需要进行显示的显示数据进行转换驱动,并向显示器503提供行扫描信号,控制显示器503的正确显示。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述任一实施例中的图像处理方法,比如:首先获取摄像头的帧率信息,并获取对应该帧率信息的目标个数;然后从摄像头采集的同一场景的场景图像中,提取数量为目标个数的场景图像;再从提取的场景图像中确定出待处理图像,并从待处理图像中确定出待处理脸部图像;再从除待处理图像之外的其它场景图像中,获取对应待处理脸部图像的目标脸部图像;最后将待处理脸部图像替换为目标脸部图像。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个中央处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种图像处理方法,其特征在于,包括:
获取摄像头的帧率信息,并获取对应所述帧率信息和表情变化周期的目标个数;
从摄像头采集的同一场景的场景图像中,提取数量为所述目标个数的场景图像;
从提取的场景图像中确定出待处理图像,并从所述待处理图像中确定出待处理脸部图像,所述待处理脸部图像的脸部特征与预设脸部特征不匹配;
从除所述待处理图像之外的其它场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像与所述待处理脸部图像属于相同人物,且所述目标脸部图像的脸部特征与所述预设脸部特征匹配;
在从所述其它场景图像中获取所述目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有所述目标脸部图像;
在所述脸部图像库中未存储有所述目标脸部图像时,获取所述待处理脸部图像对应的人物信息;
发送图像获取请求至所述人物信息对应的目标电子设备,所述目标电子设备为根据本地预存的人物信息和电子设备的关联关系所确定的,所述图像获取请求为按照预先约定的报文格式所生成的,所述图像获取请求用于指示所述目标电子设备查找并返回所述目标脸部图像;
接收所述目标电子设备返回的所述目标脸部图像;
将所述待处理脸部图像替换为所述目标脸部图像;
将所述目标个数的场景图像进行对齐,获取每一组对齐像素的像素值,若同一组对齐像素的像素值相差不多,计算该组对齐像素的像素值均值,用该像素值均值替换所述待处理图像的对应像素的像素值;若同一组对齐像素的像素值相差较多,不对所述待处理图像中的像素值进行调整。
2.如权利要求1所述的图像处理方法,其特征在于,从提取的场景图像中确定出待处理图像,包括:
确定提取的各个场景图像中包含的匹配脸部图像的个数,其中,匹配脸部图像的脸部特征与预设脸部特征匹配;
将包括匹配脸部图像个数最多的场景图像确定为所述待处理图像。
3.如权利要求1或2所述的图像处理方法,其特征在于,在从所述其它场景图像中获取所述目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有所述目标脸部图像之后,还包括:
在所述脸部图像库中存储有所述目标脸部图像时,提取所述脸部图像库中存储的所述目标脸部图像。
4.如权利要求3所述的图像处理方法,其特征在于,将所述待处理脸部图像替换为所述目标脸部图像,包括:
获取所述待处理脸部图像的光照信息;
将获取到的所述光照信息迁移至所述目标脸部图像;
将所述待处理脸部图像替换为迁移后的所述目标脸部图像。
5.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取摄像头的帧率信息,并获取对应所述帧率信息和表情变化周期的目标个数;
图像选取模块,用于从摄像头采集的同一场景的场景图像中,提取数量为所述目标个数的场景图像;
图像确定模块,用于从提取的场景图像中确定出待处理图像,并从所述待处理图像中确定出待处理脸部图像,所述待处理脸部图像的脸部特征与预设脸部特征不匹配;
第二获取模块,用于从除所述待处理图像之外的其它场景图像中,获取对应所述待处理脸部图像的目标脸部图像,所述目标脸部图像与所述待处理脸部图像属于相同人物,且所述目标脸部图像的脸部特征与所述预设脸部特征匹配;
所述第二获取模块,还用于在从除待处理图像之外的其它场景图像中获取目标脸部图像失败时,判断本地预设的脸部图像库中是否存储有目标脸部图像;
所述第二获取模块,还用于在脸部图像库中未存储有目标脸部图像时,获取待处理脸部图像对应的人物信息;发送图像获取请求至该人物信息对应的目标电子设备,所述目标电子设备为根据本地预存的人物信息和电子设备的关联关系所确定的,所述图像获取请求为按照预先约定的报文格式所生成的,该图像获取请求用于指示目标电子设备查找并返回目标脸部图像;接收目标电子设备返回的目标脸部图像;
图像替换模块,用于将所述待处理脸部图像替换为所述目标脸部图像;
将所述目标个数的场景图像进行对齐,获取每一组对齐像素的像素值,若同一组对齐像素的像素值相差不多,计算该组对齐像素的像素值均值,用该像素值均值替换所述待处理图像的对应像素的像素值;若同一组对齐像素的像素值相差较多,不对所述待处理图像中的像素值进行调整。
6.如权利要求5所述的图像处理装置,其特征在于,图像确定模块具体用于:
确定提取的各个场景图像中包含的匹配脸部图像的个数,其中,匹配脸部图像的脸部特征与预设脸部特征匹配;
将包括匹配脸部图像个数最多的场景图像确定为所述待处理图像。
7.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至4任一项所述的图像处理方法。
8.一种电子设备,包括中央处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述中央处理器通过调用所述计算机程序,用于执行如权利要求1-4任一项所述的图像处理方法。
CN201810290702.6A 2018-03-30 2018-03-30 图像处理方法、装置、存储介质及电子设备 Active CN108495038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810290702.6A CN108495038B (zh) 2018-03-30 2018-03-30 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810290702.6A CN108495038B (zh) 2018-03-30 2018-03-30 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108495038A CN108495038A (zh) 2018-09-04
CN108495038B true CN108495038B (zh) 2021-09-07

Family

ID=63318314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810290702.6A Active CN108495038B (zh) 2018-03-30 2018-03-30 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108495038B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919866B (zh) * 2019-02-26 2023-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、介质及电子设备
CN112887613B (zh) * 2021-01-27 2022-08-19 维沃移动通信有限公司 拍摄方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183734A (zh) * 2014-06-16 2015-12-23 西安中兴新软件有限责任公司 一种图像文件共享方法和装置
CN105303161A (zh) * 2015-09-21 2016-02-03 广东欧珀移动通信有限公司 一种多人拍照的方法及装置
CN106993135A (zh) * 2017-03-31 2017-07-28 维沃移动通信有限公司 一种拍照方法及移动终端
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
CN104766038B (zh) * 2014-01-02 2018-05-18 株式会社理光 手掌开合动作识别方法和装置
CN104243818B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 图像处理方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183734A (zh) * 2014-06-16 2015-12-23 西安中兴新软件有限责任公司 一种图像文件共享方法和装置
CN105303161A (zh) * 2015-09-21 2016-02-03 广东欧珀移动通信有限公司 一种多人拍照的方法及装置
CN106993135A (zh) * 2017-03-31 2017-07-28 维沃移动通信有限公司 一种拍照方法及移动终端
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备

Also Published As

Publication number Publication date
CN108495038A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN116582741B (zh) 一种拍摄方法及设备
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
CN113747085A (zh) 拍摄视频的方法和装置
CN111491102A (zh) 拍照场景的检测方法、***、移动终端及存储介质
CN112866576B (zh) 图像预览方法、存储介质及显示设备
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
EP4376433A1 (en) Camera switching method and electronic device
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
US10769416B2 (en) Image processing method, electronic device and storage medium
US20220329729A1 (en) Photographing method, storage medium and electronic device
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
CN117201930B (zh) 一种拍照方法和电子设备
CN112887615A (zh) 拍摄的方法及装置
CN113808066A (zh) 图像选取方法、装置、存储介质及电子设备
WO2022183876A1 (zh) 拍摄方法、装置、计算机可读存储介质及电子设备
CN117132515A (zh) 一种图像处理方法及电子设备
CN108259768B (zh) 图像的选取方法、装置、存储介质及电子设备
JP5660306B2 (ja) 撮像装置、プログラム、及び撮像方法
CN112367464A (zh) 图像输出方法、装置及电子设备
CN115623319B (zh) 一种拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant