CN117237204A - 一种图像处理方法、电子设备和存储介质 - Google Patents
一种图像处理方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117237204A CN117237204A CN202310924224.0A CN202310924224A CN117237204A CN 117237204 A CN117237204 A CN 117237204A CN 202310924224 A CN202310924224 A CN 202310924224A CN 117237204 A CN117237204 A CN 117237204A
- Authority
- CN
- China
- Prior art keywords
- image
- person
- photo
- dimensional
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 110
- 238000003384 imaging method Methods 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims 1
- 239000003550 marker Substances 0.000 claims 1
- 230000002411 adverse Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 143
- 230000001976 improved effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 230000000877 morphologic effect Effects 0.000 description 9
- 238000005336 cracking Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000036548 skin texture Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种图像处理方法、电子设备和存储介质,涉及图像处理领域,解决了电子设备拍摄的照片因为环境的不利影响,导致人物图像的成像效果不好的问题。该方法包括:显示第一图像;在第一图像中包括人脸图像的情况下,获取第一图像中第一人脸图像所属的第一人物的第一特征信息;其中,所述第一特征信息至少包括所述第一人物的人脸特征信息;获取与所述第一特征信息匹配的第一三维模型;其中,所述第一三维模型包含从所述第一人物对应的历史图像中提取到的人脸三维特征;将所述第一三维模型中的人脸三维特征与所述第一图像中第一人脸图像进行融合,得到第二图像;将所述第一图像与所述第二图像进行融合,得到第五图像。
Description
本申请是分案申请,原申请的申请号是202210682176.4,原申请日是2022年6月15日,原申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子设备图像处理领域,尤其涉及一种图像处理方法、电子设备和存储介质。
背景技术
目前,随着技术的发展,拍照已经是电子设备(例如手机)必备的功能了。在光线充足或者适合拍照的环境下,智能手机基本都能够拍照出清晰的人像。而在一些不利于拍照的场景下,例如逆光、暗光等场景下,用户使用电子设备拍摄的照片的人像的成像质量较差,用户体验不好。
发明内容
本申请实施例提供一种图像处理方法、电子设备和存储介质,解决了电子设备拍摄的照片因为环境的不利影响,导致人物图像的成像效果不好的问题。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请提供了一种图像处理方法,该方法可以应用于电子设备。该方法中,电子设备在获取第一照片后,电子设备可以在第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息。其中,第一特征信息至少包括第一人物的人脸特征信息。然后,电子设备获取与第一特征信息匹配的第一三维模型。其中,第一三维模型用于表征第一人物对应的历史照片中,第一人物的三维特征;三维特征至少包括人脸三维特征。最后,电子设备则将第一三维模型与第一照片中第一人物的图像进行融合,以对第一照片中第一人物的图像进行优化,得到第二照片。
基于上述方案,电子设备可以获取到某张照片时,获取到对应该照片中人脸图像所属的人物图像的三维模型。进而利用该三维模型,对该照片中的人物图像进行优化,得到优化后的照片。因为该三维模型是表征反映出该人物对应的历史照片中,该人物的三维特征的。而多个历史照片中该人物的图像的细节信息,则必然会比电子设备当前拍摄的照片中该人物的图像体现的细节更多。所以,该方案最终优化后的照片中,人物图像的细节信息会更丰富,人物图像也会更加清晰。这样,即便该照片因为拍摄时的环境不利于拍照导致人物图像不够清晰,通过本申请提供的技术方案也可以通过对该照片中的人物图像进行优化,得到人物图像的成像质量较好的照片,也就提高了用户的使用体验。
在第一方面的一种可能的实现方式中,电子设备获取第一照片,包括:电子设备接收拍照操作;电子设备响应于拍照操作,获取第一照片。
这样一来,电子设备在拍照得到第一照片后,便可以在该照片中包括人脸图像的情况下,及时利用该照片中人脸图像所属人物的三维模型,对该照片中的人物图像进行优化,得到优化后的照片。因为该三维模型是能够表征出该人物对应的历史照片中该人物三维特征的。而多个历史照片中该人物的图像的细节信息,则必然会比手机当前拍摄的照片中该人物的图像体现的细节更多。所以,该方案最终优化后的照片中,人物图像的细节信息会更丰富,人物图像也会更加清晰。这样,即便用户使用手机拍照时的环境不利于拍照,也可以得到人物图像的成像质量较好的照片,也就提高了用户的使用体验。
在第一方面的另一种可能的实现方式中,电子设备响应于拍照操作,获取第一照片之前,方法还包括:电子设备响应于用户对相机应用图标的触发操作,显示相机预览界面,并实时确定相机预览界面中是否包括人脸图像;其中,相机预览界面用于预览电子设备的摄像头的拍摄画面;其中,第一照片中是否包括人脸图像,是电子设备接收拍照操作前最新一次对相机预览界面中是否包括人脸图像的确定结果。
基于上述方案,电子设备在拍照得到第一照片前,会实时对相机预览界面中是否包括人脸图像进行判定。后续在得到第一照片时,便可以直接确定第一照片中是否包括人脸图像,进而决定是否执行后续的照片优化方案。这样一来,因为电子设备不需要在拍照后再判定照片中是否包括人脸图像,而是拍照得到照片时便可以知晓照片中是否包括人脸图像,节省了得到照片后的照片优化流程中判定是否包括人脸图像的步骤。所以该方案提高了照片优化方案的效率。
在第一方面的另一种可能的实现方式中,电子设备获取第一照片,包括:电子设备响应于用户对图库展示界面中第一目标照片的优化操作,将第一目标照片确定为第一照片。
基于上述方案,电子设备可以在用户指示对本地图库中的目标照片进行优化时(即对目标照片实施优化操作),可以先获取到对应该照片中人脸图像所属的人物的三维模型。进而利用该三维模型,对该照片中的人物的图像进行优化,得到优化后的照片。因为该三维模型是表征反映出该人物图像对应的历史照片中,对应该人物图像的人物的三维特征的。而多个历史照片中该人物图像对应的人物的细节信息,则必然会比电子设备当前拍摄的照片中该人物图像体现的细节更多。所以,该方案最终优化后的照片中,人物图像的细节信息会更丰富,人物的图像也会更加清晰。这样,即便电子设备已存储的目标照片在拍摄时的环境不利于拍照,也可以通过电子设备后续的优化得到人物图像的成像质量较好的照片,也就提高了用户的使用体验。
在第一方面的另一种可能的实现方式中,电子设备获取与第一特征信息匹配的第一三维模型之前,该方法还包括:电子设备获取当前时刻之前至少一个历史照片集合;其中,每个历史照片集合均关联有一个人物,不同的历史照片集合关联的人物不同;历史照片集合中的每张历史照片中均包括历史照片集合关联的人物的图像;至少一个历史照片集合中包括关联第一人物的第一历史照片集合;电子设备根据历史照片集合,确定历史照片集合关联的人物的三维特征;其中,三维特征至少包括人脸三维特征;电子设备根据历史照片集合关联的人物的三维特征,构建历史照片集合关联的人物的三维模型。
基于上述方案,电子设备可以提前构建好历史照片中对应的各个人物的三维模型,方便后续需要对拍摄的照片进行优化时使用。这样一来,可以使得电子设备在对拍摄的照片或者已存储的照片进行优化时,可以顺利快捷的获取到需要的三维模型,提高了照片优化的效率。
在第一方面的另一种可能的实现方式中,电子设备根据历史照片集合,确定历史照片集合对应的人物的三维特征,包括:电子设备根据历史照片集合中每个历史照片的成像质量参数,从历史照片集合中选择出至少一个第二目标照片;成像质量参数包括:分辨率、历史照片集合关联的人物的图像的完整程度;至少一个第二目标照片的成像质量参数高于历史照片集合中其他照片的成像质量参数;电子设备从第二目标照片,提取历史照片集合关联的人物的三维特征。
因为对于成像质量不好的历史照片而言,其中人物的图像的成像质量必然也是比较差的,所以对每个历史照片进行特征提取是较为浪费电子设备的计算资源的。基于此,本申请提供得的上述技术方案中,电子设备可以从历史照片集合中选择成像质量参数较高的第二目标照片,作为提取三维特征的基础。这样一来,电子设备便可以以尽可能少的计算资源提取到历史照片集合关联的人物的三维特征,节省了电子设备的计算资源。
在第一方面的另一种可能的实现方式中,电子设备获取第一照片之后,该方法还包括:电子设备将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合;电子设备根据第二历史照片集合,重新确定第一人物的三维特征;电子设备根据重新确定的第一人物的三维特征,重新构建第一人物的三维模型。
基于上述方案,电子设备在对拍摄的照片中的某个人物的图像(例如第一人物的图像)进行优化后,可以将拍摄的照片(如第一照片)作为历史照片添加进该人物关联的历史照片集合中。进而可以利用更新后的该人物关联的历史照片集合得到该人物的更新后的三维模型,使得后续再需要对该人物的图像进行优化时的优化效果更好。
在第一方面的另一种可能的实现方式中,电子设备在第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息之后,该方法还包括:电子设备在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合;电子设备根据第一历史照片集合,确定第一人物的三维特征;电子设备根据第一人物的三维特征,构建第一人物的三维模型。
在一些实施例中,对于拍摄得到的第一人物而言,若电子设备之前未对其拍摄过,也未存储过第一人物的三维特征或三维模型,则电子设备将无法对第一照片中的第一人物的图像进行优化。所以为了后续可以对手机拍摄的照片或者存储的照片中第一人物的图像进行优化,基于上述技术方案提到的,电子设备可以利用当前的第一照片建立关联第一人物的第一历史照片集合,得到第一人物的三维特征,进而得到第一人物的三维模型。从而方便后续电子设备在需要对第一人物的图像进行优化时,可以顺利得到第一人物的三维模型,完成照片优化,提高用户使用体验。
在第一方面的另一种可能的实现方式中,电子设备获取与第一特征信息匹配的第一三维模型,包括:电子设备获取与第一特征信息匹配的第一三维特征;第一三维特征为第一人物对应的历史照片中,第一人物的三维特征;电子设备利用第一三维特征,构建第一三维模型。
实际中,若直接利用第一特征信息与多个三维模型进行匹配,来寻找第一三维模型。则需要先从三维模型中获取可以比对的特征信息后,才能进行匹配,匹配过程繁琐麻烦。所以为了提高匹配效率,进而提高照片优化效率。基于上述方案所提到的,在本申请中,电子设备可以是先获取到第一特征信息匹配的第一三维特征,之后根据该第一三维特征构建得到第一三维模型。
在第一方面的另一种可能的实现方式中,电子设备在第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息之前,方法还包括:电子设备获取当前时刻之前至少一个历史照片集合;其中,每个历史照片集合均关联有一个人物,不同的历史照片集合关联的人物不同;历史照片集合中的每张历史照片中均存在历史照片集合关联的人物的图像;至少一个历史照片集合中包括关联第一人物的第一历史照片集合;电子设备根据历史照片集合,确定历史照片集合关联的人物的三维特征;其中,三维特征至少包括人脸三维特征。
及时雨上述方案,电子设备可以提前确定历史照片中关联的各个人物的三维特征,方便后续电子设备需要对照片进行优化时顺利的获取第一三维特征,进而构建得到第一三维模型。这样,也就使得电子设备在对拍摄照片进行优化时,可以快捷的获取到需要的三维模型,提高了照片优化的效率。
在第一方面的另一种可能的实现方式中,电子设备获取第一照片之后,该方法还包括:电子设备将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合;电子设备根据第二历史照片集合,重新确定第一人物的三维特征。
基于上述技术方案,电子设备在对拍摄的照片中的某个人物的图像(例如第一人物的图像)进行优化后,可以将拍摄的照片作为历史照片添加进该人物对应的历史照片集合中。进而得到该人物的更新后的三维特征,使得后续再需要对某个照片中该人物的图像进行优化时可以构建得到更准确的三维模型,提高照片优化效果。
在第一方面的另一种可能的实现方式中,电子设备在第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息之后,方法还包括:电子设备在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合;电子设备根据第一历史照片集合,确定第一人物的三维特征。
基于上述技术方案,电子设备在因为无法获取到第一照片中的某个人物(即第一人物)的人物图像的三维特征,而无法构建相应的三维模型的情况下,可以利用该第一照片建立相应的历史照片集合,进而得到三维特征。从而使得电子设备后续在需要对新得到的照片中该人物的图像进行优化时,可以顺利得到三维特征,进而构建相应的三维模型,从而完成相应的照片优化流程,提高用户使用体验。
在第一方面的另一种可能的实现方式中,电子设备获取第一照片之后,该方法还包括:
电子设备在第一照片中包括人脸图像的情况下,获取第二人脸图像所属的第二人物的第二特征信息;其中,第二人物和第一人物不同,第二特征信息至少包括第二人物的人脸特征信息;电子设备获取与第二特征信息匹配的第二三维模型;其中,第二三维模型用于表征第二人物对应的历史照片中,第二人物的三维特征;电子设备将第二三维模型与第一照片中第二人物的图像进行融合,以对第一照片中第二人物的图像进行优化,得到第三照片。
基于上述技术方案,针对第一照片中的每个人物图像,电子设备均可以利用相应的三维模型进行优化。所以,该方案最终优化后的照片中,人物图像的细节信息会更丰富,人物图像也会更加清晰。这样,即便电子设备已存储的目标照片在拍摄时的环境不利于拍照,也可以通过电子设备后续的优化得到人物图像的成像质量较好的照片,也就提高了用户的使用体验。
在第一方面的另一种可能的实现方式中,该方法还包括:电子设备将第一照片和第四照片进行融合,以得到第五照片;其中,第四照片为电子设备对第一照片中的目标人物的图像进行优化后得到的;其中,目标人物包括第一人物和/或第二人物。
在一些实施例中,电子设备已存储的未被优化过的目标照片因为是直接拍摄得到的,所以其中的人物的图像和其背景图像(即除人物图像以外的图像)之间的过渡在观感上会很平滑。而优化后的第二照片(或者第三照片,或者第二照片和第三照片的结合),因为其中人物的图像是经过优化的,可能会导致人物的图像与背景图像之间存在较为明显的区别,产生割裂感。所以为了避免这种割裂感,基于上述技术方案所提到的,电子设备可以通过融合第一照片和第四照片,得到第五照片。因为最终处理得到的第五照片是由原始的第一照片和优化后的第四照片融合得到的,所以其不仅人物的图像清晰细节多,且人物的图像和背景图像之间不存在割裂感,整个画面更加和谐。进而,用户的观感也就更好,提高了用户的使用体验。
第二方面,本申请提供一种电子设备,该电子设备包括摄像头、显示屏、存储器和一个或多个处理器;摄像头、显示屏、存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如第一方面及其任一种可能的设计方式提供的图像处理方法。
第三方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式提供的图像处理方法。
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面及其任一种可能的设计方式提供的图像处理方法。其中,该计算机可以是前述的电子设备。
可以理解地,上述提供的第二方面及其任一种可能的设计方式所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种图像处理方法的实施环境示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种拍摄照片的优化流程示意图一;
图4为本申请实施例提供的一种相机预览界面的示意图;
图5为本申请实施例提供的一种启动相机的场景示意图;
图6为本申请实施例提供的一种拍摄照片的优化流程示意图二;
图7为本申请实施例提供的一种拍摄照片的优化流程示意图三;
图8为本申请实施例提供的一种拍摄照片的优化流程示意图四;
图9为本申请实施例提供的一种拍摄照片的优化流程示意图五;
图10为本申请实施例提供的一种优化后的照片示意图;
图11为本申请实施例提供的一种照片优化前后的对比场景示意图;
图12为本申请实施例提供的一种拍摄照片的优化流程示意图六;
图13为本申请实施例提供的一种优化前后的照片对比示意图;
图14为本申请实施例提供的一种拍摄照片的优化流程示意图七;
图15为本申请实施例提供的一种已存储照片的优化流程示意图一;
图16为本申请实施例提供的一种确定第一照片的场景示意图;
图17为本申请实施例提供的一种已存储照片的优化流程示意图二;
图18为本申请实施例提供的一种已存储照片的优化流程示意图三;
图19为本申请实施例提供的一种优化信息生成流程示意图一;
图20为本申请实施例提供的一种图库应用中的照片分类场景示意图;
图21为本申请实施例提供的一种优化信息生成流程示意图二;
图22为本申请实施例提供的一种优化信息生成流程示意图三;
图23为本申请实施例提供的一种拍摄照片的优化流程示意图八;
图24为本申请实施例提供的一种已存储照片的优化流程示意图四;
图25为本申请实施例提供的一种拍摄照片的优化流程示意图九;
图26为本申请实施例提供的一种已存储照片的优化流程示意图五;
图27为本申请实施例提供的一种拍摄照片的优化流程示意图十;
图28为本申请实施例提供的一种拍摄照片的优化流程示意图十一;
图29为本申请实施例提供的一种已存储照片的优化流程示意图六;
图30为本申请实施例提供的一种已存储照片的优化流程示意图七;
图31为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联人物的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请以下实施例中的术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,大多数电子设备均具备有拍照功能。但是,在一些不利于拍照的场景下,例如暗光、逆光等场景下,用户使用电子设备拍摄的照片中的人像的成像质量不高,导致用户使用体验不好。
针对上述问题,本申请实施例提供一种照片优化方法,该方法可以应用于具备有拍照功能的电子设备。该方法又可称为图像处理方法。在该方法中,电子设备可以根据照片中某个人物的图像的第一特征信息,例如人脸特征信息,获取对应该人物的图像的三维模型。该三维模型为能够表征该照片中该人物的图像对应的历史照片(即包括有该人物的图像对应的人物的图像的历史照片)中,该人物的三维特征。之后,电子设备可以将该人物的三维模型与该人物图像进行融合,以对该照片进行优化,得到优化后的照片。这样一来,因为电子设备中照片的人像便可以利用历史照片进行优化,使得照片中的人像更清晰立体,提高了用户的使用体验。
本申请实施例提供的技术方案可能涉及的实施环境的示意图可参照图1所示。在该实施环境中,可以包括电子设备01和服务器02。其中,电子设备01和服务器02之间通过有线通讯或无线通讯的方式进行通信。在本申请实施例中,电子设备01和服务器02之间存在一定对应关系,例如电子设备为荣耀终端有限公司的产品时,服务器02应当为荣耀终端有限公司为其生产的电子设备配置的能够存储该电子设备需要上传存储的数据,例如:电子设备拍摄的照片、电子设备根据历史照片确定的三维特征或者三维模型。该服务器02还可以根据电子设备上传存储的数据生成后续电子设备可能需要的数据。例如,该服务器02可以利用电子设备上传的拍摄的照片,生成对应某个人物的三维特征,或者进一步生成对应某个人物的三维模型。
示例性的,本申请中的服务器02可以是一台服务器,也可以是多台服务器组成的服务器集群,或者是一个云计算服务中心,本申请对此不做限定。在本申请中,服务器02主要用于存储器电子设备上传存储的电子设备拍摄的照片,和/或,电子设备根据历史照片确定的三维特征,和/或,电子设备根据历史照片确定三维模型。在电子设备执行本申请提供的技术方案的情况下,服务器02在接收到电子设备01获取数据的请求时,可以将其请求的数据发送给电子设备01。
示例性的,本申请实施例中的电子设备可以是手机、平板电脑、穿戴式设备(如智能手表或智能手环)、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、导航装置、移动上网装置(mobile internet device,MID)或可穿戴式设备(wearable device)等可以进行拍照的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
以电子设备是手机为例。图2示出了本申请提供的中电子设备100的结构示意图。
参照图2所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,显示屏193,用户标识模块(subscriber identification module,SIM)卡接口194,以及摄像头195等。其中,传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在本申请中,AP和GPU配合,可以确定电子设备中的照片中是否包括人脸图像,并提取其中的相关特征信息,例如人脸特征信息或者体态特征信息;进一步的还可以确定与该人脸图像匹配的三维特征或者三维模型。
电子设备100通过GPU,显示屏193,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏193和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏193用于显示图像,视频等。该显示屏可以是触摸屏。在一些实施例中,电子设备100可以包括1个或N个显示屏193,N为大于1的正整数。
电子设备100可以通过ISP,摄像头195,视频编解码器,GPU,显示屏193以及应用处理器等实现拍摄功能。ISP用于处理摄像头195反馈的数据。摄像头195用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头195,N为大于1的正整数。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:贴膜状态识别,图像修复、图像识别,人脸识别,语音识别,文本理解等。本申请中,NPU可以利用电子设备获取的三维特征生成相应的三维模型。GPU和NPU的配合,则可以利用电子设备获取的三维模型对照片中的人物的图像进行融合优化。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据,例如电子设备拍摄的照片,根据照片获取的三维特征乃至三维模型等。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。随机存取存储器可以由处理器110直接进行读写,可以用于存储操作***或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
触摸传感器,也称“触控器件”。触摸传感器可以设置于显示屏193,由触摸传感器与显示屏193组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏193提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备的表面,与显示屏193所处的位置不同。
在本申请中,触摸传感器可以检测到用户作用于手机显示屏上的操作,由处理器110分析并执行该操作对应执行的功能,例如熄屏,亮屏等。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏193。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏193,电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
按键190包括电源键,音量键等。用户通过长按电源键可以控制手机开机或关机,用户通过按压音量键则可以控制手机的播放音量。
马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口194用于连接SIM卡。
当然,可以理解的,上述图2所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑,手持计算机,PC,PDA,可穿戴式设备(如:智能手表、智能手环)等其他设备形态时,电子设备的结构中可以包括比图2中所示更少的结构,也可以包括比图2中所示更多的结构,在此不作限制。
可以理解的,需要进行优化的照片可以是电子设备使用相机应用拍摄的照片,也可以是用户本地图库中存储的未进行优化过的照片。因此,本申请提供的照片优化方法中,电子设备可以优化电子设备直接拍摄的照片,也可以优化用户在电子设备的图库中选择的已存储的照片。另外,在照片优化的具体过程中还需要使用预先存储好的优化信息(三维特征或者三维模型)。因此,相应的,本申请提供的照片优化方法可以包括“拍摄照片的优化”流程、“优化信息生成”流程和“已存储照片的优化”流程。
以下实施例中的方法流程均可以在具有上述硬件架构的电子设备中实现。
下面以电子设备为手机为例,对本申请实施例提供的照片优化方法中,拍摄照片的优化流程进行介绍。如图3所示,该拍摄照片的优化流程可以包括S301-S307:
S301、手机接收用户对相机应用图标的触发操作。
在用户需要使用手机进行拍照时,用户可以点击手机桌面的相机应用图标,从而触发手机启动摄像开始进行拍摄。
S302、响应于用户对相机应用图标的触发操作,手机启动摄像头,显示相机预览界面。
实际中,为了使得手机在打开相机应用时,用户可以明确此时摄像头对应的拍摄区域中的内容,手机会将摄像头对拍摄区域得到的画面实时的呈现在相机预览界面中。也就是说,相机预览界面用于预览手机的摄像头的拍摄画面。
目前手机大多具备有后置摄像头和前置摄像头,其中前置摄像头用于拍摄手机屏幕正对方向的拍摄区域,而后置摄像头则拍摄手机背面正对方向的拍摄区域。而本申请中S302中提到的手机启动的摄像头可以是前置摄像头,也可以是后置摄像头,还可以是前置摄像头和后置摄像头。具体手机启动何种摄像头可以根据相机应用的设置或者手机之前一次进行拍摄时的设置而定,本申请对此不做具体限制。
参照图4中(a)所示,在手机启动的摄像头为前置摄像头的情况下,相机预览界面显示前置摄像头拍摄的画面,本申请中可以称为前景画面。
参照图4中(b)所示,在手机启动的摄像头为后置摄像头的情况下,相机预览界面显示后置摄像头拍摄的画面,本申请中可以称为后景画面。
参照图4中(c)所示,在手机启动的摄像头为前置摄像头和后置摄像头的情况下,相机预览界面则按照一定比例(例如1:1)分为第一区域401和第二区域402两个区域。其中,第一区域401用于显示前置摄像头拍摄的前景画面,第二区域402则用于显示后置摄像头拍摄的后景画面。当然,图4中(c)示出的第一区域和第二区域在相机预览界面中的排布关系仅为示例,实际中还可以有其他任意可行的方式,例如画中画等。本申请对此不做具体限制。
示例性的,以手机响应于用户对相机应用图标的触发操作,启动了后置摄像头为例,手机可以显示如图5中(a)所示的桌面501。该桌面501中包括相机应用图标502。上述S301和S302具体实现如下:手机可以接收用户对相机应用图标502的触发操作(例如点击操作)。响应于对相机应用图标502的触发操作,手机可以启动手机的后置摄像头进行拍摄,并显示如图5中(b)所示的相机预览界面503。
S303、手机接收用于在相机预览界面上实施的拍照操作。
示例性的,以手机响应于用户对相机应用图标的触发操作,启动了后置摄像头为例。参照图5中(b)所示,相机预览界面503中可以包括有拍照控件504。该拍照控件504用于触发手机采集相机预览界面503当前显示的画面生成照片。该拍照操作可以是用于对该拍照控件504的触发操作,例如点击操作。
S304、手机响应于用户实施的拍照操作,获取第一照片。
示例性的,参照图5中(b)所示,第一照片中的图像内容具体可以为用户实施拍照操作时,相机预览界面503中显示的画面。
S305、手机在第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息。
本申请提供的拍照优化方法的主要目的是对照片中的人物的图像进行优化,而一个人物的图像最主要的则是该人物的人脸图像。所以本申请中,手机在响应于用户的拍照操作,获取到第一照片后,需要在确定拍摄的第一照片中包括人脸图像的情况下,才会实施对该照片的优化,即执行后续的S306和S307。其中,第一人脸图像是第一照片中的人脸图像中的一个。
具体手机如何确定第一照片中是否包括人脸图像,则可以是任意可行的方式。例如,手机可以根据第一照片中是否存在预设大小的区域(可以根据第一照片的分辨率决定)内存在符合预设相对位置条件的五官来决定第一照片中是否包括人脸图像。具体的,若手机确定第一照片中存在预设大小的区域(可以根据第一照片的分辨率决定)内存在符合预设相对位置条件的五官,则确定第一照片中包括人脸图像;若手机确定第一照片中存在预设大小的区域(可以根据第一照片的分辨率决定)内不存在符合预设相对位置条件的五官,则确定第一照片中不包括人脸图像。
又例如,手机可以根据预先训练的人脸识别模型对第一照片中不同的物体进行识别,以确定第一照片中是否包括人脸图像。当然,实际中还可以是其他任意可行的实现方式。
不同人物图像最大的区别就是人脸信息,人脸的特征信息可以最大程度的区分不同的人物图像。基于此,本申请中的第一特征信息至少包括第一人物的人脸特征信息。示例性的,人脸特征信息中的具体特征可以包括以下至少一种:人脸细节信息、肤色、皮肤纹理。其中,人脸细节信息则可以包括有五官相对位置和五官大小等信息。
进一步的,如果为了更准确的区分不同的人物图像,使得后续获取到更准确的三维模型,这里的第一特征信息还可以包括第一人物的体态特征信息。体态特征信息中的具体特征可以包括但不限于以下至少一种:四肢形态、身体比例。
具体的,手机可以根据任意可行的方式的从第一照片中提取第一人物图像的第一特征信息。
另外,手机在确定第一照片中不包括人脸图像的情况下,则正常存储该第一照片,并停止执行本申请实施例提供的技术方案。
在一些实施例中,为了使得手机可以在拍摄到照片的情况下,更迅速的确定该照片是否是需要进行人物的图像优化的照片。手机可以在用户未实施拍照操作前,实时的检测相机预览界面中的画面是否包括人脸图像。这样一来,后续手机在响应于用户实施的拍照操作,获取第一照片的同时,便可以确定第一照片中是否存在人物的图像。进而便可以决定是否执行后续的操作。基于此,结合图3,参照图6所示,S302步骤可以替换为S302A:
S302A、手机响应于用户对相机应用图标的触发操作,显示相机预览界面,并实时确定相机预览界面中是否包括人脸图像。
具体手机如何确定相机预览界面中是否包括人脸图像,可以参照前述手机确定第一照片中是否包括人脸图像的相关表述,此处不再赘述。
其中,第一照片中是否包括人脸图像,是电子设备接收拍照操作前最新一次对相机预览界面中是否包括人脸图像的确定结果。
基于此,结合图3,参照图6所示,S305步骤具体则可以替换为S305A:
S305A、手机在获取到目标结果的情况下,获取第一人脸图像所属的第一人物的第一特征信息。
其中,目标结果为手机接收拍照操作前最新一次对相机预览界面中是否包括人脸图像的确定结果,且目标结果指示相机预览界面中包括人脸图像。
具体的,手机每次在对相机预览界面中是否包括人脸图像进行判断后,可以将判断结果存在特定的存储区中,以供后续手机在接收到用户实施的拍照操作时,调取最新一次存储的判断结果使用。进一步的,为了节省手机的存储空间,特定的存储区可以仅存储最新一次得到的判断结果。也就是说,手机每次在对相机预览界面中是否包括人脸图像进行判断后得到的判断结果,会用该判断结果替换特定的存储区中存储的判断结果。
基于S302A和S305A对应的技术方案,手机则可以在响应于用户实施的拍照操作,获取到第一照片的同时,确定该第一照片是否包括人脸图像,也就提高了照片优化的效率。
S306、手机获取与第一特征信息匹配的第一三维模型。
其中,第一三维模型用于表征第一人物图像对应的历史照片中,第一人物的三维特征。三维特征至少包括人脸三维特征。第一人物图像对应的历史照片中均包括有第一人物的图像。在为了后续可以更进一步的对第一人物的图像中第一人物的体态进行优化,这里的三维特征还可以包括有体态三维特征。这样后续利用第一三维模型对第一人物的图像进行融合优化时,可以使得第一人物的图像中第一人物的人脸和身体的细节都更清晰,优化效果也就更好。
具体的,对于多个历史照片而言,手机可以先通过人脸识别技术,确定每个历史照片中的人脸以及相关特征。之后,通过特征比对,确定属于同一人物的人脸。基于此,便可以将多个历史照片确定为对应不同人物的历史照片。属于同一人物的历史照片中均包括有该人物的图像。当然,对于包括有多个人物的历史照片,该历史照片可以对应有多个人物。
一种可实现的方式中,手机可以事先依据本地存储的第一人物图像对应的历史照片,确定得到第一三维模型并存储。在执行S306步骤的时候,手机便可以从本地存储器中获取该第一模型。这样可以更快速的获取到第一三维模型,提高照片优化的效率。具体如何依据历史照片确定三维模型,可以参照后续优化信息生成流程中的相关表述,此处不做具体表述。
示例性的,在这种情况下,手机对拍摄的照片优化的过程可以如图7所示。在用户拍摄得到照片之前,手机会利用图库中的历史照片,构建得到多个人物对应的三维模型,并存储在相应的数据库中,如人像三维数据库。
之后,在用户实施了拍照操作的情况下,手机便会从人物三维模型数据库中获取该照片中人物(例如第一人物)对应的三维模型(例如第一三维模型)。
再之后,手机便可以利用获取的三维模型对照片中的人物的图像进行优化,得到最终优化后的照片。
另一种可实现的方式中,手机可以从服务器中获取第一三维模型。基于此,结合图3,参照图8所示,S306具体可以包括:S3061A和S3062A:
S3061A、手机向服务器发送第一请求。
其中,第一请求携带有第一特征信息,第一请求用于请求与第一特征信息匹配的第一三维模型。
在本申请中,这里的服务器可以是与该手机存在关联关系的服务器。例如,该手机为荣耀终端有限公司生产的手机,则该服务器可以为荣耀终端有限公司为该手机配置的能够存储该电子设备需要上传存储的数据。该服务器针对不同的手机可以分配有不同的存储区,用来存储相应手机上传的数据。每个存储区可以对应有用户设置的唯一的账号和密码,用户可以使用自身设置的账号和密码登录手机上针对上传数据至该服务器的应用,而后可以通过该应用将需要上传的数据上传至该服务器为给手机配置的存储区中。
S3062A、手机接收来自服务器的第一响应,并从第一响应中获取第一三维模型。
在本申请中,服务器中实际存储的可以是以下任一种或多种:第一人物对应的所有历史照片、根据该历史照片确定的第一人物的三维特征(即本申请中提到的第一三维特征)、根据该第一人物的三维特征得到的第一三维模型。具体如何根据历史照片确定第一人物的三维特征,以及如何根据该第一人物的三维特征得到的第一三维模型,可以参照后续优化信息生成流程中的相关表述,此处不做具体表述。具体服务器中存储的什么内容,可以是出厂设定或者由用户设定。
在一般情况下,手机上传至服务器的仅为历史照片(包括第一人物对应的历史照片),服务器在接收到历史照片后,可以根据出厂设定或者用户设定,生成相应的三维特征或者三维模型并存储,以供后续手机调用。
若在服务器中存储的是第一人物图像对应的所有历史照片,服务器在接收到该接收到来自手机的第一请求的情况下,可以根据该第一人物对应的所有历史照片,确定第一人物的三维特征。然后,服务器可以根据该第一人物的三维特征确定第一三维模型。之后,服务器便可以向手机发送该第一响应。
其中,具体确定第一人物对应的所有历史照片的过程,可以是利用第一特征信息和所有历史照片中的人物的图像进行匹配。一般的,匹配过程中,会先将历史照片中的人物的特征信息提取出来,然后与第一特征信息进行匹配。之后,将匹配度大于一定阈值的历史照片确定为第一人物对应的历史照片。
若在服务器中存储的是第一人物对应的第一三维特征,服务器在接收到该接收到来自手机的第一请求的情况下,会根据该第一三维特征,确定第一三维模型。之后,服务器便可以向手机发送该第一响应。
其中,具体确定第一人物对应的第一三维特征的过程,可以是利用第一特征信息和服务器中存储的所有三维特征进行匹配。之后,将匹配度大于一定阈值的三维特征确定为第一人物对应的第一三维特征。
若在服务器中存储的是第一人物图像对应的第一三维模型,服务器在接收到该接收到来自手机的第一请求的情况下,会直接向手机发送该第一响应。
其中,具体确定第一人物对应的第一三维模型的过程,可以是利用第一特征信息和服务器中存储的所有三维模型进行匹配。一般的,匹配过程中,会先将三维模型中的人物的三维特征信息提取出来,然后与第一特征信息进行匹配。之后,将匹配度大于一定阈值的三维模型确定为第一人物对应的第一三维模型。
基于上述S3061A和S3062A对应的技术方案,一方面,第一三维模型或者其相关信息会存储在服务器中,降低了本申请提供照片优化方案对手机存储和计算的需求。另一方面,因为三维模型或者其相关信息会存储在服务器中,而服务器由于和手机存在一定关联的。那么,用户在换新手机或者清理过本地存储的历史照片,或者三维特征,或者三维模型的情况下,可以依据手机与服务器的关联关系,顺利的从服务器中获取第一三维模型,从而方便用户当前使用的手机对第一照片进行照片优化,提高了用户的使用体验。
示例性的,S3061A和S3062A对应的技术方案中,手机对拍摄的照片优化的过程可以参照图7所示。其中,区别在于,历史照片和/或三维特征和/或三维模型,均存储在服务器中。而且,在服务器中未直接存储有三维模型的情况下,服务器在接收到第一请求后,会根据已存储的第一人物对应的历史照片或第一三维特征先生成三维模型。然后,服务器再向手机发送携带有第一三维模型的第一响应。
在一些实施例中,因为第一特征信息和历史照片或者三维模型的匹配会较为麻烦,例如需要先从历史照片或三维模型中获取可以比对的特征信息后,才能进行匹配。所以为了提高匹配效率,进而提高照片优化效率。在本申请中,手机可以是先获取到第一特征信息匹配的第一三维特征,之后根据该第一三维特征构建得到第一三维模型。基于此,结合图3,参照图9所示,S306可以包括S3061B和S3062B:
S3061B、手机获取与第一特征信息匹配的第一三维特征。
其中,第一三维特征为第一人物对应的历史照片中,第一人物的三维特征。其中,三维特征可以包括人脸三维特征和/或体态三维特征。
一种可实现的方式中,手机可以事先依据本地存储的第一人物对应的历史照片,确定得到第一三维特征并存储。在执行S3061B步骤的时候,手机便可以从本地存储器中获取该第一特征。这样可以更快速的获取到第一三维特征,提高照片优化的效率。具体如何依据历史照片确定三维模型,可以参照后续优化信息生成流程中的相关表述,此处不做具体表述。
示例性的,在这种情况下,手机对拍摄的照片优化的过程可以参照图7所示。其中,区别在于,人像三维数据库中存储的是三维特征。
另一种可实现的方式中,第一三维特征可以存储在于该手机对应的服务器中,手机可以从服务器中获取第一三维模型。基于此,S3061B具体可以包括:S1和S2:
S1、手机向服务器发送第二请求。
其中,第二请求携带有第一特征信息,第二请求用于请求与第一特征信息匹配的第一三维特征。
S2、手机接收来自服务器的第二响应,并从第二响应中获取第一三维特征。
在本申请中,服务器中实际存储的可以是以下任一种或多种:第一人物对应的所有历史照片、根据该历史照片确定的第一三维特征。具体如何根据历史照片确定第一人物的三维特征,可以参照后续优化信息生成流程中的相关表述,此处不做具体表述。具体服务器中存储的什么内容,可以是出厂设定或者由用户设定。
在一般情况下,手机上传至服务器的仅为历史照片(包括第一人物图像对应的历史照片),服务器在接收到历史照片后,可以根据出厂设定或者用户设定,生成相应的三维特征,以供后续手机调用。
若在服务器中存储的是第一人物对应的所有历史照片,服务器在接收到该接收到来自手机的第二请求的情况下,可以根据该第一人物对应的所有历史照片,确定第一三维特征。之后,服务器便可以向手机发送该第二响应。
其中,具体确定第一人物对应的所有历史照片的过程,可以是利用第一特征信息和所有历史照片中的人物的图像进行匹配。一般的,匹配过程中,会先将历史照片中的人物的图像的特征信息提取出来,然后与第一特征信息进行匹配。之后,将匹配度大于一定阈值的历史照片确定为第一人物对应的历史照片。
若在服务器中存储的是第一人物对应的第一三维特征,服务器则可以直接向手机发送该第二响应。
其中,具体确定第一人物对应的第一三维特征的过程,可以是利用第一特征信息和服务器中存储的所有三维特征进行匹配。之后,将匹配度大于一定阈值的三维特征确定为第一人物对应的第一三维特征。
示例性的,S1和S2对应的技术方案中,手机对拍摄的照片优化的过程可以参照图7所示。其中,区别在于,历史照片和/或三维特征,均存储在服务器中。而且,在服务器中未直接存储有三维模型的情况下,服务器在接收到第二请求后,会根据已存储的第一人物对应的历史照片生成第一三维特征,然后再向手机发送携带有第一三维特征的第二响应。或者服务器在接收到第二请求后,会根据已存储的第一三维特征生成第二响应,并向手机发送该第二响应。
基于S1和S2对应的技术方案的技术效果和基于S3061A和S3062A对应的技术方案的技术效果类似,此处不再赘述。两者区别在于,基于S1和S2对应的技术方案中,手机还需要根据第一三维特征构建第一三维模型,需要消耗一定的计算资源。而S3061A和S3062A对应的技术方案中则不需要手机消耗这一部分计算资源。
S3062B、手机利用第一三维特征,构建第一三维模型。
具体如何根据第一三维特征构建第一三维模型,可以依据任意可行的三维重建技术,本申请对此不做具体限制。
基于上述S3061B和S3062B对应的技术方案,手机可以根据第一特征信息更快捷的匹配到第一三维特征,并进一步构建得到第一三维模型。为后续照片优化提供的数据支持。
S307、手机将第一三维模型与第一照片中第一人物的图像进行融合,以对第一照片中的第一人物的图像进行优化,得到第二照片。
在手机得到第二照片后,手机可以将该第二照片存储在本地图库中,以供用户查看。同时,为了使用户可以明确知晓手机的优化效果,手机还可以将第一照片也进行存储,以方便用户比对。当然,出于节省存储空间的目的,也可以不存储第一照片。
在手机仅存储了第二照片的情况下,为了使用户可以知晓图库中哪些照片是已被优化过的。示例性的,参照图10所示,优化过的照片(例如第二照片)中可以存在有优化标记101。
在手机存储了第二照片和第一照片的情况下,为了使用户可以知晓图库中哪些照片是已被优化过的,并且可以快捷的对比未优化前的第一照片和优化后的第二照片。示例性的,参照图11中(a)所示,手机图库中的第二照片111上可以显示有优化控件112。在用户看到优化控件112,并且想对比第一照片和第二照片时,用户可以对该优化控件112实施触发操作,例如点击操作。手机响应于用户对优化控件112的触发操作,参照图11中(b)所示,可以全屏显示第二照片111,并显示提示信息113。示例性的,该提示信息具体可以为“请左滑查看未优化前的照片”。
之后,用户可以在实施左滑操作。手机响应于用户实施的左滑操作,参照图11中(c)所示,逐渐将第二照片111从屏幕左侧滑出屏幕,并将第一照片114逐渐从右侧向左滑入屏幕。在用户实施的左滑操作结束后,手机则可以如图11中(d)所示,全屏显示第一照片114。
当然,图11中(a)、(b)、(c)和(d)所示的场景仅为示例,实际中还可以是其他任意可行的实现方式。例如,手机可以响应于用户对优化控件112的触发操作,将第一照片和第二照片同时显示在手机屏幕中。
基于前述S301-S307对应的技术方案,手机可以在拍摄到包括人脸图像的照片时,获取到对应该照片中人脸图像所属的人物的三维模型。进而利用该三维模型,对该照片中的人物的图像进行优化,得到优化后的照片。因为该三维模型是表征反映出该人物对应的历史照片中,对应该人物的三维特征的。而多个历史照片中该人物的细节信息,则必然会比手机当前拍摄的照片中该人物的图像体现的细节更多。所以,该方案最终优化后的照片中,人物的图像的细节信息会更丰富,人物的图像也会更加清晰。这样,即便用户使用手机拍照时的环境不利于拍照,也可以得到人物的图像的成像质量较好的照片,也就提高了用户的使用体验。
在一些实施例中,手机拍照得到的照片中的人物会存在多个,所以在对照片中的人物的图像优化时,往往需要优化不止一个人物的图像。基于此,结合图3,参照图12所示,本申请实施例提供的拍摄照片的优化流程中,在S304步骤之后,还可以包括S308-S310:
S308、手机在确定第一照片中存在第二人脸图像的情况下,获取第二人脸图像所属的第二人物的第二特征信息。
其中,第二人脸图像和第一人脸图像不同,第二特征信息至少包括第二人物的人脸特征信息。进一步的,如果为了更准确的区分不同的人物的图像,使得后续获取到更准确的三维模型,这里的第二特征信息还可以包括第二人物的体态特征信息。
S309、手机获取与第二特征信息匹配的第二三维模型。
其中,第二三维模型用于表征第一人物对应的历史照片中,第二人物三维特征;三维特征至少包括人脸三维特征;第二人物对应的历史照片中均包括有第二人物的图像。在为了后续可以更进一步的对第二人物的体态进行优化,这里的三维特征还可以包括有体态三维特征。这样后续利用第二三维模型对第二人物的图像进行融合优化时,可以使得第二人物的图像中人脸和身体的细节都更清晰,优化效果也就更好。
S310、手机将第二三维模型与第一照片中第二人物的图像进行融合,以对第一照片中的第二人物的图像进行优化,得到第三照片。
本申请中,S308-S310可以和S305-S307并行执行,也可以先执行S305-S307后执行S308-S310,或者也可以是其他任意可行的执行顺序,对此本申请不做具体限制。S308-S310的具体实现可以参照前述S305-S307的相关表述,此处不再赘述。
在本申请中,在S304后若既执行了S304-S307,又执行S308-S310,则最终得到的优化有的照片则为第二照片和第三照片的结合体,该优化后的照片中,第一人物图像和第二人物图像均尽心了相应的优化。
当然,若第一照片中还存在除第一人脸图像和第二人脸图像以外的人脸图像,则可以根据前述实施例中对第一人脸图像和第二人脸图像的优化流程,对其他人脸图像进行优化,以得到全部人物图像均被优化后的照片。具体优化流程可以参照前述实施例中的表述,此处不再赘述。
基于上述S308-S310对应的技术方案,针对手机拍摄的照片中的每个人物图像,手机均可以利用相应的三维模型进行优化。所以,该方案最终优化后的照片中,人物的图像的细节信息会更丰富,人物的图像也会更加清晰。这样,即便用户使用手机拍照时的环境不利于拍照,也可以得到人物的图像的成像质量较好的照片,也就提高了用户的使用体验。
在一些实施例中,如果手机当前拍摄的环境本身就属于适合拍照的场景,而不是不利于拍照的场景(例如暗光场景、逆光场景等),那么此时可能并没有对拍摄得到的照片中人物图像进行优化的必要。基于此,本申请提供的拍摄照片的优化流程中,S305具体可以是:手机在确定第一照片的拍摄环境为预设环境的情况下,若确定第一照片中包括人脸图像的情况下,获取第一人脸图像所属的第一人物图像的第一特征信息。
同理,S308具体可以是:手机在确定第一照片的拍摄环境为预设环境的情况下,若确定第一照片中包括人脸图像的情况下,获取第二人脸图像所属的第二人物的第一特征信息。
后续已存储照片的优化流程中相似步骤的内容同理,后续不再赘述。
其中,预设环境可以为暗光环境或逆光环境等。具体的,手机可以根据用户实施拍照操作时,手机所处环境的环境亮度,以及相机预览界面中人物的图像和背景图像(人物图像以外的图像)之间的亮度差,来确定手机是否处于暗光环境或逆光环境。例如,若确定环境亮度小于预设亮度值,则可以确定第一照片的拍摄环境为暗光环境;若确定相机预览界面中背景图像的亮度减去人物的图像的亮度的差值大于一定阈值,则确定第一照片的拍摄环境为逆光环境。当然,实际中第一照片的拍摄环境的判定还可以是其他任意可行的判定方式,本申请对此不作具体限制。
在S304后,若手机确定第一照片的拍摄环境不为预设环境,则不再执行拍摄照片的优化流程的后续步骤。而是直接存储第一照片即可。这样一来,因为只有在不利于拍照的环境下,手机才会对拍摄得到的照片中的人物图像进行优化,而利于拍照的环境下拍摄的照片中人物的图像的成像质量是足够好的。所以这样可以在保证手机拍摄的照片中人物的图像的成像指令的同时,大大降低了手机的计算资源和存储资源的浪费。
在一些实施例中,参照图13中(a)所示,手机拍摄得到或已存储的第一照片131因为均是直接拍摄得到的,所以其中人物的图像和其背景之间的过渡在观感上会很平滑。用户查看该第一照片131时,也就不会有异样的感觉。而参照图13中(b)所示,优化后的第二照片(或者第三照片,或者第二照片和第三照片的结合)132中,因为对第一人物的图像133的优化,可能会导致第一人物的图像133的边缘和背景之间会存在较为明显的痕迹。这样一来,用户查看第二照片132时,虽然其中的第一人物图像会更清晰细节更多,但是会带给用户一种割裂感,观感不好。为了解决这一点,结合图12,参照图14所示,在S310和S307步骤之后,拍摄照片的优化流程还包括S311:
S311、手机将第一照片和第四照片进行融合,以得到第五照片。
其中,第四照片为电子设备对第一照片中的目标人物的图像进行优化后得到的;其中,目标人物包括第一人物和/或第二人物。当然,这里目标人物图像还可以包括手机拍摄的第一照片中的其他人物图像。
一种可实现的方式中,这里第一照片和第四照片的融合可以是利用预先训练的目标深度学***滑过渡的照片,即第五照片。例如,目标深度学习模型可以是某些短视频应用中使用的改变人脸或者切换人物所处背景等工具对应的深度学习模型,或者其他任意可行的深度学习模型,本申请对此不做具体限制。
另一种可实现的方式中,融合后的第五照片中的每个像素的像素值(例如,灰度值、RGB值等)可以是第一照片和第四照片中相应像素的平均值。或者,融合后的第五照片中背景图像中的每个像素的像素值是第一照片和第四照片中相应像素的平均,而人物的图像的像素值则可以是第一照片和第四照片中相应像素的平均值的预设百分比。其中,预设百分比可以根据人物图像的边缘区域的像素值和相邻的背景图像的边缘区域的像素值的差别而定。
上述两种实现方式仅为示例,实际中还可以是其他任意可行方式。
基于S311对应的技术方案,因为手机最终处理得到的第五照片是由原始的第一照片和优化后的第四照片融合得到的,所以其不仅人物的图像清晰细节多,且人物的图像和背景图像之间不存在割裂感,整个画面更加和谐。进而,用户的观感也就更好,提高了用户的使用体验。
当然,实际中为了使得最终得到的优化后的照片画面更和谐,还可以是其他不需要融合第一照片和第四照片的方式得到第五照片。例如,可以是根据第一照片中人物的图像和背景图像之间相连的部分区域的像素值的排列情况,对第四照片中相应区域的像素值进行调整得到第五照片。具体使用何种方式得到第五照片,本申请不做具体限制,只要保证最终得到的第五照片中,人物的图像和背景图像之间平滑过渡、不存在割裂感、照片整体更和谐即可。
下面以电子设备为手机为例,对本申请实施例提供的照片优化方法中,已存储照片的优化流程进行介绍。如图15所示,该已存储照片的优化流程可以包括S1501-S1504:
S1501、手机响应于用户对图库展示界面中第一目标照片的优化操作,将第一目标照片确定为第一照片。
其中,图库展示界面中包括有多个照片。图库展示界面可以是手机在接收到用户对图库应用图标实施的触发操作(如点击操作)后,响应于该操作显示的。图库展示界面也可以是电子设备在接收到用户对相机预览界面中存在的图库选项实施的触发操作后,响应于该操作显示的。其中图库选项可以用于触发打开图库应用并显示图库展示界面。
示例性的,图库展示界面可以如图16中(a)所示。手机可以接收用户对图库展示界面中第一目标照片161的触发操作(如点击操作)。响应于该触发操作,手机可以显示如图16中(b)所示的第一目标照片的详情界面162,该详情界面162中包括有优化控件163。该详情界面162中主要用于供用户查看该第一目标照片、第一目标照片的相关信息(例如生成时间和地区,图中以2021年10月25日,上午10:00西安市长安区为例)以及对第一目标照片进行可行的操作(例如分享、收藏、优化、删除等)。之后,手机可以响应于用户对详情界面162中优化控件163的触发操作,将第一目标照片确定为第一照片。之后则对该第一照片进行照片优化,即执行后续的S1502-S1504。
这里,可以将用户在图库展示界面中对第一目标照片的触发操作以及用户在第一目标照片的详情界面中对优化控件的触发操作,认为是上述提到的优化操作。实际中,该优化操作还可以是其他任意可行的实现方式。例如,该优化操作还可以是用户在图库展示界面中对第一目标照片的触发操作,和用户在第一目标照片的详情界面时输入的手势指令或者语音指令的组合。本申请对此不做具体限制。
需要说明的是,在本申请中,对于包括人脸图像的照片的详情界面,才会存在优化控件。
S1502、手机在确定第一照片中包括人脸图像的情况下,获取第一人脸图像所属的第一人物的第一特征信息。
其中,第一特征信息至少包括第一人物的人脸特征信息。示例性的,人脸特征信息中的具体特征可以包括以下至少一种:人脸细节信息、肤色、皮肤纹理。其中,人脸细节信息则可以包括有五官相对位置和五官大小等信息。
进一步的,如果为了更准确的区分不同的人物图像,使得后续获取到更准确的三维模型,这里的第一特征信息还可以包括第一人物的体态特征信息。体态特征信息中的具体特征可以包括但不限于以下至少一种:四肢形态、身体比例。
S1502的具体实现可以参照前述S305的相关表述,此处不再赘述。
S1503、手机获取与第一特征信息匹配的第一三维模型。
其中,第一三维模型用于表征第一人物图像对应的历史照片中,第一人物的三维特征。三维特征至少包括人脸三维特征。第一人物对应的历史照片中均包括有第一人物的图像。在为了后续可以更进一步的对第一人物的体态进行优化,这里的三维特征还可以包括有体态三维特征。这样后续利用第一三维模型对第一人物的图像进行融合优化时,可以使得第一人物的人脸和身体的细节都更清晰,优化效果也就更好。
S1503的具体实现方式可以按照前述实施例中S306的具体表述,此处不再赘述。
S1504、手机将第一三维模型与第一照片中第一人物的图像进行融合,以对第一照片中的第一人物图的像进行优化,得到第二照片。
在手机得到第二照片后,手机可以将该第二照片存储在本地图库中,以供用户查看。同时,为了使用户可以明确知晓手机的优化效果,手机还可以将第一照片也进行存储,以方便用户比对。当然,出于节省存储空间的目的,也可以不存储第一照片。
在手机仅存储了第二照片,或者手机存储了第一照片和第二照片的情况的具体示例,可以参照前述S307后的相关表述,此处不再赘述。
基于前述S1501-S1504对应的技术方案,手机可以在用户指示对本地图库中的第一目标照片进行优化时(即对第一目标照片实施优化操作),可以先获取到对应该照片中人脸图像所属的人物图像的三维模型。进而利用该三维模型,对该照片中的人物的图像进行优化,得到优化后的照片。因为该三维模型是表征反映出该人物对应的历史照片中,该人物的三维特征的。而多个历史照片中该人物的图像对应的人物的细节信息,则必然会比手机当前拍摄的照片中该人物的图像体现的细节更多。所以,该方案最终优化后的照片中,人物的图像的细节信息会更丰富,人物的图像也会更加清晰。这样,即便手机已存储的第一目标照片在拍摄时的环境不利于拍照,也可以通过手机后续的优化得到人物的图像的成像质量较好的照片,也就提高了用户的使用体验。
在一些实施例中,第一照片中的人物会存在多个,所说在对第一照片中的人物的图像优化时,往往需要优化不止一个人物的图像。基于此,结合图15,参照图17所示,本申请实施例提供的已存储照片的优化流程中,在S1501后,还可以包括S1505-S1507:
S1505、手机在确定第一照片中存在人脸图像的情况下,获取第二人脸图像所属的第二人物的第二特征信息。
其中,第二人脸图像和第一人脸图像不同,第二特征信息至少包括第二人物的人脸特征信息。进一步的,如果为了更准确的区分不同的人物的图像,使得后续获取到更准确的三维模型,这里的第二特征信息还可以包括第二人物的体态特征信息。体态特征信息中的具体特征可以包括但不限于以下至少一种:四肢形态、身体比例。
S1506、手机获取与第二特征信息匹配的第二三维模型。
其中,第二三维模型用于表征第二人物对应的历史照片中,第二人物的三维特征;三维特征至少包括人脸三维特征;第二人物对应的历史照片中均包括有第二人物的图像。在为了后续可以更进一步的对第二人物图像的体态进行优化,这里的三维特征还可以包括有体态三维特征。这样后续利用第二三维模型对第二人物的图像进行融合优化时,可以使得第二人物的图像中人脸和身体的细节都更清晰,优化效果也就更好。
S1507、手机将第二三维模型与第一照片中第二人物的图像进行融合,以对第一照片中的第二人物的图像进行优化,得到第三照片。
本申请中,S1505-S1507可以和S1502-S1504并行执行,也可以先执行S1502-S1504后执行S1505-S1507,或者也可以是其他任意可行的执行顺序,对此本申请不做具体限制。S1505-S1507的具体实现可以参照前述S1502-S1504的相关表述,此处不再赘述。
在本申请中,在S1501后若既执行了S1502-S1504,又执行S1505-S1507,则最终得到的优化有的照片则为第二照片和第三照片的结合体,该优化后的照片中,第一人物的图像和第二人物的图像均尽心了相应的优化。
当然,若第一照片中还存在除第一人脸图像和第二人脸图像以外的人脸图像,则可以根据前述实施例中对第一人脸图像和第二人脸图像的优化流程,对其他人脸图像进行优化,以得到全部人物图像均被优化后的照片。具体优化流程可以参照前述实施例中的表述,此处不再赘述。
基于上述S1505-S1507对应的技术方案,针对第一照片中的每个人物图像,手机均可以利用相应的三维模型进行优化。所以,该方案最终优化后的照片中,人物的图像的细节信息会更丰富,人物的图像也会更加清晰。这样,即便手机已存储的第一目标照片在拍摄时的环境不利于拍照,也可以通过手机后续的优化得到人物的图像的成像质量较好的照片,也就提高了用户的使用体验。
在一些实施例中,手机已存储的未被优化过的第一目标照片因为是直接拍摄得到的,所以其中的人物图像和其背景之间的过渡在观感上会很平滑。而优化后的第二照片(或者第三照片,或者第二照片和第三照片的结合),因为其中人物图像是经过优化的,可能会导致人物图像与背景图像(即除人物图像以外的图像)之间存在较为明显的区别,产生割裂感。这样,会带给用户不好的观感,影响用户体验。为了解决这一点,结合图17,参照图18所示,在S1504和S1507步骤之后,已存储照片的优化流程还包括S1508:
S1508、手机将第一照片和第四照片进行融合,以得到第五照片。
其中,第四照片为电子设备对第一照片中的目标人物的图像进行优化后得到的;其中,目标人物包括第一人物和/或第二人物像。当然,这里目标人物的图像还可以包括手机拍摄的第一照片中的其他人物的图像。
S1508的具体实现可以参照前述实施例中S11步骤的相关表述,此处不再赘述。
基于S1508对应的技术方案,因为手机最终处理得到的第五照片是由原始的第一照片和优化后的第四照片融合得到的,所以其不仅人物的图像清晰细节多,且人物的图像和背景图像之间不存在割裂感,整个画面更加和谐。进而,用户的观感也就更好,提高了用户的使用体验。
当然,实际中为了使得最终得到的优化后的照片画面更和谐,还可以是其他不需要融合第一照片和第四照片的方式得到第五照片。例如,可以是根据第一照片中人物的图像和背景图像之间相连的部分区域的像素值的排列情况,对第四照片中相应区域的像素值进行调整得到第五照片。具体使用何种方式得到第五照片,本申请不做具体限制,只要保证最终得到的第五照片中,人物图像和背景图像之间平滑过渡、不存在割裂感、照片整体更和谐即可。下面以电子设备为手机为例,对本申请实施例提供的照片优化方法中,优化信息生成流程进行介绍。如图19所示,该优化信息生成流程可以包括S1901-S1904:
S1901、手机获取当前时刻之前至少一个历史照片集合。
其中,每个历史照片集合均关联有一个人物,不同的历史照片集合关联的人物不同;历史照片集合中的每张历史照片中均存在历史照片集合关联的人物的图像;至少一个历史照片集合中包括关联第一人物的第一历史照片集合。
一种可实现的方式中,至少一个历史照片集合可以存储在手机本地的图库中,此时手机可以从图库中获取至少一个历史照片集合。
示例性的,手机的图库应用本身可以具备对历史照片进行人脸识别以按照人物进行分类的功能。基于此,手机中的本地图库中可以按照如图20所示的分类情况对历史照片进行分类,得到至少一个历史照片集合201并显示。图20中以至少一个历史照片集合201包括历史照片集合201-1、历史照片集合201-2、历史照片集合201-3和历史照片集合201-4为例,实际中可以更多或更少。每个历史照片集合201均会关联一个人物,即每个历史照片集合201中的每张照片中均会包括有该历史照片集合201关联的人物的图像。参照图20所示,实际中为了方便用户知晓手机中存储的多个历史照片集合关联的人物分别是谁,每个历史照片集合201的关联区域(例如右下方)均可以备注有该人物的标识,例如姓名或者昵称等。该标识可以由用户根据自身需要自由设置。
另一种可实现的方式中,至少一个历史照片集合可以存储在与手机关联的服务器中,此时手机可以向服务器请求至少一个历史照片集合,从而使服务器将该至少一个历史照片结合发送给该手机。具体的,服务器一般是直接接收到手机上报的历史照片,而不是历史照片结合,所以服务器在接收到某个手机上报的历史照片后,可以对历史照片进行人脸识别以按照人物进行分类,得到至少一个历史照片集合。之后,在接收到某个手机发送的请求历史照片结合的请求信息时,便可以将对应该手机的所有历史照片发送给该手机,并同时发送每个历史照片的分类结果。
S1902、手机根据历史照片集合,确定历史照片集合关联的人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
一种可实现的方式中,手机可以根据任意可行的特征提取方式,从历史照片结合中的每张历史照片中提取该历史照片结合关联的人物的三维特征。最终将所有提取的三维特征进行统计去重后,得到该人物的三维特征。
另一种可实现的方式中,因为对于成像质量不好的历史照片而言,其中人物的图像的成像质量必然也是比较差的,所以对每个历史照片进行特征提取是较为浪费资源的。基于此,为了降低计算资源的消耗,结合图19,参照图21所示,S1902具体可以包括S19021和S19022:
S19021、手机根据历史照片集合中每个历史照片的成像质量参数,从历史照片集合中确定至少一个第二目标照片。
其中,成像质量参数包括:分辨率、历史照片集合关联的人物对应的人物图像的完整程度。至少一个第二目标照片的成像质量参数高于历史照片集合中其他照片的成像质量参数。
示例性的,手机可以将历史照片集合中分辨率大于预设阈值,历史照片集合关联的人物对应的人物图像至少包括完整的上半身的历史照片,确定为第二目标照片。实际中也可以采用更多或更少的成像质量参数来确定第二目标照片,本申请对此不做具体限制。
S19022、手机根据第二目标照片,确定历史照片集合关联的人物的三维特征。
具体的,手机可以使用任意可行的特征提取方式将每个第二目标照片中,与其所属的历史照片集合关联的人物三维特征提取出来,然后进行统计去重后,得到该人物的三维特征。
基于上述S19021和S19022对应的技术方案中,手机可以从历史照片集合中选择成像质量参数较高的第二目标照片,作为提取三维特征的基础。这样一来,手机便可以以尽可能少的计算资源提取到历史照片集合关联的人物的三维特征,节省了电子设备的计算资源。
S1903、手机根据历史照片集合关联的人物的三维特征,构建历史照片集合关联的人物的三维模型。
具体的,手机可以使用任意可行的三维重建技术,将三维特征构建成相应的三维模型。
S1904、手机存储历史照片集合关联的人物的三维模型。
需要说明的是,在拍摄照片的优化流程中,上述S1901-S1904是在S306步骤前执行的;在已存储照片的优化流程中,上述S1901-S1904是在S1503步骤前执行的。这样,手机才可以顺利获取到第一三维模型。具体S1901-S1904在S306步骤或者S1503步骤前的什么时候执行,可以根据实际需求而定。
基于上述S1902-S1904对应的技术方案,手机可以提前构建好历史照片中对应的各个人物的三维模型,乃至在本地中存储各个人物的三维模型,方便后续需要对拍摄的照片进行优化时使用。这样一来,可以使得手机在对拍摄照片进行优化时,可以顺利快捷的获取到需要的三维模型,提高了照片优化的效率。
在本申请提供的照片优化方法中的照片优化流程中(包括拍摄照片的优化流程和已存储照片的优化流程),若手机获取第一三维模型是通过先获取第一三维特征而后构建得到第一历史三维模型的方式。则结合图19,参照图22所示,S1902步骤后执行S1905步骤:
S1905、手机存储历史照片集合关联的人物的三维特征。
基于该方案,手机可以提前构建好历史照片中对应的各个人物的三维模型,乃至在本地中存储的是历史照片中关联的各个人物的三维特征,方便后续手机需要对照片进行优化时从本地获取第一三维特征,进而构建得到第一三维模型。这样,也就使得手机在对拍摄照片进行优化时,可以顺利快捷的获取到需要的三维模型,提高了照片优化的效率。
另外,上述S1901-S1905中的每个步骤均可以由服务器执行,即执行主体由手机变为服务器。在这种情况下,S1901-S1905中由服务器执行的步骤越多,就越能降低该方案对手机的计算能力和/或存储能力的需求。当然,同时如果最终手机在进行照片优化时需要从服务器中获取三维模型或三维特征,由于需要来回信令和数据的交互,所以会在一定程度上增加照片优化的延迟。具体选择由服务器还是手机作为执行主体,则可以根据实际需求而定,本申请对此不做具体限制。
在一些实施例中,为了使得手机在需要对某个人物的图像进行优化时,能够获取到的优化信息(三维模型或三维特征)是结合了所有历史照片得到的。手机需要在每次对照片中的人物的图像进行优化后,将当前未优化前的照片也作为下一次优化时的历史照片并对相应的优化信息进行更新。
基于此,在优化信息为三维模型的情况下,基于S1901-S1904对应的技术方案,结合图3,参照图23所示,该拍摄照片的优化流程中,S304步骤之后还可以包括S312-S315:
S312、手机将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合。
当然,结合前述实施例中S1921和S1922对应的技术方案,如果手机在确定三维特征时,仅为提取历史照片集合中的第二目标照片的三维特征。那么本申请中,S312执行前,手机可以先确定第一照片是否是第二目标照片,若不是,则不再执行S312-S315;若是,则执行S312-S315。这样一来,因为对于不是第二目标照片的第一照片,不需要额外执行S312-S315步骤,也就节省了这部分流程造成的手机计算和存储资源的消耗。后续类似步骤同理,后续不再赘述。
S313、手机根据第二历史照片集合,重新确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。本申请中的第一人物的三维特征即为前述实施例提到的第一三维特征。
其中,S313的具体实现可以参照前述S192的相关表述,此处不再赘述。
S314、手机根据重新确定的第一人物的三维特征,重新构建第一人物的三维模型。
其中,S314的具体实现可以参照前述S193的相关表述,此处不再赘述。本申请中的第一人物的三维模型即为前述实施例提到的第一三维模型。
S315、手机存储重新构建的第一人物的三维模型。
示例性的,出于节省存储资源的目的,S315具体可以是用重新构建的第一人物的三维模型,替换之前存储的第一人物的三维模型。
需要说明的是,S312-S315在S304后的什么时刻进行,可以根据实际需求而定,本申请对此不做具体限制。
当然,上述S312-S315中的任意步骤均可以由手机对应的服务器执行,以降低本申请提供的技术方案对手机的计算资源和/或存储资源的需求。具体由手机还是服务器执行,根据实际需求而定,本申请不做具体限制。
基于S312-S315对应的技术方案,手机在对拍摄的照片中的某个人物图像(例如第一人物图像)进行优化后,可以将拍摄的照片作为历史照片添加进该人物关联的历史照片集合中。进而得到该人物图像所属人物的更新后的三维模型,使得后续再需要对该人物的图像进行优化时的优化效果更好。
同理,在优化信息为三维模型的情况下,基于S1901-S1904对应的技术方案,结合图15,参照图24所示,该已存储照片的优化流程中,S1501步骤之后还可以包括S1509-S1512:
S1509、手机将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合。
S1510、手机根据第二历史照片集合,重新确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。这里的第一人物的三维特征即为前述实施例提到的第一三维特征。
其中,S1510的具体实现可以参照前述S192的相关表述,此处不再赘述。
S1511、手机根据重新确定的第一人物的三维特征,重新构建第一人物的三维模型。
其中,S1511的具体实现可以参照前述S193的相关表述,此处不再赘述。这里的第一人物的三维模型即为前述实施例提到的第一三维模型。
S1512、手机存储重新构建的第一人物的三维模型。
示例性的,出于节省存储资源的目的,S1512具体可以是用重新构建的第一人物的三维模型,替换之前存储的第一人物的三维模型。
需要说明的是,S1509-S1512在S1501后的什么时刻进行,可以根据实际需求而定,本申请对此不做具体限制。
当然,上述S1509-S1512中的任意步骤均可以由手机对应的服务器执行,以降低本申请提供的技术方案对手机的计算资源和/或存储资源的需求。具体由手机还是服务器执行,根据实际需求而定,本申请不做具体限制。
基于S1509-S1512对应的技术方案,手机在对已存储的照片中的某个人物图像(例如第一人物图像)进行优化后,可以将该照片作为历史照片添加进该人物图像对应的历史照片集合中。进而得到该人物图像所属人物的更新后的三维模型,使得后续再需要对该人物的图像进行优化时的优化效果更好。
同理,在优化信息为三维特征的情况下,基于S1901、S1902和S1905对应的技术方案,结合图9,参照图25所示,S304之后,拍摄照片的优化方法还可以包括S316-S318:
S316、手机将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合。
S317、手机根据第二历史照片集合,重新确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S317的具体实现可以参照前述S192的相关表述,此处不再赘述。
S318、手机存储重新确定的第一人物的三维特征。
示例性的,出于节省存储资源的目的,S318具体可以是用重新构建的第一人物的三维特征,替换之前存储的第一人物的三维特征。
需要说明的是,S316-S318在S304后的什么时刻进行,可以根据实际需求而定,本申请对此不做具体限制。
当然,上述S316-S318中的任意步骤均可以由手机对应的服务器执行,以降低本申请提供的技术方案对手机的计算资源和/或存储资源的需求。具体由手机还是服务器执行,根据实际需求而定,本申请不做具体限制。
基于S316-S318对应的技术方案,手机在对拍摄的照片中的某个人物图像(例如第一人物图像)进行优化后,可以将拍摄的照片作为历史照片添加进该人物图像对应的历史照片集合中。进而得到该人物图像所属人物的更新后的三维特征,使得后续再需要对该人物的图像进行优化时的优化效果更好。
同理,在优化信息为三维特征的情况下,基于S1901、S1902和S1905对应的技术方案,结合图15,若S1506具体是先获取与第一特征信息匹配的第一三维特征,进而构建第一历史三维模型,则参照图26所示,S1501之后,已存储照片的优化方法还可以包括S1513-S1515:
S1513、手机将第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合。
S1514、手机根据第二历史照片集合,重新确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S1514的具体实现可以参照前述S192的相关表述,此处不再赘述。
S1515、手机存储重新确定的第一人物的三维特征。
示例性的,出于节省存储资源的目的,S1515具体可以是用重新构建的第一人物的三维特征,替换之前存储的第一人物的三维特征。
需要说明的是,S1513-S1515在S1501后的什么时刻进行,可以根据实际需求而定,本申请对此不做具体限制。
当然,上述S1513-S1515中的任意步骤均可以由手机对应的服务器执行,以降低本申请提供的技术方案对手机的计算资源和/或存储资源的需求。具体由手机还是服务器执行,根据实际需求而定,本申请不做具体限制。
基于S1513-S1515对应的技术方案,手机在对已存储照片中的某个人物图像(例如第一人物图像)进行优化后,可以将已存储的照片作为历史照片添加进该人物图像对应的历史照片集合中。进而得到该人物图像所属人物的更新后的三维特征,使得后续再需要对该人物的图像进行优化时的优化效果更好。
在一些实施例中,对于第一人物而言,手机可能之前并未对其进行拍摄过,所以手机中可能并为存储有对应该第一人物的优化信息(第一三维模型或者第一三维特征);或者,手机虽然之前对第一人物拍摄过,但是由于其他可能的原因,并未在存储有对应该第一人物的优化信息。这种情况下,当前则无法对拍摄的照片中的第一人物的图像进行优化。但是,为了下一次可以对拍摄的照片中的第一人物的图像进行优化,可以提取当前第一照片中的第一人物的三维特征作为后续使用的第一人物的第一三维特征,乃至利用该三维特征构建三维模型作为后续使用的第一人物的第一三维模型。
基于此,在优化信息为第一三维模型的情况下,基于S1901-S1904对应的技术方案,结合图3,参照图27所示,该拍摄照片的优化流程中,S305步骤之后还可以包括S319-S322:
S319、手机在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合。
当然,结合前述实施例中S1921和S1922对应的技术方案,如果手机在确定三维特征时,仅为提取历史照片集合中的第二目标照片的三维特征。那么本申请中,S319执行前,手机可以先确定第一照片是否是第二目标照片,若不是,则不再执行S319-S322;若是,则执行S319-S322。这样一来,因为对于不是第二目标照片的第一照片,不需要额外执行S319-S322步骤,也就节省了这部分流程造成的手机计算和存储资源的消耗。后续类似步骤同理,后续不再赘述。
S320、手机根据第一历史照片集合,确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S320的具体实现可以参照前述S192的相关表述,此处不再赘述。
S321、手机根据第一人物的三维特征,构建第一人物的三维模型。
当然,实际中若第一历史照片集合仅第一照片一张照片,则可能会因为手机本身的限制(例如无深度摄像头)和第一照片的限制(例如角度唯一),导致无法得到合适的第一人物的三维模型。此时,则可以不执行S321和S322,在S320后仅存储第一人物的三维特征。在之后获取到多个存在第一人物的图像的照片,并获取到第一人物更多的三维特征的情况下,再执行S321和S322。这种情况下,在收集未获取到足够构建第一人物的历史三维模型的三维特征前,S319步骤则具体可以是手机先将拍摄的照片作为历史照片添加进第一人物关联的第一历史照片集合中。
其中,S321的具体实现可以参照前述S192的相关表述,此处不再赘述。
S322、手机存储第一人物的三维模型。
基于S319-S322对应的技术方案,手机在无法获取到拍摄的照片中的某个人物的三维模型的情况下,可以利用该照片建立相应的历史照片集合,进而得到该人物的三维模型。从而使得手机后续在需要对该人物的图像进行优化时,可以顺利得到相应的三维模型,完成相应的优化流程,提高用户使用体验。
同理,在优化信息为第一三维特征的情况下,基于S1901、S1902和S1905对应的技术方案,结合图9,参照图28所示,该拍摄照片的优化流程中,S305步骤之后还可以包括S323-S325:
S323、手机在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合。
S324、手机根据第一历史照片集合,确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S324的具体实现可以参照前述S192的相关表述,此处不再赘述。
S325、手机存储第一人物的三维特征。
基于S323-S325对应的技术方案,手机在因为无法获取到拍摄的照片中的某个人物的三维特征,而无法构建相应的三维模型的情况下,可以利用该照片建立相应的历史照片集合,进而得到相应的三维特征。从而使得手机后续在需要对该人物的图像进行优化时,可以顺利得到该人物的三维特征,进而构建相应的三维模型,从而完成相应的优化流程,提高用户使用体验。
在一些实施例中,对于第一人物而言,手机可能是第一次存储了包含第一人物图像的照片,所以可能未存储有该第一人物的优化信息(第一三维模型或者第一三维特征)。这种情况下,当前则无法对该已存储的照片中的第一人物的图像进行优化。但是,为了之后可以对拍摄的照片或者后续存储的未优化的照片中的第一人物的图像进行优化,可以提取当前第一照片中的第一人物的三维特征作为后续使用的第一人物的第一三维特征,乃至利用该三维特征构建三维模型作为后续使用的第一人物的第一三维模型。
基于此,在优化信息为第一三维模型的情况下,基于S1901-S1904对应的技术方案,结合图15,参照图29所示,该已存储照片的优化流程中,S1502步骤之后还可以包括S1516-S1519:
S1516、手机在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合。
S1517、手机根据第一历史照片集合,确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S1517的具体实现可以参照前述S192的相关表述,此处不再赘述。
S1518、手机根据第一人物的三维特征,构建第一人物的三维模型。
当然,实际中若第一历史照片集合仅第一照片一张照片,则可能会因为手机本身的限制(例如无深度摄像头)和第一照片的限制(例如角度唯一),导致无法得到合适的第一人物的三维模型。此时,则可以不执行S1518和S1519,在S1517后仅存储第一人物的三维特征。在之后获取到多个存在第一人物的图像的照片,并获取到第一人物更多的三维特征的情况下,再执行S1518和S1519。这种情况下,在收集未获取到足够构建第一人物的历史三维模型的三维特征前,S1516步骤则具体可以是手机先该已存储的照片作为历史照片添加进第一人物关联的第一历史照片集合中。
其中,S1518的具体实现可以参照前述S192的相关表述,此处不再赘述。
S1519、手机存储第一人物的三维模型。
基于S1516-S1519对应的技术方案,手机在无法获取到已存储的照片中的某个人物的三维模型的情况下,可以利用该照片建立相应的历史照片集合,进而得到三维模型。从而使得手机后续在需要对该人物的图像进行优化时,可以顺利得到三维模型,完成相应的优化流程,提高用户使用体验。
同理,在优化信息为第一三维特征的情况下,基于S1901、S1902和S1905对应的技术方案,结合图15,若S1506具体是先获取与第一特征信息匹配的第一三维特征,进而构建第一历史三维模型,参照图30所示,该已存储照片的优化流程中,S1502步骤之后还可以包括S1520-S1522:
S1520、手机在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合。
S1521、手机根据第一历史照片集合,确定第一人物的三维特征。
其中,三维特征至少包括人脸三维特征。进一步的,为了使得手机可以利用三维特征得到更完整的三维模型,三维特征还可以包括体态三维特征。
其中,S1521的具体实现可以参照前述S192的相关表述,此处不再赘述。
S1522、手机存储第一人物的三维特征。
基于S1520-S1522对应的技术方案,手机在因为无法获取到已存储的照片中的某个人物的三维特征,而无法构建相应的三维模型的情况下,可以利用该照片建立相应的历史照片集合,进而得到三维特征。从而使得手机后续在需要对该人物的图像进行优化时,可以顺利得到三维特征,进而构建相应的三维模型,从而完成相应的优化流程,提高用户使用体验。
可以理解的是,上述设备等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,参照图31所示,本申请实施例提供一种电子设备,包括:获取模块3101、特征提取模块3102、模型匹配模块3103和优化模块3104。
其中,获取模块3101被配置为获取第一照片。特征提取模块3102被配置为在获取模块3101获取的第一照片中包括人脸图像的情况下,获取第一照片中第一人脸图像所属的第一人物的第一特征信息;其中,第一特征信息至少包括第一人物的人脸特征信息。模型匹配模块3103被配置为获取与特征提取模块3102获取的第一特征信息匹配的第一三维模型;其中,第一三维模型用于表征第一人物对应的历史照片中,第一人物的三维特征;三维特征至少包括人脸三维特征。优化模块3104被配置为将模型匹配模块3103获取的第一三维模型与获取模块3101获取的第一照片中第一人物的图像进行融合,以对第一照片中第一人物的图像进行优化,得到第二照片。
可选的,获取模块3101具体被配置为:接收拍照操作;响应于拍照操作,获取第一照片。
进一步可选的,该电子设备还包括显示模块3105;获取模块3101响应于拍照操作,获取第一照片之前,显示模块3105被配置为:响应于用户对相机应用图标的触发操作,显示相机预览界面,并实时确定相机预览界面中是否包括人脸图像;其中,相机预览界面用于预览电子设备的摄像头的拍摄画面;其中,第一照片中是否包括人脸图像,是获取模块3101接收拍照操作前显示模块3105最新一次对相机预览界面中是否包括人脸图像的确定结果。
可选的,获取模块3101还具体被配置为:响应于用户对图库展示界面中第一目标照片的优化操作,将第一目标照片确定为第一照片。
可选的,模型匹配模块3103获取第一三维模型之前,模型匹配模块3103还被配置为:获取当前时刻之前至少一个历史照片集合;其中,每个历史照片集合均关联有一个人物,不同的历史照片集合关联的人物不同;历史照片集合中的每张历史照片中均包括历史照片集合关联的人物的图像;至少一个历史照片集合中包括关联第一人物的第一历史照片集合。根据历史照片集合,确定历史照片集合关联的人物的三维特征;其中,三维特征至少包括人脸三维特征。根据历史照片集合关联的人物的三维特征,构建历史照片集合关联的人物的三维模型。
进一步可选的,模型匹配模块3103具体被配置为:根据历史照片集合中每个历史照片的成像质量参数,从历史照片集合中选择出至少一个第二目标照片;成像质量参数包括:分辨率、历史照片集合关联的人物的图像的完整程度;至少一个第二目标照片的成像质量参数高于历史照片集合中其他照片的成像质量参数。从第二目标照片,提取历史照片集合关联的人物的三维特征。
进一步可选的,获取模块3101获取第一照片之后,模型匹配模块3103还被配置为:将获取模块3101获取的第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合;根据第二历史照片集合,重新确定第一人物的三维特征。根据重新确定的第一人物的三维特征,重新构建第一人物的三维模型。
进一步可选的,在特征提取模块3102获取第一特征信息之后,模型匹配模块3103还被配置为:在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合;根据第一历史照片集合,确定第一人物的三维特征;根据第一人物的三维特征,构建第一人物的三维模型。
可选的,模型匹配模块3103具体被配置为:获取与特征提取模块3102获取的第一特征信息匹配的第一三维特征;第一三维特征为第一人物对应的历史照片中,第一人物的三维特征。利用第一三维特征,构建第一三维模型。
进一步可选的,在模型匹配模块3103获取第一三维模型之前,模型匹配模块3103还被配置为:获取当前时刻之前至少一个历史照片集合;其中,每个历史照片集合均关联有一个人物,不同的历史照片集合关联的人物不同;历史照片集合中的每张历史照片中均存在历史照片集合关联的人物的图像;至少一个历史照片集合中包括关联第一人物的第一历史照片集合。根据历史照片集合,确定历史照片集合关联的人物的三维特征;其中,三维特征至少包括人脸三维特征。
进一步可选的,获取模块3101获取第一照片之后,模型匹配模块3103还被配置为:将获取模块3101获取的第一照片添加进与第一人物关联的第一历史照片集合中,以更新第一历史照片集合,得到第二历史照片集合;根据第二历史照片集合,重新确定第一人物的三维特征。
进一步可选的,在特征提取模块3102获取第一特征信息之后,模型匹配模块3103还被配置为:在未获取到第一三维模型的情况下,利用第一照片构建第一人物关联的第一历史照片集合。根据第一历史照片集合,确定第一人物的三维特征。
可选的,获取模块3101获取第一照片之后,特征提取模块3102还被配置为在获取模块3101获取的第一照片中包括人脸图像的情况下,获取第二人脸图像所属的第二人物的第二特征信息;其中,第二人物和第一人物不同,第二特征信息至少包括第二人物的人脸特征信息。模型匹配模块3103还被配置为获取与特征提取模块3102获取的第二特征信息匹配的第二三维模型;其中,第二三维模型用于表征第二人物对应的历史照片中,第二人物的三维特征。优化模块3104还被配置为将模型匹配模块3103获取的第二三维模型与获取模块3101获取的第一照片中第二人物的图像进行融合,以对第一照片中第二人物的图像进行优化,得到第三照片。
进一步可选的,优化模块3104还被配置为:将第一照片和第四照片进行融合,以得到第五照片。其中,第四照片为对第一照片中的目标人物的图像进行优化后得到的;其中,目标人物包括第一人物和/或第二人物。
关于上述实施例中的电子设备,其中各个模块执行操作的具体方式已经在前述实施例中的照片优化方法的实施例中进行了详细描述,此处不再具体阐述。其相关的有益效果也可参照前述照片优化方法的相关有益效果,此处不再赘述。
本申请实施例还提供一种电子设备,该电子设备包括:摄像头、显示屏、存储器和一个或多个处理器;摄像头、显示屏、存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如前述实施例提供的照片优化方法。该电子设备的具体结构可参照图2中所示的电子设备的结构。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如前述实施例提供的照片优化方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包含可执行指令,当该计算机程序产品在电子设备上运行时,使得电子设备执行如前述实施例提供的照片优化方法。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (20)
1.一种图像处理方法,应用于电子设备,其特征在于,包括:
显示第一图像;
在所述第一图像中包括人脸图像的情况下,获取所述第一图像中第一人脸图像所属的第一人物的第一特征信息;其中,所述第一特征信息至少包括所述第一人物的人脸特征信息;
获取与所述第一特征信息匹配的第一三维模型;其中,所述第一三维模型包含从所述第一人物对应的历史图像中提取到的人脸三维特征;
将所述第一三维模型中的人脸三维特征与所述第一图像中所述第一人脸图像进行融合,得到第二图像;
将所述第一图像与所述第二图像进行融合,得到第五图像。
2.根据权利要求1所述的方法,其特征在于,在所述显示第一图像之前,所述方法还包括:
响应于用户对相机应用图标的触发操作,显示相机预览界面;
所述显示第一图像,包括:在所述相机预览界面上显示所述第一图像。
3.根据权利要求2所述的方法,其特征在于,在所述显示相机预览界面之后,所述方法包括:
实时检测所述相机预览界面中是否包括人脸图像,所述相机预览界面用于显示所述电子设备的摄像头采集到的图像数据。
4.根据权利要求1所述的方法,其特征在于,所述第一图像是已存储于所述电子设备的图像。
5.根据权利要求4所述的方法,其特征在于,所述获取所述第一图像中第一人脸图像所属的第一人物的第一特征信息,包括:
响应于用户对第一控件的操作,从所述第一人脸图像中提取出所述第一特征信息,其中,所述第一控件是相对于所述第一图像显示的控件,用于触发针对所述第一图像的处理。
6.根据权利要求2所述的方法,其特征在于,在所述相机预览界面上显示所述第一图像期间,所述方法还包括:
检测到环境光亮度小于预设亮度值;
或者,确定所述第一图像的背景图像的亮度减去所述第一人物的图像的亮度的差值大于一定阈值。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述第五图像上显示有第一标记,指示所述第五图像为已处理后的图像。
8.根据权利要求7所述的方法,其特征在于,在显示所述第五图像的情况下,所述方法还包括:
响应于用户在所述第五图像上的滑动操作,显示所述第一图像。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述获取与所述第一特征信息匹配的第一三维模型,包括:
向服务器发送第一请求,所述第一请求携带有第一特征信息;
接收所述服务器发送的第一响应,所述第一响应包括与所述第一特效信息匹配的所述第一三维模型。
10.根据权利要求1-8任意一项所述的方法,其特征在于,所述获取与所述第一特征信息匹配的第一三维模型之前,所述方法还包括:
获取当前时刻之前至少一个历史图像集合;其中,每个所述历史图像集合均关联有一个人物,不同的历史图像集合关联的人物不同;所述历史图像集合中的每张历史图像中均包括所述历史图像集合关联的人物的图像;至少一个历史图像集合中包括关联所述第一人物的第一历史图像集合;
根据所述历史图像集合,确定所述历史图像集合关联的人物的三维特征;其中,所述三维特征至少包括人脸三维特征;
根据所述历史图像集合关联的人物的三维特征,构建与所述历史图像集合关联的人物的三维模型;
所述获取与所述第一特征信息匹配的第一三维模型,包括:在已构建的所述三维模型中,查找包含所述第一三维特征的所述第一三维模型。
11.根据权利要求10所述的方法,其特征在于,所述根据所述历史图像集合,确定所述历史图像集合关联的人物的三维特征,包括:
根据所述历史图像集合中每个历史图像的成像质量参数,从所述历史图像集合中选择出至少一个第二目标图像;所述成像质量参数包括:分辨率、所述历史图像集合关联的人物的图像的完整程度;所述至少一个第二目标图像的成像质量参数高于所述历史图像集合中其他图像的成像质量参数;
从所述第二目标图像,提取所述历史图像集合关联的人物的三维特征。
12.根据权利要求10或11所述的方法,其特征在于,在所述获取与所述第一特征信息匹配的第一三维模型之前,所述方法还包括:
将所述第一图像添加进与所述第一人物关联的第一历史图像集合中,以更新所述第一历史图像集合,得到第二历史图像集合;
根据所述第二历史图像集合,重新确定所述第一人物的三维特征;
根据所述重新确定的所述第一人物的三维特征,重新构建所述第一人物的三维模型。
13.根据权利要求1-8任意一项所述的方法,其特征在于,所述获取与所述第一特征信息匹配的第一三维模型之前,所述方法还包括:
获取当前时刻之前至少一个历史图像集合;其中,每个所述历史图像集合均关联有一个人物,不同的历史图像集合关联的人物不同;所述历史图像集合中的每张历史图像中均包括所述历史图像集合关联的人物的图像;至少一个历史图像集合中包括关联所述第一人物的第一历史图像集合;
根据所述历史图像集合,确定所述历史图像集合关联的人物的三维特征;其中,所述三维特征至少包括人脸三维特征;
存储每个所述历史图像集合关联的人物的三维特征;
利用所述第一三维特征,确定所述第一三维模型,包括:查找与所述第一特征信息匹配的所述第一三维特征;根据查找到的所述第一三维特征,构建所述第一三维模型。
14.根据权利要求13所述的方法,其特征在于,在所述获取与所述第一特征信息匹配的第一三维模型之前,所述方法还包括:
将所述第一图像添加进与所述第一人物关联的第一历史图像集合中,以更新所述第一历史图像集合,得到第二历史图像集合;
根据所述第二历史图像集合,重新确定所述第一人物的三维特征;
更新已存储的所述第一人物的三维特征。
15.根据权利要求1-8任一项所述的方法,其特征在于,所述获取与所述第一特征信息匹配的第一三维模型,包括:
在所述电子设备中未查询到与所述第一特征信息匹配的第一三维模型时,利用所述第一图像构建所述第一人物关联的第一历史图像集合;
根据所述第一历史图像集合,确定所述第一人物的三维特征;
根据所述第一人物的三维特征,构建所述第一人物的所述第一三维模型。
16.根据权利要求1所述的方法,其特征在于,在所述第一图像中还包括第二人脸图像的情况下,所述方法还包括:
获取所述第一图像中第二人脸图像所属的第二人物的第二特征信息;其中,所述第二特征信息至少包括所述第二人物的人脸特征信息;
获取与所述第二特征信息匹配的第二三维模型;其中,所述第二三维模型包含从所述第二人物对应的历史图像中提取到的人脸三维特征;
将所述第二三维模型的人脸三维特征与所述第一图像中所述第二人脸图像进行融合,得到第三图像;
将所述第一图像与所述第三图像进行融合,得到第六图像。
17.根据权利要求16所述的方法,其特征在于,在得到所述第二图像和第三图像之后,所述方法还包括:
将所述第一图像、第二图像和第三图像融合,得到第七图像。
18.根据权利要求1所述的方法,其特征在于,所述将所述人脸三维特征与所述第一图像中所述第一人脸图像进行融合,包括:
利用所述人脸三维特征,增强所述第一图像中所述第一人脸图像中的人脸细节。
19.一种电子设备,其特征在于,包括:摄像头、显示屏、存储器和一个或多个处理器;所述摄像头、所述显示屏、所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-18任一项所述的图像处理方法。
20.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-18任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310924224.0A CN117237204A (zh) | 2022-06-15 | 2022-06-15 | 一种图像处理方法、电子设备和存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210682176.4A CN115239576B (zh) | 2022-06-15 | 2022-06-15 | 一种照片优化方法、电子设备和存储介质 |
CN202310924224.0A CN117237204A (zh) | 2022-06-15 | 2022-06-15 | 一种图像处理方法、电子设备和存储介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210682176.4A Division CN115239576B (zh) | 2022-06-15 | 2022-06-15 | 一种照片优化方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117237204A true CN117237204A (zh) | 2023-12-15 |
Family
ID=83669075
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210682176.4A Active CN115239576B (zh) | 2022-06-15 | 2022-06-15 | 一种照片优化方法、电子设备和存储介质 |
CN202310924224.0A Pending CN117237204A (zh) | 2022-06-15 | 2022-06-15 | 一种图像处理方法、电子设备和存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210682176.4A Active CN115239576B (zh) | 2022-06-15 | 2022-06-15 | 一种照片优化方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN115239576B (zh) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484858B (zh) * | 2014-12-31 | 2018-05-08 | 小米科技有限责任公司 | 人物图像处理方法及装置 |
CN107948499A (zh) * | 2017-10-31 | 2018-04-20 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
CN108229369B (zh) * | 2017-12-28 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
CN110096925B (zh) * | 2018-01-30 | 2021-05-14 | 普天信息技术有限公司 | 人脸表情图像的增强方法、获取方法和装置 |
CN108510437B (zh) * | 2018-04-04 | 2022-05-17 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
CN108876709A (zh) * | 2018-05-31 | 2018-11-23 | Oppo广东移动通信有限公司 | 人脸美化方法、装置、电子设备及可读存储介质 |
CN108921795A (zh) * | 2018-06-04 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种图像融合方法、装置及存储介质 |
CN109600550B (zh) * | 2018-12-18 | 2022-05-31 | 维沃移动通信有限公司 | 一种拍摄提示方法及终端设备 |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN112233212A (zh) * | 2019-06-28 | 2021-01-15 | 微软技术许可有限责任公司 | 人像编辑与合成 |
CN110602403A (zh) * | 2019-09-23 | 2019-12-20 | 华为技术有限公司 | 一种暗光下拍照的方法及电子设备 |
CN112785488A (zh) * | 2019-11-11 | 2021-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法、装置、存储介质及终端 |
CN111210510B (zh) * | 2020-01-16 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
CN113741681B (zh) * | 2020-05-29 | 2024-04-26 | 华为技术有限公司 | 一种图像校正方法与电子设备 |
CN113850709A (zh) * | 2020-06-28 | 2021-12-28 | 华为技术有限公司 | 图像变换方法和装置 |
CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
-
2022
- 2022-06-15 CN CN202210682176.4A patent/CN115239576B/zh active Active
- 2022-06-15 CN CN202310924224.0A patent/CN117237204A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115239576B (zh) | 2023-08-04 |
CN115239576A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
WO2019148968A1 (zh) | 移动终端、人脸解锁方法及相关产品 | |
WO2022166944A1 (zh) | 拍照方法、装置、电子设备及介质 | |
KR20140104806A (ko) | 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
WO2022062808A1 (zh) | 头像生成方法及设备 | |
CN111259183B (zh) | 图像识图方法、装置、电子设备和介质 | |
CN112788359B (zh) | 直播处理方法、装置、电子设备及存储介质 | |
CN110290426B (zh) | 展示资源的方法、装置、设备及存储介质 | |
CN115689963B (zh) | 一种图像处理方法及电子设备 | |
CN112532882B (zh) | 图像显示方法和装置 | |
CN111935516A (zh) | 音频文件的播放方法、装置、终端、服务器及存储介质 | |
CN111353946B (zh) | 图像修复方法、装置、设备及存储介质 | |
CN115115679A (zh) | 一种图像配准方法及相关设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
CN113609358A (zh) | 内容分享方法、装置、电子设备以及存储介质 | |
CN115239576B (zh) | 一种照片优化方法、电子设备和存储介质 | |
KR20030068509A (ko) | 실사인식을 통한 캐릭터 생성방법 및 이를 이용한서비스방법 | |
CN114697530B (zh) | 一种智能取景推荐的拍照方法及装置 | |
CN115113961A (zh) | 用户界面的显示方法、装置、设备及介质 | |
CN113301422A (zh) | 获取视频封面的方法、终端及存储介质 | |
CN113269072A (zh) | 图片处理方法、装置、设备及计算机程序 | |
CN112949709A (zh) | 图像数据标注方法、装置、电子设备和存储介质 | |
CN115083424A (zh) | 人物分析***、方法及相关装置 | |
CN111696051A (zh) | 人像修复方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |