CN114693511A - 一种图片补全方法及电子设备 - Google Patents

一种图片补全方法及电子设备 Download PDF

Info

Publication number
CN114693511A
CN114693511A CN202110236949.1A CN202110236949A CN114693511A CN 114693511 A CN114693511 A CN 114693511A CN 202110236949 A CN202110236949 A CN 202110236949A CN 114693511 A CN114693511 A CN 114693511A
Authority
CN
China
Prior art keywords
picture
electronic device
completion
resource
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110236949.1A
Other languages
English (en)
Inventor
卞超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114693511A publication Critical patent/CN114693511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种图片补全方法及电子设备,方法包括:第一电子设备获取第一图片;第一电子设备确定出第一图片中第一指定目标所在的第一区域;第一电子设备对第一区域中的图像进行裁剪;第一电子设备将第一补全资源替换第一区域中的图像,并将第一补全资源回贴至第一区域中,得到第二图片,其中,第一补全资源是第一图片以外的图片。这样,电子设备可以根据真实的图片资源对第一电子设备获取到的图片进行美化,提高了第一电子设备获取到的图片的视觉效果。

Description

一种图片补全方法及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图片补全方法及电子设备。
背景技术
随着电子设备的性能越来越好,相机能提供的能力也越来越强,针对相机的使用效果的要求也越来越高。
在正常的拍摄过程中,由于拍摄者的自然抖动,或者因为拍摄物体的运动、对焦未完成而进行抓拍等各种原因,导致拍摄出来的照片模糊或者用户对拍摄效果不满意,需要用户进行重新拍摄,十分影响用户的拍摄体验。
目前,可以在拍摄完成之后对摄像头采集的图像进行加曝光、去噪音点等图像处理来提高图片的清晰度,或者采用图像处理算法对图片进行“大眼”、“瘦腿”等处理。由于图片的清晰度不高,再对图片进行过度处理会导致图片失真的问题,无法达到用户满意的效果。
发明内容
本申请提供了一种图片补全方法及电子设备,实现了电子设备根据真实的高清图片资源对图片进行补全处理,提高图片的视觉效果。
第一方面,本申请提供了一种图片补全方法,方法包括:第一电子设备获取第一图片;第一电子设备确定出第一图片中第一指定目标所在的第一区域;第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片,其中,第一补全资源是第一图片以外的图片。这样,电子设备可以根据真实的图片资源对第一电子设备获取到的图片进行美化,提高了第一电子设备获取到的图片的视觉效果。
第一图片可以是第一电子设备的摄像头实时采集的图片,也可以是图库中的图片,还可以是文件管理中的图片,还可以是服务器中的图片,还可以是第二电子设备发送给第一电子设备的图片等等,第一图片也可以是视频中的图像帧。
在一些实施例中,第一电子设备可以将第一图片中识别到的所有指定目标所在的区域作为补全区域(第一区域);在另一些实施例中,第一电子设备可以将第一图片中识别到的所有指定目标的类别优先级最高的指定目标所在的区域作为补全区域(第一区域);在另一些实施例中,第一电子设备可以接收用户在第一图片上的选中操作确定出第一图片中的补全区域(第一区域),选中操作可以是点击操作或滑动操作。
第一电子设备可以采取以下任意一种方式根据第一补全资源修改第一区域中的图像;
方式一:第一电子设备将第一图片中第一区域中的图像进行裁剪,并将第一补全资源替换第一区域中的图像,之后,第一电子设备将第一补全资源放置在第一区域内,得到第二图片。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中第一区域中的图像的中心点重合。
方式二:第一电子设备不需要将第一图片中第一区域中的图像进行裁剪,第一电子设备直接将第一补全资源覆盖在第一区域中的图像上,得到第二图片。其中,第一补全资源的中心点与第一区域中的图像的中心点重合。
方式三:第一电子设备不需要将第一图片中第一区域中的图像进行裁剪,第一电子设备将第一补全资源的特征与第一区域中的图像特征进行融合,得到第二图片。
该方法也可以用于提高第一电子设备拍摄的视频的美化。视频也是由一帧一帧的图片构成的。即第一电子设备对视频进行美化实际上是对构成视频的每一帧图片进行美化,第一电子设备对视频帧中每一帧图片进行美化的方法与本申请提供的第一电子设备对第一图片进行美化的方法类似。
结合第一方面,在一种可能的实现方式中,在第一电子设备确定出第一图片中第一指定目标所在的第一区域之前,方法还包括:第一电子设备接收用户针对第一区域的第一操作;第一电子设备确定出第一图片中第一指定目标所在的第一区域,具体包括:响应于第一操作,第一电子设备确定出第一图片中第一指定目标所在的第一区域。第一操作可以是点击操作,也可以是滑动操作等等。这样,第一电子设备可以根据用户的第一操作确定出用户想要补全的区域,提高了用户体验。
在一些实施例中,第一电子设备还会识别出第一图片中第二指定目标所在的第二区域;第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片,具体包括:第一电子设备确定出第一指定目标的类别优先级高于第二指定目标的类别优先级,第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片。这样,第一电子设备可以识别出第一图片中的多个补全区域,但是第一电子设备只补全第一图片中指定目标的类别优先级最高的指定目标躲在的区域(例如第一区域),提高了图片补全的多样性。
结合第一方面,在一种可能的实现方式中,在第一电子设备根据第一补全资源修改第一区域中的图像之前,方法还包括:第一电子设备显示第一用户界面,第一用户界面包括第一补全资源;第一电子设备接收针对第一补全资源的第二操作;第一电子设备根据第一补全资源修改第一区域中的图像,具体包括:响应于第二操作,第一电子设备根据第一补全资源修改第一区域中的图像。第一补全资源的类别可以与第一区域中指定目标的类别相同或不同。这样,电子设备可以根据用户第二操作选择用户感兴趣的第一补全资源,提高了用户体验。
结合第一方面,在一种可能的实现方式中,在第一电子设备确定出第一图片中第一指定目标所在的第一区域之后,方法还包括:第一电子设备根据第一指定目标的特征从资源库中确定出与第一指定目标的特征相似度大于预设值的第一补全资源,其中,资源库为以下任意一种:第一电子设备的本地保存的图片、第二电子设备的本地保存的图片、服务器中的图片。
在一些实施例中,第一电子设备获取资源库中第三图片的第一日期,第三图片的第一日期为第三图片保存至资源库中的日期;当第一日期与指定日期的差值大于预设值时,第一电子设备将第三图片从资源库中移除。这样,第一电子设备可以根据第三图片保存至资源库中的时间,将保存时间超过指定时间的第三图片从资源库中移除掉,以此来更新资源库。这样,可以使得资源库中的图片更贴近用户的当前行为特征。
在一些实施例中,第一电子设备还需确定出补全资源。具体的,第一电子设备获取多张图片的图像参数;第一电子设备基于多张图片的图像参数,从多张图片中确定出补全资源,图像参数包括曝光度、清晰度、颜色值、质感值、噪音值、防抖值、闪光灯值、伪像值中的一个或多个。
在一种可选的实现方式中,第一电子设备根据多张图片的图像参数对多张图片进行打分得到多张图片中打分最高的一个图片作为补全资源。
在另一种可选的实现方式中,第一电子设备根据多张图片的一个或多个预设维度图像参对多张图片进行打分,得到多张图片在一个或多个预设维度的打分最高的一个或多个图片,并作为补全资源。
结合第一方面,在一种可能的实现方式中,第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片,具体包括:第一电子设备对第一区域中的图像进行裁剪;第一电子设备将第一补全资源替换第一区域中的图像,并将第一补全资源回贴至第一区域中。这样,第一电子设备根据真实的补全资源对第一区域中的图像进行替换,提高了第一区域中的图像的视觉效果。第一电子设备将第一补全资源替换第一区域中的图像,并将第一补全资源回贴至第一区域中是指,第一电子设备将第一图片中第一区域中的图像进行裁剪,并将第一补全资源替换第一图片中第一区域中的图像,之后,电子设备100将第一补全资源放置在第一图片中的第一区域内,得到第二图片,第二图片中不包括第一区域中的图像。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中第一区域中的图像的中心点重合。
结合第一方面,在一种可能的实现方式中,在第一电子设备获取第一图片之前,方法还包括:第一电子设备显示拍摄预览界面,拍摄预览界面包括摄像头实时采集到的画面、补全控件和拍摄控件;第一电子设备接收针对补全控件的第三操作和针对拍摄控件的第四操作;第一电子设备获取第一图片,具体包括:响应于第三操作和第四操作,第一电子设备从摄像头实时采集到的画面中获取第一图片。这里,第一图片是第一电子设备的摄像头实时采集的图像。在相机应用场景中,第一电子设备在获取第一图片之前,用户需先打开补全功能(第三操作),之后,拍摄控件接收用户的点击操作(第四操作),第一电子设备获取到第一图片,并确定出第一图片中的第一区域,第一区域为补全区域。
结合第一方面,在一种可能的实现方式中,在第一电子设备获取第一图片之前,方法还包括:第一电子设备显示第二用户界面,第二用户界面包括有第一图片的缩略图;第一电子设备接收针对第一图片的缩略图的第五操作;第一电子设备获取第一图片,具体包括:
响应于第五操作,第一电子设备获取第一图片;在第一电子设备获取第一图片之后,方法还包括:第一电子设备显示第三用户界面,第三用户界面包括第一图片和补全控件;第一电子设备接收针对补全控件的第六操作;第一电子设备确定出第一图片中第一指定目标所在的第一区域,具体包括:响应于第六操作,第一电子设备确定出第一图片中第一指定目标所在的第一区域。对于图库应用场景中,第一电子设备首先接收用户针对第一图片的缩略图的点击操作(第五操作),获取到第一图片。之后,用户打开补全功能,即对补全控件的点击操作(第四操作),第一电子设备确定出第一图片中的第一区域,第一区域为补全区域。
结合第一方面,在一种可能的实现方式中,补全控件为二维补全控件或三维补全控件。当补全控件为二维补全控件时,第一电子设备得到的第二图片为平面图片;当补全控件为三维补全控件时,第一电子设备得到的第二图片为三维立体图片。当补全控件为三维补全控件时,补全控件接收用户的点击操作之后,方法还包括:第一电子设备确认出第一指定目标的角度为第一角度;第一电子设备根据第一角度的第一指定目标从资源库中匹配到第二角度的第一指定目标、第三角度的第一指定目标和第四角度的第一指定目标;第一电子设备根据第一指定目标的特征匹配到预设的三维立体建模模型;第一电子设备根据第一角度的第一指定目标、第二角度的第一指定目标、第三角度的第一指定目标和第四角度的第一指定目标以及预设的三维立体建模模型,得到第四图片,第四图片为三维立体图像;第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片,具体包括:第一指定目标将第四图片替换第一区域中的图像,并回贴至第一区域中,得到第二图片。
结合第一方面,在一种可能的实现方式中,在第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片之后,方法还包括:第一电子设备显示第四用户界面,第四用户界面包括第一图片、第二图片和保存控件;第一电子设备接收针对第一图片和/或第二图片的第七操作;第一电子设备接收并响应针对保存控件的第八操作,第一电子设备保存第一图片和/或第二图片至图库应用对应的存储路径。这样,用户可以选择保存原始图片和补全后的图片中的任意一张或全部图片,提高了用户体验。
在一种可选的实现方式中,第一电子设备可以直接将第一图片和/或第二图片保存至图库应用对应的存储路径。这样,减少了用户操作。
第二方面,本申请提供了一种电子设备,为第一电子设备,其特征在于,第一电子设备包括:一个或多个处理器、一个或多个存储器;
一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得第一电子设备执行:获取第一图片;确定出第一图片中第一指定目标所在的第一区域;根据第一补全资源修改第一区域中的图像,得到第二图片,其中,第一补全资源是第一图片以外的图片。这样,电子设备可以根据真实的图片资源对第一电子设备获取到的图片进行美化,提高了第一电子设备获取到的图片的视觉效果。
第一图片可以是第一电子设备的摄像头实时采集的图片,也可以是图库中的推图片,还可以是文件管理中的图片,还可以是服务器中的图片,还可以是第二电子设备发送给第一电子设备的图片等等。
第一电子设备可以采取以下任意一种方式根据第一补全资源修改第一区域中的图像;
方式一:第一电子设备将第一图片中第一区域中的图像进行裁剪,并将第一补全资源替换第一区域中的图像,之后,第一电子设备将第一补全资源放置在第一区域内,得到第二图片。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中第一区域中的图像的中心点重合。
方式二:第一电子设备不需要将第一图片中第一区域中的图像进行裁剪,第一电子设备直接将第一补全资源覆盖在第一区域中的图像上,得到第二图片。其中,第一补全资源的中心点与第一区域中的图像的中心点重合。
方式三:第一电子设备不需要将第一图片中第一区域中的图像进行裁剪,第一电子设备将第一补全资源的特征与第一区域中的图像特征进行融合,得到第二图片。
该方法也可以用于提高第一电子设备拍摄的视频的美化。视频也是由一帧一帧的图片构成的。即第一电子设备对视频进行美化实际上是对构成视频的每一帧图片进行美化,第一电子设备对视频帧中每一帧图片进行美化的方法与本申请提供的第一电子设备对第一图片进行美化的方法类似。
结合第二方面,在一种可能的实现方式中,在第一电子设备确定出第一图片中第一指定目标所在的第一区域之前,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:接收用户针对第一区域的第一操作;响应于第一操作,第一电子设备确定出第一图片中第一指定目标所在的第一区域。第一操作可以是点击操作,也可以是滑动操作等等。这样,第一电子设备可以根据用户的第一操作确定出用户想要补全的区域,提高了用户体验。
结合第二方面,在一种可能的实现方式中,在第一电子设备确定出第一图片中第一指定目标所在的第一区域之后,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:根据第一指定目标的特征从资源库中确定出与第一指定目标的特征相似度大于预设值的第一补全资源,其中,资源库为以下任意一种:第一电子设备的本地保存的图片、第二电子设备的本地保存的图片、服务器中的图片。
在一些实施例中,第一电子设备获取资源库中第三图片的第一日期,第三图片的第一日期为第三图片保存至资源库中的日期;当第一日期与指定日期的差值大于预设值时,第一电子设备将第三图片从资源库中移除。这样,第一电子设备可以根据第三图片保存至资源库中的时间,将保存时间超过指定时间的第三图片从资源库中移除掉,以此来更新资源库。这样,可以使得资源库中的图片更贴近用户的当前行为特征。
在一些实施例中,第一电子设备还需确定出补全资源。具体的,第一电子设备获取多张图片的图像参数;第一电子设备基于多张图片的图像参数,从多张图片中确定出补全资源,图像参数包括曝光度、清晰度、颜色值、质感值、噪音值、防抖值、闪光灯值、伪像值中的一个或多个。
在一种可选的实现方式中,第一电子设备根据多张图片的图像参数对多张图片进行打分得到多张图片中打分最高的一个图片作为补全资源。
在另一种可选的实现方式中,第一电子设备根据多张图片的一个或多个预设维度图像参对多张图片进行打分,得到多张图片在一个或多个预设维度的打分最高的一个或多个图片,并作为补全资源。
结合第二方面,在一种可能的实现方式中,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:对第一区域中的图像进行裁剪;将第一补全资源替换第一区域中的图像,并将第一补全资源回贴至第一区域中。这样,第一电子设备根据真实的补全资源对第一区域中的图像进行替换,提高了第一区域中的图像的视觉效果。第一电子设备将第一补全资源替换第一区域中的图像,并将第一补全资源回贴至第一区域中是指,第一电子设备将第一图片中第一区域中的图像进行裁剪,并将第一补全资源替换第一图片中第一区域中的图像,之后,电子设备100将第一补全资源放置在第一图片中的第一区域内,得到第二图片,第二图片中不包括第一区域中的图像。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中第一区域中的图像的中心点重合。
结合第二方面,在一种可能的实现方式中,第一电子设备还包括摄像头;在第一电子设备获取第一图片之前,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:显示拍摄预览界面,拍摄预览界面包括摄像头实时采集到的画面、补全控件和拍摄控件;接收针对补全控件的第三操作和针对拍摄控件的第四操作;响应于第三操作和第四操作,从摄像头实时采集到的画面中获取第一图片。这里,第一图片是第一电子设备的摄像头实时采集的图像。在相机应用场景中,第一电子设备在获取第一图片之前,用户需先打开补全功能(第三操作),之后,拍摄控件接收用户的点击操作(第四操作),第一电子设备获取到第一图片,并确定出第一图片中的第一区域,第一区域为补全区域。
结合第二方面,在一种可能的实现方式中,在第一电子设备获取第一图片之前,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:显示第二用户界面,第二用户界面包括有第一图片的缩略图;接收针对第一图片的缩略图的第五操作;响应于第五操作,获取第一图片;在第一电子设备获取第一图片之后,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:显示第三用户界面,第三用户界面包括第一图片和补全控件;接收针对补全控件的第六操作;响应于第六操作,确定出第一图片中第一指定目标所在的第一区域。对于图库应用场景中,第一电子设备首先接收用户针对第一图片的缩略图的点击操作(第五操作),获取到第一图片。之后,用户打开补全功能,即对补全控件的点击操作(第四操作),第一电子设备确定出第一图片中的第一区域,第一区域为补全区域。
结合第二方面,在一种可能的实现方式中,补全控件为二维补全控件或三维补全控件。当补全控件为二维补全控件时,第一电子设备得到的第二图片为平面图片;当补全控件为三维补全控件时,第一电子设备得到的第二图片为三维立体图片。当补全控件为三维补全控件时,补全控件接收用户的点击操作之后,方法还包括:第一电子设备确认出第一指定目标的角度为第一角度;第一电子设备根据第一角度的第一指定目标从资源库中匹配到第二角度的第一指定目标、第三角度的第一指定目标和第四角度的第一指定目标;第一电子设备根据第一指定目标的特征匹配到预设的三维立体建模模型;第一电子设备根据第一角度的第一指定目标、第二角度的第一指定目标、第三角度的第一指定目标和第四角度的第一指定目标以及预设的三维立体建模模型,得到第四图片,第四图片为三维立体图像;第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片,具体包括:第一指定目标将第四图片替换第一区域中的图像,并回贴至第一区域中,得到第二图片。
结合第二方面,在一种可能的实现方式中,在第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片之后,一个或多个处理器具体用于调用计算机指令以使得第一电子设备执行:显示第四用户界面,第四用户界面包括第一图片、第二图片和保存控件;接收针对第一图片和/或第二图片的第七操作;接收并响应针对保存控件的第八操作,保存第一图片和/或第二图片至图库应用对应的存储路径。这样,用户可以选择保存原始图片和补全后的图片中的任意一张或全部图片,提高了用户体验。
在一种可选的实现方式中,第一电子设备可以直接将第一图片和/或第二图片保存至图库应用对应的存储路径。这样,减少了用户操作。
第三方面,本申请提供了可读存储介质,用于存储有计算机指令,当计算机指令在第一电子设备上运行时,使得第一电子设备执行上述任一方面任一项可能的实现方式中的一种图片补全方法。
附图说明
图1为本申请实施例提供的一种电子设备100的结构示意图;
图2为本申请实施例提供的一种电子设备200的软件结构框图;
图3为本申请实施例提供的一种图片补全的***架构图;
图4为本申请实施例提供的一种图像质量客观评价的原理示意图;
图5为本申请实施例提供的一种智能推荐模块根据预设维度得分得到的多个补全资源示意图;
图6A-图6D为本申请实施例提供的一组UI图;
图7A-图7G为本申请实施例提供的另一组UI图;
图8A-图8M为本申请实施例提供的一组相机应用场景中的图片补全的UI图;
图8N-图8Q为本申请实施例提供的另一组相机应用场景中的图片补全的UI图;
图9A-图9D为本申请实施例提供的又一组相机应用场景中的图片补全的UI图;
图10A-图10D为本申请实施例提供的一组图库应用场景中的图片补全的UI图;
图10E-图10K为本申请实施例提供的另一组图库应用场景中的图片补全的UI图;
图11A-图11C为本申请实施例提供的又一组相机应用场景中的图片补全的UI图;
图12A-图12F为本申请实施例提供的一组文件管理应用场景中的图片补全的UI图;
图13A-图13F为本申请实施例提供的一组互联网应用场景中的图片补全的UI图;
图14为本申请实施例提供的一种图片补全方法的流程示意图;
图14A为本申请实施例提供的另一种图库用户界面的示意图;
图15为本申请实施例提供的另一种图片补全方法的流程示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1示出了电子设备100的结构示意图。
下面以电子设备100为例对实施例进行具体说明。应该理解的是,图1所示电子设备100仅是一个范例,并且电子设备100可以具有比图1中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图2是本申请实施例提供的电子设备200的软件结构框图。分层架构可将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层(简称应用层),应用程序框架层(简称框架层),硬件抽象层(hardware abstract layer,HAL)层,以及内核层(Kernel,也称为驱动层)。
其中,应用层(Application)可以包括一系列应用程序包。该应用层可以包括多个应用程序包。该多个应用程序包可以为相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息以及桌面启动(Launcher)等应用程序。例如,如图2所示,该应用层可以包括相机***应用(也称为相机应用)。
如图2所示,相机***应用可以用于在拍摄照片模式下,在相机***应用的取景界面展示底层上报的图像帧。本申请实施例中,用户可以在拍摄照片之前,开启智能补全功能,相机***应用启动拍摄后,得到一张图片,相机***应用根据资源库中真实图片资源对摄像头采集的图片进行补全处理,对图片进行美化,提高了图片的视觉效果。具体的,相机***应用默认整张图片的区域为补全区域,即需要对该图片中所有识别到的指定目标的区域进行补全。或者,相机***应用可以根据用户在该图片中的滑动轨迹来确定补全区域。或者,相机***应用可以接收用户的设置将该图片中识别到的指定目标中类别优先级最高的指定目标所在的区域作为补全区域,指定目标类别的优先级可以由用户设置,例如人物优先级大于动物优先级大于植物优先级等等。确定补全区域之后,特征产生模块将对图片中补全区域的指定目标进行特征提取,得到该指定目标的特征,该指定目标的特征值可以用特征向量表示。特征向量可以表示目标的颜色特征、纹理特征、轮廓特征等其他特征。特征产生模块将补全区域中指定目标的特征发送至图库***应用中的智能查找模块。
智能查找模块接收特征产生模块发送的补全区域中指定目标的特征,并根据补全区域中指定目标的特征从资源库中查找到与补全区域中指定目标的特征相似度大于阈值的预选图片资源。资源库可以是本地图片(即图库中保存的图片)或云端图片或互联网中的图片或互连电子设备可获取的图片,互连电子设备可获取的图片可以包括互连电子设备的本地图片、互连电子设备的云端图片或者互连电子设备获取到的网络图片等等。智能查找模块将预选图片资源发送至智能推荐模块。
智能推荐模块接收智能查找模块发送的预选图片资源。并对预选图片资源进行质量评价,得到预选图片中多个维度质量打分平均分最高的一个预选图片作为补全资源,或者得到预选图片中不同维度的质量得分最高的多个图片分别作为补全资源。智能推荐模块将补全资源发送至相机***应用中的智能补全图像处理模块。
智能补全图像处理模块接收智能推荐模块发送的补全资源。智能补全图像处理模块根据二维美化图片算法对摄像头采集的图片进行二维美化处理,即智能补全图像处理模块将补全资源回贴至摄像头采集的图片中指定目标所在的区域,得到高清图片。或者,智能补全图像处理模块根据三维建模图片算法对摄像头采集的图片进行三维建模处理,即智能补全图像处理模块将根据当前维度(例如正面)的补全资源得到其他多个维度(例如后面、左面、右面)的图片,并根据预设的三位模型进行三维建模,得到高清图片。
智能补全图像处理模块如何对摄像头采集的图片进行二维美化处理和三维建模处理,将在后续实施例中详细介绍。
框架层(Framework)为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,框架层可以提供相机API,如Camera API(API 1|API 2)、相机服务(CameraService)、相机拓展服务(Camera Service Extra)和硬件开发工具包(hardware softwaredevelopment kit,Hw SDK)。
其中,Camera API(API 1|API 2)作为底层(如硬件抽象层)与应用层交互的接口。具体的,Camera API(API 1|API 2)可以接收来自上层(如应用层)的开始拍摄照片的通知,并通过相机服务、相机拓展服务和HwSDK处理开启摄像头的通知。
HAL层用于连接框架层和内核层。例如,HAL层可以在框架层和内核层之间进行数据透传。当然,HAL层也可以对来自底层(即内核层)的数据进行处理,然后再传输给框架层。例如,HAL层可以将内核层的关于硬件设备的参数转换为框架层和应用层可识别的软件程序语言。例如,HAL层可以包括HAL3.0、三维建模图片算法和二维美化图片算法。
需要说明的是,三维建模算法和二维美化算法也可以位于应用层层中,本申请对于三维建模算法和二维美化算法的存储位置不做限定。
内核层包括相机驱动(Driver)、图像信号处理器ISP和Camera器件。该Camera器件可以包括摄像头包括相机镜头和图像传感器等。其中,上述图像信号处理器ISP可以与摄像头(如Camera器件)单独设置。在另一些实施例中,上述图像信号处理器ISP可以设置在摄像头(如Camera器件)中。
其中,图像信号处理器ISP和Camera器件是拍摄图片的主要设备。取景环境反射的光信号经过相机镜头照射在图像传感器上可转换为电信号,该电信号经过图像信号处理器ISP的处理,可作为原始参数流,由相机驱动向上层传输。并且,相机驱动还可以接收来自上层的通知(如指示开启或关闭摄像头的通知),根据该通知向Camera器件发送功能处理参数流,以开启或关闭对应的摄像头。
本申请以下实施例提供了一种图片补全方法,该方法包括:电子设备100(第一电子设备)获取到第一图片,电子设备100根据指定目标识别模型或算法识别出第一图片中指定目标所在的区域(第一区域),并提取出指定目标的特征。电子设备100基于指定目标的特征从资源库中查找到与指定目标的特征相匹配的第一补全资源。之后,电子设备100根据第一补全资源修改第一区域中的图像,得到第二图片。这样,电子设备100可以根据真实的图片资源对电子设备100获取到的图片进行美化,提高了电子设备100获取到的图片的视觉效果。
第一图片可以是电子设备100摄像头实时采集的图片,也可以是电子设备100图库中的图片,第一图片还可以是文件管理中的图片,第一图片还可以是其他电子设备发送至电子设备100的图片,第一图片还可以是互联网中的图片等等,本申请对于第一图片的来源不做限定。
电子设备100可以采取以下任意一种方式根据第一补全资源修改第一区域中的图像;
方式一:电子设备100将第一图片中第一区域中的图像进行裁剪,并将第一补全资源替换第一区域中的图像,之后,电子设备100将第一补全资源放置在第一图片中第一区域内,得到第二图片。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中第一区域中的图像的中心点重合。
方式二:电子设备100不需要将第一图片中第一区域中的图像进行裁剪,电子设备100直接将第一补全资源覆盖在第一区域中的图像上,得到第二图片。其中,第一补全资源的中心点与第一区域中的图像的中心点重合。
方式三:电子设备100不需要将第一图片中第一区域中的图像进行裁剪,电子设备100将第一补全资源的特征与第一区域中的图像特征进行融合,得到第二图片。
电子设备100还可以采取其他的方式根据第一补全资源修改第一区域中的图像,本申请在此不做限定。
电子设备100中可以预置有针对一些指定目标的识别算法或模型,识别出图像中的指定目标的类型以及该指定目标在图像中所在的位置。示例性的,指定目标可以包括但不仅限于人物、动物、汽车、月亮、花朵、碗、水杯、房子等类型的目标。
资源库可以是电子设备100的图库中保存的图片,也可以是电子设备100的云端图片,还可以是互联网中的图片,还可以是互连电子设备可获取的图片,互连电子设备可获取的图片可以包括互连电子设备(第二电子设备)的本地图片、互连电子设备的云端图片或者互连电子设备获取到的网络图片等等,本申请对于资源库不做限定。
该方法也可以用于提高电子设备100拍摄的视频的美化。视频也是由一帧一帧的图片构成的。即电子设备100对视频进行美化实际上是对构成视频的每一帧图片进行美化,电子设备100对视频帧中每一帧图片进行美化的方法与本申请提供的电子设备100对第一图片进行美化的方法一样,本申请在此不再赘述。
图3示例性示出了一种图片补全的***架构图。
如图3所示,当使用相机应用进行拍照时,在拍照完成之前,相机应用接受用户的操作开启智能补全功能,拍照完成后,通过摄像头获取到低清图像。
补全区域设定模块确定出第一图片中需要补全的区域。补全区域设定模块可以采用以下任意一种方式确定出第一图片中需要补全的区域。
在一种可能的实现方式中,补全区域设定模块将该第一图片中识别到的所有指定目标的区域作为补全区域。具体的,补全区域设定模块获取第一图片,并采用指定目标识别模型或算法识别出该第一图片中的一个或多个指定目标以及一个或多个指定目标所在的区域。电子设备100自动识别出一个或多个指定目标所在的区域为补全区域。
在另一种可能的实现方式中,补全区域设定模块获取第一图片,并采用指定目标识别模型识别出该第一图片中的一个或多个指定目标的类别以及一个或多个指定目标所在的区域。补全区域设定模块按照预设的指定目标的类别优先级,补全区域设定模块只将识别到所有指定目标中的类别优先级别最高的指定目标所在的区域作为补全区域。
示例性的,补全区域设定模块中预设置的指定目标的类别优先级从高往低依次是为人物、动物、树、房子、花朵、月亮、包、汽车、碗等等。当补全区域设定模块从第一图片中自动识别出的一个或多个指定目标为人物、动物、花朵、房子、包、树等等。但是补全区域设定模块只会将识别到所有指定目标中的类别优先级别最高的指定目标所在的区域作为补全区域,根据补全区域设定模块预设置的指定目标的优先级,补全区域设定模块只会将第一图片中自动识别出的人物在该第一图片中所在的区域作为补全区域。
在另一种可能的实现方式中,补全区域设定模块可以接收用户在第一图片中的选中操作,根据用户的选中操作来确定补全区域。
在一些实施例中,选中操作可以是滑动操作,即补全区域设定模块接收用户在第一图片中的滑动操作,根据滑动轨迹确认出第一图片的补全区域。这样,在一些实施例中,当补全区域设定模块无法识别出第一图片中指定目标所在的区域时,补全区域设定模块可以根据用户的滑动轨迹确定出补全区域。
示例性的,当第一图片中有人物、动物和房子、树等等,用户只想补全第一图片中的动物时。补全区域设定模块可以接收用户在该第一图片中的滑动操作来圈定动物在该第一图片中的区域。补全区域设定模块将根据用户滑动轨迹圈定的该第一图片中动物的区域作为补全区域。
示例性的,第一图片中包括人物,人物包括头、身体、胳膊和腿。当用户只想将第一图片中的腿进行替换时,电子设备100可以接收用户在第一图片人物的腿所在的区域的滑动操作,电子设备100将人物的腿所在的区域作为补全区域。
在另一些实施例中,选中操作还可以是点击操作,即补全区域设定模块接收用户在第一图片中的点击操作,确认出第一图片的补全区域。
具体的,补全区域设定模块可以自动识别出第一图片中指定目标所在的区域,之后,补全区域设定模块可以接收用户在第一图片上的点击操作,当点击的位置坐标在指定目标所在的区域内,响应于点击操作,补全区域设定模块将包含点击的位置坐标的指定目标所在的区域作为补全区域。
需要说明的,选中操作不限于滑动操作和点击操作,还可以是其他的操作,本申请在此不做限定。
之后,特征产生模块对第一图片的补全区域中的指定目标进行特征提取。
在一种可能的实现方式中,补全区域设定模块使用指定目标识别模型或算法识别出该第一图片中的一个或多个指定目标以及一个或多个指定目标所在的区域之后,特征产生模块将自动提取出该第一图片中的一个或多个指定目标的特征。一个或多个指定目标的特征可以是纹理特征、轮廓特征、颜色特征等等。
在另一种可能的实现方式中,补全区域设定模块按照预设的指定目标的类别优先级,补全区域设定模块只将自动识别出的一个或多个指定目标中类别优先级最高的指定目标所在的区域作为补全区域,特征产生模块将自动提取出该第一图片补全区域中的指定目标的特征。指定目标的特征可以是纹理特征、轮廓特征、颜色特征等等。
在另一种可能的实现方式中,补全区域设定模块根据用户的滑动轨迹来确定补全区域。特征产生模块采用预设的模型或算法对该补全区域中的指定目标进行特征提取,得到该第一图片补全区域中的指定目标的特征。指定目标的特征可以是纹理特征、轮廓特征、颜色特征等等。
特征产生模块将第一图片的补全区域中的指定目标的特征发送至智能查找模块。
智能查找模块根据指定目标的特征从资源库(预选图片资源)中匹配出补全资源。
预选图片资源可以是电子设备100的本地保存的多张图片,也可以是云服务器中保存的多张图片,还可以是互联网中的多张图片,还可以是与电子设备100建立通信连接的其他电子设备可获取到的多张图片,本申请对于预选图片资源不做限定。
具体的,当预选图片资源为本地保存的多张图片时,电子设备100根据指定目标的特征从本地保存的多张图片中查找到与指定目标的特征相似度大于预设值的补全资源。
为了保证补全资源的时效性,电子设备100会对本地保存的多张图片进行筛选,将本地保存的多张图片创建日期距离指定日期的差值大于预设值的图片删除掉,得到图片集。电子设备100在图片集中查找与指定目标的特征相似度大于预设值的补全资源。这样,保证了补全资源的时效性,更符合用户的当前行为特征。
当预选图片资源为云服务器中保存的图片时,预选图片资源可以是电子设备100的云服务器中保存的图片。电子设备100与云服务器建立通信连接,智能查找模块将第一图片中指定目标的特征发送至云服务器。云服务器从云服务器中保存的图片查找到与指定目标的特征相似度大于预设值的补全资源。云服务器将与指定目标的特征相匹配的补全资源发送至智能查找模块。
当预选图片资源为与电子设备100通过蓝牙等方式建立通信连接的其他电子设备(例如电子设备200)中保存的图片。电子设备100与电子设备200建立通信连接,智能查找模块将第一图片中指定目标的特征发送至电子设备200。电子设备200从电子设备200中保存的图片查找到与指定目标的特征相匹配的补全资源,或者电子设备200从电子设备200的云端图片中查找到与指定目标的特征相匹配的补全资源源,或者电子设备100通过4G网络或5G网络或无线局域网(wireless local area networks,WLAN)等无线通信技术与互联网建立通信连接。电子设备200将第一图片中指定目标的特征发送至搜索引擎(例如百度)。搜索引擎从数据库中的图片查找到与指定目标的特征相匹配的补全资源。搜索引擎将与指定目标的特征相匹配的补全资源发送至电子设备200,电子设备200将与指定目标的特征相匹配的补全资源发送至智能查找模块。
当预选图片资源为互联网中的图片时,即电子设备100通过4G网络或5G网络或无线局域网(wireless local area networks,WLAN)等无线通信技术与互联网建立通信连接。智能查找模块将第一图片中指定目标的特征发送至搜索引擎(例如百度)。搜索引擎从数据库中的图片查找到与指定目标的特征相匹配的补全资源。搜索引擎将与指定目标的特征相匹配的补全资源发送至智能查找模块。
智能查找模块将从预选图片资源中查找出与指定目标的特征相匹配的补全资源之后,智能查找模块将补全资源发送至智能推荐模块。
智能推荐模块对补全资源进行质量打分,得到补全资源中多个维度质量打分平均分最高的一个补全资源作为第一补全资源,或者得到补全资源中不同维度的质量得分最高的多个图片分别作为第一补全资源。
在一些实施例中,资源库中除了图片之外,还包括图片的拍摄参数信息,拍摄参数信息包括以下一项或多项,例如拍摄日期、分辨率、像素值、图片类型、颜色值、光圈值、曝光时间、曝光补偿、焦距、散光灯模式、亮度、白平衡、清晰度等等。
本申请以下实施例以预选图片资源来源于电子设备100的图库中保存的图片为例进行说明。
电子设备100可以采用以下任意一种方式来对预选图片资源进行质量打分。
方式一:
图像质量客观评价
图像质量客观评价是智能推荐模块基于曝光值、清晰度值、颜色值、质感值、噪音值、防抖值、对焦值、伪像值等中的一个或多个图像参数,从预选图片资源中确定出补全资源。
具体的,智能推荐模块可以根据不同维度的质量评分模型或算法从曝光度、清晰度、颜色值、质感值、噪音值、防抖值、闪光灯值、伪像值等中的一个或多个图像参数对预选图片资源的质量进行评价,得到预选图片资源的质量得分,并根据预选图片资源的质量得分确定出补全资源。
在一种可能的实现方式中,智能推荐模块将上述多个维度值的平均值作为本地保存的多张图片的质量得分。智能推荐模块将本地保存的多张图片中质量得分最高的一个图片作为补全资源。
图4示例性示出了图像质量客观评价的原理示意图。
智能推荐模块采用曝光打分模型或算法根据曝光精准度和曝光范围中的一个或多个参数计算预选图片资源的曝光值;曝光精准度越高、曝光范围越高,曝光值越高。
智能推荐模块采用曝光打分模型或算法根据曝光精准度和曝光范围中的一个或多个参数计算预选图片资源的曝光值;曝光精准度越高、曝光范围越高,曝光值越高。
智能推荐模块采用清晰度打分模型或算法根据视觉分辨度、调制传递函数(modulation transfer function,MTF)和空间频率响应(spatial frequency response,SFR)中的一个或多个参数计算预选图片资源的清晰度;视觉分辨度越高、MTF越高、SFR越高,清晰度越高。
智能推荐模块采用颜色打分模型或算法根据白平衡、色彩还原和色彩不均匀中的一个或多个参数计算预选图片资源的颜色值;白平衡越高、色彩还原越高,色彩不均匀越低,颜色值越高。
智能推荐模块采用质感打分模型或算法根据锐度和锐度损失中的一个或多个参数计算预选图片资源的曝光值;锐度越高、锐度损失越低,质感值越高。
智能推荐模块采用噪音打分模型或算法根据空间噪音、时域噪音、颜色噪音、灰度噪音、信噪比和动态范围中的一个或多个参数计算预选图片资源的噪音值。
智能推荐模块采用噪音打分模型或算法根据空间噪音、时域噪音、颜色噪音、灰度噪音、信噪比和动态范围中的一个或多个参数计算预选图片资源的噪音值。
智能推荐模块采用闪光灯打分模型或算法根据中心重合度、照度均匀、色彩还原和白平衡中的一个或多个参数计算预选图片资源的闪光灯值。
智能推荐模块采用对焦打分模型或算法根据对焦重复速度和对焦速度中的一个或多个参数计算预选图片资源的对焦值。
智能推荐模块采用伪像打分模型或算法根据振铃、色差、畸变和暗角中的一个或多个参数计算预选图片资源的伪像值。
智能推荐模块计算预选图片资源的曝光值、清晰度值、颜色值、质感值、噪音值、防抖值、对焦值、伪像值等中的一个或多个图像参数的平均值,得到预选图片资源的质量平均分。之后,智能推荐模块将预选图片资源中质量平均分最高的一个图片作为第一补全资源。
在另一种可能的实现方式中,智能推荐模块还可以根据上述不同维度的质量评分模型或算法对预选图片资源进行打分,得到预选图片资源在上述不同维度中的得分。电子设备100得到每一维度质量打分最高的一个补全资源。这样,电子设备100可以得到每个维度质量打分最高的一个补全资源,提高了图片补全的多样性。
图5示例性示出了智能推荐模块根据预设维度得分得到的多个补全资源示意图。
示例性的,预设维度得分可以是颜色值、清晰度、质感值和防抖值等等。
智能推荐模块首先计算本地保存的多张图片的曝光值、清晰度值、颜色值、质感值、噪音值、防抖值、对焦值、伪像值等中的一个或多个图像参数的平均值的得分的平均值,得到本地保存的多张图片的质量平均分,智能推荐模块将本地保存的多张图片中质量平均分最高的一个图片作为补全资源1。
智能推荐模块根据已有的颜色打分模型或算法计算本地保存的多张图片的颜色值,智能推荐模块将本地保存的多张图片中颜色值最高的一个图片作为补全资源2。
智能推荐模块根据已有的清晰度打分模型或算法计算本地保存的多张图片的清晰度,智能推荐模块将预选图片资源中清晰度最高的一个图片作为补全资源3。
智能推荐模块根据已有的质感打分模型或算法计算本地保存的多张图片的质感值,智能推荐模块将预选图片资源中质感值最高的一个图片作为补全资源4。
智能推荐模块根据已有的防抖打分模型或算法计算本地保存的多张图片的防抖值,智能推荐模块将预选图片资源中防抖值最高的一个图片作为补全资源5。
在一种可选的实现方式中,智能推荐模块将补全资源1、补全资源2、补全资源3、补全资源4和补全资源5均作为补全资源返回至智能补全图像处理模块,智能补全图像处理模块分别将补全资源1、补全资源2、补全资源3、补全资源4和补全资源5均作为第一补全资源分别替换第一图片中补全区域中的图像,并回贴至第一图片中指定目标所在的区域,分别得到5张高清图片。用户可以选择保存5张高清图片中的任意一张或多张图片。
在另一种可选的实现方式中,智能推荐模块将补全资源1、补全资源2、补全资源3、补全资源4和补全资源5显示在电子设备100的用户界面上,电子设备100可以接收用户的选中操作来选择用户界面中的一个或多个补全资源(例如补全资源2)作为第一补全资源对第一图片中的补全区域进行补全。
方式二:
图片质量主观评价
图片质量主观评价只涉及到用户做出的定性评价,用户事先对图片质量的优劣作出主观的定性评价。主观评价的方法在可分为两种:绝对评价和相对评价。
首先,介绍用户对图片质量的绝对评价标准。
用户对图片质量的绝对评价标准是用户根据自己的知识和理解,按照原始图像的质量对待定图像的质量进行评价,原始图像的质量为标准质量,即用户丝毫看不出图像质量的好坏。具体的,将待评价的图片和原始图片按照一定的规则交替展示给用户观察,然后在图片展示完毕之后的一定时间内,用户对待评价的图片进行质量打分,将用户给出的多个分数的平均值作为待评价图片的质量评分。如表1所示,表1为图片质量的绝对评价标准。
表1
质量尺度 妨碍尺寸 评分
丝毫看不出图像质量变坏 非常好 5分
能看出图像质量变坏但不妨碍观看 4分
清楚看出图像质量变坏,对观看稍有妨碍 一般 3分
对观看有妨碍 2分
非常严重的妨碍观看 非常差 1分
由表1所示,用户将待评价的图片和原始图片进行比对打分时,原始图片为标准质量的图片。与原始图片的质量相比,用户丝毫看不出待评价的图片的质量变坏,则待评价的图片妨碍尺度对应为非常好,则该待评价的图片的质量打分为5分。当与原始图片的质量相比,用户能看出待评价的图片的质量变坏但不影响观看,则待评价的图片妨碍尺度对应为好,则该待评价的图片的质量打分为4分。当与原始图片的质量相比,用户清楚看出待评价的图片的质量变坏,对观看稍有妨碍,则待评价的图片妨碍尺度对应为一般,则该待评价的图片的质量打分为3分。当与原始图片的质量相比,用户认为待评价的图片对观看有妨碍,则待评价的图片妨碍尺度对应为差,则该待评价的图片的质量打分为2分。当与原始图片的质量相比,用户认为待评价的图片非常严重的妨碍观看,则待评价的图片妨碍尺度对应为非常差,则该待评价的图片的质量打分为1分。
接下来介绍用户对图片质量的相对评价标准。
用户对图片质量的相对评价标准是用户对一批待评价的图片进行相互评价,将这一批图片按量图片质量的好坏从高到低进行排序,并给出图片质量评分。用户对图片质量的相对评价标准采用单刺激连续质量评价方法(single stimulus continuous qualityevaluation,SSCQE)。具体的做法是:将一批待评价的图片按照一定的顺序展示给用户观看,用户在观看这一批图片时对观看到的图片进行打分。如表2所示,表2为图片质量的相对评价标准。
表2
相对评价尺度 绝对评价尺度 评分
一群中最好的 非常好 5分
高于该群中平均水平 4分
该群中的平均水平 一般 3分
低于该群中的平均水平 2分
该群中最低 非常差 1分
由表2所示,用户对一批待评价的照片进行评价时,若第一张图片与这一批待评价的图片中其他图片相比,第一张图片的质量是这一批待评价的图片中质量最好的,这一张图片的绝对评价尺度为非常好,则这一张图片的质量评分为5分。若第一张图片与这一批待评价的图片中其他图片相比,这第一张图片的质量比这一批待评价的图片的质量的平均水平要高,这一张图片的绝对评价尺度为好,则这一张图片的质量评分为4分。若第一张图片与这一批待评价的图片中其他图片相比,这第一张图片的质量为这一批待评价的图片的质量的平均水平,这一张图片的绝对评价尺度为一般,则这一张图片的质量评分为3分。若第一张图片与这一批待评价的图片中其他图片相比,这第一张图片的质量比这一批待评价的图片的质量的平均水平低,这一张图片的绝对评价尺度为差,则这一张图片的质量评分为2分。若第一张图片与这一批待评价的图片中其他图片相比,这第一张图片的质量是这一批待评价的图片的质量的最低的,这一张图片的绝对评价尺度为非常差,则这一张图片的质量评分为1分。
具体实现中,用户可以实现根据绝对评价标准或相对评价标准对一批待评价的图片进行质量打分,得到用户认为质量最好的一张或多张图片,电子设备100接收用户操作将一张或多张图片存储在指定位置。电子设备100将根据指定位置中的一张或多张图片作为补全资源对第一图片进行补全。之后,相机应用开启了智能补全功能后,需要对摄像头采集的第一图片进行补全时,智能推荐模块可以根据指定位置中的一张或多张图片对摄像头采集的第一图片进行补全。这样,相机应用可以根据用户的选择对摄像头采集的第一图片进行补全,提高了用户体验。
智能推荐模块得到补全资源之后,智能推荐模块将补全资源发送至智能补全图像处理模块,智能补全图像处理模块接收智能推荐模块发送的补全资源,智能补全图像处理模块并根据二维美化图片算法或者三维建模图片算法对摄像头采集的第一图片进行补全。
首先介绍智能补全图像处理模块根据二维美化图片算法对摄像头采集的第一图片进行补全。具体的,智能补全图像处理模块将补全资源放置至第一图片中指定目标所在的区域,得到高清图片。
接下来介绍智能补全图像处理模块如何将补全资源放置至第一图片中指定目标所在的区域中的。
在一些实施例中,补全资源中指定目标由于大小、角度和深度等与第一图片中指定目标的大小、角度和深度不一致,因此需要将补全资源中的指定目标调整为与第一图片中指定目标的大小、角度和深度一样。
首先,智能补全图像处理模块得到补全资源之后,需要将补全资源中指定目标进行大小调整。即将补全资源中指定目标调整为与第一图片中指定目标大小一致。
之后,智能补全图像处理模块将大小调整后的补全资源中的指定目标进行角度调整。具体的,智能补全图像处理模块以第一图片中指定目标的中心点为原点的中垂线与竖直垂线的夹角确定角度,以确定指定目标在第一图片中的角度是在竖直垂线的左边角度还是右边角度。之后,以大小调整后的补全资源中的指定目标的中心点为原点为中垂线,智能补全图像处理模块确认大小调整后的补全资源中的指定目标的中垂线与竖直垂线的夹角,并将补全资源的中垂线与竖直垂线的夹角调整为与第一图片中指定目标与竖直垂线的夹角一致。
如图6A所示,图6A示例性示出了第一图片中的指定目标的示意图。该第一图片中的指定目标的中垂线为双眼的中心点与鼻子的中心点的连线,由图6A可知,该第一图片中的指定目标的中垂线与竖直垂线的夹角为0度。
如图6B所示,图6B示例性示出了大小调整后的补全资源的示意图。该补全资源中指定目标的中垂线为双眼的中心点与鼻子的中心点的连线,由图6B可知,该补全资源中的中垂线与竖直垂线的夹角为A度。如图6C所示,智能补全图像处理模块将以补全资源的中垂线为旋转轴,向逆时针方向旋转A度,将补全资源的中垂线与竖直垂线的夹角调整至0度,如图6D所示,以使得补全资源的中垂线与竖直垂线的夹角调整为与第一图片中指定目标与竖直垂线的夹角一致。
最后,智能补全图像处理模块将补全资源中指定目标的大小和角度调整为与第一图片中指定目标的大小和角度一致之后,需要将补全资源中指定目标的深度调整为与第一图片中指定目标的深度一样。智能补全图像处理模块将补全资源进行深度调整是将补全资源中指定目标的侧面投影图像围绕Z轴进行角度调整,Z轴垂直于水平面(例如XOY平面)。
示例性的,第一图片中指定目标的深度是针对指定目标为人脸时,由于人脸抬头、低头或者围绕Z轴转动头部时,导致人脸的深度变化。
如图7A所示,图7A示例性示出了第一图片中,人脸平视前方的三维立体图像的示意图。当人脸平视前方时,眉头间距为X;
如图7B所示,图7B示例性示出了补全资源中,人脸的三维立体图像的示意图。如图7B所示,由于人脸图像绕着Z轴向顺时针方向转动,导致补全资源中人脸图像的深度和第一图片中人脸图像的深度不一致,此时眉头间距为Y。因此智能补全图像处理模块需计算出补全资源中,人脸图像的深度相对于第一图片中人脸图像的深度的角度差值,之后,将补全资源中人脸图像的深度调整为与第一图片中人脸图像的深度的角度差值为0。
如图7C所示,当人脸平视前方时,眉头间距为X,由于人脸图像绕着Z轴向顺时针方向转动,导致补全资源中人脸图像的深度和第一图片中人脸图像的深度不一致,此时眉头间距为Y,智能补全图像处理模块计算出补全资源中,人脸图像的深度相对于第一图片中人脸图像的深度的角度差值B,cosB=眉头间距Y/眉头间距X。
之后,智能补全图像处理模块将图7B中人脸图像绕着Z轴逆时针旋转B度,使得补全资源中人脸图像的深度调整为与第一图片中人脸图像的深度的角度差值为0。
智能补全图像处理模块将补全资源中指定目标调整为与第一图片中指定目标在第一图片中指定目标的大小、角度和深度一样之后,智能补全图像处理模块将补全资源放置至第一图片中指定目标所在的区域,得到高清图片。其中,高清图片中,补全资源中指定目标中心点与第一图片中,补全区域的指定目标的中心点重合。智能补全图像处理模块将补全资源回贴至第一图片中指定目标所在的区域,得到高清图片之后,可能存在替换后的补全资源与第一图片中的重合部分存在问题,这是智能补全图像处理模块直接使用重合部分周围详尽的颜色进行处理即可。
在另一些实施例中,智能补全图像处理模块还可以根据三维建模图片算法对摄像头采集的第一图片进行补全。具体的,智能补全图像处理模块将指定目标按照预设的模型进行三维建模,得到高清图像。
当智能补全图像处理模块响应于用户的操作根据三维建模图片算法对摄像头采集的第一图片进行补全时,首先,智能补全图像处理模块需要根据第一图片中识别到的指定目标的特征从预设存储区域(例如图库)中获取到已有的包含指定目标的多个角度的补全资源。包含指定目标的多个角度的补全资源可以是例如正面角度补全资源、左面角度补全资源、右面角度补全资源和/或后面角度补全资源。
在一些实施例中,智能补全图像处理模块可以根据获取到的当前角度补全资源通过角度旋转得到其他角度的图片,即将当前角度补全资源绕着Z轴进行角度旋转得到其他角度的图片,Z轴垂直于水平面。
例如智能补全图像处理模块根据正面角度补全资源得到左面角度补全资源,根据正面角度补全资源得到右面角度补全资源等等。
示例性的,如图7D所示,图7D为智能补全图像处理模块获取到的正面角度补全资源的示意图。智能补全图像处理模块可以根据获取到的正面角度补全资源得到左面角度补全资源。
如图7D所示,智能补全图像处理模块将正面角度补全资源围绕Z轴按照顺时针旋转一定角度(例如90度)调整,得到左面角度补全资源,Z轴垂直于水平面(例如XOY平面)。智能补全图像处理模块将正面角度补全资源围绕Z轴按照顺时针旋转一定角度(例如90度),智能补全图像处理模块将旋转之后的正面角度补全资源投影至Z平面,Z平面垂直于水平面(例如XOY平面),得到左面角度补全资源。
示例性的,如图7E所示,将正面角度补全资源沿Z轴向顺时针方向旋转一定角度之后,向Z平面投影,得到如图7E所示的左面角度补全资源。
智能补全图像处理模块将正面角度补全资源沿Z轴向顺时针方向旋转一定角度,即智能补全图像处理模块将正面角度补全资源中所有的像素点向顺时针方向旋转一定角度,之后,智能补全图像处理模块将正面角度补全资源向顺时针方向旋转一定角度之后的像素点向Z平面投影。投影时,外轮廓的像素点保留,里轮廓的像素点直接被覆盖即可。
在一些实施例中,由于某个角度的补全资源(例如正面角度补全资源)的部分人体部位是缺失的(例如耳朵或头发),当该某个角度的补全资源沿Z轴进行旋转得到另一个角度的补全资源(例如左面角度补全资源)时,由于该某个角度的补全资源缺少部分人体部位(例如耳朵或头发),智能补全图像处理模块得到的另一个角度的补全资源(例如左面角度补全资源)中也缺失部分人体部位(例如耳朵或头发)。这时,智能补全图像处理模块可以根据既有的大数据模型,比如耳朵模型数据,头发模型数据等等,去补全另一个角度的补全资源(例如左面角度补全资源)中缺失的部分人体部位(例如耳朵或头发),达到建模的效果。
示例性的,若正面角度补全资源不包括耳朵,当正面角度补全资源沿Z轴向顺时针方向旋转一定角度(例如90度),得到左面角度补全资源,需要补全左面角度补全资源的左边耳朵。但是正面角度补全资源不包括耳朵,因此智能补全图像处理模块无法根据正面角度补全资源得到左面角度补全资源的左边耳朵。这时,智能补全图像处理模块可以根据既有的大数据模型,比如耳朵模型数据,尽力去补全左面角度补全资源的左边耳朵,达到建模的效果。
或者,智能补全图像处理模块可以根据获取到的正面角度补全资源得到右面角度补全资源。
如图7F所示,智能补全图像处理模块将正面角度补全资源围绕Z轴按照逆时针旋转一定角度(例如90度)调整,得到右面角度补全资源,Z轴垂直于水平面(例如XOY平面)。
智能补全图像处理模块将正面角度补全资源围绕Z轴按照逆时针旋转一定角度(例如90度),智能补全图像处理模块将旋转之后的正面角度补全资源投影至Z平面,Z平面垂直于水平面(例如XOY平面),得到右面角度补全资源,
示例性的,如图7G所示,将正面图像沿Z轴向逆时针方向旋转一定角度之后,得到如图7G所示的右面角度补全资源。
智能补全图像处理模块将正面角度补全资源沿Z轴向逆时针方向旋转一定角度,即智能补全图像处理模块将正面角度补全资源中所有的像素点向逆时针方向旋转一定角度,之后,智能补全图像处理模块将像素点向Z平面投影。投影时,外轮廓的像素点保留,里轮廓的像素点直接被覆盖即可。
在一些实施例中,由于某个角度的补全资源(例如正面角度补全资源)的部分人体部位是缺失的(例如耳朵或头发),当该某个角度的补全资源沿Z轴进行旋转得到另一个角度的补全资源(例如右面角度补全资源)时,由于该某个角度的补全资源缺少部分人体部位(例如耳朵或头发),智能补全图像处理模块得到的另一个角度的补全资源(例如右面角度补全资源)中也缺失部分人体部位(例如耳朵或头发)。这时,智能补全图像处理模块可以根据既有的大数据模型,比如耳朵模型数据,头发模型数据等等,尽力去补全另一个角度的补全资源(例如右面角度补全资源)中缺失的部分人体部位(例如耳朵或头发),达到建模的效果。
示例性的,若正面角度补全资源不包括耳朵,当正面角度补全资源沿Z轴向顺时针方向旋转一定角度(例如90度),得到右面角度补全资源,需要补全右面角度补全资源的右边耳朵。但是正面角度补全资源不包括耳朵,因此智能补全图像处理模块无法根据正面角度补全资源得到右面角度补全资源的右边耳朵。这时,智能补全图像处理模块可以根据既有的大数据模型,比如耳朵模型数据,尽力去补全右面角度补全资源的右边耳朵,达到建模的效果。
同理,智能补全图像处理模块还可以根据其他角度(例如左面角度)的补全资源通过角度旋转得到另外角度(例如正面角度和右面角度)的补全资源,本声请在此不再赘述。
在智能补全图像处理模块获取到包含指定目标的多个角度的补全资源之后,智能补全图像处理模块根据预设的三维模型(例如三维人头模型或三维房子模型)进行建模,得到三维的高清图片。
可以理解的是,预设的三维模型是已有的,不同类别的指定目标具有不同的三维建模模型。例如三维人头模型、三维房子模型和三维动物狗模型等等。
下面结合应用场景,介绍本申请实施例提供的一种图片补全方法。
在一些实施例中,用户使用电子设备100拍照时,由于物体运动或者用户手抖动导致拍摄的图片的清晰度较低。为了防止电子设备100由于物体运动或者用户手抖动导致拍摄的图片的清晰度较低,电子设备100可以在拍摄图片之前开启智能补全功能,电子设备100自动识别出获取到的第一图片中的指定目标并提取指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片并保存至图库中。这样,电子设备100可以根据真实图片资源提高电子设备100拍摄的图像的清晰度。
智能补全功能是电子设备100提供的一种图片修复的能力。电子设备100在开启智能补全功能之后,电子设备100可以提取获取到的图片中识别到的指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的高清图像,并将高清图像回贴至第一图片中的指定目标所在的区域,从而达到根据真实的图片资源来修复第一图片的能力。
示例性的,图8A示例性地示出电子设备100的用户界面30。该用户界面30可以包括一些应用程序的图标。例如,时钟的图标309、日历的图标311、图库的图标313、文件管理的图标317、电子邮件的图标319、音乐的图标321、华为视频的图标325、运动健康的图标327、天气的图标329、相机的图标330、通讯录的图标331、电话的图标332、信息的图标333。在一些实施例中,用户界面30可以包括更多或更少的应用程序的图标。在一些实施例中,用户界面30中可以包括一些与图8A示出的应用程序不同的应用程序的图标,例如即时通讯类应用程序的图标等等。此处不作限定。
示例性的,如图8A所示,相机的图标330可以接收用户点击操作,响应于用户的点击操作,电子设备100显示如图8B所示的用户界面40。用户界面40示例性示出了一些功能图标、控件和摄像头获取到的实时预览画面。例如、大光圈图标401、夜景图标402、人像图标403、拍照图标404、录像图标405、专业图标406、更多图标407、散光灯图标408、滤镜图标409、智能补全图标410和设置图标411、回显控件412、拍摄控件413、切换前后置摄像头控件414,用户界面40还包括摄像头获取到的实时预览画面400。
如图8B所示,电子设备100可以接收到用户针对该用户界面40中智能补全图标410的输入操作(例如单击),响应于该输入,如图8C所示,电子设备100开启智能补全功能。电子设备100开启智能补全功能默认的是采用二维美化图片模式对摄像头采集的第一图片进行补全,得到高清图片。
在一些实施例中,当用户需要通过相机应用中的三维建模图片模式对摄像头采集的第一图片进行处理,得到高清的三维图片,则电子设备100可以接收用户的操作选择三维建模图片模式对摄像头采集的第一图片进行处理,得到高清的三维图片。
图8D-图8F示例性示出了电子设备100接收用户的操作选择三维建模图片模式的示意图。
示例性的,如图8D所示,设置图标411可以接收用户点击操作,响应于用户点击操作,电子设备100显示如图8E所示的设置界面50。设置界面50包括拍摄静音控件415,拍摄静音功能开启;定时拍摄控件416,定时拍摄功能关闭;声控拍照控件417,声控拍照功能关闭;音量键功能控件419,音量键功能为快门;息屏快拍控件420,即电子设备100在锁屏状态下接收用户双击音量下键,则电子设备100启动相机并拍照;设置界面50还包括智能补全控件421。其中,当用户想选择三维建模图片模式时,智能补全控件421可以接收用户点击操作,响应于用户的点击操作,电子设备100显示如图8F所示的设置界面60。
如图8F所示,设置界面60包括智能补全优先级控件422和三维智能补全模式控件423。其中,智能补全优先级控件422可以接收用户的点击操作选择智能补全的区域。三维智能补全模式显示为关闭状态,三维智能补全模式控件423可以接收用户的单击操作,三维智能补全模式显示为开启状态,即电子设备100将通过相机应用中的三维建模图片模式对摄像头采集的第一图片进行处理,得到高清的三维图片。
在电子设备100开启智能补全功能之后,电子设备100开启智能补全功能默认的是采用二维美化图片模式对摄像头采集的第一图片进行补全,得到高清图片。如图8G所示,电子设备100可以接收到用户针对该用户界面40中拍摄控件413的输入操作(例如单击),响应于该输入,电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。
电子设备100根据预设的模型识别出该第一图片中的指定目标以及指定目标在该第一图片中所在的区域,并对指定目标进行特征提取。这里,电子设备100默认将第一图片中识别到的所有指定目标和指定目标所在的区域进行补全。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,并将该补全资源回贴至第一图片中指定目标所在的区域。
在些实施例中,电子设备100获取到的补全资源可以是电子设备100从预选图片中资源多个维度质量打分平均分最高的一个预选图片资源。
具体的,电子设备100如何根据第一图片中指定目标的特征从资源库中的真实图片资源中获取到相匹配的补全资源,并将该补全资源回贴至第一图片中指定目标所在的区域,请参考上述实施例,本申请在此不做详细介绍。
在一种可能的实现方式中,电子设备100在该补全资源回贴至第一图片的指定目标所在的区域中之后,电子设备100可以直接将智能补全之后的图片保存至图库中。回显控件412可以接收用户的输入操作(例如单击),响应于用户的输入操作,电子设备100将显示图8H所示的照片浏览界面70。
如图8H所示,照片浏览界面70中包括智能补全之后的高清图片510、智能补全之后的高清图片510的信息520和功能选项530。其中,智能补全之后的高清图片510的信息520包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项530可以包括分享控件、收藏控件、删除控件和更多控件等等。
在另一种可能的实现方式中,电子设备100在将该补全资源回贴至第一图片的指定目标所在的区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后的图像同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。
具体的,电子设备100可以接收到用户针对用户界面40中拍摄控件412的输入操作(例如单击),响应于该输入,电子设备显示图8I所示的图片浏览界面540。图片浏览界面540包括摄像头采集的原始图像550、对原始图像进行智能补全之后的图像560和保存控件570。其中,摄像头采集的原始图像550和对原始图像进行智能补全之后的图像560均可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件570的输入操作(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像550和对原始图像进行智能补全之后的图像560保存至相册中。或者,对原始图像进行智能补全之后的图像560可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件570的输入操作(例如单击),响应于该输入,电子设备100将对原始图像进行智能补全之后的图像560保存至相册中。或者,摄像头采集的原始图像550可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件570的输入操作(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像550保存至相册中。
在另一些实施例中,电子设备100对预先图片资源按照上述不同维度进行打分,得到预设维度中质量打分最高的一个补全资源。这样,电子设备100可以得到每个维度质量打分最高的一个补全资源,提高了图片补全的多样性。
示例性的,该预设维度可以是颜色、清晰度、质感和防抖等等。
具体的,电子设备100可以接收到用户针对用户界面40中拍摄控件412的输入操作(例如单击),响应于该输入,电子设备显示图8J所示的图片浏览界面580。图片浏览界面580包括对第一图像进行智能补全之后的图像5801、第一图像进行智能补全之后的图像5802、第一图像进行智能补全之后的图像5803、第一图像进行智能补全之后的图像5804和保存控件590。其中,图像5801、图像5802、图像5803和图像5804中的一个或任意几个图像均可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件580的输入操作(例如单击),响应于该输入,电子设备100将用户选择的一个或多个图像保存至相册中。
需要说明的是图像5801、图像5802、图像5803和图像5804是根据不同的补全资源对第一图片进行智能补全之后的得到的。示例性的,图像5801可以是电子设备100根据颜色打分最高的预选图片资源对第一图片进行智能补全之后的得到的;图像5802可以是电子设备100根据清晰度打分最高的预选图片资源对第一图片进行智能补全之后的得到的;图像5803可以是电子设备100根据质感打分最高的预选图片资源对第一图片进行智能补全之后的得到的;图像5804可以是电子设备100根据防抖打分最高的预选图片资源对第一图片进行智能补全之后的得到的。
上述图8G-图8J所示的实施例示例性示出了电子设备100将第一图片中识别到的所有指定目标和指定目标所在的区域进行补全的UI图。在一些实施例中,电子设备100可以接收用户操作设定第一图片中补全区域的优先级。
图8K-图8M示例性示出了电子设备100接收用户操作设定第一图片中补全区域的优先级的示意图。
如图8K所示,电子设备100接收针对智能补全优先级控件422的单击操作,响应于单击智能补全优先级控件422的操作,电子设备100显示如图8L所示的设置界面80。其中,设置界面80包括独立优先级控件424、设置补全顺序控件425和合并优先级控件426。独立优先级模式显示关闭,独立优先级即电子设备100只补全第一图片中识别到的多个指定目标中类别优先级最高的指定目标。合并优先级模式显示开启,合并优先级即电子设备100将第一图片中识别到的所有指定目标所在的区域作为补全区域。电子设备100可以接收用户单击设置补全顺序控件425的操作,响应于用户的单击操作,电子设备100将显示如图8M所示的设置界面90。
其中,设置界面90示例性示出了指定目标的优先级,电子设备100将按照优先级从高到低对第一图片中指定目标进行补全。如图8M所示,优先级排在第一的是人物,人物对应有拖动控件427;优先级排在第二的是动物,动物对应有拖动控件428;优先级排在第三的是树,树对应有拖动控件429;优先级排在第四的是房子,档子对应有拖动控件430;优先级排在第五的是月亮,月亮对应有拖动控件431;优先级排在第六的是包,包对应有拖动控件432。
示例性的,当电子设备100从第一图片中自动识别出的多个指定目标为人物、动物、花朵、房子、包、树时,按照电子设备100中设置的指定目标的优先级顺序,由于人物的优先级最高,因此电子设备100只需将第一图片中的识别到的人物进行补全。当电子设备100从第一图片中自动识别出的多个指定目标为动物、花朵、房子、包、树时,按照电子设备100中设置的指定目标的优先级顺序,由于电子设备100在第一图片中没有识别到人物,但是识别到了动物,因此电子设备100只需将第一图片中的识别到的动物进行补全。
电子设备100还可以接受用户的操作设置各个指定目标的优先级。
示例性的,当用户需要将月亮的优先级放在第一时,拖动控件431可以接收用户的拖动操作,使月亮与人物的位置调换,这样月亮的优先级排在第一位,人物的优先级排在了第五位。这样,用户可以根据自己的需求设置各个指定目标的优先级,提高了用户体验。
在一些实施例中,用户使用使用电子设备100拍照时,由于物体运动或者用户手抖动导致拍摄的图片的清晰度较低。为了防止电子设备100由于物体运动或者用户手抖动导致拍摄的图片的清晰度较低,电子设备100可以在拍摄拍摄图片之前开启智能补全功能,电子设备100根据用户的滑动轨迹确定出第一图片中的补全区域,并提取出补全区域中特征。电子设备100基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片并保存至图库中。这样,电子设备100可以根据真实图片资源提高电子设备100拍摄的图像的清晰度。
如图8N所示,图8N示例性示出了相机的用户界面40,对相机的用户界面40的介绍请参考图8B所示的实施例,本申请在此不再赘述。
图8N示例性示出了摄像头采集的实时预览画面400,电子设备100可以接收用户在实时预览画面400上的滑动操作来确定出补全区域。
响应于在实时预览画面400上的滑动操作,电子设备100显示如图8O所示的目标框430。电子设备100确定目标框430所在的区域为补全区域。
如图8O所示,电子设备100可以接收到用户针对该用户界面40中拍摄控件413的输入操作(例如单击),响应于该输入,电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。
电子设备100将对目标框430内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,并将该补全资源回贴至第一图片中指定目标所在的区域。
具体的,电子设备100如何根据第一图片中指定目标的特征从资源库中的真实图片资源中获取到相匹配的补全资源,并将该补全资源回贴至第一图片中指定目标所在的区域,请参考上述实施例,本申请在此不做详细介绍。
在一种可能的实现方式中,电子设备100在该补全资源回贴至第一图片的目标框430所在的区域中之后,电子设备100可以直接将智能补全之后的图片保存至图库中。回显控件412可以接收用户的输入操作(例如单击),响应于用户的输入操作,电子设备100将显示图8P所示的照片浏览界面1000。
如图8P所示,照片浏览界面1000中包括智能补全之后的高清图片1020、智能补全之后的高清图片510的信息1030和功能选项1020。其中,智能补全之后的高清图片1020的信息1030包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项1010可以包括分享控件、收藏控件、删除控件和更多控件等等。
在另一种可能的实现方式中,电子设备100在将该补全资源回贴至第一图片的目标框430所在的区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后的图像同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。
如图8Q所示,电子设备100可以接收到用户针对用户界面40中拍摄控件412的输入操作(例如单击),响应于该输入,电子设备显示图8P所示的图片浏览界面1100。图片浏览界面1100包括摄像头采集的原始图像1110、对原始图像进行智能补全之后的图像1120和保存控件1130。其中,摄像头采集的原始图像1110和对原始图像进行智能补全之后的图像1120均可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1130的输入操作(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像1110和对原始图像进行智能补全之后的图像1120保存至相册中。或者,对原始图像进行智能补全之后的图像1120可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1130的输入操作(例如单击),响应于该输入,电子设备100将对原始图像进行智能补全之后的图像1120保存至相册中。或者,摄像头采集的原始图像1110可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1130的输入操作(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像1110保存至相册中。
在另一些实施例中,电子设备可以接收用户对三维智能补全模式控件423的单击操作,电子设备100将二维智能补全模式切换为三维智能补全模式。之后,电子设备100可以根据用户的滑动轨迹确认出补全区域。之后,用户界面40的拍摄控件413可以接收用户的输入操作(例如单击),电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。电子设备100将对补全区域内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,该补全资源包括与第一图片的特征相匹配的多个角度的图片。例如补全资源可以包括正面角度图片、左面角度图片和右面角度图片和/或后面角度图片等等。得到补全资源之后,电子设备100按照预设的三维模型和补全资源得到第一图片的三维立体图片。之后,电子设备100将三维立体图片回贴至第一图片中的补全区域。
在一些实施例中,用户使用使用电子设备100拍照时,电子设备100可以在拍摄拍摄图片之前开启智能补全功能,电子设备100根据用户的滑动轨迹确定出第一图片中的补全区域,并根据用户的选择的补全资源对第一图片中的补全区域进行补全。电子设备100将用户选择的补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片并保存至图库中。这样,电子设备100可以根据与补全区域中的指定目标的特征不相同的补全资源对第一图片进行补全,实现了图片补全的多样性。
请参考图8N-图8O所示的实施例,电子设备100接收用户的滑动操作确定出第一图片中目标框430所在的区域为补全区域。
在电子设备100根据用户的滑动轨迹确定出补全区域之后,电子设备100显示如图9A所示的提示框900。
提示框900内包括多个补全资源。多个补全资源可以包括补全资源901、补全资源902、补全资源903和默认补全资源904等等。
其中,补全资源901、补全资源902、补全资源9033的特征与补全区域内指定目标的特征不一致。用户可以选择补全资源901、补全资源902、补全资源903对第一图片中的补全区域进行补全。当用户想通过同样特征的补全资源对第一图片中的补全区域进行补全时,用户可以选择默认补全资源904,响应于用户选择的默认补全资源904。电子设备100将从资源库中匹配到与第一图片中的补全区域的指定目标特征一致的补全资源,并根据该补全资源对第一图片中的补全区域进行补全。
如图9A所示,电子设备100接收并响应用户选择补全资源3的操作,电子设备100将根据补全资源3对第一图片中目标框430所在的区域进行补全。
如图9B所示,电子设备100可以接收到用户针对该用户界面40中拍摄控件413的输入操作(例如单击),响应于该输入,电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。
电子设备100将补全资源3回贴至第一图片中目标框430所在的区域,得到高清图片。
在一种可能的实现方式中,电子设备100在将补全资源3回贴至第一图片的目标框430所在的区域中之后,电子设备100可以直接将智能补全之后的图片保存至图库中。回显控件412可以接收用户的输入操作(例如单击),响应于用户的输入操作,电子设备100将显示图9C所示的照片浏览界面1200。
如图9C所示,照片浏览界面1000中包括智能补全之后的高清图片1220、智能补全之后的高清图片510的信息1230和功能选项1210。其中,智能补全之后的高清图片1220的信息1230包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项1010可以包括分享控件、收藏控件、删除控件和更多控件等等。
在另一种可能的实现方式中,电子设备100在将该补全资源回贴至第一图片的目标框430所在的区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后的图像同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。
电子设备100可以接收到用户针对用户界面40中拍摄控件412的输入操作(例如单击),响应于该输入,电子设备显示图9D的图片浏览界面1300。图片浏览界面1300包括摄像头采集的原始图像1310(第一图片)、对原始图像进行智能补全之后的图像1320(第二图片)和保存控件1330(保存控件)。其中,摄像头采集的原始图像1310和对原始图像进行智能补全之后的图像1320均可以接收用户的单击选中(第七操作)操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1330的输入操作(第八操作)(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像1310和对原始图像进行智能补全之后的图像1320保存至相册中。或者,对原始图像进行智能补全之后的图像1320可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1330的输入操作(例如单击),响应于该输入,电子设备100将对原始图像进行智能补全之后的图像1320保存至相册中。或者,摄像头采集的原始图像1310可以接收用户的单击选中操作。之后,电子设备100可以接收到用户针对该用户界面40中保存控件1330的输入操作(例如单击),响应于该输入,电子设备100将摄像头采集的原始图像1310保存至相册中。
在一些实施例中,电子设备100中的图库中可以保存有多张图片。图库中的一些图片由于拍摄时拍摄者手抖动或者由于相机的分辨率低,导致该一些图片的清晰度低。电子设备100可以接收用户的操作开启智能补全功能。电子设备100将识别出该第一图片中的指定目标的区域和指定目标的特征,并根据指定目标的特征在资源库中找到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片,并保存至图库中。或者,第一图片的拍摄效果不好,例如人物眯眼、红眼、腿短等等,第一图片可以根据用户在第一图片上的滑动轨迹确认出第一图片中需要补全的区域,例如第一图片中人物眼睛所在的区域。之后,电子设备100提取出补全区域中指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,对第一图片进行美化。这样,电子设备100可以根据用户的需要对第一图片中的部分区域的指定目标进行美化。一方面,可以解决由于图片本来就模糊,在使用图像处理算法对第一图片进行处理时,会导致第一图片失真的问题;另一方面,电子设备100可以根据用户的滑动操作确定出用户需要补全的区域,对第一图片进行美化,提高了用户体验。
在一些实施例中,电子设备100可以接收用户的操作开启智能补全功能。电子设备100将识别出该第一图片中的指定目标的区域和指定目标的特征,并根据指定目标的特征在资源库中找到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片,并保存至图库中。
示例性的,如图10A所示,电子设备100可以接收用户作用于用户界面30中图库应用图标313的输入操作(例如单击),响应于该输入操作,电子设备100可以显示如图10B所示的图库用户界面610。
如图10B所示,该图库用户界面610可以显示包括有一张或多张图片的缩略图。具体的,图库用户界面610可包括所有照片的略缩图和图标“所有照片”,所有照片的图片数量为2465;图库用户界面610还包括人物的略缩图和图标“人物”,人物的图片数量为654;图库用户界面610还包括景物的略缩图和图标“景物”,景物的图片数量为368;图库用户界面610还包括动物的略缩图和图标“动物”,动物的图片数量为158。
电子设备100可以接收用户作用于动物略缩图的输入操作(例如单击),响应于该输入操作,电子设备100可以显示如图10C所示的图片浏览界面620。
图片浏览界面620中包括第一图片6201、第一图片6201的信息6202和功能选项6203。其中,第一图片6201的信息6202包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项6203可以包括分享控件6204、收藏控件6205、图片补全控件6206、删除控件6207和更多控件6208等等。
电子设备100可以接收用户对图片补全控件6206的输入操作(例如单击),响应于用户的输入操作,电子设备100可以识别出指定目标和指定目标所在的区域,并提取出第一图片6201中指定目标的特征,基于第一图片6201中指定目标的特征,从资源库中提取出与第一图片6201中指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片6201中指定目标所在的区域,得到如图10D所示的图片浏览界面630。
图片浏览界面630中包括高清图片6209(第二图片)、高清图片6209的信息6202和功能选项6203。其中,高清图片6209的信息6202包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项6203可以包括分享控件6204、收藏控件6205、图片补全控件6206、删除控件6207和更多控件6208等等。
在一种可能的实现方式中,电子设备100将第一图片6201替换成高清图片6209,并将高清图片6209保存至图库中。
在另一种可能的实现方式中,电子设备100根据第一图片6201得到高清图片6209,电子设备100将第一图片6201和高清图片6209同时保存至图库中。
在另一些实施例中,由于第一图片的拍摄效果不好,例如人物眯眼、红眼、腿短等等,电子设备100可以根据用户在第一图片上的滑动轨迹确认出第一图片中需要补全的区域,例如第一图片中人物眼睛所在的区域。之后,电子设备100提取出补全区域中指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,对第一图片进行美化。
电子设备100得到第一图片,并开启智能补全功能,之后电子设备100默认按照二维美化算法对电子设备100摄像头采集的第一图片进行美化。
如图10E所示,二维图片美化可以分为人物美化和风景美化等等。二维图片美化还可以包括动物美化、建筑物美化等等。本申请对于二维图片美化的类别不做限定。
本申请以二任务美化和风景美化进行示例性说明,不应构成限定。
当需要对第一图片中的人物或者人物的部位进行补全时,电子设备100可以根据用户的滑动轨迹确定出第一图片中的补全区域,第一图片中的补全区域可以是人物头所在的区域,人物眼睛或嘴巴或鼻子所在的区域、人物脖子所在的区域、人物腿所在的区域、人物胳膊所在的区域等等。
当需要对第一图片中的风景进行补全时,电子设备100可以根据用户的滑动轨迹确定出第一图片中的补全区域,第一图片中的补全区域可以是建筑物(例如铁塔)所在的区域,文字所在的区域、背景所在的区域等等。这样,电子设备100可以根据资源库中质量较好的补全资源来对第一图片中的补全区域进行美化,提高了第一图片的视觉效果。
例如,当用户觉得第一图片中的眼睛太小了。或者眯眼了、或者第一图片中的腿短了等等。电子设备100可以根据用户的滑动轨迹确定出第一图片中的补全区域。并从资源库中找到质量较好的补全资源对第一图片进行美化。一方面,可以解决由于图片本来就模糊,在使用图像处理算法对第一图片进行处理时,会导致第一图片失真的问题;另一方面,电子设备100可以根据用户的滑动操作确定出用户需要补全的区域,提高了用户体验。示例性的,当该补全区域为人物眼睛所在的区域时,电子设备100将基于该人物眼睛的特征从资源库中获取到与该人物眼睛的特征相匹配的补全资源,并且电子设备100将根据预设的算法选择出资源库中质量较好的人物眼睛作为补全资源。例如电子设备100选择的资源库中质量较好的人物眼睛比出第一图片中人物眼睛清晰且大。当第一图片中人物眼睛未红眼或者眯眼时,第一图片中人物眼睛根据预设的算法选择出资源库中质量较好的人物眼睛作为补全资源替换第一图片中人物眼睛,可以达到美化该第一图片中人物的效果。
如图10F所示,图10F示例性示出了图片浏览界面1020。图片浏览界面1020中包括第一图片1000、第一图片1000的信息1010和功能选项6203。其中,第一图片1000的信息1010包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:18”。功能选项6203可以包括分享控件6204、收藏控件6205、图片补全控件6206、删除控件6207和更多控件6208等等。
当用户觉得第一图片1000中的任务眼睛太小,或者眯眼。红眼时,电子设备100可以接收用户在第一图片1000上的滑动操作,并根据滑动轨迹确认出补全区域,例如人物眼睛所在的区域。
示例性的,如图10G所示,电子设备100可以接收用户在第一图片1000上的滑动操作,确定出第一图片1000中人物眼睛所在的区域为补全区域。如图10H所示,响应于滑动操作,电子设备100将在第一图片1000上显示目标框1030。目标框1030所在的区域包括人物眼睛所在的区域。
需要说明的是,在一些实施例中,电子设备100在第一图片1000上也可以不显示目标框1030,本身请在此不做限定。
之后,如图10H所示,电子设备100可以接收用户对图片补全控件6206的输入操作(例如单击),响应于用户的输入操作,电子设备100提取出目标框1030中指定目标(例如人物眼睛)的特征,基于第一图片1000中指定目标(例如人物眼睛)的特征,从资源库中提取出与第一图片100中指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片1000中指定目标所在的区域,得到如图10I所示的图片浏览界面1040。
图片浏览界面1040中包括图片1050、图片1050的信息1010和功能选项6203。其中,图片1050的信息1010包括拍摄地点、拍摄日期、拍摄时间等。例如,拍摄地点可以是“深圳湾”、拍摄日期是“昨天”、拍摄时间为“17:28”。功能选项6203可以包括分享控件6204、收藏控件6205、图片补全控件6206、删除控件6207和更多控件6208等等。
在一种可能的实现方式中,电子设备100将图片1050替换第一图片1000,并将第一图片1050保存至图库中。
在另一种可能的实现方式中,电子设备100根据第一图片1000得到图片1050,电子设备100将第一图片1000和图片1050同时保存至图库中。
图10A-图10I示例性示出了,当电子设备100需要对图库中的图片进行补全时,图片浏览界面620中的图片补全控件6206可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对电子设备100第一图片中的补全区域内的指定目标进行补全。
当用户想使用三维补全对第一图片进行补全时,如图10J所示,电子设备100可以接收用户对用户界面620中的更多控件6208的输入操作(例如单击),电子设备100显示如图10K所示的界面6209。界面6209包括三维智能补全模式图标6210,三维智能补全模式关闭。
如图10J所示,三维智能补全模式图标6210可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将二维智能补全模式切换为三维智能补全模式。之后,图片浏览界面620中的图片补全控件6206可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对电子设备100第一图片中的补全区域内的指定目标进行补全。电子设备100将对第一图片中的补全区域内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,该补全资源包括与第一图片的特征相匹配的多个角度的图片。例如补全资源可以包括正面角度图片、左面角度图片和右面角度图片和/或后面角度图片等等。得到补全资源之后,电子设备100按照预设的三维模型和补全资源得到第一图片的三维立体图片。之后,电子设备100将三维立体图片回贴至第一图片中的补全区域。
在一些实施例中,当用户在使用电子设备100进行拍照时,由于摄像头的分辨率较低,导致摄像头获取到的实时预览画面的清晰度较低,为了提高拍摄后的照片的清晰度,电子设备100可以接收用户操作使用智能补全模式进行拍照,电子设备100可以识别出摄像头拍摄的第一图片中指定目标所在的区域,并提取出指定目标的特征。电子设备100基于指定目标的特征从资源库中找到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片,并保存至图库中。
示例性的,如图11A所示,电子设备100可以接收用户作用于相机应用图标330的输入操作(例如单击),响应于该输入操作,电子设备100可以显示如图11A所示的用户界面640。
用户界面640示出了一些功能图标、控件和摄像头获取到的实时预览画面。例如、大光圈图标401、夜景图标402、人像图标403、拍照图标404、录像图标405、专业图标406、智能补全图标407、更多图标408、散光灯图标409、滤镜图标410和设置图标411、回显控件412、拍摄控件413、切换前后置摄像头控件414,用户界面40还包括摄像头获取到的实时预览画面650。
电子设备100可以接收用户作用于智能补全图标407的输入操作(例如单击),响应于该输入操作,如图11B所示,电子设备100可以将当前选中的普通拍摄模式由拍照模式调整为智能补全拍照模式。
在电子设备100接收用户操作将普通拍摄模式由拍照模式调整为智能补全拍照模式之后,电子设备100可以接收到用户针对该用户界面640中拍摄控件413的输入操作(例如单击),响应于该输入,电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。
电子设备100根据预设的模型识别出该第一图片中的指定目标以及指定目标在该第一图片中所在的区域,并对指定目标进行特征提取。电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,并将该补全资源回贴至第一图片中指定目标所在的区域。
具体的,电子设备100如何根据第一图片中指定目标的特征从资源库中的真实图片资源中获取到相匹配的补全资源,请参考上述实施例,本申请在此不做详细介绍。
在一种可能的实现方式中,电子设备100在该补全资源回贴至第一图片的指定目标所在的区域中之后,电子设备100可以直接将智能补全之后的图片保存至图库中。回显控件412可以接收用户的输入操作(例如单击),响应于用户的输入操作,电子设备100将显示图8H所示的照片浏览界面70。具体的,请参考图8H所示的实施例,本申请在此不再赘述。
在另一种可能的实现方式中,电子设备100在将该补全资源回贴至第一图片的指定目标所在的区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后的图像同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。具体的,请参考图8I所示的实施例,本申请在此不再赘述。
在一些实施例中,电子设备100可以接收用户作用于相机应用图标330的输入操作(例如单击),响应于该输入操作,如图11C所示,电子设备100显示的用户界面640还可以包括三维补全控件9000。用户界面640中的其他控件的描述请参数图11A中的描述,本申请在此不再赘述。
电子设备100可以接收用户作用于智能补全图标407的输入操作(例如单击),响应于该输入操作,如图11B所示,电子设备100可以将当前选中的普通拍摄模式由拍照模式调整为智能补全拍照模式。
在电子设备100接收用户操作将普通拍摄模式由拍照模式调整为智能补全拍照模式之后,当用户界面640中拍摄控件413的接收用户的输入操作(例如单击)之后,电子设备100默认使用二维补全算法对摄像头采集的图像进行补全。当用户想使用三维补全算法对摄像头采集的图像进行补全时,如图11C所示,用户界面640中的三维补全控件9000可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),当用户界面640中拍摄控件413的接收用户的输入操作(例如单击)之后,电子设备100使用三补全算法对摄像头采集的图像进行补全。
在另一些实施例中,电子设备可以接收用户对用户界面640中的三维补全控件9000的单击操作,电子设备100将二维智能补全模式切换为三维智能补全模式。之后,电子设备100可以根据用户的滑动轨迹确认出补全区域。之后,用户界面640中拍摄控件413可以接收用户的输入操作(例如单击),电子设备100获取到摄像头采集的原始图像,该原始图像是第一图片。电子设备100将对补全区域内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,该补全资源包括与第一图片的特征相匹配的多个角度的图片。例如补全资源可以包括正面角度图片、左面角度图片和右面角度图片和/或后面角度图片等等。得到补全资源之后,电子设备100按照预设的三维模型和补全资源得到第一图片的三维立体图片。之后,电子设备100将三维立体图片回贴至第一图片中的补全区域。
在另一些实施例中,电子设备100中的文件管理中可以保存有多张图片。文件管理中的一些图片清晰度低。电子设备100可以接收用户的操作开启智能补全功能。电子设备100将识别出第一图片中的指定目标的区域和指定目标的特征,并根据指定目标的特征在资源库中找到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片,并保存至文件管理中。
如图12A所示,图12A示例性示出了电子设备100的用户界面30,该用户界面30可以包括一些应用程序的图标,对用户界面30的描述请参考图8A所示的实施例,本申请在此不再赘述。
示例性的,如图12A所示,文件管理的图标317可以接收用户点击操作,响应于用户的点击操作,电子设备100显示如图12B所示的用户界面120。用户界面120可以包括一些功能图标,例如图片的图标1201、视频的图标1202、文档的图标1203、音频的图标1204、我的手机图标1205、我的云盘图标1206、网络邻居的图标1206、最近删除的图标1207。
如图12B所示,图片的图标1201可以接收用户点击操作,响应于用户的点击操作,电子设备100显示如图12C所示的用户界面130。
用户界面130包括图片1301和功能选项1302。功能选项1302可以包括分享控件1303、收藏控件1304、图片补全控件1305、删除控件1306和更多控件1307等等。图片1301是第一图片。
当用户认为图片1301的清晰度比较低,需要对图片1301进行美化时,电子设备100可以接收用户对图片补全控件1305的点击操作,响应于用户的点击操作,电子设备100将识别出图片1301中的指定目标的类别和指定目标特征,基于图片1301中指定目标的特征,从资源库中提取出与图片1301中指定目标的特征相匹配的补全资源,并将补全资源回贴至图片1301中指定目标所在的区域,得到如图12D所示的用户界面140。
用户界面140包括图片1401和功能选项1302。图片1401是电子设备100根据补全资源对图片1301中的指定目标进行补全之后的高清图片。
在另一些实施例中,由于第一图片的拍摄效果不好,例如人物眯眼、红眼、腿短等等,电子设备100可以根据用户在第一图片上的滑动轨迹确认出第一图片中需要补全的区域,例如第一图片中人物眼睛所在的区域。之后,电子设备100提取出补全区域中指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,对第一图片进行美化。具体的,请参考图10E-图10I所示的实施例,本申请在此不再赘述。
图12A-图12D示例性示出了,当电子设备100需要对文件管理中的图片进行补全时,用户界面130中的图片补全控件1305可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对文件管理中的图片中的补全区域内的指定目标进行补全。
当用户想使用三维补全对第一图片进行补全时,如图12E所示,电子设备100可以接收用户对用户界面130中的更多控件1307的输入操作(例如单击),电子设备100显示如图12F所示的界面150。界面150包括三维智能补全模式图标1501,三维智能补全模式关闭。
如图12F所示,三维智能补全模式图标1501可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将二维智能补全模式切换为三维智能补全模式。之后,用户界面130中的图片补全控件1305可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对文件管理中的图片中的补全区域内的指定目标进行补全。电子设备100将对第一图片中的补全区域内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,该补全资源包括与第一图片的特征相匹配的多个角度的图片。例如补全资源可以包括正面角度图片、左面角度图片和右面角度图片和/或后面角度图片等等。得到补全资源之后,电子设备100按照预设的三维模型和补全资源得到第一图片的三维立体图片。之后,电子设备100将三维立体图片回贴至第一图片中的补全区域,得到三维补全后的图片。
在另一些实施例中,第一图片可以是互联网中的图片。电子设备100根据搜索应用从互联网中搜索了一张图片(例如第一图片),但是该图片的清晰度比较低,电子设备100可以接收用户的操作开启智能补全功能。电子设备100将识别出第一图片中的指定目标的区域和指定目标的特征,并根据指定目标的特征在资源库中找到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,得到高清图片,之后,用户可以选择将该高清图片保存至图库中。
如图13A所示,图13A示例性示出了电子设备100的用户界面30,该用户界面30可以包括一些应用程序的图标,用户界面30包括搜索应用的图标334,对用户界面30中其他应用程序的图标的描述请参考图8A所示的实施例,本申请在此不再赘述。
示例性的,如图13A所示,搜索应用的图标334可以接收用户点击操作,响应于用户的点击操作,电子设备100显示如图13B所示的用户界面1600。用户界面1600是搜索应用的搜索用户界面。用户界面1600可包括搜索框1601和搜索控件1602。电子设备100可接收用户在搜索框1601中的输入操作(例如“图片”),之后,电子设备100可接收用户对搜索控件1602的点击操作,响应于用户的点击操作。电子设备100将在搜索应用的服务器中去搜索“图片”。
如图13C所示,电子设备100接收用户在搜索框1601中的输入操作(例如“图片”),之后,电子设备100可接收用户对搜索控件1602的点击操作,响应于用户的点击操作,电子设备100显示如图13C所示的图片浏览界面1610。
图片浏览界面1610包括图片1603和功能控件。功能控件可以包括分享控件1604、下载控件1605、收藏控件1606、图片补全控件1607、和更多控件1608等等。图片1603是第一图片。
当用户认为图片1603的清晰度比较低,需要对图片1603进行美化时,电子设备100可以接收用户对图片补全控件1607的点击操作,响应于用户的点击操作,电子设备100将识别出图片1603中的指定目标的类别和指定目标特征,基于图片1603中指定目标的特征,从资源库中提取出与图片1603中指定目标的特征相匹配的补全资源,并将补全资源回贴至图片1603中指定目标所在的区域,得到如图13D所示的用户界面1620。
用户界面1620包括图片1609和功能控件。图片1609是电子设备100根据补全资源对图片1603中的指定目标进行补全之后的高清图片。
之后,电子设备100可以接收用户对用户界面1620中下载控件1605的点击操作,响应于用户的点击操作,电子设备100将图片1609保存至电子设备100中的指定位置(例如图库中)。
在另一些实施例中,由于第一图片的拍摄效果不好,例如人物眯眼、红眼、腿短等等,电子设备100可以根据用户在第一图片上的滑动轨迹确认出第一图片中需要补全的区域,例如第一图片中人物眼睛所在的区域。之后,电子设备100提取出补全区域中指定目标的特征,并基于指定目标的特征从资源库中获取到与指定目标的特征相匹配的补全资源,并将补全资源回贴至第一图片中的指定目标所在的区域,对第一图片进行美化。具体的,请参考图10E-图10I所示的实施例,本申请在此不再赘述。
图13A-图13D示例性示出了,当电子设备100需要对互联网中的图片进行补全时,用户界面1610中的图片补全控件1607可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对文件管理中的图片中的补全区域内的指定目标进行补全。
当用户想使用三维补全对第一图片进行补全时,如图13E所示,电子设备100可以接收用户对用户界面1610中的更多控件1608的输入操作(例如单击),电子设备100显示如图13F所示的界面1630。界面1630包括三维智能补全模式图标1611,三维智能补全模式关闭。
如图13F所示,三维智能补全模式图标1611可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将二维智能补全模式切换为三维智能补全模式。之后,用户界面1610中的图片补全控件1607可以接收用户的输入操作(例如单击),响应于用户的输入操作(例如单击),电子设备100将按照二维智能补全模式对文件管理中的图片中的补全区域内的指定目标进行补全。电子设备100将对第一图片中的补全区域内的指定目标进行特征提取。之后,电子设备100基于指定目标的特征从资源库中的真实图片资源中获取到与指定目标的特征相匹配的补全资源,该补全资源包括与第一图片的特征相匹配的多个角度的图片。例如补全资源可以包括正面角度图片、左面角度图片和右面角度图片和/或后面角度图片等等。得到补全资源之后,电子设备100按照预设的三维模型和补全资源得到第一图片的三维立体图片。之后,电子设备100将三维立体图片回贴至第一图片中的补全区域,得到三维补全后的图片,之后,电子设备100可以接收用户对用户界面1620中下载控件1605的点击操作,响应于用户的点击操作,电子设备100将三维补全后的图片保存至电子设备100中的指定位置(例如图库中)。
下面介绍本申请实施例提供的一种图片补全方法。
图14示例性示出了本申请实施例提供的一种图片补全方法的流程示意图。
如图14所示,该方法可以包括以下步骤:
S1401、电子设备100(第一电子设备)获取第一图片。
第一图片可以是电子设备100摄像头实时采集的图片,也可以是电子设备100图库中的图片,第一图片还可以是文件管理中的图片,第一图片还可以是其他电子设备发送至电子设备100的图片,第一图片还可以是互联网中的图片等等,本申请对于第一图片的来源不做限定。
若第一图片是电子设备100摄像头实时采集的图片,则在电子设备100获取摄像头采集的第一图片之前,电子设备100接收用户的操作一,操作一(第四操作)可以是图8G所示的针对用户界面40中拍摄控件413的输入操作(例如单击)。该第一图片可以是图8I所示的摄像头采集的原始图像550。
若第一图片是电子设备100图库中的图片或其他电子设备发送至电子设备100的图片,则在电子设备100获取第一图片之前,电子设备100接收用户的操作一,该操作一(第五操作)可以是如图10B所示针对第二用户界面中动物略缩图图标(第一图片的略缩图)的输入操作(例如单击),响应于用户的操作一,电子设备100显示第一图片,该第一图片还可以是图10C所示的第一图片6201,该第一图片还可以是图10F所示的图片1000。
若第一图片是文件管理中的图片,则在电子设备100获取第一图片之前,电子设备100接收用户的操作一,操作一可以是图12B所示的针对用户界面120中图标1201的输入操作(例如单击)。该第一图片可以是图12C所示的第一图片1301。
若第一图片是互联网中的图片,则在电子设备100获取摄像头采集的第一图片之前,电子设备100接收用户的操作一,该操作一可以是如图13B所示针对搜索图标1602(例如单击)的操作一,响应于用户的操作一,电子设备100显示第一图片,该第一图片可以是图13C所示的第一图片1603。
S1402、电子设备100确定出第一图片的补全区域(第一区域)。
若第一图片是电子设备100摄像头实时采集的图片,在电子设备100获取第一图片之后,电子设备100还需接收用户的操作二,操作二(第三操作)可以是图8B所示的针对用户界面40中智能补全图标410的输入操作(例如单击),操作二还可以是图11A所示的针对智能补全控件407的输入操作(例如单击)。
若第一图片是电子设备100图库中的图片或其他电子设备发送至电子设备100的图片,操作二还可以是图10C所示的针对图片补全控件6206的输入操作(例如单击),操作二(第六操作)还可以是图10H所示的针对图片补全控件6206的输入操作(例如单击)。
若第一图片是电子设备100文件管理中的图片,操作二还可以是图12C所示的针对图片补全控件1305的输入操作(例如单击)。
若第一图片是互联网中的图片,操作二还可以是图13C所示的针对图片补全控件1607的输入操作(例如单击)。
响应于用户的操作二,电子设备100将确定出第一图片中的补全区域,并根据补全资源(第一补全资源)对第一图片中的补全区域进行补全,具体的,请参考下述实施例,申请再次不再赘述。
电子设备100预置有针对不同指定目标的识别模型或算法。电子设备100可以通过这些指定目标的识别模型或算法识,识别出第一图片中的指定目标及指定目标所在的区域。其中,指定目标的类别包括但不仅限于人物、动物、树、房子、花朵、月亮、包、汽车、碗等等。
当电子设备100接收用户操作打开智能补全功能之后,电子设备100默认将电子设备100在第一图片中识别到的所有指定目标所在的区域为补全区域。
在一种可选的实现方式中,电子设备100可以接收用户的操作设置只补全电子设备100识别到所有指定目标中的指定目标类别优先级别最高的指定目标。具体的,请参考图8K-图8M所示的实施例,本申请在此不再赘述。
示例性的,电子设备100中设置的指定目标的类别优先级从高到低排序为人物、动物、树、房子、月亮、包等等。电子设备100在第一图片中识别到的指定目标的类别包括人物、树、月亮等等。由于人物的优先级最高,当第一图片中有多个人物时,电子设备100只将第一图片中所有人物所在的区域进行补全。或者,当第一图片中有多个人物时,电子设备100计算每个人物在第一图片中占有的区域面积,电子设备100只将占有的区域面积最大的人物进行补全。
在另一种可选的实现方式中,电子设备100可以接收用户在第一图片上的第一区域的选中操作(第一操作),根据选中操作确认出补全区域。选中操作可以是点击或滑动操作具体的,请参考图8N-图8Q所示的实施例,或者图10F-图10I,本申请在此不再赘述。
需要说明的是,电子设备100可以接收用户在第一图片上的滑动操作,根据滑动轨迹确认出补全区域的优先级最高。
具体的,当电子设备100默认将电子设备100在第一图片中识别到的所有指定目标所在的区域为补全区域时。示例性的,电子设备100识别出了第一图片中的人脸、树和月亮,电子设备100将对人脸所在的区域和树所在的区域以及月亮所在的区域都根据资源库中的补全资源进行补全。但是用户只想补全该第一图片中的月亮所在的区域进行补全。因此,电子设备100可以接收用户在第一图片上的滑动操作,根据滑动轨迹确认出月亮所在的区域。由于根据滑动轨迹确认出补全区域的优先级最高。因此,电子设备100只会将第一图片中根据用户滑动轨迹确认出月亮所在的区域作为补全区域,并对滑动轨迹确认出的补全区域内的指定目标(月亮)根据资源库中的补全资源进行补全。
或者当电子设备100接收用户的操作设置只补全电子设备100识别到所有指定目标中的类别优先级别最高的指定目标。示例性的,电子设备100识别出了第一图片中的人脸、树和月亮,由于人脸的类别优先级最高,因此,电子设备100只补全第一图片中人脸所在的区域。但是用户想补全该第一图片中的月亮所在的区域进行补全。因此,电子设备100可以接收用户在第一图片上的滑动操作,根据滑动轨迹确认出月亮所在的区域。由于根据滑动轨迹确认出补全区域的优先级最高。因此,电子设备100只会将第一图片中根据用户滑动轨迹确认出月亮所在的区域作为补全区域,并对滑动轨迹确认出的补全区域内的指定目标(月亮)根据资源库中的补全资源进行补全。
电子设备100对补全区域内的指定目标进行特征提取,得到该指定目标的特征,该指定目标的特征值可以用特征向量表示。特征向量可以表示目标的颜色特征、纹理特征、轮廓特征等其他特征。
S1403、电子设备100根据指定目标的特征从资源库中获取到第一补全资源。
在一种可选的实现方式中,在电子设备获取第一图片之前,电子设备会根据预选图片资源建立资源库,并周期性(例如一个星期)更新资源库,资源库包含多种类别指定目标的高清图片。电子设备在电子设备获取第一图片之后,电子设备从资源库中匹配出补全资源。
首先介绍电子设备如何根据预选图片资源建立资源库的。
步骤一:电子设备获取到预选图片资源,预选图片资源包含多种类别的图片。
预选图片资源可以是电子设备100的本地保存的多张图片,也可以是云服务器中保存的多张图片,还可以是互联网中的多张图片,还可以是与电子设备100建立通信连接的其他电子设备可获取到的多张图片,本申请对于预选图片资源不做限定。
具体的,当预选图片资源为本地保存的多张图片时,为了保证补全资源的时效性,电子设备100会对本地保存的多张图片进行筛选,将本地保存的多张图片创建日期距离指定日期的差值大于预设值的图片删除掉。
当预选图片资源为云服务器中保存的图片时,电子设备100与云服务器建立通信连接,云服务器将预选图片资源发送至电子设备100。
当预选图片资源为与电子设备100通过蓝牙等方式建立通信连接的其他电子设备(例如电子设备200)中保存的图片。电子设备100与电子设备200建立通信连接,电子设备200将电子设备200中保存的图片至电子设备100,或者电子设备200将电子设备200的云端图片至电子设备100,或者电子设备100通过4G网络或5G网络或无线局域网(wirelesslocal area networks,WLAN)等无线通信技术与互联网建立通信连接,搜索引擎将数据库中的图片发送至电子设备200,电子设备200将图片发送至电子设备100。
当预选图片资源为互联网中的图片时,即电子设备100通过4G网络或5G网络或无线局域网(wireless local area networks,WLAN)等无线通信技术与互联网建立通信连接。搜索引擎将数据库中的图片发送至电子设备100。
步骤二、电子设备可以采取以下任意一种方式从预选图片资源中确定出补全资源,建立资源库。
方式一:电子设备获取预选图片资源的图像参数,图像参数包括曝光度、清晰度、颜色值、质感值、噪音值、防抖值、闪光灯值、伪像值中的一个或多个。电子设备根据预选图片资源的图像参数计算预选图片资源的质量得分,并根据预选图片资源的质量得分确定出补全资源,并将补全资源保存至资源库中。
电子设备基于曝光值、清晰度值、颜色值、质感值、噪音值、防抖值、对焦值、伪像值等中的一个或多个图像参数,确定出补全资源的质量得分。
在一种可能的实现方式中,智能推荐模块将上述多个维度值的平均值作为补全资源的质量得分。智能推荐模块将补全资源中质量得分最高的一个图片作为最终的第一补全资源对第一图片的补全区域进行补全。
在另一种可能的实现方式中,智能推荐模块还可以根据上述不同维度标准对补全资源进行打分,得到补全资源在上述不同维度中的得分。电子设备100得到预设维度质量打分最高的一个补全资源。这样,电子设备100可以得到预设维度质量打分最高的一个补全资源,提高了图片补全的多样性。
当预设维度为多个时,电子设备100可以得到多个第一补全资源,在一种可选的实现方式中,电子设备100将多个第一补全资源分别替换第一图片中补全区域中的图像,并回贴至第一图片中指定目标所在的区域,分别得到多个高清图像。用户可以选择保存多个高清图像中的任意一张或多张图片。在另一种可选的实现方式中,智能推荐模块将多个第一补全资源显示在电子设备100的用户界面上,电子设备100可以接收用户的选中操作来选择用户界面中的一个或多个第一补全资源对第一图片中的补全区域进行补全。
具体的,请参考图4-图5所示的实施例,本申请在此不再赘述。
方式二:图像质量主观评价
图像质量主观评价分为图片质量的绝对评价标准和图片质量的相对评价标准。
用户对图片质量的绝对评价标准是用户根据自己的知识和理解,按照原始图像的质量对待定图像的质量进行评价,原始图像的质量为标准质量,即用户丝毫看不出图像质量的好坏。具体的,将待评价的图片和原始图片按照一定的规则交替展示给用户观察,然后在图片展示完毕之后的一定时间内,用户对待评价的图片进行质量打分,将用户给出的多个分数的平均值作为待评价图片的质量评分。
用户对图片质量的相对评价标准是用户对一批待评价的图片进行相互评价,将这一批图片按量图片质量的好坏从高到低进行排序,并给出图片质量评分。用户对图片质量的相对评价标准采用单刺激连续质量评价方法(single stimulus continuous qualityevaluation,SSCQE)。具体的做法是:将一批待评价的图片按照一定的顺序展示给用户观看,用户在观看这一批图片时对观看到的图片进行打分。具体的,请参考表1所述的图片质量的绝对评价标准和表2所述的图片质量的相对评价标准以及上述实施例,本身请在此不再赘述。
具体实现中,用户可以实现根据绝对评价标准或相对评价标准对一批待评价的图片进行质量打分,得到用户认为质量最好的一张或多张图片,电子设备100接收用户操作将一张或多张图片存储在资源库中。电子设备100将根据指定位置中的一张或多张图片作为第一补全资源对第一图片进行补全。之后,相机应用开启了智能补全功能后,需要对摄像头采集的第一图片进行补全时,智能推荐模块可以根据资源库中的一张或多张图片对摄像头采集的第一图片进行补全。这样,相机应用可以根据用户的选择对摄像头采集的第一图片进行补全,提高了用户体验。
一种可能的实现方式中,资源库可以是电子设备100的图库应用中的指定存储路径。
如图14A所示,图14A示例性示出了电子设备100中的图库用户界面1300。该图库用户界面1300可以显示包括有一张或多张图片的缩略图。具体的,图库用户界面1300可包括所有照片的略缩图和图标“所有照片”,所有照片的图片数量为2465;图库用户界面1300还包括人物的略缩图和图标“人物”,人物的图片数量为654;图库用户界面1300还包括景物的略缩图和图标“景物”,景物的图片数量为368;图库用户界面1300还包括动物的略缩图和图标“动物”,动物的图片数量为158;图库用户界面1300还包括动物的略缩图和图标“推荐”,推荐的图片数量为158。即该158张推荐图片为用户选择的补全资源。相机应用开启了智能补全功能后,需要对摄像头采集的第一图片进行补全时,电子设备100直接从推荐分类下的图片中的找到与低清指定目标中指定目标的特征相匹配的补全资源,并根据该补全资源对摄像头采集的第一图片进行补全。这样,电子设备100可以根据用户的选择对摄像头采集的第一图片进行补全,提高了用户体验。
电子设备获取到第一图片之后,根据第一图片中指定目标的特征从资源库中匹配到与指定目标的特征的相似度大于预设值的第一补全资源。
在另一种可选的实现方式中,电子设备在电子设备获取第一图片之后,电子设备从预选图片资源(或资源库)中匹配出补全资源。
预选图片资源可以是电子设备100的本地保存的多张图片,也可以是云服务器中保存的多张图片,还可以是互联网中的多张图片,还可以是与电子设备100建立通信连接的其他电子设备可获取到的多张图片,本申请对于预选图片资源不做限定。
具体的,当预选图片资源为本地保存的多张图片时,电子设备100根据指定目标的特征从本地保存的多张图片中查找到与指定目标的特征相似度大于预设值的补全资源。
为了保证补全资源的时效性,电子设备100会对本地保存的多张图片进行筛选,将本地保存的多张图片创建日期距离指定日期的差值大于预设值的图片删除掉,得到图片集。电子设备100在图片集中查找与指定目标的特征相似度大于预设值的补全资源。这样,保证了补全资源的时效性,更符合用户的当前行为特征。
当预选图片资源为云服务器中保存的图片时,预选图片资源可以是电子设备100的云服务器中保存的图片。电子设备100与云服务器建立通信连接,智能查找模块将第一图片中指定目标的特征发送至云服务器。云服务器从云服务器中保存的图片查找到与指定目标的特征相似度大于预设值的补全资源。云服务器将与指定目标的特征相匹配的补全资源发送至智能查找模块。
当预选图片资源为与电子设备100通过蓝牙等方式建立通信连接的其他电子设备(例如电子设备200)中保存的图片。电子设备100与电子设备200建立通信连接,智能查找模块将第一图片中指定目标的特征发送至电子设备200。电子设备200从电子设备200中保存的图片查找到与指定目标的特征相匹配的补全资源,或者电子设备200从电子设备200的云端图片中查找到与指定目标的特征相匹配的补全资源源,或者电子设备100通过4G网络或5G网络或无线局域网(wireless local area networks,WLAN)等无线通信技术与互联网建立通信连接。电子设备200将第一图片中指定目标的特征发送至搜索引擎(例如百度)。搜索引擎从数据库中的图片查找到与指定目标的特征相匹配的补全资源。搜索引擎将与指定目标的特征相匹配的补全资源发送至电子设备200,电子设备200将与指定目标的特征相匹配的补全资源发送至智能查找模块。
当预选图片资源为互联网中的图片时,即电子设备100通过4G网络或5G网络或无线局域网(wireless local area networks,WLAN)等无线通信技术与互联网建立通信连接。智能查找模块将第一图片中指定目标的特征发送至搜索引擎(例如百度)。搜索引擎从数据库中的图片查找到与指定目标的特征相匹配的补全资源。搜索引擎将与指定目标的特征相匹配的补全资源发送至智能查找模块。
在一些实施例中,当补全资源为一张图片时,电子设备直接将该将补全资源替换补全区域中的图像,并回贴至第一图片中的补全区域,得到高清图片。
在另一些实施例中,当补全资源为多张图片时,电子设备需要对补全资源进行质量打分,得到质量打分最高的一个或多个第一补全资源。
在一种可选的实现方式中,电子设备100可以将补全资源中多个维度质量打分平均分最高的一个图片作为第一补全资源。
在另一种可选的实现方式中,电子设备100可以得到多个第一补全资源,即电子设备100将得到补全资源中不同维度的质量得分最高的多个图片分别作为第一补全资源。
补全资源包括多个同一类别的图片,因此,电子设备100需要对该多个同一类别的补全资源进行质量打分。
示例性的,当电子设备100确定指定目标为月亮时,由于电子设备100的图库中保存有多张月亮的高图片,因此,电子设备100需要对多张月亮的图片进行质量打分,得到多张月亮图片中质量打分最高的一张月亮图片或者多个预设维度的得分最高的多个月亮图片,电子设备100将质量打分最高的一张月亮图片作为最终的第一补全资源对第一图片的补全区域进行补全,或者电子设备100将多个预设维度的得分最高的多个月亮图片分别作为第一补全资源对第一图片的补全区域进行补全,得到多张补全后的图片。
电子设备100可以采用以下任一一种方式对预选图片资源进行质量打分。
图像质量客观评价
图像质量客观评价是智能推荐模块基于曝光值、清晰度值、颜色值、质感值、噪音值、防抖值、对焦值、伪像值等中的一个或多个图像参数,确定出补全资源的质量得分。
在一种可能的实现方式中,智能推荐模块将上述多个维度值的平均值作为补全资源的质量得分。智能推荐模块将补全资源中质量得分最高的一个图片作为最终的第一补全资源对第一图片的补全区域进行补全。
在另一种可能的实现方式中,智能推荐模块还可以根据上述不同维度标准对补全资源进行打分,得到补全资源在上述不同维度中的得分。电子设备100得到预设维度质量打分最高的一个补全资源。这样,电子设备100将预设维度质量打分最高的一个补全资源作为第一补全资源,提高了图片补全的多样性。当预设维度为多个时,电子设备100可以得到多个第一补全资源,在一种可选的实现方式中,电子设备100将多个第一补全资源分别替换第一图片中补全区域中的图像,并回贴至第一图片中指定目标所在的区域,分别得到多个高清图像。用户可以选择保存多个高清图像中的任意一张或多张图片。在另一种可选的实现方式中,智能推荐模块将多个第一补全资源显示在电子设备100的用户界面上,电子设备100可以接收用户的选中操作来选择用户界面中的一个或多个第一补全资源对第一图片中的补全区域进行补全。
具体的,请参考图4-图5所示的实施例,本申请在此不再赘述。
在另一种可能的实现方式中,在第一电子设备根据第一补全资源修改第一区域中的图像之前,第一电子设备显示第一用户界面(例如图9A所示的提示框900),第一用户界面包括第一补全资源;第一电子设备接收针对第一补全资源的第二操作(例如点击);响应于第二操作,第一电子设备根据第一补全资源修改第一区域中的图像。
S1404、电子设备100将第一补全资源替换补全区域中的图像,并回贴至第一图片中的补全区域,得到高清图片(第二图片)。
电子设备100将第一补全资源替换补全区域中的图像,并回贴至第一图片中的补全区域,得到高清图片是指:电子设备100将第一图片中补全区域中的图像进行裁剪,并将第一补全资源替换补全区域中的图像,之后,电子设备100将第一补全资源放置在第一图片中补全区域内,得到第二图片。其中,第二图片中第一补全资源的中心点与裁剪之前第一图片中补全区域中的图像的中心点重合。
电子设备100还可以根据其他的方式根据第一补全资源修改第一图片中的补全区域,得到第二图片。
方式一:电子设备100不需要将第一图片中补全区域中的图像进行裁剪,电子设备100直接将第一补全资源覆盖在补全区域中的图像上,得到第二图片。其中,第一补全资源的中心点与补全区域中的图像的中心点重合。
方式二:电子设备100不需要将第一图片中补全区域中的图像进行裁剪,电子设备100将第一补全资源的特征与补全区域中的图像特征进行融合,得到第二图片。
电子设备100接收用户的操作开启智能补全功能时候,电子设备100默认采用二维美化图片算法对第一图片中的补全区域进行补全。
首先,电子设备100将第一补全资源中指定目标大小调整为与第一图片中补全区域内的指定目标大小一致。之后,电子设备100将第一补全资源中指定目标与补全区域内指定目标的角度和深度调整一致。具体的,请参考上述实施例中智能补全图像处理模块根据二维美化图片算法对摄像头采集的第一图片进行补全的内容,本申请在此不再赘述。
之后,电子设备100将第一补全资源中指定目标调整为与第一图片中补全区域内的指定目标大小、角度和深度一致之后,电子设备100对第一区域中的图像进行裁剪,并将调整后的第一补全资源替换所述第一区域中的图像,并将调整后的第一补全资源回贴至第一图片中的补全区域,得到高清图片。其中,高清图片中,第一补全资源中指定目标中心点与第一图片中,补全区域的指定目标的中心点重合。
在一些实施例中,电子设备100接收用户操作采用三维建模图片算法对第一图片中的补全区域进行补全。
首先,电子设备100根据补全区域中指定目标的特征从资源库(例如图库)中获取到已有的包含指定目标的多个角度的补全资源,包含指定目标的多个角度的补全资源可以是例如正面角度补全资源、左面角度补全资源、右面角度补全资源和/或后面角度补全资源。
在一些实施例中,智能补全图像处理模块可以根据获取到的当前角度补全资源通过角度旋转得到其他角度的图片,即将当前角度补全资源绕着Z轴进行角度旋转得到其他角度的图片,Z轴垂直于水平面。
例如智能补全图像处理模块根据正面角度补全资源得到左面角度补全资源,根据正面角度补全资源得到右面角度补全资源等等。具体的,请参考图7D-图7G所示的实施例,本申请在此不再赘述。
在电子设备100获取到包含指定目标的多个角度的补全资源之后,电子设备100根据预设的三维模型(例如三维人头模型或三维房子模型)进行建模,得到三维立体的高清图片(第一补全资源)。
可以理解的是,预设的三维模型是已有的,不同类别的指定目标具有不同的三维建模模型。例如三维人头模型、三维房子模型和三维动物狗模型等等。
电子设备100将三维立体的高清图片替换补全区域中的图像,并回贴至第一图片中的补全区域之后,得到高清图片。
当补全资源只有一个时,在一种可能的实现方式中,电子设备100可以直接将智能补全之后得到的高清图片保存至图库中。用户可以在图库中查看该高清图片,具体的,请参考图8H所示的实施例,本申请在此不再赘述。
在另一种可能的实现方式中,电子设备100在对第一区域中的图像进行裁剪,并将该三维立体的高清图片替换第一区域中的图像,之后,将该三维立体的高清图片回贴至第一图片的补全区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后得到的高清图片同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。具体的,请参考图8I所示的实施例,本申请在此不再赘述。
当补全资源有多个时,电子设备100将多个补全资源分别对第一图片进行补全,得到多个补全资源分别对应的补全之后的图片,具体的,请参考图8J所示的实施例,本申请在此不再赘述。
在一种可能的实现方式中,在第一电子设备根据第一补全资源修改第一区域中的图像,得到第二图片之后,第一电子设备显示第四用户界面(例如图9D的图片浏览界面1300),第四用户界面包括第一图片(例如原始图像1310)、第二图片(例如对原始图像进行智能补全之后的图像1320)和保存控件(例如保存控件1330);第一电子设备接收针对第一图片和/或第二图片的第七操作;第一电子设备接收并响应针对保存控件的第八操作,第一电子设备保存第一图片和/或第二图片至图库应用对应的存储路径。
下面介绍本申请实施例提供的另一种图片补全方法。如图15所示,图15为本申请实施例提供的另一种图片补全方法流程图。
S1501、电子设备100获取第一图片。
第一图片可以是电子设备100摄像头实时采集的图片,也可以是电子设备100图库中的图片,第一图片还可以是文件管理中的图片,第一图片还可以是其他电子设备发送至电子设备100的图片,第一图片还可以是互联网中的图片等等,本申请对于第一图片的来源不做限定。
若第一图片是电子设备100摄像头实时采集的图片,则在电子设备100获取摄像头采集的第一图片之前,电子设备100接收用户的操作一,操作一可以是图8G所示的针对用户界面40中拍摄控件413的输入操作(例如单击)。该第一图片可以是图8I所示的摄像头采集的原始图像550。
若第一图片是电子设备100图库中的图片或其他电子设备发送至电子设备100的图片,则在电子设备100获取第一图片之前,电子设备100接收用户的操作一,该操作一可以是如图10B所示针对动物略缩图图标的输入操作(例如单击),响应于用户的操作一,电子设备100显示第一图片,该第一图片还可以是图10C所示的第一图片6201,该第一图片还可以是图10F所示的图片1000。
若第一图片是文件管理中的图片,则在电子设备100获取第一图片之前,电子设备100接收用户的操作一,操作一可以是图12B所示的针对用户界面120中图标1201的输入操作(例如单击)。该第一图片可以是图12C所示的第一图片1301。
若第一图片是互联网中的图片,则在电子设备100获取摄像头采集的第一图片之前,电子设备100接收用户的操作一,该操作一可以是如图13B所示针对搜索图标1602(例如单击)的操作一,响应于用户的操作一,电子设备100显示第一图片,该第一图片可以是图13C所示的第一图片1603。
S1502、电子设备100确定出第一图片的补全区域。
若第一图片可是电子设备100摄像头实时采集的图片,电子设备100可以接收用户在第一图片上的滑动操作,根据滑动轨迹确认出补全区域。具体的,请参考图8N-图8O所示的实施例,本申请在此不再赘述。
若第一图片可是电子设备100图库中的图片或其他电子设备发送至电子设备100的图片或文件管理中的图片或互联网中的图片,电子设备100可以接收用户在第一图片上的滑动操作,根据滑动轨迹确认出补全区域。
S1503、电子设备100显示第一提示内容,第一提示内容包括一个或多个补全资源,该一个或多个补全资源中指定目标的类别与补全区域内指定目标的类别不同。
在电子设备100确定出补全区域之后,电子设备100显示第一提示内容,第一提示内容包括一个或多个补全资源。
需要说明的是,该一个或多个补全资源中指定目标的类别与补全区域内指定目标的类别不同,这样的话,电子设备100可以根据与与补全区域中的指定目标的类别不相同的补全资源对第一图片进行补全,实现了图片美化的多样性。
示例性的,若第一图片是电子设备100摄像头实时采集的图片,该第一提示内容可以是图9A所示的提示框900。一个或多个补全资源可以是提示框900内的补全资源1、补全资源2、补全资源3和默认补全资源等等。
其中,补全资源1、补全资源2、补全资源3的中指定目标的类别与补全区域中指定目标的类别不一致。用户可以选择补全资源1、补全资源2、补全资源3对第一图片中的补全区域进行补全。当用户想通过同样特征的补全资源对第一图片中的补全区域进行补全时,用户可以选择默认补全资源,响应于用户选择的默认补全资源。电子设备100将从资源库中匹配到与第一图片中的补全区域的指定目标特征一致的补全资源,并根据该补全资源对第一图片中的补全区域进行补全。
若第一图片是电子设备100图库中的图片或其他电子设备发送至电子设备100的图片或文件管理中的图片或互联网中的图片,在图片浏览界面将会显示提示框900。一个或多个补全资源可以是提示框900内的补全资源1、补全资源2、补全资源3和默认补全资源等等。
其中,补全资源1、补全资源2、补全资源3的中指定目标的类别与补全区域中指定目标的类别不一致。用户可以选择补全资源1、补全资源2、补全资源3对第一图片中的补全区域进行补全。当用户想通过同样特征的补全资源对第一图片中的补全区域进行补全时,用户可以选择默认补全资源,响应于用户选择的默认补全资源。电子设备100将从资源库中匹配到与第一图片中的补全区域的指定目标特征一致的补全资源,并根据该补全资源对第一图片中的补全区域进行补全。
S1504、电子设备100确定出第一补全资源。
示例性的,针对第一补全资源的选择操作可是如图9A所示的针对补全资源3的选择操作。
第一补全资源中指定目标的类别与第一图片中补全区域内的指定目标的类别不匹配。示例性的,第一补全资源中指定目标类别是动物狗,第一图片中补全区域内的指定目标类别是动物猫。
在一种可选的实现方式中,电子设备100也不用接收用户针对一个或多个补全资源中第一补全资源的选择操作,即电子设备100默认使用多个补全资源分别对第一图片进行补全,分别得到与多个补全资源对应的补全后的图片。
S1505、电子设备100将第一补全资源回贴贴至第一图片中的补全区域,得到高清图片。
电子设备100将第一补全资源的图片大小裁剪为与第一图片中的补全区域大小一样。之后,电子设备100将大小裁剪之后的第一补全资源回贴至第一图片中的补全区域中,得到高清图片。
在一种可能的实现方式中,电子设备100可以直接将智能补全之后得到的高清图片保存至图库中。用户可以在图库中查看该高清图片,具体的,请参考图9C所示的实施例,本申请在此不再赘述。
在另一种可能的实现方式中,电子设备100在将该补全资源回贴至第一图片的补全区域中之后,电子设备100将摄像头采集的原始图像和对原始图像进行智能补全之后得到的图片同时显示在用户界面上,用户可以选择保存用户界面中显示的一张或多张图片。具体的,请参考图9D所示的实施例,本申请在此不再赘述。
该方法可以实现使用不同特征的补全资源对摄像头采集的第一图片进行补全,实现了图片补全的多样性。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种图片补全方法,其特征在于,所述方法包括:
第一电子设备获取第一图片;
所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域;
所述第一电子设备根据第一补全资源修改所述第一区域中的图像,得到第二图片,其中,所述第一补全资源是所述第一图片以外的图片。
2.根据权利要求1所述的方法,其特征在于,在所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域之前,所述方法还包括:
所述第一电子设备接收用户针对所述第一区域的第一操作;
所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域,具体包括:
响应于所述第一操作,所述第一电子设备确定出所述第一图片中所述第一指定目标所在的所述第一区域。
3.根据权利要求1-2任一项所述的方法,其特征在于,在所述第一电子设备根据第一补全资源修改所述第一区域中的图像之前,所述方法还包括:
所述第一电子设备显示第一用户界面,所述第一用户界面包括所述第一补全资源;
所述第一电子设备接收针对所述第一补全资源的第二操作;
所述第一电子设备根据第一补全资源修改所述第一区域中的图像,具体包括:
响应于所述第二操作,所述第一电子设备根据第一补全资源修改所述第一区域中的图像。
4.根据权利要求1所述的方法,其特征在于,在所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域之后,所述方法还包括:
所述第一电子设备根据所述第一指定目标的特征从资源库中确定出与所述第一指定目标的特征相似度大于预设值的所述第一补全资源,其中,所述资源库为以下任意一种:所述第一电子设备的本地保存的图片、所述第二电子设备的本地保存的图片、服务器中的图片。
5.根据权利要求4所述的方法,其特征在于,所述第一电子设备根据所述第一补全资源修改所述第一区域中的图像,得到第二图片,具体包括:
所述第一电子设备对所述第一区域中的图像进行裁剪;
所述第一电子设备将所述第一补全资源替换所述第一区域中的图像,并将所述第一补全资源回贴至所述第一区域中。
6.根据权利要求1所述的方法,其特征在于,在所述第一电子设备获取所述第一图片之前,所述方法还包括:
所述第一电子设备显示拍摄预览界面,所述拍摄预览界面包括摄像头实时采集到的画面、补全控件和拍摄控件;
所述第一电子设备接收针对所述补全控件的第三操作和针对所述拍摄控件的第四操作;
所述第一电子设备获取所述第一图片,具体包括:
响应于所述第三操作和所述第四操作,所述第一电子设备从摄像头实时采集到的画面中获取所述第一图片。
7.根据权利要求1所述的方法,其特征在于,在所述第一电子设备获取所述第一图片之前,所述方法还包括:
所述第一电子设备显示第二用户界面,所述第二用户界面包括有所述第一图片的缩略图;
所述第一电子设备接收针对所述第一图片的缩略图的第五操作;
所述第一电子设备获取所述第一图片,具体包括:
响应于所述第五操作,所述第一电子设备获取所述第一图片;
在所述第一电子设备获取所述第一图片之后,所述方法还包括:
所述第一电子设备显示第三用户界面,所述第三用户界面包括所述第一图片和补全控件;
所述第一电子设备接收针对所述补全控件的第六操作;
所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域,具体包括:
响应于所述第六操作,所述第一电子设备确定出所述第一图片中所述第一指定目标所在的所述第一区域。
8.根据权利要求6-7任一项所述的方法,其特征在于,所述补全控件为二维补全控件或三维补全控件。
9.根据权利要求1-8任一项所述的方法,其特征在于,在所述第一电子设备根据所述第一补全资源修改所述第一区域中的图像,得到第二图片之后,所述方法还包括:
所述第一电子设备显示第四用户界面,所述第四用户界面包括所述第一图片、所述第二图片和保存控件;
所述第一电子设备接收针对所述第一图片和/或所述第二图片的第七操作;
所述第一电子设备接收并响应针对所述保存控件的第八操作,所述第一电子设备保存所述第一图片和/或所述第二图片至图库应用对应的存储路径。
10.一种电子设备,为第一电子设备,其特征在于,所述第一电子设备包括:一个或多个处理器、一个或多个存储器;
所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述第一电子设备执行:
获取第一图片;
确定出所述第一图片中第一指定目标所在的第一区域;
根据第一补全资源修改所述第一区域中的图像,得到第二图片,其中,所述第一补全资源是所述第一图片以外的图片。
11.根据权利要求10所述的第一电子设备,其特征在于,在所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域之前,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
接收用户针对所述第一区域的第一操作;
响应于所述第一操作,所述第一电子设备确定出所述第一图片中所述第一指定目标所在的所述第一区域。
12.根据权利要求10-11任一项所述的第一电子设备,其特征在于,在所述第一电子设备根据第一补全资源修改所述第一区域中的图像之前,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
显示第一用户界面,所述第一用户界面包括所述第一补全资源;
接收针对所述第一补全资源的第二操作;
响应于所述第二操作,根据第一补全资源修改所述第一区域中的图像。
13.根据权利要求10所述的方法,其特征在于,在所述第一电子设备确定出所述第一图片中第一指定目标所在的第一区域之后,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
根据所述第一指定目标的特征从资源库中确定出与所述第一指定目标的特征相似度大于预设值的所述第一补全资源,其中,所述资源库为以下任意一种:所述第一电子设备的本地保存的图片、所述第二电子设备的本地保存的图片、服务器中的图片。
14.根据权利要求13所述的方法,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
对所述第一区域中的图像进行裁剪;
将所述第一补全资源替换所述第一区域中的图像,并将所述第一补全资源回贴至所述第一区域中。
15.根据权利要求1所述的第一电子设备,其特征在于,所述第一电子设备还包括摄像头;在所述第一电子设备获取所述第一图片之前,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
显示拍摄预览界面,所述拍摄预览界面包括所述摄像头实时采集到的画面、补全控件和拍摄控件;
接收针对所述补全控件的第三操作和针对所述拍摄控件的第四操作;
响应于所述第三操作和所述第四操作,从所述摄像头实时采集到的画面中获取所述第一图片。
16.根据权利要求10所述的第一电子设备,其特征在于,在所述第一电子设备获取所述第一图片之前,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
显示第二用户界面,所述第二用户界面包括有所述第一图片的缩略图;
接收针对所述第一图片的缩略图的第五操作;
响应于所述第五操作,获取所述第一图片;
在所述第一电子设备获取所述第一图片之后,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
显示第三用户界面,所述第三用户界面包括所述第一图片和补全控件;
接收针对所述补全控件的第六操作;
响应于所述第六操作,确定出所述第一图片中所述第一指定目标所在的所述第一区域。
17.根据权利要求15-16任一项所述的第一电子设备,其特征在于,所述补全控件为二维补全控件或三维补全控件。
18.根据权利要求10-17任一项所述的第一电子设备,其特征在于,在所述第一电子设备根据所述第一补全资源修改所述第一区域中的图像,得到第二图片之后,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一电子设备执行:
显示第四用户界面,所述第四用户界面包括所述第一图片、所述第二图片和保存控件;
接收针对所述第一图片和/或所述第二图片的第七操作;
接收并响应针对所述保存控件的第八操作,保存所述第一图片和/或所述第二图片至图库应用对应的存储路径。
19.一种可读存储介质,用于存储有计算机指令,当所述计算机指令在第一电子设备上运行时,使得所述第一电子设备执行上述权利要求1-9中的任一项所述的一种图片补全方法。
CN202110236949.1A 2020-12-31 2021-03-03 一种图片补全方法及电子设备 Pending CN114693511A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020116335782 2020-12-31
CN202011633578 2020-12-31

Publications (1)

Publication Number Publication Date
CN114693511A true CN114693511A (zh) 2022-07-01

Family

ID=82135960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110236949.1A Pending CN114693511A (zh) 2020-12-31 2021-03-03 一种图片补全方法及电子设备

Country Status (1)

Country Link
CN (1) CN114693511A (zh)

Similar Documents

Publication Publication Date Title
CN109951633B (zh) 一种拍摄月亮的方法和电子设备
CN113132620B (zh) 一种图像拍摄方法及相关装置
WO2022042776A1 (zh) 一种拍摄方法及终端
CN111327814A (zh) 一种图像处理的方法及电子设备
CN112887583B (zh) 一种拍摄方法及电子设备
CN112262563B (zh) 图像处理方法及电子设备
WO2021169394A1 (zh) 基于深度的人体图像美化方法及电子设备
WO2020029306A1 (zh) 一种图像拍摄方法及电子设备
CN113973173B (zh) 图像合成方法和电子设备
CN112580400B (zh) 图像选优方法及电子设备
CN112840635A (zh) 智能拍照方法、***及相关装置
CN112712470A (zh) 一种图像增强方法及装置
CN111510626B (zh) 图像合成方法及相关装置
WO2021115483A1 (zh) 一种图像处理方法及相关装置
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
US20240153209A1 (en) Object Reconstruction Method and Related Device
CN113170037A (zh) 一种拍摄长曝光图像的方法和电子设备
CN115115679A (zh) 一种图像配准方法及相关设备
CN113572957B (zh) 一种拍摄对焦方法及相关设备
CN115686182B (zh) 增强现实视频的处理方法与电子设备
CN114693511A (zh) 一种图片补全方法及电子设备
CN112989092A (zh) 一种图像处理方法及相关装置
CN114764745A (zh) 一种图像重建方法及相关装置
CN115002333B (zh) 一种图像处理方法及相关装置
WO2024046162A1 (zh) 一种图片推荐方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination