CN109978805A - 拍照处理方法、装置、移动终端以及存储介质 - Google Patents
拍照处理方法、装置、移动终端以及存储介质 Download PDFInfo
- Publication number
- CN109978805A CN109978805A CN201910205410.2A CN201910205410A CN109978805A CN 109978805 A CN109978805 A CN 109978805A CN 201910205410 A CN201910205410 A CN 201910205410A CN 109978805 A CN109978805 A CN 109978805A
- Authority
- CN
- China
- Prior art keywords
- image
- preview image
- trained
- occlusion
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003709 image segmentation Methods 0.000 claims abstract description 66
- 239000000463 material Substances 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000008439 repair process Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000012549 training Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种拍照处理方法、装置、移动终端以及存储介质，涉及电子设备技术领域。采集预览图像，将预览图像输入已训练的图像分割模型，获取已训练的图像分割模型输出的信息，当读取到信息包括预览图像中遮挡物对应的遮挡区域和预览图像中除遮挡区域外的非遮挡区域时，将预览图像输入已训练的图像生成模型，获取待融合图像，从待融合图像中提取与遮挡区域的位置对应的图像内容，从预览图像中提取非遮挡区域的图像内容进行融合处理，获得目标图像。本申请通过已训练的图像分割模型对预览图像进行遮挡检测，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。
Description
技术领域
本申请涉及电子设备技术领域，更具体地，涉及一种拍照处理方法、装置、移动终端以及存储介质。
背景技术
随着科学技术的发展，移动终端已经成为人们日常生活中最常用的电子产品之一。并且，用户经常会通过移动终端进行拍照，但是，移动终端在进行拍照时偶尔会有遮挡物干扰，例如，用户手指干扰，从而影响照片的整体质量。
发明内容
鉴于上述问题，本申请提出了一种拍照处理方法、装置、移动终端以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种拍照处理方法，所述方法包括：采集预览图像，将所述预览图像输入已训练的图像分割模型；获取所述已训练的图像分割模型输出的信息；当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型；获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像；从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
第二方面，本申请实施例提供了一种拍照处理装置，所述装置包括：图像采集模块，用于采集预览图像，将所述预览图像输入已训练的图像分割模型；信息获取模块，用于获取所述已训练的图像分割模型输出的信息；图像输入模块，用于当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型；图像输出模块，用于获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像；图像融合模块，用于从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
第三方面，本申请实施例提供了一种移动终端，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，采集预览图像，将该预览图像输入已训练的图像分割模型，获取已训练的图像分割模型输出的信息，当读取到信息包括预览图像中遮挡物对应的遮挡区域以及预览图像中除遮挡区域外的非遮挡区域时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的待融合图像，从待融合图像中提取与遮挡区域的位置对应的图像内容，从预览图像中提取非遮挡区域的图像内容进行融合处理，获得目标图像，从而通过已训练的图像分割模型对预览图像进行遮挡检测，并根据检测结果输出预览图像中的遮挡区域和非遮挡区域，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请一个实施例提供的拍照处理方法的流程示意图；
图2示出了本申请实施例提供的移动终端的第一种界面示意图；
图3示出了本申请实施例提供的移动终端的第二种界面示意图；
图4示出了本申请实施例提供的移动终端的第三种界面示意图；
图5示出了本申请实施例提供的移动终端的第四种界面示意图；
图6示出了本申请又一个实施例提供的拍照处理方法的流程示意图；
图7示出了本申请的图6所示的拍照处理方法的步骤S208的流程示意图；
图8示出了本申请实施例提供的拍照处理装置的模块框图；
图9示出了本申请实施例用于执行根据本申请实施例的拍照处理方法的移动终端的框图；
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的拍照处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，拍照功能已成为多数移动终端的标准配置，移动终端用户可随身携带移动终端并通过该移动终端记录身边的美好瞬间，另外，随着移动终端智能化的快速发展，移动终端用户对照片的质量要求也越来越高，例如，移动终端用户期望通过移动终端拍摄没有遮挡物的目标物体。但是，目前通过移动终端拍照时偶尔会有遮挡物干扰，例如，手指遮挡移动终端的拍摄镜头等，那么，在形成照片时，用户的手指会出现在照片的一角，从而影响照片的整体质量。为了解决上述问题，目前的技术可以通过用户运用软件进行后期编辑处理，达到移除遮挡物的效果，但是这种处理方式十分依赖照片的背景，如果背景颜色单一且有规律，那么用户可以通过修饰去除遮挡物，如果背景颜色复杂，那么用户需要运用选取、复制、移动背景等方式，覆盖被遮挡物遮挡的地方，这不仅需要用户付出大量的耐心，同时还对软件的要求极高，因此，处理效果不理想。
针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，通过已训练的图像分割模型对预览图像进行遮挡检测，并根据检测结果输出预览图像中的遮挡区域和非遮挡区域，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。其中，具体的拍照处理方法在后续的实施例中进行详细的说明。
实施例
请参阅图1，图1示出了本申请一个实施例提供的拍照处理方法的流程示意图。所述拍照处理方法用于通过已训练的图像分割模型对预览图像进行遮挡检测，并根据检测结果输出预览图像中的遮挡区域和非遮挡区域，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。在具体的实施例中，所述拍照处理方法应用于如图8所示的拍照处理装置200以及配置有所述拍照处理装置200的移动终端100(图9)。下面将以移动终端为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的移动终端可以为智能手机、平板电脑、穿戴式电子设备、车载设备、网关等包括摄像头的电子设备，在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述，所述拍照处理方法具体可以包括以下步骤：
步骤S101：采集预览图像，将所述预览图像输入已训练的图像分割模型。
在本实施例中，所述移动终端通过摄像头采集预览图像，其中，作为一种方式，可以通过移动终端的前置摄像头采集预览图像，例如，通过前置摄像头采集用户在自拍时的预览图像；可以通过移动终端的后置摄像头采集预览图像，例如，通过后置摄像头采集用户在他拍时的预览图像；也可以通过移动终端的可转动摄像头采集预览图像，可以理解的，通过移动终端的可转动摄像头，该移动终端可以通过转动可转动摄像头的方式采集自拍预览图像或他拍预览图像，在此不做限定。
进一步地，移动终端在采集到预览图像后，可以将该预览图像输入已训练的图像分割模型，其中，该已训练的图像分割模型是通过机器学习获得的，具体地，首先采集第一训练数据集，其中，第一训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的第一训练数据集按照预设的算法对第一神经网络进行训练建模，从而基于该第一训练数据集总结出规律，得到已训练的图像分割模型。在本实施例中，第一训练数据集例如可以是存在遮挡物的多个遮挡图像和分别对遮挡图像的遮挡区域和非遮挡区域进行标注的多个标签信息。
可以理解的，该已训练的图像分割模型可以预先训练完成后存储在移动终端本地。基于此，移动终端在采集到预览图像后，可以直接在本地调用该已训练的图像分割模型，例如，可以直接发送指令至图像分割模型，以指示该已训练的图像分割模型在目标存储区域读取该预览图像，或者移动终端可以直接将该预览图像输入存储在本地的已训练的图像分割模型，从而有效避免由于网络因素的影响降低预览图像输入已训练的图像分割模型的速度，以提升已训练的图像分割模型获取预览图像的速度，提升用户体验。
另外，该已训练的图像分割模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此，移动终端在采集到预览图像后，可以通过网络发送指令至存储在服务器的已训练的图像分割模型，以指示该已训练的图像分割模型通过网络读取移动终端采集的预览图像，或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的图像分割模型，从而通过将已训练的图像分割模型存储在服务器的方式，减少对移动终端的存储空间的占用，降低对移动终端正常运行的影响。
其中，作为一种方式，该已训练的图像分割模型用于检测所述预览图像中是否有遮挡物，以及根据检测结果输出用于表征所述遮挡物在所述预览图像中的遮挡区域的第一标签信息，和用于表征所述预览图像中除所述遮挡区域外的非遮挡区域的第二标签信息。也就是说，该已训练的图像分割模型可以用于对预览图像中是否有遮挡物进行检测，其中，该遮挡物可以包括用户的手指图像、手掌图像等，在此不做限定。作为一种可实施的方式，当已训练的图像分割模型没有检测到该预览图像中有遮挡物时，可以仅输出第二标签信息，其中，该第二标签信息用于表征该预览图像除遮挡区域外的非遮挡区域，可以理解的，当该已训练的图像分割模型仅输出第二标签信息时，表征该预览图像中没有遮挡区域，则可以确定该预览图像中没有遮挡物，例如，当已训练的图像分割模型没有检测到该预览图像中有遮挡物时，可以输出“非遮挡”标签信息。
而当已训练的图像分割模型检测到该预览图像中有遮挡物时，可以同时输出第一标签信息和第二标签信息，其中，该第一标签信息用于表征该遮挡物在预览图像中的遮挡区域，该第二标签信息用于表征该预览图像中除遮挡区域外的非遮挡区域，可以理解的，当该已训练的图像分割模型同时输出第一标签信息和第二标签信息时，表征该预览图像中有遮挡区域，则可以确定该预览图像中有遮挡物，例如，当已训练的图像分割模型检测到该预览图像中有遮挡物时，可以同时输出“遮挡”标签和“非遮挡”标签。当然，当所述已训练的图像分割模型仅输出第一标签信息时，表征预览图像全部为遮挡区域，则可以确定该预览图像全部被遮挡物遮挡，例如，当已训练的图像分割模型检测到该预览图像中全部是遮挡区域时，可以仅输出“遮挡”标签。因此，通过所述已训练的图像分割模型可以实现对预览图像是否有遮挡物的自动判断，并对预览图像中的遮挡区域和非遮挡区域自动分割，提升预览图像中遮挡区域的识别效率。
步骤S102：获取所述已训练的图像分割模型输出的信息。
在本实施例中，已训练图像分割模型基于读取的预览图像输出相应的信息，则所述移动终端获取该已训练的图像分割模型输出的信息。可以理解的，若该已训练的图像分割模型存储在移动终端本地，则该移动终端直接获取该已训练的图像分割模型输出的信息；若该已训练的图像分割模型存储在服务器，则该移动终端可以通过网络从服务器获取该已训练的图像分割模型输出的信息。作为一种可实施的方式，可以获取该已训练的图像分割模型输出的语音信息、文本信息、图片信息等，在此不做限定。
步骤S103：当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型。
作为一种方式，该已训练的图像分割模型输出的信息可以为xml文件，则移动终端可以对该xml文件中记载的内容进行读取分析，其中，当移动终端读取到该信息包括预览图像中遮挡物对应的遮挡区域以及预览图像中除该遮挡区域之外的非遮挡区域时，例如，当移动终端读取到该信息包括用于表征遮挡物在预览图像中的遮挡区域的第一标签信息，和用于表征预览图像中除遮挡区域之外的非遮挡区域的第二标签信息时，则可以确定该预览图像中存在遮挡物。作为一种可实施的方式，移动终端可以通过相机***读取已训练的图像分割模型输出的信息，并响应输出的信息。
在本实施例中，在确定该预览图像中有遮挡物时，可以将该预览图像输入已训练的图像生成模型GAN。其中，该已训练的图像生成模型是通过机器学习获得的，具体地，首先采集第二训练数据集，其中，第二训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的第二训练数据集按照预设的算法对第二神经网络进行训练建模，从而基于该第二训练数据集总结出规律，得到已训练的图像生成模型。在本实施例中，第二训练数据集例如可以是存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡物图像。
同样的，该已训练的图像生成模型可以预先训练完成后存储在移动终端本地。基于此，移动终端在确定预览图像中有遮挡物时，可以直接在本地调用该已训练的图像生成模型，例如，可以直接发送指令至图像生成模型，以指示该已训练的图像生成模型在目标存储区域读取该预览图像，或者移动终端可以直接将该预览图像输入存储在本地的已训练的图像生成模型，从而有效避免由于网络因素的影响降低预览图像输入已训练的图像生成模型的速度，以提升已训练的图像生成模型获取预览图像的速度，提升用户体验。
另外，该已训练的图像生成模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此，移动终端在采集到预览图像后，可以通过网络发送指令至存储在服务器的已训练的图像生成模型，以指示该已训练的图像生成模型通过网络读取移动终端采集的预览图像，或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的图像生成模型，从而通过将已训练的图像生成模型存储在服务器的方式，减少对移动终端的存储空间的占用，降低对移动终端正常运行的影响。其中，在本实施例中，该已训练的图像生成模型用于对有遮挡物的预览图像进行修复处理，并输出修复处理后的图像，例如，输出非遮挡图像。
其中，作为一种方式，所述图像生成模型所对应的生成网络中每层的具体含义可以为：第1层InputLR表示输入有遮挡物的预览图像；第2层和第3层表示一个卷积层和ReLU(Rectified linear unit，修正线性单元，为深度学习激活函数的一种)激活函数层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第9层是一个残差网络功能块，使用了两组卷积层紧跟批量规范化层，以ReLU作为激活函数，最后是元素级相加层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第10到第33层是4个残差网络功能块，每个残差网络功能块同上；第34到第37层是两组反卷积单元，用于图像上采样。反卷积层操作的步长为0.5，卷积核大小为3*3，卷积核数量为64；第38层是一个卷积层，卷积操作步长为1，卷积核大小为3*3，卷积核数量为3，目的是生成3通道的RGB数据。该生成网络的最后一层对包括有遮挡物的预览图像进行修复后输出不包括遮挡物的图像。
步骤S104：获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。
作为一种方式，该已训练的图像生成模型输出的信息为不包括遮挡物的待融合图像，相应的，移动终端获取该已训练的图像生成模型输出的待融合图像。作为一种可实施的方式，移动终端在确定该预览图像中包括有遮挡物时，可以将该包括有遮挡物的预览图像输入已训练的图像生成模型，从而通过已训练的图像生成模型对预览图像的遮挡物进行处理，以输出不包括遮挡物的待融合图像。
步骤S105：从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
其中，在通过已训练的图像生成模型对预览图像进行修复处理时，为了去除该预览图像中的遮挡物，会使得该预览图像的像素值异常，如使得像素值降低，因此，去除遮挡物后的待融合图像的整体像素值低于预览图像的整体像素值。在本实施例中，由于预览图像的整体显示效果较佳，但该预览图像存在遮挡物形成的遮挡区域，而待融合图像中虽然整体显示效果较差，但该待融合图像不存在遮挡物形成的遮挡区域，也就是说，在待融合图像中，原本遮挡区域的位置对应的图像内容正常显示，因此，作为一种方式，可以从待融合图像中提取与遮挡区域的位置对应的图像内容，并从预览图像中提取该非遮挡区域的图像内容，将待融合图像中与遮挡区域的位置对应的图像内容和预览图像中的非遮挡区域的图像内容进行融合处理，以得到目标图像。可以理解的，通过上述方式，可以得到既不包括遮挡物，且显示效果较佳的目标图像，提升用户体验。在本实施例中，为了避免融合边缘的像素跳变，此处可以采用泊松融合算法。
例如，如图2所示，图2示出了本申请实施例提供的移动终端的第一种界面示意图。其中，在图2中，A用于表示预览图像，B用于表示遮挡物，因此，在图2所示的界面中，预览图像A中包括有遮挡物B，因此，当移动终端采集到预览图像A时，可以将该预览图像A输入已训练的图像分割模型进行预览图像A的遮挡区域的识别，可以理解的，此时所述已训练的图像分割模型输出的信息包括用于表征所述遮挡物在所述预览图像中的遮挡区域的第一标签信息，和用于表征所述预览图像中除所述遮挡区域外的非遮挡区域的第二标签信息，可以确定预览图像A中的遮挡区域C和预览图像A中除遮挡区域C外的非遮挡区域D，如图3所示，其中，图3示出了本申请实施例提供的移动终端的第二种界面示意图。作为一种方式，该遮挡区域C的大小至少等于该遮挡物B，也就是说，该遮挡区域C的大小可以与遮挡物B的大小相同，该遮挡区域C的大小也可以大于遮挡物B的大小，另外，该遮挡区域C的形状可以与遮挡物B的形状相同，也可以与遮挡物B的形状不同，且该遮挡区域C的形状可以为不规则多边形、可以为圆形、可以为椭圆形、可以为规则多边形等，可选地，图3所示的遮挡物B为手指，且该遮挡区域C为矩形。
进一步地，所述移动终端作为响应，将该预览图像A输入已训练的图像生成模型进行预览图像A的修复并输出待融合图像E，如图4所示，其中，图4示出了本申请实施例提供的移动终端的第三种界面示意图，其中，该待融合图像E中包括原遮挡区域C对应位置的图像内容E1，预览图像A中除原遮挡区域C对应位置的图像内容E1之外的非遮挡区域E2，然后提取该待融合图像E中的原遮挡区域C对应位置的图像内容E1和预览图像中的非遮挡区域D的图像内容进行融合处理，获得目标图像F，如图5所示，其中，图5示出了本申请实施例提供的移动终端的第四种界面示意图。
本申请一个实施例提供的拍照处理方法，采集预览图像，将该预览图像输入已训练的图像分割模型，获取已训练的图像分割模型输出的信息，当读取到信息包括预览图像中遮挡物对应的遮挡区域以及预览图像中除遮挡区域外的非遮挡区域时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的待融合图像，从待融合图像中提取与遮挡区域的位置对应的图像内容，从预览图像中提取非遮挡区域的图像内容进行融合处理，获得目标图像，从而通过已训练的图像分割模型对预览图像进行遮挡检测，并根据检测结果输出预览图像中的遮挡区域和非遮挡区域，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。
请参阅图6，图6示出了本申请又一个实施例提供的拍照处理方法的流程示意图。所述方法应用于上述移动终端，下面将针对图6所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S201：获取存在遮挡物的多个遮挡图像。
其中，存在遮挡物的多个遮挡图像可以由移动终端通过摄像头拍摄获得，例如，通过三脚架拍摄获取，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。
步骤S202：分别对所述多个遮挡图像进行标注获得多个标签信息，其中，所述遮挡图像中对应所述遮挡物的遮挡区域通过第一标签信息进行标注，所述遮挡图像中除所述遮挡区域外的非遮挡区域通过第二标签信息进行标注。
进一步地，在获取存在遮挡物的多个遮挡图像后，可以分别对多个遮挡图像进行标注，以获得多个标签信息，作为一种可实施的方式，可以对遮挡图像中对应遮挡物的遮挡区域通过第一标签信息进行标注，对遮挡图像中除遮挡区域外的非遮挡区域通过第二标签信息进行标注。其中，该第一标签信息和第二标签信息可以由用户在遮挡图像的基础上手动进行标注，可以由移动终端在遮挡图像的基础上自动进行标注等，在此不做限定，其中，该第一标签信息和第二标签信息可以包括在遮挡图像中加入标注框形成带有标注框的标注图像，也可以包括以xml文件的形式标注遮挡图像。作为一种实施方式，可以基于语义分割技术分别对多个遮挡图像进行标注获得多个标签信息，例如，遮挡区域标注为“1”，非遮挡区域标注为“0”。
在本实施例中，将多个遮挡图像和多个标签信息作为第一训练数据集，其中，多个遮挡图像和多个标签信息一一对应，即多个遮挡图像中的每个遮挡图像均对应多个标签信息中的标签信息，即每个遮挡图像可以对应第一标签信息、对应第二标签信息或者对应第一标签信息和第二标签信息。当然，该多个第一标签信息可以相同，也可以不相同，例如，该第一标签信息可以均为“遮挡”，也可以分别为“遮挡1”、“遮挡2”、“遮挡3”等，在此不做限定。当然，该多个第二标签信息可以相同，也可以不相同，例如，该第二标签信息可以均为“非遮挡”，也可以分别为“非遮挡1”、“非遮挡2”、“非遮挡3”等，在此不做限定。
步骤S203：基于所述多个遮挡图像和所述多个标签信息对第一预设神经网络进行训练，获得所述已训练的图像分割模型。
作为一种方式，在获取多个遮挡图像和多个标签信息后，将多个遮挡图像和多个标签信息作为第一训练数据集对第一预设神经网络进行训练，以获得已训练的图像分割模型。可以理解的，可以将一一对应的多个遮挡图像和多个标签信息成对输入第一预设神经网络，以进行训练，从而获得已训练的图像分割模型。
步骤S204：获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同。
在本实施例中，首先采集多个第二训练数据集，该多个第二训练数据集包括存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，多个遮挡图像和多个非遮挡图像一一对应，即多个遮挡图像中的每个遮挡图像均对应多个非遮挡图像中的一个非遮挡图像。
其中，多个存在遮挡物的遮挡图像可以由移动终端通过摄像头拍摄获得，例如，通过三脚架拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。另外，不存在遮挡物的非遮挡图像可以由移动终端通过摄像头拍摄获得，例如，通过三脚架拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。其中，在本实施例中，多个遮挡图像和多个非遮挡图像中相对应的遮挡图像和非遮挡图像除遮挡物之外的图像内容相同。
步骤S205：基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得所述已训练的图像生成模型。
作为一种方式，在获取多个遮挡图像和多个非遮挡图像后，将多个遮挡图像和多个非遮挡图像作为第二训练数据集对第二预设神经网络进行训练，以获得已训练的图像生成模型。可以理解的，可以将一一对应的多个遮挡图像和多个非遮挡图图像成对输入第二预设神经网络，以进行训练，从而获得已训练的图像生成模型。另外，在获得已训练的图像生成模型后，还可以对该已训练的图像生成模型的准确性进行验证，并判断该已训练的图像生成模型基于输入数据的输出信息是否满足预设要求，当该已训练的图像生成模型基于输入数据的输出信息不满足预设要求时，可以重新采集第二训练数据集对第二预设神经网络进行训练，或者再获取多个第二训练数据集对已训练的图像生成模型进行校正，在此不做限定。
其中，步骤S201-步骤S202与步骤S203-步骤S204之间的先后顺序在此不做限定，即步骤201-步骤S202可以设置于步骤S203-步骤S204之前，步骤S201-步骤S202也可以设置于步骤S203-步骤S204之后。
步骤S206：采集预览图像，将所述预览图像输入已训练的图像分割模型。
步骤S207：获取所述已训练的图像分割模型输出的信息。
其中，步骤S206-步骤S207的具体描述请参阅步骤S101-步骤S102，在此不再赘述。
步骤S208：当读取到所述信息包括所述遮挡物在所述预览图像中的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，判断所述遮挡区域是否小于预设区域。
进一步地，移动终端在确定该图像分割模型输出的信息包括该遮挡物在预览图像中的遮挡区域以及预览图像中除遮挡区域外的非遮挡区域时，可以进一步判断该遮挡区域是否小于预设区域。具体地，所述移动终端设置有预设区域，其中，该预设区域可以预先设置完成，也可以在进行判断时再进行设置，另外，该预设区域可以预先存储在移动终端本地，也可以预先存储在服务器，在此不做限定。作为一种方式，在获取到遮挡区域后，将该遮挡区域和预设区域进行比较，以判断该遮挡区域是否小于该预设区域。
请参阅图7，图7示出了本申请的图6所示的拍照处理方法的步骤S208的流程示意图。下面将针对图7所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S2081：获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比。
作为一种实施方式，在确定该遮挡物在预览图像中的遮挡区域时，可以获取该遮挡区域的面积和预览图像的面积，然后再基于该遮挡区域的面积和预览图像的面积计算该遮挡区域和预览图像之间的面积比。如图3所示，则该遮挡区域C的面积可以通过该遮挡区域C的长和宽的乘积计算，该遮挡区域C的面积记为S1，该预览图像A的面积可以通过该预览图像A的长和宽的乘积计算，该预览图像A的面积记为S2，则可以计算该遮挡区域C的面积S1和所述预览图像A的面积S2的面积比S2/S1。另外，该预览图像A的面积S2可以是固定值，在此不做限定。
步骤S2082：判断所述面积比是否小于预设面积比。
在本实施例中，所述移动终端设置有预设面积比，其中，该预设面积比可以预先设置完成，也可以在进行判断时再进行设置，另外，该预设面积比可以预先存储在移动终端本地，也可以预先存储在服务器，在此不做限定。作为一种方式，在获取到遮挡区域的面积和预览图像的面积的面积比后，将该面积比与预设面积比进行比较，以判断该面积比是否小于该预设面积比，可以理解的，当该面积比的值小于该预设面积比的值时，可以确定该遮挡区域小于预设区域；当该面积比的值不小于预设面积比的值时，可以确定该遮挡区域不小于预设区域。
步骤S209：当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。
其中，当确定该遮挡区域小于该预设区域时，表征该遮挡物对应的遮挡区域在预览图像中所占的比例较小，将该遮挡区域进行修复处理后对于照片的整体质量影响较小，例如，遮挡区域进行修复处理后，该修复区域对应的图像像素值降低，但由于该遮挡区域较小，即对整个预览图像的像素值较低的影响较小，因此，作为一种方式，当确定该遮挡区域比小于该预设区域时，可以将该预览图像中输入已训练的图像生成模型，以获得不包括遮挡物的目标图像。
相反的，当确定该遮挡区域不小于该预设区域时，表征该遮挡物对应的遮挡区域在预览图像中所占的比例较大，将该遮挡区域进行修复处理后对于照片的整体质量影响较大，例如，遮挡区域进行修复处理后，该修复区域对应的图像像素值降低，但由于该遮挡区域较大，即对整个预览图像的像素值较低的影响较大，因此，作为一种方式，当确定该遮挡区域不小于该预设区域时，可以不将预览图像输入图像生成模型，并发出提示信息，其中，该提示信息用于提示用户重新采集图像，以获取质量更加的目标图像。
步骤S210：获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。
步骤S211：从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
其中，步骤S210-步骤S211的具体描述请参阅步骤S104-步骤S105，在此不再赘述。
本申请又一个实施例提供的拍照处理方法，获取存在遮挡物的多个遮挡图像，分别对多个遮挡图像进行标注获得多个标签信息，其中，遮挡图像中对应遮挡物的遮挡区域通过第一标签信息进行标注，遮挡图像中除遮挡区域外的非遮挡区域通过第二标签信息进行标注，基于多个遮挡图像和多个标签信息对第一预设神经网络进行训练，获得已训练的图像分割模型。获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，多个遮挡图像和多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除遮挡物之外的图像内容相同，基于多个遮挡图像和多个非遮挡图像对第二预设神经网络进行训练，获得已训练的图像生成模型。采集预览图像，将预览图像输入已训练的图像分割模型，获取已训练的推向分割模型输出的信息，当读取到该信息包括遮挡物在预览图像中的遮挡区域以及预览图像中除该遮挡区域外的非遮挡区域时，判断该遮挡区域是否小于预设区域，当该遮挡区域小于预设区域时，将该预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的待融合图像，其中，该待融合图像为已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像，从待融合图像中提取与遮挡区域的位置对应的图像内容，并从预览图像中提取非遮挡区域的图像内容进行融合处理，获得目标图像。相较于图1所示的拍照处理方法，本实施例还预先训练并创建图像分割模型和图像生成模型，同时，本实施例还在读取到预览图像中有遮挡物时，判断遮挡区域是否小于预设区域，并在确定遮挡区域小于预设区域时对预览图像进行修复处理，保证目标图像的展示效果。
请参阅图8，图8示出了本申请实施例提供的拍照处理装置200的模块框图。该拍照处理装置200应用于上述移动终端100。下面将针对图4所示的装置进行阐述，所述拍照处理装置200包括：图像采集模块210、信息获取模块220、图像输入模块230、图像输出模块240以及图像融合模块250，其中：
图像采集模块210，用于采集预览图像，将所述预览图像输入已训练的图像分割模型。
信息获取模块220，用于获取所述已训练的图像分割模型输出的信息。
图像输入模块230，用于当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型。进一步地，所述图像输入模块230包括：遮挡区域判断子模块和图像输入子模块，其中：
遮挡区域判断子模块，用于当读取到所述信息包括所述遮挡物在所述预览图像中的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，判断所述遮挡区域是否小于预设区域。进一步地，所述遮挡区域判断子模块包括：面积获取单元和面积判断单元，其中：
面积获取单元，用于获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比。
面积判断单元，用于判断所述面积比是否小于预设面积比。
图像输入子模块，用于当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。
图像输出模块240，用于获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。
图像融合模块250，用于从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
进一步地，所述拍照处理装置200包括：遮挡图像获取模块、标注模块、第一训练模块、非遮挡图像获取模块以及第二训练模块，其中：
遮挡图像获取模块，用于获取存在遮挡物的多个遮挡图像。
标注模块，用于分别对所述多个遮挡图像进行标注获得多个标签信息，其中，所述遮挡图像中对应所述遮挡物的遮挡区域通过第一标签信息进行标注，所述遮挡图像中除所述遮挡区域外的非遮挡区域通过第二标签信息进行标注。进一步地，所述标注模块包括：标注子模块，其中：
标注子模块，用于基于语义分割技术分别对所述多个遮挡图像进行标注获得多个标签信息。
第一训练模块，用于基于所述多个遮挡图像和所述多个标签信息对第一预设神经网络进行训练，获得所述已训练的图像分割模型。
非遮挡图像获取模块，用于获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同。
第二训练模块，用于基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得所述已训练的图像生成模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图9，其示出了本申请实施例提供的一种移动终端100的结构框图。该移动终端100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的移动终端100可以包括一个或多个如下部件：处理器110、存储器120、屏幕130、摄像头140以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
屏幕130用于显示由用户输入的信息、提供给用户的信息以及所述移动终端100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，该屏幕130可以为液晶显示器(Liquid Crystal Display，LCD)，也可以为有机发光二极管(Organic Light-Emitting Diode，OLED)，在此不做限定。
摄像头140可以固定设置于移动终端100，可以滑动设置于移动终端100，也可以转动设置于移动终端100，在此不做限定。
请参阅图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，采集预览图像，将该预览图像输入已训练的图像分割模型，获取已训练的图像分割模型输出的信息，当读取到信息包括预览图像中遮挡物对应的遮挡区域以及预览图像中除遮挡区域外的非遮挡区域时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的待融合图像，从待融合图像中提取与遮挡区域的位置对应的图像内容，从预览图像中提取非遮挡区域的图像内容进行融合处理，获得目标图像，从而通过已训练的图像分割模型对预览图像进行遮挡检测，并根据检测结果输出预览图像中的遮挡区域和非遮挡区域，再通过图像生成模型对预览图像进行修复处理后将修复后的遮挡区域和预览图像的非遮挡区域进行融合处理，从而获得目标图像，提升拍摄效果。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种拍照处理方法，其特征在于，所述方法包括：
采集预览图像，将所述预览图像输入已训练的图像分割模型；
获取所述已训练的图像分割模型输出的信息；
当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型；
获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像；
从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
2.根据权利要求1所述的方法，其特征在于，所述已训练的图像分割模型用于检测所述预览图像中是否有遮挡物，以及根据检测结果输出用于表征所述遮挡物在所述预览图像中的遮挡区域的第一标签信息，和用于表征所述预览图像中除所述遮挡区域外的非遮挡区域的第二标签信息。
3.根据权利要求2所述的方法，其特征在于，所述采集预览图像，将所述预览图像输入已训练的图像分割模型之前，还包括：
获取存在遮挡物的多个遮挡图像；
分别对所述多个遮挡图像进行标注获得多个标签信息，其中，所述遮挡图像中对应所述遮挡物的遮挡区域通过第一标签信息进行标注，所述遮挡图像中除所述遮挡区域外的非遮挡区域通过第二标签信息进行标注；
基于所述多个遮挡图像和所述多个标签信息对第一预设神经网络进行训练，获得所述已训练的图像分割模型。
4.根据权利要求3所述的方法，其特征在于，所述分别对所述多个遮挡图像进行标注获得多个标签信息，包括：
基于语义分割技术分别对所述多个遮挡图像进行标注获得多个标签信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型之前，还包括：
获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同；
基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得所述已训练的图像生成模型。
6.根据权利要求1所述的方法，其特征在于，所述当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型，包括：
当读取到所述信息包括所述遮挡物在所述预览图像中的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，判断所述遮挡区域是否小于预设区域；
当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。
7.根据权利要求6所述的方法，其特征在于，所述判断所述遮挡区域是否小于预设区域，包括：
获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比；
判断所述面积比是否小于预设面积比。
8.一种拍照处理装置，其特征在于，所述装置包括：
图像采集模块，用于采集预览图像，将所述预览图像输入已训练的图像分割模型；
信息获取模块，用于获取所述已训练的图像分割模型输出的信息；
图像输入模块，用于当读取到所述信息包括所述预览图像中遮挡物对应的遮挡区域以及所述预览图像中除所述遮挡区域外的非遮挡区域时，将所述预览图像输入已训练的图像生成模型；
图像输出模块，用于获取所述已训练的图像生成模型输出的待融合图像，其中，所述待融合图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像；
图像融合模块，用于从所述待融合图像中提取与所述遮挡区域的位置对应的图像内容，并从所述预览图像中提取所述非遮挡区域的图像内容进行融合处理，获得目标图像。
9.一种移动终端，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205410.2A CN109978805A (zh) | 2019-03-18 | 2019-03-18 | 拍照处理方法、装置、移动终端以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205410.2A CN109978805A (zh) | 2019-03-18 | 2019-03-18 | 拍照处理方法、装置、移动终端以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109978805A true CN109978805A (zh) | 2019-07-05 |
Family
ID=67079380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910205410.2A Pending CN109978805A (zh) | 2019-03-18 | 2019-03-18 | 拍照处理方法、装置、移动终端以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978805A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110661978A (zh) * | 2019-10-29 | 2020-01-07 | 维沃移动通信有限公司 | 一种拍照方法、电子设备 |
| CN110766007A (zh) * | 2019-10-28 | 2020-02-07 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN111028189A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111325698A (zh) * | 2020-03-17 | 2020-06-23 | 北京迈格威科技有限公司 | 图像处理方法、装置及***、电子设备 |
| CN111353965A (zh) * | 2020-02-28 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像修复方法、装置、终端及存储介质 |
| CN111462104A (zh) * | 2020-04-08 | 2020-07-28 | 北京海益同展信息科技有限公司 | 一种禽蛋大小头检测方法、装置、电子设备及存储介质 |
| CN113592781A (zh) * | 2021-07-06 | 2021-11-02 | 北京爱笔科技有限公司 | 背景图像的生成方法、装置、计算机设备和存储介质 |
| CN114885086A (zh) * | 2021-01-21 | 2022-08-09 | 华为技术有限公司 | 一种图像处理方法、头戴式设备和计算机可读存储介质 |
| CN115311589A (zh) * | 2022-10-12 | 2022-11-08 | 山东乾元泽孚科技股份有限公司 | 一种用于采光建筑的隐患处理方法及设备 |
| WO2022237089A1 (zh) * | 2021-05-14 | 2022-11-17 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备、存储介质、程序产品及程序 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451950A (zh) * | 2016-05-30 | 2017-12-08 | 北京旷视科技有限公司 | 人脸图像生成方法、人脸识别模型训练方法及相应装置 |
| CN107609560A (zh) * | 2017-09-27 | 2018-01-19 | 北京小米移动软件有限公司 | 文字识别方法及装置 |
| CN107679483A (zh) * | 2017-09-27 | 2018-02-09 | 北京小米移动软件有限公司 | 号牌识别方法及装置 |
| CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
| CN108551552A (zh) * | 2018-05-14 | 2018-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108566516A (zh) * | 2018-05-14 | 2018-09-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108876726A (zh) * | 2017-12-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、***及计算机存储介质 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-03-18 CN CN201910205410.2A patent/CN109978805A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451950A (zh) * | 2016-05-30 | 2017-12-08 | 北京旷视科技有限公司 | 人脸图像生成方法、人脸识别模型训练方法及相应装置 |
| CN107609560A (zh) * | 2017-09-27 | 2018-01-19 | 北京小米移动软件有限公司 | 文字识别方法及装置 |
| CN107679483A (zh) * | 2017-09-27 | 2018-02-09 | 北京小米移动软件有限公司 | 号牌识别方法及装置 |
| CN108876726A (zh) * | 2017-12-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、***及计算机存储介质 |
| CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
| CN108551552A (zh) * | 2018-05-14 | 2018-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108566516A (zh) * | 2018-05-14 | 2018-09-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766007A (zh) * | 2019-10-28 | 2020-02-07 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN110766007B (zh) * | 2019-10-28 | 2023-09-22 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN110661978A (zh) * | 2019-10-29 | 2020-01-07 | 维沃移动通信有限公司 | 一种拍照方法、电子设备 |
| CN111028189A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111028189B (zh) * | 2019-12-09 | 2023-06-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111353965A (zh) * | 2020-02-28 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像修复方法、装置、终端及存储介质 |
| CN111353965B (zh) * | 2020-02-28 | 2023-08-01 | Oppo广东移动通信有限公司 | 图像修复方法、装置、终端及存储介质 |
| CN111325667B (zh) * | 2020-03-09 | 2023-05-30 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111325698A (zh) * | 2020-03-17 | 2020-06-23 | 北京迈格威科技有限公司 | 图像处理方法、装置及***、电子设备 |
| CN111462104A (zh) * | 2020-04-08 | 2020-07-28 | 北京海益同展信息科技有限公司 | 一种禽蛋大小头检测方法、装置、电子设备及存储介质 |
| CN111462104B (zh) * | 2020-04-08 | 2023-09-22 | 京东科技信息技术有限公司 | 一种禽蛋大小头检测方法、装置、电子设备及存储介质 |
| CN114885086A (zh) * | 2021-01-21 | 2022-08-09 | 华为技术有限公司 | 一种图像处理方法、头戴式设备和计算机可读存储介质 |
| WO2022237089A1 (zh) * | 2021-05-14 | 2022-11-17 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备、存储介质、程序产品及程序 |
| CN113592781A (zh) * | 2021-07-06 | 2021-11-02 | 北京爱笔科技有限公司 | 背景图像的生成方法、装置、计算机设备和存储介质 |
| CN115311589A (zh) * | 2022-10-12 | 2022-11-08 | 山东乾元泽孚科技股份有限公司 | 一种用于采光建筑的隐患处理方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978805A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| CN109951635A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
| CN105809620B (zh) | 用于线性全景图像拼接的预览图像获取用户界面 | |
| CN108604378B (zh) | 视频流的图像分割和修改 | |
| CN107862315B (zh) | 字幕提取方法、视频搜索方法、字幕分享方法及装置 | |
| US20180129363A1 (en) | Organizing digital notes on a user interface | |
| US9773302B2 (en) | Three-dimensional object model tagging | |
| CN105323456B (zh) | 用于拍摄装置的图像预览方法、图像拍摄装置 | |
| US20150220257A1 (en) | Note capture and recognition with manual assist | |
| CN111553923B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| CN109948525A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
| WO2022089170A1 (zh) | 字幕区域识别方法、装置、设备及存储介质 | |
| CN106682652B (zh) | 基于增强现实的结构表面病害巡检和分析方法 | |
| US20150220800A1 (en) | Note capture, recognition, and management with hints on a user interface | |
| CN111461070B (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| US20230353701A1 (en) | Removing objects at image capture time | |
| JP2021152901A (ja) | 画像を生成するための方法及装置 | |
| CN108520263A (zh) | 一种全景图像的识别方法、***及计算机存储介质 | |
| CN108229281A (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111353965A (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN113127349B (zh) | 软件测试方法和*** | |
| US20160140748A1 (en) | Automated animation for presentation of images | |
| CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
| CN110782392A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |
|
| RJ01 | Rejection of invention patent application after publication |