CN109948525A - 拍照处理方法、装置、移动终端以及存储介质 - Google Patents

拍照处理方法、装置、移动终端以及存储介质 Download PDF

Info

Publication number
CN109948525A
CN109948525A CN201910204839.XA CN201910204839A CN109948525A CN 109948525 A CN109948525 A CN 109948525A CN 201910204839 A CN201910204839 A CN 201910204839A CN 109948525 A CN109948525 A CN 109948525A
Authority
CN
China
Prior art keywords
preview image
image
area
shelter
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910204839.XA
Other languages
English (en)
Inventor
李亚乾
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910204839.XA priority Critical patent/CN109948525A/zh
Publication of CN109948525A publication Critical patent/CN109948525A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种拍照处理方法、装置、移动终端以及存储介质,涉及电子设备技术领域。所述方法包括:采集预览图像,将该预览图像输入已训练的目标检测模型,获取已训练的目标检测模型输出的信息,当读取到该信息包括预览图像中遮挡物的位置信息时,基于该位置信息对该预览图像进行裁剪,获得不包括该遮挡物的目标图像。本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。

Description

拍照处理方法、装置、移动终端以及存储介质
技术领域
本申请涉及电子设备技术领域,更具体地,涉及一种拍照处理方法、装置、移动终端以及存储介质。
背景技术
随着科学技术的发展,移动终端已经成为人们日常生活中最常用的电子产品之一。并且,用户经常会通过移动终端进行拍照,但是,移动终端在进行拍照时偶尔会有遮挡物干扰,例如,用户手指干扰,从而影响照片的整体质量。
发明内容
鉴于上述问题,本申请提出了一种拍照处理方法、装置、移动终端以及存储介质,以解决上述问题。
第一方面,本申请实施例提供了一种拍照处理方法,所述方法包括:采集预览图像,将所述预览图像输入已训练的目标检测模型;获取所述已训练的目标检测模型输出的信息;当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。
第二方面,本申请实施例提供了一种拍照处理装置,所述装置包括:图像采集模块,用于采集预览图像,将所述预览图像输入已训练的目标检测模型;信息获取模块,用于获取所述已训练的目标检测模型输出的信息;图像裁剪模块,用于当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。
第三方面,本申请实施例提供了一种移动终端,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质,采集预览图像,将该预览图像输入已训练的目标检测模型,获取已训练的目标检测模型输出的信息,当读取到该信息包括预览图像中遮挡物的位置信息时,基于该位置信息对该预览图像进行裁剪,获得不包括该遮挡物的目标图像,从而通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了本申请一个实施例提供的拍照处理方法的流程示意图;
图2示出了本申请又一个实施例提供的拍照处理方法的流程示意图;
图3示出了本申请实施例提供的移动终端的第一种界面示意图;
图4示出了本申请实施例提供的移动终端的第二种界面示意图;
图5示出了本申请的图2所示的拍照处理方法的步骤S270的流程示意图;
图6示出了本申请实施例提供的移动终端的第三种界面示意图;
图7示出了本申请的图5所示的拍照处理方法的步骤S272的流程示意图;
图8示出了本申请实施例提供的移动终端的第四种界面示意图;
图9示出了本申请实施例提供的移动终端的第五种界面示意图;
图10示出了本申请实施例提供的拍照处理装置的模块框图;
图11示出了本申请实施例用于执行根据本申请实施例的拍照处理方法的移动终端的框图;
图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的拍照处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
目前,拍照功能已成为多数移动终端的标准配置,移动终端用户可随身携带移动终端并通过该移动终端记录身边的美好瞬间,另外,随着移动终端智能化的快速发展,移动终端用户对照片的质量要求也越来越高,例如,移动终端用户期望通过移动终端拍摄没有遮挡物的目标物体。但是,目前通过移动终端拍照时偶尔会有遮挡物干扰,例如,手指遮挡移动终端的拍摄镜头等,那么,在形成照片时,用户的手指会出现在照片的一角,从而影响照片的整体质量。为了解决上述问题,目前的技术可以通过用户运用软件进行后期编辑处理,达到移除遮挡物的效果,但是这种处理方式十分依赖照片的背景,如果背景颜色单一且有规律,那么用户可以通过修饰去除遮挡物,如果背景颜色复杂,那么用户需要运用选取、复制、移动背景等方式,覆盖被遮挡物遮挡的地方,这不仅需要用户付出大量的耐心,同时还对软件的要求极高,因此,处理效果不理想。
针对上述问题,发明人经过长期的研究发现,并提出了本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质,通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。其中,具体的拍照处理方法在后续的实施例中进行详细的说明。
实施例
请参阅图1,图1示出了本申请一个实施例提供的拍照处理方法的流程示意图。所述拍照处理方法用于通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。在具体的实施例中,所述拍照处理方法应用于如图10所示的拍照处理装置200以及配置有所述拍照处理装置200的移动终端100(图11)。下面将以移动终端为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的移动终端可以为智能手机、平板电脑、穿戴式电子设备、车载设备、网关等包括摄像头的电子设备,在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述,所述拍照处理方法具体可以包括以下步骤:
步骤S110:采集预览图像,将所述预览图像输入已训练的目标检测模型。
在本实施例中,所述移动终端通过摄像头采集预览图像,其中,作为一种方式,可以通过移动终端的前置摄像头采集预览图像,例如,通过前置摄像头采集用户在自拍时的预览图像;可以通过移动终端的后置摄像头采集预览图像,例如,通过后置摄像头采集用户在他拍时的预览图像;也可以通过移动终端的可转动摄像头采集预览图像,可以理解的,通过移动终端的可转动摄像头,该移动终端可以通过转动可转动摄像头的方式采集自拍预览图像或他拍预览图像,在此不做限定。
进一步地,移动终端在采集到预览图像后,可以将该预览图像输入已训练的目标检测模型,其中,该已训练的目标检测模型是通过机器学习获得的,具体地,首先采集训练数据集,其中,训练数据集中的一类数据的属性或特征区别于另一类数据,然后通过将采集的训练数据集按照预设的算法对神经网络进行训练建模,从而基于该训练数据集总结出规律,得到已训练的目标检测模型。在本实施例中,训练数据集例如可以是存在遮挡物的多个原始图像和注明遮挡物在原始图像中的位置信息多个标签信息。
可以理解的,该已训练的目标检测模型可以预先训练完成后存储在移动终端本地。基于此,移动终端在采集到预览图像后,可以直接在本地调用该已训练的目标检测模型,例如,可以直接发送指令至目标检测模型,以指示该已训练的目标检测模型在目标存储区域读取该预览图像,或者移动终端可以直接将该预览图像输入存储在本地的已训练的目标检测模型,从而有效避免由于网络因素的影响降低预览图像输入已训练的目标检测模型的速度,以提升已训练的目标检测模型获取预览图像的速度,提升用户体验。
另外,该已训练的目标检测模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此,移动终端在采集到预览图像后,可以通过网络发送指令至存储在服务器的已训练的目标检测模型,以指示该已训练的目标检测模型通过网络读取移动终端采集的预览图像,或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的目标检测模型,从而通过将已训练的目标检测模型存储在服务器的方式,减少对移动终端的存储空间的占用,降低对移动终端正常运行的影响。
其中,作为一种方式,该已训练的目标检测模型用于检测该预览图像中是否有遮挡物以及在检测到该预览图像中有遮挡物时,输出遮挡物在预览图像中的位置信息。也就是说,该已训练的目标检测模型可以用于对预览图像中是否有遮挡物进行检测,其中,该遮挡物可以包括用户的手指图像、手掌图像等,在此不做限定。作为一种可实施的方式,当已训练的目标检测模型检测到该预览图像中有遮挡物时,可以输出该遮挡物在预览图像中的位置信息,例如,输出该遮挡物在预览图像的图像坐标系中的坐标信息,输出该遮挡物在预览图像的位置图像等,而当目标检测模型检测到该预览图像中没有遮挡物时,可以输出用于表征该预览图像中没有遮挡物的信息或不输出信息,例如,输出空白信息或不输出信息等。
步骤S120:获取所述已训练的目标检测模型输出的信息。
在本实施例中,已训练的目标检测模型基于读取的预览图像输出相应的信息,则所述移动终端获取该已训练的目标检测模型输出的信息。可以理解的,若该已训练的目标检测模型存储在移动终端本地,则该移动终端直接获取该已训练的目标检测模型输出的信息;若该已训练的目标检测模型存储在服务器,则该移动终端可以通过网络从服务器获取该已训练的目标检测模型输出的信息。作为一种可实施的方式,可以获取该已训练的目标检测模型输出的语音信息、文本信息、图片信息等,在此不做限定。
步骤S130:当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。
作为一种方式,该已训练的目标检测模型输出的信息可以为xml文件,则移动终端可以对该xml文件中记载的内容进行读取分析,其中,当移动终端读取到该信息包括预览图像中遮挡物的位置信息时,则可以确定该预览图像中存在遮挡物且该遮挡物在预览图像中的图像坐标系下的位置。作为一种可实施的方式,移动终端可以通过相机***读取已训练的目标检测模型输出的信息,并响应输出的信息。在本实施例中,在确定遮挡物的位置信息后,可以基于该遮挡物的位置信息对预览图像进行自动裁剪,可以理解的,可以基于该位置信息对预览图像中的遮挡物进行裁剪,以获得不包括遮挡物的目标图像,从而提升目标图像的展示效果。进一步地,在获取目标图像后,可以将该目标图像输出到相册***保存,也可以将该目标图像输出到移动终端的展示界面进行展示,在此不做限定。
作为一种方式,遮挡物的位置信息可以包括遮挡物在预览图图像中的所有位置点,即遮挡物所对应的所有像素的位置点,然后移动终端可以基于所有像素的位置点进行裁剪处理,即将所有像素的位置点均进行裁剪,从而获得不包括遮挡物的目标图像。作为另一种方式,遮挡物的位置信息也可以包括遮挡物在预览图像中的边缘位置的位置点,即遮挡物的边缘位置的所有像素的位置点,然后移动终端可以基于边缘位置的所有像素的位置点进行裁剪处理,即沿遮挡物的边缘位置对遮挡物进行裁剪,从而获得不包括遮挡物的目标图像。具体地裁剪方式在本实施例中不做限定。
本申请一个实施例提供的拍照处理方法,采集预览图像,将该预览图像输入已训练的目标检测模型,获取已训练的目标检测模型输出的信息,当读取到该信息包括预览图像中遮挡物的位置信息时,基于该位置信息对该预览图像进行裁剪,获得不包括该遮挡物的目标图像,从而通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。
请参阅图2,图2示出了本申请又一个实施例提供的拍照处理方法的流程示意图。所述方法应用于上述移动终端,其中,在本实施例中,该位置信息为遮挡物在预览图像中的遮挡区域。下面将针对图2所示的流程进行详细的阐述,所述拍照处理方法具体可以包括以下步骤:
步骤S210:获取存在遮挡物的多个原始图像和注明遮挡物在所述原始图像中的位置信息的多个标签信息,其中,所述多个原始图像和所述多个标签信息一一对应。
在本实施例中,首先采集多个训练数据集,该多个训练数据集包括存在遮挡物的多个原始图像和注明遮挡物在原始图像中的位置信息的多个标签信息,其中,多个原始图像和多个标签信息一一对应,即多个原始图像中的每个原始图像均对应多个标签信息中的一个标签信息,当然,该多个标签信息可以相同,也可以不相同,例如,该标签信息可以均为“遮挡”,也可以分别为“遮挡1”、“遮挡2”、“遮挡3”等,在此不做限定。
其中,多个存在遮挡物的原始图像可以由移动终端通过摄像头拍摄获得,可以从移动终端本地保存中获得,也可以由移动终端从服务器获得等,在此不做限定。另外,多个标签信息可以由用户在原始图像的基础上手动进行标注,可以由移动终端在原始图像的基础上自动进行标注等,在此不做限定,其中,该标签信息可以包括在原始图像中加入标注框形成带有标注框的标注图像,也可以包括以xml文件的形式标注原始图像。
步骤S220:基于所述多个原始图像和所述多个标签信息对预设神经网络进行训练,获得所述已训练的目标检测模型。
作为一种方式,在获取多个原始图像和多个标签信息后,将多个原始图像和多个标签信息作为训练数据集对预设神经网络进行训练,以获得已训练的目标检测模型。可以理解的,可以将一一对应的多个原始图像和多个标签信息成对输入预设神经网络,以进行训练,从而获得已训练的目标检测模型。另外,在获得已训练的目标检测模型后,还可以对该已训练的目标检测模型的准确性进行验证,并判断该已训练的目标检测模型基于输入数据的输出信息是否满足预设要求,当该已训练的目标检测模型基于输入数据的输出信息不满足预设要求时,可以重新采集训练数据集对预设神经网络进行训练,或者再获取多个训练数据集对已训练的目标检测模型进行校正,在此不做限定。其中,可以基于ssd算法、faster-rcnn算法、yolo算法等对所述预设神经网络进行训练,在此不再赘述。
步骤S230:采集预览图像,将所述预览图像输入已训练的目标检测模型。
步骤S240:获取所述已训练的目标检测模型输出的信息。
其中,步骤S230-步骤S240的具体描述请参阅步骤S110-步骤S120,在此不再赘述。
步骤S250:当读取到所述信息包括所述预览图像中遮挡物的位置信息时,获取所述遮挡区域的面积和所述预览图像的面积,并计算所述遮挡区域的面积和所述预览图像的面积的面积比。
在本实施例中,该位置信息为遮挡物在预览图像中的遮挡区域,如图3和图4所示,其中,在图3中,A用于表示预览图像,B用于表示遮挡物,在图4中,C用于表示该遮挡物B在预览图像A中的遮挡区域。因此,作为一种方式,在读取到该信息包括预览图像A中遮挡物B的位置信息时,可以基于该遮挡物B的位置信息获取该遮挡物B对应的遮挡区域C,可以理解的,该遮挡区域C的大小至少等于该遮挡物B,也就是说,该遮挡区域C的大小可以与遮挡物B的大小相同,该遮挡区域C的大小也可以大于遮挡物B的大小,另外,该遮挡区域C的形状可以与遮挡物B的形状相同,也可以与遮挡物B的形状不同,且该遮挡区域C的形状可以为不规则多边形、可以为圆形、可以为椭圆形、可以为规则多边形等,可选地,图4所示的遮挡物B为手指,且该遮挡区域C为矩形。
作为一种方式,在确定该遮挡物在预览图像中的遮挡区域时,可以获取该遮挡区域的面积和预览图像的面积,然后再基于该遮挡区域的面积和预览图像的面积计算该遮挡区域和预览图像之间的面积比。如图4所示,则该遮挡区域C的面积可以通过该遮挡区域C的长和宽的乘积计算,该遮挡区域C的面积记为S1,该预览图像A的面积可以通过该预览图像A的长和宽的乘积计算,该预览图像A的面积记为S2,则可以计算该遮挡区域C的面积S1和所述预览图像A的面积S2的面积比S2/S1。另外,该预览图像A的面积S2可以是固定值,在此不做限定。
步骤S260:判断所述面积比是否小于预设面积比。
在本实施例中,所述移动终端设置有预设面积比,其中,该预设面积比可以预先设置完成,也可以在进行判断时再进行设置,另外,该预设面积比可以预先存储在移动终端本地,也可以预先存储在服务器,在此不做限定。作为一种方式,在获取到遮挡区域的面积和预览图像的面积的面积比后,将该面积比与预设面积比进行比较,以判断该面积比是否小于该预设面积比,可以理解的,当该面积比的值小于该预设面积比的值时,可以确定该面积比小于预设面积比;当该面积比的值不小于预设面积比的值时,可以确定该面积比不小于该预设面积比。
步骤S270:当所述面积比小于所述预设面积比时,对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像。
其中,当确定该遮挡区域的面积和预览图像的面积的面积比小于该预设面积比时,表征该遮挡物对应的遮挡区域在预览图像中所占的比例较小,将该遮挡区域裁剪后对于照片的整体质量影响较小,因此,作为一种方式,当确定该遮挡区域的面积和预览图像的面积的面积比小于该预设面积比时,可以将该预览图像中的遮挡区域进行裁剪,以获得不包括该遮挡区域的目标图像。
相反的,当确定该遮挡区域的面积和预览图像的面积的面积比不小于该预设面积比时,表征该遮挡物对应的遮挡区域在预览图像中所占的比例较大,将该遮挡区域裁剪后对于照片的整体质量影响较大,因此,作为一种方式,当确定该遮挡区域的面积和预览图像的面积的面积比不小于该预设面积比时,可以不进行预览图像中遮挡区域的裁剪,并发出提示信息,其中,该提示信息用于提示用户重新采集图像,以获取质量更加的目标图像。
请参阅图5,图5示出了本申请的图2所示的拍照处理方法的步骤S270的流程示意图。下面将针对图5所示的流程进行详细的阐述,所述方法具体可以包括以下步骤:
步骤S271:基于所述遮挡区域获取所述预览图像中的无效区域,其中,所述无效区域为在所述预览图像中的图像坐标系下与所述遮挡区域存在相同坐标的区域。
请参阅图6,作为一种方式,在获取遮挡区域C后,可以基于该遮挡区域C获取该预览图像中的无效区域D,其中,该无效区域D为在预览图像A中的坐标系下与遮挡区域C存在相同坐标的区域。例如,若该遮挡区域C为横坐标为[0,2],纵坐标为[4,5],那么,该无效区域D包括横坐标为[0,2]或者纵坐标为[4,5]的所有区域。可以理解的,若该遮挡区域C的形状为矩形,那么,该无效区域D的形状为两个矩形组成的不规则多边形;若该遮挡区域C的形状为圆形,那么,该无效区域D的形状也可以为两个矩形组成的不规则多边形,在此不做限定。
另外,若该无效区域不在预览图像的边缘位置时,那么,可以将无效区域扩展至预览图像的边缘位置,例如,若该预览图像的坐标信息为横坐标[0,8],纵坐标[0,6],若该遮挡区域C为横坐标为[0,2],纵坐标为[4,5],那么,可以确定该遮挡区域的纵坐标不在预览图像的边缘位置,此时,可以将该无效区域D的纵坐标扩展至预览图像A的边缘位置,即该无效区域D可以包括横坐标为[0,2]或者纵坐标为[4,6]的所有区域。
步骤S272:对所述预览图像中的所述无效区域进行裁剪,获得不包括所述无效区域的目标图像。
在本实施例中,在确定遮挡物在预览图像中形成的无效区域后,可以基于该无效区域对预览图像进行自动裁剪,可以理解的,可以基于无效区域的边缘位置对无效区域进行裁剪,以获得不包括遮挡物并规则的目标图像,如图6所示,其中,在图6中,E用于表征目标图像,从而可以提升目标图像的展示效果。
请参阅图7,图7示出了本申请的图5所示的拍照处理方法的步骤S272的流程示意图。下面将针对图7所示的流程进行详细的阐述,所述方法具体可以包括以下步骤:
步骤S2721:判断所述无效区域中是否包括所述预览图像中聚焦的目标物体。
作为一种方式,获取移动终端采集的预览图像中摄像头焦点对准的目标物体,可以理解的,摄像头焦点对准的目标物体为预览图像中聚焦的物体,即为用户期望拍摄的物体,因此,可以认为用户期望拍摄该目标物体的完整照片。作为一种可实施的方式,当确定无效区域后,可以进一步判断该无效区域中是否包括有预览图像中聚焦的目标物体,可以理解的,若该无效区域中包括目标物体且将该无效区域裁剪,那么,最终生成的目标图像则不包括该目标物体的完整照片,不满足用户需求,因此,可以对无效区域中是否包括目标物体进行检测并判断,以提升用户体验。
步骤S2722:当所述无效区域中包括所述预览图像中聚焦的目标物体时,发出提示信息,其中,所述提示信息用于提示用户重新采集图像。
作为一种实施方式,若该无效区域中包括该目标物体时,表征裁剪后无法生成包括完整目标物体的目标图像,因此,可以不对该预览图像的无效区域进行裁剪并发出提示信息,其中,该提示信息用于提示用户重新采集图像,以重新获取完整的目标图像,在本实施例中,该提示信息可以包括声音提示、振动提示、文字提示、图片提示等,在此不做限定。
作为另一种方式,若该无效区域中包括该目标物体时,表征自动裁剪后无法生成包括完整目标物体的目标图像,因此,可以不直接自动对该预览图像的无效区域进行裁剪并展示可操作界面,其中,该可操作界面可以用于用户选择是否对无效区域进行裁剪,并在接收到用户指示进行裁剪的指令信息时,展示裁剪框,其中,该裁剪框用于用户自动框选裁剪区域,以进一步地满足用户的裁剪需要。
步骤S2723:当所述无效区域中不包括所述预览图像中聚焦的目标物体时,对所述预览图像中的所述无效区域进行裁剪,获得所述预览图像中除所述无效区域之外的有效区域。
其中,当无效区域中不包括预览图像中聚焦的目标物体时,表征裁剪后可以生成包括完成目标物体的目标图像,因此,可以直接对该预览图像的无效区域进行裁剪,以获取预览图像中除无效区域之外的有效区域,如图8所示,其中,图8中的F用于表征有效区域。即对预览图像A中的无效区域D进行裁剪,获得有效区域F。
步骤S2724:将所述有效区域进行缩放处理,获得不包括所述无效区域的目标图像,其中,所述目标图像的长宽比例与所述预览图像的长宽比例一致。
进一步地,由于有效区域为对预览图像中的无效区域进行裁剪后获得,因此,该有效区域的长宽比例可能存在不协调的问题,从而使得裁剪后的目标图像不自然,因此,作为一种方式,可以基于有效区域的长宽比例进行缩放处理,以获得更加协调的目标图像。在本实施例中,可以将有效区域进行缩放处理,获得不包括无效区域的目标图像,且该目标图像的长宽比例与预览图像的长宽比例一致,具体地,获取有效区域的长宽比例并获取该预览图像的长宽比例,然后判断该有效区域的长宽比例是否与预览图像的长宽比例一致,若该有效区域的长宽比例与预览图像的长宽比例一致,可以保留该有效区域并将有效区域作为目标图像;若该有效区域的长宽比例与预览图像的长宽比例不一致,则基于预览图像的长宽比例对有效区域进行调整,以获得与预览图像的长宽比例一致的目标图像。其中,该预览图像的长宽比例可以是固定值,在此不做限定。
如图8所示,在图8中,若有效区域F的长宽比例与预览图像A的长宽比例不一致,将有效区域F作为目标图像时展示效果较差,因此,可以基于该预览图像A的长宽比例对有效区域F进行调整,以获得与预览图像A的长宽比例一致的目标图像G,如图9所示,从而提升目标图像的展示效果。
本申请又一个实施例提供的拍照处理方法,获得存在遮挡物的多个原始图像和注明遮挡物在原始图像中的位置信息的多个标签信息,其中,多个原始图像和多个标签信息一一对应,基于多个原始图像和多个标签信息对预设神经网络进行训练,获得目标检测模型。采集预览图像,将该预览图像输入已训练的目标检测模型,获得已训练的目标检测模型输出的信息,当读取到该信息包括预览图像中遮挡物的位置信息时,获取该遮挡区域的面积和预览图像的面积,并计算该遮挡区域的面积和预览图像的面积的面积比,判断该面积比是否小于预设面积比,当该面积小于预设面积比时,对预览图像中的遮挡区域进行裁剪,获得不包括该遮挡区域的目标图像。相较于图1所示的拍照处理方法,本实施还预先训练并创建目标检测模型,同时,本实施例在遮挡区域的面积和预览图像的面积的面积比小于预设面积比时,对预览图像中的遮挡区域进行裁剪,保证目标图像的展示效果。
请参阅图10,图10示出了本申请实施例提供的拍照处理装置200的模块框图。该拍照处理装置200应用于上述移动终端100。下面将针对图10所示的框图进行阐述,所述拍照处理装置200包括:图像采集模块210、信息获取模块220以及图像裁剪模块230,其中:
图像采集模块210,用于采集预览图像,将所述预览图像输入已训练的目标检测模型。
信息获取模块220,用于获取所述已训练的目标检测模型输出的信息。
图像裁剪模块230,用于当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。进一步地,当所述位置信息为所述遮挡物在所述预览图像中的遮挡区域时,所述图像裁剪模块230包括:面积获取子模块、面积判断子模块以及图像裁剪子模块,其中:
面积获取子模块,用于获取所述遮挡区域的面积和所述预览图像的面积,并计算所述遮挡区域的面积和所述预览图像的面积的面积比;
面积判断子模块,用于判断所述面积比是否小于预设面积比;
图像裁剪子模块,用于当所述面积比小于所述预设面积比时,执行对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像。进一步地,所述图像裁剪子模块包括:无效区域获取单元、无效区域裁剪单元,其中:
无效区域获取单元,用于基于所述遮挡区域获取所述预览图像中的无效区域,其中,所述无效区域为在所述预览图像中的图像坐标系下与所述遮挡区域存在相同坐标的区域。
无效区域裁剪单元,用于对所述预览图像中的所述无效区域进行裁剪,获得不包括所述无效区域的目标图像。进一步地,所述无效区域裁剪单元包括:无效区域判断子单元、提示信息发送至单元、无效区域裁剪子单元以及有效区域缩放子单元,其中:
无效区域判断子单元,用于判断所述无效区域中是否包括所述预览图像中聚焦的目标物体。
提示信息发送子单元,用于当所述无效区域中包括所述预览图像中聚焦的目标物体时,发出提示信息,其中,所述提示信息用于提示用户重新采集图像。
无效区域裁剪子单元,用于当所述无效区域中不包括所述预览图像中聚焦的目标物体时,执行对所述预览图像中的所述无效区域进行裁剪,获得所述预览图像中除所述无效区域之外的有效区域。
有效区域缩放子单元,用于将所述有效区域进行缩放处理,获得不包括所述无效区域的目标图像,其中,所述目标图像的长宽比例与所述预览图像的长宽比例一致。
进一步地,所述拍照处理装置200还包括:标签获取模块和模型训练模块,其中:
标签获取模块,用于获取存在遮挡物的多个原始图像和注明遮挡物在所述原始图像中的位置信息的多个标签信息,其中,所述多个原始图像和所述多个标签信息一一对应。
模型训练模块,用于基于所述多个原始图像和所述多个标签信息对预设神经网络进行训练,获得所述已训练的目标检测模型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图11,其示出了本申请实施例提供的一种移动终端100的结构框图。该移动终端100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的移动终端100可以包括一个或多个如下部件:处理器110、存储器120、屏幕130、摄像头140以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中,处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
屏幕130用于显示由用户输入的信息、提供给用户的信息以及所述移动终端100的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成,在一个实例中,该屏幕130可以为液晶显示器(Liquid Crystal Display,LCD),也可以为有机发光二极管(Organic Light-Emitting Diode,OLED),在此不做限定。
摄像头140可以固定设置于移动终端100,可以滑动设置于移动终端100,也可以转动设置于移动终端100,在此不做限定。
请参阅图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述,本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质,采集预览图像,将该预览图像输入已训练的目标检测模型,获取已训练的目标检测模型输出的信息,当读取到该信息包括预览图像中遮挡物的位置信息时,基于该位置信息对该预览图像进行裁剪,获得不包括该遮挡物的目标图像,从而通过已训练的目标检测模型对预览图像进行遮挡检测,并根据检测结果输出遮挡物的位置信息以提供裁剪的依据,从而获得不包括遮挡物的目标图像,提升拍摄效果。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种拍照处理方法,其特征在于,所述方法包括:
采集预览图像,将所述预览图像输入已训练的目标检测模型;
获取所述已训练的目标检测模型输出的信息;
当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述已训练的目标检测模型用于检测所述预览图像中是否有遮挡物以及在检测到所述预览图像中有遮挡物时,输出所述遮挡物在所述预览图像中的位置信息。
3.根据权利要求1所述的方法,其特征在于,当所述位置信息为所述遮挡物在所述预览图像中的遮挡区域时,所述基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像,包括:
对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像。
4.根据权利要求3所述的方法,其特征在于,所述对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像,包括:
基于所述遮挡区域获取所述预览图像中的无效区域,其中,所述无效区域为在所述预览图像中的图像坐标系下与所述遮挡区域存在相同坐标的区域;
对所述预览图像中的所述无效区域进行裁剪,获得不包括所述无效区域的目标图像。
5.根据权利要求4所述的方法,其特征在于,所述对所述预览图像中的所述无效区域进行裁剪,获得不包括所述无效区域的目标图像,包括:
对所述预览图像中的所述无效区域进行裁剪,获得所述预览图像中除所述无效区域之外的有效区域;
将所述有效区域进行缩放处理,获得不包括所述无效区域的目标图像,其中,所述目标图像的长宽比例与所述预览图像的长宽比例一致。
6.根据权利要求5所述的方法,其特征在于,所述对所述预览图像中的所述无效区域进行裁剪,获得所述预览图像中除所述无效区域之外的有效区域之前,还包括:
判断所述无效区域中是否包括所述预览图像中聚焦的目标物体;
当所述无效区域中包括所述预览图像中聚焦的目标物体时,发出提示信息,其中,所述提示信息用于提示用户重新采集图像;
当所述无效区域中不包括所述预览图像中聚焦的目标物体时,执行对所述预览图像中的所述无效区域进行裁剪,获得所述预览图像中除所述无效区域之外的有效区域。
7.根据权利要求3-6任一项所述的方法,其特征在于,所述对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像之前,还包括:
获取所述遮挡区域的面积和所述预览图像的面积,并计算所述遮挡区域的面积和所述预览图像的面积的面积比;
判断所述面积比是否小于预设面积比;
当所述面积比小于所述预设面积比时,执行对所述预览图像中的遮挡区域进行裁剪,获得不包括所述遮挡区域的目标图像。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述采集预览图像,将所述预览图像输入已训练的目标检测模型之前,还包括:
获取存在遮挡物的多个原始图像和注明遮挡物在所述原始图像中的位置信息的多个标签信息,其中,所述多个原始图像和所述多个标签信息一一对应;
基于所述多个原始图像和所述多个标签信息对预设神经网络进行训练,获得所述已训练的目标检测模型。
9.一种拍照处理装置,其特征在于,所述装置包括:
图像采集模块,用于采集预览图像,将所述预览图像输入已训练的目标检测模型;
信息获取模块,用于获取所述已训练的目标检测模型输出的信息;
图像裁剪模块,用于当读取到所述信息包括所述预览图像中遮挡物的位置信息时,基于所述位置信息对所述预览图像进行裁剪,获得不包括所述遮挡物的目标图像。
10.一种移动终端,其特征在于,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
CN201910204839.XA 2019-03-18 2019-03-18 拍照处理方法、装置、移动终端以及存储介质 Pending CN109948525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910204839.XA CN109948525A (zh) 2019-03-18 2019-03-18 拍照处理方法、装置、移动终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910204839.XA CN109948525A (zh) 2019-03-18 2019-03-18 拍照处理方法、装置、移动终端以及存储介质

Publications (1)

Publication Number Publication Date
CN109948525A true CN109948525A (zh) 2019-06-28

Family

ID=67010189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910204839.XA Pending CN109948525A (zh) 2019-03-18 2019-03-18 拍照处理方法、装置、移动终端以及存储介质

Country Status (1)

Country Link
CN (1) CN109948525A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110645986A (zh) * 2019-09-27 2020-01-03 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110677586A (zh) * 2019-10-09 2020-01-10 Oppo广东移动通信有限公司 图像显示方法、图像显示装置及移动终端
CN111753783A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN112162672A (zh) * 2020-10-19 2021-01-01 腾讯科技(深圳)有限公司 信息流的显示处理方法、装置、电子设备及存储介质
CN112200040A (zh) * 2020-09-28 2021-01-08 北京小米松果电子有限公司 遮挡图像检测方法、装置及介质
CN113014846A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 一种视频采集控制方法、电子设备、计算机可读存储介质
CN115311589A (zh) * 2022-10-12 2022-11-08 山东乾元泽孚科技股份有限公司 一种用于采光建筑的隐患处理方法及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917546A (zh) * 2009-03-19 2010-12-15 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104639748A (zh) * 2015-01-30 2015-05-20 深圳市中兴移动通信有限公司 基于无边框手机的桌面背景显示方法及装置
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
JP2017142133A (ja) * 2016-02-09 2017-08-17 株式会社イシダ 光検査装置
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108573499A (zh) * 2018-03-16 2018-09-25 东华大学 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测***及方法
CN108683845A (zh) * 2018-05-14 2018-10-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108765380A (zh) * 2018-05-14 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、***及计算机存储介质
CN109361874A (zh) * 2018-12-19 2019-02-19 维沃移动通信有限公司 一种拍照方法及终端

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917546A (zh) * 2009-03-19 2010-12-15 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104639748A (zh) * 2015-01-30 2015-05-20 深圳市中兴移动通信有限公司 基于无边框手机的桌面背景显示方法及装置
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
JP2017142133A (ja) * 2016-02-09 2017-08-17 株式会社イシダ 光検査装置
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、***及计算机存储介质
CN108573499A (zh) * 2018-03-16 2018-09-25 东华大学 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108683845A (zh) * 2018-05-14 2018-10-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108765380A (zh) * 2018-05-14 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测***及方法
CN109361874A (zh) * 2018-12-19 2019-02-19 维沃移动通信有限公司 一种拍照方法及终端

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110645986A (zh) * 2019-09-27 2020-01-03 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110677586A (zh) * 2019-10-09 2020-01-10 Oppo广东移动通信有限公司 图像显示方法、图像显示装置及移动终端
CN110677586B (zh) * 2019-10-09 2021-06-25 Oppo广东移动通信有限公司 图像显示方法、图像显示装置及移动终端
US11770603B2 (en) 2019-10-09 2023-09-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image display method having visual effect of increasing size of target image, mobile terminal, and computer-readable storage medium
CN113014846A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 一种视频采集控制方法、电子设备、计算机可读存储介质
CN111753783A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN111753783B (zh) * 2020-06-30 2024-05-28 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN112200040A (zh) * 2020-09-28 2021-01-08 北京小米松果电子有限公司 遮挡图像检测方法、装置及介质
CN112162672A (zh) * 2020-10-19 2021-01-01 腾讯科技(深圳)有限公司 信息流的显示处理方法、装置、电子设备及存储介质
CN115311589A (zh) * 2022-10-12 2022-11-08 山东乾元泽孚科技股份有限公司 一种用于采光建筑的隐患处理方法及设备

Similar Documents

Publication Publication Date Title
CN109948525A (zh) 拍照处理方法、装置、移动终端以及存储介质
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
JP6357589B2 (ja) 画像表示方法、装置、プログラムおよび記録媒体
CN108566516B (zh) 图像处理方法、装置、存储介质及移动终端
CN109951635A (zh) 拍照处理方法、装置、移动终端以及存储介质
CN109978805A (zh) 拍照处理方法、装置、移动终端以及存储介质
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN107230187A (zh) 多媒体信息处理的方法和装置
US20150077591A1 (en) Information processing device and information processing method
CN106570110A (zh) 图像去重方法及装置
CN106648424B (zh) 截图方法及装置
CN107168619B (zh) 用户生成内容处理方法和装置
JP2017511035A (ja) 画像デバイスにおける写真構図および位置ガイダンス
WO2020192692A1 (zh) 图像处理方法以及相关设备
CN109951636A (zh) 拍照处理方法、装置、移动终端以及存储介质
CN106682652B (zh) 基于增强现实的结构表面病害巡检和分析方法
US20130076941A1 (en) Systems And Methods For Editing Digital Photos Using Surrounding Context
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
WO2023025010A1 (zh) 频闪条带信息识别方法、装置和电子设备
CN109587559A (zh) 视频处理方法、装置、电子设备以及存储介质
CN108494996A (zh) 图像处理方法、装置、存储介质及移动终端
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN104580892A (zh) 一种终端拍照的方法
WO2015196681A1 (zh) 一种图片处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628

RJ01 Rejection of invention patent application after publication