CN110633377A

CN110633377A - 一种图片清理方法和装置

Info

Publication number: CN110633377A
Application number: CN201910897399.0A
Authority: CN
Inventors: 王凯帆; 周鹏
Original assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Current assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Priority date: 2019-09-23
Filing date: 2019-09-23
Publication date: 2019-12-31

Abstract

本申请公开了一种图片清理方法和装置，其中方法包括：对于待清理图片集合中的每张图片，利用基于神经网络训练得到的图片美学模型，对该图片进行评分，并根据评分的结果和预设的图片分级策略，确定该图片的等级；根据图片的等级和当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片，并采用预设的提醒方式，将所述推荐保留的图片通知给用户；当接收到用户的一键删除指令时，根据当前的图片保留等级阈值，确定当前需要删除的图片并删除。采用本发明，能够有效提高图片清理的效率和便捷性，且能保留用户喜欢的图片。

Description

一种图片清理方法和装置

技术领域

本发明涉及计算机应用技术，特别是涉及一种图片清理方法和装置。

背景技术

随着移动终端的普及和摄像头功能的逐步提升，拍照成为最基本也是最常用的功能之一，无论是旅游，朋友聚会还是记录生活，随手拍几张相片成为了留念或娱乐的最基本方式，为了能抓住最美好的瞬间，人们往往会用不同的方式对同一画面拍摄多次，横拍，竖拍，连拍甚至是高速连拍，以避免模糊，闭眼等影响照片质量的情况发生。然而，由于移动终端存储的限制，过多的相片特别是多张类似的相片，极大地影响了手机存储效率以及图片检索的速度，这时，相册图片的清理成为了用户最头疼的问题，面对庞大的照片数量，一个个点开查看的清理方式，成为了一个既耗时又难以完成的任务。

针对相册图片的清理，目前传统的解决方案通常只是按照拍摄地理位置，日期，或简单识别图片内容为用户提供简单分类，然后再由用户通过手动一张张点开进行对比，选择出需要清除的照片，此类方法需要用户一一筛选，因此存在操作复杂、效率低的问题，并且此类方法需要用户在多张相似照片中进行取舍，这种取舍往往会造成很多用户感受痛苦。

目前也提出了一些基于人工智能(AI)的解决方案，此类方案通常采用的解决方法是：根据预先设置的特征对图片质量进行评价，然后根据评价结果为用户推荐保留的图片。上述基于AI的解决方案，由于仅是根据图片质量，而不考虑图片的整体美感给出评分，因此，无法确保所推荐的图片为用户认为最美的图片。并且每个人对美的评判标准不同，上述基于AI的解决方案中，根据预先设置的特征，来对图片进行评价的方式，也无法确保所推荐的图片与用户的审美喜好所匹配。

发明内容

有鉴于此，本发明的主要目的在于提供一种图片清理方法和装置，能够有效提高图片清理的效率和便捷性，且能保留用户喜欢的图片。

为了达到上述目的，本发明提出的技术方案为：

一种图片清理方法，包括：

对于待清理图片集合中的每张图片，利用基于神经网络训练得到的图片美学模型，对该图片进行评分，并根据评分的结果和预设的图片分级策略，确定该图片的等级；

根据图片的等级和当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片，并采用预设的提醒方式，将所述推荐保留的图片通知给用户；

当接收到用户的一键删除指令时，根据当前的图片保留等级阈值，确定当前需要删除的图片并删除。

较佳地，用于训练所述图片美学模型的样本图片的分值依据样本图片被使用的情况数据得到，所述被使用的情况数据包括查看次数、点赞次数、分享次数和/或收藏次数。

较佳地，所述方法进一步包括：

当接收到用户的图片等级调整指令时，根据所述图片等级调整指令，对相应图片进行等级调整。

较佳地，所述方法进一步包括：

所述等级调整完成后，则将被调整的图片作为新的训练样本，对所述图片美学模型再次进行训练。

较佳地，将所述推荐保留的图片通知给用户包括：

利用预设的推荐标志，标识所述推荐保留的图片。

较佳地，所述方法进一步包括：

在将所述推荐保留的图片通知给用户之前，按照图片相似度，对待清理图片集合中的图片进行分组；

在将所述推荐保留的图片通知给用户时，根据所述分组的结果，以图片分组的方式，显示所述待清理图片集合中的图片。

较佳地，所述根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片包括：

将待清理图片集合中等级不小于当前的图片保留等级阈值的图片，设置为推荐保留的图片。

对于所述分组后得到的每一组图片，如果该组图片仅包含一张图片，则将该张图片设置为推荐保留的图片；如果该组图片包含至少两张图片，则将该组图片中等级不小于当前的图片保留等级阈值的图片，设置为推荐保留的图片。

一种图片清理装置，包括：处理器，所述处理器用于：

较佳地，所述处理器进一步用于：

较佳地，所述处理器具体用于：将所述推荐保留的图片通知给用户，包括：利用预设的推荐标志，标识所述推荐保留的图片。

较佳地，所述处理器进一步用于：

较佳地，所述处理器具体用于：根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片，包括：

较佳地，所述处理器具体用于：根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片包括：

本申请还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的图片清理方法的步骤。

本申请还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

综上所述，本发明提出的图片清理方法和装置，利用基于神经网络训练得到的图片美学模型，对待清理图片集合中的每张图片进行评分，根据评分的结果确定对应的等级；然后，根据图片的等级和当前的图片保留等级阈值，确定推荐保留的图片并通知给用户；当接收到用户的一键删除指令时，将会根据当前的图片保留等级阈值，确定当前需要删除的图片并删除。如此，利用神经网络训练得到的图片美学模型，可以根据用户的审美偏好，自动筛选出需要保留的图片，并且用户通过一键删除指令即可实现图片的自动清理，因此，采用本发明，能够有效提高图片清理的效率和便捷性，且能保留用户喜欢的图片。

附图说明

图1为本发明实施例的方法流程示意图；

图2～图6为本发明实施例一的实现示意图；

图7～图11为本发明实施例二的实现示意图；

图12～图15为本发明实施例三的实现示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

图1为本发明实施例的方法流程示意图，如图1所示，该实施例实现的图片清理方法主要包括：

步骤101、对于待清理图片集合中的每张图片，利用基于神经网络训练得到的图片美学模型，对该图片进行评分，并根据评分的结果和预设的图片分级策略，确定该图片的等级。

本步骤中与现有方案不同的是，考虑图片的整体美感，利用基于神经网络训练得到的图片美学模型，对图片进行评分，如此可以确保评分的结果较大程度地与用户的喜好相匹配。

在实际应用中，在初始训练所述图片美学模型时，可以基于公共美学数据集(如AVA数据集、AROD数据集等)，通过训练CNN网络(较佳的，可以是ResNET)，生成图片美学模型。由于图片美学模型的训练样本是公共美学数据，因此，可以确保图片美学模型能够筛选出符合公共审美要求的图片。

较佳地，为了使得图片美学模型的评分结果更好地与用户的审美喜好相匹配，用于训练所述图片美学模型的样本图片的分值可以依据样本图片被使用的情况数据得到，所述被使用的情况数据包括查看次数、点赞次数、分享次数和/或收藏次数。

在初始训练图片美学模型时，以使用AROD数据集为例，AROD数据集是以图片查看次数和点赞次数标注其美学评分的，以点赞次数和查看次数可以设计出评价图片的美学模型，该模型可以作为对输入图片评分的标注。然后按评分进行分类，对于每类图片，首先进行降采样操作，可将图片大小降为224×224×3，虽然降采样会丢失图片细节，但没有改变图片的风格，内容，结构等属性，然后将降采样图片输入残差网络(Residual NeuralNetworkResNet)深度学习模型，通过该网络，对于不同评分的图片，可以自动学习其特征值，从而可以将习得的特征值和评分做了一一对应，该映射关系即为生成的图片美学模型。

所述图片美学模型的具体训练方法为本领域技术人员所掌握，在此不再赘述。

所述图片分级策略具体为图片的分值与等级之间的映射关系，两者是正比关系，即高分值对应高等级，低分值对应低等级，具体可由本领域技术人员根据实际需要设置。

步骤102、根据图片的等级和当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片，并采用预设的提醒方式，将所述推荐保留的图片通知给用户。

本步骤将根据图片的等级，筛选出需要保留的图片，并通知给用户。

所述提醒方式具体可由本领域技术人员根据实际需要进行设置，例如，可以，通过标星为用户推荐保留图片，但不限于此。

较佳地，本步骤中可以采用下述方法根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片：

较佳地，为了便于实现，可以采用下述方法将所述推荐保留的图片通知给用户：

利用预设的推荐标志，标识所述推荐保留的图片。

具体的所述推荐标志可由本领域技术人员或用户根据实际需要或喜好设置，例如，可以为星星或其他图形或符号表示图片的级别，利用不同颜色表示不同的等级，例如星星颜色按照“绿”，“黄”，“灰”，“空心”依次改变，以对应不同等级。

步骤103、当接收到用户的一键删除指令时，根据当前的图片保留等级阈值，确定当前需要删除的图片并删除。

这里，通过将图片的等级与图片保留等级阈值相比较，即可确定出相应图片是否需要删除，即如果图片等级小于该图片保留等级阈值则需要删除。

为了便于用户操作，本步骤允许用户可以通过一键删除指令，触发删除所有不需要保留的图片。

较佳地，为了提高图片等级设置的灵活性，以更好地满足用户的图片保存需求，用户可以自己对图片的等级进行调整。这样，用户可以通过调整图片的等级，将图片的等级设置到图片保留等级阈值以上或以下，从而使得用户可以自主地控制图片的保留或清除，具体可以采用下述方法实现这一目的：

较佳地，为了使得所述图片美学模型更好地与当前用户的审美喜好所匹配，当用户对图片的等级进行调整后，可以利用相应图片和调整后的等级对图片美学模型再次进行训练，这样，通过不断地学习用户调整的图片，可以逐步得到符合用户偏好的图片美学模型。具体地，可以采用下述方法实现：

在实际应用中，图片美学模型的训练可以通过手机本地训练，也可通过将图片上传到云端或个人资源不受限的终端进行训练，由于个人资源不受限的终端或云端可存储大量数据集，训练模型更加准确，特别是在云端训练也可极大地节省手机资源，只需要将云端训练好的模型下载到手机保存，供下次评分使用即可，但训练方式包含且不限于上述方法。

较佳地，为了便于用户浏览图片，可以对图片进行分组，对于每组，仅展示要保留的图片及该组图片的个数，较佳的分组方法可以采用下述方法实现：

上述方法中，将图片按照相似度进行分组。在实际应用中，对于分组方式，可以按照终端处理性能的不同考虑不同的实现方法，若对手机相册中的图片进行分类，考虑到目前手机性能和资源的限制，分类方法可以采用传统方法，如感知哈希，直方图相交法，中心矩等，随着手机性能的提升以及手机端模型训练方法的成熟，未来可以使用准确度更高的深度学习分类的方式，如Siamese Network等。若对性能较好且没有资源限制的终端相册图片进行分类，可直接采用深度学习的方法。

较佳地，当采用分组的方式展示图片时，步骤102中可以采用下述方法根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片：

需要说明的是，本发明实施例的图片清理方法不仅适用于手机、平板、pc等智能终端，凡涉及图库清理等相关场景均适用。

下面结合几种具体应用场景下的实施例对本发明作进一步阐述：

实施例一：用户使用相册智能清理功能，一键清除评分较差的相片：

1)用户点击相册app，进入界面，参考图2。

2)点击右上角设置按钮，选择智能清除，参考图3。

3)相册对近似图片进行智能分类，并根据生成的模型对每组有多张图片的分类进行评分。展示给用户要保留的图片及每组图片的个数，给用户所见即所得的简单体验。参考图4。

4)用户点击一键删除按钮，弹出对话框，用户可选择“是”，***仅保留只有一张图片的分组和标记为绿色星星的图片。参考图5、图6。

实施例二：用户选择对全局图片进行智能清除

1)用户点击相册app，进入界面，参考图7。

2)点击右上角设置按钮，选择设置，在智能清理设置栏中选择所有图片，参考图8。

3)相册对所有图片进行智能分类，并根据生成的模型对所有分类好的图片进行评分。按照不同分数在图片上标星，有多张近似的图片的组仅展示要保留的图片及该组图片的个数。参考图9。

4)用户点击一键删除按钮，弹出对话框，用户可选择“是”，***仅保留标记为绿色星星的图片，该设置下，评分较差的单张图片也会被删除。参考图10、11。

上述实施例一和二中，用户没有手动选择喜欢的图片，所以无需使用用户选择的图片进行模型的迭代训练。

实施例三：用户浏览，手动选择喜欢的图片，再进行清除操作

1)用户点击相册app，进入界面。

2)点击右上角设置按钮，选择智能清除，参考图12。

3)相册对图片进行智能分类，并根据生成的模型对分类好的图片进行评分。按照不同分数在图片上标星，展示要保留的图片及单张图片。

4)用户可以浏览图片，若发现***评分不满意的图片或想进一步查看的图片，可点击该图片，若图片所在组有多张近似图片，将为用户展示该组所有图片及分数，如图13、图14。

5)用户可对比该组图片，挑选自己喜欢的图片，点击标星。参考图14、图15。

6)点击一键删除按钮，弹出对话框，用户可选择“是”，***将保留评分较高的和用户按照喜好提升过级别的图片，删除其余图片。

7)使用用户标记的图片对模型进行迭代训练。

与上述方法实施例相对应，本发明还提供了相应的图片清理装置，包括：处理器，所述处理器用于：

较佳地，所述处理器进一步用于：

此外，本申请还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的图片清理方法的步骤。

此外，本申请还提供了一种电子设备，包括如上所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图片清理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，用于训练所述图片美学模型的样本图片的分值依据样本图片被使用的情况数据得到，所述被使用的情况数据包括查看次数、点赞次数、分享次数和/或收藏次数。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：

所述等级调整完成后，将被调整的图片作为新的训练样本，对所述图片美学模型再次进行训练。

5.根据权利要求1所述的方法，其特征在于，将所述推荐保留的图片通知给用户包括：

利用预设的推荐标志，标识所述推荐保留的图片。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

7.根据权利要求1所述的方法，其特征在于，所述根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片包括：

8.根据权利要求6所述的方法，其特征在于，所述根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片包括：

9.一种图片清理装置，其特征在于，，其特征在于，包括：处理器，所述处理器用于：

10.根据权利要求9所述的装置，其特征在于，用于训练所述图片美学模型的样本图片的分值依据样本图片被使用的情况数据得到，所述被使用的情况数据包括查看次数、点赞次数、分享次数和/或收藏次数。

11.根据权利要求9所述的装置，其特征在于，所述处理器进一步用于：

12.根据权利要求11所述的装置，其特征在于，所述处理器进一步用于：

13.根据权利要求9所述的装置，其特征在于，所述处理器具体用于：将所述推荐保留的图片通知给用户，包括：利用预设的推荐标志，标识所述推荐保留的图片。

14.根据权利要求9所述的装置，其特征在于，所述处理器进一步用于：

15.根据权利要求9所述的装置，其特征在于，所述处理器具体用于：根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片，包括：

16.根据权利要求14所述的装置，其特征在于，所述处理器具体用于：根据当前的图片保留等级阈值，确定所述待清理图片集合中推荐保留的图片包括：

17.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8中任一项所述的图片清理方法的步骤。

18.一种电子设备，其特征在于，包括如权利要求17所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。