CN108416337A - 提醒用户清洁镜头的方法及装置 - Google Patents

Abstract

本公开提供一种提醒用户清洁镜头的方法及装置，其中，上述方法包括：获取图像采集装置实时采集的图像；对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；根据所述目标图像，发出提醒用户清洁镜头的提示信息。采用本公开提供的提醒用户清洁镜头的方法，当用户终端的图像采集镜头不洁净时，可以智能提醒用户清洁镜头，提高终端设备的智能化程度，提升用户体验。

Description

提醒用户清洁镜头的方法及装置

技术领域

本公开涉及通信技术领域，尤其涉及一种提醒用户清洁镜头的方法及装置。

背景技术

随着科技的发展，光学图像采集装置在移动终端如智能手机中的应用日益广泛。以智能手机中的摄像头为例，摄像头包括：外置光学镜头和内置图像传感器如CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(ChargeCoupled Device，电耦合元件)等。其中，光学镜头的清洁度对智能手机能否采集到高质量图像至关重要。

由于光学镜头外置于移动终端的前端面板和/或背盖上，当用户手持终端时很容易触碰到镜头，若用户手部不干净，很容易将手上的油渍、灰尘等物质转移至摄像头的光学镜头表面，导致手机采集到的图像不清楚，影响终端的用户使用体验。

发明内容

本公开提供了一种提醒用户清洁镜头的方法及装置，以智能提醒用户清洁图像采集装置的光学镜头。

根据本公开实施例的第一方面，提供了一种提醒用户清洁镜头的方法，所述方法包括：

获取图像采集装置实时采集的图像；

对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

根据所述目标图像，发出提醒用户清洁镜头的提示信息。

可选地，所述对所述图像进行识别，包括：

对实时采集的每一帧图像进行识别；或者，

按照预设时间周期对采集到的所述图像进行识别。

可选地，所述对图像进行图像识别，确定目标图像，包括：

对当前图像进行质量评估，确定待检测图像；

采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

若所述镜头洁净度低于预设洁净度阈值，确定所述当前图像为所述目标图像。

可选地，采用以下至少一种方式对所述图像进行质量评估：

对当前图像进行亮度识别；

对所述当前图像进行纹理识别；

对所述当前图像进行模糊度识别。

可选地，所述对当前图像进行亮度识别，确定待检测图像，包括：

获取所述当前图像的亮度值；

若所述亮度值未超出预设亮度范围，确定所述当前图像为所述待检测图像。

可选地，所述对当前图像进行纹理识别，确定待检测图像，包括：

获取所述当前图像的纹理信息；

若所述纹理信息符合预设图像纹理要求，确定所述当前图像为所述待检测图像。

可选地，所述对当前图像进行模糊度识别，确定待检测图像，包括：

确定所述当前图像的模糊度；

若所述当前图像的模糊度小于或等于预设模糊度阈值，确定所述当前图像为所述待检测图像。

可选地，所述确定所述当前图像的模糊度，包括：

从所述当前图像中均匀提取预设数量的图像块；

采用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

根据所述预设数量的识别结果，确定所述当前图像的模糊度。

可选地，所述采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度，包括：

将所述待检测图像缩小为预设大小的待识别图像；

利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

可选地，所述根据所述目标图像，发出清洁镜头的提示信息，包括：

统计预设时长内所述目标图像的数量；

若所述目标图像的数量超过预设数量阈值，发出用于提醒用户清洁镜头的提示信息。

根据本公开实施例的第二方面，提供了一种提醒用户清洁镜头的装置，所述装置包括：

图像获取模块，被配置为获取图像采集装置实时采集的图像；

图像识别模块，被配置为对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

提醒模块，被配置为根据所述目标图像，发出提醒用户清洁镜头的提示信息。

可选的，所述图像识别模块按照以下任一方式进行识别：

对实时采集的每一帧图像进行识别；或者，

按照预设时间周期对采集到的所述图像进行识别。

可选的，所述图像识别模块包括：

质量评估子模块，被配置为对当前图像进行质量评估，确定待检测图像；

洁净度确定子模块，被配置为采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

目标确定子模块，被配置为在所述镜头洁净度低于预设洁净度阈值的情况下，确定所述当前图像为所述目标图像。

可选的，所述质量评估子模块包括以下至少一种识别单元：

亮度识别单元，被配置为对当前图像进行亮度识别；

纹理识别单元，被配置为对所述当前图像进行纹理识别；

模糊度识别单元，被配置为对所述当前图像进行模糊度识别。

可选的，所述亮度识别单元包括：

亮度值确定子单元，被配置为获取所述当前图像的亮度值；

第一确定子单元，被配置为在所述亮度值未超出预设亮度范围的情况下，确定所述当前图像为所述待检测图像。

可选的，所述纹理识别单元包括：

纹理信息提取子单元，被配置为获取所述当前图像的纹理信息；

第二确定子单元，被配置为在所述纹理信息符合预设图像纹理要求的情况下，确定所述当前图像为所述待检测图像。

可选的，所述模糊度识别单元包括：

模糊度确定子单元，被配置为确定所述当前图像的模糊度；

第三确定子单元，被配置为在所述当前图像的模糊度小于或等于预设模糊度阈值的情况下，确定所述当前图像为所述待检测图像。

可选的，所述模糊度确定子单元包括：

图像块提取单元，被配置为从所述当前图像中均匀提取预设数量的图像块；

识别单元，被配置为采用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

模糊度确定单元，被配置为根据所述预设数量的识别结果，确定所述当前图像的模糊度。

可选的，所述洁净度确定子模块包括：

图像缩小单元，被配置为将所述待检测图像缩小为预设大小的待识别图像；

洁净度确定单元，被配置为利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

可选的，所述提醒模块包括：

统计子模块，被配置为统计预设时长内所述目标图像的数量；

提醒子模块，被配置为在所述目标图像的数量超过预设数量阈值的情况下，发出用于提醒用户清洁镜头的提示信息。

根据本公开实施例的第三方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面任一所述方法的步骤。

根据本公开实施例的第四方面，提供了一种提醒用户清洁镜头的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取图像采集装置实时采集的图像；

对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

根据所述目标图像，发出提醒用户清洁镜头的提示信息。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开中，可以根据图像采集装置实时采集的图像，有效识别采集该图像的光学镜头是否清洁，并在光学镜头清洁度低于预设清洁度阈值的情况下，及时发出提示信息，智能提醒用户对光学镜头进行清理，确保用户可以获取到清晰的高质量图像，提升终端的用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种提醒用户清洁镜头的方法流程图。

图2是本公开根据一示例性实施例示出的一种提醒用户清洁镜头的应用场景示意图。

图3是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图4是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图5是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图6是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图7是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图8是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的场景示意图。

图9是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图10是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图。

图11是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的场景示意图。

图12是本公开根据一示例性实施例示出的一种提醒用户清洁镜头的装置框图。

图13是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图14是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图15是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图16是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图17是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图18是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的场景示意图。

图19是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图20是本公开根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图。

图21是本公开根据一示例性实施例示出的一种用于提醒用户清洁镜头的装置的一结构示意图。

图22是本公开根据一示例性实施例示出的另一种用于提醒用户清洁镜头的装置的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在介绍本公开实施例之前，首先介绍本公开的应用场景：以用户终端是智能手机为例，工作在某些工作场所的人们，例如建筑工地、汽车修理厂中的工人；以及习惯采用手抓方式吃饭的人们等，在使用手机时经常会将手上的污渍转移至手机镜头上，导致用户使用手机拍照或摄像时，拍摄不到清晰图像，影响智能手机的用户体验。

基于此，本公开提供了一种提醒用户清洁镜头的方法，可以应用于用户终端，或者，与所述用户终端网络连接的服务端中。上述用户终端可以是智能手机、个人数字助理、平板电脑、可穿戴设备等电子设备。上述服务端可以是应用服务器、路由器等设备。若上述方法应用于服务端，在具体实现过程中，用户终端与服务端，各自独立，同时又相互联系，共同实现本公开实施例提供的技术方案。为了便于描述，下面从用户终端的角度出发，对本公开实施例进行介绍。

参见图1根据一示例性实施例示出的一种提醒用户清洁镜头的方法流程图，所述方法可以包括：

在步骤11中，获取图像采集装置实时采集的图像；

本公开中，上述图像采集装置可以是智能相机、智能摄像机中的光学图像采集***，也可以是智能手机等用户终端中设置的摄像头。以下以智能手机为例进行详细说明。

智能手机在预设模式下如预设镜头检测模式，或者，摄像头被触发进入图像预览模式，可以自动采集背景图像，并将实时采集的图像发送给所述用户终端的预设图像处理模块进行图像处理，以判断光学镜头在采集所述当前图像时是否洁净。

参见图2根据一示例性实施例示出的一种提醒用户清洁镜头的场景示意图，用户终端如智能手机100在实时采集到图像之后，可以通过网络将图像发送给服务器200，由服务器200执行后序图像质量评估及目标图像识别等处理过程。

在步骤12中，对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

在本公开一实施例中，用户终端可以对采集的每一帧图像进行识别，以及时判断当前摄像头的光学镜头是否洁净。

在本公开另一实施例中，考虑到相邻两帧图像的采集时间间隔很小，若对连续采集的图像进行识别，可能会因相邻图像差别很小导致图像识别不准确，因此，可以按照预设时间周期对采集到的图像进行识别，即对多帧非连续图像进行识别，比如，每间隔5帧进行一次图像识别，确保可以准确地判断镜头是否洁净。

下面以一帧图像为例，对上述图像识别过程进行详细说明。参见图3根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，上述步骤12可以包括：

在步骤121中，对当前图像进行质量评估，确定待检测图像；

其中，所述待检测图像是指可以用作镜头洁净度检测的图像。步骤121的实施为排除无效图像的过程，上述无效图像可以包括：亮度过低或过高、纹理单一、其它因素导致模糊的图像等。

本公开中，可以采用以下至少一种方式对当前图像进行质量评估：

方式一、对当前图像进行亮度识别

参见图4根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，所述步骤121可以包括：

在步骤1211中，确定所述当前图像的亮度值；

根据相关知识，对于获取的原始彩色图像即RGB色彩格式的图像，可以按照预设方式计算其亮度值，比如，将原始彩色图像转换成灰度图像，通过计算所述灰度图中所有像素值的平均值来确定当前图像的亮度值。或者，将上述RGB色彩格式的图像转换为YUV或YCbCr色彩格式的图像，直接根据亮度信号Y值确定当前图像的亮度值。

在步骤1212中，若所述当前图像的亮度值未超出预设亮度范围，确定所述当前图像属于所述待检测图像。

本公开中，在根据图像进行镜头洁净度判断之前，可以首先确定当前图像的亮度值是否超出预设亮度范围。其中，上述亮度范围可以是根据经验值确定一个范围，比如，在以整数0～255表示RGB图像的亮度级时，上述亮度范围可以是：[90，200]。若当前图像的亮度值未超出所述预设亮度范围，确定当前图像属于待检测图像，以便后续基于当前图像判断采集该图像的光学镜头是否干净，或者，进一步按照其它判断方式确定当前图像是否可以作为评判光学镜头是否干净的有效图像。

反之，若当前图像的亮度值超出了所述预设亮度范围，确定当前图像属于无效图像。例如，若当前图像的亮度值小于90，则表示该图像太暗，基于该图像无法有效判断拍摄该图像时镜头是否干净；同理，若当前图像的亮度值大于200，表示当前图像曝光过度，无法正常分辨图像中的物体图像是否模糊，因而，基于该图像也无法判断拍摄该图像时镜头是否干净；若在上述两种情况下，向用户发送提醒清洁镜头的提示信息，势必会因频繁发出提示信息对用户造成干扰。因此，在根据图像进行镜头洁净度判断之前，通过亮度识别方式排除无效图像，获得有效待检图像，可以有效提高后续镜头洁净度判断的准确性。

方式二、对当前图像进行纹理识别

参见图5根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，所述步骤121可以包括：

在步骤1213中，获取所述当前图像的纹理信息；

图像的纹理信息描述了图像或图像区域所对应景物的表面性质，是一种全局特征，反映图像中同质现象的视觉特征。本公开中，用户终端或服务器可以按照预设纹理提取方法如Gabor滤波器或者计算灰度图中所有像素值标准差的方式，提取当前图像的纹理特征信息。其中，上述当前图像可以是直接获取的、未经过任何识别的图像，也可以是经过上述亮度识别合格的图像。

在步骤1214中，若所述纹理信息符合预设图像纹理要求，确定所述当前图像属于所述待检测图像。

当纹理之间的粗细、疏密等易于分辨的信息之间相差不大时，通过纹理特征很难准确地反映出光学镜头的洁净度，而采用具有粗细、疏密等方面有较大差别的图像更能有效识别镜头的洁净度，基于此，可以根据经验信息确定对待检测图像的纹理条件。

如上示例，假设以灰度图中所有像素值的标准差来表示当前图像的纹理信息，可以将当前图像的标准差与预设阈值进行比较，示例性的，假设上述预设阈值为30；若当前图像的标准差小于30，则判断当前图像纹理过于单一，不适合用于评判镜头的洁净度；反之，若所述当前图像的标准差大于或等于30，则判定当前图像符合待检测图像的纹理要求，属于待检测图像，以便后续根据当前图像进行镜头洁净度识别。

可见，本公开实施例中，在根据图像进行镜头洁净度判断之前，通过纹理识别方式排除无效图像，获得有效待检图像，可以避免将纹理过于单一的图像误认为是镜头不洁净时拍摄的图像，有效提高后续镜头洁净度识别的准确性。

方式三、对当前图像的模糊度进行识别

参见图6根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，所述步骤121可以包括：

在步骤1215中，确定所述当前图像的模糊度；

本公开实施例中，所述当前图像可以是直接获取的、未经过任何识别的图像，也可以是经过上述亮度识别后合格的图像，和/或，经过上述纹理识别后合格的图像。

本公开实施例中，可以采用预设CNN(Convolutional Neural Network，卷积神经网络)模型识别一帧图像的模糊度。

参见图7根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，上述步骤1215可以包括：

在步骤12151中，从所述当前图像中均匀提取预设数量的图像块；

参见图8根据一示例性实施例示出的一种提醒用户清洁镜头的示意图，可以在一帧图像中均匀提取一定大小的图像块，如9个像素尺寸为48×48大小的图像块，在图中标记为K1～K9。

在步骤12152中，利用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

本公开中，上述第一卷积神经网络CNN模型是基于模糊图像训练集，训练出的一个CNN模型，该CNN模型由输入层、四个卷基层、三个池化层、两个全连接层和输出层组成。在输入层将一幅图像输入上述第一CNN模型经过处理后，可以输出一个数值位于[0，4]的模糊度数值。

关于上述第一CNN模型的训练过程如下：

确定由各种类型模糊图像及对应清晰图像组成的图像训练集，其中，上图像训练集包括四种模糊类型的图像，上述四类模糊类型分别为：高斯模糊、运动模糊、失焦模糊、均值模糊；每一种模糊类型的样本图像按照模糊程度分为四个模糊等级，分别对应[1、2、3、4]四个模糊分数。对应的清晰图像的模糊分数为0。根据上述图像训练集和各图像对应的模糊分数，采用随机梯度下降的方法进行CNN模型训练，获得上述第一CNN模型。

则利用上述第一CNN模型对图8所示图像进行模糊度识别的过程为：逐个将图像块K1～K9输入，经第一CNN模型处理后，获得9个模糊度数值，每个所述模糊度数值为0～4之间的数。

在步骤12153中，根据所述预设数量的识别结果，确定所述当前图像的模糊度。

在本公开一实施例中，可以将上述预设数量的识别结果的平均值，确定为所述当前图像的模糊度。如上示例，可以将上述9个模糊度数值的平均值，确定为当前图像的模糊度。

在步骤1216中，若所述当前图像的模糊度小于或等于预设模糊度阈值，确定所述当前图像为所述待检测图像。

本公开中，将当前图像的模糊度值与一个预设模糊度阈值进行比较，若所述当前图像的模糊度大于所述预设模糊度阈值，则判定当前图像属于上述任一种模糊图像，不属于非洁净镜头采集的图像。反之，若所述当前图像的模糊度小于或等于所述预设模糊度阈值，则确定当前图像为待检测图像。

在本公开一实施例中，可以综合采用上述各种识别方式对图像进行图像质量评估，排除影响镜头洁净度判断的无效图像，避免基于上述无效图像对镜头洁净度造成误判，进而避免对用户发出错误提醒信息，减少对用户的干扰。

示例性的，假设上述当前图像是图像P1，则上述识别过程可以是：确定图像P1的亮度值Y1，若Y1处于预设亮度范围：90～200之间；对图像P1进行纹理特征信息提取，比如计算对应灰度图中所有像素值的标准差；若所述标准差大于等于预设阈值如30；继续按照上述图7所示的方法计算图像P1的模糊度数值；若所述模糊度数值小于预设模糊度阈值比如1.2，则确定当前图像P1为待检测图像，后续可以基于该图像进行镜头洁净度检测。

在步骤122中，采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

其中，上述镜头洁度是指摄像头采集上述待检测图像时，其光学镜头的洁净程度。

由于上述步骤121确定的待检测图像可能包括：清晰图像和非洁净镜头拍摄的图像，本公开中，可以采用一个预设CNN模型对上述待检测图像进一步识别，确定该图像对应的镜头洁净度。

参见图9根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，上述步骤122可以包括：

在步骤1221中，将所述待检测图像缩小为预设大小的待识别图像；

在步骤1222中，利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

本公开一实施例中，可以将一帧待检测图像缩小为预设大小如像素尺寸为128×128大小的待识别图像。将该待识别图像作为输入图像由第二CNN模型进行处理，获得一个数值在0～1之间的一个实数，该数值代表镜头的洁净程度即镜头洁净度。上述数值越大表示该镜头的洁净度越高，即拍摄该图像的光学镜头越干净；洁净度数值越小，表示拍摄该图像的光学镜头的洁净度越低，即越脏。

其中，本公开在训练上述第二CNN模型时，数据训练集中包括：镜头表面附着不同物质时所采集的图像，以及，镜头表面同一物质的附着量不同时采集的图像。其中，上述附着于镜头表面的物质可以包括：油污、水渍、灰尘等。基于上述数据训练集采用随机梯度下降方法确定上述第二CNN模型。上述第二CNN模型的网络结构可以包括：5个预设卷基层、4各预设池化层、2个全连接层和一个softmax层。

在步骤123中，若所述镜头洁净度低于预设洁净度阈值，确定所述当前图像为所述目标图像。

本公中，可以根据经验信息确定一个预设洁净度阈值如0.6，将上述步骤1222确定的镜头洁净度与上述预设洁净度阈值进行比较，若当前图像的镜头洁净度小于上述预设洁净度阈值，则确定所述当前图像为目标图像即镜头在不洁净的情况下所拍摄的图像，从而反映当前镜头不干净。

在步骤13中，根据所述目标图像，发出提醒用户清洁镜头的提示信息。

用户终端或服务端在检测到目标图像时，可以立即向用户发出提示信息，提醒用户对摄像头的光学镜头进行清理，确保后续可以采集到清晰图像。

在本公开另一实施例中，为减少提示信息对正常通信业务的干扰，还可以在连续多次检测到目标图像后，再向用户发出上述提示信息。

参见图10根据一示例性实施例示出的另一种提醒用户清洁镜头的方法流程图，上述步骤13可以包括：

在步骤131中，统计预设时长内检测到所述目标图像的数量；

在本公开一实施例中，考虑到目标图像可能发生误判的情况，用户终端或服务端可以统计预设时长内比如30s内检测到目标图像的数量M。

在步骤132中，若所述目标图像的数量超过预设数量阈值，发出用于提醒用户清洁镜头的提示信息。

为确保镜头洁净度识别的准确性，本公开实施例中，还可以根据经验信息确定一个预设数量阈值比如7，若上述目标图像的数量M大于等于7，则确定当前镜头确实处于非洁净状态，向终端用户发出提示信息；反之，若上述目标图像的数量M小于7，可以不向终端用户发送上述提示信息，减少对用户的打扰。

本公开中，用户终端可以采用文本信息、语音信息、多媒体动画、震动等方式向用户发出提示信息，以有效提醒终端用户清洁光学镜头。示例性的，参见图11根据一示例性实施例示出的一种提醒用户清洁镜头的场景示意图。

综上，采用本公开提供的提醒用户清洁的方法，可以根据图像采集装置实时采集的图像，有效识别采集该图像的光学镜头是否清洁，并在光学镜头清洁度低于预设清洁度阈值的情况下，及时发出提示信息，智能提醒用户对光学镜头进行清理，确保用户可以获取到清晰的高质量图像，提升终端的用户体验。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。

其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

与前述应用功能实现方法实施例相对应，本公开还提供了应用功能实现装置及相应的终端的实施例。

参见图12根据一示例性实施例示出的一种提醒用户清洁镜头的装置框图，所述装置可以包括：

图像获取模块21，被配置为获取图像采集装置实时采集的图像；

图像识别模块22，被配置为对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

提醒模块23，被配置为根据所述目标图像，发出提醒用户清洁镜头的提示信息。

本公开装置实施例中，所述图像识别模块22可以按照以下任一方式进行识别：

对实时采集的每一帧图像进行识别；或者，

按照预设时间周期对采集到的所述图像进行识别。

参见图13根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图12所示装置实施例的基础上，所述图像识别模块22可以包括：

质量评估子模块221，被配置为对当前图像进行质量评估，确定待检测图像；

洁净度确定子模块222，被配置为采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

目标确定子模块223，被配置为在所述镜头洁净度低于预设洁净度阈值的情况下，确定所述当前图像为所述目标图像。

参见图14根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图13所示装置实施例的基础上，所述质量评估子模块包括以下至少一种识别单元：

亮度识别单元2211，被配置为对当前图像进行亮度识别；

纹理识别单元2212，被配置为对所述当前图像进行纹理识别；

模糊度识别单元2213，被配置为对所述当前图像进行模糊度识别。

参见图15根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图14所示装置实施例的基础上，所述亮度识别单元2211可以包括：

亮度值确定子单元22111，被配置为获取所述当前图像的亮度值；

第一确定子单元22112，被配置为在所述亮度值未超出预设亮度范围的情况下，确定所述当前图像为所述待检测图像。

参见图16根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图14所示装置实施例的基础上，所述纹理识别单元2212可以包括：

纹理信息提取子单元22121，被配置为获取所述当前图像的纹理信息；

第二确定子单元22122，被配置为在所述纹理信息符合预设图像纹理要求的情况下，确定所述当前图像为所述待检测图像。

参见图17根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图14所示装置实施例的基础上，所述模糊度识别单元2213可以包括：

模糊度确定子单元22131，被配置为确定所述当前图像的模糊度；

第三确定子单元22132，被配置为在所述当前图像的模糊度小于或等于预设模糊度阈值的情况下，确定所述当前图像为所述待检测图像。

参见图18根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图17所示装置实施例的基础上，所述模糊度确定子单元22131可以包括：

图像块提取单元2201，被配置为从所述当前图像中均匀提取预设数量的图像块；

识别单元2202，被配置为采用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

模糊度确定单元2203，被配置为根据所述预设数量的识别结果，确定所述当前图像的模糊度。

参见图19根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图13所示装置实施例的基础上，所述洁净度确定子模块222包括：

图像缩小单元2221，被配置为将所述待检测图像缩小为预设大小的待识别图像；

洁净度确定单元2222，被配置为利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

参见图20根据一示例性实施例示出的另一种提醒用户清洁镜头的装置框图，在图12所示装置实施例的基础上，所述提醒模块23可以包括：

统计子模块231，被配置为统计预设时长内所述目标图像的数量；

提醒子模块232，被配置为在所述目标图像的数量超过预设数量阈值的情况下，发出用于提醒用户清洁镜头的提示信息。对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开还提供了一种提醒用户清洁镜头的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取图像采集装置实时采集的图像；

对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

根据所述目标图像，发出提醒用户清洁镜头的提示信息。

图21是根据一示例性实施例示出的一种用于提醒用户清洁镜头的装置2100的结构示意图。例如，装置2100可以是用户终端，可以具体为移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，可穿戴设备如智能手表、智能眼镜、智能手环、智能跑鞋等。

参照图21，装置2100可以包括以下一个或多个组件：处理组件2102，存储器2104，电源组件2106，多媒体组件2108，音频组件2110，输入/输出(I/O)的接口2112，传感器组件2114，以及通信组件2116。

处理组件2102通常控制装置2100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件2102可以包括一个或多个处理器2120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件2102可以包括一个或多个模块，便于处理组件2102和其他组件之间的交互。例如，处理组件2102可以包括多媒体模块，以方便多媒体组件2108和处理组件2102之间的交互。

存储器2104被配置为存储各种类型的数据以支持在设备2100的操作。这些数据的示例包括用于在装置2100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器2104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件2106为装置2100的各种组件提供电力。电源组件2106可以包括电源管理***，一个或多个电源，及其他与为装置2100生成、管理和分配电力相关联的组件。

多媒体组件2108包括在上述装置2100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件2108包括一个前置摄像头和/或后置摄像头。当设备2100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件2110被配置为输出和/或输入音频信号。例如，音频组件2110包括一个麦克风(MIC)，当装置2100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器2104或经由通信组件2116发送。在一些实施例中，音频组件2110还包括一个扬声器，用于输出音频信号。

I/O接口2112为处理组件2102和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件2114包括一个或多个传感器，用于为装置2100提供各个方面的状态评估。例如，传感器组件2114可以检测到设备2100的打开/关闭状态，组件的相对定位，例如上述组件为装置2100的显示器和小键盘，传感器组件2114还可以检测装置2100或装置2100一个组件的位置改变，用户与装置2100接触的存在或不存在，装置2100方位或加速/减速和装置2100的温度变化。传感器组件2114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件2114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件2114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件2116被配置为便于装置2100和其他设备之间有线或无线方式的通信。装置2100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件2116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，上述通信部件2116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置2100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器2104，上述指令可由装置2100的处理器2120执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

如图22所示，图22是根据一示例性实施例示出的另一种用于提醒用户清洁镜头的装置2200的一结构示意图。例如，装置2200可以被提供为一服务器，比如移动通信网络服务器或者应用服务器。参照图22，装置2200包括处理组件2222，其进一步包括一个或多个处理器，以及由存储器2216所代表的存储器资源，用于存储可由处理部件2222的执行的指令，例如应用程序。存储器2216中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件2222被配置为执行指令，以执行上述提醒用户清洁镜头的方法。

装置2200还可以包括一个电源组件2226被配置为执行装置2200的电源管理，一个有线或无线网络接口2250被配置为将装置2200连接到网络，和一个输入输出(I/O)接口2258。装置2200可以操作基于存储在存储器2216的操作***，例如Windows Server^TM，MacOS X^TM，Unix^TM，Linux^TM，FreeBSD^TM或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器2216，上述指令可由装置2200的处理组件2222执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种提醒用户清洁镜头的方法，其特征在于，所述方法包括：

获取图像采集装置实时采集的图像；

对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

根据所述目标图像，发出提醒用户清洁镜头的提示信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行识别，包括：

对实时采集的每一帧图像进行识别；或者，

按照预设时间周期对采集到的所述图像进行识别。

3.根据权利要求1所述的方法，其特征在于，所述对图像进行图像识别，确定目标图像，包括：

对当前图像进行质量评估，确定待检测图像；

采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

若所述镜头洁净度低于预设洁净度阈值，确定所述当前图像为所述目标图像。

4.根据权利要求3所述的方法，其特征在于，采用以下至少一种方式对所述图像进行质量评估：

对当前图像进行亮度识别；

对所述当前图像进行纹理识别；

对所述当前图像进行模糊度识别。

5.根据权利要求4所述的方法，其特征在于，所述对当前图像进行亮度识别，确定待检测图像，包括：

获取所述当前图像的亮度值；

若所述亮度值未超出预设亮度范围，确定所述当前图像为所述待检测图像。

6.根据权利要求4所述的方法，其特征在于，所述对当前图像进行纹理识别，确定待检测图像，包括：

获取所述当前图像的纹理信息；

若所述纹理信息符合预设图像纹理要求，确定所述当前图像为所述待检测图像。

7.根据权利要求4所述的方法，其特征在于，所述对当前图像进行模糊度识别，确定待检测图像，包括：

确定所述当前图像的模糊度；

若所述当前图像的模糊度小于或等于预设模糊度阈值，确定所述当前图像为所述待检测图像。

8.根据权利要求7所述的方法，其特征在于，所述确定所述当前图像的模糊度，包括：

从所述当前图像中均匀提取预设数量的图像块；

采用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

根据所述预设数量的识别结果，确定所述当前图像的模糊度。

9.根据权利要求3所述的方法，其特征在于，所述采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度，包括：

将所述待检测图像缩小为预设大小的待识别图像；

利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

10.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像，发出清洁镜头的提示信息，包括：

统计预设时长内所述目标图像的数量；

若所述目标图像的数量超过预设数量阈值，发出用于提醒用户清洁镜头的提示信息。

11.一种提醒用户清洁镜头的装置，其特征在于，所述装置包括：

图像获取模块，被配置为获取图像采集装置实时采集的图像；

图像识别模块，被配置为对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

提醒模块，被配置为根据所述目标图像，发出提醒用户清洁镜头的提示信息。

12.根据权利要求11所述的装置，其特征在于，所述图像识别模块按照以下任一方式进行识别：

对实时采集的每一帧图像进行识别；或者，

按照预设时间周期对采集到的所述图像进行识别。

13.根据权利要求11所述的装置，其特征在于，所述图像识别模块包括：

质量评估子模块，被配置为对当前图像进行质量评估，确定待检测图像；

洁净度确定子模块，被配置为采用预设卷积神经网络模型对所述待检测图像进行识别，确定镜头洁净度；

目标确定子模块，被配置为在所述镜头洁净度低于预设洁净度阈值的情况下，确定所述当前图像为所述目标图像。

14.根据权利要求13所述的装置，其特征在于，所述质量评估子模块包括以下至少一种识别单元：

亮度识别单元，被配置为对当前图像进行亮度识别；

纹理识别单元，被配置为对所述当前图像进行纹理识别；

模糊度识别单元，被配置为对所述当前图像进行模糊度识别。

15.根据权利要求14所述的装置，其特征在于，所述亮度识别单元包括：

亮度值确定子单元，被配置为获取所述当前图像的亮度值；

第一确定子单元，被配置为在所述亮度值未超出预设亮度范围的情况下，确定所述当前图像为所述待检测图像。

16.根据权利要求14所述的装置，其特征在于，所述纹理识别单元包括：

纹理信息提取子单元，被配置为获取所述当前图像的纹理信息；

第二确定子单元，被配置为在所述纹理信息符合预设图像纹理要求的情况下，确定所述当前图像为所述待检测图像。

17.根据权利要求14所述的装置，其特征在于，所述模糊度识别单元包括：

模糊度确定子单元，被配置为确定所述当前图像的模糊度；

第三确定子单元，被配置为在所述当前图像的模糊度小于或等于预设模糊度阈值的情况下，确定所述当前图像为所述待检测图像。

18.根据权利要求17所述的装置，其特征在于，所述模糊度确定子单元包括：

图像块提取单元，被配置为从所述当前图像中均匀提取预设数量的图像块；

识别单元，被配置为采用第一卷积神经网络模型对每一个所述图像块进行模糊度识别，获得所述预设数量的识别结果；

模糊度确定单元，被配置为根据所述预设数量的识别结果，确定所述当前图像的模糊度。

19.根据权利要求13所述的装置，其特征在于，所述洁净度确定子模块包括：

图像缩小单元，被配置为将所述待检测图像缩小为预设大小的待识别图像；

洁净度确定单元，被配置为利用第二卷积神经网络模型对所述待识别图像进行处理，确定所述当前图像对应的镜头洁净度。

20.根据权利要求11所述的装置，其特征在于，所述提醒模块包括：

统计子模块，被配置为统计预设时长内所述目标图像的数量；

提醒子模块，被配置为在所述目标图像的数量超过预设数量阈值的情况下，发出用于提醒用户清洁镜头的提示信息。

21.一种非临时性计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1～10任一所述方法的步骤。

22.一种提醒用户清洁镜头的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取图像采集装置实时采集的图像；

对所述图像进行图像识别，确定目标图像，所述目标图像为所述图像采集装置在光学镜头洁净度低于预设阈值时采集的图像；

根据所述目标图像，发出提醒用户清洁镜头的提示信息。