CN108198175A - 检测方法、检测装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种光学元件破裂的检测方法。光学元件包括相机模组的相机光学元件，所述检测方法包括：获取第一图像；处理第一图像以判断第一图像是否存在裂纹图案；在第一图像存在裂纹图案时确认相机光学元件破裂。本发明还公开了一种光学元件的破裂的检测装置、计算机设备和计算机可读存储介质。本发明实施方式的检测方法、检测装置、计算机设备和计算机可读存储介质通过识别相机模组获取的第一图像中是否有裂纹图案来判断相机光学元件是否破裂。如此，计算机设备可以自行检测光学元件是否完好，提升了计算机设备的智能性。

Description

检测方法、检测装置、计算机设备和计算机可读存储介质

技术领域

本发明涉及成像技术领域，特别涉及一种检测方法、检测装置、计算机设备和计算机可读存储介质。

背景技术

现有的手机通常安装有摄像头等带光学元件的器件。手机使用过程中，光学元件可能因外力因素而破裂。但目前手机不具备自行检测光学元件是否破裂的功能，手机的智能性较差。

发明内容

本发明的实施例提供了一种检测方法、检测装置、计算机和计算机可读存储介质。

本发明提供一种光学元件破裂的检测方法。所述光学元件包括相机模组的相机光学元件，所述检测方法包括：

获取第一图像；

处理所述第一图像以判断所述第一图像是否存在裂纹图案；和

在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。

本发明提供一种光学元件破裂的检测装置。所述光学元件包括相机模组的相机光学元件，所述检测装置包括第一获取模块、第一处理模块和第一确认模块。所述第一获取模块用于获取第一图像。所述第一处理模块用于处理所述第一图像以判断所述第一图像是否存在裂纹图案。所述第一确认模块用于在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。

本发明提供一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述的检测方法。

本发明提供一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的检测方法。

本发明实施方式的检测方法、检测装置、计算机设备和计算机可读存储介质通过识别相机模组获取的第一图像中是否有裂纹图案来判断相机光学元件是否破裂。如此，计算机设备可以自行检测光学元件是否完好，提升了计算机设备的智能性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的检测方法的流程示意图。

图2是本发明某些实施方式的计算机设备的模块示意图。

图3是本发明某些实施方式的计算机设备的模块示意图。

图4是本发明某些实施方式的检测方法的流程示意图。

图5是本发明某些实施方式的计算机设备的模块示意图。

图6是本发明某些实施方式的检测方法的流程示意图。

图7是本发明某些实施方式的计算机设备的模块示意图。

图8是本发明某些实施方式的检测方法的流程示意图。

图9是本发明某些实施方式的计算机设备的模块示意图。

图10是本发明某些实施方式的检测方法的流程示意图。

图11是本发明某些实施方式的计算机设备的模块示意图。

图12是本发明某些实施方式的检测方法的流程示意图。

图13是本发明某些实施方式的计算机设备的模块示意图。

图14是本发明某些实施方式的检测方法的流程示意图。

图15是本发明某些实施方式的计算机设备的模块示意图。

图16是本发明某些实施方式的检测方法的流程示意图。

图17是本发明某些实施方式的计算机设备的模块示意图。

图18是本发明某些实施方式的检测方法的流程示意图。

图19是本发明某些实施方式的计算机设备的模块示意图。

图20是本发明某些实施方式的检测方法的流程示意图。

图21是本发明某些实施方式的计算机设备的模块示意图。

图22是本发明某些实施方式的计算机设备的模块示意图。

图23是本发明某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1、图2及图23，本发明提供一种光学元件破裂的检测方法。光学元件包括相机模组的相机光学元件411。检测方法包括：

01：获取第一图像；

02：处理第一图像以判断第一图像是否存在裂纹图案；和

04：在第一图像存在裂纹图案时确认相机光学元件411破裂。

请再参阅图2，本发明还提供一种光学元件破裂的检测装置10。光学元件包括相机模组的相机光学元件411。本发明实施方式的光学元件破裂的检测方法可以由本发明实施方式的光学元件破裂的检测装置10实现。检测装置10包括第一获取模块11、第一处理模块12和第一确认模块15。步骤01可以由第一获取模块11实现，步骤02可以由第一处理模块12实现，步骤03可以由第一确认模块15实现。也即是说，第一获取模块11可用于获取第一图像。第一处理模块12可用于处理第一图像以判断第一图像是否存在裂纹图案。第一确认模块15可用于在第一图像存在裂纹图案时确认相机光学元件411破裂。进一步地，第一确认模块15可用于在第一图像不存在裂纹图案时确认相机光学元件411未破裂。

请参阅图3，本发明还提供一种计算机设备100。计算机设备100包括存储器51及处理器52。存储器51中存储有计算机可读存储指令。计算机可读指令511被处理器52执行时，使得处理器52执行获取第一图像，处理第一图像以判断第一图像是否存在裂纹图案，以及在第一图像存在裂纹图案时确认相机光学元件411破裂的操作。

在本发明的具体实施例中，相机模组为红外摄像头41，步骤01中的第一图像是红外摄像头41摄取物体反射的环境光中的红外光线形成的。相机模组的相机光学元件411为红外摄像头41中的镜头组件，例如，滤光片、对焦镜片、防尘镜片等。

在某些实施方式中，计算机设备100可以是手机、平板电脑。笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。

以手机为例，可以理解，现有的手机通常安装有可见光摄像头、红外摄像头41、补光元件等带光学元件的器件。手机在使用过程中，光学元件可能因为外力因素，如手机摔落等而破裂。但目前的手机不具备自行检测光学元件是否破裂的功能，手机的智能性较差。

由于当红外摄像头41的相机光学元件411破裂时，红外摄像头41会拍摄到破裂的相机光学元件411上的裂纹图案，因此，本发明实施方式的光学元件破裂的检测方法、检测装置10和计算机设备100通过识别相机模组获取的第一图像中是否有裂纹图案来判断相机光学元件411是否破裂。如此，计算机设备100可以自行检测光学元件是否完好，提升了计算机设备100的智能性。

进一步地，在某些实施方式中，在确认相机光学元件411破裂时，检测装置10和计算机设备100中的提示模块(例如可以为扬声器、显示屏)可通过语音或文字的方式提示用户更换掉破裂的相机光学元件411。

请参阅图4，在某些实施方式中，步骤02处理第一图像以判断第一图像是否存在裂纹图案包括：

021：基于Haar-like矩形特征集构建多级裂纹图案分类器；

022：采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器；和

023：采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。

请参阅图5，在某些实施方式中，第一处理模块12包括第一构建单元121、第一训练单元122和第一检测单元123。步骤021可以由第一构建单元121实现，步骤022可以由第一训练单元122实现，步骤023可以由第一检测单元123实现。也即是说，第一构建单元121可用于基于Haar-like矩形特征集构建多级裂纹图案分类器。第一训练单元122可用于采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器。第一检测单元123可用于采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行基于Haar-like矩形特征集构建多级裂纹图案分类器，采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器，以及采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案的操作。

具体地，首先，选取大量的正裂纹图案样本和负裂纹图案样本，其中，正裂纹图案样本为带有相机光学元件411的裂纹图案的样本，负裂纹图案样本为带有非相机光学元件411的裂纹图案的样本。其次，对正裂纹图案样本和负裂纹图案样本均进行分辨率归一化计算以减小图像大小，方便后续快速检测图像特征。随后，针对裂纹图案的形态特点，采用可以检测线特征、中心环绕特征、对角线特征和边缘特征的Haar-like矩形特征集来构建多级裂纹图案分类器。具体地，针对每一个Haar-like矩形特征计算器对应的矩阵特征值，随后，从多个的矩阵特征值中选取若干个矩阵特征值构成多个弱分类器，每个弱分类器中包括一个或多个的矩阵特征值。若干个弱分类器构成多个强分类器，每个强分类器中包括多个弱分类器。所有强分类器级联构成多级裂纹图案分类器。随后，采用大量分辨率归一化后的正裂纹图案样本和负裂纹图案样本对多级裂纹图案分类器进行训练，以修正每一个弱分类器对应的权值，使得最终输出的图像分类的结果的损失函数小于预设损失值。最后，即可使用训练完毕的多级裂纹图案分类器检测第一图像是否存在裂纹图案。多级裂纹图案分类器由多个强分类器级联而成，每个强分类器又由多个弱分类器级联而成，多级的结构可准确提取图像特征，提升图像分类的准确性。

请参阅图6，在某些实施方式中，第一图像包括多帧。步骤02处理第一图像以判断第一图像是否存在裂纹图案包括：

021：处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案；

光学元件破裂的检测方法还包括：

031：比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致；

032：在任意两帧第一图像中的所述裂纹位置一致时，确认相机光学元件411破裂。

请参阅图7，在某些实施方式中，检测装置10还包括第一比较模块13。步骤021可以由第一处理模块12实现，步骤031可以由第一比较模块13实现，步骤032可以由第一确认模块15实现。也即是说，第一处理模块12还可用于处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案。第一比较模块13可用于比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致。第一确认模块15还可用于在任意两帧第一图像中的裂纹位置一致时，确认相机光学元件411破裂。此时，当多帧第一图像均存在裂纹图案，但任意两帧第一图像中的裂纹位置不一致时，确认相机光学元件411未破裂。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行处理多帧第一图像以判断多帧第一图像是否均存在裂纹图案，比较任意两帧第一图像中的裂纹图案所在的裂纹位置是否一致，以及在任意两帧第一图像中的所述裂纹位置一致时，确认相机光学元件411破裂的操作。

具体地，红外摄像头41拍摄得到多帧第一图像后，处理器52可采用训练好的多级裂纹图案分类器对每一帧第一图像进行检测以判断每一帧第一图像中是否均存在裂纹图案。在检测到每一帧第一图像均存在裂纹图案时，处理器52根据识别到的每一个裂纹图案提取其在对应的第一图像中的裂纹位置。随后，处理器52对多帧的第一图像中的裂纹位置进行两两比较，在每个比较结果均显示对应的两帧第一图像中裂纹位置一致时，即认为相机光学元件411破裂。其中，两帧第一图像中的裂纹位置一致指的是两帧第一图像中的裂纹位置之间的距离差值小于预设的距离差值。可以理解，当红外摄像头41的相机光学元件411破裂时，红外摄像头41拍摄到的每一帧第一图像中，裂纹图案所处的位置均是不变的。因此，可通过裂纹位置进一步地对相机光学元件411是否破裂进行判断，从而可提升相机光学元件411破裂检测的准确性。

请参阅图8，在某些实施方式中，光学元件还包括红外补光灯42的补光光学元件。光学元件破裂的检测方法还包括：

051：在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41；

052：根据红外补光灯42发出的红外光线获取第二图像；

053：处理第二图像以判断第二图像是否存在光纹图案；和

054：在第二图像存在光纹图案时确认补光光学元件破裂。

请参阅图9，在某些实施方式中，检测装置10还包括第一开启模块21、第二获取模块22、第二处理模块23、第二确认模块25。步骤051可以由第一开启模块21实现，步骤052可以由第二获取模块22实现，步骤053可以由第二处理模块23实现，步骤054可以由第二确认模块25实现。也即是说，第一开启模块21可用于在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41。第二获取模块22可用于根据红外补光灯42发出的红外光线获取第二图像。第二处理模块23可用于处理第二图像以判断第二图像是否存在光纹图案。第二确认模块25可用于在第二图像存在光纹图案时确认补光光学元件破裂。进一步地，第二确认模块25还可用于在第二图像不存在光纹图案时确认补光光学元件未破裂。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52执行：在确认相机光学元件411未破坏时，开启红外补光灯42和红外摄像头41，根据红外补光灯42发出的红外光线获取第二图像，处理第二图像以判断第二图像是否存在光纹图案，以及在第二图像存在光纹图案时确认补光光学元件破裂的操作。

本发明实施方式的光学元件破裂的检测方法进一步地可用于检测红外补光灯42的补光光学元件是否破裂。其中，红外补光灯42的补光光学元件为红外补光灯42中的透镜或灯罩等。由于当补光光学元件破裂时，补光光学元件发出的光不能均匀地发散到场景中，且由于补光光学元件的裂纹的存在，发散到场景中的红外光也会出现光纹。因此，在确认红外摄像头41的相机光学元件411未破裂时，可同时打开红外补光灯42和红外摄像头41。红外摄像头41可摄取红外补光灯42发出的光以拍摄得到第二图像。处理器52对第二图像进行处理以检测第二图像中是否存在光纹图案，并在第二图像中存在光纹图案时确认补光光学元件破裂。如此，一方面计算机设备100可以自行检测补光光学元件的完好性，提升计算机设备100的智能性；另一方面，通常红外补光灯42发出的光为红外激光，当补光光学元件破裂时，经裂纹处发出的红外激光容易灼伤人眼，因此，当计算机设备100检测到补光光学元件破裂时可及时关闭红外补光灯42，从而避免红外激光灼伤人眼的状况发生，提升用户使用计算机设备100的安全性，改善用户体验。

请参阅图10，在某些实施方式中，步骤053处理第二图像以判断第二图像是否存在光纹图案包括：

0531：基于Haar-like矩形特征集构建多级光纹图案分类器；

0532：采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器；和

0533：采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案。

请参阅图11，在某些实施方式中，第二处理模块23包括第二构建单元231、第二训练单元232和第二检测单元233。步骤0531可以由第二构建单元231实现，步骤0532可以由第二训练单元232实现，步骤0533可以由第二检测单元233实现。也即是说，第二构建单元231可用于基于Haar-like矩形特征集构建多级光纹图案分类器。第二训练单元232可用于采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器。第二检测单元233可用于采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还执行基于Haar-like矩形特征集构建多级光纹图案分类器，采用正光纹图案样本和负光纹图案样本训练多级光纹图案分类器，以及采用训练后的多级光纹图案分类器检测第二图像是否存在光纹图案的操作。

具体地，首先，选取大量的正光纹图案样本和负光纹图案样本，其中，正光纹图案样本为带有光纹图案的样本，负光纹图案样本为带有非光纹图案的样本。其次，对正光纹图案样本和负光纹图案样本均进行分辨率归一化计算以减小图像大小，方便后续快速检测图像特征。随后，针对光纹图案的形态特点，采用可以检测线特征、中心环绕特征、对角线特征和边缘特征的Haar-like矩形特征集来构建多级光纹图案分类器。具体地，针对每一个Haar-like矩形特征计算器对应的矩阵特征值，随后，从多个的矩阵特征值中选取若干个矩阵特征值构成多个弱分类器，每个弱分类器中包括一个或多个的矩阵特征值。若干个弱分类器构成多个强分类器，每个强分类器中包括多个弱分类器。所有强分类器级联构成多级光纹图案分类器。随后，采用大量分辨率归一化后的正光纹图案样本和负光纹图案样本对多级光纹图案分类器进行训练，以修正每一个弱分类器对应的权值，使得最终输出的图像分类的结果的损失函数小于预设损失值。最后，即可使用训练完毕的多级光纹图案分类器检测第二图像是否存在光纹图案。多级光纹图案分类器由多个强分类器级联而成，每个强分类器又由多个弱分类器级联而成，多级的结构可准确提取图像特征，提升图像分类的准确性。

请参阅图12，在某些实施方式中，第二图像包括多帧，步骤053处理第二图像以判断第二图像是否存在光纹图案包括：

0534：处理多帧第二图像以判断多帧第二图像是否均存在光纹图案；

光学元件破裂的检测方法还包括：

0541：比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致；和

0542：在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂。

请参阅图13，在某些实施方式中，检测装置10还包括第二比较模块24。步骤0534可以由第二处理模块23实现。步骤0541可以由第二比较模块24。步骤0542可以由第二确认模块25实现。也即是说，第二处理模块23还可用于处理多帧第二图像以判断多帧第二图像是否均存在光纹图案。第二比较模块24可用于比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致。第二确认模块25还可用于在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂。进一步地，第二确认模块25还可用于在任意两帧第二图像中的光纹位置不一致时，确认补光光学元件未破裂。

请再参阅图3，在某些实施方式中，计算机可读指令511被执行时，使得处理器52还可执行处理多帧第二图像以判断多帧第二图像是否均存在光纹图案，比较任意两帧第二图像中的光纹图案所在的光纹位置是否一致，以及在任意两帧第二图像中的光纹位置一致时，确认补光光学元件破裂的操作。

具体地，在确认红外摄像头41的相机光学元件411未破裂时，同时开启红外补光灯42和红外摄像头41。红外摄像头41摄取红外补光灯42发出的红外光以摄得到多帧第二图像后，处理器52可采用训练好的多级光纹图案分类器对每一帧第二图像进行检测以判断每一帧第二图像中是否均存在光纹图案。在检测到每一帧第二图像均存在光纹图案时，处理器52根据识别到的每一个光纹图案提取其在对应的第二图像中的光纹位置。随后，处理器52对多帧的第二图像中的裂光纹位置进行两两比较，在每个比较结果均显示对应的两帧第二图像中光纹位置一致时，即认为补光光学元件破裂。其中，两帧第二图像中的光纹位置一致指的是两帧第二图像中的光纹位置之间的距离差值小于预设的距离差值。可以理解，当红外补光灯42的补光光学元件破裂时，由于红外补光灯42和红外摄像头41之间的距离是固定的，因此，红外摄像头41拍摄到的每一帧第二图像中，裂纹图案所处的位置均是不变的。因此，可通过裂纹位置进一步地对红外补光灯42的补光光学元件是否破裂进行判断，从而可提升补光光学元件破裂检测的准确性。

请参阅图14，在某些实施方式中，光学元件还包括结构光投射器43的结构光光学元件，其中，结构光光学元件指的是结构光投射器43中的准致敬、衍射元件等。光学元件破裂的检测方法还包括：

061：在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41；

062：根据结构光投射器43发出的红外光线获取第三图像；

063：处理第三图像以判断第三图像中是否存在深度异常信息；和

065：在第三图像中存在深度异常信息时确认结构光光学元件破裂。

请参阅图15，在某些实施方式中，检测装置10还包括第二开启模块31、第三获取模块32、第三处理模块33和第三确认模块35。步骤061可以由第二开启模块31实现，步骤062可以由第三获取模块32实现，步骤063可以由第三处理模块33实现，步骤065可以由第三确认模块35实现。也即是说，第二开启模块31可用于在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41。第三获取模块32可用于根据结构光投射器43发出的红外光线获取第三图像。第三处理模块33可用于处理第三图像以判断第三图像中是否存在深度异常信息。第三确认模块35可用于在第三图像中存在深度异常信息时确认结构光光学元件破裂。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行在确认相机光学元件411未破裂时，开启结构光投射器43和红外摄像头41，根据结构光投射器43发出的红外光线获取第三图像，处理第三图像以判断第三图像中是否存在深度异常信息，以及在第三图像中存在深度异常信息时确认结构光光学元件破裂的操作。

本发明实施方式的光学元件破裂的检测方法进一步地可用于检测结构光投射器43的结构光光学元件是否破裂。结构光投射器43的结构光光学元件可以为结构光投射器43中的准直透镜或衍射光学元件(diffractive optical elements，DOE)。由于当结构光光学元件破裂时，红外摄像头41根据拍摄得到的图像与预设参考图像计算当前场景的深度信息时，当前场景的深度信息中的某一部分深度信息会变得异常大。因此，在确认红外摄像头41的相机光学元件411未破裂时，可同时打开结构光投射器43和红外摄像头41。红外摄像头41可摄取结构光投射器43投射的红外光以拍摄得到第三图像。处理器52对第三图像进行处理以检测第三图像中是否存在深度异常信息，并在第三图像中存在深度异常信息时确认结构光光学元件破裂。如此，一方面计算机设备100可以自行检测结构光光学元件的完好性，提升计算机设备100的智能性；另一方面，通常结构光投射器43发出的光为红外激光，当结构光投射器43的结构光光学元件破裂时，结构光投射器43的红外激光容易灼伤人眼，因此，当计算机设备100检测到结构光光学元件破裂时可及时关闭结构光投射器43，从而避免红外激光灼伤人眼的状况发生，提升用户使用计算机设备100的安全性，改善用户体验。

请参阅图16，在某些实施方式中，步骤063处理第三图像以判断第三图像中是否存在深度异常信息包括：

0631：根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量；

0632：根据散点偏移量计算第三图像中各个像素点的深度信息；

0633：计算相邻接的深度信息大于预设阈值的像素点的个数；和

0634：在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息。

请参阅图17，在某些实施方式中，第三处理模块33包括第一计算单元331、第二计算单元332、第三计算单元333和确认单元334。步骤0631可以由第一计算单元331实现，步骤0632可以由第二计算单元332实现，步骤0633可以由第三计算单元333实现，步骤0634可以由确认单元334实现。也即是说，第一计算单元331可用于根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量，第二计算单元332可用于根据散点偏移量计算第三图像中各个像素点的深度信息，第三计算单元333可用于计算相邻接的深度信息大于预设阈值的像素点的个数，确认单元334可用于在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52包括执行根据第三图像和预设参考图像计算第三图像中各个像素点的散点偏移量，根据散点偏移量计算第三图像中各个像素点的深度信息，计算相邻接的深度信息大于预设阈值的像素点的个数，以及在相邻接的像素点的个数大于预设数量时确定第三图像中存在深度异常信息的操作。

具体地，首先，处理器52从第三图像中提取多个输入图像块，其中，任意两个输入图像块的中心点相同、大小不同，处理器52再从预设参考图像中提取多个匹配搜索窗，其中，匹配搜索窗是以预设参考图像中与输入图像块的中心点位置相同的对应点为中心点，在其周围一定范围内提取的匹配块。随后，采用并行算法计算输入图像块与匹配搜索窗中与其同样大小的匹配块之间的对应像素的差的绝对值之和SAD，从而得到每一个输入图像块与所有匹配块之间SAD。随后，对于每一个输入图像块，从多个SAD中选出SAD值最小时SAD对应的匹配块作为该输入图像块的最佳匹配块。随后，处理器52将预设参考图像的中心点的坐标值减去最佳匹配块的中心点的坐标值以计算出对应该输入图像块的最佳偏移量，上述最佳偏移量即为对应的输入图像块的中心点所在像素点的散点偏移量，其中，散点偏移量的正负表示输入图像块的中心点的深度与预设参考图案的深度的前后关系，散点偏移量越大，表示该输入图像块的中心点与已知深度距离的预设参考图案的平面垂直距离越远。处理器52根据上述方法逐一计算第三图像中每个像素点的散点偏移量。最后，处理器52根据计算得到的第三图像中每个像素点的偏移量，结合预设参考图案的已知深度距离、结构光投射器43与红外摄像头41之间的基线距离，根据深度计算公式计算得到每个像素点的深度信息。处理器52根据计算得到的深度信息判断第三图像中是否存在相邻接的多个深度信息大于预设阈值的像素点，并在相邻接的深度信息大于预设阈值的像素点的个数超过预设数量时确定第三图像中存在深度异常信息。如此，基于第三图像中深度异常信息的判断即可确定结构光投射器43的结构光光学元件是否破裂。

请参阅18，在某些实施方式中，第三图像包括多帧，步骤063处理第三图像以判断第三图像中是否存在深度异常信息包括：

0635：处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息；

光学元件破裂的检测方法还包括：

0641：比较任意两帧第三图像中异常深度信息的位置信息是否一致；和

0642：在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂。

请参阅图19，在某些实施方式中，检测装置10还包括第三比较模块34。步骤0635可以由第三处理模块33实现，步骤0641可以由第三比较模块34实现，步骤0642可以由第三确认模块35实现。也即是说，第三处理模块33可用于处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息。第三比较模块34可用于比较任意两帧第三图像中异常深度信息的位置信息是否一致。第三确认模块35可用于在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还可执行处理多帧第三图像以判断多帧第三图像中是否存在深度异常信息，比较任意两帧第三图像中异常深度信息的位置信息是否一致，以及在任意两帧第三图像中深度异常信息的位置信息一致时，确认结构光光学元件破裂的操作。

具体地，在确认红外摄像头41的相机光学元件411未破裂时，同时开启结构光投射器43和红外摄像头41。红外摄像头41摄取结构光投射器43投射的红外激光以摄取到多帧第三图像后，处理器52对每一帧第三图像进行检测以判断每一帧第三图像中是否均存在深度异常信息。在检测到每一帧第三图像均存在深度异常信息时，处理器52根据识别到的每个深度异常信息提取其在对应的第三图像中的位置信息。随后，处理器52对多帧的第三图像中的深度异常信息的位置信息进行两两比较，在每个比较结果均显示对应的两帧第三图像中深度异常信息的位置信息一致时，即认为结构光光学元件破裂。其中，两帧第三图像中的深度异常信息的位置信息一致指的是两帧第三图像中的深度异常信息的位置信息之间的距离差值小于预设的距离差值。可以理解，当结构光投射器43的结构光光学元件破裂时，由于结构光光学元件的裂纹固定，结构光投射器43和红外摄像头41之间的距离也是固定的，因此，处理器52根据红外摄像头41拍摄到的每一帧第三图像计算出的每一帧第三图像的深度异常信息的位置信息均是不变的。因此，可通过深度异常信息的位置信息进一步地对结构光投射器43的结构光光学元件是否破裂进行判断，从而可提升结构光光学元件破裂检测的准确性。

在某些实施方式中，在确认红外摄像头41的相机光学元件411未破裂时，可以先同时开启红外补光灯42和红外摄像头41，并根据红外摄像头41拍摄的多帧第二图像中是否均存在光纹图案以及任意两帧帧第二图像中的光纹图案位置是否一致来判断红外补光灯42的补光光学元件是否破裂，并在补光光学元件未破裂时，同时开启结构光投射器43、红外补光灯42和红外摄像头41，再根据红外摄像头41拍摄的多帧第三图像是否均存在深度异常信息以及任意两帧第三图像的深度异常信息对应的位置信息是否一致来判断结构光投射器43的结构光光学元件是否破裂。如此，在补光灯的补光光学元件未破裂时，红外补光灯42可以正常执行补光功能，红外摄像头41获取到的第三图像的亮度较高，有利于深度信息的计算获取，进一步地能提升结构光光学元件破裂检测的准确性。

请参阅图20，在某些实施方式中，光学元件破裂的检测方法还包括：

001：获取相机模组的运动速度；

002：判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时进入步骤01获取第一图像。

请参阅图21，在某些实施方式中，检测装置10还包括第四获取模块16和第四处理模块17。步骤001可以由第四获取模块16实现，步骤002可以由第四处理模块17实现。也即是说，第四获取模块16可用于获取相机模组的运动速度，第四处理模块17可用于判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时进入步骤01获取第一图像。

请再参阅图3，在某些实施方式中，计算机可读指令511被处理器52执行时，使得处理器52还执行获取相机模组的运动速度，判断运动速度是否大于预设速度值，并在运动速度大于预设运动速度值时进入步骤01获取第一图像的操作。

其中，可以采用速度传感器检测相机模组的运动速度。当相机模组的运动速度较大时，表明此时计算机设备100可能出现摔落的情况，此时，开启红外摄像头41检测红外摄像头41的相机光学元件411是否破裂，并在相机光学元件411未破裂时，先同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂，再同时开启结构光投射器43和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂；或者，在相机光学元件411未破裂时，先同时开启结构光投射器43和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂，再同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂；或者，在相机光学元件411未破裂时，先同时开启红外补光灯42和红外摄像头41以检测红外补光灯42的补光光学元件是否破裂，并在补光光学元件未破裂时同时开启结构光投射器43、红外补光灯42和红外摄像头41以检测结构光投射器43的结构光光学元件是否破裂。如此，在计算机设备100的运动速度较大时才执行光学元件的破裂检测，而无需在每一次使用光学元件时均质性光学元件的破裂检测，减少计算机设备100的功耗。

本发明还提供一种非易失性计算机可读存储介质，计算机可读存储介质包含一个或多个计算机可执行指令。当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行上述任意一项实施方式所述的光学元件破裂的检测方法。

例如，当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行以下步骤的操作：

01：获取第一图像；

02：处理第一图像以判断第一图像是否存在裂纹图案；和

04：在第一图像存在裂纹图案时确认相机光学元件411破裂。

再例如，当计算机可执行指令被一个或多个处理器52执行时，使得处理器52执行以下步骤的操作：

021：基于Haar-like矩形特征集构建多级裂纹图案分类器；

022：采用正裂纹图案样本和负裂纹图案样本训练多级裂纹图案分类器；和

023：采用训练后的多级裂纹图案分类器检测第一图像是否存在裂纹图案。

图22为一个实施例中的计算机设备100的内部模块示意图。如图22所示，该计算机设备100包括通过***总线53连接的处理器52、存储器51(例如为非易失性存储介质)、内存储器54、显示屏55和输入装置56。其中，计算机设备100的存储器51存储有操作***和计算机可读指令511(图3所示)。该计算机可读指令511可被处理器52执行，以实现上述任意一项实施方式所述的光学元件破裂的检测方法。该处理器52可用于提供计算和控制能力，制成整个计算机设备100的运行。计算机设备100的内存储器54为存储器51中的计算机可读指令511运行提供环境。计算机设备100的显示屏55可以是液晶显示屏或者电子墨水显示屏等，输入装置56可以是显示屏55上覆盖的触摸层，也可以是计算机设备100外壳上设置的案件、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备100可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图22中示出的结构，仅仅是与本发明方案相关的部分结构的示意图，并不构成对本发明方案所应用于其上的计算机设备100的限定，具体的计算机设备100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图23，本发明实施例的计算机设备100包括图像处理器电路80。图像处理电路80可以利用硬件和/或软件实现。可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图23为一个实施例中图像处理电路80的示意图。如图23所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图23所示，图像处理电路包括ISP处理器(ISP处理器可为处理器52或处理器52的一部分)和控制逻辑器。红外摄像头41捕捉的图像数据首先由ISP处理器63处理，ISP处理器82对图像数据进行分析以捕捉可用于确定红外摄像头41的一个或多个控制参数的图像统计信息。红外摄像头41可包括相机光学元件411和图像传感器412，相机光学元件411包括一个或多个透镜。图像传感器412可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器82处理的一组原始图像数据。传感器81(如陀螺仪)可基于传感器接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器82。传感器接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器412也可将原始图像数据发送给传感器81，传感器81可基于传感器接口类型把原始图像数据提供给ISP处理器82，或者传感器将原始图像数据存储到存储器51中。

ISP处理器82按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器82可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器82还可从存储器51接收图像数据。例如，传感器接口将原始图像数据发送给存储器51，存储器51中的原始图像数据再提供给ISP处理器82以供处理。

当接收到来自图像传感器接口或来自传感器81接口或来自存储器51的原始图像数据时，ISP处理器82可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器62，以便在被显示之前进行另外的处理。ISP处理器82从存储器51接收处理数据，并对所述处理数据进行图像数据处理。ISP处理器82处理后的图像数据可输出给显示屏，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器82的输出还可发送给图像存储器82，且显示屏55可从存储器51读取图像数据。在一个实施例中，存储器51可被配置为实现一个或多个帧缓冲器。此外，ISP处理器82的输出可发送给编码器/解码器84，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示屏55上之前解压缩。编码器/解码器84可由CPU或GPU或协处理器实现。

ISP处理器82确定的统计数据可发送给控制逻辑器单元83。例如，统计数据可包括自动曝光、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器统计信息。控制逻辑器83可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头的控制参数及ISP处理器82的控制参数。例如，红外摄像头41的控制参数可包括传感器81控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种光学元件破裂的检测方法，其特征在于，所述光学元件包括相机模组的相机光学元件，所述检测方法包括：

获取第一图像；

处理所述第一图像以判断所述第一图像是否存在裂纹图案；和

在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。

2.根据权利要求1所述的检测方法，其特征在于，所述相机模组为红外摄像头，所述第一图像是所述红外摄像头摄取物体反射的环境光中的红外光线形成的。

3.根据权利要求1所述的检测方法，其特征在于，所述处理所述第一图像以判断所述第一图像是否存在裂纹图案的步骤包括：

基于Haar-like矩形特征集构建多级裂纹图案分类器；

采用正裂纹图案样本和负裂纹图案样本训练所述多级裂纹图案分类器；和

采用训练后的所述多级裂纹图案分类器检测所述第一图像是否存在裂纹图案。

4.根据权利要求1所述的检测方法，其特征在于，所述第一图像包括多帧，处理多帧所述第一图像以判断多帧所述第一图像是否均存在裂纹图案，在多帧所述第一图像均存在裂纹图案时，所述检测方法还包括：

比较任意两帧所述第一图像中的所述裂纹图案所在的裂纹位置是否一致；和

在任意两帧所述第一图像中的所述裂纹位置一致时，确认所述相机光学元件破裂。

5.根据权利要求2至4任意一项所述的检测方法，其特征在于，所述光学元件还包括红外补光灯的补光光学元件，所述检测方法还包括：

在确认所述相机光学元件未破坏时，开启所述红外补光灯和所述红外摄像头；

根据所述红外补光灯发出的红外光线获取第二图像；

处理所述第二图像以判断所述第二图像是否存在光纹图案；和

在所述第二图像存在所述光纹图案时确认所述补光光学元件破裂。

6.根据权利要求5所述的检测方法，其特征在于，所述处理所述第二图像以判断所述第二图像是否存在光纹图案的步骤包括：

基于Haar-like矩形特征集构建多级光纹图案分类器；

采用正光纹图案样本和负光纹图案样本训练所述多级光纹图案分类器；和

采用训练后的所述多级光纹图案分类器检测所述第二图像是否存在光纹图案。

7.根据权利要求6所述的检测方法，其特征在于，所述第二图像包括多帧，处理多帧所述第二图像以判断多帧所述第二图像是否均存在光纹图案，在多帧所述第二图像均存在所述光纹图案时，所述检测方法还包括：

比较任意两帧所述第二图像中的所述光纹图案所在的光纹位置是否一致；和

在任意两帧所述第二图像中的所述光纹位置一致时，确认所述补光光学元件破裂。

8.根据权利要求2至4任意一项所述的检测方法，其特征在于，所述光学元件还包括结构光投射器的结构光光学元件，所述检测方法还包括：

在确认所述相机光学元件未破裂时，开启所述结构光投射器和所述红外摄像头；

根据所述结构光投射器发出的红外光线获取第三图像；

处理所述第三图像以判断所述第三图像中是否存在深度异常信息；和

在所述第三图像中存在深度异常信息时确认所述结构光光学元件破裂。

9.根据权利要求8所述的检测方法，其特征在于，所述处理所述第三图像以判断所述第三图像中是否存在深度异常信息的步骤包括：

根据所述第三图像和预设参考图像计算所述第三图像中各个像素点的散点偏移量；

根据所述散点偏移量计算所述第三图像中各个像素点的深度信息；

计算相邻接的所述深度信息大于预设阈值的像素点的个数；和

在所述相邻接的像素点的个数大于预设数量时确定所述第三图像中存在所述深度异常信息。

10.根据权利要求8所述的检测方法，其特征在于，所述第三图像包括多帧，处理多帧所述第三图像以判断多帧所述第三图像中是否存在所述深度异常信息，在多帧所述第三图像均存在所述深度异常信息时，所述检测方法还包括：

比较任意两帧所述第三图像中所述异常深度信息所处的位置信息是否一致；和

在任意两帧所述第三图像中所述深度异常信息所处的位置信息一致时，确认所述结构光光学元件破裂。

11.一种光学元件破裂的检测装置，其特征在于，所述光学元件包括相机模组的相机光学元件，所述检测装置包括：

第一获取模块，所述第一获取模块用于获取第一图像；

第一处理模块，所述第一处理模块用于处理所述第一图像以判断所述第一图像是否存在裂纹图案；和

第一确认模块，所述第一确认模块用于在所述第一图像存在裂纹图案时确认所述相机光学元件破裂。

12.根据权利要求11所述的检测装置，其特征在于，所述相机模组为红外摄像头，所述第一图像是所述红外摄像头摄取物体反射的环境光中的红外光线形成的。

13.根据权利要求11所述的检测装置，其特征在于，所述第一处理模块包括：

第一构建单元，所述第一构建单元用于基于Haar-like矩形特征集构建多级裂纹图案分类器；

第一训练单元，所述第一训练单元用于采用正裂纹图案样本和负裂纹图案样本训练所述多级裂纹图案分类器；和

第一检测单元，所述第一检测单元用于采用训练后的所述多级裂纹图案分类器检测所述第一图像是否存在裂纹图案。

14.根据权利要求11所述的检测装置，其特征在于，所述第一图像包括多帧，处理多帧所述第一图像以判断多帧所述第一图像是否均存在裂纹图案，在多帧所述第一图像均存在裂纹图案时，所述检测装置还包括：

第一比较模块，所述第一比较模块用于比较任意两帧所述第一图像中的所述裂纹图案所在的裂纹位置是否一致；

所述第一确认模块还用于在任意两帧所述第一图像中的所述裂纹位置一致时，确认所述相机光学元件破裂。

15.根据权利要求12至14任意一项所述的检测装置，其特征在于，所述光学元件还包括红外补光灯的补光光学元件，所述检测装置还包括：

第一开启模块，所述第一开启模块用于在确认所述相机光学元件未破坏时，开启所述红外补光灯和所述红外摄像头；

第二获取模块，所述第二获取模块用于根据所述红外补光灯发出的红外光线获取第二图像；

第二处理模块，所述第二处理模块用于处理所述第二图像以判断所述第二图像是否存在光纹图案；和

第二确认模块，所述第二确认模块用于在所述第二图像存在所述光纹图案时确认所述补光光学元件破裂。

16.根据权利要求15所述的检测装置，其特征在于，所述第二处理模块包括：

第二构建单元，所属第二构建单元用于基于Haar-like矩形特征集构建多级光纹图案分类器；

第二训练单元，所述第二训练单元用于采用正光纹图案样本和负光纹图案样本训练所述多级光纹图案分类器；和

第二检测单元，所述第二检测单元用于采用训练后的所述多级光纹图案分类器检测所述第二图像是否存在光纹图案。

17.根据权利要求16所述的检测装置，其特征在于，所述第二图像包括多帧，处理多帧所述第二图像以判断多帧所述第二图像是否均存在光纹图案，在多帧所述第二图像均存在所述光纹图案时，所述检测装置还包括：

第二比较模块，所述第二比较模块用于比较任意两帧所述第二图像中的所述光纹图案所在的光纹位置是否一致；

所述第二确认模块用于在任意两帧所述第二图像中的所述光纹位置一致时，确认所述补光光学元件破裂。

18.根据权利要求12至14任意一项所述的检测装置，其特征在于，所述光学元件还包括结构光投射器的结构光光学元件，所述检测装置还包括：

第二开启模块，所述第二开启模块用于在确认所述相机光学元件未破裂时，开启所述结构光投射器和所述红外摄像头；

第三获取模块，所述第三获取模块用于根据所述结构光投射器发出的红外光线获取第三图像；

第三处理模块，所述第三处理模块用于处理所述第三图像以判断所述第三图像中是否存在深度异常信息；和

第三确认模块，所述第三确认模块用于在所述第三图像中存在深度异常信息时确认所述结构光光学元件破裂。

19.根据权利要求18所述的检测装置，其特征在于，所述第三处理模块包括：

第一计算单元，所述第一计算单元用于根据所述第三图像和预设参考图像计算所述第三图像中各个像素点的散点偏移量；

第二计算单元，所述第二计算单元用于根据所述散点偏移量计算所述第三图像中各个像素点的深度信息；

第三计算单元，所述第三计算单元用于计算相邻接的所述深度信息大于预设阈值的像素点的个数；和

确认单元，所述确认单元用于在所述相邻接的像素点的个数大于预设数量时确定所述第三图像中存在所述深度异常信息。

20.根据权利要求18所述的检测装置，其特征在于，所述第三图像包括多帧，处理多帧所述第三图像以判断多帧所述第三图像中是否存在所述深度异常信息，在多帧所述第三图像均存在所述深度异常信息时，所述检测装置还包括：

第三比较模块，所述第三比较模块用于比较任意两帧所述第三图像中所述异常深度信息所处的位置信息是否一致；和

所述第三确认模块还用于在任意两帧所述第三图像中所述深度异常信息所处的位置信息一致时，确认所述结构光光学元件破裂。

21.一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行权利要求1至10任意一项所述的检测方法。

22.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至10中任意一项所述的检测方法。