CN109167998A - 检测相机状态的方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明实施例涉及图像识别技术领域，公开了一种检测相机状态的方法及装置、电子设备、存储介质。本发明中，通过获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；将N种类型的图片作为训练数据进行卷积神经网络模型训练；利用训练好的模型预测相机实时拍摄的图片的类型；根据预测结果判定相机是否可用；提供了一种可靠的检测相机状态的方法，并且运用卷积神经网络对相机拍摄的图片进行分类，可使得对相机是否可用的判定更为准确。

Description

检测相机状态的方法及装置、电子设备、存储介质

技术领域

本发明实施例涉及图像识别技术领域，特别涉及一种检测相机状态的方法。

背景技术

近年来，无人售货机异军突起，深受用户的欢迎。最新的无人售货机技术抛弃重力感应，利用机器视觉识别商品，使得在无人值守的情况下，用户可真实触摸选购自己所需要的商品，并在用户购物结束后可自动进行结算，实现即拿即走，免去了用户现金或手机进行支付的过程。

发明人发现现有技术中至少存在如下问题：

当无人售货机的相机镜头起雾时，无人售货***无法及时知道，从而无法准确识别商品。

发明内容

本发明实施方式的目的在于提供一种检测相机状态的方法及装置、电子设备、存储介质，使得***能够准确检测到相机的状态。

为解决上述技术问题，本发明的实施方式提供了一种检测相机状态的方法，包括以下步骤：获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；将N种类型的图片作为训练数据进行卷积神经网络模型训练；利用训练好的模型预测相机实时拍摄的图片的类型；根据预测结果判定相机是否可用。

本发明的实施方式还提供了一种检测相机状态的装置，包括：获取模块，用于获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；训练模块，用于将N种类型的图片作为训练数据进行卷积神经网络模型训练；预测模块，用于利用训练好的模型预测相机实时拍摄的图片的类型；判定模块，用于根据预测结果判定相机是否可用。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的检测相机状态的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的检测相机状态的方法。

本发明实施方式相对于现有技术而言，通过获取相机拍摄到的多种类型的图片，并用这些图片作为训练数据进行卷积神经网络模型训练，能够得到可靠的分类模型，利用训练好的模型预测相机实时拍摄的图片的类型，可预测出相机拍摄的照片的类型，根据预测结果，即可判定出相机是否可用，并且，卷积神经网络模型能够准确判定各图片的类型，而图片的种类越多，相机可用状态的判定也就更为准确。本实施例提供了一种可靠的检测相机状态的方法，并且运用卷积神经网络对相机拍摄的图片进行分类，可使得对相机是否可用的判定更为准确。

另外，上述将N种类型的图片作为训练数据进行卷积神经网络模型训练，具体包括：选择多个卷积神经网络；将N种类型的图片作为训练数据对多个卷积神经网络中的各卷积神经网络进行模型训练；上述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：利用训练好的各卷积神经网络模型预测相机实时拍摄的图片的类型；根据各卷积神经网络模型的预测结果进行投票，得到最终的预测结果。本实施方式提供了一种具体的运用卷积神经网络预测相机实时拍摄的图片的类型的方法，通过对多个卷积神经网络均进行模型训练，可得到多个预测模型，通过根据多个模型的预测结果进行投票得到最终的预测结果，可避免因某个模型的异常而导致的预测结果偏差较大，使得预测结果更为准确可靠。

另外，上述多个卷积神经网络至少包括深度残差网络；上述根据各卷积神经网络的预测结果进行投票，得到最终的预测结果，包括：若投票结果为平票，则以深度残差网络的预测结果作为最终的预测结果。本实施例提供了一种当投票结果为平票时的解决方案，由于深度残差网络的预测结果准确率较高，当出现平票时，以深度残差网络的预测结果作为最终的预测结果可更大概率地保证预测结果的准确性。

另外，根据预测结果判定相机是否可用具体为：上述根据预测结果判定相机是否可用具体为：判断预测结果是否表征相机实时拍摄的图片清晰，若是，则判定相机可用，否则，判定相机不可用。本实施例提供了一种具体的判定相机是否可用的方法，由于在实际应用过程中，当相机拍摄的照片模糊时将会影响到无人售货***的服务质量，通过相机拍摄的图片是否清晰来判定相机是否可用，是一种切合实际的判定标准。

另外，上述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：利用训练好的模型预测相机最近拍摄的L张图片的类型，其中，L为大于1的自然数；上述判断预测结果是否表征相机实时拍摄的图片清晰，若是，则判定相机可用，否则，判定相机不可用，具体为：判断预测结果是否表征L张图片均清晰，若是，则判定相机可用，否则，判定相机不可用。本实施例中，在判定相机是否可用时，对相机最近拍摄的多张图片进行了预测，只有当多张图片均清晰时，才判定相机可用，使得对相机状态的判定更为准确。

另外，在上述判定所述相机不可用后，则将所述相机的不可用状态上报。本实施例中，将相机的不可用状态上报，可及时通知相关人员对相机进行处理。

另外，上述N为6，上述N种类型，具体为：空着清晰类型，空着模糊类型，最清晰类型，最模糊类型，曝光清晰类型，曝光模糊类型。本实施例提供了一种相机拍摄的图片的具体类型，这六种类型是相机在拍摄照片过程中常见的类型，并且，卷积神经网络能够很好地区分出这六种类型，从而使得相机状态的检测更为准确。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本发明第一实施方式提供的检测相机状态的方法流程图；

图2是根据本发明第二实施方式提供的检测相机状态的方法流程图；

图3是根据本发明第三实施方式提供的检测相机状态的方法流程图；

图4是根据本发明第四实施方式提供的检测相机状态的装置结构示意图；

图5是根据本发明第五实施方式提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种检测相机状态的方法。本实施方式中，获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；将N种类型的图片作为训练数据进行卷积神经网络模型训练；利用训练好的模型预测相机实时拍摄的图片的类型；根据预测结果判定相机是否可用，通过获取相机拍摄到的多种类型的图片，并用这些图片作为训练数据进行卷积神经网络模型训练，能够得到可靠的分类模型，利用训练好的模型预测相机实时拍摄的图片的类型，可预测出相机拍摄的照片的类型，根据预测结果，即可判定出相机是否可用，并且，卷积神经网络模型能够准确判定各图片的类型，而图片的种类越多，相机可用状态的判定也就更为准确。本实施方式中的检测相机状态的方法如图1所示，下面对本实施方式的检测相机状态的方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

步骤101：获取相机拍摄到的N种类型的图片。

具体地说，计算机可从相机的存储器或云端获取相机拍摄的大量图片，并通过人工的方式，将这些图片划分为N类，其中，N为大于2的自然数。

在一个具体的无人售货机场景中，上述N可具体为6，上述N种类型，具体为：空着清晰类型，空着模糊类型，最清晰类型，最模糊类型，曝光清晰类型，曝光模糊类型。这六种类型是相机在拍摄照片过程中常见的类型，对这些类型的图片均进行分析可保证获取的数据足够多样。

步骤102：将N种类型的图片作为训练数据进行卷积神经网络模型训练。

具体地说，计算机可从获取的每张图片中提取出二维数组(灰度图像)或三维数组(彩色图像)，并将提取的数组作为卷积神经网络的输入，将该图片的类型作为对应的输出进行模型训练(卷积神经网络可提取出图像的判别特征以供分类器进行学习)。

步骤103：利用训练好的模型预测相机实时拍摄的图片的类型。

具体地说，计算机获取相机实时拍摄的图片，并提取出相应的特征数据，利用训练好的卷积神经网络模型来预测该图片具体属于N种类型中的哪一种。

步骤104：根据预测结果判定相机是否可用。

具体地说，计算机利用训练好的卷积神经网络模型可以预测相机实时拍摄的图片的类型，若预测结果表明图片属于异常类型(例如图片非常模糊)，则判定相机不可用。

本实施方式相对现有技术而言，通过获取相机拍摄到的多种类型的图片，并用这些图片作为训练数据进行卷积神经网络模型训练，能够得到可靠的分类模型，利用训练好的模型预测相机实时拍摄的图片的类型，可预测出相机拍摄的照片的类型，根据预测结果，即可判定出相机是否可用，并且，卷积神经网络模型能够准确判定各图片的类型，而图片的种类越多，相机可用状态的判定也就更为准确。本实施例提供了一种可靠的检测相机状态的方法，并且运用卷积神经网络对相机拍摄的图片进行分类，可使得对相机是否可用的判定更为准确。

本发明的第二实施方式涉及一种检测相机状态的方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第二实施方式中，提供了运用卷积神经网络预测相机实时拍摄的图片的类型的方法。本实施例的流程图如图2所示，下面进行具体说明。

步骤201：获取相机拍摄到的N种类型的图片。

步骤201与第一实施方式的步骤101大致相同，为避免重复，这里不再一一赘述。

步骤202：选择多个卷积神经网络。

具体地说，常用的卷积神经网络有多种网络结构，比如VGG16、GoogLeNet和ResNet、mobilenet等，从中选择多个不同网络架构的卷积神经网络。

步骤203：将N种类型的图片作为训练数据对多个卷积神经网络中的各卷积神经网络进行模型训练。

具体地说，计算机将从每张图片中提取的数据分别作为各卷积神经网络的输入，将该图片的类型作为对应的输出进行各卷积神经网络模型训练。

步骤204：利用训练好的各卷积神经网络模型预测相机实时拍摄的图片的类型。

具体地说，计算机利用训练好的多个卷积神经网络模型中的每个模型，对相机实时拍摄的图片的类型进行预测。

步骤205：根据各卷积神经网络模型的预测结果进行投票，得到最终的预测结果。

具体地说，由于各卷积神经网络模型的预测结果可能不同，这时，根据各模型的预测结果进行投票，例如，总共有5个卷积神经网络模型，其中3个卷积神经网络模型的预测结果为A类，另外2个卷积神经网络模型的预测结果为B类，则判定最终的预测结果为A类，即最终判定相机实时拍摄的图片的类型为A类。

值得一提的是，多个卷积神经网络至少包括深度残差网络(即ResNet)；根据各卷积神经网络的预测结果进行投票，得到最终的预测结果，包括：若投票结果为平票，则以深度残差网络的预测结果作为最终的预测结果。由于深度残差网络的预测结果准确率较高，当出现平票时，以深度残差网络的预测结果作为最终的预测结果可更大概率地保证预测结果的准确性。

步骤206：根据预测结果判定相机是否可用。

步骤206与第一实施方式中的步骤104大致相同，为避免重复，这里不再一一赘述。

本实施方式相对现有技术而言，提供了一种具体的运用卷积神经网络预测相机实时拍摄的图片的类型的方法，通过对多个卷积神经网络均进行模型训练，可得到多个预测模型，通过根据多个模型的预测结果进行投票得到最终的预测结果，可避免因某个模型的异常而导致的预测结果偏差较大，使得预测结果更为准确可靠。

本发明的第三实施方式涉及一种检测相机状态的方法。第三实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第三实施方式中，提供了一种具体的判定相机是否可用的方法。本实施例的流程图如图3所示，下面进行具体说明。

步骤301：获取相机拍摄到的N种类型的图片。

步骤302：将N种类型的图片作为训练数据进行卷积神经网络模型训练。

步骤303：利用训练好的模型预测相机实时拍摄的图片的类型。

步骤301至步骤303与第一实施方式的步骤101至步骤103大致相同，为避免重复，这里不再一一赘述。

步骤304：判断预测结果是否表征相机实时拍摄的图片清晰，若是，则执行步骤305，否则执行步骤306。

具体地说，在无人售货机场景中，相机拍摄的照片的类型分为空着清晰类型，空着模糊类型，最清晰类型，最模糊类型，曝光清晰类型，曝光模糊类型六种，当卷积神经网络的预测结果表明照片的类型为空着清晰类型、最清晰类型、曝光清晰类型其中的一种时，判定相机可用，否则判定相机不可用。

值得一提的是，上述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：利用训练好的模型预测相机最近拍摄的L张图片的类型，其中，L为大于1的自然数；上述判断预测结果是否表征相机实时拍摄的图片清晰，若是，则判定相机可用，否则，判定相机不可用，具体为：判断预测结果是否表征L张图片均清晰，若是，则判定相机可用，否则，判定相机不可用。本实施例中，在判定相机是否可用时，对相机最近拍摄的多张图片进行了预测，只有当多张图片均清晰时，才判定相机可用，使得对相机状态的判定更为准确。

步骤305：判定相机可用。

步骤306：判定相机不可用。

具体地说，当预测结果表征相机实时拍摄的图片模糊时，则表明相机镜头已起雾，无人售卖***有无法准确识别商品的风险，此时判定相机不可用，并将相机的不可用状态上报，使得相关工作人员能够尽快处理该状况。

本实施方式相对现有技术而言，提供了一种具体的判定相机是否可用的方法，由于在实际应用过程中，当相机拍摄的照片模糊时将会影响到无人售货***的服务质量，通过相机拍摄的图片是否清晰来判定相机是否可用，是一种切合实际的判定标准。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第四实施方式涉及一种检测相机状态的装置，如图4所示，包括：

获取模块401，用于获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；训练模块402，用于将N种类型的图片作为训练数据进行卷积神经网络模型训练；预测模块403，用于利用训练好的模型预测相机实时拍摄的图片的类型；判定模块404，用于根据预测结果判定相机是否可用。

在一个例子中，上述训练模块402具体用于选择多个卷积神经网络；将N种类型的图片作为训练数据对多个卷积神经网络中的各卷积神经网络进行模型训练；上述预测模块403，具体用于利用训练好的各卷积神经网络模型预测相机实时拍摄的图片的类型；根据各卷积神经网络模型的预测结果进行投票，得到最终的预测结果。

在一个例子中，上述多个卷积神经网络至少包括深度残差网络；上述根据各卷积神经网络的预测结果进行投票，得到最终的预测结果，包括：若投票结果为平票，则以深度残差网络的预测结果作为最终的预测结果。

在一个例子中，上述判定模块404具体用于判断预测结果是否表征相机实时拍摄的图片清晰，若是，则判定相机可用，否则，判定相机不可用。

在一个例子中，上述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：利用训练好的模型预测相机最近拍摄的L张图片的类型，其中，L为大于1的自然数；上述判断预测结果是否表征相机实时拍摄的图片清晰，若是，则判定相机可用，否则，判定相机不可用，具体为：判断预测结果是否表征L张图片均清晰，若是，则判定相机可用，否则，判定相机不可用。

在一个例子中，在上述判定相机不可用后，则将相机的不可用状态上报。

在一个例子中，上述N为6，上述N种类型，具体为：空着清晰类型，空着模糊类型，最清晰类型，最模糊类型，曝光清晰类型，曝光模糊类型。

不难发现，本实施方式为与第一实施方式至第三实施方式相对应的***实施例，本实施方式可与第一实施方式至第三实施方式互相配合实施。第一实施方式至第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式至第三实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种电子设备，如图5所示，包括：

至少一个处理器501；以及，

与至少一个处理器501通信连接的存储器502；其中，

存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如权利要求上述的检测相机状态的方法。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。

本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种检测相机状态的方法，其特征在于，包括：

获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；

将所述N种类型的图片作为训练数据进行卷积神经网络模型训练；

利用训练好的模型预测相机实时拍摄的图片的类型；

根据预测结果判定相机是否可用。

2.根据权利要求1所述的检测相机状态的方法，其特征在于，所述将所述N种类型的图片作为训练数据进行卷积神经网络模型训练，具体包括：

选择多个卷积神经网络；

将所述N种类型的图片作为训练数据对所述多个卷积神经网络中的各卷积神经网络进行模型训练；

所述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：

利用训练好的各卷积神经网络模型预测所述相机实时拍摄的图片的类型；

根据各卷积神经网络模型的预测结果进行投票，得到最终的预测结果。

3.根据权利要求2所述的检测相机状态的方法，其特征在于，

所述多个卷积神经网络至少包括深度残差网络；

所述根据所述各卷积神经网络的预测结果进行投票，得到最终的预测结果，包括：

若所述投票结果为平票，则以深度残差网络的预测结果作为最终的预测结果。

4.根据权利要求1所述的检测相机状态的方法，其特征在于，所述根据预测结果判定相机是否可用具体为：

判断所述预测结果是否表征所述相机实时拍摄的图片清晰，若是，则判定所述相机可用，否则，判定所述相机不可用。

5.根据权利要求4所述的检测相机状态的方法，其特征在于，所述利用训练好的模型预测相机实时拍摄的图片的类型，具体包括：

利用训练好的模型预测所述相机最近拍摄的L张图片的类型，其中，L为大于1的自然数；

所述判断所述预测结果是否表征所述相机实时拍摄的图片清晰，若是，则判定所述相机可用，否则，判定所述相机不可用，具体为：

判断预测结果是否表征所述L张图片均清晰，若是，则判定所述相机可用，否则，判定所述相机不可用。

6.根据权利要求4所述的检测相机状态的方法，其特征在于，在所述判定所述相机不可用后，将所述相机的不可用状态上报。

7.根据权利要求1所述的检测相机状态的方法，其特征在于，所述N为6，所述N种类型，具体为：

空着清晰类型，空着模糊类型，最清晰类型，最模糊类型，曝光清晰类型，曝光模糊类型。

8.一种检测相机状态的装置，其特征在于，包括：

获取模块，用于获取相机拍摄到的N种类型的图片，其中，N为大于2的自然数；

训练模块，用于将所述N种类型的图片作为训练数据进行卷积神经网络模型训练；

预测模块，用于利用训练好的模型预测相机实时拍摄的图片的类型；

判定模块，用于根据预测结果判定相机是否可用。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的检测相机状态的方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的检测相机状态的方法。