CN114783087A - 一种创建智能门锁的方法及*** - Google Patents

Abstract

本发明涉及微控制器及边缘计算技术领域，具体提供了一种创建智能门锁的方法，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas‑Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。与现有技术相比，本发明不需要云端以及网络的参与，解决了联网状态下容易造成信息泄露的问题，使智能门锁不容易被破解以及损坏，保证了智能门锁的安全。

Description

一种创建智能门锁的方法及***

技术领域

本发明涉及微控制器及边缘计算技术领域，具体提供一种创建智能门锁的方法及***。

背景技术

随着人类的发展和社会的进步人们对家庭防盗的事情越来越关心，但目前的门锁存在各种各样的问题，市面上存在最多的还要属原始机械锁,但机械锁存在这容易被撬开或用坚硬的物体别开以及钥匙被复制的风险,一旦房主长时间不在家或规律型早出晚归这会让犯罪分子有机可乘。

其次现在市面上存在的部分智能锁比如指纹锁和密码锁都存在容易被破解的问题，还有一些智能门锁通过WIFI等传输方法将智能手机的指令传输到控制芯片、再由控制芯片将门锁打开其存在将手机指令再发向门锁的时候会被干扰，甚至被截取密钥，这些问题导致门锁安全功能也会大打折扣使违法者有机可乘。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的创建智能门锁的方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的创建智能门锁装置。

本发明解决其技术问题所采用的技术方案是：

一种创建智能门锁的方法，其特征在于，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

进一步的，在数据进行读取以及预处理时，对于人员突然进入视野时及时进行识别，首先对视频图像进行图像灰度化预处理；

灰度化时，根据彩色图像R、G、B三基色的不同重要性分别分配不同的权重，然后加权平均三基色的亮度值作为图像灰度值。

进一步的，灰度化处理公式为：

f(i,j)＝0.29R(i,j)+0.58G(i,j)+0.13B(i,j)

其中f(i,j)表示灰度化后的灰度图像在位置(i,j)处的像素值，R(i,j),G(i,j),B(i,j)分别表示红绿蓝三个分量在位置(i,j)处的分量。

Lucas-Kanade光流法需要同时满足三个基本假设，首先是设定空间中同一点随时间在不同帧之间运动时灰度恒定；

其次，便是相邻帧之间运动目标的位置不会发生较大变化；

最后，便是空间中近邻点投影到图像中也是近邻点,同时各点光流矢量一致；考虑空间中一点在一帧图像上的位置为(x,y)，灰度值为I(x,y,t)，经过时间dt后，点移动到位置(x+d_x,y+d_y)处，灰度值相应为I(x+d_x,y+d_y,t+d_t)。

进一步的，在进行建立金字塔图像时经过两个步骤，一是高斯滤波平滑图像，二是降采样；

所述降采样即每次采样使得每一层图像分辨率降为原来的二分之一。

进一步的，从图像金字塔顶层开始逐层通过Lucas-Kanade光流法计算光流，将上一层图像计算得到的光流估计作为下一层图像光流估计的初始值，不断重复直到计算出图像金字塔底层的光流信息；

假设原本Lucas-Kanade光流法可以处理的像素运动的最大位移为d_max，则通过金字塔Lucas-Kanade光流法可以处理的像素运动的最大位移变为d_maxfinal＝(2L+1-1)d_max。

进一步的，计算所述图像金字塔每一层图像的光流时多次迭代，对于金字塔图像某一层相邻两帧图像I和J，设迭代次数为K(K≥1)，第k-1(2≤k≤K)次迭代结束后得到光流

在进行第k次迭代时将作为图像J的移动向量得到图像J_k且

第k次迭代的目标就是计算优化向量η^k以最小化如下目标函数：

w_x与w_y表示邻域窗口的大小，求解得到η^k＝G^-1b_k，最终得到k次迭代后的光流d^k＝d^k-1+η^k，当达到迭代次数K或者优化变量η^k小于设定阈值时迭代结束，开始计算金字塔图像下一层光流。

进一步的，在提取前景人员信息时，首先得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割；

其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值；

当运动目标运动状态发生变化时分割阈值将根据实际光流进行调整，最后将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，剩余光流进行保留。

进一步的，神经网络进行识别时，神经网络将采集到的每帧图像数据作为输入，并与本地存储器中的人脸数据进行对比，比对成功后控制电子锁进行开关状态切换。

一种创建智能门锁的***，其特征在于，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

本发明的一种创建智能门锁的方法及装置和现有技术相比，具有以下突出的有益效果：

本发明的智能锁整体功能均在本地实现，不需要云端以及网络的参与，解决了联网状态下容易造成信息泄露的问题，使智能门锁不容易被破解以及损坏，保证了智能门锁的安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1是一种创建智能门锁的方法中训练阶段的流程示意图；

附图2是一种创建智能门锁的方法中使用阶段流程示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

下面给出一个最佳实施例：

如图1、2所示，本实施例中的一种创建智能门锁的方法，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内。

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取运动目标(前景人员信息)，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

在使用阶段，具体的步骤为：

在数据进行读取以及预处理时，采集开锁人员常站位置的图像时，通常情况下图像均为静止状态，常规识别即可。

为了便于在人员突然进入视野时及时进行识别，在进行目标检测之前首先对视频图像进行图像灰度化预处理以增强图像细节，减弱噪声影响。灰度化时根据彩色图像R、G、B三基色的不同重要性分别分配其不同的权重，然后加权平均三基色的亮度值作为图像灰度值。本文灰度化处理公式为：

f(i,j)＝0.29R(i,j)+0.58G(i,j)+0.13B(i,j)

其中f(i,j)表示灰度化后的灰度图像在位置(i,j)处的像素值，R(i,j),G(i,j),B(i,j)分别表示红绿蓝三个分量在位置(i,j)处的分量。

Lucas-Kanade光流法需要同时满足三个基本假设，首先是设定空间中同一点随时间在不同帧之间运动时其灰度恒定；其次便是相邻帧之间运动目标的位置不会发生较大变化；最后便是空间中近邻点投影到图像中也是近邻点,同时各点光流矢量一致。

考虑空间中一点在一帧图像上的位置为(x,y)，其灰度值为I(x,y,t)，经过时间dt后，该点移动到位置(x+d_x,y+d_y)处，灰度值相应为I(x+d_x,y+d_y,t+d_t)。

在实际应用中，首先实时读取传感器数据，建立金字塔图像。金字塔图像的生成需要经过两个步骤，一是高斯滤波平滑图像、二是降采样两个步骤。其中，降采样即每次采样使得每一层图像分辨率降为原来的二分之一。

然后从图像金字塔顶层开始逐层通过Lucas-Kanade光流法计算光流，然后将上一层图像计算得到的光流估计作为下一层图像光流估计的初始值，不断重复这个过程直到计算出图像金字塔底层的光流信息。假设原本Lucas-Kanade光流法可以处理的像素运动的最大位移为d_max，则通过金字塔Lucas-Kanade光流法可以处理的像素运动的最大位移变为d_maxfinal＝(2^L+1-1)d_max。

此外，在计算图像金字塔每一层图像的光流时多次迭代。对于金字塔图像某一层相邻两帧图像I和J，设迭代次数为K(K≥1)，第k-1(2≤k≤K)次迭代结束后得到光流

在进行第k次迭代时将其作为图像J的移动向量得到图像J_k且

第k次迭代的目标就是计算优化向量η^k以最小化如下目标函数：

w_x与w_y表示邻域窗口的大小，求解得到η^k＝G^-1b_k，最终得到k次迭代后的光流d^k＝d^k-1+η^k，当达到迭代次数K或者优化变量η^k小于设定阈值时迭代结束，开始计算金字塔图像下一层光流。

通过以上操作之后，可以剔除无用的背景光流，更准确提取运目标区域。首先，得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割，这样就避免了对光流矢量直接分割而丢失一些有效光流的情况。

其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值。当运动目标运动状态发生变化时分割阈值将根据实际光流进行调整，最后将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，其余光流进行保留。

在神经网络进行识别时，神经网络将采集到的每帧图像数据作为输入，并与本地存储器中的人脸数据进行对比，比对成功后控制电子锁进行开关状态切换。

其中，神经网络模型使用TinyML库移植到嵌入式设备，整套***实现完全在本地设备上的运行。

基于上述方法，本实施例中的一种创建智能门锁的***，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种创建智能门锁的方法及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种创建智能门锁的方法，其特征在于，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

2.根据权利要求1所述的一种创建智能门锁的方法，其特征在于，在数据进行读取以及预处理时，对于人员突然进入视野时及时进行识别，首先对视频图像进行图像灰度化预处理；

灰度化时，根据彩色图像R、G、B三基色的不同重要性分别分配不同的权重，然后加权平均三基色的亮度值作为图像灰度值。

3.根据权利要求2所述的一种创建智能门锁的方法，其特征在于，灰度化处理公式为：

f(i,j)＝0.29R(i,j)+0.58G(i,j)+0.13B(i,j)

其中f(i,j)表示灰度化后的灰度图像在位置(i,j)处的像素值，R(i,j),G(i,j),B(i,j)分别表示红、绿、蓝三个分量在位置(i,j)处的分量；

Lucas-Kanade光流法需要同时满足三个基本假设，首先是设定空间中同一点随时间在不同帧之间运动时灰度恒定；

其次，便是相邻帧之间运动目标的位置不会发生较大变化；

最后，便是空间中近邻点投影到图像中也是近邻点,同时各点光流矢量一致；考虑空间中一点在一帧图像上的位置为(x,y)，灰度值为I(x,y,t)，经过时间dt后，点移动到位置(x+d_x,y+d_y)处，灰度值相应为I(x+d_x,y+d_y,t+d_t)。

4.根据权利要求3所述的一种创建智能门锁的方法，其特征在于，在进行建立金字塔图像时经过两个步骤，一是高斯滤波平滑图像，二是降采样；

所述降采样即每次采样使得每一层图像分辨率降为原来的二分之一。

5.根据权利要求4所述的一种创建智能门锁的方法，其特征在于，从图像金字塔顶层开始逐层通过Lucas-Kanade光流法计算光流，将上一层图像计算得到的光流估计作为下一层图像光流估计的初始值，不断重复直到计算出图像金字塔底层的光流信息；

假设原本Lucas-Kanade光流法可以处理的像素运动的最大位移为d_max，则通过金字塔Lucas-Kanade光流法可以处理的像素运动的最大位移变为d_maxfinal＝(2^L+1-1)d_max。

6.根据权利要求5所述的一种创建智能门锁的方法，其特征在于，计算所述图像金字塔每一层图像的光流时多次迭代，对于金字塔图像某一层相邻两帧图像I和J，设迭代次数为K(K≥1)，第k-1(2≤k≤K)次迭代结束后得到光流

在进行第k次迭代时将作为图像J的移动向量得到图像J_k且

第k次迭代的目标就是计算优化向量η^k以最小化如下目标函数：

w_x与w_y表示邻域窗口的大小，求解得到η^k＝G^-1b_k，最终得到k次迭代后的光流d^k＝d^k-1+η^k，当达到迭代次数K或者优化变量η^k小于设定阈值时迭代结束，开始计算金字塔图像下一层光流。

7.根据权利要求6所述的一种创建智能门锁的方法，其特征在于，在提取前景人员信息时，首先得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割；

其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值；

当运动目标运动状态发生变化时分割阈值将根据实际光流进行调整，最后将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，剩余光流进行保留。

8.根据权利要求7所述的一种创建智能门锁的方法，其特征在于，神经网络进行识别时，神经网络将采集到的每帧图像数据作为输入，并与本地存储器中的人脸数据进行对比，比对成功后控制电子锁进行开关状态切换。

9.一种创建智能门锁的***，其特征在于，分为训练阶段和使用阶段，在训练阶段通过图像传感器采集图像信息数据，并在微控制器内进行本地训练，将训练结果存储在本地存储器内；

在使用阶段，先将数据进行读取以及预处理，然后通过金字塔Lucas-Kanade对图像进行动态目标检测，检测完成后提取前景人员信息，然后将所述提取前景人员信息送入神经网络进行识别，识别完成后确认人员身份信息，判断是否开锁。

Images