CN110222730A

CN110222730A - 基于惯性传感器的用户身份识别方法及识别模型构建方法

Info

Publication number: CN110222730A
Application number: CN201910408683.7A
Authority: CN
Inventors: 薛洋; 丁彦方
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-05-16
Filing date: 2019-05-16
Publication date: 2019-09-10

Abstract

本发明公开了基于惯性传感器的用户身份识别方法及识别模型构建方法，首先根据惯性传感器的种类数创建相应个数的神经网络模型，并且将各神经网络模型的输出均连接到一个结合特征层，由结合特征层的输出依次连接全连接层和概率化层后得到第一模型；然后针对第一模型进行训练，其中以各种惯性传感器获取到的身份信息已知的每个用户的各种惯性传感器信号为一个训练样本，在对第一模型训练过程中，将每个训练样本中的各种惯性传感器信号分别输入到各个神经网络模型中，然后以每个训练样本对应用户的身份信息为标签对第一模型进行训练，最终得到用户身份识别模型。本发明方法能够构建出一个用户身份识别准确率高的模型。

Description

基于惯性传感器的用户身份识别方法及识别模型构建方法

技术领域

本发明涉及用户身份验证领域，特别涉及一种基于惯性传感器的用户身份识别方法及识别模型构建方法。

背景技术

目前，移动设备(例如可穿戴设备、虚拟现实等)越来越广泛地被使用，但由于其缺乏键盘或摄像头，用户难以输入密码文本或图像数据以进行身份验证。以往的大多数的用户身份验证方法都是使用书写设备的移动轨迹(即坐标数据)来进行用户身份验证的，但是采集坐标数据需要额外的辅助设备，例如摄像头，这会限制用户身份验证的使用场景；另一方面，以往的大多数的用户身份验证方法还非常依赖于人工设计的特征，人工设计的特征的好坏对身份验证的效果起着决定性的作用，并且这将增加整个验证模型的复杂程度，而不利于计算资源有限的移动设备。

不同于传统的二维平面的手写方式，基于惯性传感器(加速度计和陀螺仪等)的空中手写过程没有任何的触觉和视觉反馈。但它既不受某个特定的书写平面的限制(例如手写板、触摸屏等)，也不需要任何辅助设备(例如摄像头等)；而且，它对环境变化、光照阴影、肤色等因素都不敏感，用户只需要手持或佩戴内置惯性传感器的书写设备在空中自由书写即可。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于惯性传感器的用户身份识别模型构建方法，该方法能够构建出一个用户身份识别准确率高的模型。

本发明的第二目的在于提供一种存储介质。

本发明的第三目的在于提供一种计算设备。

本发明的第四目的在于提供一种用户身份验证识别方法，该方法仅使用内置惯性传感器的移动设备在任何空中自由书写就能够完成用户身份验证，能够快速以及准确的识别出用户的身份。

本发明的第五目的在于提供一种用户身份验证识别终端。

本发明的第六目的在于提供一种计算设备。

本发明的第一目的通过下述技术方案实现：一种基于惯性传感器的用户身份识别模型构建方法，所述惯性传感器包括多种类型，步骤如下：

步骤S1、首先创建多个神经网络模型，神经网络模型的个数和惯性传感器的种类数相同；然后将各神经网络模型的输出分别连接结合特征层，由结合特征层对各神经网络模型输出的特征进行结合；最后结合特征层的输出依次连接全连接层和概率化层，得到第一模型；

步骤S2、通过各种类型惯性传感器获取到身份信息已知的各用户的各种惯性传感器信号，并且对获取到的身份信息已知的各用户的各种惯性传感器信号进行预处理，得到各用户预处理后的各种惯性传感器信号；

步骤S3、将身份信息已知的各用户预处理后的各种惯性传感器信号分别对应输入到第一模型中的各个神经网络模型中，并且以各用户的身份信息为标签对第一模型进行训练，得到用户身份识别模型；其中，在训练过程中，第一模型中各神经网络模型输入各种惯性传感器信号后，将输出与用户身份有关的特征，并且均输入到结合特征层，通过结合特征层进行结合，得到结合特征。

优选的，所述概率化层为softmax层；

所述神经网络模型为深度卷积神经网络模型。

优选的，步骤S2中对惯性传感器信号进行预处理的具体过程如下：首先对获取到的各用户的各种惯性传感器信号的每一个轴信号分别进行一维线性样条插值，使得各种惯性传感器信号的每一个轴信号由L个采样点组成，其中L为定值。

优选的，惯性传感器包括的种类有加速度计和陀螺仪。

优选的，结合特征层得到结合特征的过程如下：各神经网络模型输出的特征为r×c的矩阵u_h，其中r为矩阵的行数，c为矩阵的列数，u_h为第h个深度神经网络模型输出的特征矩阵，h＝1,2,...H，H为步骤S2中创建的神经网络模型的个数；结合特征层对各神经网络模型输出的特征进行结合后得到矩阵u为：

u＝{u₁,u₂,...u_H}。

本发明的第二目的通过以下述技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现本发明第一目的所述的基于惯性传感器的用户身份识别模型构建方法。

本发明的第三目的通过以下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的基于惯性传感器的用户身份识别模型构建方法。

本发明的第四目的通过以下述技术方案实现：一种基于惯性传感器的用户身份识别方法，步骤如下：

获取本发明第一目的所述的用户身份识别模型构建方法构建得到的用户身份识别模型；

针对于身份信息未知的用户，通过各种类型惯性传感器获取到该用户的各种惯性传感器信号，并且对获取到各种惯性传感器信号进行预处理，得到用户预处理后的各种惯性传感器信号；

针对于身份信息未知的用户，将上述获取到的该用户的预处理后的各种惯性传感器信号分别输入到用户身份识别模型的各个神经网络模型中，最终由用户身份识别模型输出用户身份识别结果；其中，用户身份识别模型各神经网络模型输入各种惯性传感器信号后，将输出与用户身份有关的特征，并且均输入到结合特征层，通过结合特征层进行结合，得到结合特征，结合特征层将结合特征输入到用户身份识别模型的全连接层，由用户身份识别模型的全连接层和概率化层最终处理后得到用户身份识别结果。

本发明的第五目的通过以下述技术方案实现：一种用户身份识别终端，包括计算设备以及与计算设备连接的各种类型的惯性传感器；其中：

各种类型的惯性传感器分别用于获取用户的各种惯性传感器信号，并且发送给计算设备；

所述计算设备，用于执行本发明第四目的所述的基于惯性传感器的用户身份识别方法。

本发明的第六目的通过以下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第四目的所述的基于惯性传感器的用户身份识别方法。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明基于惯性传感器的用户身份识别模型构建方法中，首先根据惯性传感器的种类数创建相应个数的神经网络模型，并且将各神经网络模型的输出均连接到一个结合特征层，由结合特征层的输出依次连接全连接层和概率化层后得到第一模型；然后针对第一模型进行训练，其中以各种惯性传感器获取到的身份信息已知的每个用户的各种惯性传感器信号为一个训练样本，在对第一模型训练过程中，将每个训练样本中的各种惯性传感器信号分别输入到各个神经网络模型中，然后以每个训练样本对应用户的身份信息为标签对第一模型进行训练，最终得到用户身份识别模型。由上述可见，本发明中用户身份识别模型为结合了用户的多种惯性传感器信号而建立的，即建立得到的是用户各种惯性传感器信号和用户身份之间的关系，不需要人工设计与用户身份相关的特征，基于已知身份用户空中手写时各种惯性传感器检测到的各种惯性传感器信号即可训练得到用户身份识别模型，将其应用于用户身份识别时，能够提高用户身份识别的准确率，同时避免了人工设计特征可能不能有效代表用户身份的情况，节省了人工设计特征的成本。

(2)本发明基于惯性传感器的用户身份识别模型构建方法中，不同种类的惯性传感器采集到的惯性传感器信号代表着用户的手部在空中手写时不同类型的运动，本发明将各种惯性传感器对应采集到各种惯性传感器信号分别通过各个神经网络模型进行特征的提取，一方面防止了代表了不同类型的运动的信号由于卷积模板的操作的相互影响从而导致的提取得到的与用户身份有关的特征的不准确，另一方面使得并行使用多个深度卷积神经网络的模型参数总和比使用单个深度卷积神经网络的模型参数少，前者能进一步提高用户身份验证的准确率，后者有利于模型在计算资源有限的移动设备上的移植；

(3)本发明基于惯性传感器的用户身份识别模型构建方法中，所使用的神经网络模型可以为深度卷积神经网络模型，由于深度卷积神经网络在代码实现上拥有高效矩阵运算的优势，其相比其他用于处理序列型数据的模型(例如递归神经网络)能够使用更少的内存资源并且能高效地训练，这对于计算资源有限的移动设备来说是相当有利的。

(4)本发明基于惯性传感器的用户身份识别模型构建方法中，对惯性传感器信号进行预处理的方式可以如下：首先对获取到的各用户的各种惯性传感器信号的每一个轴信号分别进行一维线性样条插值，使得各种惯性传感器信号的每一个轴信号由L个采样点组成，上述预处理使得本发明方法得到信号长度统一的惯性传感器信号，方便后续卷积神经网络的处理。

(5)本发明基于惯性传感器的用户身份识别模型构建方法中，可以根据实际需求选用惯性传感器，是一种可扩展的方法，尽管日常使用的惯性传感器为加速度计和陀螺仪，但本发明能够使用更多的除了加速度计和陀螺仪以外的其他惯性传感器(例如磁传感器)，只需要增加对应的深度卷积神经网络即可。

(6)本发明基于惯性传感器的用户身份识别方法中，首先获取到本发明所构建的用户身份识别模型，针对于身份信息未知的用户，通过各种类型惯性传感器获取到该用户的各种惯性传感器信号，并且对获取到各种惯性传感器信号进行预处理输入到用户身份识别模型的各个神经网络模型中，最终由用户身份识别模型输出用户身份识别结果。本发明用户身份识别方法中，识别所需的数据仅为待识别的空中手写的惯性传感器信号，因此只需要采用惯性传感器进行采集，而基于惯性传感器的空中手写过程没有任何的触觉和视觉反馈，它既不受某个特定的书写平面的限制(例如手写板、触摸屏等)，也不需要任何辅助设备(例如摄像头等)；而且它对环境变化、光照阴影、肤色等因素都不敏感，用户只需要手持或佩戴内置惯性传感器的书写设备在空中自由书写即可实现用户身份的识别，具有用户身份识别准确率高以及使用场景范围广阔的优点。

(7)本发明基于惯性传感器的用户身份识别终端中，包括计算设备以及与计算设备连接的各种类型的惯性传感器，其中各种类型的惯性传感器用于获取用户的各种惯性传感器信号，并且发送给计算设备；计算设备用于执行本发明用户身份识别方法即可，具有结构简单以及使用方便的优点。

附图说明

图1是本发明用户身份识别模型的结构示意图。

图2是本发明用户身份识别模型构建方法中所创建的各深度卷积神经网络模型的结构示意图。

图3是本发明用户身份识别方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例公开了一种基于惯性传感器的用户身份识别模型构建方法，惯性传感器包括多种类型，构建方法的步骤具体如下：

步骤S1、首先创建多个神经网络模型X₁、X₂、X₃，…，X_H，H为神经网络模型的个数；神经网络模型的个数和惯性传感器的种类数相同；然后将各神经网络模型的输出分别连接结合特征层，由结合特征层对各神经网络模型输出的特征进行结合；最后结合特征层的输出依次连接全连接层和概率化层，得到第一模型。

在本实施例中，上述神经网络模型可以为深度卷积神经网络模型；在本实施例中创建的各个深度卷积神经网络模型的结构是一样的。如图2所示，三个卷积层和三个最大池化层：其中第一个卷积层的卷积模板的大小为2×15，数量为18，第二个卷积层的卷积模板大小为1×14，数量为36，第三个卷积层的卷积模板大小也为1×14，数量为24；三个卷积层的步长都为1，而最大池化层的窗口大小都是1×2且步长都为1×2。第一个卷积层和第一个最大池化层的后面使用的激活函数为Sigmoid函数，而第二个卷积层和第二个最大池化层以及第三个卷积层和第三个最大池化层的后面所使用的激活函数为ReLU函数。

在本实施例中，上述构成第一模型的概率化层可以为softmax层，当然也可以采用其他非线性函数代替。

在本实施例中惯性传感器的种类包括加速度计和陀螺仪，也还可以包括其他种类的惯性传感器，例如磁传感器、方向传感器。当本实施例仅包括加速度计和陀螺仪两种类型的惯性传感器时，在步骤S1中创建两个神经网络模型。不同类型的惯性传感器代表着用户的手部在空中的不同的运动，例如由加速度计获取得到的加速度信号表示了用户的手部在空中沿着x、y、z三个轴进行的平移类型的运动，而由陀螺仪获取得到的角速度信号表示了用户的手部在空中绕着x、y、z三个轴进行的旋转类型的运动。

步骤S2、通过各种类型惯性传感器获取到身份信息已知的各用户的各种惯性传感器信号M_h，并且对获取到的身份信息已知的各用户的各种惯性传感器信号进行预处理，得到各用户预处理后的各种惯性传感器信号M_h′，h＝1,2,...H，H为惯性传感器的种类数，即步骤S1中创建的神经网络模型的个数。

在本实施例中，惯性传感器信号进行预处理的具体过程如下：

首先对获取到的各用户的各种惯性传感器信号的每一个轴信号分别进行一维线性样条插值，使得各种惯性传感器信号的每一个轴信号由L个采样点组成，其中L为定值。其中定值L可以为256。

在本实施例中，当惯性传感器保留两种，分别为加速度计和陀螺仪时，则在本步骤中通过加速度计和陀螺仪将获取到身份信息已知的各用户的两种惯性传感器信号，分别为三个自由度的加速度信号M₁和三个自由度的角速度信号M₂。

步骤S3、将身份信息已知的各用户预处理后的各种惯性传感器信号M_h′分别对应输入到第一模型中的各个神经网络模型中，并且以各用户的身份信息为标签对第一模型进行训练，当第一模型在训练集上收敛到准确率不再上升时，停止训练，保存各深度卷积神经网络模型的参数，得到用户身份识别模型，如图1所示。其中，在训练过程中，第一模型各神经网络模型输入各种惯性传感器信号后，将输出与用户身份有关的特征，并且均输入到结合特征层，通过结合特征层进行结合，得到结合特征。在本实施例中，针对第一模型的训练包括前向和后向两个步骤的多次迭代，先用前向网络获得网络误差后，再使用反向传播算法对网络参数进行优化更新，不断迭代优化网络模型的参数。

在本实施例上述第一模型以及第一模型训练得到的用户身份识别模型中，各神经网络模型输出的特征为r×c的矩阵u_h，其中r为矩阵的行数，c为矩阵的列数，u_h为第h个深度神经网络模型输出的特征矩阵，h＝1,2,...H，H为步骤S2中创建的神经网络模型的个数；结合特征层对各神经网络模型输出的特征进行结合后得到矩阵u为：u＝{u₁,u₂,...u_H}，然后将矩阵u输入到其后所连接的全连接层中，如图1中所示。

本实施例还公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现用户身份识别模型构建方法，具体如下：

首先创建多个神经网络模型，神经网络模型的个数和惯性传感器的种类数相同；然后将各神经网络模型的输出分别连接结合特征层，由结合特征层对各神经网络模型输出的特征进行结合；最后结合特征层的输出依次连接全连接层和概率化层，得到第一模型；

通过各种类型惯性传感器获取到身份信息已知的各用户的各种惯性传感器信号，并且对获取到的身份信息已知的各用户的各种惯性传感器信号进行预处理，得到各用户预处理后的各种惯性传感器信号；

将身份信息已知的各用户预处理后的各种惯性传感器信号分别对应输入到第一模型中的各个神经网络模型中，并且以各用户的身份信息为标签对第一模型进行训练，得到用户身份识别模型。

在本实施例中，存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

本实施例还公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现用户身份识别模型构建方法，具体如下：

本实施例中，计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有处理器功能的终端设备。

实施例2

本实施例公开了一种基于惯性传感器的用户身份识别方法，如图3所示，步骤如下：

步骤1、获取实施例1所述用户身份识别模型构建方法构建得到的用户身份识别模型；

步骤2、针对于身份信息未知的用户，通过各种类型惯性传感器获取到该用户的各种惯性传感器信号，并且对获取到各种惯性传感器信号进行预处理，得到用户预处理后的各种惯性传感器信号；

当本实施例中惯性传感器的种类为两种，例如包括加速度计和陀螺仪时，则针对于身份信息未知的用户，通过加速度计和陀螺仪分别获取到该用户的加速度信号和陀螺仪信号，并且对获取到的加速度信号和陀螺仪信号进行预处理，得到预处理后的两种惯性传感器信号。在本实施例中对各种惯性传感器信号进行预处理的具体方式和实施例1中相同，即：首先对获取到的用户的各种惯性传感器信号的每一个轴信号分别进行一维线性样条插值，使得各种惯性传感器信号的每一个轴信号由L个采样点组成，其中L为定值。

步骤3、针对于身份信息未知的用户，将步骤2中获取到的该用户的预处理后的各种惯性传感器信号分别输入到用户身份识别模型的各个神经网络模型中，最终由用户身份识别模型输出用户身份识别结果。

在上述步骤S3中，当用户身份识别模型中被训练后的各神经网络模型输入预处理后的各种惯性传感器信号后，分别输出特征为r×c的矩阵u_h，其中r为矩阵的行数，c为矩阵的列数，u_h为用户身份识别模型中第h个训练后的深度神经网络模型输出的特征矩阵，h＝1,2,...H，H为神经网络模型的个数；结合特征层对各神经网络模型输出的特征进行结合后得到矩阵u为：u＝{u₁,u₂,...u_H}，矩阵u通过一个全连接层以及一个softmax层，得到待识别身份的用户测试样本对应的每一个候选用户的概率值，然后取这些概率值中的最大值，最大概率值对应的候选用户判定为该待识别身份用户测试样本的书写用户。

本实施例还公开了一种用户身份识别终端，包括计算设备以及与计算设备连接的各种类型的惯性传感器；其中：

各种类型的惯性传感器分别用于获取用户的各种惯性传感器信号，并且发送给计算设备；在本实施例中惯性传感器的种类包括加速度计和陀螺仪，也还可以包括其他种类的惯性传感器，例如磁传感器、方向传感器。

计算设备，用于执行本实施例基于惯性传感器的用户身份识别方法，具体如下：

获取实施例1所述的用户身份识别模型构建方法构建得到的用户身份识别模型；

针对于身份信息未知的用户，将步骤2中获取到的该用户的预处理后的各种惯性传感器信号分别输入到用户身份识别模型的各个神经网络模型中，最终由用户身份识别模型输出用户身份识别结果。其中，用户身份识别模型各神经网络模型输入各种惯性传感器信号后，将输出与用户身份有关的特征，并且均输入到结合特征层，通过结合特征层进行结合，得到结合特征，结合特征层将结合特征输入到用户身份识别模型的全连接层，由用户身份识别模型的全连接层和概率化层最终处理后得到用户身份识别结果。

在本实施例中用户身份识别终端可以为一个内置各种惯性传感器和计算设备的移动终端设备。其中计算设备包括用于执行本实施例基于惯性传感器的用户身份识别方法的处理器。

本实施例还公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本实施例所述的基于惯性传感器的用户身份识别方法，具体如下：

针对于身份信息未知的用户，将步骤2中获取到的该用户的预处理后的各种惯性传感器信号分别输入到用户身份识别模型的各个神经网络模型中，最终由用户身份识别模型输出用户身份识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于惯性传感器的用户身份识别模型构建方法，其特征在于，所述惯性传感器包括多种类型，步骤如下：

2.根据权利要求1所述的基于惯性传感器的用户身份识别模型构建方法，其特征在于，所述概率化层为softmax层；

所述神经网络模型为深度卷积神经网络模型。

3.根据权利要求1所述的基于惯性传感器的用户身份识别模型构建方法，其特征在于，步骤S2中对惯性传感器信号进行预处理的具体过程如下：首先对获取到的各用户的各种惯性传感器信号的每一个轴信号分别进行一维线性样条插值，使得各种惯性传感器信号的每一个轴信号由L个采样点组成，其中L为定值。

4.根据权利要求1所述的基于惯性传感器的用户身份识别模型构建方法，其特征在于，惯性传感器包括的种类有加速度计和陀螺仪。

5.根据权利要求1所述的基于惯性传感器的用户身份识别模型构建方法，其特征在于，结合特征层得到结合特征的过程如下：各神经网络模型输出的特征为r×c的矩阵u_h，其中r为矩阵的行数，c为矩阵的列数，u_h为第h个深度神经网络模型输出的特征矩阵，h＝1,2,...H，H为步骤S2中创建的神经网络模型的个数；结合特征层对各神经网络模型输出的特征进行结合后得到矩阵u为：

u＝{u₁,u₂,...u_H}。

6.一种存储介质，其特征在于，存储有程序，所述程序被处理器执行时，实现权利要求1至5中任一项所述的基于惯性传感器的用户身份识别模型构建方法。

7.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于：所述处理器执行存储器存储的程序时，实现权利要求1至5中任一项所述的基于惯性传感器的用户身份识别模型构建方法。

8.一种基于惯性传感器的用户身份识别方法，其特征在于，步骤如下：

获取权利要求1至4中任一项所述的用户身份识别模型构建方法构建得到的用户身份识别模型；

9.一种用户身份识别终端，其特征在于，包括计算设备以及与计算设备连接的各种类型的惯性传感器；其中：

所述计算设备，用于执行权利要求8所述的基于惯性传感器的用户身份识别方法。

10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求8所述的基于惯性传感器的用户身份识别方法。