CN113752983A - 一种基于人脸识别/人眼识别的车辆解锁控制***和方法 - Google Patents

一种基于人脸识别/人眼识别的车辆解锁控制***和方法 Download PDF

Info

Publication number
CN113752983A
CN113752983A CN202111094973.2A CN202111094973A CN113752983A CN 113752983 A CN113752983 A CN 113752983A CN 202111094973 A CN202111094973 A CN 202111094973A CN 113752983 A CN113752983 A CN 113752983A
Authority
CN
China
Prior art keywords
face
module
vehicle
recognition
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111094973.2A
Other languages
English (en)
Other versions
CN113752983B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warmnut Beijing Technology Development Co ltd
Original Assignee
Warmnut Beijing Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warmnut Beijing Technology Development Co ltd filed Critical Warmnut Beijing Technology Development Co ltd
Priority to CN202111094973.2A priority Critical patent/CN113752983B/zh
Publication of CN113752983A publication Critical patent/CN113752983A/zh
Application granted granted Critical
Publication of CN113752983B publication Critical patent/CN113752983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B60R25/255—Eye recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本发明涉及一种基于人脸识别/人眼识别的车辆解锁控制***和方法，***包括：安装在车辆上的低功耗唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块，所述唤醒模块和通信模块分别与采集模块相连，采集模块连接到生物识别模块，生物识别模块连接到存储模块和报警模块以及控制模块，所述控制模块与通信模块连接；该控制方法包括：步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制。

Description

一种基于人脸识别/人眼识别的车辆解锁控制***和方法
技术领域
本发明涉及车辆控制技术领域，特别涉及一种基于人脸识别/人眼识别的车辆解锁控制***和方法。
背景技术
当前，车辆已成为人们出行的主要代步工具。目前，人们在解锁控制车辆时，都必须使用车钥匙。有时，在人们突然想要开车的时候，很有可能出现未带车钥匙的情况，这时就必须去找车钥匙，或乘坐其他交通工具，导致浪费不少时间。并且实体钥匙使用时需要佩戴在身上，很容易发生丢失、忘记的现象，如若被不法分子拾取，会对车主的财产安全造成威胁。
新型的解锁方式，可分为实物解锁和非实物解锁两种形式，实物解锁包括刷卡解锁、NFC解锁等，其缺点就是想要解锁汽车必须携带实物钥匙，未携带实体钥匙将无法完成解锁；非实物解锁方式包括密码解锁、指纹解锁等，其缺点是可被复制，容易泄露，安全性没有保证。并且解锁后，未根据解锁信息对车辆进行调整，开锁后，驾驶员需要手动调节座椅、后视镜等位置，十分繁琐。
发明内容
针对以上问题，本发明提出的一种人脸识别/人眼识别车辆解锁控制***，使用静默活体检测、人脸识别和人眼识别等技术，对车辆进行解锁，并且在解锁后，根据解锁人的身份，为解锁人提供个性化服务，包括自动调整座椅位置，开启空调并调整到解锁人喜欢的温度，播放解锁人喜欢的音乐等。并且解锁过程使用了人眼识别算法，无需摘掉口罩、围巾也能够进行解锁。
本发明的技术方案为：一种人脸识别/人眼识别车辆解锁控制***，包括：安装在车辆上的低功耗唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块，所述唤醒模块和通信模块分别与采集模块相连，采集模块连接到生物识别模块，生物识别模块连接到存储模块和报警模块以及控制模块，所述控制模块与通信模块连接；其中：
低功耗唤醒模块，配置为待机功耗微安级的人体红外感应模块或无需供电的车门把手上的按钮等，当人体红外感应模块感应到人体，或有人按下按钮时，唤醒***中其他模块。
通信模块，用于与手机应用进行通信，可配置为蓝牙或无线网络等具备通信功能的设备，采用加密的方式进行传输。
采集模块，配置为单目相机、双目相机、结构光相机或ToF相机。当唤醒模块唤醒***后，采集模块开始采集图像，供生物识别模块使用。
生物识别模块，配置为能够快速运行神经网络进行深度学习计算的处理器，能够运行人脸检测、角度检测、清晰度检测、静默活体检测、人脸识别和人眼识别等算法。
存储模块，配置为闪存或硬盘等计算机可读存储介质，用于存储人脸特征库、人眼特征库、开锁记录以及个性化服务需要的数据，包含座椅位置、空调温度、歌曲类型等，所有数据的存储均加密。
控制模块用于解锁车门，根据存储模块中存储的个性化服务数据，调整座椅位置，开启空调并调整温度，开启音响开始播放合适的音乐。
报警模块配置为声光报警装置，当有陌生人多次尝试解锁车辆时，对陌生人通过声光报警。
根据本发明的另一方面，提出一种基于人脸识别/人眼识别的车辆解锁控制方法，包括如下步骤：
步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；
步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；
步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；
进一步的，所述步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；其中预置人脸图像和数据信息的具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制***的连接，否则进行下面的操作；
4)在手机应用上输入人员信息，通过通信模块传送到车辆解锁控制***，并同时传送开始采集的指令；
5)车辆解锁控制***，接收到采集指令后，采集模块开始采集图像；
6)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤7)，否则重新采集图像；
7)利用人脸角度检测算法检测人脸角度，判断检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤8)，否则重新采集图像；
8)使用人脸识别算法提取人脸特征，使用人眼识别算法提取人眼特征；
9)提取人脸特征和人眼特征，将提取的人脸特征和人眼特征以及步骤3)中手机应用中传输过来的对应的人员信息加密存储到车辆解锁控制***存储模块中；
10)通过通信模块将采集到人脸图片通过通信模块传输到手机应用，供用户能够确认使用。
进一步的，所述的人脸角度检测算法，通过获得脸部朝向的角度信息，从而确定人脸的姿态，用欧拉角表示，欧拉角分为三个方向：翻滚角、偏航角、俯仰角，计算人脸角度的步骤如下：
1)首先定义一个具有n个关键点的3D脸部模型，n根据对准确度的容忍程度进行定义；
2)采用深度学习面部关键点检测得到上述3D脸部对应的2D人脸关键点；
3)根据检测出的关键点以及定义的关键点计算出旋转向量；图像2D点和空间3D点的关系如公式(1)所示：
Figure BDA0003268772210000031
其中Zc是深度即坐标点到相机的距离，K是相机的内参矩阵，(x,y)是图像中点的坐标，(Xw,Yw,Zw)是该点对应的3维空间的坐标，R是旋转矩阵，T是平移矩阵；
通过步骤2)中检测出的n个面部关键点及其对应3维空间的坐标，使用上述公式(1)，通过拟合计算出旋转矩阵R和平移矩阵T；
4)将旋转向量转换为欧拉角，旋转向量与欧拉角关系如公式(2)所示：
Figure BDA0003268772210000032
通过公式(2)，使用步骤3中计算出旋转矩阵R计算出欧拉角(ψ φ γ)，ψ φ γ三个角度分别为翻滚角、偏航角、俯仰角。
进一步的，所述的清晰度检测算法，采集多张人脸图片，根据人脸清晰程度，将图片分为不同的类别，使用卷积神经网络进行训练得到进行清晰度检测的算法模型；
根据人脸检测裁剪出图片中的人脸，使用上述模型进行分类，判断人脸是否清晰，去除不清晰的照片，有效降低图片清晰度对静默活体检测、人脸识别、人眼识别的影响，节省解锁时间。
进一步的，所述步骤二、使用预置的人脸图像和数据信息，进行人脸识别或人眼识别，具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块，采集模块开始采集图像；
2)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤，否则重新采集图像；
3)判断步骤2)中检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤4)，否则重新采集图像；
4)使用深度学习静默活体检测算法判断步骤2)中检测到的人脸是否为活体，若为活体，继续下面的步骤，否则重新采集图像；所述深度学习静默活体检测算法，将真人检测为一类，非真人检测为一类，其中使用卷积神经网络进行分类；
5)使用深度学习嘴部遮挡检测算法判断步骤2)中检测到的人脸是否佩戴了口罩或围巾而被遮挡，若未佩戴口罩、围巾等，使用人脸识别算法提取人脸特征，否则使用人眼识别算法提取人眼特征；深度学习嘴部遮挡检测算法，遮挡了嘴部的人脸为一类，没有遮挡嘴部的人脸为一类，使用卷积神经网络进行分类；
6)使用步骤5)中提取的人脸特征或人眼特征，与存储在***的人脸库进行对比，比对方式为计算两个特征的相似度，取相似度最高的特征作为比对结果，并且将相似度与阈值进行比较，若大于阈值，则识别通过，否则判定为陌生人。相似度计算使用余弦距离进行计算，阈值设置为0.7。
进一步的，所述的低功耗唤醒模块包括多种方式，低功耗唤醒模块若为红外人体感应模块时，人靠近时即能够检测到，通过检测到反射的时间判断是否有人要开门；或者，
低功耗唤醒模块若为按钮，当有人按下按钮，即为要开车门。
进一步的，所述步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；具体如下：
使用提取的人脸特征或人眼特征与对应的人脸特征库或人眼特征库进行对比，若比对通过，则解锁车辆，开启车门，使车辆能够启动。若比对不通过，识别为陌生人，则重新采集图像，若连续多次识别为陌生人，超过***限制，报警模块开始报警，并记录尝试解锁的图像，供车主查看，根据解锁身份，进行个性化服务，自动调整座椅位置、调整空调温度、播放音乐；
当开车过程中，人员对车辆有所调整后，将调整的信息记录到车辆解锁控制***中，并与解锁人员绑定，供解锁后的个性化服务使用。
根据本发明的另一方面，提出一种车辆紧急解锁控制方法，在紧急状态或初始状态下，用手机进行解锁，但仅限于车主或管理员进行操作，具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制***的连接，无法进行下面的操作；否则执行下面的操作；
4)通过通信模块传送解锁指令，车辆接收到解锁指令后，解锁车辆，开启车门，并且使车辆能够启动。
有益效果：
本发明相对于现有技术，具有如下优点：
1.无需钥匙，直接使用人脸识别或人眼识别解锁车门。
2.使用静默活体检测算法识别照片、视频、面具等假体人脸，安全防伪的同时，无须点头眨眼等交互，快捷自然。
3.使用角度检测去掉大角度人脸，避免大角度人脸静默活体检测不过或无法识别，加速解锁流程。
4.使用清晰度检测去掉不清晰人脸，避免不清晰人脸静默活体检测不过或无法识别，加速解锁流程。
5.使用人眼识别算法，无需摘掉口罩、围巾也能够准确识别出解锁人身份，解锁车辆。
6.***默认处于待机状态，只有唤醒模块一直工作，其他模块唤醒后才进行工作，节省电量，增加使用时间。
7.使用手机应用和车辆解锁控制***连接，仅发送人脸预置的人脸采集指令，所采集的人脸照片存储于车辆解锁控制***的存储模块，车上不需要安置屏幕与键盘，不影响车辆整体美观，同时节约成本。
8.车辆解锁后，可根据解锁人的身份进行个性化服务，包括且不限于调整座椅位置、调整空调温度、播放合适音乐。
9.生物识别算法全部本地离线处理，无需联网，保证信息安全。
10.算法模型、人脸照片、人脸特征库、人眼特征库、个性化参数等所有模型于数据均存储于车内，保证数据安全。
11.通讯、存储加密，保证数据安全。
附图说明
图1：本发明的车辆解锁控制***总体框图；
图2：本发明的人脸预置流程；
图3：本发明的人脸角度检测算法；
图4：本发明利用人脸和人眼检测开锁流程；
图5：本发明另一实施例的手机开锁流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
根据本发明的实施例，提出了一种基于人脸识别或人眼识别车辆解锁控制***，使用静默活体检测、人脸识别和人眼识别等技术，对车辆进行解锁，并且在解锁后，根据解锁人的身份，为解锁人提供个性化服务。并且解锁过程使用了人眼识别算法，无需摘掉口罩、围巾也能够进行解锁。
所述的基于人脸识别或人眼识别的车辆解锁控制***的结构框图如图1所示，包括唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块。
1.低功耗唤醒模块
低功耗唤醒模块，配置为待机功耗微安级的人体红外感应模块或无需供电的车门把手上的按钮等，当人体红外感应模块感应到人体，或有人按下按钮时，唤醒***中其他模块。
2.通信模块
通信模块用于与手机应用进行通信，可配置为蓝牙或无线网络等具备通信功能的设备，采用加密的方式进行传输。
3.采集模块
采集模块配置为单目相机、双目相机、结构光相机或ToF相机。由于相机正常工作时耗电量较大，采集模块保持待机的状态，当唤醒模块唤醒后，采集模块开始采集图像。
4.生物识别模块
生物识别模块配置为能够快速计算神经网络的处理器，能够运行人脸检测、角度检测、清晰度检测、静默活体检测、人脸识别和人眼识别等算法。
5.存储模块
存储模块配置为闪存或硬盘等计算机可读存储介质，用于存储人脸特征库、人眼特征库、开锁记录以及个性化服务需要的数据，包含座椅位置、空调温度、歌曲类型等，所有数据的存储均加密。
6.控制模块
控制模块用于解锁车门，根据存储模块中存储的个性化服务数据，调整座椅位置，开启空调并调整温度，开启音响开始播放合适的音乐。
7.报警模块
报警模块配置为声光报警装置，当有陌生人多次尝试解锁车辆时，对陌生人报警。
根据本发明的另一方面，提出一种基于人脸识别或人眼识别的车辆解锁控制方法，包括如下步骤：
步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；
步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；
步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；
具体的，所述步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；人脸预置流程如图2所示。具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，验证方式不限于密码、图案、指纹、人脸等，如果未通过验证，则断开手机与车辆解锁控制***的连接，无法进行下面的操作；
4)在手机应用上输入人员姓名，编号等信息，通过通信模块传送到车辆解锁控制***，并同时传送开始采集的指令；
5)车辆解锁控制***，接收到采集指令后，采集模块开始采集图像；
6)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤7)，否则重新采集图像；
7)利用人脸角度检测算法检测人脸角度，判断检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤，否则重新采集图像；
根据本发明的一个实施例，所述的人脸角度检测算法，主要是获得脸部朝向的角度信息，从而确定人脸的姿态。一般可以用欧拉角表示。欧拉角主要分为三个方向：翻滚角、偏航角、俯仰角，如图3所示。具体的，计算人脸角度的步骤如下：
1)首先定义一个具有n个关键点的3D脸部模型，n可以根据自己对准确度的容忍程度进行定义；
2)采用深度学习面部关键点检测得到上述3D脸部对应的2D人脸关键点；
3)根据检测出的关键点以及定义的关键点计算出旋转向量；
图像2D点和空间3D点的关系如公式(1)所示：
Figure BDA0003268772210000081
其中Zc是深度即坐标点到相机的距离，K是相机的内参矩阵，(x,y)是图像中点的坐标，(Xw,Yw,Zw)是该点对应的3维空间的坐标，R是旋转矩阵，T是平移矩阵。
通过步骤2)中检测出的n个面部关键点及其对应3维空间的坐标，使用上述公式(1)，通过拟合计算出旋转矩阵R和平移矩阵T。
4)将旋转向量转换为欧拉角。
旋转向量与欧拉角关系如公式(2)所示：
Figure BDA0003268772210000082
通过公式(2)，使用步骤3中计算出旋转矩阵R计算出欧拉角(ψ φ γ)，ψ φ γ分别为翻滚角、偏航角、俯仰角；
因为角度过大时，静默活体检测、人脸识别或人眼识别的精度会降低，计算出人脸旋转的欧拉角后，一般的，当翻滚角大于30度，偏航角或俯仰角大于15度时，不进行接下来的静默活体检测和人脸识别或人眼识别，重新进行人脸检测，避免不容易通过静默活体检测、人脸识别或人眼识别的人脸进行静默活体检测、人脸识别或人眼识别，节省识别的时间。
根据本发明的一个实施例，本发明提出的清晰度检测算法，采集大量人脸图片，根据人脸清晰程度，将图片分为不同的类别，使用卷积神经网络进行训练得到可进行清晰度检测的算法模型。
根据人脸检测裁剪出图片中的人脸，使用上述模型进行分类，判断人脸是否清晰，去除不清晰的照片，可有效降低图片清晰度对静默活体检测、人脸识别、人眼识别的影响，节省解锁时间。
8)使用人脸识别算法提取人脸特征，使用人眼识别算法提取人眼特征；
9)提取人脸特征和人眼特征，将提取的人脸特征和人眼特征以及步骤3中手机应用中传输过来的对应的人员信息加密存储到车辆解锁控制***存储模块中；
10)通过通信模块将采集到人脸图片通过通信模块传输到手机应用，供用户能够确认使用。
所述步骤二、使用预置的人脸图像和数据信息，进行人脸识别或人眼识别，如图4所示，具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块，采集模块开始采集图像。(根据本发明的实施例，所述的唤醒模块可以为多种方式，例如：
1.唤醒模块若为待机功耗微安级的红外人体感应模块时，人靠近时即能够检测到，(原理为红外人体感应模块发射不可见的红外光，通过接收反射的红外光判断是否有人靠近)，通过检测到反射的时间判断是否有人要开门；
2.唤醒模块若为按钮，当有人按下按钮，即为要开车门。
摄像头安装位置可为车门B柱，补光灯或摄像头肉眼可见，通过观察其位置，能够保证人脸正对补光灯或摄像头，即可对准人脸。
2)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤，否则重新采集图像；
3)判断步骤2中检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤4，否则重新采集图像；
4)使用深度学习静默活体检测算法判断步骤2中检测到的人脸是否为活体，若为活体，继续下面的步骤，否则重新采集图像。所述深度学习静默活体检测算法，将真人检测为一类，非真人检测为一类，其中使用卷积神经网络进行分类；
5)使用深度学习嘴部遮挡检测算法判断步骤2中检测到的人脸是否佩戴了口罩、围巾等，若未佩戴口罩、围巾等，使用人脸识别算法提取人脸特征，否则使用人眼识别算法提取人眼特征。深度学习嘴部遮挡检测算法，遮挡了嘴部的人脸为一类，没有遮挡嘴部的人脸为一类，使用卷积神经网络进行分类；
6)使用步骤5)中提取的人脸特征或人眼特征，与存储在***的人脸库进行对比，比对方式为计算两个特征的相似度，取相似度最高的特征作为比对结果，并且将相似度与阈值进行比较，若大于阈值，则识别通过，否则判定为陌生人。相似度计算使用余弦距离进行计算，阈值设置为0.7。
所述步骤三、人脸识别或人眼识别与活体识别同时通过后，执行车辆解锁控制；具体如下：
使用提取的人脸特征或人眼特征与对应的人脸特征库或人眼特征库进行对比，若比对通过，则解锁车辆，开启车门，使车辆能够启动。若比对不通过，识别为陌生人，则重新采集图像，若连续多次识别为陌生人，超过***限制，报警模块开始报警，并记录尝试解锁的图像，供车主查看。进一步的，根据解锁身份，进行个性化服务，自动调整座椅位置、调整空调温度、播放音乐等。
当开车过程中，人员对车辆有所调整后，将调整的信息记录到车辆解锁控制***中，并与解锁人员绑定，供解锁后的个性化服务使用。
根据本发明的另一个实施例，提供一种车辆紧急接触控制方法，在紧急状态或初始状态下，可用手机进行解锁，但仅限于车主或管理员进行操作，手机开锁流程如图5所示。具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，验证方式不限于密码、图案、指纹、人脸等，如果未通过验证，则断开手机与车辆解锁控制***的连接车辆解锁控制***，无法进行下面的操作；
4)通过通信模块传送解锁指令；
5)车辆接收到解锁指令后，解锁车辆，开启车门，并且使车辆能够启动。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种基于人脸识别/人眼识别的车辆解锁控制***，其特征在于，包括：
安装在车辆上的低功耗唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块，所述唤醒模块和通信模块分别与采集模块相连，采集模块连接到生物识别模块，生物识别模块连接到存储模块和报警模块以及控制模块，所述控制模块与通信模块连接；其中：
低功耗唤醒模块，配置为微安级低功耗人体红外感应模块或零功耗车门把手上的按钮，当人体红外感应模块感应到人体，或有人按下车门把手上的按钮时，唤醒***中其他模块，保证待机功耗为零或微安级；
通信模块，用于与手机应用进行通信，配置为具备无线通信功能的设备，采用加密的方式进行传输；
采集模块，配置为图像采集相机，当***开始工作后采集模块开始采集图像，供生物识别模块计算使用；
生物识别模块，配置为能够运行神经网络进行深度学习计算的处理器，能够运行人脸检测、角度检测、清晰度检测、静默活体检测、人脸识别和人眼识别算法；
存储模块，用于存储人脸特征库、人眼特征库、开锁记录以及个性化服务需要的数据，包含座椅位置、空调温度、歌曲类型等，所有数据的存储均加密；
控制模块用于解锁车门，根据存储模块中存储的个性化服务数据，调整座椅位置，开启空调并调整温度，开启音响播放合适的音乐；
报警模块，配置为声光报警装置，当有陌生人多次尝试解锁车辆时，对陌生人报警。
2.一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，包括如下步骤：
步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；
步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；
步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制。
3.根据权利要求2所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述步骤一、通过手机与车辆控制***进行交互，在车辆控制***中预置人脸图像和数据信息；其中预置人脸图像和数据信息的具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制***的连接，否则进行下面的操作；
4)在手机应用上输入人员信息，通过通信模块传送到车辆解锁控制***，并同时传送开始采集的指令；
5)车辆解锁控制***，接收到采集指令后，采集模块开始采集图像；
6)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤7)，否则重新采集图像；
7)利用人脸角度检测算法检测人脸角度，判断检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤8)，否则重新采集图像；
8)使用人脸识别算法提取人脸特征，使用人眼识别算法提取人眼特征；
9)提取人脸特征和人眼特征，将提取的人脸特征和人眼特征以及步骤3)中手机应用中传输过来的对应的人员信息加密存储到车辆解锁控制***存储模块中；
10)通过通信模块将采集到人脸图片通过通信模块传输到手机应用，供用户能够确认使用。
4.根据权利要求3所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述的人脸角度检测算法，通过获得脸部朝向的角度信息，从而确定人脸的姿态，用欧拉角表示，欧拉角分为三个方向：翻滚角、偏航角、俯仰角，计算人脸角度的步骤如下：
1)首先定义一个具有n个关键点的3D脸部模型，n根据对准确度的容忍程度进行定义；
2)采用深度学习面部关键点检测得到上述3D脸部对应的2D人脸关键点；
3)根据检测出的关键点以及定义的关键点计算出旋转向量；图像2D点和空间3D点的关系如公式(1)所示：
Figure FDA0003268772200000021
其中Zc是深度即坐标点到相机的距离，K是相机的内参矩阵，(x,y)是图像中点的坐标，(Xw,Yw,Zw)是该点对应的3维空间的坐标，R是旋转矩阵，T是平移矩阵；
通过步骤2)中检测出的n个面部关键点及其对应3维空间的坐标，使用上述公式(1)，通过拟合计算出旋转矩阵R和平移矩阵T；
4)将旋转向量转换为欧拉角，旋转向量与欧拉角关系如公式(2)所示：
Figure FDA0003268772200000031
通过公式(2)，使用步骤3中计算出旋转矩阵R计算出欧拉角(ψ φ γ)，ψφγ三个角度分别为翻滚角、偏航角、俯仰角。
5.根据权利要求3所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述的清晰度检测算法，采集多张人脸图片，根据人脸清晰程度，将图片分为不同的类别，使用卷积神经网络进行训练得到进行清晰度检测的算法模型；
根据人脸检测裁剪出图片中的人脸，使用上述模型进行分类，判断人脸是否清晰，去除不清晰的照片，有效降低图片清晰度对静默活体检测、人脸识别、人眼识别的影响，节省解锁时间。
6.根据权利要求2所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述步骤二、使用预置的人脸图像和数据信息，进行人脸识别或人眼识别，具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块，采集模块开始采集图像；
2)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤，否则重新采集图像；
3)判断步骤2)中检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤4)，否则重新采集图像；
4)使用深度学习静默活体检测算法判断步骤2)中检测到的人脸是否为活体，若为活体，继续下面的步骤，否则重新采集图像；所述深度学习静默活体检测算法，将真人检测为一类，非真人检测为一类，其中使用卷积神经网络进行分类；
5)使用深度学习嘴部遮挡检测算法判断步骤2)中检测到的人脸是否佩戴了口罩或围巾而被遮挡，若未佩戴口罩、围巾等，使用人脸识别算法提取人脸特征，否则使用人眼识别算法提取人眼特征；深度学习嘴部遮挡检测算法，遮挡了嘴部的人脸为一类，没有遮挡嘴部的人脸为一类，使用卷积神经网络进行分类；
6)使用步骤5)中提取的人脸特征或人眼特征，与存储在***的人脸库进行对比，比对方式为计算两个特征的相似度，取相似度最高的特征作为比对结果，并且将相似度与阈值进行比较，若大于阈值，则识别通过，否则判定为陌生人，相似度计算使用余弦距离进行计算，阈值设置为0.7。
7.根据权利要求6所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述的唤醒模块包括多种方式，
唤醒模块若为红外人体感应模块时，人靠近时即能够检测到，通过检测到反射的时间判断是否有人要开门；或者，唤醒模块若为按钮，当有人按下按钮，即为要开车门。
8.根据权利要求2所述的一种基于人脸识别/人眼识别的车辆解锁控制方法，其特征在于，所述步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；具体如下：
使用提取的人脸特征或人眼特征与对应的人脸特征库或人眼特征库进行对比，若比对通过，则解锁车辆，开启车门，使车辆能够启动，若比对不通过，识别为陌生人，则重新采集图像，若连续多次识别为陌生人，超过***限制，报警模块开始报警，并记录尝试解锁的图像，供车主查看，根据解锁身份，进行个性化服务，自动调整座椅位置、调整空调温度、播放音乐；
当开车过程中，人员对车辆有所调整后，将调整的信息记录到车辆解锁控制***中，并与解锁人员绑定，供解锁后的个性化服务使用。
9.一种车辆紧急解锁控制方法，其特征在于，在紧急状态或初始状态下，用手机进行解锁，但仅限于车主或管理员进行操作，具体步骤如下：
1)当唤醒模块检测到有人时，唤醒其他所有模块；
2)使用手机应用通过通信模块连接上车辆解锁控制***；
3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制***的连接，无法进行下面的操作；否则执行下面的操作；
4)通过通信模块传送解锁指令，车辆接收到解锁指令后，解锁车辆，开启车门，并且使车辆能够启动。
CN202111094973.2A 2021-09-17 2021-09-17 一种基于人脸识别/人眼识别的车辆解锁控制***和方法 Active CN113752983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094973.2A CN113752983B (zh) 2021-09-17 2021-09-17 一种基于人脸识别/人眼识别的车辆解锁控制***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094973.2A CN113752983B (zh) 2021-09-17 2021-09-17 一种基于人脸识别/人眼识别的车辆解锁控制***和方法

Publications (2)

Publication Number Publication Date
CN113752983A true CN113752983A (zh) 2021-12-07
CN113752983B CN113752983B (zh) 2022-11-22

Family

ID=78796375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094973.2A Active CN113752983B (zh) 2021-09-17 2021-09-17 一种基于人脸识别/人眼识别的车辆解锁控制***和方法

Country Status (1)

Country Link
CN (1) CN113752983B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495328A (zh) * 2022-01-19 2022-05-13 深圳市凯迪仕智能科技有限公司 一种门锁装置及其控制方法
CN115079164A (zh) * 2022-06-10 2022-09-20 中国第一汽车股份有限公司 一种车外检测***、方法、车辆及存储介质
CN115393997A (zh) * 2022-08-31 2022-11-25 深圳立欧实业有限公司 基于多维数据识别的汽车电子解锁方法、装置及电子设备
CN115891871A (zh) * 2022-11-16 2023-04-04 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN116061878A (zh) * 2022-12-20 2023-05-05 上海势航网络科技有限公司 车辆无钥匙进入与启动方法、装置及存储介质
CN116805430A (zh) * 2022-12-12 2023-09-26 安徽国防科技职业学院 一种基于大数据的数字图像安全处理***
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
CN118053193A (zh) * 2024-04-16 2024-05-17 ***紫金(江苏)创新研究院有限公司 车载终端人脸比对方法、装置、设备、存储介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104709238A (zh) * 2015-03-13 2015-06-17 广东欧珀移动通信有限公司 一种遥控车辆的方法及移动设备
CN104786991A (zh) * 2015-04-21 2015-07-22 北京汽车股份有限公司 基于指纹识别的汽车控制方法和***
JP2019061495A (ja) * 2017-09-26 2019-04-18 株式会社エクォス・リサーチ 情報処理装置
CN208861343U (zh) * 2018-08-29 2019-05-14 上海交通大学 一种基于人脸识别的汽车解锁***
CN211001243U (zh) * 2019-11-05 2020-07-14 上海锐镁新能源科技有限公司 一种基于人脸识别的无钥匙进入***
CN112036238A (zh) * 2020-07-24 2020-12-04 支付宝实验室(新加坡)有限公司 人脸数据处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104709238A (zh) * 2015-03-13 2015-06-17 广东欧珀移动通信有限公司 一种遥控车辆的方法及移动设备
CN104786991A (zh) * 2015-04-21 2015-07-22 北京汽车股份有限公司 基于指纹识别的汽车控制方法和***
JP2019061495A (ja) * 2017-09-26 2019-04-18 株式会社エクォス・リサーチ 情報処理装置
CN208861343U (zh) * 2018-08-29 2019-05-14 上海交通大学 一种基于人脸识别的汽车解锁***
CN211001243U (zh) * 2019-11-05 2020-07-14 上海锐镁新能源科技有限公司 一种基于人脸识别的无钥匙进入***
CN112036238A (zh) * 2020-07-24 2020-12-04 支付宝实验室(新加坡)有限公司 人脸数据处理方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495328A (zh) * 2022-01-19 2022-05-13 深圳市凯迪仕智能科技有限公司 一种门锁装置及其控制方法
CN114495328B (zh) * 2022-01-19 2024-02-20 深圳市凯迪仕智能科技股份有限公司 一种门锁装置及其控制方法
CN115079164A (zh) * 2022-06-10 2022-09-20 中国第一汽车股份有限公司 一种车外检测***、方法、车辆及存储介质
CN115393997A (zh) * 2022-08-31 2022-11-25 深圳立欧实业有限公司 基于多维数据识别的汽车电子解锁方法、装置及电子设备
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
CN115891871A (zh) * 2022-11-16 2023-04-04 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN116805430A (zh) * 2022-12-12 2023-09-26 安徽国防科技职业学院 一种基于大数据的数字图像安全处理***
CN116805430B (zh) * 2022-12-12 2024-01-02 安徽国防科技职业学院 一种基于大数据的数字图像安全处理***
CN116061878A (zh) * 2022-12-20 2023-05-05 上海势航网络科技有限公司 车辆无钥匙进入与启动方法、装置及存储介质
CN118053193A (zh) * 2024-04-16 2024-05-17 ***紫金(江苏)创新研究院有限公司 车载终端人脸比对方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
CN113752983B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN113752983B (zh) 一种基于人脸识别/人眼识别的车辆解锁控制***和方法
US11383676B2 (en) Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
JP7145887B2 (ja) 車両及び車両用ドアの解錠制御方法、装置並びに車両用ドアの解錠システム
US10679443B2 (en) System and method for controlling access to a building with facial recognition
US10032327B1 (en) Access control system with facial recognition and unlocking method thereof
US20180341835A1 (en) Generating Composite Facial Images Using Audio/Video Recording and Communication Devices
US20180247504A1 (en) Identification of suspicious persons using audio/video recording and communication devices
CN104268963A (zh) 一种智能门锁***及智能门锁、智能报警门
JP2022549656A (ja) 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体
CN109343698A (zh) 数据处理***、计算机实现方法及非暂态计算机可读介质
JP2003138817A (ja) 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
WO2019050766A1 (en) VEIN MATCHING FOR DIFFICULT BIOMETRIC AUTHENTICATION CASES
KR101730255B1 (ko) 얼굴 인식 디지털 도어록
CN106599660A (zh) 终端安全验证方法及装置
KR101682311B1 (ko) 얼굴 인식 디지털 도어록
US11064167B2 (en) Input functionality for audio/video recording and communication doorbells
EP1661063A2 (en) System and method for dynamic stand-off biometric verification
JP2004213087A (ja) 個人認証装置および個人認証方法
CN108550210B (zh) 控制车辆解除锁定状态的方法和装置
WO2008054410A2 (en) Distributed stand-off id verification compatible with multiple face recognition systems (frs)
CN115830670A (zh) 具备人脸辨识的电子装置
CN113284274A (zh) 一种尾随识别方法及计算机可读存储介质
US10930126B1 (en) Motion sensing for electronic devices
KR102265624B1 (ko) 안면인식을 이용한 차량의 시동보안 시스템
WO2020019996A1 (zh) 面部解锁装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant