CN111597969A - 基于手势识别的电梯控制方法及*** - Google Patents

基于手势识别的电梯控制方法及*** Download PDF

Info

Publication number
CN111597969A
CN111597969A CN202010406650.1A CN202010406650A CN111597969A CN 111597969 A CN111597969 A CN 111597969A CN 202010406650 A CN202010406650 A CN 202010406650A CN 111597969 A CN111597969 A CN 111597969A
Authority
CN
China
Prior art keywords
gesture
image data
target
model
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010406650.1A
Other languages
English (en)
Inventor
盛鹏
乔国坤
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Aiwinn Information Technology Co Ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202010406650.1A priority Critical patent/CN111597969A/zh
Publication of CN111597969A publication Critical patent/CN111597969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3415—Control system configuration and the data transmission or communication within the control system
    • B66B1/3446—Data transmission or communication within the control system
    • B66B1/3461—Data transmission or communication within the control system between the elevator control system and remote or mobile stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于手势识别的电梯控制方法及***，方法包括：建立手势识别模型，并建立目标手势与电梯服务请求一一对应的映射关系；在设定的时间内采集若干帧含有目标手势的图像数据，并将图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求，并进行电梯服务请求的确认或者取消。本发明能够实现远距离的通过手势控制电梯的运行。

Description

基于手势识别的电梯控制方法及***
技术领域
本发明涉及电梯控制技术领域，具体来说，涉及一种基于手势识别的电梯控制方法及***。
背景技术
在新冠状病毒肆虐的期间，高频接触的地方，相互交叉感染的风险比较大。电梯是一个公共的场所，有较多的人触碰，目前现有的电梯控制设备是通过按钮的触发来控制电梯的上下运行，这种通过点击按钮来触发，无可避免的需要皮肤与按钮的接触，功能上不方便，严重的会导致病毒或细菌的感染。且电梯的按钮光滑，更适合病毒繁殖。
发明内容
本发明的目的在于提出一种基于手势识别的电梯控制方法及***，以克服现有技术中存在的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
基于手势识别的电梯控制方法，所述方法包括以下步骤：
1)建立手势识别模型，并建立目标手势与电梯服务请求一一对应的映射关系；
2)在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求，并进行以下步骤；
3)再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
作为一种优选，步骤1)中，建立手势识别模型包括以下步骤：
采集大量的含有目标手势的图像数据，将图像数据的尺寸调整为320x240；
采用ssd检测方法搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
训练手势识别的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数，做目标手势分类；
待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入网络模型，得到1x64的特征向量，将所述特征向量进行归一化处理，得到手势库。
作为一种优选，步骤2)中，所述图像数据在手势识别模型中的识别过程包括以下步骤：
检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
计算其特征向量，进行归一化处理并与手势库中的特征比对余弦距离；
取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
基于手势识别的电梯控制***，所述***包括：
模型建立模块，包括手势模型建立模块和电梯服务模型建立模块，所述手势模型建立模块用于建立手势识别模型，所述电梯服务模型建立模块用于建立目标手势与电梯服务请求一一对应的映射关系；
识别模块，用于在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求；
确认模块，再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
作为一种优选，所述手势模型建立模块包括：
图像采集模块，用于采集大量的含有目标手势的图像数据，并将图像数据的尺寸调整为320x240；
第一检测模块，采用ssd检测方法搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
手势识别模块，用于训练识别手势的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数，做目标手势分类；
手势库建立模块，用于待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入网络模型，得到1x64的特征向量，将所述特征向量进行归一化处理，得到手势库。
作为一种优选，所述识别模块包括：
第二检测模块，用于检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
计算模块，用于计算手部区域的特征向量，进行归一化处理并与手势库中的特征比对余弦距离；
比对模块，取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如上所述的电梯控制方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如上所述的电梯控制方法。
本发明的有益效果：
本发明采取ssd的目标检测框架，并搭载mobilenetv3的主干网络，在4种不同尺寸的特征图上检测手部区域，和原始的ssd网络相比，做了结构上的精简；将待识别图片的输入尺寸调整为320x240，并减少了每个卷积模块的通道数量，加快了网络处理一张图片的速度；采用arcface的损失函数进行目标手势的分类，通过该损失函数能够使类与类之间的区别更大，在训练过程中，提高分类的准确率，在使用过程中，使得每个手势类别的特征向量更具有代表性。
附图说明
图1是本发明所述方法的流程图；
图2是本发明所述***的功能模块结构示意图；
图3是本发明实施例的一种目标手势展示图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的描述中，如出现术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
如图1所示，根据本发明的实施例所述的基于手势识别的电梯控制方法，所述方法包括以下步骤：
步骤1、建立手势识别模型，并建立目标手势与电梯服务请求一一对应的映射关系，其中，建立手势识别模型包括以下步骤：
1.1、在电梯的内部和每层的外部分别设置用于采集图像数据的高清摄像头，采集大量的含有目标手势的图像数据，将图像数据的尺寸调整为320x240。具体的，高清摄像头可采用中惠伟业的USB摄像模组，成像距离在30CM，供电电压为DC5V，帧率30FPS 1080P。通过该摄像头获取图像数据，来判断画面中是否有手以及识别手势的类别；
1.2、采用ssd检测方法(ssd的核心是在不同尺度的特征图上采用卷积核预测一系列目标预选框的类别、坐标偏移)搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
1.3、训练识别手势的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数L(如下式所示)，做目标手势分类
Figure BDA0002491557900000041
1.4、待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入识别网络模型，得到1x64的特征向量V0，将所述特征向量进行归一化处理得到特征向量的维数V1，进而得到手势库，
V0＝[x1,x2,...,xn]
Figure BDA0002491557900000042
其中，n＝64。
步骤2、在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，所述图像数据在手势识别模型中的识别过程包括以下步骤：
2.1、检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
2.2、计算手部区域的特征向量U0，进行归一化处理得到U1并按照以下公式与手势库中的特征比对余弦距离，
Figure BDA0002491557900000051
其中，j对应各目标手势；V0j为第j种目标手势对应的标准特征向量，V1j为第j种目标手势对应的标准特征向量的维数；
2.3、取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
3)再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
基于本发明的上述方法，如图3所示，本发明公开了一种手势库。对于楼层低于10层(不包括10层和地下层)的电梯，则可以用手势比划a-i对应楼层1-9层按钮。当人位于电梯内时，用手势k对应开门按钮，用手势i对应关门按钮，用手势n对应确认命令，用手势m对应取消命令。当人位于电梯外时，用手势n对应上楼按钮，用手势m对应下楼按钮。对于楼层高于10层(包括10层)或者有地下层的电梯，技术人员可设计其它种类的手势，也可以通过两个手势的叠加来实现。例如，楼层10则需要手势a和手势j的组合，楼层13则需要手势a和手势c的组合，楼层-1则为手势a和手势m的组合。本实施例的手势库有14种单手手势，对应14个特征向量。每套手势规定在2s之内完成，设备每秒可进行5帧的判定。以检测到手部区域的第一帧开始算，在以时长为2s的时间间隔内，对一连续的手部区域检测并分类的结果作判断：若存在6帧或6帧以上的相同手势，则返回该结果；若存在大于等于3帧的手势一，以及大于等于3帧的手势二，则返回该组合手势的结果；若不满足以上条件，则为无效的手势。每比划一次手势之后，手势判定逻辑单元会在屏幕上返回结果，然后再比划一次手势，做确认/取消的判断，通过手势n/手势m完成，该操作可大大提高手势判定的准确性。
对应于本发明基于手势识别的电梯控制方法，本发明还公开了一种基于手势识别的电梯控制***，所述***包括：
模型建立模块，包括手势模型建立模块和电梯服务模型建立模块，所述手势模型建立模块用于建立手势识别模型，所述电梯服务模型建立模块用于建立目标手势与电梯服务请求一一对应的映射关系；
识别模块，用于在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求；
确认模块，再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
在本实施例中，所述手势模型建立模块包括：
图像采集模块，用于采集大量的含有目标手势的图像数据，并将图像数据的尺寸调整为320x240；
第一检测模块，采用ssd检测方法搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
手势识别模块，用于训练识别手势的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数，做目标手势分类；
手势库建立模块，用于待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入网络模型，得到1x64的特征向量，将所述特征向量进行归一化处理，得到手势库。
在本实施例中，所述识别模块包括：
第二检测模块，用于检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
计算模块，用于计算手部区域的特征向量，进行归一化处理并与手势库中的特征比对余弦距离；
比对模块，取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
本发明还公开了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行所上所述的电梯控制方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如上所述的电梯控制方法。
具体的，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于手势识别的电梯控制方法，其特征在于，所述方法包括以下步骤：
1)建立手势识别模型，并建立目标手势与电梯服务请求一一对应的映射关系；
2)在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求，并进行以下步骤；
3)再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
2.根据权利要求1所述的方法，其特征在于，步骤1)中，建立手势识别模型包括以下步骤：
采集大量的含有目标手势的图像数据，将图像数据的尺寸调整为320x240；
采用ssd检测方法搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
训练手势识别的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数，做目标手势分类；
待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入网络模型，得到1x64的特征向量，将所述特征向量进行归一化处理，得到手势库。
3.根据权利要求2所述的方法，其特征在于，步骤2)中，所述图像数据在手势识别模型中的识别过程包括以下步骤：
检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
计算其特征向量，进行归一化处理并与手势库中的特征比对余弦距离；
取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
4.基于手势识别的电梯控制***，其特征在于，所述***包括：
模型建立模块，包括手势模型建立模块和电梯服务模型建立模块，所述手势模型建立模块用于建立手势识别模型，所述电梯服务模型建立模块用于建立目标手势与电梯服务请求一一对应的映射关系；
识别模块，用于在设定的时间内采集若干帧含有目标手势的图像数据，并将所述图像数据输入手势识别模型，若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设定帧数的阈值时，则在显示单元上返回识别无效，并提示用户重新进行目标手势识别，若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时，则在显示单元上返回识别的目标手势所对应的电梯服务请求；
确认模块，再次采集含有目标手势的图像数据，并将所述图像数据输入手势识别模型进行电梯服务请求的确认或者取消，若确认，则执行电梯服务请求，若取消，则电梯不执行任何动作。
5.根据权利要求4所述的***，其特征在于，所述手势模型建立模块包括：
图像采集模块，用于采集大量的含有目标手势的图像数据，并将图像数据的尺寸调整为320x240；
第一检测模块，采用ssd检测方法搜索手部区域，以目标边框的长边为基准，围绕着目标的中心，将目标的边框扩展成为正方形，抠出手部区域，然后调整手部区域至56x56的尺寸；
手势识别模块，用于训练识别手势的网络模型，所述网络模型的主体由若干个卷积网络模块叠加而成，尾部接上1x64的全连接层，采用arcface的损失函数，做目标手势分类；
手势库建立模块，用于待所述网络模型训练充分后，对每一个目标手势采集一张标准的56x56尺寸的图片，将该图片送入网络模型，得到1x64的特征向量，将所述特征向量进行归一化处理，得到手势库。
6.根据权利要求5所述的***，其特征在于，所述识别模块包括：
第二检测模块，用于检测图像数据中的手部区域，并将检测到的手部区域送入到手势识别模型中；
计算模块，用于计算手部区域的特征向量，进行归一化处理并与手势库中的特征比对余弦距离；
比对模块，取余弦距离最大的即为匹配度最高的目标手势类别，在设定的时间内将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比，若前者不小于后者，则返回手势识别的结果，并在显示单元上返回识别的目标手势所对应的电梯服务请求，若前者小于后者，则在显示单元上返回识别无效，并提示用户重新进行手势识别。
7.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-3中任一项所述的电梯控制方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的电梯控制方法。
CN202010406650.1A 2020-05-14 2020-05-14 基于手势识别的电梯控制方法及*** Pending CN111597969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010406650.1A CN111597969A (zh) 2020-05-14 2020-05-14 基于手势识别的电梯控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010406650.1A CN111597969A (zh) 2020-05-14 2020-05-14 基于手势识别的电梯控制方法及***

Publications (1)

Publication Number Publication Date
CN111597969A true CN111597969A (zh) 2020-08-28

Family

ID=72187354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406650.1A Pending CN111597969A (zh) 2020-05-14 2020-05-14 基于手势识别的电梯控制方法及***

Country Status (1)

Country Link
CN (1) CN111597969A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931755A (zh) * 2020-10-14 2020-11-13 蘑菇车联信息科技有限公司 空间标志识别方法及电子设备
CN112114675A (zh) * 2020-09-29 2020-12-22 陕西科技大学 基于手势控制的非接触电梯键盘的使用方法
CN112173899A (zh) * 2020-10-10 2021-01-05 田锐 升降装置控制方法、***及其计算机可读存储介质
CN112698727A (zh) * 2021-01-04 2021-04-23 北京工业大学 一种基于图像识别的电梯楼层手势指令的自动识别装置
CN112749646A (zh) * 2020-12-30 2021-05-04 北京航空航天大学 一种基于手势识别的交互式点读***
CN113705434A (zh) * 2021-08-27 2021-11-26 浙江新再灵科技股份有限公司 一种直梯内煤气罐检测方法及检测***
CN114014111A (zh) * 2021-10-12 2022-02-08 北京交通大学 一种无接触式的智能电梯控制***和方法
CN114148838A (zh) * 2021-12-29 2022-03-08 淮阴工学院 一种电梯无接触虚拟按钮操作方法
CN114546106A (zh) * 2021-12-27 2022-05-27 深圳市鸿合创新信息技术有限责任公司 一种隔空手势的识别方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106458505A (zh) * 2014-05-28 2017-02-22 奥的斯电梯公司 用于电梯服务的无触摸手势识别
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN110245593A (zh) * 2019-06-03 2019-09-17 浙江理工大学 一种基于图像相似度的手势图像关键帧提取方法
CN110458095A (zh) * 2019-08-09 2019-11-15 厦门瑞为信息技术有限公司 一种有效手势的识别方法、控制方法、装置和电子设备
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN111339985A (zh) * 2020-03-06 2020-06-26 南京理工大学 基于混合卷积的手势检测方法
CN111709295A (zh) * 2020-05-18 2020-09-25 武汉工程大学 一种基于SSD-MobileNet的实时手势检测和识别方法及***
CN113065458A (zh) * 2021-03-29 2021-07-02 新疆爱华盈通信息技术有限公司 基于手势识别的投票方法与***、电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106458505A (zh) * 2014-05-28 2017-02-22 奥的斯电梯公司 用于电梯服务的无触摸手势识别
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN107765846A (zh) * 2016-08-19 2018-03-06 奥的斯电梯公司 用于使用跨建筑的传感器网络进行基于手势的远距离控制的***和方法
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN110245593A (zh) * 2019-06-03 2019-09-17 浙江理工大学 一种基于图像相似度的手势图像关键帧提取方法
CN110458095A (zh) * 2019-08-09 2019-11-15 厦门瑞为信息技术有限公司 一种有效手势的识别方法、控制方法、装置和电子设备
CN111339985A (zh) * 2020-03-06 2020-06-26 南京理工大学 基于混合卷积的手势检测方法
CN111709295A (zh) * 2020-05-18 2020-09-25 武汉工程大学 一种基于SSD-MobileNet的实时手势检测和识别方法及***
CN113065458A (zh) * 2021-03-29 2021-07-02 新疆爱华盈通信息技术有限公司 基于手势识别的投票方法与***、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李佳澈: "无按键式电梯控制面板的研究", 《科技资讯》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114675A (zh) * 2020-09-29 2020-12-22 陕西科技大学 基于手势控制的非接触电梯键盘的使用方法
CN112173899A (zh) * 2020-10-10 2021-01-05 田锐 升降装置控制方法、***及其计算机可读存储介质
CN111931755A (zh) * 2020-10-14 2020-11-13 蘑菇车联信息科技有限公司 空间标志识别方法及电子设备
CN112749646A (zh) * 2020-12-30 2021-05-04 北京航空航天大学 一种基于手势识别的交互式点读***
CN112698727A (zh) * 2021-01-04 2021-04-23 北京工业大学 一种基于图像识别的电梯楼层手势指令的自动识别装置
CN113705434A (zh) * 2021-08-27 2021-11-26 浙江新再灵科技股份有限公司 一种直梯内煤气罐检测方法及检测***
CN114014111A (zh) * 2021-10-12 2022-02-08 北京交通大学 一种无接触式的智能电梯控制***和方法
CN114546106A (zh) * 2021-12-27 2022-05-27 深圳市鸿合创新信息技术有限责任公司 一种隔空手势的识别方法、装置、电子设备和存储介质
CN114148838A (zh) * 2021-12-29 2022-03-08 淮阴工学院 一种电梯无接触虚拟按钮操作方法

Similar Documents

Publication Publication Date Title
CN111597969A (zh) 基于手势识别的电梯控制方法及***
CN110209273B (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
CN108960067B (zh) 基于深度学习的实时的列车驾驶员动作识别***和方法
CN102799277B (zh) 一种基于眨眼动作的人机交互方法及***
CN101362334A (zh) 一种智能机器人及其运作方法
CN103295029A (zh) 手势控制终端的交互方法及装置
CN114014111B (zh) 一种无接触式的智能电梯控制***和方法
CN207267773U (zh) 用于智能楼宇的电梯
CN104881122A (zh) 一种体感交互***激活方法、体感交互方法及***
CN110386515A (zh) 基于人工智能的控制电梯停靠楼层的方法、及相关设备
CN112607534A (zh) 一种用户乘梯引导方法及***
CN112607535A (zh) 一种电梯运行控制方法及***
CN112507918A (zh) 一种手势识别方法
CN110244894A (zh) 一种屏幕锁定的控制方法、装置、手持终端以及存储介质
CN104915004A (zh) 一种体感控制屏幕滚动方法、体感交互***及电子设备
CN113220114A (zh) 一种融合人脸识别的可嵌入非接触式电梯按键交互方法
CN110713082B (zh) 一种电梯控制方法、***、装置和存储介质
CN104063041B (zh) 一种信息处理方法及电子设备
CN112357703B (zh) 电梯的控制***及电梯的控制方法
CN102306060B (zh) 移动设备输入方法及***
CN112199015A (zh) 智能交互一体机及其书写方法、装置
CN113255400A (zh) 活体人脸识别模型的训练、识别方法、***、设备及介质
CN114180422B (zh) 电梯控制方法、装置、电子设备及可读存储介质
CN106056080A (zh) 一种可视化的生物计量信息采集装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200828

WD01 Invention patent application deemed withdrawn after publication