CN111765105A - 一种基于人脸识别的风扇装置及其控制方法 - Google Patents
一种基于人脸识别的风扇装置及其控制方法 Download PDFInfo
- Publication number
- CN111765105A CN111765105A CN202010493061.1A CN202010493061A CN111765105A CN 111765105 A CN111765105 A CN 111765105A CN 202010493061 A CN202010493061 A CN 202010493061A CN 111765105 A CN111765105 A CN 111765105A
- Authority
- CN
- China
- Prior art keywords
- fan
- layer
- face
- display screen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 9
- 230000001681 protective effect Effects 0.000 claims abstract description 4
- 210000003128 head Anatomy 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000013016 damping Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 230000008093 supporting effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D25/00—Pumping installations or systems
- F04D25/02—Units comprising pumps and their driving means
- F04D25/08—Units comprising pumps and their driving means the working fluid being air, e.g. for ventilation
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D27/00—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids
- F04D27/002—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids by varying geometry within the pumps, e.g. by adjusting vanes
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D27/00—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids
- F04D27/004—Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids by varying driving speed
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D29/00—Details, component parts, or accessories
- F04D29/40—Casings; Connections of working fluid
- F04D29/52—Casings; Connections of working fluid for axial pumps
- F04D29/522—Casings; Connections of working fluid for axial pumps especially adapted for elastic fluid pumps
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D29/00—Details, component parts, or accessories
- F04D29/60—Mounting; Assembling; Disassembling
- F04D29/64—Mounting; Assembling; Disassembling of axial pumps
- F04D29/644—Mounting; Assembling; Disassembling of axial pumps especially adapted for elastic fluid pumps
- F04D29/646—Mounting or removal of fans
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04D—NON-POSITIVE-DISPLACEMENT PUMPS
- F04D29/00—Details, component parts, or accessories
- F04D29/66—Combating cavitation, whirls, noise, vibration or the like; Balancing
- F04D29/661—Combating cavitation, whirls, noise, vibration or the like; Balancing especially adapted for elastic fluid pumps
- F04D29/668—Combating cavitation, whirls, noise, vibration or the like; Balancing especially adapted for elastic fluid pumps damping or preventing mechanical vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理设计领域，具体涉及一种基于人脸识别的风扇装置及其控制方法。它包括外箱体、风扇防护罩、扇叶、风扇电机前盖、风扇电机、摄像头、摄像头安装机、风扇电机后壳、箱体上盖、箱体后盖、安装板、箱体底板、显示屏安装机壳、显示屏后壳、液晶显示屏；风扇电机通过风扇电机前盖固定在风扇电机后壳上；显示屏安装机壳、显示屏后壳以及液晶显示屏通过凹槽位置安装配合；摄像头与摄像头安装机壳通过凹槽连接；箱体上盖和安装板与箱体底板连接，外箱体与箱体后盖连接。
Description
技术领域
本发明属于图像处理设计领域，具体涉及一种基于人脸识别的风扇装置及其控制方法。
背景技术
近年来，随着国民经济的提高，空调已经越来越多地进入了普通人们的家中，人们在高温的夏季使用空调的次数也随之提高。但是空调的长期使用会使人体出现空调病等问题，老人、小孩等体质较弱的群体不适合使用。相比之下，风扇是一种更加广泛，且使用群体分布广的一种清凉解暑的家用电器，具有成本低，能耗小的优点。
目前，一般的家用电风扇存在许多不足，存在空程浪费，调节不便，往往需要在风扇旁手动选择风速，不能自动调节风速，且无法固定跟随人的位置来改变风向。彭璐佳，张莉萍，黄勃，谭莲子，童宏伟提出了一个基于STM32的车载智能风扇***的设计与实现[彭璐佳,张莉萍,黄勃,谭莲子,童宏伟.基于 STM32的车载智能风扇***的设计与实现[J].传感器与微***,2018,37(12):76-78+82]，可实现根据环境温度自动控制风扇的开启和关闭，同时可以根据环境温度的不同做到无级调速。一定程度上解决了调节不便和不能自动调节风速的问题，但是风扇的控制不够智能，不能够根据人的位置自动调节风向，且不能识别和执行人的语音指令来改变工作状态。徐宇宝,林华,王子权进行了一个基于STM32的智能温控自动调速风扇PID控制研究[徐宇宝,林华,王子权.基于STM32智能温控自调速风扇PID控制研究[J].齐齐哈尔大学学报(自然科学版),2018,34(05):7-11+18]，采集环境温度，根据环境温度的不同输出不同占空比的PWM波，改变风扇电机电压，调节风扇转速。在输出PWM波的过程中，采用PID控制，使风扇转速调节具有相对较好的动态性能。但是，仍没有在风向调节上进行研究，不具有根据人的位置变化改变风向的功能，且没有完全解决风扇的便捷控制，不能识别人的语音指令，整体的便捷性不够完善。
目前市面上能够进行人脸识别和语音控制的风扇较少，大部分是设置转速档位控制风速，采用外圈的通风槽进行风速的方向控制。相对传统，有以上所列出的问题和不足。
因此，为克服以上存在的问题，发明一种基于人脸识别的风扇装置及其控制方法。根据人们的使用习惯和环境温度，在保留基本的有级调速功能外，能够根据环境温度进行无级调速，同时具有语音识别和人脸识别功能，能够通过比较外部输入语音指令和SD卡内部存储的标准语音指令，辨识外部语音指令输入，进行语音控制风扇开启，调速，跟踪人脸和关闭等操作。除了风扇本身具有的一般功能外，还可以进行拍照和录像。
发明内容
本发明的目的在于提供一种基于人脸识别的风扇装置及其控制方法，克服一般风扇中存在的调节不便，只能有级调速，风向无法固定跟随人的位置改变等问题。可以识别语音指令，语音控制风扇工作状态；可以获取并识别人脸信息，根据人脸位置改变风向；可以根据环境温度的不同进行自适应调速。
本发明为了实现上述目的，采用如下技术方案：
一种基于人脸识别的风扇装置，它包括外箱体、风扇防护罩、扇叶、风扇电机前盖、风扇电机、摄像头、摄像头安装机、风扇电机后壳、箱体上盖、箱体后盖、安装板、箱体底板、显示屏安装机壳、显示屏后壳、液晶显示屏；
风扇电机通过风扇电机前盖固定在风扇电机后壳上；显示屏安装机壳、显示屏后壳以及液晶显示屏通过凹槽位置安装配合；
摄像头与摄像头安装机壳通过凹槽连接；箱体上盖和安装板与箱体底板连接，外箱体与箱体后盖连接。
进一步的，该风扇装置还包括铰制螺钉、第二云台支架、云台手臂、滑动轴承、云台电机线圈和云台电机外壳；所述铰制螺钉与底座上面的孔连接；风扇箱体两侧由滑动轴承与云台手臂连接并固定在第二云台支架上。
进一步的，该风扇装置还包括第一云台紧固件、减震球、第一云台板、第二云台板、第二云台紧固、绞制螺钉、第一云台支架、第一内六角螺钉；
所述减震球、第一云台板和第二云台板之间为过盈连接，减震球通过上下两头的凹槽结构与第一云台板和第二云台板连接并有着固定支撑作用；第一云台紧固件与第二云台紧固件中间夹住第二云台板，并与下方云台电机相连；第一内六角螺钉通过第一云台支架上的孔与云台电机连接。
进一步的，该风扇装置还包括底座、电源座子、定位板、沉头螺钉和喇叭；
所述沉头螺钉通过定位板的孔将电源座子固定在底座内。
进一步的，该风扇装置还包括K210 SOC芯片PCB板、K210 SOC芯片挡板、第二沉头螺钉、STM32芯片挡板和STM32芯片PCB板；
在箱体后盖中，K210 SOC芯片挡板将K210 SOC芯片PCB板通过第二沉头螺钉固定；
在箱体底板中，STM32芯片挡板将STM32芯片PCB板固定。
一种基于人脸识别的风扇装置的控制方法，包括以下步骤：
(1)搭建卷积神经网络，构建5层卷积神经网络，分别是输入层、卷积层、池化层、全连接层和输出层；
(2)输入层构建：人脸检测出人脸位置，返回坐标、尺寸，用数组切片的方法截取人脸图像送入神经网络进行训练；
(3)卷积层构建：卷积层设置三层，卷积核大小为(3，3)，卷积步长为 [1,1,1,1]，即一步；
卷积层可以通过卷积核与图像进行卷积，提取图像特征，计算公式为
其中
表示第i个特征图，Wj表示卷积核，
表示上一层第j个特征图作为当前输入，
表示偏置，
表示每个特征图的特征数量，M表示当前卷积层的特征图数量。
(4)池化层构建：池化层采用最大值采样，即把输入的特征图分割成不重叠的矩形，对每个矩形取最大值，输出特征图的长和宽均是输入特征图的一半；
(5)全连接层构建：为了增强网络的非线性能力，同时限制网络规模的大小，网络在特征提取层提取特征后，接入一个全连接层，该层的每一个神经元与前一层的所有神经元互相连接，将图片的卷积输出压成一个一维向量；全连接层公式为yW,b(x)＝f(Wx+b)，其中yW,b(x)表示神经元的输出，W表示权值向量，x表示神经元输入向量，b表示偏置，f(*)表示激活函数；
(6)输出层构建：输出层输出人脸识别判断，采用
判断是人脸的概率，其中Sj表示样本中第j个值是人脸的概率，T为样本总数；
(7)由摄像头模采集图像红、绿、蓝三种色彩的亮度信息，并通过总线传送给K210SOC芯片，K210 SOC芯片将图像传入K210 SOC芯片的内部处理器；分别对获取的图形数据进行灰度、过滤、锐化处理；然后基于卷积图形技术转化为具体数值信息，做特征数据提取；
(8)通过训练之后的卷积神经网络会获取图片特征信息，并自动进行甄别，提高人脸识别精准度与效率，K210 SOC芯片内部的处理器核心将每一帧图片加载到神经网络模型进行卷积运算；图像中出现人脸即可及时演算出人脸以及五官的位置；
(9)在LCD显示屏上绘制方框框住人脸出现的位置并用小圆圈标记出人的眼睛以及鼻子和嘴巴所在的位置，到此完成了一轮人脸识别；
(10)重复步骤：(7)、(8)、(9)步，即可高帧率人脸识别。
进一步的，人脸跟踪的控制方法包括以下步骤：
(1)将摄像头成像中心的二维坐标作为目标位置，设置为(x0,y0)；
(2)将识别到的人脸中心坐标作为实际位置(x,y)；
(3)将LCD屏中的目标位置与实际位置坐标之间求差值作为误差送入PID算法进行运算。采用PID位置型算法，由
其中e(t)为PID控制器的误差输入，Kp、TI和TD分别为比例系数、积分系数和微分系数。可得位置PID计算公式
(4)调节参数Kp,TI,TD，采用PID控制器参数的自整定法，对于PID控制器
有齐格勒-尼科尔斯整定公式
T为采样周期，τ为纯滞后的时间常数，K为单位阶跃输入下的***稳态值；
(5)将PID控制器的输出u(k)作为控制量，分别送给三个自由度方向所对应的PWM脉宽调制变换器里进行脉宽调制；
(6)计算人脸中心和图像中心的坐标偏差
当σ<1×10-2时，人脸跟踪完成；
(7)重复(2)，(3)，(4)，(5)，(6)步即可实现人脸跟踪任务。
本发明采用两块主控芯片，分别是STM32F103和K210 SOC，STM32F103用于控制云台状态，改变风扇的风向。K210 SOC用于信息采集、处理和传输，采集环境温度数据、语音数据和人脸面部图像数据，并显示工作状态，调节风扇转速。
本发明的有益效果：
本发明基于人脸识别的风扇***，能够采用由卷积神经网络模型进行数据训练和分析的深度学习算法识别人脸，并采用PID算法控制三轴云台电机的工作，达到跟踪人脸的目的，除了能够通过按钮控制风扇运行状态，还能够识别用户的语音指令控制***进行人脸跟踪、录入人脸、录像、读取温度值、送风模式选择操作。能够有效解决一般风扇存在调节不便、只能有级调速、无法自动调节风速和无法根据人的位置改变风向的问题。
附图说明
图1为本发明的结构示意图；
图2为本发明的结构分解图；
图3为本发明的X轴方向分解图；
图4为本发明的Y轴方向分解图；
图5为本发明的Z轴方向分解图；
图6为本发明的底座分解图；
图7为本发明的箱体后盖细节图；
图8为本发明的箱体底板细节图。
图中附图标记表示为：
1-外箱体；2-风扇防护罩；3-扇叶；4-风扇电机前盖；5-风扇电机；6-摄像头；7-摄像头安装机壳；8-风扇电机后壳；9-箱体上盖；10-箱体后盖；11-安装板；12-箱体底板；13-显示屏安装机壳；14-显示屏后壳；15-液晶显示屏； 16-第一云台紧固件；17-减震球；18-第一云台板；19-云台板；20-第二云台紧固件；21-第一绞制螺钉；22-第一云台支架；23-第一内六角螺钉；24-第二铰制螺钉；25-第二云台支架；26-云台手臂；27-滑动轴承；28-云台电机线圈； 29-云台电机外壳；30-底座；31-电源座子；32-定位板；33-第一沉头螺钉；34- 喇叭；35-K210 SOC芯片PCB板；36-K210 SOC芯片挡板；37-第二沉头螺钉； 38-STM32芯片挡板；39-STM32芯片PCB板。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于人脸识别的风扇装置，它包括外箱体1、风扇防护罩2、扇叶3、风扇电机前盖4、风扇电机5、摄像头6、摄像头安装机7、风扇电机后壳8、箱体上盖9、箱体后盖10、安装板11、箱体底板12、显示屏安装机壳13、显示屏后壳14、液晶显示屏15；
风扇电机5通过风扇电机前盖4固定在风扇电机后壳8上；显示屏安装机壳13、显示屏后壳14以及液晶显示屏15通过凹槽位置安装配合；
摄像头6与摄像头安装机壳7通过凹槽连接；箱体上盖9和安装板11与箱体底板12连接，外箱体1与箱体后盖10连接。
进一步，该风扇装置还包括铰制螺钉24、第二云台支架25、云台手臂26、滑动轴承27、云台电机线圈28和云台电机外壳29；所述铰制螺钉24与底座30 上面的孔连接；风扇箱体两侧由滑动轴承27与云台手臂26连接并固定在第二云台支架25上。
进一步，该风扇装置还包括第一云台紧固件16、减震球17、第一云台板18、第二云台板19、第二云台紧固20、绞制螺钉21、第一云台支架22、第一内六角螺钉23；
所述减震球17、第一云台板18和第二云台板19之间为过盈连接，减震球 17通过上下两头的凹槽结构与第一云台板18和第二云台板19连接并有着固定支撑作用；第一云台紧固件16与第二云台紧固件20中间夹住第二云台板19，并与下方云台电机相连；第一内六角螺钉23通过第一云台支架22上的孔与云台电机连接。
进一步，该风扇装置还包括底座30、电源座子31、定位板32、沉头螺钉33 和喇叭34；
所述沉头螺钉33通过定位板32的孔将电源座子31固定在底座30内。
进一步，该风扇装置还包括K210 SOC芯片PCB板35、K210 SOC芯片挡板36、第二沉头螺钉37、STM32芯片挡板38和STM32芯片PCB板39；
在箱体后盖10中，K210 SOC芯片挡板36将K210 SOC芯片PCB板35通过第二沉头螺钉37固定；
在箱体底板12中，STM32芯片挡板38将STM32芯片PCB板39固定。
一种基于人脸识别的风扇装置的控制方法，包括以下步骤：
(1)搭建卷积神经网络，构建5层卷积神经网络，分别是输入层、卷积层、池化层、全连接层和输出层；
(2)输入层构建：人脸检测出人脸位置，返回坐标、尺寸，用数组切片的方法截取人脸图像送入神经网络进行训练；
(3)卷积层构建：卷积层设置三层，卷积核大小为(3，3)，卷积步长为 [1,1,1,1]，即一步；
卷积层可以通过卷积核与图像进行卷积，提取图像特征，计算公式为
其中
表示第i个特征图，Wj表示卷积核，
表示上一层第j个特征图作为当前输入，
表示偏置，
表示每个特征图的特征数量，M表示当前卷积层的特征图数量。
(4)池化层构建：池化层采用最大值采样，即把输入的特征图分割成不重叠的矩形，对每个矩形取最大值，输出特征图的长和宽均是输入特征图的一半；
(5)全连接层构建：为了增强网络的非线性能力，同时限制网络规模的大小，网络在特征提取层提取特征后，接入一个全连接层，该层的每一个神经元与前一层的所有神经元互相连接，将图片的卷积输出压成一个一维向量；全连接层公式为yW,b(x)＝f(Wx+b)，其中yW,b(x)表示神经元的输出，W表示权值向量，x表示神经元输入向量，b表示偏置，f(*)表示激活函数；
(6)输出层构建：输出层输出人脸识别判断，采用
判断是人脸的概率，其中Sj表示样本中第j个值是人脸的概率，T为样本总数；
(7)由摄像头模采集图像红、绿、蓝三种色彩的亮度信息，并通过总线传送给K210SOC芯片，K210 SOC芯片将图像传入K210 SOC芯片的内部处理器；分别对获取的图形数据进行灰度、过滤、锐化处理；然后基于卷积图形技术转化为具体数值信息，做特征数据提取；
(8)通过训练之后的卷积神经网络会获取图片特征信息，并自动进行甄别，提高人脸识别精准度与效率，K210 SOC芯片内部的处理器核心将每一帧图片加载到神经网络模型进行卷积运算；图像中出现人脸即可及时演算出人脸以及五官的位置；
(9)在LCD显示屏上绘制方框框住人脸出现的位置并用小圆圈标记出人的眼睛以及鼻子和嘴巴所在的位置，到此完成了一轮人脸识别；
(10)重复步骤：(7)、(8)、(9)步，即可高帧率人脸识别。
进一步的，人脸跟踪控制方法包括以下步骤：
(1)将摄像头成像中心的二维坐标作为目标位置，设置为(x0,y0)；
(2)将识别到的人脸中心坐标作为实际位置(x,y)；
(3)将LCD屏中的目标位置与实际位置坐标之间求差值作为误差送入PID算法进行运算。采用PID位置型算法，由
其中e(t)为PID控制器的误差输入，Kp、TI和TD分别为比例系数、积分系数和微分系数。可得位置PID计算公式
(4)调节参数Kp,TI,TD，采用PID控制器参数的自整定法，对于PID控制器
有齐格勒-尼科尔斯整定公式
T为采样周期，τ为纯滞后的时间常数，K为单位阶跃输入下的***稳态值；
(5)将PID控制器的输出u(k)作为控制量，分别送给三个自由度方向所对应的PWM脉宽调制变换器里进行脉宽调制；
(6)计算人脸中心和图像中心的坐标偏差
当σ<1×10-2时，人脸跟踪完成；
(7)重复(2)，(3)，(4)，(5)，(6)步即可实现人脸跟踪任务。
本发明提供的硬件***包括STM32F103和K210 SOC两个主控芯片，所述STM32F103用于控制云台，改变风扇的方向，包括按键和云台中三个自由度方向上的步进电机。所述K210 SOC用于人脸图像获取、语音输入、数据分析和语音输出，内部搭载深度学习算法，对人脸进行识别。
本发明功能流程为，***启动，初始化后，通过语音数据输入或者Json数据输入向风扇发送控制指令，可根据指令实现读取温湿度值、人脸跟踪、录入人脸、录像模式和送风模式。当人脸跟踪模式已启动，LCD显示屏显示“人脸跟踪模式启动”，接着进行检测人脸；当人脸跟踪模式启动，且检测到人脸时， LCD显示屏显示“已检测到人脸”，并进行人脸追踪；当***输入录入人脸指令，若录入人脸功能启动，LCD显示屏显示“人脸录入模式启动”，并进行人脸录入；当录像模式启动，LCD屏幕显示“录像模式启动”，并开始录像。当输入读取温度值数据指令时，***上传温度值数据。***可选择送风模式，既可以通过旋转开关设置三级调速，也可选择通过当前环境温度设置相应级别的风速。
所述语音输入，在***的本地语音中存储了“人脸跟踪”、“读取温度值”、“录入人脸”、“送风模式”、“大风”、“中等风”、“小风”、“自然风”和“录像模式”，通过外部输入语音输入相应的语音指令，与***内部存储好的本地语音相对比，确定执行的语音指令。
所述人脸跟踪，当摄像头拍摄到人脸，经过深度学习算法进行人脸识别确定为人脸后，通过计算人脸中心与视屏图像的中心位置的偏差，得到一条直线轨迹，控制云台的三个自由度方向的伺服电机工作，将人脸图像沿着直线轨迹运动。
所述人脸跟踪，将当前点位与目标点位之间的三个自由度方向上的旋转角度分别反馈回输入端，得到三个自由度方向上的偏差输入量，对所得的偏差经过比例、微分和积分环节后得到控制量u(k)，将所得的三个PID控制量u(k)分别作为PWM脉宽数据输入三个PWM控制器进行脉宽调制，三个PWM控制器输出的调制脉宽分别作用到三个自由度方向上的伺服电机，从而进行摄像头位置调整，跟踪人脸。
所述人脸录入，首先唤醒语音助手，对着麦克风说出语音命令：“进入人脸录入模式”。此时屏幕开始显示摄像头采集到的图像数据。随后，找到一个合适的距离，面对摄像头，当屏幕中出现完整的头像时，按下人脸录入按键，即可完成人脸录入。对着麦克风说出语音指令：“退出人脸录入模式”。即可退出该模式。
所述LCD显示屏，显示显示***当前工作的参数信息，可以显示当前的环境温度、***所处的工作模式，当***处于送风模式时，LCD显示屏可以显示风速的大小。
所述温度数据处理模块，实时采集环境当前温度，当启动自适应风模式时，***根据采集到的温度输出不同占空比的PWM波，用于控制风扇转速，使风扇能够做到根据环境温度的变化进行无级调速。
本***有独立的供电电源***，可分别提供+1.8伏、+3.3伏、+5.0伏和+12 伏的电压输出。
K210 SOC连接有SD卡，用于存放用于比对的本地语音数据。
K210 SOC接有语音输入设备硅MIC(麦克风)，所述硅MIC(麦克风)输入语音指令后，语音指令与本地语音数据相比对。相似度最高的确定为当前输入语音指令，K210 SOC执行相应的任务操作。
K210 SOC接有按键，用于手动控制***开启关闭，以及风扇小、中、大风速三级调速。
K210 SOC接有温度采集模块，可以实时采集环境温度。
K210 SOC接有风扇电机调速模块，所述风扇电机调速模块可根据按键进行三级调速，也可根据输入语音指令采用自然风模式和自适应风模式。所述自适应风模式是根据温度采集模块采集到的温度信息，通过温度与驱动电压量的函数关系，将温度对应的电压量输入PWM触发器，产生相应占空比的PWM波进行风扇调速。
K210 SOC接有功放模块，所述功放模块可以输出SD卡内存储的语音提示音，指导用户执行对风扇***的使用。
K210 SOC接有320*240尺寸的LCD显示屏，可将***的工作状态以及环境温度可视化输出。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。
Claims (7)
1.一种基于人脸识别的风扇装置，其特征在于：它包括外箱体(1)、风扇防护罩(2)、扇叶(3)、风扇电机前盖(4)、风扇电机(5)、摄像头(6)、摄像头安装机(7)、风扇电机后壳(8)、箱体上盖(9)、箱体后盖(10)、安装板(11)、箱体底板(12)、显示屏安装机壳(13)、显示屏后壳(14)、液晶显示屏(15)；
风扇电机(5)通过风扇电机前盖(4)固定在风扇电机后壳(8)上；显示屏安装机壳(13)、显示屏后壳(14)以及液晶显示屏(15)通过凹槽位置安装配合；
摄像头(6)与摄像头安装机壳(7)通过凹槽连接；箱体上盖(9)和安装板(11)与箱体底板(12)连接，外箱体(1)与箱体后盖(10)连接。
2.根据权利要求1所述的基于人脸识别的风扇装置，其特征在于：该风扇装置还包括铰制螺钉(24)、第二云台支架(25)、云台手臂(26)、滑动轴承(27)、云台电机线圈(28)和云台电机外壳(29)；所述铰制螺钉(24)与底座(30)上面的孔连接；风扇箱体两侧由滑动轴承(27)与云台手臂(26)连接并固定在第二云台支架(25)上。
3.根据权利要求1所述的基于人脸识别的风扇装置，其特征在于：该风扇装置还包括第一云台紧固件(16)、减震球(17)、第一云台板(18)、第二云台板(19)、第二云台紧固(20)、绞制螺钉(21)、第一云台支架(22)、第一内六角螺钉(23)；
所述减震球(17)、第一云台板(18)和第二云台板(19)之间为过盈连接，减震球(17)通过上下两头的凹槽结构与第一云台板(18)和第二云台板(19)连接并有着固定支撑作用；第一云台紧固件(16)与第二云台紧固件(20)中间夹住第二云台板(19)，并与下方云台电机相连；第一内六角螺钉(23)通过第一云台支架(22)上的孔与云台电机连接。
4.根据权利要求1所述的基于人脸识别的风扇装置，其特征在于：该风扇装置还包括底座(30)、电源座子(31)、定位板(32)、沉头螺钉(33)和喇叭(34)；
所述沉头螺钉(33)通过定位板(32)的孔将电源座子(31)固定在底座(30)内。
5.根据权利要求1所述的基于人脸识别的风扇装置，其特征在于：该风扇装置还包括K210 SOC芯片PCB板(35)、K210 SOC芯片挡板(36)、第二沉头螺钉(37)、STM32芯片挡板(38)和STM32芯片PCB板(39)；
在箱体后盖(10)中，K210 SOC芯片挡板(36)将K210 SOC芯片PCB板(35)通过第二沉头螺钉(37)固定；
在箱体底板(12)中，STM32芯片挡板(38)将STM32芯片PCB板(39)固定。
6.一种基于人脸识别的风扇装置的控制方法，其特征在于包括以下步骤：
(1)搭建卷积神经网络，构建5层卷积神经网络，分别是输入层、卷积层、池化层、全连接层和输出层；
(2)输入层构建：人脸检测出人脸位置，返回坐标、尺寸，用数组切片的方法截取人脸图像送入神经网络进行训练；
(3)卷积层构建：卷积层设置三层，卷积核大小为(3，3)，卷积步长为[1,1,1,1]，即一步；
卷积层可以通过卷积核与图像进行卷积，提取图像特征，计算公式为
其中
表示第i个特征图，Wj表示卷积核，
表示上一层第j个特征图作为当前输入，
表示偏置，
表示每个特征图的特征数量，M表示当前卷积层的特征图数量。
(4)池化层构建：池化层采用最大值采样，即把输入的特征图分割成不重叠的矩形，对每个矩形取最大值，输出特征图的长和宽均是输入特征图的一半；
(5)全连接层构建：为了增强网络的非线性能力，同时限制网络规模的大小，网络在特征提取层提取特征后，接入一个全连接层，该层的每一个神经元与前一层的所有神经元互相连接，将图片的卷积输出压成一个一维向量；全连接层公式为yW,b(x)＝f(Wx+b)，其中yW,b(x)表示神经元的输出，W表示权值向量，x表示神经元输入向量，b表示偏置，f(*)表示激活函数；
(6)输出层构建：输出层输出人脸识别判断，采用
判断是人脸的概率，其中Sj表示样本中第j个值是人脸的概率，T为样本总数；
(7)由摄像头模采集图像红、绿、蓝三种色彩的亮度信息，并通过总线传送给K210 SOC芯片，K210 SOC芯片将图像传入K210 SOC芯片的内部处理器；分别对获取的图形数据进行灰度、过滤、锐化处理；然后基于卷积图形技术转化为具体数值信息，做特征数据提取；
(8)通过训练之后的卷积神经网络会获取图片特征信息，并自动进行甄别，提高人脸识别精准度与效率，K210 SOC芯片内部的处理器核心将每一帧图片加载到神经网络模型进行卷积运算；图像中出现人脸即可及时演算出人脸以及五官的位置；
(9)在LCD显示屏上绘制方框框住人脸出现的位置并用小圆圈标记出人的眼睛以及鼻子和嘴巴所在的位置，到此完成了一轮人脸识别；
(10)重复步骤：(7)、(8)、(9)步，即可高帧率人脸识别。
7.根据权利要求6所述基于人脸识别的风扇装置的控制方法，其特征在于：
人脸跟踪控制方法包括以下步骤：
(1)将摄像头成像中心的二维坐标作为目标位置，设置为(x0,y0)；
(2)将识别到的人脸中心坐标作为实际位置(x,y)；
(3)将LCD屏中的目标位置与实际位置坐标之间求差值作为误差送入PID算法进行运算。采用PID位置型算法，由
其中e(t)为PID控制器的误差输入，Kp、TI和TD分别为比例系数、积分系数和微分系数。可得位置PID计算公式
(4)调节参数Kp,TI,TD，采用PID控制器参数的自整定法，对于PID控制器
有齐格勒-尼科尔斯整定公式
T为采样周期，τ为纯滞后的时间常数，K为单位阶跃输入下的***稳态值；
(5)将PID控制器的输出u(k)作为控制量，分别送给三个自由度方向所对应的PWM脉宽调制变换器里进行脉宽调制；
(6)计算人脸中心和图像中心的坐标偏差
当σ<1×10-2时，人脸跟踪完成；
(7)重复(2)，(3)，(4)，(5)，(6)步即可实现人脸跟踪任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010493061.1A CN111765105A (zh) | 2020-06-03 | 2020-06-03 | 一种基于人脸识别的风扇装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010493061.1A CN111765105A (zh) | 2020-06-03 | 2020-06-03 | 一种基于人脸识别的风扇装置及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111765105A true CN111765105A (zh) | 2020-10-13 |
Family
ID=72720053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010493061.1A Pending CN111765105A (zh) | 2020-06-03 | 2020-06-03 | 一种基于人脸识别的风扇装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111765105A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105257573A (zh) * | 2015-11-23 | 2016-01-20 | 上海电机学院 | 一种智能电风扇及其智能调节方法 |
| CN205025796U (zh) * | 2015-09-12 | 2016-02-10 | 湖州师范学院 | 吊顶风扇 |
| CN106847309A (zh) * | 2017-01-09 | 2017-06-13 | 华南理工大学 | 一种语音情感识别方法 |
| CN208149638U (zh) * | 2018-05-07 | 2018-11-27 | 石家庄朗和航空科技有限公司 | 一种无人机用云台 |
| KR101939721B1 (ko) * | 2017-08-31 | 2019-01-17 | 동국대학교 산학협력단 | 얼굴 및 제스처 인식 기능이 구비된 스마트 선풍기 |
| CN209623000U (zh) * | 2018-09-28 | 2019-11-12 | 云森威尔智能环境（深圳）有限公司 | 一种智能追踪可升降旋转式厨房环境机室内机 |
| CN209650565U (zh) * | 2019-03-22 | 2019-11-19 | 山东安航无人机科技有限公司 | 一种无人机用物品挂载结构 |
-
2020
- 2020-06-03 CN CN202010493061.1A patent/CN111765105A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205025796U (zh) * | 2015-09-12 | 2016-02-10 | 湖州师范学院 | 吊顶风扇 |
| CN105257573A (zh) * | 2015-11-23 | 2016-01-20 | 上海电机学院 | 一种智能电风扇及其智能调节方法 |
| CN106847309A (zh) * | 2017-01-09 | 2017-06-13 | 华南理工大学 | 一种语音情感识别方法 |
| KR101939721B1 (ko) * | 2017-08-31 | 2019-01-17 | 동국대학교 산학협력단 | 얼굴 및 제스처 인식 기능이 구비된 스마트 선풍기 |
| CN208149638U (zh) * | 2018-05-07 | 2018-11-27 | 石家庄朗和航空科技有限公司 | 一种无人机用云台 |
| CN209623000U (zh) * | 2018-09-28 | 2019-11-12 | 云森威尔智能环境（深圳）有限公司 | 一种智能追踪可升降旋转式厨房环境机室内机 |
| CN209650565U (zh) * | 2019-03-22 | 2019-11-19 | 山东安航无人机科技有限公司 | 一种无人机用物品挂载结构 |
Non-Patent Citations (4)
| Title |
|---|
| HTTPS://BLOG.CSDN.NET/WEIXIN_30367945/ARTICLE/DE: "深度学习项目—基于卷积神经网络（CNN）的人脸在线识别***", 《CSDN》 * |
| HTTPS://ZHUANLAN.ZHIHU.COM/P/69809195: "基于face_recognition和PID的舵机云台人脸识别和跟踪", 《知乎》 * |
| 叶浪: "基于卷积神经网络的人脸识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 朱晓青 等: "《过程检测控制技术与应用》", 30 June 2002, 冶金工业出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107367016A (zh) | 一种空调智能控制方法及其装置、空调 | |
| CN111609471B (zh) | 涡环发生装置运行控制方法、空调及计算机可读存储介质 | |
| CN109442687A (zh) | 一种空调的控制方法、装置、存储介质及空调 | |
| CN109685043A (zh) | 基于教室多媒体设备的大学生课堂状态实时监测*** | |
| CN105972782A (zh) | 一种基于云计算技术的教室环境智能控制***及方法 | |
| CN108596827A (zh) | 三维人脸模型生成方法、装置及电子设备 | |
| CN110425698A (zh) | 一种用户偏好自学习的空调控制方法和装置 | |
| CN2215091Y (zh) | 基于神经网络与模糊逻辑的智能空调控制器 | |
| CN108490832A (zh) | 用于发送信息的方法和装置 | |
| CN112303848B (zh) | 一种空调调控方法、装置及*** | |
| CN110345610A (zh) | 空调器的控制方法及装置、空调设备 | |
| CN109741747A (zh) | 语音场景识别方法和装置、语音控制方法和设备、空调 | |
| CN107438019A (zh) | 智能家居学习控制方法、装置以及*** | |
| CN111765105A (zh) | 一种基于人脸识别的风扇装置及其控制方法 | |
| CN212259188U (zh) | 一种带面部识别的楼宇可视对讲门口主机 | |
| CN117028290A (zh) | 风扇控制方法及装置、风扇、***、电子设备、存储介质 | |
| Li et al. | Design and implementation of voice-controled intelligent fan system based on machine learning | |
| CN110925970A (zh) | 一种多人场景下的目标人物风力智能加持出风*** | |
| CN113138589B (zh) | 工业设备控制方法、电子装置及存储介质 | |
| CN212155235U (zh) | 基于ai视觉卷积神经网络技术的风扇 | |
| CN115565220A (zh) | 基于面部表情识别的空调控制装置、方法以及存储介质 | |
| CN112922889B (zh) | 风扇控制方法、风扇、设备、风扇控制***及存储介质 | |
| CN210977932U (zh) | 一种可自动调节高度和转速的智能电风扇 | |
| CN209297301U (zh) | 一种基于人脸识别跟踪技术的智能兴趣教育机器人 | |
| CN212555595U (zh) | 一种力度模拟书写装置及智能书写笔 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |
|
| RJ01 | Rejection of invention patent application after publication |