CN111722770B - 一种智能人机交互物联网控制模块 - Google Patents
一种智能人机交互物联网控制模块 Download PDFInfo
- Publication number
- CN111722770B CN111722770B CN202010697530.1A CN202010697530A CN111722770B CN 111722770 B CN111722770 B CN 111722770B CN 202010697530 A CN202010697530 A CN 202010697530A CN 111722770 B CN111722770 B CN 111722770B
- Authority
- CN
- China
- Prior art keywords
- module
- internet
- things
- control module
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000002093 peripheral effect Effects 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 66
- 240000007651 Rubus glaucus Species 0.000 claims description 30
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 28
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 3
- 235000021013 raspberries Nutrition 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 15
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract description 2
- 238000011084 recovery Methods 0.000 abstract description 2
- 239000010813 municipal solid waste Substances 0.000 description 85
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Automation & Control Theory (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种智能人机交互物联网控制模块,包括移动计算设备硬件层、Flask后端、内部API模块、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及***设备;使用时将***设备连接至GPIO控制模块与视音频输出模块,本设备连接至网络,管理员用户通过外部计算机连接同一局域网进入本设备配置界面,通过拖动相应的模块可视化完成物联网控制的操作流程,配置过程简单快捷,实现智能化自动化,减少物联网设备接入的处理复杂度;实现物联网数据从产生到回收的全生命周期,方便家庭物联网设备快捷接入,能够提高不同物联网数据汇总理效率,环保效益明显。
Description
技术领域
本发明属于计算机技术领域,涉及基于图像的物体检测技术,具体涉及一种智能人机交互物联网控制模块。
背景技术
基于计算机视觉的目标识别技术是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别,人脸识别主要运用在安全检查、身份核验与移动支付中;商品识别主要运用在商品流通过程中,特别是无人货架、智能零售柜等无人零售领域。
图像的传统识别流程分为四个步骤:图像采集→图像预处理→特征提取→图像识别。图像识别的发展经历了三个阶段:文字识别、数字图像处理与识别、物体识别。文字识别的研究是从 1950年开始的,一般是识别字母、数字和符号,从印刷文字识别到手写文字识别,应用非常广泛。数字图像处理和识别的研究开始于1965年。数字图像与模拟图像相比具有存储,传输方便可压缩、传输过程中不易失真、处理方便等巨大优势,这些都为图像识别技术的发展提供了强大的动力。物体的识别主要指的是对三维世界的客体及环境的感知和认识,属于高级的计算机视觉范畴。它是以数字图像处理与识别为基础的结合人工智能、***学等学科的研究方向,其研究成果被广泛应用在各种工业及探测机器人上。
目前,在图像识别的发展中,主要有三种识别方法:统计模式识别、结构模式识别、模糊模式识别。现代图像识别技术的一个不足就是自适应性能差,一旦目标图像被较强的噪声污染或是目标图像有较大残缺往往就得不出理想的结果。
发明内容
针对现有技术存在的不足,本发明目的在于提供一种智能人机交互物联网控制模块,开发成本低,实现智能化自动化,减少物联网设备接入的处理复杂度。
为实现上述目的,本发明采用如下技术申请:
一种智能人机交互物联网控制模块,包括移动计算设备硬件层、Flask后端、内部API模块、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及***设备;
移动计算设备硬件层,采用树莓派结构;
Flask后端采用B/S架构,为基于Python的Flask模块,为整个应用提供web后台服务,包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务,前端访问Flask发布的Web服务完成可视化功能,使得管理员与使用者分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用;
内部API模块,使用模型压缩算法对人工智能模型压缩后部署在树莓派结构中,以完成图像识别、语音识别、语音合成、中文对话功能,并封装成API,以方便Flask框架的调用;
流程控制模块,通过对视图函数的调用完成对整个流程的控制,其实现逻辑为在自动检测到所有连接到边缘设备上的***设备后,向视图函数传递一个用于控制的数据结构,管理员通过移动配置可视化界面,完成流程的部署后,web后台也通过视图函数完成对相关***设备的控制和对整个流程进行调度;
视音频输出模块向视图函数提供封装的视音频输出输入接口,视频音频的输入与输出通过本模块统一管理;GPIO控制模块为树莓派的外接控制引脚的物理接线口,通过GPIO连接所有的传感器设备,实现对所有外接传感器的控制;
HTML模板渲染模块为Flask框架中的对HTML文件进行渲染的模块,渲染完成的html文件通过Flask自带的web服务发布到前端浏览器完成可视化;
***设备包括所有与树莓派连接的外设;
进一步,在Flask后端登录管理员账号,对连接的物联网设备进行可视化流程控制,同时可视化添加人工智能功能,人性化添加功能模块并进行组合,快速实现家庭物联网与工业物联网***的快速部署功能;通过用户账号进行登录能够获得管理员设置好的一系列物联网流程服务。
进一步,管理员通过浏览器访问树莓派服务器,通过登录可视化操作界面进行流程定制,定制过程不断向树莓派服务器发出请求,树莓派服务器收到请求后将数据传递给流程控制模块,由流程控制模块调用视图函数完成对GPIO控制与视音频控制,以及数据库和内部API模块的调用与组合,而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器;当管理员完成流程配置后,普通用户使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能。
进一步,视音频输出模块物理接口为树莓派自带的usb接口和hdmi接口。
使用时,管理员用户将***设备连接至GPIO控制模块与视音频输出模块;而后将本设备连接至家庭或者单位的局域网或者互联网;管理员用户通过外部计算机,如个人笔记本等连接同一局域网并通过Web浏览器访问本设备的IP网址,登录欢迎界面后输入管理员账户与密码进入配置界面,而后通过拖动相应的模块可视化完成物联网控制的操作流程;管理员用户登出,***启动;普通用户通过手机端或者WEB端访问本设备地址并输入普通用户账号密码而后可实时显示物联网设备的相关参数与实时运行情况。
本发明的有益效果:
1)使用时将***设备连接至GPIO控制模块与视音频输出模块,本设备连接至网络,管理员用户通过外部计算机连接同一局域网进入本设备配置界面,通过拖动相应的模块可视化完成物联网控制的操作流程,配置过程简单快捷,实现智能化自动化,减少物联网设备接入的处理复杂度。普通用户通过手机端或者WEB端访问本设备地址并输入普通用户账号密码而后可实时显示物联网设备的相关参数与实时运行情况。实现物联网数据从产生到回收的全生命周期:不再需要耗费大量的人力财力在数据采集、控制、管理、更新、监督上,将AI与物联网紧密结合,使生活更环保、便捷、智能。
(1)方便家庭物联网设备快捷接入;
(2)辅助监管部门监控、管理单位物联网数据与控制的全生命周期,尤其是关键处理节点的监控,该功能可通过物联网及相关网络基础设施实现网络联通,借助大数据平台汇聚相关数据,进而获得实时、动态的数据处理情况。
(3)具有较大社会效益,能够提高不同物联网数据汇总理效率,环保效益明显。
2)模块图像识别子功能准确:采用模型压缩后的yolo-v3模型使用卷积神经网络,具有可用性强和分类准确率高的识别功能。
3)自动化控制功能:模块在识别物体后采用一个小型芯片控制物联网电机的转动,进而完成自动控制,实现智能化自动化,减少物联网设备接入的处理复杂度。
4)语音智能交互与提示:针对不同的场景,应用私有云提供的接口分别提供不同的语音提示和警报功能,增强产品人性化,能够适应家庭、社区等多场景,满足语音、视频等模式的交互,从而获得较好的用户体验。
5)智慧城市数据分析:***可记录每户家庭、每个单位甚至每座城市的接入物联网信息,可为智慧城市提供相关方面的大数据汇总支撑,是物联网、边缘计算的有益探索,便于监管部门的数据采集利用。
6)在个人、社会、环境、监管等方面都大大提高了效率:本发明完成了从个体到社区再到监管部门的全覆盖,从底层到上层,完成物联网接入的智能化。
附图说明
图1为本发明模块***架构图
图2为本发明软件架构图
图3为本发明应用实例家庭或个人垃圾分类投放装置结构示意图
图4为本发明应用实例中公共地点投放装置示意图
具体实施方式
以下通过具体实施例对本发明内容进行说明:
本发明的智能人机交互物联网控制模块,其***架构如图1所示,本物联网控制模块由八部分组成,分别为移动计算设备硬件层、Flask后端、内部API模块、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及***设备组成,下面分模块阐述:
1移动计算设备硬件层:
本发明以树莓派4为开发原型,其硬件参数为:
2 Flask后端:
本发明设计为B/S架构,基于Python的Flask模块,此模块为整个应用提供web后台服务,包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务等。前端访问Flask发布的Web服务完成可视化功能,使得管理员与使用者可以分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用。对管理员来说,可以登录管理员账号,对连接的物联网设备,如电视机、传感器、电机等进行可视化流程控制,同时可以可视化添加人工智能功能,如图像识别、语音识别、语音合成、智能对话等功能,人性化添加功能模块并进行组合,快速实现家庭物联网与工业物联网***的快速部署功能。对于使用者来说,可通过用户账号进行登录,获得管理员设置好的一系列物联网流程服务
3内部API模块:
为了提高本发明的鲁棒性,在离线情况下也可正常使用,使用模型压缩算法对人工智能模型压缩后,部署在树莓派中,以完成图像识别、语音识别、语音合成、中文对话功能,并封装成API,以方便Flask框架的调用。
4流程控制模块:
流程控制模块通过对视图函数的调用完成对整个流程的控制,其实现逻辑为在自动检测到所有连接到本边缘设备上的***设备后,向视图函数传递一个用于控制的数据结构,管理员通过移动配置可视化界面,完成流程的部署后,web后台也通过视图函数完成了对相关***设备的控制。发挥其对整个流程调度的功能。
5视音频输出模块:
本模块向视图函数提供封装的视音频输出输入接口,视频音频的输入与输出都通过本模块的统一管理,物理接口为树莓派自带的usb接口与hdmi接口。
6 GPIO控制模块:
GPIO为树莓派的外接控制引脚的物理接线口,可以通过GPIO连接所有的传感器设备,以实现本发明对所有外接传感器的控制的实现。
7 HTML模板渲染模块:
本模块为Flask框架中的对HTML文件进行渲染的模块,可以通过安装Jinjia包自动安装本模块,渲染完成的html文件会通过Flask自带的web服务发布到前端浏览器完成可视化。
8***设备:
***设备包括所有可以连接树莓派的外设,例如家中的洗衣机、电冰箱、继电器、电机控制板、传感器等部件。
如图2所示,为本发明的软件架构图,本发明软件架构由8部分组成:Flask后台、视图函数、内部API模块、GPIO控制、视音频输出、HTML模板渲染、流程控制模板以及数据库。
1、Flask后台:提供web服务与基础功能,以下各部件都是集成在Flask架构之下的。
2、内部API模块:为符合嵌入式设备算力的人工智能模型的轻量化部署,集成了图像识别、语音识别、语音合成、中文对话的功能。
3、视图函数:完成浏览器对边缘设备进行访问时候负责对请求进行响应,调用内部封装的人工智能API,完成数据库读写、对GPIO控制函数进行调用与对视音频输出进行控制等功能,为程序调度的核心部分。
4、GPIO控制:完成对树莓派的GPIO口的控制,对物理操作进行封装,方便视图函数的调用。
5、视音频模块:完成对树莓派上视音频信号输入与输出的控制,对其HDMI口、视频传输口,USB口进行封装,方便视图函数的调用。
(1)用户关系阐述
本***拥有两类用户:管理员账户与普通用户账户
管理员账户拥有在可视化界面配置本发明的工作流程与视图函数的功能,可视化完成物联网***的运行流程搭建与测试。普通用户拥有使用管理员搭建好的物联网***的权利 ,包括查看音视频、实现图像识别、语音识别、语音合成、中文对话以及其组合应用功能。
(2)信息流程阐述
3.1 管理员与用户请求
如图2所示,管理员通过浏览器访问树莓派服务器,通过登录可视化操作界面进行流程定制,定制过程不断向树莓派服务器发出请求,树莓派服务器收到请求后将数据传递给流程控制模块,由流程控制模块调用视图函数完成对GPIO控制与视音频控制,以及数据库和内部API模块的调用与组合,而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器。当管理员完成流程配置后,普通用户就可以使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能,具体流程以利用该模块实现智能垃圾桶为例:
3.2流程控制
如图2所示,流程控制负责将各个功能模块组合调用,封装了UI操作到视图函数调用的API,完成将UI接口转换为视图函数接口的功能。
3.3视图函数调用
流程控制模块通过调用相应的视图函数完成界面的可视化操作以及下游的功能调用。包括图像识别本地API、语音识别本地API、语音合成本地API、中文对话本地API等。同时封装了GPIO的控制功能与视音频的调用功能。
以下以智慧城市中的智能垃圾分类项目作为接入实例,应用本物联网人机交互控制模块完成快速集成与部署:
家庭或个人垃圾分类投放装置见图3。垃圾投放自动化过程:A,B,C,D四个不同的垃圾桶随着摄像头识别垃圾的种类不同由转轴机关进行转动,将对应的类别的垃圾桶转动至伸缩托盘下面,托盘收缩,垃圾便就自动掉到垃圾桶中,全部过程由树莓派控制完成。
公共地点投放装置如图4,当用户把家庭垃圾分好类后把带有二维码的垃圾袋或者个人把单类垃圾经摄像头识别后便打开相关类别的垃圾桶,没有识别时各类垃圾桶盖是始终关闭的。
本发明还具有一下优点:
(1)通过HTML模板渲染模块各配置模块可进行图像识别分类
(2)语音交互、智能分类助手(语音识别模块)
(3)模块控制信号处理(树莓派、机械装置)
(4)物联网、边缘计算的创新应用(网络摄像头的数据实时识别、采集、汇聚大数据平台)
(5)服务器端、摄像头、APP端等多端联动、处理数据共享治理(接入终端设备多,网络联通,大数据治理的整体模式)
(6)接入快捷化,人性化,按照配置标准,可视化操作即可完成物联网组件的集成。
通过本模块集成要解决的垃圾分类问题:
1)垃圾分类繁杂:我们生活当中常见的垃圾就有成百上千种之多,再加上用户对垃圾分类困难,自愿参与度不高,经常出现错扔误扔的现象,不利于监管。
2)人工垃圾分类效率低下:垃圾回收的现状是用户把家庭或者个人产生的垃圾混装,由垃圾回收站的工人手工分类,对于工人来说不仅危害极大,而且工作效率低下。
3)人工监督困难:目前上海市作为国内最先实行垃圾分类的试点区域,主要是安排人员在社区垃圾投放点监督人们执行正确分类,然而大多混装垃圾很难完全正确分类,监督人员也需花费大量时间重新检查人们的垃圾,效率低下。
4)人工垃圾分类投入巨大:如果每一个社区垃圾投放点都配备垃圾分类监督员与人工分类员的话,那么一个城市就需要投入数万名的人力以及巨大的资金投入,不是一个可持续的方案。
针对该问题设计智能垃圾分类接入模块针对不同的使用场景添加针对性功能:
1)家庭垃圾智能分类投放场景
搭载多场景智能垃圾分类***的家庭垃圾自动分类投放装置适用于家庭生活中,体积较小,不占太大的空间。样式为一个托盘配一组四个垃圾桶,连接一个具有语音功能的摄像头,采用树莓派进行数据处理,实现低时延、高可靠、高识别率的计算功能。家庭用户只需要把垃圾放在垃圾托盘上,就能实现垃圾自动分类投放,不必再思考或查询垃圾的类别。机器在识别垃圾类别后会用语音提示垃圾的类别,用户可对垃圾的分类进行学习,此外也可以作为垃圾分类学习辅助手段,帮助孩子们学习垃圾分类,从小培养孩子们的环保意识。
2)社区垃圾投放点智能监督投放场景
搭载多场景智能垃圾分类***的公共垃圾手动分类投放装置产品为四个大型垃圾桶,配一个摄像头,进行垃圾识别,再加上触发传感器控制柜门的开关,未经过摄像头识别垃圾或二维码标签时,垃圾桶始终关闭。
针对公共区域地点垃圾投放的特点—大部分来自家庭的已分类袋装垃圾以及小部分个人在外产生的未分类垃圾,因此社区垃圾投放点同时具备单件垃圾识别和袋装垃圾识别,袋装垃圾识主要是通过识别家庭智能分类过后的印有二维码的袋装垃圾,二维码标签将包含袋装垃圾的分类信息以及垃圾袋所属户主信息,在垃圾装车车时,如果发现有严重的垃圾分类错误户主将会被追责。识别之后***将对应的垃圾桶盖打开,用户手动投入,垃圾分类完成。
3)垃圾场垃圾分类异样快速检测场景
搭载多场景智能垃圾分类***的履带式分类异样快速检测装置采用履带运输的方式可以实现多垃圾快速分类,将已经分好类的垃圾倒入履带中,经关口监测的方式把分错类别的异样垃圾挑选出来投放到正确的类别中。另一种是半自动的方法,主要是为了抽样检查垃圾是否分类好。在垃圾车倒入垃圾到对应分类的垃圾场时,采用高清摄像头对正在倒入的垃圾(空中进行)进行抓拍并分析是否都符合垃圾分类的标准。若未达到分类的要求,***将提示相关管理人员,由管理人员追溯该垃圾车搜集垃圾的位置,对该区域市民进行教育提醒。
参照上述实施例对本发明进行了详细说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明要求范围当中。
Claims (3)
1.一种智能人机交互物联网控制模块,其特征在于:包括移动计算设备硬件层、Flask后端、内部API模块、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及***设备;
移动计算设备硬件层,采用树莓派结构;
Flask后端采用B/S架构,为基于Python的Flask模块,为整个应用提供web后台服务,包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务,前端访问Flask发布的Web服务完成可视化功能,使得管理员与使用者分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用;
内部API模块,使用模型压缩算法对人工智能模型压缩后部署在树莓派结构中,以完成图像识别、语音识别、语音合成、中文对话功能,并封装成API,以方便Flask框架的调用;
流程控制模块,通过对视图函数的调用完成对整个流程的控制,其实现逻辑为在自动检测到所有连接到边缘设备上的***设备后,向视图函数传递一个用于控制的数据结构,管理员通过移动配置可视化界面,完成流程的部署后,web后台也通过视图函数完成对相关***设备的控制和对整个流程进行调度;
视音频输出模块向视图函数提供封装的视音频输出输入接口,视频音频的输入与输出通过本模块统一管理;GPIO控制模块为树莓派的外接控制引脚的物理接线口,通过GPIO连接所有的传感器设备,实现对所有外接传感器的控制;
HTML模板渲染模块为Flask框架中的对HTML文件进行渲染的模块,渲染完成的html文件通过Flask自带的web服务发布到前端浏览器完成可视化;
***设备包括所有与树莓派连接的外设;
使用时将***设备连接至GPIO控制模块与视音频输出模块;而后将***设备连接至局域网或者互联网;用户通过外部计算机连接同一局域网并通过Web浏览器访问***设备的IP网址,登录配置界面通过拖动相应的模块可视化完成物联网控制的操作流程;
管理员通过浏览器访问树莓派服务器,通过登录可视化操作界面进行流程定制,定制过程不断向树莓派服务器发出请求,树莓派服务器收到请求后将数据传递给流程控制模块,由流程控制模块调用视图函数完成对GPIO控制与视音频控制,以及数据库和内部API模块的调用与组合,而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器;当管理员完成流程配置后,普通用户使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能。
2.根据权利要求1所述的智能人机交互物联网控制模块,其特征在于:在Flask后端登录管理员账号,对连接的物联网设备进行可视化流程控制,同时可视化添加人工智能功能,人性化添加功能模块并进行组合,快速实现家庭物联网与工业物联网***的快速部署功能;通过用户账号进行登录能够获得管理员设置好的一系列物联网流程服务。
3.根据权利要求1所述的智能人机交互物联网控制模块,其特征在于:视音频输出模块物理接口为树莓派自带的usb接口和hdmi接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697530.1A CN111722770B (zh) | 2020-07-20 | 2020-07-20 | 一种智能人机交互物联网控制模块 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697530.1A CN111722770B (zh) | 2020-07-20 | 2020-07-20 | 一种智能人机交互物联网控制模块 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111722770A CN111722770A (zh) | 2020-09-29 |
CN111722770B true CN111722770B (zh) | 2021-07-06 |
Family
ID=72572827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010697530.1A Expired - Fee Related CN111722770B (zh) | 2020-07-20 | 2020-07-20 | 一种智能人机交互物联网控制模块 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111722770B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106445298A (zh) * | 2016-09-27 | 2017-02-22 | 三星电子(中国)研发中心 | 用于物联网设备的可视化操作方法和装置 |
CN108023905B (zh) * | 2016-10-31 | 2021-06-25 | ***通信集团广东有限公司 | 物联网应用***及方法 |
CN107896376B (zh) * | 2017-10-30 | 2020-11-10 | 东莞理工学院 | 一种基于ZigBee的物联网设备快速入网方法及*** |
KR20200042178A (ko) * | 2018-10-15 | 2020-04-23 | 주식회사 아이엠알 | IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템의 시각화장치 제어방법 |
CN110501043A (zh) * | 2019-08-13 | 2019-11-26 | 杜波 | 一种营区管理***及方法 |
-
2020
- 2020-07-20 CN CN202010697530.1A patent/CN111722770B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN111722770A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428019B (zh) | 垃圾智能分类方法及模块化智能垃圾分类处理*** | |
CN109980781A (zh) | 一种变电站智能监控*** | |
CN109309630A (zh) | 一种网络流量分类方法、***及电子设备 | |
CN110626662A (zh) | 一种基于图像识别的垃圾自分类方法及设备 | |
CN110428352B (zh) | 可穿戴设备智能分类垃圾的方法及模块化垃圾分类*** | |
CN103020590B (zh) | 一种基于三维模型与图像匹配的车辆识别***及其方法 | |
CN111126238A (zh) | 一种基于卷积神经网络的x光安检***及方法 | |
CN109672863A (zh) | 一种基于图像识别的施工人员安全装备智能监测方法 | |
CN109272671A (zh) | 一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进行存取物品的方法 | |
CN107437311A (zh) | 一种洗衣店智能处理***及其洗衣方法 | |
CN112348003A (zh) | 基于深度卷积神经网络的飞机加油场景识别方法及*** | |
CN114222163A (zh) | 一种营业厅智能视频分析*** | |
CN111722770B (zh) | 一种智能人机交互物联网控制模块 | |
CN110276300A (zh) | 用于识别垃圾品质的方法和装置 | |
CN212048939U (zh) | 社区智能垃圾回收装置 | |
CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
CN117088015A (zh) | 一种智慧垃圾处理方法、***及存储介质 | |
CN102043623A (zh) | 一种带有划词功能的屏幕取词实现方法 | |
Tan et al. | Building defect inspection and data management using computer vision, augmented reality, and BIM technology | |
CN111443615A (zh) | 一种用电设备控制***、方法以及设备 | |
CN110674123A (zh) | 数据预处理方法、装置、设备及介质 | |
CN116129416A (zh) | 一种基于ai算法的具有双***双模式的车辆管理*** | |
CN213474299U (zh) | 一种电子秤称重*** | |
CN111046713B (zh) | 自动化对象辨识装置 | |
CN207097145U (zh) | 银行atm机智能监控设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210706 |